CN114926548A - 一种基于光学模组的双目相机校准系统及方法 - Google Patents

Abstract

本发明公开了一种基于光学模组的双目相机校准系统及方法，该系统包括：光波导，用于产生平行的两个图像，且两个图像在无穷远处聚焦；双目相机，设置于所述光波导的前方，用于获取所述光波导无穷远处聚焦的图像；所述双目相机包括左目相机和右目相机；调节机构，用于调节所述双目相机的空间位置和角度；双目融合模块，与所述双目相机连接，并从所述双目相机中获取图像，以判断双目相机中的图像是否完全重合。本发明基于光波导发出绝对平行的两个画面，利用双目相机观察光波导中在无穷远处聚焦的图像，并通过调节机构调整双目相机，使双目相机的光轴平行，此时图像的两个画面没有像素差，画面最清晰，如此可提高双目相机校准精度以及降低双目相机校准难度。

Description

一种基于光学模组的双目相机校准系统及方法

技术领域

本发明涉及AR测试技术领域，特别涉及一种基于光学模组的双目相机校准系统及方法。

背景技术

双目显示的AR/VR设备，可以显示3D效果，给人带梦幻的立体视觉体验。实现立体显示的一个方法是，首先使左右眼画面在无穷远处重合(相当于画面中心线平行)，然后通过硬件或软件，使两幅画面偏移一定的像素/角度，形成左右眼视觉差，最终给人一种立体感观。

上述立体显示原理中，实现左右眼画面在无穷远重合的技术是关键，但难度较大。光线播路径肉眼不可见，必须使用光轴绝对平行的双目相机辅助校正。目前市面上没有此类设备。使AR/VR左右显示的画面在无穷远处重合，以此为基础进行像素偏移形成视觉差，最终实现立体显示。所以，双目光轴平行的校正方法和装置，是实现立体显示技术的关键。为了校准AR/VR投影虚像在无穷远重合，用于校准的双目相机光轴必须绝对平行，从而保证校准的精度。

目前双目平行度校准的方法是使用反射镜或者机械平移进行双目成像标定，但是这2种方法都存在校准精度低，操作不方便的问题。

发明内容

本发明实施例提供了一种基于光学模组的双目相机校准系统及方法，旨在提高双目相机校准精度以及降低双目相机校准难度。

本发明实施例提供了一种基于光学模组的双目相机校准系统，包括：

光波导，用于产生平行的两个图像，且两个图像在无穷远处聚焦；

双目相机，设置于所述光波导的前方，用于获取所述光波导无穷远处聚焦的图像；所述双目相机包括左目相机和右目相机；

调节机构，用于调节所述双目相机的空间位置和角度；

双目融合模块，与所述双目相机连接，并从所述双目相机中获取图像，以判断双目相机中的图像是否完全重合。

进一步的，所述光波导包括用于发出图像的光机、将图像衍射至光波导的入瞳光栅和将图像衍射出光波导并在无穷远处聚焦为虚拟图像的出瞳光栅。

进一步的，所述双目相机的空间位置与拍摄的图像信号形成闭环控制回路。

进一步的，所述调节机构为六轴调节平台，所述六轴调节平台设置于所述双目相机的下方。

进一步的，所述六轴调节平台包括X轴、Y轴、Z轴、Rx轴、Ry轴、Rz轴可调结构。

进一步的，所述双目相机在X轴方向和Z轴方向的初始位置偏差均为30mm范围内，其中左目相机和右目相机的间距为65±25mm，左目相机和/或右目相机与所述光波导的角度为0°±30°。

进一步的，所述双目融合模块用于将左目相机和右目相机中的图像的像素进行比对，并计算像素间距离，以判断双目相机的光轴是否空间平行；

当像素在X方向和Y方向的偏差均为0时，则判定双目相机在光轴空间上绝对平行。

进一步的，还包括一平滑底板，所述光波导、双目相机和调节机构均设置于所述平滑底板上。

本发明实施例还提供了一种基于光学模组的双目相机校准方法，包括：

将双目相机与双目融合模块连接，并利用双目融合模块获取所述双目相机的图像；

通过光波导在无穷远处生成平行的两个图像；

调整所述双目相机的焦距，以使双目相机拍摄光波导生成的图像；

通过调节机构对所述双目相机的位置进行调整，以使所述双目融合模块的图像重合。

进一步的，所述调节机构为六轴调节平台；

所述通过调节机构对所述双目相机的位置进行调整，以使所述双目融合模块的图像重合，包括：

通过所述六轴调节平台对所述双目相机在水平方向和垂直方向的位置和角度分别进行调节；

通过所述双目融合模块对图像的像素进行比对，并计算像素间距离，以判断双目相机的光轴是否空间平行；

当像素在X轴方向和Y轴方向的偏差均为0时，则判定双目相机200在光轴空间上绝对平行，以及判定所述双目融合模块中的图像在水平方向和垂直方向完全重合。

本发明实施例提供了一种基于光学模组的双目相机校准系统及方法，该系统，包括：光波导，用于产生平行的两个图像，且两个图像在无穷远处聚焦；双目相机，设置于所述光波导的前方，用于获取所述光波导无穷远处聚焦的图像；所述双目相机包括左目相机和右目相机；调节机构，用于调节所述双目相机的空间位置和角度；双目融合模块，与所述双目相机连接，并从所述双目相机中获取图像，以判断双目相机中的图像是否完全重合。本发明实施例基于光波导发出绝对平行的两个画面，利用双目相机观察光波导中在无穷远处聚焦的图像，并通过调节机构调整双目相机的空间位置和角度，使双目相机的光轴平行，此时融合后的图像的两个画面没有像素差，画面最清晰，如此可提高双目相机校准精度以及降低双目相机校准难度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于光学模组的双目相机校准系统的结构示意图；

图2为本发明实施例提供的一种基于光学模组的双目相机校准系统在校准前的示意图；

图3为本发明实施例提供的一种基于光学模组的双目相机校准系统在校准后的示意图；

图4为本发明实施例提供的一种基于光学模组的双目相机校准系统中光波导的结构示意图；

图5为本发明实施例提供的一种基于光学模组的双目相机校准系统中光波导产生的图像示意图；

图6为本发明实施例提供的一种基于光学模组的双目相机校准系统的原理示意图；

图7为本发明实施例提供的一种基于光学模组的双目相机校准方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面请参见图1，图1为本发明实施例提供的一种基于光学模组的双目相机校准系统的示意图，其中包括：

光波导100，用于产生平行的两个图像，且两个图像在无穷远处聚焦；

双目相机200，设置于所述光波导100的前方，用于获取所述光波导100无穷远处聚焦的图像；所述双目相机200包括左目相机201和右目相机202；

调节机构300，用于调节所述双目相机200的空间位置和角度；

双目融合模块400，与所述双目相机200连接，并从所述双目相机200中获取图像，以判断双目相机200中的图像是否完全重合。

本实施例中，所述双目相机校准系统包括光波导100、双目相机200、调节机构300和双目融合模块400，其实现过程具体可以：将双目相机200与双目融合模块400连接，并利用双目融合模块400获取所述双目相机200的图像；通过光波导100在无穷远处生成平行的两个图像；调整所述双目相机200的焦距，以使双目相机200拍摄光波导100生成的图像；通过调节机构300对所述双目相机200的位置进行调整，以使所述双目融合模块400的图像重合。

本实施例基于光波导100发出绝对平行的两个画面，利用双目相机200观察光波导100中在无穷远处聚焦的图像。初始位置，由于相机光轴不平行，双目融合模块400中的图像很可能有严重重影。相机空间位置与相机拍摄的图像信号形成闭环控制回路。并通过调节机构300调整双目相机200的空间位置和角度，使双目相机200的光轴平行，此时融合后的图像的两个画面没有像素差，画面最清晰，如此可提高双目相机200校准精度以及降低双目相机200校准难度。

本实施例应用在双目相机200的光轴校准过程中，由于相机光轴没有机械定位点，采用机械方式无法达到高精度光轴平行度为0°的规格要求，采用本发明方法，通过可发出绝对平行光的光波导100作为相机校准的反馈信号，可以实现高精度双目相机200光轴度行度校准，并且操作简单，成本低廉。

在一实施例中，结合图2和图3，由于双目相机200光轴不平行，导致双目相机200内的图像相对于双目相机200中心有一个偏差角度θ。双目融合模块400的作用是将左右两相机中的图像的像素一一对应重合放置，形成左右融合画面。而由于左目相机201和右目相机202中的图像有θ角度偏差，导致融合后图像43有严重鬼影。通过调节机构300调节双目位置时，例如通过调节机构300带动双目相机200作旋转/平移运动。当双目相机200中心与图像重合时，融合图像最清晰。此时双目相机200光轴的角度正好是0°。

在一实施例中，所述光波导100包括用于发出图像的光机101、将图像衍射至光波导100的入瞳光栅102和将图像衍射出光波导100并在无穷远处聚焦为虚拟图像的出瞳光栅103。

本实施例中，结合图4和图5，所述光波导100上的光机101产生一个图像后，通过入瞳光栅102将图像传递进入光波导100，然后通过出瞳光栅103发出图像。整个结构制作在一块透明玻璃上，透过玻璃，可以观察到无穷远左眼画面和右眼画面。并且图像聚焦在无穷远，所述光波导100采用半导体制程加工而成，光轴平行度高，是双目校准系统的最佳标定光源。在具体实施例中，所述光机101位于光波导100的上方中心位置，所述入瞳光栅102位于所述光机101的下方，所述出瞳光栅103位于所述入瞳光栅102的两侧，所述光波导100还包括位于光机101两侧以及出瞳光栅103上方的扩瞳光栅104。

本实施例通过光波导100的内部分光，并且这两幅图像的光轴在空间上绝对平行。双目相机200分别拍摄光波导100出瞳光栅103中的图像，使双目相机200的光轴与光波导100的光轴平行，并且通过调节机构300将双目相机200的光轴也调整为平行，从而使双目相机200的图像中心对齐，即完成双目校准。平行度满足以下公式：

其中，θ为光轴平行度，Δx和Δy表示双目相机在x方向和y方向的像素差，∞表示成像距离。

光波导100是由1个光机101发出的光线与波导成90°进入入瞳光栅102，光线经过波导后又与光波导100成90°后射出，并且出瞳的两幅图像的中心绝对平行。利用这个部件，将双目相机200放置在图像接收端，分别调整双目相机200的中心与光波导100中呈现的画面的中心对齐，那么双目相机200的中心就被对齐。需要注意的是，本实施例所述的基于光学模组的双目相机校准系统无需考虑双目相机200与光波导100初始位置是否垂直，如图6所示，双目相机200与光波导100初始位置和角度不影响相机光轴平行度，只会影响双目相机200左右相对位置，且由于双目相机200观察是无穷远图像，左右位置偏差对于测试结果没有任何影响。所以，采用上述原理做成的双目校准装置具有操作简单，成本低廉的特点。

在一实施例中，所述调节机构300为六轴调节平台，所述六轴调节平台设置于所述双目相机200的下方。

本实施例中，将六轴调节平台作为调节机构300，设置于所述双目相机200的下方，且所述六轴调节平台包括X轴、Y轴、Z轴、Rx轴、Ry轴、Rz轴可调结构，用于实现双目相机200的三轴平移，以及三轴的旋转运动。

在一实施例中，所述双目相机200在X轴方向和Z轴方向的初始位置偏差均为30mm范围内，其中左目相机201和右目相机202的间距为65±25mm，左目相机201和/或右目相机202与所述光波导100的角度为0°±30°。

本实施例中，双目相机200放置的初始位置可以有一定偏差，例如在X轴方向的偏差可以在±30mm内，在Y轴方向的位置不限，只需双目相机200接收到足够强度画面即可，在Z轴方向的偏向可以±30mm。同时，双目相机200中的左目相机201和右目相机202之间的间距为65±25mm。此外，左目相机201和/或右目相机202与光波导100角度没有特别限制，例如0度或±30度均可。校准过程中，光波导100相对于双目相机200静止，光波导100也可以沿光轴轴向平移进行准直。这个方案具有容差大，校准精度高，成本低的优势。

在一实施例中，所述双目融合模块400用于将左目相机201和右目相机202中的图像的像素进行比对，并计算像素间距离，以判断双目相机200的光轴是否空间平行；

当像素在X方向和Y方向的偏差均为0时，则判定双目相机200在光轴空间上绝对平行。

本实施例中，所述双目融合模块400将左目相机201和右目相机202中的图像全部或者部分对应位置的像素进行比对，并计算像素间距离，从而计算出双目相机200光轴是否空间平行。当像素在X/Y方向的偏差均为0时，则可以认定双目相机200在光轴空间上绝对平行。

在一实施例中，还包括一平滑底板500，所述光波导100、双目相机200和调节机构300均设置于所述平滑底板500上。

本实施例中，将光波导100、双目相机200和调节机构300均安装在所述平滑底板500上，避免放置位置不平而影响最终的校准结果。在具体应用场景中，可以首先将调节机构300用螺钉安装在所述平滑底板500上，然后将双目相机200安装在所述调节机构300上，接着双目相机200分别通过电缆线等方式与双目融合模块400连接，以及通过螺钉或胶水将光波导100固定在底板500上。

图7为本发明实施例提供的一种基于光学模组的双目相机校准方法的流程示意图，具体包括：步骤S701～S704。

S701、将双目相机200与双目融合模块400连接，并利用双目融合模块400获取所述双目相机200的图像；

S702、通过光波导100在无穷远处生成平行的两个图像；

S703、调整所述双目相机200的焦距，以使双目相机200拍摄光波导100生成的图像；

S704、通过调节机构300对所述双目相机200的位置进行调整，以使所述双目融合模块400的图像重合。

在一实施例中，所述调节机构300为六轴调节平台；

所述通过调节机构300对所述双目相机200的位置进行调整，以使所述双目融合模块400的图像重合，包括：

通过所述六轴调节平台对所述双目相机200在水平方向和垂直方向的位置和角度分别进行调节；

通过所述双目融合模块400对图像的像素进行比对，并计算像素间距离，以判断双目相机200的光轴是否空间平行；

当像素在X轴方向和Y轴方向的偏差均为0时，则判定双目相机200在光轴空间上绝对平行，以及判定所述双目融合模块400中的图像在水平方向和垂直方向完全重合。

由于方法部分的实施例与装置部分的实施例相互对应，因此方法部分的实施例请参见装置部分的实施例的描述，这里暂不赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于光学模组的双目相机校准系统，其特征在于，包括：

光波导，用于产生平行的两个图像，且两个图像在无穷远处聚焦；

双目相机，设置于所述光波导的前方，用于获取所述光波导无穷远处聚焦的图像；所述双目相机包括左目相机和右目相机；

调节机构，用于调节所述双目相机的空间位置和角度；

双目融合模块，与所述双目相机连接，并从所述双目相机中获取图像，以判断双目相机中的图像是否完全重合。

2.根据权利要求1所述的基于光学模组的双目相机校准系统，其特征在于，所述光波导包括用于发出图像的光机、将图像衍射至光波导的入瞳光栅和将图像衍射出光波导并在无穷远处聚焦为虚拟图像的出瞳光栅。

3.根据权利要求1所述的基于光学模组的双目相机校准系统，其特征在于，所述双目相机的空间位置与拍摄的图像信号形成闭环控制回路。

4.根据权利要求1所述的基于光学模组的双目相机校准系统，其特征在于，所述调节机构为六轴调节平台，所述六轴调节平台设置于所述双目相机的下方。

5.根据权利要求4所述的基于光学模组的双目相机校准系统，其特征在于，所述六轴调节平台包括X轴、Y轴、Z轴、Rx轴、Ry轴、Rz轴可调结构。

6.根据权利要求1所述的基于光学模组的双目相机校准系统，其特征在于，所述双目相机在X轴方向和Z轴方向的初始位置偏差均为30mm范围内，其中左目相机和右目相机的间距为65±25mm，左目相机和/或右目相机与所述光波导的角度为0°±30°。

7.根据权利要求1所述的基于光学模组的双目相机校准系统，其特征在于，所述双目融合模块用于将左目相机和右目相机中的图像的像素进行比对，并计算像素间距离，以判断双目相机的光轴是否空间平行；

当像素在X方向和Y方向的偏差均为0时，则判定双目相机在光轴空间上绝对平行。

8.根据权利要求1所述的基于光学模组的双目相机校准系统，其特征在于，还包括一平滑底板，所述光波导、双目相机和调节机构均设置于所述平滑底板上。

9.一种基于光学模组的双目相机校准方法，其特征在于，包括：

将双目相机与双目融合模块连接，并利用双目融合模块获取所述双目相机的图像；

通过光波导在无穷远处生成平行的两个图像；

调整所述双目相机的焦距，以使双目相机拍摄光波导生成的图像；

通过调节机构对所述双目相机的位置进行调整，以使所述双目融合模块的图像重合。

10.根据权利要求9所述的基于光学模组的双目相机校准方法，其特征在于，所述调节机构为六轴调节平台；

所述通过调节机构对所述双目相机的位置进行调整，以使所述双目融合模块的图像重合，包括：

通过所述六轴调节平台对所述双目相机在水平方向和垂直方向的位置和角度分别进行调节；

通过所述双目融合模块对图像的像素进行比对，并计算像素间距离，以判断双目相机的光轴是否空间平行；

当像素在X轴方向和Y轴方向的偏差均为0时，则判定双目相机200在光轴空间上绝对平行，以及判定所述双目融合模块中的图像在水平方向和垂直方向完全重合。

Images