CN110542540B - 结构光模组的光轴对齐矫正方法 - Google Patents

Abstract

本发明实施例提供一种结构光模组的光轴对齐矫正方法，包括：建立世界坐标系，将结构光模组中的投射器等效为一个点光源，定义所述点光源在世界坐标系的(T_x,T_y,T_z)位置处；调整结构光模组中投射器及光学传感器的位置，将预先确定的参考平面分别摆放在距离模组正前方Z₁距离和Z₂距离的两个位置，分别拍摄一张空间编码的图像；以Z₁距离下拍摄的图像作为基准，计算两张图像的每个同名点的视差值，结合所有同名点的坐标，计算视差值与同名点坐标间线性关系的斜率和截距；根据Z₁距离、Z₂距离、斜率和截距获得T_y和T_z，若T_z和T_y为0，完成结构光模组的光轴对齐矫正。本发明实施例提高了生产良率，保证了模组的一致性。

Description

结构光模组的光轴对齐矫正方法

技术领域

本发明涉及3D传感测量技术领域，更具体地，涉及结构光模组的光轴对齐矫正方法。

背景技术

三维传感测量技术一直是机器视觉学科的重要课题，而基于单目的空间编码结构光3D重建技术是当前三维传感测量技术中较为流行的方向之一，在医学、工业、消费电子等领域得到广泛应用。如微软的Kinect及iphoneX上的单目结构光技术，均基于该方法进行研发而成。单目空间编码结构光3D重建技术本质是一种基于空间编码结构光的深度测量技术，主要构件由投射器、光学传感器(CCD或CMOS)、计算芯片构成。其主要原理是将特殊的图像样式(如随机散斑，条纹等等)投射到场景中，赋予场景中物体丰富的纹理信息，并通过光学传感器采集该幅场景图像，与事先标定时存储的特定位置平面的参考散斑图进行匹配，再根据视差关系，计算场景中的三维信息。

在单目空间编码的3D结构光方案中，一般先在设备存储器内记录一张或若干张特定场景的带有空间编码的图像，称为参考图，在任意场景的3D信息获取中，使用任意场景的空间编码图像，称之为场景图，与参考图进行匹配，寻找参考图和场景图中的同名点(即在空间编码上具有相同特征的点)像素坐标位置，从而获得参考图与场景图的视差图，再根据视差及相机内参等系统参数，即可获取场景图的3D信息。

虽然单目空间编码的3D结构光的方案已经相当成熟，但生产过程中该技术对模组构件的加工组装有较高的要求，其原因在于：在匹配计算过程中，为了减少芯片计算耗时及模组功耗，一般只对参考图及场景图的同一行的像素点进行搜索匹配，否则若跨行搜索将导致计算量将呈倍数增长，硬件成本及功耗将大幅提高，且算法上难以达到深度解算的实时性要求。若保证空间编码中的同名点，在任意场景的场景图中都位于同一行，就需要对模组中投射器、光学传感器的相对位置提出较为苛刻的要求，即光轴对齐，导致生产时模组组装难度大幅增加，良品率降低。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的结构光模组的光轴对齐矫正方法。

第一个方面，本发明实施例提供一种结构光模组的光轴对齐矫正方法，包括：

建立世界坐标系，将结构光模组中的投射器等效为一个点光源，定义所述点光源在世界坐标系的(T_x,T_y,T_z)位置处；

调整结构光模组中投射器及光学传感器的位置，将预先确定的参考平面分别摆放在距离模组正前方Z₁距离和Z₂距离的两个位置，分别拍摄一张空间编码的图像；

以Z₁距离下拍摄的图像作为基准，计算两张图像的每个同名点的视差值，结合所有同名点坐标，计算视差值与同名点坐标间线性关系的斜率和截距；

根据Z₁距离、Z₂距离、斜率和截距获得T_y和T_z，若T_z和T_y为0，完成结构光模组的光轴对齐矫正；

其中，Z₁＜Z₂，所述世界坐标系的原点为光学传感器的镜头光心，XY平面为光学传感器靶面的平行面。

优选地，所述根据Z₁距离、Z₂距离、斜率和截距获得T_y和T_z，之后还包括：

若T_z和T_y不为0，则重新调整投射器及光学传感器的位置，以再次计算T_y和T_z，直至T_z和T_y为0，完成结构光模组的光轴对齐矫正

优选地，所述计算两张图像的每个同名点的视差值，结合所有同名点的坐标，计算视差值与同名点坐标间线性关系的斜率和截距，具体为：

计算两张图像的每个同名点的视差值，并对每一行的所有同名点的视差值取平均值，作为行偏差；

根据行偏差与纵坐标的线性关系定义：E＝av₁+b，其中，E表示行偏差，v₁表示同名点在基准图上的的纵坐标；以行数为变量对行偏差进行线性拟合，获得斜率a和截距b。

优选地，所述线性拟合的方法至少包括：最小二乘法、极大似然法、最速下降法中的一种。

优选地，所述线性拟合具体采用最小二乘法进行拟合，具体地，包括：

设图像高为H，则最小二乘的解为：

其中，E_i表示第i行上的所有同名点的行偏差均值，v_{1_i}表示基准图上第i行同名点的坐标。

优选地，根据Z₁距离、Z₂距离、斜率和截距获得模组中投射器等效光心位于世界坐标系中的y轴坐标T_y和z轴坐标T_z，具体为：

其中，k＝Z₂/Z₁，光学传感器的内参矩阵

f_x、f_y分别为相机标定后的x方向、y方向的焦距，光学传感器的镜头光心坐标为(c_x,c_y)。

优选地，所述参考平面的平面起伏误差不大于1mm。

本发明实施例提供的结构光模组的光轴对齐矫正方法，利用行偏差的线性关系进行求解，并且具体实施简单方便，只需两个位置的空间编码图样即可计算光轴对齐误差，计算完成后即可完成光轴对齐的矫正。本发明实施例提高了生产良率，保证了模组的一致性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的空间编码结构光原理示意图；

图2为本发明实施例的结构光模组的光轴对齐矫正方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的空间编码结构光原理示意图，在本发明实施例中，结构光模组为常见的水平结构，即投射器和光学传感器呈水平分布，如图1所示，以光学传感器(以下也称相机)的镜头光心为原点，相机靶面的平行面为XY平面，建立世界坐标系，投射器可等效成一个点光源T，位于世界坐标系中(T_x,T_y,T_z)的位置。投射器发射的同一散斑点，在参考面及测量场景中的投影点P、Q以及投射器光心T应为一条空间直线(光为直线传播，故同一散斑点位于空间的一条直线上)。则由图1所示，设P点三维坐标为P:(x,y,z)，根据直线约束可获知Q点坐标为：Q:k(P-T)+T，具体地，即Q:(k(x-Tx)+Tx,k(y-Ty)+Ty,k(z-Tz)+Tz)，其中k为T、Q两点间的空间距离除以T、P两点间的空间距离。

点P和Q在相机靶面上的投影为p、q两点。设相机的内参矩阵K(一般由相机标定得到)如下：

f_x、f_y分别为相机标定后的x方向、y方向的焦距，光学传感器的镜头光心在靶面上的像素坐标为(c_x,c_y)。

根据相机中常用的针孔模型，由P、Q的三维空间位置，可推算出这两点在相机靶面成像后的像素位置p，q为：

由p和q的表达式可知，若想保证同一散斑点在不同场景成像后，位于图像的同一行上，则必须满足以下条件：

v₁＝v₂,即

由于k是一个变量，上式只有在T_z＝0且T_y＝0的情况下，才具有普适性。故在三维模组组装时，必须保证投射器光心位于图1中世界坐标系中的X轴上，即光轴对齐。

但实际组装过程中，由于镜头组及投射器的等效光心位置难以定位，T_y与T_z的大小是很难直接测量得到的。即使存在10^-1mm量级的误差，也会影响设备的深度解算精度。这就为三维模组的组装生产提出了较高的要求，在实际生产中，往往存在良品率不高、设备一致性较差的问题。

结构光模组对于组装生产具有较高的要求，组装过程中必须要求光轴对齐，否则设备的一致性和良率无法保证。鉴于此，本发明实施例提供了一种基于单目空间编码结构光的光轴矫正方法，在三维模组生产中，该方法可计算出T_z，T_y的准确数值，从而为三维模组的光轴对齐矫正提供参考，提高了生产良率，保证了模组的一致性。

通过分析单目空间编码结构光模组的原理，可以发现，若无法保证T_z＝T_y＝0，则在不同距离下，同名点存在行偏差，行偏差的计算公式为：

令：z₁＝z；z₂＝k(z-T_z)+T_z；

则最终可简化为：

将下式代入：

yf_y＝(v₁-c_y)z₁

最终可化简为：

可见，若选定两个距离，则只有p点坐标v₁为变量。故若存在T_y，T_z误差，则图像上的任意一散斑点在z₁，z₂上的行偏差关于该散斑像素点纵坐标v₁呈线性关系。利用该线性关系，在合适的条件下，便可以求解出T_z，T_y的准确数值。

图2为本发明实施例的结构光模组的光轴对齐矫正方法的流程示意图，如图2所示，包括

S101、建立世界坐标系，将结构光模组中的投射器等效为一个点光源，定义所述点光源在世界坐标系的(T_x,T_y,T_z)位置处。

S102、调整结构光模组中投射器及光学传感器的位置，将预先确定的参考平面分别摆放在距离模组正前方Z₁距离和Z₂距离的两个位置，分别拍摄一张空间编码的图像，满足Z₁＜Z₂。

具体地，本发明实施例的参考平面，其平面起伏误差应确保小于一定阈值，该阈值根据光学系统设计而定，该阈值不应大于1mm。本发明实施例的结构光模组，在后续简称为模组，能够正常保存图像，且空间编码的图像成像清晰。

S103、以Z₁距离下拍摄的图像作为基准，计算两张图像的每个同名点的视差值，结合所有同名点坐标，计算视差值与同名点坐标间线性关系的斜率和截距。

具体地，将参考平面摆放于已组装模组的正前方，保证模组中的成像传感器垂直于参考平面。在设计的系统工作距离时，选取两个工作距离Z₁，Z₂。将参考平面分别摆放于距离模组Z₁，Z₂的两个位置，分别拍摄一张空间编码的图像，由前述说明可知，更靠近模组的图像为基准。

计算Z₁和Z₂距离对应的图像的每个像素点在y方向的视差值，可以理解的是，本领域技术人员通常将投射器和光学传感器呈水平分布，因此以Y轴方向计算视差，而以X轴方向计算深度，而在极少数以投射器和光学传感器呈竖直分布的情况下，则以X轴方向计算视差，以Y轴方向计算深度。通过对每一行的所有像素点的视差值取平均值，作为行偏差；

根据行偏差与纵坐标的线性关系，可定义：E＝v₂-v₁＝av₁+b，v₁表示同名点在基准图上的纵坐标，v₂表示同名点在Z₂距离图的纵坐标；以行数为变量对行偏差进行线性拟合，获得斜率a和截距b。

S104、根据Z₁距离、Z₂距离、斜率和截距获得模组中投射器等效光心位于世界坐标系中的y轴坐标T_y和z轴坐标T_z，若T_z和T_y为0，则完成结构光模组的光轴对齐矫正。

由于Z₁，Z₂只存在毫米量级测量误差，而三维结构光模组的应用场景均为100毫米以上，故可认为下式公式中的z₁≈Z₁、z₁≈Z₂、k≈Z₂/Z₁。

可解得：

需要说明的是，本发明实施例的结构光模组的光轴对齐矫正方法，利用行偏差的线性关系进行求解，并且具体实施简单方便，只需两个位置的空间编码图样即可计算光轴对齐误差，计算完成后即可完成光轴对齐的矫正。

在上述各实施例的基础上，作为一种可选实施例，所述根据Z₁距离、Z₂距离、斜率和截距获得T_y和T_z，之后还包括：

若T_z和T_y不为0，则重新调整投射器及光学传感器的位置，以再次计算T_y和T_z，直至T_z和T_y为0，完成结构光模组的光轴对齐矫正。

需要说明的是，本发明实施例的对齐校正方法，通过不断调整投射器和光学传感器的位置，并在每次调整位置后重新计算T_y和T_z，当T_y和T_z为0时，则矫正完成，若不为0，则需要继续调整。

在上述实施例的基础上，作为一种可选实施例，所述计算两张图像的每个像素点的视差值，以获得同一散斑点经过两张图像所构成的直线的斜率和截距，具体为：

计算两张图像的每个同名点的视差值，并对每一行的所有同名点的视差值取平均值，作为行偏差；

根据行偏差与纵坐标的线性关系定义：E＝av₁+b，其中，E表示行偏差，v₁表示同名点(即具有相同特征的散斑点)在基准上的纵坐标；以行数为变量对行偏差进行线性拟合，获得斜率a和截距b。

作为一种可选实施例，本发明实施例的线性拟合的方法至少包括：最小二乘法、极大似然法、最速下降法中的一种。

作为一种可选实施例，本发明实施例可使用最小二乘法进行线性拟合。设图像高为H，则最小二乘的解如下：

其中，E_i表示第i行上的所有同名点的行偏差均值，v_{1_i}表示基准图上第i行像素点的坐标。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种结构光模组的光轴对齐矫正方法，其特征在于，包括：

建立世界坐标系，将结构光模组中的投射器等效为一个点光源，定义所述点光源在世界坐标系的(T_x,T_y,T_z)位置处；

调整结构光模组中投射器及光学传感器的位置，将预先确定的参考平面分别摆放在距离模组正前方Z₁距离和Z₂距离的两个位置，分别拍摄一张空间编码的图像；

以Z₁距离下拍摄的图像作为基准，计算两张图像的每个同名点的视差值，结合所有同名点坐标，计算视差值与同名点坐标间线性关系的斜率和截距；

根据Z₁距离、Z₂距离、斜率和截距获得T_y和T_z，若T_z和T_y为0，则完成结构光模组的光轴对齐矫正；

其中，Z₁＜Z₂，所述世界坐标系的原点为光学传感器的镜头光心，XY平面为光学传感器靶面的平行面。

2.根据权利要求1所述的结构光模组的光轴对齐矫正方法，其特征在于，所述根据Z₁距离、Z₂距离、斜率和截距获得T_y和T_z，之后还包括：

若T_z和T_y不为0，则重新调整投射器及光学传感器的位置，以再次计算T_y和T_z，直至T_z和T_y为0，完成结构光模组的光轴对齐矫正。

3.根据权利要求1所述的结构光模组的光轴对齐矫正方法，其特征在于，所述计算两张图像的每个同名点的视差值，结合所有同名点的坐标，计算视差值与同名点坐标间线性关系的斜率和截距，具体为：

计算两张图像的每个同名点的视差值，并对每一行的所有同名点的视差值取平均值，作为行偏差；

根据行偏差与纵坐标的线性关系定义：E＝av₁+b，其中，E表示行偏差，v₁表示同名点在基准上的纵坐标；以行数为变量对行偏差进行线性拟合，获得斜率a和截距b。

4.根据权利要求3所述的结构光模组的光轴对齐矫正方法，其特征在于，所述线性拟合的方法至少包括：最小二乘法、极大似然法、最速下降法中的一种。

5.根据权利要求3所述的结构光模组的光轴对齐矫正方法，其特征在于，所述线性拟合具体采用最小二乘法进行拟合，具体地，包括：

设图像高为H，则最小二乘的解为：

其中，E_i表示第i行上的所有同名点的行偏差均值，v_{1_i}表示基准图上第i行像素点的坐标。

6.根据权利要求3所述的结构光模组的光轴对齐矫正方法，其特征在于，所述根据Z₁距离、Z₂距离、斜率和截距获得模组中投射器等效光心位于世界坐标系中的y轴坐标T_y和z轴坐标T_z，具体为：

其中，k＝Z₂/Z₁，光学传感器的内参矩阵

f_x、f_y分别为相机标定后的x方向、y方向的焦距，光学传感器的镜头光心的坐标为(c_x,c_y)。

7.根据权利要求1所述的结构光模组的光轴对齐矫正方法，其特征在于，所述参考平面的平面起伏误差不大于1mm。

Images