CN113240746A - 基于理想成像平面的散斑结构光标定方法和设备 - Google Patents

Abstract

本发明涉及一种基于理想成像平面的散斑结构光标定方法，包括以下步骤：确定实际结构光标定，在指定位置上完成结构光相机模组的装配，移动参考面，通过红外相机的成像平面获取在参考面移动过程中的散斑点对，根据散斑点对获取实际视差值；建立理想成像平面，根据散斑投射器和参考面的实际位置确定理想成像平面；计算变换矩阵，通过红外相机实际位置的坐标系确定实际相机成像平面与理想成像平面之间的空间位置关系，并计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；根据所述变换矩阵，对实际视差值进行变换，获取理想视差值并计算相机外部参数；本发明在标定过程中不需要进行AA对齐装配设备，降低对产线装配的要求和成本。

Description

基于理想成像平面的散斑结构光标定方法和设备

技术领域

本发明涉及一种基于理想成像平面的散斑结构光标定方法和设备，属于图像处理和计算机视觉技术领域。

背景技术

传统的散斑结构光相机标定方案一般都在指定位置比如生成流水线上先完成AA装配和对齐(AA，其全称是Active Alignment，即主动对齐，是一项确定零配件装配过程中相对位置的技术),然后根据理想的标定模型求解出相机的外参，最后根据所求参数是否满足精度要求，进行良品判断，具体操作过程如附图1所示。

其中，散斑结构光的外参求解模型如图例2所示。不同深度的两幅散斑图之间会有一个偏移量，根据所获得的偏移量和已知的不同深度，其中，D表示散斑投射器的位置，C表示结构光相机的光心位置，b表示结构光相机的基线，f表示红外相机的焦距。在距离相机L处是一个参考平面，激光散斑光源发射的光照射到参考平面上时，反射光线将落在结构光相机成像面上，当参考面向前平移到距离结构光相机为depth处，这时在成像面上的点将发生偏移，偏移量为d。利用三角测距的原理，根据这个偏移量，可求出相机外参：

传统的散斑结构光相机标定方案往往需要高精密的AA对齐装配设备，其价格非常昂贵，且一旦装配完成，相机装配的精度就已经确定无法再改变。这使得在标定过程中若出现精度不达标的情况，只能将设备进行整体替换，存在着较大的成本开销和资源浪费。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种基于理想成像平面的散斑结构光标定方法和设备和介质，通过建立理想成像平面，在标定过程中不需要进行AA对齐装配设备，降低对产线装配的要求和成本。

本发明的技术方案如下：

技术方案一：

一种基于理想成像平面的散斑结构光标定方法，包括以下步骤：

确定实际结构光标定，在指定位置上完成结构光相机模组的装配，所述结构光相机模组包括散斑投射器和红外相机，垂直于红外相机的成像平面设置参考面，移动参考面，通过红外相机的成像平面获取在参考面移动过程中的散斑投射器投射出的散斑点对，根据所述散斑点对的偏移量获取实际视差值；

建立理想成像平面，根据散斑投射器的投射点、红外相机的光心位置以及参考面的实际位置确定理想成像平面，所述理想成像平面为理想状态的无安装误差成像平面；

计算变换矩阵，通过红外相机实际位置的坐标系确定实际相机成像平面与理想成像平面之间的空间位置关系，根据所述空间位置关系计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；

计算相机外部参数，根据所述变换矩阵，对所述实际视差值进行矩阵变换，获取理想视差值；根据所述理想视差值计算相机外部参数。

进一步的，确定所述理想成像平面的条件为：所述理想成像平面与参考面平行且所述理想成像平面的光心与散斑投射器的投射点之间的连线与理想成像平面坐标系的横向像素平行。

进一步的，还包括对所述变换矩阵和理想视差值进行优化的步骤，具体为：

构建单应矩阵H作为变换矩阵来表示从实际相机坐标系到所述理想成像平面坐标系的坐标变化；

对理想成像平面的理想成像散斑点的坐标进行对极约束，所述对极约束的条件为：同一理想成像散斑点在不同距离下的成像差异，且只在x轴上变化；

基于所述对极约束的条件和单应矩阵H构造通过相机成像平面上的散斑点计算单应矩阵H和理想视差值的非线性方程，通过多次移动参考面获取多组散斑点对，求解并优化所述非线性方程的计算结果，对单应矩阵H进行优化。

技术方案二：

一种基于理想成像平面的散斑结构光标定设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

确定实际结构光标定，在指定位置上完成结构光相机模组的装配，所述结构光相机模组包括散斑投射器和红外相机，垂直于红外相机的成像平面设置参考面，移动参考面，通过红外相机的成像平面获取在参考面移动过程中的散斑投射器投射出的散斑点对，根据所述散斑点对的偏移量获取实际视差值；

建立理想成像平面，根据散斑投射器的投射点、红外相机的光心位置以及参考面的实际位置确定理想成像平面，所述理想成像平面为理想状态的无安装误差成像平面；

计算变换矩阵，通过红外相机实际位置的坐标系确定实际相机成像平面与理想成像平面之间的空间位置关系，根据所述空间位置关系计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；

计算相机外部参数，根据所述变换矩阵，对所述实际视差值进行矩阵变换，获取理想视差值；根据所述理想视差值计算相机外部参数。

进一步的，确定所述理想成像平面的条件为：所述理想成像平面与参考面平行且所述理想成像平面的光心与散斑投射器的投射点之间的连线与理想成像平面坐标系的横向像素平行。

进一步的，还包括对所述变换矩阵和理想视差值进行优化的步骤，具体为：

构建单应矩阵H作为变换矩阵来表示从实际相机坐标系到所述理想成像平面坐标系的坐标变化；

对理想成像平面的理想成像散斑点的坐标进行对极约束，所述对极约束的条件为：同一理想成像散斑点在不同距离下的成像差异，且只在x轴上变化；

基于所述对极约束的条件和单应矩阵H构造通过相机成像平面上的散斑点计算单应矩阵H和理想视差值的非线性方程，通过多次移动参考面获取多组散斑点对，求解并优化所述非线性方程的计算结果，对单应矩阵H进行优化。

本发明具有如下有益效果：

1、本发明一种基于理想成像平面的散斑结构光标定方法，通过建立理想成像平面，在标定过程中不需要进行AA对齐装配设备，降低对产线装配的要求和成本。

2、本发明一种基于理想成像平面的散斑结构光标定方法，通过对变化矩阵和理想视差值进行非线性优化，有效降低了标定误差，从而提高视差匹配速度和计算的精度。

3、本发明一种基于理想成像平面的散斑结构光标定方法，可以获取不良品的实际相机成像平面与理想成像平面之间的空间位置关系，根据该空间位置关系可以通过后期算法对不良品的相机模组的参数进行校正，从而降低产品不良率。

附图说明

图1为现有散斑结构光相机标定方案的流程示意图；

图2为散斑结构光的外参求解模型的示例图；

图3为本发明实施例的散斑结构光标定的流程图；

图4为实际相机成像平面与理想成像平面的对比示例图；

图5为实际相机成像平面与理想成像平面的极线对比示例图；

图6为本发明实施例二中对变换矩阵和理想视差值进行优化的流程图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一：

参见图3至图5，一种基于理想成像平面的散斑结构光标定方法，包括以下步骤：

确定实际结构光标定，在指定位置上完成结构光相机模组的装配，所述结构光相机模组包括散斑投射器和红外相机，垂直于红外相机的成像平面设置参考面，记录此时参考面到结构光相机模组的距离L以及此时红外相机的成像平面C上的散斑图，接着移动参考面，第二次记录参考面到结构光相机模组的距离depth以及此时红外相机的成像平面C上的散斑图，根据前后两幅散斑图上的一组散斑点对获取实际视差值d；

产生标定误差的具体原因是红外相机和散斑投射器在装配过程中存在装配误差，如红外相机的成像平面发生倾斜，翻转，移位，如图4所示，将使得理想标定模型的约束关系被打破。此时基线b、成像平面C以及参考面之间都不满足三角约束关系，因此如果继续使用公式

进行参数计算，将会带来较大标定误差。此外，装配误差也导致了成像平面的极线不再与横向像素平行，造成特征匹配过程的时间开销增大，如图5所示。

为此，本实施例建立理想成像平面C_true，根据散斑投射器和参考面的实际位置确定理想成像平面C_true；在本实施例中，建立一个虚拟标定模型来确定理想成像平面C_true，首先建立一虚拟空间，虚拟空间的虚拟坐标系与真实的世界坐标系相同，创建散斑投射器和参考面的虚拟模型放入虚拟空间中，散斑投射器和参考面的虚拟模型的虚拟坐标与真实的世界坐标相同；预设定理想成像平面C_true与参考面和散斑投射器之间的关系，根据该关系在虚拟空间中确定理想成像平面C_true；

计算变换矩阵，通过红外相机实际位置的坐标系与世界坐标系的关系，在虚拟空间中创建虚拟相机成像平面，在虚拟空间对虚拟相机成像平面进行旋转和平移，如图4所示，R为旋转矩阵，t为平移矩阵，使虚拟相机成像平面和理想成像平面C_true重合，例如：

p_C为某个散斑点在红外相机坐标系下的坐标。

考虑将散斑点从实际成像平面变换到理想成像平面C_true，此时对于投射器投射出的同一个散斑点，其坐标由p_C→p′_C，且满足：

p′_C＝Rp_c+t

变换到实际相机成像平面坐标系中，则有：

p＝Kp_c

p′＝Kp′_C

其中，K为相机内部参数；

从而确定实际相机成像平面C与理想成像平面C_true之间的空间位置关系，根据所述空间位置关系计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；

计算相机外部参数，根据所述变换矩阵，对所述实际视差值d进行变换，获取理想视差值d’；根据所述理想视差值d’计算相机外部参数。

本实施例通过建立理想成像平面C_true，在标定过程中不需要进行AA对齐装配设备，降低对产线装配的要求和成本。

实施例二：

进一步的，确定所述理想成像平面的条件为：

1)理想成像平面C_true与参考面平行；

2)所述理想成像平面C_true的光心与散斑投射器的投射点之间的连线为虚拟基线，虚拟基线与理想成像平面坐标系的横向像素平行。

进一步的，参考图5和图6，还包括对所述变换矩阵和理想视差值进行优化的步骤，具体为：

构建单应矩阵H作为变换矩阵来表示从实际相机坐标系到所述理想成像平面坐标系的坐标变化；

H具体形式为一个3×3矩阵，设为：

令p＝(x y 1)^T，p′＝(x′ y′ 1)^T，可得：

令h₃₃＝1，整理得：

此时方程只需要四个匹配点对就可求得单应矩阵H。

具体参见图5，由于匹配点对处于理想成像平面C_true中，且不可观测，因此需要额外的条件约束；本实施例从理想成像平面C_true为出发点，结合可观测的实际相机成像平面的标定数据C，以及理想成像平面C_true和实际相机成像平面C的对极约束性质，对理想成像平面C_true的理想成像散斑点的坐标进行对极约束，对极约束的条件为：同一理想成像散斑点在不同距离下的成像差异，且只在x轴上变化；

基于上述约束条件，可得：

p′₂-p′₁＝Hp₂-Hp₁；

一对匹配点可以构造两个非线性方程，方程中存在有九个未知数，分别为h₁₁，h₁₂，h₁₃，h₂₁，h₂₂，h₂₃，h₃₁，h₃₂，d。可知，至少需要五对匹配点便可求出矩阵H和理想视差值d’。但实际计算中，为了获得更精确的数据，需要匹配点对将超过5对，因此以上方程的求解是一个非线性超定方求解问题。

构造非线性方程如下：

其中，N为匹配的点对数量；

通过多次移动参考面获取多组散斑点对，求解并优化所述非线性方程的计算结果，可以人为设置误差阈值，当通过优化后的理想视差值求取的相机外参小于误差阈值时，则停止优化；可设定优化的次数限制，超过一定优化次数后不再对变换矩阵和理想视差值进行优化。

本实施例通过对变化矩阵和理想视差值进行非线性优化，有效降低了标定误差，通过对理想成像平面进行对极约束使得其极线与横向像素平行，像素搜索匹配只在理想成像平面坐标系的横轴上进行横移就可以完成，从而提高视差匹配速度。其次，理想成像平面的意义在于原本不适用的参数计算公式

可以正确适用，不存在理论计算误差，因此提高了计算精度；对于装配好的相机模组，难以对已存在误差硬件再做调整，往往直接将模组当做不良品淘汰，而通过本实施例的方法可以获取不良品的实际相机成像平面与理想成像平面之间的空间位置关系，根据该空间位置关系可以通过后期算法对不良品的相机模组的参数进行校正，从而降低产品不良率。

实施例三：

参见图3至图5，一种基于理想成像平面的散斑结构光标定设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

确定实际结构光标定，在指定位置上完成结构光相机模组的装配，所述结构光相机模组包括散斑投射器和红外相机，垂直于红外相机的成像平面设置参考面，记录此时参考面到结构光相机模组的距离L以及此时红外相机的成像平面C上的散斑图，接着移动参考面，第二次记录参考面到结构光相机模组的距离depth以及此时红外相机的成像平面C上的散斑图，根据前后两幅散斑图上的一组散斑点对获取实际视差值d；

产生标定误差的具体原因是红外相机和散斑投射器在装配过程中存在装配误差，如红外相机的成像平面发生倾斜，翻转，移位，如图4所示，将使得理想标定模型的约束关系被打破。此时基线b、成像平面C以及参考面之间都不满足三角约束关系，因此如果继续使用公式

进行参数计算，将会带来较大标定误差。此外，装配误差也导致了成像平面的极线不再与横向像素平行，造成特征匹配过程的时间开销增大，如图5所示。

为此，本实施例建立理想成像平面C_true，根据散斑投射器和参考面的实际位置确定理想成像平面C_true；在本实施例中，建立一个虚拟标定模型来确定理想成像平面C_true，首先建立一虚拟空间，虚拟空间的虚拟坐标系与真实的世界坐标系相同，创建散斑投射器和参考面的虚拟模型放入虚拟空间中，散斑投射器和参考面的虚拟模型的虚拟坐标与真实的世界坐标相同；预设定理想成像平面C_true与参考面和散斑投射器之间的关系，根据该关系在虚拟空间中确定理想成像平面C_true；

计算变换矩阵，通过红外相机实际位置的坐标系与世界坐标系的关系，在虚拟空间中创建虚拟相机成像平面，在虚拟空间对虚拟相机成像平面进行旋转和平移，如图4所示，R为旋转矩阵，t为平移矩阵，使虚拟相机成像平面和理想成像平面C_true重合，例如：

p_C为某个散斑点在红外相机坐标系下的坐标。

考虑将散斑点从实际成像平面变换到理想成像平面C_true，此时对于投射器投射出的同一个散斑点，其坐标由p_C→p′_C，且满足：

p′_C＝Rp_c+t

变换到实际相机成像平面坐标系中，则有：

p＝Kp_c

p′＝Kp′_C

其中，K为相机内部参数；

从而确定实际相机成像平面C与理想成像平面C_true之间的空间位置关系，根据所述空间位置关系计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；

计算相机外部参数，根据所述变换矩阵，对所述实际视差值d进行变换，获取理想视差值d’；根据所述理想视差值d’计算相机外部参数。

本实施例通过建立理想成像平面C_true，在标定过程中不需要进行AA对齐装配设备，降低对产线装配的要求和成本。

实施例四：

进一步的，确定所述理想成像平面的条件为：

1)理想成像平面C_true与参考面平行；

2)所述理想成像平面C_true的光心与散斑投射器的投射点之间的连线为虚拟基线，虚拟基线与理想成像平面坐标系的横向像素平行。

进一步的，参考图5和图6，还包括对所述变换矩阵和理想视差值进行优化的步骤，具体为：

构建单应矩阵H作为变换矩阵来表示从实际相机坐标系到所述理想成像平面坐标系的坐标变化；

H具体形式为一个3×3矩阵，设为：

令p＝(x y 1)^T，p′＝(x′ y′ 1)^T，可得：

令h₃₃＝1，整理得：

此时方程只需要四个匹配点对就可求得单应矩阵H。

具体参见图5，由于匹配点对处于理想成像平面C_true中，且不可观测，因此需要额外的条件约束；本实施例从理想成像平面C_true为出发点，结合可观测的实际相机成像平面的标定数据C，以及理想成像平面C_true和实际相机成像平面C的对极约束性质，对理想成像平面C_true的理想成像散斑点的坐标进行对极约束，对极约束的条件为：同一理想成像散斑点在不同距离下的成像差异，且只在x轴上变化；

基于上述约束条件，可得：

p′₂-p′₁＝Hp₂-Hp1；

一对匹配点可以构造两个非线性方程，方程中存在有九个未知数，分别为h₁₁，h₁₂，h₁₃，h₂₁，h₂₂，h₂₃，h₃₁，h₃₂，d。可知，至少需要五对匹配点便可求出矩阵H和理想视差值d’。但实际计算中，为了获得更精确的数据，需要匹配点对将超过5对，因此以上方程的求解是一个非线性超定方求解问题。

构造非线性方程如下：

其中，N为匹配的点对数量；

通过多次移动参考面获取多组散斑点对，求解并优化所述非线性方程的计算结果，可以人为设置误差阈值，当通过优化后的理想视差值求取的相机外参小于误差阈值时，则停止优化；可设定优化的次数限制，超过一定优化次数后不再对变换矩阵和理想视差值进行优化。

本实施例通过对变化矩阵和理想视差值进行非线性优化，有效降低了标定误差，通过对理想成像平面进行对极约束使得其极线与横向像素平行，像素搜索匹配只在理想成像平面坐标系的横轴上进行横移就可以完成，从而提高视差匹配速度。其次，理想成像平面的意义在于原本不适用的参数计算公式

可以正确适用，不存在理论计算误差，因此提高了计算精度；对于装配好的相机模组，难以对已存在误差硬件再做调整，往往直接将模组当做不良品淘汰，而通过本实施例的方法可以获取不良品的实际相机成像平面与理想成像平面之间的空间位置关系，根据该空间位置关系可以通过后期算法对不良品的相机模组的参数进行校正，从而降低产品不良率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于理想成像平面的散斑结构光标定方法，其特征在于，包括以下步骤：

确定实际结构光标定，在指定位置上完成结构光相机模组的装配，所述结构光相机模组包括散斑投射器和红外相机，垂直于红外相机的成像平面设置参考面，移动参考面，通过红外相机的成像平面获取在参考面移动过程中的散斑投射器投射出的散斑点对，根据所述散斑点对的偏移量获取实际视差值；

建立理想成像平面，根据散斑投射器的投射点、红外相机的光心位置以及参考面的实际位置确定理想成像平面，所述理想成像平面为理想状态的无安装误差成像平面；

计算变换矩阵，通过红外相机实际位置的坐标系确定实际相机成像平面与理想成像平面之间的空间位置关系，根据所述空间位置关系计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；

计算相机外部参数，根据所述变换矩阵，对所述实际视差值进行矩阵变换，获取理想视差值；根据所述理想视差值计算相机外部参数。

2.根据权利要求1所述的一种基于理想成像平面的散斑结构光标定方法，其特征在于，确定所述理想成像平面的条件为：所述理想成像平面与参考面平行且所述理想成像平面的光心与散斑投射器的投射点之间的连线与理想成像平面坐标系的横向像素平行。

3.根据权利要求1所述的一种基于理想成像平面的散斑结构光标定方法，其特征在于，还包括对所述变换矩阵和理想视差值进行优化的步骤，具体为：

构建单应矩阵H作为变换矩阵来表示从实际相机坐标系到所述理想成像平面坐标系的坐标变化；

对理想成像平面的理想成像散斑点的坐标进行对极约束，所述对极约束的条件为：同一理想成像散斑点在不同距离下的成像差异，且只在x轴上变化；

基于所述对极约束的条件和单应矩阵H构造通过相机成像平面上的散斑点计算单应矩阵H和理想视差值的非线性方程，通过多次移动参考面获取多组散斑点对，求解并优化所述非线性方程的计算结果，对单应矩阵H进行优化。

4.一种基于理想成像平面的散斑结构光标定设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

确定实际结构光标定，在指定位置上完成结构光相机模组的装配，所述结构光相机模组包括散斑投射器和红外相机，垂直于红外相机的成像平面设置参考面，移动参考面，通过红外相机的成像平面获取在参考面移动过程中的散斑投射器投射出的散斑点对，根据所述散斑点对的偏移量获取实际视差值；

建立理想成像平面，根据散斑投射器的投射点、红外相机的光心位置以及参考面的实际位置确定理想成像平面，所述理想成像平面为理想状态的无安装误差成像平面；

计算变换矩阵，通过红外相机实际位置的坐标系确定实际相机成像平面与理想成像平面之间的空间位置关系，根据所述空间位置关系计算从实际相机坐标系到所述理想成像平面坐标系的变换矩阵；

计算相机外部参数，根据所述变换矩阵，对所述实际视差值进行矩阵变换，获取理想视差值；根据所述理想视差值计算相机外部参数。

5.根据权利要求4所述的一种基于理想成像平面的散斑结构光标定设备，其特征在于，确定所述理想成像平面的条件为：所述理想成像平面与参考面平行且所述理想成像平面的光心与散斑投射器的投射点之间的连线与理想成像平面坐标系的横向像素平行。

6.根据权利要求4所述的一种基于理想成像平面的散斑结构光标定设备，其特征在于，还包括对所述变换矩阵和理想视差值进行优化的步骤，具体为：

构建单应矩阵H作为变换矩阵来表示从实际相机坐标系到所述理想成像平面坐标系的坐标变化；

对理想成像平面的理想成像散斑点的坐标进行对极约束，所述对极约束的条件为：同一理想成像散斑点在不同距离下的成像差异，且只在x轴上变化；

基于所述对极约束的条件和单应矩阵H构造通过相机成像平面上的散斑点计算单应矩阵H和理想视差值的非线性方程，通过多次移动参考面获取多组散斑点对，求解并优化所述非线性方程的计算结果，对单应矩阵H进行优化。

Images