CN112288826A - 双目相机的标定方法、装置及终端 - Google Patents

Abstract

一种双目相机的标定方法、装置及终端，所述方法包括：获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；根据所述左相机图像和所述右相机图像进行双目相机的标定。本发明技术方案可以扩大双目相机标定方法的适用范围。

Description

双目相机的标定方法、装置及终端

技术领域

本发明涉及图像处理技术领域，尤其涉及一种双目相机的标定方法、装置及终端。

背景技术

双目相机标定是计算机视觉领域的一项关键技术，主要目的是获取双目相机的内参数、外参数以及镜头畸变参数等。其中，内参数包括相机的焦距、主点、切变系数等；外参数包括两相机之间的相对位移和相对旋转；镜头畸变包括径向畸变和切向畸变。双目相机标定可应用于三维建模、虚拟现实、增强现实等领域。

现有技术中，相机标定一般分为基于几何测量的标定和自标定两种标定方法。基于几何测量的标定一般会使用一个特定的已知尺寸的标记物来提供图像点与三维空间对应点的映射关系，从而计算出标定参数。在实际应用中，主要有Tsai法使用三维标定板，以及张正友方法使用平面标定板。自标定则不需要特定的标记物。自标定细分为两类：基于场景约束的自标定和基于几何约束的自标定。基于场景约束的自标定往往借助于场景里的特定模式，如平行线，来提供正交的消隐点和消隐线，再根据多视角几何算法求解标定参数。基于几何约束的自标定则依靠多视图彼此间的内在几何限制，如绝对二次曲线约束，来完成标定任务。

但是，传统基于几何测量的标定方法往往需要在离线模式下，提供多张不同视角的平面标定图像，不适用于移动设备相机模组的在线标定和流水线作业。自标定方法则受限于图像场景，某些特定的空间特征分布会导致自标定求解框架的退化，出现奇异值。

发明内容

本发明解决的技术问题是如何扩大双目相机标定方法的适用范围。

为解决上述技术问题，本发明实施例提供一种双目相机的标定方法，双目相机的标定方法包括：

获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；根据所述左相机图像和所述右相机图像进行双目相机的标定。

可选的，所述根据所述左相机图像和所述右相机图像进行双目相机的标定包括：对所述左相机图像和所述右相机图像进行角点检测，以得到所有角点的图像坐标；利用所有角点的图像坐标分别计算左相机和右相机的单应矩阵以及参数的初始值，并利用左相机和右相机的单应矩阵以及参数的初始值进行优化，以得到左相机右相机的参数的优化值；利用所述左相机和右相机的参数的优化值进行双目相机的立体标定。

可选的，所述参数包括镜头畸变参数；所述利用左相机和右相机的单应矩阵以及参数的初始值进行优化包括：在所述镜头畸变参数的初始值和设定畸变阈值范围内依次更新所述镜头畸变参数的值；每次更新后，利用所述单应矩阵和更新后的所述镜头畸变参数的值，对每个平面网格标定板上各个角点进行几何变换，以得到各个角点在所述左相机图像和右相机图像上的投影点；每次变换后，对于所有平面网格标定板上所有角点，计算在所述左相机图像和右相机图像上的对应点的像素坐标与所述投影点的坐标差异值之和；选取所述坐标差异值之和的最小值对应的参数的值，以作为所述左相机和右相机的参数的优化值。

可选的，采用以下公式计算所述坐标差异值之和的最小值：

D＜D_thre；其中，n是所述平面网格标定板的数目，m是每个平面网格标定板中角点的数目，

是角点M_j在图像i上的投影点，m_ij是角点M_j在图像i上的对应点，KK是内参数，D是所述镜头畸变参数，R_i,T_i是角点的世界坐标与相机的世界坐标的相对旋转矩阵和相对平移矢量，D_thre是所述畸变阈值。

可选的，所述利用所述左相机和右相机的参数的优化值进行双目相机的立体标定包括：计算所述左相机和所述右相机的相对方位初始值；利用所述相对方位初始值进行参数优化，以得到所述左相机和所述右相机的相对平移矢量；计算所述相对平移矢量的最大分量之外的其他分量与所述最大分量的比值；如果所述比值大于相对位移阈值且小于1，则所述相对平移矢量为最优相对位移参数，否则，将所述其他分量配置为0，并将配置后的所述相对平移矢量作为所述最优相对位移参数。

可选的，所述标定方法还包括：对所述左相机图像和所述右相机图像进行边界裁剪。

可选的，对所述左相机图像和所述右相机图像进行边界裁剪包括：根据左相机和右相机的原始内参矩阵以及新内参矩阵计算左单应矩阵和右单应矩阵，所述原始内参矩阵和所述新内参矩阵的主点不同；利用所述左单应矩阵和所述右单应矩阵分别对所述左相机图像和所述右相机图像的边界点进行单应变换，以使得所述左相机图像和所述右相机图像处于矫正平面，所述左相机图像和所述右相机图像在矫正平面上的对极线与水平线平行，所述边界点形成边界区域；在所述矫正平面上，对单应变换后的所述左相机图像和所述右相机图像的边界区域取交集，以作为边界裁剪后的图像区域。

可选的，所述标定方法还包括：使用所述左相机图像和所述右相机图像对所述边界裁剪后的图像区域进行像素填充。

可选的，采用以下公式计算所述新内参矩阵的主点：

X_L′＝KK_L′*R_L*KK_L ^-1*X_L；

X_R′＝KK_R′*R_R*KK_R ^-1*X_R；

其中，KK_L、KK_R分别是左相机的原始内参矩阵和右相机的原始内参矩阵，其主点分别为所述左相机图像和所述右相机图像的中心点；KK_L′、KK_R′分别是左相机的第一内参矩阵和右相机的第一内参矩阵，其主点为零；X_L、X_R分别为所述左相机图像和所述右相机图像的边界点的齐次坐标；R_L、R_R分别为所述左相机图像和所述右相机图像的旋转矩阵；X_L′、X_R′为中间参数分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的齐次坐标；X_L″、X_R″分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的非齐次坐标，

表示对所述左相机图像和所述右相机图像所有边界点经过单应变换后的非齐次坐标取均值；w、h为所述左相机图像和所述右相机图像的宽度和长度；

为所述新内参矩阵的主点。

为解决上述技术问题，本发明实施例还公开了一种双目相机的标定装置，双目相机的标定装置包括：获取模块，适于获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；标定模块，适于根据所述左相机图像和所述右相机图像进行双目相机的标定。

可选的，所述标定模块包括：检测单元，适于对所述左相机图像和所述右相机图像进行角点检测，以得到所有角点的图像坐标；参数优化单元，适于利用所有角点的图像坐标分别计算左相机和右相机的单应矩阵以及参数的初始值，并利用左相机和右相机的单应矩阵以及参数的初始值进行优化，以得到左相机右相机的参数的优化值；立体标定单元，适于利用所述左相机和右相机的参数的优化值进行双目相机的立体标定。

可选的，所述参数优化单元包括：更新子单元，适于在所述镜头畸变参数的初始值和设定畸变阈值范围内依次更新所述镜头畸变参数的值；几何变换子单元，适于在每次更新后，利用所述单应矩阵和更新后的所述镜头畸变参数的值，对每个平面网格标定板上各个角点进行几何变换，以得到各个角点在所述左相机图像和右相机图像上的投影点；计算子单元，适于在每次变换后，对于所有平面网格标定板上所有角点，计算在所述左相机图像和右相机图像上的对应点的像素坐标与所述投影点的坐标差异值之和；优化值选取子单元，适于选取所述坐标差异值之和的最小值对应的参数的值，以作为所述左相机和右相机的参数的优化值。

可选的，所述计算子单元采用以下公式计算所述坐标差异值之和的最小值：

其中，n是所述平面网格标定板的数目，m是每个平面网格标定板中角点的数目，

是角点M_j在图像i上的投影点，m_ij是角点M_j在图像i上的对应点，KK是内参数，D是所述镜头畸变参数，R_i,T_i是角点的世界坐标与相机的世界坐标的相对旋转矩阵和相对平移矢量，D_thre是所述畸变阈值。

可选的，所述立体标定单元包括：相对方位初始值计算子单元，适于计算所述左相机和所述右相机的相对方位初始值；参数优化子单元，适于利用所述相对方位初始值进行参数优化，以得到所述左相机和所述右相机的相对平移矢量；比值计算子单元，适于计算所述相对平移矢量的最大分量之外的其他分量与所述最大分量的比值；最优相对位移参数确定子单元，适于如果所述比值大于相对位移阈值且小于1，则所述相对平移矢量为最优相对位移参数，否则，将所述其他分量配置为0，并将配置后的所述相对平移矢量作为所述最优相对位移参数。

可选的，所述标定装置还包括：边界裁剪模块，适于对所述左相机图像和所述右相机图像进行边界裁剪。

可选的，所述标定装置还包括：像素填充模块，适于使用所述左相机图像和所述右相机图像对所述边界裁剪后的图像区域进行像素填充。

可选的，所述单应矩阵计算单元采用以下公式计算所述新内参矩阵的主点：

X_L′＝KK_L′*R_L*KK_L ^-1*X_L；

X_R′＝KK_R′*R_R*KK_R ^-1*X_R；

其中，KK_L、KK_R分别是左相机的原始内参矩阵和右相机的原始内参矩阵，其主点分别为所述左相机图像和所述右相机图像的中心点；KK_L′、KK_R′分别是左相机的第一内参矩阵和右相机的第一内参矩阵，其主点为零；X_L、X_R分别为所述左相机图像和所述右相机图像的边界点的齐次坐标；R_L、R_R分别为所述左相机图像和所述右相机图像的旋转矩阵；X_L′、X_R′分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的齐次坐标；X_L″、X_R″分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的非齐次坐标，

表示对所述左相机图像和所述右相机图像所有边界点经过单应变换后的非齐次坐标取均值；w、h为所述左相机图像和所述右相机图像的宽度和长度；

为所述新内参矩阵的主点。

为解决上述技术问题，本发明实施例还公开了一种终端，所述终端可以包括所述双目相机的标定装置。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明技术方案获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；根据所述左相机图像和所述右相机图像进行双目相机的标定。本发明技术方案获取到的左相机图像和右相机图像是针对多幅不同视角的平面网格标定板单次拍摄得到的。换句话说，左相机图像和右相机图像是单视角图像，从而在相机标定时，可以兼顾相机图像获取的便捷性和平面网格标定板的视角的全面性，进而可以应用于移动设备相机模组的在线标定和流水线作业，扩大了双目相机标定方法的适用范围。

进一步，所述利用左相机和右相机的单应矩阵以及参数的初始值进行优化包括：在所述镜头畸变参数的初始值和设定畸变阈值范围内依次更新所述镜头畸变参数的值；每次更新后，利用所述单应矩阵和更新后的所述镜头畸变参数的值，对每个平面网格标定板上各个角点进行几何变换，以得到各个角点在所述左相机图像和右相机图像上的投影点；每次变换后，对于所有平面网格标定板上所有角点，计算在所述左相机图像和右相机图像上的对应点的像素坐标与所述投影点的坐标差异值之和；选取所述坐标差异值之和的最小值对应的参数的值，以作为所述左相机和右相机的参数的优化值。本发明技术方案在镜头畸变参数的初始值和设定畸变阈值范围内，对左相机和右相机的参数进行优化，从而得到左相机和右相机的参数的优化值；由于移动设备的相机模组畸变较小，对左相机和右相机的参数进行优化时，使用设定畸变阈值对镜头畸变参数进行约束，能够提高标定结果的准确度和鲁棒性，保证了双目相机的标定精度。

附图说明

图1是本发明实施例一种双目相机的标定方法的流程图；

图2是本发明实施例一种双目相机的标定装置的结构示意图；

图3是本发明实施例另一种双目相机的标定装置的结构示意图。

具体实施方式

如背景技术中所述，传统基于几何测量的标定方法往往需要在离线模式下，提供多张不同视角的平面标定图像，不适用于移动设备相机模组的在线标定和流水线作业。自标定方法则受限于图像场景，某些特定的空间特征分布会导致自标定求解框架的退化，出现奇异值。

本发明技术方案获取到的左相机图像和右相机图像是针对多幅不同视角的平面网格标定板单次拍摄得到的，换句话说，左相机图像和右相机图像是单视角图像，从而在相机标定时，可以兼顾相机图像获取的便捷性和平面网格标定板的视角的全面性，进而可以应用于移动设备相机模组的在线标定和流水线作业，扩大了双目相机标定方法的适用范围。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种双目相机的标定方法的流程图。

图1所示的双目相机的标定方法可以包括以下步骤：

步骤S101：获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；

步骤S102：根据所述左相机图像和所述右相机图像进行双目相机的标定。

具体实施中，由于相机标定通常需要多张不同视角的标定板图像，因此为了实现单次标定(Single Shot Calibration)，即仅通过单次拍摄图像就可以进行后续标定操作，在步骤S101中，获取到的左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到。具体而言，可以配置多幅不同视角的平面网格标定板，多幅不同视角的平面网格标定板可以处于同一景深范围内。更具体地，多幅不同视角的平面网格标定板可以进行固定，则双目相机的左相机和右相机仅拍摄一次，保证多幅不同视角的平面网格标定板都在视野范围内，就可以得到左相机图像和右相机图像。

具体实施中，平面网格标定板上的网格图案具有角点。具体而言，所述网格图案可以是棋盘格，也可以是圆形。网格图案中网格的数量可以根据实际的应用环境进行适应性的配置和修改，本发明实施例对此不做限制。

可以理解的是，平面网格标定板的数量可以根据实际的应用环境进行适应性的配置和修改；优选地，平面网格标定板的数量为四。

具体实施中，在步骤S102中，根据所述左相机图像和所述右相机图像进行双目相机的标定，以获取双目相机的内参数、外参数以及镜头畸变参数等。

本发明实施例获取到的左相机图像和右相机图像是针对多幅不同视角的平面网格标定板单次拍摄得到的，换句话说，左相机图像和右相机图像是单视角图像，从而在相机标定时，可以兼顾相机图像获取的便捷性和平面网格标定板的视角的全面性，进而可以应用于移动设备相机模组的在线标定和流水线作业，扩大了双目相机标定方法的适用范围。此外，本发明实施例避免了现有技术中需要拍摄多次图像，以得到多幅不同视角的平面网格标定板的图像的问题，还可以提高双目相机标定的效率。

优选地，步骤S102可以包括以下步骤：对所述左相机图像和所述右相机图像进行角点检测，以得到所有角点的图像坐标；利用所有角点的图像坐标分别计算左相机和右相机的单应矩阵以及参数的初始值，并利用左相机和右相机的单应矩阵以及参数的初始值进行优化，以得到左相机右相机的参数的优化值；利用所述左相机和右相机的参数的优化值进行双目相机的立体标定。

具体实施中，平面网格标定板上的每个角点在物理世界的三维空间中存在世界坐标，在左相机图像和右相机图像中分别存在图像坐标。角点的图像坐标m可表示为m＝[u,v]^T，图像坐标的齐次坐标

角点的世界坐标M可表示为M＝[X,Y,Z]^T，世界坐标的齐次坐标

由于角点处于平面网格标定板上，因此令Z＝0，则

单应矩阵H(Homography)可以在图像坐标的齐次坐标

和世界坐标的齐次坐标

之间建立联系：

其中，s为尺度因子。故，利用角点的图像坐标和世界坐标可以计算单应矩阵。

进一步地，在检测得到角点的图像坐标后，可以根据直接线性变换(DirectLinear Transformation，DLT)计算出单应矩阵的初始值H_ini。然后使用LM算法(Levenberg-Marquardt)方法对单应矩阵的初始值H_ini进行优化，获得最终的单应矩阵H。

本领域技术人员应当理解的是，角点的图像坐标可以是在图像坐标系中的坐标值。

具体实施中，在计算参数的初始值时，参数包括内参数、外参数和镜头畸变参数。其中，内参数包括焦距，主点和切变参数；外参数包括相机坐标与世界坐标之间的相对平移和相对旋转。进一步地，主点初始值设为图像中心，切边参数初始值设为零；对于焦距的初始值，可以由单应矩阵获得多对正交消隐点，按下述的约束条件使用最小二乘法进行求解：

v₁ ^Tωv₂＝0；其中ω＝K^-TK^-1为绝对二次曲线的图像，v₁、v₂为一对正交消隐点。

此外，镜头畸变参数的初始值均设为零。相机坐标与世界坐标之间的相对平移和相对旋转可以使用格拉姆-施密特正交化(Gram–Schmidt process)和单应矩阵H求出。

本发明技术人员应当理解的是，计算单应矩阵以及计算参数的初始值时，可以采用任意可实施的方式来实现，本发明实施例对此不做限制。

优选地，所述利用左相机和右相机的单应矩阵以及参数的初始值进行优化包括：在所述镜头畸变参数的初始值和设定畸变阈值范围内依次更新所述镜头畸变参数的值；每次更新后，利用所述单应矩阵和更新后的所述镜头畸变参数的值，对每个平面网格标定板上各个角点进行几何变换，以得到各个角点在所述左相机图像和右相机图像上的投影点；每次变换后，对于所有平面网格标定板上所有角点，计算在所述左相机图像和右相机图像上的对应点的像素坐标与所述投影点的坐标差异值之和；选取所述坐标差异值之和的最小值对应的参数的值，以作为所述左相机和右相机的参数的优化值。

具体实施中，在双目相机的镜头畸变较小时，例如移动设备的相机模组，如果采用现有技术进行相机参数优化，则会导致计算量增大，且准确性难以保证。因此，在对左相机和右相机的参数进行优化时，可以选择在优化时对镜头畸变参数使用限制条件，在镜头畸变参数的初始值和设定畸变阈值范围内进行优化，提高标定结果的准确度和鲁棒性。

进一步地，在完成初始化后，即可使用LM方法最小化的代价函数，计算所述坐标差异值之和的最小值，从而完成左相机和右相机的参数优化。

所述代价函数为：

D＜D_thre；

其中，n是所述平面网格标定板的数目，m是每个平面网格标定板中角点的数目，

是角点M_j在图像i上的投影点，m_ij是角点M_j在图像i上的对应点，KK是内参数，D是所述镜头畸变参数，R_i,T_i是角点的世界坐标与相机的世界坐标的相对旋转矩阵和相对平移矢量，D_thre是所述畸变阈值。

可以理解的是，在优化过程中，也可以对内参数KK的值进行更新，内参数KK的更新范围可以采用任意可实施的方式确定，本发明实施例对此不做限制。

在完成左相机和右相机的参数的优化后，还需要对左相机和右相机进行双目相机的立体标定。

优选地，利用所述左相机和右相机的参数的优化值进行双目相机的立体标定包括：计算所述左相机和所述右相机的相对方位初始值；利用所述相对方位初始值进行参数优化，以得到所述左相机和所述右相机的相对平移矢量；计算所述相对平移矢量的最大分量之外的其他分量与所述最大分量的比值；如果所述比值大于相对位移阈值且小于1，则所述相对平移矢量为最优相对位移参数，否则，将所述其他分量配置为0，并将配置后的所述相对平移矢量作为所述最优相对位移参数。

具体而言，首先可以计算左相机和右相机的相对方位初始值。具体地，左相机和右相机的相对方位初始值可以采用以下方式来计算：X1_c＝R1_cw*X_w+T1_cw；X2_c＝R2_cw*X_w+T2_cw；X2_c＝R*X1_c+T；其中，R为左相机和右相机的相对旋转矩阵，R＝R2_cw*R1_cw ^T,T为左相机和右相机的相对平移矢量，T＝T2_cw-R2_cw*R1_cw ^T*T1_cw，X_w是目标角点的世界坐标，X1_c、X2_c分别是左相机和右相机的世界坐标，R1_cw和T1_cw为左相机与目标角点的相对旋转矩阵与相对平移矢量，R2_cw和T2_cw为右相机与目标角点的相对旋转矩阵与相对平移矢量。

对左相机图像和右相机图像中的任一平面网格标定板，均按上述公式计算左相机和右相机的相对方位。然后对所有的相对旋转矩阵集合{R_i,i＝1,…,N}使用罗德里格公式(Rodrigues’s Formula)得到相对旋转矢量集合{om_i,i＝1,…,N}。取相对旋转矢量集合和相对平移矢量集合的中值作为左相机和右相机相对方位的初始值。

然后，可以采用以下公式以及所述相对方位初始值进行参数优化：

D_l＜D_thre；其中，n是所述平面网格标定板的数目，m是每个平面网格标定板中角点的数目，p是相机的数目，

是角点M_j在相机l的图像i上的投影点，m_ijl是角点M_j在相机l的图像i上的对应点，KK_l是相机l的内参数，D_l是相机l的所述镜头畸变参数，R_il,T_il是角点的世界坐标与相机l的世界坐标的相对旋转矩阵和相对平移矢量，D_thre是所述畸变阈值。

进一步地，在镜头畸变较小时，左相机和右相机参数优化完成后，优化算法存在一定误差，导致估计的参数存在误差，优化结果可能出现相对平移的错位现象。因此，本实施例采用相对位移阈值的相对位移约束，对误差进行约束，以保证后续的图像对齐环节的效果。具体地，相对平移矢量可以包括多个分量，例如，三维坐标系中的x分量、y分量和z分量。可以采用以下公式对相对平移矢量进行位移约束：

_i＝0；其中，T_thre为相对位移阈值，T_i为相对平移矢量的任一分量。

需要说明的是，相对位移阈值的具体数值，可以根据实际的应用环境进行适应性的调整，本发明实施例对此不做限制。

至此，双目相机的标定完成。

在双目相机完成标定后，将左相机图像和右相机图像变换到同一平面上，同时保证对极线与水平方向平行，是图像矫正过程。完成图像矫正可以便于后续的立体匹配、深度图估计等操作。

优选地，步骤S102之后可以包括以下步骤：对所述左相机图像和所述右相机图像进行边界裁剪。

具体而言，通常的图像矫正是将左相机图像和右相机图像进行对齐。也就是说，将左相机平面和右相机平面旋转至共面，同时保证对极线与水平线平行。而本发明实施例考虑到左相机图像和右相机图像在边界处存在边缘变形，为了保证图像矫正的效果，对所述左相机图像和所述右相机图像进行边界裁剪。

进一步地，根据左相机和右相机的原始内参矩阵以及新内参矩阵计算左单应矩阵和右单应矩阵，所述原始内参矩阵和所述新内参矩阵的主点不同；利用所述左单应矩阵和所述右单应矩阵分别对所述左相机图像和所述右相机图像的边界点进行单应变换，以使得所述左相机图像和所述右相机图像处于矫正平面，所述左相机图像和所述右相机图像在矫正平面上的对极线与水平线平行，所述边界点形成边界区域；在所述矫正平面上，对单应变换后的所述左相机图像和所述右相机图像的边界区域取交集，以作为边界裁剪后的图像区域。

具体而言，可以通过左单应矩阵和右单应矩阵进行图像矫正，左单应矩阵和右单应矩阵可以通过下述公式计算得到：

其中，H_L为左单应矩阵，H_R为右单应矩阵，KK_L、KK_R分别是左右相机的原始内参矩阵，

分别是左右相机的新内参矩阵；R_L、R_R分别是左右相机的共面旋转矩阵。可以理解的是，R_L、R_R可以对左相机图像和右相机图像进行旋转，以保证两相机平面旋转至共面。

然后对左相机图像和右相机图像的边界点分别进行单应变换，再求取交集，即可获得自适应边界裁剪后的边界区域，不会出现边缘变形的情况。具体地，可以采用下述公式进行单应变换：

其中，P_o是矫正图像边界点的矢量表示，P_oL′、P_oR′是左相机图像和右相机图像对应的映射点的矢量表示，λ_L、λ_R是尺度因子，H_L为左单应矩阵，H_R为右单应矩阵。

更近一步地，可以使用所述左相机图像和所述右相机图像对所述边界裁剪后的图像区域进行像素填充。具体而言，可以通过逆卷绕和双线性插值算法，使用左相机图像和所述右相机图的像素信息对边界裁剪后的图像区域进行填充。由于边界裁剪后的图像区域在左相机图像和右相机图像上都有对应点，因此插值后不会有空洞现象，改善了图像矫正的效果。

优选地，可以采用以下公式计算所述新内参矩阵的主点：

X_L′＝KK_L′*R_L*KK_L ^-1*X_L；

X_R′＝KK_R′*R_R*KK_R ^-1*X_R；

其中，KK_L、KK_R分别是左相机的原始内参矩阵和右相机的原始内参矩阵，其主点分别为所述左相机图像和所述右相机图像的中心点；KK_L′、KK_R′分别是左相机的第一内参矩阵和右相机的第一内参矩阵，其主点为零；X_L、X_R分别为所述左相机图像和所述右相机图像的边界点的齐次坐标；R_L、R_R分别为所述左相机图像和所述右相机图像的旋转矩阵；X_L′、X_R′为所述左相机图像和所述右相机图像的边界点经过单应变换后的齐次坐标；X_L″、X_R″分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的非齐次坐标，

表示对所述左相机图像和所述右相机图像所有边界点经过单应变换后的非齐次坐标取均值；w、h为所述左相机图像和所述右相机图像的宽度和长度；

为所述新内参矩阵的主点。

本发明实施例的双目相机的标定过程可以适用于单次标定的应用场景；此外，标定过程的计算效率高，可以适用于移动端的实时应用。

图2是本发明实施例一种双目相机的标定装置的结构示意图。

图2所示的双目相机的标定装置20可以包括获取模块201和标定模块202。

其中，获取模块201适于获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；标定模块202适于根据所述左相机图像和所述右相机图像进行双目相机的标定。

具体实施中，由于相机标定通常需要多张不同视角的标定板图像，因此为了实现单次标定，即仅通过单次拍摄图像就可以进行后续标定操作，获取模块201获取到的左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到。具体而言，可以配置多幅不同视角的平面网格标定板，多幅不同视角的平面网格标定板可以处于同一景深范围内。具体地，多幅不同视角的平面网格标定板可以进行固定，则双目相机的左相机和右相机仅拍摄一次，保证多幅不同视角的平面网格标定板都在视野范围内，就可以得到左相机图像和右相机图像。

本发明实施例获取到的左相机图像和右相机图像是针对多幅不同视角的平面网格标定板单次拍摄得到的，换句话说，左相机图像和右相机图像是单视角图像，从而兼顾了相机图像获取的便捷性和平面网格标定板的视角的全面性，进而可以应用于移动设备相机模组的在线标定和流水线作业，扩大了双目相机标定方法的适用范围。此外，本发明实施例避免了现有技术中需要拍摄多次图像，以得到多幅不同视角的平面网格标定板的图像，还可以提高双目相机标定的效率。

关于所述双目相机的标定装置20的工作原理、工作方式的更多内容，可以参照图1中的相关描述，这里不再赘述。

图3是本发明实施例一种双目相机的标定装置的结构示意图。

图3所示的双目相机的标定装置30可以包括获取模块301和标定模块302。

本实施例中，标定模块302可以包括检测单元3021、参数优化单元3022和立体标定单元3023。

其中，检测单元3021适于对所述左相机图像和所述右相机图像进行角点检测，以得到所有角点的图像坐标；参数优化单元3022适于利用所有角点的图像坐标分别计算左相机和右相机的单应矩阵以及参数的初始值，并利用左相机和右相机的单应矩阵以及参数的初始值进行优化，以得到左相机右相机的参数的优化值；立体标定单元3023适于利用所述左相机和右相机的参数的优化值进行双目相机的立体标定。

进一步地，参数优化单元3022可以包括更新子单元30221、几何变换子单元30222、计算子单元30223和优化值选取子单元30224。

其中，更新子单元30221适于在所述镜头畸变参数的初始值和设定畸变阈值范围内依次更新所述镜头畸变参数的值；几何变换子单元30222适于在每次更新后，利用所述单应矩阵和更新后的所述镜头畸变参数的值，对每个平面网格标定板上各个角点进行几何变换，以得到各个角点在所述左相机图像和右相机图像上的投影点；计算子单元30223适于在每次变换后，对于所有平面网格标定板上所有角点，计算在所述左相机图像和右相机图像上的对应点的像素坐标与所述投影点的坐标差异值之和；优化值选取子单元30224适于选取所述坐标差异值之和的最小值对应的参数的值，以作为所述左相机和右相机的参数的优化值。

具体实施中，计算子单元30223可以采用以下公式计算所述坐标差异值之和的最小值：

其中，n是所述平面网格标定板的数目，m是每个平面网格标定板中角点的数目，

是角点M_j在图像i上的投影点，m_ij是角点M_j在图像i上的对应点，KK是内参数，D是所述镜头畸变参数，R_i,T_i是角点的世界坐标与相机的世界坐标的相对旋转矩阵和相对平移矢量，D_thre是所述畸变阈值。

具体实施中，在双目相机的镜头畸变较小时，例如移动设备的相机模组，如果采用现有技术进行相机参数优化，则会导致计算量增大，且准确性难以保证。因此，在对左相机和右相机的参数进行优化时，可以选择在优化时对镜头畸变参数使用限制条件，在镜头畸变参数的初始值和设定畸变阈值范围内进行优化，提高标定结果的准确度和鲁棒性。

进一步地，立体标定单元3023可以包括相对方位初始值计算子单元30231、参数优化子单元30232、比值计算子单元30233和最优相对位移参数确定子单元30234。

其中，相对方位初始值计算子单元30231适于计算所述左相机和所述右相机的相对方位初始值；参数优化子单元30232适于利用所述相对方位初始值进行参数优化，以得到所述左相机和所述右相机的相对平移矢量；比值计算子单元30233适于计算所述相对平移矢量的最大分量之外的其他分量与所述最大分量的比值；最优相对位移参数确定子单元30234适于如果所述比值大于相对位移阈值且小于1，则所述相对平移矢量为最优相对位移参数，否则，将所述其他分量配置为0，并将配置后的所述相对平移矢量作为所述最优相对位移参数。

进一步地，在镜头畸变较小时，左相机和右相机参数优化完成后，优化算法存在一定误差，导致估计的参数存在误差，优化结果可能出现相对平移的错位现象。因此，本实施例采用相对位移阈值的相对位移约束，对误差进行约束，以保证后续的图像对齐环节的效果。具体地，相对平移矢量可以包括多个分量，例如，三维坐标系中的x分量、y分量和z分量。可以采用以下公式对相对平移矢量进行位移约束：

T_i＝0；其中，T_thre为相对位移阈值，T_i为相对平移矢量的任一分量。

需要说明的是，相对位移阈值的具体数值，可以根据实际的应用环境进行适应性的调整，本发明实施例对此不做限制。

优选地，图3所示的双目相机的标定装置30还可以包括边界裁剪模块303，边界裁剪模块303适于对所述左相机图像和所述右相机图像进行边界裁剪。

进一步地，边界裁剪模块303可以包括单应矩阵计算单元3031、单应变换单元3032和图像区域确定单元3033。

其中，单应矩阵计算单元3031适于根据左相机和右相机的原始内参矩阵以及新内参矩阵计算左单应矩阵和右单应矩阵，所述原始内参矩阵和所述新内参矩阵的主点不同；单应变换单元3032，适于利用所述左单应矩阵和所述右单应矩阵分别对所述左相机图像和所述右相机图像的边界点进行单应变换，以使得所述左相机图像和所述右相机图像处于矫正平面，所述左相机图像和所述右相机图像在矫正平面上的对极线与水平线平行，所述边界点形成边界区域；图像区域确定单元3033适于在所述矫正平面上，对单应变换后的所述左相机图像和所述右相机图像的边界区域取交集，以作为边界裁剪后的图像区域。

本发明实施例考虑到左相机图像和右相机图像在边界处存在边缘变形，为了保证图像矫正的效果，对所述左相机图像和所述右相机图像进行边界裁剪。对左相机图像和右相机图像的边界点分别进行单应变换，再求取交集，即可获得自适应边界裁剪后的边界区域，不会出现边缘变形的情况。

具体实施中，单应矩阵计算单元3031采用以下公式计算所述新内参矩阵的主点：

X_L′＝KK_L′*R_L*KK_L ^-1*X_L；

X_R′＝KK_R′*R_R*KK_R ^-1*X_R；

其中，KK_L、KK_R分别是左相机的原始内参矩阵和右相机的原始内参矩阵，其主点分别为所述左相机图像和所述右相机图像的中心点；KK_L′、KK_R′分别是左相机的第一内参矩阵和右相机的第一内参矩阵，其主点为零；X_L、X_R分别为所述左相机图像和所述右相机图像的边界点的齐次坐标；R_L、R_R分别为所述左相机图像和所述右相机图像的旋转矩阵；X_L′、X_R′为所述左相机图像和所述右相机图像的边界点经过单应变换后的齐次坐标；X_L″、X_R″分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的非齐次坐标，

表示对所述左相机图像和所述右相机图像所有边界点经过单应变换后的非齐次坐标取均值；w、h为所述左相机图像和所述右相机图像的宽度和长度；

为所述新内参矩阵的主点。

优选地，图3所示的双目相机的标定装置30还可以包括像素填充模块304，像素填充模块304适于使用所述左相机图像和所述右相机图像对所述边界裁剪后的图像区域进行像素填充。

关于所述双目相机的标定装置30的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。

本发明实施例还公开了一种终端，所述终端可以包括图2所示的双目相机的标定装置20或图3所示的双目相机的标定装置30。双目相机的标定装置20或双目相机的标定装置30可以内部集成于或外部耦接于所述终端。

具体而言，所述终端可以是移动终端，例如可以是手机、平板电脑、笔记本电脑等。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (7)

1.一种双目相机的标定方法，其特征在于，包括：

获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；

根据所述左相机图像和所述右相机图像进行双目相机的标定；

所述标定方法还包括：

对所述左相机图像和所述右相机图像进行边界裁剪；

对所述左相机图像和所述右相机图像进行边界裁剪包括：

根据左相机和右相机的原始内参矩阵以及新内参矩阵计算左单应矩阵和右单应矩阵，所述原始内参矩阵和所述新内参矩阵的主点不同；

利用所述左单应矩阵和所述右单应矩阵分别对所述左相机图像和所述右相机图像的边界点进行单应变换，以使得所述左相机图像和所述右相机图像处于矫正平面，所述左相机图像和所述右相机图像在矫正平面上的对极线与水平线平行，所述边界点形成边界区域；

在所述矫正平面上，对单应变换后的所述左相机图像和所述右相机图像的边界区域取交集，以作为边界裁剪后的图像区域；

其中，采用下述公式确定左单应矩阵和右单应矩阵：

其中，H_L为左单应矩阵，H_R为右单应矩阵，KK_L、KK_R分别是左右相机的原始内参矩阵，

分别是左右相机的新内参矩阵；R_L、R_R分别是左右相机的共面旋转矩阵。

2.根据权利要求1所述的标定方法，其特征在于，还包括：

使用所述左相机图像和所述右相机图像对所述边界裁剪后的图像区域进行像素填充。

3.根据权利要求1所述的标定方法，其特征在于，采用以下公式计算所述新内参矩阵的主点：

X_L′＝KK_L′*R_L*KK_L ^-1*X_L；

X_R′＝KK_R′*R_R*KK_R ^-1*X_R；

其中，KK_L、KK_R分别是左相机的原始内参矩阵和右相机的原始内参矩阵，其主点分别为所述左相机图像和所述右相机图像的中心点；KK_L′、KK_R′分别是左相机的第一内参矩阵和右相机的第一内参矩阵，其主点为零；X_L、X_R分别为所述左相机图像和所述右相机图像的边界点的齐次坐标；R_L、R_R分别为所述左相机图像和所述右相机图像的旋转矩阵；X_L′、X_R′分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的齐次坐标；X_L″、X_R″分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的非齐次坐标，

分别表示对所述左相机图像和所述右相机图像所有边界点经过单应变换后的非齐次坐标取均值；w、h分别为所述左相机图像和所述右相机图像的宽度和长度；

为所述新内参矩阵的主点。

4.一种双目相机的标定装置，其特征在于，包括：

获取模块，适于获取同时拍摄的左相机图像和右相机图像，所述左相机图像和所述右相机图像分别针对多幅不同视角的平面网格标定板单次拍摄得到，所述平面网格标定板上的网格图案具有角点；

标定模块，适于根据所述左相机图像和所述右相机图像进行双目相机的标定；

所述标定装置还包括：

边界裁剪模块，适于对所述左相机图像和所述右相机图像进行边界裁剪；

所述边界裁剪模块包括：

单应矩阵计算单元，适于根据左相机和右相机的原始内参矩阵以及新内参矩阵计算左单应矩阵和右单应矩阵，所述原始内参矩阵和所述新内参矩阵的主点不同；

单应变换单元，适于利用所述左单应矩阵和所述右单应矩阵分别对所述左相机图像和所述右相机图像的边界点进行单应变换，以使得所述左相机图像和所述右相机图像处于矫正平面，所述左相机图像和所述右相机图像在矫正平面上的对极线与水平线平行，所述边界点形成边界区域；

图像区域确定单元，适于在所述矫正平面上，对单应变换后的所述左相机图像和所述右相机图像的边界区域取交集，以作为边界裁剪后的图像区域；

其中，采用下述公式确定左单应矩阵和右单应矩阵：

其中，H_L为左单应矩阵，H_R为右单应矩阵，KK_L、KK_R分别是左右相机的原始内参矩阵，

分别是左右相机的新内参矩阵；R_L、R_R分别是左右相机的共面旋转矩阵。

5.根据权利要求4所述的标定装置，其特征在于，还包括：

像素填充模块，适于使用所述左相机图像和所述右相机图像对所述边界裁剪后的图像区域进行像素填充。

6.根据权利要求4所述的标定装置，其特征在于，所述单应矩阵计算单元采用以下公式计算所述新内参矩阵的主点：

X_L′＝KK_L′*R_L*KK_L ^-1*X_L；

X_R′＝KK_R′*R_R*KK_R ^-1*X_R；

其中，KK_L、KK_R分别是左相机的原始内参矩阵和右相机的原始内参矩阵，其主点分别为所述左相机图像和所述右相机图像的中心点；KK_L′、KK_R′分别是左相机的第一内参矩阵和右相机的第一内参矩阵，其主点为零；X_L、X_R分别为所述左相机图像和所述右相机图像的边界点的齐次坐标；R_L、R_R分别为所述左相机图像和所述右相机图像的旋转矩阵；X_L′、X_R′分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的齐次坐标；X_L″、X_R″分别为所述左相机图像和所述右相机图像的边界点经过单应变换后的非齐次坐标，

分别表示对所述左相机图像和所述右相机图像所有边界点经过单应变换后的非齐次坐标取均值；w、h分别为所述左相机图像和所述右相机图像的宽度和长度；

为所述新内参矩阵的主点。

7.一种终端，其特征在于，包括如权利要求4至6任一项所述的双目相机的标定装置。

Images