CN112734863A - 一种基于自动定位的交叉式双目相机标定方法 - Google Patents

Abstract

本发明公开了一种基于自动定位的交叉式双目相机标定方法，首先选择两台CMOS相机作为双目相机，调整好双目相机的拍摄姿态和交叉视角；其次同步触发采集不同位姿下的标定板图片，计算不同位姿下的角点像素坐标信息，标定交叉式双目相机的参数矩阵，建立相机成像模型；再次同步采集工件图像，利用图像处理算法分离背景得到图像域，提取图像对中工件特征点匹配的二维像素坐标信息；最后将特征点匹配后的二维像素坐标成对输入到相机成像模型中，得到其在主相机空间坐标系下的三维坐标，实现自动定位功能。本发明充分考虑了成像过程中存在的特征点遮挡、遗失等实际问题，通过改变相机交叉角度有效提高标定精度，定位精度在5%以内，具有很强的实用性。

Description

一种基于自动定位的交叉式双目相机标定方法

技术领域

本发明属于机器视觉检测定位技术领域，涉及一种交叉式双目相机标定方法，具体涉及一种基于自动定位的交叉式双目相机标定方法。

背景技术

在双目立体视觉标定检测定位领域，多采用平行式双目相机，对左、右相机的参数要求严格，需要完全相同的双目相机内参和外参数据。在理想的双目立体视觉标定模型下，相同配准点在左、右相机投影平面内可以做到完全行对准，现实中却难以达到平行式双目相机参数完全相同的目标，也很难做到不同位姿下的统一配准点在双目相机坐标系中位置相同。行业内普遍采取的措施是利用算法拟合修正，近似得到相同数据的平行式双目相机模型，增加了算法复杂度；并且传统的平行式双目相机视场范围小，对于大型零件的检测测量具有局限性，因此平行式双目相机标定检测系统普遍具有较大误差，无法很好地应用到实际加工过程中。

发明内容

为了解决传统平行式双目相机视场范围小和立体匹配后点云数据处理复杂的难题，本发明提出了一种基于自动定位的交叉式双目相机标定方法。该方法通过调整旋转云台确定两台独立CMOS相机的交叉视角，以增大汇聚面积，提高相机采集范围和标定精度；进而通过标定相机像素焦距、主点坐标、倾斜系数、旋转矩阵和平移向量等相关参数矩阵，建立交叉式双目相机间的成像模型来自动定位匹配点的空间三维坐标。

为了实现上述目的，本发明采用的技术方案是：

一种基于自动定位的交叉式双目相机标定方法，其特征在于，包括以下步骤：

步骤1、选取两台CMOS相机作为双目相机，两台CMOS相机分别为作为主相机的左相机和作为辅相机的右相机，调整好两台CMOS相机的拍摄姿态和交叉视角；

步骤2、将棋盘格标定板放置在双目相机的交叉视角范围内，同步触发双目相机采集棋盘格标定板不同姿态下的图像对；

步骤3、以棋盘格标定板上的角点作为双目相机的匹配点，输入角点之间的物理距 离和CMOS相机参数信息，建立双目相机的内部参数矩阵

，其中f _x 为左 相机焦距，f _y 为右相机焦距，u ₀，v ₀为像素坐标系原点的横纵坐标；

步骤4、通过泰勒级数展开校正双目相机成像过程中的径向畸变和切向畸变，建立双目相机的畸变参数矩阵K；

步骤5、利用小孔成像模型和三角形相似原理计算求得匹配点在像素坐标内分别到两台CMOS相机光心的距离；

步骤6、根据步骤5中得到的匹配点到两台CMOS相机光心的距离，结合双目相机的内部参数矩阵，建立左、右相机间的旋转和平移关系，即得到以左相机为主相机的外部参数矩阵，外部参数矩阵包括旋转矩阵R和平移向量T；

步骤7、根据步骤3至步骤6得到的参数矩阵，建立匹配点从三维到二维的相机成像模型，进而求得辅相机到主相机的本质矩阵E和基本矩阵F等参数；

步骤8、在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配算法将工件表面信息与背景分离开并保存到图像域，提取左、右相机所拍摄图像中工件特征点的二维像素坐标信息(U _l ,V _l )和(U _r ,V _r )；

步骤9、对相机成像模型求逆得到匹配点像素坐标到世界坐标转换的单应性矩阵[R | T ]，通过输入工件特征点在交叉式双目相机中的二维像素坐标对，计算输出精准的空间三维坐标P = ( x , y , z )，实现自动定位。

进一步地，步骤1中，每台CMOS相机均安装在旋转云台上，所述旋转云台安装在三角支架上，通过旋转云台调整两台CMOS相机的拍摄姿态和交叉视角。

进一步地，步骤2中，采集的图像对有15-25对。

进一步地，步骤3中，所述CMOS相机参数信息包括焦距、分辨率和像元尺寸。

进一步地，步骤4中，畸变参数矩阵K = [k ₁ ,k ₂ ,p ₁ ,p ₂ ,k ₃]的具体计算方式如下：

步骤4.1、矫正模型采用的校正公式如下所示：

公式（1）

公式（2）

其中，公式（1）为径向畸变矫正，公式（2）为切向畸变矫正，且(x ₀,y ₀)为像素平面上的理想坐标，(x,y)为成像畸变后的实际坐标，k ₁ 、k ₂ 、k ₃分别为径向畸变矫正的系数，p ₁ 、p ₂分别为切向畸变矫正的系数，r为该点距成像中心的距离；通过输入已知的实际坐标到矫正模型中，计算输出畸变前的理想坐标用于后期的三维空间定位；

步骤4.2、通过校正公式求得CMOS相机的畸变参数矩阵K，保留前三项即[k ₁ ,k ₂ , p ₁]；

步骤4.3、计算得到畸变参数矩阵后，求其逆运算矩阵K ^-1，再结合实际采集得到的棋盘格标定板图像，求出校正后的真实图像信息。

进一步地，步骤5中，具体步骤如下：

步骤5.1、CMOS相机符合小孔成像模型，即满足公式：

，式中f 为焦距，m为物距，n为相距；

步骤5.2、再结合三角相似原理，

，式中b为 双目相机的焦点之间距离，z为匹配点到像平面距离；x _l 为左相机中，匹配点在像素坐标内 到光轴中心的距离；x _r 为右相机中，匹配点在像素坐标内到光轴中心的距离；

步骤5.3、联立步骤5.1和步骤5.2中的两个计算公式，分别求得两台CMOS相机匹配点在像素坐标内与光轴间的距离x _l 和x _r 。

进一步地，步骤7中，具体步骤如下：

步骤7.1、所述参数矩阵包括内部参数矩阵M、畸变参数矩阵K、旋转矩阵R和平移向量T；

步骤7.2、结合已求得的矩阵参数，进一步计算得到描述左、右相机间位姿关系的本质矩阵E和表示左、右相机像素坐标系间关系的基本矩阵F，计算公式如下所示：

；

，式中R为 旋转矩阵，S为3x3矩阵，T为平移向量，T _x 为x方向平移的距离，T _y 为y方向平移的距离，T _z 为z 方向平移的距离；M为内部参数矩阵；

步骤7.3、根据交叉式双目相机的硬件结构参数，并结合本质矩阵和基本矩阵参数，即可建立匹配点从三维到二维的相机成像模型。

进一步地，步骤7中，所述硬件结构是指左、右相机之间的距离和拍摄姿态。

与现有技术相比，本发明的有益效果是：

本发明首先选择两台CMOS相机作为双目相机，调整好两台CMOS相机的拍摄姿态和交叉视角；其次同步触发采集不同位姿下的标定板图片，棋盘格标定板上的角点即为双目相机匹配点，通过计算不同位姿下的角点像素坐标信息，标定交叉式双目相机的各自内部参数矩阵、畸变参数矩阵和其相对于标定板的外部参数矩阵（旋转矩阵和平移矩阵），进而建立新型交叉式双目相机间的成像模型；再次在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配等算法将工件表面信息与背景分离开并保存到图像域，进而自动提取左右图像对中工件特征点匹配的二维像素坐标信息；最后将特征点匹配后的二维像素坐标成对输入到相机成像模型中，得到其在主相机空间坐标系下的三维坐标，实现工件特征点由像素坐标系到空间坐标系的转换即自动定位功能。实验证明，本发明所提方法充分考虑了成像过程中存在的特征点遮挡、遗失等实际问题，可以通过改变相机交叉角度有效提高标定精度，实现自动定位，定位精度在5%以内，具有很强的实用性。

附图说明

图1为本发明方法实施例中交叉式双目相机标定方法的流程示意图；

图2为本发明实施例中所述的交叉式双目相机成像模型示意图；

图3为本发明实施例中所述的工件特征点对配准示意图；

图4为本发明实施例中所述的自动匹配提取工件特征点二维像素坐标算法流程示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

请参阅图1，本发明实施例提供的一种基于自动定位的交叉式双目相机标定方法的流程示意图，包括如下步骤：

步骤1、选取两台CMOS相机作为双目相机，两台CMOS相机分别为作为主相机的左相机和作为辅相机的右相机，固定CMOS相机到各自的旋转云台和三角支架上，通过调整能360度旋转的旋转云台的角度确定两台CMOS相机间的交叉视角，达到有效扩大成像范围，进而增加相机标定精度与特征点定位精度的硬件要求。

特别地，本实施例中选用三角支架和旋转云台等硬件设备，目的是通过方便调节CMOS相机在空间中的不同位姿，来扩大成像范围和有效采集位于加工生产区域内的工件表面全部图像信息；

步骤2、将棋盘格标定板放置在双目相机的交叉视角范围内，同步触发双目相机采集尽可能多的任意姿态下的图像对。在相机标定过程中，使用棋盘格标定板图像一般在15至25对之间较为合适，本发明实施例中采集得到23对棋盘格标定板图像，可以涵盖足够多的空间位置信息，有效提高相机标定的精度；

步骤3、根据步骤2中获得的棋盘格棋盘格标定板上的角点作为双目相机匹配点， 输入角点间的物理坐标、CMOS相机的焦距、分辨率和像元尺寸等数据信息，建立双目相机的 内部参数矩阵

，每个CMOS相机均有一个内部参数矩阵，左相机的内 部参数矩阵记为M _l ，右相机的内部参数矩阵记为M _r ，其中，f _x , f _y 为相机焦距，u ₀，v ₀为像素坐 标系原点的横纵坐标。

步骤4、通过泰勒级数展开校正双目相机成像过程中的径向畸变和切向畸变，建立双目相机的畸变参数矩阵K = [k ₁ ,k ₂ ,p ₁ ,p ₂ ,k ₃]。

a、矫正模型采用的校正公式如下所示：

公式（1）

公式（2）

其中，公式（1）为径向畸变矫正，公式（2）为切向畸变矫正，且(x ₀,y ₀)为像素平面上的理想坐标，(x,y)为成像畸变后的实际坐标，k ₁ 、k ₂ 、k ₃分别为径向畸变矫正的系数，p ₁ 、p ₂分别为切向畸变矫正的系数，r为该点距成像中心的距离。本实施例中，通过输入已知的实际坐标到矫正模型中，计算输出畸变前的理想坐标用于后期的三维空间定位。

b、本实施例中，通过校正公式求得CMOS相机的图像畸变矩阵K，一般只保留前三项即[k ₁ ,k ₂ ,p ₁]，后两项参数对图像畸变影响较小，可忽略不计。

c、计算得到相机的畸变参数矩阵后，求其逆运算矩阵K ^-1，再结合实际采集得到的棋盘格标定板图像，便可求出校正后的真实图像信息。

步骤5、利用小孔成像模型和三角形相似原理计算求得匹配点在像素坐标内分别到两台CMOS相机光心的距离，分别用x _l 和x _r 表示。

a、本实施例中选择的CMOS相机符合小孔成像模型（线性模型），即满足公式：

。式中f为焦距，m为物距，n为相距；

b、本实施例中再结合三角相似原理，

。式 中b为双目相机间焦距，z为匹配点到像平面距离，x _l 和x _r 分别为匹配点在像素坐标内到光轴 中心的距离；

c、联立上述步骤中的两个计算公式，可以分别求得两台CMOS相机匹配点在像素坐标内与光轴间的距离x _l 和x _r。

步骤6、根据步骤5中得到的匹配点到双目相机光心的距离，结合双目相机的内部参数矩阵，建立左、右相机间的旋转和平移关系，即得到以左相机为主相机的外部参数矩阵，外部参数矩阵包括旋转矩阵R和平移向量T。

步骤7、根据步骤3至步骤6得到双目相机相关的参数矩阵，求得辅相机到主相机的本质矩阵E和基本矩阵F等参数，进而建立匹配点从三维到二维的相机成像模型。

a、本实施例中，由上述步骤3至步骤6可以得到交叉式双目相机之间的关系矩阵 （参数矩阵），参数矩阵包括内部参数矩阵

、畸变参数矩阵K = [k ₁ ,k ₂ , p ₁ ,p ₂ ,k ₃ ]、旋转矩阵R和平移向量T；

b、结合已求得的矩阵参数，进一步计算得到描述左、右相机间位姿关系的本质矩阵E和表示左、右相机像素坐标系间关系的基本矩阵F。计算公式如下所示：

；

。式中R为旋 转矩阵，S为平移向量组成的3x3矩阵，T为平移向量，T _x 为x方向平移的距离，T _y 为y方向平移 的距离，T _z 为z方向平移的距离；M为内部参数矩阵；

c、本实施例中，根据交叉式双目相机硬件结构示意图，并结合本质矩阵和基本矩阵参数，即可建立匹配点从三维到二维的相机成像模型，如下图2所示。

步骤8、在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配等算法将工件表面信息与背景分离开并保存到图像域。

a、本实施例中，对采集得到的工件图像对处理后示意图如图3所示，进一步自动匹配提取左、右相机所拍摄图像中工件特征点的二维像素坐标，分别表示为(U _l ,V _l )和(U _r , V _r )；

b、本实施例中，图像处理算法流程示意图如图4所示。

步骤9、对相机成像模型求逆得到匹配点像素坐标到世界坐标转换的单应性矩阵[ R | T ]，通过输入工件特征点在交叉式双目相机中的二维像素坐标对，计算输出精准的空间三维坐标P = ( x , y , z )，实现自动定位。

本发明方法主要创新点是：1）在机器视觉引导智能加工领域内建立了一种基于自动定位的交叉式双目相机标定方法；2）充分利用双目相机成像范围大，标定精度高等特点，提高了立体视觉定位的自由度和效率；3）通过阈值分割、形态学处理、边缘轮廓提取和特征点匹配等算法实现自动匹配提取左右图像中工件特征点二维像素坐标信息的功能。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (8)

1.一种基于自动定位的交叉式双目相机标定方法，其特征在于，包括以下步骤：

步骤1、选取两台CMOS相机作为双目相机，两台CMOS相机分别为作为主相机的左相机和作为辅相机的右相机，调整好两台CMOS相机的拍摄姿态和交叉视角；

步骤2、将棋盘格标定板放置在双目相机的交叉视角范围内，同步触发双目相机采集棋盘格标定板不同姿态下的图像对；

步骤3、以棋盘格标定板上的角点作为双目相机的匹配点，输入角点之间的物理距离和 CMOS相机参数信息，建立双目相机的内部参数矩阵

，其中f _x 为左相机 焦距，f _y 为右相机焦距，u ₀，v ₀为像素坐标系原点的横、纵坐标；

步骤4、通过泰勒级数展开校正双目相机成像过程中的径向畸变和切向畸变，建立双目相机的畸变参数矩阵K；

步骤5、利用小孔成像模型和三角形相似原理计算求得匹配点在像素坐标内分别到两台CMOS相机光心的距离；

步骤6、根据步骤5中得到的匹配点到两台CMOS相机光心的距离，结合双目相机的内部参数矩阵，建立左、右相机间的旋转和平移关系，即得到以左相机为主相机的外部参数矩阵，外部参数矩阵包括旋转矩阵R和平移向量T；

步骤7、根据步骤3至步骤6得到的参数矩阵，建立匹配点从三维到二维的相机成像模型，进而求得辅相机到主相机的本质矩阵E和基本矩阵F；

步骤8、在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配算法将工件表面信息与背景分离开并保存到图像域，提取左、右相机所拍摄图像中工件特征点的二维像素坐标信息(U _l ,V _l )和(U _r ,V _r )；

步骤9、对相机成像模型求逆得到匹配点像素坐标到世界坐标转换的单应性矩阵[R |T ]，通过输入工件特征点在交叉式双目相机中的二维像素坐标对，计算输出精准的空间三维坐标P = ( x , y , z )，实现自动定位。

2.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤1中，每台CMOS相机均安装在旋转云台上，所述旋转云台安装在三角支架上，通过旋转云台调整两台CMOS相机的拍摄姿态和交叉视角。

3.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤2中，采集的图像对有15-25对。

4.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤3中，所述CMOS相机参数信息包括焦距、分辨率和像元尺寸。

5.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤4中，畸变参数矩阵K = [k ₁ ,k ₂ ,p ₁ ,p ₂ ,k ₃]的具体计算方式如下：

步骤4.1、矫正模型采用的校正公式如下所示：

公式（1）

公式（2）

其中，公式（1）为径向畸变矫正，公式（2）为切向畸变矫正，且(x ₀,y ₀)为像素平面上的理想坐标，(x,y)为成像畸变后的实际坐标，k ₁ 、k ₂ 、k ₃分别为径向畸变矫正的系数，p ₁ 、p ₂分别为切向畸变矫正的系数，r为该点距成像中心的距离；通过输入已知的实际坐标到矫正模型中，计算输出畸变前的理想坐标用于后期的三维空间定位；

步骤4.2、通过校正公式求得CMOS相机的畸变参数矩阵K，保留前三项即[k ₁ ,k ₂ ,p ₁]；

步骤4.3、计算得到畸变参数矩阵后，求其逆运算矩阵K ^-1，再结合实际采集得到的棋盘格标定板图像，求出校正后的真实图像信息。

6.如权利要求5所述的交叉式双目相机标定方法，其特征在于：步骤5中，具体步骤如下：

步骤5.1、CMOS相机符合小孔成像模型，即满足公式：

，式中f 为焦距，m为物距，n为相距；

步骤5.2、再结合三角相似原理，

，式中b为双目 相机的焦点之间距离，z为匹配点到像平面距离；x _l 为左相机中，匹配点在像素坐标内到光 轴中心的距离；x _r 为右相机中，匹配点在像素坐标内到光轴中心的距离；

步骤5.3、联立步骤5.1和步骤5.2中的两个计算公式，分别求得两台CMOS相机匹配点在像素坐标内与光轴间的距离x _l 和x _r 。

7.如权利要求6所述的交叉式双目相机标定方法，其特征在于：步骤7中，具体步骤如下：

步骤7.1、所述参数矩阵包括内部参数矩阵M、畸变参数矩阵K、旋转矩阵R和平移向量T；

步骤7.2、结合已求得的矩阵参数，进一步计算得到描述左、右相机间位姿关系的本质矩阵E和表示左、右相机像素坐标系间关系的基本矩阵F，计算公式如下所示：

；

，式中R为旋转 矩阵，S为3x3矩阵，T为平移向量，T _x 为x方向平移的距离，T _y 为y方向平移的距离，T _z 为z方向 平移的距离；M为内部参数矩阵；

步骤7.3、根据交叉式双目相机的硬件结构参数，并结合本质矩阵和基本矩阵参数，即可建立匹配点从三维到二维的相机成像模型。

8.如权利要求7所述的交叉式双目相机标定方法，其特征在于：步骤7中，所述硬件结构是指左、右相机之间的距离和拍摄姿态。

Images