CN107144241B - 一种基于景深补偿的双目视觉高精度测量方法 - Google Patents

Abstract

本发明一种基于景深补偿的双目视觉高精度测量方法属于计算机视觉测量技术领域，涉及一种基于景深补偿的双目视觉高精度测量方法。该方法首先对两个相机进行初始位置的标定，然后将二维靶标与左右相机平面进行调平，求解该位置的畸变系数，并求解左右相机间的结构参数；然后，将平面靶标向左右相机平面方向进行平移，进行参数标定；建立景深方向的径向畸变补偿模型，对不同深度信息的测量结果进行测量精度补偿，实现双目相机在景深方向的高精度测量。该方法通过建立具有景深方向的畸变模型，结合双目相机的标定信息，对空间范围内的被测点进行具有景深信息的畸变补偿，实现具有景深方向的大尺寸零件测量，提高了双目视觉的三维测量精度。

Description

一种基于景深补偿的双目视觉高精度测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于景深补偿的双目视觉高精度测量方法。

背景技术

航空航天零件的三维轮廓的测量对于零件的制造和气动外形的检测至关重要，是保证零件制造质量的重要手段。工业立体视觉系统具有非接触性、测量速度快、测量精度高、可实现在位测量等优势，已广泛运用在航天航空零件的装配测量过程中。然而，由于尾翼、机身壁板等核心零件几何尺寸大，且曲面零件在景深方向也具有较大的尺寸变化。而传统的双目视觉系统在平行于像平面的方向上具有较高精度，而在景深方向上，其精度较差难以满足现场测量要求，因此实现具有景深补偿的双目视觉测量方法是十分重要的。

G.Blahusch等人发表的论文《Calibration Of Curvature Of Field For DepthFrom Focus》(Blahusch G,Eckstein W,Steger C.Calibration of curvature of fieldfor depth from focus[J].International Archives of Photogrammetry RemoteSensing and Spatial Information Sciences,2003,34(3/W8):173-180.)提出以平面信息为约束，通过标准平面信息建立修正平面，通过所获得的修正平面建立具有景深信息的修正信息，从而在测量过程中补偿景深信息的偏差。王福吉等人发明的专利“提高景深测量精度的相机布局与标定方法”，专利号CN105225224A，通过从相机优化布局以及景深标定两方面出发,提高视觉测量系统在景深方向的测量精度；通过确定两相机基线长度以及光轴之间的夹角,使相机布置方式最优；再根据测量物距、对焦状态以及镜头参数确定景深范围；测量时根据特征信息在景深所处不同位置选取不同的相机参数重建特征三维信息，该方法通过建立多个平面的畸变系数场获得景深的畸变补偿，但是对于航空现场的大尺寸零件难以实现畸变场的建立。

发明内容

本发明要解决的技术难题是针对大型航空零件测量过程中景深方向测量精度低的问题，发明了一种基于景深补偿的双目视觉高精度测量方法。该方法通过建立具有景深方向的畸变模型，结合双目相机的标定信息，对空间范围内的被测点进行具有景深信息的畸变补偿，提高被测物在空间的测量精度。

本发明采用的技术方案一种基于景深补偿的双目视觉高精度测量方法，其特征是，基于在景深方向的畸变特征建立补偿模型，结合双目视觉测量原理，对不同景深位置进行径向畸变补偿，实现三维高精度测量；该方法首先对两个相机进行初始位置的标定，然后将二维靶标与相机平面进行调平，求解该位置的畸变系数，并求解两个相机间的结构参数；进而，二维靶标在与相机平面方向进行平移，然后进行参数标定；建立景深方向的径向畸变补偿模型，对不同深度信息的测量结果进行测量精度补偿，实现双目相机在景深方向的高精度测量；方法具体步骤如下：

第一步相机内外参数标定

利用二维平面靶标标定方法对双目相机分别进行相机标定，其相机参数满足如下公式：

其中，u,v分别是图像的行列像素坐标值，X_w,Y_w,Z_w代表被测点在世界坐标系里的三维坐标值，X_c,Y_c,Z_c代表被测点在相机坐标系里的三维坐标值，M₁为1号相机内参数矩阵，M₂为2号相机内参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；基于二维和三维的对应坐标求解相机的内外参数矩阵；

第二步畸变参数标定

首先采用水平仪将左、右相机与标定平面靶标4进行初步调平，然后利用左、右相机采集平面靶标，根据公式(1)计算左、右相机的外参数，当旋转矩阵R满足公式(2)时，其平面靶标4平面与左、右相机平面调平；

其中，a,b,c,d为旋转矩阵参数，ε为无限接近于0的值，|γ|无线接近于1；

当左、右相机调平后，记录电控平台的位姿参数记为Ψ_s1利用公式(3)进行该位置的畸变参数计算：

其中，x^k,y^k分别是实际径像畸变情况下的归一化坐标，x,y代表理想无畸变时的归一化坐标，为图像畸变系数，基于相机标定参数所求解的理想归一化坐标和图像提取的归一化坐标，以公式(3)为目标函数，采用LM优化方法求解在该位置s1处的图像畸变系数按照如上方法分别对左、右相机进行标定；

第三步左、右相机位置参数的求解

基于双目三角原理，分别计算左、右相机在初始标定位置的物距s1^l,s1^r；首先对左、右相机进行结构参数的计算，在双目视场中间放置二维平面靶标4，分别用已标定好的左、右相机同步采集该平面靶标，并求解左、右相机相对于该平面靶标的参数矩阵，其左、右相机参数矩阵记为M^l,M^r，表达式如下：

其中，m_ij为投影矩阵M中第i行第j列的值；根据公式(4)和公式(1)推导出被测点三维重建公式(5)：

其中，为左相机投影矩阵M^l中第i行第j列的值；u^l,v^l分别是左相机图像像素值；为右相机投影矩阵M^r中第i行第j列的值；u^r,v^r分别是右相机图像像素值，且左右图像的像素点为匹配点；X_w,Y_w,Z_w为最终所求被测点的三维坐标，其中，所对齐平面上所有点的Z_w的平均值定义为s1，即：

其中，n,m为左、右相机采集平面上所取点的个数；s1^l,s1^r为左、右相机在s1处位置的物距；

然后，将平面靶标平行移动在s2位置，在该合焦位置根据公式(3)计算图像畸变系数根据公式(5)、(6)计算左、右相机的所采集的平面靶标物距s2^l,s2^r；

第四步基于景深畸变模型的建立

基于建立基于蕴含景深信息的畸变模型，在合焦位置为s时在sp位置的图像畸变量满足：

其中，为在合焦位置为s时在sp位置的图像畸变量，为在合焦位置为sp时在sp位置的图像畸变量，C_s和C_sp分别为在位置s、位置sp合焦时相机相距，为在sp位置合焦时的图像畸变系数，r_sp为在sp位置合焦时的径向长度；

在合焦位置为s时，在位置s、位置sp时系统的像距和物距满足公式(8)：

其中，S_s,S_sp分别为位置s、位置sp时的物距，即S_s＝s,S_sp＝sp；C_s,C_sp分别为位置s、位置sp时的像距，根据公式(7)和公式(8)推导得：

第五步基于景深畸变模型的参数求解

根据双目视觉三角原理可获得sp位置的径向长度r_sp和物距S_sp；为简化计算，选取标定的s2位置为合焦位置，即S_s＝s₂，其具体值也可根据双目三角原理求得；合焦位置的C_s可根据所标定的相机内参数求得；在sp位置合焦时的图像畸变系数可根据公式(10)求取：

其中，为在sp位置合焦时的图像畸变系数，为在s1位置合焦时的图像畸变系数，为在s2位置合焦时的图像畸变系数，比例系数α_s根据公式(11)求得：

其中，s1,s2为初始标定的两个物距位置，S_sp为在S_sp位置的物距距离，F为相机焦距，S_s,C_s为合焦位置的物距和像距，将所求的相关系数带入公式(9)即可获得该位置的具有景深信息的畸变量，分别对左、右相机获取的图像点进行畸变补偿，根据三角原理获得被测点三维坐标。

本发明的有益效果是通过建立具有景深方向的畸变模型，结合双目相机的标定信息，对空间范围内的被测点进行具有景深信息的畸变补偿，提高被测物在空间的测量精度。测量精度高，可补偿双目视觉在景深方向的精度损失，实现具有景深方向的大尺寸零件测量，提高了双目视觉的三维测量精度。

附图说明

图1为测量系统的示意图，图2为测量原理示意图。其中，1-左相机，2-电控平移平台，3-电控旋转平台，4-平面靶标，5-右相机，6-三角架；O_w-X_w,Y_w,Z_w是全局世界坐标系，O^l-X^l,Y^l,Z^l为左相机的坐标系，O^r-X^r,Y^r,Z^r为右相机的坐标系，s1和s2为两个初始标定平面，S_sp为测量平面，v^l、u^l为左相机的像素坐标，v^r、u^r为右相机的像素坐标，P为测量平面上的被测点，P^l、P^r分别为左、右相机上的理想像点，分别为左、右相机具有畸变的实际像点。

图3为基于景深补偿的双目视觉高精度测量方法流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

图1为测量系统的示意图，图2为测量原理示意图。如图所示，实施例中，分别配置高分辨率双目相机采集二维平面靶标信息，通过电控旋转、平移平台控制二维平面靶标的移动进行双目相机的调平和标定。双目视觉系统中相机型号为vieworks VC-12MC-M/C 65相机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，合焦物距为750mm，视场约为720mm×1300mm。电控旋转平台3采用卓立汉光的电控旋转平台RAK350，其步距角为1.8度，转角重复精度小于0.003度。电控平移平台2采用卓立汉光的电控平移平台UKSA200，重复定位精度小于2μm。

测量方法首先对双目相机内外参数分别进行标定，然后通过电控旋转、平移平台将双目相机调平，并记录平面靶标与双目相机像平面平行位置，进而通过两个标定位置将双目相机畸变参数标定，基于景深畸变特性建立具有景深信息的畸变模型，结合标定结果和双目三角原理求解模型中的相关参数，继而获得具有景深信息的图像畸变量，实现虑及景深的三维高精度测量。附图3为一种基于景深补偿的双目视觉高精度测量流程图。整个提取过程分为双目相机内外参数标定、双目相机调平、双目相机畸变系数标定，景深畸变模型建立、模型参数求解、景深补偿及重建测量等步骤。

第一步相机内外参数标定

采用张正友的平面靶标标定方法，通过在空间平面内转换平面靶标的不同位置，使双目相机同时采集靶标图像，根据公式(1)分别对左、右相机进行内外参数的标定，其内外参数矩阵为：

第二步畸变参数标定

为获得不同合焦平面的畸变系数实现任意深度位置的畸变参数标定，需将平面靶标4与左、右相机像平面进行调平，采用水平仪将左、右相机与标定平面靶标4进行初步调平，然后利用相机采集平面靶标，然后根据公式(1)计算相机的外参数，当旋转矩阵R满足如下公式(2)时，其二维靶标平面与相机平面调平，其调平后的左右相机的旋转平移矩阵为：

当相机调平后，记录电控平台的位姿参数记为Ψ_s1利用公式(3)进行该位置的畸变参数计算图像畸变系数，基于相机标定参数所求解的理想归一化坐标和图像提取的归一化坐标，以公式(3)为目标函数，采用LM优化方法求解在图1中位置s1处的相机畸变系数按照如上方法分别对左右相机进行标定；

第三步双目相机位置参数的求解

基于双目三角原理，分别计算两个相机在初始标定位置的物距s1^l,s1^r；为实现物距的计算，首先对双目相机进行结构参数的计算，在双目视场中间放置二维平面靶标4，分别用已标定好的双目相机同步采集该平面靶标，并求解双目相机相对于该平面靶标的参数矩阵，其左、右相机参数矩阵记为M^l,M^r；根据公式(4)和公式(1)可推导出被测点三维重建公式(5)；根据所求被测点的三维坐标X_w,Y_w,Z_w，其中所对齐平面上所有点的Z_w的平均值定义为s1，根据公式(6)获得左右相机在s1处位置的物距；然后，将平面靶标4平行移动在s2位置，在该合焦位置根据公式(3)计算图像畸变系数根据公式(5)(6)计算左右相机的所采集的平面靶标物距s2^l,s2^r；

第四步基于景深畸变模型的建立

基于建立基于蕴含景深信息的畸变模型，在合焦位置为s时在sp位置的图像畸变量满足公式(7)，根据公式(7)和(8)，可推导得公式(9)，即建立具有景深信息的畸变模型。

第五步基于景深畸变模型的参数求解

根据双目视觉三角原理可获得sp位置的径向长度r_sp和物距S_sp；为简化计算，选取标定的s2位置为合焦位置，即S_s＝s₂，其具体值也可根据双目三角原理求得；合焦位置的C_s可根据所标定的相机内参数求得；在sp位置合焦时的图像畸变系数可根据公式(10)求取，比例系数α_s根据公式(11)可求得。将所求的相关系数带入公式(9)即可获得该位置的具有景深信息的畸变量，分别对左右相机获取的图像点进行畸变补偿，进而根据三角原理获得被测点三维坐标。

双目视觉采集标准长度为350.0172mm的靶尺在空间不同位置采集8次，其平均长度为350.5321，本方法获得的靶尺长度为350.2043mm，提高了测量精度，验证了该提取方法的有效性。

Claims (1)

1.一种基于景深补偿的双目视觉高精度测量方法，其特征是，该方法首先对两个相机进行初始位置的标定，然后将二维靶标与左右相机平面进行调平，求解该位置的畸变系数，并求解左右相机间的结构参数；然后，将平面靶标向左右相机平面方向进行平移，进行参数标定；建立景深方向的径向畸变补偿模型，对不同深度信息的测量结果进行测量精度补偿，实现双目相机在景深方向的高精度测量；方法具体步骤如下：

第一步左右相机内外参数标定

利用二维平面靶标(4)标定方法对双目相机分别进行相机标定，其左、右相机(1、5)的参数满足公式(1)：

其中，u,v分别是图像的行列像素坐标值，X_w,Y_w,Z_w代表被测点在世界坐标系里的三维坐标值，X_c,Y_c,Z_c代表被测点在相机坐标系里的三维坐标值，M₁为左相机内参数矩阵，M₂为右相机内参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；基于二维和三维的对应坐标求解左右相机的内外参数矩阵；

第二步畸变参数标定

首先采用水平仪将左、右相机(1、5)与标定平面靶标(4)进行初步调平，然后利用左、右相机采集平面靶标，根据公式(1)计算左、右相机的外参数，当旋转矩阵R满足公式(2)时，其平面靶标平面与左、右相机平面调平；

其中，a,b,c,d为旋转矩阵参数，ε为无限接近于0的值，|γ|无线接近于1；

当左、右相机调平后，记录电控平台的位姿参数记为Ψ_s1利用公式(3)进行该位置的畸变参数计算：

其中，x^k,y^k分别是实际径向畸变情况下的归一化坐标，x,y代表理想无畸变时的归一化坐标，为图像畸变系数，基于左右相机标定参数所求解的理想归一化坐标和图像提取的归一化坐标，以公式(3)为目标函数，采用LM优化方法求解在该位置s1处的图像畸变系数按照如上方法分别对左、右相机进行了标定；

第三步左、右相机位置参数的求解

基于双目三角原理，分别计算左、右相机在初始标定位置的物距s1^l,s1^r；首先对左、右相机进行结构参数的计算，在双目视场中间放置二维平面靶标(4)，分别用已标定好的左、右相机同步采集该平面靶标，并求解左、右相机相对于该平面靶标的参数矩阵，其左、右相机参数矩阵记为M^l,M^r，表达式如下：

其中，m_ij为投影矩阵M中第i行第j列的值；根据公式(4)和公式(1)推导出被测点三维重建公式(5)：

其中，为左相机投影矩阵M^l中第i行第j列的值；u^l,v^l分别是左相机图像像素值；为右相机投影矩阵M^r中第i行第j列的值；u^r,v^r分别是右相机图像像素值，且左右图像的像素点为匹配点；X_w,Y_w,Z_w为最终所求被测点的三维坐标，其中，所对齐平面上所有点的Z_w的平均值定义为s1，即：

其中，n,m为左、右相机采集平面上所取点的个数；s1^l,s1^r为左、右相机在s1处位置的物距；

然后，将平面靶标4平行移动在s2位置，在合焦位置根据公式(3)计算图像畸变系数根据公式(5)、(6)计算左、右相机的所采集的平面靶标物距s2^l,s2^r；

第四步基于景深畸变模型的建立

基于建立基于蕴含景深信息的畸变模型，在合焦位置为s时在sp位置的图像畸变量满足：

其中，为在合焦位置为s时在sp位置的图像畸变量，为在合焦位置为sp时在sp位置的图像畸变量，C_s和C_sp分别为在位置s、位置sp合焦时相机相距，为在sp位置合焦时的图像畸变系数，r_sp为在sp位置合焦时的径向长度；

在合焦位置为s时，在位置s、位置sp时系统的像距和物距满足公式(8)：

其中，S_s,S_sp分别为位置s、位置sp时的物距，即S_s＝s,S_sp＝sp；C_s,C_sp分别为位置s、位置sp时的像距，根据公式(7)和公式(8)推导得：

第五步基于景深畸变模型的参数求解

根据双目视觉三角原理可获得sp位置的径向长度r_sp和物距S_sp；为简化计算，选取标定的s2位置为合焦位置，即S_s＝s₂，其具体值也可根据双目三角原理求得；合焦位置的C_s可根据所标定的相机内参数求得；在sp位置合焦时的图像畸变系数可根据公式(10)求取：

其中，为在sp位置合焦时的图像畸变系数，为在s1位置合焦时的图像畸变系数，为在s2位置合焦时的图像畸变系数，比例系数α_s根据公式(11)求得：

其中，s1,s2为初始标定的两个物距位置，S_sp为在S_sp位置的物距距离，F为相机焦距，S_s,C_s为合焦位置的物距和像距，将所求的相关系数带入公式(9)即可获得该位置的具有景深信息的畸变量，分别对左、右相机获取的图像点进行畸变补偿，根据三角原理获得被测点三维坐标。