CN105225224B - 提高景深测量精度的相机布局与标定方法 - Google Patents

Abstract

本发明提高景深测量精度的相机布局与标定方法属于计算机视觉领域，涉及一种提高相机景深方向测量精度的相机布局与景深标定方法。标定方法从相机优化布局以及景深标定两方面出发，提高视觉测量系统在景深方向的测量精度；首先确定两相机基线长度以及光轴之间的夹角，使相机布置方式最优；再根据测量物距、对焦状态以及镜头参数确定景深范围，利用高精度电控装置带动标定板在相机景深方向移动多个位置，在每一位置上，利用标定板多张图片标定双目相机参数；测量时根据特征信息在景深所处不同位置选取不同的相机参数重建特征三维信息。本发明在标定时无需预测景深内任意空间的畸变模型，增加了标定鲁棒性。标定方法流程简单、精度高，易于实现。

Description

提高景深测量精度的相机布局与标定方法

技术领域

本发明属于计算机视觉测量领域，涉及一种提高景深测量精度的相机布局与标定方法。

背景技术

空间三维测量是保证产品最终质量的重要技术手段，航空航天，船舶、汽车等国家重大工程领域的不断发展对测量提出了更高的要求。被测对象结构复杂，被测参数多、尺寸以及运动范围在空间三维度各有延伸、测量范围大。视觉测量技术具有非接触、高精度、实时性与适应性强以及测量范围广优点，近年来被广泛用于高精度测量中。相机安装与标定至关重要，直接决定了测量精度。相机之间光轴之间的夹角、相机与物体之间的测量距离影响特征提取精度。此外，由于光学设计、制造以及安装误差的存在，会使得物体成像发生畸变，影响图片质量降低测量精度。特别是在景深方向，由于透视畸变以及其他畸变的综合影响，使得测量精度在景深方向很低，通常为其它两测量方向测量精度的三分之一。因此，研究相机安装布局与景深标定方法对于提高相机测量精度对于保证检测质量具有重要意义。

北京市治安邦科技有限公司的付国亮、曾建平发明的专利号为CN 101814184 A“基于线段的标定方法和标定装置”发明了一种基于线段适用于室内、室外场所的景深标定方法与标定装置。使用三条标定线段标定相机参数，一条线段验证以及提高景深标定精度。该发明虽能实现相机景深方向测量，但为了使用标定线段需事先已知相机位置信息，标定过程繁琐，并且未优化相机布局。

发明内容

本发明要解决的技术难题是克服现有技术缺陷，发明了一种提高景深测量精度的相机布局与标定方法，标定方法首先依据测量视场以及精度要求确定像机之间基线长度以及光轴之间的夹角；再根据相机物距、焦距以及镜头等参数确定景深范围；以标定板为参照物，利用电控装置带动标定板在景深范围内移动多个位置，每一位置下标定相机，使相机在不同景深位置有不同标定参数；测量时根据特征点所处不同位置选用不同相机标定参数重建。本发明提出的相机布局方式以及景深标定方法从安装和标定的两方面考虑，并解决了现有相机景深方向测量精度低的问题。本发明的景深标定方法不需要相机参数模型预测，简化了计算流程，提高了测量精度。

本发明所采用的技术方案是提高景深测量精度的相机布局与标定方法；其特征在于，标定方法从相机优化布局以及景深标定两方面出发，提高视觉测量系统在景深方向的测量精度；首先根据测量视场要求确定两相机基线长度以及光轴之间的夹角，使相机布置方式最优；随后根据测量物距、对焦状态以及镜头参数确定景深范围，在此基础上，利用高精度电控装置带动标定板在相机景深方向移动多个位置，在每一位置上利用标定板多张图片标定双目相机参数；测量时根据特征信息在景深所处不同位置选取不同的相机参数重建特征三维信息；标定方法的具体步骤如下：

(1)双目相机最优化布局

两像机光心之间连线称为基线，本发明通过首先调整两像机之间的基线长度提高相机纵向测量精度，纵向测量精度与基线之间的关系表述为：

其中，ΔZ为相机在纵深方向的实际测量值与理论测|量值之间的差值；z为相机重建的特征点深度信息；f为左相机3、右相机4选取的焦距值；d为基线长度；δ为特征标志点定位偏差；

根据测量视场要求计算测量物距与视场之间的关系，通过调整相机物距提高测量精度，其公式表示为：

其中，W为左、右相机3、4确定的公共视场大小；z为相机重建的特征点深度信息；α为视场角与相机光轴之间的夹角；β为相机光轴与Z轴之间的夹角；d为基线长度；在两相机测量视场固定条件下减小物距可提高测量精度；并且，当相机光轴与Z轴、X轴满足公式(3)时相机获得高测量精度；

其中，z为相机重建的特征点深度信息；x为双目相机重建的特征点在X方向的分量；β为相机光轴与Z轴之间的夹角；

构造最小化目标函数，降低Z方向测量误差，提高纵方向测量精度，公式如下：

minΔz＝ming(f,d,α,β,δ,W)，W＝const (4)

最小化目标函数Δz求得相机配置参数最优值，使相机Z轴精度最优；

(2)双目相机景深标定

在获得相机最优配置方案后，考虑成像过程中，由透视畸变以及光学放大率造成的相机景深方向的成像畸变，在景深方向标定相机；根据确定的最优相机安装参数确定景深大小，景深计算公式为：

其中，ΔL为景深，ε为容许弥散圆直径，f为左相机3、右相机4确定的焦距，F为镜头拍摄的光圈值，L为对焦距离；

采用张正友标定算法结合高精度平面标定板2完成景深标定；

标定板2上特征点为圆形标志点，首先将已知尺寸的标定板2固定在高精度电控装置1上，移动电控装置1带动标定板2使其处于测量位置，合焦使圆形标志点成像清晰；利用高精度电控装置1控制标定板2移动多个位置，利用获取的标定板2图像，标定相机左、右相机3、4；标定完一个位置后，根据标定板2尺寸以及标定板2摆动角度的大小控制电控装置1带动标定板2沿纵深方向移动到景深的下一位置，设移动到的位置为第k个位置，并在第k个位置使用相机获取标定板2的多张图像标定相机；

参数计算流程为首先采用灰度重心法提取圆形标志点中心坐标，公式为：

其中，(i,j)代表图像像素点坐标，m，n分别为像素在图像横、纵方向的数量；(x,y)为提取的圆形标志点的质心坐标，f(i,j)为像素坐标(i,j)对应的灰度值；由透视投影关系可知，三维空间点与图像对应点像素坐标之间的关系可表示为：

式中，为第k个位置标定的相机的主点坐标，为第k个位置标定的相机像元在横、纵方向的等效尺寸，R^k为P^k的旋转矩阵，T^k为第k个位置标定的相机的平移矩阵，表达了相机坐标系与世界坐标系之间的旋转和平移关系；(X_w,Y_w,Z_w)为标定板2上特征点圆心在世界坐标系下的三维坐标；M^k为相机内参数矩阵，P^k为外参数矩阵，(u,v)为标定板2特征点圆心在图像上的像素坐标；考虑相机在设计、制造、装配、成像等过程中产生的畸变，本发明将畸变系数引入到成像模型中，记第k个位置引入的第一阶与第二阶径向畸变系数为第一阶和第二阶切向畸变参数为根据二维平面靶标上棋盘格三维点与成像二维点的对应关系即可求解每一个相机的内、外以及畸变参数；

(3)基于景深不同位置的特征点重建

在布置好双目相机以及完成景深标定后，实际测量时根据不同特征点所处景深不同位置，选取不同的相机标定参数解算特征三维信息以提高测量精度，重建公式为：

其中，(X_W,Y_W,Z_W)为物方控制点P在世界坐标系下的齐次坐标，x_l＝(u_l,v_l,1)、x_r＝(u_r,v_r,1)分别为物方控制点P在左相机3、右相机4的成像平面上像素点齐次坐标，分别为左相机3、右相机4对应的投影矩阵；分别为第k个位置标定出的物方控制点P在两像机坐标系下的坐标，由两方程组即可求空间点的坐标。

本发明的有益效果是：为提高相机纵向测量精度，优化了相机安装配置和标定了相机景深，解决了相机在纵深方向测量精度低的问题。与基于景深方向相机参数模型预测的景深标定方法相比，本发明的标定方法不需要模型预测，从而提高了标定精度、简化了计算流程；标定方法实施简单，精度高。

附图说明

图1为提高景深测量精度的相机布局与标定系统图。其中，1-电控装置，2-标定板，3-左相机，4-右相机，O_lu_lv_lZ_l-左相机坐标系，O_lu_rv_rZ_r-右相机坐标系，α-视场角与相机光轴之间的夹角，β-相机光轴与Z轴之间的夹角，d-基线长度。

图2为提高景深测量精度的相机布局与标定方法流程图。

具体实施方式

以下结合技术方案以及附图详细叙述本发明的具体实施方式。

附图1为提高景深测量精度的相机布局与标定系统图。实施例选用卓立汉光高精度电控装置1，本发明的高精度电控装置1可以实现单方向的直线运动，直线行程为500mm、绕水平轴的360°旋转以及绕垂直轴的360°旋转。在标定过程中使用的高精度二维平面标定板2尺寸为300mm×400mm，标定板2上的特征标志点为圆形标志点，圆形标志点的直径为30mm，共30个，其中标定板2横向排列6个，纵向排列5个。选用的左、右相机3、4为同一型号，分辨率为6000×4000，左、右相机3、4配备相同型号的Nikon24/70普通变焦镜头，标定板2与左、右相机3、4镜头光心到相机CCD成像平面之间的距离为200mm。

根据附图2所示标定方法的流程图完成相机景深标定，标定方法的具体步骤如下：

(1)双目相机优化配置

在标定时选取的测量视场为400mm，由公式(2)知，在视场固定的条件下，减小物距为增加相机在纵向方向的测量精度。考虑到相机镜头存在最近摄影距离，本发明选用的测量物距为200mm，根据相机CCD靶面尺寸与测量物距计算得到使用的测量焦距为35mm，结合公式(1)、(3)，以公式(4)为最小化目标函数优化两像机之间的基线距离以及相机光轴与Z轴之间的角度。经优化得到两像机之间的基线距离为150mm，相机光轴与Z轴之间的夹角β为45°，α为15°，当测量时将物体放置在由上述参数确定的位置时，纵向测量精度最优，此时的两相机之间的配置也是最优的。

(2)双目相机景深标定

在影响纵向测量精度的因素中，景深方向的畸变占相当大比重。本发明在最优化化相机配置后，在景深方向标定相机。将宽300mm长400mm的带有圆形标志点的标定板2固定在高精度电控装置1上。本发明选用的测量物距为200mm，相机成像平面到被测物体的距离为500mm，利用公式(5)计算得到景深为348.7mm。利用高精度电控装置1带动平面标定板2平移到该物距处，在该位置通过电控装置1上的两个旋转平台使标定板2多种状态，同时利用左、右相机拍摄标定板2多张图像，利用公式(6)所示灰度重心法提取标志点重心。利用标志点三维坐标与二维像素坐标之间的关系，利用公式(7)标定左、右相机3、4内外参数以及畸变参数。在标定完该位置后，移动电控装置1到下一个位置。本发明景深方向共移动3个位置，在这三个位置处能保证所有标定板2状态充满景深空间。标定参数值如表1所示。

表1左右相机不同景深位置标定参数值

(4)基于景深不同位置的特征点重建

为了验证本发明的有效性，对已知距离的长度标准尺的距离进行重建。长度标准尺两端距离为200.0326mm，将标准尺放于景深内，利用左、右相机3、4拍摄标准尺图片，使用第一和三个畸变模型利用公式(8)重建标准尺长度，重建结果为200.0269mm，测量误差为0.057mm。

本发明从相机配置和标定相机景深两方面实现了双目视觉测量系统景深方向测量精度的提高。在标定时无需预测景深内任意空间的畸变模型，增加了标定鲁棒性。标定方法的标定流程简单、标定精度高，易于实现。

Claims (1)

1.一种提高景深测量精度的相机布局与标定方法；其特征在于，标定方法从相机优化布局以及景深标定两方面出发，来提高视觉测量系统在景深方向的测量精度；首先根据测量视场要求确定两相机基线长度以及光轴之间的夹角，使相机布局方式最优；随后根据测量物距、对焦状态以及镜头参数确定景深范围；利用高精度电控装置带动标定板在相机景深方向移动多个位置，在每一位置上利用标定板多张图片标定双目相机参数；测量时，根据特征信息在景深所处不同位置选取不同的相机参数，重建特征三维信息；标定方法的具体步骤如下：

(1)双目相机最优化布局

两相机光心之间连线称为基线，首先调整两相机之间的基线长度提高相机纵向测量精度，纵向测量精度与基线之间的关系表述为：

其中，ΔZ为相机在纵深方向的实际测量值与理论测量值之间的差值；z为相机重建的特征点深度信息；f为左相机(3)、右相机(4)选取的焦距值；d为基线长度；δ为特征标志点定位偏差；

再根据测量视场的要求，计算测量物距与视场之间的关系，通过调整相机物距提高测量精度，其公式表示为：

其中，W为左相机(3)、右相机(4)确定的公共视场大小；z为相机重建的特征点深度信息；α为视场角与相机光轴之间的夹角；β为相机光轴与Z轴之间的夹角；d为基线长度；在两相机测量视场固定条件下减小物距提高测量精度；并且，当相机光轴与Z轴、X轴满足公式(3)时相机获得高测量精度；

其中，z为相机重建的特征点深度信息；x为双目相机重建的特征点在X方向的分量；β为相机光轴与Z轴之间的夹角；

构造最小化目标函数，降低Z方向测量误差，提高纵方向测量精度，公式如下：

minΔz＝ming(f,d,α,β,δ,W)，W＝const (4)

最小化目标函数Δz求得相机配置参数最优值，使相机Z轴精度最优；

(2)双目相机景深标定

在获得相机最优配置方案后，考虑成像过程中，由透视畸变以及光学放大率造成的相机景深方向的成像畸变，在景深方向标定相机；根据确定的最优相机安装参数确定景深大小，景深计算公式为：

其中，ΔL为景深，ε为容许弥散圆直径，f为左、右相机(3、4)确定的焦距，F为镜头拍摄的光圈值，L为对焦距离；

采用张正友标定算法结合高精度平面标定板(2)完成景深标定，标定板(2)上特征点为圆形标志点；首先将已知尺寸的标定板(2)固定在高精度电控装置(1)上，移动高精度电控装置(1)带动标定板(2)使其处于测量位置，合焦使圆形标志点成像清晰；利用高精度电控装置(1)控制标定板(2)移动多个位置，利用获取的标定板(2)图像标定左、右相机(3、4)；标定完一个位置后，根据标定板(2)尺寸以及标定板(2)摆动角度的大小控制高精度电控装置(1)带动标定板(2)沿纵深方向移动到景深的下一位置，设移动到的位置为第k个位置，并在第k个位置使用相机获取标定板(2)的多张图像标定相机；参数计算流程为：首先采用灰度重心法提取圆形标志点中心坐标，公式为：

其中，(i,j)代表图像像素点坐标，m，n分别为像素在图像横、纵方向的数量；(x,y)为提取的圆形标志点的质心坐标，f(i,j)为像素坐标(i,j)对应的灰度值；由透视投影关系可知，三维空间点与图像对应点像素坐标之间的关系可表示为：

式中，为第k个位置标定的相机的主点坐标，为第k个位置标定的相机像元在横、纵方向的等效尺寸，R^k为P^k的旋转矩阵，T^k为第k个位置标定的相机的平移矩阵，表达了相机坐标系与世界坐标系之间的旋转和平移关系；(X_w,Y_w,Z_w)为标定板(2)上特征点圆心在世界坐标系下的三维坐标；M^k为相机内参数矩阵，P^k为外参数矩阵，(u,v)为标定板(2)特征点圆心在图像上的像素坐标；考虑相机在设计、制造、装配、成像等过程中产生的畸变，将畸变系数引入到成像模型中，设第k个位置引入的第一阶与第二阶径向畸变系数为第一阶和第二阶切向畸变参数为根据二维平面靶标上棋盘格三维点与成像二维点的对应关系求解每一个相机的内、外以及畸变参数；

(3)基于景深不同位置的特征点重建

实际测量时，根据不同特征点所处景深不同位置选取不同的相机标定参数，解算特征三维信息以提高测量精度，重建公式为：

其中(X_W,Y_W,Z_W)为物方控制点P在世界坐标系下的齐次坐标，x_l＝(u_l,v_l,1)、x_r＝(u_r,v_r,1)分别为物方控制点P在左相机(3)、右相机(4)的成像平面上像素点齐次坐标，分别为左相机(3)、右相机(4)对应的投影矩阵；分别为第k个位置标定出的物方控制点P在两相机坐标系下的坐标，由两方程组求空间点的坐标。