CN101727670B - 一种可变幅面多相机系统柔性标定方法及装置 - Google Patents

Abstract

本发明公开了一种多相机系统中摄像机的标定方法，包括下述步骤：第一步：打开多相机系统所有摄像机，采集标定模板八个不同位置和姿态的图像；第二步：对采集的图像进行处理，检测出图像上的特征点；第三步：利用摄影测量的方法对标定图像进行相对定向和绝对定向，以确定摄像机待标定参数的初始值；第四步：根据建立的摄像机畸变模型，对摄像机进行光束平差标定，实现标定参数的优化调整，最后对标定结果进行温度补偿。实验表明，本发明方法操作简单、实用灵活，具有较高的精度。

Description

一种可变幅面多相机系统柔性标定方法及装置

技术领域

本发明涉及计算机视觉系统中摄像机的标定问题，特别涉及一种可变幅面多相机系统柔性标定方法及装置。

背景技术

多相机系统(包括多照相机系统、多摄像机系统)可广泛用于三维重建、视觉监控、运动分析以及医学研究等诸多领域。在多相机系统中，物体表面点的三维信息与其在图像上对应点的二维信息之间的关系是通过摄像机模型来建立的，而摄像机模型由摄像机的内外参数决定，所谓标定就是求解摄像机内外参数的过程，其中内部参数是指焦距、特征比、畸变因子和主点等，外部参数是指世界坐标和摄像机坐标之间的相对旋转和平移。

文献“Image Processing，Analysis，and Machine Vision”(M.Sonka，V.Hlavac，R.Boyle，International Thomson Publishing，1998)阐述了一种比较通用的摄像机成像模型，该成像模型用公式描述为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}*A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，X_w，Y_w，Z_w是标定模板上特征点的三维空间坐标，u，v是在图像上的二维坐标，λ为一标量，R，T为摄像机的外参数矩阵，又称为图像的外方位元素，它们分别定义了摄像机在三维空间的姿态和位置， $A=\left[\begin{array}{ccc}\mathrm{\α}& s& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right],$ 为摄像机内部参数矩阵，u₀，v₀是图像中心(光轴与图像平面的交点)坐标，α，β分别为X和Y方向上的采样频率，即单位长度的像素个数，s表示因图像坐标系的两个坐标轴由于之间不互相正交而引出的倾斜因子(skew factor)。

早期的摄像机标定方法需要精确控制摄像机和标定物的相对运动，或者需要精确地知道标定物几何尺寸，这类方法能够实现高精度的标定，但标定过程复杂，在实际中难以应用。1998年，张正友在传统标定方法的基础上提出了一种基于平面模板的摄像机标定方法，利用旋转矩阵的正交性条件和非线性优化进行摄像机标定，精度为0.35像素左右、易于实现，在机器视觉领域得到了广泛的应用，但是该方法把平面模板作为理想平面来对待，忽略了模板的制造误差，另外，它只考虑了两个主要的畸变参数，标定精度难以保证，并且只能用于小幅面摄像机的标定。

发明内容

本发明的目的在于为多相机系统提供一种灵活易用、精度高、速度快的摄像机标定方法，用于克服现有技术的不足。

为了实现上述目的，本发明一方面提出一种可变幅面多相机系统的标定方法，其特征在于，包括下述步骤：

第一步，获取标定图像：打开待标定的摄像机采集标定模板八个不同位置和姿态的图像，所使用的标定模板印制有圆形特征点，分编码特征点和非编码特征点两种类型，其中标定模板斜对角线上两对编码特征点的距离已知；

第二步，图像特征点检测：对采集的图像依次进行滤波降噪、阀值分割、边缘检测、中心定位处理，识别出标定图像上特征点的个数和类型，并计算出特征点的图像坐标，对于编码特征点，还要对它进行解码，得到其编码值；

第三步，确定标定参数初始值：首先根据第二步识别出的特征点数目，选择识别特征点数目最多的两幅图像进行相对定向，得到两幅图像间的5个相对方位参数，如果这两幅图像的摄像夹角小于30度则改用下一幅图像进行相对定向，直到找出摄像机夹角大于30度的两幅图像，完成相对定向，并重建出至少5个编码特征点的三维空间坐标作为标定控制点，然后，利用标定控制点的三维空间坐标和图像上特征点的图像坐标依次对剩余的图像进行绝对定向，得到图像的外方位元素；

第四步，光束平差法标定：根据镜头畸变模型中的径向畸变、切向畸变以及薄棱镜畸变误差，建立摄像机畸变模型，利用光束平差法对摄像机进行标定，以调整和优化摄像机的内外参数，最后对标定结果进行温度补偿。

摄像机畸变模型如下：

dx＝A1*x*r²+A2*x*r⁴+A3*x*r⁶+B1*(r²+2x²)+2*x*y*B2+E1*x+E2*y

dy＝A1*y*r²+A2*y*r⁴+A3*y*r⁶+B2*(r²+2y²)+2*x*y*B1

其中，A1、A2、A3为径向畸变参数；B1、B2为切向畸变参数；E1、E2为薄棱镜畸变参数。在进行光束平差法标定时，以上所有畸变参数的初始值设置为零。

光束平差法的误差方程为：

V＝A*X1+B*X2+C*X3-L

其中：X1为摄像机内参数变化量；X2为摄像机外参数变化量；X3为特征点三维坐标变化量；L为观察量即图像点坐标；A、B、C分别是相应的变化量偏导矩阵。

根据本发明的实施例，所述标定方法，可用于多种幅面(视场)多相机系统的标定，并对整个多相机系统进行一次性标定。

为了实现上述发明目的，本发明另一方面提出一种用于多相机系统标定的装置，包括：

采用平面形的标定模板，标定模板置于电动转盘(可遥控)上，在多相机系统的测量区域内随转盘转动；启动系统中每个摄像机拍摄标定模板不同转动位置的图像。

根据本发明的实施例，所述标定模板上印制有圆形的非编码特征点和环状的编码特征点，所有的特征点坐标均为未知，只有斜对角线上两对编码特征点的距离为已知。

根据本发明的实施例，所述特征点采用定向反光物质印制，在标定模板上印出黑底白点。

根据本发明的实施例，在标定过程中，标定模板在多相机系统测量区域内移动八个方位。

与现有方法相比，本发明方法具有以下优点：

(1)本发明方法对镜头畸变模型中的径向畸变、切向畸变和薄棱镜畸变进行了全面考虑，提高了摄像机标定的精度。

(2)与传统的标定方法相比，本发明方法所使用的平面标定模板在制造加工时不需要精确控制标定模板的平面度和标定模板上特征点的世界坐标，从而降低了标定模板的制造加工难度。

(3)与张正友标定方法相比，本发明考虑了平面模板和特征点在实际加工制造中的误差，利用摄影测量中经过精密验证的光束平差算法优化标定结果，既调整摄像机内参数、外参数，同时也调整标定平面模板特征点的世界坐标，进一步提高了摄像机标定的精度；另外，本发明发法可用于30mm～4000mm视场摄像机的标定，而张正友标定方法则仅局限于100mm～200mm小视场摄像机的标定。

附图说明

图1：本发明多相机系统标定装置示意图；

图2：本发明标定方法流程图；

图3：本发明标定模板和标定十字架设计图；

图4：本发明标定采集的八个方位图片。

具体实施方式

以下结合附图及实施例对本发明作进一步的详细说明。

本发明提出一种多视觉系统的快速摄像机标定方法，标定装置如图1所示，图中1、2、3、4表示组成多相机系统的摄像机，5表示标定模板，基本流程如图2所示。另外，本发明基于Visual C++6.0平台自主开发了配套的标定软件。

本发明提出的一种可变幅面多相机系统标定方法，以视场大小为400mm*400mm*400mm的多相机系统的标定为例说明如下：

第一步，获取标定图像：采用如图2所示的幅面大小为400mm*400mm的标定模板，该模板上印制有13×11个圆形特征点，其中有17个带有环形编码的特征点，这些环形编码点具有旋转、缩放不变性，即模板在多种位置放置时拍摄图像，都可以从图像中解析出这些点的唯一编号。所有的标志点坐标均为未知，只有斜对角线上两对编码特征点的距离为已知。首先将标定平面模板放置在测量装置前1米处，然后打开待标定的摄像机采集标定模板八个不同位置和姿态的图像，如图3所示；

图像采集要求：

(1)标定模板和摄像机光轴的偏角不能过大，否则不利于圆形特征点的准确识别和精确定位；

(2)使标定模板上的圆形特征点都能被清晰地拍摄到，以保证至少2/3的编码特征点能被检测出来；

第二步，图像特征点检测：对采集的图像依次进行滤波降噪、阀值分割、边缘检测、中心定位处理，识别出标定图像上特征点的个数和类型，并计算出特征点的图像坐标，对于编码特征点，还要对它进行解码，得到其编码值；具体检测步骤：(1)通过梯度搜索的方法找到特征点候选区域；(2)在候选区域进行Canny边缘检测，得到单像素的特征边缘；(3)利用梯度均值法对整像素边缘点逐个进行修正，得到亚像素边缘；(4)利用最小二乘法拟合特征点中心；(5)利用若干先验规则，剔除掉不符合人工特征条件的候选点；最后根据标志点周围是否有环带区分编码点和非编码点；(6)对编码点环带进行采样求取其编码值。

第三步，确定标定参数初始值：首先根据第二步识别出的特征点数目，选择识别特征点数目最多的两幅图像进行相对定向，得到两幅图像间的5个相对方位参数，如果这两幅图像的摄像夹角小于30度则改用下一幅图像进行相对定向，直到找出摄像机夹角大于30度的两幅图像，完成相对定向，并重建出至少5个编码特征点的三维空间坐标作为标定控制点，然后，利用标定控制点的三维空间坐标和图像上特征点的图像坐标依次对剩余的图像进行绝对定向，得到图像的外方位元素；

相对定向的意思就是指确定两幅图像之间的位置关系。确定一张像片的方位需6个外方位元素。因此，要确定一个立体像对的两张像片的方位需要12个外方位元素，即：

像片1：

像片2：

像片2的外方位元素减去像片1的外方位元素，得：

ΔX_s＝X_s2-X_s1，ΔY_s＝Y_s2-Y_s1，ΔZ_s＝Z_s2-Z_s1

Δω＝ω₂-ω₁，Δκ＝κ₂-κ₁

其中，ΔX_s、ΔY_s、ΔZ_s为摄影基线(两摄站投影中心的连线)在世界坐标系的三个坐标轴上的投影，记为B_x、B_y、B_z。

据文献“解析摄影测量学[M]”(江延川，解放军测绘学院，1990)所述：令 $B=\sqrt{{B_x}^2+{B_y}^2+{B_z}^2},$ tan(μ)＝B_y/B_x，sin(v)＝B_z/B，则B_x、B_y、B_z这三个元素可以用B，μ，v这三个元素代替。可以看出基线B的长度只影响立体像对的比例尺，并不影响其相对方位，因此，该立体想对的相对方位元素只需要五个，即μ，v，

ω，κ，其中

ω，κ隐含在(X₂，Y₂，Z₂)中，根据摄影测量共面方程，得：

$F=\left|\begin{array}{ccc}{B}_x& B_y& B_z\\ X_1& Y_1& Z_1\\ X_2& Y_2& Z_2\end{array}\right|=\left|\begin{array}{ccc}1& \mathrm{\μ}& v\\ X_1& Y_1& Z_1\\ X_2& Y_2& Z_2\end{array}\right|=0$

该式是一个非线性函数，为了平差计算，将按多元函数泰勒级数展开，取小值一次项，得共面方程的线性公式为：

把μ，v，

ω，κ的初值分别设置为0，利用上式进行迭代运算，就可以实现相对定向，并重建出至少5个编码特征点的三维空间坐标作为标定控制点。

绝对定向，就是利用第二步得到的图片上图像点坐标和第三步重建出的对应的控制点的三维坐标来确定像机在世界坐标系下的绝对方位。计算公式如下：

V＝At-L

其中：

$V=\left[\begin{array}{c}{v}_x\\ v_y\end{array}\right],$

$L=\left[\begin{array}{c}x-\left(x\right)\\ y-\left(y\right)\end{array}\right].$ L为观察量即图像点坐标。

第四步，光束平差法标定：根据镜头畸变模型中的径向畸变、切向畸变以及薄棱镜畸变误差，建立摄像机畸变模型，利用光束平差法对摄像机进行标定，以调整和优化摄像机的内外参数，然后对标定结果进行温度补偿。

摄像机畸变模型如下：

dx＝A1*x*r²+A2*x*r⁴+A3*x*r⁶+B1*(r²+2x²)+2*x*y*B2+E1*x+E2*y

dy＝A1*y*r²+A2*y*r⁴+A3*y*r⁶+B2*(r²+2y²)+2*x*y*B1

其中，A1、A2、A3为径向畸变参数；B1、B2为切向畸变参数；E1、E2为薄棱镜畸变参数。在进行光束平差法标定时，以上所有畸变参数的初始值设置为零。以作为初始值，

光束平差的误差方程为：

V＝A*X1+B*X2+C*X3-L

其中：X1为摄像机内参数变化量；X2为摄像机外参数变化量；X3为特征点三维坐标变化量；L为观察量即图像点坐标；A、B、C分别是相应的变化量偏导矩阵。

根据以上步骤，计算得到多相机系统的标定结果如表1所示。

另外，为验证标定结果的精度，并和张正友标定方法进行对比，分别利用两种标定方法得到的摄像机的内参数和外参数，对计算得到的标定模板上的三维特征点进行重投影，得到在该内外参数条件下的标定模板上特征点中心的理想像素坐标，分别计算它和实际图像中检测到的对应的特征点中心像素之间的平均误差、最大误差、误差之和及标准偏差。计算结果见表2、3。

表2  张正友方法重投影误差

表3  本发明方法重投影误差

由表可知，本发明所提出的摄像机标定方法得到的特征点中心重投影平均误差在0.07个像素左右，最大误差在0.25个像素，从重投影误差结果可以看出，在考虑了标定板的制造误差、更全面的镜头畸变误差之后，减小了重投影误差，提高了标定精度；同时本发明方法又具备张正友标定方法灵活易用的优点；另外，我们还加入了标定结果的温度补偿，使本发明多相机系统的标定方法能适应温度的变化。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (1)

1.基于标定装置的柔性标定方法，其特征在于，包括下述步骤：

所述标定装置由标定模板和待标定的多相机系统构成；所述标定模板上方设置有多相机系统；所述标定模板印制有圆形特征点、分编码特征点和非编码特征点两种，其中标定模板斜对角线上两对编码特征点的距离已知；所述标定模板幅面可变，对于不同视场的多相机系统，采用不同幅面的标定模板进行标定，对于较大视场的多相机系统，采用标定十字架；

第一步，获取标定图像：打开待标定的多相机系统采集标定模板八个不同位置和姿态的图像；所述多相机系统由一个或多个相同的摄像机构成；

第二步，图像特征点检测：对采集的图像依次进行滤波降噪、阀值分割、边缘检测和中心定位处理，识别出标定图像上特征点的个数和类型，并计算出特征点的图像坐标，对于编码特征点，还要对它进行解码，得到其编码值；

第三步，确定标定参数初始值：首先根据第二步识别出的特征点数目，选择识别特征点数目最多的两幅图像进行相对定向，得到两幅图像间的5个相对方位参数，如果这两幅图像的摄像夹角小于30度则改用下一幅图像进行相对定向，直到找出摄像夹角大于30度的两幅图像，完成相对定向，并重建出至少5个编码特征点的三维空间坐标作为标定控制点，然后，利用标定控制点的三维空间坐标和图像上特征点的图像坐标依次对剩余的图像进行绝对定向，得到图像的外方位元素；

第四步，光束平差法标定：根据镜头畸变模型中的径向畸变、切向畸变以及薄棱镜畸变误差，建立摄像机畸变模型，利用光束平差法对摄像机进行标定，以调整和优化摄像机的内外参数，最后对标定结果进行温度补偿。

Images