CN106600645A - 一种摄像机空间立体标定快速提取方法 - Google Patents

Abstract

本发明一种摄像机空间立体标定快速提取方法属于视觉测量领域，涉及一种基于直接线性变换法的摄像机空间立体标定快速提取方法。该方法在标定之前，先安装空间立体标定靶，再采用三坐标测量机进行测量，确定大、小陶瓷球靶标中心的精确三维位置信息。通过双目视觉系统中左、右摄像机对大、小陶瓷球靶标进行拍摄，提取图片中大、小陶瓷球靶标中心的特征信息，求得陶瓷球靶标中心的二位像素坐标；最后，在直接线性变换法基础上，求得左、右摄像机的内外参数，实现摄像机在三维空间的立体标定。本发明在直接线性变换法的基础上，应用双目视觉测量系统改进了现有三维立体标定方法在进行摄像机标定过程中的局限性，实现了摄像机的高精度标定。

Description

一种摄像机空间立体标定快速提取方法

技术领域

本发明属于视觉测量领域，涉及一种基于直接线性变换法的摄像机空间立体标定快速提取方法。

背景技术

随着工业生产要求的不断提升，其中面临越来越多的测量问题，如何提高测量的精度与效率成为相关研究领域的热点问题。由于视觉测量具有非接触，实时性好，效率高以及能够实现在机测量的优点，其功能以及应用范围正获得越来越多的推广与完善。摄像机标定环节作为视觉测量的基础，标定结果的精度将直接决定最终测量结果的精度。现阶段用于视觉测量的标定靶标主要有一维标定尺，二维标定板和三维立体标定物三种。然而一维标定尺和二维标定板缺少维度信息，需要多次摆放，操作不便，而三维立体标定物可以得到更好的效果。现有的三维立体标定物有：立体标定块、标准校准杆、组合式二维标定杆等。但在使用现有的三维标定物进行标定时，具有空间点自动识别困难、景深方向信息不足、必须依靠高精度空间坐标测量设备跟踪测量，同时需要有经验者操作等问题。

针对摄像机标定，南航的张丽艳等人，在《光学学报》第32卷第9期《面向大视场视觉测量的摄像机标定技术》一文中提出了一种面向高精度视觉测量的摄像机标定新方法，该方法采用亮度自适应的单个红外发光二极管作为目标靶点，将该靶点固定在三坐标测量机的测头上，在三维空间构成一个虚拟立体靶标。该方法较好地解决了摄像机标定过程中中景深信息不足，摄像机标定精度难以保证的问题。但该方法所用发光二极管提取稳定性差，使用三坐标测量机移动范围有限。

发明内容

本发明为了解决现有三维立体标定装置在进行摄像机标定过程中的局限性，发明了一种基于直接线性变换法的摄像机空间立体标定快速提取方法。其目的是针对相机标定过程中空间点自动识别困难、景深方向信息不足、必须依靠高精度空间坐标测量设备跟踪测量等问题，通过在测量空间内布置可以实现快速提取的高精度三维立体标定物，实现摄像机的快速高精度标定。克服了现有三维立体标定装置在进行摄像机标定过程中空间点自动识别困难、景深方向信息不足、必须依靠高精度空间坐标测量设备跟踪测量等缺陷，具有广泛的应用前景。

本发明采用的技术方案是一种摄像机空间立体标定快速提取方法，其特征是，该方法在标定之前，先安装空间立体标定靶，再采用三坐标测量机进行测量，确定大、小陶瓷球靶标1、2中心的精确三维位置信息，通过双目视觉系统中左、右摄像机7、8对大、小陶瓷球靶标1、2进行拍摄，提取图片中大、小陶瓷球靶标1、2中心的特征信息，求得陶瓷球靶标1、2中心的二位像素坐标；最后，在直接线性变换法基础上，求得左、右摄像机7、8的内外参数，实现摄像机在三维空间的立体标定；方法的具体步骤如下：

第一步，安装空间立体标定靶

空间立体标定靶由大、小陶瓷球靶标1、2，圆柱形短、长支撑杆3、4，空心底座5和万向轮6构成；空心底座5为阶梯状，在空心底座5的底面4角分别安装4个可锁定的万向轮6；

所述的大、小陶瓷球靶标1、2为表面经过亚光处理的陶瓷球，经过高精度加工，具有很好的圆度信息；短、长支撑杆3、4两端加工有精密螺纹，分别与大、小陶瓷球靶标1、2和空心底座5连接；大陶瓷球靶标1分别安装在空心底座5第一行和第五行，小陶瓷球靶标2分别安装在空心底座5第三行、第四行和第五行；设计与大陶瓷球1相连的短支撑杆3长为l₁，与小陶瓷球2相连的长支撑杆4长为l₂，使得大陶瓷球靶标1的半径长加上短支撑杆3的高度与小陶瓷球靶标2的半径长加上长支撑杆4的高度相等，保证每个大、小陶瓷球靶标1、2中心位置之间的高度差与台阶高度差相同；解决了一维标定尺和二维标定板在视觉测量中景深信息不足的问题；

所述的阶梯状的空心底座5每块台阶横向长度皆为L₁,纵向长度皆为L₂，高度按等差数列分布，不同行数与列数的等差数不同，第一行到第五行的台阶高度的等差数分别为h₁到h₅，第一列到第四列台阶高度的等差数分别为h₆到h₉；

第二步，测量大、小陶瓷球靶标1、2，拍摄空间立体标定靶

利用三坐标测量机进行接触式测量，即将测头在每个大、小陶瓷球靶标1、2上接触至少3次进行测量，以确定大、小陶瓷球靶标1、2中心的三维空间位置信息以及建立空间坐标系；之后，安装左、右摄像机7、8，并将空间立体标定靶放在测量空间内，用左、右摄像机7、8拍摄空间立体标定靶，获得一张清晰的大、小陶瓷球靶标1、2的图片；

第三步，识别并提取大、小陶瓷球靶标图像的中心位置

标定物靶标的三维空间点到图像点的透视投影过程由公式(1)表示：

其中，α_x＝f/dX，α_y＝f/dY分别为u轴和v轴方向上的尺度因子，f为摄像机镜头焦距，dX为像素在X轴方向上的物理尺寸，dY为Y轴方向上的物理尺寸，(u₀,v₀)为主点在像素坐标系下的坐标，M透视投影矩阵，M₁称为内部参数矩阵，只由参数α_x，α_y，u₀，v₀确定；M₂称为外部参数矩阵，由摄像机相对于世界坐标系的方位决定，包含旋转矩阵R和平移矩阵T共六个自由度；

由于大、小陶瓷球靶标1、2的拍摄图像足够大，特征信息明显，采用椭圆拟合法的方式提取大、小陶瓷球靶标1、2中心的位置信息；针对拍摄的二维图像，在提取大、小陶瓷球靶标1、2图像中心位置信息时，利用Matlab软件编写了大、小陶瓷球靶标1、2球心提取程序，并分别对左、右摄像机7、8拍摄的图片进行提取，即首先进行二值化处理，采用阈值分割法，根据大陶瓷球靶标1的直径设置合理阈值，优先识别大陶瓷球靶标1；之后采用椭圆拟合法，此方法涉及两个过程：一是椭圆边缘点的检测，另一是对边缘点进行椭圆拟合以确定椭圆的中心。椭圆图像曲线的一般表达式为：

f(α,β)＝ax²+bxy+cy²+dx+ey+f＝0 (2)

其中，α＝[a b c d e f],β＝[x² xy y² x y 1]。

引入约束||α||²＝1，建立如下目标函数：

其中，M'为罚因子。于是，椭圆拟合转换成非线性最小二乘法问题，则精确的椭圆中心点像素坐标(u,v)由下式求得：

通过椭圆拟合法提取大陶瓷球靶标1的中心位置信息后，按像素行搜索将每列对应的上下两端大陶瓷球靶标1的球心连接成一条直线；由于每列的大、小陶瓷球靶标1、2高度差不同，根据每列的高度差设置不同的阈值，按列搜索依次识别直线上小陶瓷球靶标2的中心位置；最后实现大、小陶瓷球靶标1、2球心位置信息的快速自动提取，提取到的最终结果为具有一定顺序的球心坐标组成的5×4的矩阵，即每个大、小陶瓷球靶标1、2所对应的椭圆图像中心点像素坐标(u,v)；

第四步，求解M矩阵及其内外参数

依据直接线性变换法，被拍摄物体的空间点和对应图像点的对应关系由透视投影矩阵M描述，摄像机标定的过程就是为了求解矩阵M的内外参数，即通过获得标定物靶标的三维世界坐标(X_w,Y_w,Z_w)与其对应图像点坐标(u,v)，以求得变换矩阵M并进行内外参数分解；

将第三步中求取的椭圆图像中心点的像素坐标(u,v)与第二步获取的大、小陶瓷球靶标1、2的球心空间三维坐标(X_w,Y_w,Z_w)代入公式(1)求解对应的M矩阵；在得到M矩阵的结果后，再把内外参数矩阵分离求解，由M矩阵可以分解出摄像机内外参数矩阵M₁和M₂，并依次求解参数u₀，v₀，α_x，α_y，R，T；这样就求解出来摄像机标定的內参数矩阵M₁以及外参数矩阵M₂，完成对左、右摄像机7、8的快速高精度标定。

本发明的效果和益处是：本方法利用空间立体标定靶由按照一定规律排列的高精度亚光大小陶瓷球组合而成，可实现对标志物空间信息的快速识别与提取。由于大、小陶瓷球靶标1、2经过高精度加工，可以保证大、小陶瓷球靶标1、2的球心精度，通过三坐标机测量，可以获得每个大、小陶瓷球靶标1、2精确的三维位置信息，可直接获得景深方向的位置信息。短、长支撑杆3、4两端与底座5和大、小陶瓷球靶标1、2采用精密螺纹进行连接，使标定靶便于拆卸，方便携带，并提高整个装置的重复性精度，进而保证标定结果的精度。整套系统为三维立体标定靶，使用20个陶瓷球作为靶标，空间点数量充足位置信息精确。本方法中，每行、每列的大、小陶瓷球靶标1、2中心位置高度按不同等差数的等差数列分布，通过设置不同的阈值实现空间信息的快速自动识别，实现对左、右摄像机7、8的快速高精度标定。

附图说明

图1是一种空间立体标定系统的示意图，其中，1-大陶瓷球靶标，2-小陶瓷球靶标，3-短支撑杆，4-长支撑杆，5-空心底座，6-万向轮，7-左摄像机，8-右摄像机；h₁-第一行陶瓷球靶标高度差，h₂-第二行陶瓷球靶标高度差，h₃-第三行陶瓷球靶标高度差，h₄-第四行陶瓷球靶标高度差，h₅-第五行陶瓷球靶标高度差，h₆-第一列陶瓷球靶标高度差，h₇-第二列陶瓷球靶标高度差，h₈-第三列陶瓷球靶标高度差，h₉-第四列陶瓷球靶标高度差；l₁-短支撑杆长度，l₂-长支撑杆长度；L₁-每块台阶横向长度,L₂-每块台阶纵向长度。

图2是利用空间立体标定靶对摄像机进行标定的流程图

具体实施方式

以下结合技术方法和附图详细叙述本发明的具体实施方式。

在标定之前安装空间立体标定靶，之后采用三坐标测量机进行测量，确定大、小陶瓷球靶标1、2中心的精确三维位置信息，并通过双目视觉系统的左、右摄像机7、8对大、小陶瓷球靶标1、2进行拍摄，提取图片中大、小陶瓷球靶标1、2中心的特征信息，求得其中心的二位像素坐标。最后，在直接线性变换法基础上，求得双目视觉系统的左、右摄像机7、8的内外参数，实现摄像机在三维空间的立体标定。方法的具体步骤如下：

第一步安装空间立体标定靶

在对摄像机进行标定前，首先用长、短支撑杆3、4将大、小陶瓷球靶标1、2与底座5进行连接，在底座5下面安装4个可锁定的万向轮构5，完成空间立体标定物的组装。

如图1所示，大、小陶瓷球靶标1、2是表面经过亚光处理的陶瓷球，经过高精度加工，具有很好的圆度信息，可以得到很好的提取效果。大、小陶瓷球靶标分别由8个直径为20mm的大陶瓷球靶标1和12个直径为10mm的小陶瓷球靶标2组成，20个陶瓷球靶标按5行4列排布，最上面和最下面两行为大陶瓷球靶标1，中间三行为小陶瓷球靶标2。设计每行、每列的陶瓷球靶标中心位置高度按等差数列分布，不同行数与列数的等差数不同，同时具有不同程度的高度差。其中，最下面一行大陶瓷球靶标1按等差数h₁＝10mm的高度差从左至右排布，第二行高度差h₂＝20mm，之后依次增加10mm，最上面一行高度差h₅＝50mm。每列陶瓷球靶标的高度差分别为h₆＝40mm，h₇＝50mm，h₈＝60mm和h₉＝70mm。长支撑杆4长度l₂＝45mm，短支撑杆3长度l₁＝40mm。空心底座每阶之间的连接板为5mm。因此，整套陶瓷球靶标中，大、小陶瓷球靶标1、2中心距离底座最低为50mm，最高为360mm。设计每块台阶横向长度L₁＝100mm,纵向长度L₂＝80mm，则阶梯状的空心底座5的长x宽为400mmx400mm，满足摄像机的视场范围。并且根据公式(1)的线性求解要求，这样布置使所有的三维坐标点不在同一平面上，实现大、小陶瓷球靶标1、2的快速高精度提取。

第二步测量大、小陶瓷球靶标1、2，拍摄空间立体标定靶

根据空间立体标定靶中的大、小陶瓷球靶标1、2的位置，利用三坐标测量机进行接触式测量，即将测头在每个大、小陶瓷球靶标1、2上接触至少3次进行测量，以确定大、小陶瓷球靶标1、2中心的三维空间位置信息以及建立空间坐标系，即获得每个大、小陶瓷球靶标1、2球心的三维空间齐次坐标[X_w Y_w Z_w 1]^T。空间坐标系建立完成后，利用左、右摄像机7、8对设计的空间立体标定靶进行拍摄，获得一张清晰的陶瓷球靶标图片。

第三步识别并提取大、小陶瓷球靶标1、2图像的中心位置

利用Matlab软件编写了大、小陶瓷球靶标1、2球心提取程序，并分别对左、右摄像机7、8拍摄的图片进行提取。即首先进行二值化处理，采用阈值分割法，根据大陶瓷球靶标1的直径设置阈值，优先识别直径为20mm的陶瓷球靶标1。之后根据公式(2)—(4)，采用椭圆拟合法，提取大陶瓷球靶标1的中心位置信息，并按行搜索将每列对应的上下两端大陶瓷球靶标1的球心连接成一条直线。由于每列的大、小陶瓷球靶标1、2高度差不同，根据这一特征设置不同的阈值，按列搜索依次识别直线上小陶瓷球靶标2的中心位置。最后提取到具有一定顺序的球心坐标组成的矩阵，于是获取对应大、小陶瓷球靶标1、2球心的二维平面像素齐次坐标[u v 1]^T。

第四步求解M矩阵及其内外参数

将一系列球心的空间世界坐标和二维像素坐标代入公式(1)求解对应的M矩阵。在得到M矩阵的结果后，再把内外参数矩阵分离求解，由M矩阵可以分解出摄像机内外参数矩阵M₁和M₂，并依次求解参数u₀，v₀，α_x，α_y，R，T。这样就求解出来摄像机标定的內参数矩阵M₁以及外参数矩阵M₂。这样就完成了左、右摄像机7、8中摄像机的快速高精度标定。

本发明在直接线性变换法的基础上，应用于双目视觉测量系统，改进了现有三维立体标定方法在进行摄像机标定过程中的局限性，实现了摄像机的高精度标定。

Claims (1)

1.一种摄像机空间立体标定快速提取方法，其特征是，该方法在标定之前，先安装空间立体标定靶，再采用三坐标测量机进行测量，确定大、小陶瓷球靶标(1、2)中心的精确三维位置信息，通过双目视觉系统中左、右摄像机(7、8)对大、小陶瓷球靶标(1、2)进行拍摄，提取图片中大、小陶瓷球靶标(1、2)中心的特征信息，求得陶瓷球靶标(1、2)中心的二位像素坐标；最后，在直接线性变换法基础上，求得左、右摄像机(7、8)的内外参数，实现摄像机在三维空间的立体标定；方法的具体步骤如下：

第一步，安装空间立体标定靶

空间立体标定靶由大、小陶瓷球靶标(1、2)，圆柱形短、长支撑杆(3、4)，空心底座(5)和万向轮(6)构成；空心底座(5)为阶梯状，在空心底座(5)的底面4角分别安装4个可锁定的万向轮(6)；

所述的大、小陶瓷球靶标(1、2)为表面经过亚光处理的陶瓷球，经过高精度加工，具有很好的圆度信息；短、长支撑杆(3、4)两端加工有精密螺纹，分别与大、小陶瓷球靶标(1、2)和空心底座(5)连接；大陶瓷球靶标(1)分别安装在空心底座(5)第一行和第五行，小陶瓷球靶标(2)分别安装在空心底座(5)第三行、第四行和第五行；设计与大陶瓷球(1)相连的短支撑杆(3)长为l₁，与小陶瓷球(2)相连的长支撑杆(4)长为l₂，使得大陶瓷球靶标(1)的半径长加上短支撑杆(3)的高度与小陶瓷球靶标的半径长加上长支撑杆(4)的高度相等，保证每个大、小陶瓷球靶标(1、2)中心位置之间的高度差与台阶高度差相同；

所述的阶梯状的空心底座(5)每块台阶横向长度皆为L₁,纵向长度皆为L₂，高度按等差数列分布，不同行数与列数的等差数不同，第一行到第五行的台阶高度的等差数分别为h₁到h₅，第一列到第四列台阶高度的等差数分别为h₆到h₉；

第二步，测量大、小陶瓷球靶标(1、2)，拍摄空间立体标定靶

利用三坐标测量机进行接触式测量，即将测头在每个大、小陶瓷球靶标(1、2)上接触至少3次进行测量，以确定大、小陶瓷球靶标(1、2)中心的三维空间位置信息以及建立空间坐标系；之后，安装左、右摄像机(7、8)，并将空间立体标定靶放在测量空间内，用左、右摄像机(7、8)拍摄空间立体标定靶，获得一张清晰的大、小陶瓷球靶标(1、2)的图片；

第三步，识别并提取大、小陶瓷球靶标(1、2)图像的中心位置

标定物靶标的三维空间点到图像点的透视投影过程由公式(1)表示：

$\begin{array}{c}s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dX}& 0& u_0\\ 0& \frac{1}{dY}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0_{1\×3}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0_{1\×3}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\end{array}---\left(1\right)$

其中，α_x＝f/dX，α_y＝f/dY分别为u轴和v轴方向上的尺度因子，f为摄像机镜头焦距，dX为像素在X轴方向上的物理尺寸，dY为Y轴方向上的物理尺寸，(u₀,v₀)为主点在像素坐标系下的坐标，M透视投影矩阵，M₁称为内部参数矩阵，只由参数α_x，α_y，u₀，v₀确定；M₂称为外部参数矩阵，由摄像机相对于世界坐标系的方位决定，包含旋转矩阵R和平移矩阵T共六个自由度；

由于大、小陶瓷球靶标(1、2)的拍摄图像足够大，特征信息明显，采用椭圆拟合法的方式提取大、小陶瓷球靶标(1、2)中心的位置信息；针对拍摄的二维图像，在提取大、小陶瓷球靶标(1、2)图像中心位置信息时，利用Matlab软件编写了大、小陶瓷球靶标(1、2)球心提取程序，并分别对左、右摄像机(7、8)拍摄的图片进行提取，即首先进行二值化处理，采用阈值分割法，根据大陶瓷球靶标(1)的直径设置合理阈值，优先识别大陶瓷球靶标(1)；之后采用椭圆拟合法，此方法涉及两个过程：一是椭圆边缘点的检测，另一是对边缘点进行椭圆拟合以确定椭圆的中心；椭圆图像曲线的一般表达式为：

f(α,β)＝ax²+bxy+cy²+dx+ey+f＝0 (2)

其中，α＝[a b c d e f],β＝[x² xy y² x y 1]；

引入约束||α||²＝1，建立如下目标函数：

$F\left(\mathrm{\α}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}f{(\mathrm{\α},\mathrm{\β})}^2+M^{\′}{\left(\right|\left|\mathrm{\α}\right|{|}^2-1)}^2---\left(3\right)$

其中，M'为罚因子；于是，椭圆拟合转换成非线性最小二乘法问题，则精确的椭圆中心点像素坐标(u,v)由下式求得：

$u=\frac{2cd-be}{b^2-4ac},v=\frac{2ae-bd}{b^2-4ac},b^2-4ac\≠0---\left(4\right)$

通过椭圆拟合法提取大陶瓷球靶标(1)的中心位置信息后，按像素行搜索将每列对应的上下两端大陶瓷球靶标(1)的球心连接成一条直线；由于每列的大、小陶瓷球靶标(1、2)高度差不同，根据每列的高度差设置不同的阈值，按列搜索依次识别直线上小陶瓷球靶标(2)的中心位置；最后实现大、小陶瓷球靶标(1、2)球心位置信息的快速自动提取，提取到的最终结果为具有一定顺序的球心坐标组成的5×4的矩阵，即每个大、小陶瓷球靶标(1、2)所对应的椭圆图像中心点像素坐标(u,v)；

第四步，求解M矩阵及其内外参数

依据直接线性变换法，被拍摄物体的空间点和对应图像点的对应关系由透视投影矩阵M描述，摄像机标定的过程就是为了求解矩阵M的内外参数，即通过获得标定物靶标的三维世界坐标(X_w,Y_w,Z_w)与其对应图像点坐标(u,v)，以求得变换矩阵M并进行内外参数分解；

将第三步中求取的椭圆图像中心点的像素坐标(u,v)与第二步获取的大、小陶瓷球靶标(1、2)的球心空间三维坐标(X_w,Y_w,Z_w)代入公式(1)求解对应的M矩阵；在得到M矩阵的结果后，再把内外参数矩阵分离求解，由M矩阵可以分解出摄像机内外参数矩阵M₁和M₂，并依次求解参数u₀，v₀，α_x，α_y，R，T；这样就求解出来摄像机标定的內参数矩阵M₁以及外参数矩阵M₂，完成对左、右摄像机(7、8)的快速高精度标定。