CN106887022A - 基于自发光球摄像机标定靶的快速提取方法 - Google Patents

Abstract

本发明基于自发光球摄像机标定靶的快速提取方法属于视觉测量领域，涉及一种基于自发光球摄像机空间立体标定靶的快速提取方法。该方法在标定之前，先安装空间立体标定靶，再采用三坐标测量机进行测量，确定自发光球靶标中心的精确三维位置信息，通过双目视觉系统中左、右摄像机对自发光球靶标进行拍摄，提取图片中自发光球靶标中心的特征信息，求得自发光球靶标中心的二维像素坐标。最后，在直接线性变换法基础上，求得左、右摄像机的内外参数，实现摄像机在三维空间的立体标定。该方法因不同行数的自发光球靶亮度不同，通过设置不同的灰度阈值，实现空间信息的快速自动识别和左、右摄像机在标定过程中快速与高精度标定。

Description

基于自发光球摄像机标定靶的快速提取方法

技术领域

本发明属于视觉测量领域，涉及一种基于自发光球摄像机空间立体标定靶的快速提取方法，该方法实现了摄像机在标定过程中快速识别与提取。

背景技术

近年来基于机器视觉的测量系统已越来越多地应用于航空工业的加工装配以及质检等多个环节。摄像机标定作为视觉测量前的必要步骤，其目标是建立三维空间点与其匹配图像点的映射关系，摄像机的标定精度决定最后的尺寸测量精度，因此，选择方便、快捷、高精度的标定靶尤为重要。在进行摄像机标定的过程中，为了减少拍摄次数，增加维度信息，通常选择三维立体标定物进行标定。现阶段用于视觉测量的三维标定靶有：立体标定块、标准校准杆、组合式二维标定杆、陶瓷球立体标定靶等。在使用现有的三维标定物进行标定时，具有空间点自动识别困难、当两个相机视角比较大的时候，难以保证两个相机所有特征点的标定图像清晰度相同，标定靶图像通过环境光的反射或折射获得，受环境因素较大，使标定靶图像灰度分布不均匀等问题。

针对摄像机标定，北航的Zhenzhong Wei等人，在《Sensors》,2016,16(7):1074，《Structural Parameters Calibration for Binocular Stereo Vision Sensors Usinga Double‐Sphere Target》一文中提出了一种使用双球靶标进行摄像机标定的新方法，该方法采用两个球心距已知的陶瓷球作为目标靶点，将该靶点固定在刚性平板上，组成双球标定靶。该方法较好地解决了摄像机标定过程中两个相机视角比较大的时候，两个相机的所有特征点的标定图像清晰度差异较大的问题。但该方法所用的陶瓷球靶标在拍摄时会在下方产生阴影，导致图像灰度分布不均匀，球心提取不准确，影响标定精度。

发明内容

本发明为了解决现有三维立体标定装置在进行摄像机标定过程中陶瓷球靶标图像灰度分布不均匀的问题，发明了一种基于自发光球摄像机标定靶的快速提取方法。其目的是针对相机标定过程中空间点自动识别困难、当两个相机视角比较大的时候，难以保证两个相机的所有特征点的标定图像清晰度相同等问题，通过在测量空间内布置可以实现自发光的球状标定靶，实现摄像机的快速识别以及高精度标定。克服了现有三维立体标定装置在进行摄像机标定过程中空间点自动识别困难、当两个相机视角比较大的时候，难以保证两个相机的所有特征点的标定图像清晰度相同、拍摄的标定靶图像灰度分布不均匀等缺陷，具有广泛的应用前景。

本发明采用的技术方案是一种基于自发光球摄像机标定靶快速提取方法，其特征是，该方法在标定之前，先安装空间立体标定靶，再采用三坐标测量机进行测量，确定自发光球靶标中心的精确三维位置信息，通过双目视觉系统中左、右摄像机对自发光球靶标进行拍摄，提取图片中自发光球靶标中心的特征信息，求得自发光球靶标中心的二维像素坐标；最后，在直接线性变换法基础上，求得左、右摄像机的内外参数，实现摄像机在三维空间的立体标定；方法具体步骤如下：

第一步，安装空间立体标定靶

空间立体标定靶由自发光球靶标1，可拆卸靶座2，支撑杆3和底座4组成；首先将自发光球靶标1安装在可拆卸靶座2上，将支撑杆3外螺纹端与可拆卸靶座2进行连接，内螺纹与底座4连接，完成空间立体标定靶的组装；

所述的自发光球靶标1为陶瓷灯泡，其灯罩8为陶瓷材料，表面高精度加工，具有很好的圆度信息，灯头10通过螺纹连接到可拆卸靶座2上，灯芯9由4条可调节亮度的led灯按圆形阵列组合而成，使自发光球靶标1的亮度均匀，通过调节电源控制器7，控制不同行数自发光球靶标1的led灯的开、关；可拆卸球座2两端加工有精密内螺纹分别与自发光球靶标1和支撑杆3连接；

所述支撑杆3两端分别加工有内螺纹和外螺纹，外螺纹与可拆卸球座2两端相连，内螺纹与底座4连接，支撑杆3内部是空心结构，内置导线11；导线11连接电源控制器7和自发光球靶标1；支撑杆长度为L，按等差数列分布，不同行数的等差数不同；

所述底座4为含有阶梯孔的铝合金板材制成，为提高其垂直精度，用螺栓与支撑杆3的内螺纹端定位连接；

第二步，测量自发光球靶标1，拍摄空间立体标定靶

利用三坐标测量机对自发光球靶标1进行接触式测量，即将测头在每个自发光球靶标1上接触至少3次进行测量，以确定自发光球靶标1中心的三维坐标并建立空间坐标系；之后在测量空间内，利用左、右摄像机5、6构成的双目视觉系统对空间立体标定靶进行拍摄，通过电源控制器7使每行自发光球靶标1依次发光、熄灭，每次获得一张清晰的自发光球靶标1的图片，共拍摄5次，获得5行全部自发光球靶标1的图片；

第三步，识别并提取自发光球靶标1图像的中心位置

空间立体标定靶的三维空间点到图像点的透视投影过程由公式(1)表示：

其中，α_x＝f/dX，α_y＝f/dY分别为横向和纵向方向上的尺度因子，f为摄像机镜头焦距，dX为像素在X轴方向上的物理尺寸，dY为Y轴方向上的物理尺寸，(u₀,v₀)为主点在像素坐标系下的坐标，M为透视投影矩阵，R为旋转矩阵，T为平移矩阵；

由于自发光球靶标1的拍摄图像是椭圆，特征信息明显，采用椭圆拟合法的方式提取自发光球靶标1中心的位置信息；针对拍摄的二维图像，利用Matlab软件编写了自发光球靶标1图像的中心提取程序，并分别对左、右摄像机5、6拍摄的图片进行提取；首先进行二值化处理，采用阈值分割法，根据自发光球靶标1的亮度设置相应的灰度阈值，依次识别每张图片的自发光球靶标1；之后根据每行的高度差设置不同的阈值，按行搜索依次识别每一行自发光球靶标1的中心位置；最后采用椭圆拟合法，此方法涉及两个过程：一是椭圆边缘点的检测，另一是对边缘点进行椭圆拟合以确定椭圆的中心。椭圆图像曲线的一般表达式为：

f(σ,θ)＝ax²+bxy+cy²+dx+ey+f＝0 (2)

其中，σ＝[a b c d e f],θ＝[x² xy y² x y 1]。

引入约束||σ||²＝1，建立如下目标函数：

其中，M'为罚因子。于是，椭圆拟合转换成非线性最小二乘法问题，则精确的椭圆中心点像素坐标(u,v)由下式求得：

通过椭圆拟合法提取自发光球靶标1的中心位置信息后，就实现了自发光球靶标1球心位置信息的快速自动提取，提取到的最终结果为具有一定顺序的球心坐标组成的5×5的矩阵，即每个自发光球靶标11所对应的椭圆图像中心点像素坐标(u,v)；将求取的椭圆图像中心点的像素坐标(u,v)与第二步获取的自发光球靶标1的球心空间三维坐标(X,Y,Z)代入公式(1)中，依次求解参数u₀，v₀，α_x，α_y，R，T；这样就完成了对左、右摄像机5、6的快速高精度标定。

本发明的效果和益处是：本方法采用空间立体标定靶由按照一定规律排列的内置不同亮度led灯的空心陶瓷球组合而成，可实现对标志物空间信息的快速识别与提取。由于自发光球靶标1经过高精度加工，保证了陶瓷球的圆度和对称性，使两个摄像机拍摄的所有特征点的标定图像清晰度相同。采用内置led灯的方式，灯芯9采用4条可调节亮度的led灯圆形阵列组合，使自发光球靶标1的亮度均匀，排除了环境光的干扰因素，解决了标定过程中拍摄的标定靶图像灰度分布不均匀的问题，提高了球心的提取精度。支撑杆3与底座4采用精密内螺纹进行连接，并通过螺栓定位，使标定装置便于拆卸，方便携带，并提高整个装置的重复性精度，进而保证标定结果的精度。最后，本方法中，不同行数的自发光球靶1亮度不同，通过设置不同的灰度阈值就可以实现空间信息的快速自动识别，实现对左、右摄像机5、6的快速高精度标定。

附图说明

图1是一种空间立体标定系统的示意图，其中，1‐自发光球靶标，2‐可拆卸靶座，3‐支撑杆，4‐底座，5‐左摄像机，6‐右摄像机，7‐电源控制器，L‐支撑杆长度，h₁‐第一行陶瓷球靶标高度差，h₂‐第二行陶瓷球靶标高度差，h₃‐第三行陶瓷球靶标高度差，h₄‐第四行陶瓷球靶标高度差，h₅‐第五行陶瓷球靶标高度差，h₆‐第一列陶瓷球靶标高度差，h₇‐第二列陶瓷球靶标高度差，h₈‐第三列陶瓷球靶标高度差，h₉‐第四行陶瓷球靶标高度差，h₁₀‐第五行陶瓷球靶标高度差。

图2是自发光球靶标1的正视剖面图，图3是自发光球靶标1的俯视剖面图，其中，8‐灯罩，9‐灯芯，9a‐led灯a，9b‐led灯b，9c‐led灯c，9d‐led灯d，10‐灯头，11‐导线。

具体实施方式

以下结合技术方法和附图详细叙述本发明的具体实施方式。

在标定之前先安装空间立体标定靶，之后采用三坐标测量机进行测量，确定自发光球靶标1中心的精确三维位置信息，并通过双目视觉系统的左、右摄像机5、6对自发光球靶标1进行拍摄，提取图片中自发光球靶标1中心的特征信息，求得其中心的二位像素坐标。最后，在直接线性变换法基础上，求得双目视觉系统的左、右摄像机5、6的内外参数，实现摄像机在三维空间的立体标定。具体步骤如下：

第一步安装空间立体标定靶

在对摄像机进行标定前，首先将自发光球靶标1安装在可拆卸靶座2上，将支撑杆3外螺纹端与可拆卸靶座2进行连接，内螺纹与底座4连接，完成空间立体标定靶的组装，如图1所示。

自发光球靶标1为陶瓷灯泡，其灯罩8为陶瓷材料，表面高精度加工，具有很好的圆度信息，灯头10加工螺纹可连接到可拆卸靶座2上，灯芯9由4条可调节亮度的led灯按圆形阵列组合而成，见附图2、3，使自发光球靶标1的亮度均匀，可以得到很好的提取效果。自发光球靶标1由25个直径为20mm的自发光空心陶瓷球组成，25个自发光球靶标按5行5列排布。设计每行、每列的自发光球靶标1中心位置高度按等差数列分布，不同行数与列数的等差数不同，同时具有不同程度的高度差。其中，最下面一行自发光球靶标1按等差数h₁＝10mm的高度差从左至右排布，第二行高度差h₂＝20mm，之后依次增加10mm，最上面一行高度差h₅＝50mm。每列自发光球靶标1的高度差分别为h₆＝40mm，h₇＝50mm，h₈＝60mm，h₉＝70mm，h₁₀＝80mm。最下面一行最左面支撑杆3分长度L₁＝40mm。因此，整套空间立体标定靶装置中，自发光球靶标1中心距离底座最低为50mm，最高为410mm。底座的长x宽为400mmx400mm，满足摄像机的视场范围。并且根据公式(1)的线性求解要求，这样布置使所有的三维坐标点不在同一平面上，可以实现自发光球靶标1的快速高精度提取。

第二步测量自发光球靶标1，拍摄空间立体标定靶

根据空间立体标定靶中的自发光球靶标1的位置，利用三坐标测量机进行接触式测量，即将测头在每个自发光球靶标1上接触至少3次进行测量，以确定自发光球靶标1中心的三维坐标信息以及建立空间坐标系，即获得每个自发光球靶标1球心的三维空间齐次坐标[X Y Z 1]^T。空间坐标系建立完成后，打开电源控制器7，调节每行自发光球靶标1的开、关，利用左、右摄像机5、6对设计的空间立体标定靶依次进行拍摄，获得五张清晰的自发光球靶标1图片。

第三步识别并提取自发光球靶标1图像的中心位置

利用Matlab软件编写了自发光球靶标1图像的中心提取程序，并分别对左、右摄像机5、6拍摄的图片进行提取，即首先进行二值化处理，采用阈值分割法，根据每张图片自发光球靶标1的亮度设置不同的灰度阈值，依次识别每一行自发光球靶标1，之后根据每行的高度差设置不同的阈值，按行搜索依次识别每一行自发光球靶标1的中心位置；最后后采用椭圆拟合法提取自发光球靶标1的中心位置信息，提取的结果为具有一定顺序的球心坐标组成的矩阵，于是获取对应自发光球靶标1球心的二维平面像素齐次坐标[u v 1]^T。将一系列球心的空间世界坐标和二维像素坐标代入公式(1)求解对应的M矩阵。在得到M矩阵的结果后，再把内外参数矩阵分离求解，并依次求解参数u₀，v₀，α_x，α_y，R，T。这样就完成了双目视觉系统中左、右摄像机5、6的快速高精度标定。

本发明应用双目视觉测量系统，在直接线性变换法的基础上，改进了现有三维立体标定方法在进行摄像机标定过程中的局限性，实现了摄像机在标定过程中快速识别与提取。

Claims (1)

1.一种基于自发光球的摄像机标定靶快速提取方法，其特征是，该方法在标定之前，先安装空间立体标定靶，再采用三坐标测量机进行测量，确定自发光球靶标中心的精确三维位置信息，通过双目视觉系统中左、右摄像机对自发光球靶标进行拍摄，提取图片中自发光球靶标中心的特征信息，求得自发光球靶标中心的二维像素坐标；最后，在直接线性变换法基础上，求得左、右摄像机的内外参数，实现摄像机在三维空间的立体标定；方法的具体步骤如下：

第一步，安装空间立体标定靶

空间立体标定靶由自发光球靶标(1)，可拆卸靶座(2)，支撑杆(3)和底座(4)组成；首先将自发光球靶标(1)安装在可拆卸靶座(2)上，将支撑杆(3)外螺纹端与可拆卸靶座(2)进行连接，支撑杆(3)内螺纹与底座(4)连接，完成空间立体标定靶的组装；

所述的自发光球靶标(1)为陶瓷灯泡，其灯罩(8)为陶瓷材料，表面高精度加工，具有很好的圆度信息，灯头(10)加工螺纹可连接到可拆卸靶座(2)上，灯芯(9)由4条可调节亮度的led灯按圆形阵列组合而成，使自发光球靶标(1)的亮度均匀；通过调节电源控制器(7)，控制不同行数自发光球靶标(1)的led灯的开、关；可拆卸球座(2)两端加工有精密内螺纹，分别与自发光球靶标(1)和支撑杆(3)连接；

所述支撑杆(3)两端分别加工内螺纹和外螺纹，外螺纹与可拆卸球座(2)下端相连，内螺纹与底座(4)连接；支撑杆(3)内部是空心结构内置导线(11)，导线(11)连接电源控制器(7)和自发光球靶标(1)；支撑杆(3)长度为L，按等差数列分布，不同行数的等差数不同；所述底座(4)为含有阶梯孔的铝合金钢板，通过螺栓与支撑杆(3)的内螺纹端定位连接；

第二步，测量自发光球靶标(1)，拍摄空间立体标定靶

利用三坐标测量机对自发光球靶标(1)进行接触式测量，将测头在每个自发光球靶标(1)上接触至少3次进行测量，以确定自发光球靶标(1)中心的三维坐标并建立空间坐标系；在测量空间内，利用左、右摄像机5、6构成的双目视觉系统对空间立体标定靶进行拍摄，通过电源控制器(7)使每行自发光球靶标依次发光、熄灭，每次获得一张清晰的自发光球靶标(1)的图片，共拍摄5次，获得5行全部自发光球靶标(1)的图片；

第三步，识别并提取自发光球靶标(1)图像的中心位置

标定物靶标的三维空间点到图像点的透视投影过程由公式(1)表示：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]==\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0_{1\×3}& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

其中，α_x＝f/dX，α_y＝f/dY分别为横向和纵向方向上的尺度因子，f为摄像机镜头焦距，dX为像素在X轴方向上的物理尺寸，dY为Y轴方向上的物理尺寸，(u₀,v₀)为主点在像素坐标系下的坐标，M为透视投影矩阵，R为旋转矩阵，T为平移矩阵；

由于自发光球靶标(1)的拍摄图像是椭圆，特征信息明显，采用椭圆拟合法的方式提取自发光球靶标(1)中心的位置信息；针对拍摄的二维图像，利用Matlab软件编写了自发光球靶标(1)图像的中心提取程序，并分别对左、右摄像机(5、6)拍摄的图片进行提取，即首先进行二值化处理，采用阈值分割法，根据自发光球靶标(1)的亮度设置相应的灰度阈值，依次识别每张图片的自发光球靶标(1)，之后根据每行的高度差设置不同的阈值，按行搜索依次识别每一行自发光球靶标(1)的中心位置；最后采用椭圆拟合法对边缘点进行椭圆拟合以确定椭圆的中心；椭圆图像曲线的一般表达式为：

f(σ,θ)＝ax²+bxy+cy²+dx+ey+f＝0 (2)

其中，σ＝[a b c d e f],θ＝[x² xy y² x y 1]；

引入约束||σ||²＝1，建立如下目标函数：

$F\left(\mathrm{\σ}\right)=\underset{i=1}{\overset{N}{\Σ}}f{(\mathrm{\σ},\mathrm{\θ})}^2+M^{\′}{\left(\right|\left|\mathrm{\σ}\right|{|}^2-1)}^2---\left(3\right)$

其中，M'为罚因子；于是，椭圆拟合转换成非线性最小二乘法问题，则精确的椭圆中心点像素坐标(u,v)由下式求得：

$u=\frac{2cd-be}{b^2-4ac},v=\frac{2ae-bd}{b^2-4ac},b^2-4ac\≠0---\left(4\right)$

通过椭圆拟合法提取自发光球靶标(1)的中心位置信息后，就实现了自发光球靶标(1)球心位置信息的快速自动提取，提取到的最终结果为具有一定顺序的球心坐标组成的5×5的矩阵，即每个自发光球靶标(1)所对应的椭圆图像中心点像素坐标(u,v)；将求取的椭圆图像中心点的像素坐标(u,v)与第二步获取的自发光球靶标(1)的球心空间三维坐标(X,Y,Z)代入公式(1)中，依次求解参数u₀，v₀，α_x，α_y，R，T；完成了对左、右摄像机(5、6)的快速高精度标定。