CN113963067A - 一种采用小靶标对大视场视觉传感器进行标定的标定方法 - Google Patents

Abstract

本发明涉及一种采用小靶标对大视场视觉传感器进行标定的标定方法，在对大视场视觉传感器的内外参数进行标定时，通常需要使用标定靶标。大靶标体积大，加工难度大，精度不容易保证；小靶标体积小，容易加工，精度相对较高，但小靶标在整体图像中所占比例太小，降低了大视场视觉传感器内外参数标定的精度。针对这个问题，提出利用多个平面小靶标构建多向靶标，针对设计的多向靶标，研究了二维图像点与三维坐标点的拓扑对应匹配算法，进而完成对特征点的高精度提取，根据提取的特征点解算大视场视觉传感器的内外参数，最后，设计整体优化算法，实现小靶标对大视场视觉传感器内外参数的高精度标定功能。

Description

一种采用小靶标对大视场视觉传感器进行标定的标定方法

技术领域

本发明属于测量技术领域，大靶标体积大，加工难度大，精度不容易保证；小靶标体积小，容易加工，精度相对较高，但小靶标在整体图像中所占比例太小，降低了大视场视觉传感器内外参数标定的精度，针对这个问题，提出利用多个平面小靶标构建多向靶标，并结合提出的特征点提取算法以及优化方法实现对大视场视觉传感器的标定。

背景技术

视觉测量技术通过对二维图像信息的处理来完成对空间物体的3D测量，该技术广泛运用在3D重建、机器人导航以及无人机定位等领域。而只有精确标定出视觉传感器的内外参数以及畸变系数，才能完成视觉测量。因此，视觉传感器标定技术作为视觉测量中必不可少的基础环节，具有举足轻重的作用。

通常需要采用标准标定物作为靶标，来完成对视觉传感器的标定。而根据靶标维数的不同，视觉传感器的标定的方法主要分为四种，分别是基于零维靶标的自标定，基于一维靶标的标定，基于二维平面靶标的标定以及基于三维立体靶标的标定。零维靶标即测量环境中的一些特征信息，基于零维靶标的自标定方法对外界要求高，且测量精度低，稳定性差，只适用于3D打印、投影成像等精度要求不高的远距离作业场合；三维立体靶标每个面的特征点相对于世界坐标系的位置在加工时精确已知，加工难度大，成本高，且形状固定，基于三维立体靶标的标定方法适用于多相机采集系统或有遮挡情况下的测量环境；二维靶标为包含多个特征点的平面靶标，常用的有圆点靶标和棋盘格靶标，由于平面属性，对二维靶标进行多次图像采集过程中，二维靶标在摄像机视场中所占面积比例逐渐缩小，又由于角度影响，造成测量精度的急剧降低，对图像质量要求高，且不具备抗遮挡能力，因此，基于二维平面靶标的标定适用于精密实验室等近距离可控环境；一维靶标由至少三个共线特征点组成且彼此间相对距离已知，一维靶标上特征点有限，且各点的坐标未知，导致标定畸变系数困难且测量精度无法保证，只适用于简单密闭空间或精度要求不高的大视场测量环境。

因此，在对大视场视觉传感器进行精密标定时，通常使用大的平面靶标，然而，大靶标体积大，加工难度大，精度不容易保证；小靶标体积小，容易加工，精度相对较高，但小靶标在整体图像中所占比例太小，降低了大视场视觉传感器内外参数标定的精度。因此，设计一个合适的靶标，并结合测量手段完成对大视场视觉传感器的精密标定是一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是：大靶标体积大，加工难度大，精度不容易保证；小靶标体积小，容易加工，精度相对较高，但小靶标在整体图像中所占比例太小，降低了大视场视觉传感器内外参数标定的精度，针对这个问题，设计一种多向靶标，针对设计的多向靶标，提出特征点提取算法以及优化算法，解决大视场视觉传感器内外参数以及畸变系数精密标定的问题。

将设计的多向靶标随意放置在大视场视觉传感器的视场范围内，大视场视觉传感器分别从多个视点处采集多向靶标图像，针对采集的图像，设计标定算法。该算法由主体算法和优化算法两部分组成，主体算法用来对大视场视觉传感器的内外参数以及畸变系数进行初步标定，优化算法部分用来对解算的大视场视觉传感器的内外参数以及畸变系数进行优化，进而获取更精确的值。

本发明的技术方案是：一种采用小靶标对大视场视觉传感器进行标定的标定方法，包括如下步骤：

步骤1、设计高精度多向靶标，所述多向靶标包括多面体外壳及设置于各个面上的平面小靶标(该小靶标的精度为0.002mm，边长为48mm)；

步骤2、针对设计的高精度多向靶标，提出标定的主体算法和优化算法，完成对大视场视觉传感器的标定(大视场视觉传感器的视场范围为500mm)。

进一步的，所述步骤1中，设计高精度多向靶标具体包括如下步骤：

1.1、设计平面小靶标

由于Tag36h10内部校验码最多，最不易被误识别，因此，选用Tag36h10作为平面小靶标主体，遍历所有Tag36h10，选取内部角点总数N_p≥9的Marker，进行改进，采用改进的Marker作为平面小靶标；

1.2、多向靶标外壳设计

为了使得大视场视觉传感器从多个角度拍到尽量多的面，可选用C60结构的面最多的32面体作为多向靶标外壳，由于大视场视觉传感器每次只能拍到多向靶标的一侧，因此选用32面体的一半球体作为多向靶标的外壳。

进一步的，所述步骤2中，利用二维图像点与三维坐标点的拓扑对应匹配关系，提取多向靶标上的特征点，再通过标定的主体算法和优化算法，完成对大视场视觉传感器内外参数的标定，

具体步骤如下：

2.1、识别平面小靶标

采用quad检测方法，解算平面小靶标上四个外部角点在图像坐标系下的二维像素坐标，根据亚像素提取方法，解算外部角点的亚像素坐标；根据已知平面小靶标边长，解算在以平面小靶标中心为原点的平面小靶标坐标系下外部角点的三维坐标；根据直接线性变换方法，解算单应矩阵；通过单应矩阵，将每个位域在平面小靶标坐标系下的坐标转换到对应图像坐标系下；建立光强函数，对像素进行阈值处理，使得在周围光照变化情况下也能够从有效载荷字段读取到相应位的正确的值，进而完成对Marker内部有效载荷的解码，正确识别小靶标的内部编码信息。

2.2、提取平面小靶标特征点

单个小靶标形貌如图2中的(a)所示。每个小靶标都有对应的内部编码，称为id，每个id都对应多个角点，其中，虚线圆中的角点称为小靶标外部角点P，实心圆中的角点称为小靶标内部角点p。令设计的Tag36h10中Marker的边长为D。Marker内部编码是由汉明码组成，可将图像划分为具有与Marker位数相同单元格的网格，每个单元格分别由黑色和白色的像素组成，如图2中的(b)所示。因此，可由(0,0)、(D,0)、(D,D)、(0,D)表示不同小靶标的外部角点3d坐标；根据具体编码信息，内部角点三维坐标的横坐标和纵坐标分别是D/8的整数倍。

2.3、标定的主体算法及优化：

根据摄像机透视投影模型原理，由公式：

解算摄像机的内外参数，其中，f_x和f_y分别为u轴和v轴上的尺度因子，(u₀,v₀)为图像上在图像坐标系下的主点坐标，(u,v,1)为特征点在图像坐标系下的齐次坐标，(X,Y,Z,1)为特征点在世界坐标系下的齐次坐标，s为不垂直度因子。

根据畸变模型：

解算摄像机的畸变系数，其中，(u_d,v_d)是畸变点，(u,v)是非畸变点，k₁，k₂是径向畸变系数。

根据公式：

解算特征点的在图像上像素级别的重投影误差E_rms，其中p_j为提取的特征点，

为在图像上的重投影点。

接下来，解算平面小靶标所在平面法向量与摄像机光轴夹角θ，观察θ和E_rms的分布情况，设定误差阈值，剔除超过阈值的特征点，保留小于等于阈值的特征点，再次计算摄像机内外参数和畸变系数，并进行迭代，选取误差最小时，摄像机的参数值。

进一步的，所述步骤1中，将设计的多向靶标随意放置在大视场视觉传感器的视场范围内，大视场视觉传感器分别从多个视点处采集多向靶标图像。确保每张图像中至少有一个完整的平面小靶标。

进一步的，所述步骤2中，选用Tag36h10作为小靶标主体，遍历所有Tag36h10，选取内部角点总数N_p≥9的Marker，进行改进，采用改进的Marker作为平面小靶标，以至于可以尽量多的获取每个平面小靶标的角点，提高标定精度。

本发明与现有技术相比的优点在于：

(1)本发明设计了一种具有多向可视性的多向靶标，由平面小靶标与多面体外壳构成，通过筛选，选择内部角点尽可能多的改进的Marker作为平面小靶标，提高标定的精度。

(2)本发明结合视觉测量技术，提出一种新的标定算法和优化方法，对大视场视觉传感器的内外参数和畸变系数进行了高精度标定，达到与平面大靶标标定相近的精度。

(3)本发明结合设计的高精度多向靶标和标定算法，解决了小靶标精度高却无法标定大视场视觉传感器的问题，且具有抗遮挡、加工简单、成本低以及精度高等优点。

附图说明

图1为本发明的整体算流程图；

图2为平面小靶标构成说明，(a)单个小靶标形貌，(b)单个Marker的单元格网格形貌；

图3为多向靶标形貌；

图4为实验装置示意图；

图5为大视场视觉传感中的一幅图片；

图6为图片中小靶标的id和对应的外部角点信息；

图7为所有2d特征点的重投影点；

图8为优化前后误差分布情况，(a)优化前误差分布，(b)优化后误差分布。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明基于视觉测量和图像处理技术，设计高精度多向靶标，并根据摄像机透视投影模型原理，提出一种新的标定算法实现对大视场视觉传感器的高精度标定。

在大视场测量环境中，通常采用一维靶标对大视场视觉传感器进行标定。然而，一维靶标上特征点有限，且各点的坐标未知，导致标定畸变系数困难且测量精度无法保证，只适用于简单密闭空间或精度要求不高的大视场测量环境；二维靶标和三维靶标精度较高，但是加工困难，且不适用于大视场测量环境。因此，综合分析一维靶标、二维靶标和三维靶标各自的优缺点，设计具有多向可视性的多向靶标，解决在大视场测量环境中，对大视场视觉传感器的高精度标定问题，具有重要的实际应用意义和理论研究价值。

根据本发明的一个实施例，设计的多向靶标由多面体外壳和平面小靶标构成。由于Tag36h10内部校验码最多，最不易被误识别，因此，选用Tag36h10中，内部角点总数Np≥9的Marker作为平面小靶标的主体，对Marker进行改进，构造平面小靶标。设计平面小靶标由选取的Marker和四个黑色方块组成，本发明提出的平面小靶标形貌如说明书附图中的图2中的(a)所示，每个小靶标都有对应的内部编码，称为id，每个id都对应多个角点，其中，虚线圆中的角点称为小靶标外部角点P，实心圆中的角点称为小靶标内部角点p。令设计的Tag36h10中Marker的边长为D。Marker内部编码是由汉明码组成，可将图像划分为具有与Marker位数相同单元格的网格，如图2中的(b)所示，每个单元格分别由黑色和白色的像素组成。因此，不同小靶标的外部角点3d坐标，可由(0,0)、(D,0)、(D,D)、(0,D)表示，内部角点3d坐标，根据具体编码信息，横坐标和纵坐标分别是D/8的整数倍。

为了使得大视场视觉传感器从多个角度拍到尽量多的面，选用C60结构的面最多的32面体作为多向靶标外壳，由于大视场视觉传感器每次只能拍到多向靶标的一侧，因此选用32面体的一半球体作为多向靶标的外壳就已经足够，多面体外壳内部设计有螺孔，便于将带有螺丝的实心钢管等刚性物体固定在多面体外壳内部，方便多面体外壳的固定。选择硬度高的尼龙材料，采用3D打印的方式，制作多向靶标外壳。

根据本发明的一个实施例，多向靶标形貌如说明书附图中的图3所示。为实现该靶标对大视场视觉传感器的标定，首先，需要合理的采集多向靶标的图像。采用万向球头将设计的多向靶标固定在光学平台上，同时，将大视场视觉传感器固定在光学支架上。在视觉传感器的视场范围内，改变多向靶标位姿，分别采集多向靶标的图像，大视场视觉传感器中的任意一张图片如图5所示。根据采集的图片，首先对图片中的平面小靶标编码进行识别，同时提取四个外部角点的亚像素坐标，外部角点在平面小靶标坐标系下的三维坐标已知，因此，根据直接线性变换原理可以解算图像坐标系到平面小靶标坐标系的单应矩阵；内角点在平面小靶标坐标系下的三维坐标已知，因此，根据解算的单应矩阵，可以解算内角点在图像坐标系下对应的像素级坐标，再根据亚像素提取原理，获取内角点在图像坐标系下的亚像素坐标；接下来，将平面小靶标内外角点的二维坐标和三维坐标拓扑关系进行匹配，根据张正友标定法，标定大视场视觉传感器的内外参数以及畸变系数，并计算重投影误差；将重投影误差进行重排序，剔除误差过大的特征点，只保留误差较小的特征点，对大视场视觉传感器进行再次标定，提高该传感器内外参数以及畸变系数的精度，最终完成对大视场视觉传感器的高精度标定。具体实现过程如说明书附图中的图1所示。

本发明的一种采用小靶标对大视场视觉传感器进行标定的标定方法，具体实现步骤如下：

1、平面小靶标的识别

采用quad检测方法，解算平面小靶标上四个外部角点在图像坐标系下的二维像素坐标，根据亚像素提取方法，解算外部角点的亚像素坐标；根据已知平面小靶标边长，解算在以平面小靶标中心为原点的平面小靶标坐标系下外部角点的三维坐标；根据直接线性变换方法，解算单应矩阵；通过单应矩阵，将每个位域在平面小靶标坐标系下的坐标转换到对应图像坐标系下；建立光强函数，对像素进行阈值处理，使得在周围光照变化情况下也能够从有效载荷字段读取到相应位的正确的值，进而完成对Marker内部有效载荷的解码，正确识别小靶标的内部编码信息。

2、主体算法设计

采用万向球头将设计的多向靶标固定在光学平台上，同时，将大视场视觉传感器固定在光学支架上。在视觉传感器的视场范围内，改变多向靶标位姿，分别采集多向靶标的图像，处理采集的图像，分别识别各个图片中小靶标的特征编码，并提取对应的外部角点2d图像坐标

其中，d表示当前小靶标的特征编码，{m|m(0～2318)}，d_o表示编码为d的小靶标的外部角点，i表示当前小靶标第i个外部角点，{i|i＝1,2,3,4}，j表示第j张图片，{j|j∈1,…,n,n∈N⁺}确定小靶标四个外部角点

的顺序分别为1、2、3、4，如图2(a)所示。由于小靶标是经过高精度加工的，因此，小靶标外部角点的3d坐标

是已知的。小靶标的id和对应的外部角点信息如图6所示。根据d的对应信息，将每张图片中的

和

进行正确匹配，根据公式(1)和(2)，解算每个小靶标在世界坐标系下的平面到图像坐标系下图像平面间的单应矩阵

其中，

小靶标所有内部角点在世界坐标系下的3d坐标

是已知的，其中，k表示第k个内部角点，d_r表示内部角点。假设小靶标内部角点在图像坐标系下的2d坐标

根据解算的单应矩阵，得(3)，

由(4)，解算单张图片中被识别出的单个小靶标的3d坐标

以及2d图像点坐标

由(5)，解算单张图片中3d点坐标P_j，以及2d图像点坐标p_j，

由(6)，解算所有图片中3d点坐标P，以及2d图像点坐标p，

根据P和p，采用张正友标定法，对大视场传感器的内外参数以及畸变系数进行标定。

解算所有特征点在图像上的重投影点

如图7所示。根据公式(7)，即可解算所有特征点的重投影误差E_rms,

解算小靶标所在平面法向量与摄像机光轴夹角θ，则θ和E_rms的分布情况如图8所示，理论上θ越大，E_rms越大，θ越小，E_rms越小，但是在图8中的(a)中可看出，当θ处于40°时，反而会出现E_rms过大的情况，因此，针对本专利提出多向靶标，由于多面性，在标定过程中，θ对于精度的影响不是主要的。为提高标定精度，将E_rms从小到大进行排序，剔除E_rms大于0.3的特征点，采用标定法，将保留的特征点对大视场视觉传感器再次进行标定，提高标定精度，优化后θ和E_rms的分布情况如图8中的(b)所示。

根据本发明的实施例，进行如下实验：

用于采集图片的大视场视觉传感器由摄像机和镜头组成，其中，摄像机的型号为MER-301-125U3M，图像分辨率为2048×1536pixels，镜头型号为M1214-MP2，均由大恒制造。采用高硬度的尼龙材料，通过3D打印的方式制作多面体外壳，采用精度为0.002mm，D为48mm的菲林片制作平面小靶标，将小靶标粘贴在多面体外壳上，构成多向靶标。将大视场视觉传感器固定在光学平台支架上，在距离传感器大约500mm处的光学平台上，采用万向球头固定多向靶标。实验装置示意图如图4所示。转动万向球头，使得传感器可以在多个视点不同角度连续获取多向靶标图像，保证每次采集的图片中至少含有一个平面小靶标，共采集15幅图片对算法可行性进行验证。

这一部分主要验证设计的多向靶标对大视场视觉传感器进行标定的标定算法的可行性。通过前文提到的算法，对图像进行处理，获取多向靶标上各个平面小靶标的特征点，根据特征点的二维坐标和三维坐标的拓扑匹配关系，解算大视场视觉传感器的内外参数以及畸变系数的初值；根据解算的E_rms，剔除误差大的特征点后，采用保留的特征点对传感器进行再次标定，传感器标定结果如表1所示。

表1标定的传感器各参数及精度对比

采用精度为0.002mm，有效面积为90mm×90mm，靶标特征点为平面上的10×10个角点的棋盘格靶标对传感器进行标定，标定的数值如表1所示，经过对比可知，本文优化后的标定精度可达到0.04，远高于棋盘格靶标标定的精度0.07，若将棋盘格靶标标定的参数作为真值，则只需要将本文算法中解算的k₂前加负号，解算的传感器内外参数和畸变系数精度即远高于相对较大的棋盘格靶标标定的参数数值。实验结果证明，所提标定方法鲁棒性强，精度高，主要解决了以下问题：大靶标体积大，加工难度大，精度不容易保证，小靶标体积小，容易加工，精度相对较高，但小靶标在整体图像中所占比例太小，降低了大视场视觉传感器内外参数标定的精度。本算法实现了小靶标对大视场视觉传感器内外参数以及畸变系数的高精度标定功能，可直接应用于后续三维视觉测量的研究。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种采用小靶标对大视场视觉传感器进行标定的标定方法，其特征在于，包括如下步骤：

步骤1、设计具有多向可视性的高精度多向靶标，所述高精度多向靶标包括多面体外壳及设置于各个面上的平面小靶标；

步骤2、采集高精度多向靶标的图片，识别步骤1中的平面小靶标；根据平面小靶标内部编码进行正确匹配后，利用平面小靶标外部角点的二维图像点与三维坐标点的拓扑对应匹配关系，解算单应矩阵；根据解算的单应矩阵，解算所有图片中平面小靶标内部角点的二维坐标；利用所有特征点的二维和三维信息完成对大视场视觉传感器的初步标定；设计优化算法提高标定精度，完成对大视场视觉传感器的高精度标定。

2.根据权利要求1所述的采用小靶标对大视场视觉传感器进行标定的标定方法，其特征在于，所述步骤1中，具体包括如下步骤：

1.1、设计平面小靶标

选用AprilTags中的Tag36h10作为平面小靶标的主体，遍历所有Tag36h10，选取内部角点总数N_p≥9的Marker，进行改进，采用改进的Marker作为平面小靶标，该小靶标的特征点由外部角点和内部角点组成；

1.2、多向靶标外壳设计

选用C60结构的面最多的32面体的一半球体作为多向靶标的外壳。

3.根据权利要求1所述的采用小靶标对大视场视觉传感器进行标定的标定方法，其特征在于，所述步骤2中具体步骤如下：

2.1、识别平面小靶标

每个小靶标都有对应的内部编码，称为id，通过对id的识别来识别平面小靶标；采用quad检测方法，解算平面小靶标上四个外部角点在图像坐标系下的二维像素坐标，根据亚像素提取方法，解算外部角点的亚像素坐标；根据已知平面小靶标边长，解算在以平面小靶标中心为原点的平面小靶标坐标系下外部角点的三维坐标；根据直接线性变换方法，解算单应矩阵；通过单应矩阵，将每个位域在平面小靶标坐标系下的坐标转换到对应图像坐标系下；建立光强函数，对像素进行阈值处理，使得在周围光照变化情况下也能够从有效载荷字段读取到相应位的正确的值，进而完成对Marker内部有效载荷的解码，识别出小靶标的内部编码信息；

2.2、提取平面小靶标特征点

每个平面小靶标都对应多个特征点，特征点由外部角点和内部角点组成；令设计的Tag36h10中Marker的边长为D，则外部角点的三维坐标分别为(0,0)、(D,0)、(D,D)、(0,D)，Marker内部编码是由汉明码组成，将图像划分为具有与Marker位数相同单元格的网格，每个单元格分别由黑色和白色的像素组成；根据具体编码信息，内部角点三维坐标的横坐标和纵坐标分别是D/8的整数倍；

2.3、标定的主体算法及优化

根据摄像机透视投影模型原理，由公式：

解算摄像机的内外参数，其中，f_x和f_y分别为u轴和v轴上的尺度因子；(u₀,v₀)为图像上在图像坐标系下的主点坐标；(u,v,1)为特征点在图像坐标系下的齐次坐标；(X,Y,Z,1)为特征点在世界坐标系下的齐次坐标；s为不垂直度因子；R和T分别为世界坐标系到摄像机坐标系的旋转矩阵和平移矢量；

根据畸变模型：

解算摄像机的畸变系数，其中，(u_d,v_d)是畸变点，(u,v)是非畸变点，k₁，k₂是径向畸变系数；r为图像上畸变点到主点的距离；

根据公式：

解算特征点的在图像上像素级别的重投影误差E_rms，其中p_j为提取的特征点，

为在图像上的重投影点；n为特征点总数，j表示特征点序号；

再解算平面小靶标所在平面法向量与摄像机光轴夹角θ，确定θ和E_rms的分布情况，选取误差的阈值，剔除超过阈值的特征点，保留小于等于阈值的特征点，再次计算摄像机内外参数和畸变系数，并进行迭代，选取误差最小时，摄像机的参数值，完成对标定主体算法的优化。

4.根据权利要求1所述的采用小靶标对大视场视觉传感器进行标定的标定方法，其特征在于，所述步骤1中，将设计的高精度多向靶标随意放置在大视场视觉传感器的视场范围内，大视场视觉传感器分别从多个视点处采集高精度多向靶标图像，确保每张图像中至少有一个完整的平面小靶标。

5.根据权利要求1所述的采用小靶标对大视场视觉传感器进行标定的标定方法，其特征在于，所述步骤2中，应选取内部角点总数尽可能多的Marker，以确保提取尽可能多的特征点。

Images