CN108765328A - 一种高精度多特征平面模板及其畸变优化和标定方法 - Google Patents

Abstract

本发明公开了一种高精度多特征平面模板，包括ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码，ChArUco黑白棋盘格模板中间区域填充有随机特征点构成Random特征点模板，ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段。本发明还提供了一种高精度多特征平面模板的畸变优化和标定方法。本发明的有益效果：解决不同焦距镜头高精度标定时拍摄图像多、操作时间长和边缘畸变不准确的问题；标定模板方便有效的解决了变焦镜头标定的难点，在标定时，对空间大小要求不高，且观察部分模板仍不影响标定功能；标定模板周围加入的直线段，不需要拍摄大量的图片也可以很好的解决边缘畸变的求解问题。

Description

一种高精度多特征平面模板及其畸变优化和标定方法

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种高精度多特征平面模板及其畸变优化和标定方法。

背景技术

随着计算机视觉技术的进步与发展，同时建图与定位、三维重建等方面的应用已经变得随处可见。为了得到更好的定位或重建精度，需要预先得到相机精确的参数，也就是进行精确的相机标定。

相机标定一直是计算机视觉领域的核心问题之一，目前最为广泛使用的相机标定方法为张正友标定法。张正友标定法主要采用平面棋盘格进行每幅图像的单应计算，并对相机的外参数、内参数以及畸变参数进行重投影误差的优化求解。在张正友标定法的基础上，国内外学者进行了一些算法改进和优化，主要体现在以下几方面：

(1)为了进一步提高畸变参数估计精度和模拟实际镜头的畸变效果，后续提出了8参数、12参数等畸变补偿模型。但更多的参数带来了进一步的参数耦合性，对实际使用反而有时带来负面效果。同时，对于如何生成数目更多、且位置精确的图像特征，鲜有研究者提出相应的改进方法。

(2)提出了一种融合二维码和棋盘格的标定模板——ChArUco模板。传统黑白棋盘格模板需预设角点数目，且每次拍摄都要将棋盘格全部角点拍入图像之中。ChArUco模板在传统棋盘格模板的每个白格上附加了二维码信息，可以允许遮挡和拍摄到部分模板平面。但跟传统棋盘格模板类似，在变焦情况下需要人工不停前后移动以便始终占据变焦过程中图像上的一定大小区域。而且对于畸变明显的图像边缘区域，由于此处角点数目少，无法进行良好的畸变参数估计，或只能拍摄非常多数目的图像才行。

(3)提出了一种适于外参数标定的标定模板——Random模板。它是一种包含大量特征点、随机生成的杂乱图案。其主要优点是在缩放观看下仍然能鲁邦提取大量特征点，适于在变焦情况下进行标定。但特征点的提取精度不如角点高，且随机特征点位置并不可控，在图像边缘处进行畸变估计同样不能保证其有效性。

由于变焦镜头在一定范围内可以进行光学焦距的改变，带来了视场角大小的改变和屏幕中场景的缩放，在广播、电影拍摄等领域用处广泛，但对于变焦镜头的标定一直没有很便利且精准的方法及配套标定模板，最常见的方式就是在不同焦距和视场角情况下，对多个大小不同的标定模板进行旋转平移并拍摄图像，最后进行标定，这种操作非常繁琐且耗时很久。

发明内容

本发明的目的在于提供一种高精度多特征平面模板及其畸变优化和标定方法，解决不同焦距镜头高精度标定时的不便利和边缘畸变不准确的问题。

本发明提供了一种高精度多特征平面模板，可用于变焦镜头标定，包括ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码，所述ChArUco黑白棋盘格模板中间区域填充有随机特征点构成Random特征点模板，所述ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段。

作为本发明进一步的改进，所述ChArUco黑白棋盘模板的方格数目为11*9，中间区域为3*5的格子区域，填充的Random特征点模板的长宽比为3:5。

本发明还提供了一种高精度多特征平面模板的畸变优化和标定方法，包括：

步骤1，构建多特征标定模板：

构建基于ChArUco黑白棋盘格模板和Random特征点模板的标定模板，并打印在同一模板平面上，其中，ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段；

步骤2，角点、特征点提取及确定对应特征点：

在相机的某个焦距处拍摄多幅图像，在ChArUco黑白棋盘格模板区域进行图像灰度化、二维码检测和角点检测，在Random特征点模板区域进行特征点检测并在模板平面上查找对应特征点；

步骤3，求解单应矩阵和内外参数以及畸变参数：

联合ChArUco黑白棋盘格模板的角点和Random特征点模板的特征点估计每幅图像的平面单应矩阵，并根据单应矩阵计算得到内外参数矩阵，再求解得到畸变参数，并根据基于联合点重投影误差的目标函数进行最大似然估计优化所有参数；

步骤4，判断是否存在外圈线段：

利用计算出的平面单应矩阵，将边缘区域的多条线段的端点投影到图像上，如果端点投影不在图像内，则认为无外部直线特征，步骤3的最大似然估计优化结果即为最终结果，算法结束，如果端点投影在图像内，则认为有外部直线特征，进入下一步；

步骤5，构建直线特征目标函数：

对图像进行LSD线段检测，提取线段特征，得到线段的两个端点，构成线段的点集信息，并确定每条线段在模板平面上的对应关系和线段点的隶属关系，构建图像的线段点在模板平面上的投影点到对应线段直线距离最小化的约束；

步骤6，联合点线特征优化求解：

通过列文伯格马夸尔特方法对目标函数进行优化求解。

作为本发明进一步的改进，步骤1具体包括：

步骤101，构建一个ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码；

步骤102，在选定的ChArUco黑白棋盘格模板中间挖去一块区域并填充为Random特征点模板；

步骤103，在ChArUco黑白棋盘格模板的边缘区域添加多条预设特定位置处的边缘线段，完成多特征的标定模板的三区域构建。

作为本发明进一步的改进，步骤2中，根据拍摄焦距和标定模板到相机距离的不同，检测到的特征点数目和二维码数目将分成以下四类情况：

当在远焦距拍摄时，特征点数目较多且二维码数目较少；

当在近焦距拍摄时，特征点数目较少且二维码数目较多；

当在中焦距拍摄时，特征点数目较多且二维码数目较多；

当标定模板距离相机过远或位于相机的可视范围外时，特征点数目较少且二维码数目较少。

作为本发明进一步的改进，步骤3中，基于联合点重投影误差的最大似然估计公式为：

式中，i表示第i幅图像，j表示第j个角点或特征点，m表示模板平面点，M为图像点，K表示内参矩阵，R_i表示第i幅图像对应的旋转矩阵，t_i表示第i幅图像对应的位移向量，k₁、k₂、k₃、p₁、p₂为五个畸变系数，表示图像点经过畸变校正后、再经过内外参数计算单应矩阵的作用投影回模板平面上的结果点。

作为本发明进一步的改进，步骤5中，设模板平面上第k条线段的直线参数的单位向量表示为I_k，第i幅图像上对应第k条线段的第p个线段点为M′_ikp，则此线段点的模板平面投影点到此线段的距离为：

则联合点、线特征约束优化构建的目标函数为：

其中ω为权重因子。

本发明的有益效果为：

有效的解决了变焦镜头标定的难点，在黑白棋盘格基础上，组合了ArUco二维码，并在棋盘格中间区域融入了Random模板，能在标定模板固定、相机变焦拍摄的情况下始终检测出大量位置准确的特征点或角点，从而方便的完成标定，另外在棋盘格外圈加入了外圈线段(即ChArUco黑白棋盘格模板的边缘区域的多条线段)来进行边缘处的畸变参数估计，使得边缘畸变的估计更加精确，对后续投影形成的距离约束对畸变有很好的鲁邦估计作用，具有可行性和实用性；

在不同焦距下拍摄时，多特征平面模板在图像中的缩放将非常明显，但不论是近焦时整个平面模板占据图像中的一小部分区域，或是远焦时平面模板Random区域的一部分即可充满整个图像，都不影响检测出足够数目的精确角点或特征点，因此，在标定时，对空间大小的要求不高，观察部分模板仍不影响标定功能；

在空间限制较大的地方，平面模板可以固定不动，单纯地控制相机进行变焦拍摄即能达到所有焦段良好的标定效果，操作简单，便利快捷。

附图说明

图1为本发明实施例所述的一种高精度多特征平面模板的畸变优化和标定方法的流程示意图；

图2为本发明实施例所述的一种高精度多特征平面模板的示意图；

图3为对图2中标定模板的图像提取出角点、特征点、线段的示意图，其中，角点、特征点、线段端点分别用圆圈、十字、正方形画出。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

实施例1，本发明实施例的一种高精度多特征平面模板，包括ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码，ChArUco黑白棋盘格模板中间区域填充有随机特征点构成Random特征点模板，ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段。如图2所示，本实施例中，ChArUco黑白棋盘模板的方格数目为11*9，挖去的中间区域为3*5的格子区域，填充上的高分辨率的Random特征点模板的长宽比为3:5。ChArUco黑白棋盘模板的方格数目和中间区域的方格数目并不仅限于本实施例所述的数目，可以根据实际需要来改变。

这种标定模板在黑白棋盘格基础上，组合了ArUco二维码，并在棋盘格中间区域融入了Random模板，能在标定模板固定、相机变焦拍摄的情况下始终检测出大量位置准确的特征点或角点，从而方便的完成标定。另外，在棋盘格外圈构建了多条线段用来进行边缘处精确的畸变参数估计，线段特征上边缘点数目众多，用于后续投影形成的距离约束对畸变有很好的鲁邦估计作用。

实施例2，如图1所示，一种如权利要求1的高精度多特征平面模板的畸变优化和标定方法，包括：

步骤1，构建多特征标定模板：

构建基于ChArUco黑白棋盘格模板和Random特征点模板的标定模板，并打印在同一模板平面上，其中，ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段。如图2所示，具体包括：

步骤101，构建一个方格数目为11*9的ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码；

步骤102，在选定的ChArUco黑白棋盘格模板中间挖去一块3*5的格子区域并填充为高分辨率、长宽比为3:5的Random特征点模板；

步骤103，在ChArUco黑白棋盘格模板的边缘区域添加多条预设特定位置处的边缘线段，完成多特征的标定模板的三区域构建。

其中，ChArUco黑白棋盘模板的方格数目和中间区域的方格数目并不仅限于本实施例所述的数目，可以根据实际需要来改变。

步骤2，角点、特征点提取及确定对应特征点：

在相机的某个焦距处拍摄多幅图像，在ChArUco黑白棋盘格模板区域进行图像灰度化、二维码检测和角点检测，在Random特征点模板区域进行特征点检测并在模板平面上查找对应特征点。

根据拍摄焦距和标定模板到相机距离的不同，检测到的特征点数目和二维码数目将分成以下四类情况：

当在远焦距拍摄时，特征点数目较多且二维码数目较少；

当在近焦距拍摄时，特征点数目较少且二维码数目较多；

当在中焦距拍摄时，特征点数目较多且二维码数目较多；

当标定模板距离相机过远或位于相机的可视范围外时，特征点数目较少且二维码数目较少。

图3示出了提取的角点、特征点、及后续提取线段的位置示意图。

由此可以看出，在不同焦距下拍摄时，多特征平面模板在图像中的缩放将非常明显，但不论是近焦时整个平面模板占据图像中的一小部分区域，或是远焦时平面模板Random区域的一部分即可充满整个图像，都不影响检测出足够数目的精确角点或特征点，因此，本发明的标定方法在标定时，对空间大小的要求不高，观察部分模板仍不影响标定功能。

步骤3，求解单应矩阵和内外参数以及畸变参数：

联合ChArUco黑白棋盘格模板的角点和Random特征点模板的特征点估计每幅图像的平面单应矩阵，并根据单应矩阵计算得到内外参数矩阵，再求解得到畸变参数，并根据基于联合点重投影误差的目标函数进行最大似然估计优化所有参数。此步骤依据现有技术的张正友方法计算即可，张正友方法大致包括：设定标定模板；旋转标定板或相机，采集标定模板图像；检测图像特征点；估计5个相机内参，和外部参数；最大似然估计参数优化，具体过程这里不再赘述。

由于这里加入了特征点的联合优化，所以本发明基于联合点重投影误差的的最大似然估计形式为：

式中，i表示第i幅图像，j表示第j个角点或特征点，m表示模板平面点，m_ij表示第i幅图像的第j个角点或特征点对应的模板平面点，M为图像点，M_ij表示第i幅图像的第j个角点或特征点对应的图像点，K表示内参矩阵，R_i表示第i幅图像对应的旋转矩阵，t_i表示第i幅图像对应的位移向量，k₁、k₂、k₃、p₁、p₂为五个畸变系数，表示图像点经过畸变校正后、再经过内外参数计算单应矩阵的作用投影回模板平面上的结果点。

步骤4，判断是否存在外圈线段：

利用计算出的平面单应矩阵，将边缘区域的多条线段的端点投影到图像上，如果端点投影不在图像内，则认为无外部直线特征，步骤3的最大似然估计优化结果即为最终结果，算法结束，如果端点投影在图像内，则认为有外部直线特征，进入下一步。

步骤5，构建直线特征目标函数：

对图像进行LSD线段检测，提取线段特征，得到线段的两个端点，构成线段的点集信息，并确定每条线段在模板平面上的对应关系和线段点的隶属关系，构建图像的线段点在模板平面上的投影点到对应线段直线距离最小化的约束。

设模板平面上第k条线段的直线参数的单位向量表示为I_k，第i幅图像上对应第k条线段的第p个线段点为M′_ikp，则此线段点的模板平面投影点到此线段的距离为：

式中，表示I_k的转置矩阵，表示图像点经过畸变校正后、再经过内外参数计算单应矩阵的作用投影回模板平面上的结果点，K表示内参矩阵，k₁、k₂、k₃、p₁、p₂为五个畸变系数，R_i表示第i幅图像对应的旋转矩阵，t_i表示第i幅图像对应的位移向量；

则联合点、线特征约束优化构建的目标函数为：

其中ω为权重因子，m_ij表示第i幅图像的第j个角点或特征点对应的模板平面点，M_ij表示第i幅图像的第j个角点或特征点对应的图像点。

本发明中的LSD是一种局部提取直线的算法，它能在线性的时间内得出亚像素级精度的检测结果，提取速度很快，算法步骤大致包括：

尺度缩放，然后以缩放后的尺度对输入图像进行高斯下采样；

计算每一个点的梯度值以及梯度方向；

根据梯度值对所有点进行伪排序，建立状态列表；

将状态列表中，抑制梯度幅值小于阈值ρ的点参与运算；

取出状态列表中梯度最大(即伪排列的首位)的点作为种子点；

继续上一步，从状态列表中找到下一个种子点，从剩下图像进行区域扩散，直到遍历完全图，得到所有检测到的直线。

步骤6，联合点线特征优化求解：通过列文伯格马夸尔特方法对目标函数进行优化求解。

Levenberg-Marquardt(列文伯格马夸尔特)算法是最优化算法中的一种，用以寻找使得目标函数值最小的参数向量。它是使用最广泛的非线性最小二乘算法，利用梯度求最大(小)值的算法，它同时具有梯度法和牛顿法的优点。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。每一步迭代中，都要求目标函数值是下降的，从初始点开始，先假设一个可以信赖的最大位移s，然后在以当前点为中心，以s为半径的区域内，通过寻找目标函数的一个近似函数(二次的)的最优点，来求解得到真正的位移。在得到了位移之后，再计算目标函数值，如果其使目标函数值的下降满足了一定条件，那么就说明这个位移是可靠的，则继续按此规则迭代计算下去；如果其不能使目标函数值的下降满足一定的条件，则应减小信赖域的范围，再重新求解。采用这种方法求解最优值，具有收敛速度快等优点。

本发明解决不同焦距镜头高精度标定时拍摄图像多、操作时间长和边缘畸变不准确的问题，使得本发明的方法具有可行性和实用性。采用的标定模板方便又有效的解决了变焦镜头标定的难点，在标定时，对空间大小要求不高，并且观察部分模板仍不影响标定功能。标定模板周围加入的直线段，不再需要拍摄大量的图片，就可以很好地解决边缘畸变的求解问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种高精度多特征平面模板，其特征在于，包括ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码，所述ChArUco黑白棋盘格模板中间区域填充有随机特征点构成Random特征点模板，所述ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段。

2.根据权利要求1所述的高精度多特征平面模板，其特征在于，所述ChArUco黑白棋盘模板的方格数目为11*9，中间区域为3*5的格子区域，填充的Random特征点模板的长宽比为3:5。

3.一种如权利要求1所述的高精度多特征平面模板的畸变优化和标定方法，其特征在于，包括：

步骤1，构建多特征标定模板：

构建基于ChArUco黑白棋盘格模板和Random特征点模板的标定模板，并打印在同一模板平面上，其中，ChArUco黑白棋盘格模板的边缘区域有预设特定位置处的多条线段；

步骤2，角点、特征点提取及确定对应特征点：

在相机的某个焦距处拍摄多幅图像，在ChArUco黑白棋盘格模板区域进行图像灰度化、二维码检测和角点检测，在Random特征点模板区域进行特征点检测并在模板平面上查找对应特征点；

步骤3，求解单应矩阵和内外参数以及畸变参数：

联合ChArUco黑白棋盘格模板的角点和Random特征点模板的特征点估计每幅图像的平面单应矩阵，并根据单应矩阵计算得到内外参数矩阵，再求解得到畸变参数，并根据基于联合点重投影误差的目标函数进行最大似然估计优化所有参数；

步骤4，判断是否存在外圈线段：

利用计算出的平面单应矩阵，将边缘区域的多条线段的端点投影到图像上，如果端点投影不在图像内，则认为无外部直线特征，步骤3的最大似然估计优化结果即为最终结果，算法结束，如果端点投影在图像内，则认为有外部直线特征，进入下一步；

步骤5，构建直线特征目标函数：

对图像进行LSD线段检测，提取线段特征，得到线段的两个端点，构成线段的点集信息，并确定每条线段在模板平面上的对应关系和线段点的隶属关系，构建图像的线段点在模板平面上的投影点到对应线段直线距离最小化的约束；

步骤6，联合点线特征优化求解：

通过列文伯格马夸尔特方法对目标函数进行优化求解。

4.根据权利要求3所述的畸变优化和标定方法，其特征在于，步骤1具体包括：

步骤101，构建一个ChArUco黑白棋盘格模板，棋盘格白色区域组合有ArUco二维码；

步骤102，在选定的ChArUco黑白棋盘格模板中间挖去一块区域并填充为Random特征点模板；

步骤103，在ChArUco黑白棋盘格模板的边缘区域添加多条预设特定位置处的边缘线段，完成多特征的标定模板的三区域构建。

5.根据权利要求3所述的畸变优化和标定方法，其特征在于，步骤2中，根据拍摄焦距和标定模板到相机距离的不同，检测到的特征点数目和二维码数目将分成以下四类情况：

当在远焦距拍摄时，特征点数目较多且二维码数目较少；

当在近焦距拍摄时，特征点数目较少且二维码数目较多；

当在中焦距拍摄时，特征点数目较多且二维码数目较多；

当标定模板距离相机过远或位于相机的可视范围外时，特征点数目较少且二维码数目较少。

6.根据权利要求3所述的畸变优化和标定方法，其特征在于，步骤3中，基于联合点重投影误差的最大似然估计公式为：

式中，i表示第i幅图像，j表示第j个角点或特征点，m表示模板平面点，M为图像点，K表示内参矩阵，R_i表示第i幅图像对应的旋转矩阵，t_i表示第i幅图像对应的位移向量，k₁、k₂、k₃、p₁、p₂为五个畸变系数，表示图像点经过畸变校正后、再经过内外参数计算单应矩阵的作用投影回模板平面上的结果点。

7.根据权利要求6所述的畸变优化和标定方法，其特征在于，步骤5中，设模板平面上第k条线段的直线参数的单位向量表示为I_k，第i幅图像上对应第k条线段的第p个线段点为M′_ikp，则此线段点的模板平面投影点到此线段的距离为：

则联合点、线特征约束优化构建的目标函数为：

其中ω为权重因子。