CN115861448A - 基于角点检测及特征点提取的系统标定方法及系统 - Google Patents

Abstract

本发明涉及角点检测技术领域，具体公开了基于角点检测及特征点提取的系统标定方法及系统，所述方法包括：S1、使用双目相机采集标定板图像，分别检测棋盘格标定板的角点；S2、根据对应角点的世界坐标和图像坐标运行标定算法来获取相机参数及相机之间的位置数据，根据相机参数及相机之间的位置数据对双目相机进行校正；S3、根据校正后的图像进行平行等位验证，完成标定过程。该方法无需通过特征信息的标定板，即可得到可见光边缘图像与红外边缘图像中的匹配点对的标定方法，实现对测量对象的图像边缘检测和特征点提取，求解外参矩阵，进而降低相机参数的标定成本，同时保证了标定的准确性。

Description

基于角点检测及特征点提取的系统标定方法及系统

技术领域

本发明涉及角点检测技术领域，具体为基于角点检测及特征点提取的系统标定方法及系统。

背景技术

变电站广域多光谱智能采集系统是一套实时对变电站环境状态进行监测的智能巡检系统；其具有电气设备发热故障智能检测、电气设备微损检测、火灾的早期预警、站内智能安防、作业现场智能化管控等功能，变电站智能多光谱巡检系统为后台指挥人员提供高成像质量的红外、可见光图像；由于红外在温度识别方面的优势，系统方案采用红外数据采集系统全天侯监控，后台智能分析系统根据红外数据采集系统采集到的红外图像信息进行智能分析，可见光图像在白天对智能分析系统报警设备故障进行定性、定量分析。

目前常见的红外标定板都是通过加热或者制冷等制造温差的方式在红外相机下成像，这类标定板通常会有角点模糊，图像对比度差，结构复杂、操作繁琐、制作成本高，存在安全隐患的缺点；在拍摄现有的红外标定板时，棋盘格图案不能覆盖满整个相机的视场角，即当前的角点检测算法只能检测完整的棋盘格图像，无法提取出镜头成像边缘区域的特征点，这样标定出来的双目相机内外参数不准确。

传统可见光与红外相机标定需借助两相机系统都能提取特征信息的标定板实现，该类标定板的制作要求较高，进而使得相机参数的标定成本较高。

发明内容

本发明的目的在于提供基于角点检测及特征点提取的系统标定方法及系统，解决以下技术问题：

如何基于低成本提高相机标定的准确性。

本发明的目的可以通过以下技术方案实现：

基于角点检测及特征点提取的系统标定方法，所述方法包括：

S1、使用双目相机采集标定板图像，分别检测棋盘格标定板的角点；

S2、根据对应角点的世界坐标和图像坐标运行标定算法来获取相机参数及相机之间的位置数据，根据相机参数及相机之间的位置数据对双目相机进行校正；

S3、根据校正后的图像进行平行等位验证，完成标定过程。

于一实施例中，双目相机的校正过程为：

S21、将双目图像转为正规坐标系，并进行去畸变,通过bouguet极线校正将双目相机上的角点投射到新的位置；

S22、对右图进行缩放和平移，选取缩放系数scale使得缩放之后的右图和左图对应角点的y坐标之差的绝对值最小；根据scale来确定平移系数offset；

S23、将左右图像进行旋转使得两图平面共面且光轴平行，再根据两个单目镜头的参数选取共同的新的内参并根据该内参将旋转后的两图还原为图像坐标系；根据校正结果计算校正后图像坐标到校正前图像坐标的重映射表，将其保存为二进制文件。

于一实施例中，所述棋盘格标定板的角点检测方法为：

S11、在棋盘格上设置标识来标记初始位置；

S12、使用红外相机采集棋盘格标定板图像，并进行初步图像处理；

S13、基于颜色检测算法检测出预先设定标记的像素坐标；

S14、根据预先标记的像素坐标确定出初始栅格四个点的像素坐标，通过迭代求出精确的亚像素级角点坐标；

S15、根据这四个点的亚像素级角点坐标和它们在世界坐标系中的世界坐标，求出单应性矩阵；根据单应性矩阵和相邻栅格在世界坐标系中的世界坐标求出该相邻格子另外两个未知点的起始粗略亚像素级角点；再根据亚像素级角点求解原理求出最终的亚像素级角点坐标。

于一实施例中，步骤S11的过程为：

将五个圆分布在棋盘格3×3中心区域及四角区域的栅格内；

将中心圆编号为C₀，其余四个圆分别编号为C₁、C₂、C₃、C₄；

步骤S12的过程为：

使用红外相机拍摄红外标定板，直到标定板角点能够覆盖满整个相机的成像区域；

初步图像处理的过程为：

采用分块二值化方法，将图像I分为M×N块，每一块命名为I_i；对每一块I_i使用最大类间方差法，得到二值化图像binary_I。

于一实施例中，步骤S13及S14的过程为：

通过MATLAB中imfindcircles函数对采集到的棋盘格原图进行霍夫圆检测，检测出图像中的五个圆并记录它们的像素坐标；

周围四个圆C₁、C₂、C₃、C₄与中间圆编号C₀的连线求出四条连线各自的中点，编号为P₁、P₂、P₃、P₄，将这四个点作为初始的四个角点；

根据亚像素级角点求解原理，迭代求解出初始栅格在像素坐标系中的四个亚像素级角点p₁、p₂、p₃、p₄。

于一实施例中，步骤S15的过程为：

根据世界坐标系中四个点的坐标和这四个点的像素级坐标求出单应性矩阵H；

H＝A[r₁r₂]

其中，R为旋转矩阵，r₁、r₂、r₃分别为旋转矩阵R的三个列向量；u₀为x方向图像中心坐标，v₀为y方向图像中心坐标；f_x为u轴的尺度因子，f_y为v轴的尺度因子，t为x和y方向的平移向量；

利用初始四个点的单应性矩阵H和相邻格子的一对待求点P₅、P₆在世界坐标系中的坐标，获得接下来两个点的像素坐标P₅、P₆；再根据亚像素级角点求解原理，迭代求解出新的亚像素级角点p₅、p₆；

从初始四个点确定的这个小方格向X正半轴，X负半轴，Y正半轴，Y负半轴四个方向向外扩展发散，求出棋盘格上所有的亚像素级角点。

于一实施例中，步骤S21的过程为：

求出左右图像上共有的角点对(p_li，p_ri)对应的正规化坐标系中的坐标对为(P_li，P_ri)，其中：

K_L及K_R为相机内参；

进行去畸变旋转，获得去畸变点(P_newli，P_newli)；

将去畸变旋转之后的图像还原到像素坐标系，计算去畸变旋转之后的图像坐标(P_nli，P_nli)；

P_nli＝K_LP_newli

P_nri＝K_RP_newri。

于一实施例中，步骤S22的过程为：

从本质矩阵分解出校正之后左右相机旋转和平移关系，本质矩阵E与旋转R_E和平移T_E的关系为：

E＝[T_E]_×R_E

其中，[_E]_×表示T_E的叉乘矩阵；

计算新的旋转矩阵R_new及平移向量T_new；

R_new＝RR_E

T_temp＝(R^-1/2)^-1T_E

T_temp＝(t_{temp_x}，t_{temp_y}，t_{temp_z})^T。

于一实施例中，系统双目可见光相机和红外相机标定方法为：

获取可见光边缘图像和红外边缘图像重合的部分，然后分别根据尺度不变特征转换算法对可见光边缘图像与红外边缘图像重合的部分进行尺度不变特征转换，得到可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息；

根据转换后得到的可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息确定匹配点对；每组匹配点对由可见光边缘图像中的一个点和红外边缘图像中的一个点组成，这两个点具有共同的方向、尺度和位置；

根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵；基于摄像机运动参数的图像变换模型为：

其中，K₁为红外相机C₁的内参矩阵，K₂为可见光相机C₂的内参矩阵，R表示相机C₂相对于相机C₁的旋转矩阵；t表示相机C₂相对于相机C₁的位移向量；[]为外参矩阵；Z_c1、Z_c2分别表示点P到相机C₁、C₂像平面的距离，该距离为焦距与物距之和，其中物距可通过使用测量工具测量得到；

其中，f_cx1为红外相机像平面中u轴方向的尺度因子；f_cy1为红外相机像平面中v轴方向的尺度因子；(c_x1，c_y1)表示红外相机的像平面的中心点坐标；f_cx2为可见光相机像平面中u轴方向的尺度因子；f_cy2为可见光相机像平面中v轴方向的尺度因子；(c_x2，c_y2)表示可见光相机的像平面的中心点坐标；

将K₁、K₂带入至根据四组匹配点对的坐标解线性方程组中，求解R、t；

对R的每一个元素正交化，得到外参矩阵。

基于角点检测及特征点提取的系统标定系统，所述系统用于执行所述基于角点检测及特征点提取的系统标定方法。

本发明的有益效果：

(1)本发明无需通过特征信息的标定板，即可得到可见光边缘图像与红外边缘图像中的匹配点对的标定方法，实现对测量对象的图像边缘检测和特征点提取，求解外参矩阵，进而降低相机参数的标定成本，同时保证了标定的准确性。

(2)本发明中的角点检测方法能够实现棋盘格图像亚像素级角点的全自动检测，得出的亚像素级角点坐标可以直接用于相机的内参和外参求解，不需要人工干预，角点检测速度快，不会受到棋盘格不完整的影响，对于复杂红外场景或者棋盘格表面污损的情况，该方法具有很强的鲁棒性。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明系统标定方法的方案流程图；

图2是本发明双目相机的校正方案步骤流程图；

图3是本发明亚像素级角点的检测原理图；

图4是本发明中单应性矩阵的角点检测的算法流程图；

图5是本发明棋盘格原图；

图6是本发明棋盘格二值图；

图7是本发明亚像素级角点向外扩展示意图；

图8是本发明左右图亚像素级角点检测结果示意图；

图9是本发明双目校正示意图；

图10是本发明双目可见光相机和红外相机标定方案流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，在一个实施例中，提供了基于角点检测及特征点提取的系统标定方法，所述方法包括：

S1、使用双目相机采集标定板图像，分别检测棋盘格标定板的角点；

S2、根据对应角点的世界坐标和图像坐标运行标定算法来获取相机参数及相机之间的位置数据，根据相机参数及相机之间的位置数据对双目相机进行校正；

S3、根据校正后的图像进行平行等位验证，完成标定过程。

通过上述标定方法，无需通过特征信息的标定板，即可得到可见光边缘图像与红外边缘图像中的匹配点对的标定方法，实现对测量对象的图像边缘检测和特征点提取，求解外参矩阵，进而降低相机参数的标定成本，同时保证了标定的准确性。

作为本发明的一种实施方式，双目相机的校正过程为：

S21、将双目图像转为正规坐标系，并进行去畸变,通过bouguet极线校正将双目相机上的角点投射到新的位置；

S22、对右图进行缩放和平移，选取缩放系数scale使得缩放之后的右图和左图对应角点的y坐标之差的绝对值最小；根据scale来确定平移系数offset；

S23、将左右图像进行旋转使得两图平面共面且光轴平行，再根据两个单目镜头的参数选取共同的新的内参并根据该内参将旋转后的两图还原为图像坐标系；根据校正结果计算校正后图像坐标到校正前图像坐标的重映射表，将其保存为二进制文件。

通过上述技术方案，提供了一种双目相机的校正方案，请参阅附图图2所示，首先将双目图像转为正规坐标系，然后去畸变；通过bouguet极线校正将双目相机上的角点投射到新的位置，根据左右图像对应角点进行本质矩阵分解得到R_E和T_E。然后把R_E和T_E叠加到R和T上面；由于双目标定出来的T_Z不稳定，需要对右图进行一个微小的缩放和平移；选取缩放系数scale使得缩放之后的右图和左图对应角点的y坐标之差的绝对值尽可能小，然后根据scale来确定平移系数offset；然后将两图进行旋转使得两图平面共面且光轴平行，之后根据两个单目镜头的参数选取共同的新的内参并根据该内参将旋转后的两图还原为图像坐标系；最后根据校正结果计算校正后图像坐标到校正前图像坐标的重映射表，其保存为二进制文件。

作为本发明的一种实施方式，所述棋盘格标定板的角点检测方法为：

S11、在棋盘格上设置标识来标记初始位置；

S12、使用红外相机采集棋盘格标定板图像，并进行初步图像处理；

S13、基于颜色检测算法检测出预先设定标记的像素坐标；

S14、根据预先标记的像素坐标确定出初始栅格四个点的像素坐标，通过迭代求出精确的亚像素级角点坐标；

S15、根据这四个点的亚像素级角点坐标和它们在世界坐标系中的世界坐标，求出单应性矩阵；根据单应性矩阵和相邻栅格在世界坐标系中的世界坐标求出该相邻格子另外两个未知点的起始粗略亚像素级角点；再根据亚像素级角点求解原理求出最终的亚像素级角点坐标。

亚像素级角点的位置特征是：角点是边缘的交点，且角点和边缘点的梯度方向垂直,请参阅附图图3所示，根据亚像素级角点附近“垂直向量，乘积为0”的特性，令待求的精确亚像素级角点为q，则其附近领域中的点p_i与q的连线向量为(p_i-)；若p_i在均匀区域内部，则p_i点的梯度为0；若点p_i在边缘上，那么点p_i处的梯度方向垂直于p_i-，对于其搜索窗口内任意一个点p_i，令p_i处的灰度梯度为

可以得到公式：

使用最小二乘法求解：

q点的值应该是使得误差ε_i最小的那个点的坐标；在以角点为中心的某一邻域内，误差和为S，则有:

故求角点准确位置的问题转化为求使误差和S最小的点的问题,该问题可用迭代的要领优化求解,得到：

为了克服当前棋盘格角点检测技术的不足，研究一种基于单应性矩阵自适应扩展角点检测方法；请参阅附图图4所示，即通过在棋盘格上设置一个或若干个有颜色或者某些形状的标识来标记初始的位置，利用单位栅格在像素坐标系中初始的像素坐标以及世界坐标系中人为设定的世界坐标求出的单应性矩阵H向外扩展，最终发散到整个棋盘格区域完成角点检测；该方法包括以下步骤：

设置标记：在棋盘格上设置一个或若干个某些颜色或者某些形状的标识来标记初始的位置。

拍摄图像：使用红外相机采集棋盘格标定板图像，并进行初步图像处理。

检测标记：通过形态学或颜色检测算法检测出预先设定标记的像素坐标。

利用标记：根据这些标记的像素坐标确定出初始栅格四个点的像素坐标，通过迭代求出精确的亚像素级角点坐标。

向外扩展：根据这四个点的亚像素级角点坐标和它们在世界坐标系中的世界坐标，求出单应性矩阵；将单应性矩阵和相邻栅格在世界坐标系中的世界坐标相乘，可以求出该相邻格子另外两个未知点的起始粗略亚像素级角点；然后根据亚像素级角点求解原理，求出最终的亚像素级角点坐标。

作为本发明的一种实施方式，步骤S11的过程为：

将五个圆分布在棋盘格3×3中心区域及四角区域的栅格内；

将中心圆编号为C₀，其余四个圆分别编号为C₁、C₂、C₃、C₄；

步骤S12的过程为：

使用红外相机拍摄红外标定板，直到标定板角点能够覆盖满整个相机的成像区域；

初步图像处理的过程为：

采用分块二值化方法，将图像I分为M×N块，每一块命名为I_i；对每一块I_i使用最大类间方差法，得到二值化图像binary_I。

在检测之前，首先需要在棋盘格上设置一个或若干个有颜色或者某些形状的标识来标记初始的位置；以红外标定板上使用的圆为例：

五个圆分布在棋盘格3×3中心区域的五个栅格内，直径略小于单位栅格的边长，记中间圆编号为C₀，其余四个圆的编号为C₁、C₂、C₃、C₄。

使用红外相机拍摄红外标定板，直到标定板角点能够覆盖满整个相机的成像区域；接下来对采集到的棋盘格图像进行预处理，预处理包括图像处理领域常用的二值化；处理所得的图片将用于后续步骤棋盘格角点鲁棒性校验算法；由于图像中存在标定板图案之外的场景，直接使用最大类间方差法效果并不是很理想；所以采用分块二值化的方法，将图像I分为M×N块，每一块命名为I_i；对每一块I_i使用最大类间方差法，得到二值化图像binary_I。请参阅附图图5-图6所示，图像棋盘格角点区域的二值化效果很好，棋盘格纹理非常清晰。

作为本发明的一种实施方式，步骤S13及S14的过程为：

通过MATLAB中imfindcircles函数对采集到的棋盘格原图进行霍夫圆检测，检测出图像中的五个圆并记录它们的像素坐标；

周围四个圆C₁、C₂、C₃、C₄与中间圆编号C₀的连线求出四条连线各自的中点，编号为P₁、P₂、P₃、P₄，将这四个点作为初始的四个角点；

根据亚像素级角点求解原理，迭代求解出初始栅格在像素坐标系中的四个亚像素级角点p₁、p₂、p₃、p₄。

通过MATLAB中imfindcircles函数对采集到的棋盘格原图进行霍夫圆检测，检测出图像中的五个圆并记录它们的像素坐标；周围四个圆C₁、C₂、C₃、C₄与中间圆编号C0的连线求出四条连线各自的中点，编号为P₁、P₂、P₃、P₄，将这四个点作为初始的四个角点；根据亚像素级角点求解原理，迭代求解出初始栅格在像素坐标系中的四个亚像素级角点p₁、p₂、p₃、p₄；本实施例将初始栅格的四个角点之一作为世界坐标系的原点，根据已知的棋盘格大小和自定义的世界坐标系原点，在世界坐标系中对棋盘格上的点一一赋值，棋盘格上的所有角点都获得了对应的世界坐标。

作为本发明的一种实施方式，步骤S15的过程为：

根据世界坐标系中四个点的坐标和这四个点的像素级坐标求出单应性矩阵H；

H＝A[r₁ r₂ t]

/>

其中，R为旋转矩阵，r_l、r₂、r₃分别为旋转矩阵R的三个列向量；u₀为x方向图像中心坐标，v₀为y方向图像中心坐标；f_x为u轴的尺度因子，f_y为v轴的尺度因子，t为x和y方向的平移向量；

利用初始四个点的单应性矩阵H和相邻格子的一对待求点p₅、p₆在世界坐标系中的坐标，获得接下来两个点的像素坐标P₅、P₆；再根据亚像素级角点求解原理，迭代求解出新的亚像素级角点p₅、p₆；

从初始四个点确定的这个小方格向X正半轴，X负半轴，Y正半轴，Y负半轴四个方向向外扩展发散，求出棋盘格上所有的亚像素级角点。

通过上述技术方案，经过设置标记，拍摄图像并处理，检测标记，利用标记四个步骤之后，初始栅格便可以根据单应性矩阵H向外扩展，发散到整个棋盘格区域。根据相机成像原理，世界坐标系中的一点W(X_W，Y_W，Z_W)在像素坐标系中的投影点p的像素坐标为(u，v)，即为：

其中，Z_c为相机坐标系中点W的Z轴坐标，u₀为x方向图像中心坐标，v₀为y方向图像中心坐标，f为焦距，R为旋转矩阵，T为平移向量，f_x为u轴的尺度因子，f_y为v轴的尺度因子，dx为x方向像元尺寸，dy为y方向像元尺寸；

一般记棋盘格标定板平面上的点的Z＝0，可得：

其中，r₁、r₂、r₃分别为旋转矩阵R的三个列向量，t为x和y方向的平移向量；

由Z_cP′＝HW′，令

则得到单应性矩阵H：

H＝A[r₁r₃]

所以可以根据世界坐标系中四个点的坐标和这四个点的像素级坐标求出单应性矩阵H。

请参阅附图图7所示，利用初始四个点的单应性矩阵H和相邻格子的一对待求点p₅、p₆在世界坐标系中的坐标，我们可以得出接下来两个点的像素坐标P₅、P₆，再根据亚像素级角点求解原理，迭代求解出新的亚像素级角点p₅、p₆；从4个点确定的这个小方格向X正半轴，X负半轴，Y正半轴，Y负半轴四个方向向外扩展发散求出棋盘格上所有的亚像素级角点。

请参阅附图图8所示，其为左右图像亚像素级角点检测结果；该算法实现了棋盘格图像亚像素级角点的全自动检测，得出的亚像素级角点坐标可以直接用于相机的内参和外参求解。

与Open CV函数和MATLAB自带的标定工具箱相比，该角点检测方法有以下优点：

(1)实现了棋盘格图像亚像素级角点的全自动检测，得出的亚像素级角点坐标可以直接用于相机的内参和外参求解。

(2)该方法与当前主流棋盘格角点检测方法相比，不需要人工干预，只需要让程序读取图片即可完成全自动的角点检测。

(3)角点检测速度快，不会受到棋盘格不完整的影响，采集的图片只需要拍到人为设定的标识即可。

(4)对于复杂红外场景或者棋盘格表面污损的情况，该方法具有很强的鲁棒性，能准确无误的检测出棋盘格上的亚像素级角点。

作为本发明的一种实施方式，步骤S21的过程为：

求出左右图像上共有的角点对(p_li，p_ri)对应的正规化坐标系中的坐标对为(P_li，P_ri)，其中：

K_L及K_R为相机内参；

进行去畸变旋转，获得去畸变点(P_newli，P_newli)；

将去畸变旋转之后的图像还原到像素坐标系，计算去畸变旋转之后的图像坐标(P_nli，P_nli)；

P_nli＝K_LP_newli

P_nri＝K_RP_newri。

请参阅附图图9所示，双目校正，就是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。

步骤S21主要为原图校正过程，求出左右图像上共有的角点对(p_li，p_ri)对应的正规化坐标系中的坐标对为(P_li，P_ri)。假定一点(u，v)为图像上的像素坐标，P(X，Y)为正规化坐标系中对应的坐标。

p＝KP

在已知像素点p以及相机的内参K的情况下可以计算出对应的正规坐标系下的坐标P，即为：

P＝K^-1p

对于每对左右相机角点对(p_li，p_ri)，它们的正规坐标系坐标对(P_li，P_ri)为：

在得出正规坐标系对(P_li，P_ri)后，需要去畸变处理，以(x，y)为畸变点的原始位置，经过若干次非线性方法迭代求解得到理想情况下的坐标(x_corrected，y_corrected)。

根据求出的两相机之间的旋转关系对左右图像进行旋转，已知左右图像之间的旋转矩阵R和平移向量T满足一下关系：

P_li＝RP_ri+T

其中，P_li为左相机正规化坐标系中的坐标，P_ri为右相机正规化坐标系中的坐标；为了使旋转之后左右相机的重合区域最大且对重投影的误差影响最小，将左图旋转R正方向一半的角度，右图旋转R反方向一半的角度，然后根据两个相机之间的平移关系T计算出旋转角R_T，然后将两个相机同时旋转R_T，即为：

将去畸变旋转之后的图像还原到像素坐标系，计算去畸变旋转之后的图像坐标：

P_nli＝K_LP_newli

P_nri＝K_RP_newri

作为本发明的一种实施方式，步骤S22的过程为：

从本质矩阵分解出校正之后左右相机旋转和平移关系，本质矩阵E与旋转R_E和平移T_E的关系为：

E＝[T_E]_×R_E

其中，[T_E]_×表示T_E的叉乘矩阵；

计算新的旋转矩阵R_new及平移向量T_new；

R_new＝RR_E

T_temp＝(R^-1/2)^-1T_E

T_temp＝(t_{temp_x}，t_{temp_y}，t_{temp_z})^T。

步骤S22过程为本质矩阵分解优化外参，因为左右图像对应点之间的本质矩阵E只和左右相机间的外参有关，在bouguet极线校正之后，通过计算校正后的左右图像对应角点的图像坐标来对外参进行优化；从本质矩阵分解出校正之后左右相机旋转和平移关系：本质矩阵E与旋转RE和平移TE的关系如下：

E＝[T_E]_×R_E

其中，[T_E]_×表示T_E的叉乘矩阵；然后将E做奇异值分解，得到：

定义以下两个矩阵：

所以E可以写成以下两种形式：

E＝UZU^TUWV^T，令[t′]_×＝UZU^T，R′＝UWV^T

E＝-UZU^TUW^TV^T，令[t′]_×＝-UZU^T，R′＝UW^TV^T

因为E的SVD分解得到四对R_E和T_E，选取具有三维意义的解；将分解出来的旋转和平移矩阵叠加到原来的外参里面；记去畸变前的旋转矩阵为R，平移向量为T＝(t_x，t_y，t_z)^T；上一步计算出的旋转矩阵为RE，平移向量为T_E＝(t_{E_x}，t_{E_y}，t_{E_z})^T，则R_new和T_new满足如下关系：

R_new＝RR_E

尺度不变特征转换是一种计算机视觉的算法，用于侦测与描述影像中的局部性特征，例如在空间尺度中寻找极值点，并提取出极值点的位置、尺度以及旋转不变量；尺度不变特征转换的过程为：

利用高斯核函数对原始图像进行尺度变换，得到图像在多尺度下的尺度表示序列，并在此尺度空间进行特征的提取；

其中，σ为高斯正态分布的方差；

通过高斯差分函数D(x,y,σ)检测稳定关键点的位置，其中：

D(x,y,σ)＝L(x,y,kσ)－L(x,y,σ)

L(x,y,σ)＝G(x,y,σ)×I(x,y)

其中，I(x,y)为输入图像；

确定关键点的位置和尺度，同时剔除对比度低的候选点；

通过公式

计算出以极值点为中心的局部图像梯度幅角θ(x,y)；

通过公式

计算获得以极值点为中心的局部图像梯度幅值m(x,y)；

其中，L所用的尺度为每个关键点各自所在的尺度；

在以关键点为中心的邻域窗口内采样，利用直方图统计邻域像素的梯度方向，直方图的峰值所对应的就是特征点的主方向；若存在相当于主峰值80％能量的峰值，则将其作为特征点的辅方向；

将平面坐标系的坐标轴旋转为特征点的主方向，以特征点为中心取8×8的窗口，将其分成16个2×2的子区域；在每个2×2的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点；每个特征点形成128维的SIFT特征向量，通过这些特征向量来区分特征点对。

作为本发明的一种实施方式，请参阅附图图10所示，系统双目可见光相机和红外相机标定方法为：

获取可见光边缘图像和红外边缘图像重合的部分，然后分别根据尺度不变特征转换算法对可见光边缘图像与红外边缘图像重合的部分进行尺度不变特征转换，得到可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息；

根据转换后得到的可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息确定匹配点对；每组匹配点对由可见光边缘图像中的一个点和红外边缘图像中的一个点组成，这两个点具有共同的方向、尺度和位置；

根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵；基于摄像机运动参数的图像变换模型为：

其中，K₁为红外相机C₁的内参矩阵，K₂为可见光相机C₂的内参矩阵，R表示相机C₂相对于相机C₁的旋转矩阵；t表示相机C₂相对于相机C₁的位移向量；[]为外参矩阵；Z_c1、Z_c2分别表示点P到相机C₁、C₂像平面的距离，该距离为焦距与物距之和，其中物距可通过使用测量工具测量得到；

其中，f_cx1为红外相机像平面中u轴方向的尺度因子；f_cy1为红外相机像平面中v轴方向的尺度因子；(c_x1，c_y1)表示红外相机的像平面的中心点坐标；f_cx2为可见光相机像平面中u轴方向的尺度因子；f_cy2为可见光相机像平面中v轴方向的尺度因子；(c_x2，c_y2)表示可见光相机的像平面的中心点坐标；

将K₁、K₂带入至根据四组匹配点对的坐标解线性方程组中，求解R、t；

对R的每一个元素正交化，得到外参矩阵。

该方案中当相机(可见光相机或红外相机)的焦距发生变化时，无需调整相机位置即可确定外参矩阵，进而能够提高参数标定的效率。

在一个实施例中，提供了基于角点检测及特征点提取的系统标定系统，所述系统用于执行上述实施例中所述的基于角点检测及特征点提取的系统标定方法。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.基于角点检测及特征点提取的系统标定方法，其特征在于，所述方法包括：

S1、使用双目相机采集标定板图像，分别检测棋盘格标定板的角点；

S2、根据对应角点的世界坐标和图像坐标运行标定算法来获取相机参数及相机之间的位置数据，根据相机参数及相机之间的位置数据对双目相机进行校正；

S3、根据校正后的图像进行平行等位验证，完成标定过程。

2.根据权利要求1所述的基于角点检测及特征点提取的系统标定方法，其特征在于，双目相机的校正过程为：

S21、将双目图像转为正规坐标系，并进行去畸变,通过bouguet极线校正将双目相机上的角点投射到新的位置；

S22、对右图进行缩放和平移，选取缩放系数scale使得缩放之后的右图和左图对应角点的y坐标之差的绝对值最小；根据scale来确定平移系数offset；

S23、将左右图像进行旋转使得两图平面共面且光轴平行，再根据两个单目镜头的参数选取共同的新的内参并根据该内参将旋转后的两图还原为图像坐标系；根据校正结果计算校正后图像坐标到校正前图像坐标的重映射表，将其保存为二进制文件。

3.根据权利要求1所述的基于角点检测及特征点提取的系统标定方法，其特征在于，所述棋盘格标定板的角点检测方法为：

S11、在棋盘格上设置标识来标记初始位置；

S12、使用红外相机采集棋盘格标定板图像，并进行初步图像处理；

S13、基于颜色检测算法检测出预先设定标记的像素坐标；

S14、根据预先标记的像素坐标确定出初始栅格四个点的像素坐标，通过迭代求出精确的亚像素级角点坐标；

S15、根据这四个点的亚像素级角点坐标和它们在世界坐标系中的世界坐标，求出单应性矩阵；根据单应性矩阵和相邻栅格在世界坐标系中的世界坐标求出该相邻格子另外两个未知点的起始粗略亚像素级角点；再根据亚像素级角点求解原理求出最终的亚像素级角点坐标。

4.根据权利要求2所述的基于角点检测及特征点提取的系统标定方法，其特征在于，步骤S11的过程为：

将五个圆分布在棋盘格3×3中心区域及四角区域的栅格内；

将中心圆编号为C₀，其余四个圆分别编号为C₁、C₂、C₃、C₄；

步骤S12的过程为：

使用红外相机拍摄红外标定板，直到标定板角点能够覆盖满整个相机的成像区域；

初步图像处理的过程为：

采用分块二值化方法，将图像I分为M×N块，每一块命名为I_i；对每一块I_i使用最大类间方差法，得到二值化图像binary_I。

5.根据权利要求4所述的基于角点检测及特征点提取的系统标定方法，其特征在于，步骤S13及S14的过程为：

通过MATLAB中imfindcircles函数对采集到的棋盘格原图进行霍夫圆检测，检测出图像中的五个圆并记录它们的像素坐标；

周围四个圆C₁、C₂、C₃、C₄与中间圆编号C₀的连线求出四条连线各自的中点，编号为P₁、P₂、P₃、P₄，将这四个点作为初始的四个角点；

根据亚像素级角点求解原理，迭代求解出初始栅格在像素坐标系中的四个亚像素级角点p₁、p₂、p₃、p₄。

6.根据权利要求5所述的基于角点检测及特征点提取的系统标定方法，其特征在于，步骤S15的过程为：

根据世界坐标系中四个点的坐标和这四个点的像素级坐标求出单应性矩阵H；

H＝A[r₁ r₂ t]

其中，R为旋转矩阵，r₁、r₂、r₃分别为旋转矩阵R的三个列向量；u₀为x方向图像中心坐标，v₀为y方向图像中心坐标；f_x为u轴的尺度因子，f_y为v轴的尺度因子，t为x和y方向的平移向量；

利用初始四个点的单应性矩阵H和相邻格子的一对待求点P₅、P₆在世界坐标系中的坐标，获得接下来两个点的像素坐标P₅、P₆；再根据亚像素级角点求解原理，迭代求解出新的亚像素级角点p₅、p₆；

从初始四个点确定的这个小方格向X正半轴，X负半轴，Y正半轴，Y负半轴四个方向向外扩展发散，求出棋盘格上所有的亚像素级角点。

7.根据权利要求2所述的基于角点检测及特征点提取的系统标定方法，其特征在于，步骤S21的过程为：

求出左右图像上共有的角点对(p_li，p_ri)对应的正规化坐标系中的坐标对为(P_li，P_ri)，其中：

K_L及K_R为相机内参；

进行去畸变旋转，获得去畸变点(P_newli，P_newli)；

将去畸变旋转之后的图像还原到像素坐标系，计算去畸变旋转之后的图像坐标(P_nli，P_nli)；

P_nli＝K_LP_newli

P_nri＝K_RP_newri。

8.根据权利要求2所述的基于角点检测及特征点提取的系统标定方法，其特征在于，步骤S22的过程为：

从本质矩阵分解出校正之后左右相机旋转和平移关系，本质矩阵E与旋转R_E和平移T_E的关系为：

E＝[T_E]_×R_E

其中，[T_E]_×表示T_E的叉乘矩阵；

计算新的旋转矩阵R_new及平移向量T_new；

R_new＝RR_E

T_temp＝(R^-1/2)^-1T_E

T_temp＝(t_{temp_x}，t_{temp_y}，t_{temp_z})^T。

9.根据权利要求1所述的基于角点检测及特征点提取的系统标定方法，其特征在于，系统双目可见光相机和红外相机标定方法为：

获取可见光边缘图像和红外边缘图像重合的部分，然后分别根据尺度不变特征转换算法对可见光边缘图像与红外边缘图像重合的部分进行尺度不变特征转换，得到可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息；

根据转换后得到的可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息确定匹配点对；每组匹配点对由可见光边缘图像中的一个点和红外边缘图像中的一个点组成，这两个点具有共同的方向、尺度和位置；

根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵；基于摄像机运动参数的图像变换模型为：

其中，K₁为红外相机C₁的内参矩阵，K₂为可见光相机C₂的内参矩阵，R表示相机C₂相对于相机C₁的旋转矩阵；t表示相机C₂相对于相机C₁的位移向量；[R T]为外参矩阵；Z_c1、Z_c2分别表示点P到相机C₁、C₂像平面的距离，该距离为焦距与物距之和，其中物距可通过使用测量工具测量得到；

其中，f_cx1为红外相机像平面中u轴方向的尺度因子；f_cy1为红外相机像平面中v轴方向的尺度因子；(c_x1，c_y1)表示红外相机的像平面的中心点坐标；f_cx2为可见光相机像平面中u轴方向的尺度因子；f_cy2为可见光相机像平面中v轴方向的尺度因子；(c_x2，c_y2)表示可见光相机的像平面的中心点坐标；

将K₁、K₂带入至根据四组匹配点对的坐标解线性方程组中，求解R、t；

对R的每一个元素正交化，得到外参矩阵。

10.基于角点检测及特征点提取的系统标定系统，其特征在于，所述系统用于执行如权利要求1-9任一项所述的基于角点检测及特征点提取的系统标定方法。

Images