CN108470361A - 一种角点自动识别相机标定方法 - Google Patents

Abstract

本发明公开了一种角点自动识别相机标定方法，包括以下步骤：S1：对相机参数进行初始估计，再用优化函数进行迭代求精；S2：将图像翻转二值化；S3：基于欧拉数的滤波对图像进行处理；S4：定位标定板棋盘上的所有四边形；S5：对角点进行粗定位与排序；S6：对角点进行精确定位。本发明针对已有相机标定个工具效率低下和标定精度受人为因素影响较大的问题，结合张正友的经典标定算法，提出一种基于图像形态学处理和最小凸包理论的角点自动识别标定方法，该方法操作便捷高效，且在较为复杂的光照和背景条件下，也具有很好地标定精度和可靠性。

Description

一种角点自动识别相机标定方法

技术领域

本发明具体涉及一种角点自动识别相机标定方法。

背景技术

相机标定是计算机视觉领域的基础性工作之一，标定结果的好坏直接影响后续的研究工作。传统标定方法可以获得较高的鲁棒性和精度，而高精度三维控制场建立比较困难，因而运用一些二维人工参照物（如棋盘格标定板）进行相机标定成为重要的研究方向，其中，以Tsai等人提出的两步法和张正友柔性桌面标定法为典型代表。

Tsai等人提出的两步法标定精度较高，但该算法不包括角点提取且系统实现的条件要求高；张正友柔性桌面标定法以精度适中、计算量不大且实施简单、灵活而为广大视觉研究人员所采纳。Bouguet等人利用张正友的算法实现了一种获得广泛使用的Matlab标定工具箱，但该工具箱的自动程度不足，需要手工识别标定板角点，在使用多幅图像进行标定时，整过程耗时非常高。

发明内容

本发明要解决的技术问题是提供一种角点自动识别相机标定方法。

一种角点自动识别相机标定方法，包括以下步骤：

S1：对相机参数进行初始估计，再用优化函数进行迭代求精；

S2：将图像翻转二值化；

S3：基于欧拉数的滤波对图像进行处理；

S4：定位标定板棋盘上的所有四边形；

S5：对角点进行粗定位与排序；

S6：对角点进行精确定位。

进一步的，对相机参数进行初始估计的具体方法如下：

1）设齐次坐标下的空间三维点和相机平面的二维点，根据相机模型关系式，式中，K为内参数矩阵，R和t分别为旋转矩阵和平移向量，为尺度因子；

2）假定模板平面在世界坐标系的Z=0平面上，则进一步有，

；

3）令，则，

，

；

4）根据已知的空间三维点的坐标与像素坐标系下的坐标用最小二乘法可以求出H；

5）由于旋转矩阵的性质，即，和，每幅图像可以获得以下两个对内参矩阵的基本约束：

；

；

由于相机有5个未知内参数，所以当拍摄图像数目大于或等于3时，可以求出所有内外参数唯一解。

进一步的，用优化函数进行迭代求精的具体方法如下：

用投影误差最小化函数迭代求精，

；

式中，m为相机平面的二维点，表示空间M点经初始相机参数投影到相机平面下的坐标。

进一步的，图像翻转二值化的具体方法如下：

1）计算图像直方图，求出中值作为初始中值；

2）用将图像所有像素的灰度值分成两组，，；

3）分别求出和范围内的平均灰度值和；

4）采用公式求出新的阈值；

5）重复步骤2）到4），直到。

进一步的，基于欧拉数的滤波对图像进行处理的具体方法如下：

1）用膨胀方法处理图像：，膨胀核为边长的矩形；

2）提取并标记图像的轮廓；

3）在二值图像中，欧拉数E定义为1像素连接成分C减去孔数A的值，即E=C-A；用E=C-A滤除小孔和斑点；

4）利用稠度和面积滤除冗余的轮廓，稠度定义为，N为标定板上总棋盘格数，W，B为棋盘格边上的个数。

进一步的，定位标定板棋盘上的所有四边形的具体方法如下：

1）采用如下腐蚀方法处理图像，腐蚀核边长的矩形；

2）提取图像的轮廓；

3）对所有轮廓求凸包，利用凸包的顶点进行四边形拟合，逐个求凸包的周边和面积，并将凸包周长的八分之一的平方作为相邻凸包间距的阈值，将凸包分组，进行过滤，即可粗定位所有棋盘格。

进一步的，对角点进行粗定位与排序的具体方法如下：

1）以求出的四边形凸包点集为目标，计算每个四边形顶点到其他四边形的每个顶点间的距离，与凸包间距初始阈值比较得出最小距离，请将具有最小距离的两个四边形彼此标记为最临近的四边形，依次类推，标记所有四边形；检测最小距离是否小于相邻四边形的最短边，是，则连接最小距离对应的两个顶点，否，则继续比较；最后，计算两个顶点位置坐标的算术平均值，即为所求角点的初始位置；

2）用最小凸包法确定棋盘格的四个极点：

2-1）选取纵坐标最小的点作为起始点；

2-2）连接与其周围的点，计算ov轴到各连线的逆时针方向转角，将最小转角对应点标记为；

2-3）重复步骤2-2),确定点，直到所确定的顶点回到，最终得到最小凸包顶点；

2-4）以定点序列连线，求出相邻两条凸包边线夹角；

2-5）求出中最小的四个角，这四个角对应的顶点(A，B,C,D)即为所求的四个候选极点，与求出最小凸包时的最小转角序列互补，转角最大的顶点即为候选极点；

2-6）利用重心法验证四个候选极点；

3）计算棋盘格对应的单应矩阵H：

棋盘角点图像像素坐标(u,v)与空间坐标(,)满足变换公式，

,

H为所求的单应矩阵，已知=1，于是将以求出的四个极点坐标的空间坐标设为(0,0)、(0,1)、(1,1)、(1,1)，而四个极点图像坐标已知，则H即求出；

4）角点排序，设棋盘格的行列两个方向上的角点数目为和，步骤3）设定两极点的空间距离为1，则棋盘格各角点的空间坐标可如下计算：

；

式中，i=0,1,…, -1,j=0,1,…,-1分别为各角点在棋盘格中的行列号；将H和代入上式，即可得出对应的图像坐标，实现角点图像坐标与空间的一一对应关系，完成角点排序。

进一步的，对角点进行精确定位的具体方法如下：

1）设Q点是角点的精确位置，和分别是Q点邻域内边缘上的点和不在边缘上的点，的灰度梯度方向与垂直，而的灰度梯度方向为零，即Q点领域内的点P的灰度梯度均与互相垂直，即有，

，

式中，为Q邻域内任意一点，为点处的灰度梯度向量；

2）引入误差，则上式改写为，

，

3）以像素级角点为中心取一窗口，计算误差和，

，

求亚像素Q点位置转化为求S最小问题；

4）以像素级角点为初始值进行迭代优化，即可得到精确的Q点位置。

本发明的有益效果是：

本发明针对已有相机标定个工具效率低下和标定精度受人为因素影响较大的问题，结合张正友的经典标定算法，提出一种基于图像形态学处理和最小凸包理论的角点自动识别标定方法，该方法操作便捷高效，且在较为复杂的光照和背景条件下，也具有很好地标定精度和可靠性。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

一种角点自动识别相机标定方法，包括以下步骤：

S1：对相机参数进行初始估计，再用优化函数进行迭代求精；

对相机参数进行初始估计的具体方法如下：

1）设齐次坐标下的空间三维点和相机平面的二维点，根据相机模型关系式，式中，K为内参数矩阵，R和t分别为旋转矩阵和平移向量，为尺度因子；

2）假定模板平面在世界坐标系的Z=0平面上，则进一步有，

；

3）令，则，

，

；

4）根据已知的空间三维点的坐标与像素坐标系下的坐标用最小二乘法可以求出H；

5）由于旋转矩阵的性质，即，和，每幅图像可以获得以下两个对内参矩阵的基本约束：

；

；

由于相机有5个未知内参数，所以当拍摄图像数目大于或等于3时，可以求出所有内外参数唯一解。

用优化函数进行迭代求精的具体方法如下：

用投影误差最小化函数迭代求精，

；

式中，m为相机平面的二维点，表示空间M点经初始相机参数投影到相机平面下的坐标。

S2：将图像翻转二值化；

图像翻转二值化的具体方法如下：

1）计算图像直方图，求出中值作为初始中值；

2）用将图像所有像素的灰度值分成两组，，；

3）分别求出和范围内的平均灰度值和；

4）采用公式求出新的阈值；

5）重复步骤2）到4），直到。

S3：基于欧拉数的滤波对图像进行处理；

基于欧拉数的滤波对图像进行处理的具体方法如下：

1）用膨胀方法处理图像：，膨胀核为边长的矩形；

2）提取并标记图像的轮廓；

3）在二值图像中，欧拉数E定义为1像素连接成分C减去孔数A的值，即E=C-A；用E=C-A滤除小孔和斑点；

4）利用稠度和面积滤除冗余的轮廓，稠度定义为，N为标定板上总棋盘格数，W，B为棋盘格边上的个数。

S4：定位标定板棋盘上的所有四边形；

定位标定板棋盘上的所有四边形的具体方法如下：

1）采用如下腐蚀方法处理图像，腐蚀核边长的矩形；

2）提取图像的轮廓；

3）对所有轮廓求凸包，利用凸包的顶点进行四边形拟合，逐个求凸包的周边和面积，并将凸包周长的八分之一的平方作为相邻凸包间距的阈值，将凸包分组，进行过滤，即可粗定位所有棋盘格。

S5：对角点进行粗定位与排序；

对角点进行粗定位与排序的具体方法如下：

1）以求出的四边形凸包点集为目标，计算每个四边形顶点到其他四边形的每个顶点间的距离，与凸包间距初始阈值比较得出最小距离，请将具有最小距离的两个四边形彼此标记为最临近的四边形，依次类推，标记所有四边形；检测最小距离是否小于相邻四边形的最短边，是，则连接最小距离对应的两个顶点，否，则继续比较；最后，计算两个顶点位置坐标的算术平均值，即为所求角点的初始位置；

2）用最小凸包法确定棋盘格的四个极点：

2-1）选取纵坐标最小的点作为起始点；

2-2）连接与其周围的点，计算ov轴到各连线的逆时针方向转角，将最小转角对应点标记为；

2-3）重复步骤2-2),确定点，直到所确定的顶点回到，最终得到最小凸包顶点；

2-4）以定点序列连线，求出相邻两条凸包边线夹角；

2-5）求出中最小的四个角，这四个角对应的顶点(A，B,C,D)即为所求的四个候选极点，与求出最小凸包时的最小转角序列互补，转角最大的顶点即为候选极点；

2-6）利用重心法验证四个候选极点；

3）计算棋盘格对应的单应矩阵H：

棋盘角点图像像素坐标(u,v)与空间坐标(,)满足变换公式，

,

H为所求的单应矩阵，已知=1，于是将以求出的四个极点坐标的空间坐标设为(0,0)、(0,1)、(1,1)、(1,1)，而四个极点图像坐标已知，则H即求出；

4）角点排序，设棋盘格的行列两个方向上的角点数目为和，步骤3）设定两极点的空间距离为1，则棋盘格各角点的空间坐标可如下计算：

；

式中，i=0,1,…, -1,j=0,1,…,-1分别为各角点在棋盘格中的行列号；将H和代入上式，即可得出对应的图像坐标，实现角点图像坐标与空间的一一对应关系，完成角点排序。

S6：对角点进行精确定位。

对角点进行精确定位的具体方法如下：

1）设Q点是角点的精确位置，和分别是Q点邻域内边缘上的点和不在边缘上的点，的灰度梯度方向与垂直，而的灰度梯度方向为零，即Q点领域内的点P的灰度梯度均与互相垂直，即有，

，

式中，为Q邻域内任意一点，为点处的灰度梯度向量；

2）引入误差，则上式改写为，

，

3）以像素级角点为中心取一窗口，计算误差和，

，

求亚像素Q点位置转化为求S最小问题；

4）以像素级角点为初始值进行迭代优化，即可得到精确的Q点位置。

Claims (8)

1.一种角点自动识别相机标定方法，其特征在于，包括以下步骤：

S1：对相机参数进行初始估计，再用优化函数进行迭代求精；

S2：将图像翻转二值化；

S3：基于欧拉数的滤波对图像进行处理；

S4：定位标定板棋盘上的所有四边形；

S5：对角点进行粗定位与排序；

S6：对角点进行精确定位。

2.根据权利要求1所述的相机标定方法，其特征在于，对相机参数进行初始估计的具体方法如下：

1）设齐次坐标下的空间三维点和相机平面的二维点，根据相机模型关系式，式中，K为内参数矩阵，R和t分别为旋转矩阵和平移向量，为尺度因子；

2）假定模板平面在世界坐标系的Z=0平面上，则进一步有，

；

3）令，则，

，

；

4）根据已知的空间三维点的坐标与像素坐标系下的坐标用最小二乘法可以求出H；

5）由于旋转矩阵的性质，即，和，每幅图像可以获得以下两个对内参矩阵的基本约束：

；

；

由于相机有5个未知内参数，所以当拍摄图像数目大于或等于3时，可以求出所有内外参数唯一解。

3.根据权利要求1所述的相机标定方法，其特征在于，用优化函数进行迭代求精的具体方法如下：

用投影误差最小化函数迭代求精，

；

式中，m为相机平面的二维点，表示空间M点经初始相机参数投影到相机平面下的坐标。

4.根据权利要求1所述的相机标定方法，其特征在于，图像翻转二值化的具体方法如下：

1）计算图像直方图，求出中值作为初始中值；

2）用将图像所有像素的灰度值分成两组，，；

3）分别求出和范围内的平均灰度值和；

4）采用公式求出新的阈值；

5）重复步骤2）到4），直到。

5.根据权利要求1所述的相机标定方法，其特征在于，基于欧拉数的滤波对图像进行处理的具体方法如下：

1）用膨胀方法处理图像：，膨胀核为边长的矩形；

2）提取并标记图像的轮廓；

3）在二值图像中，欧拉数E定义为1像素连接成分C减去孔数A的值，即E=C-A；用E=C-A滤除小孔和斑点；

4）利用稠度和面积滤除冗余的轮廓，稠度定义为，N为标定板上总棋盘格数，W，B为棋盘格边上的个数。

6.根据权利要求1所述的相机标定方法，其特征在于，定位标定板棋盘上的所有四边形的具体方法如下：

1）采用如下腐蚀方法处理图像，腐蚀核边长的矩形；

2）提取图像的轮廓；

3）对所有轮廓求凸包，利用凸包的顶点进行四边形拟合，逐个求凸包的周边和面积，并将凸包周长的八分之一的平方作为相邻凸包间距的阈值，将凸包分组，进行过滤，即可粗定位所有棋盘格。

7.根据权利要求1所述的相机标定方法，其特征在于，对角点进行粗定位与排序的具体方法如下：

1）以求出的四边形凸包点集为目标，计算每个四边形顶点到其他四边形的每个顶点间的距离，与凸包间距初始阈值比较得出最小距离，请将具有最小距离的两个四边形彼此标记为最临近的四边形，依次类推，标记所有四边形；检测最小距离是否小于相邻四边形的最短边，是，则连接最小距离对应的两个顶点，否，则继续比较；最后，计算两个顶点位置坐标的算术平均值，即为所求角点的初始位置；

2）用最小凸包法确定棋盘格的四个极点：

2-1）选取纵坐标最小的点作为起始点；

2-2）连接与其周围的点，计算ov轴到各连线的逆时针方向转角，将最小转角对应点标记为；

2-3）重复步骤2-2),确定点，直到所确定的顶点回到，最终得到最小凸包顶点；

2-4）以定点序列连线，求出相邻两条凸包边线夹角；

2-5）求出中最小的四个角，这四个角对应的顶点(A，B,C,D)即为所求的四个候选极点，与求出最小凸包时的最小转角序列互补，转角最大的顶点即为候选极点；

2-6）利用重心法验证四个候选极点；

3）计算棋盘格对应的单应矩阵H：

棋盘角点图像像素坐标(u,v)与空间坐标(,)满足变换公式，

,

H为所求的单应矩阵，已知=1，于是将以求出的四个极点坐标的空间坐标设为(0,0)、(0,1)、(1,1)、(1,1)，而四个极点图像坐标已知，则H即求出；

4）角点排序，设棋盘格的行列两个方向上的角点数目为和，步骤3）设定两极点的空间距离为1，则棋盘格各角点的空间坐标可如下计算：

；

式中，i=0,1,…, -1,j=0,1,…,-1分别为各角点在棋盘格中的行列号；将H和代入上式，即可得出对应的图像坐标，实现角点图像坐标与空间的一一对应关系，完成角点排序。

8.根据权利要求1所述的相机标定方法，其特征在于，对角点进行精确定位的具体方法如下：

1）设Q点是角点的精确位置，和分别是Q点邻域内边缘上的点和不在边缘上的点，的灰度梯度方向与垂直，而的灰度梯度方向为零，即Q点领域内的点P的灰度梯度均与互相垂直，即有，

，

式中，为Q邻域内任意一点，为点处的灰度梯度向量；

2）引入误差，则上式改写为，

，

3）以像素级角点为中心取一窗口，计算误差和，

，

求亚像素Q点位置转化为求S最小问题；

4）以像素级角点为初始值进行迭代优化，即可得到精确的Q点位置。