CN112950723A - 基于边缘尺度自适应散焦模糊估计的机器人相机标定方法 - Google Patents

Abstract

本发明公开了一种基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，先利用待标定相机获取棋盘格图片，并对所获取的棋盘格图片进行Canny边缘检测和角点检测；其次，根据Canny边缘检测值构造一个尺度一致的边缘图；然后，设定边缘检测的局部尺度值，同时设定两次重模糊图像的模糊值；再次对棋盘格图像分别进行高斯模糊，并求取两次重模糊图像的梯度比率；接着，计算出棋盘格原始图片每个角点的散焦模糊量；再以检测的角点为圆心，以散焦模糊量为半径作圆，同时设定相机标定能量方程的权值；最后，根据优化的相机标定能量方程，在所得到的圆范围内对能量方程进行迭代直至收敛，输出最优相机标定参数，可以极大提高相机标定的精度。

Description

基于边缘尺度自适应散焦模糊估计的机器人相机标定方法

技术领域

本发明主要涉及视觉感知技术领域，具体地说，涉及一种基于边缘尺度自适应散焦模糊估计的机器人相机标定方法。

背景技术

相机标定技术在移动小车视觉感知，机械臂末端视觉，乃至月球车与火星车的视觉感知过程起着至关重要的作用，相机标定过程关系到相机参数的获取，直接影响立体视觉中立体匹配的精度，与环境三维重建的精度，所以相机标定过程也对移动小车基于立体视觉的视觉导航的精度提升起着关键作用，直接影响视觉感知任务是否能够完成。

在高精度相机标定的过程中，对相机标定模板的控制点进行高精度提取是一个非常关键的过程，控制点提取精度越高，则对实际成像过程描述的准确性越高，相机参数获取的精度则越高。影响相机控制点提取精度的一个关键因素则是图像的散焦模糊，散焦模糊的形成原因是成像物体并没有在物体的焦平面上，通过相机模型所成的像并不清晰，成像地点相比图像平面或远或近，导致在图像平面上呈现的是一小块圆形区域，称为圆形混淆区。散焦模糊的图像可以被建模为准确的清晰图像与二维高斯函数的卷积，而圆形混淆区也与该高斯函数的标准差成正相关，所以我们可以通过获得高斯函数的标准差来获得圆形混淆区，该高斯函数的标准差称为模糊量，对其获取的过程称为散焦模糊估计。AliKaraali等在《Edge-Based Defocus Blur Estimation With Adaptive Scale Selection》一文中采用了通过获取图像的边缘图，然后对原始图像进行两次重模糊，构建尺度一致的边缘图，并进行尺度自适应选择，获得边缘位置的初始模糊估计的方法，但是其目的旨在获得整幅图片的全散焦模糊图，且并没有应用到相机标定过程中，用以提升相机标定的精度。汪蕾等在《散焦模糊量估计的相机加权标定方法》中将散焦模糊的过程应用到相机标定过程，且引入权值到相机的标定能量函数中，用以提升相机标定的精度，但是其散焦模糊量的获取方法是通过先获取水平与数值两个方向的一维模糊量，在整合成二维模糊量，精度差，鲁棒性低，且其引入的权值只是简单的根据控制点的清晰程度来增加清晰点或减弱模糊点在相机标定过程中起到的作用，并没有完全发挥模糊量应有的作用。Jianyang Liu等在《Robust Camera Calibration by Optimal Localization of Spatial Control Points》一文中，利用相机的镜头畸变与透视畸变的矫正距离，与散焦模糊的模糊量为半径分别作圆，取并集所得范围用以回归精确的控制点，但是其散焦模糊量的获取精度较低，且不能单独发挥散焦模糊量的作用，在相机标定能量函数最小化过程中，没有合适的对相机标定能量函数进行权值的引入，收敛速度过低。

发明内容

有鉴于此，本发明的目的在于提供一种基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，可以在得到高精度散焦模糊量的基础上，利用优化的相机标定能量函数进行迭代，有效的发挥散焦模糊量在相机标定能量函数中的作用，同时提高收敛速度，最大化的去除散焦模糊对相机参数获取过程的影响，最后得到更精确的相机标定参数值。

本发明的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，包括以下步骤：

步骤1、利用待标定相机获取棋盘格图片；

步骤2、对所获取的棋盘格图片进行Canny边缘检测和角点检测；

步骤3、根据Canny边缘检测值构造一个尺度一致的边缘图；

步骤4、设定边缘检测的局部尺度值，同时设定两次重模糊图像的模糊值；

步骤5、根据设定的两次重模糊图像的模糊值，对棋盘格图像分别进行高斯模糊，并求取两次重模糊图像的梯度比率；

步骤6、根据所求梯度比率与两次重模糊图像的模糊值，计算出棋盘格原始图片每个角点的散焦模糊量；

步骤7、以步骤2检测的角点为圆心，以散焦模糊量为半径作圆，同时设定相机标定能量方程的权值，并代入到优化的相机标定能量方程中；

步骤8、根据优化的相机标定能量方程，在步骤7所得到的圆范围内对能量方程进行迭代，直至收敛；

步骤9、输出所得相机参数，即为最优相机标定参数。

进一步地，所述步骤2具体表现为：对所获取的棋盘格图片进行Canny边缘检测得到Canny(I_b,σ_c1),Canny(I_b,σ_c2)...Canny(I_b,σ_cn)，同时进行角点检测，获得所有角点坐标，其中，Canny(I_b,σ_c1)表示对输入棋盘格图片以σ_c1为标准差的Canny检测结果，Canny(I_b,σ_c2)表示对输入棋盘格图片以σ_c2为标准差的Canny检测结果，Canny(I_b,σ_cn)表示对输入棋盘格图片以σ_cn为标准差的Canny检测结果，I_b表示输入棋盘格图片，σ_c1表示在Canny边缘检测过程中高斯滤波步骤所取的第1个标准差，σ_c2表示在Canny边缘检测过程中高斯滤波步骤所取的第2个标准差，σ_cn表示在Canny边缘检测过程中高斯滤波步骤所取的第n个标准差，σ_c1、σ_c2和σ_cn均为设定值，且σ_c1到σ_cn逐渐增大，均匀分布。

进一步地，所述步骤3具体表现为：设定Canny边缘检测值

根据

构造一个尺度一致的边缘图M(x,y)，其中，x为图像的横坐标，y为图像的纵坐标，N_r为设定值，且N_r≤n，i∈(1,n)，n表示Canny边缘检测的总次数，σ_ci表示在Canny边缘检测过程中高斯滤波步骤所取的第i个标准差。

进一步地，所述步骤4具体表现为：设定边缘检测的局部尺度值为

设定棋盘格分别进行两次重模糊图像的模糊值为σ₁＝1，σ₂＝0.5s(x,y)。

进一步地，所述步骤5具体表现为：根据设定的模糊值σ₁、σ₂，对棋盘格图像分别进行高斯模糊，设高斯模糊后的图像为I_b1(x,y)与I_b2(x,y)，求取两次重模糊图像的梯度比率R(x,y)，R(x,y)的表达式如下：

式中，

为求取图像的梯度。

进一步地，所述步骤5中具体的高斯模糊操作通过如下公式表达：

式中，I_b(x,y)表示输入棋盘格图片中像素坐标为(x,y)的像素值，g(x,y,σ₁)表示标准差为σ₁的高斯函数，*为图像卷积操作，g(x,y,σ₂)表示标准差为σ₂的高斯函数，σ₁和σ₂均为设定值。

进一步地，所述步骤6具体表现为：根据公式(1)至(3)，计算出棋盘格原始图片每个角点的散焦模糊量σ_b(x,y)，σ_b(x,y)的表达式如下：

进一步地，所述步骤7具体表现为：以步骤2检测的角点坐标(x,y)为圆心，以其对应的散焦模糊量σ_b(x,y)为半径作圆C，该圆C为相机标定能量方程的回归范围，同时设定相机标定能量方程的权值

将其整合到到优化的相机标定能量方程中用以权衡角点的模糊程度。

进一步地，拟定优化的相机标定能量方程为

其中m_i,j为对棋盘格直接检测得到的角点的坐标，M_i,j为检测角点在三维空间中标定板上对应点的坐标，

为M_i,j通过相机参数利用相机模型进行投影成像所得坐标，A为相机内参矩阵，

f_x,f_y为相机的焦距，单位为像素，u₀,v₀为像素坐标系坐标原点到光轴的偏移量，单位为像素，K为相机畸变参数矩阵，K＝[k₁,k₂,k₃,p₁,p₂]，k₁,k₂,k₃为相机的径向畸变参数，p₁,p₂为相机的切向畸变参数，R_i,T_i分别为第i幅图片的旋转矩阵与平移矩阵，C为步骤6中所得到的圆，D为棋盘格标定板上相邻的两个角点实际的欧几里得距离，ε为设定值，可以根据调整ε的大小来决定最终所获参数的精度，|| ||为二维范数，表示欧几里得距离，m为每幅图片所含控制点即角点个数，z为标定过程所输入所有棋盘格图片个数。

进一步地，所述步骤8中对优化的相机标定能量方程利用L-M算法进行迭代优化，直至收敛。

综上所述，本发明公开的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其步骤为：步骤1、利用待标定相机获取棋盘格图片；步骤2、对所获得棋盘格进行角点检测，同时进行模糊核为σ_c1到σ_cn的n个模糊核的Canny边缘检测，Canny(I_b,σ_c1),Canny(I_b,σ_c2),...Canny(I_b,σ_cn)；步骤3、根据Canny边缘检测值

构造一个尺度一致的边缘图；步骤4、设定边缘检测的局部尺度值，同时设定两次重模糊图像的模糊值；步骤5、根据设定的重模糊图像的模糊值，对棋盘格分别进行高斯模糊，并求取两次重模糊图像的梯度的比率R(x,y)；步骤6根据所求梯度比率与两次重模糊图像的模糊值，计算出棋盘格原始图片每个角点的散焦模糊量σ_b(x,y)；步骤7以步骤6检测的角点为圆心，以σ_b(x,y)为半径作圆，同时设定标定能量方程的权值，并代入到优化的相机标定能量方程中；步骤8根据优化的相机标定能量方程，在步骤步骤7所得到的圆范围内对能量方程进行迭代，直至收敛；步骤9所得相机参数即为最优相机标定参数。该方法可以有效的去除相机散焦模糊对相机标定的影响，提高相机标定的精度。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一实施例的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1所示是本发明一实施例的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法的流程图。该实施例的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，包括以下步骤：

步骤1、利用待标定相机获取棋盘格图片；

步骤2、对所获取的棋盘格图片进行Canny边缘检测和角点检测；

具体地，该步骤通过对所获取的棋盘格图片进行Canny边缘检测得到Canny(I_b,σ_c1),Canny(I_b,σ_c2)...Canny(I_b,σ_cn)，同时进行角点检测，获得所有角点坐标，其中，Canny(I_b,σ_c1)表示对输入棋盘格图片以σ_c1为标准差的Canny检测结果，Canny(I_b,σ_c2)表示对输入棋盘格图片以σ_c2为标准差的Canny检测结果，Canny(I_b,σ_cn)表示对输入棋盘格图片以σ_cn为标准差的Canny检测结果，I_b表示输入棋盘格图片，σ_c1表示在Canny边缘检测过程中高斯滤波步骤所取的第1个标准差，σ_c2表示在Canny边缘检测过程中高斯滤波步骤所取的第2个标准差，σ_cn表示在Canny边缘检测过程中高斯滤波步骤所取的第n个标准差，σ_c1、σ_c2和σ_cn均为设定值，且σ_c1到σ_cn逐渐增大，均匀分布；

步骤3、根据Canny边缘检测值构造一个尺度一致的边缘图；优选地，该步骤具体表现为：设定Canny边缘检测值

根据

构造一个尺度一致的边缘图M(x,y)，其中，x为图像的横坐标，y为图像的纵坐标，N_r为设定值，且N_r≤n，i∈(1,n)，n表示Canny边缘检测的总次数，σ_ci表示在Canny边缘检测过程中高斯滤波步骤所取的第i个标准差；

步骤4、设定边缘检测的局部尺度值，同时设定两次重模糊图像的模糊值；具体地，设定边缘检测的局部尺度值为

设定棋盘格分别进行两次重模糊图像的模糊值为σ₁＝1，σ₂＝0.5s(x,y)；

步骤5、根据设定的两次重模糊图像的模糊值，对棋盘格图像分别进行高斯模糊，并求取两次重模糊图像的梯度比率；具体地，该步骤表现为：根据设定的模糊值σ₁、σ₂，对棋盘格图像分别进行高斯模糊，设高斯模糊后的图像为I_b1(x,y)与I_b2(x,y)，求取两次重模糊图像的梯度比率R(x,y)，R(x,y)的表达式如下：

式中，

为求取图像的梯度。

需要说明的是，步骤5中具体的高斯模糊操作通过如下公式表达：

式中，I_b(x,y)表示输入棋盘格图片中像素坐标为(x,y)的像素值，g(x,y,σ₁)表示标准差为σ₁的高斯函数，*为图像卷积操作，g(x,y,σ₂)表示标准差为σ₂的高斯函数，σ₁和σ₂为设定值。

步骤6、根据所求梯度比率与两次重模糊图像的模糊值，计算出棋盘格原始图片每个角点的散焦模糊量；具体地，本步骤中根据公式(1)至(3)，计算出棋盘格原始图片每个角点的散焦模糊量σ_b(x,y)，σ_b(x,y)的表达式如下：

步骤7、以步骤2检测的角点为圆心，以散焦模糊量为半径作圆，同时设定相机标定能量方程的权值，并代入到优化的相机标定能量方程中；优选地，该步骤表现为：以步骤2检测的角点坐标(x,y)为圆心，以其对应的散焦模糊量σ_b(x,y)为半径作圆C，该圆C为相机标定能量方程的回归范围，同时设定相机标定能量方程的权值

将其整合到到优化的相机标定能量方程中用以权衡角点的模糊程度。

步骤8、根据优化的相机标定能量方程，在步骤7所得到的圆范围内对能量方程进行迭代，直至收敛；本步骤中拟定优化的相机标定能量方程为

其中m_i,j为对棋盘格直接检测得到的角点的坐标，M_i,j为检测角点在三维空间中标定板上对应点的坐标，

为M_i,j通过相机参数利用相机模型进行投影成像所得坐标，A为相机内参矩阵，

f_x,f_y为相机的焦距，单位为像素，u₀,v₀为像素坐标系坐标原点到光轴的偏移量，单位为像素，K为相机畸变参数矩阵，K＝[k₁,k₂,k₃,p₁,p₂]，k₁,k₂,k₃为相机的径向畸变参数，p₁,p₂为相机的切向畸变参数，R_i,T_i分别为第i幅图片的旋转矩阵与平移矩阵，C为步骤6中所得到的圆，D为棋盘格标定板上相邻的两个角点实际的欧几里得距离，ε为设定值，可以根据调整ε的大小来决定最终所获参数的精度，|| ||为二维范数，表示欧几里得距离，m为每幅图片所含控制点即角点个数，z为标定过程所输入所有棋盘格图片个数。本发明优选对相机标定能量方程利用L-M算法(Levenberg-Marquardt method，列文伯格-马夸尔特法)进行迭代优化，直至收敛。

步骤9、输出所得相机参数，即为最优相机标定参数。

与现有技术相比，本发明的优点在于：

(1)有效的发挥散焦模糊量在标定能量能量方程优化过程的作用

本发明在利用散焦模糊量形成控制点回归范围的基础上，增加了相机标定过程中，模糊量权值的部分，且不同于现有技术，本方法并不是简单的增大清晰点与减弱模糊点的作用，而是以非线性的方式，将权值整个到相机标定能量方程中，且在前面形成的回归范围基础之上进行优化迭代，所以本方法能够最大限度的发挥散焦模糊量的作用。

(2)执行速度快

本发明因为将模糊量权值整合到了相机标定能量方程中，放大了清晰控制点的作用同时也减小了不清晰控制点的作用，所以相比直接对没有权值的相机标定能量方程进行迭代收敛速度快。

(3)标定参数精度高

本发明提出的相机标定方法得到了高精度的散焦模糊量，并充分将图片的散焦模糊因素影响去除掉，所以得到的相机参数相比其它方法精度都要高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，包括以下步骤：

步骤1、利用待标定相机获取棋盘格图片；

步骤2、对所获取的棋盘格图片进行Canny边缘检测和角点检测；

步骤3、根据Canny边缘检测值构造一个尺度一致的边缘图；

步骤4、设定边缘检测的局部尺度值，同时设定两次重模糊图像的模糊值；

步骤5、根据设定的两次重模糊图像的模糊值，对棋盘格图像分别进行高斯模糊，并求取两次重模糊图像的梯度比率；

步骤6、根据所求梯度比率与两次重模糊图像的模糊值，计算出棋盘格原始图片每个角点的散焦模糊量；

步骤7、以步骤2检测的角点为圆心，以散焦模糊量为半径作圆，同时设定相机标定能量方程的权值，并代入到优化的相机标定能量方程中；

步骤8、根据优化的相机标定能量方程，在步骤7所得到的圆范围内对能量方程进行迭代，直至收敛；

步骤9、输出所得相机参数，即为最优相机标定参数。

2.根据权利要求1所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤2具体表现为：对所获取的棋盘格图片进行Canny边缘检测得到Canny(I_b,σ_c1),Canny(I_b,σ_c2)...Canny(I_b,σ_cn)，同时进行角点检测，获得所有角点坐标，其中，Canny(I_b,σ_c1)表示对输入棋盘格图片以σ_c1为标准差的Canny检测结果，Canny(I_b,σ_c2)表示对输入棋盘格图片以σ_c2为标准差的Canny检测结果，Canny(I_b,σ_cn)表示对输入棋盘格图片以σ_cn为标准差的Canny检测结果，I_b表示输入棋盘格图片，σ_c1表示在Canny边缘检测过程中高斯滤波步骤所取的第1个标准差，σ_c2表示在Canny边缘检测过程中高斯滤波步骤所取的第2个标准差，σ_cn表示在Canny边缘检测过程中高斯滤波步骤所取的第n个标准差，σ_c1、σ_c2和σ_cn均为设定值，且σ_c1到σ_cn逐渐增大，均匀分布。

3.根据权利要求2所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤3具体表现为：设定Canny边缘检测值

根据

构造一个尺度一致的边缘图M(x,y)，其中，x为图像的横坐标，y为图像的纵坐标，N_r为设定值，且N_r≤n，i∈(1,n)，n表示Canny边缘检测的总次数，σ_ci表示在Canny边缘检测过程中高斯滤波步骤所取的第i个标准差。

4.根据权利要求3所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤4具体表现为：设定边缘检测的局部尺度值为

设定棋盘格分别进行两次重模糊图像的模糊值为σ₁＝1，σ₂＝0.5s(x,y)。

5.根据权利要求4所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤5具体表现为：根据设定的模糊值σ₁、σ₂，对棋盘格图像分别进行高斯模糊，设高斯模糊后的图像为I_b1(x,y)与I_b2(x,y)，求取两次重模糊图像的梯度比率R(x,y)，R(x,y)的表达式如下：

式中，

为求取图像的梯度。

6.根据权利要求5所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤5中具体的高斯模糊操作通过如下公式表达：

式中，I_b(x,y)表示输入棋盘格图片中像素坐标为(x,y)的像素值，g(x,y,σ₁)表示标准差为σ₁的高斯函数，*为图像卷积操作，g(x,y,σ₂)表示标准差为σ₂的高斯函数，σ₁和σ₂均为设定值。

7.根据权利要求6所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤6具体表现为：根据公式(1)至(3)，计算出棋盘格原始图片每个角点的散焦模糊量σ_b(x,y)，σ_b(x,y)的表达式如下：

8.根据权利要求7所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤7具体表现为：以步骤2检测的角点坐标(x,y)为圆心，以其对应的散焦模糊量σ_b(x,y)为半径作圆C，该圆C为相机标定能量方程的回归范围，同时设定相机标定能量方程的权值

将其整合到到优化的相机标定能量方程中用以权衡角点的模糊程度。

9.根据权利要求8所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，拟定优化的相机标定能量方程为

其中m_i,j为对棋盘格直接检测得到的角点的坐标，M_i,j为检测角点在三维空间中标定板上对应点的坐标，

为M_i,j通过相机参数利用相机模型进行投影成像所得坐标，A为相机内参矩阵，

f_x,f_y为相机的焦距，单位为像素，u₀,v₀为像素坐标系坐标原点到光轴的偏移量，单位为像素，K为相机畸变参数矩阵，K＝[k₁,k₂,k₃,p₁,p₂]，k₁,k₂,k₃为相机的径向畸变参数，p₁,p₂为相机的切向畸变参数，R_i,T_i分别为第i幅图片的旋转矩阵与平移矩阵，C为步骤6中所得到的圆，D为棋盘格标定板上相邻的两个角点实际的欧几里得距离，ε为设定值，可以根据调整ε的大小来决定最终所获参数的精度，|| ||为二维范数，表示欧几里得距离，m为每幅图片所含控制点即角点个数，z为标定过程所输入所有棋盘格图片个数。

10.根据权利要求9所述的基于边缘尺度自适应散焦模糊估计的机器人相机标定方法，其特征在于，所述步骤8中对优化的相机标定能量方程利用L-M算法进行迭代优化，直至收敛。

Images