CN108805939A - 基于统计学特征的三目视觉系统的标定装置及方法 - Google Patents

Abstract

本发明公开了一种基于统计学特征的三目视觉系统的标定装置及方法，基于统计学特征的三目视觉系统的标定装置由可见光相机标定面和红外相机标定面组成；基于统计学特征的三目视觉系统的标定方法，由一目红外和双目可见光的三目视觉系统从多角度同时拍摄多组图像序列；首先对双目可见光相机进行标定；然后利用灰度统计特性提取红外图像中的类圆连通区域；根据统计学特征拟合类圆连通区域的中心点；并以红外中心点代替右目图像棋盘角点，与左目可见光图像进行二次“双目标定”；最后利用几何关系传导完成三目视觉系统的协同标定；本发明实现了三目视觉系统的精确标定，操作方便，实用价值高。

Description

基于统计学特征的三目视觉系统的标定装置及方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于统计学特征的三目视觉系统的标定装置及方法。

背景技术

摄像机的标定技术是视觉测量领域的一项重要技术，目的是通过摄像机拍摄的单幅或多幅图像确定摄像机的参数模型，进而获得摄像机的内外参数，在机器人导航、三维重建、生物医疗、虚拟现实、视觉监控等领域均有广泛的应用前景。随着对热红外成像技术研究的深入，人们更期望能将可见光图像和红外图像融合在一起，而普通的双目系统已经满足不了当下的研究需求，尤其是军事作战、电子产品检测、资源探测等方面，传统的标定装置往往也无法较准确地提取红外图像，标定过程中对红外图像角点的提取也存在偏差，如何清晰准确地提取红外图像的角点是现阶段亟需解决的问题之一。

发明内容

为解决上述问题，本发明提出一种基于统计学特征的三目视觉系统的标定装置及方法，实现可见光和红外三目视觉系统的联合标定，解决红外标定不准确的技术问题。

本发明采用如下技术方案，一种基于统计学特征的三目视觉系统的标定装置，包括正反两面，正面为可见光标定面，反面为红外标定面，可见光标点面为黑白棋盘格标定板，红外标定面包括圆形电热膜、电源和导线，圆形电热膜为红外相机的标定识别图案，以可见光标定面的黑白棋盘格内角点为圆心确定圆形电热膜的位置，通过导线串联圆形电热膜。

基于统计学特征的三目视觉系统的标定方法，包括以下步骤：

1)使用一目红外相机和双目可见光相机组成的三目视觉系统同时对基于统计学特征的三目视觉系统的标定装置拍摄不同角度的n组三目图像序列，三目图像序列包括可见光图像序列的“左目-右目”双目可见光图像对和红外图像序列；

2)提取所述可见光图像序列的“左目-右目”双目可见光图像对，对双目可见光相机进行标定；

3)提取红外图像序列，利用灰度化统计特征得到红外图像序列的类圆连通区域；

4)基于统计学特征拟合类圆连通区域的中心点；

5)提取左目可见光图像和红外图像序列组成新的双目图像对，即“左目-红外”图像对，以拟合的类圆连通区域中心代替右目可见光图像内角点，与左目可见光图像进行“双目标定”；

6)根据“左目-右目”标定以及“左目-红外”标定结果，通过几何传导关系，完成“左目-红外-右目”三目视觉系统的协同标定。

发明所达到的有益效果：本发明是一种基于统计学特征的三目视觉系统的标定装置及方法，实现可见光和红外三目视觉系统的联合标定，解决红外标定不准确的技术问题；提出了一种同时适用于可见光成像与红外成像原理的新型三目标定装置；红外类圆连通区域中心点的拟合算法效果好、精确度高，保证了红外与可见光图像的位置关系求解的准确性；完成了一目红外、双目可见光的三目视觉系统的精确标定，装置简单，操作容易。

附图说明

图1为标定装置结构示意图；

图2为标定方法流程图；

图3为中心点提取算法示意图；

图4为特征维灰度分布示意图；

图5为不同方向的[a,b]数组取值示意图；

图6为基于统计学特征提取中心点示意图。

具体实施方式

下面根据附图并结合实施例对本发明的技术方案作进一步阐述。

本发明提出一种基于统计学特征的三目视觉系统的标定装置，如图1所示，标定板的尺寸是60×60cm，包括正反两面，正面为可见光标定面，反面为红外标定面，可见光标定面为黑白棋盘格标定板，大小为8×8cm的黑白相间正方格，红外标定面包括圆形电热膜、电源和导线，圆形电热膜为红外相机的标定识别图案，直径15mm，阻值15Ω，功率2W，以可见光标定面的黑白棋盘格内角点为圆心，通过导线串联，保证了圆形电热膜发热中心与棋盘格内角点的位置一致性。

电源采用5v稳压电源，对圆形电热膜加热至设定温度后断电，在本实施例中加热2-3分钟，使圆形电热膜达到40°～45°的适宜温度后断电，防止过热。

基于统计学特征的三目视觉系统的标定方法，图2为标定方法流程图，首先利用张氏标定法对双目可见光相机进行标定，再对红外相机灰度化处理，并对其进行基于灰度化特征的图像分割，利用统计特征拟获中心点，并通过最小二乘线性拟合后精确获取中心点；最后根据单目红外相机与双目可见光相机角点位置的对应关系完成三目视觉系统的标定；

具体包括以下步骤：

1)改变棋盘格标定板的角度以及位置，使用一目红外相机和双目可见光相机的三目视觉系统同时对基于统计学特征的三目视觉系统的标定装置从不同方向拍摄不同角度的n组三目图像序列，三目图像序列包括可见光图像序列的“左目-右目”双目可见光图像对和红外图像序列；

2)提取所述可见光图像序列的“左目-右目”双目可见光图像对，利用角点算法提取出棋盘格内角点，即正方格交叉点，并通过张正友标定法完成双目可见光相机的标定，求解得双目可见光相机的内外参数；

3)对所述红外图像序列的每一幅图像I，首先进行灰度化处理得到灰度图I_{infrared-gray},然后利用基于灰度统计特征的目标分割算法得到二值图像I_binary，获取类圆连通区域；

具体步骤如图3所示：

31)对灰度图I_{infrared-gray}分别从0°、45°、90°、135°四个方向分析表面灰度的不均匀分布情况，位于波峰处的像素灰度值较高，位于波谷的像素灰度值较低。按下式求解每个方向上的灰度分布不均匀程度，其中K_{d_m}表示方向d上第m个一维信息的灰度分布不均匀程度，G_{d_m}(i)表示方向d上第m个一维信息上第i个像素点的灰度值，d∈{0°,45°,90°,135°}，n为第m个一维信息上像素点的总个数，G_{d_m}(n)是第m个一维信息的灰度平均值，取灰度分布不均匀程度K_{d_m}值最大的一维信息作为方向d的代表信息维G_d；

32)基于代表信息维G_d上每个像素点的灰度值绘制代表信息维曲线，如图4所示，计算代表信息维G_d上每个像素点的灰度值与代表信息维G_d的灰度平均值的差值，差值的最大的像素点为代表信息维G_d的波动顶点P_d，D_d＝max|G_d(i)-G_d(n)|，其中G_d(i)表示代表信息维G_d上第i个像素点的灰度值，G_d(n)表示代表信息维G_d的灰度平均值，D_d表示代表信息维G_d上每个像素点的灰度值与代表信息维G_d的灰度平均值的差值的最大绝对值，P_d为差值最大时的像素点，即代表信息维G_d的波动顶点，以波动顶点P_d为中心，在代表信息维曲线中向两侧遍历，得到代表信息维曲线与代表信息维的灰度平均值G_d(n)直线的第一对交点作为起始点S_d和起始点E_d，计算起始点之间的距离L_d＝|S_d-E_d|；

33)根据以下公式，自动改变邻域分割步长值和每个方向的阈值；

方向d的邻域分割步长Step_d：

方向d的阈值Thresh_d：

34)以d为方向，Step_d为邻域分割步长，Thresh_d为分割阈值，对灰度图I_{infrared-gray}(x,y)进行每个方向的邻域分割，得到每个方向的分割的二值图像，B_d(x,y)表示方向d的分割的二值图像，I_{infrared-gray}(x,y)为待处理的灰度图，(x,y)为每个像素点的坐标，数组分别代表方向0°、45°、90°、135°：

其中，a,b∈{-1,0,1}，通过不同的a,b取值代表不同的方向。从0°和180°分割图像选用的步长为step_0°,阈值为Thresh_0°，得到结果B₀；从45°和225°分割图像选用的步长为step_45°，阈值为Thresh_45°,得到结果B₁；从90°和270°分割图像选用的步长为step_90°，阈值为Thresh_90°，得到结果B₂；从135°和315°分割图像选用的步长为step_135°，阈值为Thresh_135°,得到结果B₃。

35)对四个方向的分割结果图以逻辑操作“或”进行合并，

B(x,y)＝or(B_d(x,y)),d∈{0°,45°,90°,135°}

得到最终分割的二值图像B(x,y)，即为类圆连通区域。如图5所示。

4)对所述二值图像中的类圆连通区域，基于统计学特征的估计方法进行发热区域的中心拟合，如图6所示：

41)提取类圆连通区域外接矩形：在分割的二值图像B(x,y)的垂直方向上确定类圆连通区域的左右边界E_v，在分割的二值图像B(x,y)的水平方向上确定类圆连通区域的上下边界E_h；

42)类圆连通区域初步中心拟合：利用左右边界E_v和上下边界E_h提取所有类圆连通区域及其外接矩形，对每个分割的类圆连通区域进行初步中心拟合，得到类圆连通区域的初步拟合中心点，具体为：首先沿外接矩形左边缘依次向右遍历，记录垂直方向上最大灰度值所在线段的位置；再沿其外接矩形的上边缘依次向下遍历，记录水平方向上最大灰度值所在线段的位置；取两线段的交点作为类圆连通区域的初步拟合中心点；

43)类圆连通区域中心点误差校正：利用最小二乘法分别对每一行、每一列类圆连通区域的初步拟合中心点进行线性拟合，获取水平和垂直两个方向上的拟合直线，对类圆连通区域的初步拟合中心点进行误差校正，取拟合直线的交点作为类圆连通区域的最终中心点，中心点位置即对应于棋盘格相应内角点位置。

5)提取左目可见光图像和红外图像序列组成新的双目图像对，即“左目-红外”图像对，以拟合的类圆连通区域中心代替右目可见光图像内角点，与左目可见光图像进行“双目标定”；

6)根据“左目-右目”标定以及“左目-红外”标定结果，通过几何传导关系，完成“左目-红外-右目”三目视觉系统的协同标定。

Claims (7)

1.基于统计学特征的三目视觉系统的标定装置，其特征在于，包括正反两面，正面为可见光标定面，反面为红外标定面，可见光标点面为黑白棋盘格标定板，红外标定面包括圆形电热膜、电源和导线，圆形电热膜为红外相机的标定识别图案，以可见光标定面的黑白棋盘格内角点为圆心确定圆形电热膜的位置，通过导线串联圆形电热膜。

2.根据权利要求1所述的基于统计学特征的三目视觉系统的标定装置，其特征在于，电源采用5v稳压电源，对圆形电热膜加热至设定温度后断电。

3.基于统计学特征的三目视觉系统的标定方法，其特征在于，包括以下步骤：

1)使用一目红外相机和双目可见光相机组成的三目视觉系统同时对基于统计学特征的三目视觉系统的标定装置拍摄不同角度的n组三目图像序列，三目图像序列包括可见光图像序列的“左目-右目”双目可见光图像对和红外图像序列；

2)提取所述可见光图像序列的“左目-右目”双目可见光图像对，对双目可见光相机进行标定；

3)提取红外图像序列，利用灰度化统计特征得到红外图像序列的类圆连通区域；

4)基于统计学特征拟合类圆连通区域的中心点；

5)提取左目可见光图像和红外图像序列组成新的双目图像对，即“左目-红外”图像对，以拟合的类圆连通区域中心代替右目可见光图像内角点，与左目可见光图像进行“双目标定”；

6)根据“左目-右目”标定以及“左目-红外”标定结果，通过几何传导关系，完成“左目-红外-右目”三目视觉系统的协同标定。

4.根据权利要求3所述的基于统计学特征的三目视觉系统的标定方法，其特征在于，所述步骤2)中利用角点算法提取出棋盘格内角点，即正方格交叉点，并通过张正友标定法进行双目可见光相机标定，得到双目可见光相机的内外参数。

5.根据权利要求3所述的基于统计学特征的三目视觉系统的标定方法，其特征在于，所述步骤3)获取类圆连通区域的具体步骤为：

31)进行灰度化处理得到灰度图I_{infrared-gray}；

32)分别从0°、45°、90°、135°四个方向分析灰度图I_{infrared-gray}的灰度空间分布信息，按下式求解每个方向上的灰度分布不均匀程度，其中K_{d_m}表示方向d上第m个一维信息的灰度分布不均匀程度，G_{d_m}(i)表示方向d上第m个一维信息上第i个像素点的灰度值，d∈{0°,45°,90°,135°}，n为第m个一维信息上像素点的总个数，G_{d_m}(n)是第m个一维信息的灰度平均值，取灰度分布不均匀程度K_{d_m}值最大的一维信息作为方向d的代表信息维G_d；

33)基于代表信息维G_d上每个像素点的灰度值绘制代表信息维曲线，计算代表信息维G_d上每个像素点的灰度值与代表信息维G_d的灰度平均值的差值，差值的最大的像素点为代表信息维G_d的波动顶点P_d，以波动顶点P_d为中心，在代表信息维曲线中向两侧遍历，得到代表信息维曲线与代表信息维的灰度平均值G_d(n)直线的第一对交点作为起始点S_d和起始点E_d，计算起始点之间的距离

L_d＝|S_d-E_d|；

34)根据以下公式确定邻域分割步长和每个方向的阈值；

方向d的邻域分割步长Step_d：

方向d的阈值Thresh_d：

35)以d为方向，Step_d为邻域分割步长，Thresh_d为分割阈值，对灰度图I_{infrared-gray}(x,y)进行每个方向的邻域分割，得到每个方向的分割的二值图像，B_d(x,y)表示方向d的分割的二值图像，I_{infrared-gray}(x,y)为待处理的灰度图，(x,y)为每个像素点的坐标，数组分别代表方向0°、45°、90°、135°：

36)对四个方向的分割结果图以逻辑操作“或”进行合并，

B(x,y)＝or(B_d(x,y)),d∈{0°,45°,90°,135°}

得到最终分割的二值图像B(x,y)，即为类圆连通区域。

6.根据权利要求3所述的基于统计学特征的三目视觉系统的标定方法，其特征在于，所述步骤4)拟合类圆连通区域的中心点的具体步骤为：

41)提取类圆连通区域外接矩形：在分割的二值图像B(x,y)的垂直方向上确定类圆连通区域的左右边界E_v，在分割的二值图像B(x,y)的水平方向上确定类圆连通区域的上下边界E_h；

42)类圆连通区域初步中心拟合：利用左右边界E_v和上下边界E_h提取所有类圆连通区域及其外接矩形，对每个分割的类圆连通区域进行初步中心拟合，得到类圆连通区域的初步拟合中心点；

43)类圆连通区域中心点误差校正：利用最小二乘法分别对每一行、每一列类圆连通区域的初步拟合中心点进行线性拟合，获取水平和垂直两个方向上的拟合直线，对类圆连通区域的初步拟合中心点进行误差校正，取拟合直线的交点作为类圆连通区域的最终中心点，中心点位置即对应于棋盘格相应内角点位置。

7.根据权利要求6所述的基于统计学特征的三目视觉系统的标定方法，其特征在于，所述步骤42)中初步中心拟合的具体为：首先沿外接矩形左边缘依次向右遍历，记录垂直方向上最大灰度值所在线段的位置；再沿其外接矩形的上边缘依次向下遍历，记录水平方向上最大灰度值所在线段的位置；取两线段的交点作为类圆连通区域的初步拟合中心点。