CN109741400A - 一种工业双目摄像头与红外热成像仪联合标定的装置和方法 - Google Patents

Abstract

本发明涉及一种工业双目摄像头与红外热成像仪联合标定的装置和方法，以标准格式的张正友标定板内角点为圆心，开设小孔，小孔的半径小于黑白格边长的一半；在小孔内安装白炽灯泡，白炽灯泡的底座通过调节装置与电源连通；在张正友标定板上方架设传感器支架，传感器支架上安装工业双目摄像头和红外线热成像仪，两者对标定的装置拍摄时视角重合；本发明不仅设计简单、操作简单、成本低廉，能够同时标定两摄像头。

Description

一种工业双目摄像头与红外热成像仪联合标定的装置和方法

技术领域

本发明涉及一种工业双目摄像头与红外热成像仪联合标定的装置和方法，属于相机标定方法。

背景技术

在背景多变、地形地物遮挡等复杂地形环境中，或者在雨天、雾霾、黑暗等能见度低的自然环境中，为了获取目标对象的完整性、可靠性、精确性的多维度信息，往往采取多传感器联合观测的方法。其中，工业双目摄像头不仅可以获得丰富的纹理信息，而且可获得图像的深度信息，而红外热成像仪可以获得温度信息；因此，工业双目摄像头与红外热成像仪联合测量的方法得到广泛应用。

当工业双目摄像头和红外热成像仪不使用同步触发电路或者不共用一个镜头时，就必须标定它们的内参矩阵与外参矩阵，即要确定空间点的三维几何位置与其在图像对上的对应点之间的几何关系。利用标定装置与标定方法来确定这些参数的过程就称为相机标定。在现有技术中，单独标定工业双目摄像头或红外热成像仪的方法数不胜数，将张正友标定板黑白棋盘格改装成热源棋盘格的方法也有很多；其方法虽然有效，但工艺复杂，成本较高。

发明内容

本发明提供一种工业双目摄像头与红外热成像仪联合标定的装置和方法，不仅设计简单、操作简单、成本低廉，能够同时标定两摄像头。

本发明解决其技术问题所采用的技术方案是：

一种工业双目摄像头与红外热成像仪联合标定的装置，以标准格式的张正友标定板内角点为圆心，开设小孔，小孔的半径小于黑白格边长的一半；

在小孔内安装白炽灯泡，白炽灯泡的底座通过调节装置与电源连通；

在张正友标定板上方架设传感器支架，传感器支架上安装工业双目摄像头和红外线热成像仪，两者对标定的装置拍摄时视角重合；

一种工业双目摄像头与红外热成像仪联合标定的方法，包括以下步骤：

第一步：以标准格式的张正友标定板内角点为圆心，开设至少一个小孔，小孔内安装白炽灯泡，白炽灯泡的底座固定连接调节装置，调节装置与电源连通；

第二步：将工业双目摄像头与红外热成像仪固定在传感器支架上，传感器支架架设在张正友标定板上方，保证工业双目摄像头与红外热成像仪对标定的装置拍摄时角度重合；

第三步：不断转换标定装置的角度和位置，保证拍摄到标定装置各个不同旋转与倾斜角度的照片，在采集20张照片后，停止拍摄；工业双目摄像头拍摄到的图像是在内角点位置安装白炽灯泡的张正友标定板，红外热成像仪拍摄的图像是具有热源的小灯泡；

第四步：求取白炽灯泡的圆心点与原标准格式的张正友标定板内角点的偏移矩阵P；

第五步：载入20张照片，以标定装置白炽灯泡的圆心作为像点与物点的定位点，利用现有的标定工具箱可求出两者之间的内参矩阵和外参矩阵。

作为本发明的进一步优选，前述的第四步中，包括以下步骤：

步骤4A：用最小二乘法拟合直线的方法，拟合出张正友标定板黑白棋盘格交界处直线，并由此求出原张正友标定板内角点处坐标矩阵；

步骤4B：用最小二乘法拟合椭圆的方法，拟合出白炽灯泡圆形轮廓与圆心点坐标矩阵；

步骤4C：根据内角点处坐标矩阵与圆心点处坐标矩阵，既可求出偏移矩阵P；

作为本发明的进一步优选，前述的第五步中，包括以下步骤：

步骤5A：计算单应矩阵H，

[x y 1]^T＝P[x' y' 1]^T，

H＝[h₁ h₂ h₃]＝λK[r₁ r₂ t]，

其中S为尺度因子，K为双目摄像头内参矩阵；[u v 1]^T为标定板平面上点投影到图像平面上对应点齐次坐标；[r₁ r₂ r₃ r₄]为双目摄像头坐标系相对于世界坐标系的旋转矩阵与平移矩阵，即双目摄像头外参矩阵；[X Y 0 1]^T为世界坐标系，且假设Z＝0的齐次坐标；[x y 1]^T为新型标定板平面点的齐次坐标；[x' y' 1]^T为原标准格式的张正友标定板平面点的齐次坐标；H为单应矩阵，即标定板平面与图像平面的转化矩阵；

步骤5B：求内参的约束条件，

由于旋转矩阵的性质：则

可得两个约束条件：

步骤5C：求双目摄像头内参矩阵K，

定义为：

其中：(u₀,v₀)为像主点坐标；β为焦距与像素横纵比的融合；γ为径向畸变参数；

由上式：B为对称矩阵，故可写成：b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，可以推导得到：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]，

利用约束条件可得：

通过上式，需要至少三幅包含棋盘格的图像，就可得B，然后通过cholesky分解，可得到相机内参矩阵K；

步骤5D：计算外参矩阵，

r₃＝r₁×r₂

t＝λK^-1h₃；

步骤5E：最大似然估计，

采集20幅包含棋盘格的图像进行标定，每个图像里面有棋盘格角点9个，令第i幅图像上的角点Mij在上述计算得到的摄像机矩阵下图像上的投影点为：

m′(K,R_i,t_i,M_j)＝K[R|t]M_j，

其中Ri和ti是第i幅图对应的旋转矩阵和平移向量，角点mij的概率密度函数为：

构造似然函数：

让L取得最大值，即让下面式子最小。

步骤5F：径向畸变估计，

其中，(u,v)是理想无畸变的像素坐标，是实际畸变后的像素坐标，(u₀,v₀)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标，k₁和k₂为前两阶的畸变参数，

化为矩阵形式：

记做：Dk＝d，则可得：k＝[k₁ k₂]^T＝(D^TD)^-1D^Td，计算得到畸变系数k；

使用最大似然的思想优化得到的结果为下式取最小值：

作为本发明的进一步优选，前述的白炽灯泡底部安装带线灯座，且带线灯座按照串并联规则进行连接；

作为本发明的进一步优选，前述的调节装置为PWM调节器。

通过以上技术方案，相对于现有技术，本发明具有以下有益效果：

1、本发明利用一种联合标定的方法和装置来同时确定工业双目摄像头与红外热成像仪的参数，利用联合标定得到的外参矩阵与内参矩阵，可以得到红外热成像仪与双目相机的空间位置转换关系，为多传感器的联合观测与多传感器数据融合建立基础，十分方便有效；

2、本发明的白炽灯泡即为普通螺口实验灯泡，其原理是将灯丝通电加热到白炽状态，利用热辐射发出可见光的电光源，其显色性好、光谱连续、使用方便等优点可以成为红外热成像仪良好的热源；

3、本发明调节装置是PWM调节器，其原理是通过调制脉冲高电平的时间来调制信号，其在调节亮度时，信号频率不变，改变的只是脉冲的高电平的时间，即小灯泡导通的时间。通过调节灯泡亮暗程度，便于得到清晰的红外图像，从而便于标定；

4、本发明灯泡内置在小孔内即灯泡不凸起，且各个小灯泡高度尽量保持在同一高度；

5、本发明设计合理、容易实施、结构简单、成本低廉、能够同时标定多种相机，其应用广泛，易于推广实施。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的优选实施例的工业双目摄像头与红外热成像仪联合标定的装置的示意图；

图2是本发明的优选实施例的工业双目摄像头与红外热成像仪联合标定的装置的侧视图。

图中：1为小孔，2为白炽灯泡，3为灯座。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，本发明包括以下特征部件：1为小孔，2为白炽灯泡，3为灯座。

本发明的一种工业双目摄像头与红外热成像仪联合标定的装置，以标准格式的张正友标定板内角点为圆心，开设小孔，小孔的半径小于黑白格边长的一半；

在小孔内安装白炽灯泡，白炽灯泡的底座通过调节装置与电源连通；

在张正友标定板上方架设传感器支架，传感器支架上安装工业双目摄像头和红外线热成像仪，两者对标定的装置拍摄时视角重合；

一种工业双目摄像头与红外热成像仪联合标定的方法，包括以下步骤：

第一步：以标准格式的张正友标定板内角点为圆心，开设至少一个小孔，小孔内安装白炽灯泡，白炽灯泡的底座固定连接调节装置，调节装置与电源连通；

第二步：将工业双目摄像头与红外热成像仪固定在传感器支架上，传感器支架架设在张正友标定板上方，保证工业双目摄像头与红外热成像仪对标定的装置拍摄时角度重合；

第三步：不断转换标定装置的角度和位置，保证拍摄到标定装置各个不同旋转与倾斜角度的照片，在采集20张照片后，停止拍摄；工业双目摄像头拍摄到的图像是在内角点位置安装白炽灯泡的张正友标定板，红外热成像仪拍摄的图像是具有热源的小灯泡；

第四步：求取白炽灯泡的圆心点与原标准格式的张正友标定板内角点的偏移矩阵P；

第五步：载入20张照片，以标定装置白炽灯泡的圆心作为像点与物点的定位点，利用现有的标定工具箱可求出两者之间的内参矩阵和外参矩阵。

作为本发明的进一步优选，前述的第四步中，包括以下步骤：

步骤4A：用最小二乘法拟合直线的方法，拟合出张正友标定板黑白棋盘格交界处直线，并由此求出原张正友标定板内角点处坐标矩阵；

步骤4B：用最小二乘法拟合椭圆的方法，拟合出白炽灯泡圆形轮廓与圆心点坐标矩阵；

步骤4C：根据内角点处坐标矩阵与圆心点处坐标矩阵，既可求出偏移矩阵P；

作为本发明的进一步优选，前述的第五步中，包括以下步骤：

步骤5A：计算单应矩阵H，

[x y 1]^T＝P[x' y' 1]^T，

H＝[h₁ h₂ h₃]＝λK[r₁ r₂ t]，

其中S为尺度因子，K为双目摄像头内参矩阵；[u v 1]^T为标定板平面上点投影到图像平面上对应点齐次坐标；[r₁ r₂ r₃ r₄]为双目摄像头坐标系相对于世界坐标系的旋转矩阵与平移矩阵，即双目摄像头外参矩阵；[X Y 0 1]^T为世界坐标系，且假设Z＝0的齐次坐标；[x y 1]^T为新型标定板平面点的齐次坐标；[x' y' 1]^T为原标准格式的张正友标定板平面点的齐次坐标；H为单应矩阵，即标定板平面与图像平面的转化矩阵；

步骤5B：求内参的约束条件，

由于旋转矩阵的性质：则

可得两个约束条件：

步骤5C：求双目摄像头内参矩阵K，，每个单应矩阵能提供两个方程，内参矩阵包含5个参数，要求解，至少需要3个单应性矩阵，为了得到三个不同的单应性矩阵，我们至少需要三幅棋盘格平面的图片进行标定，为了方便计算，

定义为：

其中：(u₀,v₀)为像主点坐标；β为焦距与像素横纵比的融合；γ为径向畸变参数；

由上式：B为对称矩阵，故可写成：b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，可以推导得到：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]，

利用约束条件可得：

通过上式，需要至少三幅包含棋盘格的图像，就可得B，然后通过cholesky分解，可得到相机内参矩阵K；

步骤5D：计算外参矩阵，

r₃＝r₁×r₂

t＝λK^-1h₃；

步骤5E：最大似然估计，由于图片在采集时可能会有高斯噪声，还需通过最大似然估计求得最优解，我们采集20幅包含棋盘格的图像进行标定，每个图像里面有棋盘格角点9个，令第i幅图像上的角点Mj在上述计算得到的摄像机矩阵下图像上的投影点为：

m′(K,R_i,t_i,M_j)＝K[R|t]M_j，

其中Ri和ti是第i幅图对应的旋转矩阵和平移向量，角点mij的概率密度函数为：

构造似然函数：

让L取得最大值，即让下面式子最小。

步骤5F：径向畸变估计，

其中，(u,v)是理想无畸变的像素坐标，是实际畸变后的像素坐标，(u₀,v₀)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标，k₁和k₂为前两阶的畸变参数，

化为矩阵形式：

记做：Dk＝d，则可得：k＝[k₁ k₂]^T＝(D^TD)^-1D^Td，计算得到畸变系数k；

使用最大似然的思想优化得到的结果为下式取最小值：

作为本发明的进一步优选，前述的白炽灯泡底部安装带线灯座，且带线灯座按照串并联规则进行连接；

作为本发明的进一步优选，前述的调节装置为PWM调节器。

本发明能够方便有效完成红外热成像仪与双目相机的空间位置转换关系，为多传感器的联合观测与多传感器数据融合建立基础。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种工业双目摄像头与红外热成像仪联合标定的装置，其特征在于：以标准格式的张正友标定板内角点为圆心，开设小孔，小孔的半径小于黑白格边长的一半；

在小孔内安装白炽灯泡，白炽灯泡的底座通过调节装置与电源连通；

在张正友标定板上方架设传感器支架，传感器支架上安装工业双目摄像头和红外线热成像仪，两者对标定的装置拍摄时视角重合。

2.一种工业双目摄像头与红外热成像仪联合标定的方法，其特征在于：包括以下步骤：

第一步：以标准格式的张正友标定板内角点为圆心，开设至少一个小孔，小孔内安装白炽灯泡，白炽灯泡的底座固定连接调节装置，调节装置与电源连通；

第二步：将工业双目摄像头与红外热成像仪固定在传感器支架上，传感器支架架设在张正友标定板上方，保证工业双目摄像头与红外热成像仪对标定的装置拍摄时角度重合；

第三步：不断转换标定装置的角度和位置，保证拍摄到标定装置各个不同旋转与倾斜角度的照片，在采集20张照片后，停止拍摄；工业双目摄像头拍摄到的图像是在内角点位置安装白炽灯泡的张正友标定板，红外热成像仪拍摄的图像是具有热源的小灯泡；

第四步：求取白炽灯泡的圆心点与原标准格式的张正友标定板内角点的偏移矩阵P；

第五步：载入20张照片，以标定装置白炽灯泡的圆心作为像点与物点的定位点，利用现有的标定工具箱可求出两者之间的内参矩阵和外参矩阵。

3.根据权利要求2所述的工业双目摄像头与红外热成像仪联合标定的方法，其特征在于：前述的第四步中，包括以下步骤：

步骤4A：用最小二乘法拟合直线的方法，拟合出张正友标定板黑白棋盘格交界处直线，并由此求出原张正友标定板内角点处坐标矩阵；

步骤4B：用最小二乘法拟合椭圆的方法，拟合出白炽灯泡圆形轮廓与圆心点坐标矩阵；

步骤4C：根据内角点处坐标矩阵与圆心点处坐标矩阵，既可求出偏移矩阵P。

4.根据权利要求2所述的工业双目摄像头与红外热成像仪联合标定的方法，其特征在于：前述的第五步中，包括以下步骤：

步骤5A：计算单应矩阵H，

[x y 1]^T＝P[x' y' 1]^T，

H＝[h₁ h₂ h₃]＝λK[r₁ r₂ t]，

其中S为尺度因子，K为双目摄像头内参矩阵；[u v 1]^T为标定板平面上点投影到图像平面上对应点齐次坐标；[r₁ r₂ r₃ r₄]为双目摄像头坐标系相对于世界坐标系的旋转矩阵与平移矩阵，即双目摄像头外参矩阵；[X Y 0 1]^T为世界坐标系，且假设Z＝0的齐次坐标；[xy 1]^T为新型标定板平面点的齐次坐标；[x' y' 1]^T为原标准格式的张正友标定板平面点的齐次坐标；H为单应矩阵，即标定板平面与图像平面的转化矩阵；

步骤5B：求内参的约束条件，

由于旋转矩阵的性质：则

可得两个约束条件：

步骤5C：求双目摄像头内参矩阵K，

定义为：

其中：(u₀,v₀)为像主点坐标；β为焦距与像素横纵比的融合；γ为径向畸变参数；

由上式：B为对称矩阵，故可写成：b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，可以推导得到：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]，

利用约束条件可得：

通过上式，需要至少三幅包含棋盘格的图像，就可得B，然后通过cholesky分解，可得到相机内参矩阵K；

步骤5D：计算外参矩阵，

r₃＝r₁×r₂

t＝λK^-1h₃；

步骤5E：最大似然估计，

采集20幅包含棋盘格的图像进行标定，每个图像里面有棋盘格角点9个，令第i幅图像上的角点Mj在上述计算得到的摄像机矩阵下图像上的投影点为：

m′(K,R_i,t_i,M_j)＝K[R|t]M_j

其中Ri和ti是第i幅图对应的旋转矩阵和平移向量，角点mij的概率密度函数为：

构造似然函数：

让L取得最大值，即让下面式子最小。

步骤5F：径向畸变估计，

其中，(u,v)是理想无畸变的像素坐标，是实际畸变后的像素坐标，(u₀,v₀)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标，k₁和k₂为前两阶的畸变参数，

化为矩阵形式：

记做：Dk＝d，则可得：k＝[k₁ k₂]^T＝(D^TD)^-1D^Td，计算得到畸变系数k；

使用最大似然的思想优化得到的结果为下式取最小值：

5.根据权利要求2所述的工业双目摄像头与红外热成像仪联合标定的方法，其特征在于：前述的白炽灯泡底部安装带线灯座，且带线灯座按照串并联规则进行连接。

6.根据权利要求2所述的工业双目摄像头与红外热成像仪联合标定的方法，其特征在于：前述的调节装置为PWM调节器。