CN108447096B - kinect深度相机与热红外相机的信息融合方法 - Google Patents

Abstract

本发明公开了一种kinect深度相机与热红外相机的信息融合方法，其包括选取标定板；采用kinect深度相机的近红外短波相机和RGB相机采集板定板上不同角度的图像；对标定板进行加热处理，并采用热红外相机和kinect深度相机的RGB相机获取标定板不同角度的图片；采用小孔成像模型和双目标定原理分别获取近红外短波相机、RGB相机和热红外相机的外参数；获取近红外短波相机和RGB相机之间的几何关系；获取热红外相机和RGB相机之间的几何关系；根据近红外短波相机和RGB相机之间的几何关系及热红外相机和RGB相机之间的几何关系，对热红外相机、近红外短波相机以及RGB相机的信息融合。

Description

kinect深度相机与热红外相机的信息融合方法

技术领域

本发明涉及结构光多传感器信息融合领域，具体是一种Kinect深度相机与热红外相机的信息融合方法。

背景技术

相比于传统的深度信息获取方法，Kinect具有携带轻便、价格低廉等特点，利用Kinect可以直接获取室内场景和目标区域的深度信息，将Kinect获取的深度信息、Kinect的标定数据与Kinect相机获取的RGB信息相结合可以重建出场景和目标区域的真实三维信息。但是基于Kinect成像原理的局限性，Kinect在雨天、雾天及光照度较低等相似的情况下成像质量差；此外Kinect的深度相机和RGB相机在出厂时标定参数精度有限导致重建的效果不理想，在传统机器学习和深度学习中仅仅依靠纹理信息和三维信息难以满足输入信息的要求，因此在机器学习和深度学习过程中需要提供更多可靠的条件作为输入信息以提高系统的识别率。

发明内容

针对现有技术中的上述不足，本发明提供了一种操作简单且精度高的Kinect深度相机与热红外相机的信息融合方法。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种Kinect深度相机与热红外相机的信息融合方法，其包括：

选取其上设置有若干圆形发热材料、且表面平整的标定板；

采用kinect深度相机的近红外短波相机和RGB相机采集板定板上不同角度的图像；

对标定板进行加热处理，并采用热红外相机和kinect深度相机的RGB相机获取标定板不同角度的图片；

根据采集的图像和图片，采用小孔成像模型和双目标定原理分别获取近红外短波相机、RGB相机和热红外相机的外参数；

根据近红外短波相机和RGB相机的外参数，获取近红外短波相机和RGB相机之间的几何关系：

其中，R_in’和T_in为近红外短波相机的外参数；R_irgb’和T_irgb为RGB相机的外参数；P_w、P_in和P_rgb为空间任意一点在世界坐标系、近红外短波相机坐标系和RGB相机坐标系下的非齐次坐标；

根据热红外相机和RGB相机的外参数，获取热红外相机和RGB相机之间的几何关系：

其中，R_it’和T_i为热红外相机的外参数；

根据近红外短波相机和RGB相机之间的几何关系及热红外相机和RGB相机之间的几何关系，对热红外相机、近红外短波相机以及RGB相机的信息融合：

P_rgb＝H_t-rP_it＝H_n-rP_in

其中，P_rgb为RGB相机坐标系下空间点；H_t-r＝[R_t-rgb，T_t-rgb]；H_n-r＝[R_n-rgb，T_n-rgb]。

本发明的有益效果为：本方案通过将Kinect的RGB相机、短波红外相机进行标定，优化了Kinect相机的内外参数，使得利用Kinect能够更加真实的重建出物体的三维信息；

将Kinect相机的RGB相机与热红外相机进行标定，实现了Kinect中的RGB相机得到的数据与热红外相机得到数据进行融合；

将上述的Kinect相机与热红外相机的数据融合，能够克服Kinect相机在雨天、雾天及光照度较低等相似的情况下成像质量差、重建的效果不理想的缺点，发挥出热红外相机夜间、雨雾等环境下能准确反映环境的温度信息，能够准确根据环境中不同物体的温度信息得到相应物体的图像的优点，取热红外相机之所长补Kinect相机之所短，从而在目标识别、视觉测量等领域有重要意义。

附图说明

图1为Kinect深度相机与热红外相机的信息融合方法的流程图。

图2为标定板的结构示意图。

图3为kinect深度相机、热红外相机和红外面光源构成的标定系统获取标定板上图像时的示意图。

其中，1、标定板；2、RGB相机；3、近红外短波相机；4、红外面光源；5、热红外相机。

图4为透视原理图，O_w-X_wY_wZ_w为世界坐标系，O_rgb-X_rgbY_rgbZ_rgb为RGB相机2坐标系，O_in-X_inY_inZ_in为近红外短波相机3坐标系，O_it-X_itY_itZ_it为热红外相机5坐标系。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参考图1，图1示出了Kinect深度相机与热红外相机5信息融合方法的流程图；如图1所示，该方法100包括步骤101至步骤107。

在步骤101中，选取其上设置有若干圆形发热材料、且表面平整的标定板1。

实施时，本方案优选标定板1的材质为绝热材料，其上的圆形发热材料的外形包括黑色圆和黑色圆环，圆形发热材料通过手动开关与电源连接。

标定板1上的圆形发热材料构成7行7列的标志点阵列；黑色圆及黑色圆环直径均为15mm，环形发热材料的内外半径之比为1:2，标定板1圆心间距为30mm。编码时，黑色圆发热材料编码为1，黑色圆环发热材料编码为0，对于该标定板1任意3行2列的标志点具有伪随机阵列唯一性。

标定初始化时，如图2所示，设为标定板1水平方向为世界坐标系X_w轴，竖直方向为世界坐标系Y_w轴，垂直于标定板1平面向外为世界坐标系Z_w轴，标定板1世界坐标系原点O(0，0，0)，X_w轴上圆点坐标依次为(30，0，0)，(60，0，0)，(90，0，0)以此类推，Y_w轴上圆点坐标为(0，30，0)，(0，60，0)，(0，90，0)以此类推。

在步骤102中，采用kinect深度相机的近红外短波相机3和RGB相机2采集板定板上不同角度的图像。

实施时，本方案优选采集图像时，近红外短波相机3和RGB相机2的采集位置固定，每采集一次整个标定板1的图像后，移动一次标定板1，直至采集的图像的数量达到设定值；设定值大于等于3。

其中，kinect深度相机的近红外短波相机3和RGB相机2采集板定板上的图像时，还包括采用红外面光源4在标定板1上照射红外光。

在步骤103中，对标定板1进行加热处理，并采用热红外相机5和kinect深度相机的RGB相机2获取标定板1不同角度的图片；两个相机再获取图像时，最好是等到标定板1上的圆形发热材料温度处于稳定状态后再采集。

步骤102和步骤103采集图像时，几个相机构成的标定系统可以参考图3。

实施时，本方案优选采集图片时，热红外相机5和RGB相机2的采集位置固定，每采集一次整个标定板1的图片后，移动一次标定板1，直至采集的图片的数量达到设定值。

在步骤104中，根据采集的图像和图片，采用小孔成像模型和双目标定原理分别获取近红外短波相机3、RGB相机2和热红外相机5的外参数；此处需要说明的是，步骤104的描述是想表达本方案中三个相机的内外参数标定过程采用的方法完全相同。

在步骤105中，根据近红外短波相机3和RGB相机2的外参数，获取近红外短波相机3和RGB相机2之间的几何关系：

其中，R_in’(3×3)和T_in(3×1)为近红外短波相机3的外参数；R_irgb’(3×3)和T_irgb(3×1)为RGB相机2的外参数。

实施时，本方案优选步骤105的几何关系具体获取方法为：

对于任意一点，如它在世界坐标系、近红外短波相机3坐标系和RGB相机2坐标系下的非齐次坐标分别为P_w、P_in、P_rgb，则：

消去P_w，得到：

即近红外短波相机3和RGB相机2之间的几何关系R_n-rgb、T_n-rgb：

由此而完成近红外短波相机3与RGB相机2的标定，P_w、P_in、P_rgb均为4×1矩阵。

在步骤106中，根据热红外相机5和RGB相机2的外参数，获取热红外相机5和RGB相机2之间的几何关系：

其中，R_it’(3×3的矩阵)和T_i(3×1的矩阵)为热红外相机5的外参数。

实施时，本方案优选步骤106的几何关系具体获取方法为：

对于任意一点，如它在世界坐标系、热红外相机5坐标系和RGB相机2坐标系下的非齐次坐标分别为P_w、P_it、P_rgb，则：

消去P_w，得到：

则可得到热红外相机5和RGB相机2之间的几何关系R_t-rgb、T_t-rgb：

由此而完成热红外相机5与RGB相机2的标定。

在步骤107中，根据近红外短波相机3和RGB相机2之间的几何关系及热红外相机5和RGB相机2之间的几何关系，对热红外相机5、近红外短波相机3以及RGB相机2的信息融合：

P_rgb＝H_t-rP_it＝H_n-rP_in

其中，P_rgb为RGB相机2坐标系下空间点；H_t-r＝[R_t-rgb，T_t-rgb]；H_n-r＝[R_n-rgb，T_n-rgb]。

在本发明的一个实施例中，相机的外参数的计算公式为：

r₁＝βA^-1h₁，r₂＝βA^-1h₂，r₃＝r₂×r₁，t＝βA^-1h₁

其中，大小均为3×1的列向量r₁、r₂和r₃为相机外参数R＝[r₁r₂r₃]的组成元素；A(3×3的矩阵)为相机的内参数；大小均为3×1的列向量h₁、h₂和h₃为单应性矩阵H＝[h₁，h₂，h₃]的组成元素；t(3×1的矩阵)为相机的外参数；β＝1/||A^-1h₁||＝1/||A^-1h₂||；||||为二范数。

实施时，采用迭代最小化代价函数对相机的外参数进行优化：

其中，F为Frobenius范数，R’(3×3的矩阵)为优化后的外参数；

根据代价函数和相机外参数R(3×3的矩阵)的正交性，计算优化后的外参数：

其中，m为图像或图片的数量；n为每幅图像或图片上圆的个数；m_ij为相机像平面对应点坐标；R_i’(3×3的矩阵)和T_i(3×1的矩阵)为优化后的外参数，R_i’为第i次标定得到的旋转矩阵，T_i为第i次标定得到的平移矩阵。

通过上述方式对外参数进行优化后，能够出去标定过程中存在噪声。

在本发明的一个实施例中，相机的内参数的获取方法包括：

根据透视投影原理(参考图4)，得到图片或图像中任意空间点M(X_w，Y_w，Z_w)在像平面上的投影坐标m(u_c，v_c)的关系：

其中，s为任意的非零尺度因子；A(3×3的矩阵)为相机的内参数；旋转矩阵R和平移向量T(3×1的矩阵)分别为相机的外参数和相机的内参数；(u₀，v₀)为主点坐标，f_u、f_v分别为图像坐标u轴和v轴的尺度因子；γ是u轴与v轴的不垂直因子；

相机的内参数和外参数标定时，由于标定板的表面为光滑的平面，可以得出标定板1平面Z_w＝0，根据式(1)可得：

根据式(2)，标定板1平面的圆心世界坐标M_ij(X_w，Y_w，1)与相机像平面对应点坐标m_ij(u_c，v_c，1)之间的变换关系为：

其中，H＝[h₁，h₂，h₃]为3×3的单应性矩阵；

将点集S_i(m_ij，M_ij)带入目标函数：

其中1表示1范数；i，j＝1，2，…，7；

采用最小化目标函数式(4)得到单应性矩阵H，之后根据式(3)和旋转矩阵R的正交性可得：

令

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，式(5)可表示为两个以b(6×1的未知数矩阵)为未知数的齐次方程：

其中，系数矩阵v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T，其为(6×1的矩阵)；

在标定相机过程中，对标定平面拍摄的多张图像或图片得到的方程组进行叠加可得：

Vb＝0 (7)

其中，V为2n×6的矩阵，n为拍摄的图像或图片的张数。

当拍摄的图像或图片大于等于3时，可得到b，之后根据b和Cholesky矩阵分解算法得到A。

此处需要说明的是，本申请中的所有字母中，若是为加粗字体，其全部为矩阵。

综上所述，本方案通过将Kinect相机与热红外相机5的数据融合，能够克服Kinect相机在雨天、雾天及光照度较低等相似的情况下成像质量差、重建的效果不理想的缺点。

Claims (2)

1.kinect深度相机与热红外相机的信息融合方法，其特征在于，包括：

选取其上设置有若干圆形发热材料、且表面平整的标定板；

所述标定板的材质为绝热材料，其上的圆形发热材料的外形包括黑色圆和黑色圆环，所述圆形发热材料通过手动开关与电源连接；所述标定板上的圆形发热材料构成7行7列的标志点阵列；编码时，黑色圆发热材料编码为1，黑色圆环发热材料编码为0，对于该标定板任意3行2列的标志点具有伪随机阵列唯一性；在由圆形发热材料构成7行7列的标志点阵列的标定板上，位置(1，4)、(2，3)、(2，4)、(2，6)、(3，1)、(3，2)、(3，6)、(4，1)、(4，3)、(4，5)、(4，6)、(5，3)、(6，1)、(6，2)、(6，3)、(6，4)、(7，2)、(7，3)、(7，5)为黑色圆环，其余位置为黑色圆；

采用kinect深度相机的近红外短波相机和RGB相机采集板定板上不同角度的图像；

采集图像时，近红外短波相机和RGB相机的采集位置固定，每采集一次整个标定板的图像后，移动一次标定板，直至采集的图像的数量达到设定值；对标定板进行加热处理，并采用热红外相机和kinect深度相机的RGB相机获取标定板不同角度的图片；

采集图片时，热红外相机和RGB相机的采集位置固定，每采集一次整个标定板的图片后，移动一次标定板，直至采集的图片的数量达到设定值；

根据采集的图像和图片，采用小孔成像模型和双目标定原理分别获取近红外短波相机、RGB相机和热红外相机的外参数；其中三个相机的内外参数标定过程采用的方法完全相同；

根据近红外短波相机和RGB相机的外参数，获取近红外短波相机和RGB相机之间的几何关系：

其中，R_in’和T_in为近红外短波相机的外参数；R_irgb’和T_irgb为RGB相机的外参数；

根据热红外相机和RGB相机的外参数，获取热红外相机和RGB相机之间的几何关系：

其中，R_it’和T_i为热红外相机的外参数；

根据近红外短波相机和RGB相机之间的几何关系及热红外相机和RGB相机之间的几何关系，对热红外相机、近红外短波相机以及RGB相机的信息融合：

P_rgb＝H_t-rP_it＝H_n-rP_in

其中，P_rgb为RGB相机坐标系下空间点；H_t-r＝[R_t-rgb，T_t-rgb]；H_n-r＝[R_n-rgb，T_n-rgb]；

所述相机的外参数的计算公式为：

r₁＝βA^-1h₁，r₂＝βA^-1h₂，r₃＝r₂×r₁，t＝βA^-1h₁

其中，r₁、r₂和r₃为相机的外参数R＝[r₁ r₂ r₃]的组成元素；A为相机的内参数；h₁和h₂为单应性矩阵H＝[h₁，h₂，h₃]的组成元素；t＝T为相机的外参数；β＝1/||A^-1h₁||＝1/||A^-1h₂||；|| ||为二范数；

采用迭代最小化代价函数对相机的外参数进行优化：

其中，F为Frobenius范数，R’为优化后的外参数；

根据代价函数和相机外参数R的正交性，计算优化后的外参数：

其中，m为图像或图片的数量；n为每幅图像或图片上圆的个数；m_ij为相机像平面对应点坐标；R_i’和T_i为优化后的外参数，R_i’为第i次标定出的旋转参数；T_i为第i次标定出的平移参数；

所述相机的内参数的获取方法包括：

根据透视投影原理，得到图片或图像中任意空间点M(X_w，Y_w，Z_w)在像平面上的投影坐标m(u_c，v_c)的关系：

其中，s为任意的非零尺度因子；A为相机的内参数；旋转矩阵R和平移向量T分别为相机的外参数和相机的内参数；(u₀，v₀)为主点坐标，f_u、f_v分别为图像坐标u轴和v轴的尺度因子；γ是u轴与v轴的不垂直因子；

相机的内参数和外参数标定时，标定板平面Z_w＝0，根据式(1)可得：

根据式(2)，标定板平面的圆心世界坐标M_ij(X_w，Y_w，1)与相机像平面对应点坐标m_ij(u_c，v_c，1)之间的变换关系为：

其中，H＝[h₁，h₂，h₃]为3×3的单应性矩阵；

将点集S_i(m_ij，M_ij)带入目标函数：

其，中1表示1范数；i，j＝1，2，...，7；

采用最小化目标函数式(4)得到单应性矩阵H，之后根据式(3)和旋转矩阵R的正交性可得：

令

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，式(5)可表示为两个以b为未知数的齐次方程：

其中，系数矩阵v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T；

在标定相机过程中，对标定平面拍摄的多张图像或图片得到的方程组进行叠加可得：

Vb＝0 (7)

其中，V为2n×6的矩阵，n为拍摄的图像或图片的张数；

当拍摄的图像或图片大于等于3时，可得到b，之后根据b和Cholesky矩阵分解算法得到A。

2.根据权利要求1所述的kinect深度相机与热红外相机的信息融合方法，其特征在于，所述kinect深度相机的近红外短波相机和RGB相机采集板定板上的图像时，还包括采用红外面光源在标定板上照射红外光。

Images