CN108010085A

CN108010085A - 基于双目可见光相机与热红外相机的目标识别方法

Info

Publication number: CN108010085A
Application number: CN201711236543.3A
Authority: CN
Inventors: 刘桂华; 曾维林; 张华�; 徐锋; 王静强; 龙惠民
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest University of Science and Technology
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2018-05-08
Anticipated expiration: 2037-11-30
Also published as: CN108010085B

Abstract

本发明公开了一种基于双目可见光相机与热红外相机的目标识别方法，其包括通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定，并获取两个摄像头在世界坐标系之间的旋转和平移矩阵位置关系；根据热红外相机采集的图像，对热红外相机的内外参数进行标定；标定双目可见光相机与热红外相机的位置关系；采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；将信息融合结果输入已训练的深度神经网络训进行目标识别。

Description

基于双目可见光相机与热红外相机的目标识别方法

技术领域

本发明涉及智能监控领域，具体涉及一种基于双目可见光相机与热红外相机的目标识别方法。

背景技术

在视频监控中，对移动目标进行检测、识别并自动报警一直都是热门的研究问题，其在车辆安全、安全监控以及机器人技术等领域都有着重要的应用。过去十几年，行人检测技术已经有了很多成熟的算法，但至今依然存在许多问题和难点。在光照良好的情况下，仅需要可见光相机就可以获取纹理信息丰富图像，但在雨天、大雾、夜晚光照度低的情况下，可见光相机图像中目标特征不明显。红外视频图像和其他视频图像相比，其背景简单、干扰物较少，有利于检测目标轮廓。但是红外视频中的人形形态容易受外界因素干扰，比如衣服的材质、戴帽子围脖、距离的远近等，这使得镜头中的人形会出现拉伸、断裂，导致不易分辨出人形特征。

发明内容

针对现有技术中的上述不足，本发明提的基于双目可见光相机与热红外相机的目标识别方法在不同的天气环境下均具有较高的识别率。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于双目可见光相机与热红外相机的目标识别方法，其包括：

S1、设计具有发热材料的伪随机阵列立体靶标；

S2、采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像；

S3、通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定；

S4、对双目可见光相机两个摄像头进行立体矫正处理，并根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系；

S5、根据热红外相机采集的图像，对热红外相机的内外参数进行标定；

S6、对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系；

S7、采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；

S8、将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；

S9、将信息融合结果输入已训练的深度神经网络训进行目标识别。

进一步地，所述步骤S4中两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系为：

其中，R_a,t_a分别为世界坐标系下的旋转和平移矩阵；P₁，P₂分别为两个摄像头立体矫正后的矫正变换矩阵；Q₁，Q₂分别为两个摄像头立体矫正后的重投影矩阵；R_g,t_g分别为两个摄像头矫正后，摄像头坐标系之间的旋转矩阵和平移矩阵。

进一步地，所述步骤8中对热红外相机的温度信息与双目可见光相机的三维点云进行信息融合的计算公式为：

P_rgb＝H(RP_ir+T)

其中，P_rgb为双目可见光相机像平面坐标；H为可见光相机的单应性矩阵；R、T分别为双目可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵。

进一步地，所述步骤S3具体包括以下步骤：

S31、获取双目可见光相机采集的图像上的图像点和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点的位置关系：

其中，s为非零尺度因子；A为相机内部参数矩阵；3x3的矩阵R＝[r₁ r₂ r₃]和3x1矩阵t＝(t_x t_y t_z)^T分别为世界坐标相对于双目可见光相机坐标系中的旋转矩阵和平移矩阵，r_i(i＝1,2,3)为旋转矩阵R的第i列；分别为空间点M和图像点m对应的齐次坐标；

32、通过图像点与空间点之间的位置关系，构建单应性矩阵H：

其中，X_w、Y_w、Z_w分别为空间点的坐标；r为图像像素坐标系u轴和v轴的不垂直因子；f_u和f_v分别为u轴和v轴上的尺度因子；(u₀ v₀)为图像中心点像素坐标；(u v)为图像上任意一点坐标；m₁₁至m₃₄均为单应性矩阵H的待求解参数；

S33、采用SVD奇异值分解法对单应性矩阵H进行分解，得到双目可见光相进一步地，所述步骤S5具体包括以下步骤：：

S51、根据透视投影原理，获取热红外相机采集的图像上的像素点和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点的位置关系：

S52、采用矩阵表示红外相机采集的图像上的像素点与空间点的位置关系；

S53、根据若干像素点和与其对应的空间点坐标，采用像素点与空间点的位置关系构建若干线性方程；

S54、当线性方程大于设定阈值时，采用最小二乘法优化算法获取m₁₁至m₃₄，根据m₁₁至m₃₄与m₃₄＝1构成热红外相机标定的参数矩阵；

S55、采用SVD分解法对参数矩阵进行分解，得到热红外相机的旋转矩阵和平移矩阵。

进一步地，所述步骤S6具体包括以下步骤：

S61、采用双目可见光相机和热红外相机标定的内外参数对伪随机阵列立体靶标上的空间点通过透视投影、三角测量原理重建得到伪随机阵列立体靶标上三维空间点集和随机阵列立体靶标上的实际空间点构建误差函数：

其中，G(HH′)为三维空间点和与其对应的实际空间点的误差；M′_i为三维空间点集；M_i为实际空间点；|| ||为两点之间的欧式距离；

S62、采用LM优化算法优化最小化误差函数得到双目可见光相机和热红外相机的内外参数；

S63、采用双目标定原理，利用两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系标定可见光相机与热红外相机的位置关系，得到可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵。

进一步地，所述步骤S7具体包括以下步骤：

S71、对双目可见光相机的两个摄像头采集的图像进行阈值化，并采用SIFT特征检测算法提取分别提取两幅图像的特征点，每个特征点对应一个128维的描述子；

S72、对两幅图像的特征点进行极限约束，将每一对匹配点约束到一条直线上，并对匹配点采用欧式距离的相似性度量：

其中，L_li和R_ri分别为两个摄像头的第i个特征点对应的128维特征描述子，用于保存特征点的梯度信息；l_ij和r_ij分别为特征描述子的其中一维梯度信息；j为描述子的维数；d(L_li,R_ri)为两特征描述子之间的欧式距离。

S73、当距离L_li最近的点R_ri与距离L_li次最近的点R_r(i+1)的比值小于设定值时，则描述子(L_li,R_ri)为匹配点对；

S74、基于双目立体视觉模型，根据匹配点对计算双目可见光相机的三维点云，恢复空间点在世界坐标系下的三维坐标(X_w Y_w Z_w)^T：

其中，B为两个摄像头基线距离；f为双目可见光相机的摄像头焦距；X_left和Y_left分别为空间点在图像上的坐标；Disparity为双目视差。

进一步地，获取三维点云之前，还包括采用RANSAC算子消除所有匹配点对中的误匹配。

进一步地，所述伪随机阵列立体靶标为立方体结构，每个面上均布有采用发热材料制成的环形圆点和实心圆点；

采用本原多项式公式指定的移位寄存器产生5x17的伪随机序列，所述本原多项式公式为：

H(x)＝x^m+k_m-1x^m-1+......+k₂x²+k₁x+k₀

其中，H(x)为本原多项式，本原多项式中的系数k_m-1至k₀为GF(q)＝{0,1,w,w²,...,w^q-1}域中的元素；w为本原；m为存储器个数；

在伪随机阵列中选取7x7的子伪随机阵列窗口，每个子阵列为立方体靶标的一面。

本发明的有益效果为：本方案与传统的二维可见光或是红外监控系统相比，将双目可见光相机得到的二维和三维信息与热红外信息融合，通过二维信息识别目标，三维信息显示物体的具体形状特征，并将三维信息和热红外信息的融合结果做为深度神经网络的输入信息，通过神经网络训练识别，比传统的基于二维信息和温度信息做为输入有更高的识别率。

通过本方案的识别方法能够更快、更准确地探测目标，提高对隐藏、伪装目标的检测能力；其不仅可用于室内监控，也可用于工地、轨道周围等安全监控，适用范围广，受环境影变化响小。

本方案设计的本方案设计的伪随机阵列立体靶标可以同时实现对红外相机和可见光相机之间位置关系的标定计算，操作方便、步骤简洁、标定精度高。

附图说明

图1为基于双目可见光相机与热红外相机的目标识别方法一个实施例的流程图。

图2为随机阵列立体靶标。

图3为双目可见光相机与热红外相机的坐标关系图。

图4为双目可见光相机与热红外相机的视差图。

其中，1为靶标平面标志点初始位置；2、3、4分别为三个平面的起始标志点；5为实心圆点；6为环形圆点。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参考图1，图1示出了基于双目可见光相机与热红外相机的目标识别方法一个实施例的流程图；如图1所示，该方法S包括步骤S1至步骤S9。

在步骤S1中，设计具有发热材料的伪随机阵列立体靶标。

如图2所示，所述伪随机阵列立体靶标为立方体结构，O_W为世界坐标系原点，每个面上均布有采用发热材料制成的环形圆点6和实心圆点5；

采用本原多项式公式指定的移位寄存器产生5x17的伪随机序列，本原多项式公式为：

H(x)＝x^m+k_m-1x^m-1+......+k₂x²+k₁x+k₀

移位寄存器可以输出一个周期为n＝q^m-1的伪随机序列，其中m为存储器个数，q为存储器状态数。本发明选择存储器状态为0和1，伪随机长度为255，伪随机阵列为15x17，阵列特性性窗口为4x2。生成的伪随机码为：000000010111000111011110001011001101100001111001110000101011111111001011110100101000011011101101111101011101000001100101010100011010110001100000100101101101010011010011111101110011001111011001000010000001110010010011000100111010101101000100010100100011111。

其中，环形圆点6表示伪随机码中的0，实心圆点5表示伪随机码中的1，在5x17的伪随机阵列中选取7x7的子伪随机阵列窗口，每个子阵列为立方体靶标的一面，图2中的序号2、3、4分别为三个平面的起始标志点；由以上伪随机码组成的伪随机阵列立体靶标如图2所示。

如图2所示，黑色为发热材料，每一面从左上角为靶标平面标志点初始位置1的三角标志开始，由3行2列组成的窗口具有唯一性，标记圆心的间距为10mm，图2中，O_W的坐标为(0，0，0)。

在步骤S2中，采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像。

在步骤S3中，通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定。

在本发明的一个实施例中，步骤S3具体包括以下步骤：

M＝(X_w Y_w Z_w)^T，X_w、Y_w、Z_w为空间点M在世界坐标坐标系下的坐标，m＝(u v)^T，u、v为立体靶标上空间点M投影到图像平面上的图像点m在图像像素坐标系下的坐标；和

S32、通过图像点与空间点之间的位置关系，构建单应性矩阵H：

S33、采用SVD奇异值分解法对单应性矩阵H进行分解，得到双目可见光相机两个摄像头的内外参数矩阵。

在步骤S4中，对双目可见光相机两个摄像头进行立体矫正处理，获得矫正变换矩阵P₁，P₂和重投影矩阵Q₁，Q₂，两个摄像头的空间位置关系分别为W₁,W₂，两摄像头世界坐标系间的旋转和平移矩阵分别表示为R_a,t_a，两摄像头矫正后测量头坐标系之间的旋转矩阵和平移矩阵分别为R_g,t_g；

根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系：

在步骤S5中，根据热红外相机采集的图像，对热红外相机的内外参数进行标定；

S51、根据透视投影原理，获取热红外相机采集的图像上的像素点m＝(u v)^T和伪随机阵列立体靶标在世界坐标系下、与其对应的空间点M＝(X_w Y_w Z_w)^T的位置关系：

S52、采用矩阵表示红外相机采集的图像上的像素点与空间点的位置关系：

将上述的采用矩阵表示的位置关系简写成Km＝U。

S54、当线性方程大于设定阈值时，采用最小二乘法优化算法得到m＝(K^TK)^-1K^TU，根据向量m与m₃₄＝1构成热红外相机标定的参数矩阵；

在步骤S6中，对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系，双目可见光相机与热红外相机的位置关系可以参见图3。

在本发明的一个实施例中，步骤S6的具体步骤包括：

在步骤S7中，采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云。

在本发明的一个实施例中，步骤S7的具体步骤包括：

S71、对双目可见光相机的两个摄像头采集的图像进行阈值化，并采用SIFT特征检测算法提取分别提取两幅图像的特征点P_l＝(p_l1,p_l2,...p_ln)和P_r＝(p_r1,p_r2,...p_rn)，P_l和P_r分别为两幅图像的特征点集合，集合中的字母表示特征点，每个特征点对应一个128维的描述子L_li＝(l_i1,l_i2,...l_in)，R_li＝(r_i1,r_i2,...r_in)。

其中，L_li和R_ri分别为两个摄像头的第i个特征点对应的128维特征描述子，用于保存特征点的梯度信息；l_ij和r_ij分别为特征描述子的其中一维梯度信息；j为描述子的维数；d(L_li,R_ri)为两特征描述子之间的欧式距离；

S74、基于双目立体视觉模型，根据匹配点对计算双目可见光相机的三维点云，三维点云计算过程可以参考4的双目可见光相机与热红外相机的视差图；根据三维点云恢复空间点在世界坐标系下的三维坐标(X_w Y_w Z_w)^T：

由于采用步骤S73得到的匹配点对仍然会出现误匹配的情况，为了规避误差引起后续的识别不准确，本方案优选在获取三维点云之前，还包括采用RANSAC算子消除所有匹配点对中的误匹配。

在步骤S8中，将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合：

P_rgb＝H(RP_ir+T)

在步骤S9中，将信息融合结果输入已训练的深度神经网络训进行目标识别。

对于深度神经网络训的具体训练方法包括：

采用标准行人检测数据集(INRIA，Caltech，ETH等数据库)训练第一层，训练时先学习第一层的参数，这一层可得到一个使得输出和输入差别最小的三层神经网络，由于模型容量的限制以及稀疏性约束，使得得到的神经网络模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征。

由于多隐层神经网络难以直接采用经典算法(BP算法)进行训练，因为误差在多隐层内逆传播时往往会发散而不能收敛到稳定状态。因此采用无监督逐层训练深度(多隐层)神经网络，在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，这个过程称为“预训练”，由此分别得到各层的参数。

各层训练完成后，采用自顶向下的监督学习，通过带标签的数据和BP算法对网络进行微调。具体过程为：找到前面找到的局部最优解，将得到的局部最优解进行级联找到全局最优，利用模型大量参数所提供的自由度的同时，有效地节约了训练时间和空间。

Claims

1.基于双目可见光相机与热红外相机的目标识别方法，其特征在于，包括：

S1、设计具有发热材料的伪随机阵列立体靶标；

2.根据权利要求1所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S4中两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系为：

3.根据权利要求1所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S8中对热红外相机的温度信息与双目可见光相机的三维点云进行信息融合的计算公式为：

P_rgb＝H(RP_ir+T)

4.根据权利要求1-3任一所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S3具体包括以下步骤：

其中，X_w、Y_w、Z_w分别为空间点M的坐标；r为图像像素坐标系u轴和v轴的不垂直因子；f_u和f_v分别为u轴和v轴上的尺度因子；(u₀ v₀)为图像中心点像素坐标；(u v)为图像上任意一点坐标；m₁₁至m₃₄均为单应性矩阵H的待求解参数；

5.根据权利要求1-3任一所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S5具体包括以下步骤：

6.根据权利要求1-3任一所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S6具体包括以下步骤：

<mrow> <mi>G</mi> <mrow> <mo>(</mo> <msup> <mi>HH</mi> <mo>&prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mo>|</mo> <msubsup> <mi>M</mi> <mi>i</mi> <mo>&prime;</mo> </msubsup> <mo>-</mo> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>|</mo> </mrow>

其中，G(HH′)为三维空间点和与其对应的实际空间点的误差；M′_i为三维空间点集；M_i为实际空间点；||||为两点之间的欧式距离；

7.根据权利要求1-3任一所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S7具体包括以下步骤：

<mrow> <mi>d</mi> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>R</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>128</mn> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>li</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>X</mi> <mi>w</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mo>.</mo> <msub> <mi>X</mi> <mrow> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> </msub> </mrow> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Y</mi> <mi>w</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mo>&CenterDot;</mo> <msub> <mi>Y</mi> <mrow> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> </msub> </mrow> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Z</mi> <mi>w</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mo>&CenterDot;</mo> <mi>f</mi> </mrow> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>

8.根据权利要求7所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，获取三维点云之前，还包括采用RANSAC算子消除所有匹配点对中的误匹配。

9.根据权利要求1所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述伪随机阵列立体靶标为立方体结构，每个面上均布有采用发热材料制成的环形圆点和实心圆点；

H(x)＝x^m+k_m-1x^m-1+......+k₂x²+k₁x+k₀