CN114061761A

CN114061761A - 基于单目红外立体视觉矫正的远距离目标温度精确测量方法

Info

Publication number: CN114061761A
Application number: CN202111361163.9A
Authority: CN
Inventors: 周喜川; 雷东山; 刘海军
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2021-11-17
Filing date: 2021-11-17
Publication date: 2022-02-18
Anticipated expiration: 2041-11-17
Also published as: CN114061761B

Abstract

本发明涉及一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，属于红外图像识别与检测技术领域。该方法包括：通过单目红外摄像仪获取含有温度场信息的红外图像，并将其输入到目标3D信息提取网络中，进行特征提取和红外人脸目标检测，从而得到目标三维立体信息以及温度场信息；构建人脸温度立体矫正补偿网络，并将得到的立体信息和温度场信息输入到人脸温度立体矫正补偿网络中，进行立体视觉温度矫正，从而输出带有温度信息和3D框、角度信息的红外图像。本发明能扩大检测范围，降低温度测量误差，降低成本。

Description

基于单目红外立体视觉矫正的远距离目标温度精确测量方法

技术领域

本发明属于红外图像识别与检测技术领域，涉及一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法。

背景技术

在传染病疫情期间，人体温度作为判别是否感染的重要信息之一，其数据相当重要。为了做到快速筛选人体的温度，亟需一种可以在大型公共场合快速、高效、准确地测量人体温度的设备，并且这种设备要能隔断交叉感染的风险。

为解决红外测温系统存在测温时间长、精度差的问题，2017年中国科学院的研究员田棋杰提出了采用低温黑体实现红外系统的温度宽范围校准的方法。之后2019年，OthónGonzá lez-Chávez又提出了利用黑体来做红外热像仪数字计数的辐射校准方法，以此来提升测温精度。2020年，上海大学通信与信息工程学院研究员翟旭平提出三种非统一校准(NUC)方法来消除非统一性，同时利用高精度黑体辐射源用于校准实验，从而提升温度精度和图像质量。然而，虽然这些采用黑体矫正的方法可以提升测温的精度，但是高精度的黑体价格往往较为昂贵，由此带来的过高的成本是不理想的，而且这些利用黑体的校准方法只适用于固定距离范围(5-6m左右的区域)，测量范围较窄。

为减少成本，一种新型的采用三维信息进行温度矫正的方法被提了出来，2021年Sirajit等人提出并演示了一种温度矫正(补偿)技术，该技术结合了来自三维深度传感器的关键信息、电子温度传感器和用于实时数据反馈和控制的内置参考温度，并将其嵌入到低成本热成像温度系统中。并且通过与黑体辐射源为对象的实验演示证实，这种补偿下的测量温度与有黑体辐射源矫正下的测量温度非常一致。然而，这种方法默认了一些关键的温度信息与距离是呈现的简单的线性关系，而真实场景当中，它们却是一种复杂的非线性关系，从而造成某些距离条件下测温精度较差的问题。

为应对温度测量误差问题，2020年武汉理工大学学者冯帆在中国自动化协会第35届青年学术年会上提出了结合神经网络来做温度补偿的方法，其选择了通用BP神经网络算法，该算法通过输入采集温度和真实标签来训练网络从而达到补偿环境温度，提高温度测量准确性的目的。但是该方法只考虑到了单一场景下的温度补偿，并没有考虑在面向多场景下对测温影响较大的深度、角度等信息，而这些信息对于温度的矫正又是相当关键的，所以造成了泛化能力较差的问题。

为解决泛化能力差的问题，在温度矫正中考虑角度、深度等信息对测量结果的非线性影响，发挥深度学习的优势，本发明提出一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，面向开放式场景中的非接触人体额温检测与矫正应用(矫正之后的温度测量误差保持在±0.3℃以内，优于当前红外测温仪本身的测量误差±0.5℃)，设计了基于深度神经网络的多目标、高精度测温矫正模型，用于解决红外测温仪的有效测量范围有限(仅5-6m)、误差较大的问题，通过非线性神经网络模型矫正目标红外辐射温度测量值随目标与传感器相对距离、方位角度变化带来的误差，实现了开放场景、多目标、任意位置精确的额温测量。从而减少疫情防控中的错检、漏检情况，对疫情防控工作的开展也意义重大。

为达到上述目的，本发明提供如下技术方案：

一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，具体包括以下步骤：

S1：通过单目红外摄像仪获取含有温度场信息的红外图像，并将其输入到构造的目标3D信息提取网络中，其中，利用红外特征提取及检测模块进行红外人脸目标检测，并得到相应的人脸目标温度场信息；同时，利用三维信息估计模块基于单目红外图像提取目标三维立体信息；

S2：构建人脸温度立体矫正补偿网络，将得到的人脸温度场信息输入到卷积神经网络进行温度信息整合，并将整合后的温度值、深度与角度信息、3D框长宽高信息、3D框中心点坐标信息输入到人脸温度立体矫正补偿网络中，从而进行立体视觉温度矫正，输出带有温度信息和3D框角度信息的红外图像。

进一步，步骤S1中，通过红外特征提取及检测模块进行红外人脸目标检测，得到相应的的特征信息，确定目标人脸位置和区域，同时获取人脸目标等三维立体信息。具体包括以下步骤：

S101：通过将目标红外图像作为样本输入数据，标注了红外目标人脸真实位置和偏向的图像作为样本标签；本发明以去掉全连接层的VGG-16作为主干提取网络，利用13个卷积层和3个最大池化层构造网络；结合BP神经网络算法，利用平均交叉熵函数和L1范数之和作为损失函数，反向传播更新神经网络权值参数，直至网络迭代达到收敛从而达到对网络的训练，估计出目标红外图像的人脸位置；

S102：当目标行人进入设置的测温范围时，设备就会自动进行红外人脸检测，红外摄像仪就开始采集目标人脸区域的有效温度值，并记录二维红外人脸的位置信息。

S103：得到人脸位置及温度信息后，三维信息估计模块首先会根据目标人脸相对大小和偏向，计算出目标深度信息d，再根据公式

可以将二维人脸位置映射为三维人脸框，其中，d表示得到的深度信息，f表示摄像机的焦距，θ和

是红外摄像仪的关键点参数信息，利用这些信息再估计出目标3D框中8个顶点的位置坐标信息，A(X1,Y1,Z1),B(X2,Y1,Z1),C(X2,Y2,Z1),D(X1,Y2,Z1),E(X1,Y1,Z2),F(X2,Y1,Z2),G(X2,Y2,Z2),H(X1,Y2,Z2)。

S104：基于这些顶点坐标信息计算出3D框中心点坐标信息，目标3D框的长宽高信息，角度信息α。

步骤S2中，构建人脸温度立体矫正补偿网络进行温度矫正，具体包括：将人脸目标温度场信息输入到卷积神经网络中得到温度值；然后将得到的温度信息、3D框长宽高信息和3D框中心点坐标信息作为输入数据，通过多层非线性全连接神经网络进行温度矫正。需要注意的是将较为关键的深度信息、角度信息输入到神经网络的最后一层，以重点突出这些关键信息对于温度矫正的贡献。

进一步，步骤S2中，通过将步骤S1中得到的三维立体信息和温度信息输入人脸温度立体矫正补偿网络，对得到的温度值进行补偿和矫正，输出带有温度信息和3D框角度信息的红外图像。具体步骤如下：

S201：首先构造一个卷积神经网络，其由多个卷积层、激活层、批归一化(BN)层、池化层和一个全连接层构成；

S202：将目标人脸温度场信息作为样本输入到卷积神经网络当中得到适当的温度值；

S203：将得到的温度信息、3D框长宽高信息和3D框中心点坐标信息作为样本输入数据，进入之后的非线性全连接神经网络，以被测目标腋下温度作为样本标签；

S204：同时将较为关键的深度信息、角度信息输入到神经网络的最后一层，以重点突出这些关键信息对于神经网络的权重；

S205：以平均交叉熵函数作为损失函数，以梯度下降算法为反向传播优化算法。并将使其降到最小的参数作为新参数更新神经网络权重，直至神经网络迭代达到收敛，从而较好的输出温度补偿值。

本发明的有益效果在于：

1)本发明方法可以对长度范围为0～12m，宽度范围为3m的摄像头视场内的多人群进行实时温度检测，扩展了现阶段大型公共场合固定范围为5～6m区域的限制，在当今疫情背景下大范围环境下应用对疫情的防控相当有效。

2)本发明方法在测温的过程中，由于没有黑体的限制，只采用了红外摄像仪，因此可以极大的节省成本。

3)本发明方法采用的是三维立体视觉矫正，区别于传统的二维识别配准，其包括目标角度和深度的三维立体矫正，在面向复杂的场景时可以有相当大的灵活性。可以应用到嵌入式设备中，这对于后疫情时代大规模的温度筛选工作将极为有利。

4)通过本发明方法校正之后的温度测量误差保持在±0.3℃以内，优于当前红外测温仪本身的测量误差±0.5℃，大大降低了温度测量误差。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明单目红外立体视觉矫正测温网络框架示意图；

图2为本发明与传统红外测温装置的测量范围效果示意图；

图3为目标3D信息提取网络结构示意图；

图4为人脸3D框位置、角度及温度信息；

图5为人脸温度立体矫正补偿网络的结构示意图；

图6为单目深度神经网络嵌入式系统框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图6，图1为一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法流程图，该方法主要包括以下两步：

第一步，通过单目红外摄像仪获取含有温度场信息的红外图像，并将其输入到构造的目标3D信息提取网络中，其中，网络中的红外特征提取及检测模块进行特征提取和红外人脸目标检测，并得到相应人脸目标温度场信息，网络中三维信息估计模块根据得到的特征信息进行计算和处理，从而得到目标三维立体信息；

第二步，构建人脸温度立体矫正补偿网络，并将得到的人脸目标温度场信息首先输入到本发明设计的卷积神经网络进行初步的温度信息提取，并整合的的温度值、深度与角度信息、3D框长宽高信息、3D框中心点坐标信息输入到人脸温度立体矫正补偿网络中。除此之外，我们将比较关键的深度、角度信息放到网络中的最后一层作为输入以增加深度、角度这些关键信息对于网络的权重，从而来进行立体视觉温度矫正，输出带有温度信息和3D框角度信息的红外图像。

该方法具体包括以下步骤：

步骤1：获取目标红外图像。

1)为获取精确的目标红外图像，我们选取的红外测温模组为高德公司的PLUG417S红外人体测温专用版的设备，相应波段为8-14μm，镜头的焦距为9.7mm，输出的红外图像的分辨率为384×288，帧率大小为25Hz。

2)如图2所示，为实现对大范围、高密集的人群精准测温，需要采集相应的数据以此来对模型性能进行有效的评估和验证，本发明设计了一个长度范围为12m，宽度范围为3m的三角区域，以整张人脸都必须处于红外摄像仪视野范围内为标准确定了图中的虚线边界，黑色的点代表的是实验中采集到的测温点位(用于训练和验证设备测温精度和范围)。

步骤2：进行红外目标检测，确定目标人脸位置和区域，并获取目标三维立体信息。

1)通过在设置的测温点位采集足够多红外数据集之后，将数据集的80％用于神经网络训练，20％用于网络测试。具体流程：通过将目标红外图像作为样本输入数据，标注了红外目标人脸真实位置和偏向的图像作为样本标签；

2)如图3所示，构造红外特征提取及检测模块，我们采取没有全连接层的VGG-16作为主干提取网络，利用13个卷积层和3个最大池化层构造网络；结合BP神经网络算法，利用平均交叉熵函数和L1范数之和作为损失函数，反向传播更新神经网络权值参数，直至网络迭代达到收敛从而达到对网络的训练，估计出目标红外图像的人脸位置。

2)当目标行人进入设置的测温范围时，设备就会自动进行红外人脸检测，红外摄像仪就开始采集目标人脸区域的有效温度值，并记录二维红外人脸的位置信息。

3)如图4所示，得到人脸位置及温度信息后，三维信息估计模块首先会根据目标人脸相对大小和偏向，计算出目标深度信息d，再根据公式

是红外摄像仪的关键点参数信息。利用这些信息再估计出目标3D框中8个顶点的位置坐标信息，A(X1,Y1,Z1),B(X2,Y1,Z1),C(X2,Y2,Z1),D(X1,Y2,Z1),E(X1,Y1,Z2),F(X2,Y1,Z2),G(X2,Y2,Z2),H(X1,Y2,Z2)。

4)基于这些顶点坐标信息计算出3D框中心点坐标信息，目标3D框的长宽高信息，角度信息α。

步骤3：通过三维立体信息进行温度矫正，本发明设计了如下方法。

1)如图5所示，首先构造一个卷积神经网络，其由多个卷积层、激活层、批归一化(BN)层、池化层和一个全连接层构成；

2)将目标人脸温度场信息作为样本输入到卷积神经网络当中得到适当的温度值；

3)将得到的温度信息、3D框长宽高信息和3D框中心点坐标信息作为样本输入数据，进入之后的非线性全连接神经网络，以被测目标腋下温度作为样本标签；

4)同时将较为关键的深度信息、角度信息输入到神经网络的最后一层，以重点突出这些关键信息对于神经网络的权重；以平均交叉熵函数作为损失函数，以梯度下降算法为反向传播优化算法。并将使其降到最小的参数作为新参数更新神经网络权重，直至神经网络迭代达到收敛，从而较好的输出温度补偿值。

5)基于训练好的三维温度矫正补偿网络，将步骤2得到的角度、深度等三维立体信息和红外温度场信息输入到人脸温度立体矫正补偿网络，从而得到矫正后的温度值。

步骤4：输出带有温度信息和角度信息的红外图像，如图6所示，

步骤5：将程序网络架构移植到嵌入式Jetson Xavier nx板子上。

如图6所示，该系统中本实施例使用的嵌入式设备是Jetson Xavier nx，这是NVIDIA公司在2019年推出的一款嵌入式边缘计算设备。其CPU是NVIDIA自研的6核CarmelARMv8.2，其中的两个核心共享6MB L2缓存，剩下的4个核心共享4MB L3缓存，具备较为强大的动态代码优化能力和计算能力。同时，其GPU为384核的NVIDIA Volta，里边集成了48个tensor核，拥有在10W功率模式下最大工作频率为800MHZ，在15W功率模式下最大工作频率为1100MHZ的优异效果。我们将技术方案应用到嵌入式终端上，可以更高效率解决人体温度检测的问题。

综上，如图2所示，本发明提出的基于单目红外人体测温深度学习方法极大的扩展了红外测温仪的精准测量范围(由原来5-6m测温扩展为12m)，只需被测人员处于红外测温仪的视野范围之内即可准确输出被测人员的真实温度，保证了疫情防控中对人体温度的大范围、高精度、快速监测要求。同时，校正之后的温度测量误差保持在±0.3℃以内，优于当前红外测温仪本身的测量误差±0.5℃。在当前新冠疫情防控的大背景下，如果可以将这种方法投入使用，对疫情的防控、人民的健康无疑是一个福祉。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于单目红外立体视觉矫正的远距离目标温度精确测量方法，其特征在于，该方法具体包括以下步骤：

S2：构建人脸温度立体矫正补偿网络，将得到的人脸目标温度场信息输入到卷积神经网络进行温度信息整合，并将整合后的温度值、深度与角度信息、3D框长宽高信息、3D框中心点坐标信息输入到人脸温度立体矫正补偿网络中，从而进行立体视觉温度矫正，输出带有温度信息和3D框角度信息的红外图像。

2.根据权利要求1所述的远距离目标温度精确测量方法，其特征在于，步骤S1中，获取人脸目标温度信息和三维立体信息，具体包括：通过红外特征提取及检测模块得到目标人脸位置及温度信息之后，继续将特征信息输入到三维信息估计模块，计算得到人脸的角度、深度和3D框包含的三维立体信息。

3.根据权利要求1所述的远距离目标温度测量方法，其特征在于，步骤S1中，进行红外人脸目标检测，确定目标人脸位置和区域，具体包括以下步骤：

S101：通过将目标红外图像作为样本输入数据，标注了红外目标人脸真实位置和偏向的图像作为样本标签；以去掉全连接层的VGG-16作为主干提取网络，利用13个卷积层和3个最大池化层构造网络；结合BP神经网络算法，利用平均交叉熵函数和L1范数之和作为损失函数，反向传播更新神经网络权值参数，直至网络迭代达到收敛从而达到对目标3D信息提取网络的训练，估计出目标红外图像的人脸位置；

S102：当目标行人进入设置的测温范围时，设备自动进行红外人脸检测，红外摄像仪开始采集目标人脸区域的有效温度值，并记录二维红外人脸的位置信息；

S103：得到人脸位置及温度信息后，三维信息估计模块首先根据目标人脸相对大小和偏向，计算出目标深度信息d，将二维人脸位置映射三维人脸框，再估计出目标3D框中8个顶点的位置坐标信息；

S104：基于8个顶点的坐标信息计算出3D框中心点坐标信息，目标3D框的长宽高信息，角度信息α。

4.根据权利要求1所述的远距离目标温度精确测量方法，其特征在于，步骤S2中，构建人脸温度立体矫正补偿网络进行温度矫正，具体包括：将人脸目标温度场信息输入到卷积神经网络中得到温度值；然后将得到的温度信息、3D框长宽高信息和3D框中心点坐标信息作为输入数据，通过多层非线性全连接神经网络进行温度矫正。

5.根据权利要求1或4所述的远距离目标温度精确测量方法，其特征在于，步骤S2中，通过将步骤S1中得到的三维立体信息和温度信息输入人脸温度立体矫正补偿网络，对得到的温度值进行补偿和矫正，输出带有温度信息和3D框角度信息的红外图像；具体步骤如下：

S204：同时将深度信息、角度信息输入到神经网络的最后一层；

S205：以平均交叉熵函数作为损失函数，以梯度下降算法为反向传播优化算法；并将使其降到最小的参数作为新参数更新神经网络权重，直至神经网络迭代达到收敛，从而输出温度补偿值。