CN111579083B - 基于红外图像人脸检测的体温测量的方法和装置 - Google Patents

Abstract

本发明涉及一种基于红外图像人脸检测的体温测量的方法，包括：通过红外测温摄像头获取红外图像和温度分布图；基于所述红外图像，进行人脸分析，获取人脸区域；基于所述温度分布图，进行温度分析，确定体温区域；根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；根据预设的算法，计算所述感兴趣区域的平均温度。本发明可以实现远程便携式的体温测量，通过红外图像的人脸分析，精准定位被测人体的人脸区域，并结合温度分布图对人脸区域进行校准，具有测量准确性高、漏检率低的优点。

Description

基于红外图像人脸检测的体温测量的方法和装置

技术领域

本发明涉及增强现实的应用领域，尤其涉及一种红外测温摄像头的增强现实的体温测量方法和装置。

背景技术

传统的体温测量方法一般是通过使用水银温度计或额温计等近距离测温的方法，通常需要较长的测量时间和近距离接触。在人流量较大的情况下，测量速度较慢；此外，由于全球新型冠状病毒的爆发，近距离的接触会增加感染的风险，因此急迫需要一种能够实现远距离快速体温检测的方法。

现有的红外测温摄像头可以实现固定地点的非接触式体温检测，但是红外测温摄像头必须固定在场地上，被测人员需要按指示站在固定的位置接受测量，测量速度较慢、且无法实现便携式检测，且红外测温摄像头受环境影响较大，在变化环境中的误差较大。

发明内容

本发明的目的在于提供一种新的基于红外图像人脸检测的体温测量的方法和装置。

根据本发明的一方面，提供了一种基于红外图像人脸检测的体温测量的方法，包括：通过红外测温摄像头获取红外图像和温度分布图；基于所述红外图像，进行人脸分析，获取人脸区域；基于所述温度分布图，进行温度分析，确定体温区域；根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；根据预设的算法，计算所述感兴趣区域的平均温度。

根据本发明的另一方面，提供了一种测温AR眼镜，包括，

红外测温摄像头，用于输出红外图像和温度分布图，

处理器，

存储器，用于储存计算机指令，当所述计算机指令被处理器执行时，使得：红外测温摄像头获取红外图像和温度分布图；对所述红外图像进行人脸分析，获取人脸区域；对所述温度分布图进行温度分析，确定体温区域；根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；根据预设的算法，计算所述感兴趣区域的平均温度；

显示装置，用于增强现实地显示所述平均温度。

本发明可以实现远程便携式的体温测量，通过红外图像的人脸分析，精准定位被测人体的人脸区域，并结合温度分布图对人脸区域进行校准，具有测量准确性高、漏检率低的优点。

附图说明

图1是根据本发明的一个或多个实施例的基于红外图像人脸检测的体温测量的方法的流程图；

图2示出了根据本发明的一个或多个实施例的红外测温摄像头拍摄的红外图像(热成像图)的示意图；

图3示出了根据本发明的一个或多个实施例的人体算法模型；

图4示出了根据本发明的一个或多个实施例的人体算法模型的神经网络模型；

图5示出了根据本发明的一个或多个实施例的人脸检测算法的神经网络模型；

图6示出了根据本发明的一个或多个实施例的AR眼镜的示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于红外图像人脸检测的体温测量的方法和装置的具体实施方式、结构、特征及其功效，详细说明如后。

如图1所示，示出了根据本发明的一个实施例的一种基于红外图像人脸检测的体温测量的方法，包括如下步骤：

S1、通过红外测温摄像头获取红外图像和温度分布图；

S2、基于所述红外图像，进行人脸分析，获取人脸区域；

S3、基于所述温度分布图，进行温度分析，确定体温区域；

S4、根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；

S5、根据预设的算法，计算所述感兴趣区域的平均温度。

具体地，在步骤S1中，红外测温摄像头为可商业购买的红外测温摄像头(或称为热成像仪)，例如艾睿光电生产销售的T3C模组，其具有并行数字接口输出，可适配各种智能处理平台，能够实现红外图像显示和温度统计显示功能。对于实现本发明的一个或多个实施例的技术效果而言，只要红外测温摄像头可以输出红外图像及温度数据，就可以实现本发明的一个或多个实施例的测温方法和测温装置。因此本发明对于红外测温摄像头的型号、测温的实现方式不做具体限定。

如图2所示，示出了红外测温摄像头拍摄的红外图像(热成像图)的示意图。在该红外图像上，可以观察到大致的人体特征，也有基于颜色的温标(在黑白图像中，颜色越浅，温度越高)，从中可以观察到3个佩戴口罩的行人，在皮肤露出的区域，可以看到颜色越浅，温度越高。如果采用传统的红外测温手段，必须让行人定点在某个区域上站立，从而进行测温，但是在便携式远程测温过程中，由于无法准确区分红外图像中哪些部分是人脸的位置，也无法区分人脸上是否佩戴口罩。因此，尽管红外测温摄像头可以获得不同部位所对应的像素点的温度值，但是无法获得准确地获取人体的体温数值。

接下来，在步骤S2中，基于所述红外图像，进行人脸检测，获取人脸区域。可以采用基于神经网络模型的人体算法模块进行人脸检测，所述人体算法模块至少包含人脸检测模块。经过人脸检测模块处理的红外图像，输出带有人脸位置信息的数据；优选地，还可以根据人脸模型，输出具有五官位置的数据。人脸检测模块可以基于神经网络结构构建，其中一个实施例的神经网络的组成结构见附图4。其中数据1、2……代表输入的图像帧，神经网络可以由多层的循环神经网络构成，每一帧图像听过神经网络之后，输出图像中人脸的位置。在另一个实施例中，神经网络也可以由卷积神经网络构成，或循环神经网络和卷积神经网络的混合构成。

优选地，如图3所示，人体算法模块还包括人头检测模块、测温距离估算模块、人脸识别模块的一种或多种。

具体地，人头检测模块可以用来检测图像中的人头位置，由于在实际体温筛查的过程中，被测人体并非一直正对测试的红外测温摄像头，因此人头检测可以辅助人脸检测，避免非正脸面对红外测温摄像头下的漏检情况的发生。人头检测模块可以采用和人脸检测模块类似的神经网络结构构建，并采用带有人头标记的红外图像数据进行训练。

测温距离估算模块可以通过人脸检测模块检测的人脸的像素大小，估算被测人脸到红外测温摄像头的距离，并将估算的距离输出，用来对体温数据进行距离校正。可以预先通过机器学习技术建立人脸像素大小和距离之间的关系模型，也可以构建人体五官的特征(例如双眼之间的距离所占的像素点的个数)和距离之间的关系模型，并根据人脸检测模块输出的数据进行距离的估算。在红外远距离测温中，由于随着距离的增加，红外测温摄像头接受到的红外辐射降低，所以对体温数据进行距离校正，可以提高测温的准确度。在实际测温中，距离的估算只需要精确到0.3-0.5米左右，即可提升测温的准确度，因此通过人脸区域的一个或多个参数进行距离估算可以有效提升测温的准确度。

可选地，还可以通过人脸识别模块完成人脸追踪的效果，特别是在多人测温的场景下，通过人脸识别可以有效提高多人测温的准确性和用户体验。如图5所示，可以基于深度神经网络结构单元构建人脸识别模型，并利用深度学习技术训练该模型，其中N为100～300的整数。人脸识别模块可以对人脸区域提取区分性特征，并对红外图像中的所有人脸区域分析，对相同的人脸进行聚合，并输出人脸ID。由此，可以在被测人物移动的过程中，实施将测量的温度和人脸进行对应，并显示在测量设备的显示器上。

相比于RGB图像的人脸识别，红外人脸识别并非需要准确的将识别出的人脸所代表的人的具体信息，只需要将红外图像帧序列中的相同人脸进行聚合，不同人脸进行区分即可，因此普通的红外图像已经可以满足测温场景下的人脸识别的需求；相比于通过RBG图像进行人脸识别，通过红外图像进行人脸检测，可以减少设备的数量、降低计算的复杂性、并降低功耗，提高测温设备的续航。在一个替代的实施例中，可以采用预先和红外测温摄像头进行位置校准过的RGB摄像头对人脸进行检测，并根据RGB摄像头的人脸检测结果来确定红外图像中的人脸位置。

此外由于检测的人脸可能佩戴有帽子、眼镜、口罩等遮挡物，因此如果将检测的人脸范围作为体温检测的范围，可能导致测量结果的误差。此外，在非固定场合体温排查中，如果被测人员是在侧脸面对红外测温摄像头的情况下，也可能无法检测出人脸的位置，造成漏检的情况。

因此，接下来在步骤S3中，进一步基于所述温度分布图，进行温度分析，确定体温区域。具体地，可以采用预设的体温区间及像素点数量阈值进行体温区间的确定。由于远程测温(测量距离>1m)过程中，人脸的大小通常只能占据红外图像的一小部分，因此温度分布图中大部分的温度信息都来源于中环境中非人体发射的辐射，属于干扰信息，为了提高远程测温的准确性和计算效率，可以先对干扰信息进行过滤。在其中一个实施例中，可以预先设置一个的体温区间，仅对该体温区间内的温度进行计算，体温区间不宜过小或过大，由此可以过滤到无效的温度信息，也避免将有效的信息也误过滤掉。在一些实施例中，所述预设的体温区间的中心点的取值范围可以为36℃-38℃，区间大小的取值范围可以为6℃-12℃。在一个实施例中，考虑到人体的平均温度为37℃左右，可以将体温区间的中心点设置为37℃、区间大小设置为10℃，此时的预设的体温区间为32℃-42℃，即对于红外测温摄像头输出的温度>42℃和温度<32℃的像素点不予考虑。此外，除了采用体温区间进行干扰信息的过滤，考虑到便携式测温的场景随着使用者的移动而变化，测温场景中存在较多的符合体温区间的干扰因素，例如红外相机视场中可能出现路灯、非待测的人脸等，因此在红外图像中也可能产生符合体温区间的温度信号，因此除了采用体温区间过滤，还可以进行区域的像素点总数的判断，即对于符合体温区间的区域，还可以判断该区域内的像素点的总数是否大于像素点阈值，若小于像素点阈值，可以认为该区域并不符合待测人脸的大小，则可以排除该区域。若像素点阈值取值设置过低，可能会产生较多的干扰信号，影响红外测温的准确性，若像素点阈值设置过高，则可能会过滤掉有效信号，也会影响测温的准确性。在一些实施例中，所述像素点阈值的范围可以为红外相机的像素点总数的5％-20％，例如对于分辨率为400X300的红外相机，即像素点阈值可以为600-2400个。

接下来，在步骤S4中，根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域。在其中一种实施方式中，对于需要提高测温的精度，可以对所述人脸区域和体温区域进行逻辑与操作，确定感兴趣区域。具体而言，若在红外图像上，对于既属于人脸区域、又属于体温区域的区域，可以确定为带有有效体温信息的区域，并将该区域的数据进行输出。由此，可以减少因人脸区域存在遮挡物而造成的精度下降。在另一种实施方式中，为了避免漏检的情况，可以将非人脸区域和体温区域进行逻辑与操作，确定感兴趣区域。具体而言，由于对于未检测出人脸区域的部分，若存在有符合人体体温的部分，也可以作为感兴趣区域，进行下一步计算。由此可以避免因未检测出人脸而造成的漏检。

接下来，在步骤S5中，根据预设的算法，计算所述感兴趣区域的平均温度。具体地，预设的算法可以为区域均值算法，即直接将感兴趣区域内的所有像素点的温度值取平均值进行输出。在另一个实施例中，预设的算法可以为加权均值算法，即对于不同的像素点，设置不同的权重，以减少误差。例如，对于越接近正常人体温度的数值给予更高的权重，也可以对靠近感兴趣区域中心的部分给予更高的权重，或者可以对于人脸模型的某些部位(例如额头)给予更高的权重。

在本发明的一个或多个实施例中，若拍摄的红外照片中存在有多个人脸，则可以将检测到的每一个人脸区域作为一个感兴趣区域，分别计算每个感兴趣区域的温度，由此可以实现多人测温的技术效果。在人流量密集的场所中，多人测温可以大大提高体温筛查的效率。

根据本发明的另一方面，本发明的一个或多个实施例还公开了一种AR测温眼镜，如图6所示，所述AR测温眼镜1包括，红外测温摄像头2，用于输出红外图像和温度分布图，处理器，存储器，用于储存计算机指令，当所述计算机指令被处理器执行时，使得：

红外测温摄像头获取红外图像和温度分布图；

对所述红外图像进行人脸分析，获取人脸区域；

对所述温度分布图进行温度分析，确定体温区域；

根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；

根据预设的算法，计算所述感兴趣区域的平均温度；

显示装置，用于增强现实地显示所述平均温度。

AR眼镜的显示装置通常采用光波导或自由曲面等半透半反的显示技术，用户可以通过AR眼镜观测到真实场景的信息，并且可以看到附加在真实场景上的增强现实信息。对于本发明的实施方式来说，人体的体温信息为增强现实信息，通过将增强现实信息对应显示到实际的被测人体上，可以协助迅速筛查出发热人员，提高用户体验。

可选地，可以在AR眼镜1上使用RGB摄像头3进行人脸识别，从而获取被测人员的身份信息，并将身份信息和体温数据进行绑定，实现体温数据的管理。

由于AR眼镜便于携带，可以解放双手，因此在防疫测温筛查中是优选地终端设备。具体在AR眼镜存储器中存储的计算指令所实现的功能以及在本文的一种基于红外图像人脸检测的体温测量的方法的具体实施方式中进行描述，在此不再赘述。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于红外图像人脸检测的体温测量的方法，包括，

通过红外测温摄像头获取红外图像和温度分布图；

基于所述红外图像，进行人脸分析，获取人脸区域；

基于所述温度分布图，进行温度分析，确定体温区域；

根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；

根据预设的算法，计算所述感兴趣区域的平均温度；

其中基于所述红外图像，进行人脸分析，获取人脸区域，进一步包括：

将所述红外图像输入训练好的人体算法模块，

所述人体算法模块输出人脸区域，所述人脸区域包含人脸所包含的像素点位置；

其中，人体算法模块基于神经网络结构单元构建，所述人体算法模块包含人脸检测模块；

所述人体算法模块还包括人脸识别模块，所述人脸识别模块用于在多人测温场景下对多个人脸区域提取区分性特征，并对红外图像中的所有人脸区域分析，对相同的人脸进行聚合，并输出人脸ID；

其中根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域，进一步包括：

对所述人脸区域和体温区域进行逻辑与操作，确定感兴趣区域。

2.根据权利要求1所述的方法，其中所述神经网络结构单元为循环神经网络层。

3.根据权利要求1所述的方法，进一步包括：

通过所述人体算法模块输出的人脸区域的一个或多个参数，估算被测人脸和红外测温摄像头的测温距离，并通过测温距离对感兴趣区域的平均温度进行校正。

4.根据权利要求1所述的方法，其中，所述基于所述温度分布图，进行温度分析，确定体温区域，进一步包括：

根据预设的体温区间及像素点阈值，确定体温区域。

5.根据权利要求4所述的方法，进一步包括：

所述预设的体温区间的中心点的值的范围36-38℃，区间大小的范围为8-12℃，所述像素点阈值的范围为红外测温摄像头的像素点总数的5％-20％，

当所述预设的体温区间内的像素点的个数大于像素点阈值时，将预设的体温区间内的像素点的范围确定为体温区域。

6.根据权利要求1所述的方法，其中根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域，进一步包括：

将非人脸区域和体温区域进行逻辑与操作，确定感兴趣区域。

7.根据权利要求1所述的方法，根据预设的算法，计算所述感兴趣区域的平均温度，进一步包括：

所述预设的算法为区域均值算法。

8.一种测温AR眼镜，包括，

红外测温摄像头，用于输出红外图像和温度分布图，

处理器，

存储器，用于储存计算机指令，当所述计算机指令被处理器执行时，使得：

红外测温摄像头获取红外图像和温度分布图；

对所述红外图像进行人脸分析，获取人脸区域；

对所述温度分布图进行温度分析，确定体温区域；

根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域；

根据预设的算法，计算所述感兴趣区域的平均温度；

显示装置，用于增强现实地显示所述平均温度；

其中基于所述红外图像，进行人脸分析，获取人脸区域，进一步包括：

将所述红外图像输入训练好的人体算法模块，

所述人体算法模块输出人脸区域，所述人脸区域包含人脸所包含的像素点位置；

其中，人体算法模块基于神经网络结构单元构建，所述人体算法模块包含人脸检测模块；

所述人体算法模块还包括人脸识别模块，所述人脸识别模块用于在多人测温场景下对多个人脸区域提取区分性特征，并对红外图像中的所有人脸区域分析，对相同的人脸进行聚合，并输出人脸ID；

其中根据所述体温区域，对所述人脸区域进行校准，确认感兴趣区域，进一步包括：

对所述人脸区域和体温区域进行逻辑与操作，确定感兴趣区域。

Images