CN108764057A - 一种基于深度学习的远红外人体面部检测方法及系统 - Google Patents

Abstract

本发明属于计算机领域，公开了一种基于深度学习的远红外人体面部检测方法及系统，所述方法包括获取实时远红外图像，通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别；所述系统包括红外图像采集模块以及人体面部目标识别模块，所述红外图像采集模块用于获取实时远红外图像，所述人体面部目标识别模块用于通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。本发明的目的在于通过深度学习算法直接定位远红外图像中的人体面部目标，从而实现只对人体面部目标进行测温，从而可以降低虚警干扰，有效提高了通过远红外图像检验检疫异常人体的效率。

Description

一种基于深度学习的远红外人体面部检测方法及系统

技术领域

本发明属于计算机领域，更具体地，涉及一种基于深度学习的远红外人体面部检测方法及系统。

背景技术

红外热成像技术已经广泛应用于海关出入境口岸的检验检疫通道，实现对出入境人员的实时测温检测，因其具备操作简便、非接触、验放效率高等特点，故该技术的应用减少了人员之间的直接接触，避免交叉感染，提高了安全性。热红外成像技术在出入境检验检疫的实际应用中，是通过使用红外热像仪对场景中的人体目标进行检测，并对高于正常人体温度的目标进行报警和分流处理。

目前在红外图像领域中，一种人脸信息提取方式是基于运动目标分割法提取人体信息，人脸信息是在人体信息的基础上根据相对位置关系得到的；另一种人脸信息提取方式是基于可见光图像的人脸检测算法，将检测得到的可见光图像上人脸的形状和位置，作为红外热图像上人脸检测的初始位置，再利用红外图像对应区域的均值和方差信息进行确认是不是人脸。这两种人脸信息提取的方式的复杂性较高，从而降低了检验检疫的效率。

另外，传统的检验检疫方式是对红外图像的全图进行测温，这种测温方式由于旅客随身携带如水杯等高温行李物品，或者阳光辐射造成服饰温度高于人体正常温度，导致检测存在虚警，从而影响检测的准确性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的远红外人体面部检测方法及系统，其目的在于通过深度学习算法直接定位远红外图像中人体面部区域从而可以直接对面部温度进行测温，由此解决目前检验检疫过程中存在的虚警干扰以及检测准确性低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的远红外人体面部检测方法，包括以下步骤：

获取实时远红外图像；

通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。

优选地，所述基于深度学习的远红外人体面部检测方法还包括：

获得深度卷积神经网络分类器；

所述获得深度卷积神经网络分类器包括以下步骤：

获取远红外图像样本；

标记所述远红外图像样本中的人体面部目标；

获得所述远红外图像样本中的人体面部目标的深度卷积神经网络；

通过深度学习算法训练所述人体面部目标的深度卷积神经网络；

获得所述深度卷积神经网络分类器。

作为进一步优选地，所述标记所述远红外图像样本中的人体面部目标包括以下步骤：

获得所述远红外图像样本对应的标记文件，所述标记文件包括所述远红外图像样本中的人体面部目标个数以及人体面部目标的像素坐标位置。

作为更进一步优选地，在所述获得所述远红外图像样本中的人体面部目标的深度卷积神经网络以及所述通过深度学习算法训练所述人体面部目标的深度卷积神经网络之间包括以下步骤：

将所述远红外图像样本以及其对应的标记文件输入到深度卷积神经网络中。

优选地，在所述通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别之后，包括以下步骤：

根据识别得到的人体面部目标获得测温结果。

作为进一步优选地，在所述根据识别得到的人体面部目标获得测温结果之后，包括以下步骤：

对测温结果大于阈值的人体面部目标对应的人体进行报警，获得报警信号。

优选地，所述人体面部目标的分辨率大于或等于20×20。

按照本发明的另一个方面，本发明还提供了一种基于深度学习的远红外人体面部检测系统，包括：

红外图像采集模块以及人体面部目标识别模块；

所述红外图像采集模块用于获取实时远红外图像；

所述人体面部目标识别模块用于通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。

优选地，所述基于深度学习的远红外人体面部检测系统还包括：

深度卷积神经网络分类器训练模块；

所述深度卷积神经网络分类器训练模块用于获得深度卷积神经网络分类器；

所述深度卷积神将网络分类器训练模块包括样本数据采集模块、目标标记模块、深度卷积神经网络获得模块以及训练模块；

所述样本数据采集模块用于获取远红外图像样本；

所述目标标记模块用于标记所述远红外图像样本中的人体面部目标；

所述深度卷积神经网络获得模块用于获得所述远红外图像样本中的人体面部目标的深度卷积神经网络；

所述训练模块用于通过深度学习算法训练所述人体面部目标的深度卷积神经网络并获得所述深度卷积神经网络分类器。

优选地，所述基于深度学习的远红外人体面部检测系统还包括：

测温模块以及报警模块；

所述测温模块用于根据识别得到的人体面部目标获得测温结果；

所述报警模块用于对测温结果大于阈值的人体面部目标对应的人体进行报警，获得报警信号。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于本发明是直接对远红外图像进行人体面部目标定位，能够取得下列有益效果。

1、本发明是直接将获取的实时远红外图像通过深度卷积神经网络分类器进行人体面部目标识别，而不依赖于可见光图像和人体目标，而且本发明所述的深度卷积神经网络分类器的获得是通过标记远红外图像样本中的人体面部目标以获得远红外图像样本对应的标记文件，通过将远红外图像样本及其对应的标记文件输入到深度卷积神经网络中以训练远红外图像样本中的人体面部目标的深度卷积神经网络，而不需要提取远红外图像样本的图像特征，这种人体面部目标检测方法可以提高检验检疫的效率；

2、本发明是根据识别得到的人体面部目标获得测温结果以根据测温结果判断是否存在异常人体，这种方法避免了全图测温造成的虚警过多问题，减少了虚警干扰，提高了检测的准确性。

附图说明

图1是本发明具体实施例的基于深度学习的远红外人体面部检测方法流程图；

图2是本发明具体实施例的获得深度卷积神经网络分类器的流程图；

图3是本发明具体实施例的基于深度学习的远红外人体面部检测系统的结构图；

图4是本发明具体实施例的深度卷积神经网络分类器训练模块的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于深度学习的远红外人体面部检测方法及系统，其目的在于通过深度学习算法直接定位远红外图像中的人体面部目标，从而实现只对人体面部目标进行测温，从而可以降低虚警干扰，有效提高了通过远红外图像检验检疫异常人体的效率。

其中，如图1所示，所述基于深度学习的远红外人体面部检测方法包括以下步骤：

获取实时远红外图像；

通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。

所述深度卷积神经网络分类器为训练好的深度卷积神经网络分类器。

在本发明的具体实施例中，所述通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别具体为，采用训练好的深度卷积神经网络分类器对获取的当前帧图像，即为实时远红外图像，通过图像块进行遍历搜索，判断图像块是否满足深度卷积神经网络分类器的输出结果，是则判定为该图像块为人体面部目标，并获得该人体面部区域的坐标和尺寸信息，否则继续检测下一帧图像。

所述基于深度学习的远红外人体面部检测方法还包括：

获得深度卷积神经网络分类器。

如图2所示，所述获得深度卷积神经网络分类器包括以下步骤：

获取远红外图像样本；

标记所述远红外图像样本中的人体面部目标；

获得所述远红外图像样本中的人体面部目标的深度卷积神经网络；

通过深度学习算法训练所述人体面部目标的深度卷积神经网络；

获得所述深度卷积神经网络分类器。

其中，所述实时远红外图像以及所述远红外图像样本可通过红外热成像技术获取，例如，可通过红外热像仪获取。在本发明的具体实施例中，远红外图像样本的获取具体为将红外热像仪安装至固定位置，由于人一般是从远到近行走状态，目标距离一般是0-20米不等，因此可根据实际应用场景中人体与红外热像仪之间的距离，采集保存实时应用场景中距离不等的人体红外图像序列，作为远红外图像样本。

所述标记所述远红外图像样本中的人体面部目标包括以下步骤：

获得所述远红外图像样本对应的标记文件，所述标记文件包括所述远红外图像样本中的人体面部目标个数以及人体面部目标的像素坐标位置。

在本发明的具体实施例中，所述标记所述远红外图像样本中的人体面部目标具体为，利用标记工具软件或者人工标记方法将获取到的远红外图像样本中的人体面部区域用矩形框标记，同时在被标记的远红外图像样本的同一目录下保存一个与远红外图像样本同名的标记文件，所述标记文件可以为文本文件，所述标记文件作为保存每帧图像目标信息的文件，所述标记文件中包括目标个数以及目标矩形区域的像素坐标位置，所述目标矩形区域的像素坐标位置具体包括目标矩形区域的类别标记、目标矩形区域的起始坐标以及目标矩形区域的宽高，所述标记文件也可以包括远红外图像样本中人体面部目标相对于全图分辨率的宽高比例参数值。

在本发明的具体实施例中，所述获得所述远红外图像样本中的人体面部目标的深度卷积神经网络具体为：

设计所述远红外图像样本中的人体面部目标对应的深度学习卷积神经网络的卷积层算法，所述卷积层算法用于训练所述远红外图像样本中的人体面部目标。

在所述获得所述远红外图像样本中的人体面部目标的深度卷积神经网络以及所述通过深度学习算法训练所述人体面部目标的深度卷积神经网络之间包括以下步骤：

将所述远红外图像样本以及其对应的标记文件输入到深度卷积神经网络中。

在所述通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别之后，包括以下步骤：

根据识别得到的人体面部目标获得测温结果。

在本发明的具体实施例中，所述根据识别得到的人体面部目标获得测温结果具体为，对检测到的实时远红外图像中的人体面部目标的所有像素原值，利用热像仪出厂前标定好的温度曲线进行查表测温，得到实时场景中人体面部目标的准确测温结果。

在所述根据识别得到的人体面部目标获得测温结果之后，包括以下步骤：

对测温结果大于阈值的人体面部目标对应的人体进行报警，获得报警信号。

所述阈值为人体面部目标的正常温度，在本发明的具体实施例中，所述阈值可以根据实际应用需要进行设置，例如，人体正常温度在36.5℃～37.5℃范围内，所述阈值可以根据人体正常温度范围设置为38℃，即可以对人体面部温度大于38℃的异常温度的人体进行报警或分流处理。

在本发明的具体实施例中，所述人体面部目标的分辨率大于或等于20×20，其中，分辨率越大越好。

如图3所示，所述基于深度学习的远红外人体面部检测系统包括：

红外图像采集模块以及人体面部目标识别模块；所述红外图像采集模块的输出端连接所述人体面部目标识别模块的第一输入端。

所述红外图像采集模块用于获取实时远红外图像。

所述人体面部目标识别模块用于通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。

所述基于深度学习的远红外人体面部检测系统还包括：

深度卷积神经网络分类器训练模块；所述深度卷积神经网络分类器训练模块的输出端连接所述人体面部目标识别模块的第二输入端。

所述深度卷积神经网络分类器训练模块用于获得深度卷积神经网络分类器。

如图4所示，所述深度卷积神将网络分类器训练模块包括样本数据采集模块、目标标记模块、深度卷积神经网络获得模块以及训练模块；所述样本数据采集模块的输入端作为所述深度卷积神经网络分类器训练模块的第一输入端，所述深度卷积神经网络获得模块的输入端作为所述深度卷积神经网络分类器训练模块的第二输入端，所述样本数据采集模块的第一输出端连接所述目标标记模块的输入端，所述深度卷积神经网络获得模块的输出端连接所述训练模块的第一输入端，所述样本数据采集模块的第二输出端连接所述训练模块的第二输入端，所述目标标记模块的输出端连接所述训练模块的第三输入端，所述训练模块的输出端作为所述深度卷积神经网络分类器训练模块的输出端。

所述样本数据采集模块用于获取远红外图像样本。

所述目标标记模块用于标记所述远红外图像样本中的人体面部目标。

所述深度卷积神经网络获得模块用于获得所述远红外图像样本中的人体面部目标的深度卷积神经网络。

所述训练模块用于通过深度学习算法训练所述人体面部目标的深度卷积神经网络并获得所述深度卷积神经网络分类器。

所述基于深度学习的远红外人体面部检测系统还包括：

测温模块以及报警模块；所述人体面部目标识别模块的输出端连接所述测温模块的输入端，所述测温模块的输出端连接所述报警模块的输入端。

所述测温模块用于根据识别得到的人体面部目标获得测温结果。

所述报警模块用于对测温结果大于阈值的人体面部目标对应的人体进行报警，获得报警信号。

在本发明的具体实施例中，所述基于深度学习的远红外人体面部目标检测方法和系统是相互对应的。

本发明提供的一种基于深度学习的远红外人体面部目标检测方法及系统可以避免在检验检疫过程中由于人体随身携带如水杯等高温行李物品或者由于阳光辐射造成人体服饰温度高于人体正常温度的异常现象，从而可以降低检验检疫过程中的虚警干扰，提高检测的准确性；而且本发明所述的基于深度学习的远红外人体面部目标检测方法及系统处理的数据为原始热分布数据，训练的深度卷积神经网络分类器是对输入的原始红外图像直接进人体体面部目标提取，而不需要先提取图像特征，再与保存的特征进行匹配，从而可以提高检验检疫过程中的效率；另外，由于本发明是先定位人体面部目标区域，限定了红外测温的范围，从而解决了传统红外检验检疫过程中全图测温方法造成虚警过多的问题。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的远红外人体面部检测方法，其特征在于，包括以下步骤：

获取实时远红外图像；

通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。

2.如权利要求1所述的基于深度学习的远红外人体面部检测方法，其特征在于，还包括：

获得深度卷积神经网络分类器；

所述获得深度卷积神经网络分类器包括以下步骤：

获取远红外图像样本；

标记所述远红外图像样本中的人体面部目标；

获得所述远红外图像样本中的人体面部目标的深度卷积神经网络；

通过深度学习算法训练所述人体面部目标的深度卷积神经网络；

获得所述深度卷积神经网络分类器。

3.如权利要求2所述的基于深度学习的远红外人体面部检测方法，其特征在于，所述标记所述远红外图像样本中的人体面部目标包括以下步骤：

获得所述远红外图像样本对应的标记文件，所述标记文件包括所述远红外图像样本中的人体面部目标个数以及人体面部目标的像素坐标位置。

4.如权利要求3所述的基于深度学习的远红外人体面部检测方法，其特征在于，在所述获得所述远红外图像样本中的人体面部目标的深度卷积神经网络以及所述通过深度学习算法训练所述人体面部目标的深度卷积神经网络之间包括以下步骤：

将所述远红外图像样本以及其对应的标记文件输入到深度卷积神经网络中。

5.如权利要求1所述的基于深度学习的远红外人体面部检测方法，其特征在于，在所述通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别之后，包括以下步骤：

根据识别得到的人体面部目标获得测温结果。

6.如权利要求5所述的基于深度学习的远红外人体面部检测方法，其特征在于，在所述根据识别得到的人体面部目标获得测温结果之后，包括以下步骤：

对测温结果大于阈值的人体面部目标对应的人体进行报警，获得报警信号。

7.如权利要求1-6任意一项所述的基于深度学习的远红外人体面部检测方法，其特征在于，所述人体面部目标的分辨率大于或等于20×20。

8.一种基于深度学习的远红外人体面部检测系统，其特征在于，包括：

红外图像采集模块以及人体面部目标识别模块；

所述红外图像采集模块用于获取实时远红外图像；

所述人体面部目标识别模块用于通过深度卷积神经网络分类器对所述实时远红外图像的人体面部目标进行识别。

9.如权利要求8所述的基于深度学习的远红外人体面部检测系统，其特征在于，还包括：

深度卷积神经网络分类器训练模块；

所述深度卷积神经网络分类器训练模块用于获得深度卷积神经网络分类器；

所述深度卷积神将网络分类器训练模块包括样本数据采集模块、目标标记模块、深度卷积神经网络获得模块以及训练模块；

所述样本数据采集模块用于获取远红外图像样本；

所述目标标记模块用于标记所述远红外图像样本中的人体面部目标；

所述深度卷积神经网络获得模块用于获得所述远红外图像样本中的人体面部目标的深度卷积神经网络；

所述训练模块用于通过深度学习算法训练所述人体面部目标的深度卷积神经网络并获得所述深度卷积神经网络分类器。

10.如权利要求8所述的基于深度学习的远红外人体面部检测系统，其特征在于，还包括：

测温模块以及报警模块；

所述测温模块用于根据识别得到的人体面部目标获得测温结果；

所述报警模块用于对测温结果大于阈值的人体面部目标对应的人体进行报警，获得报警信号。