CN112712059A - 基于红外热图像和rgb图像的活体人脸识别方法 - Google Patents
基于红外热图像和rgb图像的活体人脸识别方法 Download PDFInfo
- Publication number
- CN112712059A CN112712059A CN202110053817.5A CN202110053817A CN112712059A CN 112712059 A CN112712059 A CN 112712059A CN 202110053817 A CN202110053817 A CN 202110053817A CN 112712059 A CN112712059 A CN 112712059A
- Authority
- CN
- China
- Prior art keywords
- infrared thermal
- image
- face
- face recognition
- thermal image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Abstract
本发明公开了基于红外热图像和RGB图像的活体人脸识别方法，包括如下步骤：分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果；在所述S2的人脸识别结果中，利用所述比例关系对人脸识别结果进行相互投影，根据投影结果判断是否为活体人脸。本发明的基于红外热图像和RGB图像的活体人脸识别方法，通过首先比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系，然后分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果，利用所述比例关系对人脸识别结果进行相互投影，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。
Description
技术领域
本发明属于人脸识别技术领域，具体涉及一种基于红外热图像和RGB图像的活体人脸识别方法。
背景技术
人脸识别是人工智能领域中的重点研究方向，其在身份认证、刷脸支付以及人机交互等方向应用极其广泛。
目前的人脸识别多采用传统的二维人脸识别方式，但是，光照环境的变化会引起人脸表面对光的反射情况发生变化，从而使得二维人脸图像的纹理发生变化，不同的光照环境在二维人脸图像上会产生不同的阴影，从而导致人脸图像中部分特征消失。
发明内容
为了解决上述问题，本发明提供一种基于红外热图像和RGB图像的活体人脸识别方法，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。
本发明所采用的技术方案是：
一种基于红外热图像和RGB图像的活体人脸识别方法，包括如下步骤：
S1、通过比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系；
S2、分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果；
S3、在所述S2的人脸识别结果中，利用所述比例关系对人脸识别结果进行相互投影，根据投影结果判断是否为活体人脸。
优选地，还包括：S4、固定时间内检测红外热图像和RGB图像上是否有眨眼动作，进而双重判断是否为活体人脸。
优选地，所述比例关系包括放大比例系数和区域重心偏移量，所述放大比例系数包括长放大比例系数、宽放大比例系数。
优选地，所述S3，具体包括如下步骤：
S31、将所述红外热图像的长和宽分别乘以对应的放大比例系数，得到放大后的红外热图像；
S32、将所述RGB图像识别的人脸区域进行二值化处理后，通过对应的区域重心偏移量计算出所述RGB图像投影到放大后的红外热图像上的重心坐标，判断是否有超过预设比例的点投影在所述放大后的红外热图像；
将所述放大后的红外热图像识别的人脸区域进行二值化处理后，通过对应的区域重心偏移量计算出所述放大后的红外热图像投影到RGB图像上的重心坐标，判断是否有超过预设比例的点投影在所述RGB图像；
S33、若所述RGB图像有超过预设比例的点投影在所述放大后的红外热图像，同时所述放大后的红外热图像有超过预设比例的点投影在所述RGB图像，则判断为活体人脸，反之，则不是活体人脸。
优选地，所述S4，具体包括如下步骤：
S41、在所述人脸识别结果中检测人脸五官的位置；
S42、采用固定时间的时间窗口依次滑动采集人脸图像；
S43、判断是否有第一固定帧数的连续图像为睁眼状态以及第二固定帧数的连续图像为闭眼状态，若是，则判断有眨眼行为为活体人脸，反之，则判断无眨眼行为不是活体人脸。
优选地，所述五官具体为眼睛。
优选地，所述S41中，在所述人脸识别结果上采用开源计算机视觉函数库检测五官的位置。
优选地，所述S2中，通过支持向量机对所述红外热图像和RGB图像进行人脸识别。
优选地，所述S2中，通过递归卷积神经网络算法对所述红外热图像和RGB图像进行人脸识别。
优选地，所述红外热图像仪和RGB摄像头平行放置，同时所述热成像仪的坐标系与RGB摄像头的坐标系含有共线的坐标轴。
与现有技术相比，本发明的基于红外热图像和RGB图像的活体人脸识别方法，通过首先比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系，然后分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果，利用所述比例关系对人脸识别结果进行相互投影，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。
附图说明
图1是本发明实施例提供的一种基于红外热图像和RGB图像的活体人脸识别方法的流程图；
图2是本发明实施例提供的一种基于红外热图像和RGB图像的活体人脸识别方法的具体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于红外热图像和RGB图像的活体人脸识别方法，如图1-2所示，包括如下步骤：
S1、通过比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系；
S2、分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果；
S3、在所述S2的人脸识别结果中，利用所述比例关系对人脸识别结果进行相互投影，根据投影结果判断是否为活体人脸。
这样，通过首先比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系，然后分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果，利用所述比例关系对人脸识别结果进行相互投影，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。
其中，所述红外热图像仪和RGB摄像头平行放置，同时所述热成像仪的坐标系与RGB摄像头的坐标系含有共线的坐标轴。即红外热图像仪和RGB摄像头构成双目立体视觉系统，安装时将红外热图像仪摄像头和RGB摄像头平行放置，也就是使两个摄像头的光轴呈现互相平行的状态，并且热成像仪摄像头坐标系与可见光摄像头的坐标系含有共线的坐标轴，则两台相机的成像平面尽量共面，两台相机之间的距离是固定值，在此，假设两个安装的摄像头之间没有旋转角度(即三个轴的旋转角度为0)，只有平移向量，即平移向量为T。
其中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。RGB图像是指用RGB颜色模式来显示的图像，这种图像只有通过电视、电脑等用光来表现颜色的媒介才能观看
其中，OpenCV函数库是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
还包括：S4、固定时间内检测红外热图像和RGB图像上是否有眨眼动作，进而双重判断是否为活体人脸。
这样，当S3中人脸方识别的方式存在误差时，还可通过固定时间内检测红外热图像和RGB图像上是否有眨眼动作，进而双重判断是否为活体人脸，提高人脸识别准确度。
所述比例关系包括放大比例系数和区域重心偏移量，所述放大比例系数包括长放大比例系数、宽放大比例系数。
所述S3，具体包括如下步骤：
S31、将所述红外热图像的长和宽分别乘以对应的放大比例系数，得到放大后的红外热图像；
S32、将所述RGB图像识别的人脸区域进行二值化处理后，通过对应的区域重心偏移量计算出所述RGB图像投影到放大后的红外热图像上的重心坐标，判断是否有超过预设比例的点投影在所述放大后的红外热图像；
将所述放大后的红外热图像识别的人脸区域进行二值化处理后，通过对应的区域重心偏移量计算出所述放大后的红外热图像投影到RGB图像上的重心坐标，判断是否有超过预设比例的点投影在所述RGB图像；
S33、若所述RGB图像有超过预设比例的点投影在所述放大后的红外热图像，同时所述放大后的红外热图像有超过预设比例的点投影在所述RGB图像，则判断为活体人脸，反之，则不是活体人脸。
这样，通过S31、将红外图像上的长和宽分别乘以kx和ky；
S32、将在RGB图像上识别的人脸进行二值化处理，背景用0表示，人脸区域用255表示，从而计算该人脸区域的重心坐标(cxv,cyv)，将人脸上的每个点投影到红外成像仪成像的图像上；
即计算重心偏移量Δx＝cvr-cxv，Δy＝cyr-cyv，将人脸上的每个点投影到红外成像仪成像的图像上，设RGB图像上的坐标为(xv,yv),热成像仪上所成像的图像为坐标为(xr,yr)，从RGB图像上的点投影到红外成像仪区域的坐标为(x′r,y′r)；对应关系为：
若从RGB图像上检测人脸区域中有60％以上的点投影到红外成像仪区域，即为Tvr。
将红外成像仪上的图像上提取的人脸区域，进行二值化处理，背景用0表示，人脸区域用255表示，从而计算该人脸区域的重心坐标(cxr,cyr)，将红外成像仪图像上的人脸区域投影到RGB图像上；
即从红外成像仪获取的图像上探测的人脸区域内任意坐标点投影到RGB图像上，坐标表示为(x′v,y′v)，红外成像仪上检测的人脸区域与RGB图像上的对应关系：
若从红外成像仪上检测人脸区域中有60％以上的点投影到RGB检测的区域，即为Trv；
S33、若A＝Tvr&Trv为真，则说明可判断为带温度的脸，该结果用A表示。
所述S2中，分别对所述红外热图像和RGB图像的进行人脸识别，可以采用递归卷积神经网络算法(即FasterR-CNN)将传统的提取目标的方法替换成网络训练来实现，使得全流程的检测、分类速度大幅提升。基本结构如下：①特征提取部分：用一串卷积+pooling从原图中提取出feature map；②RPN部分：通过网络训练的方式从feature map中获取目标的大致位置；③Proposal Layer部分：利用RPN获得的大致位置，继续训练，获得更精确的位置；④ROI Pooling部分：利用前面获取到的精确位置，从feature map中抠出要用于分类的目标，并pooling成固定长度的数据；其中，还可以通过支持向量机(即OpenCV函数库)对所述红外热图像和RGB图像进行人脸识别。
其中，网络训练是指向网络提供足够多的样本，通过一定算法调整网络的结构(主要是调节权值)，使网络的输出与预期值相符，这样的过程就是神经网络训练。
所述S4，具体包括如下步骤：
S41、在所述人脸识别结果中检测人脸五官的位置；
S42、采用固定时间的时间窗口依次滑动采集人脸图像；
S43、判断是否有第一固定帧数的连续图像为睁眼状态以及第二固定帧数的连续图像为闭眼状态，若是，则判断有眨眼行为为活体人脸，反之，则判断无眨眼行为不是活体人脸。
这样，通过判断的带温度的脸可能会带来判断误差，再次判断人的眨眼情况，首先采用开源计算机视觉函数库在所述人脸识别结果中检测人脸五官的位置，采用固定时间的时间窗口依次滑动采集人脸图像，然后判断是否有第一固定帧数的连续图像为睁眼状态以及第二固定帧数的连续图像为闭眼状态，若是，则判断有眨眼行为为活体人脸，反之，则判断无眨眼行为不是活体人脸。
其中，所述五官具体为眼睛。
这样，通过五官包括两个眼睛来检测对应的人脸，同时，在后期更加精确的人脸识别过程中，还可以检测鼻子、嘴巴、眉毛、耳朵等其他脸部特征。
本发明的基于红外热图像和RGB图像的活体人脸识别方法，通过首先比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系，然后分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果，利用所述比例关系对人脸识别结果进行相互投影，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，包括如下步骤：
S1、通过比较待识别人脸对应的红外热图像与RGB图像，进而计算出红外热图像和RGB图像的比例关系；
S2、分别对所述红外热图像和RGB图像的进行人脸识别，获取人脸识别结果；
S3、在所述S2的人脸识别结果中，利用所述比例关系对人脸识别结果进行相互投影，根据投影结果判断是否为活体人脸。
2.根据权利要求1所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，还包括：
S4、固定时间内检测红外热图像和RGB图像上是否有眨眼动作，进而双重判断是否为活体人脸。
3.根据权利要求1所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述比例关系包括放大比例系数和区域重心偏移量，所述放大比例系数包括长放大比例系数、宽放大比例系数。
4.根据权利要求3所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述S3，具体包括如下步骤：
S31、将所述红外热图像的长和宽分别乘以对应的放大比例系数，得到放大后的红外热图像；
S32、将所述RGB图像识别的人脸区域进行二值化处理后，通过对应的区域重心偏移量计算出所述RGB图像投影到放大后的红外热图像上的重心坐标，判断是否有超过预设比例的点投影在所述放大后的红外热图像；
将所述放大后的红外热图像识别的人脸区域进行二值化处理后，通过对应的区域重心偏移量计算出所述放大后的红外热图像投影到RGB图像上的重心坐标，判断是否有超过预设比例的点投影在所述RGB图像；
S33、若所述RGB图像有超过预设比例的点投影在所述放大后的红外热图像，同时所述放大后的红外热图像有超过预设比例的点投影在所述RGB图像，则判断为活体人脸，反之，则不是活体人脸。
5.根据权利要求1所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述S4，具体包括如下步骤：
S41、在所述人脸识别结果中检测人脸五官的位置；
S42、采用固定时间的时间窗口依次滑动采集人脸图像；
S43、判断是否有第一固定帧数的连续图像为睁眼状态以及第二固定帧数的连续图像为闭眼状态，若是，则判断有眨眼行为为活体人脸，反之，则判断无眨眼行为不是活体人脸。
6.根据权利要求5所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述五官具体为眼睛。
7.根据权利要求5所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述S41中，在所述人脸识别结果上采用开源计算机视觉函数库检测五官的位置。
8.根据权利要求1-7任一项所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述S2中，通过支持向量机对所述红外热图像和RGB图像进行人脸识别。
9.根据权利要求1-7任一项所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述S2中，通过递归卷积神经网络算法对所述红外热图像和RGB图像进行人脸识别。
10.根据权利要求1-7任一项所述的基于红外热图像和RGB图像的活体人脸识别方法，其特征在于，所述红外热图像仪和RGB摄像头平行放置，同时所述热成像仪的坐标系与RGB摄像头的坐标系含有共线的坐标轴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110053817.5A CN112712059A (zh) | 2021-01-15 | 2021-01-15 | 基于红外热图像和rgb图像的活体人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110053817.5A CN112712059A (zh) | 2021-01-15 | 2021-01-15 | 基于红外热图像和rgb图像的活体人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112712059A true CN112712059A (zh) | 2021-04-27 |
Family
ID=75549087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110053817.5A Pending CN112712059A (zh) | 2021-01-15 | 2021-01-15 | 基于红外热图像和rgb图像的活体人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712059A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408377A (zh) * | 2021-06-03 | 2021-09-17 | 山东交通学院 | 基于温度信息的人脸活体检测方法 |
| CN113963425A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN115115737A (zh) * | 2022-08-29 | 2022-09-27 | 深圳市海清视讯科技有限公司 | 热成像中伪影的识别方法、装置、设备、介质及程序产品 |
-
2021
- 2021-01-15 CN CN202110053817.5A patent/CN112712059A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408377A (zh) * | 2021-06-03 | 2021-09-17 | 山东交通学院 | 基于温度信息的人脸活体检测方法 |
| CN113963425A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN115115737A (zh) * | 2022-08-29 | 2022-09-27 | 深圳市海清视讯科技有限公司 | 热成像中伪影的识别方法、装置、设备、介质及程序产品 |
| CN115115737B (zh) * | 2022-08-29 | 2023-01-06 | 深圳市海清视讯科技有限公司 | 热成像中伪影的识别方法、装置、设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107480613B (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
| CN112712059A (zh) | 基于红外热图像和rgb图像的活体人脸识别方法 | |
| CN108764071B (zh) | 一种基于红外和可见光图像的真实人脸检测方法及装置 | |
| US10002463B2 (en) | Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color | |
| Chang et al. | Tracking Multiple People Under Occlusion Using Multiple Cameras. | |
| JP6377863B2 (ja) | 反射マップ表現による奥行きマップ表現の増補 | |
| Nayar et al. | Computing reflectance ratios from an image | |
| CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
| JP2011198349A (ja) | 情報処理方法及びその装置 | |
| KR20190097640A (ko) | 영상 정합 방법 및 장치 | |
| US10043279B1 (en) | Robust detection and classification of body parts in a depth map | |
| JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
| CN106372629A (zh) | 一种活体检测方法和装置 | |
| CN110956114A (zh) | 人脸活体检测方法、装置、检测系统及存储介质 | |
| KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
| Xu et al. | Integrated approach of skin-color detection and depth information for hand and face localization | |
| Huerta et al. | Chromatic shadow detection and tracking for moving foreground segmentation | |
| CN111368601A (zh) | 活体检测方法和装置、电子设备和计算机可读存储介质 | |
| JP2018156408A (ja) | 画像認識撮像装置 | |
| CN112257641A (zh) | 一种人脸识别活体检测方法 | |
| JP4729188B2 (ja) | 視線検出装置 | |
| KR100943218B1 (ko) | 컬러 교정을 이용한 3차원 모델 생성 방법 | |
| US20150199579A1 (en) | Cooperative vision-range sensors shade removal and illumination field correction | |
| JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
| Spremolla et al. | RGB-D and thermal sensor fusion-application in person tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |