CN111488764B - 一种面向ToF图像传感器的人脸识别方法 - Google Patents

一种面向ToF图像传感器的人脸识别方法 Download PDF

Info

Publication number
CN111488764B
CN111488764B CN201910076379.7A CN201910076379A CN111488764B CN 111488764 B CN111488764 B CN 111488764B CN 201910076379 A CN201910076379 A CN 201910076379A CN 111488764 B CN111488764 B CN 111488764B
Authority
CN
China
Prior art keywords
face
neural network
block
iou
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910076379.7A
Other languages
English (en)
Other versions
CN111488764A (zh
Inventor
徐江涛
史兴萍
于子涵
路凯歌
常宇慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910076379.7A priority Critical patent/CN111488764B/zh
Publication of CN111488764A publication Critical patent/CN111488764A/zh
Application granted granted Critical
Publication of CN111488764B publication Critical patent/CN111488764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

一种面向ToF图像传感器的人脸识别方法，首先对于来自可见光图像传感器的人脸图像用一个多层神经网络进行特征提取，获得其特征的高级表达，进而进行人脸识别，在这个过程中要对人脸区域进行定位，获得人脸区域的框图面积；然后同时应用改进yolo神经网络对来自红外的人脸图像进行目标检测，获得框图表达；将二者框图进行IOU对比，从而判断两个目标是否一致，进而达到对假冒人脸的判断。该算法充分考虑双摄像头系统的特性，针对两种摄像头获得的数据进行处理，保障了一定的可行性；算法基于基于VGG16架构进行改进，使之具备目标检测的功能；最终采用IOU进行对比，将二者信息融合。

Description

一种面向ToF图像传感器的人脸识别方法
技术领域
本发明涉及模式识别领域，尤其涉及在基于连续波飞行时间法(ToF)的图像传感器的人脸识别应用即一种面向ToF图像传感器的人脸识别方法，采用ToF图像传感器获得包含深度信息的人脸图像，进而识别目标。
背景技术
随着深度学习的推广和普及，人脸识别设备已经变成非常常见的设备。人脸作为人体的一个重要外在标志，其检测简单方便，深受市场欢迎。但同时，人脸极容易被照片，视频等冒充，活体和3D人脸检测成为新的研究方向。
解决这一问题，除了通过算法方面的改进，同时在图像传感器方面，结构光和ToF图像传感器的问世，能够直接获得三维信息，从而可以用于真实活体和假冒视频、照片的判断。目前，得益于卷积神经网络(CNN)在图像处理领域的良好表现，针对传统图像的人脸识别发展迅速，但是对于包含红外信息和可视信息的异构人脸识别方法的研究较少，特别是利用卷积神经网络的研究较少，主要问题在于红外深度人脸信息的数据集较少，相关神经网络的训练开展困难。
目前ToF图像传感器在设计上会和普通可见光图像传感器结合，所以认为一个ToF图像传感器获得的信息是同一物体的两种不同性质的表达，即可视图像和红外深度图像。以往的思路是将二者进行融合，从而获得更高级的表达。但是两种本质上不同的信息进行融合会造成很多表达上的错误，所以收益不佳。
发明内容
针对现有技术存在的问题，本明提出了一种面向ToF图像传感器的人脸识别方法，采用双通路思想，将来自于不同类型传感器的信息分别处理。对于可视化的人脸图像，利用深度神经网络进行特征提取，从而达到较高的识别精度，而对于来自于红外的图像信息，采用卷积神经网络获得人脸范围，将两条通路的人脸范围进行对比，进而判断当前输入目标身份以及输入目标是否为三维结构，进而判断目标是否为真实人脸。
一种面向ToF图像传感器的人脸识别方法提出了采用双通路卷积神经网络对来自ToF的两种不同类型的数据进行处理，最终通过IOU(intersection-over-union)函数来建立起两种信息的关联。如图1所示。
首先对于来自可见光图像传感器的人脸图像用一个多层神经网络进行特征提取，获得其特征的高级表达，进而进行人脸识别，在这个过程中要对人脸区域进行定位，获得人脸区域的框图面积；然后同时应用改进yolo神经网络对来自红外的人脸图像进行目标检测，获得框图表达；将二者框图进行IOU对比，从而判断两个目标是否一致，进而达到对假冒人脸的判断。
(1)卷积神经网络进行人脸识别
选择迁移学习的思路来解决神经网络的训练问题，将预训练好的传统VGG-16架构神经网络迁移到第一条通路；原始VGG-16包括13个卷积层,3个全链接层一共16个重要层，而在该算法中，由于包含目标检测，在第六个卷积块中用两层1*1卷积核取代原来的三层全连接层，使得输出中包含对人脸的定位。进而达到目标检测的目的，改进后的网络结构如下表1，共包含六个卷积块，第一块中用两个5*5的卷积核对输入图像进行卷积，填充为1，池化层为最大池化，大小为2*2；第二块中用两个4*4卷积核提取特征，填充为1，池化层采用最大池化，大小为2*2；第三块有三个4*4的卷积核，填充为1，池化层依旧选择最大池化，大小为2*2；第四块中包含三个4*4的卷积核，填充为1，池化层依旧选择最大池化，大小为2*2；第五块中依旧包含三个4*4的卷积核，填充为1，池化层依旧选择最大池化，大小为2*2；最后用两个1*1的卷积核做一次全连接。在输入图像是128*128的情况下，输出到第六块的向量长宽均为4。最后用1*1卷积核整合为一个特征向量；
表1改进VGG16架构
该神经网络的输出最终是包含一个(b1x,b1y,b1w,b1h)的特征表达，上述坐标分别代表可视人脸图中检测的框图的中心点坐标，以及该框图的宽和高；
(2)通过YOLO网络进行红外人脸检测
由于红外人脸图像获得来源的精度问题，用红外信息来实现人脸的高维特征显然是一件超出数据本身能力的事情，针对此现象，本专利设计了利用红外人脸信息实现对当前区域的人脸检测而非识别，这个功能的实现对神经网络的要求不高，所以没有必要采取太过复杂的深层卷积神经网络，利用YOLO神经网络即可实现功能；相对于可视人脸识别，在这里的YOLO人脸检测可以直接借鉴已有网络结构和权重，并加以一定的自我获得的数据集进行训练。与人脸识别对应，该YOLO网络的输出也包含(b2x,b2y,b2w,b2h)的表达，上述坐标分别代表红外人脸中检测的框图的中心点坐标，以及该框图的宽和高；
(3)对比目标
由于人脸识别和人脸检测两条通路针对获得的可视数据和tof数据都进行了人脸检测的描述，为例判定当前目标是否为真实人脸，所以在两者信息的融合过程上，采取IOU函数。目的是衡量两个网络得到的人脸区域的重合度；IOU函数定义为式(1)：
其中DetectionResult1和DetectionResult2分别代表来自两个网络的人脸区域；由上式可以看出，IOU是一个介于0-1的数值，其数值越大，代表两个方框的重合度越大。在实际计算上可根据效果设置IOU的阈值，从而对判断结果进行修正。
一种面向ToF图像传感器的人脸识别方法，在异构人脸识别方面，提出了双通路神经网络结构，针对两种来源不同的人脸数据，根据其图像特性的不同而设计了两种不同结构的神经网络对此进行处理，而后采用IOU函数对两种信息进行融合，简化大量计算，同时实际效果也可以保障。在利用卷积网络对人脸进行识别的通路上，采用基于VGG16架构的改进网络结构，将神经网络最后的全连接层用两个1*1的卷积核取代，从而可以实现对目标人脸方框区域的输出，实质上是将VGG架构和YOLO架构的结合，既能达到特征提取的准确度，又可以快速获得框图。在信息融合上，将用在YOLO中的IOU函数进行迁移，借鉴非极值抑制的思路，设计两种类型图像的信息融合方案，充分利用两类信息之间的关联性，有效解决二者信息融合时计算量过大的问题。
附图说明
图1是面向ToF图像传感器的人脸识别方法的神经网络架构图。
具体实施方式
以下根据附图和实施例对本发明进行详细说明，但是本发明的保护范围不限于此。
一种面向ToF图像传感器的人脸识别方法，在异构人脸识别方面，提出了双通路神经网络结构，针对两种来源不同的人脸数据，根据其图像特性的不同而设计了两种不同结构的神经网络对此进行处理，而后采用IOU函数对两种信息进行融合，简化大量计算，同时实际效果也可以保障。
在利用卷积网络对可视人脸进行识别的通路上，该专利采用基于VGG16架构的改进网络结构，将神经网络最后的全连接层用两个1*1的卷积核取代，从而可以实现对目标人脸方框区域的输出，可以采用预训练的VGG16架构神经网络，可以采取Keras中的应用模块Application提供的带有预训练权重的Keras模型，这里提供的模型包含VGG16的预训练模型。在训练过程中，将新获得的数据输入改进后的VGG网络中，进行较少的训练即可。
在信息融合上，将用在YOLO中的IOU函数进行迁移，借鉴非极值抑制的思路，设计两种类型图像的信息融合方案，充分利用两类信息之间的关联性，有效解决二者信息融合时计算量过大的问题。在将两个框图的IOU进行对比时，理论上讲获得的框图位置和大小应该完全一致，IOU函数理论值为1，但是由于两张图像必然会存在一定偏差，所以设置IOU函数的阈值为0.7左右能够达到检测红外图像和人脸的一致性，进而保障对于目标活体3D身份的鉴定。

Claims (1)

1.一种面向ToF图像传感器的人脸识别方法，其特征在于：
首先对于来自可见光图像传感器的人脸图像用一个多层神经网络进行特征提取，获得其特征的高级表达，进而进行人脸识别，在这个过程中要对人脸区域进行定位，获得人脸区域的框图面积；然后同时应用改进yolo神经网络对来自红外的人脸图像进行目标检测，获得框图表达；将二者框图进行IOU对比，从而判断两个目标是否一致，进而达到对假冒人脸的判断；
(1)卷积神经网络进行人脸识别
选择迁移学习的思路来解决神经网络的训练问题，将预训练好的传统VGG-16架构神经网络迁移到第一条通路；原始VGG-16包括13个卷积层，3个全链接层一共16个重要层，而在该算法中，由于包含目标检测，在第六个卷积块中用两层1*1卷积核取代原来的三层全连接层，使得输出中包含对人脸的定位；进而达到目标检测的目的，改进后的网络结构共包含六个卷积块，第一块中用两个5*5的卷积核对输入图像进行卷积，填充为1，池化层为最大池化，大小为2*2；第二块中用两个4*4卷积核提取特征，填充为1，池化层采用最大池化，大小为2*2；第三块有三个4*4的卷积核，填充为1，池化层依旧选择最大池化，大小为2*2；第四块中包含三个4*4的卷积核，填充为1，池化层依旧选择最大池化，大小为2*2；第五块中依旧包含三个4*4的卷积核，填充为1，池化层依旧选择最大池化，大小为2*2；最后用两个1*1的卷积核做一次全连接；在输入图像是128*128的情况下，输出到第六块的向量长宽均为4；最后用1*1卷积核整合为一个特征向量；
该神经网络的输出最终是包含一个(b1x,b1y,b1w,b1h)的特征表达，上述坐标分别代表可视人脸图中检测的框图的中心点坐标，以及该框图的宽和高；
(2)通过YOLO网络进行红外人脸检测
采用YOLO神经网利用红外人脸信息对当前区域的人脸检测而非识别，YOLO人脸检测直接使用已有网络结构和权重，并以获得的数据集进行训练；与人脸识别对应，该YOLO网络的输出也包含(b2x,b2y,b2w,b2h)的表达，上述坐标分别代表红外人脸中检测的框图的中心点坐标，以及该框图的宽和高；
(3)对比目标
由于人脸识别和人脸检测两条通路针对获得的可视数据和tof数据都进行了人脸检测的描述，判定当前目标是否为真实人脸，所以在两者信息的融合过程上，采取IOU函数，目的是衡量两个网络得到的人脸区域的重合度；IOU函数定义为式(1)：
其中DetectionResult1和DetectionResult2分别代表来自两个网络的人脸区域；由上式可以看出，IOU是一个介于0-1的数值，其数值越大，代表两个方框的重合度越大；在实际计算上可根据效果设置IOU的阈值，从而对判断结果进行修正。
CN201910076379.7A 2019-01-26 2019-01-26 一种面向ToF图像传感器的人脸识别方法 Active CN111488764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910076379.7A CN111488764B (zh) 2019-01-26 2019-01-26 一种面向ToF图像传感器的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910076379.7A CN111488764B (zh) 2019-01-26 2019-01-26 一种面向ToF图像传感器的人脸识别方法

Publications (2)

Publication Number Publication Date
CN111488764A CN111488764A (zh) 2020-08-04
CN111488764B true CN111488764B (zh) 2024-04-30

Family

ID=71812117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910076379.7A Active CN111488764B (zh) 2019-01-26 2019-01-26 一种面向ToF图像传感器的人脸识别方法

Country Status (1)

Country Link
CN (1) CN111488764B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113390515B (zh) * 2021-07-06 2023-03-28 新疆爱华盈通信息技术有限公司 基于双摄像头的多人移动测温方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116763A (zh) * 2013-01-30 2013-05-22 宁波大学 一种基于hsv 颜色空间统计特征的活体人脸检测方法
JP2014219703A (ja) * 2013-04-30 2014-11-20 セコム株式会社 顔認証システム
CN104766063A (zh) * 2015-04-08 2015-07-08 宁波大学 一种活体人脸识别方法
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
WO2016197298A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN107122709A (zh) * 2017-03-17 2017-09-01 上海云从企业发展有限公司 活体检测方法及装置
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
CN108710841A (zh) * 2018-05-11 2018-10-26 杭州软库科技有限公司 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
CN109214353A (zh) * 2018-09-27 2019-01-15 云南大学 一种基于剪枝模型的人脸图像快速检测训练方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117695B (zh) * 2015-08-18 2017-11-24 北京旷视科技有限公司 活体检测设备和活体检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116763A (zh) * 2013-01-30 2013-05-22 宁波大学 一种基于hsv 颜色空间统计特征的活体人脸检测方法
JP2014219703A (ja) * 2013-04-30 2014-11-20 セコム株式会社 顔認証システム
CN104766063A (zh) * 2015-04-08 2015-07-08 宁波大学 一种活体人脸识别方法
WO2016197298A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
CN107122709A (zh) * 2017-03-17 2017-09-01 上海云从企业发展有限公司 活体检测方法及装置
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
CN108710841A (zh) * 2018-05-11 2018-10-26 杭州软库科技有限公司 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
CN109214353A (zh) * 2018-09-27 2019-01-15 云南大学 一种基于剪枝模型的人脸图像快速检测训练方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的人脸表情识别研究;李思泉;张轩雄;;软件导刊(第01期);全文 *
基于卷积神经网络的人脸识别算法;李辉;石波;;软件导刊(第03期);全文 *
基于改进的卷积神经网络的人脸识别算法;董洛丞;陈张平;;杭州电子科技大学学报(自然科学版)(第05期);全文 *

Also Published As

Publication number Publication date
CN111488764A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN109508654B (zh) 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN107679522B (zh) 基于多流lstm的动作识别方法
CN104463108A (zh) 一种单目实时目标识别及位姿测量方法
EP3977346A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN110176032B (zh) 一种三维重建方法及装置
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN104392223B (zh) 二维视频图像中的人体姿态识别方法
CN108604383A (zh) 重新定位系统和方法
CN108229440A (zh) 一种基于多传感器融合室内人体姿态识别方法
CN104167003A (zh) 一种遥感影像的快速配准方法
CN113052835A (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN103824050A (zh) 一种基于级联回归的人脸关键点定位方法
CN109389621B (zh) 基于多模式深度特征融合的rgb-d目标跟踪方法
CN109934857B (zh) 一种基于卷积神经网络与orb特征的回环检测方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN108596040A (zh) 一种基于双目视觉的串联通道融合行人检测方法
CN114663502A (zh) 物体姿态估计、图像处理方法及相关设备
CN108154066B (zh) 一种基于曲率特征递归神经网络的三维目标识别方法
KR101901588B1 (ko) 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치
CN111488764B (zh) 一种面向ToF图像传感器的人脸识别方法
Ma et al. 3D convolutional auto-encoder based multi-scale feature extraction for point cloud registration
CN114266967A (zh) 基于符号距离特征的跨源遥感数据目标识别方法
CN113298177A (zh) 夜间图像着色方法、装置、介质和设备
CN113065521B (zh) 物体识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant