CN112487921A - 一种用于活体检测的人脸图像预处理方法及系统 - Google Patents

一种用于活体检测的人脸图像预处理方法及系统 Download PDF

Info

Publication number
CN112487921A
CN112487921A CN202011339285.3A CN202011339285A CN112487921A CN 112487921 A CN112487921 A CN 112487921A CN 202011339285 A CN202011339285 A CN 202011339285A CN 112487921 A CN112487921 A CN 112487921A
Authority
CN
China
Prior art keywords
image
face
depth
effective
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011339285.3A
Other languages
English (en)
Other versions
CN112487921B (zh
Inventor
辛冠希
高通
钱贝贝
黄源浩
肖振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202011339285.3A priority Critical patent/CN112487921B/zh
Publication of CN112487921A publication Critical patent/CN112487921A/zh
Application granted granted Critical
Publication of CN112487921B publication Critical patent/CN112487921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种用于活体检测的人脸图像预处理方法及系统，包括：S1、采集目标区域的彩色图像、红外图像及深度图像，并进行配准；S2、根据彩色图像进行人脸关键点检测，计算其中两个关键点的距离，以获得第一有效人脸图像；S3、对第一有效人脸图像对应的红外图像进行人脸轮廓完整度检测，并计算其平均亮度，得到第二有效人脸图像；S4、根据人脸关键点的坐标信息，获取第二有效人脸图像对应的深度图像的人脸关键点的深度信息，判断人脸关键点的深度值是否在预设有效范围内且分布是否符合预设深度分布，以得到有效人脸预处理图像。本发明通过进行预处理，剔除类似人脸的信息的干扰，提升了活体检测的准确度，进而提高检测算法的鲁棒性及泛化能力。

Description

一种用于活体检测的人脸图像预处理方法及系统
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种用于活体检测的人脸图像预处理方法及系统。
背景技术
随着电子商务等技术的发展，基于人脸的身份验证已经得到广泛的应用，如刷脸支付、人脸识别解锁等功能已广泛应用于人们的日常生活中，极大提高了人们生活的便利性。然而，在人脸识别技术极大提高了人们生活便利性的同时，其安全性问题也逐渐暴露出来，尤其是随着高仿真面具的出现，使得许多不法分子通过逼真的伪装引起视觉欺骗以进行一系列犯罪行为，也对普通的人脸识别系统造成了攻击。因此，人脸活体检测技术引发了广泛的关注。
活体检测是在一些身份验证场景用于确定对象生理特征的方法，在人脸识别应用中，活体检测技术可以有效防范三维的头套或头模等假体的攻击，从而有效帮助用户甄别欺诈行为，保障利益。
活体检测技术分为动作活体检测和静默活体检测两类；其中，动作活体检测因需要用户配合做出相应的动作，所以应用领域有限；而静默活体检测无需用户动作配合，通过获取目标图像即可进行活体检测。利用深度图像进行静默活体检测的准确性比较高，但若不使用彩色图像，则会失去大量纹理信息，容易遭受假体攻击。而彩色图像容易受到光照影响，会出现活体被判断为非活体的情况，造成系统安全问题。若在进行活体检测之前，对需要处理的图像进行简单的预处理，则可减少后续程序的计算量，提高计算速率和活体检测准确率。
上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种用于活体检测的人脸图像预处理方法及系统，以解决上述背景技术问题中的至少一种问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种用于活体检测的人脸图像预处理方法，包括如下步骤：
S1、采集目标区域的彩色图像、红外图像及深度图像，并进行配准；
S2、对所述彩色图像进行人脸关键点检测，计算其中两个关键点的距离，并判断所述距离是否在所述两个关键点的预设距离范围内，以获取第一有效人脸图像；
S3、对所述第一有效人脸图像对应的所述红外图像进行人脸轮廓完整度检测，并计算其平均亮度，判断所述平均亮度是否在预设范围之内，得到第二有效人脸图像；
S4、根据步骤S2检测的所述人脸关键点的坐标信息，获取所述第二有效人脸图像对应的所述深度图像的人脸关键点的深度信息，并判断所述人脸关键点的深度值是否在预设有效范围内且所述深度值的相对分布是否符合预设深度分布，以获取有效人脸预处理图像。
进一步的，步骤S2中，所述两个关键点为两个瞳孔位置处的关键点，计算双瞳间距并判断瞳距是否在预设瞳距范围内，若在所述预设瞳距范围内，则将所述彩色图像记为所述第一有效人脸图像。
进一步的，步骤S2包括：
S20、将所述彩色图像输送至主干特征提取网络，输出三个第一有效特征层；
S21、对所述三个第一有效特征层进行处理，获得有效特征融合层；
S22、对所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、根据所述第二有效特征层进行人脸预测，得到初始人脸框，对所述初始人脸框进行调整获取所述人脸关键点；
S24、根据所述人脸关键点的坐标，计算左眼与右眼双瞳之间的距离，判断瞳距是否在预设瞳距范围，若在所述预设瞳距范围内，则所述彩色图像存在有效人脸，获得所述第一有效人脸图像。
进一步的，步骤S3包括：
S30、对所述第一有效人脸图像对应的所述红外图像进行边缘检测，通过预设阈值，判断所述红外图像的人脸轮廓完整度是否在所述阈值范围内，若在所述阈值范围内，则进行下一步骤；
S31、基于步骤S30获取的所述红外图像中的对应人脸轮廓的灰度直方图，统计所述灰度直方图的像素灰度值的总和，并将所述像素灰度值的总和与像素数量进行相除以求取像素平均值，根据所述像素平均值计算所述平均亮度，并判断所述平均亮度是否在预设范围之内，获取所述第二有效人脸图像。
进一步的，步骤S4包括：
S40、根据步骤S2中获取的所述人脸关键点的坐标信息，获取所述深度图像上对应的所述人脸关键点的深度信息，判断所述人脸关键的深度信息是否符合预设深度范围；
S41、预先设置深度差阈值，选取所述人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若所述深度差值在所述深度差阈值的范围内，则所述第二有效人脸图像存在有效人脸，获得所述有效人脸预处理图像。
本发明另一实施例技术方案为：
一种用于活体检测的人脸图像预处理系统，包括：图像采集模块、图像获取模块、彩色图像检测模块、红外图像检测模块以及深度图像检测模块；其中，
所述图像采集模块，用于采集彩色图像、红外图像以及深度图像；
所述图像配准模块，用于获取所述图像采集模块采集的所述彩色图像、所述红外图像和所述深度图像以进行配准；
所述彩色图像检测模块，用于检测人脸关键点及其坐标信息，计算所述人脸关键点中的两个关键点间距并判断所述间距是否在预设间距范围内，从而获取第一有效人脸图像；
所述红外图像检测模块，用于检测所述第一有效人脸图像对应的所述红外图像的人脸轮廓完整度及计算所述红外图像的平均亮度，并判断所述红外图像是否符合预设要求，从而获取第二有效人脸图像；
所述深度图像检测模块，基于所述彩色图像检测模块获取的所述人脸关键点的坐标信息，获取基于所述第二有效人脸图像对应的所述深度图像上的所述人脸关键点的深度信息，并判断所述人脸关键点的深度是否在预设有效范围内且深度值的相对分布是否符合预设深度分布，以获取有效人脸预处理图像。
进一步的，还包括图像存储模块，以用于存储所述有效人脸预处理图像。
进一步的，所述图像采集模块包括结构光深度相机和彩色相机，以用于采集所述深度图像、所述红外图像及所述彩色图像。
进一步的，所述彩色图像检测模块选取所述人脸关键点中两个瞳孔位置处的关键点，计算双瞳间距并判断瞳距是否在预设瞳距范围内，以获得所述第一有效人脸图像。
进一步的，所述深度图像检测模块选取所述人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若所述深度差值在预先设置深度差阈值范围内，则所述第二有效人脸图像存在有效人脸，从而获得所述有效预处理图像。
本发明技术方案的有益效果是：
相较于现有技术，本发明用于活体检测的人脸图像预处理方法及系统通过对用于活体检测的人脸图像进行预处理，剔除了类似人脸的信息的干扰，减少了后续程序的计算量，提升了人脸活体检测的准确度，进而提高了人脸检测算法的鲁棒性及泛化能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例用于活体检测的人脸图像预处理方法的流程示意图；
图2是根据本发明一个实施例用于活体检测的人脸图像预处理方法对初始人脸框进行调整获取人脸关键点的示意图；
图3是根据本发明另一个实施例用于活体检测的人脸图像预处理系统的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1为根据本发明实施例提供的一种用于活体检测的人脸图像预处理方法的流程示意图，方法包括以下步骤：
S1、采集目标区域的彩色图像、红外图像及深度图像，并进行配准；
在一个实施例中，通过采集设备采集目标区域的彩色图像、红外图像及深度图像。其中，采集设备可以为基于结构光、双目、TOF(时间飞行算法)技术的深度相机。优选地，采集设备包括结构光深度相机与彩色相机，用于采集深度图像、红外图像及彩色图像。其中，深度图像、红外图像及彩色图像的采集频率可以相同也可以不同，根据具体的功能需求进行相应的设定，比如以60FPS的频率交叉采集深度图像、红外图像及彩色图像，或者分别获取30FPS的深度图像、红外图像及彩色图像。
在一个实施例中，对采集设备所采集到彩色图像、红外图像及深度图像进行配准，即通过配准算法找到深度图像、红外图像及彩色图像中各个像素之间的对应关系，以消除彩色图像、红外图像及深度图像三者之间由于空间位置不同所产生的视差。需要说明的是，配准可以由采集设备中的专用处理器来完成，也可以由外部处理器完。经配准后的深度图像、红外图像及彩色图像可以实现多种功能，比如可以加快人脸活体检测与识别。
在一个实施例中，可以先对彩色图像进行人脸检测，再利用像素对应关系直接定位出深度图像或红外图像中的人脸部分，由此可以减少一次对深度图像或红外图像的人脸检测算法；在另一个实施例中，可以先对上一帧的彩色图像进行人脸检测，在下一帧进行深度图像或红外图像采集时，仅获取人脸所在位置上的像素的深度值或红外光反射的光强度，即仅输出人脸部分的深度图像或红外图像，从而减少深度图像或红外图像的提取算法计算量，同时降低数据传输带宽，进而提升了处理运算的速度，提高了检测识别的效率。反之，也可以先对深度图像进行人脸活体检测或识别，再利用像素对应关系加速对彩色图像或红外图像中人脸活体的检测或识别。在本发明实施例中，不作特别限定，无论采取何种方式，只要不脱离本发明主旨，均应属于本申请的保护范围。
S2、对彩色图像进行人脸关键点检测，计算其中两个关键点的距离，并判断计算出的距离是否在两个关键点的预设距离范围内，获取第一有效人脸图像，以过滤掉一些不符合预设尺寸的人脸图像。在本发明实施例中，选取两个瞳孔位置处的关键点，计算人脸关键点中的双瞳间距并判断瞳距是否在预设瞳距范围内，若在预设瞳距范围内，则将所述彩色图像记为第一有效人脸图像；若不在预设瞳距范围内，则将其过滤掉。
具体地，将彩色图像传输至彩色图像人脸检测模型进行人脸关键点检测，在一个实施例中，彩色图像人脸检测模型是基于retinaface人脸检测算法搭建的，其步骤包括：
S20、将彩色图像输送至主干特征提取网络，输出最后三个第一有效特征层；
在一个实施例中，主干特征提取网络包括深度可分离卷积(Mobilenet)模型或深度残差网络(Resnet)模型，优选Mobilenet模型，采用Mobilenet模型可减少模型的参数。
S21、对三个第一有效特征层进行处理，获得有效特征融合层；
在一个实施例中，利用三个第一有效特征层进行特征图金字塔网络(FPN)结构的构建，获取有效特征融合层。
更具体地，利用卷积核为1×1卷积层对三个第一有效特征层进行通道数的调整，并利用调整后的有效特征层进行上采样和图像融合以实现三个第一有效特征层的特征融合，得到三个不同尺寸的有效特征融合层，进而完成FPN结构的构建。应当理解的是，卷积层的卷积核大小可根据实际情况进行设计，此处不作限制。
S22、对获取的有效特征融合层进行加强特征提取，输出第二有效特征层；
在一个实施例中，利用SSH(Single Stage Headless Face Detector，单点无头人脸检测器)结构对三个不同尺寸的有效特征融合层进行加强特征提取。SSH结构包括三个并行卷积层结构，三个卷积层结构可分别为1个3×3卷积层、2个3×3卷积层及3个3×3卷积层进行并联(即一个卷积层为1个3×3卷积层构成，一个卷积层为2个3×3构成，一个卷积层为3个3×3构成)，增大了卷积层的感受野(receptive field)，并减少了参数的计算。有效特征融合层经过三个并行卷积层结构后通过concat函数合并，得到新的有效特征层，即三个不同尺寸的有效特征融合层经过三个并行卷积层结构可得到三个新的具有SSH结构的不同尺寸的第二有效特征层。
S23、根据第二有效特征层进行人脸预测，得到初始人脸框；
在一个实施例中，具有SSH结构的三个不同尺寸的第二有效特征层等效于把整幅彩色图像划分成不同大小的网格，每个网格上包含两个先验框，每个先验框代表彩色图像上的一定区域，对每个先验框进行人脸检测，通过设置置信度的阈值为0.5，对先验框是否包含人脸的概率进行预测，并与阈值进行比对，若先验框的概率大于阈值，则该先验框包含人脸，即为初始人脸框。应当理解的是，置信度的阈值可根据实际情况进行具体设置，此处不作限制。
进一步地，对初始人脸框进行调整获取人脸关键点，参照图2所示，人脸关键点包括五个关键点，分别为左眼97、右眼96、鼻尖54、左嘴角82及右嘴角76，每个关键点需要两个调整参数，对每个先验框中心的x、y轴进行调整以获取人脸关键点坐标。需要说明的是，五个关键点并不限于上述的左眼、右眼、鼻尖、左嘴角及右嘴角，也可以为人脸上的其他任何五个关键点。
应当理解的是，彩色图像人脸检测模型不仅限于Retinaface人脸检测算法，还可以是MTCNN等，此处不作限制。
S24、根据人脸关键点的坐标，计算左眼与右眼双瞳之间的距离，判断瞳距是否在预设瞳距范围，若在预设瞳距范围内，则彩色图像存在有效人脸，获取第一有效人脸图像；若不在范围内，该目标区域不存在人脸，则结束预处理过程。
S3、对第一有效人脸图像对应的红外图像进行人脸轮廓完整度检测，并计算其平均亮度，判断该红外图像的平均亮度是否在预设范围之内，得到第二有效人脸图像；
在一个实施例中，步骤S3包括：
S30、对第一有效人脸图像对应的红外图像进行人脸轮廓完整度检测，即对第一有效人脸图像对应的红外图像进行边缘检测，通过预设阈值，判断该红外图像的人脸轮廓完整度是否在阈值范围内，若在阈值范围内，则进行下一步骤，否则，判断为不存在人脸图像，从而以防止利用屏幕制造人脸假象，以剔除大部分的屏幕攻击；
S31、基于步骤S30获取的红外图像中的对应人脸轮廓的灰度直方图，统计该灰度直方图的像素灰度值的总和，并将像素灰度值的总和与像素数量进行相除以求取像素平均值，则像素平均值G与平均亮度Ea的标定关系可以下式表示：
Figure BDA0002798136500000091
其中，a、b为系数，在标定过程中，根据光源与深度相机的距离进行选择，当距离变化时，a、b也进行变化，但光源与深度相机一般都集成于整体设备中，所以a、b也是固定的；t为曝光时间，gv为增益项，G为第三人脸区域图像的像素平均值。
需要说明的是，gv可通过以下公式计算，假设深度相机的可调增益gd范围为0～1023，则：
Figure BDA0002798136500000092
应当理解的是，像素平均值G与平均亮度Ea的标定关系还可以通过其他公式进行表示，在本发明实施例中不作特别限制。
由于红外光对人脸活体具有极高的反射率，因此可根据上述方法求取的红外图像的平均亮度，判断平均亮度是否在预设的平均亮度范围内，若在平均亮度范围内，则为有效人脸，获取第二有效人脸图像；若不在平均亮度范围之内，则该目标区域不存在人脸，剔除当前图像并结束人脸预处理过程。
S4、根据步骤S2检测的人脸关键点的坐标信息，获取第二有效人脸图像对应的深度图像的人脸关键点的深度信息，并判断人脸关键点的深度值是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布，以得到有效人脸预处理图像。
在一个实施例中，基于步骤S2得到的人脸关键点坐标及步骤S1获得的深度图像，通过判断第二有效人脸图像的五个人脸关键点对应在深度图像上的五个人脸关键点的深度是否在合理的深度范围内且符合人脸的深度分布，进一步判断该区域是否为人脸活体区域，具体包括如下步骤：
S40、根据步骤S2中获取的五个人脸关键点的坐标信息，获取深度图像上对应的五个人脸关键点的深度信息，判断人脸关键的深度信息是否符合预设深度范围。应当理解的是，人脸关键点的深度信息均在有效距离范围之内，即不存在无效的深度值，且鼻尖为凸出部分，其深度值比其他四个关键点深度值小。
S41、预先设置深度差阈值，选取五个人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若深度差值在预先设置深度差阈值范围内，则第二有效人脸图像存在有效人脸，获取有效预处理图像以便于后续活体检测；若深度差值在预先设置的深度差阈值范围之外，即使其在有效距离范围内，该区域也不存在有效人脸，则判断为非人脸区域。
本发明实施例通过对用于活体检测的人脸图像进行预处理，剔除了类似人脸的信息的干扰，减少了后续程序的计算量，提升了人脸活体检测的准确度，进而提高了人脸检测算法的鲁棒性及泛化能力。
图3为根据本发明另一实施例提供的一种用于活体检测的人脸图像预处理系统的示意图，系统200包括图像采集模块201、图像配准模块202、彩色图像检测模块203、红外图像检测模块204以及深度图像检测模块205；其中，图像采集模块201用于采集彩色图像、红外图像以及深度图像；图像配准模块202用于获取图像采集模块201采集的彩色图像、红外图像和深度图像以进行配准；彩色图像检测模块203包括彩色人脸检测模型，用于检测人脸关键点及其相应坐标信息，计算人脸关键点中的两个关键点间距并判断计算所得的间距是否在预设间距范围内，从而获取第一有效人脸图像；红外图像检测模块204用于检测第一有效人脸图像对应的红外图像的人脸轮廓完整度及计算红外图像的平均亮度，并判断该红外图像是否符合预设要求，从而获取第二有效人脸图像；深度图像检测模块205，基于彩色图像检测模块203获取的人脸关键点的坐标信息，获取基于第二有效人脸图像对应的深度图像上的人脸关键点的深度信息，并判断人脸关键点的深度是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布，以获得最终有效人脸预处理图像。
在一些实施例中，还包括图像存储模块206，以用于存储有效人脸预处理图像，以便于后续的人脸活体检测程序进行提取，进而减少后续程序的计算量及提高检测速率和检测准确率。
具体的，图像采集模块201可以为基于结构光、双目、TOF(时间飞行算法)技术的深度相机。在一个实施例中，图像采集模块201包括结构光深度相机与彩色相机，以用于采集深度图像、红外图像及彩色图像。
在一些实施例中，彩色图像检测模块203选取人脸关键点中两个瞳孔位置处关键点，计算求取人脸关键点中的双瞳间距并判断瞳距是否在预设瞳距范围内，获得第一有效人脸图像。
在一些实施例中，深度图像检测模块205选取五个人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若深度差值在预先设置深度差阈值范围内，则第二有效人脸图像存在有效人脸，获取有效预处理图像以便于后续活体检测；若深度差值在预先设置的深度差阈值范围之外，即使其在有效距离范围内，该区域也不存在有效人脸，则判断为非人脸区。
需要说明的是，本发明实施例用于活体检测的人脸图像预处理系统用于执行前述实施例用于活体检测的人脸图像预处理方法，各模块的具体功能详细描述参见人脸图像预处理方法实施例中的描述，在此不再赘述。
本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的用于活体检测的人脸图像预处理方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的用于活体检测的人脸图像预处理方法。
可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (10)

1.一种用于活体检测的人脸图像预处理方法，其特征在于，包括如下步骤：
S1、采集目标区域的彩色图像、红外图像及深度图像，并进行配准；
S2、对所述彩色图像进行人脸关键点检测，计算其中两个关键点的距离，并判断所述距离是否在所述两个关键点的预设距离范围内，以获取第一有效人脸图像；
S3、对所述第一有效人脸图像对应的所述红外图像进行人脸轮廓完整度检测，并计算其平均亮度，判断所述平均亮度是否在预设范围之内，获取第二有效人脸图像；
S4、根据步骤S2检测的所述人脸关键点的坐标信息，获取所述第二有效人脸图像对应的所述深度图像的人脸关键点的深度信息，并判断所述人脸关键点的深度值是否在预设有效范围内且所述深度值的相对分布是否符合预设深度分布，以获取有效人脸预处理图像。
2.如权利要求1所述的用于活体检测的人脸图像预处理方法，其特征在于，步骤S2中，所述两个关键点为两个瞳孔位置处的关键点，计算双瞳间距并判断瞳距是否在预设瞳距范围内，若在所述预设瞳距范围内，则将所述彩色图像记为所述第一有效人脸图像。
3.如权利要求2所述的用于活体检测的人脸图像预处理方法，其特征在于，步骤S2包括：
S20、将所述彩色图像输送至主干特征提取网络，输出三个第一有效特征层；
S21、对所述三个第一有效特征层进行处理，获得有效特征融合层；
S22、对所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、根据所述第二有效特征层进行人脸预测，得到初始人脸框，对所述初始人脸框进行调整获取所述人脸关键点；
S24、根据所述人脸关键点的坐标，计算左眼与右眼双瞳之间的距离，判断瞳距是否在预设瞳距范围，若在所述预设瞳距范围内，则所述彩色图像存在有效人脸，获得所述第一有效人脸图像。
4.如权利要求1所述的用于活体检测的人脸图像预处理方法，其特征在于，步骤S3包括：
S30、对所述第一有效人脸图像对应的所述红外图像进行边缘检测，通过预设阈值，判断所述红外图像的人脸轮廓完整度是否在所述阈值范围内，若在所述阈值范围内，则进行下一步骤；
S31、基于步骤S30获取的所述红外图像中的对应人脸轮廓的灰度直方图，统计所述灰度直方图的像素灰度值的总和，并将所述像素灰度值的总和与像素数量进行相除以求取像素平均值，根据所述像素平均值计算所述平均亮度，并判断所述平均亮度是否在预设范围之内，获取所述第二有效人脸图像。
5.如权利要求1所述的用于活体检测的人脸图像预处理方法，其特征在于，步骤S4包括：
S40、根据步骤S2中获取的所述人脸关键点的坐标信息，获取所述深度图像上对应的所述人脸关键点的深度信息，判断所述人脸关键的深度信息是否符合预设深度范围；
S41、预先设置深度差阈值，选取所述人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若所述深度差值在所述深度差阈值的范围内，则所述第二有效人脸图像存在有效人脸，获得所述有效人脸预处理图像。
6.一种用于活体检测的人脸图像预处理系统，其特征在于：包括图像采集模块、图像获取模块、彩色图像检测模块、红外图像检测模块以及深度图像检测模块；其中，
所述图像采集模块，用于采集彩色图像、红外图像以及深度图像；
所述图像配准模块，用于获取所述图像采集模块采集的所述彩色图像、所述红外图像和所述深度图像以进行配准；
所述彩色图像检测模块，用于检测人脸关键点及其坐标信息，计算所述人脸关键点中的两个关键点间距并判断所述间距是否在预设间距范围内，从而获取第一有效人脸图像；
所述红外图像检测模块，用于检测所述第一有效人脸图像对应的所述红外图像的人脸轮廓完整度及计算所述红外图像的平均亮度，并判断所述红外图像是否符合预设要求，从而获取第二有效人脸图像；
所述深度图像检测模块，基于所述彩色图像检测模块获取的所述人脸关键点的坐标信息，获取基于所述第二有效人脸图像对应的所述深度图像上的所述人脸关键点的深度信息，并判断所述人脸关键点的深度是否在预设有效范围内且深度值的相对分布是否符合预设深度分布，以获取有效人脸预处理图像。
7.如权利要求6所述的用于活体检测的人脸图像预处理系统，其特征在于：还包括图像存储模块，以用于存储所述有效人脸预处理图像。
8.如权利要求6所述的用于活体检测的人脸图像预处理系统，其特征在于：所述图像采集模块包括结构光深度相机和彩色相机，以用于采集所述深度图像、所述红外图像及所述彩色图像。
9.如权利要求6所述的用于活体检测的人脸图像预处理系统，其特征在于：所述彩色图像检测模块选取所述人脸关键点中两个瞳孔位置处的关键点，计算双瞳间距并判断瞳距是否在预设瞳距范围内，以获得所述第一有效人脸图像。
10.如权利要求6所述的用于活体检测的人脸图像预处理系统，其特征在于：所述深度图像检测模块选取所述人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若所述深度差值在预先设置深度差阈值范围内，则所述第二有效人脸图像存在有效人脸，从而获得所述有效预处理图像。
CN202011339285.3A 2020-11-25 2020-11-25 一种用于活体检测的人脸图像预处理方法及系统 Active CN112487921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011339285.3A CN112487921B (zh) 2020-11-25 2020-11-25 一种用于活体检测的人脸图像预处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011339285.3A CN112487921B (zh) 2020-11-25 2020-11-25 一种用于活体检测的人脸图像预处理方法及系统

Publications (2)

Publication Number Publication Date
CN112487921A true CN112487921A (zh) 2021-03-12
CN112487921B CN112487921B (zh) 2023-09-08

Family

ID=74934195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011339285.3A Active CN112487921B (zh) 2020-11-25 2020-11-25 一种用于活体检测的人脸图像预处理方法及系统

Country Status (1)

Country Link
CN (1) CN112487921B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580434A (zh) * 2020-11-25 2021-03-30 奥比中光科技集团股份有限公司 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112883918A (zh) * 2021-03-22 2021-06-01 深圳市百富智能新技术有限公司 人脸检测方法、装置、终端设备及计算机可读存储介质
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113297977A (zh) * 2021-05-26 2021-08-24 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN115100714A (zh) * 2022-06-27 2022-09-23 平安银行股份有限公司 基于人脸图像的活体检测方法、装置及服务器
CN115273288A (zh) * 2022-08-03 2022-11-01 深圳市杉川机器人有限公司 基于人脸识别的开锁方法、智能门锁及可读存储介质
CN116129157A (zh) * 2023-04-13 2023-05-16 深圳市夜行人科技有限公司 一种基于极微光的警戒摄像机智能图像处理方法及系统
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018813A (ja) * 2010-07-08 2012-01-26 Keyence Corp 拡大観察装置、カラー合成方法及びカラー画像合成プログラム並びにコンピュータで読み取り可能な記録媒体
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN105260731A (zh) * 2015-11-25 2016-01-20 商汤集团有限公司 一种基于光脉冲的人脸活体检测系统及方法
CN106056079A (zh) * 2016-05-31 2016-10-26 中国科学院自动化研究所 一种图像采集设备及人脸五官的遮挡检测方法
CN107657218A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN109389719A (zh) * 2018-09-29 2019-02-26 厦门狄耐克智能科技股份有限公司 一种小区单元门门禁系统及开门方法
CN109508702A (zh) * 2018-12-29 2019-03-22 安徽云森物联网科技有限公司 一种基于单一图像采集设备的三维人脸活体检测方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信（上海）有限公司 人脸活体检测方法、装置、检测系统及存储介质
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN111091063A (zh) * 2019-11-20 2020-05-01 北京迈格威科技有限公司 活体检测方法、装置及系统
CN111563924A (zh) * 2020-04-28 2020-08-21 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111783749A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 一种人脸检测方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018813A (ja) * 2010-07-08 2012-01-26 Keyence Corp 拡大観察装置、カラー合成方法及びカラー画像合成プログラム並びにコンピュータで読み取り可能な記録媒体
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN105260731A (zh) * 2015-11-25 2016-01-20 商汤集团有限公司 一种基于光脉冲的人脸活体检测系统及方法
CN106056079A (zh) * 2016-05-31 2016-10-26 中国科学院自动化研究所 一种图像采集设备及人脸五官的遮挡检测方法
CN107657218A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN109389719A (zh) * 2018-09-29 2019-02-26 厦门狄耐克智能科技股份有限公司 一种小区单元门门禁系统及开门方法
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN109508702A (zh) * 2018-12-29 2019-03-22 安徽云森物联网科技有限公司 一种基于单一图像采集设备的三维人脸活体检测方法
CN111091063A (zh) * 2019-11-20 2020-05-01 北京迈格威科技有限公司 活体检测方法、装置及系统
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信（上海）有限公司 人脸活体检测方法、装置、检测系统及存储介质
CN111563924A (zh) * 2020-04-28 2020-08-21 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111783749A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 一种人脸检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王健: "基于局部二值模式的三维人脸识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王健: "基于局部二值模式的三维人脸识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 August 2017 (2017-08-15), pages 138 - 360 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580434A (zh) * 2020-11-25 2021-03-30 奥比中光科技集团股份有限公司 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112580434B (zh) * 2020-11-25 2024-03-15 奥比中光科技集团股份有限公司 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112883918A (zh) * 2021-03-22 2021-06-01 深圳市百富智能新技术有限公司 人脸检测方法、装置、终端设备及计算机可读存储介质
CN112883918B (zh) * 2021-03-22 2024-03-19 深圳市百富智能新技术有限公司 人脸检测方法、装置、终端设备及计算机可读存储介质
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113297977A (zh) * 2021-05-26 2021-08-24 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN113297977B (zh) * 2021-05-26 2023-12-22 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN115100714A (zh) * 2022-06-27 2022-09-23 平安银行股份有限公司 基于人脸图像的活体检测方法、装置及服务器
CN115273288A (zh) * 2022-08-03 2022-11-01 深圳市杉川机器人有限公司 基于人脸识别的开锁方法、智能门锁及可读存储介质
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质
CN116129157A (zh) * 2023-04-13 2023-05-16 深圳市夜行人科技有限公司 一种基于极微光的警戒摄像机智能图像处理方法及系统

Also Published As

Publication number Publication date
CN112487921B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN112487921B (zh) 一种用于活体检测的人脸图像预处理方法及系统
CN107748869B (zh) 3d人脸身份认证方法与装置
CN107633165B (zh) 3d人脸身份认证方法与装置
CN112487922B (zh) 一种多模态人脸活体检测方法及系统
CN111368601B (zh) 活体检测方法和装置、电子设备和计算机可读存储介质
CN112232109A (zh) 一种活体人脸检测方法及系统
CN111582238B (zh) 一种应用于人脸遮挡场景的活体检测方法及装置
CN111382592B (zh) 活体检测方法和设备
CN107292269B (zh) 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备
JP2008210141A (ja) 情報抽出方法、情報抽出装置、プログラム、登録装置及び照合装置
CN108416291B (zh) 人脸检测识别方法、装置和系统
JP7159242B2 (ja) 顔生体の検出方法及び検出装置、電子機器、並びにコンピュータ読み取り可能な媒体
CN110047059B (zh) 图像处理方法、装置、电子设备及可读存储介质
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
KR102038576B1 (ko) 홍채 인식 시스템의 부정행위 검출 방법
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112507818B (zh) 一种基于近红外图像的光照估计方法及系统
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
CN111383256A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN111274851A (zh) 一种活体检测方法及装置
CN112861588B (zh) 一种活体检测的方法、装置
CN109034004A (zh) 一种基于人脸识别的身份核验方法及装置
CN111832464A (zh) 一种基于近红外摄像头的活体检测方法及装置
CN111160233A (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN115578781A (zh) 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant