CN110363087A - 一种长基线双目人脸活体检测方法及系统 - Google Patents
一种长基线双目人脸活体检测方法及系统 Download PDFInfo
- Publication number
- CN110363087A CN110363087A CN201910505346.XA CN201910505346A CN110363087A CN 110363087 A CN110363087 A CN 110363087A CN 201910505346 A CN201910505346 A CN 201910505346A CN 110363087 A CN110363087 A CN 110363087A
- Authority
- CN
- China
- Prior art keywords
- facial image
- face
- image
- vivo detection
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000001727 in vivo Methods 0.000 title claims abstract description 50
- 230000001815 facial effect Effects 0.000 claims abstract description 123
- 238000003062 neural network model Methods 0.000 claims abstract description 36
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000009021 linear effect Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Abstract
本发明公开了一种长基线双目人脸活体检测方法及系统，包括：通过主摄像头正面采集第一人脸图像，检测第一人脸图像的尺寸是否符合预设尺寸标准；若符合预设尺寸标准则判断辅助摄像头是否能采集到第二人脸图像；若没有则判定当前人脸为非活体人脸；若采集到则将第一人脸图像和第二人脸图像分别归一化到预设的像素尺寸；将归一化后的人脸图像通过神经网络模型进行训练得出活体检测分值；判断活体检测分值是否满足预设分值标准，若满足则判定当前人脸为活体人脸，若不满足则判定当前人脸为非活体人脸。本发明能够准确、高效地进行活体人脸图像的检测和识别，克服了现有人脸识别技术中识别效果不稳定、对硬件设备要求高以及图像处理计算量较大的缺陷。
Description
技术领域
本发明涉及人脸识别技术领域，特别涉及一种长基线双目人脸活体检测方法及系统。
背景技术
随着人体身份识别核验技术和图像智能检测识别技术的不断发展，人脸识别技术也日趋成熟，与此同时，对人脸识别核验系统的非活体假冒攻击方式也层出不穷，对人脸识别核验系统的可靠性和安全性构成了巨大的威胁。活体人脸检测方法正是用来排除非活体假冒攻击，保障人脸识别核验系统安全性的一种切实可行的方法。
目前，采用普通摄像头的活体检测方法大致分为三种，一种是基于纯软件的图片活体检测方法，该方法根据图片的纹理、背景、光照等特征进行活体判断，该方法的缺陷是对周围环境较为敏感，检测性能不稳定，适用性较差。第二种是基于与用户交互的视频活体检测方法，该方法通过用户连续做出一定的动作判断当前人脸是否为活体人脸，该方法的缺陷是检测结果受用户动作的规范性影响较大，其用户体验较差，可以被录制的视频攻破。第三种是基于额外硬件采集信息的活体检测方法，该方法通常采用短基线的双目摄像头采集人脸图像，通过辅助摄像头获取的额外信息来实现活体检测，该方法的缺陷是短基线双目摄像头实际的三维立体恢复效果不稳定，且该方法计算较为复杂，识别效率较低。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种长基线双目人脸活体检测方法及系统。所述技术方案如下：
一方面，提供了一种长基线双目人脸活体检测方法，所述方法包括：
通过长基线一端的主摄像头正面采集第一人脸图像，检测所述第一人脸图像的尺寸是否符合预设尺寸标准；
若所述第一人脸图像的尺寸符合所述预设尺寸标准，则判断位于所述长基线另一端的辅助摄像头是否能采集到第二人脸图像；
若所述辅助摄像头没有采集到所述第二人脸图像，则判定当前人脸为非活体人脸；若所述辅助摄像头能采集到所述第二人脸图像，则将所述第一人脸图像和所述第二人脸图像分别归一化到预设的像素尺寸；
将归一化后的所述第一人脸图像和所述第二人脸图像通过神经网络模型进行训练，得出活体检测分值；
判断所述活体检测分值是否满足预设分值标准，若满足，则判定当前人脸为活体人脸，或不满足则判定当前人脸为非活体人脸。
进一步地，所述辅助摄像头为一台或多台，与所述主摄像头位于同一平面内，设置在所述主摄像头上、下、左、右的任意一个或多个位置。
进一步地，所述将归一化后的第一人脸图像和第二人脸图像通过神经网络模型进行训练，得出活体检测分值的步骤包括：
提取所述第一人脸图像的图像质量特征以及第二人脸图像的边框结构特征，并将所述第一人脸图像和所述第二人脸图像降低到同一维度；
将所述图像质量特征和所述边框结构特征进行加权融合，得到融合特征；
根据所述融合特征得出所述活体检测分值。
进一步地，所述图像质量特征包括：人脸清晰度、噪点、光照表现、频谱特征；所述边框结构特征包括：图像的线条结构特征和纹理特征。
进一步地，所述将所述图像质量特征和所述边框结构特征进行加权融合，得到融合特征的步骤包括：
将所述图像质量特征和所述边框结构特征分别乘以各自的可学习参数，所述可学习参数由活体人脸样本通过所述神经网络模型训练得出。
进一步地，所述神经网络模型为双生深度神经网络模型，所述双生深度神经网络模型包含两个特征提取器和一个全连接分类器。
另一方面，提供了一种长基线双目人脸活体检测系统，所述系统包括：图像获取装置和检测系统；
其中所述图像获取装置包括：
主摄像头，位于长基线的一端，与待检测人脸正对设置，用于采集第一人脸图像；
辅助摄像头，位于长基线的另一端，用于采集第二人脸图像；
所述检测系统包括：
人脸检测模块，用于检测所述主摄像头是否采集到所述第一人脸图像，所述辅助摄像头是否采集到所述第二人脸图像，以及判断所述第一人脸图像的尺寸是否满足预设尺寸标准；
人脸图像处理模块，用于将所述第一人脸图像和所述第二人脸图像分别归一化到预设的像素尺寸；
人脸活体判别模块，其中包含神经网络模型，用于训练归一化后的所述第一人脸图像和所述第二人脸图像，得出活体检测分值，判断所述活体检测分值是否满足预设分值标准，若满足，则判定当前人脸为活体人脸，或不满足则判定当前人脸为非活体人脸。
进一步地，所述辅助摄像头为一台或多台，与所述主摄像头位于同一平面内，设置在所述主摄像头上、下、左、右的任意一个或多个位置。
进一步地，所述主摄像头包括摄像头和滤除非可见光的滤光镜；所述辅助摄像头为红外摄像头、广角摄像头、可见光摄像头中的任意一种或多种。
进一步地，所述人脸图像处理模块包括：双生深度神经网络模型，所述双生深度神经网络模型包含两个特征提取器和一个全连接分类器。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明采用长基线双目摄像头采集人脸图像并结合双生神经网络模型提取图像特征获取活体检测得分，能够准确、高效地进行活体人脸图像的检测和识别，克服了现有人脸识别技术中识别效果不稳定、对硬件设备要求高以及图像处理计算量较大的缺陷；
2、本发明公开的长基线双目摄像头能够包括主、辅两种摄像装置同时采集图像，对于一般的非活体人脸检测可以第一时间快速识别，对于识别难度较高的非活体人脸检测可以通过神经网络模型的短时间处理迅速识别出来，识别效率较高；
3、本发明从主、辅摄像头中同时提取对成像材质敏感、区分度高的图片图像质量特征，和不易受噪声、环境光照等因素干扰的图片边框结构特征，作为识别非活体人脸图像的特征因素，即拥有图像质量特征提供的高准确率，还兼具边框结构特征提供的高鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种长基线双目人脸活体检测方法流程图；
图2是本发明实施例提供的主摄像头和辅助摄像头布置示意图；
图3是本发明实施例提供的一种长基线双目人脸活体检测系统模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有的活体人脸检测方法中均存在检测效果不稳定、计算过程较为复杂的问题，因此本发明实施例公开一种长基线双目人脸活体检测方法及系统，具体的技术方案如下。
如图1所示，一种长基线双目人脸活体检测方法，包括：
通过长基线一端的主摄像头正面采集第一人脸图像，检测所述第一人脸图像的尺寸是否符合预设尺寸标准；
若所述第一人脸图像的尺寸符合所述预设尺寸标准，则判断位于所述长基线另一端的辅助摄像头是否能采集到第二人脸图像；
若所述辅助摄像头没有采集到所述第二人脸图像，则判定当前人脸为非活体人脸；若所述辅助摄像头能采集到所述第二人脸图像，则将所述第一人脸图像和所述第二人脸图像分别归一化到预设的像素尺寸；
将归一化后的所述第一人脸图像和所述第二人脸图像通过神经网络模型进行训练，得出活体检测分值；
判断所述活体检测分值是否满足预设分值标准，若满足，则判定当前人脸为活体人脸，或不满足则判定当前人脸为非活体人脸。
需要说明的是，上述方法中基线是指摄像头之间的直线距离，长基线是指相较于短基线长的基线。主摄像头主要用于正面采集第一人脸图像，因此第一人脸图像为人脸的正面图像。预设尺寸标准与人脸和主摄像头之间的距离有关系，设定预设尺寸标准时可以预先规定人脸和主摄像头的距离，然后设定尺寸标准。当主摄像头采集第一人脸图像时，可以提示用户站到指定的位置处，或者将人脸置入显示屏中的提示框中，以此来测量第一人脸图像尺寸。若第一人脸图像尺寸小于预设尺寸标准侧判定当前人脸为非活体人脸，若符合预设尺寸标准则进行下一步判断。一般情况下，若当前检测人脸为活体人脸，那么位于长基线另一端的辅助摄像头能够采集到部分的人脸图像，若当前检测人脸为非活体人脸，由于非活体人脸图像是平面，且辅助摄像头与主摄像头之间的直线距离较远，因此辅助摄像头通常不能采集到部分人脸图像。基于这个原理，在第一人脸图像的尺寸符合预设尺寸标准的前提下，判断辅助摄像头是否能够采集到第二人脸图像，若辅助摄像头采集不到第二人脸图像，那么判定当前检测人脸图像为非活体人脸图像，其中第二人脸图像通常为部分人脸图像。
那么若辅助摄像头采集到第二人脸图像了，则需要结合第一人脸图像、第二人脸图像的图像特征判断当前检测人脸图像是否为活体人脸图像。上述方法中，归一化是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程。本发明实施例中优选地将第一人脸图像归一化到128*128像素，将第二人脸图像归一化到64*64像素。归一化后的第一人脸图像和第二人脸图像放入神经网络模型中进行特征提取和训练，得出活体检测分值。活体检测分值受第一人脸图像的图像质量和第二人脸图像的边框结构特征影响。最后将活体检测分值与预设的预设分值标准比较，其中预设分值标准是利用大量的活体人脸图像作为训练样本经过神经网络模型训练得出的一个标准，该标准通常为一个阈值，若活体检测分值落入该阈值内，则当前检测人脸为活体人脸，若没有落入该阈值内，则当前检测人脸为非活体人脸。
图2为主摄像头和辅助摄像头可能的布置方式，主摄像头1和辅助摄像头2位于同一平面内，以保证主摄像头和辅助摄像头与人脸的垂直距离相等。主摄像头和辅助摄像头之间的连线为长基线3。辅助摄像头可以是一台，布置在主摄像头上、下、左、右中的任意一个位置，也可以是多台，布置在主摄像头上、下、左、右中的任意多个位置。
需要说明的是，若辅助摄像头是多台，那么其采集的图像就是从多个角度拍摄的部分人脸图像。若当前检测人脸为活体人脸，则每个辅助摄像头均能够采集到第二人脸图像。因此若多台辅助摄像头中有一台或多台没有采集到第二人脸图像，可以直接判定当前人脸图像为非活体人脸图像。
具体地，上述方法中将归一化后的第一人脸图像和第二人脸图像通过神经网络模型进行训练，得出活体检测分值的步骤包括：
提取所述第一人脸图像的图像质量特征以及第二人脸图像的边框结构特征，并将所述第一人脸图像和所述第二人脸图像降低到同一维度；
将所述图像质量特征和所述边框结构特征进行加权融合，得到融合特征；
根据所述融合特征得出所述活体检测分值。
需要说明的是，图像质量特征是从第一人脸图像中提取的图像特征，由于第一人脸图像为人脸的正面图像，因此需要对第一人脸图像的图像质量进行衡量。图像质量特征包括：图片中人脸清晰度、图像的噪点程度、光照表现、频谱特征，还可以包括：小波特征等。若当前检测的人脸图像为非活体人脸图像，由于非活体人脸的材质与活体人脸的皮肤材质有很大的差别，这些差别一定会导致拍摄到的非活体人脸图像和活体人脸图像在多个方面存在差异，例如人脸纹理清晰度、噪点含量、光照表现、频谱表现等体现被摄对象材质的特征。并且，非活体人脸通常为电子照片或纸质照片图片，这两类材质的成像清晰度一定低于真实人脸，噪点含量较高，并会出现反光和摩尔纹等情况。因此通过检测上述图像质量特征可以判断出人脸图片是否为活体人脸图片。
为了进一步提高判定的准确率，本发明实施例公开的方法结合第一人脸图像和第二人脸图像判定检测的人脸图像是否为活体人脸图像。对于第二人脸图像的边框结构特征，若当前检测的人脸图像为非活体人脸图像，那么其可能存在图片的边框，或者其人脸图像的边界与其所处的环境背景的衔接没有活体人脸图像衔接的那么自然，因此边框结构特征体现了图像的边界与背景的融合程度，包括：图像中纹理线条、物品边界等线条结构特征和纹理结构特征。
在获得图像质量特征和边框结构特征后，将二者加权融合得到融合特征，具体的做法是，二者分别乘以各自的可学习参数。可学习参数为由活体人脸样本通过所述神经网络模型训练得出的两种特征的权重值。
上述方法中的神经网络模型采用双生深度神经网络模型。双生深度神经网络模型包含两个特征提取器和一个全连接分类器，其中特征提取器可以采用现有神经网络模型的特征提取器。以ResNet-50模型为例，所述特征提取器采用ResNet-50模型的输入和特征提取层结构，所述全连接分类器设置在所述特征提取器后，依次包含Average Pooling层、FC全连接层和Softmax层。
需要说明的是，ResNet-50是一种深度训练神经网络模型，其采用了一种“shortcut connection”的连接方式，该种连接方式可以提高处理效率。所述ResNet-50模型的特征提取结构由一个7x7卷积层、一个3x3 max-pool层和16个残差块构成，每个残差块由3个卷积层构成，前后各一个1x1卷积层，中间一个3x3卷积层。整套特征提取结构由49个卷积层构成，数据输入特征提取器后先经由7x7卷积层和3x3 max-pool层，之后再依次通过16个残差块，最终得到提取出的特征图。本发明实施例公开的双生深度神经网络模型在ResNet-50模型的基础上对其结构进行改进，适用于本发明技术方案中分别对第一人脸图像和第二人脸图像进行特征提取的需要，可以同时对两种人脸图像进行处理。
另一方面，如图3所示，本发明实施例在上述方法的基础上还公开一种长基线双目人脸活体检测系统，包括：图像获取装置和检测系统。
图像获取装置包括：主摄像头，位于长基线的一端，与待检测人脸正对设置，用于采集第一人脸图像；辅助摄像头，位于长基线的另一端，用于采集第二人脸图像。
检测系统包括：人脸检测模块，用于检测所述主摄像头是否采集到所述第一人脸图像，所述辅助摄像头是否采集到所述第二人脸图像，以及判断所述第一人脸图像的尺寸是否满足预设尺寸标准；人脸图像处理模块，用于将所述第一人脸图像和所述第二人脸图像分别归一化到预设的像素尺寸；人脸活体判别模块，其中包含神经网络模型，用于训练归一化后的所述第一人脸图像和所述第二人脸图像，得出活体检测分值，判断所述活体检测分值是否满足预设分值标准，若满足，则判定当前人脸为活体人脸，或不满足则判定当前人脸为非活体人脸。
上述图像获取装置中，辅助摄像头为一台或多台，与所述主摄像头位于同一平面内，设置在所述主摄像头上、下、左、右的任意一个或多个位置。主摄像头包括摄像头和滤除非可见光的滤光镜；辅助摄像头为红外摄像头、广角摄像头、可见光摄像头中的任意一种或多种。
上述检测系统中，人脸活体判别模块具体用于利用神经网络模型提取所述第一人脸图像的图像质量特征以及第二人脸图像的边框结构特征，并将所述第一人脸图像和所述第二人脸图像降低到同一维度；将所述图像质量特征和所述边框结构特征进行加权融合，得到融合特征；根据所述融合特征得出所述活体检测分值。其中图像质量特征包括：人脸清晰度、噪点、光照表现、频谱特征；边框结构特征包括：图像的线条结构特征和纹理特征。
上述神经网络模型为双生深度神经网络模型，所述双生深度神经网络模型包含两个特征提取器和一个全连接分类器。例如：所述特征提取器采用ResNet-50模型的输入和特征提取层结构，所述全连接分类器设置在所述特征提取器后，依次包含所述ResNet-50模型的Average Pooling层、FC全连接层和Softmax层。其中Average Pooling层用于降低融合特征的维度，FC全连接层和Softmax层用于获取人脸活体检测得分。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明采用长基线双目摄像头采集人脸图像并结合双生神经网络模型提取图像特征获取活体检测得分，能够准确、高效地进行活体人脸图像的检测和识别，克服了现有人脸识别技术中识别效果不稳定、对硬件设备要求高以及图像处理计算量较大的缺陷；
2、本发明公开的长基线双目摄像头能够包括主、辅两种摄像装置同时采集图像，对于一般的非活体人脸检测可以第一时间快速识别，对于识别难度较高的非活体人脸检测可以通过神经网络模型的短时间处理迅速识别出来，识别效率较高；
3、本发明从主、辅摄像头中同时提取对成像材质敏感、区分度高的图片图像质量特征，和不易受噪声、环境光照等因素干扰的图片边框结构特征，作为识别非活体人脸图像的特征因素，即拥有图像质量特征提供的高准确率，还兼具边框结构特征提供的高鲁棒性。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种长基线双目人脸活体检测方法，其特征在于，包括：
通过长基线一端的主摄像头正面采集第一人脸图像，检测所述第一人脸图像的尺寸是否符合预设尺寸标准；
若所述第一人脸图像的尺寸符合所述预设尺寸标准，则判断位于所述长基线另一端的辅助摄像头是否能采集到第二人脸图像；
若所述辅助摄像头没有采集到所述第二人脸图像，则判定当前人脸为非活体人脸；若所述辅助摄像头能采集到所述第二人脸图像，则将所述第一人脸图像和所述第二人脸图像分别归一化到预设的像素尺寸；
将归一化后的所述第一人脸图像和所述第二人脸图像通过神经网络模型进行训练，得出活体检测分值；
判断所述活体检测分值是否满足预设分值标准，若满足，则判定当前人脸为活体人脸，或不满足则判定当前人脸为非活体人脸。
2.如权利要求1所述的一种长基线双目人脸活体检测方法，其特征在于，所述辅助摄像头为一台或多台，与所述主摄像头位于同一平面内，设置在所述主摄像头上、下、左、右的任意一个或多个位置。
3.如权利要求1所述的一种长基线双目人脸活体检测方法，其特征在于，所述将归一化后的第一人脸图像和第二人脸图像通过神经网络模型进行训练，得出活体检测分值的步骤包括：
提取所述第一人脸图像的图像质量特征以及第二人脸图像的边框结构特征，并将所述第一人脸图像和所述第二人脸图像降低到同一维度；
将所述图像质量特征和所述边框结构特征进行加权融合，得到融合特征；
根据所述融合特征得出所述活体检测分值。
4.如权利要求3所述的一种长基线双目人脸活体检测方法，其特征在于，所述图像质量特征包括：人脸清晰度、噪点、光照表现、频谱特征；所述边框结构特征包括：图像的线条结构特征、纹理特征。
5.如权利要求3所述的一种长基线双目人脸活体检测方法，其特征在于，所述将所述图像质量特征和所述边框结构特征进行加权融合，得到融合特征的步骤包括：
将所述图像质量特征和所述边框结构特征分别乘以各自的可学习参数，所述可学习参数由活体人脸样本通过所述神经网络模型训练得出。
6.如权利要求1所述的一种长基线双目人脸活体检测方法，其特征在于，所述神经网络模型为双生深度神经网络模型，所述双生深度神经网络模型包含两个特征提取器和一个全连接分类器。
7.基于权利要求1～6中任一项所述方法建立的一种长基线双目人脸活体检测系统，其特征在于，包括：图像获取装置和检测系统；
其中所述图像获取装置包括：
主摄像头，位于长基线的一端，与待检测人脸正对设置，用于采集第一人脸图像；
辅助摄像头，位于长基线的另一端，用于采集第二人脸图像；
所述检测系统包括：
人脸检测模块，用于检测所述主摄像头是否采集到所述第一人脸图像，所述辅助摄像头是否采集到所述第二人脸图像，以及判断所述第一人脸图像的尺寸是否满足预设尺寸标准；
人脸图像处理模块，用于将所述第一人脸图像和所述第二人脸图像分别归一化到预设的像素尺寸；
人脸活体判别模块，其中包含神经网络模型，用于训练归一化后的所述第一人脸图像和所述第二人脸图像，得出活体检测分值，判断所述活体检测分值是否满足预设分值标准，若满足，则判定当前人脸为活体人脸，或不满足则判定当前人脸为非活体人脸。
8.如权利要求6所述的一种长基线双目人脸活体检测系统，其特征在于，所述辅助摄像头为一台或多台，与所述主摄像头位于同一平面内，设置在所述主摄像头上、下、左、右的任意一个或多个位置。
9.如权利要求6所述的一种长基线双目人脸活体检测系统，其特征在于，所述主摄像头包括摄像头和滤除非可见光的滤光镜；所述辅助摄像头为红外摄像头、广角摄像头、可见光摄像头中的任意一种或多种。
10.如权利要求6所述的一种长基线双目人脸活体检测系统，其特征在于，所述人脸图像处理模块包括：双生深度神经网络模型，所述双生深度神经网络模型包含两个特征提取器和一个全连接分类器。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910505346.XA CN110363087B (zh) | 2019-06-12 | 2019-06-12 | 一种长基线双目人脸活体检测方法及系统 |
| PCT/CN2020/095663 WO2020249054A1 (zh) | 2019-06-12 | 2020-06-11 | 一种长基线双目人脸活体检测方法及系统 |
| CA3147418A CA3147418A1 (en) | 2019-06-12 | 2020-06-11 | Living body detection method and system for human face by using two long-baseline cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910505346.XA CN110363087B (zh) | 2019-06-12 | 2019-06-12 | 一种长基线双目人脸活体检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363087A true CN110363087A (zh) | 2019-10-22 |
| CN110363087B CN110363087B (zh) | 2022-02-25 |
Family
ID=68215679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910505346.XA Active CN110363087B (zh) | 2019-06-12 | 2019-06-12 | 一种长基线双目人脸活体检测方法及系统 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110363087B (zh) |
| CA (1) | CA3147418A1 (zh) |
| WO (1) | WO2020249054A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020249054A1 (zh) * | 2019-06-12 | 2020-12-17 | 苏宁云计算有限公司 | 一种长基线双目人脸活体检测方法及系统 |
| CN112488018A (zh) * | 2020-12-09 | 2021-03-12 | 巽腾(广东)科技有限公司 | 双目活体检测方法、装置、设备和存储介质 |
| WO2021114916A1 (zh) * | 2019-12-13 | 2021-06-17 | 支付宝(杭州)信息技术有限公司 | 风险检测方法、装置及设备 |
| TWI731503B (zh) * | 2019-12-10 | 2021-06-21 | 緯創資通股份有限公司 | 活體臉部辨識系統與方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107167077A (zh) * | 2017-07-07 | 2017-09-15 | 京东方科技集团股份有限公司 | 立体视觉测量系统和立体视觉测量方法 |
| CN109034102A (zh) * | 2018-08-14 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| US20190034702A1 (en) * | 2017-07-26 | 2019-01-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Living body detecting method and apparatus, device and storage medium |
| CN109325933A (zh) * | 2017-07-28 | 2019-02-12 | 阿里巴巴集团控股有限公司 | 一种翻拍图像识别方法及装置 |
| CN109359634A (zh) * | 2018-12-11 | 2019-02-19 | 西安第六镜网络科技有限公司 | 一种基于双目摄像机的人脸活体检测方法 |
| US20190130168A1 (en) * | 2017-04-28 | 2019-05-02 | ID R&D, Inc. | System, method and apparatus for multi-modal biometric authentication and liveness detection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9251427B1 (en) * | 2014-08-12 | 2016-02-02 | Microsoft Technology Licensing, Llc | False face representation identification |
| CN107862299B (zh) * | 2017-11-28 | 2021-08-06 | 电子科技大学 | 一种基于近红外与可见光双目摄像头的活体人脸检测方法 |
| CN108229362B (zh) * | 2017-12-27 | 2021-12-21 | 杭州悉尔科技有限公司 | 一种基于门禁系统的双目人脸识别活体检测方法 |
| CN110363087B (zh) * | 2019-06-12 | 2022-02-25 | 苏宁云计算有限公司 | 一种长基线双目人脸活体检测方法及系统 |
-
2019
- 2019-06-12 CN CN201910505346.XA patent/CN110363087B/zh active Active
-
2020
- 2020-06-11 WO PCT/CN2020/095663 patent/WO2020249054A1/zh active Application Filing
- 2020-06-11 CA CA3147418A patent/CA3147418A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190130168A1 (en) * | 2017-04-28 | 2019-05-02 | ID R&D, Inc. | System, method and apparatus for multi-modal biometric authentication and liveness detection |
| CN107167077A (zh) * | 2017-07-07 | 2017-09-15 | 京东方科技集团股份有限公司 | 立体视觉测量系统和立体视觉测量方法 |
| US20190034702A1 (en) * | 2017-07-26 | 2019-01-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Living body detecting method and apparatus, device and storage medium |
| CN109325933A (zh) * | 2017-07-28 | 2019-02-12 | 阿里巴巴集团控股有限公司 | 一种翻拍图像识别方法及装置 |
| CN109034102A (zh) * | 2018-08-14 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| CN109359634A (zh) * | 2018-12-11 | 2019-02-19 | 西安第六镜网络科技有限公司 | 一种基于双目摄像机的人脸活体检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| NAOHIDE UCHIDA等: "3D Face Recognition Using Passive Stereo Vision", 《 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING 2005》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020249054A1 (zh) * | 2019-06-12 | 2020-12-17 | 苏宁云计算有限公司 | 一种长基线双目人脸活体检测方法及系统 |
| TWI731503B (zh) * | 2019-12-10 | 2021-06-21 | 緯創資通股份有限公司 | 活體臉部辨識系統與方法 |
| US11315360B2 (en) | 2019-12-10 | 2022-04-26 | Wistron Corporation | Live facial recognition system and method |
| WO2021114916A1 (zh) * | 2019-12-13 | 2021-06-17 | 支付宝(杭州)信息技术有限公司 | 风险检测方法、装置及设备 |
| CN112488018A (zh) * | 2020-12-09 | 2021-03-12 | 巽腾(广东)科技有限公司 | 双目活体检测方法、装置、设备和存储介质 |
| WO2022121895A1 (zh) * | 2020-12-09 | 2022-06-16 | 巽腾(广东)科技有限公司 | 双目活体检测方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020249054A1 (zh) | 2020-12-17 |
| CA3147418A1 (en) | 2020-12-17 |
| CN110363087B (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363087A (zh) | 一种长基线双目人脸活体检测方法及系统 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| US20090135188A1 (en) | Method and system of live detection based on physiological motion on human face | |
| CN109145708B (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
| CN107066942A (zh) | 一种活体人脸识别方法及系统 | |
| CN109558840A (zh) | 一种特征融合的活体检测方法 | |
| US20130076943A1 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
| CN109670430A (zh) | 一种基于深度学习的多分类器融合的人脸活体识别方法 | |
| CN110837784A (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
| CN106886216A (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
| CN109359577B (zh) | 一种基于机器学习的复杂背景下人数检测系统 | |
| CN110837750B (zh) | 一种人脸质量评价方法与装置 | |
| CN106778645A (zh) | 一种图像处理方法及装置 | |
| CN109829997A (zh) | 人员考勤方法及系统 | |
| CN111209820B (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
| CN109508648A (zh) | 一种人脸抓拍方法及设备 | |
| CN109977846B (zh) | 一种基于近红外单目摄像的活体检测方法及系统 | |
| CN106599880A (zh) | 一种面向无人监考的同人判别方法 | |
| CN106991448A (zh) | 一种人像比对处理方法 | |
| JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
| CN107992845A (zh) | 一种面部识别辨伪方法及装置、计算机设备 | |
| CN108363944A (zh) | 人脸识别终端双摄防伪方法、装置及系统 | |
| CN111665199A (zh) | 一种基于机器视觉的电线电缆颜色检测识别方法 | |
| CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
| CN104063041B (zh) | 一种信息处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000 Patentee after: Jiangsu Suning cloud computing Co.,Ltd. Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000 Patentee before: Suning Cloud Computing Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240204 Address after: Room 3104, Building A5, No. 3 Gutan Avenue, Economic Development Zone, Gaochun District, Nanjing City, Jiangsu Province, 210000 Patentee after: Jiangsu Biying Technology Co.,Ltd. Country or region after: China Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000 Patentee before: Jiangsu Suning cloud computing Co.,Ltd. Country or region before: China |