CN115512427B - 一种结合配合式活检的用户人脸注册方法与系统 - Google Patents
一种结合配合式活检的用户人脸注册方法与系统 Download PDFInfo
- Publication number
- CN115512427B CN115512427B CN202211374889.0A CN202211374889A CN115512427B CN 115512427 B CN115512427 B CN 115512427B CN 202211374889 A CN202211374889 A CN 202211374889A CN 115512427 B CN115512427 B CN 115512427B
- Authority
- CN
- China
- Prior art keywords
- face
- illumination
- images
- filtering
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001574 biopsy Methods 0.000 title claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 47
- 238000005286 illumination Methods 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种结合配合式活检的用户人脸注册方法与系统属于人脸识别技术领域，其中该方法包括：使用配合式活体注册流程提取出视频流中的模板图像生成人脸模板图像的候选集合；对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值；根据质量值确定最终的多模板注册图像。本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识别系统的识别效率。
Description
技术领域
本发明涉及人脸识别技术领域，具体而言，涉及一种结合配合式活检的用户人脸注册方法与系统。
背景技术
随着互联网技术的发展，人脸识别技术应用到了越来越多的领域。例如，可以通过人脸识别来解锁终端设备或者登陆应用账号等。人脸识别的成功率很大程度上取决于在人脸注册过程中所获取到的用户的注册人脸图像，因此，如何获取能够提取出关键人脸特征的注册人脸图像对于提升人脸识别的成功率具有重要意义。然而现有的人脸注册方法一般都是单模板注册，识别结果容易受注册模板图像质量的影响，导致后续人脸识别过程出现漏识或者误识的问题。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种结合配合式活检的用户人脸注册方法。
一种结合配合式活检的用户人脸注册方法，包括：
步骤1：获取视频流；
步骤2：使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；
步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；
步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；
步骤5：根据所述质量值确定最终的多模板注册图像。
优选的，所述步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，包括：
步骤3.1：使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；
步骤3.2：计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；
步骤3.3：计算所述距离矩阵中每一行距离值的均值和方差；
步骤3.4：根据所述均值和所述方差构建分数区间；
步骤3.5：将超出所述分数区间的相应图像去除得到过滤候选图像集。
优选的，所述步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值，包括：
步骤4.1：获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；
步骤4.2：对所述人脸样本进行归一化处理得到待训练人脸样本；
步骤4.3：将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。
优选的，所述步骤4.3中神经网络在训练过程中的损失函数为：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
L光照＝(1-pt)rlog(pt)
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
L关键点＝L关键点集+L拓扑连线
其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，
y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者连线不可见(无标注)时该值为0，L2表示欧式距离，
表示所有关键点的预测值，
表示所有关键点的标注值，
表示拓扑结构中的关键点的预测值，
表示拓扑结构中的关键点的标注值。
本发明还提供了一种结合配合式活检的用户人脸注册系统，包括：
视频流获取模块，用于获取视频流；
模板图像提取模块，用于使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；
图像过滤模块，用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；
质量值获取模块，用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；
注册图像确定模块，用于根据所述质量值确定最终的多模板注册图像。
优选的，所述图像过滤模块，包括：
特征提取单元，用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；
距离矩阵构建单元，用于计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；
距离值处理单元，用于计算所述距离矩阵中每一行距离值的均值和方差；
分数区间构建单元，用于根据所述均值和所述方差构建分数区间；
图像筛选单元，用于将超出所述分数区间的相应图像去除得到过滤候选图像集。
优选的，所述质量值获取模块，包括：
样本获取单元，用于获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；
归一化处理单元，用于对所述人脸样本进行归一化处理得到待训练人脸样本；
训练单元，用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。
优选的，所述训练单元中神经网络在训练过程中的损失函数为：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
L光照＝(1-pt)rlog(pt)
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
L关键点＝L关键点集+L拓扑连线
其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，
y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见(无标注)时该值为0，L2表示欧式距离，
表示所有关键点的预测值，
表示所有关键点的标注值，
表示拓扑结构中的关键点的预测值，
表示拓扑结构中的关键点的标注值。
本发明还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述的一种结合配合式活检的用户人脸注册方法中的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的一种结合配合式活检的用户人脸注册方法中的步骤。
本发明提供的一种结合配合式活检的用户人脸注册方法与系统的有益效果在于：与现有技术相比，本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识别系统的识别效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的结合配合式活检的用户人脸注册方法流程图；
图2示出了本发明实施例所提供的配合式活体注册流程图；
图3示出了本发明实施例所提供的图像过滤原理图；
图4示出了本发明实施例所提供的图像质量值计算原理图；
图5示出了本发明实施例所提供的拓扑结构图；
图6示出了本发明实施例所提供的连线有效区域定义图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1-4，一种结合配合式活检的用户人脸注册方法，包括：
步骤1：获取视频流；
步骤2：使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；
请参阅图2，本发明的配合式活体注册流程首先需要将视频流按照不同的动作逻辑拆分为多个不同的子视频流段。针对特定的子视频流段，设定不同的采样策略。如：对于应该是静止的视频流段，需要根据时间特性在对应的时间段内进行均匀采样；对于左转头动作的视频流段，需要根据角度特性，在满足角度阈值的前提下，在获取符合条件的最大左转头角度图像和正面图像之间按照左转头的角度进行均匀采样(该策略可适用于左转头/右转头/低头等和角度相关的动作)；对应于张嘴动作的视频流段，可以先根据张嘴大小筛选出满足符合要求的图像，然后对这些图像在根据时间进行采样(该策略可适用于张嘴/眨眼等和人脸关键点相关的动作)。
本发明的配合式活体动作虽然和现有系统类似，但是由于该系统属于多模板注册，因此多模板数据的候选集构建是基于对这些子动作片段采用不同的采样策略来设计的，采样策略要兼顾图像质量和图像的多样性；将上述每个子视频段选择出来的模板图像直接拼接，生成人脸模板图像的候选集合。需要说明的是，在启用配合式活体注册流程时，如果通过该流程，则系统输出满足要求的N张候选图像集合；如果不通过该流程，则系统给出无法通过活体的提示。
步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；
进一步的，请参阅图3，所述步骤3包括：
步骤3.1：使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；
步骤3.2：计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；
步骤3.3：计算所述距离矩阵中每一行距离值的均值和方差；
步骤3.4：根据所述均值和所述方差构建分数区间；
步骤3.5：将超出所述分数区间的相应图像去除得到过滤候选图像集。
下面结合具体的应用场景对图像过滤过程进行进一步的说明：假设现有N张模板数据，对每张模板图像提取其在人脸特征空间中的特征后，两两特征向量进行特征空间的cosine距离计算，得到N*N的距离矩阵；对矩阵的每一行取和得到每一行的分数值Si，然后对N个分数值计算均值Sm和方差Svar；对于分数值在[Sm-3*Svar,Sm+3*Svar]内的数据，认为属于正常区间的分数值；对于超出这个区域的分数值，则认为属于噪音，需要从模板集中删除；通过在人脸特征空间中的数据分析，实现了基于人脸特征空间基础上的噪音过滤，形成了优化版的候选数据集。
步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；
进一步的，所述步骤4包括：
步骤4.1：获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；
步骤4.2：对所述人脸样本进行归一化处理得到待训练人脸样本；
步骤4.3：将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。其中，神经网络在训练过程中的损失函数为：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
L光照＝(1-pt)rlog(pt)
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
L关键点＝L关键点集+L拓扑连线
其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，
y表示光照是否正常，y＝1表示光照正常，CE(Yaw表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见(无标注)时该值为0，L2表示欧式距离，
表示所有关键点的预测值，
表示所有关键点的标注值，
表示拓扑结构中的关键点的预测值，
表示拓扑结构中的关键点的标注值。
下面结合具体的实施例对本发明的人脸质量深度网络的训练过程做进一步的说明：1样本获取：
通过线下在不同环境下采集大量的人脸样本进行人工标注标签
a：光照标签分为合格、不合格L光照＝{l合格,l不合格}
b：姿态标签分别给出三个方向Pitch,Yaw,Roll的角度，L姿态＝{lPitch,lYaw,lRoll}
c：人脸关键点，给每张人脸标记68个关键点L关键点＝{S1,S2,…,S68}。
2数据预处理：
1)把所有训练样本resize到128*128.
2)对样本进行归一化处理。
3训练流程：
1)主干网络基于Mobilenet v1(也可以为其他主干网络),后面分别接判断光照、姿态、关键点的三个分支子网络。
2)损失函数定义如下：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
4损失函数说明：
1)光照损失函数：
L光照＝(1-pt)rlog(pt)
对于光照(光照合格和光照不合格)，通过调节参数r，对于样本不均衡情况进行处理。
2)姿态损失函数：
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
对于姿态，对人脸在姿态的三个角度分别计算cross-entropy loss，然后进行相加。
3)关键点损失函数：
L关键点＝L关键点集+L拓扑连线
其中，J表示关键点数量68，且关键点采用传统的68人脸关键点，损失计算根据预测点和标注点之间的欧式距离计算：
其中，C表示构建拓扑结构中所有的关键点数。在实际应用中，除了对于关键点的位置进行损失计算外，还会选取人脸结构化特征明显的区域构建人脸拓扑结构，并以此为约束项优化关键点的计算，拓扑结构如图5所示。
通过构建拓扑结构，一方面可以更好的对关键点进行定位，另一方面可以对人脸的遮挡情况进行过滤。拓扑损失函数定义为：
其中，连线有效区域参照图6，图中Pstart和Pend代表拓扑连线，对于预测的位置Ppred定义预测位置在上述L1和L2范围内区域为连线有效区域，其他区域为无效区域，v值为从Pstart到Pend方向的单位向量。
对于函数中的W(p)函数定义如下：
在训练中，光照、姿态和关键点的权重可以动态根据训练情况调整，以提升最终的训练效果。
步骤5：根据所述质量值确定最终的多模板注册图像。
本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识别系统的识别效率。
本发明还提供了一种结合配合式活检的用户人脸注册系统，包括：
视频流获取模块，用于获取视频流；
模板图像提取模块，用于使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；
图像过滤模块，用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；
质量值获取模块，用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；
注册图像确定模块，用于根据所述质量值确定最终的多模板注册图像。
优选的，所述图像过滤模块，包括：
特征提取单元，用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；
距离矩阵构建单元，用于计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；
距离值处理单元，用于计算所述距离矩阵中每一行距离值的均值和方差；
分数区间构建单元，用于根据所述均值和所述方差构建分数区间；
图像筛选单元，用于将超出所述分数区间的相应图像去除得到过滤候选图像集。
优选的，所述质量值获取模块，包括：
样本获取单元，用于获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；
归一化处理单元，用于对所述人脸样本进行归一化处理得到待训练人脸样本；
训练单元，用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。
优选的，所述训练单元中神经网络在训练过程中的损失函数为：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
L光照＝(1-pt)rlog(pt)
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
L关键点＝L关键点集+L拓扑连线
其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，
y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见(无标注)时该值为0，L2表示欧式距离，
表示所有关键点的预测值，
表示所有关键点的标注值，
表示拓扑结构中的关键点的预测值，
表示拓扑结构中的关键点的标注值。
本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识别系统的识别效率。
本发明还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述的一种结合配合式活检的用户人脸注册方法中的步骤，与现有技术相比，本发明提供的电子设备的有益效果与上述技术方案所述一种结合配合式活检的用户人脸注册方法的有益效果相同，在此不做赘述。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的一种结合配合式活检的用户人脸注册方法中的步骤，与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案所述一种结合配合式活检的用户人脸注册方法的有益效果相同，在此不做赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种结合配合式活检的用户人脸注册方法，其特征在于，包括：
步骤1：获取视频流；
步骤2：使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；
步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；
步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；
步骤5：根据所述质量值确定最终的多模板注册图像；
所述步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，包括：
步骤3.1：使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；
步骤3.2：计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；
步骤3.3：计算所述距离矩阵中每一行距离值的均值和方差；
步骤3.4：根据所述均值和所述方差构建分数区间；
步骤3.5：将超出所述分数区间的相应图像去除得到过滤候选图像集；
所述步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值，包括：
步骤4.1：获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；
步骤4.2：对所述人脸样本进行归一化处理得到待训练人脸样本；
步骤4.3：将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络；
所述步骤4.3中神经网络在训练过程中的损失函数为：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
L光照＝(1-pt)rlog(pt)
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
L关键点＝L关键点集+L拓扑连线
其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，预测概率
y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见时该值为0，L2表示欧式距离，
表示所有关键点的预测值，
表示所有关键点的标注值，
表示拓扑结构中的拓扑连线点的预测值，
表示拓扑结构中的拓扑连线点的标注值。
2.一种结合配合式活检的用户人脸注册系统，其特征在于，包括：
视频流获取模块，用于获取视频流；
模板图像提取模块，用于使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；
图像过滤模块，用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；
质量值获取模块，用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；
注册图像确定模块，用于根据所述质量值确定最终的多模板注册图像；
所述图像过滤模块，包括：
特征提取单元，用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；
距离矩阵构建单元，用于计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；
距离值处理单元，用于计算所述距离矩阵中每一行距离值的均值和方差；
分数区间构建单元，用于根据所述均值和所述方差构建分数区间；
图像筛选单元，用于将超出所述分数区间的相应图像去除得到过滤候选图像集；
所述质量值获取模块，包括：
样本获取单元，用于获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；
归一化处理单元，用于对所述人脸样本进行归一化处理得到待训练人脸样本；
训练单元，用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络；
所述训练单元中神经网络在训练过程中的损失函数为：
Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点
L光照＝(1-pt)rlog(pt)
L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)
L关键点＝L关键点集+L拓扑连线
其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，
y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见时，该值为0，L2表示欧式距离，
表示所有关键点的预测值，
表示所有关键点的标注值，
表示拓扑结构中的拓扑连线点的预测值，
表示拓扑结构中的拓扑连线点的标注值。
3.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1所述的一种结合配合式活检的用户人脸注册方法中的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的一种结合配合式活检的用户人脸注册方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211374889.0A CN115512427B (zh) | 2022-11-04 | 2022-11-04 | 一种结合配合式活检的用户人脸注册方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211374889.0A CN115512427B (zh) | 2022-11-04 | 2022-11-04 | 一种结合配合式活检的用户人脸注册方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115512427A CN115512427A (zh) | 2022-12-23 |
| CN115512427B true CN115512427B (zh) | 2023-04-25 |
Family
ID=84513237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211374889.0A Active CN115512427B (zh) | 2022-11-04 | 2022-11-04 | 一种结合配合式活检的用户人脸注册方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115512427B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682309A (zh) * | 2011-03-14 | 2012-09-19 | 汉王科技股份有限公司 | 一种基于模板学习的人脸注册方法及装置 |
| KR20160133991A (ko) * | 2015-05-14 | 2016-11-23 | 삼성전자주식회사 | 지문 등록 방법 및 지문 인증 방법 |
| CN110427888A (zh) * | 2019-08-05 | 2019-11-08 | 北京深醒科技有限公司 | 一种基于特征聚类的人脸质量评估方法 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN112749687A (zh) * | 2021-01-31 | 2021-05-04 | 云知声智能科技股份有限公司 | 一种图片质量和静默活体检测多任务训练方法和设备 |
| CN113411355A (zh) * | 2021-08-19 | 2021-09-17 | 深圳百昱达科技有限公司 | 基于互联网的应用注册方法及相关装置 |
| CN114270417A (zh) * | 2020-03-04 | 2022-04-01 | Cmi科技株式会社 | 能够更新注册人脸模板的人脸识别系统及方法 |
| CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN114783038A (zh) * | 2022-06-20 | 2022-07-22 | 北京城建设计发展集团股份有限公司 | 一种未注册旅客自动标识方法、系统及电子设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3279913B2 (ja) * | 1996-03-18 | 2002-04-30 | 株式会社東芝 | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 |
| CN101408929A (zh) * | 2007-10-10 | 2009-04-15 | 三星电子株式会社 | 一种用于人脸识别系统的多模板人脸注册方法和装置 |
| CN103003840A (zh) * | 2010-09-30 | 2013-03-27 | 富士通先端科技株式会社 | 登记程序、登记装置以及登记方法 |
| US9352207B2 (en) * | 2012-01-19 | 2016-05-31 | Nike, Inc. | Action detection and activity classification |
| CN106030654B (zh) * | 2014-02-26 | 2019-11-19 | 株式会社日立制作所 | 面部认证系统 |
| CN104102915B (zh) * | 2014-07-01 | 2019-02-22 | 清华大学深圳研究生院 | 一种心电异常状态下基于ecg多模板匹配的身份识别方法 |
| US20170344883A1 (en) * | 2016-05-31 | 2017-11-30 | Yeda Research And Development Co. Ltd. | Systems and methods for control, analysis, and/or evaluation of dynamical systems |
| KR102561723B1 (ko) * | 2016-12-08 | 2023-07-31 | 베라디움 아이피 리미티드 | 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법 |
| CN110458008A (zh) * | 2019-07-04 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN110941986B (zh) * | 2019-10-10 | 2023-08-01 | 平安科技（深圳）有限公司 | 活体检测模型的训练方法、装置、计算机设备和存储介质 |
| CN112084856A (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸姿态检测方法、装置、终端设备及存储介质 |
| EP4193301A4 (en) * | 2020-09-04 | 2023-12-20 | Shanghai United Imaging Healthcare Co., Ltd. | SYSTEMS AND METHODS FOR IMAGE PROCESSING |
| CN112396054A (zh) * | 2020-11-30 | 2021-02-23 | 泰康保险集团股份有限公司 | 文本提取方法、装置、电子设备及存储介质 |
| CN114445472B (zh) * | 2022-03-04 | 2023-05-26 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准方法 |
-
2022
- 2022-11-04 CN CN202211374889.0A patent/CN115512427B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682309A (zh) * | 2011-03-14 | 2012-09-19 | 汉王科技股份有限公司 | 一种基于模板学习的人脸注册方法及装置 |
| KR20160133991A (ko) * | 2015-05-14 | 2016-11-23 | 삼성전자주식회사 | 지문 등록 방법 및 지문 인증 방법 |
| CN110427888A (zh) * | 2019-08-05 | 2019-11-08 | 北京深醒科技有限公司 | 一种基于特征聚类的人脸质量评估方法 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN114270417A (zh) * | 2020-03-04 | 2022-04-01 | Cmi科技株式会社 | 能够更新注册人脸模板的人脸识别系统及方法 |
| CN112749687A (zh) * | 2021-01-31 | 2021-05-04 | 云知声智能科技股份有限公司 | 一种图片质量和静默活体检测多任务训练方法和设备 |
| CN113411355A (zh) * | 2021-08-19 | 2021-09-17 | 深圳百昱达科技有限公司 | 基于互联网的应用注册方法及相关装置 |
| CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN114783038A (zh) * | 2022-06-20 | 2022-07-22 | 北京城建设计发展集团股份有限公司 | 一种未注册旅客自动标识方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115512427A (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110909780B (zh) | 一种图像识别模型训练和图像识别方法、装置及系统 | |
| CN108319930B (zh) | 身份认证方法、系统、终端和计算机可读存储介质 | |
| US11837017B2 (en) | System and method for face recognition based on dynamic updating of facial features | |
| CN109188148B (zh) | 应用于智能电网的输电线路可靠监测系统 | |
| CN108334863B (zh) | 身份认证方法、系统、终端和计算机可读存储介质 | |
| CN106709450A (zh) | 一种指纹图像识别方法及系统 | |
| CN107133612A (zh) | 基于图像处理与语音识别技术的智能病房及其运行方法 | |
| CN110991266A (zh) | 一种双目人脸活体检测方法及装置 | |
| CN107257161A (zh) | 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统 | |
| CN108510061A (zh) | 基于条件生成对抗网络的多监控视频人脸合成正脸的方法 | |
| CN110837750A (zh) | 一种人脸质量评价方法与装置 | |
| CN110012114B (zh) | 一种基于物联网的环境安全预警系统 | |
| CN113888518A (zh) | 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法 | |
| CN110222647B (zh) | 一种基于卷积神经网络的人脸活体检测方法 | |
| CN108710841A (zh) | 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法 | |
| CN115512427B (zh) | 一种结合配合式活检的用户人脸注册方法与系统 | |
| CN114155485B (zh) | 基于3d视觉的智慧社区智能安防监测管理系统 | |
| CN114187668B (zh) | 一种基于正样本训练的人脸静默活体检测方法及装置 | |
| CN115553777A (zh) | 一种非接触式精神压力检测方法及系统 | |
| CN114663796A (zh) | 一种目标人物持续跟踪方法、装置及系统 | |
| CN117994838B (zh) | 基于增量深度子空间网络的实时微表情识别方法及装置 | |
| CN114998941B (zh) | 一种高安全掌纹掌静脉识别方法、系统、设备及存储介质 | |
| CN117711027B (zh) | 一种基于鼻纹的牛个体身份识别方法 | |
| CN115063892B (zh) | 一种考场异常行为检测方法及系统 | |
| CN113255472B (zh) | 一种基于随机嵌入稳定性的人脸质量评价方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |