CN111860400A - 人脸增强识别方法、装置、设备及存储介质 - Google Patents
人脸增强识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111860400A CN111860400A CN202010738408.4A CN202010738408A CN111860400A CN 111860400 A CN111860400 A CN 111860400A CN 202010738408 A CN202010738408 A CN 202010738408A CN 111860400 A CN111860400 A CN 111860400A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- original
- optical flow
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003287 optical effect Effects 0.000 claims abstract description 169
- 238000013441 quality evaluation Methods 0.000 claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸识别技术领域，公开了一种人脸增强识别方法、装置、设备及存储介质，该方法包括：获取视频中具有时序信息的多张原始人脸图像；依序对各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据时序信息，分别确定所述基础人脸图像与各原始人脸图像之间的光流特征；提取基础人脸图像的第一人脸特征，并分别对第一人脸特征与各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于第二人脸特征，进行人脸识别。本发明还涉及区块链技术，所述原始人脸图像存储于区块链中。本发明实现了对辨识度低的人脸图像的特征增强与对辨识度低的人脸图像的识别能力。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸增强识别方法、装置、设备及存储介质。
背景技术
当今社会，随着人脸识别技术的高速发展，在不同的领域取得了不错的成绩，如门禁、支付、银行会员识别及智能安防等方面，人脸识别技术渐渐地从实验室融入到了我们的生活，为我们的生活带来了很多的便捷，而现在仍作为热门的研究方向与学科，科研人员还在对人脸识别作更深入、更细致的研发与创新。
目前，在针对辨识度比较低的人脸图像进行识别时，比如图像模糊、人脸遮挡、戴眼镜、戴帽子口罩和大侧脸，现有的解决问题包括：在图像预处理阶段筛选出最佳人脸，对模糊人脸进行高分辨增强；通过训练损失函数以扩大类间间距与缩小类内间距；通过生成式对抗网络(GAN,Generative Adversarial Networks)生成多姿态人脸训练数据；这些技术最终都提升人脸识别精度和模型泛化能力。然而，现有人脸识别技术集中在对静态人脸图像的处理与识别模型的增强上面进行改进，而在现实应用场景中，摄像机采集到的人脸图像本身辨识度较低，静态人脸图像经过处理或者提升模型的识别能力，都难以对辨识度低的人脸图像进行识别。
发明内容
本发明的主要目的在于解决现有人脸识别技术对辨识度低的人脸图像识别能力低的技术问题。
本发明第一方面提供了一种人脸增强识别方法，所述人脸增强识别方法包括：
获取视频中具有时序信息的多张原始人脸图像；
依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
基于所述第二人脸特征，进行人脸识别。
可选的，在本发明第一方面的第一种实现方式中，所述依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像包括：
提取所述各原始人脸图像对应的特征向量；
将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
可选的，在本发明第一方面的第二种实现方式中，所述根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
可选的，在本发明第一方面的第三种实现方式中，所述根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
可选的，在本发明第一方面的第四种实现方式中，所述根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域包括：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
可选的，在本发明第一方面的第五种实现方式中，所述分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征包括：
分别计算所述各光流特征的注意力分布；
根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
可选的，在本发明第一方面的第六种实现方式中，所述在依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像之后，还包括：
根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；
从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
本发明第二方面提供了一种人脸增强识别装置，所述人脸增强识别装置包括：
获取模块，用于获取视频中具有时序信息的多张原始人脸图像；
质量评估模块，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
特征匹配模块，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
特征融合模块，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
人脸识别模块，用于基于所述第二人脸特征，进行人脸识别。
可选的，在本发明第二方面的第一种实现方式中，所述质量评估模块包括：
第一提取单元，用于提取所述各原始人脸图像对应的特征向量；
质量评估单元，用于将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
筛选单元，用于根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
可选的，在本发明第二方面的第二种实现方式中，所述特征匹配模块包括：
第一计算单元，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
模拟单元，用于根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
匹配单元，用于根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
可选的，在本发明第二方面的第三种实现方式中，所述匹配单元包括：
第一提取子单元，用于根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
第二提取子单元，用于根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
定位子单元，用于根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
匹配子单元，用于基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
可选的，在本发明第二方面的第四种实现方式中，所述定位子单元还用于：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
可选的，在本发明第二方面的第五种实现方式中，所述特征融合模块包括：
第二计算单元，用于分别计算所述各光流特征的注意力分布；根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
判别单元，用于根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
生成单元，用于将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
可选的，在本发明第二方面的第六种实现方式中，所述人脸增强识别装置还包括：
筛选模块，用于根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
本发明第三方面提供了一种人脸增强识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸增强识别设备执行上述的人脸增强识别方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的人脸增强识别方法。
本发明提供的技术方案中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本发明实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
附图说明
图1为本发明实施例中人脸增强识别方法的第一个实施例示意图；
图2为本发明实施例中人脸增强识别方法的第二个实施例示意图；
图3为本发明实施例中人脸增强识别方法的第三个实施例示意图；
图4为本发明实施例中人脸增强识别方法的第四个实施例示意图；
图5为本发明实施例中人脸增强识别装置的一个实施例示意图；
图6为本发明实施例中人脸增强识别装置的另一个实施例示意图；
图7为本发明实施例中人脸增强识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种人脸增强识别方法、装置、设备及存储介质，该人脸增强识别方法包括获取视频中具有时序信息的多张原始人脸图像；依序对各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据时序信息，分别确定所述基础人脸图像与各原始人脸图像之间的光流特征；提取基础人脸图像的第一人脸特征，并分别对第一人脸特征与各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于第二人脸特征，进行人脸识别。本发明实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中人脸增强识别方法的第一个实施例包括：
101、获取视频中具有时序信息的多张原始人脸图像；
可以理解的是，本发明的执行主体可以为人脸增强识别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需要强调的是，为进一步保证上述原始人脸图像的私密和安全性，上述原始人脸图像还可以存储于一区块链的节点中。
本实施例中，通过摄像机动态监控人脸识别的对象，得到监控对象的视频，然后随机在视频中截取若干数量的原始人脸图像，以用于人脸特征增强。其中，对截取的原始人脸图像需保留其时序信息，且截取的原始人脸图像可以存在图像模糊、人脸遮挡、戴眼镜、戴帽子口罩和大侧脸等辨识度问题。
具体的，为每一个人赋予唯一的身份ID，以进行跟踪拍摄，然后对拍摄到的原始人脸图像根据时序信息进行排序，比如截取到K张人脸图片，则分别以t_i进行表示，其中i＝1,2,3......K。
102、依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
本实施例中，在对原始人脸图像进行特征增强之前，先从中筛选出一张符合预设质量要求的原始人脸图像，以作为待增强的基础人脸图像，而预设质量要求包括是否为正脸、是否拍摄完整、是否有遮挡物、遮挡物的区域大小、清晰度、分辨率。优选地，我们选择质量最优的原始人脸图像作为基础人脸图像。
需注意的是，此处选择的是在拍摄到的所有原始人脸图像中质量最优的，亦存在本身质量最优的原始人脸图像辨识度低的问题，而此情况在亦适用于本发明方法。
103、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
本实施例中，根据时序信息，依次确定基础人脸图像与原始人脸图像的光流特征，通过光流特征对基础人脸图像进行特征修补，从而将拍摄对象本应该有而基础人脸图像没有拍摄到的或拍摄不清晰的特征补全，其中，光流特征以光流图进行表示。基础人脸图像与原始人脸图像中有部分的人脸重叠，此处光流特征并不限于人脸重叠的部分，在进行人脸监控时，镜头始终保持不变，故人脸特征在基础人脸图像与原始人脸图像之间移动，即处于两张图片的不同帧与不同坐标位置。
具体的，基础人脸图像与原始人脸图像的确定过程如下所示：
(1)确定标号为t_i的原始人脸图像中的人脸特征A，其中，人脸特征A的坐标为Ii(x1，y1)；
(2)从标号为t_j的基础人脸图像中找到特征A，并确定特征A的坐标为Ij(x2，y2)；
(3)当i＜j时，计算特征A从原始人脸图像到基础人脸图像的像素运动速度与像素运动方向，以Ii-j(ux，uy)表示；
(4)在原始人脸图像中，提取In(x2-ux，y2-uy)位置的特征值，即可得到基础人脸图像与该原始人脸图像的光流特征；
(5)当i＞j时，则计算特征A从基础人脸图像到原始人脸图像的像素运动速度与像素运动方向，以Ij-i(u`x，u`y)表示。
(6)在原始人脸图像中，提取Ii(x2+u`x，y2+u`y)位置的特征值，即可得到基础人脸图像与该原始人脸图像的光流特征。
其中，在得到基础人脸图像与原始人脸图像之间的光流特征之后，亦可对光流特征进行可视化处理，比如以颜色表示不同的运动方向，以颜色深浅表示运动的速度构建出基础人脸图像相对于原始人脸图像的光流特征可视化图像。
104、提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
本实施例中，通过常规的人脸特征提取方法提取基础人脸图像的第一人脸特征即可，人脸特征提取方法在本领域已为成熟的技术，此处不再赘述。然后根据提取到的光流特征，在基础人脸图像中找到相同的特征对应的位置坐标，进行特征值的叠加即可完成第一人脸特征与光流特征的融合。
比如，对于在原始人脸图像中的Ii(x2-ux，y2-uy)位置的特征值，在基础人脸图像中对应的人脸特征位置为Ij(x2，y2)，将原始人脸图像Ii(x2-ux，y2-uy)位置的特征值与基础人脸图像Ij(x2，y2)位置的特征值进行叠加，即可得到对应的融合特征。当第一人脸特征与所有的光流特征融合完毕，即可得到特征增强后的第二人脸特征。
需注意的是，光流特征不仅对第一人脸特征进行增强，还修补了第一人脸特征没有包含的其他人脸特征，主要是由于基础人脸图像并没有将全部人脸都拍摄进去，还有局部人脸处于拍摄死角，无法被拍摄到。故通过其他的原始人脸图像对基础人脸图像作全面的增强。
105、基于所述第二人脸特征，进行人脸识别。
本实施例中，第二人脸特征中包含监控对象脸部全面的人脸增强特征，比如基础人脸图像中包含人脸特征A、B、C，其中，人脸特征A清晰、人脸特征B、C模糊；原始人脸图像1的人脸特征B清晰、人脸特征A、C模糊；原始人脸图像1的人脸特征C清晰、人脸特征A、B模糊，通过原始人脸图像1可增强基础人脸图像中的人脸特征B，通过原始人脸图像2可增强基础人脸图像中的人脸特征C。即特征融合后的第二人脸特征中，人脸特征A、B、C均清晰，以进行人脸识别。
本发明实施例中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本发明实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
请参阅图2，本发明实施例中人脸增强识别方法的第二个实施例包括：
201、获取视频中具有时序信息的多张原始人脸图像；
202、依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
203、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
本实施例中，若时序信息显示原始人脸图像在基础人脸图像之前截取，则图像中人脸从原始人脸图像的对应帧移动至基础人脸图像的对应帧；若时序信息显示原始人脸图像在基础人脸图像之后截取，则图像中人脸从基础人脸图像的对应帧移动至原始人脸图像的对应帧。
比如人脸特征K在标号为t_i的原始人脸图像中的Ii(x1，y1)位置，并在标号为t_j的基础人脸图像中的Ij(x2，y2)位置；若j＞i，则原始人脸图像中的人脸特征K在基础人脸图像中的Ii-j(x2-x1，y2-y1)位置。
204、根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
本实施例中，人脸姿态变化以原始人脸图像与基础人脸图像中每一像素的空间位置关系进行表示，形成n*m的矩阵，n表示图像的像素行数，m表示图像的像素列数，其中，两者不重叠的位置以0记录。
205、根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
本实施例中，t_i原始人脸图像到t_j基础人脸图像的人脸姿态变化可以用监控视频中的第i帧图像到第j帧图像的人脸姿态变化进行表示，以第j帧图像(即t_j基础人脸图像)为参照，分别提取t_i原始人脸图像到基础人脸图像(i＜j)，或基础人脸图像到t_i原始人脸图像的光流场(i＞j)，其中，光流场由水平光流分量H与垂直光流分量V组成，且水平光流分量H与垂直光流分量V均由n*m的矩阵表示。
206、根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
本实施例中，根据t_i原始人脸图像到基础人脸图像(i＜j)，或基础人脸图像到t_i原始人脸图像的光流场(i＞j)，确定原始人脸图像中人脸特征的像素位置，以(N，M)表示；然后提取(N，M)像素位置的水平光流分量与垂直光流分量在二维坐标上的梯度值，梯度值计算方式如下所示：
(1)(N,M)位置像素的水平光流分量HN,M在x方向的梯度值H(x)N,M，H(x)N,M的计算方式如下所示：
(2)(N,M)位置像素的水平光流分量HN,M在y方向的梯度值H(y)N,M，H(y)N,M的计算方式如下所示：
(3)(N,M)位置像素的垂直光流分量VN,M在x方向的梯度值V(x)N,M，V(x)N,M的计算方式如下所示：
(4)(N,M)位置像素的垂直光流分量VN,M在y方向的梯度值V(y)N,M，V(y)N,M的计算方式如下所示：
然后通过H(x)N,M与H(y)N,M计算(N,M)位置像素的水平光流分量HN,M的梯度幅值M(H)N,M，公式如下所示：
通过V(x)N,M与V(y)N,M计算(N,M)位置像素的水平光流分量VN,M的梯度幅值M(V)N,M，公式如下所示：
通过最后通过M(H)N,M与M(V)N,M计算(N,M)像素位置人脸特征的光流梯度幅值MN,M，公式如下所示：
通过MN,M计算出t_i原始人脸图像的光流梯度幅值直方图Bt，公式如下所示：
Bt＝{b1,b2......br......bc}；
其中，c为光流梯度幅值直方图Bt中包含的组数，br为第r个组的频数，将光流梯度幅值直方图Bt作为原始人脸图像中位于(N,M)像素的人脸特征相对于基础人脸图像的光流梯度特征。
通过上述方法，即可计算出一张原始人脸图像相对于基础人脸图像的每一个人脸特征的光流梯度特征，以及每一张原始人脸图像相对于基础人脸图像的光流梯度特征。
207、根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
具体的，通过光流梯度特征，确定基础人脸图像与原始人脸图像之间的特征区域的操作步骤如下所示：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤；
本实施例中，光流梯度特征距离以欧式距离进行表示，通过计算基础人脸图像与原始人脸图像之间的欧式距离，判断人脸特征按照光流梯度特征从该原始人脸图像到基础人脸图像的预测位置，是否与该人脸特征在基础人脸图像的实际位置相同。若是，则确定该人脸特征对应的坐标位置为基础人脸图像与对应原始人脸图像之间的特征区域，否则调整对应人脸特征的位置坐标，直到满足光流梯度特征距离小于预设特征距离阈值的条件。
208、基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
本实施例中，根据包含人脸特征的区域坐标，确定帧间差光流场的像素坐标，通过步骤S206即可计算出该人脸特征区域对应的光流特征。
209、提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
210、基于所述第二人脸特征，进行人脸识别。
本发明实施例中，通过多张原始人脸图像的光流特征对基础人脸图像的第一人脸特征进行修补，当原始人脸图像于基础人脸图像辨识度都较低时，对于基础人脸图像中辨识度比较低的局部人脸特征进行强化，使其更明显，对于拍摄不到的局部人脸特征进行补充，使监控对象的人脸特征更全面，优化其人脸识别效果。
请参阅图3，本发明实施例中人脸增强识别方法的第三个实施例包括：
301、获取视频中具有时序信息的多张原始人脸图像；
302、提取所述各原始人脸图像对应的特征向量；
本实施例中，通过预设的特征提取算法，对原始人脸图像进行特征提取，得到对应的特征向量，其中，所述特征向量为LBP(Local Binary Pattern，局部二值模式)特征或HOG(方向梯度直方图，Histogram of Oriented Gradient)特征，优选的，选择LBP特作为原始人脸图像的特征向量。
303、将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
本实施例中，通过大量的人脸图像作为训练样本预先训练人脸质量评估分类器，包括MLP(Multi-Layer Perceptron，多层感知器)分类器或SVM(支持向量机，SupportVector Machine)分类器，此处直接将原始人脸图像的特征向量输入训练好的人脸质量评估分类器即可。此处质量评估结果包括原始人脸图像的图像大小、清晰度、分辨率、人脸角度等。
304、根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像，并对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；
本实施例中，预设质量要求规定了作为基础人脸图像应满足的条件，包括图像大小、清晰度、分辨率、人脸角度等。在得到原始人脸图像的质量评估结果后，按照时序信息，对质量要求进行顺序验证，若质量评估结果满足预设质量要求，则将对应的原始人脸图像作为基础人脸图像，并同时停止验证后续的原始人脸图像是否满足预设质量要求；或者根据质量评估结果对所有的原始人脸图像进行排序，然后从原始人脸图像中，选择质量评估得分最高的原始人脸图像作为基础人脸图像。优选地，使用质量评估得分最高的原始人脸图像作为基础人脸图像。
本实施例中，质量评估结果除了用于从原始人脸图像中筛选出用于待增强的基础人脸图像外，还用于筛除无用的基础人脸图像。在筛除之前，对原始人脸图像进行排序。
比如，一张原始人脸图像的图像清晰度低，分辨率低，人脸角度大(比如只拍到脸角)，则该原始人脸图像的质量评估得分应较低，无法从该原始人脸图像中提取到有用的特征信息，如光流特征，则可直接将该原始人脸图像剔除，减少计算量。
305、从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像；
本实施例中，不需要所有的原始人脸图像，才能完成对基础人脸图像对应的第一人脸特征的修补，以满足人脸识别的需求。实际应用中，只需若干数量的原始人脸图像的局部特征对应的光流特征，对基础人脸图像对应的第一人脸特征进行修补，即可完成对第一人脸特征的增强，得到足够用于人脸识别的第二人脸特征。故此处可只使用质量评估得分最高的预设数量的原始人脸图像，并将其他的质量更低的原始人脸图像筛除。
306、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
307、提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
308、基于所述第二人脸特征，进行人脸识别。
本发明实施例中，通过质量评估从多张原始人脸图像中筛选较优甚至最优的原始人脸图像作为基础人脸图像，并筛除部分的无用原始人脸图像，减少特征增强的计算量，增加特征增强效率。
请参阅图4，本发明实施例中人脸增强识别方法的第四个实施例包括：
401、获取视频中具有时序信息的多张原始人脸图像；
402、依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
403、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
404、分别计算所述各光流特征的注意力分布；
本实施例中，不一定所有的光流特征都有利于人脸识别，故在将光流特征融合至第一人脸特征前，需对光流特征进行筛选，以确定有利于分辨监控对象的光流特征。优选地，可以使用软性注意力机制(soft Attention)对光流特征进行筛选。
具体的，将光流特征逐个输入软性注意力机制模型中，将光流特征分解为N个输入信息，以X＝[x1，x2......xN]表示，其中，每一个xN表示人脸的一个局部特征，以该局部特征的特征值作为输入信息，比如一个光流特征包含10个局部特征，则此处N＝10。软性注意力机制模型中包含预置的Key(特征地址)与对应Value(键值)，其中，Key表示有用的人脸局部特征，Value表示Key对应的分值。通过Key＝Value＝X计算对应光流特征的注意力分布，公式如下所示：
αi＝sofymax[s(keyi,q)]＝softmax[s(Xi,q)]
其中，αi为光流特征的注意力分布，s(Xi,q)为注意力打分函数，q为对应的光流特征，优选地，使用
作为光流特征的注意力打分机制，W为第i个输入信息的得分权重。
405、根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
本实施例中，在计算得到光流特征的注意力分布后，通过信息旋转机制对输入信息X进行编码，具体如下所示：
其中，att(q,X)为光流特征的注意力得分，通过键值对模式进行计算。
406、根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
本实施例中，设置加权平均得分阈值，当加权平均得分阈值越高，则筛选得到的光流特征可用性越高，光流特征数量越少，当加权平均得分阈值越低，则筛选得到的光流特征可用性越低，光流特征数量越多，在实际应用场景中根据拍摄的人脸图像进行具体设置即可。通过比较加权平均得分与加权平均得分阈值，确定符合人脸识别条件的光流特征。
407、将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征；
本实施例中，当光流特征的加权平均得分高于加权平均得分阈值时，表明该光流特征对人脸识别有用，将该光流特征与第一人脸特征进行融合，以对第一人脸特征进行增强；反之则删除无用的光流特征。
408、基于所述第二人脸特征，进行人脸识别。
本发明实施例中，通过软性注意力机制筛选对人脸识别有用的光流特征，减少后续的光流特征与第一人脸特征的融合流程，同时减少无用光流特征的噪声影响，增加特征增强的效率与提升特征增强的质量。
上面对本发明实施例中人脸增强识别方法进行了描述，下面对本发明实施例中人脸增强识别装置进行描述，请参阅图5，本发明实施例中人脸增强识别装置一个实施例包括：
获取模块501，用于获取视频中具有时序信息的多张原始人脸图像；
质量评估模块502，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
特征匹配模块503，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
特征融合模块504，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
人脸识别模块505，用于基于所述第二人脸特征，进行人脸识别。
本发明实施例中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本发明实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
请参阅图6，本发明实施例中人脸增强识别装置的另一个实施例包括：
获取模块501，用于获取视频中具有时序信息的多张原始人脸图像；
质量评估模块502，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
特征匹配模块503，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
特征融合模块504，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
人脸识别模块505，用于基于所述第二人脸特征，进行人脸识别。
具体的，所述质量评估模块502包括：
第一提取单元5021，用于提取所述各原始人脸图像对应的特征向量；
质量评估单元5022，用于将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
筛选单元5023，用于根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
具体的，所述特征匹配模块503包括：
第一计算单元5031，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
模拟单元5032，用于根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
匹配单元5033，用于根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
具体的，所述匹配单元5033包括：
第一提取子单元50331，用于根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
第二提取子单元50332，用于根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
定位子单元50333，用于根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
匹配子单元50334，用于基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
具体的，所述定位子单元50333还用于：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
具体的，所述特征融合模块504包括：
第二计算单元5041，用于分别计算所述各光流特征的注意力分布；根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
判别单元5042，用于根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
生成单元5043，用于将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
具体的，所述人脸增强识别装置还包括筛选模块506，用于根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
本发明实施例中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本发明实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力；通过多张原始人脸图像的光流特征对基础人脸图像的第一人脸特征进行修补，当原始人脸图像于基础人脸图像辨识度都较低时，对于基础人脸图像中辨识度比较低的局部人脸特征进行强化，使其更明显，对于拍摄不到的局部人脸特征进行补充，使监控对象的人脸特征更全面，优化其人脸识别效果；通过质量评估从多张原始人脸图像中筛选较优甚至最优的原始人脸图像作为基础人脸图像，并筛除部分的无用原始人脸图像，减少特征增强的计算量，增加特征增强效率；通过软性注意力机制筛选对人脸识别有用的光流特征，减少后续的光流特征与第一人脸特征的融合流程，同时减少无用光流特征的噪声影响，增加特征增强的效率与提升特征增强的质量。
上面图5和图6从模块化功能实体的角度对本发明实施例中的人脸增强识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中人脸增强识别设备进行详细描述。
图7是本发明实施例提供的一种人脸增强识别设备的结构示意图，该人脸增强识别设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对人脸增强识别设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在人脸增强识别设备700上执行存储介质730中的一系列指令操作。
人脸增强识别设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的人脸增强识别设备结构并不构成对人脸增强识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种人脸增强识别设备，所述人脸增强识别设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述人脸增强识别方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述人脸增强识别方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种人脸增强识别方法，其特征在于，所述人脸增强识别方法包括：
获取视频中具有时序信息的多张原始人脸图像；
依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
基于所述第二人脸特征，进行人脸识别。
2.根据权利要求1所述的人脸增强识别方法，其特征在于，所述依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像包括：
提取所述各原始人脸图像对应的特征向量；
将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
3.根据权利要求1所述的人脸增强识别方法，其特征在于，所述根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
4.根据权利要求3所述的人脸增强识别方法，其特征在于，所述根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
5.根据权利要求4所述的人脸增强识别方法，其特征在于，所述根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域包括：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
6.根据权利要求1-5中任一项所述的人脸增强识别方法，其特征在于，所述分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征包括：
分别计算所述各光流特征的注意力分布；
根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
7.根据权利要求6所述的人脸增强识别方法，其特征在于，所述在依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像之后，还包括：
根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；
从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
8.一种人脸增强识别装置，其特征在于，所述人脸增强识别装置包括：
获取模块，用于获取视频中具有时序信息的多张原始人脸图像；
质量评估模块，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
特征匹配模块，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
特征融合模块，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
人脸识别模块，用于基于所述第二人脸特征，进行人脸识别。
9.一种人脸增强识别设备，其特征在于，所述人脸增强识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸增强识别设备执行如权利要求1-7中任一项所述的人脸增强识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的人脸增强识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738408.4A CN111860400B (zh) | 2020-07-28 | 2020-07-28 | 人脸增强识别方法、装置、设备及存储介质 |
| PCT/CN2020/111265 WO2021139171A1 (zh) | 2020-07-28 | 2020-08-26 | 人脸增强识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738408.4A CN111860400B (zh) | 2020-07-28 | 2020-07-28 | 人脸增强识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860400A true CN111860400A (zh) | 2020-10-30 |
| CN111860400B CN111860400B (zh) | 2024-06-07 |
Family
ID=72948896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010738408.4A Active CN111860400B (zh) | 2020-07-28 | 2020-07-28 | 人脸增强识别方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111860400B (zh) |
| WO (1) | WO2021139171A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597867A (zh) * | 2020-12-17 | 2021-04-02 | 佛山科学技术学院 | 戴口罩人脸识别方法、系统、计算机设备及存储介质 |
| CN115880588A (zh) * | 2021-09-13 | 2023-03-31 | 国家电网有限公司 | 一种结合时间域的两阶段无人机检测方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705650B (zh) * | 2021-08-20 | 2023-07-11 | 网易（杭州）网络有限公司 | 一种人脸图片集的处理方法、装置、介质和计算设备 |
| CN114005169B (zh) * | 2021-12-31 | 2022-03-22 | 中科视语(北京)科技有限公司 | 人脸关键点检测方法、装置、电子设备及存储介质 |
| CN114463825B (zh) * | 2022-04-08 | 2022-07-15 | 北京邮电大学 | 基于多模态融合的人脸预测方法及相关设备 |
| CN115776410B (zh) * | 2023-01-29 | 2023-05-02 | 深圳汉德霍尔科技有限公司 | 用于终端身份认证的人脸数据加密传输方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909061A (zh) * | 2017-12-07 | 2018-04-13 | 电子科技大学 | 一种基于不完备特征的头部姿态跟踪装置及方法 |
| CN108229330A (zh) * | 2017-12-07 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸融合识别方法及装置、电子设备和存储介质 |
| CN108229336A (zh) * | 2017-12-13 | 2018-06-29 | 北京市商汤科技开发有限公司 | 视频识别及训练方法和装置、电子设备、程序和介质 |
| CN108446601A (zh) * | 2018-02-27 | 2018-08-24 | 东南大学 | 一种基于动静特征融合的人脸识别方法 |
| CN109671023A (zh) * | 2019-01-24 | 2019-04-23 | 江苏大学 | 一种人脸图像超分辨率二次重建方法 |
| CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
| US20200005061A1 (en) * | 2018-06-28 | 2020-01-02 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method and system, computer-readable storage medium |
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866466B (zh) * | 2019-10-30 | 2023-12-26 | 平安科技（深圳）有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
-
2020
- 2020-07-28 CN CN202010738408.4A patent/CN111860400B/zh active Active
- 2020-08-26 WO PCT/CN2020/111265 patent/WO2021139171A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909061A (zh) * | 2017-12-07 | 2018-04-13 | 电子科技大学 | 一种基于不完备特征的头部姿态跟踪装置及方法 |
| CN108229330A (zh) * | 2017-12-07 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸融合识别方法及装置、电子设备和存储介质 |
| CN108229336A (zh) * | 2017-12-13 | 2018-06-29 | 北京市商汤科技开发有限公司 | 视频识别及训练方法和装置、电子设备、程序和介质 |
| CN108446601A (zh) * | 2018-02-27 | 2018-08-24 | 东南大学 | 一种基于动静特征融合的人脸识别方法 |
| US20200005061A1 (en) * | 2018-06-28 | 2020-01-02 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method and system, computer-readable storage medium |
| CN109671023A (zh) * | 2019-01-24 | 2019-04-23 | 江苏大学 | 一种人脸图像超分辨率二次重建方法 |
| CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 何晓云 等: "基于注意力机制的视频人脸表情识别", 信息技术, no. 02, 20 February 2020 (2020-02-20), pages 103 - 107 * |
| 王亚南 等: "基于图像合成的多姿态人脸图像识别方法", 模式识别与人工智能, no. 09, pages 848 - 856 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597867A (zh) * | 2020-12-17 | 2021-04-02 | 佛山科学技术学院 | 戴口罩人脸识别方法、系统、计算机设备及存储介质 |
| CN112597867B (zh) * | 2020-12-17 | 2024-04-26 | 佛山科学技术学院 | 戴口罩人脸识别方法、系统、计算机设备及存储介质 |
| CN115880588A (zh) * | 2021-09-13 | 2023-03-31 | 国家电网有限公司 | 一种结合时间域的两阶段无人机检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860400B (zh) | 2024-06-07 |
| WO2021139171A1 (zh) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860400B (zh) | 人脸增强识别方法、装置、设备及存储介质 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN104166841B (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| Tian | Evaluation of face resolution for expression analysis | |
| CN111967427A (zh) | 一种伪造人脸视频鉴别方法、系统和可读存储介质 | |
| CN104933414B (zh) | 一种基于wld-top的活体人脸检测方法 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| CN109815874A (zh) | 一种人员身份识别方法、装置、设备及可读存储介质 | |
| CN110088776A (zh) | 用于训练深度神经网络的计算机设备 | |
| CN109543548A (zh) | 一种人脸识别方法、装置及存储介质 | |
| CN105893946A (zh) | 一种正面人脸图像的检测方法 | |
| CN111539320B (zh) | 基于互相学习网络策略的多视角步态识别方法及系统 | |
| CN111539272B (zh) | 基于联合特征被动检测ai换脸视频的方法及系统 | |
| Paul et al. | Extraction of facial feature points using cumulative histogram | |
| CN104376312B (zh) | 基于词袋压缩感知特征提取的人脸识别方法 | |
| Mosayyebi et al. | Gender recognition in masked facial images using EfficientNet and transfer learning approach | |
| CN113436231B (zh) | 行人轨迹生成方法、装置、设备及存储介质 | |
| CN104156689B (zh) | 一种对目标对象的特征信息进行定位的方法和设备 | |
| CN115797970B (zh) | 基于YOLOv5模型的密集行人目标检测方法及系统 | |
| Yaseen et al. | A novel approach based on multi-level bottleneck attention modules using self-guided dropblock for person re-identification | |
| CN103761510A (zh) | 模拟人类视皮层感知机制的动作识别方法 | |
| CN110135362A (zh) | 一种基于红外摄像头下的人脸快速识别方法 | |
| Buddubariki et al. | Event recognition in egocentric videos using a novel trajectory based feature |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |