CN116311553B - 应用于半遮挡图像下的人脸活体检测方法及装置 - Google Patents

应用于半遮挡图像下的人脸活体检测方法及装置 Download PDF

Info

Publication number
CN116311553B
CN116311553B CN202310555696.3A CN202310555696A CN116311553B CN 116311553 B CN116311553 B CN 116311553B CN 202310555696 A CN202310555696 A CN 202310555696A CN 116311553 B CN116311553 B CN 116311553B
Authority
CN
China
Prior art keywords
face
representing
human eye
image
psychological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310555696.3A
Other languages
English (en)
Other versions
CN116311553A (zh
Inventor
王朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Lichu Business Service Co ltd
Original Assignee
Wuhan Lichu Business Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Lichu Business Service Co ltd filed Critical Wuhan Lichu Business Service Co ltd
Priority to CN202310555696.3A priority Critical patent/CN116311553B/zh
Publication of CN116311553A publication Critical patent/CN116311553A/zh
Application granted granted Critical
Publication of CN116311553B publication Critical patent/CN116311553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种应用于半遮挡图像下的人脸活体检测方法及装置，所述方法包括：识别半遮挡图像中的人眼区域，对人眼区域进行特征提取，得到人眼特征，基于人眼特征与预设的人眼数据库中特征之间的相似度，识别半遮挡图像中人脸的人脸身份；从预设的网络数据库中抽取人脸身份的活动信息，分析人脸身份的心理倾向度，利用心理倾向度构建人脸身份的心理因素；对非遮挡区域进行完整性补充，得到完整性人脸，对心理因素进行向量转换，得到心理向量，融合完整性人脸与心理向量，得到融合人脸特征；提取非遮挡区域中的人脸倾斜角度，将融合人脸特征生成为人脸图像；对人脸图像进行活体检测。本发明可以提高人脸活体检测的准确度。

Description

应用于半遮挡图像下的人脸活体检测方法及装置
技术领域
本发明涉及人脸检测领域，尤其涉及一种应用于半遮挡图像下的人脸活体检测方法及装置。
背景技术
半遮挡图像下的人脸活体检测是指检测半遮挡图像中的人脸是真实人脸还是虚拟人脸的过程。
目前，半遮挡图像下的人脸活体检测方法为通过利用神经网络模型对半遮挡图像中的非遮挡区域进行特征提取，利用所提取的特征实现人脸活体检测，但是在遮挡区域占总的半遮挡图像的面积过大时，导致非遮挡区域的面积较小，此时从非遮挡区域中所能提取到的特征数量较少，造成后续的利用提取的特征进行人脸活体检测的方法较难进行，而对遮挡区域进行人脸修复的方法通常是基于非遮挡区域的信息来实现的，这种方法所修复得到的遮挡区域的人脸分布与非遮挡区域的人脸分布极为相似，但实际由于人心理的复杂性，所在人脸上呈现的分布也较为复杂，导致人脸不同区域之间的特征分布各不相同。因此，由于非遮挡区域的特征数量较少、基于非遮挡区域的信息所修复的遮挡区域的信息分布缺乏特色，导致无论是从遮挡区域提取特征还是从所修复的完整的人脸中提取特征来实现人脸活体检测的方法的准确度不足。
发明内容
为了解决上述问题，本发明提供了一种应用于半遮挡图像下的人脸活体检测方法及装置，可以提高人脸活体检测的方法的准确度。
第一方面，本发明提供了一种应用于半遮挡图像下的人脸活体检测方法，包括：
获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份；
从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素；
获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征；
提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像；
对所述人脸图像进行活体检测，得到人脸活体检测结果。
在第一方面的一种可能实现方式中，所述识别所述半遮挡图像中的人眼区域，包括：
构建所述半遮挡图像的人眼划分的阈值序列；
基于所述阈值序列，随机将所述半遮挡图像划分为初始人眼区域与初始非人眼区域；
利用下述公式计算所述初始人眼区域内的第一灰度均值：
；
其中，表示所述第一灰度均值，/>表示第i个灰度级别的像素个数，t表示所述半遮挡图像内总的像素数目，i表示灰度级别的序号，n表示所述半遮挡图像内的灰度级别的最大级别的序号，e表示从所述阈值序列中选取的某个阈值，[1，e]的灰度级别范围为所述初始人眼区域内的范围；
利用下述公式计算所述初始非人眼区域内的第二灰度均值：
；
其中，表示所述第二灰度均值，/>表示第i个灰度级别的像素个数，t表示所述半遮挡图像内总的像素数目，i表示灰度级别的序号，n表示所述半遮挡图像内的灰度级别的最大级别的序号，e表示从所述阈值序列中选取的某个阈值，[/>，/>]的灰度级别范围为所述初始非人眼区域内的范围；
利用下述公式计算所述第一灰度均值与所述第二灰度均值之间的灰度差值：
；
其中，表示所述灰度差值，/>表示所述第一灰度均值，/>表示所述第二灰度均值，i表示灰度级别的序号，e表示从所述阈值序列中选取的某个阈值，[1，e]的灰度级别范围为所述初始人眼区域内的范围，[/>，/>]的灰度级别范围为所述初始非人眼区域内的范围，n表示所述半遮挡图像内的灰度级别的最大级别的序号，p表示/>，即第i个灰度级别的像素在所述半遮挡图像内出现的概率；
在所述灰度差值为最大差值时，从所述初始阈值序列中查询所述灰度差值对应的阈值，得到目标阈值；
利用所述目标阈值识别所述半遮挡图像中的人眼区域。
在第一方面的一种可能实现方式中，所述对所述人眼区域进行特征提取，得到人眼特征，包括：
去除所述人眼区域中的非人眼干扰因素，得到去除干扰后的人眼区域；
利用下述公式计算所述去除干扰后的人眼区域的人眼特征：
；
其中，表示所述人眼特征，/>表示所述人眼区域中的某一像素点的坐标，/>表示/>坐标处的像素灰度值，/>表示以/>坐标处的像素为中心的圆边界上的第j个像素灰度值，m表示以/>坐标处的像素为中心的圆边界上的像素点数目，j表示以坐标处的像素为中心的圆边界上的像素点序号，/>表示符号函数。
在第一方面的一种可能实现方式中，所述去除所述人眼区域中的非人眼干扰因素，得到去除干扰后的人眼区域，包括：
利用下述公式计算所述人眼区域的人眼中心坐标：
；
其中，(，/>)表示所述人眼中心坐标，/>表示所述人眼区域的高度，/>表示所述人眼区域的宽度，/>表示所述人眼区域上半部分的像素灰度均值，/>表示所述人眼区域下半部分的像素灰度均值，/>表示所述人眼区域右半部分的像素灰度均值，/>表示所述人眼区域左半部分的像素灰度均值；
基于所述人眼中心坐标，利用下述公式计算所述人眼区域中的人眼边界指数：
；
；
；
其中，表示所述人眼边界指数，/>表示所检测到的人眼区域中的边缘点的序号，表示所检测得到的人眼区域中的边缘点的数目，/>所检测得到的人眼区域中的边缘点的坐标，/>表示以(/>，/>)为圆心、以/>为半径、以/>为圆心的偏移方位的圆方程的值，/>表示对圆方程的值进行二值化之后的值；
在所述人眼边界指数为最大指数时，将所述人眼边界指数对应的圆圈区域作为所述人眼区域中的人眼边界，并将超出所述人眼边界的人眼区域进行去除处理，得到所述去除干扰后的人眼区域。
在第一方面的一种可能实现方式中，所述基于所述活动信息，分析所述人脸身份的心理倾向度，包括：
基于所述活动信息，利用下述公式计算所述人脸身份的朋友概率：
；
其中，表示所述人脸身份的朋友概率，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现次数，O表示所述活动信息中的所述人脸身份对应的人的所有出现地点；
基于所述活动信息，利用下述公式计算所述人脸身份的朋友关系指数：
；
其中，表示所述朋友关系指数，O表示所述活动信息中的所述人脸身份对应的人的所有出现地点，/>表示所述活动信息中的所述人脸身份对应的人的所有出现地点中出现的所有人的人数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现时其他人v的人数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现次数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z在地点o的出现次数；
将所述朋友概率与所述朋友关系指数作为所述心理倾向度。
在第一方面的一种可能实现方式中，所述利用所述心理倾向度构建所述人脸身份的心理因素，包括：
基于所述心理倾向度与预设倾向度之间的对比结果，确定所述人脸身份的第一心理因素；
获取活动信息，从所述活动信息中提取所述人脸身份的智力指数，并将所述智力指数作为所述人脸身份的第二心理因素；
从所述活动信息中提取所述人脸身份的心理健康度，并将所述心理健康度作为所述人脸身份的第三心理因素。
在第一方面的一种可能实现方式中，所述融合所述完整性人脸与所述心理向量，得到融合人脸特征，包括：
对所述心理向量卷积处理，得到卷积特征；
利用下述公式计算所述卷积特征的全连接层参数：
；
其中，表示所述全连接层参数，/>表示所述卷积特征，/>表示全连接层的偏置，/>表示全连接层的权重；
利用下述公式融合所述完整性人脸中的人脸特征与所述全连接层参数，得到所述融合人脸特征：
；
其中，表示所述融合人脸特征，/>表示所述全连接层参数，/>表示所述完整性人脸中的人脸特征，/>表示激活函数，/>表示注意力层的参数向量。
在第一方面的一种可能实现方式中，所述基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像，包括：
通过对所述融合人脸特征进行反卷积处理将所述融合人脸特征的特征值映射至预设的像素范围内，得到初始融合图像；
识别所述初始融合图像中的人脸倾斜角度；
根据所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度，利用下述公式计算所述初始融合图像的中像素点的目标调整坐标：
；
其中，表示所述目标调整坐标，/>表示所述初始融合图像的中像素点的初始坐标，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕x轴旋转的角度差值，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕y轴旋转的角度差值，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕z轴旋转的角度差值，/>表示当人脸图像向右倾斜时，使用公式1计算所述初始融合图像的中像素点的目标调整坐标，/>表示当人脸图像向左倾斜时，使用公式2计算所述初始融合图像的中像素点的目标调整坐标。
在第一方面的一种可能实现方式中，所述对所述人脸图像进行活体检测，得到人脸活体检测结果，包括：
对所述人脸图像进行傅里叶变换，得到傅里叶变换图像；
利用下述公式计算所述傅里叶变换图像的傅里叶频谱能量：
；
其中，表示所述傅里叶频谱能量，/>表示所述傅里叶变换图像中的像素点横纵坐标，/>表示所述傅里叶变换图像，/>表示所述傅里叶变换图像中的最大像素值，/>表示表示预设的最大频率值，/>表示预设的所述傅里叶变换图像中的频率阈值；
在所述傅里叶频谱能量大于预设能量时，将对所述人脸图像进行活体检测成功作为所述人脸活体检测结果；
在所述傅里叶频谱能量不大于所述预设能量时，将对所述人脸图像进行活体检测失败作为所述人脸活体检测结果。
第二方面，本发明提供了一种应用于半遮挡图像下的人脸活体检测装置，所述装置包括：
身份识别模块，用于获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份；
因素构建模块，用于从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素；
特征融合模块，用于获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征；
图像生成模块，用于提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像；
活体检测模块，用于对所述人脸图像进行活体检测，得到人脸活体检测结果。
与现有技术相比，本方案的技术原理及有益效果在于：
由于人脸被遮挡的场景通常为人群中被其他物体或人体遮挡，所遮挡的部位通常时人眼的下方部位，而人眼可以被识别到，因此本发明首先对人眼区域进行特征提取，进一步利用所提取的特征与人眼特征数据库中特征之间的相似度来判别此人眼所对应的人的身份信息，为后续对人眼所对应的人脸进行修复完善，然后从预设的网络数据库中抽取所述人脸身份的活动信息，以用于从所述活动信息中分析所述人脸身份与其他人互动的活跃度，进一步通过基于所述活动信息分析所述人脸身份的心理倾向度，以用于分析所述人脸身份的心理状况，并在完整性人脸中增添心理因素，增加所修复的人脸图像的分布特征，可以扩展后续的人脸特征提取种类，从而提升特征提取的效果与准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种应用于半遮挡图像下的人脸活体检测方法的流程示意图；
图2为本发明一实施例中图1提供的一种应用于半遮挡图像下的人脸活体检测方法的其中一个步骤的流程示意图；
图3为本发明一实施例中图1提供的一种应用于半遮挡图像下的人脸活体检测方法的另外一个步骤的流程示意图；
图4为本发明一实施例提供的一种应用于半遮挡图像下的人脸活体检测装置的模块示意图；
图5为本发明一实施例提供的实现应用于半遮挡图像下的人脸活体检测方法的电子设备的内部结构示意图。
具体实施方式
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种应用于半遮挡图像下的人脸活体检测方法，所述应用于半遮挡图像下的人脸活体检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述应用于半遮挡图像下的人脸活体检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示，是本发明一实施例提供的应用于半遮挡图像下的人脸活体检测方法的流程示意图。其中，图1中描述的应用于半遮挡图像下的人脸活体检测方法包括：
S1、获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份。
本发明实施例中，所述半遮挡图像是指被遮挡的人脸的图像。
进一步地，本发明实施例通过识别所述半遮挡图像中的人眼区域，以用于从有限的被遮挡的图像中提取到人眼特征，由于人脸被遮挡的场景通常为人群中被其他物体或人体遮挡，所遮挡的部位通常时人眼的下方部位，而人眼可以被识别到，因此首先对人眼区域进行特征提取。
本发明的一实施例中，所述识别所述半遮挡图像中的人眼区域，包括：构建所述半遮挡图像的人眼划分的阈值序列；基于所述阈值序列，随机将所述半遮挡图像划分为初始人眼区域与初始非人眼区域；利用下述公式计算所述初始人眼区域内的第一灰度均值：
；
其中，表示所述第一灰度均值，/>表示第i个灰度级别的像素个数，t表示所述半遮挡图像内总的像素数目，i表示灰度级别的序号，n表示所述半遮挡图像内的灰度级别的最大级别的序号，e表示从所述阈值序列中选取的某个阈值，[1，e]的灰度级别范围为所述初始人眼区域内的范围；
利用下述公式计算所述初始非人眼区域内的第二灰度均值：
；
其中，表示所述第二灰度均值，/>表示第i个灰度级别的像素个数，t表示所述半遮挡图像内总的像素数目，i表示灰度级别的序号，n表示所述半遮挡图像内的灰度级别的最大级别的序号，e表示从所述阈值序列中选取的某个阈值，[/>，/>]的灰度级别范围为所述初始非人眼区域内的范围；
利用下述公式计算所述第一灰度均值与所述第二灰度均值之间的灰度差值：
；
其中，表示所述灰度差值，/>表示所述第一灰度均值，/>表示所述第二灰度均值，i表示灰度级别的序号，e表示从所述阈值序列中选取的某个阈值，[1，e]的灰度级别范围为所述初始人眼区域内的范围，[/>，/>]的灰度级别范围为所述初始非人眼区域内的范围，n表示所述半遮挡图像内的灰度级别的最大级别的序号，p表示/>，即第i个灰度级别的像素在所述半遮挡图像内出现的概率；
在所述灰度差值为最大差值时，从所述初始阈值序列中查询所述灰度差值对应的阈值，得到目标阈值；利用所述目标阈值识别所述半遮挡图像中的人眼区域。
其中，所述阈值序列的范围时[1，n]，即为所述半遮挡图像的所有灰度级别的范围；所述基于所述阈值序列，随机将所述半遮挡图像划分为初始人眼区域与初始非人眼区域的过程是指从所述阈值序列中从头到尾依次选取某个阈值，并将小于阈值的部分划分为初始非人眼区域，大于阈值的部分为初始人眼区域，并在后续利用阈值计算所述初始人眼区域与所述初始非人眼区域之间的差值，当计算完每个阈值所对应的灰度差值之后普，在后续从中选取最大差值，表示所述初始人眼区域与所述初始非人眼区域之间的差距较大，则可以选择此灰度差值所对应的阈值来作为划分所述初始人眼区域与所述初始非人眼区域的依据。
进一步地，本发明实施例通过对所述人眼区域进行特征提取，以用于利用所提取的特征与人眼特征数据库中特征之间的相似度来判别此人眼所对应的人的身份信息，为后续对人眼所对应的人脸进行修复完善。
本发明的一实施例中，所述对所述人眼区域进行特征提取，得到人眼特征，包括：去除所述人眼区域中的非人眼干扰因素，得到去除干扰后的人眼区域；利用下述公式计算所述去除干扰后的人眼区域的人眼特征：
；
其中，表示所述人眼特征，/>表示所述人眼区域中的某一像素点的坐标，/>表示/>坐标处的像素灰度值，/>表示以/>坐标处的像素为中心的圆边界上的第j个像素灰度值，m表示以/>坐标处的像素为中心的圆边界上的像素点数目，j表示以坐标处的像素为中心的圆边界上的像素点序号，/>表示符号函数。
本发明的又一实施例中，所述去除所述人眼区域中的非人眼干扰因素，得到去除干扰后的人眼区域，包括：利用下述公式计算所述人眼区域的人眼中心坐标：
；
其中，(，/>)表示所述人眼中心坐标，/>表示所述人眼区域的高度，/>表示所述人眼区域的宽度，/>表示所述人眼区域上半部分的像素灰度均值，/>表示所述人眼区域下半部分的像素灰度均值，/>表示所述人眼区域右半部分的像素灰度均值，/>表示所述人眼区域左半部分的像素灰度均值；
基于所述人眼中心坐标，利用下述公式计算所述人眼区域中的人眼边界指数：
；
；
；
其中，表示所述人眼边界指数，/>表示所检测到的人眼区域中的边缘点的序号，表示所检测得到的人眼区域中的边缘点的数目，/>所检测得到的人眼区域中的边缘点的坐标，/>表示以(/>，/>)为圆心、以/>为半径、以/>为圆心的偏移方位的圆方程的值，/>表示对圆方程的值进行二值化之后的值；
在所述人眼边界指数为最大指数时，将所述人眼边界指数对应的圆圈区域作为所述人眼区域中的人眼边界，并将超出所述人眼边界的人眼区域进行去除处理，得到所述去除干扰后的人眼区域。
本发明的一实施例中，参阅图2所示，所述基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份，包括：
S201、在所述相似度为最大值时，在所述预设的人眼数据库中查询所述相似度对应的人眼特征，得到目标人眼特征；
S202、将所述目标人眼特征对应的人脸的身份信息作为所述半遮挡图像中人脸的人脸身份。
S2、从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素。
本发明实施例通过从预设的网络数据库中抽取所述人脸身份的活动信息，以用于从所述活动信息中分析所述人脸身份与其他人互动的活跃度，由于所述人脸身份所对应的人与其他人之间的交互越丰富，则表示此人的情绪、性格为正向状态，因此可以提取所述人脸身份与其他人互动的活跃度来分析此人的心理状况。
其中，所述活动信息是指所述人脸身份的定位信息、监控信息、与所述人脸身份交互的其他人的定位信息与监控信息等，其中的定位信息包括所述人脸身份的出现地点的信息、出现的时间信息、与所述人脸身份交互的其他人的出现地点的信息、出现的时间信息，所述监控信息包括所述人脸身份与其他人交互的距离、所述人脸身份的交互的其他人的人脸信息等。
进一步地，本发明实施例通过基于所述活动信息，分析所述人脸身份的心理倾向度，以用于分析所述人脸身份的心理状况。
本发明的一实施例中，所述基于所述活动信息，分析所述人脸身份的心理倾向度，包括：基于所述活动信息，利用下述公式计算所述人脸身份的朋友概率：
；
其中，表示所述人脸身份的朋友概率，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现次数，O表示所述活动信息中的所述人脸身份对应的人的所有出现地点；
基于所述活动信息，利用下述公式计算所述人脸身份的朋友关系指数：
；
其中，表示所述朋友关系指数，O表示所述活动信息中的所述人脸身份对应的人的所有出现地点，/>表示所述活动信息中的所述人脸身份对应的人的所有出现地点中出现的所有人的人数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现时其他人v的人数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现次数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z在地点o的出现次数；
将所述朋友概率与所述朋友关系指数作为所述心理倾向度。
进一步地，本发明实施例通过利用所述心理倾向度构建所述人脸身份的心理因素，以用于增添在后续的基于非遮挡区域的信息所修复的遮挡区域的信息分布特色。
本发明的一实施例中，参阅图3所示，所述利用所述心理倾向度构建所述人脸身份的心理因素，包括：
S301、基于所述心理倾向度与预设倾向度之间的对比结果，确定所述人脸身份的第一心理因素；
S302、获取活动信息，从所述活动信息中提取所述人脸身份的智力指数，并将所述智力指数作为所述人脸身份的第二心理因素；
S302、从所述活动信息中提取所述人脸身份的心理健康度，并将所述心理健康度作为所述人脸身份的第三心理因素。
S3、获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征。
可选地，所述对所述非遮挡区域进行完整性补充，得到完整性人脸通过对所述非遮挡区域进行人脸修复实现，所述对所述非遮挡区域进行人脸修复的过程可以通过生成对抗网络实现。
可选地，所述对所述心理因素进行向量转换，得到心理向量可以通过独热编码实现。
进一步地，本发明实施例通过融合所述完整性人脸与所述心理向量，以用于在所述完整性人脸中增添心理因素，增加所修复的人脸图像的分布特征，可以扩展后续的人脸特征提取种类，从而提升特征提取的效果与准确率。
本发明的一实施例中，所述融合所述完整性人脸与所述心理向量，得到融合人脸特征，包括：对所述心理向量卷积处理，得到卷积特征；利用下述公式计算所述卷积特征的全连接层参数：
；
其中，表示所述全连接层参数，/>表示所述卷积特征，/>表示全连接层的偏置，/>表示全连接层的权重；
利用下述公式融合所述完整性人脸中的人脸特征与所述全连接层参数，得到所述融合人脸特征：
；
其中，表示所述融合人脸特征，/>表示所述全连接层参数，/>表示所述完整性人脸中的人脸特征，/>表示激活函数，/>表示注意力层的参数向量。
S4、提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像。
本发明的一实施例中，所述提取所述非遮挡区域中的人脸倾斜角度通过分析所述非遮挡区域中的头部姿态来实现。
进一步地，本发明实施例通过基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像，以用于基于所述非遮挡区域中的人脸倾斜角度，来调整所修复的人脸图像中的人脸角度与所述非遮挡区域中的人脸倾斜角度一致。
本发明的一实施例中，所述基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像，包括：通过对所述融合人脸特征进行反卷积处理将所述融合人脸特征的特征值映射至预设的像素范围内，得到初始融合图像；识别所述初始融合图像中的人脸倾斜角度；根据所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度，利用下述公式计算所述初始融合图像的中像素点的目标调整坐标：
；
其中，表示所述目标调整坐标，/>表示所述初始融合图像的中像素点的初始坐标，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕x轴旋转的角度差值，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕y轴旋转的角度差值，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕z轴旋转的角度差值，/>表示当人脸图像向右倾斜时，使用公式1计算所述初始融合图像的中像素点的目标调整坐标，/>表示当人脸图像向左倾斜时，使用公式2计算所述初始融合图像的中像素点的目标调整坐标。
其中，所述预设的像素范围为[0，255]，用于将特征转换为图像中的像素点。
S5、对所述人脸图像进行活体检测，得到人脸活体检测结果。
本发明实施例通过对所述人脸图像进行活体检测，以用于在所述人脸图像的基础上进行活体检测，此时可以从所修复好的人脸图像中提取相比对原先的非遮挡区域的特征更丰富的特征，从而提取特征提取的准确率。
本发明的一实施例中，所述对所述人脸图像进行活体检测，得到人脸活体检测结果，包括：对所述人脸图像进行傅里叶变换，得到傅里叶变换图像；利用下述公式计算所述傅里叶变换图像的傅里叶频谱能量：
；
其中，表示所述傅里叶频谱能量，/>表示所述傅里叶变换图像中的像素点横纵坐标，/>表示所述傅里叶变换图像，/>表示所述傅里叶变换图像中的最大像素值，/>表示表示预设的最大频率值，/>表示预设的所述傅里叶变换图像中的频率阈值；
在所述傅里叶频谱能量大于预设能量时，将对所述人脸图像进行活体检测成功作为所述人脸活体检测结果；在所述傅里叶频谱能量不大于所述预设能量时，将对所述人脸图像进行活体检测失败作为所述人脸活体检测结果。
可以看出，本实施例通过识别所述半遮挡图像中的人眼区域，以用于从有限的被遮挡的图像中提取到人眼特征，由于人脸被遮挡的场景通常为人群中被其他物体或人体遮挡，所遮挡的部位通常时人眼的下方部位，而人眼可以被识别到，因此首先对人眼区域进行特征提取，进一步地，通过对所述人眼区域进行特征提取，以用于利用所提取的特征与人眼特征数据库中特征之间的相似度来判别此人眼所对应的人的身份信息，为后续对人眼所对应的人脸进行修复完善，本实施例通过从预设的网络数据库中抽取所述人脸身份的活动信息，以用于从所述活动信息中分析所述人脸身份与其他人互动的活跃度，由于所述人脸身份所对应的人与其他人之间的交互越丰富，则表示此人的情绪、性格为正向状态，因此可以提取所述人脸身份与其他人互动的活跃度来分析此人的心理状况；
进一步地，本实施例通过基于所述活动信息，分析所述人脸身份的心理倾向度，以用于分析所述人脸身份的心理状况，进一步地，本发明实施例通过融合所述完整性人脸与所述心理向量，以用于在所述完整性人脸中增添心理因素，增加所修复的人脸图像的分布特征，可以扩展后续的人脸特征提取种类，从而提升特征提取的效果与准确率；
同时，本实施例通过基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像，以用于基于所述非遮挡区域中的人脸倾斜角度，来调整所修复的人脸图像中的人脸角度与所述非遮挡区域中的人脸倾斜角度一致，进一步地，本发明实施例通过对所述人脸图像进行活体检测，以用于在所述人脸图像的基础上进行活体检测，此时可以从所修复好的人脸图像中提取相比对原先的非遮挡区域的特征更丰富的特征，从而提取特征提取的准确率。
如图4所示，是本发明应用于半遮挡图像下的人脸活体检测装置功能模块图。
本发明所述应用于半遮挡图像下的人脸活体检测装置400可以安装于电子设备中。根据实现的功能，所述应用于半遮挡图像下的人脸活体检测装置可以包括身份识别模块401、因素构建模块402、特征融合模块403、图像生成模块404以及活体检测模块405。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本发明实施例中，关于各模块/单元的功能如下：
所述身份识别模块401，用于获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份；
所述因素构建模块402，用于从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素；
所述特征融合模块403，用于获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征；
所述图像生成模块404，用于提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像；
所述活体检测模块405，用于对所述人脸图像进行活体检测，得到人脸活体检测结果。
详细地，本发明实施例中所述应用于半遮挡图像下的人脸活体检测装置400中的所述各模块在使用时采用与上述的图1至图3中所述的应用于半遮挡图像下的人脸活体检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明实现应用于半遮挡图像下的人脸活体检测方法的电子设备的结构示意图。
所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53，还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序，如上述应用于半遮挡图像下的人脸活体检测程序。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份；
从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素；
获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征；
提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像；
对所述人脸图像进行活体检测，得到人脸活体检测结果。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种应用于半遮挡图像下的人脸活体检测方法，其特征在于，所述方法包括：
获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份；
从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素；
获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征；
提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像；
对所述人脸图像进行活体检测，得到人脸活体检测结果。
2.根据权利要求1所述的方法，其特征在于，所述识别所述半遮挡图像中的人眼区域，包括：
构建所述半遮挡图像的人眼划分的阈值序列；
基于所述阈值序列，随机将所述半遮挡图像划分为初始人眼区域与初始非人眼区域；
利用下述公式计算所述初始人眼区域内的第一灰度均值：
；
其中，表示所述第一灰度均值，/>表示第i个灰度级别的像素个数，t表示所述半遮挡图像内总的像素数目，i表示灰度级别的序号，n表示所述半遮挡图像内的灰度级别的最大级别的序号，e表示从所述阈值序列中选取的某个阈值，[1，e]的灰度级别范围为所述初始人眼区域内的范围；
利用下述公式计算所述初始非人眼区域内的第二灰度均值：
；
其中，表示所述第二灰度均值，/>表示第i个灰度级别的像素个数，t表示所述半遮挡图像内总的像素数目，i表示灰度级别的序号，n表示所述半遮挡图像内的灰度级别的最大级别的序号，e表示从所述阈值序列中选取的某个阈值，[/>，/>]的灰度级别范围为所述初始非人眼区域内的范围；
利用下述公式计算所述第一灰度均值与所述第二灰度均值之间的灰度差值：
；
其中，表示所述灰度差值，/>表示所述第一灰度均值，/>表示所述第二灰度均值，i表示灰度级别的序号，e表示从所述阈值序列中选取的某个阈值，[1，e]的灰度级别范围为所述初始人眼区域内的范围，[/>，/>]的灰度级别范围为所述初始非人眼区域内的范围，n表示所述半遮挡图像内的灰度级别的最大级别的序号，p表示/>，即第i个灰度级别的像素在所述半遮挡图像内出现的概率；
在所述灰度差值为最大差值时，从所述阈值序列中查询所述灰度差值对应的阈值，得到目标阈值；
利用所述目标阈值识别所述半遮挡图像中的人眼区域。
3.根据权利要求1所述的方法，其特征在于，所述对所述人眼区域进行特征提取，得到人眼特征，包括：
去除所述人眼区域中的非人眼干扰因素，得到去除干扰后的人眼区域；
利用下述公式计算所述去除干扰后的人眼区域的人眼特征：
；
其中，表示所述人眼特征，/>表示所述人眼区域中的某一像素点的坐标，/>表示/>坐标处的像素灰度值，/>表示以/>坐标处的像素为中心的圆边界上的第j个像素灰度值，m表示以/>坐标处的像素为中心的圆边界上的像素点数目，j表示以/>坐标处的像素为中心的圆边界上的像素点序号，/>表示符号函数。
4.根据权利要求3所述的方法，其特征在于，所述去除所述人眼区域中的非人眼干扰因素，得到去除干扰后的人眼区域，包括：
利用下述公式计算所述人眼区域的人眼中心坐标：
；
其中，(，/>)表示所述人眼中心坐标，/>表示所述人眼区域的高度，/>表示所述人眼区域的宽度，/>表示所述人眼区域上半部分的像素灰度均值，/>表示所述人眼区域下半部分的像素灰度均值，/>表示所述人眼区域右半部分的像素灰度均值，/>表示所述人眼区域左半部分的像素灰度均值；
基于所述人眼中心坐标，利用下述公式计算所述人眼区域中的人眼边界指数：
；
；
；
其中，表示所述人眼边界指数，/>表示所检测到的人眼区域中的边缘点的序号，/>表示所检测得到的人眼区域中的边缘点的数目，/>所检测得到的人眼区域中的边缘点的坐标，/>表示以(/>，/>)为圆心、以/>为半径、以/>为圆心的偏移方位的圆方程的值，/>表示对圆方程的值进行二值化之后的值；
在所述人眼边界指数为最大指数时，将所述人眼边界指数对应的圆圈区域作为所述人眼区域中的人眼边界，并将超出所述人眼边界的人眼区域进行去除处理，得到所述去除干扰后的人眼区域。
5.根据权利要求1所述的方法，其特征在于，所述基于所述活动信息，分析所述人脸身份的心理倾向度，包括：
基于所述活动信息，利用下述公式计算所述人脸身份的朋友概率：
；
其中，表示所述人脸身份的朋友概率，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现次数，O表示所述活动信息中的所述人脸身份对应的人的所有出现地点；
基于所述活动信息，利用下述公式计算所述人脸身份的朋友关系指数：
；
其中，表示所述朋友关系指数，O表示所述活动信息中的所述人脸身份对应的人的所有出现地点，/>表示所述活动信息中的所述人脸身份对应的人的所有出现地点中出现的所有人的人数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现时其他人v的人数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z与其他人v在地点o的一起出现次数，/>表示所述活动信息中的在一段时间内，所述人脸身份对应的人z在地点o的出现次数；
将所述朋友概率与所述朋友关系指数作为所述心理倾向度。
6.根据权利要求1所述的方法，其特征在于，所述利用所述心理倾向度构建所述人脸身份的心理因素，包括：
基于所述心理倾向度与预设倾向度之间的对比结果，确定所述人脸身份的第一心理因素；
获取活动信息，从所述活动信息中提取所述人脸身份的智力指数，并将所述智力指数作为所述人脸身份的第二心理因素；
从所述活动信息中提取所述人脸身份的心理健康度，并将所述心理健康度作为所述人脸身份的第三心理因素。
7.根据权利要求1所述的方法，其特征在于，所述融合所述完整性人脸与所述心理向量，得到融合人脸特征，包括：
对所述心理向量卷积处理，得到卷积特征；
利用下述公式计算所述卷积特征的全连接层参数：
；
其中，表示所述全连接层参数，/>表示所述卷积特征，/>表示全连接层的偏置，/>表示全连接层的权重；
利用下述公式融合所述完整性人脸中的人脸特征与所述全连接层参数，得到所述融合人脸特征：
；
其中，表示所述融合人脸特征，/>表示所述全连接层参数，/>表示所述完整性人脸中的人脸特征，/>表示激活函数，/>表示注意力层的参数向量。
8.根据权利要求1所述的方法，其特征在于，所述基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像，包括：
通过对所述融合人脸特征进行反卷积处理将所述融合人脸特征的特征值映射至预设的像素范围内，得到初始融合图像；
识别所述初始融合图像中的人脸倾斜角度；
根据所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度，利用下述公式计算所述初始融合图像的中像素点的目标调整坐标：
；
其中，表示所述目标调整坐标，/>表示所述初始融合图像的中像素点的初始坐标，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕x轴旋转的角度差值，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕y轴旋转的角度差值，/>表示所述非遮挡区域中的人脸倾斜角度与所述初始融合图像中的人脸倾斜角度之间的绕z轴旋转的角度差值，当人脸图像向右倾斜时，使用公式1计算所述初始融合图像的中像素点的目标调整坐标，当人脸图像向左倾斜时，使用公式2计算所述初始融合图像的中像素点的目标调整坐标。
9.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像进行活体检测，得到人脸活体检测结果，包括：
对所述人脸图像进行傅里叶变换，得到傅里叶变换图像；
利用下述公式计算所述傅里叶变换图像的傅里叶频谱能量：
；
其中，表示所述傅里叶频谱能量，/>表示所述傅里叶变换图像中的像素点横纵坐标，/>表示所述傅里叶变换图像，/>表示所述傅里叶变换图像中的最大像素值，/>表示预设的最大频率值，/>表示预设的所述傅里叶变换图像中的频率阈值；
在所述傅里叶频谱能量大于预设能量时，将对所述人脸图像进行活体检测成功作为所述人脸活体检测结果；
在所述傅里叶频谱能量不大于所述预设能量时，将对所述人脸图像进行活体检测失败作为所述人脸活体检测结果。
10.一种应用于半遮挡图像下的人脸活体检测装置，其特征在于，所述装置包括：
身份识别模块，用于获取半遮挡图像，识别所述半遮挡图像中的人眼区域，对所述人眼区域进行特征提取，得到人眼特征，基于所述人眼特征与预设的人眼数据库中特征之间的相似度，识别所述半遮挡图像中人脸的人脸身份；
因素构建模块，用于从预设的网络数据库中抽取所述人脸身份的活动信息，基于所述活动信息，分析所述人脸身份的心理倾向度，利用所述心理倾向度构建所述人脸身份的心理因素；
特征融合模块，用于获取所述半遮挡图像中的非遮挡区域，对所述非遮挡区域进行完整性补充，得到完整性人脸，对所述心理因素进行向量转换，得到心理向量，融合所述完整性人脸与所述心理向量，得到融合人脸特征；
图像生成模块，用于提取所述非遮挡区域中的人脸倾斜角度，基于所述人脸倾斜角度，将所述融合人脸特征生成为人脸图像；
活体检测模块，用于对所述人脸图像进行活体检测，得到人脸活体检测结果。
CN202310555696.3A 2023-05-17 2023-05-17 应用于半遮挡图像下的人脸活体检测方法及装置 Active CN116311553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310555696.3A CN116311553B (zh) 2023-05-17 2023-05-17 应用于半遮挡图像下的人脸活体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310555696.3A CN116311553B (zh) 2023-05-17 2023-05-17 应用于半遮挡图像下的人脸活体检测方法及装置

Publications (2)

Publication Number Publication Date
CN116311553A CN116311553A (zh) 2023-06-23
CN116311553B true CN116311553B (zh) 2023-08-15

Family

ID=86827280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310555696.3A Active CN116311553B (zh) 2023-05-17 2023-05-17 应用于半遮挡图像下的人脸活体检测方法及装置

Country Status (1)

Country Link
CN (1) CN116311553B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196107A (ja) * 2012-03-16 2013-09-30 Dainippon Printing Co Ltd 画像処理システム、画像処理方法、サーバおよびプログラム
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
WO2019232866A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN111626163A (zh) * 2020-05-18 2020-09-04 浙江大华技术股份有限公司 一种人脸活体检测方法、装置及计算机设备
CN113421317A (zh) * 2021-06-10 2021-09-21 浙江大华技术股份有限公司 一种生成图像的方法、系统及电子设备
CN113907733A (zh) * 2020-07-10 2022-01-11 四川瑞蓝智博科技有限公司 博纳希ai
WO2022134337A1 (zh) * 2020-12-21 2022-06-30 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质
CN114821714A (zh) * 2022-04-10 2022-07-29 复旦大学 基于协同特征补全的有遮挡场景下的人脸表情识别方法
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
EP4120121A1 (en) * 2020-08-14 2023-01-18 Tencent Technology (Shenzhen) Company Limited Face liveness detection method, system and apparatus, computer device, and storage medium
WO2023000864A1 (zh) * 2021-07-19 2023-01-26 清华大学 一种人脸识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098229A1 (en) * 2005-10-27 2007-05-03 Quen-Zong Wu Method and device for human face detection and recognition used in a preset environment
CN110032278B (zh) * 2019-03-29 2020-07-14 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN113361349B (zh) * 2021-05-25 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196107A (ja) * 2012-03-16 2013-09-30 Dainippon Printing Co Ltd 画像処理システム、画像処理方法、サーバおよびプログラム
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
WO2019232866A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN111626163A (zh) * 2020-05-18 2020-09-04 浙江大华技术股份有限公司 一种人脸活体检测方法、装置及计算机设备
CN113907733A (zh) * 2020-07-10 2022-01-11 四川瑞蓝智博科技有限公司 博纳希ai
EP4120121A1 (en) * 2020-08-14 2023-01-18 Tencent Technology (Shenzhen) Company Limited Face liveness detection method, system and apparatus, computer device, and storage medium
WO2022134337A1 (zh) * 2020-12-21 2022-06-30 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质
CN113421317A (zh) * 2021-06-10 2021-09-21 浙江大华技术股份有限公司 一种生成图像的方法、系统及电子设备
WO2023000864A1 (zh) * 2021-07-19 2023-01-26 清华大学 一种人脸识别方法及系统
CN114821714A (zh) * 2022-04-10 2022-07-29 复旦大学 基于协同特征补全的有遮挡场景下的人脸表情识别方法
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合局部特征的面部遮挡表情识别;王晓华;李瑞静;胡敏;任福继;;中国图象图形学报(11);全文 *

Also Published As

Publication number Publication date
CN116311553A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN108921782B (zh) 一种图像处理方法、装置及存储介质
Gangwar et al. IrisSeg: A fast and robust iris segmentation framework for non-ideal iris images
KR20170138587A (ko) 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
JP2002342756A (ja) デジタル画像において目と口の位置を検出する方法
CN109389098B (zh) 一种基于唇语识别的验证方法以及系统
CN110705353A (zh) 基于注意力机制的遮挡人脸的识别方法和装置
CN107832721B (zh) 用于输出信息的方法和装置
CN113011385A (zh) 人脸静默活体检测方法、装置、计算机设备及存储介质
KR101471814B1 (ko) 홍채 인식에 의한 식별
CN116205799A (zh) 图像修复方法、装置及计算机可读存储介质
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
CN116311553B (zh) 应用于半遮挡图像下的人脸活体检测方法及装置
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN117409083A (zh) 一种基于红外图像和改进yolov5的电缆终端识别方法及装置
CN112528261A (zh) 一种sim卡的用户身份的识别方法及装置
CN116740485A (zh) 病变检测模型的训练方法和装置、电子设备及存储介质
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN113569806A (zh) 人脸识别方法及装置
CN116151917B (zh) 一种基于三维模型的交易确权方法及系统
CN112801008B (zh) 行人重识别方法、装置、电子设备及可读存储介质
Xu Dance Movement Interference Suppression Algorithm Based upon Contour Model and AdaBoost Algorithm
CN115359794A (zh) 一种校园异常行为的监控留证方法、系统、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant