CN111598038B - 脸部特征点检测方法、装置、设备及存储介质 - Google Patents

脸部特征点检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111598038B
CN111598038B CN202010442965.1A CN202010442965A CN111598038B CN 111598038 B CN111598038 B CN 111598038B CN 202010442965 A CN202010442965 A CN 202010442965A CN 111598038 B CN111598038 B CN 111598038B
Authority
CN
China
Prior art keywords
image
feature point
training sample
sample image
facial feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010442965.1A
Other languages
English (en)
Other versions
CN111598038A (zh
Inventor
黄少光
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202010442965.1A priority Critical patent/CN111598038B/zh
Publication of CN111598038A publication Critical patent/CN111598038A/zh
Application granted granted Critical
Publication of CN111598038B publication Critical patent/CN111598038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及人工智能领域，公开了一种脸部特征点检测方法、装置、设备及存储介质。脸部特征点检测方法包括：获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息；将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型；获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。本发明提高了眼部被遮挡的情形下人脸特征点检测的精确性。

Description

脸部特征点检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种脸部特征点检测方法、装置、设备及存储介质。
背景技术
人脸特征点检测(Facial landmark detection)，即人脸特征点定位、人脸对齐，就是在获取的人脸图像的基础上对人脸上特征点进行定位，如嘴角、眼角、鼻子等。人脸特征点检测可应用于多个方面，例如通过将人脸特征点对齐到平均位置，使之后的识别方法的准确率更高。此外，人脸特征点检测还可用于微表情捕捉，表情识别等方面。
然而目前人脸特征点检测主要是基于眼睛、鼻子和嘴巴。然而当用户佩戴墨镜或佩戴VR/AR眼镜时，通过现有方式很难检测到人脸特征点。一方面是因为缺少眼睛，很多时候识别模型无法正确将视频或图像中的人脸图像提取出来，另一方面，目前大多数人脸特征点检测都是综合五官所有特征实现的特征点检测。由于这两个原因，造成当缺乏眼部时，人脸特征点检测准确率低。
发明内容
本发明的主要目的在于解决遮挡眼部时人脸特征点检测精确率低的问题。
本发明第一方面提供了一种脸部特征点检测方法，包括：
获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
可选地，在本发明第一方面的第一种实现方式中，所述获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息包括：
获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；
对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；
将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息。
可选地，在本发明第一方面的第二种实现方式中，所述将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型包括：
将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；
将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；
将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；
将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标值的预测结果并输出；
根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型。
可选地，在本发明第一方面的第三种实现方式中，所述输出层包括全连接层，所述将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标值的预测结果并输出包括：
将所述第二特征图输入所述全连接层，并通过所述全连接层将所述第二特征图进行拟合，得到所述训练样本图像对应的输出值；
根据所述输出值，计算出所述训练样本图像的每个特征点的坐标值；
将所述坐标值作为所述训练样本图像对应的预测结果并输出。
可选地，在本发明第一方面的第四种实现方式中，所述根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型包括：
根据预置损失函数，计算所述预测结果和所述标注信息之间的损失值，其中，所述损失函数的公式为
Figure GDA0004189290160000031
α为线性方程因子，m为输出个数，xi为网络输入，hα(xi)为预测结果，yi为标注信息；
将所述损失值反向传播回所述残差网络模型，并基于预置优化器，对所述残差网络模型的学习率和参数进行优化；
若所述残差网络模型收敛，则将当前的残差网络模型作为脸部特征点检测模型。
可选地，在本发明第一方面的第五种实现方式中，所述将待检测图像输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像的目标人脸图像包括：
获取待检测图像；
将所述待检测图像输入预置人体姿态检测模型，并通过所述人体姿态检测模型，得到所述待检测图像中骨骼信息，其中，所述骨骼信息包括所述待检测图像中耳朵或鼻子的位置坐标；
根据预置人脸规则和所述骨骼信息，确定所述待检测图像中的人脸区域并提取，得到目标人脸图像。
本发明第二方面提供了一种脸部特征点检测装置，包括：
获取模块，用于获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
训练模块，用于将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
第一检测模块，用于获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
第二检测模块，用于将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
可选地，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：
获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；
对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；
将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息。
可选地，在本发明第二方面的第二种实现方式中，所述训练模块包括：
预处理单元，用于将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；
第一特征提取单元，用于将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；
第二特征提取单元，用于将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；
输出单元，用于将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标的预测结果并输出；
优化单元，用于根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型。
可选地，在本发明第二方面的第三种实现方式中，所述输出单元具体用于：
将所述第二特征图输入所述全连接层，并通过所述全连接层将所述第二特征图进行拟合，得到所述训练样本图像对应的输出值；
根据所述输出值，计算出所述训练样本图像的每个特征点的坐标值；
将所述坐标值作为所述训练样本的每个特征点的坐标的预测结果并输出。
可选地，在本发明第二方面的第四种实现方式中，所述优化单元具体用于：
根据预置损失函数，计算所述预测结果和所述标注信息之间的损失值，其中，所述损失函数的公式为
Figure GDA0004189290160000051
α为线性方程因子，m为输出个数，xi为网络输入，hα(xi)为预测结果，yi为标注信息，i为训练样本图像的第i个像素点；
将所述损失值反向传播回所述残差网络模型，并基于预置优化器，对所述残差网络模型的学习率和参数进行优化；
若所述残差网络模型收敛，则将当前的残差网络模型作为脸部特征点检测模型。
可选地，在本发明第二方面的第五种实现方式中，所述第一检测模块具体用于：
获取待检测图像；
将所述待检测图像输入预置人体姿态检测模型，并通过所述人体姿态检测模型，得到所述待检测图像中骨骼信息，其中，所述骨骼信息包括所述待检测图像中耳朵或鼻子的位置坐标；
根据预置人脸规则和所述骨骼信息，确定所述待检测图像中的人脸区域并提取，得到目标人脸图像。
本发明第三方面提供了一种脸部特征点检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述脸部特征点检测设备执行上述的脸部特征点检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的脸部特征点检测方法。
本发明提供的技术方案中，先获取包含遮挡眼部或未遮挡眼部的样本人脸图像作为训练样本图像，并进行标注，得到标注信息。然后使用训练样本图像和标注信息对预置的残差网络进行训练，得到脸部特征点检测模型。当获取待检测图像时，先通过人体姿态检测模型，得到目标人脸图像，最后将目标人脸头像输入脸部特征点检测模型进行检测，得到脸部特征点数据。本发明实施例中，通过遮挡眼部和未遮挡眼部的训练样本图像进行训练，从而得到能够精确识别人脸中的特征点。当获取待检测图像时，先采用通过人体姿态模型确定图像中人脸的骨骼，从而得到目标人脸图像，从而解决当缺乏眼睛时，无法准确提取人脸图像的问题。其中，残差网络相较于一般的神经网络模型而言，能够学习特征提取过程的残差，从而提高精确度。因此采用本方案，可实现在眼部被遮挡的情形下精确识别人脸的特征点。
附图说明
图1为本发明实施例中脸部特征点检测方法的第一个实施例示意图；
图2为本发明实施例中脸部特征点检测方法的第二个实施例示意图；
图3为本发明实施例中脸部特征点检测方法的第三个实施例示意图；
图4为本发明实施例中脸部特征点检测方法的第四个实施例示意图；
图5为本发明实施例中脸部特征点检测装置的第一个实施例示意图；
图6为本发明实施例中脸部特征点检测装置的第二个实施例示意图；
图7为本发明实施例中脸部特征点检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种脸部特征点检测方法、装置、设备及存储介质，本发明实施例中，通过遮挡眼部和未遮挡眼部的训练样本图像进行训练，从而得到能够精确识别人脸中的特征点。当获取待检测图像时，先采用通过人体姿态模型确定图像中人脸的骨骼，从而得到目标人脸图像，从而解决当缺乏眼睛时，无法准确提取人脸图像的问题。其中，残差网络相较于一般的神经网络模型而言，能够学习特征提取过程的残差，从而提高精确度。因此采用本方案，可实现在眼部被遮挡的情形下精确识别人脸的特征点。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中脸部特征点检测方法的第一个实施例包括：
101、获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
可以理解的是，本发明的执行主体可以为脸部特征点检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以脸部特征点检测装置为执行主体为例进行说明。本装置安装与VR眼镜上。
预先获取包含有遮挡眼部的样本人脸图像、模拟眼部被遮挡的样本人脸图像和未遮挡眼部的样本人脸图像的图像作为第一样本图像。用Labelme等软件对各个训练样本图像中的嘴巴和鼻子的特征点进行标记。标记的这些特征点即为各个训练样本图像的标注信息。本方案可采用的特征点可以为嘴角、嘴峰、牙齿、鼻头等。一般建议的特征点数量为30。
102、将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
在本实施例中，训练样本图像的数量为100000。为了便于后续进行特征提取，在输入层对所有的训练样本图像进行规格的统一，从而得到归一化图像。将所有的归一化图像输入至残差网络模型中的特征提取层，进行特征的初步提取，得到第一特征图。
残差网络相较于以往以VGG为首的卷积网络而言，能够解决网络退化的问题，降低出错率。残差网络中的残差网络结构由多个残差块组成。将第一特征图一次输入各个残差块，最后得到第二特征图。最后将第二特征图输入输出层的全连接层进行整合得到输出值。根据输出值，计算训练样本图像中各个像素点为特征点的概率并进行判断，得到预测结果。最后采用所述损失函数的公式为
Figure GDA0004189290160000081
α为线性方程因子，m为输出个数，xi为网络输入，hα(xi)为预测结果，yi为标注信息，计算预测结果和标注信息之间的损失值。最后将损失值回传给模型，进行模型的训练学习，直至该残差网络模型收敛，得到脸部特征点检测模型。
103、获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
在本实施例中，待检测图像可通过装在VR设备上的摄像头获取。人体姿态检测(Human Pose Estimation)，是指检测人体的关键点，如关节、五官等，通过这些关节点描述人体骨骼信息。在本方案中，由于人的眼睛被遮挡，因此无法从待检测的图像中准确地将人脸图像提取出来。但是由于人脸是有一定形状的，人的两个耳朵决定了人脸的最大宽度，而鼻子确定了人脸的中心位置。因此通过人体姿态检测模型得到了耳朵和鼻子的位置后，可根据预置的人脸规则，将待检测图像中的目标人脸图像提取出来。
104、将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
最后将目标人脸图像输入脸部特征点检测模型。通过上述的输入层、特征提取层、残差网络结构和输出层，可得到输入的目标人脸图像对应的脸部特征点数据。
本发明实施例中，先通过遮挡眼部和未遮挡眼部的训练样本图像训练残差网络模型，得到脸部特征点检测模型。在获取待检测图像后，先通过人体姿态检测模型进行检测，通过人脸的一般规律，如耳朵决定人脸宽度，鼻子决定人脸的中点，从而精确提取目标人脸图像。最后将得到的目标人脸图像输入训练好的脸部特征点检测模型，从而实现脸部特征点的精确检测。
请参阅图2，本发明实施例中脸部特征点检测方法的第二个实施例包括：
201、获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；
预先获取包含有遮挡眼部的样本人脸图像、模拟眼部被遮挡的样本人脸图像和未遮挡眼部的样本人脸图像的图像作为第一样本图像。
图像的获得可以是从网络下载，拍摄，在未遮挡眼部的图像上使用PS将眼部遮挡等等方法，在此不一一赘述。
202、对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；
然而因为训练模型需要大量的样本，有可能是数千张图像。通过人工一个个获取或筛选样本图像的速度过慢，因此可以先获取几百张合适的第一样本图像进行数据扩充。在本方案中数据扩充的方式有旋转、剪切、随机增加噪音中的一种或多种。经过数据扩充后，得到第二样本图像。
203、将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息；
将第二样本图像作为训练样本图像，并采用Labelme等软件对各个训练样本图像中的嘴巴和鼻子的特征点进行标记。标记的这些特征点即为各个训练样本图像的标注信息。本方案可采用的特征点可以为嘴角、嘴峰、牙齿、鼻头等。一般建议的特征点数量为30。
204、将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
205、获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
206、将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
本发明实施例中，通过将第一训练样本图像数据扩充得到训练样本图像，从而解决当第一训练样本图像数量不足的情况。
请参阅图3，本发明实施例中脸部特征点检测方法的第三个实施例包括：
301、获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
302、将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；
在本实施例中，训练样本图像的数量为100000。然而1000张训练样本图像的大小规格可能存在差异，如一个图像的尺寸为21mm x 20mm，而另一个图像的尺寸为18mm x16mm。为了便于后续进行特征提取，在输入层对所有的训练样本图像进行缩放至同一大小，从而得到归一化图像。
303、将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；
将所有的归一化图像输入至残差网络模型中的特征提取层。在本实施例中，特征提取层由一个卷积核、一个BN(Batch Normalization层和一个LeakyRelu层组成。本实施例优选的卷积核的规格为3x 3，步长为2。BN层能够缓解DNN训练中的梯度消失问题，加快训练速度，从而提高网络的泛化能力。最后的Leaky Relu层是一个激活函数，只有当输入的值达到一定的数值范围，才能传递给下一网络节点，从而保证明显特征传输给下一节点，实现特征提取。除Leaky Relu外，还有ReLU函数等。
304、将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；
残差网络结构一般由多个残差块组成。在本实施例中，优选的残差块的数量为12，每一个残差块都由3个卷积核、3个BN层和两个Leaky Relu层组成，连接顺序为：1x 1卷积核、BN层、Leaky Relu层、3x 3卷积核、BN层、Leaky Relu层、1x 1卷积核、BN层。将第一特征图和通过残差块卷积、归一和激活之后的第一特征图一起通过预置激活函数，以传递给下一残差块。通过最后一个残差块后得到的即为第二特征图。
305、将所述第二特征图输入所述全连接层，并通过所述全连接层将所述第二特征图进行拟合，得到所述训练样本图像对应的输出值；
将第二特征图输入全连接层中。全连接层(fully connected layers，FC)，它将之前学习到的特征图映射到样本标记空间中，从而起到分类器的作用。通过对第二特征图的拟合，从而判断第二特征图是否包含了特征点，将包含了特征点的第二特征图作为输出值。
306、根据所述输出值，计算出所述训练样本图像的每个特征点的坐标值；
由于每个第二特征图都是通过固定的卷积核提取的，因此可根据输出值进行反向映射，最后计算得到第二特征图中特征点在训练样本图像中的具体的坐标值。
307、将所述坐标值作为所述训练样本图像对应的预测结果并输出；
308、根据预置损失函数，计算所述预测结果和所述标注信息之间的损失值，其中，所述损失函数的公式为
Figure GDA0004189290160000111
α为线性方程因子，m为输出个数，xi为网络输入，hα(xi)为预测结果，yi为标注信息；
损失函数的主要目的是计算预测结果和标注信息之间的差距。在本方案中，采用的损失函数为
Figure GDA0004189290160000112
其中α为线性方程因子，m为输出个数，xi为网络输入，hα(xi)为预测结果，yi为标注信息，i为训练样本图像的第i个像素点。通过损失值可以对预测结果和标注信息之间的差距进行量化，从而便于后续对模型的参数进行调节，使其进行学习。
309、将所述损失值反向传播回所述残差网络模型，并基于预置优化器，对所述残差网络模型的参数进行优化；
将损失值反向传播会残差网络模型中。然后通过优化器，对残差网络模型进行随机梯度下降，从而实现参数的优化。在随机梯度下降中有不同的优化器，如BGD(BatchGradient Descent)、SDG(Stochastic Gradient Descent)、MBGD(Mini-Batch GradientDescent)。本方案优选的优化器为SGD优化器。SGD一次仅进行一次更新，没有冗余，速度快，并且可新增样本。
310、若所述残差网络模型收敛，则将当前的残差网络模型作为脸部特征点检测模型；
311、获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
312、将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
本发明实施例中，详细描述本方案中训练得到脸部特征点检测模型的过程。本实施例中优选了采用残差网络模型作为训练模型，并优选了一部分模型参数。通过本参数训练得到的脸部特征点检测模型能够实现正确率95％以上，在正脸情况下可达到99％以上，且速度极快，在CPU上也能达到30-40fps，而在GPU上可达到200fps以上。
请参阅图4，本发明实施例中脸部特征点检测方法的第四个实施例包括：
401、获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
402、将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
403、获取待检测图像；
在本实施例中，待检测图像可通过装在VR设备上的摄像头获取。
404、将待检测图像输入预置人体姿态检测模型，并通过所述人体姿态检测模型，得到所述待检测图像中骨骼信息，其中，所述骨骼信息包括所述待检测图像中耳朵或鼻子的位置坐标；
人体姿态检测(Human Pose Estimation)，是指检测人体的关键点，如关节、五官等，通过这些关节点描述人体骨骼信息。
在本方案中，由于人的眼睛被遮挡，因此无法从待检测的图像中准确地将人脸图像提取出来。为解决此问题，本方案采用人体姿态检测模型确定人脸骨骼信息，尤其是耳朵和鼻子。
405、根据预置人脸规则和所述骨骼信息，确定所述待检测图像中的人脸区域并提取，得到目标人脸图像；
由于人脸是有一定形状的，人的两个耳朵决定了人脸的最大宽度，而鼻子确定了人脸的中心位置。因此通过人体姿态检测模型得到了耳朵和鼻子的位置后，可根据预置的人脸规则，将待检测图像中的目标人脸图像提取出来。此外，还可通过下巴，颧骨，额头等骨骼信息确认目标人脸图像在待检测图像中的位置，从而提取目标人脸图像。
406、将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
本发明实施例中，为解决眼部被遮挡时，无法正确提取待检测图像中目标人脸图像的问题，提供了一种通过人体姿态检测模型确定耳朵和鼻子的位置，从而根据先验的人脸规则，准确提取出目标人脸图像，以提高后续人脸特征点检测的精确度。
上面对本发明实施例中脸部特征点检测方法进行了描述，下面对本发明实施例中脸部特征点检测装置进行描述，请参阅图5，本发明实施例中脸部特征点检测装置一个实施例包括：
获取模块501，用于获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
训练模块502，用于将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
第一检测模块503，用于获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
第二检测模块504，用于将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
本发明实施例中，先通过遮挡眼部和未遮挡眼部的训练样本图像训练残差网络模型，得到脸部特征点检测模型。在获取待检测图像后，先通过人体姿态检测模型进行检测，通过人脸的一般规律，如耳朵决定人脸宽度，鼻子决定人脸的中点，从而精确提取目标人脸图像。最后将得到的目标人脸图像输入训练好的脸部特征点检测模型，从而实现脸部特征点的精确检测。
请参阅图6，本发明实施例中脸部特征点检测装置的另一个实施例包括：
获取模块601，用于获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
训练模块602，用于将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
第一检测模块603，用于获取待检测图像并输入预置人体姿态检测模型进行人脸检测，得到所述待检测图像中的目标人脸图像；
第二检测模块604，用于将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据。
可选地，所述获取模块601具体用于：
获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；
对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；
将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息。
其中，所述训练模块602包括：
预处理单元6021，用于将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；
第一特征提取单元6022，用于将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；
第二特征提取单元6023，用于将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；
输出单元6024，用于将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标的预测结果并输出；
优化单元6025，用于根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型。
可选地，所述输出单元6024具体用于：
将所述第二特征图输入所述全连接层，并通过所述全连接层将所述第二特征图进行拟合，得到所述训练样本图像对应的输出值；
根据所述输出值，计算出所述训练样本图像的每个特征点的坐标值；
将所述坐标值作为所述训练样本图像对应的预测结果并输出。
可选地，所述优化单元6025具体用于：
根据预置损失函数，计算所述预测结果和所述标注信息之间的损失值，其中，所述损失函数的公式为
Figure GDA0004189290160000151
α为线性方程因子，m为输出个数，xi为网络输入，hα(xi)为预测结果，yi为标注信息；
将所述损失值反向传播回所述残差网络模型，并基于预置优化器，对所述残差网络模型的学习率和参数进行优化；
若所述残差网络模型收敛，则将当前的残差网络模型作为脸部特征点检测模型。
可选地，所述第一检测模块603具体用于：
获取待检测图像；
将所述待检测图像输入预置人体姿态检测模型，并通过所述人体姿态检测模型，得到所述待检测图像中骨骼信息，其中，所述骨骼信息包括所述待检测图像中耳朵或鼻子的位置坐标；
根据预置人脸规则和所述骨骼信息，确定所述待检测图像中的人脸区域并提取，得到目标人脸图像。
本发明实施例中，提供了一种训练样本扩充的方法，以应对初始训练样本不多的情形。同时，还提供了训练残差网络模型的具体方法。此外，为解决眼部被遮挡时，无法正确提取待检测图像中目标人脸图像的问题，提供了一种通过人体姿态检测模型确定耳朵和鼻子的位置，从而根据先验的人脸规则，准确提取出目标人脸图像，以提高后续人脸特征点检测的精确度。
上面图5和图6从模块化功能实体的角度对本发明实施例中的脸部特征点检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中脸部特征点检测设备进行详细描述。
图7是本发明实施例提供的一种脸部特征点检测设备的结构示意图，该脸部特征点检测设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对脸部特征点检测设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在脸部特征点检测设备700上执行存储介质730中的一系列指令操作。
基于脸部特征点检测设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的脸部特征点检测设备结构并不构成对基于脸部特征点检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述脸部特征点检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种脸部特征点检测方法，其特征在于，所述脸部特征点检测方法包括：
获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
获取待检测图像并输入预置人体姿态检测模型得到骨骼信息，并根据预置人脸规则进行人脸检测，得到所述待检测图像中的目标人脸图像；
将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据；
所述将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型包括：
将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；
将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；
将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；
将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标值的预测结果并输出；
根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型。
2.根据权利要求1所述的脸部特征点检测方法，其特征在于，所述获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息包括：
获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；
对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；
将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息。
3.根据权利要求1所述的脸部特征点检测方法，其特征在于，所述输出层包括全连接层，所述将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点坐标的预测结果并输出包括：
将所述第二特征图输入所述全连接层，并通过所述全连接层将所述第二特征图进行拟合，得到所述训练样本图像对应的输出值；
根据所述输出值，计算出所述训练样本图像的每个特征点的坐标值；
将所述坐标值作为所述训练样本图像对应的预测结果并输出。
4.根据权利要求1所述的脸部特征点检测方法，其特征在于，所述根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型包括：
根据预置损失函数，计算所述预测结果和所述标注信息之间的损失值，其中，所述损失函数的公式为
Figure QLYQS_1
，/>
Figure QLYQS_2
为线性方程因子，m为所述训练样本图像的个数，
Figure QLYQS_3
为网络输入，/>
Figure QLYQS_4
为预测结果，/>
Figure QLYQS_5
为标注信息，/>
Figure QLYQS_6
为训练样本图像的第/>
Figure QLYQS_7
个像素点；
将所述损失值反向传播回所述残差网络模型，并基于预置优化器，对所述残差网络模型的学习率和参数进行优化；
若所述残差网络模型收敛，则将当前的残差网络模型作为脸部特征点检测模型。
5.根据权利要求1-4中任一项所述的脸部特征点检测方法，其特征在于，所述获取待检测图像并输入预置人体姿态检测模型得到骨骼信息，并根据预置人脸规则进行人脸检测，得到所述待检测图像的目标人脸图像包括：
获取待检测图像；
将所述待检测图像输入预置人体姿态检测模型，并通过所述人体姿态检测模型，得到所述待检测图像中骨骼信息，其中，所述骨骼信息包括所述待检测图像中耳朵或鼻子的位置坐标；
根据预置人脸规则和所述骨骼信息，确定所述待检测图像中的人脸区域并提取，得到目标人脸图像。
6.一种脸部特征点检测装置，其特征在于，所述脸部特征点检测装置包括：
获取模块，用于获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；
训练模块，用于将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；
第一检测模块，用于获取待检测图像并输入预置人体姿态检测模型得到骨骼信息，并根据预置人脸规则进行人脸检测，得到所述待检测图像中的目标人脸图像；
第二检测模块，用于将所述目标人脸图像输入所述脸部特征点检测模型得到骨骼信息，并根据预置人脸规则进行检测，得到所述目标人脸图像对应的脸部特征点数据；
所述训练模块包括：
预处理单元，用于将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；
第一特征提取单元，用于将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；
第二特征提取单元，用于将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；
输出单元，用于将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标的预测结果并输出；
优化单元，用于根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型。
7.根据权利要求6所述的脸部特征点检测装置，其特征在于，所述获取模块具体用于：
获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；
对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；
将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息。
8.一种脸部特征点检测设备，其特征在于，所述脸部特征点检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述脸部特征点检测设备执行如权利要求1-5中任一项所述的脸部特征点检测方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的脸部特征点检测方法。
CN202010442965.1A 2020-05-22 2020-05-22 脸部特征点检测方法、装置、设备及存储介质 Active CN111598038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442965.1A CN111598038B (zh) 2020-05-22 2020-05-22 脸部特征点检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442965.1A CN111598038B (zh) 2020-05-22 2020-05-22 脸部特征点检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111598038A CN111598038A (zh) 2020-08-28
CN111598038B true CN111598038B (zh) 2023-06-20

Family

ID=72189212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442965.1A Active CN111598038B (zh) 2020-05-22 2020-05-22 脸部特征点检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111598038B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101191A (zh) * 2020-09-11 2020-12-18 中国平安人寿保险股份有限公司 基于边框注意力网络的表情识别方法、装置、设备及介质
CN112232236B (zh) * 2020-10-20 2024-02-06 城云科技（中国）有限公司 行人流量的监测方法、系统、计算机设备和存储介质
CN112580581A (zh) * 2020-12-28 2021-03-30 英特灵达信息技术(深圳)有限公司 目标检测方法、装置及电子设备
CN112766351A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种图像质量的评估方法、系统、计算机设备和存储介质
CN113239922B (zh) * 2021-05-13 2023-10-31 三亚学院 一种虚拟现实空间定位特征点识别系统及识别方法
CN113705444A (zh) * 2021-08-27 2021-11-26 成都玻尔兹曼智贝科技有限公司 一种面部发育分析评估方法及系统
CN113900519A (zh) * 2021-09-30 2022-01-07 Oppo广东移动通信有限公司 注视点获取方法、装置以及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063604A (zh) * 2018-07-16 2018-12-21 阿里巴巴集团控股有限公司 一种人脸识别方法及终端设备
CN110610131B (zh) * 2019-08-06 2024-04-09 平安科技（深圳）有限公司 人脸运动单元的检测方法、装置、电子设备及存储介质
CN110909690B (zh) * 2019-11-26 2023-03-31 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111160269A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种人脸关键点检测方法及装置

Also Published As

Publication number Publication date
CN111598038A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
CN110826519B (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
US11443772B2 (en) Method for triggering events in a video
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
WO2021004112A1 (zh) 异常人脸检测方法、异常识别方法、装置、设备及介质
WO2022134337A1 (zh) 人脸遮挡检测方法、系统、设备及存储介质
US11238272B2 (en) Method and apparatus for detecting face image
US11069036B1 (en) Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
US20190304063A1 (en) System and Method for Learning-Based Image Super-Resolution
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN110648289B (zh) 图像的加噪处理方法及装置
CN107704813B (zh) 一种人脸活体识别方法及系统
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
US10635919B2 (en) Information processing device, image processing system, image processing method, and program storage medium
CN111695462A (zh) 一种人脸识别方法、装置、存储介质和服务器
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN111259815A (zh) 一种人脸图像质量评估方法、系统、设备及介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN113963237B (zh) 模型训练、戴口罩状态检测方法、电子设备及存储介质
JP4659722B2 (ja) 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
CN112613471B (zh) 人脸活体检测方法、装置及计算机可读存储介质
US9349038B2 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
US20210042510A1 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant