CN113033524B - 遮挡预测模型训练方法、装置、电子设备及存储介质 - Google Patents

遮挡预测模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113033524B
CN113033524B CN202110575346.4A CN202110575346A CN113033524B CN 113033524 B CN113033524 B CN 113033524B CN 202110575346 A CN202110575346 A CN 202110575346A CN 113033524 B CN113033524 B CN 113033524B
Authority
CN
China
Prior art keywords
occlusion
prediction model
heat map
face image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110575346.4A
Other languages
English (en)
Other versions
CN113033524A (zh
Inventor
江坤
浦煜
石芳
保长存
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110575346.4A priority Critical patent/CN113033524B/zh
Publication of CN113033524A publication Critical patent/CN113033524A/zh
Application granted granted Critical
Publication of CN113033524B publication Critical patent/CN113033524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及数据处理领域，公开了一种遮挡预测模型训练方法、装置、电子设备及存储介质。遮挡预测模型包括特征提取网络和特征金字塔网络，遮挡预测模型训练方法包括：获取人脸图像，其中，所述人脸图像上标注有关键点和关键点遮挡属性；将所述人脸图像输入到所述特征提取网络中，获取人脸特征图像；根据所述人脸特征图像和预设的热图损失函数训练所述特征金字塔网络，获取所述关键点对应的热图；根据所述热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练所述特征金字塔网络，获取训练后的遮挡预测模型。使得本发明可以准确的预测人脸图像的关键点的遮挡属性。

Description

遮挡预测模型训练方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及数据处理领域，特别涉及一种遮挡预测模型训练方法、装置、电子设备及存储介质。
背景技术
目前，随着信息化的发展，人脸检测技术已广泛应用于金融支付、门禁考勤、身份识别、交通、教育、医疗、警务、电子商务等诸多场景中，给人们的生活带来很大便利。人脸检测是基于人的脸部特征信息进行信息识别和身份认证的技术。人脸识别和验证系统高度依赖高质量的人脸图像，以此来保证人脸识别结果的精度和有效性。但在实际应用过程中，经常会发生两个人的人脸相互遮挡或者被遮挡物(如帽子、墨镜、口罩等遮挡物)遮挡的情况。当人脸图像发生遮挡时，人脸的很多特征信息会因遮挡而丢失，导致人脸识别算法出错或失效。
然而，现有的人脸遮挡属性预测都是基于整张人脸图像的整体性预测，即只能预测该人脸图像整体是否遮挡，不能预测人脸具体部位的遮挡，就会导致人脸遮挡属性预测所输出的预测结果不够精确。
发明内容
本发明实施方式的目的在于提供一种遮挡预测模型训练方法、装置、电子设备及存储介质，能够通过热图训练遮挡预测模型，使得所获取的遮挡预测模型能够准确的预测人脸图像的关键点的遮挡属性。
本发明的实施方式提供了一种遮挡预测模型训练方法，所述遮挡预测模型包括特征提取网络和特征金字塔网络，所述方法包括：获取人脸图像，其中，所述人脸图像上标注有关键点和关键点遮挡属性；将所述人脸图像输入到所述特征提取网络中，获取人脸特征图像；根据所述人脸特征图像和预设的热图损失函数训练所述特征金字塔网络，获取所述关键点对应的热图；根据所述热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练所述特征金字塔网络，获取训练后的遮挡预测模型。
本发明的实施方式还提供了一种遮挡预测模型训练装置，所述遮挡预测模型包括特征提取网络和特征金字塔网络，所述装置包括：图像获取模块，用于获取人脸图像，其中，所述人脸图像上标注有关键点和关键点遮挡属性；特征提取模块，用于将所述人脸图像输入到所述特征提取网络中，获取人脸特征图像；模型训练模块，用于根据所述人脸特征图像和预设的热图损失函数训练所述特征金字塔网络，获取所述关键点对应的热图，用于根据所述热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练所述特征金字塔网络，获取训练后的遮挡预测模型。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的遮挡预测模型训练方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上所述的遮挡预测模型训练方法。
本发明实施方式相对于现有技术而言，在遮挡预测模型训练的过程中，通过特征提取网络对带有关键点标注的人脸图像进行特征提取，获取人脸特征图像再通过人脸特征图像训练特征金字塔网络获取关键点对应的热图，通过热图再次训练特征金字塔网络后，获取训练后的遮挡预测模型，从而使得所训练的遮挡预测模型可以对人脸图像的关键点的遮挡属性进行准确的预测，解决了现有技术中只能够对人脸图像进行整体遮挡属性预测，不能预测人脸具体部位的遮挡的技术问题。
另外，本发明实施方式提供的遮挡预测模型训练方法，所述将所述人脸图像输入到所述特征提取网络中之前还包括：获取所述人脸图像的人脸框；依次对所述人脸框进行中心点偏移处理、放大处理和剪裁处理；将所述剪裁处理后的人脸图像缩放至预设尺寸。本发明提供的技术方案可以通过对人脸框进行中心点偏移处理的方法对原始图像进行数据增强，提到遮挡预测模型的预测能力，可以通过对人脸框进行放大处理来保证所处理的人脸部位的完整性，通过对人脸图像的剪裁处理是为了减少模型训练的数据处理量，提高遮挡预测模型的训练速度。
另外，本发明实施方式提供的遮挡预测模型训练方法，所述将所述人脸图像输入到所述特征提取网络中之前还包括：获取遮挡数据；根据所述遮挡数据对所述人脸图像进行处理，并修改所述关键点遮挡属性。本发明提供的技术方案通过已知的关键点遮挡属性对遮挡预测模型进行训练，使得所获取的遮挡预测模型的精度更加准确。
另外，本发明实施方式提供的遮挡预测模型训练方法，所述遮挡预测模型训练方法还包括：获取测试图片；将所述测试图片输入所述训练后的遮挡预测模型中进行处理，获取遮挡预测结果；根据所述遮挡预测结果获取所述训练后的遮挡预测模型的预测性能；若所述预测性能满足预设条件，则停止对所述训练后的遮挡预测模型的训练；若所述预测性能不满足预设条件，则对所述训练后的遮挡预测模型进行训练。本发明提供的技术方案可以通过所获取的预测性能自主判断是否停止对遮挡预测模型的训练，使得本发明更加智能化。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明实施方式的遮挡预测模型训练方法的流程图一；
图2是根据本发明实施方式的遮挡预测模型训练方法的流程图二；
图3是根据本发明实施方式的遮挡预测模型训练方法的流程图三；
图4是根据本发明实施方式的遮挡预测模型训练方法的流程图四；
图5是根据本发明实施方式的遮挡预测模型装置的结构图；
图6是根据本发明实施方式的电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明实施方式涉及一种遮挡预测模型训练方法，遮挡预测模型包括特征提取网络和特征金字塔网络，如图1所示，具体包括：
步骤101，获取人脸图像，其中，人脸图像上标注有关键点和关键点遮挡属性。
具体的说，在获取人脸图像前，需要先对人脸图像进行标注处理，在人脸图像上标注出N个关键点和这N个关键点的遮挡属性，遮挡属性以0和1表示，0代表未遮挡，1代表遮挡，所获取的人脸图像可以是一张，也可以是由多张人脸图像构成的人脸图像集，所获取的人脸图像上的人脸部分可以是遮挡的，也可以是未遮挡的，以下实施方式中获取的人脸图像是一张进行举例说明。
步骤102，将人脸图像输入到特征提取网络中，获取人脸特征图像。
具体的说，I∈RW×H×3是输入到特征提取网络中的人脸图像，W、H分别是人脸图像的宽、高，3是图像通道数；人脸图像上的每一个关键点表示为Ki=(xi,yi)，i表示第i个关键点，x和y分别表示关键点的横坐标值和纵坐标值；特征提取网络可以是Mobilenetv2_0.25版本的骨干网络，也可以是其他可以对人脸图像进行特征提取的网络，Mobilenetv2_0.25版本的骨干网络的工作原理是：先使用扩展层来扩展人脸图像的维度，再用深度可分离卷积来提取特征，最后用投影层来压缩数据。Mobilenetv2_0.25版本的骨干网络会对人脸图像进行5次下采样，最终所输出的人脸特征图像的大小是人脸图像大小的1/25；以输入人脸图像为112x112x3为例，两个112是人脸图像的宽和高，3是人脸图像的通道数，Mobilenetv2_0.25版本的骨干网络所输出的人脸特征图像是是多层的，包含28×28×3、14×14×3、7×7×3和3×3×3，在对人脸特征图像进行特征提取时，人脸图像上所标注的关键点和关键点遮挡属性也会出现在人脸特征图像所对应的位置上，不发生改变。
步骤103，根据人脸特征图像和预设的热图损失函数训练特征金字塔网络，获取关键点对应的热图。
具体的说，特征金字塔网络会对人脸特征图像进行三次上采样，对人脸特征图像上每一个关键点产生一个标签值C∈[0,1](W/n)×(H/n)的热图，n是热图与原图的大小比例系数；所输出的热图大小是由输入图片尺寸和n共同决定的，以输入的人脸特征图像的大小为112×112、n为4为例，所输出的每个关键点所对应的热图的大小为28x28；特征金字塔所输出的热图的数量由人脸特征图像上的关键点的数量决定；特征金字塔网络在生成关键点所对应的热图之外，还会输出热图的预测标签值，训练特征金字塔网络所使用的热图损失函数是改进的焦损失Focal Loss函数，具体表达式为：
Lhi=–(1–Ĉxyi)αlog(Ĉxyi) if Cxyi=1
Lhi=–(1–Cxyi)βlog(1–Ĉxyi) if Cxyi=otherwise
其中，Ĉxyi是特征金字塔网络对第i个关键点的热图预测标签值；Cxyi是特征金字塔网络对第i个关键点所产生的热图的标签值，α和β是预设的常数，一般情况下，β的取值为2，β的取值为4。
此处需要注意的是，本发明所采用的Focal Loss函数是改进之后的，改进之后的Focal Loss函数可以更好的平衡易分类样本和难分类样本之间的平衡，使得遮挡预测模型的遮挡预测效果更佳。
步骤104，根据热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练特征金字塔网络，获取训练后的遮挡预测模型。
具体的说，首先，特征金字塔在生成热图之后，还会根据热图的关键点位置坐标和人脸图像的关键点位置坐标计算关键点的位置偏移值，关键点产生位置偏移值的原因是：输出的热图的尺寸比输入的人脸图像的尺寸小，在人脸图像上的关键点坐标为(x，y)，理论上在热图上的坐标会等比例缩小为(x/n，y/n)，n为热图与原图的大小比例系数，将热图上的关键点映射到人脸图像上时，一些像素可能存在对不齐的情况，会影响最终所输出的关键点精度。特征金字塔网络在生成关键点的位置偏移值的同时也会生成一个关键点的预测位置偏移值，通过关键点的位置偏移值和关键点的预测位置偏移值构建关键点偏移损失函数来训练特征金字塔网络，关键点偏移损失函数的表达式为：
Loffest=|oi-ôi|
其中，oi表示第i个关键点的位置偏移值，ôi表示第i个关键点的预测位置偏移值。
关键点的位置偏移值的表达式为：
Figure 837521DEST_PATH_IMAGE001
其中，xiʹ、yiʹ为第i个关键点在特征金字塔网络所生成的热图上的关键点位置坐标，xi/n和yi/n为理论上第i个关键点在人脸图像上的关键点位置坐标映射到热图上的坐标值。
其次，特征金字塔网络还会生成关键点的预测遮挡属性，根据关键点的预测遮挡属性和关键点遮挡属性构造遮挡损失函数，遮挡损失函数采用交叉熵损失函数，表达式为：
Figure 754661DEST_PATH_IMAGE002
其中，Ai为第i个关键点遮挡属性(是已知量)，pi是第i个关键点特征金字塔网络输出的预测遮挡属性，N为预设常数。
最终所获取的遮挡预测模型包含经过特征提取网络和上述训练之后的特征金字塔网络模型；遮挡预测模型的输出图像是O(W/n)×(H/n)×B，B是通道数，B的大小是关键点的个数的4倍，当关键点个数为50是，通道数B的大小为200，其中，1-50通道是50个关键点的热图，51-150通道是关键点的位置偏移值(一个关键点占用两个通道，分别输出横坐标偏移值和纵坐标偏移值)，151-200是每个关键点对应的遮挡属性。取每个通道最大值对应的位置，以此为下标获取第150+i通道的值，该值即为第i个关键点的遮挡属性。
本发明实施方式相对于现有技术而言，在遮挡预测模型训练的过程中，通过特征提取网络对带有关键点标注的人脸图像进行特征提取，获取人脸特征图像再通过人脸特征图像训练特征金字塔网络获取关键点对应的热图，通过热图再次训练特征金字塔网络后，获取训练后的遮挡预测模型，从而使得所训练的遮挡预测模型可以对人脸图像的关键点的遮挡属性进行准确的预测，解决了现有技术中只能够对人脸图像进行整体遮挡属性预测，不能预测人脸具体部位的遮挡的技术问题。
本发明实施方式涉及一种遮挡预测模型训练方法，遮挡预测模型包括特征提取网络和特征金字塔网络，如图2所示，具体包括：
步骤201，获取人脸图像，其中，人脸图像上标注有关键点和关键点遮挡属性。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤202，获取人脸图像的人脸框。
具体的说，在获取到人脸图像之后，使用人脸检测器检测人脸图像，以获取人脸图像的人脸图像框和人脸图像框的中心点坐标。
步骤203，依次对人脸框进行中心点偏移处理、放大处理和剪裁处理。
具体的说，首先对人脸框的中心点坐标的横纵坐标增减任意值，使得人脸框随着中心点坐标的偏移而偏移，进而将人脸框放大预设倍数，之后再对放大后的人脸框所在的区域进行剪裁，剪裁后的人脸图像去处理一部分无关区域，只保留有人脸区域，预设的倍数是用户自行设定的，一般设置为1.35-1.55倍，该倍数可以根据实际需要进行调整。
步骤204，将剪裁处理后的人脸图像缩放至预设尺寸。
具体的说，将剪裁后的人脸图像进行缩放处理，使得输入遮挡模型的图像大小一致，便于处理，预设尺寸根据需求而设定，可以设定为112x112、256x256等大小均可。
步骤205，将缩放后的人脸图像输入到特征提取网络中，获取人脸特征图像。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
步骤206，根据人脸特征图像和预设的热图损失函数训练特征金字塔网络，获取关键点对应的热图。
具体的说，本步骤与本发明实施方式中的步骤103大致相同，此处不一一赘述。
步骤207，根据热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练特征金字塔网络，获取训练后的遮挡预测模型。
具体的说，本步骤与本发明实施方式中的步骤104大致相同，此处不一一赘述。
本发明实施方式相对于现有技术而言，在其他实施方式所带来的有益效果的基础之上，还可以通过对人脸框进行放大处理来保证所处理的人脸部位的完整性，通过对人脸图像的剪裁处理是为了减少模型训练的数据处理量，提高遮挡预测模型的训练速度。
本发明实施方式涉及一种遮挡预测模型训练方法，遮挡预测模型包括特征提取网络和特征金字塔网络，如图3所示，具体包括：
步骤301，获取人脸图像，其中，人脸图像上标注有关键点和关键点遮挡属性。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
步骤302，获取遮挡数据。
具体的说，由于所获取的人脸图像有可能是人脸部分均处于未遮挡状态，因此在对其进行处理之前，先要获取遮挡数据，遮挡数据是在图片上的某些坐标点增加遮盖物，具体的遮挡数据可以随机生成，也可以由用户预先设定。
步骤303，根据遮挡数据对人脸图像进行处理，并修改关键点遮挡属性。
具体的说，将遮挡数据和人脸图像进行合成处理，对人脸图像上的某些关键点进行遮挡处理，遮挡数据和人脸图像合成之后，还需要修改被遮挡的关键点的关键点遮挡属性。
步骤304，将处理后的人脸图像输入到特征提取网络中，获取人脸特征图像。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
步骤305，根据人脸特征图像和预设的热图损失函数训练特征金字塔网络，获取关键点对应的热图。
具体的说，本步骤与本发明实施方式中的步骤103大致相同，此处不一一赘述。
步骤306，根据热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练特征金字塔网络，获取训练后的遮挡预测模型。
具体的说，本步骤与本发明实施方式中的步骤104大致相同，此处不一一赘述。
此处需要说明的是，本发明实施例的步骤202至步骤204和步骤302至步骤303可以一同使用，且并不限制步骤202至步骤204和步骤302至步骤303的执行顺序。
本发明实施方式相对于现有技术而言，在其他实施方式所带来的有益效果的基础之上，还可以通过已知的关键点遮挡属性对遮挡预测模型进行训练，使得所获取的遮挡预测模型的精度更加准确。
本发明实施方式涉及一种遮挡预测模型训练方法，遮挡预测模型包括特征提取网络和特征金字塔网络，如图4所示，具体包括：
步骤401，获取人脸图像，其中，人脸图像上标注有关键点和关键点遮挡属性。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤402，将人脸图像输入到特征提取网络中，获取人脸特征图像。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
步骤403，根据人脸特征图像和预设的热图损失函数训练特征金字塔网络，获取关键点对应的热图。
具体的说，本步骤与本发明实施方式中的步骤103大致相同，此处不一一赘述。
步骤404，根据热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练特征金字塔网络，获取训练后的遮挡预测模型。
具体的说，本步骤与本发明实施方式中的步骤104大致相同，此处不一一赘述。
步骤405，获取测试图片。
具体的说，所获取的测试图片是任何一种包含人脸图像的照片，在获取测试图片之后，可以对所获取的测试图片进行剪裁处理，使所有的测试图片的尺寸都相同，也是测试图片的大小可以和训练时所使用的图片大小一致，保证遮挡预测模型的预测准确性。
步骤406，将测试图片输入训练后的遮挡预测模型中进行处理，获取遮挡预测结果。
具体的说，使用训练后的遮挡预测模型对测试图片集中的各张测试图片进行处理，获取各张测试图片的人脸关键点遮挡属性预测结果。
步骤407，根据遮挡预测结果获取训练后的遮挡预测模型的预测性能。
具体的说，将通过遮挡预测模型获取的各张测试图片的人脸关键点遮挡属性预测结果与正确人脸关键点遮挡属性预测结果进行对比，获取遮挡预测模型的解析性能，解析性能可以以正确率的形式反馈，也可以以其他形式反馈，正确人脸关键点遮挡属性预测结果可以来源于用户在输入测试图片时的输入，也可以直接包含在测试图片上。
步骤408，判断预测性能是否满足预设条件。
具体的说，将所获取的预测性能与预设条件进行比较，例如：预设条件为准确率大于等于90%；当满足预设条件时，则说明遮挡预测模型已经成熟，不需要再进行训练便可以投入使用，此时执行步骤409；当不满足预设条件时，则说明遮挡预测模型的准确度还有待提高，还需要再进行训练以提高准确度，此时执行步骤410。
步骤409，停止对训练后的遮挡预测模型的训练。
步骤410，对训练后的遮挡预测模型进行训练。
本发明实施方式相对于现有技术而言，在其他实施方式所带来的有益效果的基础之上，还可以通过所获取的预测性能自主判断是否停止对遮挡预测模型的训练，使得本发明更加智能化。
本发明实施方式涉及一种遮挡预测模型训练装置，遮挡预测模型包括特征提取网络和特征金字塔网络，如图5所示，具体包括：图像获取模块501，用于获取人脸图像，其中，人脸图像上标注有关键点和关键点遮挡属性。
特征提取模块502，用于将人脸图像输入到特征提取网络中，获取人脸特征图像。
模型训练模块503，用于根据人脸特征图像和预设的热图损失函数训练特征金字塔网络，获取关键点对应的热图，用于根据热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练特征金字塔网络，获取训练后的遮挡预测模型。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明实施方式涉及一种电子设备，如图6所示，包括：至少一个处理器601；以及，与所述至少一个处理器601通信连接的存储器602；其中，所述存储器602存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行本发明以上任一所述的遮挡预测模型训练方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种遮挡预测模型训练方法，其特征在于，所述遮挡预测模型包括特征提取网络和特征金字塔网络，所述方法包括：
获取人脸图像，其中，所述人脸图像上标注有关键点和关键点遮挡属性；
将所述人脸图像输入到所述特征提取网络中，获取人脸特征图像；
根据所述人脸特征图像和预设的热图损失函数训练所述特征金字塔网络，获取所述关键点对应的热图；
根据所述热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练所述特征金字塔网络，获取训练后的遮挡预测模型，所述训练后的遮挡预测模型的输出包括所述关键点的热图、所述关键点的位置偏移值和所述关键点的遮挡属性。
2.根据权利要求1所述的遮挡预测模型训练方法，其特征在于，所述将所述人脸图像输入到所述特征提取网络中之前还包括：
获取所述人脸图像的人脸框；
依次对所述人脸框进行中心点偏移处理、放大处理和剪裁处理；
将所述剪裁处理后的人脸图像缩放至预设尺寸。
3.根据权利要求1所述的遮挡预测模型训练方法，其特征在于，所述将所述人脸图像输入到所述特征提取网络中之前还包括：
获取遮挡数据；
根据所述遮挡数据对所述人脸图像进行处理，并修改所述关键点遮挡属性。
4.根据权利要求1所述的遮挡预测模型训练方法，其特征在于，所述获取所述关键点对应的热图还包括获取所述热图的标签值和热图预测标签值；所述预设的热图损失函数通过所述热图的标签值和热图预测标签值获取。
5.根据权利要求1所述的遮挡预测模型训练方法，其特征在于，所述关键点偏移损失函数通过所述关键点的位置偏移值和所述关键点的预测位置偏移值获取，其中，所述关键点的位置偏移值通过所述人脸图像的关键点位置坐标和所述热图的关键点位置坐标获取，所述关键点的预测位置偏移值通过所述特征金字塔网络获取。
6.根据权利要求1所述的遮挡预测模型训练方法，其特征在于，所述遮挡损失函数通过所述关键点遮挡属性和所述关键点的预测遮挡属性获取，其中，所述关键点的预测遮挡属性通过所述特征金字塔网络获取。
7.根据权利要求1所述的遮挡预测模型训练方法，其特征在于，所述获取训练后的遮挡预测模型之后还包括：
获取测试图片；
将所述测试图片输入所述训练后的遮挡预测模型中进行处理，获取遮挡预测结果；
根据所述遮挡预测结果获取所述训练后的遮挡预测模型的预测性能；
若所述预测性能满足预设条件，则停止对所述训练后的遮挡预测模型的训练；
若所述预测性能不满足预设条件，则对所述训练后的遮挡预测模型进行训练。
8.一种遮挡预测模型训练装置，其特征在于，所述遮挡预测模型包括特征提取网络和特征金字塔网络，所述装置包括：
图像获取模块，用于获取人脸图像，其中，所述人脸图像上标注有关键点和关键点遮挡属性；
特征提取模块，用于将所述人脸图像输入到所述特征提取网络中，获取人脸特征图像；
模型训练模块，用于根据所述人脸特征图像和预设的热图损失函数训练所述特征金字塔网络，获取所述关键点对应的热图，用于根据所述热图、预设的关键点偏移损失函数和预设的遮挡损失函数训练所述特征金字塔网络，获取训练后的遮挡预测模型，所述训练后的遮挡预测模型的输出包括所述关键点的热图、所述关键点的位置偏移值和所述关键点的遮挡属性。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的遮挡预测模型训练方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的遮挡预测模型训练方法。
CN202110575346.4A 2021-05-26 2021-05-26 遮挡预测模型训练方法、装置、电子设备及存储介质 Active CN113033524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110575346.4A CN113033524B (zh) 2021-05-26 2021-05-26 遮挡预测模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110575346.4A CN113033524B (zh) 2021-05-26 2021-05-26 遮挡预测模型训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113033524A CN113033524A (zh) 2021-06-25
CN113033524B true CN113033524B (zh) 2021-08-17

Family

ID=76455831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110575346.4A Active CN113033524B (zh) 2021-05-26 2021-05-26 遮挡预测模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113033524B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283277B (zh) * 2021-11-24 2022-11-08 合肥的卢深视科技有限公司 视差图获取方法、遮挡检测网络获取方法及电子设备
CN114519378B (zh) * 2021-12-24 2023-05-30 浙江大华技术股份有限公司 特征提取单元的训练方法、人脸识别方法及装置
CN114462495B (zh) * 2021-12-30 2023-04-07 浙江大华技术股份有限公司 一种脸部遮挡检测模型的训练方法及相关装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558396B2 (en) * 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
CN107016319B (zh) * 2016-01-27 2021-03-05 北京三星通信技术研究有限公司 一种特征点定位方法和装置
US10896318B2 (en) * 2017-09-09 2021-01-19 Apple Inc. Occlusion detection for facial recognition processes
CN108229445A (zh) * 2018-02-09 2018-06-29 深圳市唯特视科技有限公司 一种基于级联金字塔网络的多人姿态估计方法
CN110532928B (zh) * 2019-08-23 2022-11-29 安徽大学 基于面部区域规范化和可变形沙漏网络的面部关键点检测方法
CN111523480B (zh) * 2020-04-24 2021-06-18 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN112115835A (zh) * 2020-09-11 2020-12-22 昆明理工大学 一种基于人脸关键点的证件照局部异常检测方法
CN112419170B (zh) * 2020-10-16 2023-09-22 上海哔哩哔哩科技有限公司 遮挡检测模型的训练方法及人脸图像的美化处理方法

Also Published As

Publication number Publication date
CN113033524A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033524B (zh) 遮挡预测模型训练方法、装置、电子设备及存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
US20200117906A1 (en) Space-time memory network for locating target object in video content
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
US20200394392A1 (en) Method and apparatus for detecting face image
CN112668573B (zh) 目标检测定位置信度确定方法、装置、电子设备及存储介质
WO2021051547A1 (zh) 暴力行为检测方法及系统
CN111680675B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN111815606B (zh) 图像质量评估方法、存储介质及计算装置
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
US20230093746A1 (en) Video loop recognition
CN109977832B (zh) 一种图像处理方法、装置及存储介质
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN112330624A (zh) 医学图像处理方法和装置
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN111598144B (zh) 图像识别模型的训练方法和装置
CN113158773A (zh) 一种活体检测模型的训练方法及训练装置
CN115937596A (zh) 目标检测方法及其模型的训练方法、设备以及存储介质
WO2021097595A1 (zh) 图像的病变区域分割方法、装置及服务器
CN111292333B (zh) 用于分割图像的方法和装置
CN109543593A (zh) 回放攻击的检测方法、电子设备及计算机可读存储介质
CN111079624B (zh) 一种样本信息采集的方法、装置、电子设备以及介质
CN112131984A (zh) 视频裁剪方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210625

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Denomination of invention: Occlusion prediction model training method, device, electronic device and storage medium

Granted publication date: 20210817

License type: Exclusive License

Record date: 20220523

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Occlusion prediction model training method, device, electronic device and storage medium

Effective date of registration: 20220525

Granted publication date: 20210817

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230719

Granted publication date: 20210817

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Date of cancellation: 20230720

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230809

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.