CN111310624A - 遮挡识别方法、装置、计算机设备及存储介质 - Google Patents

遮挡识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111310624A
CN111310624A CN202010080830.5A CN202010080830A CN111310624A CN 111310624 A CN111310624 A CN 111310624A CN 202010080830 A CN202010080830 A CN 202010080830A CN 111310624 A CN111310624 A CN 111310624A
Authority
CN
China
Prior art keywords
image
sub
face
training
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010080830.5A
Other languages
English (en)
Other versions
CN111310624B (zh
Inventor
陈星宇
张睿欣
李绍欣
王世卿
李季檩
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010080830.5A priority Critical patent/CN111310624B/zh
Publication of CN111310624A publication Critical patent/CN111310624A/zh
Application granted granted Critical
Publication of CN111310624B publication Critical patent/CN111310624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本申请涉及一种遮挡识别方法、装置、计算机设备及存储介质。该方法包括：获取包括目标部位的待处理图像；对所述待处理图像进行目标部位定位处理，得到包括所述目标部位的关键点的关键点图像；对待处理图像进行所述目标部位的语义分割，得到目标部位的分割图像；将所述关键点图像和所述分割图像进行叠加，得到叠加图像；按照所述叠加图像中的所述关键点，定位所述叠加图像中所述目标部位的区域，并确定所述目标部位在所述区域中的像素占比；根据所述像素占比，对所述目标部位进行遮挡识别。本申请方案能够提高遮挡识别的准确性。

Description

遮挡识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域及图像处理技术领域，特别是涉及一种遮挡识别方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的飞速发展，图像处理技术越来越受到重视。图像处理技术被用来识别目标部位的应用越来越广泛。比如，用于进行人脸识别等。在识别目标部位时，可能会存在目标部位被遮挡的情况下。这样一来，就需要判断目标部位的遮挡情况。
传统方法中，是根据对目标部位关键点来对目标部位进行遮挡判断。但是，由于识别关键点任务主要是为了输出准确的关键点定位，所以在训练过程中并不会考虑预测位置是否存在遮挡。因此，通过关键点进行遮挡识别不够准确。
发明内容
基于此，有必要针对传统方法进行遮挡识别不够准确的问题，提供一种遮挡识别方法、装置、计算机设备及存储介质。
一种遮挡识别方法，方法包括：
获取包括目标部位的待处理图像；
对待处理图像进行目标部位定位处理，得到包括目标部位的关键点的关键点图像；
对待处理图像进行目标部位的语义分割，得到目标部位的分割图像；
将关键点图像和分割图像进行叠加，得到叠加图像；
按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比；
根据像素占比，对目标部位进行遮挡识别。
在一个实施例中，按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比包括：
当关键点中包括目标部位的子部位的关键点时，则
按照叠加图像中子部位的关键点，定位叠加图像中的子部位区域，并确定子部位区域中子部位的像素占比。
在一个实施例中，像素占比为遮挡置信度；确定子部位区域中子部位的像素占比包括：
获取子部位区域中子部位的像素数量；
获取子部位区域中的总像素数量；
根据子部位的像素数量和总像素数量的比值，得到子部位在子部位区域中的遮挡置信度。
在一个实施例中，待处理图像为面部图；目标部位为面部；子部位为面部组成部位；
按照叠加图像中子部位的关键点，定位叠加图像中的子部位区域，并确定子部位区域中子部位的像素占比包括：
根据叠加图像中的面部组成部位的关键点，从叠加图像中，抠取面部组成部位的子图像区域；
确定面部组成部位在子图像区域中的像素占比。
在一个实施例中，方法还包括：
获取目标部位的预设的完整度要求条件；
当根据子部位的像素占比识别出目标部位中的被遮挡子部位，且被遮挡子部位不符合完整度要求条件时，则输出部位位置调整提示。
在一个实施例中，当根据子部位的像素占比识别出目标部位中的被遮挡子部位，且被遮挡子部位不符合完整度要求条件时，则输出部位位置调整提示包括：
当根据子部位的像素占比，识别出目标部位中被遮挡子部位和被遮挡子部位的遮挡程度时，则将被遮挡子部位和被遮挡子部位的遮挡程度与完整度要求条件进行比对；
当被遮挡子部位和被遮挡子部位的遮挡程度中的任一项不符合完整度要求条件时，则输出部位位置调整提示。
在一个实施例中，目标部位的关键点，是通过关键点定位模型，从待处理图像中提取得到的面部关键点；
关键点定位模型的训练步骤包括：
根据样本数据集进行机器学习训练，得到初始的关键点定位模型；同组样本数据中，包括样本面部图和样本面部图中面部关键点的标注结果；
将各样本面部图输入关键点定位模型，输出面部关键点的定位结果；
根据各标注结果和各定位结果之间的误差，筛选困难样本数据；
根据困难样本数据，对关键点定位模型进行更新训练。
在一个实施例中，标注结果包括面部关键点的标注坐标；定位结果包括面部关键点的预测坐标；
根据各标注结果和各定位结果之间的误差，筛选困难样本数据包括：
针对每个定位结果，确定定位结果中的各预测坐标和相应的标注坐标之间的均方根误差；
根据均方根误差，确定定位结果对应的定位分值；定位分值的大小与均方根误差的大小负相关；
按照各定位结果的定位分值由小到大的顺序，对各定位结果排序；
确定排序在前预设位次的定位结果所对应的样本面部图，并将样本面部图所属的样本数据作为困难样本数据。
在一个实施例中，对待处理图像进行目标部位的语义分割，得到目标部位的分割图像包括：
对待处理图像进行特征提取处理，得到图像特征；
对图像特征进行目标部位全局特征提取，得到目标部位的全局特征；
提取图像特征中目标部位的局部特征；
将全局特征和局部特征进行融合，得到目标部位的分割图像。
在一个实施例中，图像特征是通过面部分割模型中的卷积神经网络进行特征提取得到；全局特征，是通过面部分割模型中的全局特征网络提取得到；局部特征，是通过面部分割模型中的局部特征网络提取得到；
方法还包括：
获取多组训练样本；同组训练样本中包括样本面部图和标记的样本面部图中的面部区域；
根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件，得到包括训练结束时的卷积神经网络、全局特征网络和局部特征网络的面部分割模型。
在一个实施例中，根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件包括：
在每轮迭代训练中，获取当前轮的全局特征网络输出的预测的面部区域；
根据预测的面部区域和相应标记的面部区域之间的面积交叉比，筛选困难训练样本，并在下一轮迭代训练中，加大困难训练样本的训练权重，以迭代地对全局特征网络进行训练，直至达到训练结束条件。
在一个实施例中，根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件还包括：
构建局部特征网络的损失函数；损失函数，由训练样本中各样本像素对应的子损失函数按照相应的权重进行加权求和得到；
在每轮迭代训练中，从训练样本中确定困难分割样本像素，并在下一轮迭代训练中，增加困难分割样本像素对应的子损失函数的权重，以迭代地对局部特征网络进行训练，直至满足训练结束条件。
一种遮挡识别装置，装置包括：
获取模块，用于获取包括目标部位的待处理图像；
关键点定位模块，用于对待处理图像进行目标部位定位处理，得到包括目标部位的关键点的关键点图像；
图像分割模块，用于对待处理图像进行目标部位的语义分割，得到目标部位的分割图像；
遮挡识别模块，用于将关键点图像和分割图像进行叠加，得到叠加图像；按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比；根据该像素占比，对目标部位进行遮挡识别。
在一个实施例中，遮挡识别模块还用于当关键点中包括目标部位的子部位的关键点时，则按照叠加图像中子部位的关键点，定位叠加图像中的子部位区域，并确定子部位区域中子部位的像素占比。
在一个实施例中，像素占比为遮挡置信度；遮挡识别模块还用于获取子部位区域中子部位的像素数量；获取子部位区域中的总像素数量；根据子部位的像素数量和总像素数量的比值，得到子部位在子部位区域中的遮挡置信度。
在一个实施例中，待处理图像为面部图；目标部位为面部；子部位为面部组成部位；遮挡识别模块还用于根据叠加图像中的面部组成部位的关键点，从叠加图像中，抠取面部组成部位的子图像区域；确定面部组成部位在子图像区域中的像素占比。
在一个实施例中，装置还包括：
完整度判别模块，用于获取目标部位的预设的完整度要求条件；当遮挡识别模块根据子部位的像素占比识别出目标部位中的被遮挡子部位，且被遮挡子部位不符合完整度要求条件时，则输出部位位置调整提示。
在一个实施例中，完整度判别模块还用于当遮挡识别模块根据子部位的像素占比，识别出目标部位中被遮挡子部位和被遮挡子部位的遮挡程度时，则将被遮挡子部位和被遮挡子部位的遮挡程度与完整度要求条件进行比对；当被遮挡子部位和被遮挡子部位的遮挡程度中的任一项不符合完整度要求条件时，则输出部位位置调整提示。
在一个实施例中，目标部位的关键点，是通过关键点定位模型，从待处理图像中提取得到的面部关键点；
装置还包括：
模型训练模块，用于根据样本数据集进行机器学习训练，得到初始的关键点定位模型；同组样本数据中，包括样本面部图和样本面部图中面部关键点的标注结果；将各样本面部图输入关键点定位模型，输出面部关键点的定位结果；根据各标注结果和各定位结果之间的误差，筛选困难样本数据；根据困难样本数据，对关键点定位模型进行更新训练。
在一个实施例中，标注结果包括面部关键点的标注坐标；定位结果包括面部关键点的预测坐标；
模型训练模块还用于针对每个定位结果，确定定位结果中的各预测坐标和相应的标注坐标之间的均方根误差；根据均方根误差，确定定位结果对应的定位分值；定位分值的大小与均方根误差的大小负相关；按照各定位结果的定位分值由小到大的顺序，对各定位结果排序；确定排序在前预设位次的定位结果所对应的样本面部图，并将样本面部图所属的样本数据作为困难样本数据。
在一个实施例中，图像分割模块还用于对待处理图像进行特征提取处理，得到图像特征；对图像特征进行目标部位全局特征提取，得到目标部位的全局特征；提取图像特征中目标部位的局部特征；将全局特征和局部特征进行融合，得到目标部位的分割图像。
在一个实施例中，图像特征是通过面部分割模型中的卷积神经网络进行特征提取得到；全局特征，是通过面部分割模型中的全局特征网络提取得到；局部特征，是通过面部分割模型中的局部特征网络提取得到；
模型训练模块还用于获取多组训练样本；同组训练样本中包括样本面部图和标记的样本面部图中的面部区域；根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件，得到包括训练结束时的卷积神经网络、全局特征网络和局部特征网络的面部分割模型。
在一个实施例中，模型训练模块还用于在每轮迭代训练中，获取当前轮的全局特征网络输出的预测的面部区域；根据预测的面部区域和相应标记的面部区域之间的面积交叉比，筛选困难训练样本，并在下一轮迭代训练中，加大困难训练样本的训练权重，以迭代地对全局特征网络进行训练，直至达到训练结束条件。
在一个实施例中，模型训练模块还用于构建局部特征网络的损失函数；损失函数，由训练样本中各样本像素对应的子损失函数按照相应的权重进行加权求和得到；在每轮迭代训练中，从训练样本中确定困难分割样本像素，并在下一轮迭代训练中，增加困难分割样本像素对应的子损失函数的权重，以迭代地对局部特征网络进行训练，直至满足训练结束条件。
一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请各实施例的遮挡识别方法中的步骤。
一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请各实施例的遮挡识别方法中的步骤。
上述遮挡识别方法、装置、计算机设备及存储介质，从待处理图像中，定位目标部位的关键点，生成关键点图像；对待处理图像进行目标部位的语义分割，得到目标部位的分割图像；将关键点图像和分割图像进行叠加，得到叠加图像。这样一来，叠加图像中既包括目标部位的关键点又包括目标部位的分割结果。而，由于关键点的定位不受遮挡的影响，所以根据关键点能够在叠加图像中定位目标部位的区域。进而，根据区域中目标部位的像素占比，对目标部位进行遮挡识别。如果目标部位存在遮挡，那么，被遮挡的区域则不存在目标部位的像素，所以，从根据关键点定位的目标部位的区域中识别目标部位的像素占比，进而根据该像素占比，能够准确地识别目标部位的遮挡情况，提高了遮挡识别的准确性。
附图说明
图1为一个实施例中遮挡识别方法的应用场景图；
图2为一个实施例中遮挡识别方法的流程示意图；
图3为一个实施例中面部关键点的位置示意图；
图4为一个实施例中生成关键点图像的原理示意图；
图5为一个实施例中生成目标部位的分割图像的原理示意图；
图6为一个实施例中遮挡识别方法的原理示意图；
图7为一个实施例中人脸完整度判断流程示意图；
图8为一个实施例中关键点定位模型的训练原理示意图；
图9为一个实施例中面部分割模型的训练流程示意图；
图10为一个实施例中遮挡识别装置的框图；
图11为另一个实施例中遮挡识别装置的框图；
图12为一个实施例中计算机设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中遮挡识别方法的应用场景图。参照图1，该应用场景中包括网络连接的服务器110和终端120。终端120是台式计算机或移动终端，移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。服务器110可以用独立的服务器或者是多个物理服务器组成的服务器集群来实现。可以理解，在其他实施例中，服务器110也可以用具备执行本申请各实施例中的遮挡识别方法能力的终端替换。
服务器110可以获取包括目标部位的待处理图像；对待处理图像进行目标部位定位处理，得到包括目标部位的关键点的关键点图像。服务器110可以对待处理图像进行目标部位的语义分割，得到目标部位的分割图像。服务器110可以将关键点图像和分割图像进行叠加，得到叠加图像；按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比。服务器110可以根据该像素占比，对目标部位进行遮挡识别。进一步地，服务器110可以将对目标部位的遮挡识别结果反馈至终端120。
可以理解，服务器110可以根据遮挡识别结果生成位置调整提示，并将位置调整提示发送至终端120。比如，在一些人脸识别的场景中，当识别到人脸中必要部位存在遮挡，则可以生成位置调整提示至终端120，以提示用户调整人脸位置。
可以理解，本申请各实施例中的遮挡识别方法，相当于使用人工智能技术来自动分析确定出目标偏好度。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
可以理解，本申请各实施例中的遮挡识别方法相当于使用了图像处理技术或人脸识别技术等计算机视觉技术。计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
图2为一个实施例中遮挡识别方法的流程示意图。本实施例中的该遮挡识别方法可以应用于计算机设备，现主要以计算机设备为图1中的服务器110进行举例说明。参照图2，该方法具体包括如下步骤：
S202，获取包括目标部位的待处理图像。
其中，目标部位，是对象所包括的可视部位中待进行遮挡识别的部位。目标部位属于待处理图像的图像内容中的一部分。
可以理解，对象可以包括至少一个部位。通过本申请各实施例中的遮挡识别方法，可以对对象中的目标部位进行遮挡识别，以识别出目标部位中的遮挡情况，比如，遮挡区域和遮挡程度中的至少一种。目标部位可以为一个或多个。
在一个实施例中，对象可以是人，目标部位可以是人体的任意一个或多个可视部位。在一个实施例中，目标部位可以是面部。在其他实施例中，目标部位还可以是人体的四肢、头部、面部中的五官和腹部等中的至少一种。
可以理解，对象还可以是其他物体。比如，车辆、物品、动物和植物等中的任意一种。
计算机设备可以直接获取输入的待处理图像。计算机设备也可以调用图像采集设备，采集包括目标部位的待处理图像。
S204，对待处理图像进行目标部位定位处理，得到包括目标部位的关键点的关键点图像。
关键点，是目标部位的轮廓的点状表现形式，即用点的形式表示出目标部位的轮廓。可以理解，目标部位的轮廓可以包括目标部位的外轮廓和内轮廓。内轮廓是指目标部位内的组成部位的轮廓。外轮廓，是指目标部位最外层的轮廓。
关键点图像，是由定位得到的目标部位的关键点组成的图像。
具体地，计算机设备可以定位待处理图像中目标部位的关键点，根据目标部位的关键点，生成关键点图像。
在一个实施例中，目标部位为面部。目标部位的关键点，是面部关键点。面部关键点，是面部轮廓的点状表现形式。即，指面部的外轮廓以及面部内的面部器官(即面部组成部位)的点状表现形式。可以理解，面部关键点，可以用于表示面部的外轮廓和面部内的面部器官的位置。比如，面部关键点用于表示眉、眼、鼻子和嘴巴这些面部器官的位置。在一个实施例中，面部关键点可以是90点面部关键点，即用90个点描述面部轮廓形状。
图3为一个实施例中面部关键点的位置示意图。图3中是以人脸关键点进行示意。参照图3中的多个数字标号即为标注的人脸关键点，可以包括双眼、眉、鼻子、嘴巴和脸颊轮廓等人脸关键点。
在一个实施例中，计算机设备可以将待处理图像输入预先训练的关键点定位模型中，定位目标部位的关键点，以生成包括目标部位的关键点的关键点图像。其中，关键点定位模型，是用于定位提取目标部位的关键点的机器学习模型。可以理解，关键点定位模型，是预先根据样本图像和样本图像中目标部位关键点的标注结果作为样本数据，迭代地进行机器学习训练得到。
图4为一个实施例中生成关键点图像的原理示意图。参照图4，以人脸为目标部位进行示意说明。待处理图像为人脸图像402，关键点定位模型为人脸关键点模型。将人脸图像402输入人脸关键点模型中进行人脸关键点定位，得到人脸的关键点图像404。可以理解，关键点图像404中的点即为人脸的关键点。
在其他实施例中，计算机设备也可以根据预设的目标部位的关键点模板，从待处理图像中定位目标部位的关键点，根据定位的目标部位的关键点，生成关键点图像。
S206，对待处理图像进行目标部位的语义分割，得到目标部位的分割图像。
其中，目标部位的语义分割，是指根据目标部位的语义信息，将目标部位从待处理图像中分割出来的处理。
目标部位的分割图像，是指将目标部位相较于待处理图像中的其他图像内容进行突出、区分化展示的图像。在一个实施例中，目标部位的分割图像可以是掩码图的形式。即，目标部位的分割图像中，目标部位显示为白色，其余的背景图像显示为黑色，以形成目标部位的分割掩码图，从而将目标部位相较于其他图像内容进行区分行展示。
在一个实施例中，计算机设备可以直接将目标部位作为一个整体，进行语义分割，输出目标部位的分割图像。
在另一个实施例中，计算机设备也可以分别对目标部位进行全局特征语义分割和局部特征语义分割，得到目标部位的全局特征和局部特征，进而融合全局特征和局部特征，得到目标部位的分割图像。
在一个实施例中，计算机设备可以将待处理图像输入预先训练的部位分割模型中，以对目标部位进行语义分割，输出目标部位的分割图像。
可以理解，部位分割模型，是用于分割出目标部位的机器学习模型。部位分割模型，是预先根据样本图像和样本图像中标记的目标部位区域作为训练样本，迭代地进行机器学习训练得到。
图5为一个实施例中生成目标部位的分割图像的原理示意图。参照图5，以人脸为目标部位进行示意说明。待处理图像为人脸图像402，部位分割模型为人脸语义分割模型。将人脸图像402输入人脸语义分割模型中，得到人脸分割图像406。如图5所示，人脸分割图像中的前景区域(白色区域)即为分割出来的人脸区域，背景区域(黑色区域)即为分割得到的非人脸区域。从图5可知，由于人脸图像402中的眼睛被墨镜遮挡，所以，未能将人脸分割图像中被墨镜遮挡的眼睛识别出来，而是将其识别为背景区域。
S208，将关键点图像和分割图像进行叠加，得到叠加图像；按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比。
其中，叠加图像，是由关键点图像和分割图像叠加后得到图像。可以理解，叠加图像中，既包括关键点图像中的目标部位的关键点，又包括分割图像中的图像内容(即目标部位的分割结果)。
叠加图像中目标部位的区域，是指通过目标部位的关键点在叠加图像中所定位的目标部位的区域。
可以理解，包括目标部位的关键点的关键点图像大小，与目标部位的分割图像的大小相符。所以，在由关键点图像和分割图像叠加得到的叠加图像中，由目标部位的关键点，可以准确定位在叠加图像中的目标部位的区域。
其中，目标部位在区域中的像素占比，是指该区域中目标部位的像素个数与该区域中的总像素个数的比值。
具体地，针对叠加图像中目标部位的区域，计算机设备可以确定在该区域中处于前景区域的像素个数，即得到目标部位的像素的个数。计算机设备可以确定该区域中的总像素个数。计算机设备可以根据目标部位的像素个数和该区域中的总像素个数的比值，确定目标部位的像素占比。
S210，根据该像素占比，对目标部位进行遮挡识别。
在一个实施例中，计算机设备可以将该像素占比作为遮挡置信度，并获取预设的置信度阈值，将目标部位的遮挡置信度与该置信度阈值进行比对。当遮挡置信度小于或等于置信度阈值时，则判定目标部位被遮挡，否则视为无遮挡。
可以理解，计算机设备可以针对整个目标部位判断是否存在遮挡。也可以判断目标部位的子部位是否存在遮挡。当判断目标部位的子部位是否存在遮挡时，则在步骤S208中，根据目标部位的子部位的关键点，在叠加图像中，定位该子部位的关键点对应的子部位区域。在步骤S210中，根据子部位的关键点对应的子部位区域中子部位的像素占比，对子部位进行遮挡识别。
可以理解，由于目标部位的关键点可以包括目标部位的子部位的关键点，所以，对目标部位的子部位进行遮挡识别，也属于对目标部位进行遮挡识别的处理。
需要说明的是，计算机设备可以根据像素占比，识别目标部位中的遮挡区域、识别目标部位的遮挡程度、以及识别目标部位中遮挡区域的遮挡程度中的至少一种。
进一步地，计算机设备可以根据目标部位的遮挡识别结果，生成部位位置提示并输出。可以理解，部位位置提示，用于提示目标部位存在遮挡。
图6为一个实施例中遮挡识别方法的原理示意图。如图6所示，将人脸图像402分别输入人脸关键点模型进行人脸关键点定位，以及输入人脸语义分割模型进行人脸分割，可以分别得到关键点图像404和人脸分割图像406。将关键点图像404和人脸分割图像406进行叠加，得到叠加图像408。叠加图像408中，既包括关键点图像404中的人脸的关键点，又包括人脸分割图像406中的图像内容。从而，可以根据叠加图像408中的关键点，定位人脸的区域，并确定人脸在该区域中的像素占比，从而进行人脸遮挡区域的判断。进而，还可以提示用户存在遮挡。
上述遮挡识别方法，从待处理图像中，定位目标部位的关键点，生成关键点图像；对待处理图像进行目标部位的语义分割，得到目标部位的分割图像；将关键点图像和分割图像进行叠加，得到叠加图像。这样一来，叠加图像中既包括目标部位的关键点又包括目标部位的分割结果。而，由于关键点的定位不受遮挡的影响，所以根据关键点能够在叠加图像中定位目标部位的区域。进而，根据区域中目标部位的像素占比，对目标部位进行遮挡识别。如果目标部位存在遮挡，那么，被遮挡的区域则不存在目标部位的像素，所以，从根据关键点定位的目标部位的区域中识别目标部位的像素占比，进而根据该像素占比，能够准确地识别目标部位的遮挡情况。相当于根据关键点和分割图像进行多任务结合，提高了遮挡识别的准确性。
在一个实施例中，步骤S208包括：当关键点中包括目标部位的子部位的关键点时，则按照叠加图像中子部位的关键点，定位叠加图像中的子部位区域，并确定子部位区域中子部位的像素占比。
其中，目标部位可以包括至少一个子部位。子部位是目标部位的组成部位。子部位的关键点，则是子部位轮廓的点状表现形式。可以理解，子部位的关键点，属于目标部位的内轮廓关键点。子部位区域，是指子部位的关键点在融合图像中定位的子部位所处区域。
子部位的像素占比，是子部位区域中子部位的像素数量与子部位区域中总像素数量的比值。
具体地，当关键点中包括目标部位的子部位的关键点时，计算机设备可以按照叠加图像中子部位的关键点，定位叠加图像中的子部位区域，并确定子部位区域中子部位的像素占比。计算机设备可以根据该子部位的像素占比，判断该子部位是否被遮挡。如果被遮挡，则该子部位为被遮挡子部位。
在一个实施例中，像素占比为遮挡置信度；确定子部位区域中子部位的像素占比包括：获取子部位区域中子部位的像素数量；获取子部位区域中的总像素数量；根据子部位的像素数量和总像素数量的比值，得到子部位在子部位区域中的遮挡置信度。
可以理解，遮挡置信度越小，子部位越有可能被遮挡，反之，遮挡置信度越大，子部位越可能未被遮挡。
可以预先针对不同的子部位设置相应的预设阈值，也可以针对各子部位设置统一的预设阈值。可以理解，当针对不同的子部位设置相应的预设阈值时，则可以将子部位的遮挡置信度与该子部位相应的预设阈值进行比对，当遮挡置信度小于或等于预设阈值时，判定子部位被遮挡。
上述实施例中，通过将子部位关键点和目标部位的分割图像结合，能够识别子部位的遮挡情况，从而能够准确识别目标部位的遮挡区域。而并不仅限于简单识别目标部位是否遮挡，提高了遮挡识别的精准性。
在一个实施例中，待处理图像为面部图；目标部位为面部；子部位为面部组成部位。本实施例中，步骤S208包括：根据叠加图像中的面部组成部位的关键点，从叠加图像中，抠取面部组成部位的子图像区域；确定面部组成部位在子图像区域中的像素占比。
其中，面部组成部位，是组成面部的部位。子图像区域，是指面部组成部位在融合图像中所对应的图像区域。
在一个实施例中，面部组成部位可以包括左眼、右眼、鼻子、嘴巴、左脸颊、右脸颊和下巴等中的至少一种。
需要说明的是，面部不限定于人的面部，可以是任何具有面部特征的对象的面部。
具体地，计算机设备可以根据面部组成部位的关键点，从融合图像中，抠取面部组成部位的子图像区域。计算机设备可以确定子图像区域中该面部组成部分的像素数量，以及该子图像区域中的总像素数量。计算机设备可以根据面部组成部分的像素数量与该子图像区域中的总像素数量的比值，得到子图像区域中面部组成部位的像素占比。计算机设备可以将该像素占比作为遮挡置信度，将该遮挡置信度与预设阈值进行比对，当遮挡置信度小于或等于预设阈值时，则判定该面部组成部位被遮挡。
可以理解，针对每个面部组成部位的遮挡识别处理，可以是并行处理，即，并行地按照本申请实施例中的方法，对各面部组成部位进行遮挡识别。
上述实施例中，通过将面部位关键点的关键点图像和面部的分割图像融合，能够识别面部组成部位的遮挡情况，从而能够准确识别面部的遮挡区域。而并不仅限于简单识别面部是否遮挡，提高了遮挡识别的精准性。此外，基于较精准的面部识别，提高了后续处理的准确性和成功率，从而减少无效处理造成的系统资源的损耗。
在一个实施例中，该方法还包括：获取目标部位的预设的完整度要求条件；当根据子部位的像素占比识别出目标部位中的被遮挡子部位，且被遮挡子部位不符合完整度要求条件时，则输出部位位置调整提示。
需要说明的是，各个子部位，皆可以根据本申请各实施例中的方法，确定相应子部位区域中该子部位的像素占比，进而识别各个子部位中被遮挡子部位。
其中，被遮挡子部位，是被遮挡的子部位。可以理解，识别被遮挡子部位，相当于识别目标部位中的被遮挡区域。
完整度要求条件，用于描述对目标部位的完整度的要求。
具体地，计算机设备可以根据子部位区域中子部位的像素占比，识别目标部位中被遮挡子部位。计算机设备可以判断被遮挡子部位是否符合完整度要求条件，当不符合时，则输出部位位置调整提示。
可以理解，符合完整度要求条件，说明目标部位的完整度符合后续处理的要求，该待处理图像中的目标部位能够被后续处理使用，如果不符合完整度要求条件，则说明待处理图像中的目标部位遮挡过多，完整度不符合后续处理的要求，则无法用于后续的数据处理。
比如，在微信支付应用场景中，识别的遮挡结果如果不符合完整度要求条件，则说明待处理图像中的人脸区域遮挡过多，无法用于后续的支付处理。又比如，人脸核实身份的应用场景中，识别的遮挡结果如果不符合完整度要求条件，则说明待处理图像中的人脸区域遮挡过多，无法用于后续的身份核实处理。再比如，注册照录入的应用场景中，识别的遮挡结果如果不符合完整度要求条件，则说明待处理图像中的人脸区域遮挡过多，无法用于后续的注册处理。
在一个实施例中，完整度要求条件中可以包括设定的不允许遮挡的子部位。
计算机设备可以将识别出的被遮挡子部位与完整度要求条件进行比对，判断被遮挡子部位是否属于完整度要求条件中规定的不允许遮挡的子部位，若是，则判定被遮挡子部位不符合完整度要求条件。进一步地，计算机设备可以输出部位位置调整提示。部位位置调整提示，用于提示调整目标部位或目标部位的子部位的位置。这样一来，可以指示对象进行位置调整，从而保证后续采集的图像中目标部位的遮挡情况符合完整度要求。
在一个实施例中，当根据子部位的像素占比识别出目标部位中的被遮挡子部位，且被遮挡子部位不符合完整度要求条件时，则输出部位位置调整提示包括：当根据子部位的像素占比，识别出目标部位中被遮挡子部位和被遮挡子部位的遮挡程度时，则将被遮挡子部位和被遮挡子部位的遮挡程度与完整度要求条件进行比对；当被遮挡子部位和被遮挡子部位的遮挡程度中的任一项不符合完整度要求条件时，则输出部位位置调整提示。
可以理解，完整度要求条件中还可以包括设定的允许轻微遮挡的子部位和相应允许遮挡程度。
计算机设备可以将识别出的被遮挡子部位与完整度要求条件进行比对，判断被遮挡子部位是否属于设定的允许轻微遮挡的子部位，若是，则进一步判断被遮挡子部位的遮挡程度是否满足相应允许遮挡程度。当被遮挡子部位的遮挡程度不满足相应允许遮挡程度(即，被遮挡子部位的遮挡程度大于或等于相应允许遮挡程度)，则判定该被遮挡子部位不符合完整度要求条件。
在一个实施例中，获取目标部位的预设的完整度要求条件包括：确定选择的完整度判别模式，获取与选择的完整度模式对应的目标部位的预设的完整度要求条件。
完整度判别模式，是用于判断目标部位完整与否的模式。完整度判别模式可以为至少一种。
在一个实施例中，完整度判别模式可以包括完整目标部位模式、轻微遮挡模式和简单过滤模式等中的至少一种。可以理解，不同完整度判别模式具有各自对应的完整度要求条件。
在一个实施例中，完整目标部位模式所对应的完整度要求条件，可以包括：要求待处理图像中目标部位区域完全无遮挡。在一个实施例中，当目标部位为面部时，则完整目标部位模式为“完整人脸”模式。那么，完整人脸模式所对应的完整度要求条件，可以要求包括鼻子，眉毛，嘴巴，眼睛，下巴，脸颊等面部组成部位区域完全无遮挡，做到完全可见。
在一个实施例中，“轻微遮挡”模式所对应的完整度要求条件，可以包括：允许待处理图像中目标部位的部分子部位存在轻微遮挡，但除该部分子部位区域之外的子部位完全无遮挡。在一个实施例中，当目标部位为面部时，“轻微遮挡”模式所对应的完整度要求条件，可以包括：允许待处理图像在部分预设的面部组成部位的区域存在轻微遮挡，但其他面部组成部位的区域无遮挡，以及轻微遮挡所允许的遮挡程度。
可以理解，当获取的是“轻微遮挡”模式所对应的完整度要求条件时，则需要先判断被遮挡子部位是否为该完整度要求条件中所设定的允许轻微遮挡的子部位，若是，则进一步判断被遮挡子部位的遮挡程度是否满足相应允许遮挡程度。当被遮挡子部位的遮挡程度不满足相应允许遮挡程度，则判定该被遮挡子部位不符合完整度要求条件。
在一个实施例中，“简单过滤”模式所对应的完整度要求条件，可以包括：要求目标部位中的预设关键子部位未遮挡。在一个实施例中，当目标部位为面部时，“简单过滤”模式所对应的完整度要求条件，可以包括：仅要求眼睛、鼻子和嘴巴未遮挡。可以理解，眼睛、鼻子和嘴巴是面部的关键组成部位。
图7为一个实施例中人脸完整度判断流程示意图。可以理解，图7是以目标部位为人脸为例来说明完整度判断流程。参照图7，用户输入图像，对输入的图像进行人脸检测，检测到人脸之后，则获取图像中的人脸区域，即得到包括人脸区域的待处理图像。然后，对待处理图像分别进行人脸关键点定位和人脸语义分割，输出包括定位的人脸的关键点(比如，人脸的90个关键点)的关键点图像和人脸区域的分割图像(即预测的人脸分割结果)。进一步地，计算机设备可以将定位的人脸的关键点和人脸区域的分割图像进行叠加，得到叠加图像。根据叠加图像中人脸的子部位关键点，定位叠加图像中的人脸的子部位区域。根据子部位区域中子部位的像素占比，对人脸的子部位进行遮挡识别(比如，是否为被遮挡子部位、遮挡程度等)。然后判断遮挡识别结果是否符合人脸完整度要求，若是，则说明满足人脸图像满足后续数据处理的完整度要求，即可以送入后台以作为后续数据处理的输入，若否，则输出位置调整提示，以提示用户调整位置，以重新输入图像。
上述实施例中，通过将遮挡识别结果与完整度要求条件进行比对，来自动生成部位位置调整，能够主动且准确地提醒用户遮挡情况，从而避免用户一直处于遮挡位置导致重复无效的处理，进而避免了系统资源的浪费。
此外，结合后续处理对目标部位完整度的要求，设置多个模式，能够避免统一按照统一要求进行提示所造成的局限，提高了适用性。此外，也能够不必要的提示所造成的系统资源的浪费。
在一个实施例中，目标部位的关键点，是通过关键点定位模型，从待处理图像中提取得到的面部关键点。该关键点定位模型的训练步骤包括：根据样本数据集进行机器学习训练，得到初始的关键点定位模型；同组样本数据中，包括样本面部图和样本面部图中面部关键点的标注结果；将各样本面部图输入关键点定位模型，输出面部关键点的各定位结果；根据各标注结果和各定位结果之间的误差，筛选困难样本数据；根据困难样本数据，对关键点定位模型进行更新训练。
其中，样本数据集，是样本数据的集合，包括多组样本数据，用于训练关键点定位模型。同组样本数据中，包括样本面部图和样本面部图中面部关键点的标注结果。可以理解，本实施例中，目标部位为面部。
可以理解，可以对原始的样本数据进行数据扩充，从而得到样本数据集。
样本面部图，是用于做训练样本的面部图像(比如人脸图像)。样本面部图中面部关键点的标注结果，是指将样本面部图中的面部关键点标注出来的坐标信息。可以理解，标注结果可以包括面部关键点的标注坐标。
比如，目标部位为人脸，那么，样本数据集则可以为多张人脸图片，每张人脸图片具有相应标注的人脸关键点的坐标。
困难样本数据，是容易识别错误的样本数据。
具体地，计算机设备可以根据样本数据集中的样本面部图和相应的面部关键点的标注结果，输入卷积神经网络模型框架中，迭代地进行机器学习训练，得到初始的关键点定位模型。
进一步地，计算机设备可以将样本数据集中各样本面部图输入该关键点定位模型中，根据该关键点定位模型对样本面部图进行关键点定位，输出面部关键点的定位结果。
可以理解，计算机设备可以将样本面部图中面部关键点的标注结果(即真值)与输出的面部关键点的定位结果(即预测值)进行比对，确定各标注结果和相应定位结果之间的误差(即，确定真值与预测值之间的误差)，根据误差，筛选困难样本数据。
进一步地，计算机设备可以根据困难样本数据，对关键点定位模型进行更新训练。即，将困难样本数据作为主要样本数据，再次对关键点定位模型进行机器学习训练，以更新该关键点定位模型。
可以理解，计算机设备可以仅对关键点定位模型进行一次的更新训练，也可以迭代地对关键点定位模型进行更新训练。
在一个实施例中，计算机设备在根据困难样本数据，对关键点定位模型进行更新训练之后，可以根据更新后的关键点定位模型，执行将各样本面部图输入关键点定位模型，输出面部关键点的各定位结果，以及后续步骤(包括根据各标注结果和各定位结果之间的误差，筛选困难样本数据；根据困难样本数据，对关键点定位模型进行更新训练的步骤)，以迭代地对关键点定位模型进行更新训练，直至满足更新停止条件，得到最终的关键点定位模型。
其中，更新停止条件，是指停止更新关键点定位模型的条件。
在一个实施例中，更新停止条件可以包括更新次数达到预设次数阈值，或者，各定位结果和相应标注结果之间的最大误差小于或等于预设误差阈值。
上述实施例中，根据困难样本数据，对关键点定位模型进行更新训练，能够提高关键点定位模型的准确性，从而提高了关键点定位的准确性，进而提高了后续遮挡识别的准确性。
在一个实施例中，标注结果包括面部关键点的标注坐标；定位结果包括面部关键点的预测坐标。本实施例中，根据各标注结果和各定位结果之间的误差，筛选困难样本数据包括：针对每个定位结果，确定定位结果中的各预测坐标和相应的标注坐标之间的均方根误差；根据均方根误差，确定定位结果对应的定位分值；定位分值的大小与均方根误差的大小负相关；按照各定位结果的定位分值由小到大的顺序，对各定位结果排序；确定排序在前预设位次的定位结果所对应的样本面部图，并将样本面部图所属的样本数据作为困难样本数据。
可以理解，面部关键点的标注坐标，是预先通过人工标注的面部关键点的坐标(即真值)。面部关键点的预测坐标，是通过关键点定位模型预测的面部关键点的坐标(即预测值)。
具体地，计算机设备可以针对每个定位结果，确定定位结果中的各预测坐标和相应的标注坐标之间的均方根误差(RMSE，RootofMeanSquaredError)。计算机设备可以对均方根误差做归一化处理，并根据归一化处理后的均方根误差，确定定位结果对应的定位分值。其中，定位分值的大小与均方根误差的大小负相关。定位分值，用于表征定位结果的准确性。定位分值越大，定位结果越准确。
可以理解，归一化处理，是指将均方根误差统一映射至预设范围内，以使得均方根误差之间的数据大小差异较小，实现标准化，从而提高了后续处理的准确性。
在一个实施例中，计算机设备可以将原始的均方根误差除以瞳距，并对除以瞳距之后的值作截断处理，0.0～预设区间上限范围内的值保持不变，大于预设区间上限记做该预设区间上限。比如，0.0～10.0范围内的值保持不变，大于10.0记做10.0。其中，瞳距是瞳孔之间的距离。可以是预设的值，也可以根据样本面部图分析处理得到。
在一个实施例中，计算机设备可以根据预设的映射关系，将归一化处理后的均方根误差，映射为该定位结果对应的定位分值。例如，归一化后的均方根误差和定位分值的值映射关系为(0.0～10.0)->(100～0),例如均方根误差＝0.0,定位分值为100，均方根误差＝2.0，定位分值为80，均方根误差＝10.0，定位分值为0,以此类推。均方根误差越大，定位分值越小，反之，均方根误差越小，定位分值越大。
计算机设备可以按照各定位结果的定位分值由小到大的顺序，对各定位结果排序。进一步地，计算机设备可以筛选排序在前预设位次的定位结果，并确定所筛选的定位结果所对应的样本面部图。计算机设备可以确定该样本面部图所属的样本数据，将该样本数据作为困难样本数据。
可以理解，由于定位结果是对样本面部图进行关键点定位得到的，所以，定位结果与该样本面部图对应。可以理解，定位分值用于表征定位结果准确性，定位分值越小，则定位结果越不准确，那么，相应样本面部图所属样本数据就属于误差大的易识别错误的样本数据，即为困难样本数据。
图8为一个实施例中关键点定位模型的训练原理示意图。图8是以训练用于定位人脸关键点的关键点定位模型为例进行说明。参照图8，以人脸关键点(比如，90个人脸关键点)数据，作为初始的样本数据集，对卷积神经网络(CNN，convolutional neural network)框架进行迭代训练，得到初始的关键点定位模型。计算机设备可以基于该初始的样本数据集进行样本数据扩充，将扩充后的样本数据集(包括扩充前的和扩充新增的样本数据)，通过由卷积神经网络框架训练的关键点定位模型对样本数据集中的人脸图片集进行90点关键点的定位处理，得到人脸关键点的定位结果。然后，计算机设备可以确定多次的人脸关键点的定位结果和对应的定位分值。根据定位分值，基于排序学习算法(比如，Listnet排序学习算法)从样本数据中筛选出困难样本数据。可以理解，基于排序学习算法筛选困难样本数据的过程，相当于根据定位结果和标注结果的误差，确定各定位结果对应的定位分值，然后按照相应定位分值对定位结果进行排序，以根据排序结果筛选困难样本数据。
进一步地，可以根据困难样本数据，对关键点定位模型进行更新，并根据更新后的关键点定位模型再次对样本数据集中的人脸图片集进行定位处理，并执行后续处理，以迭代地对关键点定位模型进行更新，直至达到更新停止条件，得到最终的关键点定位模型。
上述实施例中，根据均方根误差，为定位结果赋予定位分值，并各定位结果的定位分值由小到大的顺序，对各定位结果排序；确定排序在前预设位次的定位结果所对应的样本面部图，即得到误差较大的样本面部图，进而将样本面部图所属的样本数据作为困难样本数据。能够准确地筛选困难样本数据。
在一个实施例中，对待处理图像进行目标部位的语义分割，得到目标部位的分割图像包括：对待处理图像进行特征提取处理，得到图像特征；对图像特征进行目标部位全局特征提取，得到目标部位的全局特征；提取图像特征中目标部位的局部特征；将全局特征和局部特征进行融合，得到目标部位的分割图像。
其中，图像特征，是待处理图像的特征。
可以理解，图像特征中并未明确细化出目标部位的特征，所以，继而可以对图像特征进一步进行特征提取处理，得到目标部位的分割图像。
目标部位全局特征提取，是从图像特征中，提取目标部位的全局特征的处理过程。
提取目标部位的局部特征，是从图像特征中提取目标部位的局部特征的处理过程。
具体地，计算机设备可以对待处理图像进行特征提取处理，得到图像特征。进一步地，计算机设备可以从图像特征中提取目标部位的全局特征，以及从图像特征中提取目标部位的局部特征。计算机设备可以将全局特征和局部特征进行融合，得到目标部位的分割图像。
在一个实施例中，图像特征是通过部位分割模型中的卷积神经网络进行特征提取得到；全局特征，是通过部位分割模型中的全局特征网络提取得到；局部特征，是通过部位分割模型中的局部特征网络提取得到。
可以理解，部位分割模型可以包括基础卷积神经网络、目标部位的全局特征网络和目标部位的局部特征网络。目标部位的全局特征网络，用于提取目标部位的全局特征。局部特征网络，用于提取面部的局部特征。
在一个实施例中，部位分割模型可以是面部分割模型。面部分割模型，是从图像中分割出面部区域的机器学习模型。
那么，面部分割模型则可以包括基础的卷积神经网络、面部区域的全局特征网络和面部区域的局部特征网络。面部区域的全局特征网络，用于提取面部区域的全局特征。局部特征网络，用于提取面部的局部特征。
在一个实施例中，图像特征是通过面部分割模型中的卷积神经网络进行特征提取得到；全局特征，是通过面部分割模型中的全局特征网络提取得到；局部特征，是通过面部分割模型中的局部特征网络提取得到。该方法还包括：获取多组训练样本；同组训练样本中包括样本面部图和标记的样本面部图中的面部区域；根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件，得到包括训练结束时的卷积神经网络、全局特征网络和局部特征网络的面部分割模型。
面部分割模型，是从待处理图像中分割出面部区域的机器学习模型，用于预测待处理图像中的面部区域。
标记的样本面部图中的面部区域，是样本面部图中的面部区域的标记信息，相当于面部分割标注真值。
在一个实施例中，计算机设备可以对初始的训练样本中的样本面部图进行随机旋转、随机裁剪、随机亮度变化等扩充处理，来扩充训练样本集。从而增加模型对不同场景分割效果的鲁棒性。
在一个实施例中，计算机设备可以获取基于初始的训练样本进行人工添加的不同遮挡类型的遮挡数据，以解决遮挡数据类型单一的问题。比如，可以人工加入墨镜、口罩等不同遮挡类型的遮挡数据。
在一个实施例中，计算机设备还可以在样本数据或训练样本中，加入目标部位的属性信息，从而在模型训练中，可以训练学习该目标部位的对象属性信息，从而在对目标部位的遮挡识别中，除了能够识别到目标部位的遮挡区域和遮挡程度以外，还可以识别到目标部位的遮挡类型。
目标部位的对象属性信息，是指目标部位所属对象的属性信息。遮挡类型，是指目标部位被遮挡的类型。比如，帽子遮挡或眼睛遮挡等遮挡类型。
在一个实施例中，目标部位的对象属性信息可以包括对象的发型、性别和年龄等至少一种属性信息。
可以理解，可以通过压缩模型等方式，对面部分割模型或关键点定位模型进行优化，从而提高面部分割模型或关键点定位模型的前向速度。
具体地，计算机设备可以根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件，得到包括训练结束时的卷积神经网络、全局特征网络和局部特征网络的面部分割模型。
需要说明的是，在迭代训练卷积神经网络、全局特征网络和局部特征网络的过程中，输入训练样本和输出预测的面部区域，是一个端到端的过程，即，每一轮迭代，都会训练卷积神经网络、全局特征网络和局部特征网络这3个子网络，这3个子网络，即组合得到面部分割模型。
可以理解，在每轮的迭代训练过程中，都是根据训练样本，迭代地调整卷积神经网络、全局特征网络和局部特征网络的模型参数，直至满足训练结束条件，得到最终的卷积神经网络、全局特征网络和局部特征网络，即得到面部分割模型。可以理解，迭代训练卷积神经网络、全局特征网络和局部特征网络的过程，相当于优化卷积神经网络、全局特征网络和局部特征网络的过程。不同的网络模型可以采用不同的优化方式，即可以采用不同的损失函数来优化卷积神经网络、全局特征网络和局部特征网络。
在一个实施例中，可以使用Ohem(online hard example mining，在线困难样本挖掘)Loss损失函数优化全局特征网络，使用focal Loss(用于解决目标检测中正负样本比例严重失衡的问题的一种损失函数)损失函数优化局部特征网络。
在一个实施例中，训练结束条件，可以包括迭代训练次数达到预设训练次数阈值。
上述实施例中，根据全局特征和局部特征融合，得到目标部位的分割图像，通过同时兼顾分割的局部效果和整体的语义信息，提高了目标部位的分割准确性。进而提高了后续遮挡识别的准确性。
在一个实施例中，根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件包括：在每轮迭代训练中，获取当前轮的全局特征网络输出的预测的面部区域；根据预测的面部区域和相应标记的面部区域之间的面积交叉比，筛选困难训练样本，并在下一轮迭代训练中，加大困难训练样本的训练权重，以迭代地对全局特征网络进行训练，直至达到训练结束条件。
其中，面积交叉比，是指预测的面部区域和相应标记的面部区域之间的面积交集，与两者之间的面积并集之间的比值。困难训练样本，是分割效果比较差的训练样本。
具体地，在每轮迭代训练中，获取当前轮的全局特征网络输出的预测的面部区域。计算机设备可以确定预测的面部区域和相应标记的面部区域之间的面积交集，并确定预测的面部区域和相应标记的面部区域之间的面积并集。计算机设备可以确定面积交集和面积并集的比值，得到预测的面部区域和相应标记的面部区域之间的面积交叉比。计算机设备可以根据面积交叉比，筛选困难训练样本。
在一个实施例中，计算机设备可以按照以下公式计算面积交叉比：
面积交叉比IOU＝(预测的人脸区域∩标记的人脸区域)/(预测的人脸区域∪标记的人脸区域)。
在一个实施例中，当面积交叉比不满足预设条件时，则判定该训练样本为困难训练样本。在一个实施例中，预设条件可以为面积交叉比为1，或者面积交叉比大于或等于预设交叉比阈值。那么，当面积交叉比不等于1，或者，面积交叉比小于预设交叉比阈值时，则判定该训练样本为困难训练样本。
进一步地，在下一轮迭代训练中，加大筛选出的困难训练样本的训练权重，以迭代地对全局特征网络进行训练，直至达到训练结束条件。
可以理解，在下一轮迭代训练中，计算机设备可以将筛选的困难训练样本为主要训练样本，对全局特征网络进行训练。
上述实施例中，根据预测的面部区域和相应标记的面部区域之间的面积交叉比，能够准确地筛选困难训练样本，进而在下一轮迭代训练中，加大困难训练样本的训练权重，以迭代地对全局特征网络进行训练，能够提高全局特征网络的准确性。进而能够提高后续全局特征提取和遮挡识别的准确性。
在一个实施例中，根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件还包括：构建局部特征网络的损失函数；损失函数，由训练样本中各样本像素对应的子损失函数按照相应的权重进行加权求和得到；在每轮迭代训练中，从训练样本中确定困难分割样本像素，并在下一轮迭代训练中，增加困难分割样本像素对应的子损失函数的权重，以迭代地对局部特征网络进行训练，直至满足训练结束条件。
其中，样本像素，是样本面部图中的像素。困难分割样本像素，是容易分割错误的样本像素。
具体地，计算机设备在训练局部特征网络时，可以构建局部特征网络的损失函数；损失函数，由训练样本中各样本像素对应的子损失函数按照相应的权重进行加权求和得到。在每轮迭代训练中，计算机设备可以从训练样本中识别困难分割样本像素，并在下一轮迭代训练中，增加困难分割样本像素对应的子损失函数的权重，以迭代地对局部特征网络进行训练，直至满足训练结束条件。
在一个实施例中，样本像素对应的子损失函数可以通过以下公式表示：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，pt为第t个样本像素的分割概率；FL(pt)为第t个样本像素对应的子损失函数；α为平衡因子，γ为调整因子，用于调节不平衡程度。可以理解，可以通过调整α来调整样本像素的损失函数的权重。
可以理解，通过增加困难分割样本像素对应的子损失函数的权重，可以解决面部区域和背景区域分布不均衡的问题，使得局部的分割效果更好。
图9为一个实施例中面部分割模型的训练流程示意图。参照图9，对人脸分割训练数据(即训练样本集)进行数据扩充，然后根据扩充后的训练样本集，对卷积神经网络、面部的全局特征网络和面部的局部特征网络进行迭代地机器学习训练。其中，针对全局特征网络，使用在线困难样本挖掘损失函数(Ohem_Loss)训练，针对局部特征网络，使用正负样本比例均衡损失函数(focalLoss)训练，直到满足训练结束条件后，输出面部分割模型。其中，该面部分割模型中包括训练结束后的卷积神经网络模型、全局特征网络和局部特征网络。
上述实施例中，在迭代训练中，增加困难分割样本像素对应的子损失函数的权重，以迭代地对局部特征网络进行训练。能够提高局部特征网络的准确性，进而能够提高后续局部特征提取和遮挡识别的准确性。
如图10所示，在一个实施例中，提供了一种遮挡识别装置1000，设置于计算机设备。该计算机设备可以为终端或服务器。该装置1000包括：获取模块1002、关键点定位模块1004、图像分割模块1006以及遮挡识别模块1008，其中：
获取模块1002，用于获取包括目标部位的待处理图像。
关键点定位模块1004，用于对待处理图像进行目标部位定位处理，得到包括目标部位的关键点的关键点图像。
图像分割模块1006，用于对待处理图像进行目标部位的语义分割，得到目标部位的分割图像。
遮挡识别模块1008，用于将关键点图像和分割图像进行叠加，得到叠加图像；按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比；根据该像素占比，对目标部位进行遮挡识别。
在一个实施例中，遮挡识别模块1008还用于当关键点中包括目标部位的子部位的关键点时，则按照叠加图像中子部位的关键点，定位叠加图像中的子部位区域，并确定子部位区域中子部位的像素占比。
在一个实施例中，像素占比为遮挡置信度；遮挡识别模块1008还用于获取子部位区域中子部位的像素数量；获取子部位区域中的总像素数量；根据子部位的像素数量和总像素数量的比值，得到子部位在子部位区域中的遮挡置信度；当遮挡置信度小于或等于预设阈值时，判定子部位被遮挡。
在一个实施例中，待处理图像为面部图；目标部位为面部；子部位为面部组成部位；遮挡识别模块1008还用于根据叠加图像中的面部组成部位的关键点，从叠加图像中，抠取面部组成部位的子图像区域；确定面部组成部位在子图像区域中的像素占比。
在一个实施例中，该装置还包括：
完整度判别模块1010，用于获取目标部位的预设的完整度要求条件；当当遮挡识别模块1008根据子部位的像素占比识别出目标部位中的被遮挡子部位，且被遮挡子部位不符合完整度要求条件时，则输出部位位置调整提示。
在一个实施例中，完整度判别模块1010还用于当遮挡识别模块1008根据子部位的像素占比，识别出目标部位中被遮挡子部位和被遮挡子部位的遮挡程度时，则将被遮挡子部位和被遮挡子部位的遮挡程度与完整度要求条件进行比对；当被遮挡子部位和被遮挡子部位的遮挡程度中的任一项不符合完整度要求条件时，则输出部位位置调整提示。
在一个实施例中，目标部位的关键点，是通过关键点定位模型，从待处理图像中提取得到的面部关键点。
本实施例中，如图11所示，该装置1000还包括：模型训练模块1001以及完整度判别模块1010；其中：
模型训练模块1001，用于根据样本数据集进行机器学习训练，得到初始的关键点定位模型；同组样本数据中，包括样本面部图和样本面部图中面部关键点的标注结果；将各样本面部图输入关键点定位模型，输出面部关键点的定位结果；根据各标注结果和各定位结果之间的误差，筛选困难样本数据；根据困难样本数据，对关键点定位模型进行更新训练。
在一个实施例中，标注结果包括面部关键点的标注坐标；定位结果包括面部关键点的预测坐标。本实施例中，模型训练模块1001还用于针对每个定位结果，确定定位结果中的各预测坐标和相应的标注坐标之间的均方根误差；根据均方根误差，确定定位结果对应的定位分值；定位分值的大小与均方根误差的大小负相关；按照各定位结果的定位分值由小到大的顺序，对各定位结果排序；确定排序在前预设位次的定位结果所对应的样本面部图，并将样本面部图所属的样本数据作为困难样本数据。
在一个实施例中，图像分割模块1006还用于对待处理图像进行特征提取处理，得到图像特征；对图像特征进行目标部位全局特征提取，得到目标部位的全局特征；提取图像特征中目标部位的局部特征；将全局特征和局部特征进行融合，得到目标部位的分割图像。
在一个实施例中，图像特征是通过面部分割模型中的卷积神经网络进行特征提取得到；全局特征，是通过面部分割模型中的全局特征网络提取得到；局部特征，是通过面部分割模型中的局部特征网络提取得到；
模型训练模块1001还用于获取多组训练样本；同组训练样本中包括样本面部图和标记的样本面部图中的面部区域；根据训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件，得到包括训练结束时的卷积神经网络、全局特征网络和局部特征网络的面部分割模型。
在一个实施例中，模型训练模块1001还用于在每轮迭代训练中，获取当前轮的全局特征网络输出的预测的面部区域；根据预测的面部区域和相应标记的面部区域之间的面积交叉比，筛选困难训练样本，并在下一轮迭代训练中，加大困难训练样本的训练权重，以迭代地对全局特征网络进行训练，直至达到训练结束条件。
在一个实施例中，模型训练模块1001还用于构建局部特征网络的损失函数；损失函数，由训练样本中各样本像素对应的子损失函数按照相应的权重进行加权求和得到；在每轮迭代训练中，从训练样本中确定困难分割样本像素，并在下一轮迭代训练中，增加困难分割样本像素对应的子损失函数的权重，以迭代地对局部特征网络进行训练，直至满足训练结束条件。
图12为一个实施例中计算机设备的框图。参照图12，该计算机设备可以为终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时，可使得处理器执行一种遮挡识别方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种遮挡识别方法。计算机设备的网络接口用于进行网络通信。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的遮挡识别装置可以实现为一种计算机程序的形式，计算机程序可在如图12所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成该遮挡识别装置的各个程序模块。比如，图10所示的获取模块1002、关键点定位模块1004、图像分割模块1006以及遮挡识别模块1008。各个程序模块所组成的计算机程序用于使该计算机设备执行本说明书中描述的本申请各个实施例的遮挡识别方法中的步骤。
例如，计算机设备可以通过如图10所示的遮挡识别装置1000中的获取模块1002获取包括目标部位的待处理图像，并通过关键点定位模块1004对待处理图像进行目标部位定位处理，得到包括目标部位的关键点的关键点图像。计算机设备可以通过图像分割模块1006对待处理图像进行目标部位的语义分割，得到目标部位的分割图像。计算机设备可以通过遮挡识别模块1008将关键点图像和分割图像进行叠加，得到叠加图像；按照叠加图像中的关键点，定位叠加图像中目标部位的区域，并确定目标部位在区域中的像素占比；根据该像素占比，对目标部位进行遮挡识别。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述遮挡识别方法的步骤。此处遮挡识别方法的步骤可以是上述各个实施例的遮挡识别方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述遮挡识别方法的步骤。此处遮挡识别方法的步骤可以是上述各个实施例的遮挡识别方法中的步骤。
应该理解的是，虽然本申请各实施例中的各个步骤并不是必然按步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种遮挡识别方法，所述方法包括：
获取包括目标部位的待处理图像；
对所述待处理图像进行目标部位定位处理，得到包括所述目标部位的关键点的关键点图像；
对待处理图像进行所述目标部位的语义分割，得到目标部位的分割图像；
将所述关键点图像和所述分割图像进行叠加，得到叠加图像；
按照所述叠加图像中的所述关键点，定位所述叠加图像中所述目标部位的区域，并确定所述目标部位在所述区域中的像素占比；
根据所述像素占比，对所述目标部位进行遮挡识别。
2.根据权利要求1所述的方法，其特征在于，所述按照所述叠加图像中的所述关键点，定位所述叠加图像中所述目标部位的区域，并确定所述目标部位在所述区域中的像素占比包括：
当所述关键点中包括所述目标部位的子部位的关键点时，则
按照所述叠加图像中所述子部位的关键点，定位所述叠加图像中的子部位区域，并确定所述子部位区域中所述子部位的像素占比。
3.根据权利要求2所述的方法，其特征在于，所述像素占比为遮挡置信度；所述确定所述子部位区域中所述子部位的像素占比包括：
获取所述子部位区域中所述子部位的像素数量；
获取所述子部位区域中的总像素数量；
根据所述子部位的像素数量和所述总像素数量的比值，得到所述子部位在所述子部位区域中的遮挡置信度。
4.根据权利要求2所述的方法，其特征在于，所述待处理图像为面部图；所述目标部位为面部；所述子部位为面部组成部位；
所述按照所述叠加图像中所述子部位的关键点，定位所述叠加图像中的子部位区域，并确定所述子部位区域中所述子部位的像素占比包括：
根据所述叠加图像中的所述面部组成部位的关键点，从所述叠加图像中，抠取所述面部组成部位的子图像区域；
确定所述面部组成部位在所述子图像区域中的像素占比。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取目标部位的预设的完整度要求条件；
当根据所述子部位的像素占比识别出所述目标部位中的被遮挡子部位，且所述被遮挡子部位不符合所述完整度要求条件时，则输出部位位置调整提示。
6.根据权利要求5所述的方法，其特征在于，所述当根据所述子部位的像素占比识别出所述目标部位中的被遮挡子部位，且所述被遮挡子部位不符合所述完整度要求条件时，则输出部位位置调整提示包括：
当根据所述子部位的像素占比，识别出所述目标部位中被遮挡子部位和所述被遮挡子部位的遮挡程度时，则将所述被遮挡子部位和所述被遮挡子部位的遮挡程度与所述完整度要求条件进行比对；
当所述被遮挡子部位和所述被遮挡子部位的遮挡程度中的任一项不符合所述完整度要求条件时，则输出部位位置调整提示。
7.根据权利要求1所述的方法，其特征在于，所述目标部位的关键点，是通过关键点定位模型，从所述待处理图像中提取得到的面部关键点；
所述关键点定位模型的训练步骤包括：
根据样本数据集进行机器学习训练，得到初始的关键点定位模型；同组样本数据中，包括样本面部图和所述样本面部图中面部关键点的标注结果；
将各样本面部图输入所述关键点定位模型，输出面部关键点的定位结果；
根据各所述标注结果和各所述定位结果之间的误差，筛选困难样本数据；
根据所述困难样本数据，对所述关键点定位模型进行更新训练。
8.根据权利要求7所述的方法，其特征在于，所述标注结果包括面部关键点的标注坐标；所述定位结果包括面部关键点的预测坐标；
所述根据各所述标注结果和各所述定位结果之间的误差，筛选困难样本数据包括：
针对每个定位结果，确定所述定位结果中的各预测坐标和相应的所述标注坐标之间的均方根误差；
根据所述均方根误差，确定所述定位结果对应的定位分值；所述定位分值的大小与所述均方根误差的大小负相关；
按照各所述定位结果的定位分值由小到大的顺序，对各所述定位结果排序；
确定排序在前预设位次的定位结果所对应的样本面部图，并将所述样本面部图所属的样本数据作为困难样本数据。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述对待处理图像进行所述目标部位的语义分割，得到目标部位的分割图像包括：
对所述待处理图像进行特征提取处理，得到图像特征；
对所述图像特征进行目标部位全局特征提取，得到目标部位的全局特征；
提取所述图像特征中所述目标部位的局部特征；
将所述全局特征和所述局部特征进行融合，得到所述目标部位的分割图像。
10.根据权利要求9所述的方法，其特征在于，所述图像特征是通过面部分割模型中的卷积神经网络进行特征提取得到；所述全局特征，是通过所述面部分割模型中的全局特征网络提取得到；所述局部特征，是通过所述面部分割模型中的局部特征网络提取得到；
所述方法还包括：
获取多组训练样本；同组训练样本中包括样本面部图和标记的所述样本面部图中的面部区域；
根据所述训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件，得到包括训练结束时的卷积神经网络、全局特征网络和局部特征网络的面部分割模型。
11.根据权利要求10所述的方法，其特征在于，所述根据所述训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件包括：
在每轮迭代训练中，获取当前轮的全局特征网络输出的预测的面部区域；
根据预测的面部区域和相应标记的面部区域之间的面积交叉比，筛选困难训练样本，并在下一轮迭代训练中，加大所述困难训练样本的训练权重，以迭代地对所述全局特征网络进行训练，直至达到训练结束条件。
12.根据权利要求11所述的方法，其特征在于，所述根据所述训练样本，迭代训练卷积神经网络、全局特征网络和局部特征网络，直至达到训练结束条件还包括：
构建局部特征网络的损失函数；所述损失函数，由所述训练样本中各样本像素对应的子损失函数按照相应的权重进行加权求和得到；
在每轮迭代训练中，从所述训练样本中确定困难分割样本像素，并在下一轮迭代训练中，增加所述困难分割样本像素对应的子损失函数的权重，以迭代地对所述局部特征网络进行训练，直至满足训练结束条件。
13.一种遮挡识别装置，其特征在于，所述装置包括：
获取模块，用于获取包括目标部位的待处理图像；
关键点定位模块，用于对所述待处理图像进行目标部位定位处理，得到包括所述目标部位的关键点的关键点图像；
图像分割模块，用于对待处理图像进行所述目标部位的语义分割，得到目标部位的分割图像；
遮挡识别模块，用于将所述关键点图像和所述分割图像进行叠加，得到叠加图像；按照所述叠加图像中的所述关键点，定位所述叠加图像中所述目标部位的区域，并确定所述目标部位在所述区域中的像素占比；根据所述像素占比，对所述目标部位进行遮挡识别。
14.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至12中任一项所述方法的步骤。
CN202010080830.5A 2020-02-05 2020-02-05 遮挡识别方法、装置、计算机设备及存储介质 Active CN111310624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080830.5A CN111310624B (zh) 2020-02-05 2020-02-05 遮挡识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080830.5A CN111310624B (zh) 2020-02-05 2020-02-05 遮挡识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111310624A true CN111310624A (zh) 2020-06-19
CN111310624B CN111310624B (zh) 2023-11-21

Family

ID=71158188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080830.5A Active CN111310624B (zh) 2020-02-05 2020-02-05 遮挡识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111310624B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112418195A (zh) * 2021-01-22 2021-02-26 电子科技大学中山学院 一种人脸关键点检测方法、装置、电子设备及存储介质
CN112465717A (zh) * 2020-11-25 2021-03-09 北京字跳网络技术有限公司 脸部图像处理模型训练方法、装置、电子设备和介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN112766214A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 一种人脸图像处理方法、装置、设备及存储介质
CN113096251A (zh) * 2021-04-06 2021-07-09 苍穹数码技术股份有限公司 基于cim的模型处理方法、装置、设备及存储介质
CN113129306A (zh) * 2021-05-10 2021-07-16 电子科技大学成都学院 一种基于深度学习的遮挡物体分割求解方法
CN113256651A (zh) * 2021-05-21 2021-08-13 推想医疗科技股份有限公司 模型训练方法及装置、图像分割方法及装置
CN113284041A (zh) * 2021-05-14 2021-08-20 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113469216A (zh) * 2021-05-31 2021-10-01 浙江中烟工业有限责任公司 零售终端海报识别与完整性判断方法、系统及存储介质
CN113743305A (zh) * 2021-09-06 2021-12-03 联想(北京)有限公司 一种识别方法、装置及电子设备
CN113743195A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 人脸遮挡定量分析方法、装置、电子设备及存储介质
CN113836970A (zh) * 2020-06-23 2021-12-24 深圳酷派技术有限公司 身份验证方法、装置、存储介质和电子设备
CN114093012A (zh) * 2022-01-18 2022-02-25 荣耀终端有限公司 人脸遮挡的检测方法和检测装置
CN114596637A (zh) * 2022-03-23 2022-06-07 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
WO2022222766A1 (zh) * 2021-04-21 2022-10-27 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160012302A1 (en) * 2013-03-21 2016-01-14 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method and non-transitory computer readable medium
CN106886988A (zh) * 2015-12-11 2017-06-23 中国科学院深圳先进技术研究院 一种基于无人机遥感的线性目标检测方法及系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107679490A (zh) * 2017-09-29 2018-02-09 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN108205661A (zh) * 2017-12-27 2018-06-26 浩云科技股份有限公司 一种基于深度学习的atm机异常人脸检测方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
US20190392202A1 (en) * 2018-10-30 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Expression recognition method, apparatus, electronic device, and storage medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160012302A1 (en) * 2013-03-21 2016-01-14 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method and non-transitory computer readable medium
CN106886988A (zh) * 2015-12-11 2017-06-23 中国科学院深圳先进技术研究院 一种基于无人机遥感的线性目标检测方法及系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107679490A (zh) * 2017-09-29 2018-02-09 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN108205661A (zh) * 2017-12-27 2018-06-26 浩云科技股份有限公司 一种基于深度学习的atm机异常人脸检测方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
US20190392202A1 (en) * 2018-10-30 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Expression recognition method, apparatus, electronic device, and storage medium
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHISHUAI HAN 等: "Robust and customized methods for real-time hand gesture recognition under object-occlusion", ARXIV, pages 220 - 224 *
李青 等: "基于目标识别与显著性检测的图像场景多对象分割", 计算机科学, pages 314 - 319 *
赵振兵 等: "一种改进FCN的输电线路航拍图像语义分割方法", 中国科技论文, pages 53 - 59 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836970A (zh) * 2020-06-23 2021-12-24 深圳酷派技术有限公司 身份验证方法、装置、存储介质和电子设备
CN112132011B (zh) * 2020-09-22 2024-04-26 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112465717A (zh) * 2020-11-25 2021-03-09 北京字跳网络技术有限公司 脸部图像处理模型训练方法、装置、电子设备和介质
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN112597867B (zh) * 2020-12-17 2024-04-26 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN112418195A (zh) * 2021-01-22 2021-02-26 电子科技大学中山学院 一种人脸关键点检测方法、装置、电子设备及存储介质
CN112766214A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 一种人脸图像处理方法、装置、设备及存储介质
CN113096251A (zh) * 2021-04-06 2021-07-09 苍穹数码技术股份有限公司 基于cim的模型处理方法、装置、设备及存储介质
WO2022222766A1 (zh) * 2021-04-21 2022-10-27 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质
CN113129306A (zh) * 2021-05-10 2021-07-16 电子科技大学成都学院 一种基于深度学习的遮挡物体分割求解方法
CN113284041A (zh) * 2021-05-14 2021-08-20 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113256651A (zh) * 2021-05-21 2021-08-13 推想医疗科技股份有限公司 模型训练方法及装置、图像分割方法及装置
CN113469216A (zh) * 2021-05-31 2021-10-01 浙江中烟工业有限责任公司 零售终端海报识别与完整性判断方法、系统及存储介质
CN113469216B (zh) * 2021-05-31 2024-02-23 浙江中烟工业有限责任公司 零售终端海报识别与完整性判断方法、系统及存储介质
CN113743195A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 人脸遮挡定量分析方法、装置、电子设备及存储介质
CN113743305A (zh) * 2021-09-06 2021-12-03 联想(北京)有限公司 一种识别方法、装置及电子设备
CN114093012A (zh) * 2022-01-18 2022-02-25 荣耀终端有限公司 人脸遮挡的检测方法和检测装置
CN114093012B (zh) * 2022-01-18 2022-06-10 荣耀终端有限公司 人脸遮挡的检测方法和检测装置
CN114596637A (zh) * 2022-03-23 2022-06-07 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
CN114596637B (zh) * 2022-03-23 2024-02-06 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN111310624B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
US11869194B2 (en) Image processing method and apparatus, computer-readable storage medium
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
WO2021212659A1 (zh) 视频数据处理方法、装置、计算机设备及存储介质
US11403874B2 (en) Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
CN105138954B (zh) 一种图像自动筛选查询识别系统
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN111368751A (zh) 图像处理方法、装置、存储介质及电子设备
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN112101320A (zh) 模型训练方法、图像生成方法、装置、设备及存储介质
Zhang et al. Facial component-landmark detection with weakly-supervised lr-cnn
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN112926616B (zh) 图像匹配方法和装置、电子设备、计算机可读存储介质
CN113012030A (zh) 图像拼接方法、装置及设备
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN114038045A (zh) 一种跨模态人脸识别模型构建方法、装置及电子设备
CN115830720A (zh) 活体检测方法、装置、计算机设备和存储介质
CN112101185A (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025234

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant