CN113762136A - 人脸图像遮挡判断方法、装置、电子设备和存储介质 - Google Patents
人脸图像遮挡判断方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113762136A CN113762136A CN202111024275.5A CN202111024275A CN113762136A CN 113762136 A CN113762136 A CN 113762136A CN 202111024275 A CN202111024275 A CN 202111024275A CN 113762136 A CN113762136 A CN 113762136A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- occlusion
- key point
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 210000001508 eye Anatomy 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 210000001331 nose Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000000887 face Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例中提供了一种人脸图像遮挡判断方法、装置、电子设备和存储介质,首先获取待处理的人脸图像,并对获取到的待处理的人脸图像进行关键点检测,获得该人脸图像中的各个关键点的遮挡置信度;然后可以根据人脸图像中的各个人脸部位对应的关键点的遮挡置信度对人脸图像是否被遮挡进行判定。通过关键点的遮挡置信度对关键点遮挡情况进行判断,再根据各个人脸部位的关键点的遮挡情况对整个人脸图像的遮挡情况进行判断,提升了人脸的遮挡情况的判断准确度。
Description
技术领域
本申请涉及图像处理技术,具体地,涉及一种人脸图像遮挡判断方法、装置、电子设备和存储介质。
背景技术
随着科技地进步,越来越多的身份验证场景或图像处理场景中都采用了人脸识别技术,即基于人的脸部特征信息进行身份识别的一种生物识别技术。近年来,虽然人脸识别取得了长足的进步,但是目前的人脸识别技术在对图像中的人脸进行识别时,若被识别的人脸被遮挡或者人脸图像不完整,会导致无法进行人脸识别或者人脸识别的结果不准确。
为了提高人脸识别的准确性,在人脸识别之前还会对人脸是否被遮挡进行判断。常用做法是通过特征提取算法,例如SIFT(Scale-invariant feature transform,尺度不变特征转换)算法,先对图片进行特征提取,然后再通过支持向量机等机器学习模型对提取出来的特征进行分类,从而判断人脸是否被遮挡。特征提取算法是通过不同尺度的滤波卷积对图像进行处理,然后做差值分析,得到局部的一些关键点特征比如边缘信息等,但是在图像比较模糊以及边缘比较光滑的时候,受SIFT算法本身的限制,导致判断准确度较低。
因此,如何准确判断待识别的人脸图像是否被遮挡是目前亟需解决的问题。
发明内容
本申请实施例中提供了一种人脸图像遮挡判断方法、装置、电子设备和存储介质,用于解决现有技术中人脸的遮挡情况的判断准确度较低的问题。
根据本申请实施例的第一个方面,提供了一种人脸图像遮挡判断方法,包括:
获取待处理的人脸图像;
对所述人脸图像进行关键点检测,获得所述人脸图像中的各个关键点的遮挡置信度;
分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定。
根据本申请实施例的第二个方面,提供了一种人脸图像遮挡判断装置,所述装置包括:
获取模块,用于获取待处理的人脸图像;
关键点检测模块,用于对所述人脸图像进行关键点检测,获得所述人脸图像中的各个关键点的遮挡置信度;
遮挡判定模块,用于分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定。
根据本申请实施例的第三个方面,提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行上述的人脸图像遮挡判断方法。
根据本申请实施例的第四个方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的人脸图像遮挡判断方法。
采用本申请实施例中提供的人脸图像遮挡判断方法、装置、电子设备和存储介质,首先获取待处理的人脸图像,并对获取到的待处理的人脸图像进行关键点检测,获得该人脸图像中的各个关键点的遮挡置信度;然后可以根据人脸图像中的各个人脸部位对应的关键点的遮挡置信度对人脸图像是否被遮挡进行判定。通过关键点的遮挡置信度对关键点遮挡情况进行判断,再根据各个人脸部位的关键点的遮挡情况对整个人脸图像的遮挡情况进行判断,提升了人脸的遮挡情况的判断准确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的人脸图像遮挡判断方法的流程图之一;
图2为本申请实施例提供的人脸图像遮挡判断方法的流程图之二;
图3为本申请实施例提供的步骤S14的子步骤流程图;
图4为本申请实施例提供的步骤S13的子步骤流程图;
图5为本申请实施例提供的人脸图像遮挡判断装置的功能模块图;
图6为本申请实施例提供的电子设备的示意图。
具体实施方式
在实现本申请的过程中,发明人发现,在判断人脸图像是否被遮挡时,目前另一种常用的技术是通过深度学习算法对人脸区域是否被遮挡进行判断。通过深度学习进行判断的方式一种是直接对原始人脸图像进行标注,分为被遮挡与未被遮挡,即先收集大量的人脸数据,其中包括完整人脸的数据和人脸局部被遮挡的数据(如被帽子、头发、口罩等物体遮挡),然后根据遮挡情况对收集到的人脸数据进行标注,获得标注后的人脸数据,然后再将标注后的人脸图像数据输入至神经网络模型进行训练,让神经网络模型自动学习出能够识别是否含有遮挡区域的网络模型。但是这种方式非常依赖标注的准确性,只有在人脸数据的遮挡情况标注十分准确的前提下,训练获得的网络模型才能准确识别出人脸图像是否被遮挡,然而由于标注是人工进行的,不同的标注员对于遮挡的认知程度是不同的,例如,同一张人脸图像,其中一个标注员可能认为这张图像被遮挡,但另一个则认为未被遮挡,从而导致训练获得的网络模型的判断结果的准确度也无法达到要求。
另一种方式则是通过关键点技术和分割技术手段,先将人脸图像的关键部位(例如眼睛、鼻子、嘴巴等)提取出来,然后再对提取出来的部位进行后续的遮挡情况的分类,进而对整个人脸图像进行遮挡判断。
但不论是使用关键点技术检测出人脸的局部部位,再对局部部位进行遮挡分类以此来对整张人脸图像进行分类;还是通过分割网络模型提取分割后区域的特征再融入到主网络提取的特征来做最后的图像遮挡分类,都会在上述的过程中加入新的模型,从而过多的占用了计算资源,让原本就对实时性要求很高的人脸识别更加耗时。
针对上述问题,本申请实施例中提供了一种人脸图像遮挡判断方法、装置、电子设备和存储介质,首先获取待处理的人脸图像,并对获取到的待处理的人脸图像进行关键点检测,获得该人脸图像中的各个关键点的遮挡置信度;然后可以根据人脸图像中的各个人脸部位对应的关键点的遮挡置信度对人脸图像是否被遮挡进行判定。通过关键点的遮挡置信度对关键点遮挡情况进行判断,再根据各个人脸部位的关键点的遮挡情况对整个人脸图像的遮挡情况进行判断,提升了人脸的遮挡情况的判断准确度,并且无需新增额外的网络模型进行运算,降低了计算资源的占用率。
本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请实施例提供的人脸图像遮挡判断方法的流程图之一。在本实施例中,人脸图像遮挡判断方法应用于电子设备,所述方法包括:
步骤S11,获取待处理的人脸图像;
步骤S12,对人脸图像进行关键点检测,获得人脸图像中的各个关键点的遮挡置信度。其中,关键点的遮挡置信度用于表示该关键点被遮挡的概率。
步骤S13,分别根据人脸图像中的各个人脸部位对应的关键点的遮挡置信度对人脸图像是否被遮挡进行判定。
在上述步骤中,通过关键点的遮挡置信度能够对关键点遮挡情况进行判断,再根据各个人脸部位的关键点的遮挡情况对整个人脸图像的遮挡情况进行判断,提升了人脸的遮挡情况的判断准确度,并且无需新增额外的网络模型进行运算,降低了计算资源的占用率。
可选地,请参照图2,图2为本申请实施例提供的人脸图像遮挡判断方法的流程图之二。在本实施例中,人脸图像遮挡判断方法还包括:
步骤S14,训练获得关键点检测模型。
具体地,请继续参照图3,图3为本申请实施例提供的步骤S14的子步骤流程图。在本实施例中,步骤S14包括以下:
步骤S141,获取训练样本集。其中,训练样本集包括各个关键点预先标记的期望位置信息及期望遮挡情况;
步骤S142,将训练样本集输入神经网络模型中进行运算,输出训练样本集中的各个关键点的预测位置信息及预测遮挡情况。
步骤S143,根据各个关键点的期望位置信息及各个关键点的预测位置信息计算第一损失函数值,根据各个关键点的期望遮挡情况及各个关键点的预测遮挡情况计算第二损失函数值。
步骤S144,根据第一损失函数值及第二损失函数值调整神经网络模型的网络参数。
步骤S145,在第一损失函数值及第二损失函数值收敛时,停止训练,获得关键点检测模型。
在上述步骤中,本实施例对现有的关键点检测模型进行了改进,现有的人脸关键点模型的最后都是对每个关键点进行位置回归,以输出关键点的位置信息,现在还需要在位置回归的同时加入一个新的输出遮挡置信度的分支,使改良后的关键点检测模型可以在输出每个关键点的位置信息的同时输出每个关键点的遮挡置信度。当关键点的遮挡置信度大于预设阈值时便认为该关键点未被遮挡,反之则是遮挡的,从而可以得到所有关键点的遮挡情况。
因此,在对关键点检测模型进行了改进之后,便需要对该模型进行监督学习训练,提高关键点检测模型输出结果的准确度。
在训练模型的过程中,首先需要获取训练样本集,每个训练样本都进行了关键点的位置信息和遮挡情况的标记,获得了各个训练样本包括的关键点的期望位置信息及关键点的期望遮挡情况。具体地,可以先获取大量带人脸的照片或视频并对带人脸的照片或视频进行人脸检测,从带人脸的照片或视频中获取大量的人脸图像。然后再对每个人脸图像进行关键点位置信息和关键点的遮挡情况进行标记,即每个关键点是被遮挡的还是未被遮挡的,标记后获得每个关键点的期望位置信息和期望遮挡情况。
另外,目前的数据平台上存在大量的已经对关键点的位置信息进行了标记的公开的人脸图像数据集,因此只需要在这些公开的人脸图像数据集上对各个关键点的遮挡情况进行标注即可,可以节省一部分标注时间成本。
在获得训练样本集之后,即可将训练样本集输入至原始的神经网络模型中进行训练,神经网络模型会对每个训练样本中的关键点的位置信息和遮挡情况进行预测,输出每个训练样本的各个关键点的预测位置信息和预测遮挡情况。
将预测位置信息与标注获得的期望位置信息进行比较,计算预测位置信息和期望位置信息的第一损失函数,同时将预测遮挡情况与期望遮挡情况进行比较,计算预测遮挡情况和期望遮挡情况的第二损失函数。
通过第一损失函数及第二损失函数的值对神经网络模型的参数进行调整,调整后再次输入训练样本集进行训练,重复上述的步骤,直到第一损失函数以及第二损失函数均收敛时,停止训练,获得训练好的的关键点检测模型。
可选地,在本实施例中,步骤S12包括以下子步骤:
将所述人脸图像输入至训练好的关键点检测模型;通过所述训练好的关键点检测模型对所述人脸图像进行检测,输出所述人脸图像中的各个关键点的位置信息及各个关键点的遮挡置信度。
在上述步骤中,在对人脸图像进行关键点检测时,可以将人脸图像输入至训练好的关键点检测模型进行检测,通过关键点检测模型输出人脸图像中各个关键点的位置信息及各个关键点的遮挡置信度。
人脸关键点通常是对人脸的眉毛、鼻子、嘴巴、眼睛和脸部轮廓进行关键点定位,它是人脸识别和分析领域中的关键一步,是诸如自动人脸识别、表情分析、三维人脸重建其它人脸相关问题的前提和突破口。
每个人脸图像通常都包括多个关键点,每个关键点所在的位置是不同的,并且通过位置信息能够知道该关键点是属于人脸的眉毛、鼻子、嘴巴、眼睛还是脸部轮廓,从而可以在后续的步骤中,根据各个关键点的属性确定人脸的各个部位是否被遮挡。
可选地,请参照图4,图4为本申请实施例提供的步骤S13的子步骤流程图。在本实施例中,步骤S13包括以下子步骤:
步骤S131,根据各个关键点的位置信息分别确定人脸图像的各个人脸部位对应的关键点。其中,所述人脸部位包括眉毛、眼睛、鼻子、嘴巴及脸部轮廓。
步骤S132,根据人脸部位对应的关键点的遮挡置信度判定各个人脸部位是否被遮挡。
步骤S133,根据人脸图像的各个人脸部位的遮挡情况判定人脸图像是否被遮挡。
在上述子步骤中,在获得了人脸图像中的每个关键点的位置信息及每个关键点的遮挡置信度之后,可以根据各个关键点的位置信息确定人脸图像的各个人脸部位对应的关键点。人脸部位可以包括眼睛、嘴巴、眉毛、鼻子以及脸部轮廓,每个人脸部位都包括有多个关键点,各个人脸部位对应的关键点位于各个人脸部位的轮廓上。通过各个关键点的位置信息可以确定该关键点具体属于哪个人脸部位,从而可以获得眼睛部分对应的关键点,鼻子部分对应的关键点,嘴巴部分对应的关键点、眉毛部分对应的关键点以及脸部轮廓部分对应的关键点。
在获得各个人脸部位的关键点之后,可以根据各个人脸部位对应的关键点的遮挡置信度判定各个人脸部位是否被遮挡。具体地,在本实施例中,根据所述人脸部位对应的关键点的遮挡置信度判定所述人脸图像的各个人脸部位是否被遮挡,包括:
根据每个关键点的遮挡置信度判定所述关键点是否被遮挡;针对所述人脸图像的每个人脸部位,判断所述人脸部位包括的被遮挡的关键点的个数是否超过预设值;若超过,则判定所述人脸部位被遮挡,反之则判定所述人脸部位未被遮挡。
在上述步骤中,每个人脸部位都对应有多个关键点,可以根据每个关键点的遮挡置信度判断该关键点是否被遮挡,然后判断每个人脸部位中包括的被遮挡的关键点的数量是否超过预设值(例如是否超过一半),若超过,则认为该人脸部位被遮挡,反之则未被遮挡。
具体地,以嘴巴为例,假设嘴巴对应的关键点的数量为16个,则需要根据这16个关键点中的每个关键点的遮挡置信度判断该关键点是否被遮挡。遮挡置信度的取值范围为0到1,在一种实施方式中,假设遮挡置信度大于0.3时,认为该关键点未被遮挡,若小于或等于0.3,则认为该关键点被遮挡了。
值得说明的是,0.3仅为对遮挡置信度的判断阈值的一种举例说明,在本实施例的其他实施方式中,还可以设置为其他值,在此不作具体限定。
通过上述放获取到每个关键点的遮挡情况之后,即可根据各个关键点的遮挡情况判断嘴巴是否被遮挡,假设人脸部位的关键点被遮挡的数量的占比超过50%(在其他实施方式中也可以是其他值)则认为该人脸部位被遮挡,在嘴巴对应的16个关键点中,若被遮挡的关键点的数量为6,未被遮挡的关键点的数量为10,则可以认为嘴巴这个人脸部位未被遮挡。
通过上述方式,可以对每个人脸部位的遮挡情况都进行判断,然后可以根据人脸图像的各个部位的遮挡情况判定人脸图像是否被遮挡。具体地,根据所述人脸图像的各个人脸部位的遮挡情况判定所述人脸图像是否被遮挡,包括:
若所述人脸图像中的眉毛、眼睛、鼻子、嘴巴及脸部轮廓中的至少一个部位被遮挡,则判定所述人脸图像被遮挡。
在上述步骤中,由于人脸识别对每个人脸部位的要求都较高,所以任何一个人脸部位被遮挡时,都会对后续的人脸识别的准确度造成影响,因此,对于眉毛、眼睛、鼻子、嘴巴等任意人脸部位如果属于被遮挡的分类,那么整张人脸图像就属于被遮挡的分类,反之所有的人脸部位都未被遮挡,则该人脸图像未被遮挡。
特别地,由于人脸识别对脸部轮廓部位并不敏感,所以若只有脸部轮廓的部分关键点(例如不超过一半的关键点被遮挡)被遮挡而该人脸图像的其它人脸部位没有被遮挡的情况下,可以认为该人脸图像未被遮挡。
进一步地,在本实施例中,在步骤S13,分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定之后,所述方法还包括:
若所述人脸图像的判定结果为被遮挡,则过滤所述人脸图像,反之则将所述人脸图像输入至人脸识别模型中进行人脸识别。
在上述步骤中,为了提高人脸识别模型的准确性,在人脸图像被判定为被遮挡时,需要对该人脸图像进行过滤,避免出现误识别,若人脸图像被判定为未被遮挡,则可以将该人脸图像输入至人脸识别模型中进行后续的人脸识别。
值得说的是,在对遮挡情况进行判断时可以结合不同的场景设置不同的阈值,例如,在人脸识别库较小的场景(例如公司门禁、单元门禁)中,由于人脸识别库中的人脸图像较少,在此种情况下,脸部有一点点遮挡对人脸识别的准确度影响不大,此时,可以降低人脸图像的遮挡情况的判断阈值。例如,若只有下巴部位被遮挡,也可以认为该人脸图像未被遮挡,可以进行后续的人脸识别。反之,在人脸识别库较大的场景(例如室外监控)中,则需要适当提升人脸图像的遮挡情况的判断阈值,只要任意一个人脸部位被遮挡,则认为该人脸被遮挡,无法进行后续的人脸识别。
综上所述,本申请实施例中提供了一种人脸图像遮挡判断方法,该方法应用于电子设备,首先获取待处理的人脸图像,并对获取到的待处理的人脸图像进行关键点检测,获得该人脸图像中的各个关键点的遮挡置信度;然后可以根据人脸图像中的各个人脸部位对应的关键点的遮挡置信度对人脸图像是否被遮挡进行判定。通过关键点的遮挡置信度对关键点遮挡情况进行判断,再根据各个人脸部位的关键点的遮挡情况对各个人脸部位的遮挡情况进行判断,再以此对整个人脸图像的遮挡情况进行判断,提升了人脸的遮挡情况的判断准确度,只需要在现有的关键点检测模型新增一个遮挡置信度计算分支,无需新增额外的网络模型进行运算,降低了计算资源的占用率,提升人脸识别的效率。
请参阅图5,图5为本申请实施例提供的人脸图像遮挡判断装置的功能模块图,在本实施例中,人脸图像遮挡判断装置110应用于电子设备,包括:
获取模块1101,用于获取待处理的人脸图像。
关键点检测模块1102,用于对所述人脸图像进行关键点检测,输获得所述人脸图像中的各个关键点的遮挡置信度。
遮挡判定模块1103,用于分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定。
本申请实施例还提供了一种电子设备,请参照图6,图6为本申请实施例提供的电子设备10的示意图。在本实施例中,电子设备10包括:处理器11、存储器12和总线13,存储器12存储有处理器11可执行的机器可读指令,当电子设备10运行时,11处理器与存储器12之间通过总线13通信,机器可读指令被处理器11执行时执行本申请实施例提供的人脸图像遮挡判断方法。
可选地,本申请实施例还提供了一种存储介质,存储介质上存储有计算机程序,所述计算机程序被处理器11运行时执行本申请实施例提供的人脸图像遮挡判断方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种人脸图像遮挡判断方法,其特征在于,包括:
获取待处理的人脸图像;
对所述人脸图像进行关键点检测,获得所述人脸图像中的各个关键点的遮挡置信度;
分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定。
2.根据权利要求1所述的方法,其特征在于,对所述人脸图像进行关键点检测,获得所述人脸图像中的各个关键点的遮挡置信度,包括:
将所述人脸图像输入至训练好的关键点检测模型;
通过所述训练好的关键点检测模型对所述人脸图像进行检测,输出所述人脸图像中的各个关键点的位置信息及各个关键点的遮挡置信度。
3.根据权利要求1所述的方法,其特征在于,分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定,包括:
根据各个关键点的位置信息分别确定人脸图像的各个人脸部位对应的关键点,其中,所述人脸部位包括眉毛、眼睛、鼻子、嘴巴及脸部轮廓;
根据所述人脸部位对应的关键点的遮挡置信度判定各个人脸部位是否被遮挡;
根据所述人脸图像的各个人脸部位的遮挡情况判定所述人脸图像是否被遮挡。
4.根据权利要求3所述的方法,其特征在于,所述根据所述人脸图像的各个人脸部位的遮挡情况判定所述人脸图像是否被遮挡,包括:
若所述人脸图像中的眉毛、眼睛、鼻子、嘴巴及脸部轮廓中的至少一个人脸部位被遮挡,则判定所述人脸图像被遮挡。
5.根据权利要求3所述的方法,其特征在于,根据所述人脸部位对应的关键点的遮挡置信度判定所述人脸图像的各个人脸部位是否被遮挡,包括:
根据每个关键点的遮挡置信度判定所述关键点是否被遮挡;
针对所述人脸图像的每个人脸部位,判断所述人脸部位包括的被遮挡的关键点的个数是否超过预设值;
若超过,则判定所述人脸部位被遮挡,反之则判定所述人脸部位未被遮挡。
6.根据权利要求1-5任意一项所述的方法,其特征在于,在分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定之后,所述方法还包括:
若所述人脸图像的判定结果为被遮挡,则过滤所述人脸图像,反之则将所述人脸图像输入至人脸识别模型中进行人脸识别。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括训练获得关键点检测模型的步骤,所述步骤包括:
获取训练样本集,其中,所述训练样本集包括各个关键点预先标记的期望位置信息及期望遮挡情况;
将所述训练样本集输入神经网络模型中进行运算,输出所述训练样本集中的各个关键点的预测位置信息及预测遮挡情况;
根据各个关键点的期望位置信息及各个关键点的预测位置信息计算第一损失函数值,根据各个关键点的期望遮挡情况及各个关键点的预测遮挡情况计算第二损失函数值;
根据所述第一损失函数值及所述第二损失函数值调整所述神经网络模型的网络参数;
在所述第一损失函数值及所述第二损失函数值收敛时,停止训练,获得所述关键点检测模型。
8.一种人脸图像遮挡判断装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的人脸图像;
关键点检测模块,用于对所述人脸图像进行关键点检测,获得所述人脸图像中的各个关键点的遮挡置信度;
遮挡判定模块,用于分别根据所述人脸图像中的各个人脸部位对应的关键点的遮挡置信度对所述人脸图像是否被遮挡进行判定。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1-7任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111024275.5A CN113762136A (zh) | 2021-09-02 | 2021-09-02 | 人脸图像遮挡判断方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111024275.5A CN113762136A (zh) | 2021-09-02 | 2021-09-02 | 人脸图像遮挡判断方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113762136A true CN113762136A (zh) | 2021-12-07 |
Family
ID=78792535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111024275.5A Pending CN113762136A (zh) | 2021-09-02 | 2021-09-02 | 人脸图像遮挡判断方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113762136A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114093012A (zh) * | 2022-01-18 | 2022-02-25 | 荣耀终端有限公司 | 人脸遮挡的检测方法和检测装置 |
CN115941529A (zh) * | 2022-11-28 | 2023-04-07 | 国网江苏省电力工程咨询有限公司 | 一种基于机器人的电缆隧道检测方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
WO2017167313A1 (zh) * | 2016-04-01 | 2017-10-05 | 中兴通讯股份有限公司 | 一种表情识别方法及装置 |
CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN108416258A (zh) * | 2018-01-23 | 2018-08-17 | 华侨大学 | 一种基于人体部位模型的多人体跟踪方法 |
CN109886121A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
CN111428581A (zh) * | 2020-03-05 | 2020-07-17 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法及系统 |
CN111695495A (zh) * | 2020-06-10 | 2020-09-22 | 杭州萤石软件有限公司 | 人脸识别方法、电子设备及存储介质 |
CN112287802A (zh) * | 2020-10-26 | 2021-01-29 | 汇纳科技股份有限公司 | 人脸图像检测方法、系统、存储介质及设备 |
CN112419170A (zh) * | 2020-10-16 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
-
2021
- 2021-09-02 CN CN202111024275.5A patent/CN113762136A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017167313A1 (zh) * | 2016-04-01 | 2017-10-05 | 中兴通讯股份有限公司 | 一种表情识别方法及装置 |
CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN108416258A (zh) * | 2018-01-23 | 2018-08-17 | 华侨大学 | 一种基于人体部位模型的多人体跟踪方法 |
CN109886121A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
CN111428581A (zh) * | 2020-03-05 | 2020-07-17 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法及系统 |
CN111695495A (zh) * | 2020-06-10 | 2020-09-22 | 杭州萤石软件有限公司 | 人脸识别方法、电子设备及存储介质 |
CN112419170A (zh) * | 2020-10-16 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
CN112287802A (zh) * | 2020-10-26 | 2021-01-29 | 汇纳科技股份有限公司 | 人脸图像检测方法、系统、存储介质及设备 |
Non-Patent Citations (1)
Title |
---|
方圆圆: "《人脸识别与美颜算法实战:基于Python、机器学习与深度学习》", 机械工业出版社, pages: 196 - 197 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114093012A (zh) * | 2022-01-18 | 2022-02-25 | 荣耀终端有限公司 | 人脸遮挡的检测方法和检测装置 |
CN115941529A (zh) * | 2022-11-28 | 2023-04-07 | 国网江苏省电力工程咨询有限公司 | 一种基于机器人的电缆隧道检测方法和系统 |
CN115941529B (zh) * | 2022-11-28 | 2024-07-05 | 国网江苏省电力工程咨询有限公司 | 一种基于机器人的电缆隧道检测方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107423690B (zh) | 一种人脸识别方法及装置 | |
EP3478728B1 (en) | Method and system for cell annotation with adaptive incremental learning | |
JP6330385B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN112381837B (zh) | 一种图像处理方法及电子设备 | |
WO2015165365A1 (zh) | 一种人脸识别方法及系统 | |
CN111914665B (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
CN109740609B (zh) | 一种轨距检测方法及装置 | |
CN113762136A (zh) | 人脸图像遮挡判断方法、装置、电子设备和存储介质 | |
CN111008643B (zh) | 基于半监督学习的图片分类方法、装置和计算机设备 | |
JP2008130086A (ja) | 分類境界確定方法及び分類境界確定装置 | |
CN108268823A (zh) | 目标再识别方法和装置 | |
CN111986183A (zh) | 一种染色体散型图像自动分割识别系统及装置 | |
CN110276252B (zh) | 一种基于生成式对抗网络的抗表情干扰的人脸识别方法 | |
KR20210051473A (ko) | 동영상 콘텐츠 식별 장치 및 방법 | |
CN109543629B (zh) | 一种眨眼识别方法、装置、设备及可读存储介质 | |
CN111401343B (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
US11380133B2 (en) | Domain adaptation-based object recognition apparatus and method | |
CN111325265B (zh) | 一种针对篡改图像的检测方法及装置 | |
US20200034649A1 (en) | Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method | |
KR20110103223A (ko) | 얼굴 인식을 위한 sift 알고리즘을 이용한 키포인트 매칭 시스템 및 방법 | |
CN108985240B (zh) | 评估对象检测算法的方法、装置、电子设备和存储介质 | |
US20210004568A1 (en) | Attribute recognition system, learning server and non-transitory computer-readable recording medium | |
CN111967383A (zh) | 年龄估计方法、年龄估计模型的训练方法和装置 | |
CN115761842A (zh) | 一种人脸底库自动更新方法、装置 | |
CN113705559B (zh) | 基于人工智能的文字识别方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211207 |