CN114445881A - 人脸检测方法及相关设备 - Google Patents
人脸检测方法及相关设备 Download PDFInfo
- Publication number
- CN114445881A CN114445881A CN202111675870.5A CN202111675870A CN114445881A CN 114445881 A CN114445881 A CN 114445881A CN 202111675870 A CN202111675870 A CN 202111675870A CN 114445881 A CN114445881 A CN 114445881A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- detected
- truncated
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种人脸检测方法,包括:获取待检测图像,所述待检测图像中包括截断人脸;对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。通过对待检测图像的多尺度中间特征来进行人脸检测以及截断人脸预估处理,得到包括截断人脸预估结果的人脸检测结果,可以利用截断人脸的语义信息,预估被截断部分的像素区域,使得人脸保持对称居中的状态,有利于后续人脸身份识别过程中的比对校验等环节,从而提高人脸身份识别的准确率。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种人脸检测方法及相关设备。
背景技术
随着人工智能的发展,比如基于图像处理技术得到广泛应用,目标检测人脸检测是目前所有目标检测子方向中被研究的最充分的问题之一,它在智能监控,人证比对,人机交互,社交和娱乐等方面有很强的应用价值,也是整个人脸识别算法的第一步。在实际的应用场景中,因摄像机的视野限制导致人脸被截断普遍发生,截断后的人脸因为无法正确矫正对齐,对后续人脸身份识别产生巨大影响,将检测到的因截断导致的不完整人脸直接用于人脸身份识别,将会对人脸身份识别的准确率产生不利影响,降低人脸身份识别的准确率。
发明内容
本发明实施例提供一种人脸检测方法及相关设备,通过对待检测图像的多尺度中间特征来进行人脸检测以及截断人脸预估处理,得到包括截断人脸预估结果的人脸检测结果,可以利用截断人脸的语义信息,预估被截断部分的像素区域,使得人脸保持对称居中的状态,有利于后续人脸身份识别过程中的比对校验等环节,从而提高人脸身份识别的准确率。
第一方面,本发明实施例提供一种人脸检测方法,所述方法包括:
获取待检测图像,所述待检测图像中包括截断人脸;
对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;
对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。
可选的,所述对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,包括:
将所述多尺度中间特征在所述多个预设尺度下进行特征融合,得到多尺度融合特征;
对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框;
对所述多尺度融合特征进行截断人脸预估处理,得到截断预估值;
根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框;
根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果。
可选的,所述对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框,包括:
对所述多尺度融合特征进行人脸检测处理,得到人脸框的类别置信度以及定位置信度;
根据所述类别置信度以及所述定位置信度,计算得到符合预设条件的候选人脸框。
可选的,所述根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框,包括:
对所述多尺度融合特征进行人脸检测处理,得到人脸框的位置信息;
根据所述候选人脸框的位置信息以及所述截断预估值,计算得到截断预估人脸框。
可选的,所述根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果,包括:
将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框;
将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框;
将所述目标人脸框与所述目标截断预估人脸框输出到所述待检测图像中,得到所述待检测图像的人脸检测结果。
可选的,所述将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框,包括:
将所述多个尺度下的候选人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理人脸框;
将所述多个待处理人脸框进行非极大值抑制处理,得到目标人脸框。
可选的,所述将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框,包括:
将所述多个尺度下的截断预估人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理截断预估人脸框;
将所述多个待处理截断预估人脸框进行非极大值抑制处理,得到目标截断预估人脸框。
第二方面,本发明实施例提供一种人脸检测装置,所述装置包括:
获取模块,用于获取待检测图像,所述待检测图像中包括截断人脸;
提取模块,用于对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;
处理模块,用于对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的人脸检测方法中的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的人脸检测方法中的步骤。
本发明实施例中,获取待检测图像,所述待检测图像中包括截断人脸;对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。通过对待检测图像的多尺度中间特征来进行人脸检测以及截断人脸预估处理,得到包括截断人脸预估结果的人脸检测结果,可以利用截断人脸的语义信息,预估被截断部分的像素区域,使得人脸保持对称居中的状态,有利于后续人脸身份识别过程中的比对校验等环节,从而提高人脸身份识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸检测方法的流程图;
图2是本发明实施例提供的一种联合网络模型的结构图;
图3是本发明实施例提供的一种人脸检测结果的示意图;
图4是本发明实施例提供的另一种人脸检测方法的流程图;
图5是本发明实施例提供的一种人脸检测装置的结构示意图;
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明实施例提供的一种人脸检测方法的流程图,如图1所示,该人脸检测方法包括以下步骤:
101、获取待检测图像。
在本发明实施例中,可以通过设置在指定位置的摄像头对目标人员进行拍摄,得到目标人员的待检测图像,也可以是通过用户上传目标人员的人脸图像来获取待检测图像。上述待检测图像中包括截断人脸,上述截断人脸可以理解为人脸轮廓被图像边缘截断,导致人脸不完整。比如拍摄到的人脸出现在图像的左下角,可能使得人脸左下方被截断;拍摄到的人脸出现在图像的右下角,使得人脸右下方被截断;拍摄到的人脸出现在图像的左上角,使得人脸左上方被截断;拍摄到的人脸出现在图像的右上角,使得人脸右上方被截断;拍摄到的人脸出现在图像的正下方,使得人脸下方被截断。
102、对待检测图像进行多尺度特征提取,得到待检测图像的多尺度中间特征。
在本发明实施例中,上述多尺度特征可以包括多个预设尺度的中间特征。上述多尺度特征提取可以通过深度神经网络来进行,在深度神经网络中,可以通过下采样来将待检测图像和中间特征的尺度进行降低,从而得到不同尺度的中间特征。
可以通过网络主干模块来对待检测图像进行多尺度特征提取,上述网络主干模块可以是常用的目标检测网络的网络主干模块,比如可以通过常用的resnet系列,mobilenet系列,shufflenet系列等目标检测网络的主干模块来对待检测图像进行多尺度特征提取。网络主干模块是用来提取输入图像的深度语义特征,它一般是由多阶段的卷积模块所构成。通过每一阶段前的下采样层进行下采样,以使该阶段的卷积模块的空间分辨率是上一阶段的1/2,但通道维度一般提升到上一阶段的2倍。比如,待检测图的空间分辨率是2048*2048*1,其中,2048*2048是空间分辨率,1是通道维度,通过一个阶段的卷积后,可以得到1024*1024*2,1024*1024是空间分辨率,2是通道维度。
在本发明实施例中,可以从第三阶段、第四阶段、第五阶段提取对应尺度的特征,从而得到相对于待检测图像的1/8,1/16,1/32三个尺度的中间特征,为方便描述,本发明实施例将上述三个尺度的中间特征分别称为C3,C4,C5。
上述多个预设尺度可以是待检测图像尺度的1/8尺度、1/16尺度、1/32尺度等,在本发明实施例中,并不限定预设尺度的数量和大小。通过提取待检测图像的多尺度中间特征,可以获得多个尺度的人脸特征,从而提高后续人脸检测的准确率。
103、对多尺度中间特征进行人脸检测以及截断人脸预估处理,得到待检测图像的人脸检测结果。
在本发明实施例中,上述人脸检测结果包括截断人脸预估结果。上述人脸检测结果可以是在待检测图像中的通过人脸框信息,上述人脸框信息包括人脸的类别置信度、人脸框定位的置信度、中心点坐标和宽高属性信息。
上述截断人脸预估结果可以是在待检测图像中的通过截断预估人脸框信息,上述截断预估人脸框信息包括中心点坐标和宽高属性信息。
具体的,对多尺度中间特征进行人脸检测以及截断人脸预估处理,得到待检测图像的人脸检测结果的步骤中,可以将多尺度中间特征在多个预设尺度下进行特征融合,得到多尺度融合特征;对多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框;对多尺度融合特征进行截断人脸预估处理,得到截断预估值;根据候选人脸框以及截断预估值,计算得到截断预估人脸框;根据候选人脸框与截断预估人脸框,计算得到待检测图像的人脸检测结果。
可以将提取到的多尺度中间特征进行融合,从而加强不同尺度的特征信息交流,提高人脸检测的准确率。可以通过特征融合模块对上述多尺度中间特征进行融合,特征融合模块可采用一些常用的特征融合网络,如特征金字塔网络(FPN),双向特征特征金字塔网络(BiFPN)等,需要说明的是,本发明特征融合网络不做任何限定,其他能够实现特征融合的算法、模型和网络均可以。
本发明实施例中,在网络主干模块提取特征时,会提取特定的阶段层的中间特征输入到下一个特征融合模块以提供多尺度的融合特征。通过特征融合模块将中间特征C3、中间特征C4和中间特征C5进行特征融合,特征融合模块会重新生成新的多尺度特征,为了便于说明,本发明实施例称为融合特征P3、融合特征P4和融合特征P5。由于每层特征的尺度空间不同,其输入通道数不同,如融合特征P3的尺度空间为待检测图像的1/8,其对应输出通道数为256;融合特征P4的尺度空间为待检测图像的1/16,其对应输出通道数为512;融合特征P5的尺度空间为原图的1/32,其对应输出通道数为1024。
可以对多尺度融合特征进行人脸检测处理,从而得到各个尺度下的检测框,将不属于人脸框的检测框进行丢弃,从而得到各个尺度下的候选人脸框。可以通过人脸定位模型对多尺度融合特征进行人脸检测处理,在特征融合模块输出的融合特征P3,融合特征P4和融合特征P5上,分别应用人脸定位模块进行人脸定位处理。在本发明实施例中,上述人脸定位模块可以三个不同的输出分支,分别是类别预测分支、位置预测分支和IoU感知分支。
其中,类别预测分支可以用于预测人脸的置信度,其特征层大小为H×W×C,其中H表示当前输出特征层的高度,W表示当前输出特征层的宽度,C表示预测的类别总数。需要说明的是,因为本发明只检测人脸,所以C可以等于1,该分支输出结果表示检测框属于人脸的置信度。
位置预测分支用于预测检测人脸的位置,其特征的大小为H×W×4,其中H表示当前输出特征层的高度,W表示当前输出特征层的宽度。但是其输出4层特征,用于进一步表示为预测检测框的中心点坐标和宽高属性信息。
IoU感知分支是用于辅助提升人脸预测模块的定位准确度的,其特征大小为H×W×1,其输出是表示人脸框定位的置信度。
可以在每个输出分支之前,通过一系列卷积层组合用于进一步提取多尺度融合特征以产生不同的预测功能。每个卷积层的通道数都是256,其中位置预测分支和IoU感知分支共享部分卷积层。
可以对多尺度融合特征进行截断人脸预估处理,从而得到各个尺度下的截断预估值。可以通过人脸截断预估模块对多尺度融合特征进行截断人脸预估处理,同人脸定位模块一样,人脸截断预估模块也是建立在特征融合模块输出的多尺度融合特征基础上。在不同的尺度空间,新建一额外的输出分支结构,结构与人脸定位模块相似,使用一系列卷积层卷积FPN多尺度融合特征,最后输出特征的大小为H×W×4,每层特征通道分别用于预测人脸框的上、下、左、右四个方向的截断像素。该输出分支是通过回归的形式进行预估,由于人脸截断预估模块与人脸定位模块并行,因此基本不会对人脸检测功能产生影响。
需要说明的是,虽然人脸定位模块和人脸截断预估模块的网络结构基本相同,但是由于在训练阶段,每个分支所学习的目标内容不同,因此每个分支会学习到不同参数,实现不同的功能。对于cls分支,该分支学习的目标为类别概率,如果某位置处对应于人脸标记框的中心点,则该位置处的值为1,而其他位置为0。因此,cls分支经过学习之后的结果表示该位置点的人脸分类概率。对于pos分支,该分支通过回归的方式学习的目标是人脸标记框中心点相对于当前位置的x方向和y方向偏差和目标的宽高信息,因此pos分支具备人脸框的定位功能。对于IoU分支,该分支学习的目标为预测框与标记框的IoU值,因此可以表示检测框的定位置信度。而对于人脸截断预估模块的reg分支,该分支学习的目标为人脸标注框在截断前后的上下左右四个方向的像素偏差,因此具备截断预估的能力。可以将上述网络主干模块、特征融合模块、人脸定位模块、人脸截断预估模块进行连接,得到联合网络模型,具体如图2所示,图2是本发明实施例提供的一种联合网络模型的结构图。
具体的,在上述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框的步骤中,对多尺度融合特征进行人脸检测处理,得到人脸框的类别置信度以及定位置信度;根据类别置信度以及定位置信度,计算得到符合预设条件的候选人脸框。
上述类别置信度可以由上述类别预测分支进行输出得到,上述定位置信度由上述IoU感知分支进行输出得到。计算所有定位点的检测框的总置信度,总置信度=类别置信度值×定位置信度。当检测框的总置信度低于设定阈值时,则说明检测框不是人脸框,因此,可以将总置信度低于设定阈值的检测框进行滤除,从而得到总置信度低于设定阈值的检测框作为候选人脸框。可以结合pos特征计算候选人脸框的坐标,具体的,可以假设当前的定位点坐标为(x,y),该定位点下的pos在x方向和y方向预测偏置分别为dx,dy,检测框的宽高为w,h。则该定位框的中心点坐标为(x+dx,y+dy),从而得到多个尺度下的候选人脸框坐标。
可以根据候选人脸框的位置信息以及截断预估值,计算得到截断预估人脸框。进一步的,人脸截断预估模块最后输出特征的大小为H×W×4,每层特征通道分别用于预测人脸框的上、下、左、右四个方向的截断像素,人脸截断预估输出特征,索引该定位点下的上下左右方向预估偏差值yt,yb,xl和xr,因此可以得到最终截断预估人脸框左上角顶点坐标为(x+dx-w/2-xl,y+dy-h/2-yt)和右下顶点坐标(x+dx+w/2+xr,y+dy+h/2+yb)。对于不同尺度的候选人脸框,可以通过截断预估值得到不同尺度的截断预估人脸框。
具体的,在得到多个尺度下的候选人脸框时,可以将多个尺度下的候选人脸框进行非极大值抑制处理,滤除高重叠区域的重复候选人脸框,从而得到目标人脸框。在得到多个尺度下的截断预估人脸框,可以将多个尺度下的截断预估人脸框进行非极大值抑制,滤除高重叠区域的重复截断预估人脸框,从而得到目标截断预估人脸框。将目标人脸框与目标截断预估人脸框输出到待检测图像中,得到待检测图像的人脸检测结果。
进一步的,可以将多个尺度下的候选人脸框按待检测图像的尺寸大小进行映射,得到多个待处理人脸框;将多个待处理人脸框进行非极大值抑制处理,得到目标人脸框。还可以将多个尺度下的截断预估人脸框按待检测图像的尺寸大小进行映射,得到多个待处理截断预估人脸框;将多个待处理截断预估人脸框进行非极大值抑制处理,得到目标截断预估人脸框。
在得到目标人脸框后,可以将目标人脸框输出到待检测图像中,这样就可以得到人脸检测结果,人脸检测结果为人脸框中的图像。在得到目标截断预估人脸框后,可以将目标截断预估人脸框输出到待检测图像中,这样就可以得到截断人脸预估结果,截断人脸预估结果为截断人脸预估框中的图像,具体可以如图3所示,图3是本发明实施例提供的一种人脸检测结果的示意图。
可选的,请参考图4,图4是本发明实施例提供的另一种人脸检测方法的流程图,如图4所示,本发明实施例提供的人脸检测方法主要流程包括:输入图像在经过一定图像预处理之后输入主干网络模块提取多尺度特征,如以上描述的中间特征C3,中间特征C4,中间特征C5;主干网络模块提取的特征传入特征融合模块进行特征融合,输出融合后多尺度特征,如上描述的融合特征P3,融合特征P4,融合特征P5;在融合特征P4上进行人脸定位和截断预估。其中人脸定位和截断预估功能实现步骤如下:①、融合特征P4经过人脸定位模块的三个分支分别输出cls特征,pos特征和iou特征,经过截断预估模块输出截断预估reg特征;②、计算所有定位点的检测框的总置信度,总置信度=cls特征的分类置信度值×iou特征的定位置信度;③、滤除低于设定阈值的人脸定位点;④、对剩余的高置信度人脸定位点,结合pos特征计算人脸检测框的坐标。计算方法为:当前特征层的尺度为H×W,则有H×W个网格,以中心点所在网格的左上顶点作为定位点,假设当前的定位点坐标为(x,y),该定位点下的pos在x方向和y方向预测偏置为dx,dy,网格宽高为w,h。则该定位框的中心点坐标为(x+dx,y+dy),该定位框的左上顶点坐标为(x+dx-w/2,y+dy-h/2),该定位框的右下顶点坐标为(x+dx+w/2,y+dy+h/2),从而得到截断预估前的人脸框坐标;⑤、根据④中的高置信度人脸定位点和人脸截断预估输出特征,索引该定位点下的上下左右方向预估偏差值yt,yb,xl和xr,因此可以得到最终截断预估后的人脸框的左上顶点坐标为(x+dx-w/2-xl,y+dy-h/2-yt)和人脸框右下顶点坐标为(x+dx+w/2+xr,y+dy+h/2+yb)。⑥、将当前特征层获得的截断预估后的人脸检测框坐标映射回原图尺度。对融合特征P3和融合特征P5也进行相似的人脸定位和截断预估操作;综合融合特征P3,融合特征P4和融合特征P5特征层上检测到的所有截断预估人脸框,使用非极大值抑制算法滤除高重叠区域的重复定位框;输出当前输入图像下的最终所有人脸截断预估检测框。
本发明实施例中,获取待检测图像,所述待检测图像中包括截断人脸;对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。通过对待检测图像的多尺度中间特征来进行人脸检测以及截断人脸预估处理,得到包括截断人脸预估结果的人脸检测结果,可以利用截断人脸的语义信息,预估被截断部分的像素区域,使得人脸保持对称居中的状态,有利于后续人脸身份识别过程中的比对校验等环节,从而提高人脸身份识别的准确率。
需要说明的是,本发明实施例提供的人脸检测方法可以应用于可以进行人脸检测的智能手机、电脑、服务器等设备。
可选的,请参见图5,图5是本发明实施例提供的一种人脸检测装置的结构示意图,如图5所示,所述装置包括:
获取模块501,用于获取待检测图像,所述待检测图像中包括截断人脸;
提取模块502,用于对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;
处理模块503,用于对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。
可选的,处理模块503,包括:
融合子模块,用于将所述多尺度中间特征在所述多个预设尺度下进行特征融合,得到多尺度融合特征;
第一处理子模块,用于对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框;
第二处理子模块,用于对所述多尺度融合特征进行截断人脸预估处理,得到截断预估值;
第一计算子模块,用于根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框;
第二计算子模块,用于根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果。
可选的,第一处理子模块,包括:
第一处理单元,用于对所述多尺度融合特征进行人脸检测处理,得到人脸框的类别置信度以及定位置信度;
第一计算单元,用于根据所述类别置信度以及所述定位置信度,计算得到符合预设条件的候选人脸框。
可选的,第一计算子模块,包括:
第二处理单元,用于对所述多尺度融合特征进行人脸检测处理,得到人脸框的位置信息;
第二计算单元,用于根据所述候选人脸框的位置信息以及所述截断预估值,计算得到截断预估人脸框。
可选的,第二计算子模块,包括:
第三处理单元,用于将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框;
第四处理单元,用于将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框;
输出单元,用于将所述目标人脸框与所述目标截断预估人脸框输出到所述待检测图像中,得到所述待检测图像的人脸检测结果。
可选的,第三处理单元,包括:
第一映射子单元,用于将所述多个尺度下的候选人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理人脸框;
第一处理子单元,用于将所述多个待处理人脸框进行非极大值抑制处理,得到目标人脸框。
可选的,第四处理单元,包括:
第二映射子单元,用于将所述多个尺度下的截断预估人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理截断预估人脸框;
第二处理子单元,用于将所述多个待处理截断预估人脸框进行非极大值抑制处理,得到目标截断预估人脸框。
需要说明的是,本发明实施例提供的人脸检测装置可以应用于可以进行人脸检测的智能手机、电脑、服务器等设备。
本发明实施例提供的人脸检测装置能够实现上述方法实施例中人脸检测方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
参见图6,图6是本发明实施例提供的一种电子设备的结构示意图,如图6所示,包括:存储器602、处理器601及存储在所述存储器602上并可在所述处理器601上运行的人脸检测方法的计算机程序,其中:
处理器601用于调用存储器602存储的计算机程序,执行如下步骤:
获取待检测图像,所述待检测图像中包括截断人脸;
对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;
对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。
可选的,处理器601执行的所述对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,包括:
将所述多尺度中间特征在所述多个预设尺度下进行特征融合,得到多尺度融合特征;
对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框;
对所述多尺度融合特征进行截断人脸预估处理,得到截断预估值;
根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框;
根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果。
可选的,处理器601执行的所述对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框,包括:
对所述多尺度融合特征进行人脸检测处理,得到人脸框的类别置信度以及定位置信度;
根据所述类别置信度以及所述定位置信度,计算得到符合预设条件的候选人脸框。
可选的,处理器601执行的所述根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框,包括:
对所述多尺度融合特征进行人脸检测处理,得到人脸框的位置信息;
根据所述候选人脸框的位置信息以及所述截断预估值,计算得到截断预估人脸框。
可选的,处理器601执行的所述根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果,包括:
将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框;
将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框;
将所述目标人脸框与所述目标截断预估人脸框输出到所述待检测图像中,得到所述待检测图像的人脸检测结果。
可选的,处理器601执行的所述将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框,包括:
将所述多个尺度下的候选人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理人脸框;
将所述多个待处理人脸框进行非极大值抑制处理,得到目标人脸框。
可选的,处理器601执行的所述将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框,包括:
将所述多个尺度下的截断预估人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理截断预估人脸框;
将所述多个待处理截断预估人脸框进行非极大值抑制处理,得到目标截断预估人脸框。
本发明实施例提供的电子设备能够实现上述方法实施例中人脸检测方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的人脸检测方法或应用端人脸检测方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种人脸检测方法,用于截断人脸预估,其特征在于,包括以下步骤:
获取待检测图像,所述待检测图像中包括截断人脸;
对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;
对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。
2.如权利要求1所述的方法,其特征在于,所述对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,包括:
将所述多尺度中间特征在所述多个预设尺度下进行特征融合,得到多尺度融合特征;
对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框;
对所述多尺度融合特征进行截断人脸预估处理,得到截断预估值;
根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框;
根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果。
3.如权利要求2所述的方法,其特征在于,所述对所述多尺度融合特征进行人脸检测处理,得到符合预设条件的候选人脸框,包括:
对所述多尺度融合特征进行人脸检测处理,得到人脸框的类别置信度以及定位置信度;
根据所述类别置信度以及所述定位置信度,计算得到符合预设条件的候选人脸框。
4.如权利要求2所述的方法,其特征在于,所述根据所述候选人脸框以及所述截断预估值,计算得到截断预估人脸框,包括:
对所述多尺度融合特征进行人脸检测处理,得到人脸框的位置信息;
根据所述候选人脸框的位置信息以及所述截断预估值,计算得到截断预估人脸框。
5.如权利要求4所述的方法,其特征在于,所述根据所述候选人脸框与所述截断预估人脸框,计算得到所述待检测图像的人脸检测结果,包括:
将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框;
将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框;
将所述目标人脸框与所述目标截断预估人脸框输出到所述待检测图像中,得到所述待检测图像的人脸检测结果。
6.如权利要求5所述的方法,其特征在于,所述将多个尺度下的候选人脸框进行非极大值抑制处理,得到目标人脸框,包括:
将所述多个尺度下的候选人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理人脸框;
将所述多个待处理人脸框进行非极大值抑制处理,得到目标人脸框。
7.如权利要求5所述的方法,其特征在于,所述将多个尺度下的截断预估人脸框进行非极大值抑制,得到目标截断预估人脸框,包括:
将所述多个尺度下的截断预估人脸框按所述待检测图像的尺寸大小进行映射,得到多个待处理截断预估人脸框;
将所述多个待处理截断预估人脸框进行非极大值抑制处理,得到目标截断预估人脸框。
8.一种人脸检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测图像,所述待检测图像中包括截断人脸;
提取模块,用于对所述待检测图像进行多尺度特征提取,得到所述待检测图像的多尺度中间特征,所述多尺度特征包括多个预设尺度的中间特征;
处理模块,用于对所述多尺度中间特征进行人脸检测以及截断人脸预估处理,得到所述待检测图像的人脸检测结果,所述人脸检测结果包括截断人脸预估结果。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的人脸检测方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675870.5A CN114445881A (zh) | 2021-12-31 | 2021-12-31 | 人脸检测方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675870.5A CN114445881A (zh) | 2021-12-31 | 2021-12-31 | 人脸检测方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114445881A true CN114445881A (zh) | 2022-05-06 |
Family
ID=81365648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111675870.5A Pending CN114445881A (zh) | 2021-12-31 | 2021-12-31 | 人脸检测方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114445881A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024109275A1 (zh) * | 2022-11-21 | 2024-05-30 | 腾讯科技(深圳)有限公司 | 手掌图像处理方法、装置、设备、存储介质及程序产品 |
-
2021
- 2021-12-31 CN CN202111675870.5A patent/CN114445881A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024109275A1 (zh) * | 2022-11-21 | 2024-05-30 | 腾讯科技(深圳)有限公司 | 手掌图像处理方法、装置、设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112597941B (zh) | 一种人脸识别方法、装置及电子设备 | |
CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110991380B (zh) | 人体属性识别方法、装置、电子设备以及存储介质 | |
CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
CN112347861A (zh) | 一种基于运动特征约束的人体姿态估计方法 | |
CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN112487886A (zh) | 一种有遮挡的人脸识别方法、装置、存储介质及终端 | |
CN109740416B (zh) | 目标跟踪方法及相关产品 | |
CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
CN112381061A (zh) | 一种面部表情识别方法及系统 | |
KR20240144139A (ko) | 얼굴 포즈 추정 방법, 장치, 전자 디바이스 및 저장 매체 | |
CN115018999B (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 | |
CN115588190A (zh) | 一种成熟果实识别和采摘点定位方法及装置 | |
CN111199255A (zh) | 基于darknet53网络的小目标检测网络模型及检测方法 | |
CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
CN114140320B (zh) | 图像迁移方法和图像迁移模型的训练方法、装置 | |
CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 | |
CN111353429A (zh) | 基于眼球转向的感兴趣度方法与系统 | |
CN114445881A (zh) | 人脸检测方法及相关设备 | |
CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
CN117809339A (zh) | 一种基于可变形卷积编码网络和特征区域关注的人体姿态估计方法 | |
CN112926667A (zh) | 深度融合边缘与高层特征的显著性目标检测方法及装置 | |
CN110992371B (zh) | 一种基于先验信息的人像分割方法、装置及电子设备 | |
CN113591685B (zh) | 一种基于多尺度池化的地理对象空间关系识别方法及系统 | |
CN110826469A (zh) | 一种人物检测方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |