CN112183351A - 结合肤色信息的人脸检测方法、装置、设备及可读存储介质 - Google Patents

结合肤色信息的人脸检测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112183351A
CN112183351A CN202011044680.9A CN202011044680A CN112183351A CN 112183351 A CN112183351 A CN 112183351A CN 202011044680 A CN202011044680 A CN 202011044680A CN 112183351 A CN112183351 A CN 112183351A
Authority
CN
China
Prior art keywords
face
skin color
area
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011044680.9A
Other languages
English (en)
Other versions
CN112183351B (zh
Inventor
肖传利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulian International Co ltd
Original Assignee
Pulian International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pulian International Co ltd filed Critical Pulian International Co ltd
Priority to CN202011044680.9A priority Critical patent/CN112183351B/zh
Publication of CN112183351A publication Critical patent/CN112183351A/zh
Application granted granted Critical
Publication of CN112183351B publication Critical patent/CN112183351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合肤色信息的人脸检测方法,其包括:获取人脸待检测图像;对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;对计算出的人脸特征部分输入进行分类,以分类得到人脸备选区域;从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。本发明能够提高人脸检测效率及人脸检测准确度,并能够检测出侧脸。

Description

结合肤色信息的人脸检测方法、装置、设备及可读存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种结合肤色信息的人脸检测方法、装置、设备及可读存储介质。
背景技术
在现在大量摄像头使用的情况下,人脸作为人类目标的重要特征能够提供大量的信息。大量的技术被应用在移动摄像头等移动设备上,如人脸重识别,人脸跟踪等。而这些技术都需要以人脸检测为基础,加上移动端设备的处理速度以及内存消耗上的限制,快速精确的人脸检测方案就显得十分重要了。
目前,在使用特征检测方面,Paul Viola和Michael Jones提出的Adaboost方法在人脸检测上有很强的代表性。在实际场景中,人脸目标相对于整个场景较小,大量的背景目标需要使用分类器进行判别。Adaboost由于其级联结构,大量的背景目标能够被快速的筛选掉,大大的减少了分类器的判别时间。同时由于一般分类器在保证较高的人脸检出率的情况下,背景被误检为人脸的区域也会变多,这时会通过色彩空间提取肤色区域分割,从而利用肤色区域对非人脸区域进行筛选得到较好的人脸检测结果。
但是现有的使用特征进行人脸检测的方法具有以下缺点:1.难以进行侧脸等姿态变化的脸型的检测;2.虽然Adaboost的级联特性能够减少判别时间,但是由于大量的背景样本,还是会有较大的时间消耗;3.使用肤色区域筛选,仅仅在Adaboost判别时使用,没有在特征计算部分就使用肤色区域信息,导致会人脸检测的准确度相对不够理想。
发明内容
本发明实施例提供一种结合肤色信息的人脸检测方法、装置、设备及可读存储介质,能有效解决现有技术的人脸检测效率不高、侧脸难以检测且人脸检测的准确度不够理想的问题。
本发明一实施例提供了一种结合肤色信息的人脸检测方法,包括:
获取人脸待检测图像;
对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;
对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;
对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;
对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;
从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。
作为上述方案的改进,所述对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域,包括:
对所述人脸待检测图像中的各个像素点进行肤色评分,得到各个所述像素点的肤色评分值;
判断所述人脸待检测图像中的各个像素点的所述肤色评分值是否满足预设的评分阈值条件;
将满足所述评分阈值条件的像素点集合作为肤色区域。
作为上述方案的改进,所述对所述人脸待检测图像中的各个像素点进行肤色评分,得到各个所述像素点的肤色评分值,包括:
对所述人脸待检测图像进行颜色空间转换,以转化为YUV图像;
根据YUV图像中各个像素点的UV在高斯分布上的取值,得到所述各个像素点对应的概率值,以作为各个所述像素点的肤色评分值。
作为上述方案的改进,所述对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口,包括:
获取所述人脸待检测图像中的各个像素点的肤色评分值;
对所述肤色区域中的每个像素点所对应的检测窗口内的各个像素点的肤色评分值进行肤色总评分计算,得到每个所述检测窗口内的像素点的肤色总评分;
筛选出符合预设的肤色总评分条件的检测窗口作为候选检测窗口。
作为上述方案的改进,所述肤色总评分条件包括以下中的两种:
肤色区域内的像素点为中心的检测窗口的肤色总评分大于设定值;
任取肤色区域内的像素点q的邻域N2(q)内任一像素点q’,都存在S(q)>=S(q’)。
作为上述方案的改进,所述对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分,包括:
对得到的候选检测窗口按照各自窗口内的像素点的肤色总评分进行排序;
根据候选检测窗口的排序的先后依次对候选检测窗口进行人脸特征计算,直至计算出图像区域中的人脸特征部分。
作为上述方案的改进,在所述对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分之前,所述方法还包括:
根据预设的检测窗口膨胀模板,对得到的所述候选检测窗口进行膨胀,得到膨胀后的候选检测窗口;
则,所述对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分,包括:
对膨胀后的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分。
作为上述方案的改进,所述对计算出的人脸特征部分进行分类,以分类得到人脸备选区域,包括:
获取肤色区域中每个判别为肤色的肤色像素点;
以每个肤色像素点作为检测窗口的扫描中心点,依次扫描出所述肤色区域的人脸特征区域,将扫描出的人脸特征区域输入到级联分类器进行人脸判别;
记录判别结果为人脸的人脸特征区域作为人脸备选区域。
作为上述方案的改进,所述从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置,包括:
计算每个所述人脸备选区域中肤色区域相对于该人脸备选区域的第一面积占比,并计算每个候选框中肤色区域相对于该候选框的第二面积占比;所述候选框,其位于所述人脸备选区域内,其中心点与所述人脸备选区域的中心点重合,且其长宽尺寸小于所述人脸备选区域的长宽尺寸;
筛选出满足预设的人脸区域条件的人脸备选区域;所述人脸区域条件包括:每个所述人脸备选区域所对应的第一面积占比大于预设的第一面积占比阈值,且每个所述人脸备选区域所对应的第二面积占比大于预设的第二面积占比阈值;
对筛选得到的人脸备选区域进行非极大值抑制,得到人脸位置。
本发明另一实施例对应提供了一种结合肤色信息的人脸检测装置,其包括:
图像获取模块,用于获取人脸待检测图像;
肤色区域检测模块,用于对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;
检测窗口筛选模块,用于对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;
人脸特征计算模块,用于对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;
分类模块,用于对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;
人脸位置确定模块,用于从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。
本发明另一实施例提供了一种人脸检测设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的结合肤色信息的人脸检测方法。
本发明另一实施例提供了一种存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的结合肤色信息的人脸检测方法。
相比于现有技术,上述发明实施例中的一个实施例具有如下优点:
首先,通过对人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;接着,对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;然后,对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;接下来,对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;最后从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。由此可见,本发明实施例是对肤色区域进行人脸的特征计算及分类检测,不会对非肤色区域进行不必要的人脸特征计算及人脸分类检测,在没有降低人脸检测准确度的情况下,大大减少了人脸特征的计算时间,提高了人脸检测的效率;并且,本发明实施例由于利用了肤色区域来参与人脸的特征计算,从而也能够提高人脸的检测准确度;此外,本发明实施例是通过采用满足预设条件的检测窗口来对人脸待检测图像进行人脸特征计算,这样可以计算出人脸特征部分,并通过将人脸特征部分输入到分类器进行分类后再进行人脸位置的识别,这样可以实现对侧脸的检测,人脸检测率也较高。当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1是本发明一实施例提供的一种结合肤色信息的人脸检测方法的流程示意图;
图2是本发明一实施例中对检测窗口进行膨胀的示意图;
图3是本发明一实施例提供的一种结合肤色信息的人脸检测装置的结构示意图;
图4是本发明一实施例提供的一种人脸检测设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,是本发明一实施例提供的一种结合肤色信息的人脸检测方法的流程示意图。所述方法包括:
S10,获取人脸待检测图像;
S11,对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;
S12,对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;
S13,对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;
S14,对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;
S15,从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。
本发明实施例是对肤色区域进行人脸的特征计算及分类检测,不会对非肤色区域进行不必要的人脸特征计算及人脸分类检测,在没有降低人脸检测准确度的情况下,大大减少了人脸特征的计算时间,提高了人脸检测的效率;并且,本发明实施例由于利用了肤色区域来参与人脸的特征计算,从而也能够提高人脸的检测准确度;此外,本发明实施例特征是通过采用满足预设条件的检测窗口来对人脸待检测图像进行人脸特征计算,这样可以计算出人脸特征部分,并通过将人脸特征部分输入到分类器进行分类后再进行人脸位置的识别,这样可以实现对侧脸的检测,人脸检测率也较高。
作为上述方案的改进,所述步骤S11包括:
S110,对所述人脸待检测图像中的各个像素点进行肤色评分,得到各个所述像素点的肤色评分值;
具体地,所述步骤S110包括:
S1100,对所述人脸待检测图像进行颜色空间转换,以转化为YUV图像;
如果获取的人脸待检测图像是RGB图像或者是其他图像,将其转化为YUV图像。
S1101,根据YUV图像中各个像素点的UV在高斯分布上的取值,得到所述各个像素点对应的概率值,以作为各个所述像素点的肤色评分值。
其中,肤色检测使用的是基于高斯模型的肤色分数预测,在YUV颜色空间上,肤色在UV通道上满足高斯分布。根据肤色区域利用期望最大化去确定高斯分布的参数,或者使用已经训练好的肤色检测高斯分布参数。像素点在UV通道上的取值在高斯分布上会得到相应的概率值,概率越大意味着该像素点为肤色区域的概率越大,可以将该概率值作为肤色区域的评分。
Figure BDA0002707630430000081
Figure BDA0002707630430000082
其中,m代表高斯成分的数量,Nk(x|μk,Ck)代表第k个高斯成分的分布,μk,Ck为其均值以及协方差矩阵;x代表二维向量,表达可以为(u,v);u,v分别为像素点在UV通道上的取值;θk代表高斯混合模型建模得到的第k个高斯成分的参数;k代表m个高斯成分中高斯成分的编号。可以理解的是,高斯成分指的是对UV进行高斯混合模型建模得到的各个高斯成分。
S111,判断所述人脸待检测图像中的各个像素点的所述肤色评分值是否满足预设的评分阈值条件;
具体地,选定合适的阈值T1,对之前得到的肤色评分图P转化为二值图Mask_1,转化条件为p(x|θ)>T1。p(x|θ)>T1的部分为肤色部分,设定值为1,否则为0。
S112,将满足所述评分阈值条件的像素点集合作为肤色区域。
作为上述方案的改进,所述步骤S12包括:
S120,获取所述人脸待检测图像中的各个像素点的肤色评分值;
S121,对所述肤色区域中的每个像素点所对应的检测窗口内的各个像素点的肤色评分值进行肤色总评分计算,得到每个所述检测窗口内的像素点的肤色总评分;
具体地,计算以每个像素为中心的检测窗口内的肤色总评分图S。q位置的总评分S(q)定义为以肤色区域内的任一像素点q为中心的检测窗口内所有位置肤色评分的总和。S(q)的公式计算如下:
Figure BDA0002707630430000091
N1(Q)代表以Q为中心的检测窗口内所有像素的集合,pi为肤色评分图P的像素位置i的取值。
该部分可以使用积分图进行加速。流程如下:根据肤色评分图P为输入,计算积分图P_int,定义P_int(x,y)为P_int在像素点(x,y)位置的取值,记q位置为中心的检测窗口坐标信息如下:左上角坐标为(xq,yq),宽高分别为widthq,heightq。则S(q)计算公式如下:
S(q)=P_int(xq+widthq,yq+heightq)+P_int(xq,yq)-P_int(xq,yq+heightq)-P_int(xq+widthq,yq)
S122,筛选出符合预设的肤色总评分条件的检测窗口作为候选检测窗口。
得到肤色总评分图S后,这里根据肤色总评分S筛选出初步的待检测窗,可以采取如下方案。仍以像素q为中心的检测窗举例,满足以下两个条件时,保留对应的检测窗。否则,将对应检测窗去除。其中所述肤色总评分条件包括的两种条件为:
肤色区域内的像素点为中心的检测窗口的肤色总评分大于设定值;
任取肤色区域内的像素点q的邻域N2(q)内任一像素点q’,都存在S(q)>=S(q’)。
将满足条件保留的检测窗中心以二值图像Mask_2记录下来,记录方式如下:
Figure BDA0002707630430000092
作为上述方案的改进,所述步骤S13包括:
S130,对得到的候选检测窗口按照各自窗口内的像素点的肤色总评分进行排序;
S131,根据候选检测窗口的排序的先后依次对候选检测窗口进行人脸特征计算,直至计算出图像区域中的人脸特征部分。
在部分情形下(如检测到人脸即报警的情况),需要尽可能将高可能性为人脸的待检测窗口尽早进行检测。这里相对于传统的扫描,利用窗口的肤色评分S,将Mask_3上取值为1的点根据窗口的肤色评分S从高到低进行排序,记录为vector_score,记录相应的位置坐标vector_pos,从而保证人脸尽早被检测到。
作为上述方案的改进,在所述步骤S13之前,所述方法还包括:
S13’,根据预设的检测窗口膨胀模板,对得到的所述候选检测窗口进行膨胀,得到膨胀后的候选检测窗口;
Mask_2中记录的检测窗口相对于全图扫描较为稀疏,能大量减少扫描时间,但检测窗口稀疏易造成人脸的漏检。为了减轻漏检,考虑将Mask_2图进行膨胀得到Mask_3,使用预设的膨胀模板Mask_dilate。Mask_3的计算方式为Mask_3=dilate(Mask_2,Mask_dilate),dilate为膨胀操作,结构A被结构B膨胀的定义为:
Figure BDA0002707630430000101
可以理解为,将结构B在结构A上进行卷积操作,如果移动结构B的过程中,与结构A存在重叠区域,则记录该位置,所有移动结构B与结构A存在交集的位置的集合为结构A在结构B作用下的膨胀结果。膨胀操作实例如图2所示。最终以Mask_3上取值为1的点作为窗口中心,将对应窗口作为扫描窗,用于后续的人脸检测。
则,所述步骤S13包括:
对膨胀后的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分。
作为上述方案的改进,所述步骤S14包括:
S140,获取肤色区域中每个判别为肤色的肤色像素点;
S141,以每个肤色像素点作为检测窗口的扫描中心点,依次扫描出所述肤色区域的人脸特征区域,将扫描出的人脸特征区域输入到级联分类器进行人脸判别;
S142,记录判别结果为人脸的人脸特征区域作为人脸备选区域。
在本实施例中,具体地,1)在计算YUV图像的Y通道上的NPD特征以及进行分类时,使用Mask_3图中得到的待检测区域作为感兴趣区域进行特征计算与分类,计算流程如下:
首先读入肤色区域图Mask_3,取Mask_3图上的值为1的像素点为扫描窗口的中心点(值为0的区域为非检测区域,扫描过程直接跳过该区域),同时根据分类器的输入,计算相应位置的NPD特征,将判别区域送入级联分类器进行判断。根据Mask_3的待检测区域进行遍历,使用分类器对每个区域进行人脸判别。记录下符合条件的区域集合Ω。
在计算了vector_score,vector_pos的情形下,也可以从头至尾对vector_pos进行遍历,将vector_pos中的元素作为扫描窗中心,对判别区域进行分类器判别,记录符合条件的区域集合Ω。
在计算特征上,使用YUV图像的Y通道计算特征,这里使用的是归一化的像素差异特征,特征的计算方式如下:
Figure BDA0002707630430000111
其中,I1,I2分别为像素位置的灰度值,考虑到数据都是整型数据,NPD特征的计算可以建立N*N大小的映射表来进行加速(N为灰度阶数,一般为256)。具体地,Y通道中两个像素点的强度值分别对应I1,I2,可以表述这两个点的特征,对一张h*w(高度*宽度)大小的图,总共有NPD特征p*(p-1)/2个,其中p=h*w,除以2的原因是NPD(I1,I2)和NPD(I2,I1)互为相反数,特征重复,所以不重复计算。
在分类器上,使用VJ级联分类器。相较以往的VJ级联分类器,对VJ级联分类器进行加速。在级联分类器的加速方面,级联分类器的主要时间消耗可以分为两部分,人脸样本的时间消耗和非人脸样本的时间消耗。对于非人脸样本来说,如果前N级分类器能够去除非人脸样本,后面级联的分类器将减少大量的时间消耗。在训练完成阶段,提高前N级分类器的阈值,统计检测时间与检出率,选择合适的阈值可以在不明显降低检出率的情况下,大大减少检测时间。使用提升时间效率后的VJ级联分类器作为本方法的分类器。
作为上述方案的改进,所述步骤S15包括:
S150,计算每个所述人脸备选区域中肤色区域相对于该人脸备选区域的第一面积占比,并计算每个候选框中肤色区域相对于该候选框的第二面积占比;所述候选框,其位于所述人脸备选区域内,其中心点与所述人脸备选区域的中心点重合,且其长宽尺寸小于所述人脸备选区域的长宽尺寸;
S151,筛选出满足预设的人脸区域条件的人脸备选区域;所述人脸区域条件包括:每个所述人脸备选区域所对应的第一面积占比大于预设的第一面积占比阈值,且每个所述人脸备选区域所对应的第二面积占比大于预设的第二面积占比阈值;
S152,对筛选得到的人脸备选区域进行非极大值抑制,得到人脸位置。
1)在本实施例中,具体地,得到人脸的候选区域集合Ω后,计算每个候选框内的肤色区域面积占比r,计算方式如下:
Figure BDA0002707630430000121
S_mask为肤色区域(即Mask_1中取值为1的区域)在检测框内的面积,h为检测框的高度,w为检测框的宽度。
2)根据r值进行候选框筛选,候选框筛选条件如下:
r1>threshold1&&r2>threshold2
(r1为输出人脸框O1的r值,r2为以输出人脸框中心为中心的小矩形区域O2的r值,O2在O1内部)。r1>threshold1筛选掉检测为人脸区域的非肤色区域,考虑到人脸一般在人脸目标框的中心位置,r2>threshold2可以筛选掉误检为人脸目标的手臂等目标。其中,O2所对应的矩形区域的尺寸是预先设置好的。
将筛选后的候选框利用非极大值抑制进行候选框的聚合,得到最终的人脸位置。
综上所述,上述对应的发明实施例能够实现如下有益效果:
1.计算特征方面,由于使用了映射表,特征计算速度非常高,而且特征本身性能也很好,可以进行侧脸的检测,人脸检测率也较高。
2.使用特征时无需存储特征图(如卷积神经网络等,需要存储下来卷积的特征图用于分类判断),在分类过程前,直接进行分类特征的计算,不占用额外的存储空间。
3.利用级联分类器的特性,对前N级级联分类器阈值进行提高,能够在不大幅降低检测率的情况下,快速筛选掉非人脸样本,大大减少检测时间。
4.在非肤色区域不进行不必要的特征计算以及分类检测,相对于以前的仅仅在检测上或者最终的目标区域筛选上进行操作,在没有降低准确度的情况下,大大减少了特征计算的时间。
5.在非极大值抑制NMS之前进行候选框的筛选,能够有效减少偏离的目标框(如包括人脸但人脸区域不在中心、包括人脸但目标框过大)。在非极大值抑制后可以得到更准确的人脸定位。
6.添加了候选检测窗模块,大大减少了待检测窗的数目,而且对窗口进行了评分,有利于人脸窗口更快的被检测到。
参见图3,是本发明一实施例提供的一种结合肤色信息的人脸检测装置的结构示意图,所述装置包括:
图像获取模块10,用于获取人脸待检测图像;
肤色区域检测模块11,用于对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;
检测窗口筛选模块12,用于对所述肤色区域中的每个像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;
人脸特征计算模块13,用于对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;
分类模块14,用于对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;
人脸位置确定模块15,用于从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。
本发明实施例是对肤色区域进行人脸的特征计算及分类检测,不会对非肤色区域进行不必要的人脸特征计算及人脸分类检测,在没有降低人脸检测准确度的情况下,大大减少了人脸特征的计算时间,提高了人脸检测的效率;并且,本发明实施例由于利用了肤色区域来参与人脸的特征计算,从而也能够提高人脸的检测准确度;此外,本发明实施例是通过采用满足预设条件的检测窗口来对人脸待检测图像进行人脸特征计算,这样可以计算出人脸特征部分,并通过将人脸特征部分输入到分类器进行分类后再进行人脸位置的识别,这样可以实现对侧脸的检测,人脸检测率也较高。
作为上述方案的改进,所述肤色区域检测模块包括:
肤色评分单元用于对所述人脸待检测图像中的各个像素点进行肤色评分,得到各个所述像素点的肤色评分值;
评分值判断单元,用于判断所述人脸待检测图像中的各个像素点的所述肤色评分值是否满足预设的评分阈值条件;
肤色区域生成单元,用于将满足所述评分阈值条件的像素点集合作为肤色区域。
作为上述方案的改进,所述肤色评分单元包括:
颜色空间转换子单元,用于对所述人脸待检测图像进行颜色空间转换,以转化为YUV图像;
肤色评分值计算子单元,用于根据YUV图像中各个像素点的UV在高斯分布上的取值,得到所述各个像素点对应的概率值,以作为各个所述像素点的肤色评分值。
作为上述方案的改进,所述检测窗口筛选模块包括:
肤色评分值获取单元,用于获取所述人脸待检测图像中的各个像素点的肤色评分值;
肤色总评分计算单元,用于对所述肤色区域中的每个像素点所对应的检测窗口内的各个像素点的肤色评分值进行肤色总评分计算,得到每个所述检测窗口内的像素点的肤色总评分;
检测窗口筛选单元,用于筛选出符合预设的肤色总评分条件的检测窗口作为候选检测窗口。
作为上述方案的改进,所述肤色总评分条件包括以下中的两种:
像素点为中心的检测窗口的肤色总评分大于设定值;
任取像素点q的邻域N2(q)内任一像素点q’,都存在S(q)>=S(q’)。
作为上述方案的改进,所述人脸特征计算模块13包括:
肤色总评分排序单元,用于对得到的候选检测窗口按照各自窗口内的像素点的肤色总评分进行排序;
人脸特征计算单元,用于根据候选检测窗口的排序的先后依次对候选检测窗口进行人脸特征计算,直至计算出图像区域中的人脸特征部分。
作为上述方案的改进,所述装置还包括:
检测窗口膨胀模块,用于根据预设的检测窗口膨胀模板,对得到的所述候选检测窗口进行膨胀,得到膨胀后的候选检测窗口;
则,所述人脸特征计算模块具体用于:
对膨胀后的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分。
作为上述方案的改进,所述分类模块包括:
判别单元,用于获取肤色区域中每个判别为肤色的肤色像素点;
扫描单元,用于以每个肤色像素点作为检测窗口的扫描中心点,依次扫描出所述肤色区域的人脸特征区域,将扫描出的人脸特征区域输入到级联分类器进行人脸判别;
记录单元,用于记录判别结果为人脸的人脸特征区域作为人脸备选区域。
作为上述方案的改进,所述人脸位置确定模块包括:
计算单元,用于计算每个所述人脸备选区域中肤色区域相对于该人脸备选区域的第一面积占比,并计算每个候选框中肤色区域相对于该候选框的第二面积占比;所述候选框,其位于所述人脸备选区域内,其中心点与所述人脸备选区域的中心点重合,且其长宽尺寸小于所述人脸备选区域的长宽尺寸;
人脸备选区域筛选单元,用于筛选出满足预设的人脸区域条件的人脸备选区域;所述人脸区域条件包括:每个所述人脸备选区域所对应的第一面积占比大于预设的第一面积占比阈值,且每个所述人脸备选区域所对应的第二面积占比大于预设的第二面积占比阈值;
非极大值抑制单元,用于对筛选得到的人脸备选区域进行非极大值抑制,得到人脸位置。
参见图4,是本发明一实施例提供的人脸检测设备的示意图。该实施例的人脸检测设备包括:处理器1、存储器2以及存储在所述存储器2中并可在所述处理器1上运行的计算机程序,例如人脸检测设备程序。所述处理器1执行所述计算机程序时实现上述各个结合肤色信息的人脸检测方法实施例中的步骤。或者,所述处理器1执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述人脸检测设备中的执行过程。
所述人脸检测设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人脸检测设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述示意图仅仅是人脸检测设备的示例,并不构成对人脸检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述人脸检测设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述人脸检测设备的控制中心,利用各种接口和线路连接整个人脸检测设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述人脸检测设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述人脸检测设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (12)

1.一种结合肤色信息的人脸检测方法,其特征在于,包括:
获取人脸待检测图像;
对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;
对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;
对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;
对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;
从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。
2.如权利要求1所述的结合肤色信息的人脸检测方法,其特征在于,所述对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域,包括:
对所述人脸待检测图像中的各个像素点进行肤色评分,得到各个所述像素点的肤色评分值;
判断所述人脸待检测图像中的各个像素点的所述肤色评分值是否满足预设的评分阈值条件;
将满足所述评分阈值条件的像素点集合作为肤色区域。
3.如权利要求1所述的结合肤色信息的人脸检测方法,其特征在于,所述对所述人脸待检测图像中的各个像素点进行肤色评分,得到各个所述像素点的肤色评分值,包括:
对所述人脸待检测图像进行颜色空间转换,以转化为YUV图像;
根据YUV图像中各个像素点的UV在高斯分布上的取值,得到所述各个像素点对应的概率值,以作为各个所述像素点的肤色评分值。
4.如权利要求1所述的结合肤色信息的人脸检测方法,其特征在于,所述对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口,包括:
获取所述人脸待检测图像中的各个像素点的肤色评分值;
对所述肤色区域中的每个像素点所对应的检测窗口内的各个像素点的肤色评分值进行肤色总评分计算,得到每个所述检测窗口内的像素点的肤色总评分;
筛选出符合预设的肤色总评分条件的检测窗口作为候选检测窗口。
5.如权利要求4所述的结合肤色信息的人脸检测方法,其特征在于,所述肤色总评分条件包括以下中的两种:
肤色区域内的像素点为中心的检测窗口的肤色总评分大于设定值;
任取肤色区域内的像素点q的邻域N2(q)内任一像素点q’,都存在S(q)>=S(q’)。
6.如权利要求4所述的结合肤色信息的人脸检测方法,其特征在于,所述对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分,包括:
对得到的候选检测窗口按照各自窗口内的像素点的肤色总评分进行排序;
根据候选检测窗口的排序的先后依次对候选检测窗口进行人脸特征计算,直至计算出图像区域中的人脸特征部分。
7.如权利要求1所述的结合肤色信息的人脸检测方法,其特征在于,在所述对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分之前,所述方法还包括:
根据预设的检测窗口膨胀模板,对得到的所述候选检测窗口进行膨胀,得到膨胀后的候选检测窗口;
则,所述对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分,包括:
对膨胀后的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分。
8.如权利要求1所述的结合肤色信息的人脸检测方法,其特征在于,所述对计算出的人脸特征部分进行分类,以分类得到人脸备选区域,包括:
获取肤色区域中每个判别为肤色的肤色像素点;
以每个肤色像素点作为检测窗口的扫描中心点,依次扫描出所述肤色区域的人脸特征区域,将扫描出的人脸特征区域输入到级联分类器进行人脸判别;
记录判别结果为人脸的人脸特征区域作为人脸备选区域。
9.如权利要求1所述的结合肤色信息的人脸检测方法,其特征在于,所述从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置,包括:
计算每个所述人脸备选区域中肤色区域相对于该人脸备选区域的第一面积占比,并计算每个候选框中肤色区域相对于该候选框的第二面积占比;所述候选框,其位于所述人脸备选区域内,其中心点与所述人脸备选区域的中心点重合,且其长宽尺寸小于所述人脸备选区域的长宽尺寸;
筛选出满足预设的人脸区域条件的人脸备选区域;所述人脸区域条件包括:每个所述人脸备选区域所对应的第一面积占比大于预设的第一面积占比阈值,且每个所述人脸备选区域所对应的第二面积占比大于预设的第二面积占比阈值;
对筛选得到的人脸备选区域进行非极大值抑制,得到人脸位置。
10.一种结合肤色信息的人脸检测装置,其特征在于,包括:
图像获取模块,用于获取人脸待检测图像;
肤色区域检测模块,用于对所述人脸待检测图像进行肤色检测,以从所述人脸待检测图像中检测出肤色区域;
检测窗口筛选模块,用于对所述肤色区域中的像素点所对应的检测窗口进行筛选,以筛选出满足预设的候选检测窗口条件的检测窗口作为候选检测窗口;
人脸特征计算模块,用于对得到的候选检测窗口中的所述人脸待检测图像中的图像区域进行人脸特征计算,以计算出图像区域中的人脸特征部分;
分类模块,用于对计算出的人脸特征部分进行分类,以分类得到人脸备选区域;
人脸位置确定模块,用于从得到的所有所述人脸备选区域中筛选出满足预设的人脸区域条件的人脸备选区域,以作为识别出的人脸位置。
11.一种人脸检测设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至9中任意一项所述的结合肤色信息的人脸检测方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至9中任意一项所述的结合肤色信息的人脸检测方法。
CN202011044680.9A 2020-09-28 2020-09-28 结合肤色信息的人脸检测方法、装置、设备及可读存储介质 Active CN112183351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011044680.9A CN112183351B (zh) 2020-09-28 2020-09-28 结合肤色信息的人脸检测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011044680.9A CN112183351B (zh) 2020-09-28 2020-09-28 结合肤色信息的人脸检测方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112183351A true CN112183351A (zh) 2021-01-05
CN112183351B CN112183351B (zh) 2024-03-29

Family

ID=73947300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011044680.9A Active CN112183351B (zh) 2020-09-28 2020-09-28 结合肤色信息的人脸检测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112183351B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630363A (zh) * 2009-07-13 2010-01-20 中国船舶重工集团公司第七○九研究所 复杂背景下彩色图像人脸的快速检测方法
CN103870824A (zh) * 2014-03-28 2014-06-18 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN104715244A (zh) * 2015-04-01 2015-06-17 华中科技大学 一种基于肤色分割和机器学习的多视角人脸检测方法
CN106250850A (zh) * 2016-07-29 2016-12-21 深圳市优必选科技有限公司 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
CN106557750A (zh) * 2016-11-22 2017-04-05 重庆邮电大学 一种基于肤色和深度二叉特征树的人脸检测方法
CN107220624A (zh) * 2017-05-27 2017-09-29 东南大学 一种基于Adaboost算法的人脸检测方法
CN107784288A (zh) * 2017-10-30 2018-03-09 华南理工大学 一种基于深度神经网络的迭代定位式人脸检测方法
WO2019114036A1 (zh) * 2017-12-12 2019-06-20 深圳云天励飞技术有限公司 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN110046565A (zh) * 2019-04-09 2019-07-23 东南大学 一种基于Adaboost算法的人脸检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630363A (zh) * 2009-07-13 2010-01-20 中国船舶重工集团公司第七○九研究所 复杂背景下彩色图像人脸的快速检测方法
CN103870824A (zh) * 2014-03-28 2014-06-18 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN104715244A (zh) * 2015-04-01 2015-06-17 华中科技大学 一种基于肤色分割和机器学习的多视角人脸检测方法
CN106250850A (zh) * 2016-07-29 2016-12-21 深圳市优必选科技有限公司 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
CN106557750A (zh) * 2016-11-22 2017-04-05 重庆邮电大学 一种基于肤色和深度二叉特征树的人脸检测方法
CN107220624A (zh) * 2017-05-27 2017-09-29 东南大学 一种基于Adaboost算法的人脸检测方法
CN107784288A (zh) * 2017-10-30 2018-03-09 华南理工大学 一种基于深度神经网络的迭代定位式人脸检测方法
WO2019114036A1 (zh) * 2017-12-12 2019-06-20 深圳云天励飞技术有限公司 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN110046565A (zh) * 2019-04-09 2019-07-23 东南大学 一种基于Adaboost算法的人脸检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAZHI LUO等: "Deep-learning-based face detection using iterative bounding-box regression", 《MULTIMEDIA TOOLS AND APPLICATIONS》, pages 24663 - 24680 *
SHENGCAI LIAO等: "A Fast and Accurate Unconstrained Face Detector", 《IEEE BIOMETRICS COMPENDIUM》, pages 211 - 223 *
毕雪芹;惠婷;: "基于肤色分割与AdaBoost算法的人脸检测", 国外电子测量技术, no. 12, pages 2 - 4 *
田源;于凤芹;: "一种改进的AdaBoost的人脸检测算法", 江南大学学报(自然科学版), no. 03, pages 283 - 287 *
陈世刚;马小虎;: "基于多高斯肤色分割和Haar-like强度特征的人脸检测", 苏州大学学报(自然科学版), no. 03, pages 30 - 34 *

Also Published As

Publication number Publication date
CN112183351B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN107609549B (zh) 一种自然场景下证件图像的文本检测方法
KR102516360B1 (ko) 타겟 검출 방법 및 장치
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2017092431A1 (zh) 基于肤色的人手检测方法及装置
Liu et al. Hybrid cascade structure for license plate detection in large visual surveillance scenes
CN106156777B (zh) 文本图片检测方法及装置
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
KR20100014097A (ko) 물체의 궤적에 기초한 원을 그리는 움직임 검출 방법 및 시스템
CN110569782A (zh) 一种基于深度学习目标检测方法
WO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
CN105046278B (zh) 基于Haar特征的Adaboost检测算法的优化方法
CN109190456B (zh) 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
Yang et al. Real-time traffic sign detection via color probability model and integral channel features
CN111161281A (zh) 一种人脸区域识别方法、装置及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
Tangsakul et al. Single image haze removal using deep cellular automata learning
CN110232381B (zh) 车牌分割方法、装置、计算机设备及计算机可读存储介质
CN111428730B (zh) 弱监督细粒度物体分类方法
CN110188693B (zh) 改进的复杂环境车辆特征提取和停车判别方法
CN111738237A (zh) 一种基于异构卷积的多核迭代rpn的目标检测方法
CN112183351B (zh) 结合肤色信息的人脸检测方法、装置、设备及可读存储介质
Ghandour et al. Building shadow detection based on multi-thresholding segmentation
JP2006285959A (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
CN115512207A (zh) 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant