CN106529437A - 一种人脸检测的方法和装置 - Google Patents
一种人脸检测的方法和装置 Download PDFInfo
- Publication number
- CN106529437A CN106529437A CN201610940885.2A CN201610940885A CN106529437A CN 106529437 A CN106529437 A CN 106529437A CN 201610940885 A CN201610940885 A CN 201610940885A CN 106529437 A CN106529437 A CN 106529437A
- Authority
- CN
- China
- Prior art keywords
- human face
- face region
- region
- stage
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Abstract
本发明公开了一种人脸检测的方法和装置,涉及人脸识别领域,以缩短人脸识别所占用的时间。所述方法包括:对采集到的图片进行灰度化和尺寸归一化,以得到灰度图;计算所述灰度图上每个像素点的梯度值;根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目;在窗口扫描时,基于所述梯度积分图筛选出第一级人脸区域。本发明用于人脸识别。
Description
技术领域
本发明涉及计算机领域,特别涉及一种人脸检测的方法和装置。
背景技术
当前随着人们安全意识的提高,视频监控正在快速普及。而在视频监控中,人脸检测技术作为一种可以识别出用户身份的重要手段。
在人脸检测的相关技术中,识别人脸的过程往往会占用大量的计算时间,造成用户等待时间过长,从而给用户带来不便。
发明内容
本发明实施例提供了一种人脸检测的方法和装置,以缩短人脸识别所占用的时间。所述技术方案如下:
一方面,提供一种人脸检测的方法,所述方法包括:
对采集到的图片进行灰度化和尺寸归一化,以得到灰度图;
计算所述灰度图上每个像素点的梯度值;
根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目;
在窗口扫描时,基于所述梯度积分图筛选出第一级人脸区域。
可选地,所述根据每个像素点的梯度值,计算梯度积分图包括:
将梯度值大于第一阈值的像素点置1,并将梯度值不大于第一阈值的像素点置0,以形成与所述灰度图相同尺寸的二值轮廓矩阵;
对所述二值轮廓矩阵进行积分,使得得到的梯度积分矩阵中的每个元素指示其左上矩形区域内值等于1的点的总数。
可选地,所述在窗口扫描时,基于所述梯度积分图筛选人脸区域包括:
在窗口扫描时,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域;
若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
可选地,在所述基于所述梯度积分图筛选出第一级人脸区域之后,所述方法还包括:
利用卷积神经网络从所述第一级人脸区域中进一步探测出第二级人脸区域;
对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域;
利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。
可选地,第三级人脸区域中被卷积神经网络验证通过的人脸区域为第四级人脸区域,所述方法还包括:
采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
可选地,所述对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并包括:
确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;
若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;
其中,N为整数且大于等于1。
另一方面,提供一种人脸检测的装置,所述装置包括图片采集模块、处理模块和扫描模块,其中:
所述图片采集模块,用于采集用户图片;
所述处理模块,用于对采集到的图片进行灰度化和尺寸归一化,以得到灰度图;计算所述灰度图上每个像素点的梯度值;根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目;
所述扫描模块,用于对所述灰度图进行扫描;
所述处理模块,还用于在所述扫描模块扫描时,基于所述梯度积分图筛选出第一级人脸区域。
可选地,所述处理模块具体用于:将梯度值大于第一阈值的像素点置1,并将梯度值不大于第一阈值的像素点置0,以形成与所述灰度图相同尺寸的二值轮廓矩阵;对所述二值轮廓矩阵进行积分,使得得到的梯度积分矩阵中的每个元素指示其左上矩形区域内值等于1的点的总数。
可选地,所述处理模块具体用于:在窗口扫描时,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域;若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
可选地,在基于所述梯度积分图筛选出第一级人脸区域之后,所述处理模块还用于:利用卷积神经网络从所述第一级人脸区域中进一步探测出第二级人脸区域;对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域;利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。
可选地,第三级人脸区域中被卷积神经网络验证通过的人脸区域为第四级人脸区域,所述处理模块还用于:
采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
可选地,所述处理模块在合并第二级人脸区域时具体用于:确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;其中,N为整数且大于等于1。
另一方面,本发明还提供一种终端设备,所述终端设备包括摄像头、存储器和处理器,所述存储器上存储程序,当所述程序被所述处理器执行时执行上面所述任一种人脸识别的方法。
本发明实施例提供的人脸检测的方法、装置和终端设备,利用梯度积分图呈现轮廓点的数目,这样一来,在矩形窗口扫描的时候通过对扫描区域内轮廓点的检查,就可以确定扫描区域是否为第一级人脸区域。如此,可以节省后续大量的运算时间,进而缩短人脸识别所占用的时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸检测的方法的流程图;
图2A是本发明实施例提供的人脸检测的方法的流程图;
图2B是一种梯度积分图的一部分的示意图;
图2C是一种卷积神经网络的示意图;
图3是本发明实施例提供的人脸检测的装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的人脸检测的方法的流程图。参照图1,所述方法可包括:
11、对采集到的图片进行灰度化和尺寸归一化,以得到灰度图。
在步骤11之前,图像采集工具(例如,摄像头、摄像机等)可对用户图像进行采集,得到采集图片。
在得到采集图片之后,可将图片转化为灰度图,并且统一调整为例如,最长边为200像素的图片。当然,如果图片尺寸比这个尺寸还小则不对图片尺寸进行调整。如此一来,可以对图片进行第一级的压缩和降维以提高后续处理的效率。处理后得到的是预处理过的灰度图。
12、计算所述灰度图上每个像素点的梯度值。
13、根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目。
其中,本步骤所述根据每个像素点的梯度值,计算梯度积分图可具体为:将梯度值大于第一阈值的像素点置1,并将梯度值不大于第一阈值的像素点置0,以形成与所述灰度图相同尺寸的二值轮廓矩阵;对所述二值轮廓矩阵进行积分,使得得到的梯度积分矩阵中的每个元素指示其左上矩形区域内值等于1的点的总数。
其中,第一阈值可以为例如20、30等。
14、在窗口扫描时,基于所述梯度积分图筛选出第一级人脸区域。
其中,本步骤所述在窗口扫描时,基于所述梯度积分图筛选人脸区域可具体为:在窗口扫描时,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域,即第一级人脸区域(初步确定出的人脸区域);若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
需要指出的是,本文中提到的“第一阈值”、“第二阈值”以及后文中提到的“第三阈值”均可按照实际需求来设定,具体数值本发明并不限定。
在本发明实施例中,第一级人脸区域为最初识别出的人脸区域,由于精确度不高,因而不一定是真正的人脸区域。后文中的第二级人脸区域、第三级人脸区域、第四级人脸区域是精确度逐步提高的识别人脸区域即,级数越高,所代表的人脸区域的精确度就越高,越有可能是真正的人脸区域。
本发明实施例提供的人脸检测的方法,利用梯度积分图呈现轮廓点的数目,这样一来,在矩形窗口扫描的时候通过对扫描区域内轮廓点的检查,就可以确定扫描区域是否为第一级人脸区域。如此,可以节省后续大量的运算时间,进而缩短人脸识别所占用的时间。
在本发明实施例中,在步骤14基于所述梯度积分图筛选出第一级人脸区域之后,还可以基于卷积神经网络从初步筛选出的第一级人脸区域中选出精确度更高的人脸区域。本发明可以利用两套卷积神经网络模型的级联来识别人脸。例如,可第一次利用卷积神经网络从所述第一级人脸区域中进一步探测出第二级人脸区域。然后在对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域之后,利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。即,第一次利用卷积神经网络来从第一级人脸区域中进一步探测更接近真实人脸区域的第二级人脸区域,并在内部合并完成后,第二次利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。如果通过验证,则从第三级人脸区域中选出被卷积神经网络验证通过的人脸区域作为第四级人脸区域。
本发明实施例可通过利用两套卷积神经网络模型的级联来识别人脸,提高识别人脸的精度。
在本发明实施例中,在窗口扫描时,一般使用多个不同尺寸大小的窗口并行进行扫描。因而,对于每个扫描窗口而言,都会扫描出一或多个第一级人脸区域。在利用两套卷积神经网络模型的级联来识别人脸时,对每个扫描窗口扫描出的一或多个第一级人脸区域都会利用卷积神经网络来进一步探测出第二级人脸区域。然后,对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并。合并的具体过程可以为:确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;其中,N为整数且大于等于1。合并得到的人脸区域即为第三级人脸区域。
本发明实施例中提供的人脸区域内部合并方式可以快速找出有效的识别人脸区域。
一般而言,第四级人脸区域为准确度较高的接近真实人脸区域的识别人脸区域。在本发明实施例中,在得到第四级人脸区域之后,可以采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
通过对各个扫描窗口的第四级人脸区域进行合并,可以得出有效、完整的人脸识别区域。
图2A是本发明实施例提供的人脸检测的方法的流程图。参照图2A,所述方法可包括:
21、利用图像采集工具采集用户图片。
22、对采集到的图片进行灰度化和尺寸归一化,以得到灰度图。
具体地,可将灰度图统一的调整为最长边为200像素的图片。当然,如果图片比这个尺寸还小则不做调整。如此,可以对图片进行第一级的压缩和降维以提高后续处理的效率,这一步之后得到的是预处理过的灰度图。
23、计算所述灰度图上每个像素点的梯度值。
24、根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目。
具体地,可将每个像素点的梯度值大于阈值(如20)置1,小于这个阈值的像素置0,并保存在与原图同尺寸的二维矩阵中,即得到轮廓的二值矩阵。对轮廓矩阵进行积分,使得得到的等尺寸的梯度积分矩阵每个元素保存了它左上矩形区域内值等于1的点的总数。
如图2B所示,图中“5”表示其左上方矩形区域内有5个轮廓点,6、7、10同理,因此右下区域内的轮廓点个数可以通过10+5-(6+7)=2快速计算出来,因此只需要一次性计算出梯度积分图,往后就直接用复杂度极低的基本运算就可以得到红色区域内的轮廓点的总数。
这么做的意义在于:当使用矩形窗口扫描的时候,首先对扫描区域内进行轮廓检查,如果没有足够的轮廓点则表示这个区域属于背景区域,必定不是富含丰富轮廓信息的脸部,因此可以直接跳过从而节省后续大量的运算时间。
本发明实施例提供的梯度积分图的算法可如下:在每计算完一个像素点的梯度值后立即记录该点在该行的积分值,在计算完一行像素点的梯度值后立刻将上一行的积分累积到刚才这一行积分上,从而彻底完成该行积分图的运算。
程序实现的一种方式可如下所示:
25、进行多窗口扫描,并基于所述梯度积分图筛选出第一级人脸区域。
由于对图片中人脸的位置和大小是未知的,因此本发明实施例可采用不同尺寸的窗口在多线程下以较小步长移动窗口来并行扫描图片的策略。
在扫描过程中,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域,即第一级人脸区域(初步确定出的人脸区域);若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
26、利用卷积神经网络(CNN)从所述第一级人脸区域中进一步探测出第二级人脸区域。
在本发明实施例中,窗口到达的每一块矩形区域都会使用卷积神经网络分类器进行判断,判断结果是人脸的区域为第二级人脸区域。
如果出现判断结果是人脸的区域,扫描窗口可将移动步长缩短为例如1个像素距离,以便于更加仔细的查找。当在连续多次(例如3次)判断都不是人脸,步长则会重新提高到例如3~5像素以提高处理效率。
27、对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域。
具体地,内部合并时,确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;其中,N为整数且大于等于1。合并得到的人脸区域即为第三级人脸区域。
当然,在本发明实施例中,在存在重合的情况下,还可以确定重合度是否超过预设百分比(例如80%),当探测到的矩形框两两之间重合度超过例如80%时,则可在下面关系矩阵对应位置打上勾,当矩形框与N个及以上的矩形框有重合则认为该区域被重复探测到存在人脸,因此该区域为人脸的置信度较高,则合并这几个矩形;而那些没有超过N的矩形则予以删除。
矩形 | 1 | 2 | 3 | 4 | 5 | 6 |
1 | √ | √ | ||||
2 | √ | |||||
3 | √ | |||||
4 | √ | √ | ||||
5 | √ | √ | ||||
6 | √ | √ |
28、利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域,并将验证通过的人脸区域置为第四级人脸区域。
29、对各个扫描窗口的第四级人脸区域进行合并。
具体地,可以采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
本发明实施例提供的人脸检测方法,将梯度积分图应用于图像检测,可以加速检测过程,同时通过采用卷积神经网络的级联策略和并行窗口扫描中的合并策略可以提高人脸识别的精度。
本发明实施例提供的人脸识别方法中,使用两套卷积神经网络模型的级联来识别人脸。第一个用于探测人脸,为结构较简单的卷积神经网络,参照图2C。窗口区域的图像统一缩小成20*20像素大小传入输入图层,经过第一层使用5*5的卷积核分解成4个16*16像素大小的特征图,再经过下采样层降为4个8*8的特征图,接下来的卷积层通过不完全连接(drop out)得到8个4*4的特征图,再通过全连接得到50个节点,最后50个节点通过全连接到两个输出节点来表示输出结果。
第二个用于验证人脸,在参数和结构上稍微复杂一些以获取更高的准确率,即在第二层采用6个16*16的特征图,在第四层采用16个特征图,在倒数第二层采用100个节点,其他参数与上述模型一致。
使用两套卷积神经网络模型,先通过简单的神经网络进行判断,以获得较快的处理速率,在对各窗口获取到的矩形框进行内部合并后,再对合并后的矩形框区域内的图像使用较复杂的神经网络模型进行验证,确定图片中探测到的所有人脸区域。
图3是本发明实施例提供的一种人脸检测的装置的结构框图。参照图3,所述装置300包括图片采集模块301、处理模块302和扫描模块303。其中:
所述图片采集模块301,用于采集用户图片;
所述处理模块302,用于对采集到的图片进行灰度化和尺寸归一化,以得到灰度图;计算所述灰度图上每个像素点的梯度值;根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目;
所述扫描模块303,用于对所述灰度图进行扫描;
所述处理模块302,还用于在所述扫描模块扫描时,基于所述梯度积分图筛选出第一级人脸区域。
本发明实施例提供的人脸检测的装置,利用梯度积分图呈现轮廓点的数目,这样一来,在矩形窗口扫描的时候通过对扫描区域内轮廓点的检查,就可以确定扫描区域是否为第一级人脸区域。如此,可以节省后续大量的运算时间,进而缩短人脸识别所占用的时间。
可选地,所述处理模块302具体用于:
将梯度值大于第一阈值的像素点置1,并将梯度值不大于第一阈值的像素点置0,以形成与所述灰度图相同尺寸的二值轮廓矩阵;
对所述二值轮廓矩阵进行积分,使得得到的梯度积分矩阵中的每个元素指示其左上矩形区域内值等于1的点的总数。
可选地,所述处理模块302具体用于:
在窗口扫描时,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域;
若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
可选地,在基于所述梯度积分图筛选出第一级人脸区域之后,所述处理模块302还用于:
利用卷积神经网络从所述第一级人脸区域中进一步探测出第二级人脸区域;
对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域;
利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。
可选地,第三级人脸区域中被卷积神经网络验证通过的人脸区域为第四级人脸区域,所述处理模块302还用于:
采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
可选地,所述处理模块302在合并第二级人脸区域时具体用于:
确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;
若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;
其中,N为整数且大于等于1。
本发明实施例提供的人脸检测装置,将梯度积分图应用于图像检测,可以加速检测过程,同时通过采用卷积神经网络的级联策略和并行窗口扫描中的合并策略可以提高人脸识别的精度。
需要说明的是:上述实施例提供的用于人脸检测的装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的用于应用程序的装置和应用程序启动的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种人脸检测的方法,其特征在于,所述方法包括:
对采集到的图片进行灰度化和尺寸归一化,以得到灰度图;
计算所述灰度图上每个像素点的梯度值;
根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目;
在窗口扫描时,基于所述梯度积分图筛选出第一级人脸区域。
2.根据权利要求1所述的方法,其特征在于,所述根据每个像素点的梯度值,计算梯度积分图包括:
将梯度值大于第一阈值的像素点置1,并将梯度值不大于第一阈值的像素点置0,以形成与所述灰度图相同尺寸的二值轮廓矩阵;
对所述二值轮廓矩阵进行积分,使得得到的梯度积分矩阵中的每个元素指示其左上矩形区域内值等于1的点的总数。
3.根据权利要求1或2所述的方法,其特征在于,所述在窗口扫描时,基于所述梯度积分图筛选人脸区域包括:
在窗口扫描时,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域;
若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
4.根据权利要求1所述的方法,其特征在于,在所述基于所述梯度积分图筛选出第一级人脸区域之后,所述方法还包括:
利用卷积神经网络从所述第一级人脸区域中进一步探测出第二级人脸区域;
对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域;
利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。
5.根据权利要求4所述的方法,其特征在于,第三级人脸区域中被卷积神经网络验证通过的人脸区域为第四级人脸区域,所述方法还包括:
采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
6.根据权利要求4所述的方法,其特征在于,所述对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并包括:
确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;
若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;
其中,N为整数且大于等于1。
7.一种人脸检测的装置,其特征在于,所述装置包括图片采集模块、处理模块和扫描模块,其中:
所述图片采集模块,用于采集用户图片;
所述处理模块,用于对采集到的图片进行灰度化和尺寸归一化,以得到灰度图;计算所述灰度图上每个像素点的梯度值;根据每个像素点的梯度值,计算梯度积分图,使得所述梯度积分图中的每个元素指示其左上矩形区域内的轮廓点的数目;
所述扫描模块,用于对所述灰度图进行扫描;
所述处理模块,还用于在所述扫描模块扫描时,基于所述梯度积分图筛选出第一级人脸区域。
8.根据权利要求7所述的装置,其特征在于,所述处理模块具体用于:
将梯度值大于第一阈值的像素点置1,并将梯度值不大于第一阈值的像素点置0,以形成与所述灰度图相同尺寸的二值轮廓矩阵;
对所述二值轮廓矩阵进行积分,使得得到的梯度积分矩阵中的每个元素指示其左上矩形区域内值等于1的点的总数。
9.根据权利要求7或8所述的装置,其特征在于,所述处理模块具体用于:
在窗口扫描时,若扫描区域内的轮廓点的数目大于第二阈值,则确定此扫描区域为人脸区域;
若扫描区域内的轮廓点的数目不大于第二阈值,则确定此扫描区域为背景区域。
10.根据权利要求7所述的装置,其特征在于,在基于所述梯度积分图筛选出第一级人脸区域之后,所述处理模块还用于:
利用卷积神经网络从所述第一级人脸区域中进一步探测出第二级人脸区域;
对于每个扫描窗口,将扫描得到的第二级人脸区域进行内部合并,以得到第三级人脸区域;
利用卷积神经网络验证第三级人脸区域中的各个区域是否为人脸区域。
11.根据权利要求10所述的装置,其特征在于,第三级人脸区域中被卷积神经网络验证通过的人脸区域为第四级人脸区域,所述处理模块还用于:
采用如下方式对各个扫描窗口的第四级人脸区域进行合并:
在两个第四级人脸区域相分离时,保留这两个第四级人脸区域;
在两个第四级人脸区域存在包含关系时,保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;
在两个第四级人脸区域相交的情况下,若重合度大于第三阈值,则保留这两个第四级人脸区域中较大的第四级人脸区域,删除较小的第四级人脸区域;若重合度不大于第三阈值,则保留这两个第四级人脸区域。
12.根据权利要求10所述的装置,其特征在于,所述处理模块在合并第二级人脸区域时具体用于:
确定所述第二级人脸区域中的一个区域是否与所述第二级人脸区域中的其他N个区域重合;
若是,则将这个区域和所述N个区域合并;若否,则删除这个区域;
其中,N为整数且大于等于1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610940885.2A CN106529437B (zh) | 2016-10-25 | 2016-10-25 | 一种人脸检测的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610940885.2A CN106529437B (zh) | 2016-10-25 | 2016-10-25 | 一种人脸检测的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106529437A true CN106529437A (zh) | 2017-03-22 |
CN106529437B CN106529437B (zh) | 2020-03-03 |
Family
ID=58292301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610940885.2A Active CN106529437B (zh) | 2016-10-25 | 2016-10-25 | 一种人脸检测的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106529437B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491746A (zh) * | 2017-08-02 | 2017-12-19 | 安徽慧视金瞳科技有限公司 | 一种基于大梯度像素分析的人脸预筛选方法 |
CN107944437A (zh) * | 2017-12-31 | 2018-04-20 | 广州二元科技有限公司 | 一种基于神经网络和积分图像的人脸定位方法 |
CN108509866A (zh) * | 2018-03-12 | 2018-09-07 | 华南理工大学 | 一种人脸轮廓提取方法 |
CN108875483A (zh) * | 2017-09-20 | 2018-11-23 | 北京旷视科技有限公司 | 图像检测方法、装置、系统和计算机可读介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1496465A1 (en) * | 2003-07-08 | 2005-01-12 | Thomson Licensing S.A. | Process and device for detecting faces in a colour image |
US20070237387A1 (en) * | 2006-04-11 | 2007-10-11 | Shmuel Avidan | Method for detecting humans in images |
CN101456501A (zh) * | 2008-12-30 | 2009-06-17 | 北京中星微电子有限公司 | 一种控制电梯按钮的方法及装置 |
CN101630363A (zh) * | 2009-07-13 | 2010-01-20 | 中国船舶重工集团公司第七○九研究所 | 复杂背景下彩色图像人脸的快速检测方法 |
CN102842045A (zh) * | 2012-08-03 | 2012-12-26 | 华侨大学 | 一种基于组合特征的行人检测方法 |
CN103020949A (zh) * | 2011-09-27 | 2013-04-03 | 康佳集团股份有限公司 | 人脸图像检测方法 |
CN103093185A (zh) * | 2011-11-07 | 2013-05-08 | 佳能株式会社 | 字符识别装置、图像处理装置及其方法 |
CN103699905A (zh) * | 2013-12-27 | 2014-04-02 | 深圳市捷顺科技实业股份有限公司 | 一种车牌定位方法及装置 |
CN104376741A (zh) * | 2014-12-02 | 2015-02-25 | 深圳市捷顺科技实业股份有限公司 | 一种车位状态检测方法与系统 |
CN104463067A (zh) * | 2014-12-04 | 2015-03-25 | 四川大学 | 一种Grid Matrix二维条码宏模块提取方法 |
CN104657717A (zh) * | 2015-02-12 | 2015-05-27 | 合肥工业大学 | 一种基于分层核稀疏表示的行人检测方法 |
CN104715244A (zh) * | 2015-04-01 | 2015-06-17 | 华中科技大学 | 一种基于肤色分割和机器学习的多视角人脸检测方法 |
CN104966066A (zh) * | 2015-06-26 | 2015-10-07 | 武汉大学 | 一种面向交通卡口监控的车内人脸检测方法及系统 |
KR20160036375A (ko) * | 2014-09-25 | 2016-04-04 | 백석대학교산학협력단 | 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법 |
CN105913065A (zh) * | 2016-04-12 | 2016-08-31 | 中国科学院遥感与数字地球研究所 | 一种图像目标区域提取的方法及系统 |
-
2016
- 2016-10-25 CN CN201610940885.2A patent/CN106529437B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1496465A1 (en) * | 2003-07-08 | 2005-01-12 | Thomson Licensing S.A. | Process and device for detecting faces in a colour image |
US20070237387A1 (en) * | 2006-04-11 | 2007-10-11 | Shmuel Avidan | Method for detecting humans in images |
CN101456501A (zh) * | 2008-12-30 | 2009-06-17 | 北京中星微电子有限公司 | 一种控制电梯按钮的方法及装置 |
CN101630363A (zh) * | 2009-07-13 | 2010-01-20 | 中国船舶重工集团公司第七○九研究所 | 复杂背景下彩色图像人脸的快速检测方法 |
CN103020949A (zh) * | 2011-09-27 | 2013-04-03 | 康佳集团股份有限公司 | 人脸图像检测方法 |
CN103093185A (zh) * | 2011-11-07 | 2013-05-08 | 佳能株式会社 | 字符识别装置、图像处理装置及其方法 |
CN102842045A (zh) * | 2012-08-03 | 2012-12-26 | 华侨大学 | 一种基于组合特征的行人检测方法 |
CN103699905A (zh) * | 2013-12-27 | 2014-04-02 | 深圳市捷顺科技实业股份有限公司 | 一种车牌定位方法及装置 |
KR20160036375A (ko) * | 2014-09-25 | 2016-04-04 | 백석대학교산학협력단 | 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법 |
CN104376741A (zh) * | 2014-12-02 | 2015-02-25 | 深圳市捷顺科技实业股份有限公司 | 一种车位状态检测方法与系统 |
CN104463067A (zh) * | 2014-12-04 | 2015-03-25 | 四川大学 | 一种Grid Matrix二维条码宏模块提取方法 |
CN104657717A (zh) * | 2015-02-12 | 2015-05-27 | 合肥工业大学 | 一种基于分层核稀疏表示的行人检测方法 |
CN104715244A (zh) * | 2015-04-01 | 2015-06-17 | 华中科技大学 | 一种基于肤色分割和机器学习的多视角人脸检测方法 |
CN104966066A (zh) * | 2015-06-26 | 2015-10-07 | 武汉大学 | 一种面向交通卡口监控的车内人脸检测方法及系统 |
CN105913065A (zh) * | 2016-04-12 | 2016-08-31 | 中国科学院遥感与数字地球研究所 | 一种图像目标区域提取的方法及系统 |
Non-Patent Citations (2)
Title |
---|
GUNDIMADA, S 等: "Face recognition in multi-sensor images based on a novel modular feature selection technique", 《INFORMATION FUSION》 * |
刘冉冉 等: "关于adaboost算法在人脸检测中应用的研究", 《湖南工程学院学报 》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491746A (zh) * | 2017-08-02 | 2017-12-19 | 安徽慧视金瞳科技有限公司 | 一种基于大梯度像素分析的人脸预筛选方法 |
CN107491746B (zh) * | 2017-08-02 | 2020-07-17 | 安徽慧视金瞳科技有限公司 | 一种基于大梯度像素分析的人脸预筛选方法 |
CN108875483A (zh) * | 2017-09-20 | 2018-11-23 | 北京旷视科技有限公司 | 图像检测方法、装置、系统和计算机可读介质 |
CN107944437A (zh) * | 2017-12-31 | 2018-04-20 | 广州二元科技有限公司 | 一种基于神经网络和积分图像的人脸定位方法 |
CN108509866A (zh) * | 2018-03-12 | 2018-09-07 | 华南理工大学 | 一种人脸轮廓提取方法 |
CN108509866B (zh) * | 2018-03-12 | 2020-06-19 | 华南理工大学 | 一种人脸轮廓提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106529437B (zh) | 2020-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges | |
CN104700099B (zh) | 识别交通标志的方法和装置 | |
KR101322168B1 (ko) | 실시간 얼굴 인식 장치 | |
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
CN109635694B (zh) | 一种行人检测方法、装置、设备及计算机可读存储介质 | |
CN106529437A (zh) | 一种人脸检测的方法和装置 | |
CN104299008B (zh) | 基于多特征融合的车型分类方法 | |
CN102999886B (zh) | 图像边缘检测器及标尺光栅栅线精度检测系统 | |
CN105956608A (zh) | 一种基于深度学习的目标定位、分类算法 | |
CN112200143A (zh) | 一种基于候选区域网络和机器视觉的道路病害检测方法 | |
CN103679205B (zh) | 基于阴影假设和分层hog对称特征验证的前车检测方法 | |
CN104408711A (zh) | 一种基于多尺度区域融合的显著区域检测方法 | |
CN104794440B (zh) | 一种基于多分块多尺度lbp的假指纹检测方法 | |
CN105913003A (zh) | 一种多特征多模型的行人检测方法 | |
CN112232300B (zh) | 全局遮挡自适应的行人训练/识别方法、系统、设备及介质 | |
CN105046882B (zh) | 摔倒检测方法以及装置 | |
CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
CN107578021A (zh) | 基于深度学习网络的行人检测方法、装置及系统 | |
CN102982534A (zh) | 基于弦线切线法的Canny边缘检测双阈值获取方法 | |
CN109583493A (zh) | 一种基于深度学习的信用卡检测和数字识别方法 | |
CN111368825A (zh) | 一种基于语义分割的指针定位方法 | |
CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
CN107301408A (zh) | 人体掩膜提取方法及装置 | |
CN104008404B (zh) | 一种基于显著直方图特征的行人检测方法及系统 | |
CN107886507A (zh) | 一种基于图像背景和空间位置的显著区域检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 510660 Guangzhou City, Guangzhou, Guangdong, Whampoa Avenue, No. 315, self - made 1-17 Applicant after: Guangzhou KuGou Networks Co., Ltd. Address before: 510000 B1, building, No. 16, rhyme Road, Guangzhou, Guangdong, China 13F Applicant before: Guangzhou KuGou Networks Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |