CN102542244A - 人脸检测方法与系统及计算机程序产品 - Google Patents
人脸检测方法与系统及计算机程序产品 Download PDFInfo
- Publication number
- CN102542244A CN102542244A CN2010106224578A CN201010622457A CN102542244A CN 102542244 A CN102542244 A CN 102542244A CN 2010106224578 A CN2010106224578 A CN 2010106224578A CN 201010622457 A CN201010622457 A CN 201010622457A CN 102542244 A CN102542244 A CN 102542244A
- Authority
- CN
- China
- Prior art keywords
- face
- people
- image
- region
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000004590 computer program Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 50
- 239000003550 marker Substances 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 230000008676 import Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 230000007261 regionalization Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 208000029152 Small face Diseases 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种于一计算机系统中实施的人脸检测方法,对一输入影像,进行人脸候选区域位置与大小预估处理,包括影像区域化处理、区域标记与区域特征撷取、距离转换、及人脸位置及大小估计,来预估出此输入影像的至少一人脸位置及其人脸大小范围,然后根据此至少一人脸位置及大小范围,进行调适性的人脸检测,直到检验预估的人脸位置所在的区域。本发明使用快速的非模板比对方式,来预估人脸位置及大小,人脸检测程序是采用区域为基础的方式,可以快速得到人脸检测的结果。在一些资源有限的系统中,例如嵌入式系统,可以减少数据传递,并减少电源的使用量。
Description
技术领域
本发明关于一种基于人脸区域(face region based)的位置(location)与大小(size)预估(predictions)的人脸检测(face detection)方法与系统及计算机程序产品。
背景技术
目前常用的人脸检测算法是以模板比对(pattern matching)来确定人脸的位置与大小。其主要包含部份影像(sub-image)的撷取以及部份影像的人脸检测。部份影像的撷取会使用不同大小的窗口,以部份重叠(overlapping)的方式,将整张原始影像分割成若干大小的部份影像。常见的作法如图1的一览表范例所示,此一览表列出当原始影像大小为320×240时,在不同大小的窗口下各自产生的部份影像的数目。
由于计算机无法预估可能的人脸位置,所以部份重叠取样的方式是依据数个像素(pixels)的间隔,循序撷取部份影像。例如,在窗口大小为24×24的情况下,依据两个像素(pixels)的间隔,会有149×109个大小为24×24的部份影像。计算机也无法预估可能的人脸大小,所以使用不同层级(scale)的模板,扫描整个影像。例如,先将最小的窗口大小设定为24×24,然后依据1.2的倍数慢慢将窗口扩大。因此,窗口大小将会是24×24、28×28、34×34、41×41、49×49、…、213×213等。以图1的例子来说,循序加上不同层级的模板比对过程至少需要庞大数据量。
部份影像(sub-images)的人脸检验(verification)常用的作法是通过撷取部份影像的数个特征(feature),并搭配分类器(classifier)的分析。例如,以Haar-类的特征为基础,搭配串接(cascade)多个分类器的算法。Haar-类的特征值的计算是求出检测窗口(detection window)内的特殊位置(specific location)上,其相邻矩形(rectangle)的像素值总和的差异。图2的例子是常用的四种基于Haar-类的特征样式。Adaboost(Adaptive Boosting)算法是一种组合数个弱分类器(weakclassifier),来达到强分类器(strong classifier)的算法。
串接多个分类器的策略是设计许多不同层级的Adaboost分类器,使用串接的方式,由低层级(使用数量少的Haar-类的特征)到高层级(使用数量多的Haar-类的特征)依序连接起来。例如,图3A及图3B所示。通过撷取部份影像的不同层级的数个特征(如图3A),并搭配串接n个Adaboost分类器(如图3B)。当某个部份影像最终被检验为人脸时,表示该部份影像必须要通过所有的Adaboost分类器的检验。当有任何一个层级的分类器判断该部份影像为非人脸(non-face)时,就不需要再经过后续高层级Adaboost分类器的检验。
目前的人脸检测加速算法大都是以肤色为基础的加速法。此类方式是利用肤色滤除器(skin filter)将输入影像分成肤色及非肤色(non-skin)像素两部份,然后人脸检测便在肤色标记(skin mask)中进行。例如,美国专利的一篇文献中,揭示一种利用人眼位置来完成人脸检测的技术。此技术使用多种层级的眼睛模块,循序搜寻整张影像,然后利用基于Haar-类的Adaboost分类器来找出眼睛的可能所在位置。并且使用样板比对(template matching)的方式,检验先前所检测出的眼睛候选区域,再使用分类器分析上述检测结果,来找出最后的人脸区域。另一篇基于肤色的人脸检测加速算法所揭示的技术是先标记出非肤色的区域,然后使用不同层级及循序搜寻方式来检验所有部份影像(sub image),当检验到某个分数(score)非常低的部份影像时,则省略掉其相邻的部份影像,再合并所有结果来得到最后检测的人脸结果。
以肤色为基础的人脸检测加速技术例如还有在标记出非肤色区域后,使用微波(wavelet)转换来得到特征,再使用T形样板、不同层级、及循序搜寻方式来检验所有部份影像,再合并所有结果来得到最后检测的人脸结果。或是在标记出非肤色区域后,对单一画面估计肤色的可能集合体,并假设其中最大的集合体为人脸区域,再利用单一画面得到的肤色色彩信息,做联讯画面上人脸区块的追踪。
以肤色为基础的人脸检测加速技术基本上还是使用不同大小的模板,循序比对整个影像。如何解决目前人脸检测加速法的问题,来提供一个无论输入影像为彩色或是灰阶,并能减少任何不必要的比对的人脸检测加速技术是重要的课题之一。
发明内容
本发明的实施范例可提供一种基于人脸区域的位置与大小预估的人脸检测系统与方法及计算机程序产品。
所提供的一实施例是关于一种基于人脸区域的位置与大小预估的人脸检测方法,实施于一计算机系统中。此方法包含:对一输入影像(input image),进行人脸候选区域(facial candidate region)位置与大小预估处理,包括影像区域化处理、区域标记(region labeling)与区域特征(region feature)撷取、具有限制条件(with constraint)的距离转换(distance transform)、及人脸位置及大小估计,来预估出此输入影像的至少一人脸位置及其人脸大小范围;以及根据预估出的此至少一人脸位置及大小范围,进行调适性地人脸检测,包括人脸检测实施范围的建立、人脸检测使用窗口大小范围的建立、及一预定数目的层级中每一层级(scale)动态决定至少一最佳人脸位置,直到检验预估的人脸位置所在的区域后,输出所确定的人脸检测结果。
所述的人脸检测方法,其中,该输入影像是选自灰阶影像及彩色影像的其中一种影像。
所述的人脸检测方法,其中,该影像区域化处理包括:
采用一分群法,先对该输入影像所对应的一直方图做分群处理,再将该直方图的分群结果还原到一原始影像。
所述的人脸检测方法,其中,当该输入影像是一灰阶影像时,该直方图是一维的直方图。
所述的人脸检测方法,其中,当该输入影像是一彩色影像时,该直方图是至少一维的直方图。
所述的人脸检测方法,其中,该区域标记与区域特征撷取包括:
对经过该影像区域化处理后的多个区域,使用一种连通区域标记法,以及对每一连通区域给予一特定标记,并且计算该连通区域的特征。
所述的人脸检测方法,其中,该具有限制条件的距离转换包括:
根据经过该影像区域化处理后的多个区域,及经过该区域标记与区域特征撷取后的每一连通区域的特定标记及特征,建立一新的屏蔽影像;以及
对该新的屏蔽影像进行一距离转换,以产生一距离地图。
所述的人脸检测方法,其中,该距离地图代表该输入影像的前景物件的每一像素与其背景像素的最近距离。
所提供的另一实施例是关于一种基于人脸区域的位置与大小预估的人脸检测系统。此系统可包含一处理器以及一检测器(detector)。此处理器还包括一影像区域化模块(image regionalize module)、一区域标记与区域特征撷取模块(region labeling and feature capturing module)、一具有限制条件的距离转换模块(distance transform with constraint module)、以及一人脸位置及大小估计模块(facial location and size estimation module),来对一输入影像进行人脸候选区域位置与大小的预估。此检测器根据预估出的人脸位置及大小范围,进行调适性地(adaptively)人脸检测,检验预估的人脸位置所在区域为后,输出所确定的人脸检测结果。
所述的人脸检测系统,其中,该处理器经由一影像区域化模块,对该输入影像进行区域化后,将该输入影像分成多个区域。
所述的人脸检测系统,其中,该处理器经由一区域标记与区域特征撷取模块,将区域化后的该多个部分影像,使用一种连通区域标记法,并对每一连通区域给予一特定标记,及计算该区域的特征。
所述的人脸检测系统,其中,该处理器经由一具有限制条件的距离转换模块,对区域化后的该多个部分影像,根据该特定标记及该区域的特征,建立一新的屏蔽影像及对该新的屏蔽影像进行一距离转换,并产生一距离地图。
所述的人脸检测系统,其中,该处理器经由一人脸位置及大小估计模块,分析该距离地图,来预估出该输入影像的人脸位置及大小范围。
所提供的又一实施例是关于一种用来执行人脸检测的计算机程序产品,此计算机程序产品包含一内存以及储存于此内存的一可执行的计算机程序。此计算机程序包括可执行人脸候选区域位置与大小预估处理及调适性地人脸检测的程序指令,并通过一处理器来执行:对一输入影像,进行人脸候选区域位置与大小预估处理,包括影像区域化处理、区域标记与区域特征撷取、具有限制条件的距离转换、及人脸位置及大小估计,来预估出此输入影像的至少一人脸位置及其人脸大小范围;以及根据预估出的此至少一人脸位置及大小范围,进行调适性地人脸检测,包括人脸检测实施范围的建立、人脸检测使用窗口大小范围的建立、及一预定数目的层级中每一层级动态决定至少一最佳人脸位置,直到确定此至少一最佳人脸位置所在的区域为人脸区域,或是检验完所有层级为止,然后输出所确定的人脸检测结果。
所述的计算机程序产品,其中,该调适性地人脸检测还包括人脸检测实施范围的建立、人脸检测使用窗口大小范围的建立、及一预定数目的层级中每一层级动态决定至少一最佳人脸位置。
与现有技术相比,本发明的有益技术效果是:
本发明使用快速的非模板比对方式,来预估人脸位置及大小,人脸检测程序是采用区域为基础的方式,可以快速得到人脸检测的结果。在一些资源有限的系统中,例如嵌入式系统,可以减少数据传递,并减少电源的使用量。此人脸检测技术可以适用于彩色影像或灰阶影像。本发明的加速法还可以用于如道路交通号志加速检测、车牌加速检测等。
兹配合下列图示、实施例的详细说明及申请专利范围,将上述及本发明的其它特征及优点详述于后。
附图说明
图1是不同窗口大小所撷取的部份影像的数目一览表;
图2是常用的四种Haar-like特征样式的一个示意图;
图3A及图3B是通过撷取部份影像的数个特征,并搭配串联n个分类器的算法来检测人脸的一个示意图;
图4是一范例示意图,说明一种基于人脸区域的位置与大小预估的人脸检测方法,与所提供的某些实施范例一致;
图5是一示意图,说明调适性地人脸检测的运作流程,与所提供的某些实施范例一致;
图6A与图6B是以分群为依据的影像区域化处理的一范例示意图,与所提供的某些实施范例一致;
图7A是将一原始的彩色影像,经过肤色滤除法的影像区域化处理所产生的二元影像,与所提供的某些实施范例一致;
图7B是将图6A实施分群法所产生的结果,与所提供的某些实施范例一致;
图7C是将图6B实施分群法所产生的结果,与所提供的某些实施范例一致;
图8A、图8B、图8C分别为对图7A、图7B、图7C实施连通标记之后的结果,与所提供的某些实施范例一致;
图9A、图9B、图9C分别为根据图8A、图8B、图8C所建立的新的屏蔽影像,与所提供的某些实施范例一致;
图10A、图10C分别为理想状况及实际状况下,根据区域化后的结果所建立的新的屏蔽影像,与所提供的某些实施范例一致;
图10B、图10D分别为图10A、图10C经过距离转换后的结果,与所提供的某些实施范例一致;
图11是一示意图,说明具有限制条件的距离转的运作换流程,与所提供的某些实施范例一致;
图12A、图12B、图12C分别是图9A、图9B、图9C经过距离转换后,得到的距离地图,与所提供的某些实施范例一致;
图13A与图13B是范例示意图,说明人脸位置及大小的预估,与所提供的某些实施范例一致;
图14是一范例示意图,说明人脸检测实施范围建立的示意图,与所提供的某些实施范例一致;
图15是一范例示意图,说明一种基于人脸区域的位置与大小预估的人脸检测系统,与所提供的某些实施范例一致;
图16是一范例示意图,说明图4的基于人脸区域的位置与大小预估的人脸检测方法可实施于一计算机程序产品中,与所提供的某些实施范例一致。
其中,附图标记:
410人脸候选区域位置与大小预估处理
41a至少一人脸位置及大小范围
412影像区域化处理 414区域标记与区域特征撷取
416具有限制条件的距离转换 418人脸位置及大小估计
420调适性地人脸检测 422人脸检测实施范围的建立
424人脸检测使用窗口大小范围的建立
426至少一最佳人脸位置 42a人脸检测结果
510循序选取部份影像的大小样式
520每次执行某一层次的人脸检测时,以预估位置为中心,撷取其邻近区域的数个部份影像来进行人脸检测
530当判断该位置为人脸区域时,将判断的人脸结果输出
540当无法判断该位置为人脸区域时,计算人脸的最新估计位置
1110区域化后的影像 1120区域特征的信息
1130建立一新的屏蔽影像 1140进行距离转换
1310屏蔽影像 1320距离地图
1410预估的窗口大小
1500人脸检测系统 1510处理器
1512影像区域化模块 1518人脸位置及大小估计模块
1514区域标记与区域特征撷取模块
1516具有限制条件的距离转换模块
1520检测器
1600计算机程序产品 1610内存
1620可执行的计算机程序 1630处理器
具体实施方式
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
无论输入影像为彩色或是灰阶影像,本发明实施范例提供的基于人脸区域的位置与大小预估的人脸检测技术是采用以区域为基础的方式,通过限制性的距离转换,分析距离地图(distance map),也就是距离转换的结果,来完成人脸位置及大小估计。然后在这些位置使用特定层级的模板进行人脸比对,以减少任何不必要的比对。
如图4的范例所示,此基于人脸区域的位置与大小预估的人脸检测方法主要包含两部份,一部份是对一输入影像,进行人脸候选区域位置与大小预估处理410,包括影像区域化处理412、区域标记与区域特征撷取414、具有限制条件的距离转换416、人脸位置及大小估计418,来预估出至少一人脸位置及大小范围41a;另一部份是根据预估出的人脸位置及大小范围,进行调适性地人脸检测420,包括人脸检测实施范围的建立422、人脸检测使用窗口大小范围的建立424、以及一预定数目的层级中每一层级(scale)动态决定至少一最佳人脸位置426,直到确定此至少一最佳人脸位置所在的区域为人脸区域,或是检验所有的层级后,输出所确定的人脸检测结果42a。
此人脸检测方法实施于一计算机装置(computer device)或系统中。此计算机装置或系统可包括一处理器(processor)、内存(memory)、输入元件(inputdevice)、输出元件(output device)、储存元件(storage device)。内存或储存元件可包含可执行的程序指令(program instruction),这些程序指令可实现图4的基于人脸区域的位置与大小预估的人脸检测方法的步骤与功能。
人脸候选区域位置与大小预估处理410是采用非模板比对的方法,其运作进一步说明如下。首先,对一输入影进行区域化,将输入影像分成多个区域后,对此多个区域,即区域化后的多个部分影像,使用一种连通区域标记法(connected component labeling),以及对每一连通区域(connected region)给予一特定标记,并且计算该区域的特征(例如区域大小)。对区域化后的多个部分影像,根据此特定标记及该区域的特征,进行一具有限制条件的转换,也就是,建立一新的屏蔽影像(mask image)及对该新的屏蔽影像进行一距离转换,以产生一距离地图,此距离地图代表此输入影像的前景物件的每一像素与其背景像素的最近距离。然后,分析此距离转换后的结果,也就是此距离地图,来预估人脸位置及大小范围。
调适性地人脸检测420的运作流程说明如下。如图5所示,在确定人脸预估位置以及大小范围后,对预估的人脸位置,给予一预定数目的层级后,循序选取部份影像的大小样式(步骤510),以进行有限范围的部份影像撷取以进行人脸检测。每次执行某一层次的人脸检测时,以预估位置为中心,撷取其邻近区域的数个部份影像来进行人脸检测(步骤520)。当判断该位置为人脸区域时,将判断的人脸结果输出(步骤530)后,不再进行后续层级的人脸检测。当无法判断该位置为人脸区域时,计算人脸的最新估计位置(步骤540),然后回到步骤510,以进行下一层级的人脸检测。
在人脸候选区域位置与大小预估处理410的影像区域化处理412中,输入影像可以是灰阶影像(grayscale image)或是彩色影像(color image)。依其色彩特性,可采用传统的肤色滤除法,把彩色影像内的所有像素,分成肤色(skin)与非肤色(non-skin)两类,此种影像区域化处理的运作相当简单,不再描述其影像区域化处理。也可采用分群法(clustering),先对输入影像所对应的直方图(histogram)做分群处理,再将直方图的分群结果还原到原始影像以达到影像区域化处理的需求。此直方图的横轴代表影像像素的颜色,其值的范围是0~255,横轴代表输入影像所对应的影像像素的数目。图6A与图6B是以分群为依据的影像区域化处理的一范例示意图,与所提供的某些实施范例一致。其中,图6A是对灰阶影像所对应的一维(1-dimension)的直方图作分群处理,来产生区域化后的影像(regionalized image)。图6B是对彩色影像所对应的三维(3-dimension)的直方图作分群处理,来产生区域化后的影像。当输入影像是一彩色影像时,此直方图不限定是三维,是至少一维的直方图即可。
图7A是将一原始的彩色影像,经过肤色滤除法的影像区域化处理所产生的二元影像(binary image)。图7B是图6A实施分群法所产生的结果。图7C是图6B实施分群法所产生的结果。其中,图7B是由三群(即三种颜色)所还原的区域化(regionalized)结果。图7C是由多群(大于三种颜色)所还原的区域化结果。此区域化结果以不同颜色表示时会更明显。
图8A、图8B、图8C分别为对图7A、图7B、图7C实施连通标记之后的结果。其中,图8A中仅标记白色区域(即肤色区域),图8B及图8C则标记所有区域,因为每一群集代表一个区域。标记之后的结果则提供给下一阶段「具有限制条件的距离转换」所使用。此具有限制条件的转换中,先建立新的屏蔽影像,再对新的屏蔽影像进行距离转换。图9A、图9B、图9C分别为根据图8A、图8B、图8C所建立的新的屏蔽影像。
建立的新的屏蔽影像后,虽然利用距离转换可以找出人脸的可能所在位置及其大小。然而,由于经过区域化后的结果,往往会因存在噪声而使得距离转换没有完全彰显效能。例如,第十图所示。其中图10A、图10C分别为理想状况及实际状况下,根据区域化后的结果所建立的新的屏蔽影像(其大小为320×240)。图10B、图10D分别为图10A、图10C经过距离转换后的结果(即为距离地图),距离地图中,越亮的像素,代表距离背景越远。
从图10A的屏蔽影像经过距离转换后的图10B的距离地图中,最大距离值为54,可以预估有个可能的人脸的位置是在此图中的最亮点处,而其人脸大小预估为108×108,其中最大距离值,也是最亮点的值。而在实际状况下,由于图10C的屏蔽影像的中间有两个黑点(即噪声),导致经过距离转换后的图10D的距离地图中,最大距离值为39。当依照同样的方式来预测人脸的位置与大小时,则会发现所预测的位置,在实际状况下会较理想状况下的预测位置来得低,而其人脸大小为78×78,也会来得小。换句话说,当人脸区域内部(如眼睛、眼镜、…等处)有噪声时,会产生不可预期的错误预测结果。所以,本发明提供具有限制条件的距离转换的方法,来修正可能的错误预测结果。
如图11的范例所示,具有限制条件的距离转换的方法是根据区域化后的影像1110以及区域特征的信息1120,来建立一新的屏蔽影像1130,然后再对屏蔽影像1130进行距离转换1140以得到最后的结果。对于本发明所揭示的两种影像区域化处理方式,于建立新的屏蔽影像时,所采用的对应策略说明如下。当以肤色滤除法处理影像区域化时,将区域面积小于一预定门槛值的背景区域视为前景区域。当以分群法处理影像区域化时,将相邻的两个大面积区域的相邻像素视为背景像素,也就是说,以忽略小区域的噪声来避免产生不可预期的错误预测结果。上述图9A、图9B、图9C是以此对应策略所建立的屏蔽影像。图12A、图12B、图12C分别是图9A、图9B、图9C经过距离转换后,得到的距离地图。
人脸位置及大小的预估方式是根据具有限制条件的距离转换后的结果而来。本发明的人脸位置的估计可包括两部分。一部分是人脸位置的估计是依据距离地图中的区域最大点转换而来;另一部分是人脸大小的估计是依据预测位置点的距离值转换而来。以图13A与图13B的例子来说明,其中,图13A的范例是依本发明实施例所建立的一屏蔽影像1310,图13B是屏蔽影像1310根据具有限制条件的距离转换后的距离地图1320。距离地图1320中的所有区域内的最大距离值位置所在处为最亮点1330之处,因此,估计人脸位置在该最亮点1330之处。而人脸大小的估计可用式子,例如,宽=高=2×(预测位置点的距离值),来估计。当最亮点1330的距离值为54时,则估计人脸大小为108×108,如正方形1350的大小。
有了人脸位置及大小的初步估计后,本发明的实施例提供了具有调适性的人脸检测,如上述图4及图5的运作及流程所示。在人脸检测实施范围的建立422中,会依据预估的窗口大小,于预估的中心位置,往x(向左以及向右)以及y(向上以及向下)方向各增加数个窗口作为估测之用。图14的范例是依据预估的窗口大小1410,往x以及y方向各增加3个窗口为估测之用。因此,对于此预估的人脸位置,会对其邻近区域的49个部份影像执行人脸检测的程序,其中,每一部份影像的相距位置,也将随着所检测的当时的部份影像的大小而定。每一部份影像的相距位置可用式子,例如,相距像素=0.1×部份影像来设定。当部份影像的大小为24×24时,则每一部份影像的相距位置可以定为两个像素,亦即像素的数目约为[0.1×24]。
在人脸检测使用窗口大小范围的建立424中,会先将原本预估的窗口大小对应到最接近的部份影像的大小样式,例如上述图1的图表所示的大小样式。然后会以(-n,+n)的范围来决定人脸检测的窗口大小范围,以上述两个像素为例,以(-2,+2)的范围来决定人脸检测的窗口大小范围。例如,原本预估的窗口大小为40×40,首先找到其对应的部份影像的大小为41×41,然后整个搜寻的范围是28×28~59×59。
确定人脸预估位置以及大小的范围后,对预估的人脸位置,给予一预定数目的层级后,预定数目的层级中每一层级动态决定至少一最佳人脸位置426的运作流程如图5的步骤510至步骤540,不再重述。
由于本发明的人脸候选区域位置与大小预估处理是采用非模板比对的方法,仅在确定人脸预估位置以及大小的范围后,使用预定层级的模板进行人脸比对,所以可减少任何不必要的比对。当无任何加速的人脸辨识系统需要时间单位为1时,相较于传统以肤色为基础的采用模板比对的人脸检测,本发明的实施范例的人脸检测的加速倍率有相当大的进步。并且,无论输入影像为彩色或是灰阶影像,本发明的实施范例的人脸检测皆能适用。同时,由于本发明的实施例提供了具有调适性的人脸检测,所以人脸检测的正确率也保持相当高的效果。
承上述,图15是一范例示意图,说明一种基于人脸区域的位置与大小预估的人脸检测系统,与所提供的某些实施范例一致。在图15的范例中,人脸检测系统1500可包含一处理器1510以及一检测器1520。处理器1510对一输入影像进行人脸候选区域位置与大小的预估,包括影像区域化、区域标记与区域特征撷取、具有限制条件的距离转换、及人脸位置及大小估计,可分别由一影像区域化模块1512、一区域标记与区域特征撷取模块1514、一具有限制条件的距离转换模块1516、以及一人脸位置及大小估计模块1518来处理与执行。检测器1520根据预估出的人脸位置及大小范围41a,进行调适性地人脸检测,检验预估的人脸位置后,输出所确定的人脸检测结果42a。
影像区域化模块1512对一输入影像进行区域化后,将输入影像分成多个区域。区域标记与区域特征撷取模块1514将区域化后的多个部分影像,使用一种连通区域标记法,并对每一连通区域给予一特定标记,及计算该区域的特征。具有限制条件的距离转换模块1516对区域化后的多个部分影像,根据此特定标记及该区域的特征,建立一新的屏蔽影像及对此新的屏蔽影像进行一距离转换,并产生一距离地图。人脸位置及大小估计模块1518分析此距离地图,来预估出此输入影像的人脸位置及大小范围。各模块的运作细节同之前所述,不再重述。
在一实施例中,此基于人脸区域的位置与大小预估的人脸检测技术也可以执行于一计算机程序产品。如图16的范例所示,计算机程序产品1600包含一内存1610以及储存于内存1610的一可执行的计算机程序1620。计算机程序1620可包括可执行人脸候选区域位置与大小预估处理410及调适性地人脸检测420的程序指令(program instructions),并通过一处理器1630来执行:对一输入影像,进行人脸候选区域位置与大小预估处理,包括影像区域化处理、区域标记与区域特征撷取、具有限制条件的距离转换、及人脸位置及大小估计,来预估出此输入影像的至少一人脸位置及其人脸大小范围;以及根据预估出的此至少一人脸位置及大小范围,进行调适性地人脸检测,包括人脸检测实施范围的建立、人脸检测使用窗口大小范围的建立、及一预定数目的层级中每一层级动态决定至少一最佳人脸位置,直到确定至少一最佳人脸位置所在的区域为人脸区域,或检验所有层级后,输出所确定的人脸检测结果。也就是图4的基于人脸区域的位置与大小预估的人脸检测的运作流程。
综上所述,本发明的实施范例提供一种基于人脸区域的位置与大小预估的人脸检测系统与方法及计算机程序产品。其使用快速的非模板比对方式,来预估人脸位置及大小,人脸检测程序是采用区域为基础的方式,可以快速得到人脸检测的结果。在一些资源有限的系统中,例如嵌入式系统,可以减少数据传递,并减少电源的使用量。此人脸检测技术可以适用于彩色影像或灰阶影像。本发明的加速法还可以用于如道路交通号志加速检测、车牌加速检测等。
以上所述者仅为本发明实施例,当不能依此限定本发明实施的范围。即大凡本发明申请专利范围所作的均等变化与修饰,皆应仍属本发明专利涵盖的范围。
Claims (15)
1.一种基于人脸区域的位置与大小预估的人脸检测方法,实施于一计算机系统中,其特征在于,该方法包含:
对一输入影像,进行人脸候选区域位置与大小预估处理,包括影像区域化处理、区域标记与区域特征撷取、具有限制条件的距离转换、及人脸位置及大小估计,来预估出该输入影像的至少一人脸位置及其人脸大小范围;以及
根据预估出的该至少一人脸位置及大小范围,进行调适性地人脸检测,包括人脸检测实施范围的建立、人脸检测使用窗口大小范围的建立、及一预定数目的层级中每一层级动态决定至少一最佳人脸位置,直到确定该至少一最佳人脸位置所在的区域为人脸区域,或检验完所有层级,然后输出所确定的一人脸检测结果。
2.根据权利要求1所述的人脸检测方法,其特征在于,该输入影像是选自灰阶影像及彩色影像的其中一种影像。
3.根据权利要求1所述的人脸检测方法,其特征在于,该影像区域化处理包括:
采用一分群法,先对该输入影像所对应的一直方图做分群处理,再将该直方图的分群结果还原到一原始影像。
4.根据权利要求3所述的人脸检测方法,其特征在于,当该输入影像是一灰阶影像时,该直方图是一维的直方图。
5.根据权利要求3所述的人脸检测方法,其特征在于,当该输入影像是一彩色影像时,该直方图是至少一维的直方图。
6.根据权利要求1所述的人脸检测方法,其特征在于,该区域标记与区域特征撷取包括:
对经过该影像区域化处理后的多个区域,使用一种连通区域标记法,以及对每一连通区域给予一特定标记,并且计算该连通区域的特征。
7.根据权利要求1所述的人脸检测方法,其特征在于,该具有限制条件的距离转换包括:
根据经过该影像区域化处理后的多个区域,及经过该区域标记与区域特征撷取后的每一连通区域的特定标记及特征,建立一新的屏蔽影像;以及
对该新的屏蔽影像进行一距离转换,以产生一距离地图。
8.根据权利要求7所述的人脸检测方法,其特征在于,该距离地图代表该输入影像的前景物件的每一像素与其背景像素的最近距离。
9.一种基于人脸区域的位置与大小预估的人脸检测系统,其特征在于,该系统包含:
一处理器,对一输入影像进行人脸候选区域位置与大小的预估,包括影像区域化、区域标记与区域特征撷取、具有限制条件的距离转换、及人脸位置及大小估计;以及
一检测器,根据预估出的人脸位置及大小范围,进行调适性地人脸检测,直到检验预估的人脸位置所在区域后,输出所确定的一人脸检测结果。
10.根据权利要求9所述的人脸检测系统,其特征在于,该处理器经由一影像区域化模块,对该输入影像进行区域化后,将该输入影像分成多个区域。
11.根据权利要求10所述的人脸检测系统,其特征在于,该处理器经由一区域标记与区域特征撷取模块,将区域化后的该多个部分影像,使用一种连通区域标记法,并对每一连通区域给予一特定标记,及计算该区域的特征。
12.根据权利要求11所述的人脸检测系统,其特征在于,该处理器经由一具有限制条件的距离转换模块,对区域化后的该多个部分影像,根据该特定标记及该区域的特征,建立一新的屏蔽影像及对该新的屏蔽影像进行一距离转换,并产生一距离地图。
13.根据权利要求12所述的人脸检测系统,其特征在于,该处理器经由一人脸位置及大小估计模块,分析该距离地图,来预估出该输入影像的人脸位置及大小范围。
14.一种用来执行人脸检测的计算机程序产品,其特征在于,该计算机程序产品包含一内存以及储存该内存的一可执行的计算机程序,该计算机程序包括执行人脸候选区域位置与大小预估处理及调适性地人脸检测的程序指令,并通过一处理器来执行:
对一输入影像,进行人脸候选区域位置与大小预估处理,包括影像区域化处理、区域标记与区域特征撷取、具有限制条件的距离转换、及人脸位置及大小估计,来预估出此输入影像的至少一人脸位置及其人脸大小范围;以及
根据预估出的该至少一人脸位置及大小范围,进行调适性地人脸检测,直到检验预估的人脸位置所在区域后,输出所确定的一人脸检测结果。
15.根据权利要求14所述的计算机程序产品,其特征在于,该调适性地人脸检测还包括人脸检测实施范围的建立、人脸检测使用窗口大小范围的建立、及一预定数目的层级中每一层级动态决定至少一最佳人脸位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW099143980 | 2010-12-15 | ||
TW099143980A TW201224955A (en) | 2010-12-15 | 2010-12-15 | System and method for face detection using face region location and size predictions and computer program product thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102542244A true CN102542244A (zh) | 2012-07-04 |
Family
ID=46234506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010106224578A Pending CN102542244A (zh) | 2010-12-15 | 2010-12-23 | 人脸检测方法与系统及计算机程序产品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8559707B2 (zh) |
CN (1) | CN102542244A (zh) |
TW (1) | TW201224955A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577797A (zh) * | 2012-08-03 | 2014-02-12 | 华晶科技股份有限公司 | 影像辨识系统及其影像辨识方法 |
CN106156696A (zh) * | 2015-03-30 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107239765A (zh) * | 2017-06-07 | 2017-10-10 | 成都尽知致远科技有限公司 | 用于人脸识别的三维扫描系统 |
TWI634486B (zh) * | 2017-12-29 | 2018-09-01 | 技嘉科技股份有限公司 | 身份驗證裝置、身份驗證方法、及其電腦可讀儲存介質 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI466036B (zh) * | 2012-08-03 | 2014-12-21 | Altek Corp | 影像辨識系統及其影像辨識方法 |
TWI481980B (zh) | 2012-12-05 | 2015-04-21 | Univ Nat Chiao Tung | 電子裝置及其導航方法 |
CN103226860B (zh) * | 2013-04-12 | 2015-05-20 | 中国民航大学 | 一种通道客流密度估计方法 |
TWI512644B (zh) * | 2014-08-21 | 2015-12-11 | Coretronic Corp | 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法 |
KR102360424B1 (ko) | 2014-12-24 | 2022-02-09 | 삼성전자주식회사 | 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템 |
WO2017085075A1 (en) * | 2015-11-18 | 2017-05-26 | Koninklijke Philips N.V. | Method and device for estimating absolute size dimensions of a test object |
CN107102540A (zh) * | 2016-02-23 | 2017-08-29 | 芋头科技(杭州)有限公司 | 一种唤醒智能机器人的方法及智能机器人 |
CN108171149B (zh) * | 2017-12-26 | 2021-10-01 | 广东工业大学 | 一种人脸识别方法、装置、设备及可读存储介质 |
CN114936634A (zh) * | 2022-04-12 | 2022-08-23 | 瑞泰生医科技(香港)有限公司 | 神经网络模型训练方法与系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101388114A (zh) * | 2008-09-03 | 2009-03-18 | 北京中星微电子有限公司 | 一种人体姿态估计的方法和系统 |
CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6188777B1 (en) * | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6463163B1 (en) | 1999-01-11 | 2002-10-08 | Hewlett-Packard Company | System and method for face detection using candidate image region selection |
TW420939B (en) | 1999-06-29 | 2001-02-01 | Ind Tech Res Inst | Human face detection method |
EP1353516A1 (en) * | 2002-04-08 | 2003-10-15 | Mitsubishi Electric Information Technology Centre Europe B.V. | A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images |
US7369687B2 (en) | 2002-11-21 | 2008-05-06 | Advanced Telecommunications Research Institute International | Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position |
US7343028B2 (en) | 2003-05-19 | 2008-03-11 | Fujifilm Corporation | Method and apparatus for red-eye detection |
US7190829B2 (en) | 2003-06-30 | 2007-03-13 | Microsoft Corporation | Speedup of face detection in digital images |
US7212664B2 (en) * | 2003-08-07 | 2007-05-01 | Mitsubishi Electric Research Laboratories, Inc. | Constructing heads from 3D models and 2D silhouettes |
US7590267B2 (en) | 2005-05-31 | 2009-09-15 | Microsoft Corporation | Accelerated face detection based on prior probability of a view |
US7542624B1 (en) * | 2005-06-08 | 2009-06-02 | Sandia Corporation | Window-based method for approximating the Hausdorff in three-dimensional range imagery |
TWI318108B (en) | 2005-11-30 | 2009-12-11 | Univ Nat Kaohsiung Applied Sci | A real-time face detection under complex backgrounds |
US8094971B2 (en) * | 2007-09-05 | 2012-01-10 | Seiko Epson Corporation | Method and system for automatically determining the orientation of a digital image |
US8027521B1 (en) * | 2008-03-25 | 2011-09-27 | Videomining Corporation | Method and system for robust human gender recognition using facial feature localization |
US20100158376A1 (en) * | 2008-10-17 | 2010-06-24 | Klosterman Peter S | Systems and methods for labeling and characterization of connected regions in a binary mask |
US8385609B2 (en) * | 2008-10-21 | 2013-02-26 | Flashfoto, Inc. | Image segmentation |
-
2010
- 2010-12-15 TW TW099143980A patent/TW201224955A/zh unknown
- 2010-12-23 CN CN2010106224578A patent/CN102542244A/zh active Pending
-
2011
- 2011-07-12 US US13/180,804 patent/US8559707B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101388114A (zh) * | 2008-09-03 | 2009-03-18 | 北京中星微电子有限公司 | 一种人体姿态估计的方法和系统 |
CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577797A (zh) * | 2012-08-03 | 2014-02-12 | 华晶科技股份有限公司 | 影像辨识系统及其影像辨识方法 |
CN106156696A (zh) * | 2015-03-30 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106156696B (zh) * | 2015-03-30 | 2020-03-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107239765A (zh) * | 2017-06-07 | 2017-10-10 | 成都尽知致远科技有限公司 | 用于人脸识别的三维扫描系统 |
TWI634486B (zh) * | 2017-12-29 | 2018-09-01 | 技嘉科技股份有限公司 | 身份驗證裝置、身份驗證方法、及其電腦可讀儲存介質 |
Also Published As
Publication number | Publication date |
---|---|
US8559707B2 (en) | 2013-10-15 |
US20120155757A1 (en) | 2012-06-21 |
TW201224955A (en) | 2012-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102542244A (zh) | 人脸检测方法与系统及计算机程序产品 | |
Wei et al. | Multi-vehicle detection algorithm through combining Harr and HOG features | |
CN109840521B (zh) | 一种基于深度学习的一体化车牌识别方法 | |
CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
KR101848019B1 (ko) | 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치 | |
CN106650553A (zh) | 车牌识别方法及系统 | |
CN107301405A (zh) | 自然场景下的交通标志检测方法 | |
CN104715252B (zh) | 一种动态模板结合像素点的车牌字符分割方法 | |
CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
CN102609720B (zh) | 一种基于位置校正模型的行人检测方法 | |
CN102194108B (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
CN105373794A (zh) | 一种车牌识别方法 | |
CN103310194A (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
CN103810503A (zh) | 一种基于深度学习的自然图像中显著区域的检测方法 | |
CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
CN103605953A (zh) | 基于滑窗搜索的车辆兴趣目标检测方法 | |
CN104809481A (zh) | 一种基于自适应色彩聚类的自然场景文本检测的方法 | |
CN105224945B (zh) | 一种基于联合检测与辨识算法的车标识别方法 | |
CN104200228A (zh) | 一种安全带识别方法与系统 | |
CN105493141A (zh) | 非结构化道路边界检测 | |
CN106529461A (zh) | 一种基于积分特征通道和svm训练器的车型识别算法 | |
CN112200186B (zh) | 基于改进yolo_v3模型的车标识别方法 | |
CN104766344B (zh) | 基于运动边缘提取器的车辆检测方法 | |
CN102915433A (zh) | 基于字符组合的车牌定位和识别方法 | |
CN104657724A (zh) | 一种交通视频行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120704 |