CN1781122A - 用于搜索被认为是面部图像的区域的方法、系统和程序 - Google Patents

用于搜索被认为是面部图像的区域的方法、系统和程序 Download PDF

Info

Publication number
CN1781122A
CN1781122A CNA2004800116534A CN200480011653A CN1781122A CN 1781122 A CN1781122 A CN 1781122A CN A2004800116534 A CNA2004800116534 A CN A2004800116534A CN 200480011653 A CN200480011653 A CN 200480011653A CN 1781122 A CN1781122 A CN 1781122A
Authority
CN
China
Prior art keywords
image
face
zone
vector
searched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800116534A
Other languages
English (en)
Inventor
长桥敏则
日向崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1781122A publication Critical patent/CN1781122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

在搜索目标图像(G)的内部依次选择预定区域,并且生成所选区域中的图像特征向量。然后,将所述图像特征向量输入支持向量机(30),该支持向量机(30)已对多个学习用抽样图像预先学习了图像特征向量,并且,基于与识别超平面的位置关系来判定在所述选择区域中是否存在面部图像。因此,可以快速且精确地在搜索对象图像(G)中搜索存在面部图像的可能性高的区域。

Description

用于搜索被认为是面部图像的区域的方法、系统和程序
技术领域
本发明涉及模式识别或对象识别技术,尤其涉及一种面部图像侯选区域搜索方法、系统和程序,其用于以高速从图像中搜索在其中存在人的面部图像的可能性高的被认为是面部图像的区域。
背景技术
随着近年来模式识别技术或诸如计算机的信息处理装置性能的提高,字符或语音的识别精度得以显著地提高。然而众所周知的是:对于反映人物、物体和风景的图像(例如由数字摄像机拍摄的图像)进行模式识别,或者特别是对于图像中是否反映有人的面部进行正确并且高速地识别,仍然是一项极其困难的工作。
然而,在建立活体识别技术、提高安全性、迅速刑事侦查、以及图像数据的快速排列或搜索操作的过程中,使用计算机来自动并正确地辨别图像中是否反映有人的面部、或者该人是谁,是非常重要的主题,曾经提出过关于该主题的多种建议。
例如,在日本专利公开JP9-50528A中,对于某一输入图像,首先判定是否存在肉色(flesh color)区域,对该肉色区域进行马赛克,对马赛克区域与人的面部辞典之间的距离进行计算,以判定是否存在人的面部,并将人脸分段,从而降低了由于背景影响而导致的错误提取,并且有效地从所述图像中自动地找到人的面部。
然而,利用上述现有技术,人的面部是基于“肉色”从图像中检测的,其中由于照明的影响,“肉色”会在色域中变化,这就带来了一个问题,即由于对面部图像(或者相反的背景)的漏检,不会有效地进行区域收缩。
通常,由于在图像中背景占据的区域比面部图像的区域大,所以有效地进行区域收缩,以便以对面部图像区域进行高速检测是重要的。
所以,提出本发明来解决上述问题,而且本发明的目的是提供一种新的面部图像侯选区域搜索方法、系统和程序,用于从图像中以高速且精确地搜索在其中存在人的面部的可能性高的被认为是图像面部图像的区域。
发明内容
为了实现上述目的,发明1提供了一种面部图像侯选区域搜索方法,用于从不知道其中是否包含有任何面部图像的待搜索图像中,搜索其中存在面部图像的可能性高的被认为是面部图像的区域,所述方法包括如下步骤:在待搜索图像内依次选择一预定区域,然后针对所选区域生成图像特征向量;将所述图像特征向量输入到支持向量机,该支持向量机已经针对多个学习用抽样图像预先学习了图像特征向量;以及,基于相对于识别超平面的位置关系来判定在所述选择区域中是否存在面部图像。
也就是说,采用支持向量机作为在本发明中生成的图像特征向量的识别选择,从而可以快速且精确地从待搜索图像中搜索存在面部图像的可能性高的区域。
本发明中使用的支持向量机(在下文中将缩写为“SVM”)(其是在1995年由AT&T的V.Vapnik在统计学习理论的框架中提出的)是指能够获取超平面的学习机,该超平面对于非线性地分离两个等级的所有输入数据且使用边缘指标(index of margin)来说是最佳的,并且认为该支持向量机是具有模式识别能力的一种高级学习模型,稍后将对这一点进行详细描述。在不可能进行线性分离的情况下,通过使用核心手段(kernel-trick)技术,显示出高的辨别能力。
发明2提供了根据发明1的面部图案侯选区域搜索方法,其中所述选择区域的图像特征向量是由用于支持向量机的识别超平面划分的非面部区域,并且当与识别超平面的距离大于或等于预定阈值时,判定在所述选择图像区域中不存在面部图像。
也就是说,当非面部区域具有大于或等于所述阈值的距离时,省略是否存在面部图像的判定,认为在该非面部区域附近不可能存在面部区域,从而可以高速地搜索被认为是面部图像的区域。
发明3提供了根据发明1或者2的面部图案侯选区域搜索方法,其中支持向量机的识别函数是非线性核心函数。
也就是说,该支持向量机的基本结构是线性阈值分量,但通常不适用于包括线性不可分离数据的高维图像特征向量。
另一方面,作为能够利用该支持向量机进行非线性分类的一种方法,可以使向量的维数变得更高。这包括将原始输入数据映射到高维特征空间,并且在该特征空间上执行线性分离,以使得在原始输入空间中执行非线性识别。
然而,由于需要大量时间来获取非线性映象,所以就不能准确地进行该非线性映象的计算,而是进行识别函数或“核心函数”的计算。这称为核心手段,使得能够避免直接计算该非线性映象,从而克服了计算上的困难。
因此,如果在本发明中使用的支持向量机的识别函数采用非线性“核心函数”,则可以容易地分离实质上包括线性不可分离数据的高维图像特征向量。
发明4提供了根据发明1到3中的任何一个的面部图像侯选区域搜索方法,其中图像特征向量采用反映面部特征的各个像素的对应值。
因此,不会错误地将面部图像之外的其他对象识别为面部图像,从而可能精确地识别在要识别的各个选择区域中是否存在面部图像。
发明5提供了根据发明1到3中的任何一个的面部图像侯选区域搜索方法,其中采用有关各个像素中的边缘强度的值、各个像素中的边缘方差(variance)值、或者各个像素中的亮度值或这些值的组合来生成图像特征向量。
因此,可能精确地识别各个选择区域中的图像是否是面部图像。
发明6提供了根据发明5的面部图像侯选区域搜索方法,其中采用Sobel算子来生成在各个像素中的边缘强度或边缘方差。
也就是说,该“Sobel算子”是微分型边缘检测算子的一种,微分型边缘检测算子用于检测浓度急剧变化的部分,诸如图像中的边缘或线,并且被认为是特别用于检测人的面部轮廓的最佳算子。
因此,通过利用“Sobel算子”获得各个像素中的边缘密度或边缘方差来生成图像特征量。
图10A和10B(a.横向边缘,b.纵向边缘)示出了该“Sobel算子”的结构。将边缘强度计算为由各个算子生成的计算结果的平方和的平方根。
发明7提供了一种面部图像侯选区域搜索系统,用于从不知道其中是否包含有任何面部图像的待搜索图像中,搜索其中存在面部图像的可能性高的被认为是面部图像的区域,所述系统包括:图像读取部,用于读取在待搜索图像内的选择区域和学习用抽样图像;特征向量生成部,用于生成由该图像读取部读取的、在待搜索图像内的选择区域的图像特征向量和学习用抽样图像的图像特征向量;支持向量机,用于根据由特征向量生成装置生成的学习用抽样图像的图像特征向量来获取识别超平面,并且基于由特征向量生成部生成的、在待搜索图像内的选择区域的图像特征向量与识别超平面之间的关系,来判定在所述选择区域中是否存在面部图像。
因此,如发明1中所述,能够高速且精确地从待搜索图像中搜索到存在人的面部图像可能性高的区域。
发明8提供了根据发明7的面部图像侯选区域搜索系统,其中所述支持向量机的识别函数是非线性核心函数。
因此,可以以与发明3中相同的方式来容易地分离涉及线性不可分离数据的高维图像特征向量。
发明9提供了一种面部图像侯选区域搜索程序,用于从不知道其中是否包含有任何面部图像的待搜索图像中,搜索其中存在面部图像可能性高的被认为是面部图像的区域,所述程序能够使计算机执行下如步骤:图像读取步骤,读取待搜索图像内的选择区域和学习用抽样图像;特征向量生成步骤,生成在图像读取步骤中读取的、待搜索图像内的选择区域的图像特征向量和学习用抽样图像的图像特征向量;支持向量机,用于根据在特征向量生成步骤中生成的学习用抽样图像的图像特征向量来获取识别超平面,并且基于在特征向量生成步骤中生成的、待搜索图像内的选择区域的图像特征向量与识别超平面的关系,来判定在所述选择区域中是否存在面部图像。
因此,存在与发明1相同的效果,并且与使用特定硬件相比,通过采用诸如个人计算机的通用计算机,更加经济和容易地在软件上实现了这些功能。此外,仅通过改写部分程序就可容易地改进这些功能。
发明10提供了根据发明9的面部图像侯选区域搜索程序,其中支持向量机的识别函数是非线性核心函数。
因此,存在与发明3相同的效果,并且与发明9一样,与使用特定硬件相比,通过采用诸如个人计算机的通用计算机,更加经济和容易地在软件上实现了这些功能。
附图说明
图1是示出根据本发明一个实施例的用于搜索被认为是面部图像区域的系统的框图;
图2是示出实现了用于搜索被认为是面部图像区域的系统硬件配置的框图;
图3是示出根据本发明一个实施例的用于搜索被认为是面部图像的区域的方法的流程图;
图4示出了待搜索图像的示例;
图5示出了在要搜索的图像内通过对所述图像进行横向移动来选择一个选择区域的状态;
图6示出了在要搜索的图像内通过对所述图像进行纵向移动来选择一个选择区域的状态;
图7A和图7B示出了选择区域表格的一个示例;
图8是示出距识别超平面的距离与横向移动距离之间的关系的曲线图;
图9是示出距识别超平面的距离与纵向移动距离之间的关系的曲线图;以及
图10A和图10B示出了Sobel算子的结构。
具体实施方式
下面将参照附图详细地描述实施本发明的最佳方式。
图1是示出根据本发明一个实施例的用于搜索被认为是面部图像的区域的系统100的框图。
如图1所示,用于搜索被认为是面部图像的区域的系统100主要包括:图像读取部10,用于读取学习用抽样图像和待搜索图像;特征向量生成部20,用于生成由图像读取部10读取的图像的特征向量;以及,SVM(支持向量机)30,用于根据由特征向量生成部20生成的特征向量来识别待搜索图像是否是被认为是面部图像的区域。
具体地,图像读取部10是CCD(电荷耦合器件)摄像机,例如数字照相机或数字摄像机、视象管摄像机、图像扫描器或鼓形分象器,并且提供如下功能:对待搜索图像的预定区域进行A/D转换且将多个面部图像和非面部图像作为所读入的学习用抽样图像,并且将数字数据依次发送给特征向量生成部20。
特征向量生成部20进一步包括:亮度生成部22,用于生成图像亮度(Y);边缘生成部24,用于生成图像边缘强度;以及平均值/方差生成部26,用于生成由边缘生成部24生成的边缘强度的平均值、由亮度生成部22生成的亮度平均值、或边缘强度的方差,而且该特征向量生成部20提供如下功能:根据由平均值/方差生成部26抽样的像素值,为各个抽样图像和待搜索图像生成图像特征向量,并且将所生成的图像特征向量依次发送给SVM 30。
SVM 30提供如下功能:对由特征向量生成部20生成的、作为学习用样本的多个面部图像和非面部图像中的每一个的图像特征向量进行学习,并且根据学习结果来识别由特征向量生成部20生成的待搜索图像的预定区域是否是被认为是面部图像的区域。
如前所述,该SVM 30是指能够获取超平面的学习机,该超平面对于非线性分离所有输入数据且使用边缘指标来说是最佳的。熟知的是,通过使用核心手段,该SVM可以显示出高的识别能力,甚至在线性分离不可能的情况下,也是如此。
将在该实施例中使用的SVM 30划分为两个步骤:1.学习步骤,以及2.识别步骤。
首先,在1.学习步骤中,如图1所示,在图像读取部10读取作为学习用抽样图像的多个面部图像和非面部图像之后,特征向量生成部20生成各个图像的特征向量,其中学习特征向量作为图像特征向量。
之后,2.识别步骤包括依次读取待搜索图像的预定选择区域,在特征向量生成部20中生成图像特征向量,输入图像特征向量作为特征向量,并且根据在识别超平面上,输入图像特征向量对应于哪个区域,来识别所述区域是否以高的可能性包括面部图像。
这里,作为学习用抽样的面部图像和非面部图像的尺寸等于20×20像素,例如,在检测面部图像过程中使用相同尺寸的区域。
此外,将参考由HidekiAso,Kouji Tsuda和Noboru Murata,IwanamiShoten所著的“Pattern Recognition and Statistics of Learning(模式识别和学习统计)”(107到118页)更加详细地描述该SVM。当识别问题为非线性时,该SVM能够使用非线性核心函数,其中由下面的公式1给出识别函数。
也就是说,当公式1的值等于“0”时,该识别函数是识别超平面,否则,该识别函数是根据给定图像特征向量计算的距识别超平面的距离。同样,当公式1的结果非负时,该距离函数表示面部图像,或者当该公式1的结果为负时,该距离函数表示非面部图像。
(公式1)
f ( φ ( x ) ) = Σ i = 1 n ai × yi × K ( x , xi ) + b
其中x和xi是图像特征向量,其采用由特征向量生成部20生成的值。K是一个核心函数,在该实施例中其由下面的公式2给出。
(公式2)
K(x,xi)=(a×x×xi+b)T
a=1,b=0,T=2
在实践中,在包括由CPU和RAM组成的硬件以及特定计算机程序(软件)的个人计算机(PC)等的计算机系统上,实现构成用于搜索被认为是面部图像区域的系统100的特征向量生成部20、SVM 30和图像读取部10。
也就是说,如图2所示,实现用于搜索被认为是面部图像区域的系统100的计算机系统包括:作为运算和程序控制单元的CPU(中央处理单元),用于执行各种控制和算术运算;用作主存储单元(主存储器)的RAM(随机访问存储器)41;作为只读存储器的ROM(只读存储器)42;诸如硬盘驱动器(HDD)或半导体存储器的辅助存储单元(第二存储器)43;包括监视器(LCD(液晶显示器))或CRT(阴极射线管)的输出设备44;输入设备45,其包括图像扫描仪、键盘、鼠标、诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)的图像拍摄传感器;以及输入/输出接口(IF)46,经由各种内部和外部总线47使上述部件相互连接,内部和外部总线47包括诸如PCI(外设部件互连)总线和ISA(工业标准结构:ISA)总线的处理器总线、存储器总线、系统总线和输入/输出总线。
并且将通过诸如CD-ROM、DVD-ROM或floppy(注册商标)盘这样的存储媒介,或者通过通信网络N(LAN、WAN、因特网等)提供的各种控制程序和数据安装到辅助存储设备43中,并且根据需要将其加载到主存储设备41上,从而CPU 40根据所加载的程序,使用各种资源来执行预定的控制和算术运算,并且经由总线47将所处理的结果(处理数据)输出到用于显示的输出设备44,并且根据需要来存储或更新由辅助存储设备43组成的数据库中的数据。
下面将描述用于搜索被认为是面部图像区域的方法的一个示例,所述方法使用具有上述配置的、用于搜索被认为是面部图像区域的系统100。
图3是实际示出了用于针对待搜索图像搜索被认为是要搜索图像的面部图像区域的方法的一个示例的流程图。在进行实际的识别中,需要在识别用SVM 30中预先执行对作为学习用抽样图像的面部图像和非面部图像进行学习的步骤。
该学习步骤通常包括:为作为抽样图像的各个面部图像和非面部图像生成特征向量,并且将所述特征向量连同有关所述图像是面部图像还是非面部图像的信息一起输入。当将要预先学习的学习用图像大于规定的像素数量例如“20×20”时,将所述图像的大小调整为“20×20”,然后通过特征向量生成部20的平均值/方差生成部26对“20×20”块中进行马赛克处理,以获取特征向量。
并且,如果为SVM 30以这种方式学习了抽样图像的特征向量,则首先在图3的步骤S101中选择在待搜索图像G内的识别区域。
同时,由于在待搜索图像G的哪一个位置包括有所述面部图像、以及是否包括有所述面部图像都是未知的,所以要彻底地选择并搜索该区域。
例如,如图4所示,当待搜索图像G是一对年轻男女夫妻的照片时,首先要选择的区域是范围从a(x0=0,y0=0)到b(x1=19,y1=19)的第一选择区域Z,假定开始点是待搜索图像G的左上角,则所述图像G的横向方向是x,纵向方向是y,而选择区域Z是大小等于抽样图像尺寸(即“20×20”像素)的矩形区域。
并且,如果以这种方式来选择对面部图像进行搜索的第一选择区域Z,则如图3所示,所述操作转到下一个步骤S102,以确定第一选择区域Z是否接近超过阈值的区域。然而,由于针对第一区域进行识别是不可能的,所以回答为“否”,并且所述操作转到步骤S103,以针对选择区域Z计算图像特征向量。此后,操作转到步骤S105,以利用SVM 30来为特征向量计算距识别超平面的距离。然后,判断特征向量的位置是否位于由SVM 30的识别超平面划分的非负值区域(面部区域)中(步骤S107)。
在该判断步骤S107中,如果判断在非负值区域中存在特征向量(是),则该操作直接跳到步骤S113,认为选择区域Z是存在面部图像的可能性高的区域。另一方面,如果判断在非负值区域中不存在特征向量,即特征向量的位置存在于由SVM 30的识别超平面划分的负值区域中(非面部区域)(否),则操作转到下一个步骤S109,以判断距针对该特征向量的识别超平面的距离是否大于或等于在负值区域中建立的阈值。
也就是说,在该实施例中,当所计算的选择区域Z的特征向量位于非负值区域中时,自然地将选择区域Z判断为面部区域。然而,即使在特征向量位于由SVM 30的识别超平面划分的负值区域(非面部区域)中时,也不直接将选择区域Z判断为非面部区域,而是在负值区域中为识别超平面提供一个阈值,并且仅当超过该阈值时,将选择区域Z判断为非面部区域。
因此,可能防止以下的错误判定:当在负值区域中存在由识别超平面划分的选择区域Z的特征向量时,尽管存在面部图像,却将区域Z排除。
在步骤S111,对存储有其中距识别超平面的距离大于该阈值的选择区域Z的表进行更新。然后,在步骤S113,对存储有所有识别区域(包括超过阈值的选择区域Z)的表进行更新。
此后,如果完成了对两个表格的更新处理,则操作转到步骤S115,以判断是否完成了对所有选择区域的识别处理。如果判断已完成了对所有选择区域的识别处理(是),则结束该过程。另一方面,如果判断没有完成对所有选择区域的识别处理(否),则操作返回到第一步骤S101,在该步骤中选择下一识别区域Z。然后,在步骤S102,判断选择区域Z是否接近于先前选择的区域Z,并且判断是否超过该阈值。如果答案为“是”,则操作返回到第一步骤S101,而省略用于区域Z的下面的步骤,其中进一步选择下一区域Z,并且重复相同的过程。
因此,对于存在面部图像的可能性非常低的区域来说,省略步骤S103之后的判断处理,从而可以更高速地搜索面部图像区域。
例如,如果如图4所示完成了用于第一选择区域Z(x0=0,x1=19,y0=0,y1=19)的识别处理,则如图5所示,将选择区域Z在待搜索图像G的横向(x方向)上移动了“5”个像素的区域选择为第二选择区域Z(x0=5,x1=24,y0=0,y1=19)(步骤S101)。
因此,操作直接转到步骤S102,以判断第二所选区域Z是否接近于先前(第一次)所选择的并且超过所述阈值的区域。如果答案为“是”,则操作返回到第一步骤S101,而省略用于那个区域的下面的步骤。在步骤S101,将沿横向(x方向)移动待搜索图像G“5”个像素的区域选择为第三选择区域(x0=10,x1=29,y0=0,y1=19),并且重复相同的过程。
也就是说,当在随后的判断流程判断第一选择区域Z(x0=0,x1=19,y0=0,y1=19)是会导致超过阈值的区域(存在面部图像的可能性很低)时,则直接执行第三选择区域Z(x0=10,x1=29,y0=0,y1=19)的判断处理,而省略用于第二区域Z(x0=5,x1=24,y0=0,y1=19)的后续步骤,这是考虑到接近于第一选择区域Z的第二选择区域Z(x0=5,x1=24,y0=0,y1=19)存在面部图像的可能性较低。因此,由于省略了对于存在面部图像的可能性较低的区域(第二选择区域Z)的不必要的处理,所以更高速地执行了面部图像搜索处理。
并且,如果完成了在待搜索图像G的上部的横向线的x方向上的区域选择,则如图6所示,将从第一选择区域Z(x0=0,x1=19,y0=0,y1=19)沿纵向(y方向)移动“5”个像素的区域选择为下一选择区域Z(x0=0,x1=19,y0=5,y1=24)。然后,将选择区域Z设置为横向线的下一个开始点,并且执行相同的过程。然后,选择沿横向(x方向)移动了“5”个像素的区域,重复相同的过程直到达到横向线的右端点为止。此外,将所述区域沿纵向(y方向)移动“5”个像素,到下一个横向线,并且依次重复相同的过程,直到到达待搜索图像G的右下区域为止。
从而,对针对待搜索图像G选择的所有选择区域Z执行了判断处理。
图7A示出了如步骤S113所述的已识别的选择区域表的一个示例,而图7B示出了如步骤S111所述的存储有超过所述阈值区域的识别选择区域表的一个示例。
也就是说,在图7A中,已经对4个选择区域(1、2、3和4)进行了识别。在图7B中,在4个选择区域(1、2、3、4)中,第二选择区域(x0=5,x1=24,y0=0,y1=19)超过阈值,即存在面部图像的可能性较低,并且将其从侯选中排除。图8示出了,当如图5所示在待图像G范围内沿横向(x方向)移动选择区域Z时,各个选择区域Z距识别超平面的距离(1/1000)一个示例。在图8中,线“0”表示识别超平面,其中该超平面的上部区域是面部图像(非负值区域),而该超平面的下部区域是非面部区域(负值区域)。同样,各个绘制点(黑点)表示针对各个选择区域的距识别超平面的距离。同样在图8中,非面部区域中的线“-1”是阈值。同样,横轴表示像素的数目,其中像素的实际数目是数值的5倍。
在图8中,由于仅有像素数“71”到“81”附近的区域超过作为识别超平面的线“0”,所以判断该区域中具有存在面部图像的很高的可能性。另一方面,在像素数“11”或小于“11”附近的区域、像素数“61”到“71”附近的区域、像素数“121”到“131”附近的区域、以及像素数“161”附近的区域都远远超过(低于)作为阈值的线“-1”,所以判断在这些区域附近存在面部图像的可能性很小。
因此,在图8的示例中,判断出:在除了像素数“11”或小于“11”附近的区域、像素数“61”到“71”附近的区域、像素数“121”到“131”附近的区域、以及像素数“161”附近的区域之外的其它区域中,存在面部图像的可能性较高,即3个区域,包括:1.具有像素数“11”到“61”的区域,2.具有像素数“71”到“121”的区域,以及3.具有像素数“131”到“161”的区域。很容易确定诸如从“区域2”到“区域1”到“区域3”这样的可能性的顺序。
图9示出了当如图6所示在待搜索图像G的范围内沿纵向(y方向)移动选择区域Z时,各个选择区域Z距识别超平面的距离(1/1000)的一个示例。在图9中,与图8相似,线“0”表示识别超平面,线“-1”表示阈值。而且,横轴的数值代表实际的像素数目的5倍。
在图9的示例中,由于仅有像素数“55”附近的区域超过作为识别超平面的线“0”,所以判断在该区域中存在面部图像的可能性高。另一方面,由于在像素数“55”附近以及像素数“145”附近区域两侧的区域都远远超过(低于)作为阈值的线“-1”,所以判断在这些区域附近存在面部图像的可能性很小。
因此,在图9的示例中,判断出:在像素数“55”附近以及像素数“145”附近区域的两侧的区域之外的其它区域中(即4个区域,包括:1.像素数“19”附近的区域,2.像素数“55”附近的区域,3.像素数“73”到“127”附近的区域,以及4.像素数“163”到“217”附近的区域)存在面部图像的可能性高。很容易确定诸如从“区域2”到“区域1”到“区域4”到“区域3”这样的可能性的顺序。
而且,由于已经判断了一个区域超过所述阈值而没有超过线“0”,该区域是在已经被判断为面部图像存在的可能性很低的区域附近,并且存在面部图像的可能性很小,所以如图3中的步骤S102所示,省略对所述区域(该区域是在已被判断为存在面部图像的可能性很小的区域附近)的判断处理不会存在问题。
在图8和图9的示例中,在某个位置处识别结果可以在被认为是面部图像的区域与被认为是非面部图像的区域之间改变,但可以发现:没有将距识别超平面的距离在被认为是非面部图像的区域中是较大的像素附近的区域判定为面部图像。
同样,当有关距识别超平面的距离的阈值是上述的“-1”时,在不存在面部图像的区域附近的像素距离可以是“50”个像素。
由于阈值与被认为是邻域的像素距离取决于学习用抽样图像、测试图像及核心函数的细节,所以它们可以适当地变化。
以这种方式,利用支持向量机30计算各个选择区域Z距识别超平面的距离,从而可以快速并准确地从待搜索图像G中搜索到存在人的面部图像的可能性高的区域。
尽管本发明的实施例旨在非常有利于搜索的“人的面部”,但是通过利用支持向量机、为各个选择区域Z计算距识别超平面的距离的方法,不仅可以将本发明应用于“人的面部”,而且还可应用于各种对象,例如“人的体形”、“动物的面部,姿态”、“诸如小汽车的交通工具”、“建筑物”、“植物”和“地形”等。
图10A和10B示出了“Sobel算子”,该算子是可应用于本发明的微分边缘检测算子中的一种。
图10A所示的算子(过滤器)调整在所关注像素周围的8个像素值中的、分别位于左右栏中的3个像素值,以强调横向边缘。而且,图10B所示的算子调整在所关注像素周围的8个像素值中的、分别位于上下行中的3个像素值,以强调纵向边缘,并且检测纵向边缘和横向边缘。
通过对由该算子生成的结果求平方和、以及对所述和求平方根来计算边缘强度,并且生成在各个像素中的边缘强度或者边缘方差,从而精确地检测图像特征向量。也可以应用诸如“Roberts”和“Prewitt”的其它微分边缘检测算子,或模板边缘检测算子来代替该“Sobel算子”。

Claims (10)

1、一种面部图像侯选区域搜索方法,用于从不知道其中是否包含有任何面部图像的待搜索图像中,搜索其中存在面部图像的可能性高的被认为是面部图像的区域,所述方法包括如下步骤:
在所述待搜索图像中依次选择预定区域,然后为所述选择区域生成图像特征向量;
将所述图像特征向量输入支持向量机,该支持向量机已针对多个学习用抽样图像预先学习了图像特征向量;并且
基于与识别超平面的位置关系,来判定在所述选择区域中是否存在面部图像。
2、根据权利要求1所述的面部图像侯选区域搜索方法,其中所述选择区域的所述图像特征向量是由所述支持向量机的所述识别超平面划分的非面部区域,并且当距所述识别超平面的距离大于或等于预定阈值时,判定在所述选择图像区域附近不存在面部图像。
3、根据权利要求1或2所述的面部图案侯选区域搜索方法,其中所述支持向量机的识别函数是非线性核心函数。
4、根据权利要求1到3中的任一项所述的面部图像侯选区域搜索方法,其中所述图像特征向量采用反映面部特征的各个像素的对应值。
5、根据权利要求1到3中的任一项所述的面部图像侯选区域搜索方法,其中通过采用有关各个像素中的边缘强度、各个像素中的边缘方差值、或者各个像素中的亮度值或这些值的组合来生成所述图像特征向量。
6、根据权利要求5所述的面部图像侯选区域搜索方法,其中通过采用Sobel算子来生成在各个像素中的所述边缘强度或所述边缘方差。
7、一种面部图像侯选区域搜索系统,用于从不知道其中是否包含有任何面部图像的待搜索图像中,搜索其中存在面部图像可能性高的被认为是面部图像的区域,所述系统包括:
图像读取部,用于读取所述待搜索图像内的选择区域和学习用抽样图像;
特征向量生成部,用于生成由所述图像读取部读取的、在所述待搜索图像内的所述选择区域的图像特征向量和所述学习用抽样图像的图像特征向量;
支持向量机,用于根据由所述特征向量生成部生成的、学习用抽样图像的图像特征向量,来获取识别超平面,并且基于由所述特征向量生成部生成的所述待搜索图像内的选择区域的图像特征向量与所述识别超平面之间的关系,来判定在所述选择区域中是否存在面部图像。
8、根据权利要求7所述的面部图像侯选区域搜索系统,其中所述支持向量机的识别函数是非线性核心函数。
9、一种面部图像侯选区域搜索程序,用于从不知道其中是否包含有任何面部图像的待搜索图像中,搜索其中存在面部图像的可能性高的被认为是面部图像的区域,所述程序能够使计算机执行如下步骤:
图像读取步骤,读取在所述待搜索图像内的选择区域和学习用抽样图像;
特征向量生成步骤,生成在所述图像读取步骤中读取的、所述待搜索图像内的所述选择区域的图像特征向量和所述学习用抽样图像的图像特征向量;
支持向量机,用于根据在所述特征向量生成步骤中生成的学习用抽样图像的图像特征向量来获取识别超平面,并且基于在所述特征向量生成步骤中生成的所述待搜索图像内的所述选择区域的图像特征向量与所述识别超平面之间的关系,来判定在所述选择区域中是否存在面部图像。
10、根据权利要求9所述的面部图像侯选区域搜索程序,其中所述支持向量机的识别函数是非线性核心函数。
CNA2004800116534A 2003-10-28 2004-10-15 用于搜索被认为是面部图像的区域的方法、系统和程序 Pending CN1781122A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003367210A JP2005134966A (ja) 2003-10-28 2003-10-28 顔画像候補領域検索方法及び検索システム並びに検索プログラム
JP367210/2003 2003-10-28

Publications (1)

Publication Number Publication Date
CN1781122A true CN1781122A (zh) 2006-05-31

Family

ID=34510286

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800116534A Pending CN1781122A (zh) 2003-10-28 2004-10-15 用于搜索被认为是面部图像的区域的方法、系统和程序

Country Status (5)

Country Link
US (1) US20050190953A1 (zh)
EP (1) EP1679655A4 (zh)
JP (1) JP2005134966A (zh)
CN (1) CN1781122A (zh)
WO (1) WO2005041128A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799923B (zh) * 2009-02-06 2012-11-28 精工爱普生株式会社 检测脸的特征部位的坐标位置的图像处理装置
CN104395913A (zh) * 2011-09-27 2015-03-04 英特尔公司 用于使用adaboost学习算法来检测面部特征点的位点的方法、设备和计算机可读记录介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100724932B1 (ko) * 2005-08-02 2007-06-04 삼성전자주식회사 얼굴 검출 장치 및 방법
JP4765523B2 (ja) * 2005-09-30 2011-09-07 セイコーエプソン株式会社 画像検出装置、画像検出方法および画像検出プログラム
JP2008027130A (ja) * 2006-07-20 2008-02-07 Seiko Epson Corp オブジェクト認識装置およびオブジェクト認識方法ならびにオブジェクト認識用プログラム
US7684651B2 (en) * 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
KR100869554B1 (ko) 2007-02-23 2008-11-21 재단법인서울대학교산학협력재단 영역 밀도 표현에 기반한 점진적 패턴 분류 방법
JP4882927B2 (ja) 2007-08-31 2012-02-22 セイコーエプソン株式会社 カテゴリ識別方法
KR101090269B1 (ko) 2010-02-19 2011-12-07 연세대학교 산학협력단 특징 추출 방법 및 그 장치
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
US8824742B2 (en) * 2012-06-19 2014-09-02 Xerox Corporation Occupancy detection for managed lane enforcement based on localization and classification of windshield images
US9842266B2 (en) 2014-04-04 2017-12-12 Conduent Business Services, Llc Method for detecting driver cell phone usage from side-view images
US9633267B2 (en) * 2014-04-04 2017-04-25 Conduent Business Services, Llc Robust windshield detection via landmark localization
US10048765B2 (en) * 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4590717B2 (ja) * 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
DE60213032T2 (de) * 2001-05-22 2006-12-28 Matsushita Electric Industrial Co. Ltd. Gerät zur Gesichtsdetektion, Gerät zur Detektion der Gesichtspose, Gerät zur Extraktion von Teilbildern und Verfahren für diese Geräte
FR2826343B1 (fr) * 2001-06-22 2003-09-26 Oreal Dispositif pour la pulverisation d'un produit, notamment sous forme de dose echantillon
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799923B (zh) * 2009-02-06 2012-11-28 精工爱普生株式会社 检测脸的特征部位的坐标位置的图像处理装置
CN104395913A (zh) * 2011-09-27 2015-03-04 英特尔公司 用于使用adaboost学习算法来检测面部特征点的位点的方法、设备和计算机可读记录介质

Also Published As

Publication number Publication date
JP2005134966A (ja) 2005-05-26
EP1679655A1 (en) 2006-07-12
EP1679655A4 (en) 2007-03-28
WO2005041128A1 (ja) 2005-05-06
US20050190953A1 (en) 2005-09-01

Similar Documents

Publication Publication Date Title
US11878433B2 (en) Method for detecting grasping position of robot in grasping object
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN1781122A (zh) 用于搜索被认为是面部图像的区域的方法、系统和程序
CN1901672A (zh) 照相机系统、信息处理装置及方法
CN1777915A (zh) 脸图像候选区域检索方法、检索系统以及检索程序
CN111292305A (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN1842125A (zh) 图像中目标的提取与缩放显示
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN1932847A (zh) 复杂背景下彩色图像人脸检测的方法
CN1894703A (zh) 模式识别方法、设备以及程序
CN1506903A (zh) 基于模板学习的自动指纹识别系统和方法
CN110619333B (zh) 一种文本行分割方法、文本行分割装置及电子设备
CN1977286A (zh) 对象识别方法及其设备
CN1879553A (zh) 检测心脏、胸廓和横隔膜边界的方法、装置和存储介质
CN113799124B (zh) 一种非结构化环境的机器人灵活抓取检测方法
CN1741039A (zh) 面部器官位置检测设备、方法及程序
CN105678806A (zh) 一种基于Fisher判别的生猪行为轨迹自动跟踪方法
CN1892702A (zh) 追踪装置
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN1667355A (zh) 图像识别方法和图像识别装置
Zheng et al. Improvement of grayscale image 2D maximum entropy threshold segmentation method
CN1573800A (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
JP2011165170A (ja) 対象物検出装置及びプログラム
CN109165592B (zh) 一种基于pico算法的实时可旋转的人脸检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication