CN101470802B - 物体检测装置和方法 - Google Patents

物体检测装置和方法 Download PDF

Info

Publication number
CN101470802B
CN101470802B CN2007103054997A CN200710305499A CN101470802B CN 101470802 B CN101470802 B CN 101470802B CN 2007103054997 A CN2007103054997 A CN 2007103054997A CN 200710305499 A CN200710305499 A CN 200710305499A CN 101470802 B CN101470802 B CN 101470802B
Authority
CN
China
Prior art keywords
image
unique point
pixel value
characteristic quantity
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007103054997A
Other languages
English (en)
Other versions
CN101470802A (zh
Inventor
艾海舟
黄畅
劳世红
山下隆义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Omron Corp
Original Assignee
Tsinghua University
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Omron Corp filed Critical Tsinghua University
Priority to CN2007103054997A priority Critical patent/CN101470802B/zh
Priority to JP2010540018A priority patent/JP4870231B2/ja
Priority to KR1020107016187A priority patent/KR101177626B1/ko
Priority to US12/810,449 priority patent/US8520955B2/en
Priority to PCT/CN2008/073699 priority patent/WO2009089720A1/zh
Priority to EP08870563.7A priority patent/EP2234388B1/en
Publication of CN101470802A publication Critical patent/CN101470802A/zh
Application granted granted Critical
Publication of CN101470802B publication Critical patent/CN101470802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了物体检测装置和方法。所述物体检测装置用于从图像中检测预定物体，所述物体检测装置包括一个或更多个强分类器，各强分类器包括一个或更多个弱分类器，各弱分类器包括特征提取部和函数映射部，所述特征提取部提取所述图像的特征量，所述函数映射部根据所述特征提取部提取的所述特征量，确定所述图像的弱分类，其特征在于，所述特征提取部包括：特征点提取部，从所述图像中提取预定的特征点对组合；像素值获取部，获得所述特征点对组合中的各特征点的像素值；特征点比较部，根据像素值获取部获得的像素值，对各特征点对中的两个特征点进行比较，获得逻辑值；以及特征量获得部，根据该逻辑值，确定所述图像的特征量。

Description

物体检测装置和方法
技术领域
本发明涉及一种物体检测装置和方法。 
背景技术
目前，以人脸检测(face detection)为代表的物体检测受到了越来越多的关注。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是，则返回人脸的位置、大小和姿态。人脸通常具有十分丰富的生物特征信息，可以用于人机交互、跟踪监控、身份识别等领域，而提取人脸相关信息的首要步骤正是定位人脸区域。这使得人脸检测技术具有非同寻常的意义和极为广泛的应用前景。人脸检测的实用性将取决于检测精度和检测速度二者的提高。 
在现有技术的检测器层次结构中，由上至下依次是：检测器、强分类器、弱分类器、特征提取以及函数映射。也就是说，现有技术的检测器包括多个强分类器，各强分类器包括多个弱分类器，各弱分类器包括特征提取部和映射部。特征提取部进行特征提取，而映射部则采用基于查找表(Look Up Table)的方法等方法进行弱分类。 
如以下现有文件所示，通常的脸部检测方法在进行特征提取时提取图像亮度差信息(差值)，弱分类器以此为基础进行是否是脸部的判断(也称之为脸部准确度或弱分类)，组合多个这些特征来制作出强分类器。 
●专利文献1 
美国专利申请公开第2002/0102024号说明书 
●专利文献2 
日本专利申请特开第2007-109229号 
●非专利文献1 
“Robust Real-Time Face Detection”，Paul A.Viola，Michael Jones， International Journal of Computer Vision No.572Vol.2，pp137-154(2004) 
●非专利文献2 
“高速全方向下的脸部检测”、山下劳等、图像识别/理解研讨会(MIRU2004)Vol.II，pp271-276 
下面对这些现有技术进行简要的说明。 
美国专利申请公开第2002/0102024号说明书公开了AdaBoost，AdaBoost是指一种组合多个识别能力较低的弱分类器，来获得提高了判断能力的强分类器的学习方法，该方法是一种整体学习(EnsembleLearning)方法。 
在AdaBoost这样的方法中，从事先准备的特征中选择适于识别的特征，制作出弱分类器。为了通过尽可能少的弱分类器来学习强分类器，重要之处在于事先准备好可提高识别能力的特征。 
日本专利申请特开第2007-109229号通过树结构的检测器来检测多个脸部朝向的装置，树结构的各节点是由使用了多个Haar特征的弱分类器构成的。 
由于在该发明中使用了Haar特征，因而通过使用经正规化的2个区域之间的亮度差的强度分布，来计算特征量。因此，在各个弱分类器的计算中使用加减法和除法，所以计算成本较大。 
在“Robust Real-Time Face Detection”和“高速全方向下的脸部检测”中，脸部检测方法的特点大都在于，着眼于相邻的2个区域，以区域之间的亮度差(差值)为基础来计算特征量。亮度差会因脸部亮度不同而不同。例如，如果脸部较暗，则亮度差较小，如果脸部较亮则亮度差较大。因此需要根据脸部明暗状态来校正亮度差。 
为了计算2个区域间的亮度差，需要计算各区域的平均亮度。在非专利文献1和2中，将积分图像用于高速计算。 
通过积分图像来进行明暗状态下的高速计算和校正，但对于积分图像而言，内存使用量较大，而且校正也会成为导致特征量计算耗时的原因。 
即，如图13所示，在三种不同亮度下的人脸下计算的Haar特征都 需要经过校正，成为标准特征量。在图13中，用白色框内的平均亮度减去黑色框内的平均亮度，获得亮度差。白色框表示粒子组合系数为正的粒子，黑色框表示粒子组合系数为负的粒子。 
综上所述，可知，在现有的脸部检测的通常手法中，使用着眼于脸部的亮度差(差值)的特征量来判断脸部准确度。无论脸部亮度发生何种变化，都需要进行特征量校正，以计算出标准的特征量，计算特征量需要耗费时间。 
发明内容
本发明鉴于现有技术的上述缺点和局限作出，提供了一种物体检测装置和方法，用于解决现有技术的一个或更多个缺点，至少提供一种有益的选择。 
为了实现以上目的，本申请提供了以下的发明。 
发明1、一种物体检测装置，所述物体检测装置用于从图像中检测预定物体，所述物体检测装置包括一个或更多个强分类器，各强分类器包括一个或更多个弱分类器，各弱分类器包括特征提取部和函数映射部，所述特征提取部提取所述图像的特征量，所述函数映射部根据所述特征提取部提取的所述特征量，确定所述图像的弱分类，其特征在于，所述特征提取部包括： 
特征点提取部，从所述图像中提取预定的特征点对组合； 
像素值获取部，获得所述特征点对组合中的各特征点的像素值； 
特征点比较部，根据像素值获取部获得的像素值，对各特征点对中的两个特征点进行比较，获得逻辑值；以及 
特征量获得部，根据该逻辑值，确定所述图像的特征量。 
发明2、根据发明1所述的物体检测装置，其特征在于，所述像素值为亮度。 
发明3、根据发明1或2所述的物体检测装置，其特征在于，所述特征点比较部对各特征点对中的两个特征点的像素值进行直接比较，根据其大小关系，根据预定的规则，获得逻辑值。 
发明4、根据发明1或2所述的物体检测装置，其特征在于，所述特征点比较部对各特征点对中的两个特征点的像素值进行累积比较，根据其大小关系，根据预定的规则，获得逻辑值。 
发明5、根据发明1或2所述的物体检测装置，其特征在于，所述特征点比较部对各特征点对中的两个特征点的像素值进行扩展累积比较，依据其大小关系，根据预定的规则，获得逻辑值。 
发明6、根据发明1所述的物体检测装置，其特征在于，所述物体检测装置还包括前处理部，所述前处理部用于对图像进行处理，生成适于进行特征量计算的图像。 
发明7、根据发明1所述的物体检测装置，其特征在于，所述物体检测装置包括搜索窗口确定部，所述搜索窗口确定部用于确定在所述图像中搜索物体的子窗口，所述特征提取部提取所述图像在所述子窗口中的部分的特征量。 
发明8、根据发明1所述的物体检测装置，其特征在于，所述物体检测装置包括图像缩放部，所述图像缩放部用于对所述图像进行缩放，所述特征提取部提取经缩放的所述图像的特征量。 
发明9、根据发明1所述的物体检测装置，其特征在于，所述特征点包括多个像素点，所述像素值获取部计算所述多个像素点的平均像素值作为所述特征点的像素值。 
发明10、根据发明1所述的物体检测装置，其特征在于，所述特征点包括多个像素点，所述物体检测装置包括缩小图像制作部，所述缩小图像制作部根据所述特征点包括的像素点数目，对所述图像进行缩小，所述特征提取部提取经缩小的所述图像的特征量。 
发明11、根据发明10所述的物体检测装置，其特征在于，所述缩小图像制作部制作出与倍率平方的数目相同的缩小图像，所述特征提取部提取适当位置的所述缩小图像的特征量。 
发明12、根据发明1所述的物体检测装置，其特征在于，所述物体检测装置包括多个强分类器，所述多个强分类器构成为瀑布式结构、嵌入型瀑布式结构、树形结构中的一种。 
发明13、根据发明1所述的物体检测装置，其特征在于，所述物体是人体、特定动物、汽车或人脸。 
发明14、一种物体检测方法，所述物体检测方法包括一个或更多个强分类步骤，各强分类步骤包括一个或更多个弱分类步骤，各弱分类步骤包括特征提取步骤和函数映射步骤，所述特征提取步骤提取待检测图像的特征量，所述函数映射步骤根据所述特征提取步骤提取的所述特征量，确定所述图像的弱分类，其特征在于，所述特征提取步骤包括： 
特征点提取步骤，从所述图像中提取预定的特征点对组合； 
像素值获取步骤，获得所述特征点对组合中的各特征点的像素值； 
特征点比较步骤，根据像素值获取步骤获得的像素值，对各特征点对中的两个特征点进行比较，获得逻辑值；以及 
特征量获得步骤，根据该逻辑值，确定所述图像的特征量。 
发明15、根据发明14所述的物体检测方法，其特征在于，所述像素值为亮度。 
发明16、根据发明14或15所述的物体检测方法，其特征在于，所述特征点比较步骤对各特征点对中的两个特征点的像素值进行直接比较，根据其大小关系，根据预定的规则，获得逻辑值。 
发明17、根据发明14或15所述的物体检测方法，其特征在于，所述特征点比较步骤对各特征点对中的两个特征点的像素值进行累积比较，根据其大小关系，根据预定的规则，获得逻辑值。 
发明18、根据发明14或15所述的物体检测方法，其特征在于，所述特征点比较步骤对各特征点对中的两个特征点的像素值进行扩展累积比较，依据其大小关系，根据预定的规则，获得逻辑值。 
发明19、根据发明14所述的物体检测方法，其特征在于，所述物体检测方法还包括前处理步骤，所述前处理步骤用于对图像进行处理，生成适于进行特征量计算的图像。 
发明20、根据发明14所述的物体检测方法，其特征在于，所述物体检测方法包括搜索窗口确定步骤，所述搜索窗口确定步骤用于确定在所述图像中搜索物体的子窗口，所述特征提取步骤提取所述图像在所述子窗口中的部分的特征量。 
发明21、根据发明14所述的物体检测方法，其特征在于，所述物体检测方法包括图像缩放步骤，所述图像缩放步骤用于对所述图像进行缩放，所述特征提取步骤提取经缩放的所述图像的特征量。 
发明22、根据发明14所述的物体检测方法，其特征在于，所述特征点包括多个像素点，所述像素值获取步骤计算所述多个像素点的平均像素值作为所述特征点的像素值。 
发明23、根据发明14所述的物体检测方法，其特征在于，所述特征点包括多个像素点，所述物体检测方法包括缩小图像制作步骤，所述缩小图像制作步骤根据所述特征点包括的像素点数目，对所述图像进行缩小，所述特征提取步骤提取经缩小的所述图像的特征量。 
发明24、根据发明23所述的物体检测方法，其特征在于，所述缩小图像制作步骤制作出与倍率的平方数目相同的缩小图像，所述特征提取步骤提取适当位置的所述缩小图像的特征量。 
发明25、根据发明14所述的物体检测方法，其特征在于，所述物体检测方法包括多个强分类步骤，所述多个强分类步骤构成为瀑布式结构、嵌入型瀑布式结构、树形结构中的一种。 
发明26、根据发明14所述的物体检测方法，其特征在于，所述物体是人体、特定动物、汽车或人脸。 
本发明可以取得如下的技术效果： 
·由于可仅凭像素值(亮度等)的大小比较结果(逻辑值)即可计算特征量，因而可实现非常高速下的特征量运算； 
·由于不使用乘法、除法，因而易于使其硬件化。 
附图说明
附图构成了本申请的一部分，与文字说明一起用来对本发明的原理进行解释说明。在附图中： 
图1是说明应用本发明的物体检测装置的结构示意图； 
图2示出了根据本发明的特征提取部的结构示意图； 
图3示出了提取的三对特征点； 
图4示出了现有技术的计算方法与本发明的计算方法的计算次数的比较； 
图5示出了搜索窗口的确定； 
图6示出了强分类器组合为瀑布式结构、嵌入型瀑布式结构和树形结构的示意图； 
图7是学习得到的识别器构成记录的表达示意图； 
图8示出了依据本发明的物体检测方法的一种实施方式的流程图； 
图9示出了依据本发明的物体检测方法的另一种实施方式的流程图； 
图10示出了依据本发明的物体检测方法的又一种实施方式的流程图； 
图11示例性地示出了缩小图像的错位制作； 
图12示出了本发明的物体检测用特征量不受光照变化影响，无需校正计算；以及 
图13示出了现有技术的物体检测用特征量受光照变化影响，需要校正计算。 
具体实施方式
下面结合附图对本发明的具体实施方式进行详细的说明。 
图1是说明应用本发明的物体检测装置的结构示意图。如图1所示，本发明的物体检测装置包括一个或更多个强分类器201(图中仅示出两个)，各强分类器包括一个或更多个弱分类器202(图中仅示出两个)，各弱分类器包括特征提取部203和函数映射部204。所述特征提取部203提取待从中检测特定物体的图像的特征量，所述函数映射部204根据所述特征提取部提取的所述特征量，确定所述图像的弱分类。 
图2示出了根据本发明的特征提取部的结构示意图。如图2所示，依据本发明的特征提取部203包括：特征点提取部301，从所述图像中提取预定的特征点对组合；亮度获取部302，获得所述特征点对组合中的各特征点的亮度；特征点比较部303，根据亮度获取部302获得的亮度，对各特征点对中的两个特征点进行比较，获得逻辑值；以及特征量获得部304，根据该逻辑值，确定所述图像的特征量。 
特征点提取部301从所述图像中提取预定的特征点对组合。 
如图3所示，例如其提取3对特征点。其中深色的为正点，浅色的为负点。正点和负点用于确定如后所述的比较的比较顺序，将对应(同序号)的正点与负点比较，大则逻辑值为1，否则为0(为0还为1取决于约定，也可以与上面的情况相反)。 
应该注意，这里的特征点可以对应于一个像素，也可以对应于几个像素的组合，例如4个像素的组合、16个像素的组合等，一般组合的像素数为4的整数次幂，对应于一块方形图像区域(比如1×1，2×2，4×4，8×8的图像块)，称之为粒子。如图所示，即使是同一粒子对中的各粒子的像素数也可以不同。 
亮度获取部302获得所述特征点对组合中的各特征点的亮度。对于所述特征点由多个像素组合而成的情况，亮度获取部302获得所述多个像素的平均亮度。出于说明的目的，在下面的说明中，假定亮度获取部302获得的正点的亮度分别为210、84和126，获得的负点的亮度分别为93、137和145。 
应该注意，本发明不限于获得上述的亮度，还可以使用灰度、辉度、抽出边缘时的明度等等其它的像素值。亮度获取部302对应于本发明的像素值获取部。 
特征点比较部303根据亮度获取部302获得的亮度，对各特征点对中的两个特征点进行比较，获得逻辑值。 
进行比较可以采用三种方法，在本文中分别称为直接比较法、累积比较法和扩展累积比较法。直接比较法进行特征点之间的直接比较，累积比较法进行特征点之间的累积比较，扩展累积比较法进行特征点之间的扩展累计比较。它们分别根据下面的公式1、2和3进行工作。 
b i ( S ) = sign ( g i + ( x ) - g i - ( x ) ) , i = 1 , . . . , n - - - ( 1 )
b i ( C ) = sign ( Σ s = 1 i ( g s + ( x ) - g s - ( x ) ) ) , i = 1 , . . . , n - - - ( 2 )
b i ( EC ) = sign ( Σ s = 1 i 2 s - 1 ( g s + ( x ) - g s - ( x ) ) ) , i = 1 , . . . , n - - - ( 3 )
式中的函数sign如下所示： 
Figure S2007103054997D00094
bi (s)、bi (c)、和bi (EC)分别表示通过直接比较法、累积比较法和扩展累积比较法所获得的针对第i对粒子的逻辑值。gi+ 和gi-分别表示第i对粒子中的正粒子和负粒子的像素值(例如亮度)。 
特征量获得部304根据特征点比较部303所得的逻辑值，确定所述图像的特征量。具体地，可以将逻辑值组合起来。 
因而，在上面的亮度的情况下，在特征点比较部303分别采用直接比较法、累积比较法和扩展累积比较法时，特征量获得部304所获得的结果Z如下式所示。 
直接比较    累积比较    扩展累积比较 
Figure S2007103054997D00095
因而，如上所述，本发明设计了一种特征量，其着眼于局部区域之间的像素值(例如亮度)大小的逻辑关系(在本文中，也称为大小关系)， 可以根据多个区域间的亮度大小的逻辑关系，综合判断脸部准确度。 
如果仅凭1对区域间的大小关系(是指两个区域间各自平均亮度的大小关系。区域按照一对一对的形式出现，如同Haar特征的白框区域和黑框区域，但不要求这两个框相邻)，则脸部与非脸部的判断能力较低，因而以多对区域间的大小关系为基础来统一判断。 
图4和图5对现有技术的物体检测方案和本发明的物体检测方案进行了比较。从中可以可看出，在特征形状相同的情况下，根据本发明的技术方案能够大幅度削减特征量运算成本。 
具体地，在现有技术的方案中，为了进行检测，需要： 
1.分别计算黑框■与相对应的白框□之间的亮度差(3次)； 
2.亮度差的合计(1次)； 
3.亮度差的校正(1次) 
而对于本发明，对于直接比较法而言，只需要分别进行黑框■1、2和3与相对应的白框□1、2和3的平均亮度大小比较(3次)。 
因而，在本发明中，着眼于明暗的大小关系(是逻辑值，即二值0或1)，而并非着眼于脸部的亮度差(差别量，整数值)。从上面的公式1、2和3可以看出，无论特征点比较部303采用直接比较法、累积比较法和扩展累积比较法中的哪种方法，特征量获得部304所获得的结果Z都不随输入图像的线性变化而改变，因而即使在脸部的亮度发生变化的情况下，其亮度大小的逻辑关系也不变，因此也无需进行特征量校正，可以大幅度削减特征量计算的时间。另外，本发明无需进行乘法和除法，因而可以削减计算成本。无需用于特征量校正的积分图像，因而可以削减内存使用量。图12示出了本发明的特征量的稳定性，其不受外界因素，例如照明等影响，不需校正。 
优选地，本发明还包括前处理部。前处理部生成适于计算在本发明中所用特征量的图像。还可以事先对图像进行伽玛校正等校正，以使脸部检测率提高。前处理部是任选的部件，可以没有。 
另外，本发明可以包括搜索窗口设定部。搜索窗口设定部确定用于进行搜索的窗口。以输入图像为基础，利用搜索窗口确定用于搜索对象 物体的搜索图像。既可以通过切取来制作搜索图像，也可以仅设定搜索图像的位置。对图像进行扫描来制作搜索图像。以设定的尺寸(即搜索窗口的尺寸)来扫描，当行进到画面终端的情况下，改变搜索图像的尺寸来进行扫描。搜索窗口既可以根据图像整体来渐渐变小，也可以根据较小尺寸而逐渐放大到图像整体。具体地，如图5所示。在确定了搜索图像的情况下，所述特征提取部提取所述搜索图像的特征量。 
利用特定大小的搜索窗口获得搜索图像可以减少本发明的物体检测装置的训练量，降低存储空间，增加其实用性。 
类似地，本发明还可以包括图像缩放部，对输入的图像进行缩放，缩放到预定的大小，所述特征提取部提取缩放后的图像的特征量。这同样可以获得减少本发明的物体检测装置的训练量，降低存储空间的优点，增加其实用性。 
如上所述，本发明的特征点可以是一个像素，也可以是多个像素的组合，在特征点为多个像素的组合的情况下，亮度获取部302获得所述多个像素的平均亮度。但计算平均亮度会降低物体检测速度。因此，可以以原图像(即输入的图像)为基础，准备好缩小为1/2的图像、缩小为1/4的图像、缩小为1/8的图像这4种图像。 
通过使用缩小图像，而可以通过如下参照1个像素来处理不同的矩形尺寸下的区域的平均像素值，因而能实现高速化。 
原图像的2×2的区域为1/2的图像下的1×1 
原图像的4×4的区域为1/4的图像下的1×1 
原图像的8×8的区域为1/8的图像下的1×1 
在制作缩小图像时，可以制作出与倍率数的平方相同数量的多个缩小图像。例如在制作1/2图像时，制作出4个。在制作1/4图像时，制作出16个，在制作1/8图像时，制作出64个。在制作不同的缩小图像时，错开制作缩小图像的开始位置。由此可以对于原图像的任意位置来参照所指定的区域尺寸的平均像素。这样因为所用的框都是正方形的，即1×1、2×2，…，8×8的，所以对应的缩小后的图像中相应位置上的像素的亮度即框中的多个像素的平均亮度，这样就免去了计算平均亮度的过程。图11 示例性地示出了缩小图像的错开制作。 
回到图1，函数映射部根据特征获得部获得的特征值(即位列值，在比较3个大小时，输出0-7这8个值)，根据事先学习所得的物体(脸部)准确度的分布，得到判断结果作为脸部准确度。具体地，在进行判断时，如果大于特定阈值则判定为候选，即其可能为物体(人脸)。强分类器根据其所包括的一个或更多个弱分类器的分类结果，判别该候选是否确实为物体(人脸)。在判别时，可以将所述一个或更多个弱分类器的分类结果(脸部准确性)或通过对各弱分类器所得的特征量进行组合，来判断该候选是否确实为物体(人脸)。 
例如如图6所示，还可以利用多个强分类器进行分类。这些强分类器例如可以构成为瀑布式结构、嵌入型瀑布式结构(把前一层结构的结果转交给下一层，在下一层利用到上一层结果的判断方法)、树形结构(判断多个类别，有分支或者通过多个路径)。这些结构可以对物体的各个角度、方位、遮挡、以及例如人脸的内在变化等进行辨别，可以提高适应性和辨别的准确性。具体地，可以参照2006年9月20日提交的中国专利申请第200610127853.7号。通过引用将该文献并入本文中。 
关于判定部判断为脸部的区域，进行如下处理，把位置和大小略微错开的区域统一为1个脸部。 
另外，在一个实施例中，本发明的物体检测装置还包括：结果输出部，用于输出物体检测结果；存储部，记录学习所得的分类器信息。 
本发明的学习装置如下进行处理。 
事先准备多个学习样本(正确图像、不正确图像)。 
把本发明中所用特征模式制作为特征库(就是形成粒子对及其构成的序列)。 
针对各个学习样本，根据各特征模式得到特征量(按照前面的计算方式)。 
从特征模式中选择出最能够判断正确图像与不正确图像的特征模式。 
以判断结果为基础，逐个更新学习样本的权重。 
重复恒定次数下的上述处理，作为强分类器。 
从不包含正确物体的图像之中提取出强分类器错误识别到的区域，收集了一定数量以上时，将它们作为不正确图像。 
使用正确图像与新的不正确图像重复进行上述处理，作为层级结构。 
为了进行检测处理，保持学习所得的分类器。 
图7的表示出了存储部所保持的数据结构的例子。 
在搜索处理中的某个位置上，使用记录于存储器中的检测器，判断是否为脸部。 
图8示出了依据本发明的一种实施方式的物体检测方法的流程图。 
如图8所示，首先在步骤801，从待进行特定物体检测的图像中提取预定的特征点对的组合。这些特征点对可以是图像的预定位置处的特征点对。该步骤例如由前述的特征点提取部执行。 
然后在步骤802，计算各特征点对中的特征点的像素值。所述像素值例如可以是亮度。该步骤例如由前述的亮度获取部执行。 
然后在步骤803中，对各对中的两个特征点的像素值进行比较，获的逻辑值。可以利用前述公式1-3中的任一公式所公开的方法进行这种比较。该步骤例如由前述的特征点比较部执行。 
然后在步骤804，根据比较的结果，获得特征量。该特征量是所获得的逻辑值的组合。该步骤例如由前述的特征量获得部执行。 
图9示出了依据本发明的另一种实施方式的物体检测方法的流程图。 
如图9所示，根据本发明的另一种实施方式的物体检测方法在图8所示的物体检测方法的基础上增加了前处理步骤901，用于对待进行特定物体检测的图像进行前处理，生成适于进行特征量计算的图像。在该步骤中还可以对图像进行伽玛校正等校正，以使脸部检测率提高。 
另外，本发明的该实施方式还可以包括确定搜索窗口的步骤902。在该步骤中确定在所述图像中搜索所述物体用的子窗口。图8的特征点提取等步骤都将针对图像在该搜索窗口中的部分。 
图10示出了依据本发明的又一种实施方式的物体检测方法的流程 图。 
如图10所示，根据本发明的又一种实施方式的物体检测方法在图8所示的物体检测方法的基础上增加了进行图像缩放处理的步骤1001，用于对待进行特定物体检测的图像进行缩放，缩放到预定的大小，后续步骤针对缩放后的图像进行。这可以减少本发明的物体检测装置的训练量(针对预定的图像大小进行训练即可)，降低存储空间，增加其实用性。 
另外，本发明的该实施方式还可以包括制作缩小的图像的步骤。如前所述，由此可以对于原图像的任意位置来参照所指定的区域尺寸的平均像素。免去了计算平均像素值(亮度)的过程。 
本领域的普通技术人员应该意识到，本发明的上述实施方式、实施例都是示例性的。上述的方法步骤的顺序可以根据实际情况进行调整，可以并行执行，也可以在不同的装置上进行也可在同一装置上进行。 
本领域的普通技术人员还应该意识到，上述的装置和方法可以通过专门硬件实现，也可以通过执行特定计算机程序的计算机或逻辑器件实现。该计算机程序可以使所述的计算机或逻辑器件实现上述方法或上述方法的各个步骤，或者可以使该计算机或逻辑器件作为上述装置或装置的部件而工作。该计算机程序以及存储该计算机程序的计算机可读存储介质也在本发明的保护范围内。所述的计算机可读存储介质例如可以是CD、VCD、DVD、磁盘、MO、闪存、磁带等等本领域技术人员可以想到的利用了磁、电、光或其任意组合的技术的各种存储介质。 
尽管本发明是利用以上的实施例进行说明的，但本发明的范围并不因此受限。本发明的范围由权利要求书及其等同物确定。 

Claims (20)

1.一种物体检测装置，所述物体检测装置用于从图像中检测预定物体，所述物体检测装置包括一个或更多个强分类器，各强分类器包括一个或更多个弱分类器，各弱分类器包括特征提取部和函数映射部，所述特征提取部提取所述图像的特征量，所述函数映射部根据所述特征提取部提取的所述特征量，确定所述图像的弱分类，其特征在于，所述特征提取部包括：
特征点提取部，从所述图像中提取预定的特征点对组合；
像素值获取部，获得所述特征点对组合中的各特征点的像素值；
特征点比较部，根据像素值获取部获得的像素值，对各特征点对中的两个特征点进行比较，获得逻辑值；以及
特征量获得部，根据该逻辑值，确定所述图像的特征量；
其中所述特征点比较部以以下方式中的一种获得所述逻辑值：
I、对各特征点对中的两个特征点的像素值进行直接比较，即根据以下公式(1)进行计算，根据计算结果与0的关系，获得二值逻辑值1或二值逻辑值0；
II、对各特征点对中的两个特征点的像素值进行累积比较，即根据以下公式(2)进行计算，根据计算结果与0的关系，获得二值逻辑值1或二值逻辑值0；
III、对各特征点对中的两个特征点的像素值进行扩展累积比较，即依据以下公式(3)进行计算，根据计算结果与0的关系，获得二值逻辑值1或二值逻辑值0；
gi+(x)-gi-(x)，i＝1，…，n            (1)
Σ s = 1 i ( g s + ( x ) - g s - ( x ) ) , i = 1 , · · · , n - - - ( 2 )
Σ s = 1 i 2 s - 1 ( g s + ( x ) - g s - ( x ) ) , i = 1 , · · · , n - - - ( 3 )
其中gi+和gi-分别表示第i对特征点对中的一个特征点和另一个特征点的像素值。
2.根据权利要求1所述的物体检测装置，其特征在于，所述像素值为亮度。
3.根据权利要求1所述的物体检测装置，其特征在于，所述物体检测装置还包括前处理部，所述前处理部用于在所述特征提取部提取所述图像的特征量之前对图像进行前处理。
4.根据权利要求1所述的物体检测装置，其特征在于，所述物体检测装置包括搜索窗口确定部，所述搜索窗口确定部用于确定在所述图像中搜索物体的子窗口，所述特征提取部提取所述图像在所述子窗口中的部分的特征量。
5.根据权利要求1所述的物体检测装置，其特征在于，所述物体检测装置包括图像缩放部，所述图像缩放部用于对所述图像进行缩放，所述特征提取部提取经缩放的所述图像的特征量。
6.根据权利要求1所述的物体检测装置，其特征在于，所述特征点包括多个像素点，所述像素值获取部计算所述多个像素点的平均像素值作为所述特征点的像素值。
7.根据权利要求1所述的物体检测装置，其特征在于，所述特征点包括多个像素点，所述物体检测装置包括缩小图像制作部，所述缩小图像制作部根据所述特征点包括的像素点数目，对所述图像进行缩小，所述特征提取部提取经缩小的所述图像的特征量。
8.根据权利要求7所述的物体检测装置，其特征在于，所述缩小图像制作部制作出与倍率平方的数目相同的缩小图像，所述特征提取部提取适当位置的所述缩小图像的特征量。
9.根据权利要求1所述的物体检测装置，其特征在于，所述物体检测装置包括多个强分类器，所述多个强分类器构成为瀑布式结构、嵌入型瀑布式结构和树形结构中的一种。
10.根据权利要求1所述的物体检测装置，其特征在于，所述物体是人体、特定动物、汽车或人脸。
11.一种物体检测方法，所述物体检测方法包括一个或更多个强分类步骤，各强分类步骤包括一个或更多个弱分类步骤，各弱分类步骤包括特征提取步骤和函数映射步骤，所述特征提取步骤提取待检测图像的特征量，所述函数映射步骤根据所述特征提取步骤提取的所述特征量，确定所述图像的弱分类，其特征在于，所述特征提取步骤包括：
特征点提取步骤，从所述图像中提取预定的特征点对组合；
像素值获取步骤，获得所述特征点对组合中的各特征点的像素值；
特征点比较步骤，根据像素值获取步骤获得的像素值，对各特征点对中的两个特征点进行比较，获得逻辑值；以及
特征量获得步骤，根据该逻辑值，确定所述图像的特征量，
其中所述特征点比较步骤以以下方式中的一种获得所述逻辑值：
I、对各特征点对中的两个特征点的像素值进行直接比较，即根据以下公式(1)进行计算，根据计算结果与0的关系，获得二值逻辑值1或二值逻辑值0；
II、对各特征点对中的两个特征点的像素值进行累积比较，即根据以下公式(2)进行计算，根据计算结果与0的关系，获得二值逻辑值1或二值逻辑值0；
III、对各特征点对中的两个特征点的像素值进行扩展累积比较，即依据以下公式(3)进行计算，根据计算结果与0的关系，获得二值逻辑值1或二值逻辑值0；
gi+(x)-gi-(x)，i＝1，…，n            (1)
Σ s = 1 i ( g s + ( x ) - g s - ( x ) ) , i = 1 , · · · , n - - - ( 2 )
Σ s = 1 i 2 s - 1 ( g s + ( x ) - g s - ( x ) ) , i = 1 , · · · , n - - - ( 3 )
其中gi+和gi-分别表示第i对特征点对中的一个特征点和另一个特征点的像素值。
12.根据权利要求11所述的物体检测方法，其特征在于，所述像素值为亮度。
13.根据权利要求11所述的物体检测方法，其特征在于，所述物体检测方法还包括前处理步骤，所述前处理步骤用于在所述特征提取步骤提取所述图像的特征量之前对图像进行前处理。
14.根据权利要求11所述的物体检测方法，其特征在于，所述物体检测方法包括搜索窗口确定步骤，所述搜索窗口确定步骤用于确定在所述图像中搜索物体的子窗口，所述特征提取步骤提取所述图像在所述子窗口中的部分的特征量。
15.根据权利要求11所述的物体检测方法，其特征在于，所述物体检测方法包括图像缩放步骤，所述图像缩放步骤用于对所述图像进行缩放，所述特征提取步骤提取经缩放的所述图像的特征量。
16.根据权利要求11所述的物体检测方法，其特征在于，所述特征点包括多个像素点，所述像素值获取步骤计算所述多个像素点的平均像素值作为所述特征点的像素值。
17.根据权利要求11所述的物体检测方法，其特征在于，所述特征点包括多个像素点，所述物体检测方法包括缩小图像制作步骤，所述缩小图像制作步骤根据所述特征点包括的像素点数目，对所述图像进行缩小，所述特征提取步骤提取经缩小的所述图像的特征量。
18.根据权利要求17所述的物体检测方法，其特征在于，所述缩小图像制作步骤制作出与倍率的平方数目相同的缩小图像，所述特征提取步骤提取适当位置的所述缩小图像的特征量。
19.根据权利要求11所述的物体检测方法，其特征在于，所述物体检测方法包括多个强分类步骤，所述多个强分类步骤构成为瀑布式结构、嵌入型瀑布式结构和树形结构中的一种。
20.根据权利要求11所述的物体检测方法，其特征在于，所述物体是人体、特定动物、汽车或人脸。
CN2007103054997A 2007-12-28 2007-12-28 物体检测装置和方法 Active CN101470802B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN2007103054997A CN101470802B (zh) 2007-12-28 2007-12-28 物体检测装置和方法
JP2010540018A JP4870231B2 (ja) 2007-12-28 2008-12-24 物体検出装置、方法
KR1020107016187A KR101177626B1 (ko) 2007-12-28 2008-12-24 물체 검출 장치 및 방법
US12/810,449 US8520955B2 (en) 2007-12-28 2008-12-24 Object detection apparatus and method
PCT/CN2008/073699 WO2009089720A1 (en) 2007-12-28 2008-12-24 Object checking apparatus and method
EP08870563.7A EP2234388B1 (en) 2007-12-28 2008-12-24 Object detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007103054997A CN101470802B (zh) 2007-12-28 2007-12-28 物体检测装置和方法

Publications (2)

Publication Number Publication Date
CN101470802A CN101470802A (zh) 2009-07-01
CN101470802B true CN101470802B (zh) 2012-05-09

Family

ID=40828264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007103054997A Active CN101470802B (zh) 2007-12-28 2007-12-28 物体检测装置和方法

Country Status (6)

Country Link
US (1) US8520955B2 (zh)
EP (1) EP2234388B1 (zh)
JP (1) JP4870231B2 (zh)
KR (1) KR101177626B1 (zh)
CN (1) CN101470802B (zh)
WO (1) WO2009089720A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP5573131B2 (ja) * 2009-12-01 2014-08-20 日本電気株式会社 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
CN102129569B (zh) * 2010-01-20 2016-01-20 三星电子株式会社 基于多尺度对比特征的对象检测设备和方法
JP6046948B2 (ja) * 2012-08-22 2016-12-21 キヤノン株式会社 物体検知装置及びその制御方法、プログラム、並びに記憶媒体
CN104298955A (zh) * 2013-07-15 2015-01-21 深圳市振邦实业有限公司 一种人头检测方法及装置
JP6452324B2 (ja) 2014-06-02 2019-01-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6432182B2 (ja) * 2014-07-02 2018-12-05 富士通株式会社 サービス提供装置、方法、及びプログラム
CN104375892B (zh) * 2014-11-14 2018-05-25 广东欧珀移动通信有限公司 一种智能快速启动实现人脸识别的方法、装置及移动终端
CN104850540A (zh) * 2015-05-29 2015-08-19 北京京东尚科信息技术有限公司 进行语句识别的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123148A (ja) * 1998-10-12 2000-04-28 Toyota Central Res & Dev Lab Inc 顔の特徴抽出装置
CN1731418A (zh) * 2005-08-19 2006-02-08 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
CN1952954A (zh) * 2005-10-09 2007-04-25 欧姆龙株式会社 特定被摄体检测装置及方法
CN101051346A (zh) * 2006-04-07 2007-10-10 欧姆龙株式会社 特定被摄体检测方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5915038A (en) * 1996-08-26 1999-06-22 Philips Electronics North America Corporation Using index keys extracted from JPEG-compressed images for image retrieval
JP4214595B2 (ja) 1999-01-27 2009-01-28 ソニー株式会社 画像変換装置および方法、並びに記録媒体
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP3696212B2 (ja) 2003-02-13 2005-09-14 株式会社東芝 パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
US7272242B2 (en) * 2004-04-26 2007-09-18 United States Of America As Represented By The Secretary Of The Navy Object detection in electro-optic sensor images
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
JP2007058722A (ja) 2005-08-26 2007-03-08 Fujifilm Corp 判別器の学習方法および対象判別装置ならびにプログラム
US7565015B2 (en) * 2005-12-23 2009-07-21 Xerox Corporation Edge pixel identification
CN100465996C (zh) 2006-07-20 2009-03-04 中山大学 一种jpeg图像合成区域的检测方法
JP4840066B2 (ja) * 2006-10-11 2011-12-21 セイコーエプソン株式会社 回転角度検出装置、および回転角度検出装置の制御方法
CN1996344A (zh) * 2006-12-22 2007-07-11 北京航空航天大学 人脸表情信息的提取方法及处理
US7983480B2 (en) * 2007-05-17 2011-07-19 Seiko Epson Corporation Two-level scanning for memory saving in image detection systems
CN101315670B (zh) * 2007-06-01 2010-08-11 清华大学 特定被摄体检测装置及其学习装置和学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123148A (ja) * 1998-10-12 2000-04-28 Toyota Central Res & Dev Lab Inc 顔の特徴抽出装置
CN1731418A (zh) * 2005-08-19 2006-02-08 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
CN1952954A (zh) * 2005-10-09 2007-04-25 欧姆龙株式会社 特定被摄体检测装置及方法
JP2007109229A (ja) * 2005-10-09 2007-04-26 Omron Corp 特定被写体検出装置及び方法
CN101051346A (zh) * 2006-04-07 2007-10-10 欧姆龙株式会社 特定被摄体检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武勃等.基于连续Adaboost算法的多视角人脸检测.《计算机研究与发展》.2005,第42卷(第9期),1612-1621. *

Also Published As

Publication number Publication date
EP2234388A1 (en) 2010-09-29
US8520955B2 (en) 2013-08-27
US20110007974A1 (en) 2011-01-13
WO2009089720A1 (en) 2009-07-23
EP2234388B1 (en) 2019-05-22
JP4870231B2 (ja) 2012-02-08
KR20100118974A (ko) 2010-11-08
KR101177626B1 (ko) 2012-08-27
EP2234388A4 (en) 2014-07-30
CN101470802A (zh) 2009-07-01
JP2011508325A (ja) 2011-03-10

Similar Documents

Publication Publication Date Title
CN101470802B (zh) 物体检测装置和方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN108090429B (zh) 一种分级前脸卡口车型识别方法
CN101673338B (zh) 基于多角度投影的模糊车牌识别方法
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN105373794A (zh) 一种车牌识别方法
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
CN111860291A (zh) 基于行人外观和步态信息的多模态行人身份识别方法和系统
CN106022231A (zh) 一种基于多特征融合的行人快速检测的技术方法
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN102214291A (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
Zang et al. Traffic sign detection based on cascaded convolutional neural networks
CN103136504A (zh) 人脸识别方法及装置
CN103886589A (zh) 面向目标的自动化高精度边缘提取方法
CN103413119A (zh) 基于人脸稀疏描述子的单样本人脸识别方法
US20060062460A1 (en) Character recognition apparatus and method for recognizing characters in an image
CN103048329A (zh) 一种基于主动轮廓模型的路面裂缝检测方法
CN105718866A (zh) 一种视觉目标检测与识别方法
CN103186790A (zh) 对象检测系统和方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN102663411A (zh) 一种目标人体识别方法
CN103336961A (zh) 一种交互式的自然场景文本检测方法
CN104504383A (zh) 一种基于肤色和Adaboost算法的人脸检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant