CN104412300A - 识别器生成装置及图案检测装置 - Google Patents

识别器生成装置及图案检测装置 Download PDF

Info

Publication number
CN104412300A
CN104412300A CN201280073924.3A CN201280073924A CN104412300A CN 104412300 A CN104412300 A CN 104412300A CN 201280073924 A CN201280073924 A CN 201280073924A CN 104412300 A CN104412300 A CN 104412300A
Authority
CN
China
Prior art keywords
recognizer
pattern
size
detected object
generating apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280073924.3A
Other languages
English (en)
Other versions
CN104412300B (zh
Inventor
R·贝内逊
M·马蒂亚斯
R·提莫夫特
L·梵谷
船山龙士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Catholique de Louvain UCL
Toyota Motor Corp
Original Assignee
Universite Catholique de Louvain UCL
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Catholique de Louvain UCL, Toyota Motor Corp filed Critical Universite Catholique de Louvain UCL
Publication of CN104412300A publication Critical patent/CN104412300A/zh
Application granted granted Critical
Publication of CN104412300B publication Critical patent/CN104412300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

识别器生成装置10构成为包括：特征量提取部13，其使用由对于检测对象而各尺寸互不相同的图案构成的至少2个图案组，提取构成各图案组的图案的特征量；以及识别器生成部14，其基于构成各图案组的图案的特征量，生成与各图案组对应的尺寸的识别器，该识别器用于在图像中对检测对象进行检测。

Description

识别器生成装置及图案检测装置
技术领域
本发明涉及一种识别器生成装置及图案(pattern)检测装置。
背景技术
以往，已知有利用图案辨认来检测图像所包含的检测对象的图案检测装置。图案检测装置具备由识别器生成装置(图案学习装置)生成的识别器。
然而，在图案检测处理中，有时要求检测图像所包含的各种尺寸的检测对象，例如远处的检测对象和近处的检测对象。在这样的情况下，在典型的检测处理中，将能够检测基准尺寸的检测对象的单一的识别器应用于多个尺寸的图像来检测多个尺寸的检测对象。在该处理中，按照检测对象的尺寸来扩大、缩小图像，通过将基准尺寸的识别器应用于扩缩图像来对检测对象进行检测。
另一方面，例如在下述非专利文献1中公开了对所述的检测处理进行了改良的检测处理。在该处理中，将单一的识别器应用于多个尺寸的图像来检测多个尺寸的检测对象。但是，在该处理中，针对一部分尺寸的检测对象，按照检测对象的尺寸来扩大、缩小图像，将基准尺寸的识别器应用于扩缩图像来进行检测，另一方面，针对剩余尺寸的检测对象，在对所述的扩缩图像进行了修正的基础上使用基准尺寸的识别器来进行检测。
在先技术文献
非专利文献
非专利文献1:皮洽·多拉、瑟奇·毕隆基和彼得罗·佩罗纳。《在西方最快的行人检测器》。英国机器视觉会议记录，第68.1-68.11页。英国机器视觉协会印刷，2010年9月。(Piotr Dollar,Serge Belongie,and PietroPerona.The Fastest Pedestrian Detector in the West.Proceedings of theBritish Machine Vision Conference,pages 68.1-68.11.BMVA Press,September 2010.)
发明内容
发明要解决的问题
然而，在所述的典型的检测处理中，图像的扩大、缩小和扩缩图像的特征量的计算需要较多的时间，因此无法使检测处理高速化。另外，即使在改良之后的检测处理中，虽然与典型的检测处理相比，图像的扩大、缩小和扩缩图像的特征量的计算所需的时间被缩短，但还是无法使检测处理充分高速化。
因此，本发明的目的在于提供一种用于使图案检测处理高速化的识别器生成装置及图案检测装置。
用于解决问题的方案
本发明的实施方式的识别器生成装置构成为包括：提取部，其使用由对于检测对象而各尺寸互不相同的图案构成的至少2个图案组，提取构成各图案组的图案的特征量；以及生成部，其基于构成各图案组的图案的特征量，生成与各图案组对应的尺寸的识别器，该识别器用于在图像中对检测对象进行检测。在此，与各图案组对应的多个尺寸可以是指数倍的关系。
由此，生成了用于从图像中检测互不相同的尺寸的检测对象的至少2个识别器，因此在检测互不相同的尺寸的检测对象时，不需要进行图像的扩大、缩小。因而，能够生成用于使图案检测处理高速化的识别器。
识别器生成装置可以还包括第2生成部，该第2生成部基于生成部所生成的识别器，生成与各图案组所对应的尺寸不同的尺寸、特别是与各图案组对应的多个尺寸的中间尺寸的用于图案组的识别器。由此，能够容易地生成与各图案组所对应的尺寸不同的尺寸的用于图案组的识别器，因此能够使识别器生成处理高速化。
第2生成部可以对由通过生成部生成的识别器利用的检测对象的识别基准进行修正、特别是基于检测对象的尺寸对由通过生成部生成的识别器利用的特征量的判定阈值进行修正来生成识别器。由此，能够基于生成部所生成的识别器容易地生成识别器。
识别器可以构成为将弱识别器多级连结而成的强识别器。而且，弱识别器可以构成为对图案中的任意大小的区域的特征量的合计值进行判定。另外，弱识别器可以构成为对图案中的任意大小的区域的特征量的合计值与图案中的任意大小的其它区域的特征量的合计值之间的运算结果进行判定。由此，能够提高识别能力以及识别速度。
弱识别器也可以通过使判定组合为树状而构成。由此，能够通过使相互关联的特征量的判定组合为树状来提高识别精度。
图案可以包括检测对象的图案、和与检测对象的图案接近或者相邻的检测对象外的图案，可以基于由检测对象的图案构成的图案组和由检测对象外的图案构成的图案组来生成用于检测对象的检测的识别器。在此，优选的是，在检测对象的图案为行人图案的情况下，检测对象外的图案为路面图案。此外，优选的是，检测对象的图案和检测对象外的图案是从同一图像中收集的图案。由此，能够考虑与检测对象外的图案的关联性来提高识别精度。
本发明的实施方式的图案检测装置构成为具备检测部，该检测部使用由所述的识别器生成装置的生成部生成的、用于各图案组的识别器，从图像中检测与各图案组对应的尺寸的检测对象。在此，检测对象例如为行人。
由此，为了从图像中检测互不相同的尺寸的检测对象而使用多个识别器，因此不需要进行图像的扩大、缩小，能够使图案检测处理高速化。
检测部可以使用基于由生成部生成的识别器而生成的识别器，检测与各图案组所对应的尺寸不同的尺寸、特别是与各图案组对应的多个尺寸的中间尺寸的检测对象。由此，在识别器生成时，能够容易地生成与各图案组所对应的尺寸不同的尺寸的用于图案组的识别器，因此能够使识别器生成处理高速化。
图案检测装置可以使用由多个拍摄装置求出的视差，测定在图像中与被检测的区域之间的距离，并根据所测定的距离来控制对检测对象进行检测的范围。由此，能够通过考虑与检测对象的尺寸和距离的关系使图案检测处理高速化。
发明的效果
根据本发明，能够提供一种用于使图案检测处理高速化的识别器生成装置及图案检测装置。
附图说明
图1是表示本发明的实施方式的图案检测处理的原理的模式图。
图2是表示识别器生成装置的结构的框图。
图3是表示识别器生成装置的工作的流程图。
图4是表示图案检测装置中的识别器的结构例的图。
图5是表示特征量的一例的图。
图6是表示生成主识别器和副识别器的图。
图7是表示将弱识别器多级连结而成的识别器的图。
图8是表示将具有树状构造的弱识别器多级连结而成的识别器的图。
图9是表示考虑了多个图案的组合的识别器的图。
图10是表示图案检测装置的结构的框图。
图11是表示图案检测装置的工作的流程图。
图12是表示用于图案检测的特征量分布的图。
图13是表示图案检测处理的一例的图。
图14是表示以往技术的图案检测处理的原理的模式图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细说明。此外，在附图的说明中，对同一元件标注同一附图标记，并省略重复说明。
首先，参照图14及图1，通过与以往技术的比较来对本发明的实施方式的图案检测处理的原理进行说明。以下，以对图像I所包含的各种尺寸的检测对象、特别是行人进行检测的情况为例来进行说明。
图14(a)是表示典型的以往的图案检测处理的原理的模式图。在该处理中，将能够检测基准尺寸的行人的单一的识别器C应用于多个(N个)尺寸的图像I，从而检测多个(N个)尺寸的行人。
通过将基准尺寸的识别器C应用于图像I来检测基准尺寸的行人。通过按照行人的尺寸来扩大、缩小图像I，并将基准尺寸的识别器C应用于扩缩图像I，从而检测基准尺寸以外的行人。例如，通过将识别器C应用于将图像I缩小至1/2而得到的1/2缩小图像I，从而检测基准尺寸的2倍尺寸的行人。
在该处理中，为了检测多个尺寸的行人，准备与多个尺寸的行人对应的多个图像I并计算各图像I的特征量。因而，在图案检测时，图像I的扩大、缩小和扩缩图像I的特征量的计算需要较多的时间。
图14(b)是表示对图14(a)的处理进行了改良的、以往的图案检测处理的原理的模式图。在该处理中，也将能够检测基准尺寸的行人的单一的识别器C应用于多个(N个)尺寸的图像I，从而检测多个(N个)尺寸的行人。
通过将基准尺寸的识别器C应用于图像I及扩缩图像I来检测多个尺寸中的一部分尺寸的行人。另一方面，在对所述的图像I及扩缩图像I进行了修正的基础上应用基准尺寸的识别器C来检测剩余尺寸的行人。例如，在对1/2缩小图像I进行了修正的基础上应用识别器C来检测基准尺寸的2.18倍尺寸的行人。
在该处理中，为了检测多个尺寸的行人，准备与一部分尺寸的行人对应的图像I，并计算各图像I的特征量。因而，与所述的处理相比，能够缩短图像I的扩大、缩小和扩缩图像I的特征量的计算所需的时间。但是，在该处理中，为了准备一部分图像I并计算各图像I的特征量，在图案检测时也会需要不少时间。
另一方面，图1(a)是表示本发明的实施方式的图案检测处理的原理的模式图。在该处理中，通过生成能够检测多个(N个)尺寸的行人的多个(N个)识别器C并应用于单一的图像I，从而检测多个尺寸的行人。此外，能够检测尺寸x(x：任意数)的行人的识别器C，能够检测尺寸x的行人并且也能够检测与尺寸x相距一定的容许范围内的尺寸的行人。
多个识别器C是以与行人的多个尺寸对应的方式基于特征量而生成的。此外，以下，将基于特征量而生成的识别器C称为主识别器。也即是，使用与基准尺寸的x倍(x：任意数)尺寸的行人对应的主识别器来检测基准尺寸的x倍尺寸的行人。此外，以下，将与基准尺寸的x倍尺寸的行人对应的识别器C称为x倍尺寸的识别器C。例如，将2.18倍尺寸的识别器C应用于图像I来检测基准尺寸的2.18倍尺寸的行人。
在该处理中，取代以往的处理那样将单一的识别器C应用于多个图像I，而是将多个识别器C应用于单一的图像I，因此在图案检测时图像I的扩大、缩小和扩缩图像I的特征量的计算不需要时间。由此，能够使图案检测处理高速化。此外，已确认在该处理中能够确保与以往的处理相比同等以上的检测精度。
而且，图1(b)是表示对图1(a)的处理进行了改良的、本发明的实施方式的图案检测处理的原理的模式图。在该处理中，通过生成能够检测多个(N个)尺寸中的一部分(N’个；N’<N)尺寸的行人的一部分(N’个)识别器C(主识别器)并应用于单一的图像I，从而检测包含剩余(N-N’个)的尺寸的多个尺寸的行人。
构成多个识别器的一部分的识别器C(主识别器)是与行人的一部分的尺寸对应而基于特征量生成的。而且，剩余的识别器C是与行人的剩余的尺寸对应而基于主识别器生成的。此外，以下，将基于主识别器而生成的识别器C称为副识别器。例如，将基于2倍尺寸的主识别器而生成的2.18倍尺寸的副识别器应用于图像I来检测基准尺寸的2.18倍尺寸的行人。
在该处理中，与图1(a)的处理同样，也将多个识别器C应用于单一的图像I，因此在图案检测时图像I的扩大、缩小和扩缩图像I的特征量的计算不需要时间。由此，能够使图案检测处理高速化。此外，已确认在该处理中也能够确保与以往的处理相比同等以上的检测精度。
另外，由于基于特征量而生成构成多个识别器的一部分的主识别器，并基于主识别器而生成构成多个识别器的剩余部分的副识别器，所以与基于特征量而生成多个主识别器的图1(a)的处理相比，在识别器生成时能够缩短识别器的生成所需的时间。在图1(a)的处理中，识别器生成处理占用不少的时间，因此提供用于利用图1(b)的处理使识别器生成处理高速化的识别器生成装置是非常有意义的。
接下来，参照图2对本发明的实施方式的识别器生成装置10的结构进行说明。图2是表示本发明的实施方式的识别器生成装置10的结构的框图。
识别器生成装置10用于生成构成图案检测装置20的多个识别器(classifier)。在此，图案检测装置20是用于检测图像所包含的各种尺寸的检测对象(object)的装置。此外，识别器是将图像中的检测对象候补识别为或判别为检测对象的装置，通过程序等来实现。
如图2所示，识别器生成装置10包括图案输入部11、尺寸设定部12、特征量提取部(提取部)13、识别器生成部(生成部)14、识别器推定部(第2生成部)15以及识别器存储部16。
识别器生成装置10是以CPU、ROM、RAM等为主体的计算机，其通过程序来工作。此外，图案输入部11、尺寸设定部12、特征量提取部13、识别器生成部14、识别器推定部15以及识别器存储部16也可以由2台以上的计算机构成。
图案输入部11用于输入对于检测对象而由多个图案构成的图案组。图案输入部11为了用于生成识别器而输入对于检测对象的正图案组和对于检测对象以外的对象的负图案组。正图案组由表示各种行人、即各种体型、姿势、朝向的行人的图像构成，负图案组由不包含行人的图像构成。所输入的图案组存储于未图示的存储装置并由特征量提取部13读取。
尺寸设定部12用于设定构成图案检测装置20的多个识别器的尺寸。识别器的尺寸与成为检测对象的行人的多个尺寸对应。此外，以下，将成为识别器生成处理的基准的尺寸称为基准尺寸(例如，纵128像素×横64像素)。
在图案检测装置20仅由主识别器构成的情况(图1(a)的情况)下，尺寸设定部12设定多个主识别器的尺寸(主尺寸)。另一方面，在图案检测装置20由主识别器和副识别器组合构成的情况(图1(b)的情况)下，尺寸设定部12设定构成多个识别器的一部分的主识别器的尺寸(主尺寸)和构成多个识别器的剩余部分的副识别器的尺寸(副尺寸)。
特征量提取部13使用由对于检测对象而各尺寸互不相同的图案构成的至少2个图案组，提取构成各图案组的图案的特征量。特征量提取部13提取用于生成主识别器的图案的特征量。
为了生成主识别器，提取构成主尺寸的图案组的图案的特征量。此外，主尺寸的图案组既可以通过将输入至图案输入部11的图案组的尺寸扩大、缩小至主尺寸而生成，也可以预先输入为主尺寸的图案组。特征量是针对正图案组和负图案组各自的图案而提取的。
例如，为了生成基准尺寸的识别器，提取构成基准尺寸的图案组的图案的特征量。同样，为了生成基准尺寸的2倍尺寸的识别器，提取构成基准尺寸的2倍尺寸的图案组的图案的特征量。被提取的特征量存储于未图示的存储装置并由识别器生成部14读取。
特征量是用于表示图案(图像)的特征的量，其通过特征区域、特征指标以及特征指标值而确定。特征区域是表示图案所包含的特征的区域，例如被定义为任意大小的矩形区域。特征指标是表示特征的种类的指标，例如是各方向的亮度梯度(量化方向：quantized orientation)、亮度梯度的大小(梯度幅值：gradient magnitude)、LUV色值等指标。特征指标值是特征区域中的特征指标的运算值(特征量的值)。作为特征量，例如使用积分通道特征(Integral Channel Feature)、哈尔特征(Haar-like feature)等。
识别器生成部14基于构成各图案组的图案的特征量，生成与各图案组对应的尺寸的识别器，该识别器用于在图像中对检测对象进行检测。识别器生成部14将特征量的提取结果应用于学习算法而生成主识别器。
正图案组以及负图案组各自的图案的特征量被分别应用于学习算法。作为学习算法，例如使用自适应增强算法(AdaBoost)等。主识别器具备利用特征区域、特征指标以及判定阈值而定义的识别基准。判定阈值是用于通过与特征指标值的比较来进行图案识别的判定的阈值。主识别器的生成结果被供给至识别器存储部16，在推定副识别器的情况下也被供给至识别器推定部15。
识别器推定部15基于由识别器生成部14生成的识别器，生成(推定)与各图案组所对应的尺寸不同的尺寸、特别是与各图案组对应的多个尺寸的中间尺寸的用于图案组的识别器。与各图案组对应的尺寸是主识别器的尺寸。
识别器推定部15基于主识别器来推定副识别器。副识别器是对主识别器的检测对象的判定基准进行修正、具体而言是基于检测对象的尺寸对主识别器的特征量的判定阈值进行修正而生成的。副识别器根据尺寸与副识别器的尺寸接近的主识别器而生成。副识别器的生成结果被供给至识别器存储部16。
识别器存储部16用于存储构成图案检测装置20的多个识别器。在识别器存储部16中存储有多个主识别器、或者构成多个识别器的一部分的主识别器和构成多个识别器的剩余部分的副识别器。所存储的识别器在图案检测时被从识别器存储部16读取而使用。
接下来，参照图3至图9对本发明的实施方式的识别器生成装置10的工作进行说明。
图3是表示识别器生成装置10的工作的流程图。图案输入部11输入用于识别器生成的图案组(步骤S11)。在图案输入部11，既可以被输入由基准尺寸的图案构成的图案组，也可以被输入由尺寸一定或者不定的图案构成的图案组。
尺寸设定部12设定构成图案检测装置20的识别器的尺寸(S12)。图4是表示图案检测装置20中的识别器C的结构例的图。
如图4(a)所示，在仅由主识别器Cm构成图案检测装置20的情况下，主识别器Cm的尺寸(主尺寸)例如在基准尺寸的1倍～4倍的范围内分级地设定为N＝17个尺寸。主尺寸具有例如基准尺寸的1倍、2倍、4倍的尺寸。主尺寸还被设定为将1倍至2倍之间以等比数列的方式划分为8段而得到的尺寸(1.09、1.19、1.30、1.41、1.54、1.68、1.83倍)、将2倍至4倍之间以等比数列的方式划分为8段而得到的尺寸(2.18、2.38、2.59、2.83、3.08、3.36、3.67倍)。换言之，对从基准尺寸到基准尺寸的4倍的尺寸，设定为将基准尺寸分级地乘以2的8次根而得到的尺寸。
另一方面，如图4(b)所示，在图案检测装置20由主识别器Cm和副识别器Cs组合构成的情况下，主识别器Cm的尺寸(主尺寸)被设定为例如基准尺寸的1倍、2倍、4倍的、具有指数倍的关系的N’＝3个尺寸。另外，副识别器Cs的尺寸(副尺寸)与图4(a)的情况同样被设定为将各主尺寸之间以等比数列的方式划分为8段而得到的N-N’＝14个中间尺寸。
返回图3的说明，当设定了识别器的尺寸时，首先，通过S13以及S14的处理而生成主识别器。特征量提取部13提取图案的特征量(S13)。识别器生成部14基于图案的特征量而生成主识别器(S14)。主识别器通过将特征量的提取结果应用于学习算法而生成。
特征量基于学习算法的学习结果而设定。特征区域设定为图案所包含的各种形状和/或大小的例如矩形的区域。特征区域设定为例如包含行人的部位的区域，特征指标值作为特征区域中的指标值(像素值)的合计值而求出。
或者，特征区域设定为图案所包含的例如各种形状和/或大小的矩形的多个小区域。此外，构成特征区域的多个小区域既可以设定为互不相同的形状和/或大小的区域，也可以设定为相互分离的区域。
图5是表示这样的特征量的一例的图。在图5所示的例子中，特征量f1的特征区域被设定为小区域A11、A12。例如，小区域A11被设定为包含行人的部位的区域，小区域A12被设定为包含行人的背景的区域。此外，这样的设定基准只不过是一例，各小区域A11、A12基于学习结果而设定。在该情况下，特征指标值作为各小区域A11、A12中的指标值(像素值)的合计值彼此之间的差值或者其它的运算结果而求出。
图6是表示主识别器和副识别器的生成的图。如图6(a)所示，主识别器Cm具备由特征区域、特征指标以及判定阈值τ定义的识别基准D。在图6(a)所示的例子中，作为识别基准D，定义有特征区域(表示图案所包含的特征的区域)并且定义有特征指标(L色值)以及判定阈值τ。主识别器Cm将用于图案检测的图像、即后述的检测窗Wd1、Wd2(参照图13)内的特征量作为输入，将利用判定阈值τ得到的特征指标值的判定结果(肯定或者否定)作为输出。
以下，图7至图9示出了识别器C的结构例、即图6所示的基本单位的组合例。图7是表示将弱识别器Cw多级连结而成的识别器C的图。
在图7所示的结构例中，识别器(强识别器)构成将具有互不相同的识别基准D1～Dn的n个弱识别器Cw连结而成的所谓的串联(cascade)。各识别基准D由特征区域、特征指标以及判定阈值定义。
使用识别器C的图案检测，通过将弱识别器Cw的识别基准D1～Dn依次应用于图像(检测窗内的图像)而进行。然后，例如在满足识别基准D1但不满足识别基准Di(1<i<n)的情况下，中止识别而生成否定应答(非行人)，在满足所有的识别基准D1～Dn的情况下，生成肯定应答(行人)。在该情况下，通过将用于识别在成为检测对象的检测对象中显著的特征量的弱识别器Cw配置于上游侧(图7的左侧)，从而能够通过识别的中止来提高识别速度。此外，识别器C的应答也可以通过对识别基准D1～Dn的判定结果进行加权相加而生成。
图8是表示将具有树状构造的弱识别器Cw多级连结而成的识别器C的图。在图8所示的结构例中，识别器C(强识别器)由具有互不相同的识别基准D1～Dn的n个弱识别器Cw连结而成。而且，例如弱识别器Cw的识别基准D1通过使下位的识别基准D11’～D13’组合为树状而定义。下位的识别基准D11’～D13’是用于分别识别特征量f1～f3中的基准。此外，下位的识别基准D’的树状构造并不限定于图8所示的例子。
使用识别器C的图案检测通过将弱识别器Cw的识别基准D1～Dn依次应用于图像(检测窗内的图像)而进行。在此，识别基准D的判定结果是基于下位的识别基准D’的判定结果而生成的。例如，关于识别基准D1的判定结果，在满足识别基准D11’且满足识别基准D12’的情况下成为肯定，在不满足识别基准D11’且不满足识别基准D13’的情况下成为否定。由此，使用下位的识别基准D’，能够将相互关联的特征量(例如行人的右腿的特征量和左腿的特征量)组合来提高识别精度。
图9是表示使用多个图案的组合的识别器C的图。在图9所示的结构例中，多个图案包括成为检测对象的第1图案P1(例如行人图案)和表示与第1图案P1接近或者相邻的区域的第2图案P2(例如路面图案)。此外，在识别器生成时，第1图案P1和第2图案P2优选从同一图像收集。
识别器C(强识别器)与图7同样地将分别具有树状构造的n个弱识别器Cw多级连结而成。在此，例如，识别基准Dp1的下位的识别基准Dp11’～Dp13’是用于识别第1图案P1的特征量f11～f13的基准，识别基准Dn2的下位的识别基准Dn21’～Dn23’是用于识别第2图案P2的特征量f21～f23的基准。由此，能够考虑与第2图案P2的关联性(例如行人图案和行人的影子的图案)来提高识别精度。
返回图3的说明，当生成了主识别器时，识别器存储部16存储所生成的主识别器(S15)。
接下来，在需要生成副识别器的情况(在S16为“是”的情况)下，利用S17的处理而生成副识别器。识别器推定部15基于主识别器而生成副识别器(S17)。此外，在不需要生成副识别器的情况(在S16为“否”的情况)下处理结束。
再次参照图6，如图6(b)所示，副识别器Cs通过对主识别器Cm的识别基准D进行修正而生成。换言之，识别基准D的特征区域根据主识别器Cm与副识别器Cs的尺寸比率s而扩大、缩小。另外，判定阈值τ通过乘以例如系数r而被修正为判定阈值τ’，所述系数r是通过将参数作为a、b并使r(s)＝a·sb而计算得到的。在此，参数a、b根据尺寸比率s是否超过1而不同，或者根据特征指标的种类也不同。
在此，在本实施方式中，已确认能够适当地生成主识别器的尺寸的0.5～2倍大小的尺寸的副识别器。例如，2.18倍尺寸的副识别器根据标准尺寸的2倍尺寸或者4倍尺寸的识别器中的至少一者而生成。此外，在理论上，根据特征量的种类，也能够适当地生成比主识别器的尺寸的0.5倍小的尺寸或者比主识别器的尺寸的2倍大的尺寸的副识别器。
因而，通过将主识别器的主尺寸设为指数倍、特别是0.5、1、2、4、8倍…等2的指数倍，能够适当地生成离主尺寸近的尺寸、特别是2个主尺寸之间的尺寸的副识别器。例如，在如图4(b)所示构成图案检测装置20的情况下，使用基准尺寸的1倍、2倍、4倍尺寸的主识别器Cm，能够适当地生成基准尺寸的0.5～8倍大小的尺寸的副识别器Cs。
返回图3的说明，当生成了副识别器时，识别器存储部16存储所生成的副识别器(S18)。
通过以上的识别器生成处理，例如在如图4(a)所示构成识别器C的情况下，提取构成主尺寸的图案组的图案的特征量，基于特征量的提取结果而生成与各尺寸对应的多个(N＝17个)主识别器Cm。
另一方面，在如图4(b)所示构成识别器C的情况下，提取构成主尺寸的图案组的图案的特征量，基于特征量的提取结果而生成与主尺寸对应的(N’＝3个；N’<N个)主识别器Cm。另外，基于与副尺寸各自相邻的主尺寸的主识别器Cm而生成与副尺寸对应的(N-N’＝14个)副识别器Cs。
如以上的说明，根据本发明的实施方式的识别器生成装置10，生成了用于从图像中检测互不相同的尺寸的检测对象的至少2个识别器，因此在互不相同的尺寸的检测对象的检测时，不需要进行图像的扩大、缩小。因而，能够生成用于使图案检测处理高速化的识别器。
另外，通过基于与各图案组对应的尺寸的识别器而生成与各图案组所对应的尺寸不同的尺寸、特别是与各图案组对应的多个尺寸的中间尺寸的用于图案组的识别器，从而能够容易地生成与这些尺寸对应的识别器。因而，能够使识别器生成处理高速化。
另外，通过将弱识别器多级连结而构成识别器，能够提高识别精度。另外，通过将弱识别器构成为对图案中的任意大小的区域的特征量合计值、或者在2个区域的特征量合计值彼此之间进行运算而得到的结果进行判定，能够提高识别速度。
另外，通过使判定组合为树状而构成弱识别器，能够使相互关联的特征量的判定组合为树状来提高识别精度。
另外，通过将识别器构成为基于检测对象的图案和与该图案接近或者相邻的检测对象之外的图案来识别检测对象的图案，能够考虑与检测对象之外的图案的关联性来提高识别精度。
接下来，参照图10对本发明的实施方式的图案检测装置20的结构进行说明。
图案检测装置20是用于检测图像所包含的各种尺寸的检测对象的装置。图案检测装置20安装于例如具备照相机等图像输入装置的车辆、机器人等。
图10是表示图案检测装置20的结构的框图。如图10所示，图案检测装置20包括识别器存储部21、图像输入部22、特征量计算部23、尺寸设定部24以及图案检测部(检测部)25。
图案检测装置20是以CPU、ROM、RAM等为主体的计算机，其通过程序来工作。此外，识别器存储部21、图像输入部22、特征量计算部23、尺寸设定部24以及图案检测部25也可以由2台以上的计算机构成。
识别器存储部21用于存储构成图案检测装置20的多个识别器。在识别器存储部21存储有多个主识别器、或者构成多个识别器的一部分的主识别器和构成多个识别器的剩余部分的副识别器。多个识别器通过图2的识别器生成装置10来准备并存储。
图像输入部22输入成为图案检测的对象的图像。例如，图像是可能存在行人的路上等对成为图案检测的对象的场所进行拍摄而得到的图像。所输入的图像被供给至特征量计算部23。
特征量计算部23计算用于图案检测的图像的特征量。图像的特征量作为例如各方向的亮度梯度、亮度梯度的大小、LUV色值等指标值的分布(特征量分布)而求出。特征量的计算结果存储于未图示的存储装置并由图案检测部25读取。
尺寸设定部24设定用于图案检测的识别器的尺寸。识别器的尺寸按照例如升序、降序、主尺寸优先、副尺寸优先等顺序而设定。
图案检测部25使用由识别器生成装置20的识别器生成部14生成的用于各图案组的识别器，从图像中检测与各图案组对应的尺寸的检测对象。图案检测部25使用基于由识别器生成部14生成的用于各图案组的识别器而生成的识别器，检测与各图案组所对应的尺寸不同的尺寸、特别是与各图案组对应的多个尺寸的中间尺寸的检测对象。
图案检测部25将各种尺寸的识别器应用于图像，并通过图案辨认对检测对象进行检测。图案检测部25从识别器存储部21读取所设定的尺寸的识别器并将其应用于图像。之后，在识别器对图像的应答(图案辨认的结果)为肯定的情况下，检测到行人。
接下来，参照图11至图13，对本发明的实施方式的图案检测装置20的工作进行说明。
图11是表示图案检测装置20的工作的流程图。如图11所示，图像输入部22输入成为图案检测的对象的图像(步骤S21)。
特征量计算部23计算用于图案检测的图像的特征量(S22)。在此，优选从用于图案检测的图像中生成表示特征指标的分布的如图12所示的特征量分布Df。
图12是表示用于图案检测的特征量分布Df的图。在图12所示的特征量分布Df中，如图12(a)所示，图像中的任意点p的值表示点p的左上区域所包含的像素值的合计值(积分值)。当假设如图12(b)所示的区域A、B、C、D时，图像的区域D所包含的像素的合计值通过参照区域A～D以如下的方式来计算。
也即是，特征量分布Df中的区域A的右下方的像素值1表示图像中的区域A的像素的合计值。同样地，区域B的右下方的像素值2表示区域A+B的像素的合计值，区域C的右下方的像素值3表示区域A+C的像素的合计值，区域D的右下方的像素值4表示区域A+B+C+D的像素的合计值。因而，图像的区域D所包含的像素的合计值容易计算为4+1-(2+3)。
返回图11的说明，当计算出特征量时，尺寸设定部24设定用于图案检测的识别器的尺寸(S23)。尺寸设定部24例如对从基准尺寸到基准尺寸的4倍的尺寸，设定为将基准尺寸分级地乘以2的8次根而得到的多个(N＝17)尺寸。
图案检测部25将各种尺寸的识别器应用于图像，并利用图案辨认对检测对象进行检测(S24)。图案检测通过在图像上使与识别器的尺寸对应的检测窗以纵横的方式移动、并将检测对象的识别基准应用于检测窗的区域而进行。图案检测例如既可以在将某一尺寸的识别器应用于图像内的整个区域之后再应用下一尺寸的识别器，也可以一边变换识别器的尺寸一边将其应用于图像内的整个区域。
在此，在应用识别基准时，通过将特征区域或者特征区域所包含的各小区域(参照图5)看作图12(b)的区域D，能够从特征量分布中容易地求出特征区域或者各小区域中的指标值的合计值。
通过以上的图案检测处理，设定了基准尺寸，如图13(a)所示，将基准尺寸的检测窗Wd在图像I上以纵横的方式移动而应用于图像I内的整个区域。在图13(a)所示的例子中，使用基准尺寸的识别器检测到远处的行人Pd1。
接下来，设定了基准尺寸的1.09倍的尺寸，将基准尺寸的1.09倍的检测窗在图像I上以纵横的方式移动而应用于图像I内的整个区域，接下来同样地应用基准尺寸的1.19倍、1.30倍、…4倍的识别器。在图13(b)所示的例子中，使用基准尺寸的1.54倍的识别器检测到近处的行人Pd2。由此，能够在图像I上检测到在基准尺寸的1倍至4倍的范围内N＝17个尺寸(也包含与各尺寸相距一定的容许范围的尺寸)的行人。
此外，图案检测装置20也可以构成为取代图像上的整个范围而仅将图案检测应用于特定的范围。因此，也可以在图像中测定与被检测的区域之间的距离，并根据所测定的距离来控制对检测对象进行检测的范围。对于测距而言使用例如利用多个照相机求出的视差。而且，基于测距结果，既可以针对每个被检测的区域来控制识别器的尺寸，也可以省略检测。
如以上的说明，根据本发明的实施方式的图案检测装置20，为了从图像中检测互不相同的尺寸的检测对象而使用多个识别器，因此不需要进行图像的扩大、缩小，能够使图案检测处理高速化。
另外，由于能够容易地生成与各图案组所对应的尺寸不同的尺寸、特别是与各图案组对应的多个尺寸的中间尺寸的用于图案组的识别器，所以能够使识别器生成处理高速化。
另外，通过根据在图像中与被检测的区域之间的距离来控制对检测对象进行检测的范围，能够考虑检测对象的尺寸与距离的关系来使图案检测处理高速化。
此外，所述的实施方式说明了本发明的实施方式的识别器生成装置及图案检测装置的最优的实施方式，本发明的实施方式的识别器生成装置及图案检测装置并不限定于本实施方式的记载。对于本发明的实施方式的识别器生成装置及图案检测装置，也可以在不脱离各技术方案所述的发明的主旨的范围内对本实施方式的识别器生成装置及图案检测装置进行变形、或者将其应用于其它的装置。
例如，在所述说明中，说明了使用本发明的原理从通常的图像中检测行人的情况，但是既可以从这些图像中检测行人以外的检测对象，也可以从红外线图像、距离图像等其它的图像中检测行人或者行人以外的检测对象。
附图标记说明
10…识别器生成装置，11…图案输入部，12…尺寸设定部，13…特征量提取部，14…识别器生成部，15…识别器推定部，16…识别器存储部，20…图案检测装置，21…识别器存储部，22…图像输入部，23…特征量计算部，24…尺寸设定部，25…图案检测部，C…识别器，Cm…主识别器，Cs…副识别器，Cw…弱识别器，I…图像。

Claims (18)

1.一种识别器生成装置，包括：
提取部，其使用由对于检测对象而各尺寸互不相同的图案构成的至少2个图案组，提取构成各图案组的所述图案的特征量；以及
生成部，其基于构成所述各图案组的所述图案的所述特征量，生成与所述各图案组对应的尺寸的识别器，该识别器用于在图像中检测所述检测对象。
2.根据权利要求1所述的识别器生成装置，其中，
所述识别器生成装置还包括第2生成部，该第2生成部基于由所述生成部生成的所述识别器，生成与所述各图案组所对应的尺寸不同的尺寸的用于图案组的识别器。
3.根据权利要求2所述的识别器生成装置，其中，
所述第2生成部生成用于与所述各图案组对应的多个尺寸的中间尺寸的图案组的识别器。
4.根据权利要求2或3所述的识别器生成装置，其中，
所述第2生成部对由通过所述生成部生成的所述识别器利用的所述检测对象的识别基准进行修正来生成识别器。
5.根据权利要求4所述的识别器生成装置，其中，
所述第2生成部基于所述检测对象的尺寸，对由通过所述生成部生成的所述识别器利用的所述特征量的判定阈值进行修正。
6.根据权利要求1～5中任一项所述的识别器生成装置，其中，
与所述各图案组对应的多个尺寸是指数倍的关系。
7.根据权利要求1～6中任一项所述的识别器生成装置，其中，
所述识别器构成为将弱识别器多级连结而成的强识别器。
8.根据权利要求7所述的识别器生成装置，其中，
所述弱识别器构成为对所述图案中的任意大小的区域的所述特征量的合计值进行判定。
9.根据权利要求7所述的识别器生成装置，其中，
所述弱识别器构成为对所述图案中的任意大小的区域的所述特征量的合计值与所述图案中的任意大小的其它区域的所述特征量的合计值的运算结果进行判定。
10.根据权利要求8或9所述的识别器生成装置，其中，
所述弱识别器通过使所述判定组合为树状而构成。
11.根据权利要求1～10中任一项所述的识别器生成装置，其中，
所述图案包括所述检测对象的图案、和与所述检测对象的图案接近或者相邻的检测对象外的图案，
基于由所述检测对象的图案构成的图案组和由所述检测对象外的图案构成的图案组，生成用于所述检测对象的检测的识别器。
12.根据权利要求11所述的识别器生成装置，其中，
在所述检测对象的图案为行人图案的情况下，所述检测对象外的图案为路面图案。
13.根据权利要求12所述的识别器生成装置，其中，
所述检测对象的图案和所述检测对象外的图案是从同一图像中收集的图案。
14.一种图案检测装置，其具备检测部，该检测部使用由权利要求1～13中任一项所述的所述识别器生成装置的所述生成部生成的、用于所述各图案组的识别器，从图像中检测与所述各图案组对应的尺寸的所述检测对象。
15.根据权利要求14所述的图案检测装置，其中，
所述检测部使用基于由所述生成部生成的所述识别器而生成的识别器，检测与所述各图案组所对应的尺寸不同的尺寸的所述检测对象。
16.根据权利要求15所述的图案检测装置，其中，
所述检测部检测与所述各图案组对应的多个尺寸的中间尺寸的所述检测对象。
17.根据权利要求14～16中任一项所述的图案检测装置，其中，
所述图案检测装置使用由多个拍摄装置求出的视差，测定在所述图像中与被检测的区域之间的距离，
所述图案检测装置根据所测定的所述距离来控制对所述检测对象进行检测的范围。
18.根据权利要求14～17中任一项所述的图案检测装置，其中，
所述检测对象为行人。
CN201280073924.3A 2012-06-14 2012-06-14 识别器生成装置及图案检测装置 Active CN104412300B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/065283 WO2013186906A1 (ja) 2012-06-14 2012-06-14 識別器生成装置およびパターン検出装置

Publications (2)

Publication Number Publication Date
CN104412300A true CN104412300A (zh) 2015-03-11
CN104412300B CN104412300B (zh) 2017-09-29

Family

ID=49757768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073924.3A Active CN104412300B (zh) 2012-06-14 2012-06-14 识别器生成装置及图案检测装置

Country Status (6)

Country Link
US (1) US9818025B2 (zh)
EP (1) EP2863359A4 (zh)
JP (1) JP6121997B2 (zh)
KR (1) KR101860616B1 (zh)
CN (1) CN104412300B (zh)
WO (1) WO2013186906A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6255296B2 (ja) * 2014-03-31 2017-12-27 セコム株式会社 対象識別装置
JP6884546B2 (ja) * 2016-10-19 2021-06-09 三菱重工業株式会社 属性判定装置、属性判定方法、コンピュータプログラム、及び記録媒体
US10699139B2 (en) 2017-03-30 2020-06-30 Hrl Laboratories, Llc System for real-time object detection and recognition using both image and size features
EP3782075A4 (en) * 2018-04-17 2021-12-29 HRL Laboratories, LLC System for real-time object detection and recognition using both image and size features

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003322521A (ja) * 2002-04-26 2003-11-14 Honda Motor Co Ltd 画像認識装置
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
US8594370B2 (en) * 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
JP4218711B2 (ja) 2006-08-04 2009-02-04 ソニー株式会社 顔検出装置、撮像装置および顔検出方法
JP2008102593A (ja) * 2006-10-17 2008-05-01 Seiko Epson Corp オブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラム
WO2009004901A1 (ja) 2007-06-29 2009-01-08 Olympus Corporation 顔検出装置、デジタルカメラ及び顔検出プログラム
JP4772756B2 (ja) * 2007-06-29 2011-09-14 オリンパス株式会社 撮像装置及び撮像プログラム
US8447100B2 (en) * 2007-10-10 2013-05-21 Samsung Electronics Co., Ltd. Detecting apparatus of human component and method thereof
JP5247480B2 (ja) * 2009-01-13 2013-07-24 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
JP5218458B2 (ja) * 2010-03-23 2013-06-26 株式会社デンソー 車両接近報知システム
EP2395452A1 (en) * 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
CN102096803B (zh) * 2010-11-29 2013-11-13 吉林大学 基于机器视觉的行人安全状态识别系统
US8953888B2 (en) * 2011-02-10 2015-02-10 Microsoft Corporation Detecting and localizing multiple objects in images using probabilistic inference

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAUL VIOLA ET AL: "Robust Real-Time Face Detection", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
PIOTR DOLLÁR ET AL: "The Fastest Pedestrian Detector in the West", 《PROCEEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 2010》 *

Also Published As

Publication number Publication date
US9818025B2 (en) 2017-11-14
CN104412300B (zh) 2017-09-29
WO2013186906A1 (ja) 2013-12-19
JP6121997B2 (ja) 2017-04-26
US20150139490A1 (en) 2015-05-21
KR101860616B1 (ko) 2018-05-23
EP2863359A4 (en) 2015-11-11
EP2863359A1 (en) 2015-04-22
KR20150017762A (ko) 2015-02-17
JPWO2013186906A1 (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
US9824294B2 (en) Saliency information acquisition device and saliency information acquisition method
US8675974B2 (en) Image processing apparatus and image processing method
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
US20120288148A1 (en) Image recognition apparatus, method of controlling image recognition apparatus, and storage medium
US8553983B2 (en) Personal authentication system and personal authentication method
WO2015101080A1 (zh) 人脸认证方法和装置
EP3762795B1 (en) Method, device, system and program for setting lighting condition and storage medium
CN109903331A (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN101004791A (zh) 一种基于二维偏最小二乘法的面部表情识别方法
CN104778474A (zh) 一种用于目标检测的分类器构建方法及目标检测方法
CN104484680B (zh) 一种多模型多阈值组合的行人检测方法
JP2008146539A (ja) 顔認証装置
CN109754018A (zh) 一种基于f范数的低秩局部保持投影的图像识别方法
CN102982321A (zh) 人脸库采集方法及装置
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
CN104412300A (zh) 识别器生成装置及图案检测装置
CN103984948A (zh) 一种基于人脸图像融合特征的软双层年龄估计方法
KR101905129B1 (ko) 서포트 벡터 머신 기반 분류 방법
JP5361576B2 (ja) 駐車場における車両の検知システムおよび検知方法
CN104392226B (zh) 指纹认证系统及方法
KR20080079443A (ko) 영상으로부터의 객체 검출 방법 및 장치
CN107564013A (zh) 融合局部信息的场景分割修正方法与系统
WO2018137226A1 (zh) 指纹提取方法及装置
CN109492652B (zh) 一种基于有序视觉特征单词库模型的相似图像判断方法
Liu et al. Automatic grape bunch detection in vineyards for precise yield estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant