CN103366171B - 物体检测方法和物体检测装置 - Google Patents

物体检测方法和物体检测装置 Download PDF

Info

Publication number
CN103366171B
CN103366171B CN201310121632.9A CN201310121632A CN103366171B CN 103366171 B CN103366171 B CN 103366171B CN 201310121632 A CN201310121632 A CN 201310121632A CN 103366171 B CN103366171 B CN 103366171B
Authority
CN
China
Prior art keywords
unit
detection
detecting
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310121632.9A
Other languages
English (en)
Other versions
CN103366171A (zh
Inventor
塚本健二
鸟居宽
真继优和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103366171A publication Critical patent/CN103366171A/zh
Application granted granted Critical
Publication of CN103366171B publication Critical patent/CN103366171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种物体检测方法和物体检测装置。物体检测方法包括：图像获取步骤，其获取包括目标物体的图像；分层图像生成步骤，其通过以多个不同的比例尺放大和/或缩小所述图像而生成多个分层图像；第一检测步骤，其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域；选择步骤，其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的至少一层；第二检测步骤，其检测在选中的分层图像中的目标物体的至少一部分区域作为第二检测区域；以及合成步骤，其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检测结果合成。

Description

物体检测方法和物体检测装置
技术领域
本发明涉及一种用于在执行高速检测处理的同时保持精确度的方法以及一种物体检测装置。
背景技术
作为从图像中检测目标的传统方法之一，有这样一种方法，该方法包括：利用预先学习的模型执行检测处理；基于检测结果限制进行目标搜索的层的范围；然后基于更准确的模型执行检测处理。
日本专利申请JP4498296讨论了这样一种方法，该方法包括：在分层图像上执行第一检测；然后针对下一个输入图像仅在从第一检测中检测出的相同的分层图像上执行第二检测。
但是，根据日本专利申请JP4498296讨论的方法，被搜索的层仅限于同一层，但是对于下一个输入图像同一层并不总是具有最高的被检测的可能性。另外，如果在第一检测和第二检测中使用了不同的模型，那么很可能检测到的目标中的层并不总是在第一检测和第二检测中的同一层，因此导致了这样的问题：整体上的检测精确度被降低了。
发明内容
本发明的一个方面提供了一种物体检测方法，其包括：图像的图像获取步骤，其获取包括目标物体；分层图像生成步骤，其通过以多个不同的比例尺放大和/或缩小所述图像而生成多个分层图像；第一检测步骤，其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域；选择步骤，其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的至少一层；第二检测步骤，其检测在选择步骤中选择的分层图像中的目标物体的至少一部分区域作为第二检测区域；以及合成步骤，其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检测结果合成。
根据本发明的示例性实施方式，可以加快整个处理而同时保持监测的精确度。
根据下述示例性实施例的详细描述并结合附图，本发明的其他特征及各方面将显而易见。
附图说明
附图包含在说明书中并构成说明书的一部分，附图描述了本发明的示例性实施方式、特征和各方面，并和说明书一起用于解释本发明的原理。
图1展示了本发明的第一示例性实施方式的物体检测装置的配置。
图2展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图3展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图4展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图5展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图6展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图7是流程图，展示了本发明的第一示例性实施方式的物体检测方法的处理步骤。
图8展示了本发明的第二示例性实施方式的物体检测装置的配置。
图9展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图10展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图11展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图12展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图13展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图14展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图15展示了本发明的第三示例性实施方式的物体检测装置的配置。
图16展示了本发明的第三示例性实施方式的物体检测方法的一个处理步骤。
具体实施方式
以下将结合附图详细描述本发明的各种示例性实施方式、特征以及各方面。
本发明的第一示例性实施方式的物体检测方法是用于稳定地检测存在于图像中的目标的方法。图像获取单元可以利用使用照相机、视频照相机或网络照相机捕捉的图像，或者利用预先捕捉并存储的图像。
下面根据下述例子来描述本示例性实施方式：所述例子捕捉包括人的图像，并检测用户希望从获取的图像中检测的人。在本示例性实施方式中，检测目标是人，但不限于此。例如，本发明也可用于检测动物或植物等。
图1展示了本示例性实施方式的物体检测装置100的轮廓。
如图1所示，本示例性实施方式的物体检测装置100包括图像获取单元101、特征量生成单元102、第一检测单元103、第一估计单元104、层限制单元105、第二检测单元106、第二估计单元107以及合成单元108。
图像获取单元101从照相机或者从预先捕捉的图像中获取图像。然后获取的图像被发送至特征量生成单元102。
特征量生成单元102通过以图2所示的预定比例尺放大/缩小图像获取单元101获取的图像生成分层图像201，并为每个分层图像生成一个特征量。这里，术语“分层图像”是指通过以预定比例尺放大/缩小图像生成的图像。生成的特征量可以是梯度方向直方图(HOG)特征量、类哈尔(Haar-like)特征量、色彩特征量或者通过将上述特征量合成而生成的图像。生成的层特征量被输入至第一检测单元103和层限制单元105。
第一检测单元103执行对每个分层图像201的特征量进行检测处理，所述特征量201由特征量生成单元102生成。
如图3所示，在本示例性实施方式中，第一检测单元103基于分层图像302的特征量检测人的头部周围区域，所述分层图像302是分层图像201的其中之一。这里所说的术语“头部周围区域”用于表示不仅包括人的头部、甚至还包括肩膀的区域。检测目标不限于人的头部周围区域，也可以是胳膊、躯干、腿等。另外，在本示例性实施方式中，检测处理是在单个图像层上执行的，但是也可以在更多或者所有分层图像上执行。
作为检测物体的方法，可利用已知的技术执行检测处理，例如《HOG+超向量机》(Super Vector Machine，SVM)(引用文献：《人体检测的梯度方向直方图(Histograms ofOriented Gradients for Human Detection)》，作者N.Dalal，发表于2005年的《计算机视觉与模式识别》(CVPR))、《隐式形状模型》(ISM)(《利用隐式形状模型分类和分割组合对象(Combined Object Categorization and Segmentation with an Implicit ShapeModel)》，作者B.Leibe，发表于2004年的“计算机视觉欧洲大会”(ECCV))或《隐生超向量机》(Latent-SVM)(《Object Detection with Discriminatively Trained Part BasedModels》，作者P.Felzenszwalb、R.Girshick、D.McAllester、D.Ramanan，发表于电气及电子工程师学会的《模式分析及机器智能》(PAMI)，2010年第9期第32卷)。第一检测单元103检测分层图像302的特征量的结果303，所述分层图像302是分层图像201的其中之一。
另外，第一检测单元103也可以执行检测处理，用于检测由图像获取单元101获取的图像上的目标物体的区域。在此情况下，第一检测单元103可利用已知的技术执行检测处理，例如模式匹配。
由第一检测单元103检测到的头部周围区域的检测结果303被发送给第一估计单元104。
第一估计单元104利用从第一检测单元103获取的检测结果303估计特定部分区域。在本示例性实施方式中，第一估计单元104估计头部区域作为特定部分区域。正如下文所述，术语“头部区域”仅用于表示头部，而上面描述的头部周围区域是指不仅包括头部、甚至还包括肩膀的区域。在本示例性实施方式中，第一检测单元103检测头部周围区域，而第一估计单元104仅估计头部区域。但是，不用说，如果第一检测单元103检测到了头部周围区域以外的区域，那么第一估计单元104估计的区域就不再是头部区域了。
下文将描述用于估计头部区域的方法。作为估计头部区域的方法，可以利用头部周围区域的检测结果303的位置坐标，根据下列等式(1)计算出头部区域：
在等式(1)中，x1和y1代表检测结果303的左上角的坐标，x2和y2代表检测结果303的右下角的坐标。
在等式(1)中，“A”代表以矩阵形式表达的检测结果，所述矩阵由包括从头部到肩膀的区域的根滤波器以及多个各自代表根滤波器的一部分的部分滤波器3031-3034组成。另外，在检测结果被转换成矩阵形式时，能够计算出每个部分滤波器3031-3034的中心坐标以及被检测位置处的检测结果303的中心坐标之间的差值。
作为差值的坐标的横坐标由检测结果303的宽度w标准化，纵坐标由检测结果303的高度h标准化。各个部分滤波器3031-3034的标准化后的中心坐标x，y以矩阵形式表示(行包括一个检测结果的每个部分滤波器的标准化后的坐标，列包括每个检测结果)。也就是等式(1)中的“A”。
在等式(1)中，“p”代表基于通过对学习数据以及头部的实际尺寸执行检测处理而得到的检测结果由用于头部区域的尺寸的线性预测的各种系数(与标准化后的各个部分滤波器的中心坐标相乘的一系列系数)组成的矢量。术语“学习数据”是指一组图像，每张图像都显示预先准备的人的图像。
如图3所示，第一估计单元104估计头部检测结果303中的头部区域，然后可以获取估计结果304。作为估计结果的头部区域304被输出至层限制单元105以及合成单元108。
基于特征量生成单元102生成的特征量以及由第一估计单元104估计的头部区域304，层限制单元105判定第二检测单元106将执行检测处理的层。作为判定方法，层限制单元105利用等式(2)计算所述层。
图4展示了作为检测结果的直方图的分布图表405，在所述检测结果中，关于上述学习数据，横轴对应于第一检测单元103的检测结果的层，纵轴对应于第二检测单元106检测到的层。
另外，图4展示了作为检测结果的直方图的分布图表406，在所述检测结果中，关于上述学习数据，横轴对应于第一估计单元104估计的头部区域的宽度尺寸中的线性预测估计的层，纵轴对应于第二检测单元106检测到的结果的层。
如图4所示，基于头部区域的尺寸显示适合检测的层的分布。可以确定，利用头部区域估计结果层的分布在图表中被限制了。根据上述确定的内容，基于从学习数据中获取的分布图表406，利用最小平方法能够计算出系数coeff。
在等式(2)中，“A”代表通过求学习数据中的头部区域的尺寸的对数得到的结果组成的矩阵，“B”代表由第二检测单元106的检测结果中的层组成的矩阵。
利用计算出的系数coeff，根据等式(3)可确定层。
层＝coeff1*log(宽度)+coeff2*log(高度)+coeff3
(3)
在等式(3)中，“宽度”代表头部区域的宽度，“高度”代表头部区域的高度。
仅对分层图像507的特征量执行检测处理，分层图像507的特征量与从等式(3)获得的层一致或最接近。不对层509的特征量执行检测处理，层509是不同于分层图像507的层。
被限制的分层图像507被输出至第二检测单元106。
基于特征量生成单元102和层限制单元105，第二检测单元106仅对被限制的分层图像507的特征量执行检测处理。本示例性实施方式检测人的整个身体。更不用说，由第二检测单元106检测的目标不限于人的整个身体。
作为检测处理方法，通过滑动模型508的窗口在各个位置处执行检测处理，所述模型508已经通过学习方法被预先学习过，例如SVM或增强法。
如图6所示，通过检测处理获取检测结果610-612。获取的检测结果610-612被输出至第二估计单元107。
第二估计单元107估计第二检测单元106获取的、以矩形区域的形式表示的各个检测结果610-612中的特定部分区域。在本示例性实施方式中，第二估计单元107估计头部区域作为特定部分。更不用说，由第二估计单元107估计的特定部分不限于头部区域，也可以是和第一估计单元104估计的区域相同的区域。这是因为合成单元108(下文将描述)能够将第一估计单元104估计的区域和第二估计单元107估计的区域合成。
作为估计的方法，可以通过第一估计单元104利用等式(1)计算出特定部分区域。如图6所示，以计算出的矩形区域表示的头部区域620-622被输出至合成单元108。
合成单元108将第一估计单元104获取的头部区域203以及第二估计单元107获取的头部区域620-622合成，然后输出最终的检测结果。
作为合成方法，合成单元108计算头部区域203和各个头部区域620-622之间的重合度，然后选择具有最高重合度的头部区域作为从其中检测相同目标的帧。
如图6所示，头部区域203和头部区域620具有最高重合度，因此选择这两个检测结果作为一个组合，然后检测结果610被作为最终检测结果输出。检测结果611-612被判定为错误检测，因此不会被输出。
本示例性实施方式的配置方式就是这样。
下面，结合图7所示的流程图描述本示例性实施方式的物体检测装置100执行的处理。本流程图的程序代码被存储在未示出的存储器中，例如随机存取存储器(RAM)或只读存储器(ROM)，并由未示出的中央处理单元(CPU)等读取、执行。
在步骤S100中，开始整个处理。首先，处理推进至步骤S101，在该步骤中图像获取单元101从照相机或图像文件中等获取图像。获取到的图像被发送至特征量生成单元102。然后，处理推进至步骤S102。
在步骤S102中，通过对图像获取单元101获取的图像执行图像放大/缩小处理，特征量生成单元102生成分层图像201，并生成各分层图像的特征量。
生成的特征量可以是HOG特征量、类哈尔特征量或色彩特征量。
作为上述处理的结果，可以获得层特征量。生成的特征量被输出至第一检测单元103以及层限制单元105。然后，处理推进至步骤S103。
在步骤S103中，第一检测单元103执行检测处理。第一检测单元103对分层图像302的特征量执行检测处理，所述特征量是分层图像201的特征量之一。
另外，第一检测单元103可对分层图像201的生成的特征量执行检测处理，或例如通过模式匹配对图像获取单元101获取的图像执行检测处理。
作为检测方法，第一检测单元103利用已知的技术，例如HOG+SVM或ISM。另外在本示例性实施方式中，第一检测单元103检测人的头部区域。但是，本发明不限于此。经过检测处理获得的检测结果303被输出至第一估计单元104。然后，处理推进至步骤S104。
在步骤S104中，判定是否可以获得第一检测结果。如果没有检测结果(在步骤S104中为“否”)，那么处理结束。如果有检测结果(在步骤S104中为“是”)，那么处理推进至步骤S105。
在步骤S105中，第一估计单元104从第一检测单元103获取的检测结果303中估计特定部分区域。
在本示例性实施方式中，第一估计单元104估计头部区域作为特定部分。但是在本发明中，特定部分区域不限于头部区域。第一估计单元104利用等式(1)估计检测结果303中的头部区域304。
完成整个头部区域估计处理后，获取的头部区域304被输出至层限制单元105和合成单元108。然后，处理推进至步骤S106。
在步骤S106中，层限制单元105限制这样的层：在该层上，利用第一估计单元104估计的头部区域304，第二检测单元106将对特征量生成单元102生成的特征量执行检测处理。
作为限制层的方法，层限制单元105利用等式(2)计算系数，同时通过合成第一估计单元104和第二估计单元107获取的结果设置最终结果，作为学习数据，并根据等式(3)计算头部区域的线性预测中的层和所述系数。
这样就有可能确定最适合于第二检测单元106执行检测处理的层的特征量。如图5所示，根据确定的层将被执行检测处理的分层图像507的特征量和未被执行检测处理的分层图像509的特征量分离。然后，处理推进至步骤S107。
在步骤S107中，第二检测单元106执行检测处理。
作为检测方法，通过滑动模型508的窗口在各个位置处执行检测处理，所述模型508已经通过学习方法被预先学习过，例如SVM或增强法。另外，在本示例性实施方式中，所述模型检测人的整个身体，但本发明不限于人的整个身体。
如图6所示，经过第二检测单元106的检测处理后，获取检测结果610-612。检测结果610-612被输出至第二估计单元107。然后，处理推进至步骤S108。
在步骤S108中，第二估计单元107从第二检测单元106获取的检测结果610-612中的每一个估计特定部分。
在本示例性实施方式中，第二估计单元107估计头部区域作为特定部分，但是本发明不限于此。作为估计头部区域的方法，第二估计单元107通过第一估计单元104利用等式(1)执行估计。
如图6所示，由第二估计单元107估计的头部区域估计结果610-612被获取。获取的头部区域估计结果610-612被输出至合成单元108。然后，处理推进至步骤S109。
在步骤S109中，合成单元108将第一估计单元104估计的头部区域203和第二估计单元107估计的头部区域620-622合成。
作为合成处理方法，合成单元108计算头部区域203和头部区域620-622中的每一个之间的重合度，然后选择具有最高重合度的合成结果作为从其中检测相同目标的头部帧。
如图6所示，头部区域203和头部区域620具有最高重合度，因此选择这两个检测帧作为一个组合，然后检测结果610被作为最终检测结果输出。另外，检测结果611-612被合成单元108作为虚假检测处理。
然后，整个处理结束。
图8展示了本发明第二示例性实施方式的物体检测装置800的轮廓。
如图8所示，物体检测装置800包括图像获取单元801、特征量生成单元802、具有多个检测模型的第一检测单元803、第一估计单元804、层限制单元805、具有多个检测模型的第二检测单元806、第二估计单元807以及合成单元808。
图像获取单元801从照相机或者从预先捕捉的图像中获取图像901。然后获取的图像901被发送至特征量生成单元802。
特征量生成单元802通过以图10所示的预定比例尺放大/缩小图像获取单元801获取的图像901生成分层图像1002，并为分层图像1002的每层生成一个特征量。生成的特征量可以是HOG特征量、类哈尔(Haar-like)特征量或色彩特征量。
生成的层特征量被输入至第一检测单元803和层限制单元805。
第一检测单元803对特征量执行检测处理。如图10所示，第一检测单元803具有多个人的头部区域作为模型，并通过滑动每个模型的窗口在每个位置处对分层图像1001的特征量执行检测处理，从而检测目标物体的区域。在本示例性实施方式中，第一检测单元803检测人的头部周围区域。这里所说的术语“头部周围区域”用于表示不仅包括人的头部、甚至还包括肩膀的区域。检测目标不限于人的头部周围区域，也可以是胳膊、躯干、腿等。
利用在第一示例性实施方式中描述的已知技术检测头部区域。
第一检测单元803检测分层图像1001的特征量中的结果1104-1106。检测结果1104-1106被发送至第一估计单元804。
第一估计单元804基于第一检测单元803获取的头部周围区域的检测结果1104-1106估计特定部分区域。在本示例性实施方式中，第一估计单元804估计头部区域，但本发明不限于此。
作为估计头部区域的方法，可以利用第一检测单元803的检测结果的位置坐标通过以下等式(4)获得头部区域：
在等式(4)中，x1和y1代表检测结果的左上角的坐标，x2和y2代表检测结果的右下角的坐标。
在等式(4)中，“A”代表矩阵，所述矩阵是基于中心坐标和根滤波器的尺寸将单次检测结果中的部分滤波器的左上角的坐标和右下角的坐标标准化处理后得到的值转换而来的。另外，“Pm”代表从学习中获取的系数组成的矢量(“m”代表模型的序号)。此时，每个模型的“Pm”的参数是这样计算出来的：对具有作为正确答案的头部帧以及作为一组的第二检测单元806的一帧的学习数据执行最小平方法。
如图11所示，头部区域的估计结果1114-1116被从头部区域的检测结果1104-1106中评估出来。头部区域的估计结果1114-1116被输出至层限制单元805和合成单元808。
层限制单元805确定这样的层：在该层上，根据第一估计单元804估计的头部帧1114-1116，第二检测单元806将对分层图像1002的特征量执行检测处理。
图12展示了从合成单元808输出的关于学习数据的最终检测结果的分布情况，每个分布图代表当时的头部区域的尺寸以及对应于检测到从第二检测单元806输出结果的特征量的层。
分布图1201代表处于直立位置的人的整个身体。分布图1202代表处于前倾位置的人的整个身体。分布图1203代表处于蹲坐位置的人的整个身体。如果有不同于上述方式的姿势，不同的层适合于从头部区域的尺寸中估计。因此，对于每个模型而言，都用最小平方法获得系数，所述系数可根据等式(5)计算出：
在等式(5)中，“Am”代表通过求每个模型的学习数据中的头部帧的尺寸的对数得到的结果组成的矩阵，“Bm”代表由第二检测单元806对每个模型的检测结果中的层组成的矩阵。
利用计算出的系数，根据等式(6)计算出会被执行检测处理的层。
层m＝coeff1m*log(宽度)+coeff2m*log(高度)+coeff3m
(6)
通过计算该头部区域的系数的加权和，判定最适合将由第二检测单元806执行的检测处理的层是有可能的。如图13所示，根据确定的层1307，将被执行检测处理的层1307和未被执行检测处理的层1308分离。
取决于特征量生成单元802和层限制单元805，第二检测单元806仅对被限制的分层图像1307执行检测处理。
如图13所示，作为检测处理方法，通过滑动每个模型1309的窗口在各个位置处执行检测处理，所述模型1309已经通过学习方法被预先学习过，例如SVM或增强法。在本示例性实施方式中，所述模型检测人的整个身体，但是本发明不限于此。
另外，在本示例性实施方式中，例如，第二检测单元806利用某个模型检测处于直立位置的人，而利用另一个模型检测处于蹲坐位置的人。利用这种方式，第二检测单元806可以利用不同的模型检测姿势改变的人的身体。如图14所示，通过检测处理，具有不同姿势的人的整个身体的检测结果1410-1415被获取。获取的检测结果1410-1415被输出至第二估计单元807。
第二估计单元807从第二检测单元806获取的检测结果1410-1415中估计特定部分区域。在本示例性实施方式中，第二估计单元807估计头部区域，但是本发明不限于此。更不用说，由第二估计单元807估计的特定部分区域也不限于头部区域，也可以和第一估计单元804估计的区域相同。这是因为合成单元808(下文描述)将第一估计单元804估计的区域和第二估计单元807估计的区域合成。
作为估计方法，第二估计单元807利用等式(4)估计每个模型的头部区域，等式(4)也被第一估计单元804使用。然后，获取的头部帧1420-1425被输出至合成单元808。
合成单元808以与第一示例性实施方式相似的方式将第一估计单元804的头部区域1114-1116和第二估计单元807的头部区域1420-1425合成。最后，在本示例性实施方式中，区域1410、1411、1412被作为最终检测结果输出。
本示例性实施方式的配置就是这样。
图15展示了本发明的第三示例性实施方式的物体检测装置1500的轮廓。
如图15所示，物体检测装置1500包括以下单元：图像获取单元801、特征量生成单元802、具有多个检测模型的第一检测单元803、第一估计单元804、层/范围限制单元1505、具有多个检测模型的第二检测单元1506、第二估计单元807以及合成单元808。
在本示例性实施方式中，在层/范围限制单元1505限制层以及第二检测单元1506将利用的各模型的检测处理范围以后，第二检测单元1506根据所述限制执行检测处理。层/范围限制单元1505判定分层图像的特征量，在所述分层图像上，基于从第一估计单元804获取的头部区域的估计尺寸和位置，对各模型执行检测处理。
首先，层/范围限制单元1505利用等式(6)计算层，以便计算处于直立位置的人的分层图像1601。
然后，层/范围限制单元1505判定从头部估计区域位置1602起的检测处理范围1604，以及判定模型1603的滤波器尺寸，从而允许彻底检索包括以头部估计区域位置1602为中心的、头部估计区域位置1602的上、下、右、左方的模型1603的滤波器的范围。此时，检测处理范围1604可以作为一个区域存储在存储器中，或者作为地图保存，在该地图中检测处理范围1604的内部被标示出来。
第二检测单元1506仅利用对应于判定的检测处理范围1604的模型执行检测处理。
类似地，对于处于蹲坐位置的人，层/范围限制单元1505关注于分层图像1605的特征量，并判定从头部区域1606的位置起的检测处理范围1608，以及判定模型1607的尺寸。对于处于前倾位置的人，层/范围限制单元1505也关注于分层图像1609的特征量，并判定从头部区域1610的位置起的检测处理范围1612，以及判定模型1611的尺寸。
根据上述配置，可以加快整个检测处理。
上文已描述了示例性实施方式的各种情况，作为第一至第三实施方式，但这是仅仅是下述配置的例子而已。基于下述配置的其他实施方式也在本发明的范围内。
首先，获取包括目标物体的图像(图像获取步骤)。然后，以多个不同的放大率放大/缩小所述图像，以生成分层图像(分层图像生成步骤)。然后，基于所述分层图像检测目标物体的至少一部分区域(第一检测步骤)。然后，基于在第一检测步骤中检测的第一检测区域估计第一特定部分区域(第一估计步骤)。然后，基于第一特定部分区域和预先学习的学习数据限制分层图像的层(层限制步骤)。然后，在层限制步骤中被限制的层的分层图像中检测目标物体的至少一部分区域(第二检测步骤)。然后，基于在第二检测步骤中检测的第二检测区域估计第二特定部分区域(第二估计步骤)。然后，将在第一估计步骤中估计的估计结果和在第二估计步骤中估计的估计结果合成，以确定合成结果，作为目标物体的特定部分区域(合成步骤)。
虽然上文已详细描述了多个示例性实施方式，但是本发明也可通过以下列形式实施，例如系统、装置、方法、程序或存储介质。特别地，本发明可以应用在由多个装置组成的系统中或由单个设备组成的装置中。
本发明的各方面还可以通过系统或装置的、用于读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施方式功能的计算机来实现；所述发明的各方面也可以通过方法来实现，该方法的各步骤由系统或装置的计算机、通过如从存储介质读出并执行计算机可执行指令以完成本发明一个或多个实施方式功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个，也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统存储器、光盘(例如激光唱片(CD)、数字化通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。
虽然已经结合示例性实施方式描述了本发明，应当认识到，本发明并不局限于公开的示例性实施方式。下列权利要求的范围应当适合最广泛的解释，以便囊括所有改动、等同结构和功能。

Claims (10)

1.一种物体检测方法，包括：
图像获取步骤，其获取包括目标物体的图像；
分层图像生成步骤，其通过以多个不同的比例尺放大和/或缩小所述图像而生成多个分层图像；
第一检测步骤，其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域；
第一估计步骤，其基于检测到的第一检测区域的坐标和尺寸来估计第一估计区域；
选择步骤，其基于估计的第一估计区域的尺寸和预先学习的学习数据选择所述分层图像的至少一层；
第二检测步骤，其检测在选择步骤中选择的分层图像中的目标物体的至少一部分区域作为第二检测区域；
第二估计步骤，其基于检测到的第二检测区域的坐标和尺寸来估计第二估计区域；以及
合成步骤，其将在第一估计步骤中估计的估计结果和在第二估计步骤中估计的估计结果合成。
2.根据权利要求1所述的物体检测方法，其中合成步骤包括：根据第一估计区域和第二估计区域之间的重合度将合成步骤中的结果确定为目标物体的区域。
3.根据权利要求1所述的物体检测方法，其中分层图像生成步骤包括生成分层图像的每层的特征量。
4.根据权利要求3所述的物体检测方法，其中第一检测步骤包括对每个分层图像的特征量执行检测处理。
5.根据权利要求4所述的物体检测方法，其中第二检测步骤包括通过滑动预先学习过的每个模型的窗口在各位置处执行检测。
6.根据权利要求1所述的物体检测方法，其中第一检测步骤和第二检测步骤包括分别利用不同的模型执行检测。
7.根据权利要求1所述的物体检测方法，其中选择步骤包括：根据第一估计步骤的估计结果的位置以及在第二检测步骤中使用的模型的尺寸限制在第二检测步骤中执行的检测处理的处理范围。
8.根据权利要求1所述的物体检测方法，其中第一检测步骤包括检测包括头部的区域；以及第二检测步骤包括检测人的身体。
9.根据权利要求1所述的物体检测方法，进一步包括：输出步骤，其根据合成步骤的结果输出目标物体的检测结果。
10.一种物体检测装置，包括：
图像获取单元，用于获取包括目标物体的图像；
分层图像生成单元，其通过以多个不同的比例尺放大和/或缩小所述图像而生成分层图像；
第一检测单元，其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域；
第一估计单元，其基于检测到的第一检测区域的坐标和尺寸来估计第一估计区域；
选择单元，其基于估计的第一估计区域的尺寸和预先学习的学习数据选择所述分层图像的至少一层；
第二检测单元，其检测在选择单元中选择的所述层的分层图像中的目标物体的至少一部分区域作为第二检测区域；
第二估计单元，其基于检测到的第二检测区域的坐标和尺寸来估计第二估计区域；以及
合成单元，其将在第一估计单元中估计的估计结果和在第二估计单元中估计的估计结果合成。
CN201310121632.9A 2012-03-30 2013-03-29 物体检测方法和物体检测装置 Active CN103366171B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-082379 2012-03-30
JPJP2012-082379 2012-03-30
JP2012082379A JP6000602B2 (ja) 2012-03-30 2012-03-30 体検出方法及び物体検出装置

Publications (2)

Publication Number Publication Date
CN103366171A CN103366171A (zh) 2013-10-23
CN103366171B true CN103366171B (zh) 2017-03-01

Family

ID=49235083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310121632.9A Active CN103366171B (zh) 2012-03-30 2013-03-29 物体检测方法和物体检测装置

Country Status (3)

Country Link
US (2) US9213909B2 (zh)
JP (1) JP6000602B2 (zh)
CN (1) CN103366171B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
GB201219261D0 (en) * 2012-10-26 2012-12-12 Jaguar Cars Vehicle access system and method
JP6136198B2 (ja) * 2012-11-01 2017-05-31 富士通株式会社 推定プログラム、推定装置、推定方法、および製造方法
JP2015070426A (ja) * 2013-09-27 2015-04-13 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN104933392A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 使用多视图融合的概率性人追踪
US9524426B2 (en) * 2014-03-19 2016-12-20 GM Global Technology Operations LLC Multi-view human detection using semi-exhaustive search
CN104933436B (zh) * 2014-03-19 2018-09-14 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
US9396404B2 (en) * 2014-08-04 2016-07-19 Datalogic ADC, Inc. Robust industrial optical character recognition
JP2017021557A (ja) * 2015-07-10 2017-01-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US9798948B2 (en) 2015-07-31 2017-10-24 Datalogic IP Tech, S.r.l. Optical character recognition localization tool
CN105512643A (zh) * 2016-01-06 2016-04-20 北京二郎神科技有限公司 一种图像采集方法和装置
US10043058B2 (en) 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
CN105844256B (zh) * 2016-04-07 2019-07-05 广州盈可视电子科技有限公司 一种全景视频帧图像处理方法和装置
US10169647B2 (en) 2016-07-27 2019-01-01 International Business Machines Corporation Inferring body position in a scan
US10083270B2 (en) * 2016-12-14 2018-09-25 Taiwan Semiconductor Manufacturing Co., Ltd. Target optimization method for improving lithography printability
EP3355239A1 (en) 2017-01-27 2018-08-01 Nxp B.V. Fingerprint verification device
JP6942488B2 (ja) * 2017-03-03 2021-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10832035B2 (en) * 2017-06-22 2020-11-10 Koninklijke Philips N.V. Subject identification systems and methods
CN108875481B (zh) * 2017-08-31 2021-10-12 北京旷视科技有限公司 用于行人检测的方法、装置、系统及存储介质
JP6977513B2 (ja) * 2017-12-01 2021-12-08 コニカミノルタ株式会社 機械学習方法及び装置
CN111275036A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN109886234B (zh) * 2019-02-28 2021-06-22 苏州科达科技股份有限公司 目标检测方法、装置、系统、电子设备、存储介质
US11386636B2 (en) 2019-04-04 2022-07-12 Datalogic Usa, Inc. Image preprocessing for optical character recognition
US20230072596A1 (en) * 2020-01-08 2023-03-09 Nec Corporation Human body detection device
CN111709407B (zh) * 2020-08-18 2020-11-13 眸芯科技（上海）有限公司 监控边缘计算中提升视频目标检测性能的方法及装置
JP2023007599A (ja) * 2021-07-02 2023-01-19 株式会社日立ハイテク 画像処理装置、方法及び画像処理システム
CN113507575B (zh) * 2021-09-08 2021-11-26 上海英立视电子有限公司 一种人体自拍镜头生成方法及系统
CN116978078A (zh) * 2022-04-14 2023-10-31 京东科技信息技术有限公司 活体检测方法和装置、系统、电子设备、计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714214A (zh) * 2008-10-03 2010-05-26 索尼株式会社 学习装置和方法、识别装置和方法、程序及记录介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3787922B2 (ja) * 1996-10-11 2006-06-21 オムロン株式会社 画像処理方法及び装置並びにそれを用いたプリンタ
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
AU2003289116A1 (en) * 2002-12-16 2004-07-09 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
JP4593314B2 (ja) * 2005-02-28 2010-12-08 富士フイルム株式会社 画像再生装置、プログラム及び方法、並びにフォトムービー作成装置、プログラム及び方法
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
JP4498296B2 (ja) 2006-03-23 2010-07-07 三洋電機株式会社 物体検出装置
JP2008102611A (ja) * 2006-10-17 2008-05-01 Canon Inc 画像処理装置
JP5227639B2 (ja) * 2008-04-04 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
CN101593268B (zh) * 2008-05-30 2012-03-07 深圳市普罗巴克科技股份有限公司 一种多分辨率指纹识别方法和多分辨率指纹识别系统
US20100021056A1 (en) * 2008-07-28 2010-01-28 Fujifilm Corporation Skin color model generation device and method, and skin color detection device and method
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
JP2010108475A (ja) * 2008-10-03 2010-05-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP5235691B2 (ja) * 2009-01-13 2013-07-10 キヤノン株式会社 情報処理装置及び情報処理方法
US8508603B2 (en) * 2009-04-10 2013-08-13 Panasonic Corporation Object detection device, object detection system, integrated circuit for object detection, and object detection method
JP5394967B2 (ja) * 2010-03-29 2014-01-22 セコム株式会社 対象物検知装置
CN102236899B (zh) * 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
CN102696054B (zh) * 2010-11-10 2016-08-03 松下知识产权经营株式会社 进深信息生成装置、进深信息生成方法及立体图像变换装置
KR20120064581A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 영상 분류 방법 및 이를 위한 장치
JP5907593B2 (ja) * 2011-09-13 2016-04-26 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2013201557A (ja) * 2012-03-23 2013-10-03 Toshiba Corp 画像処理装置、画像処理方法および画像処理システム
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
EP2712541B1 (en) * 2012-09-27 2015-12-30 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Tiled image based scanning for head and/or eye position for eye tracking
JP6093221B2 (ja) * 2013-03-29 2017-03-08 株式会社メガチップス 画像処理回路及び画像検出装置
TWI503756B (zh) * 2013-08-15 2015-10-11 Univ Nat Taiwan 人型影像追蹤系統及其人型影像偵測方法與追蹤方法
US9224068B1 (en) * 2013-12-04 2015-12-29 Google Inc. Identifying objects in images
JP2015170343A (ja) * 2014-03-11 2015-09-28 オムロン株式会社 画像表示装置および画像表示方法
JP6364837B2 (ja) * 2014-03-14 2018-08-01 オムロン株式会社 画像処理装置および領域分割方法
US9547908B1 (en) * 2015-09-28 2017-01-17 Google Inc. Feature mask determination for images
KR102530219B1 (ko) * 2015-10-30 2023-05-09 삼성전자주식회사 동작 인식의 오류를 검출하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714214A (zh) * 2008-10-03 2010-05-26 索尼株式会社 学习装置和方法、识别装置和方法、程序及记录介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Intelligent Surveilance Systems;paul koppen等;《university of amsterdam》;20081231;第1-9页 *

Also Published As

Publication number Publication date
JP6000602B2 (ja) 2016-09-28
CN103366171A (zh) 2013-10-23
US20160086024A1 (en) 2016-03-24
US10395103B2 (en) 2019-08-27
US20130259310A1 (en) 2013-10-03
JP2013210967A (ja) 2013-10-10
US9213909B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
CN103366171B (zh) 物体检测方法和物体检测装置
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN104217419B (zh) 人体检测装置及方法与人体计数装置及方法
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
Nguyen et al. Gaussian-mixture-model-based spatial neighborhood relationships for pixel labeling problem
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN109214373A (zh) 一种用于考勤的人脸识别系统及方法
US8588519B2 (en) Method and system for training a landmark detector using multiple instance learning
CN104899866B (zh) 一种智能化的红外小目标检测方法
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
Holzer et al. Learning to efficiently detect repeatable interest points in depth data
CN110097115B (zh) 一种基于注意力转移机制的视频显著性物体检测方法
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
CN106570851B (zh) 一种基于加权分配d-s证据理论的显著图融合方法
Giorgi et al. Try walking in my shoes, if you can: Accurate gait recognition through deep learning
CN104463240B (zh) 一种仪表定位方法及装置
CN109558814A (zh) 一种三维矫正和加权相似性度量学习的无约束人脸验证方法
CN114219803B (zh) 一种三阶段图像质量评估的检测方法与系统
Dembski et al. Bees detection on images: Study of different color models for neural networks
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
JP2011141866A (ja) データ分類装置、データ分類システムおよびプログラム
Ramesh et al. Food detection and segmentation from egocentric camera images
Kumar et al. Fish disease detection using HOG and FAST feature descriptor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant