CN102947863A - 移动物体检测装置 - Google Patents

移动物体检测装置 Download PDF

Info

Publication number
CN102947863A
CN102947863A CN2011800302877A CN201180030287A CN102947863A CN 102947863 A CN102947863 A CN 102947863A CN 2011800302877 A CN2011800302877 A CN 2011800302877A CN 201180030287 A CN201180030287 A CN 201180030287A CN 102947863 A CN102947863 A CN 102947863A
Authority
CN
China
Prior art keywords
window
histogram
image data
time
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800302877A
Other languages
English (en)
Other versions
CN102947863B (zh
Inventor
八木康史
槙原靖
华春生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Publication of CN102947863A publication Critical patent/CN102947863A/zh
Application granted granted Critical
Publication of CN102947863B publication Critical patent/CN102947863B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

移动物体检测装置（100）具有：窗口设定部（102），在动态图像数据中设定具有规定的体积的窗口；空间亮度梯度方向计算部（104），对包含于窗口中的每个像素计算空间亮度梯度方向；空间直方图计算部（106），计算窗口内的空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部（108），对包含于窗口中的每个像素计算时间亮度梯度方向；时间直方图计算部（110），计算窗口内的时间亮度梯度方向的直方图即时间直方图；以及判定部（112），根据空间直方图和时间直方图，判定窗口内是否包含移动物体。

Description

移动物体检测装置
技术领域
本发明涉及从动态图像数据中检测移动物体的移动物体检测装置。
背景技术
过去，已经研究出了从动态图像数据中检测以步行者为代表的移动物体的方法。移动物体检测方法是能够在监视用途、行驶车辆中的步行者检测、或者智能机器人等技术中应用的重要技术。
截止到目前已经研究出了许多方法，但是步行者是多关节物体且能够采取各种姿势，并且由于衣服、外部光及复杂的背景等的影响，有多种多样的外观，因而存在很难检测步行者的问题。
过去，作为从静态图像数据中检测人物的方法，已经公知有根据HOG（Histogram of Oriented Gradient：方向梯度直方图）特征与Adaboost识别器的组合来检测人物的方法（例如，参照非专利文献1）。
图32是用于说明非专利文献1记载的方法的图。如图32（a）所示，在输入图像10中设定规定尺寸的窗口12。将窗口12内部划分为多个块(patch)（块14a和14b等），对每个块计算HOG特征。
例如，参照图32（b）说明块14a的HOG特征的计算方法。在将块14a内的各个像素的亮度值设为I（x，y）的情况下，计算各个像素的空间梯度
Figure BDA00002613936000011
并且，计算各个像素的空间亮度梯度方向φ＝tan-1（Iy/Ix）。空间梯度与空间亮度梯度方向φ的关系如图32（c）所示。即，在设横轴为Ix、设纵轴为Iy的情况下，空间梯度
Figure BDA00002613936000013
形成的矢量与横轴Ix所成的角成为空间亮度梯度方向φ。通过对块14a内的各个像素计算出空间亮度梯度方向φ的频度，能够得到如图32（d）所示的直方图。该直方图表示HOG特征。同样，对于块14b也能够得到如图32（e）所示的HOG特征。通过对窗口12内的所有块计算HOG特征，并作为Adaboost识别器的输入，Adaboost识别器判定窗口12内有无人物。通过从输入图像10的左上角一直到右下角对该窗口12进行光栅扫描，并在各个位置判定有无人物，能够检测包含于输入图像10内的人物。
另外，空间梯度
Figure BDA00002613936000021
能够使用普通的一阶微分算子（Sobel、Roberts、Rosenfeld等）计算出。因此，省略其详细说明。
将该HOG特征扩展得到的CoHOG特征也是公知的（例如，参照非专利文献2）。图33是用于说明CoHOG特征的图。如图33（a）所示，在与图32（a）相同地考虑窗口12的情况下，将窗口12内部划分为多个块（块14b等），对每个块计算CoHOG特征。
例如，说明块14b的CoHOG特征的计算方法。图33（b）是将块14b放大的图。首先，按照图32（b）所示，对于块14b内的各个像素计算空间亮度梯度方向φ＝tan-1（Iy/Ix）。然后，将块14b内的关注的像素设为P0，将像素P0的左斜下方的邻接像素、像素P0的下方的邻接像素、像素P0的右斜下方的邻接像素、像素P0的右侧邻接的邻接像素分别设为共现(co-occurrence)像素P1、P2、P3、P4。并且，将像素P0的空间亮度梯度方向设为φ0，将共现像素Pi（i＝1～4）的空间亮度梯度方向设为φi（i＝1～4）。在将块14b内的各个像素作为关注的像素P0的情况下，生成以φ0和φi为变量组的二维直方图。该二维直方图表示CoHOG特征量。图33（c）表示以φ0和φ1为变量组的二维直方图的一例，图33（d）表示以φ0和φ2为变量组的二维直方图的一例，图33（e）表示以φ0和φ3为变量组的二维直方图的一例。在图33所示的示例中，像素P0与共现像素Pi（i＝1～4）的组合有4个，因而从一个块14b能够得到4个CoHOG特征量。对所有的块计算这4个CoHOG特征量，并与HOG特征量同样地输入给Adaboost识别器等识别器，由此能够判定窗口12内有无人物。另外，共现像素Pi不限于关注的像素P0的邻接像素，只要是和像素P0处于规定的位置关系的像素，则可以是任何像素。另外，共现像素Pi的个数不限于4个，能够适当选择个数。已经公知采用CoHOG特征量的方法的精度高于采用HOG特征量的方法。
作为将HOG特征量扩展得到的另一种特征量，还公知有HOGHOF特征量（例如，参照非专利文献3和4）。其中，HOF表示光流(optical flow)的方向的直方图。例如，在将图32（a）所示的块14a内的各个像素的光流设为u[ux,uy]的情况下，能够计算出光流的方向ψ为ψ＝tan-1（uy/ux）。与φ相同地生成ψ的直方图，并生成HOF特征量。通过利用将HOG特征量和HOF特征量相结合的HOGHOF特征量，能够进行人物的行动分析。另外，作为光流的计算方法，能够采用梯度法或模板匹配法等各种方法。因此，省略其详细说明。
另外，作为将HOG特征量扩展得到的另一种特征量，还公知有3DHOG特征量（例如，参照非专利文献5）。在3DHOG特征量中，在将静态图像数据沿时间轴方向排列得到的三维动态图像数据中，设定具有规定的体积的窗口。对于该窗口内的各个像素，利用一个矢量表示其空间上的形状和时间上的运动的特征。将该矢量与在窗口内虚拟设定的多面体的各个面的法线矢量进行比较，并投票于具有最接近的法线矢量的面上，由此生成以多面体的各个面为bin（直方图的柱，阶层）的直方图。该直方图表示3DHOG特征量。通过利用该3DHOG特征量，能够进行人物的行动分析。
现有技术文献
非专利文献
非专利文献1：N.Dalal and B.Triggs,“Histograms of Oriented Gradientsfor Human Detection”,CVPR,pp.886-893,2005
非专利文献2：T.Watanabe,S.Ito and K.Yokoi,“Co-occurrenceHistograms of Oriented Gradients for Pedestrian Detection”,PSIVT,2009
非专利文献3：Ivan Laptev，M.Marsazlek,C.Schmid,B.Rozenfeld,“Learning realistic human actions from movies”,CVPR,2008
非专利文献4：I.Laptev，P.Perez,“Retrieving actions in movie”,ICCV，2007
非专利文献5：A.Klaser,M.Marszalek,C.Schmid,“A Spatio-TemporalDescriptor Based on 3D-Gradient”,BMVC,pp.995-1004,2008
发明概要
发明要解决的问题
但是，采用HOG特征量及CoHOG特征量的方法均利用了与人物的形状相关的空间特征。因此，在从侧面观察人物的情况下，尤其是由于手脚部分轮廓形状变化，诸如步行者那样各个关节的运动较大的情况下，这样的方法不适合。另外，这些方法也容易受到背景的变化或纹理的影响。
另外，采用HOGHOF特征量的方法容易受到照明变动或视点变化的影响，存在检测结果容易依赖于学习数据中包含的步行者的步行方向的问题。例如，在HOGHOF特征量中，存在针对沿与学习时少许不同的方向步行的步行者的检测遗漏较多的问题。
另外，3DHOG特征量是空间上的形状与时间上的运动的特征相结合的、即考虑了共现的特征量。但是，实际步行者的空间上的形状与时间上的运动的结合是极其多样化的，在有限的学习集中很难充分表现这种步行者的多样性，其结果是产生步行者的检测遗漏。
另外，在采用普通的背景差分法的情况下，由于也是容易受到背景变化的影响的方法，因而不能稳定地从动态图像数据中检测移动物体。
发明内容
本发明正是为了解决上述问题而提出的，其目的在于，提供一种移动物体检测装置，能够稳定地从动态图像数据中检测移动物体，而且不受复杂的背景或照明变动等的影响。
用于解决问题的手段
为了达到上述目的，本发明的某个方面的移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有：窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
根据这种结构，独立地计算表示空间上的亮度的梯度方向的分布的空间直方图和表示时间上的亮度的梯度方向的分布的时间直方图，并根据空间直方图和时间直方图判定有无移动物体。在移动物体是步行者的情况下，步行者通常是纵向的边缘成分较多，因而能够利用空间直方图区分检测步行者和背景。并且，通过一并考虑时间直方图，能够更加高精度地检测移动着的步行者和不移动的背景。另外，根据这种结构，能够独立表现空间上的特征和时间上的特征，而不需像3DHOG特征量那样结合表现空间上的特征和时间上的特征。因此，能够利用空间上的特征和时间上的特征分别吸收背景及步行者的多样性或照明变动等的影响，因而即使是有限的学习集，也能够稳定地检测移动物体。
优选的是，上述的移动物体检测装置还具有：光流方向计算部，对包含于所述窗口中的每个像素计算光流的方向；以及光流直方图计算部，计算所述窗口内的所述光流的方向的直方图即光流直方图，所述判定部根据所述空间直方图计算部计算出的所述空间直方图、所述时间直方图计算部计算出的所述时间直方图、和所述光流直方图计算部计算出的所述光流直方图，判定所述窗口内是否包含移动物体。
根据这种结构，也考虑表示移动物体的运动方向的特征的光流直方图来进行移动物体的检测。因此，能够更加稳定地检测移动物体。
更优选的是，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述光流直方图计算部将相互处于所述规定的位置关系的多个像素的所述光流方向的组合设为第3变量组，计算所述窗口内的所述第3变量组的直方图，所述判定部根据所述第1变量组的直方图、所述第2变量组的直方图和所述第3变量组的直方图，判定所述窗口内是否包含移动物体。
根据这种结构，分别生成窗口内的表示空间亮度梯度方向的共现性的第1变量组的直方图、表示时间亮度梯度方向的共现性的第2变量组的直方图、及表示光流方向的共现性的第3变量组的直方图，根据这三种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。
另外，也可以是，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述判定部根据所述第1变量组的直方图和所述第2变量组的直方图，判定所述窗口内是否包含移动物体。
根据这种结构，分别生成窗口内的表示空间亮度梯度方向的共现性的第1变量组的直方图和表示时间亮度梯度方向的共现性的第2变量组的直方图，根据这两种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。
另外，也可以是，上述的移动物体检测装置还具有：缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，所述时间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。
根据这种结构，能够在缩小动态图像数据中检测移动物体，并在通常的尺寸的动态图像数据中检测移动物体。即，能够在缩小动态图像数据中粗略地检测移动物体的位置，并在通常的尺寸的动态图像数据中检测移动物体的具体位置。缩小动态图像数据的数据量少于通常的尺寸的动态图像数据。因此，利用这种方法能够快速地检测移动物体的具体位置。
另外，也可以是，上述的移动物体检测装置还具有缩小动态图像数据生成部，该缩小动态图像数据生成部生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据，所述窗口设定部还在各个所述缩小动态图像数据中设定所述窗口，所述空间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算空间亮度梯度方向，所述空间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小空间直方图，所述时间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算时间亮度梯度方向，所述时间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小时间直方图，所述判定部进行如下判定：（a）从所述多个缩小比率中按照缩小比率从小到大的顺序来选择缩小比率作为对象缩小比率，并根据在以所述对象缩小比率而缩小得到的缩小动态图像数据中设定的所述窗口内的所述缩小空间直方图及所述缩小时间直方图，判定所述窗口内是否包含移动物体，直到判定为窗口内包含移动物体，（b）在判定为所述多个缩小动态图像中的任何缩小动态图像的所述窗口内均不包含移动物体的情况下，根据所述空间直方图及所述时间直方图判定在所述动态图像数据中设定的所述窗口内是否包含移动物体。
根据这种结构，使用相同尺寸的窗口、和各种尺寸的动态图像数据及缩小动态图像数据来检测移动物体。因此，能够检测各种大小的移动物体。
另外，也可以是，所述窗口设定部在所述动态图像数据中设定具有彼此不同的规定体积的多个窗口，所述空间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对所述多个窗口的每一个，计算该窗口内的空间直方图，所述时间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个窗口的每一个，计算该窗口内的时间直方图，所述判定部从所述多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的所述空间直方图及所述时间直方图，判定所述选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。
根据这种结构，设定体积不同的窗口，并判定每个窗口是否包含移动物体。因此，能够检测各种尺寸的移动物体。
另外，本发明不仅能够实现为具有这种特征性的处理部的移动物体检测装置，而且也能够实现为将移动物体检测装置所包含的特征性的处理部执行的处理作为步骤的移动物体检测方法。并且，也能够实现为使计算机执行移动物体检测方法所包含的特征性步骤的程序。并且，这种程序当然能够通过CD－ROM（Compact Disc-Read Only Memory）等计算机可读的非易失性记录介质或因特网等通信网络进行流通。
发明效果
根据本发明，能够稳定地从动态图像数据检测移动物体，而且不受复杂的背景或照明变动等的影响。
附图说明
图1是表示实施方式1的移动物体检测装置的功能性结构的框图。
图2是表示动态图像数据的一例的图。
图3是实施方式1的移动物体检测装置执行的处理的流程图。
图4是用于说明实施方式1的移动物体检测装置计算的特征量的图。
图5是表示时间直方图的性质的图。
图6是表示实施方式1的变形例1的移动物体检测装置生成的图像金字塔的一例的图。
图7是表示实施方式1的变形例1的移动物体检测装置的功能性结构的框图。
图8是实施方式1的变形例1的移动物体检测装置执行的处理的流程图。
图9是表示实施方式1的变形例2的移动物体检测装置生成的图像金字塔的一例的图。
图10是表示实施方式1的变形例2的移动物体检测装置的功能性结构的框图。
图11是实施方式1的变形例2的移动物体检测装置执行的处理的流程图。
图12A是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检测处理的图。
图12B是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检测处理的图。
图12C是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检测处理的图。
图13是实施方式1的变形例3的移动物体检测装置执行的处理的流程图。
图14是表示实施方式2的移动物体检测装置的功能性结构的框图。
图15是实施方式2的移动物体检测装置执行的处理的流程图。
图16是用于说明实施方式2的移动物体检测装置计算的特征量的图。
图17是用于说明实施方式2的移动物体检测装置计算的特征量的图。
图18是用于说明实施方式3的移动物体检测装置计算的特征量的图。
图19是表示针对在雨天拍摄到的动态图像数据采用各种特征量的检测方法的RPC（Recall-precision curve：查全率与查准率曲线）的曲线图。
图20是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图21是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图22是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图23是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图24是表示针对在晴天拍摄到的动态图像数据采用各种特征量的检测方法的RPC的曲线图。
图25是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图26是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图27是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图28是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图29是表示使用实施方式1所示的特征量即STHOG特征量进行步行者检测的结果的图。
图30是表示使用实施方式1所示的特征量即STHOG特征量进行步行者检测的结果的图。
图31是表示使用实施方式1所示的特征量即STHOG特征量检测骑单轮车的人物的结果的图。
图32是用于说明非专利文献1记载的方法的图。
图33是用于说明CoHOG特征的图。
具体实施方式
下面，参照附图说明本发明的实施方式的移动物体检测装置。
（实施方式1）
图1是表示实施方式1的移动物体检测装置的功能性结构的框图。
移动物体检测装置100是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。
窗口设定部102在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口。
空间亮度梯度方向计算部104对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向。
空间直方图计算部106计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图。
时间亮度梯度方向计算部108对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向。
时间直方图计算部110计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图。
判定部112根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
图2是表示动态图像数据的一例的图。将x y平面上的二维图像数据40沿时间轴t方向排列n个（n为2以上的整数）得到的三维图像数据成为动态图像数据。该动态图像数据被输入给移动物体检测装置100。
图3是移动物体检测装置100执行的处理的流程图。
参照图4（a），窗口设定部102在动态图像数据50中设定窗口52（S2）。窗口52在x轴方向、y轴方向及t轴方向具有规定宽度。即，窗口52不是平面而是具有固定的体积的长方体。窗口52的初始位置例如是窗口52的左上角坐标为原点（x,y，t）＝（0,0,0）的位置。另外，窗口52被划分为多个块（例如块54a和54b等）。但是，窗口52也可以不划分为块，在这种情况下，窗口的大小与块的大小相同。块与窗口52相同地是长方体而非平面。
空间亮度梯度方向计算部104对包含于窗口52中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向（S4）。参照图4（b），在将窗口52内的各个像素的亮度值设为I（x,y，t）的情况下，空间亮度梯度方向计算部104计算各个像素的时间空间梯度
Figure BDA00002613936000111
并且，根据下式（1）计算出各个像素的空间亮度梯度方向φ。另外，Ix表示x轴方向的亮度值的梯度，Iy表示y轴方向的亮度值的梯度。It表示t轴（时间轴）方向的亮度值的梯度。Ix、Iy及It的值能够使用普通的一阶微分算子（Sobel、Roberts、Rosenfeld等）计算出。因此，省略其详细说明。
φ＝tan-1（Iy/Ix）…（1）
时间空间梯度
Figure BDA00002613936000121
与空间亮度梯度方向φ的关系如图4（c）所示。即，在将以Ix、Iy及It为轴的三维空间中的矢量
Figure BDA00002613936000122
投影于IxIy平面上得到的矢量55与Ix轴形成的角成为空间亮度梯度方向φ。
空间直方图计算部106对每个块计算块内的空间亮度梯度方向φ的直方图即空间直方图（S6）。例如，通过以规定的幅度对空间亮度梯度方向φ进行量化（例如以30度的幅度进行量化），并计数空间亮度梯度方向φ的频度，能够计算出如图4（d）所示的空间直方图。空间直方图计算部106按照块的个数来计算这种空间直方图。例如，在设量化的幅度为30度、设空间亮度梯度方向φ能取的值的范围为0度～180度的情况下，空间直方图具有6个（＝180/30）bin。其中，图4（d）所示的空间直方图具有8个bin。
时间亮度梯度方向计算部108对包含于窗口52中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向（S8）。参照图4（b），时间亮度梯度方向计算部108根据下式（2）计算出各个像素的时间亮度梯度方向θ。
[数式1]
θ = tan - 1 ( I t / I x 2 + I y 2 ) · · · ( 2 )
时间空间梯度与时间亮度梯度方向θ的关系如图4（c）所示。即，上述的矢量55与矢量形成的角成为时间亮度梯度方向θ。
时间直方图计算部110对每个块计算块内的时间亮度梯度方向θ的直方图即时间直方图（S10）。例如，通过以规定的幅度对时间亮度梯度方向θ进行量化（例如以30度的幅度进行量化），并计数时间亮度梯度方向θ的各个bin的频度，能够计算出如图4（e）所示的时间直方图。时间直方图计算部110按照块的个数来计算这种时间直方图。
图5是表示时间直方图的性质的图。如图5（a）所示，在步行者包含于块内的情况下，由于手和腿的摆动的影响，在块内包含各种方向的时间亮度梯度方向θ。因此，在如图5（b）所示的时间直方图中，频度分散于各个bin中。与此相对，在如图5（c）所示块内只包含背景的情况下，由于背景中的时间轴方向的亮度变化贫乏，因而时间亮度梯度方向θ集中于0度。并且，假设背景中包含树叶摇动的树木等，由于树叶摇动的空间上的形状特征或时间上的运动特征与步行者不同，因而能够防止错误检测为步行者。例如，能够从背景部分得到如图5（d）所示的直方图。
判定部112接受由空间直方图计算部106计算出的块的个数的量的空间直方图和由时间直方图计算部110计算出的块的个数的量的时间直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S12）。关于移动物体的检测方法（判定方法），例如能够采用Adaboost、SVM（Support Vector Machine：支持向量机）、神经网络等常规的方法。因此，在此不重复其详细说明。另外，在判定部112的学习中采用步行者的动态图像数据即正事例和背景的动态图像数据即负事例。
窗口设定部102判定是否在动态图像数据50中的所有位置设定了窗口52（S14）。如果已在所有位置设定了窗口52（S14：是），移动物体检测装置100结束处理。在对于窗口52有未设定的位置的情况下（S14：否），窗口设定部102在未设定的位置设定窗口52（S2），移动物体检测装置100对所设定的窗口52执行自S4起的处理。
另外，关于窗口的扫描方式，例如，按照上面所述将窗口52的左上角坐标为原点的位置作为初始位置，在t＝0的平面上从左上角一直到右下角对窗口52进行光栅扫描。然后，将t递增1，进行同样的光栅扫描。通过依次反复这种处理，窗口设定部102在动态图像数据50中的所有位置设定窗口52。
如以上说明的那样，根据实施方式1的移动物体检测装置，独立地计算表示空间上的亮度的梯度方向的分布的空间直方图和表示时间上的亮度的梯度方向的分布的时间直方图，并根据空间直方图和时间直方图判定有无移动物体。在移动物体是步行者的情况下，步行者通常是纵向的边缘成分较多，因而能够利用空间直方图区分检测步行者和背景。并且，通过一并考虑时间直方图，能够更加高精度地检测移动着的步行者和不移动的背景。另外，根据这种结构，能够独立表现空间上的特征和时间上的特征，而不需像3DHOG特征量那样结合表现空间上的特征和时间上的特征。因此，能够利用空间上的特征和时间上的特征分别吸收步行者及背景的多样性或照明变动等的影响，能够稳定地检测移动物体。
（实施方式1的变形例1）
在上述的实施方式1中是从一个动态图像数据检测移动物体，但也可以是，生成按照不同分辨率将动态图像数据分阶层的图像金字塔，按照从低分辨率的动态图像数据到高分辨率的动态图像数据的顺序来检测移动物体。
图6是用于说明图像金字塔的图。示出了按照图6（a）、图6（b）和图6（c）的顺序分辨率由低到高的动态图像数据。图6（a）和图6（b）所示的缩小动态图像数据50b和50a是以不同的倍率将图6（c）所示的动态图像数据50缩小得到的。
图7是表示实施方式1的变形例1的移动物体检测装置的功能性结构的框图。
移动物体检测装置100a是从动态图像数据检测移动物体的装置，具有窗口设定部102、缩小动态图像数据生成部103、缩小窗口设定部105、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。
窗口设定部102具有与实施方式1的窗口设定部102相同的结构。
缩小动态图像数据生成部103从动态图像数据50生成以规定的多个缩小比率将动态图像数据50缩小得到的缩小动态图像数据（例如缩小动态图像数据50b或者50a）。即，缩小动态图像数据生成部103生成以规定的多个缩小比率将动态图像数据50分别缩小得到的多个缩小动态图像数据50a和50b。
缩小窗口设定部105在缩小动态图像数据中设定以所述规定的多个缩小比率将窗口52缩小得到的缩小窗口（例如图6（b）所示的缩小窗口52a或者图6（a）所示的缩小窗口52b）。即，缩小窗口设定部105对于多个缩小动态图像数据50a和50b中的每一个，在该缩小动态图像数据中设定以在生成该各个缩小动态图像数据时使用的缩小比率将窗口52缩小得到的缩小窗口，由此在多个缩小动态图像数据50a和50b中设定多个缩小窗口52a和52b。另外，缩小窗口设定部105按照缩小比率从小到大的顺序来选择多个缩小比率作为对象缩小比率，并在对象缩小比率的缩小动态图像数据中设定对象缩小比率的缩小窗口。
空间亮度梯度方向计算部104除了实施方式1所示的空间亮度梯度方向计算部104执行的处理之外，对于多个缩小窗口的每一个，还对包含于缩小窗口中的每个像素计算空间亮度梯度方向。
空间直方图计算部106除了实施方式1所示的空间直方图计算部106执行的处理之外，对于多个缩小窗口的每一个，还计算缩小窗口内的空间亮度梯度方向的直方图即缩小空间直方图。
时间亮度梯度方向计算部108除了实施方式1所示的时间亮度梯度方向计算部108执行的处理之外，对于多个缩小窗口的每一个，还对包含于缩小窗口中的每个像素计算时间亮度梯度方向。
时间直方图计算部110除了实施方式1所示的时间直方图计算部110执行的处理之外，对于多个缩小窗口的每一个，还计算缩小窗口内的时间亮度梯度方向的直方图即缩小时间直方图。
判定部112根据对象缩小比率的缩小空间直方图和缩小时间直方图，判定对象缩小比率的缩小窗口内是否包含移动物体。
在判定部112判定为缩小窗口内包含移动物体的情况下，窗口设定部102在从与对象缩小比率的缩小动态图像数据中的缩小窗口的设定位置相对应的动态图像数据50中的位置起到规定范围内的位置依次设定窗口52。
在判定部112判定为缩小窗口内包含移动物体的情况下，判定部112还判定在窗口52内是否包含移动物体。
图8是移动物体检测装置100a执行的处理的流程图。
另外，在该流程图中，为了简化说明，假设为一个缩小动态图像数据来进行说明，但也可以准备缩小比率不同的多个缩小动态图像数据，并执行相同的处理。
参照图6，缩小动态图像数据生成部103以规定的缩小比率将动态图像数据50缩小，由此生成缩小动态图像数据50a（S1）。
然后，缩小窗口设定部105在缩小动态图像数据50a中设定以规定的缩小比率将动态图像数据50缩小得到的缩小窗口52a（S2a）。
空间亮度梯度方向计算部104对包含于缩小窗口52a中的每个像素，计算空间亮度梯度方向φ（S4a）。
空间直方图计算部106对包含于缩小窗口52a中的每个块（例如块56a或者56b），计算块内的空间亮度梯度方向φ的直方图即缩小空间直方图（S6a）。
时间亮度梯度方向计算部108对包含于缩小窗口52a中的每个像素，计算时间亮度梯度方向θ（S8a）。
时间直方图计算部110对包含于缩小窗口52a中的每个块（例如块56a或者56b），计算块内的时间亮度梯度方向θ的直方图即缩小时间直方图（S10a）。
判定部112接受由空间直方图计算部106计算出的块的个数的量的缩小空间直方图和由时间直方图计算部110计算出的块的个数的量的缩小时间直方图，并作为输入特征量，根据输入特征量判定缩小窗口52a内是否包含移动物体（S12a）。
S2a～S12a的处理除了动态图像数据及窗口的尺寸变小以外，与图3所示的S2～S12的处理相同。
缩小窗口设定部105判定是否在缩小动态图像数据50a中的所有位置设定了缩小窗口52a（S14a）。在对于缩小窗口52a有未设定的位置的情况下（S14a：否），缩小窗口设定部105在未设定的位置设定缩小窗口52a（S2b），移动物体检测装置100a对所设定的缩小窗口52a执行自S4a起的处理。另外，窗口的扫描方式与实施方式1相同。
如果已在所有位置设定了缩小窗口52a（S14a：是），则移动物体检测装置100a通过搜索在S1～S14a的处理中求出的移动物体的位置的附近，求出移动物体的具体位置。
即，在判定部112判定为缩小窗口52a内包含移动物体的情况下，窗口设定部102在从与缩小动态图像数据50a中的缩小窗口52a的设定位置对应的动态图像数据50中的位置起到规定范围内的位置依次设定窗口52（S2b）。例如，规定范围可以是以上述动态图像数据50中的位置为中心像素的n×n的区域（n为2以上的整数）。另外，所谓与缩小窗口52a的设定位置对应的动态图像数据50中的位置，例如在缩小动态图像数据50a分别沿x y z轴方向被缩小为1/n的情况下，是指将缩小窗口52a的设定位置的x y z坐标设为n倍的位置。
然后，移动物体检测装置100a通过执行S4～S12的处理，判定在窗口52内是否包含移动物体。S4～S12的处理与图3所示的S4～S12的处理相同。
窗口设定部102判定是否在动态图像数据50中的上述规定范围内的所有位置设定了窗口52（S14b）。如果已在所有位置设定了窗口52（S14b：是），移动物体检测装置100a结束处理。在对于窗口52有未设定的位置的情况下（S14b：否），窗口设定部102在未设定的位置设定窗口52（S2b），移动物体检测装置100a对所设定的窗口52执行自S4起的处理。另外，窗口的扫描方式与实施方式1相同。
如以上说明的那样，根据实施方式1的变形例1的移动物体检测装置，能够在缩小动态图像数据中检测移动物体，并在通常的尺寸的动态图像数据中检测移动物体。即，能够在缩小动态图像数据中粗略地检测移动物体的位置，并在通常的尺寸的动态图像数据中检测移动物体的具体位置。缩小动态图像数据的数据量少于通常的尺寸的动态图像数据。因此，利用这种方法能够快速地检测移动物体的具体位置。阶层数越多，搜索范围越小，因而能够快速检测移动物体的位置。
（实施方式1的变形例2）
在实施方式1的变形例1中，利用缩小动态图像数据和缩小窗口进行了移动物体的检测。即，根据缩小动态图像数据中的缩小倍率进行缩小窗口的设定。与此相对，在实施方式1的变形例2中，与缩小动态图像数据中的缩小倍率无关，而是利用尺寸固定的窗口进行移动物体的检测。
图9是用于说明图像金字塔的图。示出了按照图9（a）、图9（b）和图9（c）的顺序分辨率由低到高的动态图像数据。图9（a）和图9（b）所示的缩小动态图像数据50b和50a是以不同的倍率将图9（c）所示的动态图像数据50缩小得到的。
图10是表示实施方式1的变形例2的移动物体检测装置的功能性结构的框图。
移动物体检测装置100b是从动态图像数据检测移动物体的装置，具有窗口设定部102、缩小动态图像数据生成部103、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。
窗口设定部102具有与实施方式1的窗口设定部102相同的结构。
缩小动态图像数据生成部103具有与实施方式1的变形例1的缩小动态图像数据生成部103相同的结构。即，缩小动态图像数据生成部103生成以规定的多个缩小比率将动态图像数据50分别缩小得到的多个缩小动态图像数据50a和50b。
空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108及时间直方图计算部110具有与实施方式1的变形例1的以上要素相同的结构。
判定部112进行如下判定：（a）从多个缩小比率中按照缩小比率从小到大的顺序来选择对象缩小比率，并根据在以对象缩小比率而缩小得到的缩小动态图像数据中设定的窗口内的缩小空间直方图及缩小时间直方图，判定该窗口内是否包含移动物体，直到判定为窗口内包含移动物体，（b）在判定为多个缩小动态图像中的任何缩小动态图像的窗口内均不包含移动物体的情况下，根据空间直方图及时间直方图判定在动态图像数据50中设定的窗口内是否包含移动物体。
例如，参照图9，判定部112在图9（a）所示的缩小动态图像数据50b内一边扫描窗口52，一边判定窗口52内是否包含移动物体。在判定为在缩小动态图像数据50b内包含移动物体的情况下，判定部112结束处理。在判定为在缩小动态图像数据50b内不包含移动物体的情况下，判定部112在图9（b）所示的缩小动态图像数据50a内一边扫描窗口52，一边判定窗口52内是否包含移动物体。在判定为在缩小动态图像数据50a内包含移动物体的情况下，判定部112结束处理。在判定为在缩小动态图像数据50a内不包含移动物体的情况下，判定部112在图9（c）所示的缩小动态图像数据50内一边扫描窗口52，一边判定窗口52内是否包含移动物体。
图11是移动物体检测装置100b执行的处理的流程图。
另外，在该流程图中，为了简化说明，假设为一个缩小动态图像数据来进行说明，但也可以准备缩小比率不同的多个缩小动态图像数据，并执行相同的处理。
参照图11，缩小动态图像数据生成部103以规定的缩小比率将动态图像数据50缩小，由此生成缩小动态图像数据50a（S1）。
然后，窗口设定部102在缩小动态图像数据50a中设定窗口52（S2c）。
空间亮度梯度方向计算部104对包含于窗口52中的每个像素，计算空间亮度梯度方向φ（S4c）。
空间直方图计算部106对包含于窗口52中的每个块（例如块54a或者54b），计算块内的空间亮度梯度方向φ的直方图即缩小空间直方图（S6c）。
时间亮度梯度方向计算部108对包含于窗口52中的每个像素，计算时间亮度梯度方向θ（S8c）。
时间直方图计算部110对包含于窗口52中的每个块（例如块54a或者54b），计算块内的时间亮度梯度方向θ的直方图即缩小时间直方图（S10c）。
判定部112接受由空间直方图计算部106计算出的块的个数的量的缩小空间直方图和由时间直方图计算部110计算出的块的个数的量的缩小时间直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S12c）。
S2c～S12c的处理除了动态图像数据的尺寸变小以外，与图3所示的S2～S12的处理相同。
窗口设定部102判定是否在缩小动态图像数据50a中的所有位置设定了窗口52（S14c）。在对于窗口52有未设定的位置的情况下（S14c：否），窗口设定部102在未设定的位置设定窗口52（S2c），移动物体检测装置100b对所设定的窗口52执行自S4c起的处理。另外，窗口的扫描方式与实施方式1相同。
如果已在所有位置设定了窗口52（S14c：是）、而且在缩小动态图像数据50a中检测到移动物体（S22：是），移动物体检测装置100b结束处理。
如果已在所有位置设定了窗口52（S14c：是）、而且在缩小动态图像数据50a中没有检测到移动物体（S22：否），则移动物体检测装置100b通过在尺寸大于缩小动态图像数据50a的动态图像数据50中扫描相同尺寸的窗口52，进行移动物体的检测（S2d～S14d）。
S2d～S14d的处理除了扫描窗口52的对象的图像数据不同之外，与S2c～S14c的处理相同。因此，不重复其详细说明。
如以上说明的那样，根据实施方式1的变形例2的移动物体检测装置，能够在缩小动态图像数据中检测移动物体，如果没有发现移动物体，则在通常的尺寸的动态图像数据中检测移动物体。即，对于较大尺寸的移动物体，能够在分辨率较低的缩小动态图像数据中检测位置，因而能够快速检测移动物体。并且，对于较小尺寸的移动物体，能够在通常的尺寸的动态图像数据中检测位置，因而能够高精度地检测移动物体。即，根据实施方式1的变形例2，能够利用相同尺寸的窗口、各种尺寸的动态图像数据及缩小动态图像数据来检测移动物体。因此，能够检测各种大小的移动物体。
（实施方式1的变形例3）
在实施方式1的变形例1中，利用缩小动态图像数据和缩小窗口进行了移动物体的检测。即，根据缩小动态图像数据中的缩小倍率进行缩小窗口的设定。与此相对，在实施方式1的变形例3中，不使用缩小动态图像数据，而是使用多个尺寸的窗口进行移动物体的检测。即，通过在相同的动态图像数据中扫描各种尺寸的窗口来进行移动物体的检测。
实施方式1的变形例3的移动物体检测装置的功能性结构，与图1所示的实施方式1的移动物体检测装置的功能性结构相同。
即，移动物体检测装置100是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。
窗口设定部102在动态图像数据中设定具有彼此不同的规定体积的多个窗口。
空间亮度梯度方向计算部104对于多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向。
空间直方图计算部106对于多个窗口的每一个，计算该窗口内的空间直方图。
时间亮度梯度方向计算部108对于多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向。
时间直方图计算部110对于多个窗口的每一个，计算该窗口内的时间直方图。
判定部112从多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的空间直方图及时间直方图，判定所选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。
例如，如图12A所示，实施方式1的变形例3的移动物体检测装置100通过在动态图像数据50中扫描窗口52来进行移动物体的检测。在检测到移动物体的情况下，移动物体检测装置100结束处理。在没有检测到移动物体的情况下，移动物体检测装置100通过在动态图像数据50中扫描如图12B所示的尺寸比窗口54小的窗口52c来进行移动物体的检测。在检测到移动物体的情况下，移动物体检测装置100结束处理。在没有检测到移动物体的情况下，移动物体检测装置100通过在动态图像数据50中扫描如图12C所示的尺寸比窗口52c还小的窗口52d来进行移动物体的检测。另外，窗口52c和52d分别具有与缩小窗口52a和52b相同的结构。
图13是移动物体检测装置100执行的处理的流程图。
窗口设定部102如图12A所示在动态图像数据中设定窗口52（S2e）。
移动物体检测装置100通过执行S4e～S12e的处理，判定在窗口52内是否包含移动物体。S4e～S12e的处理与图3所示的S4～S12的处理相同。
窗口设定部102判定是否在动态图像数据50中的上述规定范围内的所有位置设定了窗口52（S14e）。在对于窗口52有未设定的位置的情况下（S14e：否），窗口设定部102在未设定的位置设定窗口52（S2e），移动物体检测装置100a对所设定的窗口52执行自S4e起的处理。另外，窗口的扫描方式与实施方式1相同。
如果已在所有位置设定了窗口52（S14e：是）、而且在动态图像数据内检测到移动物体（S22a：是），则移动物体检测装置100结束处理。
如果已在所有位置设定了窗口52（S14e：是）、而且在动态图像数据内没有检测到移动物体（S22a：否），移动物体检测装置100通过在动态图像数据50中扫描如图12B所示的尺寸比窗口52小的窗口52c来进行移动物体的检测（S2f～S14f）。
S2f～S14f的处理除了窗口的尺寸变小以外，与S2e～S14e的处理相同。因此，不重复其详细说明。
如以上说明的那样，根据实施方式1的变形例3的移动物体检测装置，由于使用各种尺寸的窗口进行移动物体的检测，因而能够检测各种尺寸的移动物体。
（实施方式2）
下面，说明实施方式2的移动物体检测装置。在实施方式1中根据空间直方图和时间直方图进行了移动物体的检测，而在实施方式2中，还根据光流的方向的直方图即光流直方图进行移动物体的检测。
图14是表示实施方式2的移动物体检测装置的功能性结构的框图。
移动物体检测装置200是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110、光流方向计算部114、光流直方图计算部116和判定部118。
窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108及时间直方图计算部110的结构，具有与实施方式1所示的以上要素相同的结构。因此，在此不重复其详细说明。
光流方向计算部114对包含于窗口中的每个像素计算光流的方向。
光流直方图计算部116计算窗口内的光流的方向的直方图即光流直方图。
图15是移动物体检测装置200执行的处理的流程图。
S2～S10的处理与实施方式1所示的图3中的S2～S10的处理相同。因此，不重复其详细说明。
参照图16（a），光流方向计算部114对包含于窗口52中的每个像素计算光流的方向（S16）。参照图17（a），在将窗口52内的各个像素的亮度值设为I（x,y，t）的情况下，光流方向计算部114计算各个像素的光流u＝[ux,uy]。并且，根据下式（3）计算各个像素的光流的方向ψ。
ψ＝tan－1（uy/ux）…（3）
另外，光流u＝[ux,uy]能够采用梯度法或模板匹配法等常规的公知方法计算出。因此，在此不重复其详细说明。
光流u与光流的方向ψ的关系如图17（b）所示。即，设x轴为ux、y轴为uy的二维平面上的矢量u与x轴形成的角成为光流的方向ψ。
光流直方图计算部116对每个块生成块内的光流的方向ψ的直方图即光流直方图（S18）。例如，通过以规定的幅度对光流的方向ψ进行量化（例如以30度的幅度进行量化），并计数光流的方向ψ的各个bin的频度，能够计算出如图16（d）所示的光流直方图。光流直方图计算部116按照块的个数来计算这种光流直方图。另外，通过S6的处理计算出如图16（b）所示的空间直方图，通过S10的处理计算出如图16（c）所示的时间直方图。
判定部118接受由空间直方图计算部106计算出的块的个数的量的空间直方图、由时间直方图计算部110计算出的块的个数的量的时间直方图、和由光流直方图计算部116计算出的块的个数的量的光流直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S20）。关于移动物体的检测方法（判定方法），例如能够采用Adaboost、SVM（SupportVector Machine）、神经网络等常规的方法。因此，在此不重复其详细说明。
窗口设定部102判定是否在动态图像数据50中的所有位置设定了窗口52（S14）。如果已在所有位置设定了窗口52（S14：是），移动物体检测装置200结束处理。在对于窗口52有未设定的位置的情况下（S14：否），窗口设定部102在未设定的位置设定窗口52（S2），移动物体检测装置200对所设定的窗口52执行自S4起的处理。另外，窗口的扫描方式与实施方式1相同。
如以上说明的那样，根据实施方式2的移动物体检测装置，在实施方式1的移动物体检测装置的基础上，还考虑表示移动物体的运动方向的特征的光流直方图来进行移动物体的检测。因此，能够更稳定地检测移动物体。
（实施方式3）
下面，说明实施方式3的移动物体检测装置。在实施方式2中，根据空间直方图和时间直方图和光流直方图来进行移动物体的检测，而在实施方式3中，各个直方图的生成方法不同。即，生成考虑了变量的共现性的直方图，这一点与实施方式2不同。
实施方式3的移动物体检测装置具有与图14所示的实施方式2的移动物体检测装置200相同的结构。但是，各个处理部执行的处理与实施方式2不同。下面，以与实施方式2的不同之处为中心来说明实施方式3的移动物体检测装置200。
空间直方图计算部106将相互处于规定的位置关系的多个像素的空间亮度梯度方向的组合设为第1变量组，计算窗口内的第1变量组的直方图。
时间直方图计算部110将相互处于所述规定的位置关系的多个像素的时间亮度梯度方向的组合设为第2变量组，计算窗口内的所述第2变量组的直方图。
光流直方图计算部116将相互处于所述规定的位置关系的多个像素的光流方向的组合设为第3变量组，计算窗口内的第3变量组的直方图。
判定部118根据第1变量组的直方图、第2变量组的直方图和第3变量组的直方图，判定窗口内是否包含移动物体。
移动物体检测装置200执行的处理的流程与图15所示的流程图的流程相同。但是，各个处理不同。下面，以不同之处为中心进行说明。
S2和S4的处理与实施方式2相同。
空间直方图计算部106对窗口内的每个块计算所述第1变量组的直方图（S6）。参照图18详细说明S6的处理。图18（a）表示在窗口52内设置的块54b的一例。图18（b）是将块54b放大的图，表示块54b内的某个时刻的像素排列和下一个时刻的像素排列。即，在关注于某个时刻的像素P0时，将在纸面上位于其右斜下方的邻接像素、下方的邻接像素、左斜下方的邻接像素、左侧的邻接像素分别设为共现像素P1、P2、P3、P4。并且，将x坐标及y坐标与像素P0相同的下一个时刻的像素设为共现像素P9。另外，将共现像素P9周围附近的8个邻接像素设为共现像素P5～P8、P10～P13。并且，设像素P0的空间亮度梯度方向设为φ0，设共现像素Pi（i＝1～13）的空间亮度梯度方向为φi（i＝1～3）。在将块54b内的各个像素设为关注的像素设为P0的情况下，空间直方图计算部106生成以φ0和φi为第1变量组的二维直方图。该二维直方图表示上述的第1变量组的直方图。图18（c）表示以φ0和φ1为第1变量组的直方图的一例，图18（d）表示以φ0和φ5为第1变量组的直方图的一例。在图18（b）所示的示例中，像素P0与共现像素Pi（i＝1～13）的组合有13个，因而从一个块54b能够得到13个第1变量组的直方图。空间直方图计算部106对窗口52内的所有块计算这13个第1变量组的直方图。
S8的处理与实施方式2相同。
时间直方图计算部110对窗口内的每个块计算所述第2变量组的直方图（S10）。第2变量组的直方图的计算方法相对于图18所示的第1变量组的直方图的计算方法，仅仅是空间亮度梯度方向变为时间亮度梯度方向，除此以外是相同的。因此，不重复其详细的说明。通过S10的处理，与第1变量组的直方图相同地，能够从一个块54b能够得到13个第2变量组的直方图。空间直方图计算部106对窗口52内的所有块计算这13个第2变量组的直方图。
S16的处理与实施方式2相同。
光流直方图计算部116对窗口内的每个块计算所述第3变量组的直方图（S18）。第3变量组的直方图的计算方法相对于图18所示的第1变量组的直方图的计算方法，仅仅是空间亮度梯度方向变为光流的方向，除此以外是相同的。因此，不重复其详细的说明。通过S18的处理，与第1变量组的直方图相同地，能够从一个块54b能够得到13个第3变量组的直方图。空间直方图计算部106对窗口52内的所有块计算这13个第3变量组的直方图。
判定部118接受由空间直方图计算部106计算出的块的个数×13个第1变量组的空间直方图、由时间直方图计算部110计算出的块的个数×13个第2变量组的时间直方图、和由光流直方图计算部116计算出的块的个数×13个第3变量组的光流直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S20）。关于移动物体的检测方法（判定方法），例如能够采用Adaboost、SVM（Support Vector Machine）、神经网络等常规的方法。因此，在此不重复其详细说明。
窗口设定部102判定是否在动态图像数据50中的所有位置设定了窗口52（S14）。如果已在所有位置设定了窗口52（S14：是），移动物体检测装置200结束处理。在对于窗口52有未设定的位置的情况下（S14：否），窗口设定部102在未设定的位置设定窗口52（S2），移动物体检测装置200对所设定的窗口52执行自S4起的处理。另外，窗口的扫描方式与实施方式1相同。
如以上说明的那样，根据实施方式3的移动物体检测装置，分别生成窗口内的表示空间亮度梯度方向的共现性的第1变量组的直方图和表示时间亮度梯度方向的共现性的第2变量组的直方图和表示光流的方向的共现性的第3变量组的直方图，根据这三种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。
（实验结果）
进行了将利用现行方法和上述的实施方式示出的移动物体检测装置的移动物体检测方法进行比较的实验。另外，移动物体检测装置的判定部的检测方法采用Adaboost。另外，光流的计算采用Lucas－Kanade法，其代码采用作为OpenCV而公开的代码。
图19是表示针对在雨天拍摄到的动态图像数据采用各种特征量的检测方法的RPC（Recall-precision curve）的曲线图。关于RPC的详细情况已在非专利文献6中公开。
[非专利文献6]S.Agawal and D.Roth,“Learning a Sparse Representationfor Object Detection”,ECCV，2002
在图19的曲线图中，横轴表示移动物体的错误检测率，纵轴表示移动物体的检测率。即，可以说错误检测率越接近0、检测率越接近1（RPC越接近曲线的左上部），性能越高。在图19中，HOG－RPC表示采用HOG特征量的方法的RPC，SeHOG－RPC表示采用SeHOG特征量（按照多个帧将HOG特征量排列得到的特征量）的方法的RPC，HOGHOF－RPC表示采用HOGHOF特征量的方法的RPC。另外，STHOG－RPC表示采用在实施方式1中说明的特征量（下面称为“STHOG特征量”）的方法的RPC。另外，STHOGHOF－RPC表示采用在实施方式2中说明的特征量（下面称为“STHOGHOF特征量”）的方法的RPC。3DHOG－20Sides－RPC表示采用3DHOG特征量的方法的RPC。将各个RPC进行比较发现，STHOGHOF－RPC靠近曲线的左上角，采用STHOGHOF特征量的方法的性能最高，其次是采用STHOG特征量和HOGHOF特征量的方法的性能比较高。
图20是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。图20（a）表示采用HOG特征量的步行者的检测结果的一例，图20（b）表示采用HOGHOF特征量的步行者的检测结果的一例，图20（c）表示采用STHOG特征量的步行者的检测结果的一例。各个检测结果表示同一时刻的图像数据，用矩形表示被检测为步行者的区域。图21～图23表示针对在与图20所示不同的时刻拍摄到的图像数据的检测结果。将各个检测结果进行比较发现，在采用HOG特征量的情况下，存在如图20（a）的右下部的矩形所示将背景错误检测为步行者的情况、或如图21（a）或者图23（a）所示不能检测出步行者的情况等。与此相比，在采用HOGHOF特征量和STHOG特征量的情况下，能够稳定地检测到步行者。
图24是表示针对在晴天拍摄到的动态图像数据采用各种特征量的检测方法的RPC的曲线图。曲线的观察方法与图19相同。将各个RPC进行比较发现，STHOG－RPC和STHOGHOF－RPC靠近曲线的左上角，采用STHOG特征量和STHOGHOF特征量的方法的性能最高且为同等程度，其次是采用HOGHOF特征量的方法的性能比较高。采用HOGHOF特征量的方法的性能劣于针对在雨天拍摄到的动态图像数据的性能，这是因为容易受到影子的影响。
图25是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。图25（a）表示采用HOG特征量的步行者的检测结果的一例，图25（b）表示采用HOGHOF特征量的步行者的检测结果的一例，图25（c）表示采用STHOG特征量的步行者的检测结果的一例。各个检测结果表示同一时刻的图像数据，用矩形表示被检测为步行者的区域。图26～图28表示针对在与图25所示不同的时刻拍摄到的图像数据的检测结果。将各个检测结果进行比较发现，在采用HOG特征量的情况下，存在如图25（a）或者图26（a）所示不能检测出步行者的情况、或如图28（a）的左上部的矩形所示将背景错误检测为步行者的情况。另外，在采用HOGHOF特征量的情况下，存在将步行者的影子错误检测为步行者的情况。与此相对，在采用STHOG特征量的情况下，不会将步行者的影子或其它背景错误检测为步行者，能够稳定地检测到步行者。
根据以上示出的实验数据，能够显示出采用STHOG特征量和STHOGHOF特征量的移动物体的检测的优越性。
另外，图29和图30表示在其它场景的动态图像数据中使用STHOG特征量进行步行者检测的结果，可知能够稳定地检测到步行者。另外，图31表示使用STHOG特征量检测骑单轮车的人物的结果，可知即使是骑单轮车时也能够稳定地检测到人物。
以上对本发明的实施方式的移动物体检测装置进行了说明，但本发明不限于该实施方式。
例如，在上述的实施方式3中，将两个像素的空间亮度梯度方向的组合设为第1变量组进行了说明，但像素数不限于两个像素，也可以将三个像素以上的像素的空间亮度梯度方向的组合设为第1变量组。同样，也可以将三个像素以上的像素的时间亮度梯度方向的组合设为第2变量组，还可以将三个像素以上的像素的光流的方向的组合设为第3变量组。
另外，在上述的实施方式3中，使用第1变量组的直方图和第2变量组的直方图和第3变量组的直方图进行了移动物体的检测，但也可以仅使用第1变量组的直方图和第2变量组的直方图进行移动物体的检测。在这种情况下，能够利用具有与图1所示的移动物体检测装置100相同的结构的移动物体检测装置进行移动物体的检测。
另外，也可以将在实施方式1的变形例1或者2中示出的基于图像金字塔的移动物体的检测处理、或者在实施方式1的变形例3中示出的基于多个尺寸的窗口的移动物体的检测处理，适用于实施方式2或者实施方式3。另外，图像金字塔的阶层不限于上述变形例示出的两层，也可以是三层以上。即，也可以准备缩小比率不同的多个缩小动态图像数据来进行移动物体的检测处理。
另外，窗口及块的形状不限于长方体，也可以是其它形状。例如，也可以是球形。
另外，在上述的实施方式1～3中，窗口52的尺寸不限于一种，也可以设置多种尺寸的窗口52，并对尺寸不同的每个窗口52进行移动物体的检测。即，以实施方式1的事例进行说明，窗口设定部102在动态图像数据50中设定具有彼此不同的体积的多个窗口52。并且，空间直方图计算部106对于多个窗口52分别计算空间直方图。另外，时间直方图计算部110对于多个窗口52的每一个计算时间直方图。判定部118对于多个窗口52的每一个，根据空间直方图和时间直方图来判定各个窗口52内是否包含移动物体。通过这样设置尺寸不同的多个窗口52，能够检测各种尺寸的移动物体。
另外，在实施方式3中，共现像素Pi不限于关注的像素P0的邻接像素，只要是和像素P0处于规定的位置关系的像素，则可以是任何像素。并且，共现像素Pi的个数不限于13个，能够适当选择个数。例如，也可以是1个。
另外，在上述的实施方式1～3中，每当设定窗口时计算空间亮度梯度方向及时间亮度梯度方向，可是在窗口的位置的移动前后产生窗口的重合。因此，对于产生重合的部分的空间亮度梯度方向及时间亮度梯度方向不再次进行计算，而是利用已经计算出的空间亮度梯度方向及时间亮度梯度方向，计算空间直方图和时间直方图。
另外，上述的各个装置具体地讲也可以构成为由微处理器、ROM、RAM、驱动硬盘、显示器装置、键盘、鼠标等构成的计算机系统。在RAM或者硬盘装置中存储有计算机程序。微处理器按照计算机程序而动作，由此各个装置实现其功能。在此，计算机程序为了实现规定的功能，可以组合多个表示对计算机的指令的命令代码而构成。
另外，也可以是，构成上述各个装置的构成要素的一部分或者全部由一个系统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI是在一个芯块上集成多个构成部分制得的超多功能LSI，具体地讲，是包括微处理器、ROM、RAM等在内构成的计算机系统。在RAM中存储有计算机程序。微处理器按照计算机程序而动作，由此系统LSI实现其功能。
另外，也可以是，构成上述各个装置的构成要素的一部分或者全部由能够在各个装置上插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或者模块也可以包含上述的超多功能LSI。微处理器按照计算机程序而动作，由此IC卡或者模块实现其功能。该IC卡或者该模块可以具有耐篡改性。
另外，本发明也可以是以上所示的方法。并且，也可以是利用计算机实现这些方法的计算机系统，还可以是由所述计算机程序构成的数字信号。
并且，本发明也可以将所述计算机程序或者所述数字信号记录在计算机可以读取的非易失性的记录介质中，所述记录介质例如是软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu-ray Disc：蓝光光盘（注册商标））、半导体存储器等。并且，本发明还可以是记录在这些非易失性的记录介质中的所述数字信号。
并且，本发明也可以构成为经由电通信线路、无线或者有线通信线路、以因特网为代表的网络、数据广播等，传输所述计算机程序或所述数字信号。
并且，本发明也可以是具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而动作。
并且，本发明也可以构成为将所述程序或者所述数字信号记录在所述非易失性的记录介质中并进行传输，或者经由所述网络等传输所述程序或者所述数字信号，从而能够利用独立的其他计算机系统来实施。
另外，本发明也可以分别组合上述实施方式和上述变形例来实施。
此次公开的实施方式只是全部方面的示例，不能理解为限制方式。本发明的范围利用权利要求书示出而不是上述的说明，并且包括与权利要求书均等的意思以及范围内的全部变更。
产业上的可利用性
本发明能够应用于监视装置、行驶车辆中的步行者检测装置、或者智能机器人等。
标号说明
10输入图像；12、52窗口；14a、14b、54a、54b、56a块；40二维图像数据；50动态图像数据；50a、50b缩小动态图像数据；52a、52b缩小窗口；55矢量；100、100a、200移动物体检测装置；102窗口设定部；103缩小动态图像数据生成部；104空间亮度梯度方向计算部；105缩小窗口设定部；106空间直方图计算部；108时间亮度梯度方向计算部；110时间直方图计算部；112、118判定部；114光流方向计算部；116光流直方图计算部。

Claims (13)

1.一种移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有：
窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；
空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；
空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；
时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；
时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及
判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
2.根据权利要求1所述的移动物体检测装置，
所述移动物体检测装置还具有：
光流方向计算部，对包含于所述窗口中的每个像素计算光流的方向；以及
光流直方图计算部，计算所述窗口内的所述光流的方向的直方图即光流直方图，
所述判定部根据所述空间直方图计算部计算出的所述空间直方图、所述时间直方图计算部计算出的所述时间直方图、和所述光流直方图计算部计算出的所述光流直方图，判定所述窗口内是否包含移动物体。
3.根据权利要求2所述的移动物体检测装置，
所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，
所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，
所述光流直方图计算部将相互处于所述规定的位置关系的多个像素的所述光流方向的组合设为第3变量组，计算所述窗口内的所述第3变量组的直方图，
所述判定部根据所述第1变量组的直方图、所述第2变量组的直方图和所述第3变量组的直方图，判定所述窗口内是否包含移动物体。
4.根据权利要求1所述的移动物体检测装置，
所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，
所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，
所述判定部根据所述第1变量组的直方图和所述第2变量组的直方图，判定所述窗口内是否包含移动物体。
5.根据权利要求1～4中任意一项所述的移动物体检测装置，
所述空间亮度梯度方向计算部对包含于所述窗口内的每个像素，在将该像素的x轴方向的亮度值的梯度设为Ix、将y轴方向的亮度值的梯度设为Iy的情况下，根据下面的式（1）计算出空间亮度梯度方向φ，
φ＝tan-1（Iy/Ix）…（1）。
6.根据权利要求1～5中任意一项所述的移动物体检测装置，
所述时间亮度梯度方向计算部对包含于所述窗口内的每个像素，在将该像素的x轴方向的亮度值的梯度设为Ix、将y轴方向的亮度值的梯度设为Iy、将时间轴方向的亮度值的梯度设为It的情况下，根据下面的式（2）计算出时间亮度梯度方向θ，
[数式1]
θ = tan - 1 ( I t / I x 2 + I y 2 ) · · · ( 2 ) .
7.根据权利要求1～6中任意一项所述的移动物体检测装置，
所述移动物体检测装置还具有：
缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及
缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，
所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，
所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，
所述时间亮度梯度方向计算部还对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，
所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，
所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，
所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，
在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，
在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。
8.根据权利要求1～6中任意一项所述的移动物体检测装置，
所述移动物体检测装置还具有缩小动态图像数据生成部，该缩小动态图像数据生成部生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据，
所述窗口设定部还在各个所述缩小动态图像数据中设定所述窗口，
所述空间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算空间亮度梯度方向，
所述空间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小空间直方图，
所述时间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算时间亮度梯度方向，
所述时间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小时间直方图，
所述判定部进行如下判定：（a）从所述多个缩小比率中按照缩小比率从小到大的顺序来选择缩小比率作为对象缩小比率，并根据在以所述对象缩小比率而缩小得到的缩小动态图像数据中设定的所述窗口内的所述缩小空间直方图及所述缩小时间直方图，判定所述窗口内是否包含移动物体，直到判定为窗口内包含移动物体，（b）在判定为所述多个缩小动态图像中的任何缩小动态图像的所述窗口内均不包含移动物体的情况下，根据所述空间直方图及所述时间直方图判定在所述动态图像数据中设定的所述窗口内是否包含移动物体。
9.根据权利要求1～6中任意一项所述的移动物体检测装置，
所述窗口设定部在所述动态图像数据中设定具有彼此不同的规定体积的多个窗口，
所述空间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向，
所述空间直方图计算部对所述多个窗口的每一个，计算该窗口内的空间直方图，
所述时间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向，
所述时间直方图计算部对于所述多个窗口的每一个，计算该窗口内的时间直方图，
所述判定部从所述多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的所述空间直方图及所述时间直方图，判定所述选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。
10.根据权利要求1～9中任意一项所述的移动物体检测装置，
所述空间直方图计算部计算出的所述空间直方图的各个柱中的所述空间亮度梯度方向的宽度是固定的，
所述时间直方图计算部计算出的所述时间直方图的各个柱中的所述时间亮度梯度方向的宽度是固定的。
11.一种移动物体检测方法，从动态图像数据中检测移动物体，该移动物体检测方法包括：
窗口设定步骤，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；
空间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；
空间直方图计算步骤，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；
时间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；
时间直方图计算步骤，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及
判定步骤，根据所述空间直方图计算步骤计算出的所述空间直方图和所述时间直方图计算步骤计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
12.一种程序，从动态图像数据中检测移动物体，该程序使计算机执行以下步骤：
窗口设定步骤，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；
空间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；
空间直方图计算步骤，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；
时间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；
时间直方图计算步骤，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及
判定步骤，根据所述空间直方图计算步骤计算出的所述空间直方图和所述时间直方图计算步骤计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
13.一种集成电路，从动态图像数据中检测移动物体，该集成电路具有：
窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；
空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；
空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；
时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；
时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及
判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
CN201180030287.7A 2010-06-23 2011-06-20 移动物体检测装置 Expired - Fee Related CN102947863B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010143213 2010-06-23
JP2010-143213 2010-06-23
PCT/JP2011/003492 WO2011161924A1 (ja) 2010-06-23 2011-06-20 移動物体検出装置

Publications (2)

Publication Number Publication Date
CN102947863A true CN102947863A (zh) 2013-02-27
CN102947863B CN102947863B (zh) 2016-01-13

Family

ID=45371131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180030287.7A Expired - Fee Related CN102947863B (zh) 2010-06-23 2011-06-20 移动物体检测装置

Country Status (5)

Country Link
US (1) US8958641B2 (zh)
EP (1) EP2587451A4 (zh)
JP (1) JP5467300B2 (zh)
CN (1) CN102947863B (zh)
WO (1) WO2011161924A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264587A (zh) * 2013-07-08 2016-01-20 本田技研工业株式会社 物体识别装置
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561657B2 (ja) 2006-03-06 2010-10-13 ソニー株式会社 映像監視システムおよび映像監視プログラム
JP6057629B2 (ja) * 2012-09-07 2017-01-11 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
JP6532187B2 (ja) * 2014-03-17 2019-06-19 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
KR101808937B1 (ko) * 2016-02-29 2017-12-13 국민대학교산학협력단 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치
KR102145726B1 (ko) * 2016-03-22 2020-08-19 (주) 아키드로우 기계 학습 알고리즘을 이용한 도어 이미지 검출 방법 및 장치
US10482609B2 (en) 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
US10679099B2 (en) 2018-05-08 2020-06-09 Toyta Research Institute, Inc. Method and apparatus for a manifold view of space
JP7212247B2 (ja) * 2018-11-02 2023-01-25 富士通株式会社 目標検出プログラム、目標検出装置、及び目標検出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181741A1 (en) * 2001-05-30 2002-12-05 Koichi Masukura Spatiotemporal locator processing method and apparatus
US20060078164A1 (en) * 2004-10-08 2006-04-13 Huei-Yung Lin Measurement method using blurred images
CN1839409A (zh) * 2003-08-21 2006-09-27 松下电器产业株式会社 人物检测装置和人物检测方法
US20080063285A1 (en) * 2006-09-08 2008-03-13 Porikli Fatih M Detecting Moving Objects in Video by Classifying on Riemannian Manifolds
CN101482923A (zh) * 2009-01-19 2009-07-15 刘云 视频监控中人体目标的检测与性别识别方法
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181741A1 (en) * 2001-05-30 2002-12-05 Koichi Masukura Spatiotemporal locator processing method and apparatus
CN1839409A (zh) * 2003-08-21 2006-09-27 松下电器产业株式会社 人物检测装置和人物检测方法
US20060078164A1 (en) * 2004-10-08 2006-04-13 Huei-Yung Lin Measurement method using blurred images
US20080063285A1 (en) * 2006-09-08 2008-03-13 Porikli Fatih M Detecting Moving Objects in Video by Classifying on Riemannian Manifolds
CN101482923A (zh) * 2009-01-19 2009-07-15 刘云 视频监控中人体目标的检测与性别识别方法
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LAMBERTO BALLAN等: "Recognizing Human Actions by Fusing Spatio-Temporal Appearance and Motion Descriptors", 《ICIP》 *
LAMBERTO BALLAN等: "Recognizing Human Actions by Fusing Spatio-Temporal Appearance and Motion Descriptors", 《ICIP》, 31 December 2009 (2009-12-31), pages 3570 - 3571, XP031628996 *
PAUL SCOVANNER等: "A 3-Dimensional SIFT Descriptor and its Application to Action Recognition", 《MM"07》 *
TOMOKI WATANABE等: "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection", 《PSIVT》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264587A (zh) * 2013-07-08 2016-01-20 本田技研工业株式会社 物体识别装置
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
CN105264587B (zh) * 2013-07-08 2017-04-26 本田技研工业株式会社 物体识别装置

Also Published As

Publication number Publication date
US20130094759A1 (en) 2013-04-18
JP5467300B2 (ja) 2014-04-09
US8958641B2 (en) 2015-02-17
EP2587451A4 (en) 2015-04-08
EP2587451A1 (en) 2013-05-01
WO2011161924A1 (ja) 2011-12-29
JPWO2011161924A1 (ja) 2013-08-19
CN102947863B (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN102947863B (zh) 移动物体检测装置
US10254845B2 (en) Hand gesture recognition for cursor control
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
Oreifej et al. Hon4d: Histogram of oriented 4d normals for activity recognition from depth sequences
Abdul-Azim et al. Human action recognition using trajectory-based representation
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
CN101211411B (zh) 一种人体检测的方法和装置
CN101655914B (zh) 训练装置、训练方法及检测方法
Zhang et al. A pedestrian detection method based on SVM classifier and optimized Histograms of Oriented Gradients feature
CN101655910A (zh) 训练系统、训练方法及检测方法
CN104899590A (zh) 一种无人机视觉目标跟随方法及系统
Walk et al. Disparity statistics for pedestrian detection: Combining appearance, motion and stereo
CN102479329A (zh) 分类器生成装置和方法,检测图像中的对象的装置和方法
CN103714530A (zh) 一种灭点检测及图像矫正方法
Feichtenhofer et al. Dynamically encoded actions based on spacetime saliency
CN104185012B (zh) 三维视频格式自动检测方法及装置
CN103077383B (zh) 基于时空梯度特征的分部位的人体运动识别方法
Chen et al. A spatio-temporal interest point detector based on vorticity for action recognition
CN109726621A (zh) 行人检测方法、装置及设备
El Madany et al. Human action recognition using temporal hierarchical pyramid of depth motion map and keca
Tsai et al. Vision-Based Obstacle Detection for Mobile Robot in Outdoor Environment.
KR101582983B1 (ko) 크기 불변 특징 벡터를 이용한 고속 객체 검출 장치 및 방법
CN104636745A (zh) 尺度不变特征提取方法和装置、对象识别方法和装置
CN107292233A (zh) 辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统
Lucena et al. Human action recognition using optical flow accumulated local histograms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113

Termination date: 20210620

CF01 Termination of patent right due to non-payment of annual fee