CN102947863B - 移动物体检测装置 - Google Patents

Abstract

移动物体检测装置（100）具有：窗口设定部（102），在动态图像数据中设定具有规定的体积的窗口；空间亮度梯度方向计算部（104），对包含于窗口中的每个像素计算空间亮度梯度方向；空间直方图计算部（106），计算窗口内的空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部（108），对包含于窗口中的每个像素计算时间亮度梯度方向；时间直方图计算部（110），计算窗口内的时间亮度梯度方向的直方图即时间直方图；以及判定部（112），根据空间直方图和时间直方图，判定窗口内是否包含移动物体。

Description

移动物体检测装置

技术领域

本发明涉及从动态图像数据中检测移动物体的移动物体检测装置。

背景技术

过去，已经研究出了从动态图像数据中检测以步行者为代表的移动物体的方法。移动物体检测方法是能够在监视用途、行驶车辆中的步行者检测、或者智能机器人等技术中应用的重要技术。

截止到目前已经研究出了许多方法，但是步行者是多关节物体且能够采取各种姿势，并且由于衣服、外部光及复杂的背景等的影响，有多种多样的外观，因而存在很难检测步行者的问题。

过去，作为从静态图像数据中检测人物的方法，已经公知有根据HOG（HistogramofOrientedGradient：方向梯度直方图）特征与Adaboost识别器的组合来检测人物的方法（例如，参照非专利文献1）。

图32是用于说明非专利文献1记载的方法的图。如图32（a）所示，在输入图像10中设定规定尺寸的窗口12。将窗口12内部划分为多个块(patch)（块14a和14b等），对每个块计算HOG特征。

例如，参照图32（b）说明块14a的HOG特征的计算方法。在将块14a内的各个像素的亮度值设为I（x，y）的情况下，计算各个像素的空间梯度并且，计算各个像素的空间亮度梯度方向φ＝tan^-1（I_y/I_x）。空间梯度与空间亮度梯度方向φ的关系如图32（c）所示。即，在设横轴为I_x、设纵轴为I_y的情况下，空间梯度形成的矢量与横轴I_x所成的角成为空间亮度梯度方向φ。通过对块14a内的各个像素计算出空间亮度梯度方向φ的频度，能够得到如图32（d）所示的直方图。该直方图表示HOG特征。同样，对于块14b也能够得到如图32（e）所示的HOG特征。通过对窗口12内的所有块计算HOG特征，并作为Adaboost识别器的输入，Adaboost识别器判定窗口12内有无人物。通过从输入图像10的左上角一直到右下角对该窗口12进行光栅扫描，并在各个位置判定有无人物，能够检测包含于输入图像10内的人物。

另外，空间梯度能够使用普通的一阶微分算子（Sobel、Roberts、Rosenfeld等）计算出。因此，省略其详细说明。

将该HOG特征扩展得到的CoHOG特征也是公知的（例如，参照非专利文献2）。图33是用于说明CoHOG特征的图。如图33（a）所示，在与图32（a）相同地考虑窗口12的情况下，将窗口12内部划分为多个块（块14b等），对每个块计算CoHOG特征。

例如，说明块14b的CoHOG特征的计算方法。图33（b）是将块14b放大的图。首先，按照图32（b）所示，对于块14b内的各个像素计算空间亮度梯度方向φ＝tan^-1（I_y/I_x）。然后，将块14b内的关注的像素设为P₀，将像素P₀的左斜下方的邻接像素、像素P₀的下方的邻接像素、像素P₀的右斜下方的邻接像素、像素P₀的右侧邻接的邻接像素分别设为共现(co-occurrence)像素P₁、P₂、P₃、P₄。并且，将像素P₀的空间亮度梯度方向设为φ₀，将共现像素P_i（i＝1～4）的空间亮度梯度方向设为φ_i（i＝1～4）。在将块14b内的各个像素作为关注的像素P₀的情况下，生成以φ₀和φ_i为变量组的二维直方图。该二维直方图表示CoHOG特征量。图33（c）表示以φ₀和φ₁为变量组的二维直方图的一例，图33（d）表示以φ₀和φ₂为变量组的二维直方图的一例，图33（e）表示以φ₀和φ₃为变量组的二维直方图的一例。在图33所示的示例中，像素P₀与共现像素P_i（i＝1～4）的组合有4个，因而从一个块14b能够得到4个CoHOG特征量。对所有的块计算这4个CoHOG特征量，并与HOG特征量同样地输入给Adaboost识别器等识别器，由此能够判定窗口12内有无人物。另外，共现像素P_i不限于关注的像素P₀的邻接像素，只要是和像素P₀处于规定的位置关系的像素，则可以是任何像素。另外，共现像素P_i的个数不限于4个，能够适当选择个数。已经公知采用CoHOG特征量的方法的精度高于采用HOG特征量的方法。

作为将HOG特征量扩展得到的另一种特征量，还公知有HOGHOF特征量（例如，参照非专利文献3和4）。其中，HOF表示光流(opticalflow)的方向的直方图。例如，在将图32（a）所示的块14a内的各个像素的光流设为u[u_x,u_y]的情况下，能够计算出光流的方向ψ为ψ＝tan^-1（u_y/u_x）。与φ相同地生成ψ的直方图，并生成HOF特征量。通过利用将HOG特征量和HOF特征量相结合的HOGHOF特征量，能够进行人物的行动分析。另外，作为光流的计算方法，能够采用梯度法或模板匹配法等各种方法。因此，省略其详细说明。

另外，作为将HOG特征量扩展得到的另一种特征量，还公知有3DHOG特征量（例如，参照非专利文献5）。在3DHOG特征量中，在将静态图像数据沿时间轴方向排列得到的三维动态图像数据中，设定具有规定的体积的窗口。对于该窗口内的各个像素，利用一个矢量表示其空间上的形状和时间上的运动的特征。将该矢量与在窗口内虚拟设定的多面体的各个面的法线矢量进行比较，并投票于具有最接近的法线矢量的面上，由此生成以多面体的各个面为bin（直方图的柱，阶层）的直方图。该直方图表示3DHOG特征量。通过利用该3DHOG特征量，能够进行人物的行动分析。

现有技术文献

非专利文献

非专利文献1：N.DalalandB.Triggs,“HistogramsofOrientedGradientsforHumanDetection”,CVPR,pp.886-893,2005

非专利文献2：T.Watanabe,S.ItoandK.Yokoi,“Co-occurrenceHistogramsofOrientedGradientsforPedestrianDetection”,PSIVT,2009

非专利文献3：IvanLaptev，M.Marsazlek,C.Schmid,B.Rozenfeld,“Learningrealistichumanactionsfrommovies”,CVPR,2008

非专利文献4：I.Laptev，P.Perez,“Retrievingactionsinmovie”,ICCV，2007

非专利文献5：A.Klaser,M.Marszalek,C.Schmid,“ASpatio-TemporalDescriptorBasedon3D-Gradient”,BMVC,pp.995-1004,2008

发明概要

发明要解决的问题

但是，采用HOG特征量及CoHOG特征量的方法均利用了与人物的形状相关的空间特征。因此，在从侧面观察人物的情况下，尤其是由于手脚部分轮廓形状变化，诸如步行者那样各个关节的运动较大的情况下，这样的方法不适合。另外，这些方法也容易受到背景的变化或纹理的影响。

另外，采用HOGHOF特征量的方法容易受到照明变动或视点变化的影响，存在检测结果容易依赖于学习数据中包含的步行者的步行方向的问题。例如，在HOGHOF特征量中，存在针对沿与学习时少许不同的方向步行的步行者的检测遗漏较多的问题。

另外，3DHOG特征量是空间上的形状与时间上的运动的特征相结合的、即考虑了共现的特征量。但是，实际步行者的空间上的形状与时间上的运动的结合是极其多样化的，在有限的学习集中很难充分表现这种步行者的多样性，其结果是产生步行者的检测遗漏。

另外，在采用普通的背景差分法的情况下，由于也是容易受到背景变化的影响的方法，因而不能稳定地从动态图像数据中检测移动物体。

发明内容

本发明正是为了解决上述问题而提出的，其目的在于，提供一种移动物体检测装置，能够稳定地从动态图像数据中检测移动物体，而且不受复杂的背景或照明变动等的影响。

用于解决问题的手段

为了达到上述目的，本发明的某个方面的移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有：窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。

根据这种结构，独立地计算表示空间上的亮度的梯度方向的分布的空间直方图和表示时间上的亮度的梯度方向的分布的时间直方图，并根据空间直方图和时间直方图判定有无移动物体。在移动物体是步行者的情况下，步行者通常是纵向的边缘成分较多，因而能够利用空间直方图区分检测步行者和背景。并且，通过一并考虑时间直方图，能够更加高精度地检测移动着的步行者和不移动的背景。另外，根据这种结构，能够独立表现空间上的特征和时间上的特征，而不需像3DHOG特征量那样结合表现空间上的特征和时间上的特征。因此，能够利用空间上的特征和时间上的特征分别吸收背景及步行者的多样性或照明变动等的影响，因而即使是有限的学习集，也能够稳定地检测移动物体。

优选的是，上述的移动物体检测装置还具有：光流方向计算部，对包含于所述窗口中的每个像素计算光流的方向；以及光流直方图计算部，计算所述窗口内的所述光流的方向的直方图即光流直方图，所述判定部根据所述空间直方图计算部计算出的所述空间直方图、所述时间直方图计算部计算出的所述时间直方图、和所述光流直方图计算部计算出的所述光流直方图，判定所述窗口内是否包含移动物体。

根据这种结构，也考虑表示移动物体的运动方向的特征的光流直方图来进行移动物体的检测。因此，能够更加稳定地检测移动物体。

更优选的是，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述光流直方图计算部将相互处于所述规定的位置关系的多个像素的所述光流方向的组合设为第3变量组，计算所述窗口内的所述第3变量组的直方图，所述判定部根据所述第1变量组的直方图、所述第2变量组的直方图和所述第3变量组的直方图，判定所述窗口内是否包含移动物体。

根据这种结构，分别生成窗口内的表示空间亮度梯度方向的共现性的第1变量组的直方图、表示时间亮度梯度方向的共现性的第2变量组的直方图、及表示光流方向的共现性的第3变量组的直方图，根据这三种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。

另外，也可以是，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述判定部根据所述第1变量组的直方图和所述第2变量组的直方图，判定所述窗口内是否包含移动物体。

根据这种结构，分别生成窗口内的表示空间亮度梯度方向的共现性的第1变量组的直方图和表示时间亮度梯度方向的共现性的第2变量组的直方图，根据这两种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。

另外，也可以是，上述的移动物体检测装置还具有：缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，所述时间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。

根据这种结构，能够在缩小动态图像数据中检测移动物体，并在通常的尺寸的动态图像数据中检测移动物体。即，能够在缩小动态图像数据中粗略地检测移动物体的位置，并在通常的尺寸的动态图像数据中检测移动物体的具体位置。缩小动态图像数据的数据量少于通常的尺寸的动态图像数据。因此，利用这种方法能够快速地检测移动物体的具体位置。

另外，也可以是，上述的移动物体检测装置还具有缩小动态图像数据生成部，该缩小动态图像数据生成部生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据，所述窗口设定部还在各个所述缩小动态图像数据中设定所述窗口，所述空间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算空间亮度梯度方向，所述空间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小空间直方图，所述时间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算时间亮度梯度方向，所述时间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小时间直方图，所述判定部进行如下判定：（a）从所述多个缩小比率中按照缩小比率从小到大的顺序来选择缩小比率作为对象缩小比率，并根据在以所述对象缩小比率而缩小得到的缩小动态图像数据中设定的所述窗口内的所述缩小空间直方图及所述缩小时间直方图，判定所述窗口内是否包含移动物体，直到判定为窗口内包含移动物体，（b）在判定为所述多个缩小动态图像中的任何缩小动态图像的所述窗口内均不包含移动物体的情况下，根据所述空间直方图及所述时间直方图判定在所述动态图像数据中设定的所述窗口内是否包含移动物体。

根据这种结构，使用相同尺寸的窗口、和各种尺寸的动态图像数据及缩小动态图像数据来检测移动物体。因此，能够检测各种大小的移动物体。

另外，也可以是，所述窗口设定部在所述动态图像数据中设定具有彼此不同的规定体积的多个窗口，所述空间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对所述多个窗口的每一个，计算该窗口内的空间直方图，所述时间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个窗口的每一个，计算该窗口内的时间直方图，所述判定部从所述多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的所述空间直方图及所述时间直方图，判定所述选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。

根据这种结构，设定体积不同的窗口，并判定每个窗口是否包含移动物体。因此，能够检测各种尺寸的移动物体。

另外，本发明不仅能够实现为具有这种特征性的处理部的移动物体检测装置，而且也能够实现为将移动物体检测装置所包含的特征性的处理部执行的处理作为步骤的移动物体检测方法。并且，也能够实现为使计算机执行移动物体检测方法所包含的特征性步骤的程序。并且，这种程序当然能够通过CD－ROM（CompactDisc-ReadOnlyMemory）等计算机可读的非易失性记录介质或因特网等通信网络进行流通。

发明效果

根据本发明，能够稳定地从动态图像数据检测移动物体，而且不受复杂的背景或照明变动等的影响。

附图说明

图1是表示实施方式1的移动物体检测装置的功能性结构的框图。

图2是表示动态图像数据的一例的图。

图3是实施方式1的移动物体检测装置执行的处理的流程图。

图4是用于说明实施方式1的移动物体检测装置计算的特征量的图。

图5是表示时间直方图的性质的图。

图6是表示实施方式1的变形例1的移动物体检测装置生成的图像金字塔的一例的图。

图7是表示实施方式1的变形例1的移动物体检测装置的功能性结构的框图。

图8是实施方式1的变形例1的移动物体检测装置执行的处理的流程图。

图9是表示实施方式1的变形例2的移动物体检测装置生成的图像金字塔的一例的图。

图10是表示实施方式1的变形例2的移动物体检测装置的功能性结构的框图。

图11是实施方式1的变形例2的移动物体检测装置执行的处理的流程图。

图12A是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检测处理的图。

图12B是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检测处理的图。

图12C是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检测处理的图。

图13是实施方式1的变形例3的移动物体检测装置执行的处理的流程图。

图14是表示实施方式2的移动物体检测装置的功能性结构的框图。

图15是实施方式2的移动物体检测装置执行的处理的流程图。

图16是用于说明实施方式2的移动物体检测装置计算的特征量的图。

图17是用于说明实施方式2的移动物体检测装置计算的特征量的图。

图18是用于说明实施方式3的移动物体检测装置计算的特征量的图。

图19是表示针对在雨天拍摄到的动态图像数据采用各种特征量的检测方法的RPC（Recall-precisioncurve：查全率与查准率曲线）的曲线图。

图20是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图21是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图22是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图23是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图24是表示针对在晴天拍摄到的动态图像数据采用各种特征量的检测方法的RPC的曲线图。

图25是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图26是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图27是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图28是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。

图29是表示使用实施方式1所示的特征量即STHOG特征量进行步行者检测的结果的图。

图30是表示使用实施方式1所示的特征量即STHOG特征量进行步行者检测的结果的图。

图31是表示使用实施方式1所示的特征量即STHOG特征量检测骑单轮车的人物的结果的图。

图32是用于说明非专利文献1记载的方法的图。

图33是用于说明CoHOG特征的图。

具体实施方式

下面，参照附图说明本发明的实施方式的移动物体检测装置。

（实施方式1）

图1是表示实施方式1的移动物体检测装置的功能性结构的框图。

移动物体检测装置100是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。

窗口设定部102在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口。

空间亮度梯度方向计算部104对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向。

空间直方图计算部106计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图。

时间亮度梯度方向计算部108对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向。

时间直方图计算部110计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图。

判定部112根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。

图2是表示动态图像数据的一例的图。将xy平面上的二维图像数据40沿时间轴t方向排列n个（n为2以上的整数）得到的三维图像数据成为动态图像数据。该动态图像数据被输入给移动物体检测装置100。

图3是移动物体检测装置100执行的处理的流程图。

参照图4（a），窗口设定部102在动态图像数据50中设定窗口52（S2）。窗口52在x轴方向、y轴方向及t轴方向具有规定宽度。即，窗口52不是平面而是具有固定的体积的长方体。窗口52的初始位置例如是窗口52的左上角坐标为原点（x,y，t）＝（0,0,0）的位置。另外，窗口52被划分为多个块（例如块54a和54b等）。但是，窗口52也可以不划分为块，在这种情况下，窗口的大小与块的大小相同。块与窗口52相同地是长方体而非平面。

空间亮度梯度方向计算部104对包含于窗口52中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向（S4）。参照图4（b），在将窗口52内的各个像素的亮度值设为I（x,y，t）的情况下，空间亮度梯度方向计算部104计算各个像素的时间空间梯度并且，根据下式（1）计算出各个像素的空间亮度梯度方向φ。另外，I_x表示x轴方向的亮度值的梯度，I_y表示y轴方向的亮度值的梯度。I_t表示t轴（时间轴）方向的亮度值的梯度。I_x、I_y及I_t的值能够使用普通的一阶微分算子（Sobel、Roberts、Rosenfeld等）计算出。因此，省略其详细说明。

φ＝tan^-1（I_y/I_x）…（1）

时间空间梯度与空间亮度梯度方向φ的关系如图4（c）所示。即，在将以I_x、I_y及I_t为轴的三维空间中的矢量投影于I_xI_y平面上得到的矢量55与I_x轴形成的角成为空间亮度梯度方向φ。

空间直方图计算部106对每个块计算块内的空间亮度梯度方向φ的直方图即空间直方图（S6）。例如，通过以规定的幅度对空间亮度梯度方向φ进行量化（例如以30度的幅度进行量化），并计数空间亮度梯度方向φ的频度，能够计算出如图4（d）所示的空间直方图。空间直方图计算部106按照块的个数来计算这种空间直方图。例如，在设量化的幅度为30度、设空间亮度梯度方向φ能取的值的范围为0度～180度的情况下，空间直方图具有6个（＝180/30）bin。其中，图4（d）所示的空间直方图具有8个bin。

时间亮度梯度方向计算部108对包含于窗口52中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向（S8）。参照图4（b），时间亮度梯度方向计算部108根据下式（2）计算出各个像素的时间亮度梯度方向θ。

[数式1]

$\mathrm{\θ}={\tan }^{-1}(I_t/\sqrt{I_x^2+I_y^2})\·\·\·\left(2\right)$

时间空间梯度与时间亮度梯度方向θ的关系如图4（c）所示。即，上述的矢量55与矢量形成的角成为时间亮度梯度方向θ。

时间直方图计算部110对每个块计算块内的时间亮度梯度方向θ的直方图即时间直方图（S10）。例如，通过以规定的幅度对时间亮度梯度方向θ进行量化（例如以30度的幅度进行量化），并计数时间亮度梯度方向θ的各个bin的频度，能够计算出如图4（e）所示的时间直方图。时间直方图计算部110按照块的个数来计算这种时间直方图。

图5是表示时间直方图的性质的图。如图5（a）所示，在步行者包含于块内的情况下，由于手和腿的摆动的影响，在块内包含各种方向的时间亮度梯度方向θ。因此，在如图5（b）所示的时间直方图中，频度分散于各个bin中。与此相对，在如图5（c）所示块内只包含背景的情况下，由于背景中的时间轴方向的亮度变化贫乏，因而时间亮度梯度方向θ集中于0度。并且，假设背景中包含树叶摇动的树木等，由于树叶摇动的空间上的形状特征或时间上的运动特征与步行者不同，因而能够防止错误检测为步行者。例如，能够从背景部分得到如图5（d）所示的直方图。

判定部112接受由空间直方图计算部106计算出的块的个数的量的空间直方图和由时间直方图计算部110计算出的块的个数的量的时间直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S12）。关于移动物体的检测方法（判定方法），例如能够采用Adaboost、SVM（SupportVectorMachine：支持向量机）、神经网络等常规的方法。因此，在此不重复其详细说明。另外，在判定部112的学习中采用步行者的动态图像数据即正事例和背景的动态图像数据即负事例。

窗口设定部102判定是否在动态图像数据50中的所有位置设定了窗口52（S14）。如果已在所有位置设定了窗口52（S14：是），移动物体检测装置100结束处理。在对于窗口52有未设定的位置的情况下（S14：否），窗口设定部102在未设定的位置设定窗口52（S2），移动物体检测装置100对所设定的窗口52执行自S4起的处理。

另外，关于窗口的扫描方式，例如，按照上面所述将窗口52的左上角坐标为原点的位置作为初始位置，在t＝0的平面上从左上角一直到右下角对窗口52进行光栅扫描。然后，将t递增1，进行同样的光栅扫描。通过依次反复这种处理，窗口设定部102在动态图像数据50中的所有位置设定窗口52。

如以上说明的那样，根据实施方式1的移动物体检测装置，独立地计算表示空间上的亮度的梯度方向的分布的空间直方图和表示时间上的亮度的梯度方向的分布的时间直方图，并根据空间直方图和时间直方图判定有无移动物体。在移动物体是步行者的情况下，步行者通常是纵向的边缘成分较多，因而能够利用空间直方图区分检测步行者和背景。并且，通过一并考虑时间直方图，能够更加高精度地检测移动着的步行者和不移动的背景。另外，根据这种结构，能够独立表现空间上的特征和时间上的特征，而不需像3DHOG特征量那样结合表现空间上的特征和时间上的特征。因此，能够利用空间上的特征和时间上的特征分别吸收步行者及背景的多样性或照明变动等的影响，能够稳定地检测移动物体。

（实施方式1的变形例1）

在上述的实施方式1中是从一个动态图像数据检测移动物体，但也可以是，生成按照不同分辨率将动态图像数据分阶层的图像金字塔，按照从低分辨率的动态图像数据到高分辨率的动态图像数据的顺序来检测移动物体。

图6是用于说明图像金字塔的图。示出了按照图6（a）、图6（b）和图6（c）的顺序分辨率由低到高的动态图像数据。图6（a）和图6（b）所示的缩小动态图像数据50b和50a是以不同的倍率将图6（c）所示的动态图像数据50缩小得到的。

图7是表示实施方式1的变形例1的移动物体检测装置的功能性结构的框图。

移动物体检测装置100a是从动态图像数据检测移动物体的装置，具有窗口设定部102、缩小动态图像数据生成部103、缩小窗口设定部105、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。

窗口设定部102具有与实施方式1的窗口设定部102相同的结构。

缩小动态图像数据生成部103从动态图像数据50生成以规定的多个缩小比率将动态图像数据50缩小得到的缩小动态图像数据（例如缩小动态图像数据50b或者50a）。即，缩小动态图像数据生成部103生成以规定的多个缩小比率将动态图像数据50分别缩小得到的多个缩小动态图像数据50a和50b。

缩小窗口设定部105在缩小动态图像数据中设定以所述规定的多个缩小比率将窗口52缩小得到的缩小窗口（例如图6（b）所示的缩小窗口52a或者图6（a）所示的缩小窗口52b）。即，缩小窗口设定部105对于多个缩小动态图像数据50a和50b中的每一个，在该缩小动态图像数据中设定以在生成该各个缩小动态图像数据时使用的缩小比率将窗口52缩小得到的缩小窗口，由此在多个缩小动态图像数据50a和50b中设定多个缩小窗口52a和52b。另外，缩小窗口设定部105按照缩小比率从小到大的顺序来选择多个缩小比率作为对象缩小比率，并在对象缩小比率的缩小动态图像数据中设定对象缩小比率的缩小窗口。

空间亮度梯度方向计算部104除了实施方式1所示的空间亮度梯度方向计算部104执行的处理之外，对于多个缩小窗口的每一个，还对包含于缩小窗口中的每个像素计算空间亮度梯度方向。

空间直方图计算部106除了实施方式1所示的空间直方图计算部106执行的处理之外，对于多个缩小窗口的每一个，还计算缩小窗口内的空间亮度梯度方向的直方图即缩小空间直方图。

时间亮度梯度方向计算部108除了实施方式1所示的时间亮度梯度方向计算部108执行的处理之外，对于多个缩小窗口的每一个，还对包含于缩小窗口中的每个像素计算时间亮度梯度方向。

时间直方图计算部110除了实施方式1所示的时间直方图计算部110执行的处理之外，对于多个缩小窗口的每一个，还计算缩小窗口内的时间亮度梯度方向的直方图即缩小时间直方图。

判定部112根据对象缩小比率的缩小空间直方图和缩小时间直方图，判定对象缩小比率的缩小窗口内是否包含移动物体。

在判定部112判定为缩小窗口内包含移动物体的情况下，窗口设定部102在从与对象缩小比率的缩小动态图像数据中的缩小窗口的设定位置相对应的动态图像数据50中的位置起到规定范围内的位置依次设定窗口52。

在判定部112判定为缩小窗口内包含移动物体的情况下，判定部112还判定在窗口52内是否包含移动物体。

图8是移动物体检测装置100a执行的处理的流程图。

另外，在该流程图中，为了简化说明，假设为一个缩小动态图像数据来进行说明，但也可以准备缩小比率不同的多个缩小动态图像数据，并执行相同的处理。

参照图6，缩小动态图像数据生成部103以规定的缩小比率将动态图像数据50缩小，由此生成缩小动态图像数据50a（S1）。

然后，缩小窗口设定部105在缩小动态图像数据50a中设定以规定的缩小比率将动态图像数据50缩小得到的缩小窗口52a（S2a）。

空间亮度梯度方向计算部104对包含于缩小窗口52a中的每个像素，计算空间亮度梯度方向φ（S4a）。

空间直方图计算部106对包含于缩小窗口52a中的每个块（例如块56a或者56b），计算块内的空间亮度梯度方向φ的直方图即缩小空间直方图（S6a）。

时间亮度梯度方向计算部108对包含于缩小窗口52a中的每个像素，计算时间亮度梯度方向θ（S8a）。

时间直方图计算部110对包含于缩小窗口52a中的每个块（例如块56a或者56b），计算块内的时间亮度梯度方向θ的直方图即缩小时间直方图（S10a）。

判定部112接受由空间直方图计算部106计算出的块的个数的量的缩小空间直方图和由时间直方图计算部110计算出的块的个数的量的缩小时间直方图，并作为输入特征量，根据输入特征量判定缩小窗口52a内是否包含移动物体（S12a）。

S2a～S12a的处理除了动态图像数据及窗口的尺寸变小以外，与图3所示的S2～S12的处理相同。

缩小窗口设定部105判定是否在缩小动态图像数据50a中的所有位置设定了缩小窗口52a（S14a）。在对于缩小窗口52a有未设定的位置的情况下（S14a：否），缩小窗口设定部105在未设定的位置设定缩小窗口52a（S2b），移动物体检测装置100a对所设定的缩小窗口52a执行自S4a起的处理。另外，窗口的扫描方式与实施方式1相同。

如果已在所有位置设定了缩小窗口52a（S14a：是），则移动物体检测装置100a通过搜索在S1～S14a的处理中求出的移动物体的位置的附近，求出移动物体的具体位置。

即，在判定部112判定为缩小窗口52a内包含移动物体的情况下，窗口设定部102在从与缩小动态图像数据50a中的缩小窗口52a的设定位置对应的动态图像数据50中的位置起到规定范围内的位置依次设定窗口52（S2b）。例如，规定范围可以是以上述动态图像数据50中的位置为中心像素的n×n的区域（n为2以上的整数）。另外，所谓与缩小窗口52a的设定位置对应的动态图像数据50中的位置，例如在缩小动态图像数据50a分别沿xyz轴方向被缩小为1/n的情况下，是指将缩小窗口52a的设定位置的xyz坐标设为n倍的位置。

然后，移动物体检测装置100a通过执行S4～S12的处理，判定在窗口52内是否包含移动物体。S4～S12的处理与图3所示的S4～S12的处理相同。

窗口设定部102判定是否在动态图像数据50中的上述规定范围内的所有位置设定了窗口52（S14b）。如果已在所有位置设定了窗口52（S14b：是），移动物体检测装置100a结束处理。在对于窗口52有未设定的位置的情况下（S14b：否），窗口设定部102在未设定的位置设定窗口52（S2b），移动物体检测装置100a对所设定的窗口52执行自S4起的处理。另外，窗口的扫描方式与实施方式1相同。

如以上说明的那样，根据实施方式1的变形例1的移动物体检测装置，能够在缩小动态图像数据中检测移动物体，并在通常的尺寸的动态图像数据中检测移动物体。即，能够在缩小动态图像数据中粗略地检测移动物体的位置，并在通常的尺寸的动态图像数据中检测移动物体的具体位置。缩小动态图像数据的数据量少于通常的尺寸的动态图像数据。因此，利用这种方法能够快速地检测移动物体的具体位置。阶层数越多，搜索范围越小，因而能够快速检测移动物体的位置。

（实施方式1的变形例2）

在实施方式1的变形例1中，利用缩小动态图像数据和缩小窗口进行了移动物体的检测。即，根据缩小动态图像数据中的缩小倍率进行缩小窗口的设定。与此相对，在实施方式1的变形例2中，与缩小动态图像数据中的缩小倍率无关，而是利用尺寸固定的窗口进行移动物体的检测。

图9是用于说明图像金字塔的图。示出了按照图9（a）、图9（b）和图9（c）的顺序分辨率由低到高的动态图像数据。图9（a）和图9（b）所示的缩小动态图像数据50b和50a是以不同的倍率将图9（c）所示的动态图像数据50缩小得到的。

图10是表示实施方式1的变形例2的移动物体检测装置的功能性结构的框图。

移动物体检测装置100b是从动态图像数据检测移动物体的装置，具有窗口设定部102、缩小动态图像数据生成部103、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。

窗口设定部102具有与实施方式1的窗口设定部102相同的结构。

缩小动态图像数据生成部103具有与实施方式1的变形例1的缩小动态图像数据生成部103相同的结构。即，缩小动态图像数据生成部103生成以规定的多个缩小比率将动态图像数据50分别缩小得到的多个缩小动态图像数据50a和50b。

空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108及时间直方图计算部110具有与实施方式1的变形例1的以上要素相同的结构。

判定部112进行如下判定：（a）从多个缩小比率中按照缩小比率从小到大的顺序来选择对象缩小比率，并根据在以对象缩小比率而缩小得到的缩小动态图像数据中设定的窗口内的缩小空间直方图及缩小时间直方图，判定该窗口内是否包含移动物体，直到判定为窗口内包含移动物体，（b）在判定为多个缩小动态图像中的任何缩小动态图像的窗口内均不包含移动物体的情况下，根据空间直方图及时间直方图判定在动态图像数据50中设定的窗口内是否包含移动物体。

例如，参照图9，判定部112在图9（a）所示的缩小动态图像数据50b内一边扫描窗口52，一边判定窗口52内是否包含移动物体。在判定为在缩小动态图像数据50b内包含移动物体的情况下，判定部112结束处理。在判定为在缩小动态图像数据50b内不包含移动物体的情况下，判定部112在图9（b）所示的缩小动态图像数据50a内一边扫描窗口52，一边判定窗口52内是否包含移动物体。在判定为在缩小动态图像数据50a内包含移动物体的情况下，判定部112结束处理。在判定为在缩小动态图像数据50a内不包含移动物体的情况下，判定部112在图9（c）所示的缩小动态图像数据50内一边扫描窗口52，一边判定窗口52内是否包含移动物体。

图11是移动物体检测装置100b执行的处理的流程图。

另外，在该流程图中，为了简化说明，假设为一个缩小动态图像数据来进行说明，但也可以准备缩小比率不同的多个缩小动态图像数据，并执行相同的处理。

参照图11，缩小动态图像数据生成部103以规定的缩小比率将动态图像数据50缩小，由此生成缩小动态图像数据50a（S1）。

然后，窗口设定部102在缩小动态图像数据50a中设定窗口52（S2c）。

空间亮度梯度方向计算部104对包含于窗口52中的每个像素，计算空间亮度梯度方向φ（S4c）。

空间直方图计算部106对包含于窗口52中的每个块（例如块54a或者54b），计算块内的空间亮度梯度方向φ的直方图即缩小空间直方图（S6c）。

时间亮度梯度方向计算部108对包含于窗口52中的每个像素，计算时间亮度梯度方向θ（S8c）。

时间直方图计算部110对包含于窗口52中的每个块（例如块54a或者54b），计算块内的时间亮度梯度方向θ的直方图即缩小时间直方图（S10c）。

判定部112接受由空间直方图计算部106计算出的块的个数的量的缩小空间直方图和由时间直方图计算部110计算出的块的个数的量的缩小时间直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S12c）。

S2c～S12c的处理除了动态图像数据的尺寸变小以外，与图3所示的S2～S12的处理相同。

窗口设定部102判定是否在缩小动态图像数据50a中的所有位置设定了窗口52（S14c）。在对于窗口52有未设定的位置的情况下（S14c：否），窗口设定部102在未设定的位置设定窗口52（S2c），移动物体检测装置100b对所设定的窗口52执行自S4c起的处理。另外，窗口的扫描方式与实施方式1相同。

如果已在所有位置设定了窗口52（S14c：是）、而且在缩小动态图像数据50a中检测到移动物体（S22：是），移动物体检测装置100b结束处理。

如果已在所有位置设定了窗口52（S14c：是）、而且在缩小动态图像数据50a中没有检测到移动物体（S22：否），则移动物体检测装置100b通过在尺寸大于缩小动态图像数据50a的动态图像数据50中扫描相同尺寸的窗口52，进行移动物体的检测（S2d～S14d）。

S2d～S14d的处理除了扫描窗口52的对象的图像数据不同之外，与S2c～S14c的处理相同。因此，不重复其详细说明。

如以上说明的那样，根据实施方式1的变形例2的移动物体检测装置，能够在缩小动态图像数据中检测移动物体，如果没有发现移动物体，则在通常的尺寸的动态图像数据中检测移动物体。即，对于较大尺寸的移动物体，能够在分辨率较低的缩小动态图像数据中检测位置，因而能够快速检测移动物体。并且，对于较小尺寸的移动物体，能够在通常的尺寸的动态图像数据中检测位置，因而能够高精度地检测移动物体。即，根据实施方式1的变形例2，能够利用相同尺寸的窗口、各种尺寸的动态图像数据及缩小动态图像数据来检测移动物体。因此，能够检测各种大小的移动物体。

（实施方式1的变形例3）

在实施方式1的变形例1中，利用缩小动态图像数据和缩小窗口进行了移动物体的检测。即，根据缩小动态图像数据中的缩小倍率进行缩小窗口的设定。与此相对，在实施方式1的变形例3中，不使用缩小动态图像数据，而是使用多个尺寸的窗口进行移动物体的检测。即，通过在相同的动态图像数据中扫描各种尺寸的窗口来进行移动物体的检测。

实施方式1的变形例3的移动物体检测装置的功能性结构，与图1所示的实施方式1的移动物体检测装置的功能性结构相同。

即，移动物体检测装置100是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110和判定部112。

窗口设定部102在动态图像数据中设定具有彼此不同的规定体积的多个窗口。

空间亮度梯度方向计算部104对于多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向。

空间直方图计算部106对于多个窗口的每一个，计算该窗口内的空间直方图。

时间亮度梯度方向计算部108对于多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向。

时间直方图计算部110对于多个窗口的每一个，计算该窗口内的时间直方图。

判定部112从多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的空间直方图及时间直方图，判定所选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。

例如，如图12A所示，实施方式1的变形例3的移动物体检测装置100通过在动态图像数据50中扫描窗口52来进行移动物体的检测。在检测到移动物体的情况下，移动物体检测装置100结束处理。在没有检测到移动物体的情况下，移动物体检测装置100通过在动态图像数据50中扫描如图12B所示的尺寸比窗口54小的窗口52c来进行移动物体的检测。在检测到移动物体的情况下，移动物体检测装置100结束处理。在没有检测到移动物体的情况下，移动物体检测装置100通过在动态图像数据50中扫描如图12C所示的尺寸比窗口52c还小的窗口52d来进行移动物体的检测。另外，窗口52c和52d分别具有与缩小窗口52a和52b相同的结构。

图13是移动物体检测装置100执行的处理的流程图。

窗口设定部102如图12A所示在动态图像数据中设定窗口52（S2e）。

移动物体检测装置100通过执行S4e～S12e的处理，判定在窗口52内是否包含移动物体。S4e～S12e的处理与图3所示的S4～S12的处理相同。

窗口设定部102判定是否在动态图像数据50中的上述规定范围内的所有位置设定了窗口52（S14e）。在对于窗口52有未设定的位置的情况下（S14e：否），窗口设定部102在未设定的位置设定窗口52（S2e），移动物体检测装置100a对所设定的窗口52执行自S4e起的处理。另外，窗口的扫描方式与实施方式1相同。

如果已在所有位置设定了窗口52（S14e：是）、而且在动态图像数据内检测到移动物体（S22a：是），则移动物体检测装置100结束处理。

如果已在所有位置设定了窗口52（S14e：是）、而且在动态图像数据内没有检测到移动物体（S22a：否），移动物体检测装置100通过在动态图像数据50中扫描如图12B所示的尺寸比窗口52小的窗口52c来进行移动物体的检测（S2f～S14f）。

S2f～S14f的处理除了窗口的尺寸变小以外，与S2e～S14e的处理相同。因此，不重复其详细说明。

如以上说明的那样，根据实施方式1的变形例3的移动物体检测装置，由于使用各种尺寸的窗口进行移动物体的检测，因而能够检测各种尺寸的移动物体。

（实施方式2）

下面，说明实施方式2的移动物体检测装置。在实施方式1中根据空间直方图和时间直方图进行了移动物体的检测，而在实施方式2中，还根据光流的方向的直方图即光流直方图进行移动物体的检测。

图14是表示实施方式2的移动物体检测装置的功能性结构的框图。

移动物体检测装置200是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、时间直方图计算部110、光流方向计算部114、光流直方图计算部116和判定部118。

窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108及时间直方图计算部110的结构，具有与实施方式1所示的以上要素相同的结构。因此，在此不重复其详细说明。

光流方向计算部114对包含于窗口中的每个像素计算光流的方向。

光流直方图计算部116计算窗口内的光流的方向的直方图即光流直方图。

图15是移动物体检测装置200执行的处理的流程图。

S2～S10的处理与实施方式1所示的图3中的S2～S10的处理相同。因此，不重复其详细说明。

参照图16（a），光流方向计算部114对包含于窗口52中的每个像素计算光流的方向（S16）。参照图17（a），在将窗口52内的各个像素的亮度值设为I（x,y，t）的情况下，光流方向计算部114计算各个像素的光流u＝[u_x,u_y]。并且，根据下式（3）计算各个像素的光流的方向ψ。

ψ＝tan^－1（u_y/u_x）…（3）

另外，光流u＝[u_x,u_y]能够采用梯度法或模板匹配法等常规的公知方法计算出。因此，在此不重复其详细说明。

光流u与光流的方向ψ的关系如图17（b）所示。即，设x轴为u_x、y轴为u_y的二维平面上的矢量u与x轴形成的角成为光流的方向ψ。

光流直方图计算部116对每个块生成块内的光流的方向ψ的直方图即光流直方图（S18）。例如，通过以规定的幅度对光流的方向ψ进行量化（例如以30度的幅度进行量化），并计数光流的方向ψ的各个bin的频度，能够计算出如图16（d）所示的光流直方图。光流直方图计算部116按照块的个数来计算这种光流直方图。另外，通过S6的处理计算出如图16（b）所示的空间直方图，通过S10的处理计算出如图16（c）所示的时间直方图。

判定部118接受由空间直方图计算部106计算出的块的个数的量的空间直方图、由时间直方图计算部110计算出的块的个数的量的时间直方图、和由光流直方图计算部116计算出的块的个数的量的光流直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S20）。关于移动物体的检测方法（判定方法），例如能够采用Adaboost、SVM（SupportVectorMachine）、神经网络等常规的方法。因此，在此不重复其详细说明。

窗口设定部102判定是否在动态图像数据50中的所有位置设定了窗口52（S14）。如果已在所有位置设定了窗口52（S14：是），移动物体检测装置200结束处理。在对于窗口52有未设定的位置的情况下（S14：否），窗口设定部102在未设定的位置设定窗口52（S2），移动物体检测装置200对所设定的窗口52执行自S4起的处理。另外，窗口的扫描方式与实施方式1相同。

如以上说明的那样，根据实施方式2的移动物体检测装置，在实施方式1的移动物体检测装置的基础上，还考虑表示移动物体的运动方向的特征的光流直方图来进行移动物体的检测。因此，能够更稳定地检测移动物体。

（实施方式3）

下面，说明实施方式3的移动物体检测装置。在实施方式2中，根据空间直方图和时间直方图和光流直方图来进行移动物体的检测，而在实施方式3中，各个直方图的生成方法不同。即，生成考虑了变量的共现性的直方图，这一点与实施方式2不同。

实施方式3的移动物体检测装置具有与图14所示的实施方式2的移动物体检测装置200相同的结构。但是，各个处理部执行的处理与实施方式2不同。下面，以与实施方式2的不同之处为中心来说明实施方式3的移动物体检测装置200。

空间直方图计算部106将相互处于规定的位置关系的多个像素的空间亮度梯度方向的组合设为第1变量组，计算窗口内的第1变量组的直方图。

时间直方图计算部110将相互处于所述规定的位置关系的多个像素的时间亮度梯度方向的组合设为第2变量组，计算窗口内的所述第2变量组的直方图。

光流直方图计算部116将相互处于所述规定的位置关系的多个像素的光流方向的组合设为第3变量组，计算窗口内的第3变量组的直方图。

判定部118根据第1变量组的直方图、第2变量组的直方图和第3变量组的直方图，判定窗口内是否包含移动物体。

移动物体检测装置200执行的处理的流程与图15所示的流程图的流程相同。但是，各个处理不同。下面，以不同之处为中心进行说明。

S2和S4的处理与实施方式2相同。

空间直方图计算部106对窗口内的每个块计算所述第1变量组的直方图（S6）。参照图18详细说明S6的处理。图18（a）表示在窗口52内设置的块54b的一例。图18（b）是将块54b放大的图，表示块54b内的某个时刻的像素排列和下一个时刻的像素排列。即，在关注于某个时刻的像素P₀时，将在纸面上位于其右斜下方的邻接像素、下方的邻接像素、左斜下方的邻接像素、左侧的邻接像素分别设为共现像素P₁、P₂、P₃、P₄。并且，将x坐标及y坐标与像素P₀相同的下一个时刻的像素设为共现像素P₉。另外，将共现像素P₉周围附近的8个邻接像素设为共现像素P₅～P₈、P₁₀～P₁₃。并且，设像素P₀的空间亮度梯度方向设为φ₀，设共现像素P_i（i＝1～13）的空间亮度梯度方向为φ_i（i＝1～3）。在将块54b内的各个像素设为关注的像素设为P₀的情况下，空间直方图计算部106生成以φ₀和φ_i为第1变量组的二维直方图。该二维直方图表示上述的第1变量组的直方图。图18（c）表示以φ₀和φ₁为第1变量组的直方图的一例，图18（d）表示以φ₀和φ₅为第1变量组的直方图的一例。在图18（b）所示的示例中，像素P₀与共现像素P_i（i＝1～13）的组合有13个，因而从一个块54b能够得到13个第1变量组的直方图。空间直方图计算部106对窗口52内的所有块计算这13个第1变量组的直方图。

S8的处理与实施方式2相同。

时间直方图计算部110对窗口内的每个块计算所述第2变量组的直方图（S10）。第2变量组的直方图的计算方法相对于图18所示的第1变量组的直方图的计算方法，仅仅是空间亮度梯度方向变为时间亮度梯度方向，除此以外是相同的。因此，不重复其详细的说明。通过S10的处理，与第1变量组的直方图相同地，能够从一个块54b能够得到13个第2变量组的直方图。空间直方图计算部106对窗口52内的所有块计算这13个第2变量组的直方图。

S16的处理与实施方式2相同。

光流直方图计算部116对窗口内的每个块计算所述第3变量组的直方图（S18）。第3变量组的直方图的计算方法相对于图18所示的第1变量组的直方图的计算方法，仅仅是空间亮度梯度方向变为光流的方向，除此以外是相同的。因此，不重复其详细的说明。通过S18的处理，与第1变量组的直方图相同地，能够从一个块54b能够得到13个第3变量组的直方图。空间直方图计算部106对窗口52内的所有块计算这13个第3变量组的直方图。

判定部118接受由空间直方图计算部106计算出的块的个数×13个第1变量组的空间直方图、由时间直方图计算部110计算出的块的个数×13个第2变量组的时间直方图、和由光流直方图计算部116计算出的块的个数×13个第3变量组的光流直方图，并作为输入特征量，根据输入特征量判定窗口52内是否包含移动物体（S20）。关于移动物体的检测方法（判定方法），例如能够采用Adaboost、SVM（SupportVectorMachine）、神经网络等常规的方法。因此，在此不重复其详细说明。

窗口设定部102判定是否在动态图像数据50中的所有位置设定了窗口52（S14）。如果已在所有位置设定了窗口52（S14：是），移动物体检测装置200结束处理。在对于窗口52有未设定的位置的情况下（S14：否），窗口设定部102在未设定的位置设定窗口52（S2），移动物体检测装置200对所设定的窗口52执行自S4起的处理。另外，窗口的扫描方式与实施方式1相同。

如以上说明的那样，根据实施方式3的移动物体检测装置，分别生成窗口内的表示空间亮度梯度方向的共现性的第1变量组的直方图和表示时间亮度梯度方向的共现性的第2变量组的直方图和表示光流的方向的共现性的第3变量组的直方图，根据这三种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。

（实验结果）

进行了将利用现行方法和上述的实施方式示出的移动物体检测装置的移动物体检测方法进行比较的实验。另外，移动物体检测装置的判定部的检测方法采用Adaboost。另外，光流的计算采用Lucas－Kanade法，其代码采用作为OpenCV而公开的代码。

图19是表示针对在雨天拍摄到的动态图像数据采用各种特征量的检测方法的RPC（Recall-precisioncurve）的曲线图。关于RPC的详细情况已在非专利文献6中公开。

[非专利文献6]S.AgawalandD.Roth,“LearningaSparseRepresentationforObjectDetection”,ECCV，2002

在图19的曲线图中，横轴表示移动物体的错误检测率，纵轴表示移动物体的检测率。即，可以说错误检测率越接近0、检测率越接近1（RPC越接近曲线的左上部），性能越高。在图19中，HOG－RPC表示采用HOG特征量的方法的RPC，SeHOG－RPC表示采用SeHOG特征量（按照多个帧将HOG特征量排列得到的特征量）的方法的RPC，HOGHOF－RPC表示采用HOGHOF特征量的方法的RPC。另外，STHOG－RPC表示采用在实施方式1中说明的特征量（下面称为“STHOG特征量”）的方法的RPC。另外，STHOGHOF－RPC表示采用在实施方式2中说明的特征量（下面称为“STHOGHOF特征量”）的方法的RPC。3DHOG－20Sides－RPC表示采用3DHOG特征量的方法的RPC。将各个RPC进行比较发现，STHOGHOF－RPC靠近曲线的左上角，采用STHOGHOF特征量的方法的性能最高，其次是采用STHOG特征量和HOGHOF特征量的方法的性能比较高。

图20是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。图20（a）表示采用HOG特征量的步行者的检测结果的一例，图20（b）表示采用HOGHOF特征量的步行者的检测结果的一例，图20（c）表示采用STHOG特征量的步行者的检测结果的一例。各个检测结果表示同一时刻的图像数据，用矩形表示被检测为步行者的区域。图21～图23表示针对在与图20所示不同的时刻拍摄到的图像数据的检测结果。将各个检测结果进行比较发现，在采用HOG特征量的情况下，存在如图20（a）的右下部的矩形所示将背景错误检测为步行者的情况、或如图21（a）或者图23（a）所示不能检测出步行者的情况等。与此相比，在采用HOGHOF特征量和STHOG特征量的情况下，能够稳定地检测到步行者。

图24是表示针对在晴天拍摄到的动态图像数据采用各种特征量的检测方法的RPC的曲线图。曲线的观察方法与图19相同。将各个RPC进行比较发现，STHOG－RPC和STHOGHOF－RPC靠近曲线的左上角，采用STHOG特征量和STHOGHOF特征量的方法的性能最高且为同等程度，其次是采用HOGHOF特征量的方法的性能比较高。采用HOGHOF特征量的方法的性能劣于针对在雨天拍摄到的动态图像数据的性能，这是因为容易受到影子的影响。

图25是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。图25（a）表示采用HOG特征量的步行者的检测结果的一例，图25（b）表示采用HOGHOF特征量的步行者的检测结果的一例，图25（c）表示采用STHOG特征量的步行者的检测结果的一例。各个检测结果表示同一时刻的图像数据，用矩形表示被检测为步行者的区域。图26～图28表示针对在与图25所示不同的时刻拍摄到的图像数据的检测结果。将各个检测结果进行比较发现，在采用HOG特征量的情况下，存在如图25（a）或者图26（a）所示不能检测出步行者的情况、或如图28（a）的左上部的矩形所示将背景错误检测为步行者的情况。另外，在采用HOGHOF特征量的情况下，存在将步行者的影子错误检测为步行者的情况。与此相对，在采用STHOG特征量的情况下，不会将步行者的影子或其它背景错误检测为步行者，能够稳定地检测到步行者。

根据以上示出的实验数据，能够显示出采用STHOG特征量和STHOGHOF特征量的移动物体的检测的优越性。

另外，图29和图30表示在其它场景的动态图像数据中使用STHOG特征量进行步行者检测的结果，可知能够稳定地检测到步行者。另外，图31表示使用STHOG特征量检测骑单轮车的人物的结果，可知即使是骑单轮车时也能够稳定地检测到人物。

以上对本发明的实施方式的移动物体检测装置进行了说明，但本发明不限于该实施方式。

例如，在上述的实施方式3中，将两个像素的空间亮度梯度方向的组合设为第1变量组进行了说明，但像素数不限于两个像素，也可以将三个像素以上的像素的空间亮度梯度方向的组合设为第1变量组。同样，也可以将三个像素以上的像素的时间亮度梯度方向的组合设为第2变量组，还可以将三个像素以上的像素的光流的方向的组合设为第3变量组。

另外，在上述的实施方式3中，使用第1变量组的直方图和第2变量组的直方图和第3变量组的直方图进行了移动物体的检测，但也可以仅使用第1变量组的直方图和第2变量组的直方图进行移动物体的检测。在这种情况下，能够利用具有与图1所示的移动物体检测装置100相同的结构的移动物体检测装置进行移动物体的检测。

另外，也可以将在实施方式1的变形例1或者2中示出的基于图像金字塔的移动物体的检测处理、或者在实施方式1的变形例3中示出的基于多个尺寸的窗口的移动物体的检测处理，适用于实施方式2或者实施方式3。另外，图像金字塔的阶层不限于上述变形例示出的两层，也可以是三层以上。即，也可以准备缩小比率不同的多个缩小动态图像数据来进行移动物体的检测处理。

另外，窗口及块的形状不限于长方体，也可以是其它形状。例如，也可以是球形。

另外，在上述的实施方式1～3中，窗口52的尺寸不限于一种，也可以设置多种尺寸的窗口52，并对尺寸不同的每个窗口52进行移动物体的检测。即，以实施方式1的事例进行说明，窗口设定部102在动态图像数据50中设定具有彼此不同的体积的多个窗口52。并且，空间直方图计算部106对于多个窗口52分别计算空间直方图。另外，时间直方图计算部110对于多个窗口52的每一个计算时间直方图。判定部118对于多个窗口52的每一个，根据空间直方图和时间直方图来判定各个窗口52内是否包含移动物体。通过这样设置尺寸不同的多个窗口52，能够检测各种尺寸的移动物体。

另外，在实施方式3中，共现像素P_i不限于关注的像素P₀的邻接像素，只要是和像素P₀处于规定的位置关系的像素，则可以是任何像素。并且，共现像素P_i的个数不限于13个，能够适当选择个数。例如，也可以是1个。

另外，在上述的实施方式1～3中，每当设定窗口时计算空间亮度梯度方向及时间亮度梯度方向，可是在窗口的位置的移动前后产生窗口的重合。因此，对于产生重合的部分的空间亮度梯度方向及时间亮度梯度方向不再次进行计算，而是利用已经计算出的空间亮度梯度方向及时间亮度梯度方向，计算空间直方图和时间直方图。

另外，上述的各个装置具体地讲也可以构成为由微处理器、ROM、RAM、驱动硬盘、显示器装置、键盘、鼠标等构成的计算机系统。在RAM或者硬盘装置中存储有计算机程序。微处理器按照计算机程序而动作，由此各个装置实现其功能。在此，计算机程序为了实现规定的功能，可以组合多个表示对计算机的指令的命令代码而构成。

另外，也可以是，构成上述各个装置的构成要素的一部分或者全部由一个系统LSI（LargeScaleIntegration：大规模集成电路）构成。系统LSI是在一个芯块上集成多个构成部分制得的超多功能LSI，具体地讲，是包括微处理器、ROM、RAM等在内构成的计算机系统。在RAM中存储有计算机程序。微处理器按照计算机程序而动作，由此系统LSI实现其功能。

另外，也可以是，构成上述各个装置的构成要素的一部分或者全部由能够在各个装置上插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或者模块也可以包含上述的超多功能LSI。微处理器按照计算机程序而动作，由此IC卡或者模块实现其功能。该IC卡或者该模块可以具有耐篡改性。

另外，本发明也可以是以上所示的方法。并且，也可以是利用计算机实现这些方法的计算机系统，还可以是由所述计算机程序构成的数字信号。

并且，本发明也可以将所述计算机程序或者所述数字信号记录在计算机可以读取的非易失性的记录介质中，所述记录介质例如是软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu-rayDisc：蓝光光盘（注册商标））、半导体存储器等。并且，本发明还可以是记录在这些非易失性的记录介质中的所述数字信号。

并且，本发明也可以构成为经由电通信线路、无线或者有线通信线路、以因特网为代表的网络、数据广播等，传输所述计算机程序或所述数字信号。

并且，本发明也可以是具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而动作。

并且，本发明也可以构成为将所述程序或者所述数字信号记录在所述非易失性的记录介质中并进行传输，或者经由所述网络等传输所述程序或者所述数字信号，从而能够利用独立的其他计算机系统来实施。

另外，本发明也可以分别组合上述实施方式和上述变形例来实施。

此次公开的实施方式只是全部方面的示例，不能理解为限制方式。本发明的范围利用权利要求书示出而不是上述的说明，并且包括与权利要求书均等的意思以及范围内的全部变更。

产业上的可利用性

本发明能够应用于监视装置、行驶车辆中的步行者检测装置、或者智能机器人等。

标号说明

10输入图像；12、52窗口；14a、14b、54a、54b、56a块；40二维图像数据；50动态图像数据；50a、50b缩小动态图像数据；52a、52b缩小窗口；55矢量；100、100a、200移动物体检测装置；102窗口设定部；103缩小动态图像数据生成部；104空间亮度梯度方向计算部；105缩小窗口设定部；106空间直方图计算部；108时间亮度梯度方向计算部；110时间直方图计算部；112、118判定部；114光流方向计算部；116光流直方图计算部。

Claims (11)

1.一种移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有：

窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；

空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；

空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；

时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；

时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及

判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体，

所述移动物体检测装置还具有：

缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及

缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，

所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，

所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，

所述时间亮度梯度方向计算部还对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，

所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，

所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，

所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，

在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，

在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。

2.根据权利要求1所述的移动物体检测装置，

所述移动物体检测装置还具有：

光流方向计算部，对包含于所述窗口中的每个像素计算光流的方向；以及

光流直方图计算部，计算所述窗口内的所述光流的方向的直方图即光流直方图，

所述判定部还根据所述光流直方图计算部计算出的所述光流直方图，判定所述窗口内是否包含移动物体。

3.根据权利要求2所述的移动物体检测装置，

所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，

所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，

所述光流直方图计算部将相互处于所述规定的位置关系的多个像素的所述光流方向的组合设为第3变量组，计算所述窗口内的所述第3变量组的直方图，

所述判定部根据所述第1变量组的直方图、所述第2变量组的直方图和所述第3变量组的直方图，判定所述窗口内是否包含移动物体。

4.根据权利要求1所述的移动物体检测装置，

所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第1变量组，计算所述窗口内的所述第1变量组的直方图，

所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，

所述判定部根据所述第1变量组的直方图和所述第2变量组的直方图，判定所述窗口内是否包含移动物体。

5.根据权利要求1～4中任意一项所述的移动物体检测装置，

所述空间亮度梯度方向计算部对包含于所述窗口内的每个像素，在将该像素的x轴方向的亮度值的梯度设为I_x、将y轴方向的亮度值的梯度设为I_y的情况下，根据下面的式(1)计算出空间亮度梯度方向φ，

φ＝tan^－1(I_y/I_x)…(1)。

6.根据权利要求1～4中任意一项所述的移动物体检测装置，

所述时间亮度梯度方向计算部对包含于所述窗口内的每个像素，在将该像素的x轴方向的亮度值的梯度设为I_x、将y轴方向的亮度值的梯度设为I_y、将时间轴方向的亮度值的梯度设为I_t的情况下，根据下面的式(2)计算出时间亮度梯度方向θ，

$\mathrm{\θ}={\tan }^{-1}(I_t/\sqrt{I_x^2+I_y^2})...\left(2\right).$

7.根据权利要求1～4中任意一项所述的移动物体检测装置，

所述空间直方图计算部计算出的所述空间直方图的各个柱中的所述空间亮度梯度方向的宽度是固定的，

所述时间直方图计算部计算出的所述时间直方图的各个柱中的所述时间亮度梯度方向的宽度是固定的。

8.一种移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有：

窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；

空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；

空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；

时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；

时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及

判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体，

所述移动物体检测装置还具有缩小动态图像数据生成部，该缩小动态图像数据生成部生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据，

所述窗口设定部还在各个所述缩小动态图像数据中设定所述窗口，

所述空间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算空间亮度梯度方向，

所述空间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小空间直方图，

所述时间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算时间亮度梯度方向，

所述时间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小时间直方图，

所述判定部进行如下判定：(a)从所述多个缩小比率中按照缩小比率从小到大的顺序来选择缩小比率作为对象缩小比率，并根据在以所述对象缩小比率而缩小得到的缩小动态图像数据中设定的所述窗口内的所述缩小空间直方图及所述缩小时间直方图，判定所述窗口内是否包含移动物体，直到判定为窗口内包含移动物体，(b)在判定为所述多个缩小动态图像中的任何缩小动态图像的所述窗口内均不包含移动物体的情况下，根据所述空间直方图及所述时间直方图判定在所述动态图像数据中设定的所述窗口内是否包含移动物体。

9.一种移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有：

窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；

空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；

空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；

时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；

时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及

判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体，

所述窗口设定部在所述动态图像数据中设定具有彼此不同的规定体积的多个窗口，

所述空间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向，

所述空间直方图计算部对所述多个窗口的每一个，计算该窗口内的空间直方图，

所述时间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向，

所述时间直方图计算部对于所述多个窗口的每一个，计算该窗口内的时间直方图，

所述判定部从所述多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的所述空间直方图及所述时间直方图，判定所述选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。

10.一种移动物体检测方法，从动态图像数据中检测移动物体，该移动物体检测方法包括：

窗口设定步骤，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；

空间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；

空间直方图计算步骤，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；

时间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；

时间直方图计算步骤，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及

判定步骤，根据所述空间直方图计算步骤计算出的所述空间直方图和所述时间直方图计算步骤计算出的所述时间直方图，判定所述窗口内是否包含移动物体，

所述移动物体检测方法还具有：

缩小动态图像数据生成步骤，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及

缩小窗口设定步骤，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，

所述空间亮度梯度方向计算步骤对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，

所述空间直方图计算步骤对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，

所述时间亮度梯度方向计算步骤还对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，

所述时间直方图计算步骤对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，

所述缩小窗口设定步骤按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，

所述判定步骤根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，

在所述判定步骤判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定步骤在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，

在所述判定步骤判定为所述缩小窗口内包含移动物体的情况下，所述判定步骤还判定在所述窗口设定步骤已设定的所述窗口内是否包含移动物体。

11.一种集成电路，从动态图像数据中检测移动物体，该集成电路具有：

窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；

空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；

空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；

时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；

时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及

判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体，

所述集成电路还具有：

缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及

缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，

所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，

所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，

所述时间亮度梯度方向计算部还对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，

所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，

所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，

所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，

在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，

在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。