CN103189898A - 移动体检测装置以及移动体检测方法 - Google Patents

Abstract

移动体检测装置(200)具备：移动轨迹算出部(202)，按每个图像子集算出多个移动轨迹；子类分类部(213)，按每个图像子集将多个移动轨迹分类为子类；子类间类似度计算部(214A)，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及移动体检测部(204B)，由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合就越被分类为同一个类的方式，将子类分类为类，从而对运动图像中的移动体进行检测。

Description

移动体检测装置以及移动体检测方法

技术领域

本发明涉及通过对图像中的移动体的区域进行确定，来检测移动体的图像处理技术，尤其涉及在容易发生遮蔽的环境下，根据运动图像中的运动信息来检测并提取移动体的移动体检测装置等。

背景技术

以往广泛进行的研究开发是，从包含有移动体的像(以下，简单称为“移动体”)的图像中，通过提取图像中的移动体的区域，来检测移动体的区域提取技术。提取移动体的区域的技术是能够在数字视频摄像机或数字静态相机中的焦点控制、画质改善处理、汽车的安全行驶支援系统、或机器人技术中的与移动体的冲突回避控制、或者用于冲突回避的报警等中共同利用的基础技术。

作为检测图像中的移动体的技术中的一般的方法例如有非专利文献1所公开的技术，具体而言，预先学习与移动体相关的形状信息，在图像中一边扫描，一边对学习的形状信息与图像中的区域进行匹配，将匹配度高的区域作为检测对象物体来提取。

并且，在非专利文献2至5中公开的方法是，在容易发生遮蔽的混乱的场面中追踪移动体。这些方法与非专利文献1不同，不是利用形状信息，而是能够从运动图像中提取移动轨迹，通过根据移动轨迹的类似性来对各个移动轨迹进行分群，将进行不同运动的移动体分别作为类来提取并进行追踪。这种方法尤其对于在利用形状信息的移动体提取方法中难于提取的遮蔽物体的追踪有效。

(非专利文献)

非专利文献1B.Leibe，K.Schindler，N.Cornellis and L.Van Gool，“Coupled Object Detection and Tracking from Static Cameras and MovingVehicles”，IEEE Trans.Pattern Recognition and Machine Intelligence Vol.30，No.10，1683-1698，2008

非专利文献2G.J.Brostow and R.Cipolla，“Unsupervised BayesianDetection of Independent Motion in Crowds”，In Proc.of IEEE Conference onComputer Vision and Pattern Recognition，2006

非专利文献3L.Kratz and K.Nishino，“Tracking with LocalSpatio-temporal Motion Patterns in Extremely Crowded Scenes”，In Proc.ofIEEE Conference on Computer Vision and Pattern Recognition，2010

非专利文献4V.Rabaud and S.Belongie，“Counting CrowdedMoving Objects”，In Proc.of IEEE Conference on Computer Vision andPattern Recognition，2006

非专利文献5D.Sugimura，K.Kitani，T.Okabe，Y.Sato，andA.Sugimoto，“Using Individuality to Track Individuals：Clustering IndividualTrajectories in Crowds using Local Appearance and Frequency Trait”，In Proc.of International Conference on Computer Vision，2009

但是，在上述的专利文献1所记载的方法中的问题是，尤其是在混乱的环境下等容易发生遮蔽的场面中，会出现只能看到移动体的形状信息的一部分的情况，这样就会因所述匹配度低而造成不能对检测对象物体进行检测。

并且，在以上述的非专利文献2到5为代表的混乱状态下的移动体追踪技术中，由于不是着眼于区域提取而是移动体的追踪，因此前提条件是即使移动体的一部分也不被长期间地遮蔽的场面。也就是说是在各个移动体的一部分不被遮蔽而能够进行追踪的情况下利用的方法。因此，出现的问题是需要将摄像机设置在高的位置，仅限定于俯视拍摄场面等。

发明内容

因此，本发明为了解决摄像机的拍摄位置被限定的问题以及误检测的问题，目的在于提供一种移动体检测装置以及移动体检测方法，即使在容易发生遮蔽的环境下也能够确切地对移动体进行检测并提取。

为了达成上述的目的，本发明的一个实施方式所涉及的移动体检测装置，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测装置具备：图像输入部，接受构成运动图像的并且至少由三张图片构成的多张图片；移动轨迹算出部，从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；子类分类部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹，分类为子类；子类间类似度计算部，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及移动体检测部，以由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

另外，这些所有的或具体的实施方式不仅能够以系统、方法、集成电路或计算机程序或者记录介质来实现，而且可以通过对系统、方法、集成电路、计算机程序以及记录介质进行任意地组合来实现。

通过本发明能够解决摄像机的拍摄位置被限定的问题以及误检测的问题，即使在容易发生遮蔽的环境下也能够进行确切地移动体的检测以及提取。

附图说明

图1A示出了本发明将要解决的课题的一个例子。

图1B示出了本发明将要解决的课题的一个例子。

图2示出了本发明的实施方式1中的移动体检测装置的基本构成。

图3是在以软件来实现本发明的实施方式1中的移动体检测装置的情况下的、执行软件的硬件的构成图。

图4是示出本发明的实施方式1中的移动体检测装置的基本工作的流程图。

图5A示出了本发明的实施方式1中的分割为图像子集的分割方法的处理例子。

图5B示出了本发明的实施方式1中的移动轨迹算出部的处理例子。

图6示出了本发明的实施方式1中的子类标记赋予部的处理例子。

图7A示出了本发明的实施方式1中的移动轨迹的共用比例的算出例子。

图7B示出了本发明的实施方式1中的移动轨迹的共用比例的算出例子。

图8A示出了本发明的实施方式1中的标记传播部以及移动体检测部的处理例子。

图8B示出了本发明的实施方式1中的标记传播部以及移动体检测部的处理例子。

图8C示出了本发明的实施方式1中的标记传播部以及移动体检测部的处理例子。

图9是针对人物步行中的步调的说明图。

图10示出了本发明的实施方式2中的移动体检测装置的基本构成。

图11是示出本发明的实施方式2中的移动体检测装置的基本工作的流程图。

图12示出了本发明的实施方式2中的子类标记赋予部的处理例子。

图13示出了本发明的实施方式3中的移动体检测装置的构成。

图14是示出本发明的实施方式3中的移动体检测装置的基本工作的流程图。

图15示出了本发明的实施方式3中的测地距离的效果的一个例子。

图16示出了本发明的实施方式3中的子类标记赋予部的处理例子。

图17示出了本发明的实施方式3中的子类标记赋予部的处理例子。

图18示出了本发明的实施方式4中的移动体检测装置的基本构成。

图19是示出本发明的实施方式4中的移动体检测装置的基本工作的流程图。

图20示出了本发明的实施方式4中的移动轨迹恢复部的处理例子。

图21示出了本发明的实施方式1至4的第一变形例中的移动体检测装置的基本构成。

图22示出了本发明的实施方式1至4的第一变形例中的记录或发送数据的一个例子。

图23示出了本发明的实施方式1至4的第二变形例中的移动体检测装置的构成例子。

图24是示出本发明的实施方式1至4的第二变形例中的移动体检测装置的基本工作的流程图。

图25示出了本发明的实施方式1至4的第二变形例中的运动预测的一个例子。

具体实施方式

(成为本发明的基础的见解)

本领域技术人员针对在“背景技术”一栏中记载的现有技术文献，发现会发生以下的问题。

车载摄像机或可携带的摄像机大多都是用在从比较低的位置来拍摄。尤其是从低的位置来拍摄混乱的场面的情况下，与从高的位置俯视拍摄的场面相比，远处的移动体容易被存在于跟前的移动体遮蔽。因此，如图1A以及图1B所示，在容易发生由护栏或者其他的物体等遮蔽的环境下，会出现难于长时间地追踪移动体的问题。针对该问题，若应用根据短时间的运动信息的所述移动体追踪的技术，在图1A以及图1B所示的例子中就会出现发生误检测的问题。例如，在移动体的一部分一时性地由护栏或者人等遮蔽的情况下，就会出现像检测结果a-1、a-2以及检测结果b-1、b-2所示那样，移动体的头部和脚部被作为分离的移动体而被提取，本来是一个移动体而被作为了两个移动体被检测，这样出现误检测的问题。例如，在图1A中，若经过长的时间来求出移动轨迹，则在发生了遮蔽的时刻开始以后的时刻中，移动轨迹就会出现间断。因此，若在人物的腰部、脚部、头部等依次发生遮蔽，则出现最终不能求出移动轨迹的问题。即，若经过长的时间来求移动轨迹，则会出现不能求出紧密的移动轨迹的问题。

为了解决这样的问题，本发明的一个实施例所涉及的移动体检测装置，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测装置具备：图像输入部，接受构成运动图像的并且至少由三张图片构成的多张图片；移动轨迹算出部，从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；子类分类部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹，分类为子类；子类间类似度计算部，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及移动体检测部，以由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

根据此构成，能够按每个图像子集来算出移动轨迹。通过以这样短的时间间隔来算出移动轨迹，从而能够在图像子集内算出紧密的移动轨迹。通过将这样的紧密的移动轨迹分类为子类，并根据共用比例来计算子类间的类似度，从而即使在容易发生遮蔽的情况下也能够确切地对移动体进行检测。例如，在第一图像子集中被分类为第一子类的移动轨迹因遮蔽的影响，在下一个时刻的第二的图像子集中被分离为第二子类以及第三子类，即使在这样的情况下，第一子类与第二子类之间的共用比例以及第一子类与第三子类之间的共用比例均增高。因此，若利用根据共用比例而被计算的子类间的类似度来对子类进行类的分类，则从第一至第三子类被分类为同一个类，作为同一个移动体被检测。因此，摄像机的拍摄位置被限定的课题以及误检测的课题均得以解决，即使在容易发生遮蔽的环境下也能够确切地对移动体进行检测以及提取。

例如，也可以是，所述子类分类部包括子类标记赋予部，该子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记；所述子类间类似度计算部包括标记传播部，该标记传播部，在从所有的子类中任意选择的第一子类以及第二子类之间，算出表示示出同一个块的运动的移动轨迹被共用的程度的移动轨迹的共用比例，通过对所述共用比例越高的所述第一子类以及第二子类就越再次赋予同一个子类标记，从而使子类标记在子类间传播；所述移动体检测部，通过将被赋予了同一个子类标记的子类的集合分类为同一个类，从而将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，据此对运动图像中的移动体进行检测。

根据此构成，能够按每个图像子集来算出移动轨迹。通过以这样短的时间间隔来算出移动轨迹，从而能够在图像子集内算出紧密的移动轨迹。通过将这样的紧密的移动轨迹分类为子类，并根据共用比例使子类标记在子类标记间传播，从而即使在容易发生遮蔽的情况下也能够确切地对移动体进行检测。例如，在第一图像子集中被分类为第一子类的移动轨迹因遮蔽的影响，在下一个时刻的第二的图像子集中被分离为第二子类以及第三子类，即使在这样的情况下，第一子类与第二子类之间的共用比例以及第一子类与第三子类之间的共用比例均增高。通过进行子类间的传播处理，从而从第一至第三子类能够被再次赋予同一个子类标记，从而作为同一个移动体被检测。因此，摄像机的拍摄位置被限定的课题以及误检测的课题均得以解决，即使在容易发生遮蔽的环境下也能够确切地对移动体进行检测以及提取。

即，与以往的移动轨迹的分群法相比较，能够将时间短的移动轨迹分类为子类，将子类间的时间上的关联的强度用作移动轨迹的共用比例，并通过传播得到的子类标记，从而能够将时间上关联强的子类标记更新为同一个类标记，从而能够进行确保了时间上的相干的区域提取。因此，能够对暂时被分离为两个部分的一个移动体，作为一个移动体来赋予同一个标记，从而能够实现减少移动体检测中的误检测的效果。而且，由于利用了时间短的移动轨迹，因此能够减少频繁出现遮蔽的场面中所发生的，对应点的消失而不能算出移动轨迹的危险性。据此，能够高密度地提取移动体，并能够提高检测精度。而且，不仅能够检测移动体，而且还能够从图像中提取移动体。

并且，也可以是，所述移动轨迹算出部，以使时间上相邻的图像子集间的一部分的图片重叠的方式，从所述多张图片中抽取多个图像子集，并按照每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是构成图片的一个以上的像素所构成的块的运动的轨迹；所述标记传播部，在经过所述第一子类以及第二子类之间所共用的图片中的同一个位置的移动轨迹，相对于所述第一子类以及第二子类中所包含的移动轨迹的比例越大的情况下，就越将所述第一子类以及第二子类之间的移动轨迹的共用比例判断为高，并通过对所述移动轨迹的共用比例越高的所述第一子类以及第二子类，就越再次赋予同一个子类标记，从而使子类标记在子类间传播。

以使时间上相邻的图像子集间的图片重叠的方式来抽取图像子集。因此，在具有时间上相邻的图像子集间的重合(重叠)的图片中，移动轨迹相同。因此，能够简单地算出第一以及第二子类间的共用比例。

并且，也可以是，所述标记传播部，进一步，对子类的可靠性越大的子类，就再次赋予与所述子类标记赋予部赋予的子类标记相同的子类标记，据此使子类标记在子类间传播，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。

通过利用子类的可靠性，从而能够以更高的精确度来进行在时间上具有相干的区域分割。因此，能够正确对移动体进行区域提取，据此能够确实地检测图像中的移动体。

并且，也可以是，上述的移动体检测装置进一步包括：保持部，保持由所述移动轨迹算出部算出的移动轨迹之中的、只有以比构成图像子集的图片的张数少的图片的张数才能算出的移动轨迹；以及移动轨迹恢复部，将所述保持部所保持的移动轨迹，分类为与该移动轨迹连续的其他的移动轨迹所属的类相同的类；所述移动体检测部，进一步，将与所述移动轨迹恢复部所分类的移动轨迹以及同一个类中所包含的移动轨迹相对应的各个块，作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

通过将在子类的生成时没有使用的移动轨迹分类为，与该移动轨迹连续的其他的移动轨迹所属的类，从而能够高密度地提取移动体。

并且，也可以是，所述子类标记赋予部，通过按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中类似的移动轨迹，分类为同一个子类，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。具体而言，也可以是，所述子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中最类似的移动轨迹的组合分类为同一个子类，通过对这种进行分类的处理反复执行规定的次数或者反复执行到所述多个移动轨迹被分类为规定的子类个数为止，来将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。

据此，能够将类似的移动轨迹分类为同一个子类。

并且，也可以是，所述子类标记赋予部，(a)针对由所述移动轨迹算出部算出的多个移动轨迹，算出表示移动轨迹间的类似性的距离，(b)通过对算出的距离之中的比预先规定的阈值小的距离进行连结，从而将所述算出的距离变换为测地距离，(c)按照每个图像子集，针对该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中的任意的两个移动轨迹，将除此以外的移动轨迹作为中继点，算出从所述两个移动轨迹之中的一方沿着所述中继点到达另一方的路径的距离，以作为测地距离，对得到的测地距离中分布的不连续的点进行检测，将相隔的测地距离比检测的不连续的点小的移动轨迹作为一个类来分类为同一个子类，通过进行这样的分类的处理，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。

像这样为了表现移动轨迹间的类似性而利用移动轨迹间的测地距离，从而能够对人物等关节物体进行更正确的移动体的检测以及提取。

而且，关于子类的生成方法，其他的优选的方式是，所述子类标记赋予部，按照每个图像子集，从该图像子集中所包含的至少一张图像中，使用边缘、颜色、亮度之中的至少一种，将图像分割为多个区域并生成子类，对经过分割后的区域的移动轨迹分别赋予子类标记。

这样，能够利用边缘、亮度、颜色等图像的空间信息来将移动轨迹分类为子类。

并且，也可以是，上述的移动体检测装置进一步具备输出部，该输出部针对由所述图像输入部接受的所述多张图片之中的至少一张图片，以由所述移动体检测部被分类为同一个类的移动体区域为单位来施行图像处理，以便成为与其他的移动体区域不同的显示方式，并输出被施行了图像处理的图片。

在AV(Audio/Visual)设备、图像监视装置等能够将提取的移动体分别显示在图像上。因此，用户容易识别移动体。

并且，也可以是，上述的移动体检测装置进一步具备记录或发送部，将由所述移动体检测部进行的移动体的检测结果，写入到记录装置，或者经由传输路径发送到外部。

例如，仅从各个移动体图像中选择需要的移动体图像并保存，通过向外部输出，能够作为图形要素来高效率地保存以及输出。因此，能够有效地使用于便携式电话等处理能力受限的设备对移动体图像的保存以及发送的情况。

并且，也可以是，上述的移动体检测装置进一步具备运动预测部，该运动预测部从构成由所述移动体检测部确定的类的移动轨迹中，算出代表该类的代表移动轨迹，按照算出的所述代表移动轨迹，将与该类对应的移动体的区域预测为在图片间移动，据此对所述移动体的运动进行预测。

通过利用代表多个块的移动轨迹的轨迹来预测移动体的运动，从而能够进行噪声耐性高的运动预测。

并且，也可以是，所述子类间类似度计算部，通过使以子类间的类似度为要素的矩阵Z，反复与以子类间的移动轨迹的共用比例为要素的矩阵W相乘，来更新以子类间的类似度为要素的矩阵Z，从而计算子类间的类似度。

由于子类间的类似度能够在矩阵间进行乘法运算来算出，因此能够进行高速地子类间的类似度的计算。

并且，也可以是，所述子类间类似度计算部，进一步，通过对以子类的可靠性为要素的矩阵Y进行加权并与更新后的矩阵Z相加，从而计算子类间的类似度，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。

通过在考虑了子类的可靠性的基础上来计算子类间的类似度，从而能够提高子类间的类似度的可靠性。

并且，这些发明的全体或每个具体的发明能够由系统、方法、集成电路、计算机程序或者记录介质来实现，也可以通过对系统、方法、集成电路、计算机程序或者记录介质进行任意地组合来实现。

以下参照附图对本发明的实施方式进行详细说明。

并且，以下所说明的实施例均为本发明的一个具体的例子。在以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的设置位置以及连接形态、步骤、步骤的顺序等均是本发明的一个例子，本发明并非受这些所限。并且，对于以下的实施例中的构成要素之中的、示出最上位概念的独立权利要求所没有记载的构成要素，能够作为任意的构成要素来说明。

(实施方式1)

以下，利用附图对本发明的实施方式进行说明。

图2示出了实施方式1中的移动体检测装置的构成。如图2所示，该移动体检测装置200具备：图像输入部201、移动轨迹算出部202、子类分类部213、子类间类似度计算部214A、移动体检测部204B以及输出部205。

该移动体检测装置200是利用移动轨迹，通过对用于确定运动图像中的移动体的全部或一部分的区域进行类的分类，来检测运动图像中的移动体的装置。即，移动体检测装置200是通过执行用于确定运动图像中的移动体的全部或者一部分区域的区域分割，来检测运动图像中的移动体的装置。

图像输入部201是接受构成运动图像的、在时间上互不相同的多张图片的输入的处理部，例如是视频摄像机或者与视频摄像机连接的通信接口等。即，图像输入部201接受构成运动图像的至少由三张图片构成的多张图片。以下，将图片也称为图像。

移动轨迹算出部202将由图像输入部201接受的至少三张图片，分割为多个图像子集。在此，图像子集至少由两张图片构成。并且，移动轨迹算出部202按每个图像子集算出移动轨迹。移动轨迹算出部202按照构成图片的且由一个以上的像素构成的块，至少检测两张图片间的图像的运动，通过将检测出的运动连结到多张图片，从而算出移动轨迹。即，块是算出移动轨迹的单位，是一个以上的像素的集合。即，移动轨迹算出部202从多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集在该图像子集所包含的图片之间，算出多个移动轨迹，该移动轨迹是构成图片的、由一个以上的像素构成的块的运动的轨迹。

子类分类部213按照每个图像子集，将该图像子集中中包含的、由所述移动轨迹算出部算出的多个移动轨迹分类为子类。子类分类部213包括子类标记赋予部203。子类标记赋予部203按照每个图像子集，将该图像子集中包含的由移动轨迹算出部202算出的多个移动轨迹分类为子类，向各移动轨迹赋予该移动轨迹被分类后的子类的标识符，即赋予子类标记。

子类间类似度计算部214A在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度。子类间类似度计算部214A包括标记传播部204A。标记传播部204A在从所有的子类中任意选择的第一子类以及第二子类之间，算出表示同一个移动轨迹(表示同一个块的运动的移动轨迹)被共用的程度的移动轨迹的共用比例，算出的共用比例越高，就越将同一个子类标记再次赋予到所述第一子类以及第二子类，据此，使子类标记在子类间传播。即，标记传播部204A利用移动轨迹的共用比例，以作为任意的子类配对中的子类配对的类似度(时间上的关联强度)，使子类的标记信息在子类间传播。并且，移动轨迹的共用比例是指，子类间的同一移动轨迹的保持率，详细待后述。在此，根据传播的子类的标记信息的结果，来子更新类的标记信息。即，被赋予了同一子类标记的各个子类之间示出了，子类间的类似度高。

移动体检测部204B对于由子类间类似度计算部214A计算的子类间的类似度越高的子类的集合，就越分类为同一个类，这样能够将与同一个类中所包含的移动轨迹对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

同一个子类标记被赋予到类似度高的两个子类。因此，移动体检测部204B将被赋予了同一个子类标记的子类的集合分类为同一个类，并将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

即，移动体检测部204B通过标记信息的更新，将被赋予了同一个子类标记的子类判断为是同一个类。这样，移动体检测部204B通过对从各个图像子集得到的子类是否为同一个类进行判断，从而能够进行具有时间上的相干的分群。据此，在属于被判断为同一个类的子类的移动轨迹中，被赋予了相同的类标记。结果是，一个类与一个移动体相对应，只要能够将各个移动轨迹分类到类，就能够对移动体的区域进行确定，从而能够检测移动体。在此，类是至少由一个子类构成的集合，属于同一个类的子类与同一个移动体相对应。

输出部205输出由移动体检测部204B进行的运动图像中的移动体的检测结果。具体而言，输出部205针对在图像输入部201接受的多张图片中的至少一张图片，按照每个由移动体检测部204B被分类为同一个类的移动体区域进行图像处理，以便成为与其他的移动体区域不同的显示状态，并输出被进行了图像处理的图片。并且，输出部205将被进行了图像处理的图片输出到显示器装置等。

另外，在本说明书中，“区域”的决定方法包括以下的两个技术，即：提取某个确定的对象物所存在的图像区域的检测技术、以及不对对象物进行区分而按照每个物体对图像区域(移动轨迹)进行分类的类的分类技术。另外，由于检测技术与类分类技术共同的部分较多，在本说明书中不对两者进行区分。

并且，构成上述的移动体检测装置200的各个构成要素(图像输入部201、移动轨迹算出部202、子类标记赋予部203、标记传播部204A、移动体检测部204B、输出部205)可以由在计算机上执行的程序等软件来实现，也可以由电子电路或者集成电路等硬件来实现。图3示出了由软件实现的本实施方式中的移动体检测装置的硬件构成。在图3中，摄像机301对图像进行拍摄并输出。计算机302从摄像机301获得图像，并进行移动体检测处理，生成显示移动体检测结果的图像。显示器303获得并显示在计算机302生成的图像。计算机302包括：I/F304、CPU305、ROM306、RAM307、HDD308以及视频卡309。使计算机302工作的程序预先被保持在ROM306或者HDD308中。程序由作为处理器的CPU305从ROM306或者HDD308中读出到RAM307并被展开。CPU305执行在RAM307被展开的程序中的被代码化后的各个命令。I/F304按照程序的执行，将由摄像机301拍摄的图像取入到RAM307。视频卡309输出按照程序的执行而被生成的图像，显示器303显示该图像。

另外，计算机程序并非受限于存放在ROM306或者HDD308这种半导体中，例如也可以被存放在光盘中。并且，也可以经由有线或无线的网络、广播等而被传送，被取入到计算机的RAM307内。

以下，利用图4对本实施方式的移动体检测装置200的工作进行说明。

图4是示出本实施方式的移动体检测装置200的工作的流程图。

在图4中，步骤S401至S403分别与图2的图像输入部201、移动轨迹算出部202以及子类标记赋予部203相对应。并且，步骤S404与图2的标记传播部204A以及移动体检测部204B相对应。而且，步骤S405与图2的输出部205相对应。即，在图像输入部201执行图像输入步骤S401的工作，在移动轨迹算出部202执行移动轨迹算出步骤S402的工作，在子类标记赋予部203执行子类标记赋予步骤S403的工作，在标记传播部204A以及移动体检测部204B执行标记传播及更新步骤S404的工作，在输出部205执行图像输出步骤S405的工作。

在图像输入步骤S401，图像输入部201从摄像机301获得构成运动图像的多个图片。在此视为T(T≥3)张图片被输入。

接着，在移动轨迹算出步骤S402，移动轨迹算出部202将由图像输入部201接受的T张图片，以由F(F≥2)张图片构成一个图像子集的方式，并以时间序列分割为D个图像子集。在此，T>F。并且，移动轨迹算出部202最好是如图5A所示，以同一时刻的图片重叠的方式，将图片分割为图像子集502。并且，移动轨迹算出部202按每个图像子集算出移动轨迹。在此，如图5B所示，移动轨迹算出部202算出各个图像子集502中包含的多个图片间的运动信息503，生成移动轨迹并输出。作为多个图片间的算出运动的方法是，以多张图片中的某一张图片上的I点的像素i504为基准，搜索其他(F-1)张图片中的对应的像素。另外，也可以取代I点的像素，而以I个小矩形区域(块)为基准。例如，移动轨迹算出部202利用在时刻t和时刻(t+1)拍摄的图片，推定与时刻t的图片上的像素i的像素坐标(x_it，y_it)(i=1…I)相对应的时刻(t+1)的图片上的像素坐标(x_it+1，y_it+1)。在图片为3张以上的情况下，通过依次求出对应的坐标，从而能够算出各个图像子集的F张图片的I点的对应点。

作为算出上述的多个图片间的对应点的具体的方法，由于已由非专利文献6或者非专利文献7等详细记载，因此在此省略详细说明。

另外，在本实施方式中，只要T为3以上，F为2以上即可。并且，图像子集也可以不必像图5A的例子那样，以同一时刻的图片重叠的方式对T张图片进行分割，而是可以将时刻(t+1)到时刻(t+F)为止的图片作为一个图像子集，将时刻(t+F+n)到时刻(t+2F-1+n)作为一个图像子集，以不使图片重叠的方式来进行分割。这样，在图像子集间同一时刻的图片不重叠的方式来进行分割的情况下，移动轨迹算出部202在作为图像子集的图像的、时刻(t+F)和时刻(t+F+n)之间的图像中，进行块间的匹配，预先算出两张图像间的对应点。

非专利文献6P.Anandan，“A Computational Framework and anAlgorithm for the Measurement of Visual Motion”，International Journal ofComputer Vision，Vol.2，pp.283-310，1989

非专利文献7Vladimir Kolmogorov and Ramin Zabih，“ComputingVisual Correspondence with Occlusions via Graph Cuts”，InternationalConference on Computer Vision，2001

并且，在该移动轨迹算出步骤S402中，移动轨迹算出部202は针对各个图像子集，如下式1所示，从对应点的像素坐标的组中生成I条与每个像素相对应的移动轨迹，该移动轨迹是指I点的像素经过F张图片时的运动信息。

以下，以针对一个图像子集算出移动轨迹为例进行说明。

[数式1]

$X^i=(x_1^i,y_1^i,...,{x^i}_f,{x^i}_f,...,x_F^i,y_F^i)$    (式1)

在此，F是图像子集中所包含的图片的张数，也就是用于移动轨迹的算出的图片的张数。

图5B示出了一个图像子集中的移动轨迹xi的例子。移动轨迹xi是由像素坐标的集合构成的矢量，所述像素坐标的集合是在时刻t到时刻(t+F-1)的输入图像501中，根据从像素i504运动到其他的图片上的与像素i504相对应的像素的运动信息503而被算出的。这样，通过按照每个图像子集来求出移动轨迹，这与不将T张图片分割为图像子集来算出移动轨迹的情况相比，能够利用更短的时间的移动轨迹。因此能够实现减少因遮蔽而不能正确地求出运动矢量并且不能算出移动轨迹的危险性的效果。而且，由于不易受到遮蔽的影响，因此与算出长时间的移动轨迹的情况相比，能够实现求出更多的移动轨迹的效果。

接着，在子类标记赋予步骤S403中，子类标记赋予部203针对各个图像子集D，将式1所示的I条移动轨迹分类为S个子类。

关于向子类的分类，只要能够将类似的移动轨迹分类为同一个子类即可，因此可以采用各种方法。例如，在输入式1所示的I条移动轨迹的情况下，利用非专利文献8的pp.526-528所示的k-means法，只要将子类数设定为S个，以将类似的移动轨迹作为同一个子类的方式，就能够将I条移动轨迹分类为S个子类。

而且，在输入了I条移动轨迹的情况下，能够利用非专利文献8的pp.550-555所示的以树状图为基础的分群算法。在此，进行将类似度最高的(距离最小的)移动轨迹的配对依次作为同一个子类的处理，该处理直到子类数成为S个为止反复进行，或者进行规定的次数。另外，在此的移动轨迹的类似度可以采用移动轨迹矢量间的欧几里得距离，也可以采用对所述欧几里得距离，利用属于子类的移动轨迹的数量进行了正规化的距离。

例如，在计算移动轨迹配对的类似度(距离)时，只要利用属于同一个子类的移动轨迹的数量进行正规化处理，就能够简单地生成图6所示的均一的子类。即，属于各个子类的移动轨迹的数量的不均一性减小。并且，并非受上述的距离算出方法所限，只要是能够判断移动轨迹矢量间的类似性的距离或者类似度即可。并且在这些情况下，距离越小，类似度就越高。也就是说，在此所进行的处理是将类似度最大或距离最小的移动轨迹的配对作为同一个子类。

非专利文献8Richard O.Duda，Peter E.Hart and David G Stork，“Pattern Classification”，John Wiley&Sons，Inc.，2001

通过利用了上述的分群算法的处理，如式2所示，属于各个图像子集D的各个移动轨迹x则成为属于S个子类中的各个子类D-s中的某一个。即，各个移动轨迹中分别被赋予了子类D-s的标记(以下称为“子类标记D-s”)。

[数式2]

$X^{i\∈D-s}=(x_1^i,y_1^i,...,{x^i}_f,{x^i}_f,...,x_F^i,y_F^i)$    (式2)

另外，关于向子类的分类，可以是分类为与想要检测的移动体的最小大小相同的子类，也可以是分类为比该大小小的子类。并且，子类的数量也可以设定为比预先设想的移动体的数量多。在此，一个移动体也可以被分割为多个子类。因此，子类数量S可以不必与图像中存在的移动体数量相同，由于只要被设定为比移动体的数量多的值即可，因此，即使在不知道详细的拍摄场面中的具体的移动体数量的情况下，也没有必要进行严密的设定。此时，由于是针对各个图像子集进行独立地处理的，因此图像子集间的子类数量S没有必要成为同一个数，图像子集中所包含的图片的张数F也可以因图像子集而不同。

接着，在标记传播及更新步骤S404，标记传播部204A针对从所述各个图像子集D得到的子类D-s，根据子类间的移动轨迹的共用比例，使子类的标记信息在子类间传播。并且，标记传播部204A判断包括从不同的图像子集得到的子类在内的任意的子类配对是否属于同一个类，据此判断是否更新子类的标记，将子类标记赋予到各个移动轨迹。移动体检测部204B在多个子类被更新为同一个标记的情况下，判断这些多个子类属于同一个类。其结果是一个类与一个移动体相对应，通过将各个移动轨迹分类为类，从而能够确定移动体的区域，这样能够检测移动体。并且，通过在属于时间上不同的图像子集的子类间，利用移动轨迹的共用比例进行标记传播，从而能够将彼此移动轨迹的共用比例高的子类判断为同一个类。因此，与利用长时间的移动轨迹的情况相比，不易受到遮蔽的影响，并且与利用长时间的移动轨迹的情况同样，能够进行具有时间上的相干的区域分割。

以下，进行具体说明。如式2、图7A以及图7B所示，各个移动轨迹被赋予有从各个图像子集得到的子类标记D-s。在此，虽然对图像子集为两个的情况进行说明，由于各个图像子集能够独立地进行处理，图像子集数量并非受限于两个，两个以上的情况下也能够进行同样的处理。并且，在图7A以及图7B中为了便于确认，仅示出一部分移动轨迹，在本实施方式中移动轨迹的数量不受限制。

图7A示出了由时刻(t+1)到时刻(t+F)的图片构成的图像子集1，以及由时刻(t+1)到时刻(t+2F-1)的图片构成的图像子集2。并且，图7B示出了在图7A的图像子集1中所包含的时刻(t+F)的图片与在图7A的图像子集2中所包含的时刻(t+F)的图片被共用的移动轨迹。

如图7A所示，在子类标记赋予步骤S403，从图像子集1生成子类数量S为3个的子类，从图像子集2生成子类数量S为2个的子类。如图7B所示，在图像子集1和图像子集2利用了同一时刻(t+F)的图像的情况下，能够在时刻(t+F)的图像上，计算从彼此不同的图像子集算出的子类间所共用的移动轨迹的数量。在此，在多个子类间存在同一个移动轨迹的情况下，即在多个子类间存在示出同一个块的运动的移动轨迹的情况下，表现共用了同一个移动轨迹(示出同一个块的运动的移动轨迹)的移动轨迹。具体而言，如图7B所示，在时刻(t+F)的图像中，包含在子类1-1中的移动轨迹的点与包含在子类2-1中的移动轨迹的点为同一个像素位置。因此，连接同一个像素位置的各个移动轨迹示出同一个移动轨迹。子类1-1与子类2-1的对应点彼此分别与同一个移动轨迹相对应，彼此共用移动轨迹。并且，同样，子类1-2或者1-3与子类2-2彼此共用移动轨迹。在此，子类Da与Db之间共用的移动轨迹的数量为share_DaDb。在此，Da与Db分别与子类标记相对应。而且，在将属于各个子类的移动轨迹的数量设为N_Da时，对于子类Da的子类Db的移动轨迹的共用比例W_Da，Db能够由式3表示。

[数式3]

$W_{\mathrm{Da},\mathrm{Db}}=\frac{\mathrm{share}\_\mathrm{DaDb}}{N\_\mathrm{Da}}$    (式3)

在此，标记传播部204A针对任意的子类配对计算移动轨迹的共用比例W。此时，子类标记Da与Db是从不同的图像子集得到的子类。并且，N_Da是被包含在子类Da中的移动轨迹数量。并且，子类标记赋予步骤S403中的子类标记赋予的处理虽然是针对各个图像子集的独立进行的处理，在本步骤中，利用被独立处理的子类，将该子类间的類似关系(时间上的关联的强度)表示为移动轨迹的共用比例。

若对图7A以及图7B的例子进行补充，则针对子类1-1的子类2-1的移动轨迹的共用比例为，W_1-1，2-1=3/3。并且，针对子类2-1的子类1-1的移动轨迹的共用比例为，W_2-1，1-1=3/3。另外，针对子类2-2的子类1-2的移动轨迹的共用比例为，W_2-2，1-2=3/4。并且，针对子类1-2的子类2-2的移动轨迹的共用比例为，W_1-2，2-2=3/3。并且，针对子类2-2的子类1-3的移动轨迹的共用比例为，W_2-2，1-3=1/4。并且，针对子类1-3的子类2-2的移动轨迹的共用比例为，W_1-3，2-2=1/1。在此，将不共用移动轨迹的子类配对的移动轨迹的共用比例设为W=0。例如，W_1-1，2-2=0。并且，针对同一图像子集内的子类配对的移动轨迹的共用比例为W=0。例如，W_1-1，1-2=0。而且，针对时间的上不相邻的图像子集间的子类配对的移动轨迹的共用比例也可以为W=0。并且，由于W的对角成分表示子类本身，因此共用比例最好为W=1。

而且，移动轨迹的共用比例W能够作为式4所示的非对称矩阵来表现。但是，移动轨迹的共用比例W也可以成为对称矩阵。具体而言，也可以将针对子类Da的子类Db的移动轨迹的共用比例W_Da，Db与针对子类Db的子类Da的移动轨迹的共用比例W_Db，Da的平均值，分别再次设定为移动轨迹的共用比例W_Da，Db以及W_Db，Da。并且，也可以将移动轨迹的共用比例W_{Da， Db}以及W_Db，Da之中值大的一方的值，分别再次设定为移动轨迹的共用比例W_Da，Db以及W_Db，Da。通过进行这样的再次设定，从而能够将移动轨迹的共用比例W作为对称矩阵来表现。

[数式4]

   (式4)

接着，利用在式3算出的移动轨迹的共用比例W，标记传播部204A如以下所示来传播标记信息。作为标记传播的方法，虽然公开了非专利文献9的方法，但是没有记载从独立计算的子类中计算子类间的类似度的方法，而且也没有记载将类似度以移动轨迹的共用比例来表示的例子。

在本实施方式中，通过根据被独立计算的子类，将子类间的类似度以移动轨迹的共用比例来表示，从而能够进行以下的标记传播。即，在本实施方式中，通过反复计算子类间的类似度，从而能够进行标记传播。在此，子类间的类似度被表示为后述的子类矩阵Z的要素。

[数式5]

Z^l+1=αWZ^l+(1-α)Y   (式5)

在此，右边的第一项表示利用了子类间的类似度的标记传播。在此，利用了移动轨迹的共用比例的(式5)的第一项的反复计算相当于，将移动轨迹的共用比例作为了权重的标记传播。并且，第二项表示后述的子类的可靠性。子类矩阵为Z=[z₁ ^T，z₂ ^T，..，z_p ^T....，z_Γ ^T]，z_p ^T为子类p的子类标记矢量。z_p ^T具有子类标记数Γ的要素数，在初始状态(l=1)中，是仅以1来表示与各个子类相对应的要素，以0表示其他的要素的矢量。例如，z₁ ^T=[1，0，0，…，0]，z₂ ^T=[0，1，0，…，0]。即，在初始状态，子类矩阵Z是式6作为一个例子示出的单位矩阵。

[数式6]

   (式6)

l表示反复次数。若α≤1，子类的可靠性在所有的子类间都为均一的情况下，可以是α=1，在考虑子类的可靠性的情况下，只要α=0.99等即可。

子类的可靠性矩阵为，Y=[y₁ ^T，y₂ ^T，…，y_p ^T，…，y_Γ ^T]，Y为对角矩阵。y_p ^T是子类p的可靠性矢量，与子类标记矢量z_p ^T同样，具有子类标记数的要素数，仅与各个子类标记对应的要素为比0大的值，其他的要素是以0来表示的矢量。例如，y₁ ^T=[2，0，0，…，0]，y₂ ^T=[0，3，0，…，0]。y₁ ^T中的“2”表示针对子类1的可靠性，y₂ ^T中的“3”表示针对子类2的可靠性。即，子类的可靠性矩阵Y是示出式7的一个例子的对角矩阵。

[数式7]

   (式7)

可靠性可以进行如下的设定。例如，在设定可靠性时，可以是属于各个子类的移动轨迹的数量越多，就将该子类的可靠性设定得越大，属于各个子类的移动轨迹的平均的时间长度越大，就将该子类的可靠性设定得越大。并且，属于各个子类的移动轨迹所构成的空间上的大小越大，就将该子类的可靠性设定得越大。

标记传播部204A对式5的计算进行规定次数的反复处理。并且，这样的反复运算处理在非专利文献9中被称为标记传播处理。并且，通过下式来决定是否更新子类标记。

[数式8]

$Z_p^{\mathrm{Final}}={\arg \max }_q{Z}_{\mathrm{pq}}$    (式8)

在此，式8表示针对p列q行的子类矩阵Z的各个列，值为最大的行编号。例如，子类矩阵Z成为式9所示。在这种情况下，若着眼于第1列，则第3行的值为1.5，是第1列中的最大的值。因此，根据式8能够求出针对第1列的值为最大的行编号为3。这表示在初始状态下，作为子类标记的3被再次赋予到子类标记为1的子类。

[数式9]

   (式9)

即，由式5算出的子类标记矢量z的列编号表示初始状态的子类标记，标记传播部204A，将在各列具有最大值的行编号作为新的子类标记来更新。通过这样的处理，多个子类标记成为同一个类，从而能够将包括根据独立的图像子集算出的子类的不同的多个子类，判断为同一个类。而且，通过式5以及式8的处理，从同一图像子集得到的子类间的关系也自动地被考虑。因此，对于图1A以及图1B所示的课题，子类a-1以及a-2为同一类，子类b-1以及b-2为同一类，从而实现了减少误检测的效果。即，针对从时间上不同的图像子集算出的各个子类，也能够判断是否属于同一类。因此，既能够减少因遮蔽而不能算出移动轨迹的危险性，又能够进行保持了时间上的相干的移动体的检测。

利用图8A至图8C对具体的效果进行说明。图8A示出了从三个图像子集中分别算出的子类。在图8A至图8C中，子类的纹理的不同示出了子类的不同。即，被赋予了同一个子类标记的子类的纹理相同。接着，通过进行式5以及式8所示的标记传播处理以及标记更新处理，从而能够如图8B所示，将从时间上不同的图像子集算出的子类，作为保持有时间上的相干的类(图8B的例子中为θ₁θ₂)，分别统合为一个类。而且，如图1A以及图1B所示，作为与将一个移动体分离为多个子类的例子相同的例子，能够将图8A的左侧的两个子类通过标记传播处理来统合为一个类(类θ₂)。这样，即使一个移动体被分割为多个子类，通过标记传播及更新步骤S404，也能够将作为误检测的原因之一的属于一个移动体的多个子类，作为一个类来统合。而且，如图8B所示，对于从在时间上不相邻的图中左侧的图像子集生成的子类与从图中右侧的图像子集生成的子类之间的关系，能够通过反复进行式5的演算以及式8的处理而得到。即，能够仅根据从相邻的图像子集生成的子类间的移动轨迹的共用比例的信息，来判断在时间上不相邻的图像子集是否为同一个类。即，图像子集并非受限于在时间上相邻的两个。即使在图像子集为3个以上的情况下，对于不相邻的图像子集中的子类配对，也能够进行是否属于同一类的判断。其结果是，既能够解决因摄像机的拍摄位置而引起的遮蔽的问题，又能够解决一个移动体被分割为多个的误检测的课题，这样即使在容易产生遮蔽的环境下也能够进行恰当的移动体的检测并能够提取。而且，如图1B所示，即使在遮蔽频繁出现的环境下，利用多个以短时间的图像构成的图像子集来生成子类，并进行标记传播处理，这样能够实现以更高的密度来提取移动体的效果。具体而言，通过利用以短时间的图像构成的图像子集，从而能够减少遮蔽所带来的影响，因此能够以更高的密度来生成子类。并且，子类间的相干能够通过标记传播处理来实现。另外，在利用长时间的移动轨迹的情况下，如图1B的白颜色的移动体(检测结果b-1)所示，仅能够追踪头部，而躯干以及脚部等其他的移动轨迹在途中不能得到追踪。因此，难于提取高密度的移动体。

非专利文献9F.Wang and C.Zhang，“Label propagation throughlinear neighborhoods”，In Proc of International Conference on MachineLearning，2006

另外，对于从不同的图像子集来生成的子类间的移动轨迹的共用比例的算出，可以不必在同一时刻的图像上进行，能够根据在图8C所示的时刻(t+F)与时刻(t+F+n)的两张图像上所共用的移动轨迹的数量来计算。具体而言，时刻(t+F)与时刻(t+F+n)的图像之间的对应点由移动轨迹算出部202来求。因此，标记传播部204A利用该对应点的信息，来求属于时刻(t+F)上的子类D-s的移动轨迹的时刻(t+F+n)上的对应点。在此，n为1以上。并且，能够根据属于时刻(t+F+n)中的子类D-s的移动轨迹的数量数与属于时刻(t+F+n)中的子类D-s的所述对应点的数量，以与上述同样的方法来计算共用比例。并且，同样能够根据属于时刻(t+F+n)上的子类D-s的移动轨迹，利用在移动轨迹算出步骤S402算出的运动信息，来求时刻(t+F)上的对应点。并且，能够根据属于时刻(t+F)中的子类D-s的移动轨迹的数量与属于时刻(t+F+n)中的子类D-s的所述对应点的数量来计算共用比例。对于时刻(t+2F-1+n)和时刻(t+2F-1+2n)的情况也是同样。这样，在图像子集之间并非需要使同一时刻的图像重叠。

接着，在图像输出步骤S405，输出部205输出在标记传播及更新步骤S404进行的运动图像中的移动体的检测结果。具体而言，对于在图像输入步骤S401接受的运动图像，例如按照在标记传播及更新步骤S404被检测的移动体区域θ，而采用不同的显示方式，通过进行这样的图像处理，从而能够将被执行了图像处理的图像输出到显示器装置等。据此，既能够对每个移动体进行区分，又能够进行在时间上具有相干性的显示。

在此，对将移动体作为步行者的情况下的图像子集的图像张数F的決定方法进行说明。关于表示一分钟能够行进多少步的步调，通常的成人为110至120步，慢走的情况下为70至80步左右，快走的情况下为140步左右。因此，可以考虑到一歩所需的时间为0.43至0.86秒。另外，如图9所示，在从侧面来拍摄步行者的情况下，在行进一歩的情况下，一侧的腿会完全被另一侧的腿遮蔽。对于这种关节物体所特有的问题，通过决定与比半歩所花费的时间短的时间相对应的图像张数F，从而能够减少遮蔽的影响。即，在设想快走的情况下，最好将比0.22秒短的时间所对应的图像张数设为F，例如，在以30fps(帧/秒)来进行拍摄的情况下，F最好为6张以下。并且，在慢走的情况下，同样设想以30fps来进行拍摄的情况，则F最好为12张以下。另外，如以上所述那样，图像子集的数量只要是2以上即可。

如以上所述，既能够解决因摄像机的拍摄位置而引起的遮蔽的问题，又能够解决因一个移动体被分割为多个而造成的误检测的课题，即使在容易产生遮蔽的环境下也能够进行恰当的移动体的检测以及提取。

因此，本发明在数字视频摄像机等运动图像拍摄装置逐渐普及的现代社会，数字摄像机的焦点控制以及画质改善处理、车辆的安全驾驶支援系统、机器人技术中的与人的冲突回避控制以及报警等应用技术中的实用价值非常高。

(实施方式2)

接着，对本发明的实施方式2中的移动体检测装置进行说明。

在此，利用与实施方式1不同的方法对由子类标记赋予部203进行的子类标记赋予处理进行说明。图10示出了实施方式2中的移动体检测装置200a的构成。实施方式2所涉及的移动体检测装置200a具备：图像输入部201、移动轨迹算出部202、子类标记赋予部203a、标记传播部204A、移动体检测部204B、以及输出部205。

对于上述这种实施方式2所涉及的移动体检测装置200a，除了与实施方式1所涉及的移动体检测装置200和子类标记赋予部203a的构成之外，其他的构成均相同，因此相同的构成要素省略说明。

另外，子类标记赋予部203a虽然包含在图2所示的子类分类部213中，在本图中省略子类分类部213的记载。并且，标记传播部204A虽然包含在图2所示的子类间类似度计算部214A中，在本图中省略子类间类似度计算部214A的记载。

子类标记赋予部203a按照每个图像子集，从该图像子集中所包含的至少一张图像中，利用边缘、颜色、亮度的至少一个，将图像分割为多个区域并生成子类，针对经过被分割后的区域的移动轨迹分别赋予子类标记。

即，子类标记赋予部203a按照每个图像子集，从在图像输入部201接受的多个图像的至少一张图像中，利用亮度、边缘信息、颜色等进行将类似的图像区域分类为同一个子类的处理。接着，子类标记赋予部203a针对在移动轨迹算出部202算出移动轨迹，赋予移动轨迹所经过的图像区域的子类标记。即，子类标记赋予部203a通过针对经过被分类为同一个子类的图像区域的移动轨迹，赋予同一个子类标记，从而能够将上述的移动轨迹分类为同一个子类。与实施方式1的不同之处是，向子类的分类不是利用移动轨迹，而是利用图像的信息，根据该信息，对移动轨迹赋予子类标记。另外，子类标记赋予部203a中的图像区域的子类分类处理可以不利用与移动轨迹相关的信息来进行。因此，图像区域的子类分类处理可以不必是在移动轨迹算出部202的处理之后进行，两者也可以并行进行处理，也可以将图像区域的子类分类处理放在移动轨迹算出部202的处理之前进行。

以下，利用图11对本实施方式2的移动体检测装置200a的工作进行说明。

关于步骤S401、S402，由于与实施方式1同样，因此省略说明。

接着，在子类标记赋予步骤S403a中，子类标记赋予部203a利用在图像输入步骤S401被输入的多个图像中的至少一张图像，进行图像的区域分割。在此，像素(亮度)值或颜色信息、边缘信息等及其他们的位置信息等只要作为输入来用于进行区域分割的方法，可以是任意的方法，例如能够采用非专利文献10的方法。

非专利文献10X.Ren and J.Malik，“Learning a ClassificationModel for Segmentation”，International Conference on Computer Vision，Vol.1，p.10-17，2003

在非专利文献10的方法中，利用边缘信息或空间近旁的像素值的平滑性，将图像区域分割为多个小区域。例如，在对象为人物的情况下，如图12所示，成为将人物进行了细分割的结果。在此，针对各图像子集，例如在F帧的图像被输入之时，也可以从其中选择一张图像并进行区域分割。在此，也可以利用多个图像之中在时间上处于中间的图像来进行区域分割，也可以利用图像子集内的在时间上最初或最后的图像来进行区域分割，图像的选择是没有限制的。

另外也可以是，例如将像素值和像素位置并列地作为三维矢量，并将此作为输入，通过k-means法等分群算法对图像区域进行分割，当然，也可以取代上述的三维矢量，采用排列了RGB等颜色信息和像素位置信息的五维矢量。即，只要是采用在空间上能够对图像进行区域分割的方法，就能够进行区域分割。

并且，针对各个图像子集，将被分割的区域作为子类，根据用于进行区域分割而选择的图像的时刻和在移动轨迹算出步骤S402算出的移动轨迹之间的关系，将子类标记赋予到移动轨迹。

具体而言，子类标记赋予部203a如图12所示，将在空间上进行了区域分割的各个区域视为子类，在用于区域分割而选择的时刻t’的图像，根据各个移动轨迹经过哪个子类来赋予子类标记。例如，移动轨迹1至4分别在时刻t’分别经过子类D-a至D-d。因此，子类标记赋予部203a分别针对移动轨迹1至4赋予分别对应的子类标记D-a至D-d。只要将这样的处理针对对应的移动轨迹执行，各个移动轨迹x则如式2所示，分别属于子类D-s中的某一个。即，与实施方式1的在子类标记赋予步骤S403的处理同样，将子类D-s的标记分别赋予到各个移动轨迹。将这种处理针对各个图像子集进行。

由于标记传播及更新步骤S404以后的处理与实施方式1相同，因此省略说明。

如以上所示，根据实施方式2，即使在容易发生遮蔽的混乱的环境下，也能够根据移动轨迹来检测图像中的移动体。而且，与实施方式1相比，由于能够明确地利用颜色或亮度等信息，因此，例如在对穿着单一颜色的衣服等移动体进行检测的情况下，能够进行更高精确度的移动体的检测。

如以上所述，既能够解决因摄像机的拍摄位置而引起的遮蔽问题，又能够解决一个移动体被分割为多个而造成的误检测的课题，即使在容易发生遮蔽的环境下，也能够确切地对移动体进行检测并提取。

因此，在数字视频摄像机等运动图像摄像装置普及的今天，数字摄像机的焦点控制以及画质改善处理作为面向车辆的安全驾驶支援系统、机器人中的与人的冲突回避控制或警报等的应用技术，本发明的实用价值非常高。

(实施方式3)

接着，对本发明的实施方式3中的移动体检测装置进行说明。在此，针对子类标记赋予部203所进行的子类标记赋予处理中与实施方式1以及2不同的方法举例进行说明。图13示出了实施方式3中的移动体检测装置200b的构成。实施方式3中的移动体检测装置200b的构成包括：图像输入部201、移动轨迹算出部202、子类标记赋予部203b、标记传播部204A、移动体检测部204B、以及输出部205。在这种实施方式3所涉及的移动体检测装置200b中，除了实施方式1所涉及的移动体检测装置200和子类标记赋予部203b的构成以外，由于其他的构成相同，因此省略相同的构成要素的说明。

另外，子类标记赋予部203b包含在图2所示的子类分类部213中，在本图中省略子类分类部213的记载。并且，标记传播部204A包含在图2所示的子类间类似度计算部214A中，在本图中省略子类间类似度计算部214A的记载。

子类标记赋予部203b，(a)针对在移动轨迹算出部202算出的多个移动轨迹，算出表示移动轨迹间的类似性的距离，(b)通过对被算出的距离之中的、比被预先规定的阈值小的距离进行连结，从而将测地距离变换为所述被算出的距离，(c)按照每个图像子集，针对该图像子集中所包含的由移动轨迹算出部202算出的多个移动轨迹之中的任意的两个移动轨迹，将除此以外的移动轨迹作为中继点，算出从所述两个移动轨迹的一方沿着所述中继点到达另一方的路径的距离，以作为测地距离，对得到的测地距离中分布的不连续的点进行检测，将相隔的测地距离比检测的不连续的点小的移动轨迹作为一个类来分类为同一个子类，通过进行这样的分类的处理，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。

即与实施方式1同样，子类标记赋予部203b针对由移动轨迹算出部202算出的各个图像子集的移动轨迹分类为子类，以使类似的移动轨迹成为同一个类，并将标记赋予到对各个移动轨迹进行分类后的结果的子类。与实施方式1的不同之处是，在向子类进行分类时，是采用测地距离来作为移动轨迹的类似度的。

以下，利用图14对本实施方式3的移动体检测装置200b的工作进行说明。关于步骤S401和S402，由于与实施方式1相同，因此省略说明。

接着，在子类标记赋予步骤S403b中，子类标记赋予部203b针对各个图像子集，利用由式2算出的移动轨迹i，算出包含像素的运动的类似性的距离矩阵。移动轨迹i与移动轨迹j的线性距离f(i，j)如以下这样算出。

[数式10]

f(i,j)=ptn_ij+w·mtn_ij   (式10)

在此，w为加权系数，是设计人员设定的参数。

并且，关于ptn_ij，mtn_ij如以下所示。

[数式11]

${\mathrm{ptn}}_{\mathrm{ij}}=\frac{1}{T}\underset{t-1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$    (式11)

[数式12]

${\mathrm{mtn}}_{\mathrm{ij}}=\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-{\mathrm{ptn}}_{\mathrm{ij}})}^2}$    (式12)

在此，

[数式13]

$d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$    (式13)

如式10所示，除了式11所示的移动轨迹间距离的时间平均值以外，也将式12所示的移动轨迹间距离的时间不均一作为所述线性距离f(i，j)的要素。尤其式12所示的移动轨迹间距离的时间不均一示出了像素的运动的类似性，据此，不仅是像素间所成的距离关系不虽时间变化的刚体，关节物体等的形状变化也能够捕捉。但是，在此并非必须要进行上述的距离计算，只要是表示移动轨迹的类似性的距离尺度，可以使用任意的距离。

接着，针对由式10算出的线性距离f(i，j)利用阈值R，并针对该阈值如以下所述进行非线性的处理，并算出f’(i，j)。

[数式14]

$f^{\′}(i,j)=\left\{\begin{array}{ccccc}f(i,j)& \mathrm{if}& i& \mathrm{is}& R-\mathrm{NearestNeighbor}\\ \∞& & \mathrm{otherwise}& & \end{array}\right.$    (式14)

在着眼于移动轨迹i时，按照与移动轨迹i的线性距离从小到大的顺序选择R个移动轨迹j，不变更与被选择的移动轨迹j的距离，而是将与被选择的移动轨迹j的距离变更为无穷大。另外，在此，虽然以线性距离f(i，j)从小到大的顺序选择了移动轨迹j，也可以按照下式这样设定阈值R，来进行非线性处理。

[数式15]

$f^{\&prime;}(i,j)=\left\{\begin{array}{ccc}f(i,j)& \mathrm{of}& f(i,j)<R\\ \&infin;& \mathrm{otherwise}& \end{array}\right.$    (式15)

即，也可以是，子类标记赋予部203b按照由移动轨迹算出部202算出的各个图像子集，针对多个移动轨迹的每一个，按照距离从小到大的顺序选择预先规定的个数的移动轨迹，在进行了将与没有被选择的移动轨迹的距离变更为无穷大的非线性化之后，将多个距离的每一个变换为测地距离。或者，子类标记赋予部203b如式15所示，当着眼于移动轨迹i时，针对在移动轨迹算出部202算出的多个移动轨迹j的每一个，选择距离在预先规定的阈值R以下的移动轨迹j，在进行了将与没有被选择的移动轨迹的距离变更为无穷大的非线性化之后，也可以将多个距离的每一个变换为测地距离。

另外，关于距离的非线性化，并非受限于上述的函数，只要是针对移动轨迹i和移动轨迹j的距离进行非线性变换即可。

接着，子类标记赋予部203b利用被非线性化后的距离f’(i，j)，如下式这样算出测地距离。

[数式16]

g(i,j)=min(f'(i,j),f'(i,s)+f'(s,j))   (式16)

另外，min(x，y)是归还值x和值y之中小的一方的函数。并且，移动轨迹s是用于从移动轨迹i追寻移动轨迹j的中继点。在此，f’(i，s)+f’(s，j)中的中继点s并非受限于一点。这种方法是被称为迪科斯彻算法的最短路径搜索方法，如以下的非专利文献11的记载。

非专利文献11E.W.Dijkstra，“A note on two problems in connexionwith graphs”，Numerische Mathematik，pp.269-271，1959

在此，关于从式14到式16所示的非线性化处理的效果，利用图15(a)以及图15(b)来进行说明。在此，为了便于理解地说明线性距离f(i，j)与测地距离g(i，j)的不同，以式11所示的时刻t中的移动轨迹间距离为例。实际上，除了移动轨迹间距离以外，还通过利用式12所示的作为像素的运动的类似性的移动轨迹间距离的变动成分，从而不仅能够捕捉关节物体等的形状，而且还能够捕捉形状变化。图15(a)是不进行式14到式16的处理的情况下的例子。例如，头部的像素i1402与手指尖部的像素j1403的距离则成为线性距离1401所示的距离。另外，通过进行式14到式16所示的非线性处理，只要阈值R被恰当地设定，则如图15(b)所示，头部的像素i1402与手指尖部的像素j1403的距离成为，经由像素k1404，追寻到像素j的箭头所示的作为线性和的距离。因此，对于线性距离1401不能将像人物这样的关节物体的关节相连结的形状作为数据来连续地表现这一状况，通过利用测地距离则能够对关节所连结的形状进行连续地表现。另外，测地距离的计算方法并非受限于式16。

接着，利用与阈值R相对应的进行了测地距离变换的g(i，j)，通过检测不连续的点，从而将移动轨迹分类为子类，并赋予子类标记。在此，g(i，j)是成为无穷大的移动轨迹i与移动轨迹j之间的不连续的点。利用图16对针对阈值R而得到的测地距离变换的结果的例子进行说明。在此，图16(a)示出了在步骤S402算出的移动轨迹a～h。图16(b)是由图16(a)所示的移动轨迹a～h所成的高维空间的概念图。在此，移动轨迹的数量虽然被视为8条，但并非受8条所限。实际上，可以利用与各个像素相对应的移动轨迹，也可以利用以块为单位而求出的移动轨迹。在此，由移动轨迹构成的高维空间1502的一个点分别与式1所示的一个移动轨迹相对应。即，各点不是一张图片上的区域，而是追踪了经过了不同的时间的多张图片上的像素的结果。而且，在高维空间1502上，点与点的距离不是矢量间的欧几里得距离，而是与式16所示的测地距离相对应。

图16(c)示出了分群结果。在此，在图16(c)中，在将式10所示的移动轨迹a与移动轨迹b的距离设为f(a，b)时，f(e，f)>f(c，d)>f(f，g)>R>f(b，c)。在此，在将阈值设定为R的情况下，距离f(f，g)具有比阈值R大的值。在这种情况下，即使通过式15来求测地距离，g(e，f)、g(c，d)、g(f，g)也分别成为无穷大。因此，子类标记赋予部203b判断在移动轨迹c与移动轨迹d之间、移动轨迹e与移动轨迹f之间、在移动轨迹f与移动轨迹g之间分别为不连续的点。结果是，由于移动轨迹a、b、c彼此不经由不连续的点就能够追寻到，因此不取无穷大的值，相反，例如从移动轨迹a、b、c针对其他的移动轨迹，经由测地距离的不连续的点g(c，d)，因此成为无穷大。这样，测地距离没有成为无穷大的移动轨迹i和移动轨迹j的组则被视为同一个子类，在成为无穷大的情况下被视为其他的子类。接着，对测地距离成为无穷大的组与没有成为无穷大的组进行整理，则能够分离为D-1、D-2、D-3、D-4这四个子类。在此，对阈值R的性质进行说明。阈值R越小，在图像上就越能够检测到小的移动体，不过会有误检测(False-Positives)增多的折衷现象。因此，例如在用于监视等事先知道想要进行的移动体检测的范围的情况下，只要将想要检测的移动体的最小大小与其在图像上的运动合在一起设定为阈值R即可。并且，在此虽然对将移动体细分为子类的例子进行了说明，如图17所示，将阈值R设定得较大，以使多个移动体分别分离。例如，图17(a)所示，在运动图像中存在两个移动体，求出多个移动轨迹的情况下，所述高维空间成为图17(b)。比起为了分割一个移动体的部位而设定阈值R而言，通过将阈值R设定得较大，从而能够成为如图17(c)所示的分群结果，不同的移动体之间的测地距离g(i，j)成为无穷大，图17(d)所示的两个移动体能够被分别分离。

通过以上的处理，测地距离没有成为无穷大的移动轨迹的组成为连续的状态，从而能够判断为是相同的子类，并且根据测地距离成为无穷大的移动轨迹的组成为不连续的状态，则能够根据不连续的点来将移动轨迹分离为子类。即，在各个移动轨迹与实施方式1的子类标记赋予步骤S403的处理相同，子类D-s的标记被分别赋予。

由于标记传播及更新步骤S404以后的处理与实施方式1相同，因此省略说明。

如以上所述，通过实施方式3，即使在容易发生遮蔽的混乱的环境下，也能够根据移动轨迹来检测图像中的移动体。并且，在本实施方式中，根据测地距离，来将类似的移动轨迹分类为同一个子类，在图16的例子中，反映了头部的运动和腕部的运动不同，以及大腿和小腿的运动的不同，头部、腕部、大腿，小腿则能够分别作为不同的子类而被分类。利用这一结果，通过标记传播及更新，能够将子类统合为具有在时间上相干的类。而且，本方法能够通过同样的方法，在存在有众多人的场面中分别对移动体进行检测。

如以上所述，既能够解决因摄像机的拍摄位置而引起的遮蔽问题，又能够解决因一个移动体被分割为多个而出现的误检测的问题，因此，即使在容易发生遮蔽的环境下也能够进行确切的移动体的检测以及提取。

因此，在数字视频摄像机等运动图像摄像装置普及的今天，数字摄像机的焦点控制以及画质改善处理作为面向车辆的安全驾驶支援系统、机器人中的与人的冲突回避控制或警报等的应用技术，本发明的实用价值非常高。

(实施方式4)

接着，对本发明的实施方式4中的移动体检测装置进行说明。

图18示出了实施方式4中的移动体检测装置200c的构成。实施方式4所涉及的移动体检测装置200c包括：图像输入部201、移动轨迹算出部202、子类标记赋予部203、标记传播部204A、移动体检测部204B、恢复用移动轨迹保持部1701、移动轨迹恢复部1702、以及输出部205。

在这样的实施方式4所涉及的移动体检测装置200c中，除了从实施方式1至3所涉及的移动体检测装置、恢复用移动轨迹保持部1701、以及移动轨迹恢复部1702的构成以外，其余的构成相同，因此省略相同的构成要素的说明。另外，虽然以实施方式1为基本形态进行了说明，本实施方式对于实施方式2以及3也不丢失一般性而能够适用。

另外，子类标记赋予部203虽然被包含在图2所示的子类分类部213中，不过在本图中省略子类分类部213的记载。并且，标记传播部204A虽然被包含在图2所示的子类间类似度计算部214A中，不过在本图中省略子类间类似度计算部214A的记载。

恢复用移动轨迹保持部1701是存储装置，保持有由移动轨迹算出部202算出的移动轨迹中的、仅以比构成图像子集的图片的张数少的图片的张数算出的移动轨迹。

移动轨迹恢复部1702将恢复用移动轨迹保持部1701所保持的移动轨迹，分类为与该移动轨迹连续的其他的移动轨迹所属的类相同的类。

并且，移动体检测部204B除了实施方式1所示的处理以外，还将与移动轨迹恢复部1702所分类的移动轨迹以及同一个类中所包含的移动轨迹相对应的各个块，作为移动体的区域来确定，从而来检测运动图像中的移动体。

即，移动轨迹恢复部1702针对从在移动体检测部204B被判断为同一个类的、在时间上相邻的图像子集间的子类配对开始算起，因遮蔽等影响而没能进行运动检测的F张中的、由移动轨迹算出部202没有算出的移动轨迹，赋予与被判断为所述同一类的子类配对相同的标记。并且，恢复用移动轨迹保持部1701保持，在移动轨迹恢复部1702的处理中所利用的没能算出的F张中的时间短的移动轨迹。据此，移动体检测部204B通过对更多数量的移动轨迹赋予标记，从而能够更正确地检测并提取移动体。通常，在计算移动轨迹的类似度或距离的情况下，需要矢量的长度相同。另外，在本实施方式中，针对移动轨迹的矢量的要素数量没有满足一定的值的移动轨迹，不进行类似度的计算，而通过利用由移动体检测部204B的处理而得到的类信息来赋予标记。据此，能够利用更多数量的移动轨迹来进行移动体的检测以及提取。

以下，利用图19对本实施方式4的移动体检测装置200c的工作进行说明。关于步骤S401、S403、S404，由于与实施方式1相同，因此省略说明。

在移动轨迹算出步骤S402c中，如实施方式1至3的说明，移动轨迹算出部202如式1所示算出移动轨迹。在此，关于图像子集中所包含的F张图像，会有因遮蔽等原因而不能算出移动轨迹的情况。考虑到这种情况，针对不足F张图像的移动轨迹，在恢复用移动轨迹保持部1701另外保持恢复用移动轨迹。并且，在实施方式1至3中，虽然以从时刻(t+1)到时刻(t+F)的顺方向算出移动轨迹为例进行了说明，在此最好是从时刻(t+F)向时刻(t+1)以逆方向来算出移动轨迹。

接着，在移动轨迹恢复步骤S1801中，移动轨迹恢复部1702从在标记传播及更新步骤S404作为同一个类而被统合的不同时间的图像子集中算出的子类的信息中，对恢复用移动轨迹保持部1701所保持的所述恢复用移动轨迹赋予类标记信息。另外，移动体检测部204B将与由移动轨迹恢复部1702分类的移动轨迹以及同一个类中所包含的移动轨迹相对应的各个块确定为移动体的区域，并对运动图像中的移动体进行检测。

图20示出了利用三个图像子集，将类标记信息赋予到恢复用移动轨迹的例子。在此，图像子集只要为两个以上即可，图像子集的数量没有特殊的限定。通过标记传播及更新步骤S404来判断不同的图像子集间的子类是否为同一个类。图中的具有同一个纹理的类为同一个类。在此，针对图20中央的图像子集，移动轨迹恢复部1702对在移动轨迹算出步骤S402c算出的恢复用移动轨迹赋予新的类标记。在此，图20的虚线所示的移动轨迹是恢复用移动轨迹，对此分别赋予类θ₁、类θ₂的类标记。即，针对该图像子集，对与从前一个时刻的图像子集得到的移动轨迹连接的恢复用移动轨迹，赋予从前一个时刻的图像子集得到的类标记(图中为类标记θ₁、θ₂)。当然，类标记数量没有限定。例如，针对恢复用移动轨迹1901，连结有在前一个时刻的图像子集得到的类标记θ₁的类的移动轨迹。因此，恢复用移动轨迹1901被赋予有类标记θ₁。

同样，针对该图像子集，针对与从后一个时刻的图像子集得到的移动轨迹连接的恢复用移动轨迹，赋予从后一个时刻的图像子集得到的类标记。例如，针对恢复用移动轨迹1902，连接有从后一个时刻的图像子集得到的类标记θ₁的类的移动轨迹。因此，恢复用移动轨迹1902被赋予有类标记θ₁。

这样，能够针对不足F张图像的移动轨迹赋予标记是因为，以从在时间上为前后的图像子集得到的类标记与从该图像子集得到的类标记在时间上保持相干的状态，由标记传播及更新步骤S404赋予了标记的缘故。如以上所示，与实施方式1至3相比，由于能够以更高的密度来对移动轨迹赋予标记，因此，能够更加正确地进行移动体的检测与提取。而且，还能够得到高精确度地抽出移动体的效果。

接着，在图像输出步骤S405c中，输出部205也输出在移动轨迹恢复步骤S1801进行的运动图像中的移动体的检测结果。具体而言，针对在图像输入步骤S401接受的运动图像，施行图像处理，例如使在标记传播及更新步骤S404和移动轨迹恢复步骤S1801检测的每个移动体区域成为不同的显示状态，并将施行了图像处理的图像输出到显示器装置等。据此，能够在区别各个移动体的同时，进行确保了时间上的相干的显示。

如以上所述，既能够解决因摄像机的拍摄位置而引起的遮蔽问题，又能够解决一个移动体被分割为多个的误检测的问题，即使在容易发生遮蔽的环境下也能够确切地进行移动体的检测及提取。而且，在容易发生遮蔽的环境下，由于难于算出长时间的移动轨迹，因此通过对上述的短的移动轨迹赋予标记，从而能够以更高的精确度来进行移动体的检测。

因此，在数字视频摄像机等运动图像摄像装置普及的今天，数字摄像机的焦点控制以及画质改善处理作为面向车辆的安全驾驶支援系统、机器人中的与人的冲突回避控制或警报等的应用技术，本发明的实用价值非常高。

(实施方式1至4的第一变形例)

接着，对本发明的实施方式1至4的第一变形例中的移动体检测装置进行说明。在此，在实施方式1至4进行类的判断，对检测了移动体的结果按照每个检测的区域，附加了记录或发送的功能的例子进行说明。在此，虽然对实施方式1中的变形例进行说明，实施方式2至4的变形例也同样适用。像这样的第一变形例所涉及的移动体检测装置200e，如图21所示，能够在图像输入部201、移动轨迹算出部202、子类标记赋予部203、标记传播部204A以及移动体检测部204B的基础上，附加记录或发送部2001来实现。

并且，子类标记赋予部203虽然包含在图2所示的子类分类部213中，不过在本图中省略子类分类部213的记载。并且，标记传播部204A虽然包含在图2所示的子类间类似度计算部214A中，不过在本图中省略子类间类似度计算部214A的记载。

记录或发送部2001将由移动体检测部204B进行的移动体的检测结果写入到记录装置，或者经由传输路径发送到外部。即，记录或发送部2001是一处理部，根据在移动体检测部204B的移动体检测的结果，确定由图像输入部201接受的图片中的移动体区域，将每个确定的移动体区域中的示出移动体区域信息，记录到存储器或硬盘等记录介质，或者，经由通信接口等发送到外部。即，该记录或发送部2001与进行图像显示的情况同样，将示出检测了移动体的结果图像的信息，按照类标记θ分别进行记录或者发送。并且，通过对属于各类的运动信息进行以下所示的平均化，从而能够压缩运动信息。通常情况是需要按照每个像素来保持运动信息，不过，只要进行以下的处理，就能够针对一个移动体保持一个运动信息。例如，作为运动信息而采用了像素i的运动矢量(u_t ⁱ，v_t ⁱ)的情况下，能够计算按以下这样被分割的每个区域而被平均化了的运动信息。

[数式17]

$u_t^m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{u}_t^{c_m}$    (式17)

[数式18]

$v_t^m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{v}_t^{c_m}$    (式18)

在此，C_m是属于类θ_m的移动轨迹的数量。u_t ^Cm，v_t ^Cm分别是属于类θ_m的像素的运动矢量的x成分以及y成分。图22示出的例子是，作为本变形例中的处理结果之一，将从时刻t的T张图像作为输入来进行类的分类，并利用分类的结果，对移动体的提取区域进行记录或发送。记录或发送作为标识符的各类标记θ_m、属于各类标记θ_m的时刻t中的图片的像素位置和像素值、与各类标记θm相对应的时刻t到时刻(t+T)的运动矢量u_t ^m，v_t ^m，u_t+1 ^m，v_t+1 ^m，...，u_t+T ^m、以及v_t+T ^m。当然，也可以取代图像的像素位置和像素值，而是针对时刻t中的一张图片，按每个像素赋予各个类标记并发送。据此，对于运动信息的发送仅需要发送与类的数量相对应的量即可，因此与发送T张图片的情况相比，能够高效率地记录或发送移动体的检测结果。尤其是类数比像素数越少，效率就越高。

(实施方式1至4的第二变形例)

接着，作为实施方式1至4的第二变形例，对附加了根据检测出移动体的结果，来预测移动体的运动的功能的移动体检测装置。在此，虽然按照实施方式1来进行说明，在实施方式2至4也能够同样的实现。

如图23所示，本实施方式中的移动体检测装置200f由于在图像输入部201、移动轨迹算出部202、子类标记赋予部203、标记传播部204A以及移动体检测部204B的基础上，附加了运动预测部2201以及输出部2202，因此具有预测移动体的运动的功能。

另外，子类标记赋予部203虽然包含在图2所示的子类分类部213内，在本图中省略子类分类部213的记载。并且，标记传播部204A虽然包含在图2所示的子类间类似度计算部214A内，在本图中省略子类间类似度计算部214A的记载。

运动预测部2201根据检测出移动体的结果，从各个类所包含的像素的移动轨迹中算出代表移动轨迹，与所述代表移动轨迹一起预测移动体的运动。即，运动预测部2201从构成由移动体检测部204B确定的类的移动轨迹中，算出代表该类的代表移动轨迹，按照算出的所述代表移动轨迹，并通过将与该类对应的移动体的区域预测为在图片间的移动，从而对移动体的运动进行预测。

图24是本变形例中的处理的流程图。步骤S401至S404由于与实施方式1相同，因此省略说明。

接着，在步骤S2301，运动预测部2201根据在移动体检测部204B的移动体检测的结果，从属于各类的移动轨迹中求出各类的代表点以及代表点的代表移动轨迹。

在此，将属于类θ_m的像素的移动轨迹表现为x^Cm。如下式所示，按每个类θ_m来求出代表的移动轨迹。在此，作为代表的移动轨迹，以算出平均移动轨迹为例进行说明，不过也可以是按每个移动轨迹x^Cm来对以下的计算进行加权等，也可以将与图像上的类的重心相对应的像素的移动轨迹作为代表的移动轨迹。

[数式19]

$\stackrel{\&OverBar;}{X^m}=\frac{1}{C_m}\underset{c=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{X}^{c_m}$    (式19)

在此，C_m是属于类θ_m的像素数或像素的移动轨迹的数量。

图25示出了根据式19按照各个类θ_m来求代表的移动轨迹的例子。图25中仅示出了分别与某移动体相对应的类θ₁和与其他的移动体相对应的类θ₂相关的代表的移动轨迹。图中的“×”表示，作为分别与时刻t相对应的代表移动轨迹

[数式20]

$\stackrel{\&OverBar;}{X^m}$

的要素的像素位置。根据该方法，与求出单纯接近的像素的移动轨迹的时间平均的方法相比较，能够仅利用运动类似的像素的移动轨迹来求出代表的移动轨迹。因此，能够求出更高精确度的代表的移动轨迹。这样，通过按照每个类来求代表的移动轨迹，从而能够正确且简便地表现每个移动体或每个部位的运动。

接着，在步骤S2302，运动预测部2201根据在步骤S2301算出的代表的移动轨迹，预测从时刻T往前的时刻中的移动体的位置。首先对根据代表的移动轨迹算出加速度，并预测时刻(T+1)以后的移动体的位置的例子进行说明。在输入了三张以上的时间序列图像的情况下，如下式20所示，能够按照代表的移动轨迹

[数式21]

$\stackrel{\&OverBar;}{X^m}$

来得到加速度矢量sm。

[数式22]

$s_{t+1}^m=\{u_{t+1}^m-u_t^m\}-\{u_t^m-u_{t-1}^m\}$    (式20)

在此，u_t ^m是时刻t中的像素m的运动矢量，能够以下式21来表示。

[数式23]

$u_t^m=(u_t^m,v_t^m)$    (式21)

利用式20的加速度矢量，图25的虚线箭头以及“○”所示，运动预测部2201能够按照每个移动体，依照以下的式22来预测时刻(T+t’)中的移动体的位置pos_m(T+t’)。

[数式24]

${\mathrm{pos}}_m(T+t^{\&prime;})={\mathrm{pos}}_m\left(T\right)+t^{\&prime;}{u}_T^m+\frac{1}{2}{t}^{\&prime;2}{s}_T^m$    (式22)

并且，输出部2202输出在步骤S2301预测的移动体的位置以及移动体部位的位置。据此，能够进行考虑了加速度的运动预测。在运动急剧地加快或急停止的情况下，能够实现反映该加速度并预测移动体的位置的效果。并且，也可以取代运动矢量而利用仿射参数。仿射参数能够表现包含旋转运动的运动，由于适于表现手腕以及脚等旋转运动，因此尤其是能够更加正确地预测关节物体的位置。

而且，也可以取代上述的运动矢量和加速度，而是直接对代表的移动轨迹x^m拟合N次函数。在输入T张以时间序列排列的图像的情况下，能够针对代表的移动轨迹

[数式25]

$\stackrel{\&OverBar;}{X^m}$

中所包含的T个图像上的位置信息拟合N次函数。据此，依照拟合后的函数的值，能够推定时刻(T+t’)中的图像上的位置pos_m(T+t’)。具体而言，由于通过拟合函数，能够表现平滑的运动，因此能够进行更高精确度的运动预测。尤其是能够依照拟合后的函数来进行运动预测，在拟合后的函数接近本来的运动的情况下，运动预测的精确度增高。当然，这些图像上的位置预测能够利用于时间上的内插。

如以上所述，通过本变形例，由于能够将运动类似的像素的移动轨迹作为同一个类来算出，从而能够求出高精确度的代表的移动轨迹。

以上根据实施方式以及变形例对本发明所涉及的移动体检测方法以及移动体检测装置进行了说明，不过，本发明并非受这些实施方式以及变形例所限。将本领域技术人员所能够想到的个各种变形，在不脱离本发明的主旨的范围内施行于各个各实施方式的实施例均包含在本发明内。

并且，对各个实施方式中的特征性的构成要素进行任意的组合来实现的实施例也包含在本发明内。

并且，上述的实施方式中的移动体检测装置虽然具备了图像输入部201以及移动轨迹算出部202，但是在本发明中并非是必要的构成要素。即，在构成运动图像的多个块的每一个中的图像的移动轨迹被事先算出的情况下，移动体检测装置200从外部获得这样的移动轨迹，并可以针对获得的移动轨迹执行步骤S403和S404的处理。

并且，在上述的实施方式中的移动体检测装置中虽然具备了输出部205或者205a，本发明也可以不必具备输出部。即，也可以不必将移动体的检测结果显示到显示器等，可以利用于其他的处理。

并且，本发明虽然是作为移动体检测装置来实现的，不过也可以作为对运动图像中的具有运动的对象的区域进行提取或分割的图像处理装置来实现。

并且，在上述的各个实施方式中，各个构成要素也可以由专用的硬件来构成，或者通过执行适用于各个构成要素的软件程序来实现。各个构成要素也可以由图3所示的CPU或者处理器等程序执行部，读出并执行被记录在硬盘或者半导体存储器等记录介质中的软件程序来实现。在此，实现上述的各个实施方式的移动体检测装置等的软件是如下的程序。

即，该程序使计算机执行移动体检测方法中所包含的所有的步骤。该移动体检测方法，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测方法包括以下的步骤：接受构成运动图像的并且至少由三张图片构成的多张图片的步骤；从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集所包含的图片间的移动轨迹的步骤，所述移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；按照每个图像子集，将该图像子集中所包含的被算出的多个移动轨迹，分类为子类的步骤；在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度的步骤；以及以被计算出的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，来将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个作为移动体的区域来确定，从而对运动图像中的移动体进行检测的步骤。

本发明能够作为根据多张图片中的运动，通过对包含形状一边发生变化一边移动的人物等移动体的图像进行区域提取，来检测图像中的移动体的移动体检测装置来利用，例如能够作为运动分析装置、监视装置、视频摄像机或TV等AV设备中内藏的移动体检测装置等来利用。

符号说明

200，200a，200b，200c，200e，200f 移动体检测装置

201  图像输入部

202  移动轨迹算出部

203，203a，203b，203d，203e，203f 子类标记赋予部

204A 标记传播部

204B 移动体检测部

205，2202 输出部

213  子类分类部

214A 子类间类似度计算部

301  摄像机

302  计算机

303  显示器

304  I/F

305  CPU

306  ROM

307  RAM

308  HDD

309  视频卡

501  输入图像

502  图像子集

503  运动信息

504，1402 像素i

1401 线性距离

1403 像素j

1404 像素k

1502 高维空间

1701 恢复用移动轨迹保持部

1702 移动轨迹恢复部

1901，1902 恢复用移动轨迹

2001 记录或发送部

2201 运动预测部

Claims (16)

1.一种移动体检测装置，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测装置具备：

图像输入部，接受构成运动图像的并且至少由三张图片构成的多张图片；

移动轨迹算出部，从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；

子类分类部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹，分类为子类；

子类间类似度计算部，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及

移动体检测部，以由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

2.如权利要求1所述的移动体检测装置，

所述子类分类部包括子类标记赋予部，该子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记；

所述子类间类似度计算部包括标记传播部，该标记传播部，在从所有的子类中任意选择的第一子类以及第二子类之间，算出表示示出同一个块的运动的移动轨迹被共用的程度的移动轨迹的共用比例，通过对所述共用比例越高的所述第一子类以及第二子类就越再次赋予同一个子类标记，从而使子类标记在子类间传播；

所述移动体检测部，通过将被赋予了同一个子类标记的子类的集合分类为同一个类，从而将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，据此对运动图像中的移动体进行检测。

3.如权利要求2所述的移动体检测装置，

所述移动轨迹算出部，以使时间上相邻的图像子集间的一部分的图片重叠的方式，从所述多张图片中抽取多个图像子集，并按照每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是构成图片的一个以上的像素所构成的块的运动的轨迹；

所述标记传播部，在经过所述第一子类以及第二子类之间所共用的图片中的同一个位置的移动轨迹，相对于所述第一子类以及第二子类中所包含的移动轨迹的比例越大的情况下，就越将所述第一子类以及第二子类之间的移动轨迹的共用比例判断为高，并通过对所述移动轨迹的共用比例越高的所述第一子类以及第二子类，就越再次赋予同一个子类标记，从而使子类标记在子类间传播。

4.如权利要求2或者3所述的移动体检测装置，

所述标记传播部，进一步，对子类的可靠性越大的子类，就再次赋予与所述子类标记赋予部赋予的子类标记相同的子类标记，据此使子类标记在子类间传播，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。

5.如权利要求2至4的任一项所述的移动体检测装置，

该移动体检测装置进一步包括：

保持部，保持由所述移动轨迹算出部算出的移动轨迹之中的、只有以比构成图像子集的图片的张数少的图片的张数才能算出的移动轨迹；以及

移动轨迹恢复部，将所述保持部所保持的移动轨迹，分类为与该移动轨迹连续的其他的移动轨迹所属的类相同的类；

所述移动体检测部，进一步，将与所述移动轨迹恢复部所分类的移动轨迹以及同一个类中所包含的移动轨迹相对应的各个块，作为移动体的区域来确定，从而对运动图像中的移动体进行检测。

6.权利要求2至5的任一项所述的移动体检测装置，

所述子类标记赋予部，通过按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中类似的移动轨迹，分类为同一个子类，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。

7.如权利要求6所述的移动体检测装置，

所述子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中最类似的移动轨迹的组合分类为同一个子类，通过对这种进行分类的处理反复执行规定的次数或者反复执行到所述多个移动轨迹被分类为规定的子类个数为止，来将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。

8.如权利要求6所述的移动体检测装置，

所述子类标记赋予部，(a)针对由所述移动轨迹算出部算出的多个移动轨迹，算出表示移动轨迹间的类似性的距离，(b)通过对算出的距离之中的比预先规定的阈值小的距离进行连结，从而将所述算出的距离变换为测地距离，(c)按照每个图像子集，针对该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中的任意的两个移动轨迹，将除此以外的移动轨迹作为中继点，算出从所述两个移动轨迹之中的一方沿着所述中继点到达另一方的路径的距离，以作为测地距离，对得到的测地距离中分布的不连续的点进行检测，将相隔的测地距离比检测的不连续的点小的移动轨迹作为一个类来分类为同一个子类，通过进行这样的分类的处理，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。

9.如权利要求2至5的任一项所述的移动体检测装置，

所述子类标记赋予部，按照每个图像子集，从该图像子集中所包含的至少一张图像中，使用边缘、颜色、亮度之中的至少一种，将图像分割为多个区域并生成子类，对经过分割后的区域的移动轨迹分别赋予子类标记。

10.如权利要求2至9的任一项所述的移动体检测装置，

该移动体检测装置进一步具备输出部，该输出部针对由所述图像输入部接受的所述多张图片之中的至少一张图片，以由所述移动体检测部被分类为同一个类的移动体区域为单位来施行图像处理，以便成为与其他的移动体区域不同的显示方式，并输出被施行了图像处理的图片。

11.如权利要求2至9的任一项所述的移动体检测装置，

该移动体检测装置进一步具备记录或发送部，将由所述移动体检测部进行的移动体的检测结果，写入到记录装置，或者经由传输路径发送到外部。

12.如权利要求2至9的任一项所述的移动体检测装置，

该移动体检测装置进一步具备运动预测部，该运动预测部从构成由所述移动体检测部确定的类的移动轨迹中，算出代表该类的代表移动轨迹，按照算出的所述代表移动轨迹，将与该类对应的移动体的区域预测为在图片间移动，据此对所述移动体的运动进行预测。

13.如权利要求1所述的移动体检测装置，

所述子类间类似度计算部，通过使以子类间的类似度为要素的矩阵Z，反复与以子类间的移动轨迹的共用比例为要素的矩阵W相乘，来更新以子类间的类似度为要素的矩阵Z，从而计算子类间的类似度。

14.如权利要求13所述的移动体检测装置，

所述子类间类似度计算部，进一步，通过对以子类的可靠性为要素的矩阵Y进行加权并与更新后的矩阵Z相加，从而计算子类间的类似度，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。

15.一种移动体检测方法，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测方法包括以下的步骤：

接受构成运动图像的并且至少由三张图片构成的多张图片的步骤；

从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集所包含的图片间的移动轨迹的步骤，所述移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；

按照每个图像子集，将该图像子集中所包含的被算出的多个移动轨迹，分类为子类的步骤；

在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度的步骤；以及

以被计算出的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，来将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个作为移动体的区域来确定，从而对运动图像中的移动体进行检测的步骤。

16.一种程序，用于使计算机执行权利要求15所述的移动体检测方法中所包含的所有的步骤。

Images