CN102227750A - 移动体检测装置及移动体检测方法 - Google Patents

Abstract

提供一种移动体检测装置，对于包含一边形状发生变化一边移动的人物等的被摄体的图像、也能够不受被摄体的姿势或大小的影响而正确地提取区域。该移动体检测装置(100)具备：图像输入部(101)，接受运动图像；运动解析部(102)，根据图像的运动计算多个移动轨迹；区域分割部(103)，将移动轨迹分割为多个部分集合，并且在分割后的多个部分集合中将一部分移动轨迹设定为共有点；距离计算部(104)，对分割后的多个部分集合分别计算表示移动轨迹间的相似性的距离；测地距离变换部(105)，将计算出的距离变换为测地距离；近似测地距离计算部(106)，通过将共有共有点的测地距离合并来计算跨在部分集合的测地距离；以及区域提取部(107)，将计算出的近似测地距离聚类。

Description

移动体检测装置及移动体检测方法

技术领域

本发明涉及检测图像中的移动体的装置等，特别涉及从由多张图像构成的运动图像中基于图像的运动信息进行区域提取、从而检测移动体的装置，所述区域提取中确定形状一边变化一边移动的人物等的移动体的全部或一部分区域。

背景技术

作为检测形状一边变化一边移动的人物等的移动体、或提取包含移动体的图像区域的技术之一，有将从图像中提取对象物的候补区域的方法与对所提取的对象物的候补区域适用预先准备的对象物模型的方法进行组合的方法。例如，在专利文献1中，公开了一种方法，即：从多个图像中提取人物等的对象物的轮廓图像作为对象物候补区域，使用根据有关上述对象物的知识将对象物的部位预先进行参数化的有关人物等的对象物的模型，对所提取的轮廓图像适用该模型。由此，能够对形状一边变化一边移动的人物等的移动体适用参数化的模型，所以能够进行移动体的检测及区域提取。

此外，在非专利文献1中，公开了一种方法，即：将从多个视点拍摄了固定的1个被摄体的图像作为输入，基于各图像的亮度值计算表示图像间的相似性的欧几里得距离，并对其进行测地距离变换后进行维度压缩，从而能够进行射影以使从相似的视点拍摄的图像在2维空间上成为近距离。这里，与以往的PCA(Principal Component Analysis：主成分分析)等的线性维度压缩方法相比，通过测地距离变换能够压缩成更低维度，还呈现出对于以非线性分布的数据也能够进行处理。

这里，非专利文献1在设要处理的全部数据数为N的情况下，需要使用具有N²的要素数的矩阵进行测地距离变换及维度压缩。因此，已知在数据数N较大的情况下计算量变得庞大的问题。

对此，在非专利文献2及非专利文献3中，提出了从数据点之中设定比数据点数少的数量的地标点、使用设定的地标点生成上述矩阵并进行测地距离变换及维度压缩、从而削减计算量的方法。

先行技术文献

专利文献

专利文献1：日本特开平8-214289号公报

非专利文献

非专利文献1：Joshua Tenenbaum，Vin de Silva，John Langford，“A Global Geometric Framework for Nonlinear Dimensionality Reduction”，Science，VOL290，pp.2319-2322，22December，2000

非专利文献2：Vin de Silva and Joshua B.Tenenbaum，“Global Versus Local Methods in Nonlinear Dimensionality Reduction”，Neural Information Processing Systems 15，705-712，2002

非专利文献3：Vin de Silva and Joshua B.Tenenbaum，“Sparse Multidimensional Scaling using Landmark Points”，Technical Report，Stanford University，June 2004

发明的概要

发明要解决的问题

但是，在上述专利文献1的技术中，存在特别在街头等、人物等的移动体交杂的场景中不能正确地提取移动体的问题。以上述专利文献1为代表的区域提取方法如上述那样需要从图像中提取对象物候补区域。此时，如果不能正确地提取对象物候补区域，则不能对对象物候补区域正确地适用将对象物参数化的模型。特别是，在混杂的场景中，难以正确地提取对象物候补区域。例如，存在如下问题：将多个移动体误作为1个移动体而提取为对象物候补区域、或将不存在作为提取对象的移动体的区域误提取为对象物候补区域。进而，即使正确地提取了对象物候补区域，也有以下这样的问题。即，特别在以人物等的多关节物体为对象物的情况下，由对象物的各种各样的姿势或大小带来的图像上的所见的变化非常大，所以在进行对象物模型的参数化时需要庞大的数量的参数。这导致模型的适用错误。因此，存在因适用对应于与实际不同的姿势的对象物模型而不能正确地进行区域提取的问题。

发明内容

所以，本发明的第1的目的是解决专利文献1的不能正确地进行区域提取的问题。作为用于此的手段，利用以下的非专利文献1中记载的方法的能够高效率地表现非线性分布的数据的性质。

在以非专利文献1为代表的图像处理方法中，以图像间的距离为输入进行非线性处理，从而能够将图像数据射影到被高效率地压缩的低维空间中。进而，通过测地距离变换和维度压缩，能够高效率地表现连续且非线性分布的数据。但是，非专利文献1的主要的目的是通过将多个静止图像射影到低维空间中而将图像间的相似性可视化，并没有公开与形状变化的人物等的多关节物体的各种各样的姿势变化对应而正确地提取移动体的方法。此外，还有如果输入数据数变多则计算量变得庞大的问题。进而，在以非专利文献2及非专利文献3为代表的、非专利文献1的计算量的削减方法中，关于在地标点与地标点之间存在的数据点、即没有被选择为地标的点，使用地标点进行线性内插。特别是，像形状变化的人物等的移动体的头和脚的运动不同那样，即使是同一移动体，也根据部位而运动不同。例如，在头和脚上有地标点的情况下，如果进行地标点间的线性内插，则不能适当地捕捉手臂及膝部的关节运动等的运动。因此，难以与形状变化的人物等的多关节物体的各种各样的姿势变化对应而正确地提取移动体。进而，在没有预先提取被摄体的阶段中，难以对人物等的多关节物体适当地设定地标点。

所以，本发明的第2的目的是解决非专利文献1的计算量的问题。即，本发明的目的是解决这两个问题，本发明的目的在于提供一种对于包含形状一边变化一边移动的人物等的移动体的图像、也能够不受移动体的姿势或大小的影响而高速且正确地进行区域提取的移动体检测装置等。

用于解决问题的手段

为了达到上述目的，有关本发明的移动体检测装置的一技术方案，是一种移动体检测装置，通过提取运动图像中的移动体的全部或一部分的区域来检测运动图像中的移动体，具备：图像输入部，接受构成运动图像的多张图片；运动解析部，按照构成接受到的上述图片的由1个以上的像素构成的块，检测不同的两张图片间的图像的运动，计算多个将检测到的运动对上述多张图片连接而成的移动轨迹；区域分割部，将计算出的多个上述移动轨迹分割为多个部分集合，并且在分割后的多个部分集合中将一部分移动轨迹设定为共有点；距离计算部，对分割后的上述多个部分集合分别计算表示多个移动轨迹间的相似性的距离；测地距离变换部，将计算出的上述距离变换为测地距离；近似测地距离计算部，通过将变换后的上述测地距离中的、共有上述共有点的测地距离合并，计算跨上述部分集合的近似的测地距离；以及区域提取部，使用计算出的近似测地距离，进行将具有相似的移动轨迹的块确定为同一区域的聚类，由此对上述运动图像提取至少一个区域。

此外，为了达到上述目的，有关本发明的矢量数据分类装置的一技术方案，是一种矢量数据分类装置，将多个矢量数据分类为相似的矢量数据的集合即分组，具备：矢量数据输入部，接受多个矢量数据；区域分割部，将接受的上述多个矢量数据分割为用于计算测地距离的多个部分集合，并且将分割后的多个部分集合的至少一个中包含的一部分矢量数据设定为共有点；距离计算部，对分割后的上述多个部分集合，计算表示多个矢量数据间的相似性的距离；测地距离变换部，将计算出的上述距离变换为测地距离，该测地距离为一边沿着作为中继点的移动轨迹一边从一个移动轨迹到达另一个移动轨迹的路径的距离的测地距离；近似测地距离计算部，将变换后的上述测地距离中的、共有上述共有点的测地距离合并，从而计算遍及上述部分集合的近似的测地距离；以及数据分类部，使用计算出的近似的测地距离进行将具有相似的矢量数据的块确定为一个区域的分类，从而对上述运动图像生成至少一个分组。

另外，本发明不仅能够作为上述移动体检测装置及矢量数据分类装置实现，还能够作为以上述各构成要素为步骤的移动体检测方法及矢量数据分类方法、使计算机执行上述各步骤的程序、保存有该程序的CD-ROM等的计算机可读取的记录介质等实现。

发明效果

通过上述方法及装置等，对于包含形状一边变化一边移动的人物等的移动体的图像，也能够不受移动体的姿势或大小的影响而高速且正确地检测移动体以及将部位进行区域提取。进而，还能够使用进行检测和区域提取的结果进行移动体的移动预测等。

附图说明

图1是表示本发明的实施方式1的移动体检测装置的基本结构的图。

图2是用软件实现本发明的实施方式1的移动体检测装置的情况下的硬件结构图。

图3是表示本发明的实施方式1的移动体检测装置的基本动作的流程图。

图4是表示本发明的实施方式1的运动解析部的处理例的图。

图5的(a)～(d)是表示本发明的实施方式1的区域分割部的处理例的图。

图6的(a)～(c)是表示本发明的实施方式1的测地距离变换部的测地距离的效果的一例的图。

图7的(a)及(b)是表示本发明的实施方式1的测地距离变换部的测地距离的效果的一例的图。

图8是表示本发明的实施方式1的近似测地距离计算部的处理例的图。

图9的(a)～(c)是表示本发明的实施方式1的区域提取部的处理例的图。

图10的(a)～(c)是表示本发明的实施方式1的第1变形例的区域分割部的处理例的图。

图11是表示本发明的实施方式1的第2变形例的移动体检测装置的基本动作的流程图。

图12是表示本发明的实施方式1的第2变形例的区域提取部的维度压缩结果的图。

图13的(a)及(b)是表示本发明的实施方式1的第2变形例的区域提取部的移动体检测结果的图。

图14是表示本发明的实施方式1的第2变形例的区域提取部的维度压缩结果的图。

图15是表示本发明的实施方式1的第3变形例的基本结构的图。

图16是表示本发明的实施方式1的第3变形例的移动体检测装置的基本动作的流程图。

图17的(a)～(e)是表示本发明的实施方式1的第3变形例的区域提取部的处理例的图。

图18是表示本发明的实施方式1的第4变形例的基本结构的图。

图19的(a)及(b)是表示本发明的实施方式1的第4变形例的图像显示部的显示例的图。

图20是表示本发明的实施方式1的第5变形例的移动体检测装置的结构例的图。

图21是表示本发明的实施方式1的第5变形例的记录发送数据的一例的图。

图22是表示本发明的实施方式2的移动体检测装置的结构例的图。

图23是表示本发明的实施方式2的移动体检测装置的基本动作的流程图。

图24是表示本发明的实施方式2的运动预测的一例的图。

图25是表示本发明的实施方式3的移动体检测装置的结构例的图。

图26的(a)及(b)是表示本发明的实施方式3的移动体检测装置的摄像机配置的例子的图。

图27是表示本发明的实施方式3的移动体检测装置的基本动作的流程图。

图28的(a)及(b)是表示本发明的实施方式3的区域分割部的处理例的图。

图29是表示本发明的实施方式4的移动体检测装置的结构例的图。

图30是表示本发明的实施方式4的移动体检测装置的基本动作的流程图。

图31的(a)～(c)是表示能够通过本发明的实施方式2的方法分离的图形的一例的图。

图32是表示本发明的实施方式的变形例的移动体检测装置的结构例的图。

具体实施方式

有关本发明的移动体检测装置的一实施方式，是一种移动体检测装置，通过提取运动图像中的移动体的全部或一部分区域来检测运动图像中的移动体，具备：图像输入部，接受构成运动图像的多张图片；运动解析部，按照构成接受到的上述图片的由1个以上的像素构成的块，检测不同的两张图片间的图像的运动，计算对上述多张图片连接检测到的运动而得到的多个移动轨迹；区域分割部，将计算出的上述多个移动轨迹分割为多个部分集合，并且在分割后的多个部分集合中将一部分移动轨迹设定为共有点；距离计算部，对分割后的上述多个部分集合分别计算表示多个移动轨迹间的相似性的距离；测地距离变换部，将计算出的上述距离变换为测地距离；近似测地距离计算部，通过将变换后的上述测地距离中的、共有上述共有点的测地距离合并，计算跨上述部分集合的近似测地距离；以及区域提取部，利用计算出的近似测地距离，进行将具有相似的移动轨迹的块确定为同一区域的聚类，由此对上述运动图像提取至少一个区域。

由此，将相似的移动轨迹集中而进行分类，所以即使在将由运动不同的多个部位构成的人物等的多关节物体作为移动体来进行检测的情况下，也识别为一个区域，所以能够进行正确的区域提取、可靠地检测移动体。即，对于一边形状发生变化一边移动的人物等的移动体也能够正确地提取区域，由此能够高速且可靠地检测图像中的移动体。

此外，由于在按照每个部分集合计算测地距离后，通过使用共有点的测地距离的合并来计算跨部分集合的近似测地距离，所以与不将移动轨迹分割为部分集合的情况相比，能够以更少的计算量计算对全部的两个移动轨迹间的组合的测地距离，能够进行高速的移动体检测。即，由于能够减少测地距离计算所涉及的计算量，所以能够高速地检测移动体。进而，不需要预先保持或学习有关应提取的移动体的形状信息等的事前信息。

这里，也可以是，上述图像输入部对于多个摄像机拍摄的多个运动图像分别接受上述多张图片；上述运动解析部对上述多个运动图像分别计算上述多个移动轨迹；上述区域分割部将对上述多个运动图像分别计算出的多个移动轨迹作为分割后的上述多个部分集合来保持；上述区域提取部通过进行上述聚类，对上述多个运动图像提取至少一个区域。由此，能够将从多个摄像机得到的影像合并处理。进而，由于将相似的移动轨迹集中而进行分类，所以即使在将由运动不同的多个部位构成的人物等的多关节物体作为移动体来进行检测的情况下也识别为一个区域，所以能够进行正确的区域提取，能够可靠地检测移动体。进而，对于进行移动以跨越多个摄像机影像间的移动体、或一边形状发生变化一边移动的人物等的移动体也能够正确地进行区域提取，由此能够高速且可靠地检测图像中的移动体。

另外，作为分割为部分集合的方法，也可以是，上述区域分割部在关于与移动轨迹对应的上述图片上的块的、在图像上的位置的空间上，将上述多个移动轨迹分割为上述多个部分集合。由此，容易将在图像上的位置上位于附近的移动轨迹分割为一个部分集合。特别是，作为图像特有的问题，被摄体在空间上相连的情况较多，所以能够更高速地进行测地距离计算。

此时，也可以是，上述区域分割部按照用户对上述图片指定的空间分割，将上述多个移动轨迹分割为上述多个部分集合。由此，在用户已知存在移动体的大致的区域的情况下，用户能够指定该区域，所以通过将存在移动体的区域分割为多个部分集合，能够避免测地距离计算的精度下降的危险性，能够防止移动体的检测精度劣化。

此外，作为分割为部分集合的别的方法，也可以是，上述移动轨迹由多维矢量表现；上述区域分割部在表现上述多维矢量的多维矢量空间上，将上述多个移动轨迹分割为上述多个部分集合。由此，容易将在多维矢量空间上位于附近的移动轨迹或矢量数据分割为一个部分集合，所以能够更高速地进行测地距离计算。

进而，作为共有点的设定方法，也可以是，上述区域分割部以使附近的部分集合的一部分重复的方式进行上述分割，并且将重复的区域中包含的移动轨迹设定为上述共有点，或者，上述区域分割部对上述多个部分集合中的各个部分集合，将属于该部分集合的移动轨迹中的、接近于与其他部分集合的边界的移动轨迹设定为上述共有点。通过以使图像上的附近区域重复或连接的方式具备共有点，即使是在图像上存在于离开的位置上的移动轨迹，也能够通过使用上述共有点来高速且正确地计算测地距离。此外，通过以使多维矢量空间上的附近区域重复或连接的方式具备共有点，即使是在上述多维矢量空间上离开的多维矢量，也能够通过使用上述共有点来高速且正确地计算测地距离。

此外，关于向测地距离的变换，优选的是，上述测地距离变换部通过将上述距离计算部计算出的距离中的、满足预先设定的条件的小的距离连接，求出从由上述运动解析部计算出的一个移动轨迹到另一个移动轨迹的最短路径，由此将由上述距离计算部计算出的距离分别变换为测地距离。具体而言，优选的是，上述测地距离变换部对上述多个部分集合所包含的多个移动轨迹中的各个移动轨迹，从该移动轨迹到其他移动轨迹的多个距离之中按从小到大的顺序选择预先设定的个数的距离，并进行将未被选择的距离变更为无限大的非线性化后求出上述最短路径，由此将由上述距离计算部计算出的距离分别变换为测地距离。由此，通过阈值选择的距离与没有被选择的距离成为非线性的关系，所以与线性距离相比，更强调了移动轨迹间的相似/非相似，能够正确地表现人物那样用关节相连的物体的运动。

此外，也可以是，上述测地距离变换部对上述多个部分集合所包含的多个移动轨迹中的各个移动轨迹，从该移动轨迹到其他移动轨迹的多个距离之中选择预先设定的阈值以下的距离，并进行将未被选择的距离变更为无限大的非线性化之后，求出上述最短路径，由此将由上述距离计算部计算出的距离分别变换为测地距离。由此，通过阈值选择的距离与没有被选择的距离成为非线性的关系，所以与线性距离相比，更强调了移动轨迹间的相似/非相似，能够正确地表现人物那样用关节相连的物体的运动。

此外，作为区域提取的具体的方法之一，优选的是，上述区域提取部检测由上述近似测地距离计算部计算出的测地距离的分布中的至少一个以上的不连续点，进行上述聚类，以使相互离开了比检测到的不连续点小的测地距离的移动轨迹成为一个群组。由此，离开了比不连续点小的距离的移动轨迹成为一个群组，所以通过改变不连续点的条件，能够控制生成的群组数。

此外，作为区域提取的具体的方法的另一种，也可以是，上述区域提取部对由上述近似测地距离计算部计算出的测地距离求出固有值及固有矢量，从而进行维度压缩，在维度压缩后的空间上进行上述聚类。由此，通过对测地距离进行维度压缩，能够进行对于噪声及运动检测错误而言健全的被摄体检测。

进而，作为区域提取的具体的方法的另一种，可以构成为，上述测地距离变换部生成用于将上述距离变换为上述测地距离的多个判断基准，关于生成的多个判断基准中的各个判断基准，利用该判断基准将上述距离变换为上述测地距离，从而生成分别与上述多个判断基准对应的测地距离；上述近似测地距离计算部对分别与上述多个判断基准对应的测地距离进行上述合并；上述区域提取部具有：区域提取候补生成部，对分别与上述多个判断基准对应的被合并的近似测地距离进行上述聚类来提取区域，从而分别与上述多个判断基准对应地生成上述区域提取的结果作为区域提取候补；以及区域提取候补选择部，取得关于分组数的指示，从由上述区域提取候补生成部生成的多个区域提取候补之中选择提取了与取得的分组数接近的个数的区域的区域提取候补，将所选择的区域提取候补作为由该区域提取部提取区域的结果来输出。由此，对预先生成的多个判断基准分别进行聚类，所以通过这些多个聚类生成希望的个数的群组。

另外，关于多个判断基准的具体例，优选的是，上述测地距离变换部生成多个阈值作为上述多个判断基准，对于所生成的多个阈值中的各个阈值，将由上述距离计算部计算出的距离中的、比该阈值小的距离连接，从而生成分别与上述多个判断基准对应的测地距离。由此，使用连接了较小的距离的测地距离来判断移动轨迹的相似性，所以与使用作为直线距离的欧几里得距离的聚类相比，进行考虑到有关移动轨迹间的相似性的连续性的聚类，能够可靠地辨别图片中的各块属于同一个物体(或部位)还是不同的物体(或部位)。

此外，优选的是，上述移动体检测装置还具备图像显示部，该图像显示部将由上述区域提取部得到的区域提取的结果重叠显示在由上述图像输入部接受的图片上。由此，通过将区域提取后的部位显示在图像上，能够进行体育中的姿势的修正或机能恢复训练中的步行的矫正等。

此外，也可以构成为，上述移动体检测装置还具备记录·发送部，该记录·发送部与由上述区域提取部提取区域的结果对应地确定由上述图像输入部接受的图片中的区域，并按照所确定的每个区域，将对应的提取区域的结果记录并保持，或者经由传输路径向外部发送。由此，通过将检测到的移动体图像基于提取的区域分别进行保持，从各移动体图像之中仅选择需要的部分的图像并保存、或向外部输出，由此作为图形要素能够进行高效率的保存及输出。因此，在对便携电话等、处理能力有限的设备保存及发送的情况下有效地起到作用。

此外，也可以是，上述图像输入部接受包括两个以上的移动体的运动图像；在上述区域提取部中，通过对上述两个以上的移动体进行上述区域提取，检测两个以上的移动体。由此，不仅是对于一边形状发生变化一边移动的一个移动体，而且对于包含多个移动体的图像，也能够正确地检测多个移动物体。

此外，优选的是，上述移动体检测装置还具备运动预测部，该运动预测部根据由上述区域提取部提取的区域中包含的块的移动轨迹，计算代表该区域的移动轨迹，并按照计算出的移动轨迹预测该区域移动，从而预测上述移动体的运动。由此，通过使用代表多个块的移动轨迹的轨迹来预测为移动体的运动，从而能够进行噪声承受力较高的运动预测。

此外，本发明的另一实施方式，是一种矢量数据分类装置，将多个矢量数据分类为相似的矢量数据的集合即分组，具备：矢量数据输入部，接受多个矢量数据；区域分割部，将接受的上述多个矢量数据分割为在测地距离的计算中利用的多个部分集合，并且将分割后的多个部分集合的至少一个中包含的一部分矢量数据设定为共有点；距离计算部，对分割后的上述多个部分集合分别计算表示多个矢量数据间的相似性的距离；测地距离变换部，将计算出的上述距离变换为测地距离，该测地距离为经过作为中继点的移动轨迹从一个移动轨迹到达另一个移动轨迹的路径的距离；近似测地距离计算部，将变换后的上述测地距离中的、共有上述共有点的测地距离合并，从而计算跨上述部分集合的近似测地距离；以及数据分类部，利用计算出的近似测地距离进行将具有相似的矢量数据的块确定为一个区域的聚类，从而对上述运动图像生成至少一个分组。

由此，将相似的矢量数据集中进行分类，所以例如在输入了关于3维的运动的矢量数据的情况下，即使在将由运动不同的多个部位构成的人物等的多关节物体作为移动体来进行检测的情况下，也被分类为一个区域，所以能够进行正确的区域提取、可靠地检测移动体。即，对于一边形状发生变化一边移动的人物等的移动体也能够正确地进行分类即区域提取。

此外，由于在按照每个部分集合计算出测地距离后，通过使用共有点的测地距离的合并来计算跨越部分集合的近似测地距离，所以与不将矢量数据分割为部分集合的情况相比，能够以更少的计算量计算对于全部的两个矢量数据间的组合的测地距离，能够进行高速的数据聚类。

以下，使用附图详细说明本发明的实施方式。

(实施方式1)

首先，对有关本发明的实施方式1的移动体检测装置及移动体检测方法进行说明。

图1是表示实施方式1的移动体检测装置100的结构的图。如图1所示，该移动体检测装置100具备图像输入部101、运动解析部102、区域分割部103、距离计算部104、测地距离变换部105、近似测地距离计算部106、区域提取部107、输出部108。并且，该移动体检测装置100通过进行确定运动图像中的移动体的全部或一部分区域的区域提取，来检测运动图像中的移动体。

图像输入部101是接受构成运动图像的在时间上不同的多张图像(图片)的输入的处理部，例如是视频摄像机、或与视频摄像机连接的通信接口等。

运动解析部102是按照构成图像输入部101接受的图片的由1个以上的像素构成的块、检测不同的两张(例如在时间上相邻的两张)图片间的图像的运动、将检测到运动对多张图片连接来计算移动轨迹的处理部。

区域分割部103是将由运动解析部102计算出的移动轨迹分割为多个部分集合、并且在分割出的多个部分集合中将一部分移动轨迹设定为共有点的处理部。这里，该区域分割部103以使至少一部分的移动轨迹在这些部分集合间重复或连接的方式设定共有点。即，在本实施方式中，区域分割部103在有关图像上的位置的空间上，将多个移动轨迹分割为多个部分集合。例如，以使与移动轨迹对应的图片上的块的位置接近的移动轨迹属于同一部分集合的方式，在有关图像上的位置的空间上将多个移动轨迹分割为多个部分集合。

距离计算部104是对于由区域分割部103分割后的多个部分集合中的每个部分集合、对该部分集合中包含的多个移动轨迹中的两个移动轨迹的组合计算表示该移动轨迹间的相似性的距离的处理部。这里，该距离计算部104为了捕捉在图像中移动的物体的形状变化，使用由运动解析部102计算出的部分集合中包含的块i的移动轨迹、和块i以外的该部分集合中包含的块的移动轨迹，计算表示块的运动的相似性的距离。例如，在将N个块的移动轨迹作为对象的情况下，计算的距离为由N×N个距离构成的距离矩阵。这里，通过计算用于对块的运动的相似性进行评价的距离，能够将块间的距离随着运动变化的移动体、特别是如关节物体那样一边形状发生变化一边移动的人物等的物体的运动表现为距离矩阵。另外，在以后的说明中，将块i的移动轨迹称作移动轨迹i。这样，本说明书中的“距离”不仅是2维空间中的两点间的距离，还包括多维的数据间的算术距离，是1个值或多个值的集合(距离矩阵)。

测地距离变换部105是对由距离计算部104计算出的各部分集合的距离矩阵进行测地距离变换的处理部。

近似测地距离计算部106是如以下的处理部：将由测地距离变换部105变换后的测地距离中的、利用共有点跨在上述部分集合的测地距离合并，从而进行计算近似测地距离的处理，由此计算对由运动解析部102计算出的多个移动轨迹中的两个移动轨迹的组合的近似测地距离。即，近似测地距离计算部106通过将测地距离变换部105计算出的各部分集合的测地距离矩阵合并，计算跨在部分集合间的近似测地距离。这里，计算出“近似”测地距离的理由是因为，关于跨在部分集合的测地距离，与使用属于这些部分集合的全部移动轨迹来计算测地距离的情况相比，使用被设定为共有点的移动轨迹概括性地计算测地距离。

区域提取部107是基于由近似测地距离计算部106计算出的距离、来确定由具有相似的移动轨迹的块构成的区域、从而进行区域提取的处理部，这里，通过进行将具有下述移动轨迹的块确定为一个区域的聚类，对由图像输入部101接受的运动图像提取至少一个区域，所述移动轨迹是相互离开了由近似测地距离计算部106合并后的测地距离中的、比一定的阈值小的测地距离的移动轨迹。更详细地讲，在本实施方式中，该区域提取部107根据由测地距离变换部105及近似测地距离计算部106使用由距离计算部104计算出的距离矩阵得到的跨在部分集合间的测地距离，检测移动轨迹间的距离的分布的不连续性，并基于不连续点将分别连续分布的移动轨迹聚类以使相互离开了比检测到的不连续点小的距离的移动轨迹成为一个群组，由此进行图像中的移动体的检测和图像的区域提取，结果进行图像中的移动体的检测和图像的区域提取。

输出部108是输出由区域提取部107进行的运动图像中的移动体的检测结果、或图像的区域提取结果的处理部、向存储器或硬盘等的写入部、显示装置等。

另外，构成该移动体检测装置100的各构成要素(图像输入部101、运动解析部102、区域分割部103、距离计算部104、测地距离变换部105、近似测地距离计算部106、区域提取部107、输出部108)既可以如图2所示由在具备CPU1005、RAM1007、ROM1006、用来与摄像机1001连接的通信接口1004、I/O端口(视频卡1009等)、硬盘1008、显示器1003等的计算机1002上执行的程序等的软件实现，也可以由电子电路等的硬件实现。即，关于本实施方式的构成要素中的、除了显示装置等的输入输出装置以外的构成要素，既可以由在计算机中执行的程序及数据(即软件)实现，也可以由电子电路、存储器及记录媒体等的硬件实现，也可以由它们的混合来实现。

在本发明由软件实现的情况下，当然是利用CPU、存储器及输入输出电路等的计算机的硬件资源来执行程序、从而实现本发明的功能要素。即，CPU从存储器或输入输出电路读出(取出)处理对象的数据并运算、或将运算结果暂时保存(输出)在存储器或输入输出电路中，来实现各种处理部的功能。

此外，在本发明由硬件实现的情况下，既可以由1个芯片的半导体集成电路实现，也可以将多个半导体芯片安装到一个电路基板上来实现，也可以作为在一个箱体中收纳有全部构成要素的一个装置实现，也可以通过由传输路径连接的多个装置的协同来实现。例如，也可以通过将本实施方式的存储部设置在服务器装置中、将本实施方式的处理部设置在与该服务器装置无线通信的客户端装置中，来将本发明以服务器·客户端方式实现。

以下，关于其他实施方式的移动体检测装置也是同样。

以下，作为本发明的移动体检测方法、即移动体检测装置100的动作，使用图3的流程图详细地说明对移动的移动体进行检测、并提取区域的例子。

首先，在步骤S201中，图像输入部101接受多张图片。

接着，在步骤S202中，运动解析部102根据至少两张图片计算块的运动。另外，这里作为计算块的运动的一例而计算像素的运动。以下，在本实施方式中，作为块单位的处理的一例，说明像素单位的处理。另外，在以由多个像素构成的块为单位进行处理的情况下，只要通过(i)将对应于像素的数据在块内合计、(ii)求出块内的平均值、或(iii)求出块内的中心值，来求出对应于块的数据(代表值)，并使用得到的代表值与像素单位的处理同样进行处理就可以。另外，在本说明书中，所谓“块的运动”及“像素的运动”，分别是指“图像的以块为单位的运动”及“图像的以像素为单位的运动”。

首先，说明通过光流场计算来计算像素的运动的例子。基于光流场计算的运动矢量的计算可以使用非专利文献4或非专利文献5中公开的方法。

非专利文献4：P.Anandan，“A Computational Framework and an Algorithm for the Measurement of Visual Motion”，International Journal of Computer Vision，Vol.2，pp.283-310，1989

非专利文献5：Vladimir Kolmogorov and Ramin Zabih，“Computing Visual Correspondence with Occlusions via Graph Cuts”，International Conferenceon Computer Vision，2001

例如，如果假设在步骤S201中输入了T张图片，则使用在时刻t和时刻t+1输入的图片，推测像素i的运动矢量(uⁱ _t，vⁱ _t)。这里，帧并不一定需要连续，例如也可以使用在时刻t和时刻t+n输入的图片求出像素的运动。其中，n是1以上的整数。进而，作为像素的运动，也可以代替上述2维运动矢量而推测仿射参数。此时，也可以对所有的像素求出运动信息。此外，在想要更高速地进行处理的情况下，既可以将图像划分为网格，仅对一定间隔的网格上的像素求出运动信息，也可以如上述那样将图像划分为块，按照每个块求出运动信息。进而，在使用非专利文献4中公开的方法计算运动矢量的情况下，能够计算其可靠度，所以也可以仅使用具有可靠度较高的运动信息的像素。此外，在使用非专利文献5中公开的方法计算运动矢量的情况下，能够推测遮挡。因此，也可以仅使用没有被遮蔽的像素的运动信息。

进而，作为计算像素的运动的方法，也可以代替上述的假设块的平移移动来计算运动矢量的方法，而使用假设块的仿射变形来计算运动矢量的方法。假设仿射变形而计算运动矢量的方法可以使用在以下的非专利文献6中公开的方法。

非专利文献6：Jianbo Shi and Carlo Tomasi，“Good Features to Track”，IEEE Conferenceon Computer Vision and Pattern Recognition，pp593-600，1994

上述方法推测相当于在时刻t和时刻t+1输入的图片的像素i附近的运动的仿射参数Aⁱ _t。关于像素i，时刻t和时刻t+1的图片上的像素位置xⁱ _t和xⁱ _t+1存在以下的关系。

[数式1]

${x_{t+1}}^i={A_t}^i{x_t}^i$ (式1)

上述方法特别对于进行旋转运动的物体，能够与使用假设平移移动来计算运动矢量的方法的情况相比更高精度地推测像素i的运动。

接着，在步骤S203中，运动解析部102使用在步骤S202中计算出的运动信息，对在时间上不同的多张图片，根据上述像素的运动计算移动轨迹i。以下，将像素i的移动轨迹称作移动轨迹i。如图4所示，使用步骤S202中根据时刻t的输入图像301的像素i303计算出的运动信息302，追踪像素i的运动。此时，使用像素i通过的时刻t的图片上的像素位置(xⁱ _t，yⁱ _t)，如以下这样计算移动轨迹i(这里是xⁱ)。

[数式2]

$x^i=(x_1^i,y_1^i,...,x_t^i,y_t^i,...,x_T^i,y_T^i)$ (式2)

这里，T是在移动轨迹的计算中使用的图片的张数。进而，在式2中，对于没有运动的移动轨迹、或运动较小的移动轨迹，也可以不进行以下的处理。

接着，在步骤S204中，区域分割部103如图5所示将有关图像401的位置的空间分割为P个作为部分集合402的区域。这里，部分集合402也是与分割后的图像区域(图像上的位置)对应的移动轨迹的集合。此时，以使部分集合彼此具有共通点(在逻辑上属于两个部分集合的移动轨迹)的方式设定部分集合、或者设定共通点。具体而言，在部分集合402的设定中，既可以如图5(a)及图5(b)所示，设定为在有关图像401的位置的空间中一部分重复、将与属于重复区域的图像区域(图像上的位置)对应的移动轨迹设定为共有点，也可以如图5(c)所示，将与在部分集合的边界上接近的图像上的位置对应的移动轨迹设定为共有点403，也可以如图5(d)所示，在空间上高密度地设定部分集合，将共有点403在空间上稀疏地设定。进而，这里在分割为部分集合时，不一定需要如图5所示以长方形进行，也可以是正方形或横长的长方形，也可以是圆或椭圆、多边形。此外，优选设定为通过多个部分集合包含图像整体。例如，在如不能事前预测想要提取的被摄体的形状或运动的情况下，或如发生摄像机的上下方向变化那样的旋转的情况下，通过如图5(a)、图5(c)、图5(d)所示那样设为正方形，具有不易受到被摄体或摄像机的旋转带来的影响的效果。此外，特别在想要提取人物等在纵向上较长的被摄体的情况下，通过设为图5(b)所示那样的纵长的长方形，能够更正确地提取人物的形状。进而，同样，在狗等的动物的情况下，优选的是反映其形状而设为横长的长方形。并且，在想要进一步减少计算量的情况下，通过如图5(c)所示那样代替重复区域而将边界上邻接的移动轨迹设定为共有点，来减少重复，从而具有能够进一步削减计算量的效果。进而，为了反映透视的效果而使图像上部的部分集合的大小比图像下部的部分集合小，从而在如图像下部的被摄体较大、而图像上部的被摄体较小的情况下，也具有能够实现更高精度的提取的效果。当然，也可以不是正方形，通过用梯形进行部分集合的分割也能够实现使图像上部的部分集合较小的效果。此外，关于各部分集合的数量及尺寸在后面叙述。

这里，对应于图像区域(图像上的位置)的移动轨迹，是通过基于分割后的图像区域的图像上的位置、将移动轨迹i分割为部分集合而得到的，例如，在图像上的位置(xⁱ ₁，yⁱ ₁)属于部分集合p的情况下，将在时刻1通过图像上的位置(xⁱ ₁，yⁱ ₁)的上述式2所示的移动轨迹i分配给部分集合p。进而，在一定的时刻t的图像上的位置(xⁱ _t，yⁱ _t)属于部分集合p的情况下，也可以将通过了(xⁱ _t，yⁱ _t)的移动轨迹i分配给部分集合p。进而，也可以通过对上述式2的移动轨迹i计算时间平均来计算移动轨迹的图像上的时间平均位置：

[数式3]

$(\stackrel{\‾}{x^i},\stackrel{\‾}{y^i})$

并对该时间平均位置所述的部分集合p分配移动轨迹i。共有点也同样是对应于图像区域(图像上的位置)的移动轨迹。像这样，通过分别基于图像区域(图像上的位置)分割为P个、根据其结果将各个移动轨迹分配给部分集合p，各个移动轨迹被分割为多个部分集合。

接着，在步骤S205中，距离计算部104按照在步骤S204中分割的部分集合p，使用属于部分集合p的移动轨迹i，计算包括像素的运动的相似性的距离矩阵。表示移动轨迹i与移动轨迹j的相似性的线性距离f_p(i，j)可以通过以下的式3～式13计算。另外，由式3～式13代表的距离也可以包含非线性函数，但为了与通过后述的非线性变换和搜索路径的方法来计算的测地距离区分而称作线性距离。这里，假设移动轨迹i和移动轨迹j都属于相同的部分集合p，对个各个部分集合p进行以下的计算。

[数式4]

f_p(i，j)＝ptn_ij+w·mtn_ij    (式3)

这里，w是权重系数，是设计者设定的参数。进而，也可以代替式3而如下式这样进行线性距离f_p(i，j)的定义。

[数式5]

$f_p(i,j)=1.0-\exp (-\frac{w\·{\mathrm{mtn}}_{\mathrm{ij}}}{{\mathrm{ptn}}_{\mathrm{ij}}})$ (式4)

此外，ptn_ij、mtn_ij分别是移动轨迹间距离的时间平均值、移动轨迹间距离的时间变动成分，关于其定义在以下表示。

[数式6]

${\mathrm{ptn}}_{\mathrm{ij}}=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ (式5)

[数式7]

${\mathrm{mtn}}_{\mathrm{ij}}=\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-{\mathrm{ptn}}_{\mathrm{ij}})}^2}$ (式6)

这里，

[数式8]

$d_{\mathrm{ij}}^i=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$ (式7)

如上所述，如式3所示，除了式5所示的移动轨迹间距离的时间平均值以外，还将式6所示的移动轨迹间距离的时间变动成分作为上述线性距离f_p(i，j)的要素。特别是，式6所示的移动轨迹间距离的变动成分表示像素的运动的相似性，由此，不仅能够捕捉像素间形成的距离的关系在时间上不变化的刚体，还能够捕捉关节物体等的形状变化。此外，通过代替式6而使用式8到式13那样的时间变动成分，能够期待同样的效果。

[数式9]

${\mathrm{mtn}}_{\mathrm{ij}}=\frac{1}{(T-1)}\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}(1-\cos {\mathrm{\θ}}_{\mathrm{ij}}^t)$ (式8)

这里，

[数式10]

$\cos {\mathrm{\&theta;}}_{\mathrm{ij}}^t=\frac{<u_i^t\&CenterDot;u_i^t>}{\left|u_i^t\right|\left|u_j^t\right|}$ (式9)

u^t _i是从时刻t向t+1的运动矢量(uⁱ _t，vⁱ _t)，＜u^t _i·u^t _i＞是内积。

此外，作为时间变动成分，也可以使用以下这样的计算。

[数式11]

${\mathrm{mtn}}_{\mathrm{ij}}=\mathrm{mtn}\_\max -\frac{1}{(T-1)}\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}<u_i^t\&CenterDot;u_i^t>$ (式10)

这里，

[数式12]

$\mathrm{mtn}\_\max =\underset{i}{\max }(\frac{1}{(T-1)}\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}<u_i^t\&CenterDot;u_i^t>)$ (式11)

[数式13]

${\mathrm{mtn}}_{\mathrm{ij}}=\frac{1}{(T-1)}\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}\sqrt{{(u_i^t-u_j^t)}^2+{(v_i^t-v_j^t)}^2}$ (式12)

这里，

[数式14]

$u_i^t=(u_i^t,u_j^t)$ (式13)

接着，在步骤S206中，测地距离变换部105对于在上述式3或上述式4中计算出的部分集合p的线性距离f_p(i，j)，使用阈值R如以下这样进行非线性化处理，计算f′_p(i，j)。

[数式15]

${f^{\&prime;}}_p(i,j)=\left\{\begin{array}{ccccc}{f}_p(i,j)& \mathrm{if}& i& \mathrm{is}& R-\mathrm{NearestNeighbor}\\ \&infin;& & \mathrm{otherwise}& & \end{array}\right.$ (式14)

在着眼于移动轨迹i时，按与移动轨迹i的线性距离f_p(i，j)从小到大的顺序选择R个移动轨迹j，不变更与所选择的移动轨迹j的距离，而将与没有被选择的移动轨迹j的距离变更为无限大。另外，这里按线性距离从小到大的顺序进行了选择，但也可以如下式那样设定阈值R。

[数式16]

${f^{\&prime;}}_p(i,j)=\left\{\begin{array}{ccc}{f}_p(i,j)& \mathrm{if}& f_p(i,j)<R\\ \&infin;& & \mathrm{otherwise}\end{array}\right.$ (式15)

即，测地距离变换部105也可以对于由运动解析部102计算出的属于部分集合p的多个移动轨迹的每一个，按照距离从小到大的顺序选择预先设定的个数(R个)的移动轨迹，进行将与未被选择的移动轨迹的距离变更为无限大的非线性化后，将多个距离分别变换为测地距离，也可以对于由运动解析部102计算出的属于部分集合p的多个移动轨迹的每一个，选择距离为预先设定的阈值以下的移动轨迹，进行与未被选择的移动轨迹的距离变更为无限大的非线性化后，将多个距离分别变换为测地距离。

另外，关于距离的非线性化，并不限定于上述函数，只要是对有关移动轨迹i与移动轨迹j的距离进行非线性变换，怎样的函数都可以。

进而，也可以在对线性距离f_p(i，j)乘以如以下这样使用式16及式17计算出的权重来进行加权后，进行式14或式15的处理。

[数式17]

${\mathrm{wf}}_{\mathrm{ij}}^p=1.0-\exp (-z(\frac{1}{N_a}\underset{a\&Element;\mathrm{NN}}{\mathrm{\&Sigma;}}{f}_p(a,j)+\frac{1}{N_b}\underset{b\&Element;\mathrm{NN}}{\mathrm{\&Sigma;}}{f}_p(i,b)))$ (式16)

这里，NN表示对移动轨迹的附近点并且是属于同一个部分集合p的点进行处理，表示对移动轨迹a及b、使用离移动轨迹j及i分别处于一定距离以内的移动轨迹来计算，或者按距离从小到大的顺序使用N个移动轨迹进行计算。即，N_a、N_b分别是属于同一个部分集合p并且处于一定距离以内的移动轨迹的数量或上述N。另外，z由设计者设定。

此外，也可以代替式16而如下式那样使用方差。

[数式18]

${\mathrm{wf}}_{\mathrm{ij}}^p=1.0-\exp (-z(\frac{1}{N_a}\underset{a\&Element;\mathrm{NN}}{\mathrm{\&Sigma;}}{(f_p(a,j)-\stackrel{\&OverBar;}{f_p(a,j)})}^2+\frac{1}{N_b}\underset{b\&Element;\mathrm{NN}}{\mathrm{\&Sigma;}}{(f_p(i,b)-\stackrel{\&OverBar;}{f_p(i,b)})}^2))$ (式17)

这里，

[数式19]

$\stackrel{\&OverBar;}{f_p(a,j)}=\frac{1}{N_a}\underset{a\&Element;\mathrm{NN}}{\mathrm{\&Sigma;}}{f}_p(a,j)$ (式18)

[数式20]

$\stackrel{\&OverBar;}{f_p(i,b)}=\frac{1}{N_b}\underset{b\&Element;\mathrm{NN}}{\mathrm{\&Sigma;}}{f}_p(i,b)$ (式19)

关于NN，与式16的情况相同。

通过使用式16及式17的权重对f_p(i，j)进行变换，在与移动轨迹i及j相似的移动轨迹在空间上较密集的情况下(距离较近的移动轨迹的情况)，f_p(i，j)相对变小，此外，在空间上较稀疏的情况下(距离较远的移动轨迹的情况)，与较密集的情况相比f_p(i，j)相对变大。即，在将由距离计算部104计算出的距离变换为测地距离时，进行由区域分割部103分割的部分集合p内的多个移动轨迹的分布的密集度越大则测地距离越小的的加权后，进行向测地距离的变换。由此，能够进行考虑到像素的移动轨迹的分布的密集度的距离变换。

接着，使用非线性化的距离f′_p(i，j)，如下式那样计算测地距离g_p(i，j)。

[数式21]

g_p(i，j)＝min(f′_p(i，j)，f′_p(i，s)+f′_p(s，j))    (式20)

另外，min(x，y)是返回值x与值y中的较小者的函数。此外，s是移动轨迹s，是用来从移动轨迹i到达移动轨迹j的中继点。这里，f′_p(i，s)+f′_p(s，j)的中继点s并不限定于一点。另外，p对应于各个部分集合。该方法是称作Dijkstra法的最短路径搜索方法，在以下的非专利文献7中记载。像这样，测地距离变换部105通过将由距离计算部104计算出的距离中的、满足预先设定的条件的较小的距离连接，求出从由运动解析部102计算出的一个移动轨迹到另一个移动轨迹的最短路径，由此，将由距离计算部104计算出的距离分别变换为测地距离。

非专利文献7：E.W.Dijkstra，“A note on two problems in connexion with graphs”，Numerische Mathematik，pp.269-271，1959

这里，对于上述式14及式15所示的非线性化处理，使用图6(a)～图6(c)的概念图进行说明。这里，对式15进行说明，但如果进行其他非线性化处理也能够期待同样的效果。首先，图6(a)表示2维的数据分布。这里，各个数据点相当于上述式3或上述式4所示的移动轨迹i。在不进行上述式14到式17的非线性化处理的情况下，如图6(b)所示，数据点i与数据点j的距离比数据点i与数据点k的距离小。但是，如图6(c)所示，例如通过进行上述式15的处理及上述式17的处理，数据点i与数据点j的距离不是欧几里得距离，而是被称作测地距离的如箭头那样沿着数据点的距离。结果，与使用欧几里得距离的情况不同，数据点i与数据点j的距离变得比数据点i与数据点k的距离大。

这里，使用图7(a)及图7(b)的概念图说明这样的上述式14到式17所示的测地距离变换的意义。

这里，为了容易理解地说明线性距离f_p(i，j)与测地距离g_p(i，j)的差异，以如上述式5所示的时刻t的移动轨迹间距离为例。实际上，通过除了移动轨迹间距离以外还如上述式3所示那样作为像素的运动的相似性而使用移动轨迹间距离的变动成分，不仅能够捕捉关节物体等的形状，还能够捕捉到形状变化。图7(a)是不进行上述式14到式17的非线性化处理的情况的例子。例如，头部的像素i602与手指部的像素j603的距离为线性距离601所示的距离。另一方面，通过进行上述式14到式17那样的非线性处理，如果适当地设定了阈值R，则如图7(b)所示，头部的像素i602与手指部的像素j603的距离成为由通过像素k604到达像素j的箭头所示的作为线性和的距离(即测地距离)。因此，相对于通过线性距离601不能将人物那样的关节物体的关节相连的形状作为数据连续地表现，通过测地距离，能够将关节相连的形状作为距离表现连续性。另外，测地距离的计算方法并不限定于需要上述式14到式17的非线性处理的方法。此外，线性距离及测地距离中的距离处于与相似度相反的关系，当相似度较高时距离较小，当相似度较小时距离较大。因此，在代替上述距离而使用相似度的情况下，也可以将相似度的倒数使用为距离、或将从相似度的最大值以上的值减去相似度得到的值使用为距离，从而变换为距离以使其满足上述的相反的关系来使用。

接着，在步骤S207中，近似测地距离计算部106通过将各部分集合的测地距离矩阵g_p(i，j)合并，计算跨在部分集合的近似的测地距离。具体而言，使用在步骤S204中设定的共有点，如以下这样进行合并处理。

[数式22]

$g(i,h)=\underset{c}{\min }(g_p(i,c)+g_q(c,h))$ (式21)

这里，c是共有点，是属于部分集合p及部分集合q双方的移动轨迹。即，是在多个部分集合间重复的移动轨迹。另外，共有点并不一定属于两个部分集合，也可以属于3个以上的部分集合。此外，i和h是分别与属于不同的部分集合p及q的移动轨迹对应的索引。另外，共有点c并不如图5所示的例子那样限定于一点。

[数式23]

$\underset{c}{\min }$

是对至少1个以上的共有点c计算上述式21、在其中选择最小值的函数。这里，并不限定于部分集合p和q这两个的组，对上述式21如果使用多个共有点，来将测地距离相加以使其跨在各个部分集合，则能够计算跨越两个以上的部分集合间的测地距离。

进而，在如图5(c)所示将与在部分集合的边界上接近的图像上的位置对应的移动轨迹作为共有点403的情况、或如图5(d)所示具有在空间上稀疏地分布的共有点的情况下，只要计算对应于共有点c_i的移动轨迹与对应于共有点c_j的移动轨迹的线性距离f_c(c_i，c_j)、并如下述式22那样进行合并处理就可以。

[数式24]

$g(i,h)=\underset{c_i,c_j}{\min }(g_p(i,c_i)+f_c(c_i,c_j)+g_p(c_j,h))$ (式22)

这里，线性距离f_c(c_i、c_j)具有将共有点间连接的效果。另外，f_c(c_i，c_j)既可以对所有的共有点计算，也可以求出在空间上接近的至少1个以上的共有点间的距离。

[数式25]

$\underset{c_i,c_j}{\min }$

是对至少两个以上的共有点c_i、c_j计算上述式22、在其中选择最小值的函数。这里，并不限定于部分集合p与q这两个的组，对上述式22如果使用连接多个共有点间的线性距离，来将测地距离相加以使其跨在各个部分集合，则能够计算跨越两个以上的部分集合间的近似的测地距离。

像这样，使用共有点c分割为部分集合，并将进行了测地距离计算的g_p(i，j)使用共有点c来合并，计算跨在部分集合的近似的测地距离g(i，h)，由此能够高速地得到对步骤S203中计算出的所有的移动轨迹的测地距离g(i，j)。对于这样的方法带来的效果，使用图8进行说明。在图8中，以两个部分集合为例进行说明，但在本发明中，部分集合的数量是多少都可以。在步骤S204中，分割为不同的部分集合a和b，在步骤S205中，计算各个部分集合的测地距离(例如部分集合a内的测地距离704、部分集合b内的测地距离705)。并且，在步骤S207中，使用共有点703进行合并处理，从而例如如图8的对应于头部的点的移动轨迹i和对应于脚尖的点的移动轨迹j那样，能够得到跨在部分集合间的近似的测地距离g(i，j)。

这里，即使在步骤S204中将一个被摄体分割为两个以上的不同的部分集合，通过进行合并处理，也能够以与没有进行分割为部分集合的处理的情况同等的精度计算测地距离。

进而，与不分割为部分集合而进行测地距离计算的情况相比，能够以较少的计算量进行测地距离计算。具体而言，在上述非专利文献3中示出了如果设移动轨迹的数量为N，则测地距离计算所涉及的计算量为O(N²logN)，但本实施方式的测地距离计算及合并所涉及的计算量的概算如下式所示。

[数式26]

$O(M*\left({\left(\frac{N+C}{M}\right)}^2\right)\log \left(\frac{N+C}{M}\right)+C^2\log C)$ (式23)

这里，M是部分集合的数量，C是全部共有点的数量、即图5所示的各部分区域间的共有点的数量的合计。C²logC是在上述式21中测地距离的合并处理所涉及的计算量。例如，在将移动轨迹的数量N设为与VGA图像尺寸相同的640×480、进而将M设为10、将C设为N的10％时，计算量与没有分割为部分集合的情况相比约0.11倍。在已知图像尺寸或移动轨迹的数量的情况下，通过部分集合的数量M和共有点C的两个变量，能够估计计算量的削减量。在重视精度的情况下，优选将重复区域取较多。因此，可以增大全部共有点的数量C。进而，在重视计算量的情况下，可以增大部分集合的数量M，但如果考虑到精度，则全部共有点的数量C也需要一并增大，所以需要通过要处理的对象的形状及运动、还有与精度的平衡来决定。如上所述，通过使用共有点来将测地距离合并，能够高速地进行测地距离计算的处理。

接着，在步骤S208中，区域提取部107通过使用由近似测地距离计算部106合并的测地距离g(i，j)检测不连续点，来确定由具有相似的移动轨迹的块构成的区域，从而进行区域提取。这里，g(i，j)为无限大的移动轨迹i与移动轨迹j之间是不连续点。使用图9(a)～图9(c)说明对阈值R得到的测地距离的例子。这里，图9(a)表示移动轨迹a～h，图9(b)是表现图9(a)所示的移动轨迹a～h的多维空间的概念图。另外，将图9(a)所示的移动轨迹a～h的数量设为8条，但实际上也可以使用对应于各像素的移动轨迹，也可以使用以块为单位求出的移动轨迹。这里，图9(b)所示的多维空间中的1点(点a～点h)分别对应于上述式2所示的一个移动轨迹。即，不仅是在1张图片上的区域，而是在时间上不同的多张图片上追踪像素的结果。进而，在图9(b)所示的多维空间上，点与点的距离不是矢量间的欧几里得距离，而是对应于根据上述式20及式21计算出的测地距离(但是排除了无限大)。

对图9(c)所示的聚类的例子进行说明。这里，在图9(b)的多维空间中，在将上述式3或上述式4所示的移动轨迹a与移动轨迹b的距离设为f(a，b)时，是f(e，f)＞f(c，d)＞f(f，g)＞f(b，c)。这里，在将阈值设定为R的情况下，设仅有距离f(e，f)具有比阈值R大的值。在此情况下，即使通过上述式20求出测地距离，g_p(e，f)也为无限大。因此，通过上述式21或式22将测地距离合并的结果g(e，f)也为无限大。所以，区域提取部107将移动轨迹e与移动轨迹f之间判断为不连续点。结果，移动轨迹a到d与移动轨迹e的测地距离由于不通过不连续点，所以不取无限大的值，反之，移动轨迹f到h的各移动轨迹与移动轨迹a到e的各移动轨迹的测地距离由于通过不连续点g(e，f)，所以分别为无限大。这样，测地距离不为无限大的移动轨迹i与移动轨迹j的组为相同的群组，在无限大的情况下设为不同的群组。由此，如图9(c)，能够分离为θ₁、θ₂的两个群组。在图9(c)的移动轨迹a～h中，关于上半身的移动轨迹a～e属于群组θ₁，关于下半身的移动轨迹f～h属于群组θ₂。即，分离为群组的结果为直接进行区域提取的结果。

进而，如后所述，通过变更参数而进行上述步骤S201到S208的处理，也能够分别提取多个移动体。另外，在本说明书中，例如不使用没有运动的移动轨迹而进行区域提取的结果的各区域对应于各个移动体，所以各移动体的检测、和分别提取图像中的多个移动体区域的区域提取不需要特别区分。进而，在也使用没有运动的移动轨迹来进行区域提取的情况下，例如也可以将具有最大的大小的区域作为背景，将其以外作为移动体的检测结果，但根据进行区域提取的结果来检测移动体的方法并不限于此。

如上所述，根据本实施方式的移动体检测装置100，通过基于像素间的距离或移动轨迹的相似性进行聚类，将相似的移动轨迹集中而进行区域提取，所以距离较近且进行相似的运动的部位被识别为一个区域，作为在时间上追踪在运动图像中移动的物体的区域的结果，不论关节物体的姿势如何，都能够进行运动图像中的移动体或移动体的部位的检测、包括移动体的图像的区域提取。此外，不需要作为前处理而设定人物候补区域，进而，不需要预先保持或学习关于应提取的移动体的形状信息等的事前信息。此外，由于基于移动轨迹的相似性、使用阈值来进行聚类，所以不会有在图像中存在各种各样的大小的移动体的情况下、或在移动体的一部分隐藏的情况下尤其成为问题的人物候补区域的检测失误、由此引起的区域提取的失败。

此外，在按照每个部分集合计算测地距离后，通过使用共有点的测地距离的合并来计算跨越部分集合的测地距离，所以与不将移动轨迹分割为部分集合的情况相比，能够以更少的计算量计算对于全部的两个移动轨迹间的组合的测地距离，能够进行高速的移动体检测。

由此，对于包含一边形状变化一边移动的人物等的移动体的图像，也能够不受移动体的姿势或大小的影响而高速且正确地进行区域提取、即移动体检测。

(实施方式1的第1变形例)

接着，对本发明的实施方式1的第1变形例的移动体检测装置进行说明。

这里，说明通过与实施方式1不同的方法进行向部分集合的分割的例子。

这样的有关第1变形例的移动体检测装置与实施方式1相比，除了区域分割部103的处理以外是相同的结构，所以省略相同构成要素的说明。

与实施方式1不同的点是区域分割部103中的处理。在实施方式1中，如图5所示，将有关图像401的位置的空间分割为P个作为部分集合402的区域，但这里，在如上述式2所示的移动轨迹、即多维矢量的空间上分割为P个部分集合。即，在本变形例中，区域分割部103以使移动轨迹相似者属于同一个部分集合的方式，在表现移动轨迹(多维矢量)的多维矢量空间上将多个移动轨迹分割为多个部分集合。

这里，沿着图3所示的处理的流程图进行说明。首先，从步骤S201到S203与实施方式1相同，所以省略说明。

接着，在步骤S204中，区域分割部103如图10(a)～图10(c)所示在通过上述式2中计算出的移动轨迹、即多维矢量的空间上分割为部分集合。这里，图10(a)表示移动轨迹901，图10(b)是表现图10(a)所示的移动轨迹901的多维矢量空间的概念图。这里，表示移动轨迹的多维矢量(多维矢量空间中的一点)分别对应于上述式2所示的1个移动轨迹。即，图10(b)为不是仅在1张图片上的区域、而是在时间上不同的多张图片上追踪像素的结果。并且，如图10(c)的部分集合903所示，区域分割部103将多维矢量空间分割为多个部分区域。这里，部分集合903是在分割后的多维矢量空间中存在的点、即移动轨迹的集合。此时，黑圈是共有点904。在部分集合903的设定中，既可以设定为在多维矢量空间中一部分重复，并将属于重复区域的移动轨迹作为共有点，也可以与图5(c)中说明的同样，将在多维矢量空间的部分集合的边界上接近的移动轨迹作为共有点904，也可以将部分集合在空间上高密度地设定，将共有点904在空间上稀疏地设定。进而，这里在分割为部分集合时，并不一定需要以如图10(c)所示的长方体(实际上，由于是多维，所以是n维长方体)进行，也可以是超球或超椭圆、n维多面体等。此外，优选设定为通过多个部分集合包含所有的移动轨迹。

进而，对步骤S204中的其他方法进行说明。首先，对所有的移动轨迹如以下这样进行计算。

[数式27]

f(i，j)＝ptn_ij+w·mtn_ij    (式24)

这里，i及j是用式2计算出的所有的移动轨迹。关于ptn_ij和mtn_ii，在上述式5到式7中示出。接着，将由上述式24计算出的移动轨迹间距离矩阵f(i，j)捕捉为移动轨迹数个的行矢量。即，第i行的行矢量与移动轨迹i对应。并且，各个行矢量可以视为多维矢量。因此，移动轨迹间距离矩阵的行矢量在概念上可以表示为图10(b)所示的多维空间上的点。因此，与在上述实施方式说明的同样，可以使用如图10(c)所示的部分集合，在多维矢量空间上将移动轨迹分割为部分集合。

进而，在表现多维矢量的多维空间中，也可以使用移动轨迹、即上述的多维矢量进行PCA(Principal Component Analysis：主成分分析)。通过进行PCA，能够将多维矢量空间压缩成更低维。例如在压缩成2维的情况下，如图5所示，通过与在图像空间上分割为部分集合的处理同样的处理，能够在2维空间上将移动轨迹分割为部分集合。

关于步骤S206以后，只要进行与实施方式1同样的处理，所以省略说明。

由此，根据本第1变形例的移动体检测装置，通过基于像素间的距离或移动轨迹的相似性来进行聚类，从而将相似的移动轨迹集中而进行区域提取，所以距离较近且进行相似的运动的部位被识别为一个区域，作为在时间上追踪在运动图像中移动的物体的区域的结果，不论关节物体的姿势如何，都能够进行运动图像中的移动体或移动体的部位的检测、包含移动体的图像的区域提取。此外，不需要作为前处理而设定人物候补区域，进而，不需要预先保持或学习关于应提取的移动体的形状信息等的事前信息。此外，由于基于移动轨迹的相似性、使用阈值来进行聚类，所以没有在图像中存在各种各样的大小的移动体的情况下、或在移动体的一部分隐藏的情况下尤其成为问题的人物候补区域的检测失误、以及由此引起的区域提取的失败。

由此，对于包含一边形状变化一边移动的人物等的移动体的图像，也能够不受移动体的姿势或大小的影响而高速且正确地进行区域提取、即移动体检测。

(实施方式1的第2变形例)

接着，对本发明的实施方式1的第2变形例的移动体检测装置进行说明。

这里，说明以不同的方法进行区域提取部107的区域提取的例子。

这样的有关第2变形例的移动体检测装置与实施方式1相比，除了区域提取部107的处理以外是相同的结构，所以省略相同的构成要素的说明。

与实施方式1不同的点是区域提取部107，该区域提取部107将测地距离矩阵进行维度压缩，并在该维度压缩后的空间上将移动轨迹聚类，由此进行区域提取、即移动体的检测。

这里，沿着图11所示的处理的流程图进行说明。首先，步骤S201到S207与实施方式1相同，所以省略说明。

在步骤S1001中，由区域提取部107进行在步骤S207中计算出的测地距离矩阵的维度压缩。维度压缩可以通过在进行Young-Householder变换后求出Eigen system来实现。这是用来将分布在多维空间中的数据向低维空间高效率地射影的方法，对于输入数据的噪声(这里相当于在计算上述式2的移动轨迹时、运动信息中包含误差的情况)能够实现健全的数据的表现。

即，区域提取部107将非线性化的距离矩阵作为

[数式28]

G＝{g(i，j)}    (式25)

如以下这样对上述式25进行从两侧乘以中心化矩阵H的Young-Householder变换。这是针对距离矩阵是由点间距离构成的距离矩阵，为了变换为以重心为原点的距离矩阵而进行的。

[数式29]

$\mathrm{\&tau;}\left(G\right)=\frac{{\mathrm{HG}}^{\left(2\right)}H}{2}$ (式26)

其中，H是中心化矩阵，

[数式30]

H_ij＝(I-1/N)    (式27)

I是单位矩阵，N是上述式2所示的移动轨迹的数量。

此外，

[数式31]

G⁽²⁾＝{g(i，j)²}    (式28)

接着，区域提取部107为了进行维度压缩，计算对τ(G)的Q个固有矢量(eigen vector)e_q及与其对应的固有值(eigen value)λ_q。

由此，如果设

[数式32]

gⁱ＝(g(i，0)，g(i，1)，...，g(i，N))    (式29)

则将gⁱ射影到维度压缩后的空间上的结果是，能够作为数据zⁱ _q如以下这样表示。

[数式33]

$z_q^i=\sqrt{{\mathrm{\&lambda;}}_q}{e}_q^i$

另外，eⁱ _q是第q个固有矢量e_q的第i个要素。固有矢量的数量Q既可以根据所利用的场景通过实验决定，也可以如以下这样根据固有值λ_q计算贡献率a_q，并基于贡献率a_q来决定。

[数式34]

$a_Q=\frac{\underset{q=1}{\overset{Q}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_q}{\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_q}$ (式31)

Q是利用的固有矢量的数量、即压缩后的空间的维数。N是全部固有矢量的数量。所以，只要将贡献率a_Q为一定值以上时的Q作为固有矢量的数量就可以。

如上所述，能够将在上述式2中表示的移动轨迹i与由固有矢量e_q展开的以非线性维度压缩后的空间上的数据zⁱ _q建立对应。

在图12中表示将以人物的步行图像为输入时的移动轨迹i射影到以非线性维度压缩后的空间中的结果。横轴、纵轴分别是固有矢量e₁、e₂。射影到2维上的点(zⁱ ₁，zⁱ ₂)是将gⁱ射影的点。这里，由于压缩空间上的数据zⁱ _q与图像上的像素i的时间上的移动轨迹xⁱ存在一对一的对应关系，所以能够捕捉为点(zⁱ ₁，zⁱ ₂)与移动轨迹i对应。另外，这里为了将结果可视化而将压缩空间的维数设为2维，但并不一定需要是2维，维数越高越能够以更高的精度将数据射影。

接着，在步骤S1002中，区域提取部107对于在步骤S1001中射影到如图12所示的压缩后的空间中的数据进行聚类，从而进行移动体的检测和区域提取。

首先，将段区域如以下这样表现。这里，所谓段区域是被提取的区域，即与移动体的检测结果一致。

[数式35]

θ＝{θ₁，...θ_m...θ_M}    (式32)

这里，M是段区域数，对应于利用的场景根据经验决定。但是，与上述式23中的M不同。

各个段区域θ_m通过参数

[数式36]

$\stackrel{\&OverBar;}{z_m},Z_m$

表现。这里，

[数式37]

$\stackrel{\&OverBar;}{z_m}$

是属于压缩空间的段区域θ_m中的数据的坐标值的平均值，Z_m是与属于段区域θ_m中的数据的坐标值有关的协方差矩阵。

[数式38]

$\stackrel{\&OverBar;}{z_m}$

的初始值既可以随机决定，也可以将压缩的空间用网格等间隔地分割等，将其交点的坐标值作为初始值。

另外，

[数式39]

$\stackrel{\&OverBar;}{z_m},Z_m$

可以如以下这样表示。

[数式40]

$\stackrel{\&OverBar;}{z_m}=\left[\begin{array}{c}\stackrel{\&OverBar;}{z_1^m}\\ .\\ .\\ .\\ \stackrel{\&OverBar;}{z_P^m}\end{array}\right]$ (式33)

[数式41]

$Z_m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}\left[\begin{array}{c}{z}_1^{c_m}-\stackrel{\&OverBar;}{z_1^m}\\ .\\ .\\ .\\ z_P^{c_m}-\stackrel{\&OverBar;}{z_P^m}\end{array}\right]\left[\begin{array}{ccc}{z}_1^{c_m}-\stackrel{\&OverBar;}{z_1^m}& ...& z_P^{c_m}-\stackrel{\&OverBar;}{z_P^m}\end{array}\right]$ (式34)

这里，C_m是在压缩的空间上属于段区域θ_m的数据数。

以下，对具体的计算方法进行说明。首先，区域提取部107使用下式的距离函数，求出压缩的空间上的数据z_i所属的段区域θ_m。

[数式42]

(式35)

这里，ψ_m(z_i)表示与移动轨迹i对应的压缩空间上的数据z_i与各个段区域θ_m的距离。各数据属于ψ_m(z_i)取最小值的段区域θ_m。另外，是马氏(Mahalanobis)距离，是

[数式43]

(式36)

此外，也可以将

作为ψ_m(z_i)的代替而使用。

进而，p(ω_m)也可以是一定值，在进行人物等决定的移动体的分割(segmentation)的情况下，也可以基于人物部位的形状或面积比等而预先设定。ω_m是对段区域θ_m的权重系数。

接着，区域提取部107根据上述式35的计算结果，使用属于段区域θ_m的数据z_i如以下这样对区域θ_m的参数

[数式44]

$\stackrel{\&OverBar;}{z_m},Z_m$

进行更新。

[数式45]

$\stackrel{\&OverBar;}{z_m}=\frac{\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{c_m}{z}_{c_m}}{\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{c_m}}$ (式37)

[数式46]

$Z_m=\frac{\underset{c_{\mathrm{mk}}=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{{\mathrm{\&omega;}}_{c_m}}^2(z_{c_m}-\stackrel{\&OverBar;}{z_m}){(z_{c_m}-\stackrel{\&OverBar;}{z_m})}^t}{\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{{\mathrm{\&omega;}}_{c_m}}^2}$ (式38)

这里，

[数式47]

$Z_{c_m}$

是属于段区域θ_m的压缩的空间上的数据。此外，既可以设为ω＝1，也可以根据相对于输入数据的平均值的偏差状况来调整。这样，区域提取部107通过将上述式35到式38的距离计算及参数更新重复规定次数，能够得到压缩空间上的各数据所属的段区域θ_m。另外，除了上述以外，也可以使用k-mean、竞争式学习等其他聚类方法。

在图13(a)及图13(b)中表示以人物的步行图像为输入的情况下设为M＝9而将压缩空间上的数据分割的例子。对于压缩空间上的段区域θ₁到θ₉，观察图像上的对应，则段区域θ₁对应于人物的头部、段区域θ₂对应于躯干上部、段区域θ₃对应于手臂、段区域θ₄对应于躯干下部、段区域θ₅及θ₇对应于大腿部、段区域θ₆及θ₈对应于下腿部。另外，段区域θ₉主要对应于背景的一部分。

这里，如图13(b)的箭头所示，与压缩空间上的段区域对应的不仅是1张图像上的区域，而是在时间上连续的多张图像上追踪像素的结果。即，通过在压缩的空间上进行分割，作为在时间上追踪了在图像中移动的物体的区域的结果，能够检测图像中的移动体(移动体的部位)，提取包含被摄体的图像。

进而，也可以通过用与上述的说明相同的方法变更参数，来检测多个移动体。具体而言，使用上述式14或上述式15，将阈值R设定为比以部位的分割为目的时大的值。

在图14中表示以一个人物步行、1台自行车行驶的图像为输入的情况下，射影到被压缩的压缩空间中，并设为M＝2而进行分割的结果的一例。对被压缩的空间上的段区域θ₁和θ₂的图像上的对应进行说明。段区域θ₁在图像上对应于自行车的运动，段区域θ₂在图像上对应于人物的步行。如上所述，通过在压缩成低维的空间上进行分割，能够简单且稳定地将自行车的运动与人物的运动分开而检测出(即区域提取)。

另外，这里没有将如上述式2所示的、关于没有运动的像素的移动轨迹作为输入来使用，所以仅有移动中的物体即步行者和自行车这两者被射影到压缩空间上。当然，也可以将没有运动的移动轨迹作为输入来使用。这里，与实施方式1同样，与压缩的空间上的段区域对应的不仅是1张图像上的区域，而是在时间上连续的多张图像上追踪像素的结果。即，通过在压缩空间上进行分割，作为在时间上追踪移动体的区域的结果，能够检测各个移动体。

由此，根据本第2变形例的移动体检测装置，基于像素间的距离或移动轨迹的相似性进行维度压缩后进行聚类，由此对于运动检测失误等的噪声，将将健全且相似的移动轨迹集中而进行区域提取，所以距离较近且进行相似的运动的部位被识别为一个区域，作为在时间上追踪在运动图像中移动的物体的区域的结果，不论关节物体的姿势如何，都能够进行运动图像中的移动体或移动体的部位的检测、包含移动体的图像的区域提取。此外，不需要作为前处理而设定人物候补区域，进而，不需要预先保持或学习关于应提取的移动体的形状信息等的事前信息。此外，不会有在移动体的一部分隐藏的情况下尤其成为问题的人物候补区域的检测失误、以及由此引起的区域提取的失败。

由此，对于包含一边形状发生变化一边移动的人物等的移动体的图像，也能够不受移动体的姿势或大小的影响而高速且正确地进行区域提取、即移动体检测。

(实施方式1的第3变形例)

接着，对本发明的实施方式1的第3变形例的移动体检测装置进行说明。

这里，说明对实施方式1中说明的区域提取设置多个判断基准、生成区域提取的候补、从该候补之中选择最接近于预先设定的移动体的数量的候补、从而进行区域提取的例子。

图15是表示实施方式1的第3变形例的移动体检测装置100a的结构的图。如图15所示，该移动体检测装置100a具备图像输入部101、运动解析部102、区域分割部103、距离计算部104、测地距离变换部105a、近似测地距离计算部106a、区域提取部107a及输出部108。区域提取部107a具有区域提取候补生成部1401和区域提取候补选择部1402。并且，该移动体检测装置100a进行确定运动图像中的移动体的全部或一部分区域的区域提取，从而检测运动图像中的移动体。

首先，由于图像输入部101、运动解析部102、区域分割部103、距离计算部104与实施方式1相同，所以省略说明。

测地距离变换部105a是对由距离计算部104计算出的各部分集合的距离矩阵生成多个判断基准，对于所生成的多个判断基准中的每一个判断基准，使用该判断基准进行测地距离变换，从而生成对应于多个判断基准各自的测地距离的处理部。

近似测地距离计算部106a是按照上述多个判断基准中的每一个判断基准，将由测地距离变换部计算出的各部分集合的测地距离矩阵合并，从而计算跨在部分集合间的近似的测地距离的处理部。

区域提取候补生成部1401是根据由近似测地距离计算部106a对多个判断基准分别合并的测地距离矩阵，将由运动解析部102计算出的多个移动轨迹进行聚类，从而进行区域提取并生成该区域提取的结果作为区域提取候补的处理部。具体而言，该区域提取候补生成部1401通过阈值检测移动轨迹间的距离的分布的不连续点，并将连续分布的移动轨迹进行聚类以使离开比检测到的不连续点小的测地距离的移动轨迹成为一个群组，从而生成对上述多个阈值各自的区域提取的候补。

区域提取候补选择部1402是参照预先设定的数值、或接受来自用户等的外部的指示，从而取得关于分组数的指示，从由区域提取候补生成部1401生成的多个区域提取候补中选择被分割为与所取得的分组数接近的个数的区域的区域提取候补，将所选择的区域提取候补作为根据运动解析部102所计算出的移动轨迹进行了区域提取的结果来输出的处理部。具体而言，该区域提取候补选择部1402从由区域提取候补生成部1401生成的、对多个阈值各自的区域提取的候补中选择最接近于被指示的分组数的区域提取结果。即，选择基于与被指示的分组数相应的阈值的区域提取结果。

输出部108与实施方式1同样。由此，能够得到最终的移动体的检测和区域提取结果。

以下，作为本第3变形例的发明的移动体检测方法、即移动体检测装置100a的动作，使用图16的流程图详细说明将移动的移动体进行检测、并提取区域的例子。步骤S201到S205与实施方式1同样，所以省略说明。

在步骤S206a中，测地距离变换部105a对通过上述式3或上述式4计算出的部分集合p的线性距离f_p(i，j)，生成K个阈值R_k作为多个判断基准，使用这些K个阈值R_k，对各个阈值如以下这样进行非线性化处理，计算f′^k _p(i，j)。

[数式48]

${f^{\&prime;}}_p^k(i,j)=\left\{\begin{array}{ccccc}{f}_p(i,j)& \mathrm{if}& i& \mathrm{is}& R_k-\mathrm{NearestNeighbor}\\ \&infin;& & \mathrm{otherwise}& & \end{array}\right.$ (式39)

当着眼于移动轨迹i时，按与移动轨迹i的线性距离从小到大的顺序选择R_k个移动轨迹j，不变更与所选择的移动轨迹j的距离，将与没有被选择的移动轨迹j的距离变更为无限大。另外，这里按线性距离从小到大的顺序进行了选择，但也可以如下式这样设定阈值R_k。

[数式49]

${f^{\&prime;}}_p^k(i,j)=\left\{\begin{array}{ccc}{f}_p(i,j)& \mathrm{if}& f_p(i,j)<R_k\\ \&infin;& & \mathrm{otherwise}\end{array}\right.$ (式40)

即，测地距离变换部105a对于由距离计算部104计算出的对属于部分集合p的多个移动轨迹各自的线性距离矩阵，既可以分别使用K个阈值R_k，按距离从小到大的顺序选择预先设定的个数的移动轨迹，进行将与没有被选择的移动轨迹的距离变更为无限大的非线性化后，将多个距离分别变换为测地距离，也可以选择距离为预先设定的阈值以下的移动轨迹，进行将与没有被选择的移动轨迹的距离变更为无限大的非线性化后，将多个距离分别变换为测地距离。

另外，关于距离的非线性化，并不限定于上述函数，只要对有关移动轨迹i与移动轨迹j的距离进行非线性变换，则任何函数都可以。

进而，对于线性距离f_p(i，j)，也可以如在实施方式1中说明的那样，在乘以使用上述式17及上述式18计算出的权重来进行加权后进行上述式39或上述式40的处理。

接着，使用非线性化后的距离f′_k(i，j)，如下式这样计算测地距离。

[数式50]

$g_p^k(i,j)=\min ({f^{\&prime;}}_p^k(i,j),{f^{\&prime;}}_p^k(i,s)+{f^{\&prime;}}_p^k(s,j))$ (式41)

另外，min(x，y)是返回值x与值y中的较小者的函数。此外，s是移动轨迹s，是用来从移动轨迹i到达移动轨迹j的中继点。这里，f′^k _p(i，s)+f′^k _p(s，j)的中继点s并不限于一点。另外，p对应于部分集合，k对应于多个阈值R_k。

接着，在步骤S207a中，近似测地距离计算部106a按照每个阈值R_k将各部分集合p的测地距离矩阵g^k _p(i，j)合并，从而计算跨在部分集合的近似的测地距离。具体而言，使用在步骤S204中设定的共有点，如以下这样进行合并处理。

[数式51]

$g^k(i,h)=\underset{c}{\min }(g_p^k(i,c)+g_p^k(c,h))$ (式42)

这里，c是共有点，是属于部分集合p及部分集合q这两者的移动轨迹。即，是在多个部分集合间重复的移动轨迹。另外，共有点并不一定是属于两个部分集合，也可以属于3个以上的部分集合。此外，i和h是分别属于不同的部分集合p及q的移动轨迹。另外，共有点c并不如图5所示的例子那样限定于一点。

[数式52]

$\underset{c}{\min }$

是对至少1个以上的共有点c计算上述式42、在其中选择最小值的函数。这里，并不限定于部分集合p和q这两个的组，也可以计算跨在两个以上的部分集合间的测地距离。当然，也可以如上述式22所示，对各阈值分别进行将共有点间连接的计算。

接着，在步骤S208a中，区域提取候补生成部1401使用与各个阈值R_k对应的合并后的测地距离矩阵g^k(i，j)检测不连续点，从而进行聚类。这里，g^k(i，j)为无限大的移动轨迹i与移动轨迹j之间是不连续点。使用图17(a)～图17(e)说明对多个阈值R_k得到的测地距离变换的结果的例子。这里，图17(a)表示移动轨迹a～h，图17(b)是表现图17(a)所示的移动轨迹a～h的多维空间的概念图。另外，设移动轨迹的数量为8条(移动轨迹a～h)，但实际上也可以使用对应于各像素的移动轨迹，也可以使用以块为单位求出的移动轨迹。这里，图17(b)所示的表现移动轨迹的多维空间中的一点分别对应于式2所示的一个移动轨迹。即，不仅是在1张图片上的区域，而是在时间上不同的多张图片上追踪像素的结果。进而，在多维空间上，点与点的距离不是矢量间的欧几里得距离，而是对应于测地距离。

在阈值R_k是充分大的值的情况下，例如在阈值R_k比f_p(i，j)的最大值大时，如图17(c)所示，测地距离g^k(i，j)在所有的i、j的组合中都不为无限大。即，一个不连续点都没有，所以能够判断为群组为1个。另一方面，在阈值R_k充分小的情况下，具体而言，在阈值R_k比f_p(i，j)的最小值小的情况下，在所有的i、j的组合中g^k _p(i，j)都为无限大。即，群组数量成为与移动轨迹的数量相同数量。这里，有效的是将阈值R_k设定为f_p(i，j)的最大值与最小值之间的值并分别进行聚类。对图17(d)所示的聚类的例子进行说明。这里，在将阈值设定为R₁的情况下，在近似测地距离计算步骤(S207a)中求出的测地距离g¹(e，f)为无限大。所以，将移动轨迹e与移动轨迹f之间判断为不连续点。结果，移动轨迹a到d与移动轨迹e的测地距离由于不通过不连续点，所以不取无限大的值，相反，移动轨迹f到h的各移动轨迹与移动轨迹a到e的各移动轨迹的测地距离由于通过不连续点g¹(e，f)，所以分别为无限大。像这样，测地距离不为无限大的移动轨迹i与移动轨迹j的组设为相同的群组，在为无限大的情况下设为不同的群组。由此，如图17(d)所示，能够分离为θ₁、θ₂的两个群组。进而，如图17(e)所示，在将阈值设为R₂(其中，R₁＞R₂)的情况下，假设由近似测地距离计算步骤(S207a)计算出的无限大的测地距离是g²(c，d)、g²(e，f)、g²(f，g)。在此情况下，判断为移动轨迹c与移动轨迹d之间、移动轨迹e与移动轨迹f之间、移动轨迹f与移动轨迹g之间分别是不连续点，与图17(d)所示的聚类的情况同样，整理出测地距离为无限大的组和不为无限大的组，分离为θ₁、θ₂、θ₃、θ₄共4个群组。通过以上的处理，将测地距离不为无限大的移动轨迹的组设为连续，从而能够判断为相同的群组，并且将测地距离不为无限大的移动轨迹的组设为不连续，从而能够基于不连续点将群组分离。

即，区域提取候补生成部1401也可以对由运动解析部102计算出的多个移动轨迹，分别确定与该移动轨迹的距离第N个小的距离，并生成从所确定的多个距离按照从大到小的顺序选择的多个值，作为用来生成多个区域提取候补的多个阈值。

接着，在步骤S1501中，区域提取候补选择部1402从步骤S208a中进行的多个聚类结果中，选择成为与预先设定的分组数(或从外部指示的分组数)最接近的群组数的聚类结果。如果用图17(a)～图17(e)所示的例子说明，则在设定为分组数M＝4的情况下，选择阈值R₂时的聚类结果(图17(e))。此外，在设定为分组数M＝2的情况下，选择阈值R₁时的聚类结果(图17(d))，由输出部108将对各移动轨迹添加了标签后的结果输出。

另外，在本第3变形例中，通过对移动轨迹计算上述式3或上述式4那样的距离，能够进行考虑到像素的位置和运动的相似性的区域提取。因此，在图17所示的聚类的例子中，在设定为分组数M＝2的情况下，反映出下半身的运动与上半身的运动大为不同而能够将上半身和下半身作为不同的群组进行区域提取，在设定为分组数M＝4的情况下，除了M＝2的情况以外，还反映出头部的运动与手臂的运动的差异、上腿与下腿的运动的差异，能够将头部、手臂、上腿、下腿作为不同的群组进行区域提取。另外，这里，阈值的数量并不限定于两个，准备多少种都可以。此外，在没有与设定的分组数相同数量的聚类结果的情况下，既可以选择群组数最接近的聚类结果，也可以从比设定的分组数小的分组数之中选择群组数最接近的的聚类结果，同样，也可以从比设定的分组数大的分组数之中选择群组数最接近的的聚类结果。进而，通过设定多个分组数并进行处理，如图17(d)及图17(e)所示的聚类例那样，在图17(d)中被提取为上半身的区域在图17(e)中能够被提取为头部、手臂。即，也能够进行分层性的区域提取。由此，具有还能够进行反映了被摄体的构造的区域提取的效果，所以例如在解析运动的动作或步行的情况下，根据分组数，能够同时进行从详细的部分的分析、到例如区域重心的移动、或仅上半身的运动分析等的较粗略的被摄体的运动分析。

进而，本方法通过同样的方法，不仅能够进行一个移动体的身体部分的检测、区域提取，而且在存在多人的场景中，也能够检测各个移动体，并进行区域提取。

这样，对多个阈值，基于使用测地距离计算出的不连续点来进行聚类，并选择与规定的分组数最接近的聚类结果，结果能够进行检测及区域提取。

通过如以上这样，根据本第3变形例的移动体检测装置100a，通过基于像素间的距离或移动轨迹的相似性进行聚类，来将相似的移动轨迹集中而进行区域提取，因此距离较近且进行相似的运动的部位被识别为一个区域，作为在时间上追踪在运动图像中移动的物体的区域的结果，不论关节物体的姿势如何，都能够进行运动图像中的移动体或移动体的部位的检测、包含移动体的图像的区域提取。此外，不需要作为前处理而设定人物候补区域，进而，不需要预先保持或学习关于应提取的移动体的形状信息等的事前信息。此外，由于基于移动轨迹的相似性、使用多个阈值来进行聚类，所以不会有在图像中存在各种各样的大小的移动体的情况下、或移动体的一部分隐藏的情况下尤其成为问题的人物候补区域的检测失误、以及由此引起的区域提取的失败。

如以上这样，对于包含一边形状发生变化一边移动的人物等的移动体的图像，也能够不受移动体的姿势或大小的影响而高速且正确地进行区域提取、即移动体检测。

(实施方式1的第4变形例)

接着，对本发明的实施方式1的第4变形例的移动体检测装置进行说明。这里，说明附加了如下功能的例子，即：将在实施方式1中检测移动体、及将部位进行区域提取后的结果作为图像进行显示。这样的有关第4变形例的移动体检测装置100b如图18所示的结构图那样，基本上具备与实施方式1相同的结构，但代替实施方式1的输出部108，具备具有图像显示部1701的输出部108a，通过该特征，能够将由区域提取部107提取的区域作为图像显示在监视器等上。

输出部108a除了具有实施方式1的输出部108的功能以外，还具有图像显示部1701。该图像显示部1701是将由区域提取部107得到的区域提取的结果重叠在由图像输入部101接受的运动图像(图片)上而显示的处理部，例如由LCD等的显示器及其显示控制部构成。图19(a)及图19(b)是表示图像显示部1701的显示例的图。这里，在图19(a)中表示第3变形例中提取的结果、即设为M＝3来将移动体分别进行区域提取的例子，在图19(b)中表示设为M＝8来进行1个移动体的区域提取的例子。像这样，将与区域θ_m对应的图像上的区域进行颜色区分等来显示在监视器等上，以使得能够分别区别被提取的区域。既可以如图19(a)那样按照移动体进行颜色区分来显示，也可以如图19(b)那样按照部位分别显示。即，由图19可知，有关本变形例的移动体检测装置100b既可以通过上述的区域提取来检测多个移动体(图19(a))，也可以检测构成一个移动体的多个部分，即也能够对一个移动体提取区域(图19(b))。

这里，上述式2所示的移动轨迹i除了孤立的(outlier)以外对应于区域θ_m的某个。因此，只要基于属于区域θ_m的移动轨迹i选择图片上的像素，并基于区域标签m进行颜色区分等，则能够容易地将所提取的区域显示在图像上。由此，根据本第4变形例的移动体检测装置100b，除了在实施方式1中说明的、对于包含一边形状发生变化一边移动的人物等的运动图像也能够正确地进行区域提取的效果以外，还具有通过将所提取的区域显示在运动图像上、使得用户容易区别各个移动体或移动体的部位以及其运动的效果。此外，作为另一方法，也可以代替图像显示部而设置警报部，该警报部在将区域提取了规定的数量以上的情况下，代替图像显示而通过声音来告知已提取，进而，还可以将警报部与图像显示部组合。

(实施方式1的第5变形例)

接着，对本发明的实施方式1的第5变形例的移动体检测装置进行说明。这里，说明附加了如下功能的例子，即：将在实施方式1中将移动体检测及将部位区域提取的结果分别按照所提取的每个区域进行记录、发送。这样的有关第5变形例的移动体检测装置100c如图20所示的结构图那样，基本上具备与实施方式1相同的结构，但代替实施方式1的输出部108而具备具有记录·发送部1901的输出部108b。

输出部108b除了具有实施方式1的输出部108的功能以外，还具有记录·发送部1901。该记录·发送部1901是如下的处理部，即：基于区域提取部107的区域提取的结果来确定由图像输入部101接受的图片的区域，按照所确定的每个区域，将对应的区域提取的结果记录(或自己保持)到内置或外置的存储器或硬盘等的记录媒体中，或者经由通信接口及传输路径等向外部发送。即，该记录·发送部1901与图像显示的情况同样，将区域提取的结果图像对应于区域标签θ_m分别记录、发送。此外，也可以通过将属于各区域的运动信息如以下这样平均化来将运动信息压缩。通常需要按照每个像素保持运动信息，但如果进行以下的处理，则只要对1个区域保持1个运动就可以。例如，在作为运动信息而使用像素i的运动矢量(uⁱ _t，vⁱ _t)的情况下，能够如以下这样计算按照提取的每个区域进行平均化的运动信息。

[数式53]

$u_t^m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{u}_t^{c_m}$ (式43)

[数式54]

$v_t^m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{v}_t^{c_m}$ (式44)

这里，C_m是属于区域θ_m的像素数或移动轨迹的数量。

[数式55]

分别是属于区域θ_m的像素的运动矢量。在图21中，表示对图19(a)的处理结果从时刻T起以t张图像为输入而进行区域提取、使用其结果记录、发送段区域的情况下的数据构造例。作为识别码，记录并发送各区域标签θ_m、属于各区域标签θ₁到θ₃的时刻T的图片的像素位置和像素值、以及对应于各区域标签的时刻T到时刻T+t的运动矢量u^m _T、v^m _T、u^m _T+1、v^m _T+1、...、u^m _T+t、v^m _T+t。当然，也可以代替使用图像的像素位置和像素值，而对时刻T的1张图片按照每个像素赋予各区域标签来发送。由此，仅发送区域数的量的将运动信息就可以，所以与将图片发送t张的情况相比，具有能够高效率地记录、发送的效果。特别是，区域数相比像素数越少，则效率越高。

另外，在使用仿射运动将运动信息压缩的情况下，可以代替上述式43及上述式44而基于仿射运动来计算移动后的像素位置的平均值。

如以上这样，根据本第5变形例的移动体检测装置100c，能够一边将像素的运动信息压缩一边进行区域的记录、发送。由此，除了具有在实施方式1中说明的、对于包含一边形状发生变化一边移动的人物等的运动图像也能够正确地进行区域提取的效果以外，还具有通过对各个区域使用1个运动信息、能够实现较高的编码效率的效果。

进而，也可以通过另设置段区域复原部而将发送、记录的信息复原。具体而言，根据图19(a)及图19(b)所示的对应于各区域标签的像素位置和像素值，将时刻T的图片复原。进而，通过使用像素的移动轨迹信息使时刻T的各像素移动，能够将时刻T+1到T+t的图片复原。这里，在使用固定摄像机的情况下，也可以通过仅使用像素的移动轨迹信息不是0的信息、进而由段区域复原部预先取得并保持背景图像，来将复原后的图像覆盖到背景图像上。由此，具有能够高效率地使用被发送并记录的信息、以低计算量复原为图片的效果。

(实施方式2)

接着，对有关本发明的实施方式2的移动体检测装置及移动体检测方法进行说明。

在本实施方式中，说明附加了如下功能的移动体检测装置，即：根据使用实施方式1中说明的移动体检测方法进行了移动体的检测及区域提取的结果，预测移动体的运动。

图22是表示实施方式2的移动体检测装置100d的结构的图。如图22所示，本实施方式的移动体检测装置100d通过对图像输入部101、运动解析部102、区域分割部103、距离计算部104、测地距离变换部105、近似测地距离计算部106、区域提取部107、输出部108c附加运动预测部2101，具有预测移动体的运动的功能。

运动预测部2101以区域提取的结果为输入，根据各区域中包含的像素的移动轨迹，计算代表轨迹，并基于上述代表轨迹预测移动体的运动。

输出部108c除了实施方式1的输出部108的功能以外，还输出由运动预测部2101预测的移动体的位置及移动体部位的位置所涉及的信息。

在图23中表示实施方式2的处理的流程图。步骤S201到S208与实施方式1是同样的，所以省略说明。

在步骤S2201中，运动预测部2101使用步骤S208中进行的区域提取结果，如以下这样求出群组的代表点及其代表轨迹。

这里，假设将属于区域θ_m的像素的移动轨迹表现为

[数式56]

$X^{c_m}$

如下式那样，运动预测部2101按照每个群组区域θ_m求出代表移动轨迹。这里，说明计算平均移动轨迹作为代表移动轨迹的例子，但也可以对下述的计算按照像素的移动轨迹

[数式57]

$X^{c_m}$

进行加权等，也可以将图像上的与群组的重心对应的像素的移动轨迹作为代表移动轨迹。

[数式58]

$\stackrel{\&OverBar;}{x^m}=\frac{1}{C_m}\underset{c=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{x}^{c_m}$ (式45)

这里，C_m是属于区域θ_m的像素数或像素的移动轨迹的数量。

在图24中表示基于上述式45按照每个群组区域θ_m求出代表移动轨迹的例子。其中，考虑到观察容易度，在本图中，仅表示了关于对应于头部的群组区域θ₁和对应于脚部的群组区域θ₈的代表移动轨迹。图中的×分别是与时刻t对应的

[数式59]

$\stackrel{\&OverBar;}{x^m}$

的要素，表示像素位置。进而，如上述式3及上述式4所示，考虑像素运动的相似性来进行基于非线性空间上的聚类的区域提取，所以与单纯求出接近的像素的移动轨迹的时间平均那样的方法相比，能够仅使用运动相似的像素的移动轨迹来进行计算，所以能够更高精度地求出代表移动轨迹。通过这样按照每个群组区域求出代表移动轨迹，能够正确且简便地表现各部位的运动。

接着，在步骤S2202中，运动预测部2101根据在步骤S2201中计算出的代表移动轨迹，预测时刻T之前的时刻的移动体的位置。作为其具体例，首先说明根据代表移动轨迹来计算加速度、并预测T+1以后的移动体的位置的例子。在输入了3张以上的时间序列图像的情况下，能够如下式这样按照每个代表移动轨迹

[数式60]

$\stackrel{\&OverBar;}{x^m}$

得到加速度矢量s^m。

[数式61]

$s_{t+1}^m=\{n_{t+1}^{m1}-u_t^m\}-\{u_t^m-u_{t-1}^n\}$ (式46)

这里，u^m _t是运动矢量，可以如下式这样表示。

[数式62]

${u_t}^m=({u_t}^m,{v_t}^m)$ (式47)

使用上述式46的加速度矢量，运动预测部2101如在图24中用虚线的箭头及○所示，能够按照移动体的每个部位如以下这样预测时刻T+t′的移动体的部位位置pos_m(T+t′)。这里，举移动体的部位为例，但也可以根据图19所示的检测例、如下式那样预测各移动体的位置。

[数式63]

${\mathrm{pos}}_m(T+t^{\&prime;})={\mathrm{pos}}_m\left(T\right)+t^{\&prime;}{u}_T^m+\frac{1}{2}{t}^{\&prime;2}{s}_T^m$ (式48)

并且，由输出部108c输出在步骤S2202中预测的移动体的位置或移动体部位的位置。由此，能够进行考虑了加速度的预测。如有如下效果：在运动急剧地变快、或急剧地停止的情况下，能够反映其加速度而预测移动体的位置的效果。此外，也可以代替运动矢量而使用仿射参数。仿射参数能够表现包含旋转运动的运动的表现，适合于手臂或腿的旋绕运动的表现，所以尤其能够更正确地预测关节物体的位置。

进而，也能够代替上述的运动矢量和加速度而对代表移动轨迹x^m直接拟合N次函数。在输入了T张以时间序列排列的图像的情况下，

能够对

[数式64]

$\stackrel{\&OverBar;}{x^m}$

中包含的T个图像上的位置信息，用N次函数进行拟合。由此，能够推测时刻(T+t′)的图像上的位置pos_m(T+t′)，以符合拟合后的函数的值。具体而言，通过用函数进行拟合，能够表现更平滑的运动，所以能够进行更高精度的预测。特别是，由于能够进行沿着拟合的函数的预测，所以在拟合的函数接近于本来的运动的情况下，运动预测的精度较高。当然，这些图像上的位置预测也能够用于时间上的内插。

如以上这样，根据本实施方式的移动体检测装置100d，由于能够将运动相似的像素的移动轨迹作为同一个群组来计算，所以能够高精度地求出代表移动轨迹。特别是，能够对于关节物体等表现各部位的运动，具有如下效果：不用作为前处理而设定人物候补区域，能够高精度地预测移动体的部位位置。

(实施方式3)

接着，对有关本发明的实施方式3的移动体检测装置及移动体检测方法进行说明。

在本实施方式中，说明将在实施方式1中说明的移动体检测方法扩展到对多个摄像机影像进行移动体检测及区域提取的情况的移动体检测装置进行说明。

图25是表示实施方式3的移动体检测装置100e的结构的图。如图25所示，本实施方式的移动体检测装置100e包括具有多摄像机图像输入部2401的图像输入部101a、运动解析部102a、区域分割部103a、距离计算部104a、测地距离变换部105b、近似测地距离计算部106b、区域提取部107b、输出部108d。另外，本实施方式的移动体检测装置100e基本上具有与实施方式1相同的功能。以下，以与实施方式1不同的点为中心进行说明。

图像输入部101a除了实施方式1的图像输入部101的功能以外还具有多摄像机图像输入部2401。该多摄像机图像输入部2401如图26(a)及图26(b)所示，是接受来自多个摄像机的影像、且拍摄区域一部分重复的影像的输入的处理部，例如是视频摄像机、或与视频摄像机连接的通信接口等。另外，作为向多摄像机图像输入部2401输入的影像的拍摄条件，并不限定于图26(a)及图26(b)所示的摄像机配置及个数，只要配置成在摄像机影像间设定出重复拍摄区域就可以。

运动解析部102a是按照由1个以上的像素构成的块、与实施方式1同样地计算移动轨迹的处理部，所述块构成由多摄像机图像输入部2401接受的从各个摄像机得到的图片。此外，也可以将多个摄像机图像基于重复拍摄区域进行合并而作为1个图像。在此情况下，能够将合并的图像作为1个图像通过与实施方式1相同的方法进行处理，所以省略以下的说明。

区域分割部103a是将重复拍摄区域中的移动轨迹的至少1个设定为共有点的处理部。这里，区域分割部103a将对多个摄像机的运动图像分别计算出的多个移动轨迹作为被分割的多个部分集合来存储，以使根据从摄像机p得到的图像得到的移动轨迹对应于部分集合p。另外，也可以将各摄像机图像与实施方式1同样分割为部分集合。关于该情况下的处理，与实施方式1是相同的，所以省略以下的说明。

距离计算部104a是对根据从各摄像机得到的图像计算出的移动轨迹、分别计算表示多个移动轨迹间的相似性的距离的处理部。是为了捕捉移动的物体的形状变化、使用由运动解析部102a计算出的上述部分集合中包含的块i的移动轨迹、和i以外的上述部分集合中包含的块的移动轨迹、计算表示块的运动的相似性的距离的处理部。例如，在使用N个块的移动轨迹的情况下，计算的距离为N×N的距离矩阵。这里，通过计算对块的运动的相似性进行评价的距离，能够将如块间的距离随着运动而变化的移动体、特别是关节物体那样一边形状变化一边移动的人物等的物体的运动表现为距离矩阵。

测地距离变换部105b是对与距离计算部104a所计算出的各摄像机图像对应的部分集合的距离矩阵分别进行测地距离变换的处理部。

近似测地距离计算部106b是使用共有点将由测地距离变换部105b计算出的各部分集合、即与各摄像机影像对应的部分集合的测地距离矩阵进行合并、从而计算跨在部分集合间即摄像机影像间的近似的测地距离的处理部。

区域提取部107b是基于由近似测地距离计算部106b计算出的近似的测地距离、确定由具有相似的移动轨迹的块构成的区域、从而进行区域提取的处理部。

输出部108d除了实施方式1的输出部108的功能以外，还输出由区域提取部107将多个摄像机图像进行合并并区域提取、即进行了被摄体的检测的结果。

以下，作为本发明的移动体检测方法、即移动体检测装置100e的动作，使用图27的流程图说明对移动的移动体进行检测、区域提取的例子。

首先，在步骤S201b中，多摄像机图像输入部2401如图26(a)及图26(b)所示，从多个摄像机分别接受多张图片。

接着，在步骤S202b中，运动解析部102a根据从各个摄像机得到的至少两张图片计算块的运动。这里的处理只要对从各摄像机得到的图片分别进行实施方式1的步骤S202的处理就可以，所以省略说明。

接着，在步骤S203b中，运动解析部102a使用在步骤S202b中计算出的运动信息进行与实施方式1中说明的步骤S203相同的处理，从而按照每个摄像机图像计算上述式2所示的移动轨迹。与实施方式1的不同点是对多个摄像机影像分别进行步骤S203的处理，所以将以下的说明省略。另外，从方便角度，为了区别从各摄像机图像得到的移动轨迹，将上述式2如以下的式49那样改写。

[数式65]

$x^{p\_i}=(x_1^{p\_i},y_1^{p\_i},...,x_t^{p\_i},y_t^{p\_i},..,x_T^{p\_i},y_T^{p\_i})$ (式49)

这里，p_i是从各摄像机p得到的图像的移动轨迹i。

接着，在步骤S204b中，区域分割部103a如图28(a)及图28(b)所示，对应于摄像机图像而设为P个部分集合。这里，所谓部分集合，是从各摄像机图像得到的移动轨迹的集合。另外，图28(a)对应于图26(a)，图28(b)对应于图26(b)。此时，例如如图28(a)所示，区域分割部103a在摄像机图像2701和摄像机图像2702中，在重复拍摄区域2703上设定共有点2704。当然，本发明如图28(b)所示，摄像机的数量并不限定于两个，也可以在摄像机图像2710～2713中、在各个重复拍摄区域2703上设定共有点2704。这里，所谓重复拍摄区域，是由放置在多个不同的位置上的摄像机拍摄了至少一部分、相同的场时的图像上的区域。进而，共有点只要在上述重复拍摄区域上设定至少1点以上就可以。以下的处理只要将从多个摄像机p得到的图像及与其对应的移动轨迹看作分割后的部分集合p来进行处理就可以。以下，只要进行与实施方式1的步骤S204相同的处理就可以，所以省略说明。

接着，在步骤S205b中，距离计算部104a将在步骤S204b中按照由摄像机p得到的每个图像计算出的移动轨迹看作属于部分集合p的移动轨迹，计算距离矩阵。本步骤以后的处理只要将从多个摄像机p得到的图像及其移动轨迹看作在实施方式1中分割后的部分集合p来进行处理就可以。以下，只要进行与实施方式1的步骤S205相同的处理就可以，所以省略说明。

接着，在步骤S206b中，测地距离变换部105b将在步骤S205b中按照由摄像机p得到的每个图像计算出的移动轨迹看作部分集合p，计算测地距离。本步骤的以后的处理与实施方式1的步骤S206是相同的，所以省略说明。

接着，在步骤S207b中，近似测地距离计算部106b将在步骤S206b中按照由摄像机p得到的每个图像计算出的测地距离矩阵进行合并。这里，只要如图28所示使用重复拍摄区域上的共有点、进行与实施方式1的步骤S207相同的处理就可以。因此，省略说明。

接着，在步骤S208b中，区域提取部107b使用由近似测地距离计算部106b合并的测地距离，检测不连续点，从而确定由具有相似的移动轨迹的块构成的区域，由此进行区域提取。关于这里的处理，也只要进行与实施方式1的步骤S208相同的处理就可以，所以省略说明。

如以上这样，根据实施方式3的移动体检测装置100e，以多个摄像机图像为输入，对于包含一边形状发生变化一边移动的人物等的移动体的图像、或跨越不同的摄像机图像间而移动的移动体，也能够不受移动体的姿势或大小的影响、而高速且正确地进行区域提取即移动体检测。

(实施方式4)

接着，对有关本发明的实施方式4的作为移动体检测装置及其方法的应用例的数据分类装置及其方法进行说明。

图29是表示实施方式4的数据分类装置2800的结构的图。如图29所示，该数据分类装置2800具备矢量数据输入部2801、区域分割部103、距离计算部104、测地距离变换部105、近似测地距离计算部106、数据分类部2802、输出部2803。这里，以上述的移动轨迹等的多维的矢量数据为输入，分类该数据。

矢量数据输入部2801是接受矢量数据的处理部。矢量数据例如可以是由立体摄像机或CG等得到的表示3维位置的数据，也可以是表示其时间变化的数据。

区域分割部103对于由矢量数据输入部2801得到的多维矢量，与实施方式1的第1变形例同样，在多维矢量的空间上分割为P个部分集合，并且将分割后的多个部分集合中的一个(例如，对于相邻的部分集合，该部分集合中的至少一方)所包含的一部分的矢量数据设定为共有点。

以下，由于距离计算部104、测地距离变换部105、近似测地距离计算部106的结构与实施方式1及实施方式1的第1变形例相同，所以省略说明。即，不同的是在这些实施方式及变形例中处理对象的数据是“移动轨迹”，而在本实施方式中处理对象的数据是“矢量数据”，各处理部中的处理内容相同。

数据分类部2802与实施方式1的区域提取部107同样，通过将相似的多维矢量数据聚类而将数据进行分类。这里，根据由测地距离变换部105、近似测地距离计算部106使用由距离计算部104计算出的距离矩阵来得到的近似的测地距离，检测多维矢量间的距离的分布的不连续性，并以使相离开比检测到的不连续点小的距离的多维矢量成为一个群组的方式，基于不连续点分别将连续分布的多维矢量聚类，从而对多维矢量数据进行分类。数据聚类部2802中的结果通过输出部2803写入到存储器或硬盘等中，或显示在显示器面板等上。

另外，关于本实施方式的数据分类装置，也与移动体检测装置同样，关于各构成要素中的、除了显示器装置等的输入输出装置以外的构成要素，既可以通过由图2所示的计算机1002执行的程序及数据(即软件)实现，也可以由电子电路、存储器及记录媒体等的硬件实现，也可以通过它们的混合来实现。

以下，作为本发明的矢量数据的分类方法、即数据分类装置2800的动作，使用图30的流程图说明对多维矢量数据进行分类的例子。

首先，在步骤S2901中，矢量数据输入部2801接受多个矢量数据。这里，所谓矢量数据，只要是如上述式2所示的由多个要素构成的多维矢量，则任何数据都可以。

步骤S204到步骤S208只要在实施方式1的第1变形例中将移动轨迹设为多维矢量数据进行处理就可以。

这样，根据本实施方式4的数据分类装置2800，不仅是移动轨迹，如果将例如从测距器或立体摄像机得到的表示3维位置的数据作为多维矢量来输入，则也能够基于3维位置将3维的被摄体进行分类。进而，作为输入的多维矢量数据只要是能够用多维尺度构成法分析的矢量数据，则任何数据都可以，通过进行测地距离变换，具有对于非线性较高的数据也能够高精度地进行分类、并且能够高速处理的效果。

(实施方式1的补充)

这里，对在使用实施方式1中说明的方法的情况下能够进行区域提取的移动体的性质进行补充。在图31(a)～图31(c)中表示在使用实施方式1的方法的情况下能够分离的图形的一例。通过使用实施方式1的方法，能够分别区域提取出图形θ₁和图形θ₂。这里，图31(a)到图31(c)所示的各个图形θ₁和图形θ₂的移动方向既可以相同也可以不同。但是，条件是：属于图形θ₁的像素都是相同的运动，并且属于图形θ₂的像素都是相同的运动。

在实施方式1的步骤S205及S207中，进行具有如图6所示的特征的测地距离变换。由此，与通常的欧几里得距离不同，具有能够计算从移动轨迹沿着移动轨迹的距离的特征。因此，对图31(a)到图31(c)中共通地弯曲的形状，能够计算沿着该形状的距离。

进而，在步骤S208中，将测地距离为无限大的移动轨迹与移动轨迹之间作为不连续点来进行聚类。因此，在移动轨迹与移动轨迹之间存在阈值以上的距离的情况下，能够基于该不连续点，分别将图形θ₁和图形θ₂区域提取出。

如以上那样，如果使用本实施方式，则在包括弯曲的形状的移动体且存在一定的不连续点的情况下，能够基于不连续点提取区域。

另一方面，在不进行步骤S205及S207的处理的情况下，以欧几里得距离计算属于图形θ₁的移动轨迹与属于图形θ₂的移动轨迹的距离，所以与图6中说明的情况同样，点i与点j的距离比点i与点k的距离大。即，属于同一分组的点间的距离变得比属于不同分组的点间的距离大。进而，在步骤S205的处理中，如果不进行测地距离变换则不进行沿着数据的处理，所以不能判断相邻的移动轨迹与移动轨迹之间不连续还是连续。因此，在如图31所示的例子中，在包括弯曲的形状的移动体且存在一定的不连续点的情况下，难以基于不连续点来提取区域。

由此，在实施方式1中，通过这样的使用测地距离的聚类，与使用作为直线距离的欧几里得距离的聚类相比，进行考虑到与移动轨迹间的相似性有关的连续性的聚类，即使是交杂的复杂的关系的区域，也能够可靠地辨别是属于同一个物体(或部位)还是属于不同物体(或部位)。

以上，基于实施方式及其变形例说明了有关本发明的移动体检测装置及其方法、数据聚类装置及其方法，但本发明并不限定于这些实施方式及变形例。在不脱离本发明的主旨的范围内对各实施方式实施本领域的技术人员想到的各种变形而实现的形态、将各实施方式及变形例的构成要素任意组合而实现的形态也包含在本发明中。

例如，对于实施方式1的第4变形例追加了其第5变形例的记录·发送部1901及实施方式2的运动预测部2101而构成的移动体检测装置也包含在本发明中。

此外，有关本发明的移动体检测装置也可以代替上述实施方式的区域分割部而具备图32所示的移动体检测装置103f所具备的区域分割部103b。该区域分割部103b除了实施方式1的区域分割部103的功能以外，还具有辅助将由运动解析部102计算出的移动轨迹分割为多个部分集合的处理的两个处理部(手动设定部1031、自动设定部1032)。

手动设定部1031按照用户对图像输入部101接受的图片指定的空间分割，将由运动解析部102计算出的移动轨迹分割为多个部分集合。例如，手动设定部1031如果用户使用鼠标等在图片上指定预想存在(或移动)移动体的区域，则将该区域分割为一个部分集合(即，将与该区域所包含的块对应的移动轨迹作为一个部分集合)。例如，在移动体的运动线沿着通路等的情况下，可以使该通路成为一个区域。

另一方面，自动设定部1032将由运动解析部102计算出的移动轨迹不经由用户的输入而自动地分割为多个部分集合。例如，自动设定部1032参照由运动解析部102检测到的运动，使具有超过预先设定的阈值的大小的运动的区域成为一个区域，将其他区域分割为多个部分集合，从而将上述移动轨迹自动分割为多个部分集合。此外，也可以将由运动解析部102检测到的运动在时间上累积，使累积值较大的区域成为一个区域。

例如，在监视系统等的固定的摄像机(包括左右旋转(Pan)、上下倾斜(Tilt)、缩放(Zoom))中，预先划分了拍摄区域。因此，多数情况下在图像上也能够预先确定移动体通过的区域。在这样的时候，特别具有能够防止检测精度下降的效果。

通过这样的区域分割部103b将存在移动体的区域分割为多个部分集合，从而能够避免测地距离计算的精度下降的危险，能够防止移动体的检测精度下降。

工业实用性

本发明能够作为检测运动图像中的移动体的全部或一部分的装置、即基于多张图像中的由1个以上像素构成的块的运动、将包含一边形状发生变化一边移动的人物等的移动体的图像进行区域提取、从而检测图像中的移动体的移动体检测装置，例如能够利用为在运动解析装置、监视装置、视频摄像机或TV等的AV设备中内置的移动体检测装置等。

标号说明

100、100a～100f 移动体检测装置

101、101a 图像输入部

102、102a 运动解析部

103、103a、103b 区域分割部

104、104a 距离计算部

105、105a、105b 测地距离变换部

106、106a、106b 近似测地距离计算部

107、107a、107b 区域提取部

108、108a～108d、2803 输出部

1031 手动设定部

1032 自动设定部

1401 区域提取候补生成部

1402 区域提取候补选择部

1701 图像显示部

1901 记录·发送部

2101 运动预测部

2401 多摄像机图像输入部

2800 数据分类装置

2801 矢量数据输入部

2802 数据分类部

Claims (21)

1.一种移动体检测装置，通过提取运动图像中的移动体的全部或一部分区域来检测运动图像中的移动体，具备：

图像输入部，接受构成运动图像的多张图片；

运动解析部，按照构成接受到的上述图片的由1个以上的像素构成的块，检测不同的两张图片间的图像的运动，计算对上述多张图片连接检测到的运动而得到的多个移动轨迹；

区域分割部，将计算出的上述多个移动轨迹分割为多个部分集合，并且在分割后的多个部分集合中将一部分移动轨迹设定为共有点；

距离计算部，对分割后的上述多个部分集合分别计算表示多个移动轨迹间的相似性的距离；

测地距离变换部，将计算出的上述距离变换为测地距离；

近似测地距离计算部，通过将变换后的上述测地距离中的、共有上述共有点的测地距离合并，计算跨上述部分集合的近似测地距离；以及

区域提取部，利用计算出的近似测地距离，进行将具有相似的移动轨迹的块确定为同一区域的聚类，由此对上述运动图像提取至少一个区域。

2.如权利要求1所述的移动体检测装置，其中，

上述图像输入部对于多个摄像机拍摄的多个运动图像分别接受上述多张图片；

上述运动解析部对上述多个运动图像分别计算上述多个移动轨迹；

上述区域分割部将对上述多个运动图像分别计算出的多个移动轨迹作为分割后的上述多个部分集合来保持；

上述区域提取部通过进行上述聚类，对上述多个运动图像提取至少一个区域。

3.如权利要求1所述的移动体检测装置，其中，

上述区域分割部在关于与移动轨迹对应的上述图片上的块的、在图像上的位置的空间上，将上述多个移动轨迹分割为上述多个部分集合。

4.如权利要求3所述的移动体检测装置，其中，

上述区域分割部按照用户对上述图片指定的空间分割，将上述多个移动轨迹分割为上述多个部分集合。

5.如权利要求1所述的移动体检测装置，其中，

上述移动轨迹由多维矢量表现；

上述区域分割部在表现上述多维矢量的多维矢量空间上，将上述多个移动轨迹分割为上述多个部分集合。

6.如权利要求3～5中任一项所述的移动体检测装置，其中，

上述区域分割部以使附近的部分集合的一部分重复的方式进行上述分割，并且将重复的区域中包含的移动轨迹设定为上述共有点。

7.如权利要求3～5中任一项所述的移动体检测装置，其中，

上述区域分割部对上述多个部分集合中的各个部分集合，将属于该部分集合的移动轨迹中的、接近于与其他部分集合的边界的移动轨迹设定为上述共有点。

8.如权利要求1所述的移动体检测装置，其中，

上述测地距离变换部通过将上述距离计算部计算出的距离中的、满足预先设定的条件的小的距离连接，求出从由上述运动解析部计算出的一个移动轨迹到另一个移动轨迹的最短路径，由此将由上述距离计算部计算出的距离分别变换为测地距离。

9.如权利要求8所述的移动体检测装置，其中，

上述测地距离变换部对上述多个部分集合所包含的多个移动轨迹中的各个移动轨迹，从该移动轨迹到其他移动轨迹的多个距离之中按从小到大的顺序选择预先设定的个数的距离，并进行将未被选择的距离变更为无限大的非线性化之后，求出上述最短路径，由此将由上述距离计算部计算出的距离分别变换为测地距离。

10.如权利要求8所述的移动体检测装置，其中，

上述测地距离变换部对上述多个部分集合所包含的多个移动轨迹中的各个移动轨迹，从该移动轨迹到其他移动轨迹的多个距离之中选择预先设定的阈值以下的距离，并进行将未被选择的距离变更为无限大的非线性化之后，求出上述最短路径，由此将由上述距离计算部计算出的距离分别变换为测地距离。

11.如权利要求1所述的移动体检测装置，其中，

上述区域提取部检测由上述近似测地距离计算部计算出的测地距离的分布中的至少一个以上的不连续点，进行上述聚类，以使相互离开比检测到的不连续点小的测地距离的移动轨迹成为一个群组。

12.如权利要求1所述的移动体检测装置，其中，

上述区域提取部对由上述近似测地距离计算部计算出的测地距离求出固有值及固有矢量，从而进行维度压缩，在维度压缩后的空间上进行上述聚类。

13.如权利要求1所述的移动体检测装置，其中，

上述测地距离变换部生成用于将上述距离变换为上述测地距离的多个判断基准，关于生成的多个判断基准中的各个判断基准，利用该判断基准将上述距离变换为上述测地距离，从而生成分别与上述多个判断基准对应的测地距离；

上述近似测地距离计算部对分别与上述多个判断基准对应的测地距离进行上述合并；

上述区域提取部具有：

区域提取候补生成部，对分别与上述多个判断基准对应的被合并的近似测地距离进行上述聚类来提取区域，从而分别与上述多个判断基准对应地生成上述区域提取的结果作为区域提取候补；以及

区域提取候补选择部，取得关于分组数的指示，从由上述区域提取候补生成部生成的多个区域提取候补之中选择提取了与取得的分组数接近的个数的区域的区域提取候补，将所选择的区域提取候补作为由该区域提取部提取区域的结果来输出。

14.如权利要求13所述的移动体检测装置，其中，

上述测地距离变换部生成多个阈值作为上述多个判断基准，对于所生成的多个阈值中的各个阈值，将由上述距离计算部计算出的距离中的、比该阈值小的距离连接，从而生成分别与上述多个判断基准对应的测地距离。

15.如权利要求1～14中任一项所述的移动体检测装置，其中，

上述移动体检测装置还具备图像显示部，该图像显示部将由上述区域提取部得到的区域提取的结果重叠显示在由上述图像输入部接受的图片上。

16.如权利要求1～15中任一项所述的移动体检测装置，其中，

上述移动体检测装置还具备记录·发送部，该记录·发送部与由上述区域提取部提取区域的结果对应地确定由上述图像输入部接受的图片中的区域，并按照所确定的每个区域，将对应的提取区域的结果记录并保持，或者经由传输路径向外部发送。

17.如权利要求1～16中任一项所述的移动体检测装置，其中，

上述图像输入部接受包括两个以上的移动体的运动图像；

在上述区域提取部中，通过对上述两个以上的移动体进行上述区域提取，检测两个以上的移动体。

18.如权利要求1～17中任一项所述的移动体检测装置，其中，

上述移动体检测装置还具备运动预测部，该运动预测部根据由上述区域提取部提取的区域中包含的块的移动轨迹，计算代表该区域的移动轨迹，并按照计算出的移动轨迹预测为该区域移动，从而预测上述移动体的运动。

19.一种矢量数据分类装置，将多个矢量数据分类为相似的矢量数据的集合即分组，具备：

矢量数据输入部，接受多个矢量数据；

区域分割部，将接受的上述多个矢量数据分割为在测地距离的计算中利用的多个部分集合，并且将分割后的多个部分集合的至少一个中包含的一部分矢量数据设定为共有点；

距离计算部，对分割后的上述多个部分集合分别计算表示多个矢量数据间的相似性的距离；

测地距离变换部，将计算出的上述距离变换为测地距离，该测地距离为经过作为中继点的移动轨迹从一个移动轨迹到达另一个移动轨迹的路径的距离；

近似测地距离计算部，将变换后的上述测地距离中的、共有上述共有点的测地距离合并，从而计算跨上述部分集合的近似测地距离；以及

数据分类部，利用计算出的近似测地距离进行将具有相似的矢量数据的块确定为一个区域的聚类，从而对上述运动图像生成至少一个分组。

20.一种移动体检测方法，通过提取运动图像中的移动体的全部或一部分区域来检测运动图像中的移动体，包括：

图像输入步骤，接受构成运动图像的多张图片；

运动解析步骤，按照构成接受的上述图片的由1个以上的像素构成的块，检测不同的两张图片间的图像的运动，计算对上述多张图片连接检测到的运动而得到的多个移动轨迹；

区域分割步骤，将计算出的上述多个移动轨迹分割为多个部分集合，并且在分割后的多个部分集合中将一部分移动轨迹设定为共有点；

距离计算步骤，对分割后的上述多个部分集合分别计算表示多个移动轨迹间的相似性的距离；

测地距离变换步骤，将计算出的上述距离变换为测地距离，该测地距离为沿着作为中继点的移动轨迹从一个移动轨迹到达另一个移动轨迹的路径的距离；

近似测地距离计算步骤，将变换后的上述测地距离中的、共有上述共有点的测地距离合并，从而计算跨在上述部分集合的近似测地距离；以及

区域提取步骤，利用计算出的近似测地距离，进行将具有相似的移动轨迹的块确定为同一区域的聚类，从而对上述运动图像提取至少一个区域。

21.一种程序，用于通过提取运动图像中的移动体的全部或一部分区域来检测运动图像中的移动体，

使计算机执行权利要求20所述的移动体检测方法中包含的步骤。

Images