CN102741884A - 移动体检测装置及移动体检测方法 - Google Patents

Abstract

移动体检测装置（100K）具备：静止指标计算部（103），针对多个移动轨迹中的各个移动轨迹，计算表示该移动轨迹的静止物相似度的静止指标；距离计算部（104），计算表示移动轨迹间的类似度的距离；以及区域检测部，基于移动轨迹的静止指标及移动轨迹间的距离，进行变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于变换前，基于移动轨迹间的测地距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

Description

移动体检测装置及移动体检测方法

技术领域

本发明涉及如下技术：基于由多张图像构成的运动图像中的运动信息，检测图像中的移动体。尤其涉及以下的移动体检测装置，对于人物那样的、一边变化轮廓的形状一边移动的对象，将表示各移动轨迹以何种程度相似于从静止物的区域上而非移动物的区域上计算出的移动轨迹（以下称为“静止物相似度”）的指标用于移动轨迹间的距离的加权，从而检测移动体的区域。

背景技术

广泛进行了区域提取技术的研究开发，该区域提取技术从包含有移动体的像（以下简称为“移动体”）的图像提取图像中的移动体的区域，从而检测移动体。尤其是，移动体是人的情况下，提取人的区域的技术在数字摄影机或数字静止照相机中的焦点控制、画质改善处理、汽车的安全驾驶支援系统、或机器人与人的冲突回避控制或警报等中，是共通利用的基础技术。

作为提取图像中的移动体的区域的技术中的一般方法，有如下两种方法：（1）对预先准备的移动体的模型和图像中的移动体的候选区域的类似度进行评价，来确定移动体的区域的方法；（2）将图像分割为多个小区域，对每个区域计算特征量，以特征量为基准来统合类似的区域，从而确定移动体的区域的方法。

作为前者的代表性方法，有如下的方法：从图像提取移动体区域的候选之后，对提取的移动体区域的候选评价与预先准备的移动体模型的类似度，将类似度较高的区域作为移动体区域来提取。还有如下的方法：提取像步行的人物等那样的、一边变形一边移动的移动体的区域的情况下，利用考虑了变形的移动体模型。例如，在专利文献1中，作为移动体区域候选，从多个图像提取移动体的轮廓图像。并且公开有如下方法：对与预先参数化的移动体的变形有关的模型和提取的轮廓图像的类似度进行评价，推定类似度较高的区域和模型的参数。由此，对于形状一边周期性地变化一边移动的人物，也能够应用参数化的模型，所以能够提取移动体的区域。

作为后者的代表性方法，有如下方法：将图像暂时分割为多个小区域，并提取基于各小区域的像素的亮度值的特征量，然后对多个小区域间的特征量的类似度进行评价，将类似度较高的区域作为同一移动体区域来统合。例如，在专利文献2中，将图像暂时分割为矩形小区域，基于小区域的亮度和运动信息来计算特征量，基于特征量的类似度的顺序来将小区域统合，从而能够提取移动体的区域。

在先技术文献

专利文献

专利文献1：特开平8-214289号公报

专利文献2：特开2006-031114号公报

发明的概要

发明所要解决的课题

但是，以往的区域提取的技术存在如下问题：例如，在多个人物步行的场景等中，由于姿势和大小等的变化导致移动体的形状发生显著变化的情况下等，无法正确地提取移动体。

在专利文献1所示的使用了预先准备的模型的区域提取方法中，需要从图像提取移动体区域的候选。这时，如果不能适当地提取移动体区域候选，则无法正确地对移动体区域候选应用将移动体参数化而得到的模型。尤其是，在上述那样的场景中，由于移动体的姿势和大小等变化而移动体的形状较大地变化，所以难以适当地提取移动体区域候选。此外，即使适当地提取了移动体区域候选，也存在以下的课题。

例如，将人物等作为移动体的情况下，由移动体的各种姿势、位置及大小引起的图像的变化的幅度非常大。因此，进行移动体模型的参数化时，需要很多的参数。此外，在伴随着摄像机运动的图像中，背景的外观的变化较大。这会导致模型的应用错误。因此存在如下课题：例如，将一个移动体作为多个移动体而错误地进行区域提取，或将不存在成为提取对象的移动体的区域作为移动体而进行区域提取等，无法正确地检测移动体。

在专利文献2所示的区域提取方法中，不是像专利文献1那样制作模型，而是使用小区域间的特征量，通过将作为特征量使用的亮度值和运动信息不类似的小区域判定为不同的区域，来提取区域。但是，在人物那样的移动体中，由于位置不同而亮度值不同，此外，即使在同一移动体，例如在关节区域两端的小区域间等运动不同。因此，存在如下问题：尽管是同一移动体上的多个小区域，却作为不同的移动体的区域被分离并提取，无法正确地检测移动体。

此外，对于由移动的摄像机拍摄的图像，存在如下课题：由于摄像机自身的运动而相邻的小区域间的运动的类似度相对变高，结果移动体区域的提取失败。

发明内容

在此，本发明是为了解决以上的课题而做出的，其目的在于，提供一种移动体检测装置，即使在图像中包含一边形状变化一边移动的人物等移动体、并且是由移动的摄像机拍摄的图像，也能够正确地检测移动体。

解决课题所采用的手段

本发明是为了解决上述课题而做出的，本发明的一个方式的移动体检测装置是根据分别与运动图像中的各区域对应的多个移动轨迹来检测移动体区域的移动体检测装置，具备：静止指标计算部，对于作为构成运动图像的两张以上图片间的构成所述图片的由一个以上像素构成的块的运动的轨迹的多个移动轨迹的每一个，计算表示该移动轨迹的静止物相似度的静止指标；距离计算部，计算表示所述移动轨迹间的类似度的距离；以及区域检测部，基于所述移动轨迹的静止指标及所述移动轨迹间的距离，进行变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的距离相对于任意静止物的移动轨迹间的距离之比大于变换前，基于所述移动轨迹间的距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

根据该构成，基于移动轨迹的静止指标进行上述变换处理。因此，容易将静止物的移动轨迹和移动体的移动轨迹分离。由此，即使在图像中包含一边形状变化一边移动的人物等移动体、并且是由移动的摄像机拍摄的图像，也能够正确地检测移动体。

另外，本发明不仅能够作为具备这样的特征性的处理部的移动体检测装置来实现，还能够作为将移动体检测装置中包含的特征性的处理部作为步骤的移动体检测方法来实现。此外，也能够作为使计算机执行移动体检测方法中包含的特征性的步骤的程序来实现。并且，当然可以将这样的程序经由CD-ROM（Compact Disc-Read Only Memory）等计算机可读取的记录介质或因特网等通信网络来流通。

发明效果

根据本发明，即使在图像中包含一边形状变化一边移动的人物等移动体、并且是由移动的摄像机拍摄的图像，也能够正确地检测移动体。

附图说明

图1是表示本发明的实施方式的移动体检测装置的构成的图。

图2是表示由计算机构成的移动体检测装置的硬件构成的图。

图3是表示移动体检测装置的动作的顺序的流程图。

图4是表示拍摄状況的例子的图。

图5A是表示构成输入运动图像的第1帧的图片的例子的图。

图5B是表示构成输入运动图像的第1帧和第T帧之间的帧的图片的例子的图。

图5C是表示构成输入运动图像的第T帧的图片的例子的图。

图6A是表示运动矢量的例子的图。

图6B是表示移动轨迹的例子的图。

图7是表示移动体检测装置中的静止指标计算部的构成的图。

图8是表示摄像机几何约束的分类的图。

图9A是说明对极约束的图。

图9B是说明单应约束的图。

图10是说明构造一致性约束的图。

图11A是表示图片中的移动轨迹及对应的静止指标的大小的例子的图。

图11B是表示图11A中的静止指标的大小和箭头的粗细的关系的图。

图12是表示移动体检测装置中的距离计算部的构成的图。

图13A是表示图片上的多个移动轨迹的一例的图。

图13B是表示移动轨迹间的数据分布和欧几里德距离的图。

图13C是表示移动轨迹间的数据分布和测地距离的图。

图14是表示移动轨迹间的欧几里德距离和测地距离的图。

图15是表示移动体检测装置中的子类别分类部的构成的图。

图16A是表示图片上的多个移动轨迹的一例的图。

图16B是由移动轨迹构成的高维空间的概念图。

图16C是说明设为区域数M=2时的移动轨迹向子类别的分类处理的图。

图16D是说明设为区域数M=3时的移动轨迹向子类别的分类处理的图。

图17是表示加权距离计算部的构成的图。

图18是表示子类别间测地距离的概念图。

图19A是将分别属于移动体及背景上的移动轨迹的例子重叠在场景图像上而显示的概念图。

图19B是对于存在于图19A所示的场景中的移动轨迹，在高维空间上表示由子类别分类部进行了类别分类的结果的图。

图19C是表示静止指标附加部对于各移动轨迹进行了静止或移动的判定的结果的图。

图19D是表示以子类别为单位进行了静止或移动的评价的结果的图。

图19E是表示加权规则的图。

图19F是在高维空间上表示由加权规则计算的加权测地距离的图。

图20A是表示高维空间上的移动轨迹及子类别的图。

图20B是表示子类别的分类结果的图。

图20C是表示子类别的统合结果的显示例的图。

图20D是表示子类别的统合结果的显示例的图。

图21是表示实施方式的变形例1的移动体检测装置的构成的图。

图22是表示移动体检测装置中的静止指标计算部的构成的图。

图23是表示加权距离计算部的详细构成的图。

图24是表示由静止指标计算部的静止指标图像制作部制作的图像的一例的图。

图25A是表示区域分割结果的显示例的图。

图25B是表示区域分割结果的显示例的图。

图26A是表示实施方式的变形例2的移动体检测装置的构成的图。

图26B是表示子类别分类部的构成的图。

图27A是表示实施方式的变形例3的移动体检测装置的构成的图。

图27B是表示子类别分类部的构成的图。

图28A是表示多维空间中的维度压缩前的移动轨迹的数据分布的图。

图28B是表示对图28A所示的移动轨迹的多维空间进行维度压缩后的空间的图。

图28C是表示将聚类处理应用于维度压缩后的数据的结果的图。

图28D是表示对于移动的人物的数据在非线性空间上进行聚类处理的例子的图。

图29A是表示实施方式的变形例4的移动体检测装置的构成的图。

图29B是表示子类别分类部的构成的图。

图30A是表示移动轨迹的例子的图。

图30B是表示由移动轨迹构成的多维空间的图。

图30C是表示阈值大于欧几里德距离的最大值的情况的聚类结果的图。

图30D是表示对于某阈值R₁的聚类结果的图。

图30E是表示对于比阈值R₁小的阈值R₂的聚类结果的图。

图31A是表示实施方式的变形例5的移动体检测装置的构成的图。

图31B是表示子类别分类部的构成的图。

图31C是表示子类别分类部的其他构成的图。

图31D是表示子类别分类部的其他构成的图。

图32A是表示实施方式的变形例6的移动体检测装置的构成的图。

图32B是表示静止指标计算部的构成的图。

图33A是表示实施方式的变形例7的移动体检测装置的构成的图。

图33B是表示距离计算部的构成的图。

图33C是表示加权距离计算部的构成的图。

图33D是表示加权距离计算部的构成的图。

图34是表示子类别间欧几里德距离的概念图。

图35A是表示实施方式的变形例8的移动体检测装置的构成的图。

图35B是表示静止指标计算部和加权距离计算部的构成的图。

图36A是表示摄像机运动较大的情况的高维空间上的子类别的分布的概念图。

图36B是表示摄像机运动较小的情况的高维空间上的子类别的分布的概念图。

图36C是表示向子类别观测值距离的加权规则的图。

图36D是表示摄像机运动较大的情况的、对子类别间测值距离进行加权之后的高维空间上的子类别的分布的概念图。

图36E是表示摄像机运动较小的情况的、对子类别间测值距离进行加权之后的高维空间上的子类别的分布的概念图。

图37是表示实施方式的变形例9的移动体检测装置的构成的图。

图38是表示实施方式的变形例9的移动体检测装置的其他构成的图。

图39A是表示实施方式的变形例10的移动体检测装置的构成的图。

图39B是表示加权距离计算部的构成的图。

图40是表示具备本发明所必需的构成要素的移动体检测装置的构成的图。

具体实施方式

以下，使用附图说明本发明的实施方式。另外，以下说明的实施方式都表示本发明的优选的一个具体例。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例，并不意图限定本发明。本发明仅由权利要求限定。因此，对于以下的实施方式的构成要素中的、未记载在表示本发明的最上位概念的独立权利要求中的构成要素，虽然不是达成本发明的课题所必须的，但是作为更优选的方式来说明。

本发明的一实施方式，是根据分别与运动图像中的各区域对应的多个移动轨迹来检测移动体区域的移动体检测装置，具备：静止指标计算部，针对多个移动轨迹中的各个移动轨迹，计算表示该移动轨迹的静止物相似度的静止指标，所述移动轨迹是构成运动图像的两张以上图片间的块的运动的轨迹，所述块构成所述图片，且由一个以上像素构成；距离计算部，计算表示所述移动轨迹间的类似度的距离；以及区域检测部，基于所述移动轨迹的静止指标及所述移动轨迹间的距离，进行变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的距离相对于任意静止物的移动轨迹间的距离之比大于变换前，基于所述移动轨迹间的距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

优选为，区域检测部进行变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于变换前，基于所述移动轨迹间的测地距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域，所述测地距离是将两个移动轨迹以外的移动轨迹作为中继点而从所述两个移动轨迹的一方抵达另一方的路径的距离。

根据该构成，基于移动轨迹的静止指标进行上述变换处理。因此，容易将静止物的移动轨迹和移动体的移动轨迹分离。因此，即使在图像中包含一边形状变化一边移动的人物等移动体、并且是由移动的摄像机拍摄的图像，也能够正确地检测移动体。

优选为，所述静止指标计算部根据所述多个移动轨迹推定在各移动轨迹为静止物的移动轨迹的情况下成立的几何约束，计算满足推定的所述几何约束的程度，将该程度作为所述静止指标。

更优选为，所述静止指标计算部根据多个移动轨迹推定对极（Epipolar）约束、单应约束、三重线性约束及构造一致性约束中的某一个几何约束，计算满足推定的所述几何约束的程度，将该程度作为所述静止指标。

此外，也可以是，所述区域检测部包含：加权距离计算部，基于所述移动轨迹间的距离，计算所述移动轨迹间的测地距离，基于所述移动轨迹的静止指标，对于计算的各测地距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于加权前，从而计算加权测地距离；以及区域分割部，基于所述加权距离计算部计算的所述加权测地距离，将所述加权测地距离成为规定的阈值以上的移动轨迹彼此分类至不同的类别，从而分割各图片上的静止物的区域和移动体的区域。

在由移动的摄像机拍摄的运动图像中，对于人物那样的姿势、位置、大小等随时间变化的移动体，将表示移动轨迹的静止物相似度的评价值用于向移动轨迹间的测地距离的加权，从而能够可靠地检测图像中的移动体。

优选为，所述距离计算部计算表示移动轨迹间的类似度的测地距离，所述加权距离计算部基于所述静止指标，对于所述距离计算部计算的所述测地距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于加权前，从而计算所述加权测地距离。

将对移动轨迹间的测地距离附加了基于静止指标的权重而得到的结果作为加权测地距离来计算。由此，作为求出测地距离之后的后处理，能够简单地实现反映了静止物相似度的测地距离的导出。

此外，也可以是，所述距离计算部计算表示移动轨迹间的类似度的线性距离，所述加权距离计算部基于所述静止指标，对所述距离计算部计算的所述线性距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的线性距离相对于任意静止物的移动轨迹间的线性距离之比大于加权前，从而计算加权线性距离，并根据计算的所述加权线性距离计算所述加权测地距离。

由此，仅通过对线性距离进行加权，即作为加权距离计算部中的预处理而计算加权线性距离，能够能够实现反映了静止物相似度的测地距离的计算。

此外，也可以是，所述区域检测部包含：加权距离计算部，基于所述移动轨迹间的距离，计算所述移动轨迹间的测地距离；以及区域分割部，根据下述加权阈值和所述加权距离计算部计算的所述测地距离的比较结果，分离为静止物的移动轨迹和移动体的移动轨迹，从而将各图片上的静止物的区域和移动体的区域分割，该加权阈值是通过对用来判断是否将静止物的移动区域和移动体的移动区域分类至不同的类别的所述测地距离的阈值附加基于所述静止指标的权重而得到的。

根据该构成，不是对距离附加权重而计算加权距离，而是对阈值进行加权。因此，能够削减计算加权距离所需的运算时间和用于保持加权距离的存储器容量。

具体地说，所述区域分割部使两个移动轨迹的静止指标分别是表示“静止物”及“静止物”的值时的针对所述测地距离的阈值的权重，大于两个移动轨迹的静止指标分别是表示“移动体”及“静止物”的值时的针对所述测地距离的阈值的权重。

此外，也可以是，上述的移动体检测装置还具备子类别分类部，将所述多个移动轨迹分类至多个子类别，该子类别是各自类似的移动轨迹的部分集合，所述加权距离计算部基于移动轨迹的静止指标、移动轨迹间的距离及子类别的分类结果，计算附加了基于所述静止指标的所述权重的子类别间的测地距离，所述区域分割部基于所述加权距离计算部计算的所述子类别间的测地距离，将静止物的子类别和移动体的子类别分离，从而将各图片上的静止物的区域和移动体的区域分割。

根据该构成，按每个子类别分类至静止物的区域及移动体的区域中的某一个。各子类别是类似的移动轨迹的部分集合。因此，能够更正确地求出移动体的区域。

优选为，所述距离计算部计算表示移动轨迹间的类似度的测地距离，所述加权距离计算部对子类别间的测地距离的代表值附加基于子类别中包含的移动轨迹的静止指标的代表值的权重，从而计算所述子类别间的测地距离。

在该构成中，对子类别间的测地距离的代表值附加权重。因此，能够简单地实现反映了静止物相似度的子类别间的测地距离的导出。

此外，也可以是，所述距离计算部计算表示移动轨迹间的类似度的线性距离，所述加权距离计算部对子类别间的线性距离的代表值附加基于子类别中包含的移动轨迹的静止指标的代表值的权重，基于加权后的子类别间的线性距离的代表值，计算所述子类别间的测地距离。

在该构成中，对子类别间的线性距离的代表值附加权重之后，计算子类别间的测地距离。因此，能够简单地实现反映了静止物相似度的子类别间的测地距离的导出。

此外，也可以是，所述加权距离计算部在两个子类别间，在所述两个子类别中包含的移动轨迹的静止指标的代表值分别是表示“移动体”及“静止物”的值时，将所述子类别间的测地距离的所述权重设定为大于1的值。

此外，也可以是，所述加权距离计算部在两个子类别间，在所述两个子类别中包含的移动轨迹的静止指标的代表值分别是表示“静止物”及“静止物”的值时，将所述子类别间的测地距离的所述权重设定为小于1的值。

此外，还可以是，所述加权距离计算部在两个子类别间，在所述两个子类别中包含的移动轨迹的静止指标的代表值分别是表示“移动体”及“移动体”的值时，将所述子类别间的测地距离的所述权重设定为1。

通过设定这样的简单的加权的规则，能够以单纯的权重设定来将移动体的区域和静止物的区域分离。

此外，也可以是，所述子类别分类部基于移动轨迹间的类似度，将各移动轨迹分类至所述多个子类别中的某一个。

此外，也可以是，所述子类别分类部基于移动轨迹间的、属于各移动轨迹的块彼此的亮度的类似度，将各移动轨迹分类至所述多个子类别中的某一个。

此外，也可以是，所述子类别分类部包含：第2距离计算部，计算所述移动轨迹间的测地距离；以及聚类部，对所述第2距离计算部计算的所述移动轨迹间的测地距离进行维度压缩，基于维度压缩后的所述移动轨迹间的测地距离，将各移动轨迹分类至所述多个子类别中的某一个。

通过进行测地距离的维度压缩，不需要大量的计算，通过在非线性空间中进行聚类，尤其能够在包含一边形状变化一边移动的人物等的图片中稳定地进行聚类。

此外，也可以是，所述子类别分类部对于所述多个移动轨迹的每一个进行非线性化，该非线性化是选择从该移动轨迹到其他移动轨迹的多个距离中的、所述规定的距离阈值以下的距离，并将未选择的距离变更为无限大的处理，然后求出从该移动轨迹到其他移动轨迹的最短路径，从而计算所述测地距离，将移动轨迹间的测地距离成为有限的值的移动轨迹的集合分类至同一子类别，从而将各移动轨迹分类至所述多个子类别中的某一个。

通过将测地距离成为无限大的移动轨迹的组设定为不连续，能够基于不连续点将移动轨迹分类至子类别。

此外，也可以是，所述静止指标计算部根据用于推定对静止物的移动轨迹成立的几何约束的移动轨迹，推定所述几何约束，并基于推定的所述几何约束，在所述距离计算部中计算用于计算距离的各移动轨迹的静止指标。

根据用于推定几何约束的移动轨迹来推定几何约束。因此，能够更稳定且正确地求出几何约束，所以能够更稳定且正确地进行移动体的检测。

优选为，上述移动体检测装置还具备摄像机运动取得部，取得对所述运动图像进行拍摄的摄像机的运动信息，所述加权距离计算部基于所述摄像机的运动的大小，使加权时的静止指标的权重变化。

具体地说，所述加权距离计算部在所述摄像机的运动越大时，使静止物的移动轨迹和移动体的移动轨迹间的距离的加权越大。

通过取得摄像机的运动信息，能够正确地进行静止指标的计算。因此，能够正确地检测移动体。

此外，也可以是，上述移动体检测装置还具备摄像机运动取得部，取得对所述运动图像进行拍摄的摄像机的运动信息，所述加权距离计算部在所述两个子类别的静止指标的代表值分别是表示“移动体”及“静止物”的值时，对所述两个子类别间的测地距离进行加权，在设所述摄像机的运动为规定的阈值以上时的权重为WB、设所述摄像机的运动小于所述规定的阈值时的权重为WS的情况下，满足WB＞WS＞1的关系。

此外，也可以是，上述移动体检测装置还具备摄像机运动取得部，取得对所述运动图像进行拍摄的摄像机的运动信息，所述加权距离计算部在所述两个子类别的静止指标的代表值分别是表示“静止物”及“静止物”的值时，对所述两个子类别间的测地距离进行加权，在设所述摄像机的运动为规定的阈值以上时的权重为WB、设所述摄像机的运动小于所述规定的阈值时的权重为WS的情况下，满足WB＜WS＜1的关系。

根据该构成，能够在摄像机的运动较大的情况和较小的情况下，适当地变更权重。因此，能够正确地检测移动体。

优选为，所述摄像机运动取得部根据针对摄像机的操作控制信号取得所述摄像机的运动信息。

通过根据摄像机的操作控制信号取得摄像机的运动信息，即使在摄像机的运动较大的情况下，也能够取得正确的摄像机的运动信息。因此，能够正确地求出移动体的区域。

此外，也可以是，所述摄像机运动取得部从车载传感器取得所述摄像机的运动信息。

例如，若能够电子地取得车轮速·舵角等车体的操作信息，则是更好的。车载摄像机的情况下，如果能够从车载传感器取得摄像机的运动信息,则能够稳定地取得摄像机的运动信息，能够正确地求出移动体的区域。另外，多数情况下，车载摄像机是固定的，所以还能够从GPS取得摄像机位置的信息。

此外，也可以是，所述加权距离计算部还通过比较所述移动轨迹的静止指标和静止指标阈值，将具有所述静止指标阈值以下的静止指标的所述移动轨迹判断为静止物的移动轨迹，将具有大于所述静止指标阈值的静止指标的所述移动轨迹判断为移动体的移动轨迹。

此外，也可以是，所述加权距离计算部包含接受静止指标阈值的阈值输入部，通过比较所述移动轨迹的静止指标和所述阈值输入部接受的所述静止指标阈值，将具有所述静止指标阈值以下的静止指标的所述移动轨迹判断为静止物的移动轨迹，将具有大于所述静止指标阈值的静止指标的所述移动轨迹判断为移动体的移动轨迹，所述区域检测部还使检测到的所述移动体区域显示在所述显示部上。

由此，能够一边确认移动体区域的检测结果，一边变更静止指标阈值，所以能够更快地决定最佳的静止指标阈值。

此外，也可以是，所述静止指标计算部还将构成所述图片的各块，以与计算的所述静止指标的值相应的显示形态显示在显示部上。

静止指标阈值可以说较大地依存于静止指标的值的分布。因此，如果能够确认静止指标的值及其在图像上的分布，则不需要将区域分割处理进行到最后，就能够调整静止指标阈值。由此，能够更快地决定最佳的静止指标阈值。

另外，本发明的移动体检测装置不仅能够通过由硬件构成各处理部来实现，还能够作为将上述各处理部所执行的处理作为步骤的移动体检测方法来实现，或作为使计算机执行移动体检测方法所包含的步骤的程序来实现，或作为保存了该程序的CD-ROM等计算机可读取的记录介质来实现，或作为在运动图像中提取或分割进行运动的目标物的区域的图像处理装置等来实现。

图1是表示本实施方式的移动体检测装置的构成的图。如图1所示，移动体检测装置100具备：图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部105、加权距离计算部106及区域分割部107。移动体检测装置100是通过进行区域分割来检测运动图像中的移动体的装置，该区域分割是确定运动图像中的移动体区域的全部或一部分的区域的处理。即，移动体检测装置100是根据与运动图像中的多个区域分别对应的多个移动轨迹来检测与移动体对应的区域的装置。在本实施方式中，移动体检测装置100将由摄像机110拍摄的运动图像作为输入来接受，检测运动图像中的移动体区域，基于检测结果来生成图片并输出。显示器120显示从移动体检测装置100输出的图片。在本说明书中，图片（picture）也称为图像。

图像输入部101是接受构成运动图像的多张图片的输入的处理部，例如是摄像机或与摄像机连接的通信接口等。

移动轨迹计算部102是基于由图像输入部101接受的多张图片，求出多张图片间的多个对应点，并作为多个移动轨迹输出的处理部。即，移动轨迹计算部102对于由图像输入部101接受的构成图片的由一个以上像素构成的块的每一个，检测构成运动图像的时间上相邻的两张图片间的该块的运动，并针对所述多张图片将检测到的运动连结，从而计算多个移动轨迹。图片间的对应点可以对图片的每1像素求出对应点，也可以对图片内的相邻的每多个像素（块）求出一个对应点。在本说明书中，某对应点不区别是对每1像素求出的还是对多个像素求出了一个。此外，将与某图片的像素i对应的其他图片的对应点及与某图片的块i对应的其他图片的对应点都称为像素i的移动轨迹。

静止指标计算部103是对由移动轨迹计算部102求出的移动轨迹的每一个应用几何约束，并求出表示各移动轨迹的静止物相似度的静止指标的处理部。即，静止指标计算部103针对构成运动图像的两张以上图片间的构成图片的由一个以上像素构成的块的运动的轨迹、即多个移动轨迹的每一个，计算表示该移动轨迹的静止物相似度的静止指标。关于在静止指标中使用的几何约束在下文中详细说明。

距离计算部104根据由移动轨迹计算部102求出的多个移动轨迹，提取N个跨T张（T≥2）图片间的对应点、即移动轨迹，通过提取的移动轨迹来计算表示两个移动轨迹间的类似度的距离。

另外，本说明书中的两个移动轨迹间的“距离”不只是对应的2维图像空间中的2点之间的距离，还包括后述的多维的数据间的算术距离。另外，一般来说，距离和类似度存在相反的关系。即，两个数据间的距离较小的情况下类似度较高，相反，两个数据的距离较大的情况下类似度较低。

此外，在本说明书中定义了“线性距离”及“测地距离”这2种距离，其中“线性距离”是指仅从两个数据间求出的距离，“测地距离”是指后述的通过经由两个数据以外的点求出的距离。

另外，本说明书中的“线性距离”是包含一般使用的“线性距离”的更广义的距离，也就是说，是表示移动轨迹间的图片座标中的位置、速度、加速度等几何类似度的指标的距离。作为“线性距离”的代表，在本说明书中将“欧几里德距离”用于以后的说明。所述的距离的详细例子在距离计算部104的说明的部分中后述。

另外，在本说明书中，“静止”、“移动”只要没有特别说明，以固定在地球（地面）上的世界座标系为基准，将世界座标系中的位置不随时间变化的对象物作为静止物、将随时间变化的对象物作为移动体来说明。但是，“静止”、“移动”的基准不限于上述情况，例如，也可以是，在通过设置于车内的摄像机对移动的车辆的内部进行拍摄的情况下等，以固定于车辆的世界座标系为基准，将位置不随时间变化的对象物作为静止物、将随时间变化的对象物作为移动体来处理。

子类别分类部105对于由移动轨迹计算部102求出的多个移动轨迹，基于轨迹间距离或速度等的类似度，将多个移动轨迹聚类为分别至少包含一个移动轨迹的多个子类别。即，子类别分类部105将跨构成运动图像的多张图片的、分别构成图片的由一个以上的像素构成的块的运动的轨迹、即多个移动轨迹分类至彼此类似的移动轨迹的集合、即多个子类别。

加权距离计算部106基于作为静止指标计算部103的输出的对各移动轨迹中附加的静止指标、作为距离计算部104的输出的各移动轨迹间的距离、作为子类别分类部105的输出的各移动轨迹属于哪个子类别的标签信息，计算以静止指标加权的子类别间的测地距离（以下适当地称为“子类别间测地距离”）。

即，加权距离计算部106基于移动轨迹间的距离，计算移动轨迹间的测地距离，基于移动轨迹的静止指标，对计算出的各测地距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于加权前，从而计算加权测地距离。

具体地说，加权距离计算部106首先求出各移动轨迹间的测地距离，然后求出子类别间的代表测地距离。此外，加权距离计算部106求出各子类别中的静止指标的代表值。加权距离计算部106根据子类别的静止指标是否超过预先决定的静止指标阈值，求出各子类别是与移动体相似还是与静止物相似，将求出的结果作为权重赋予给子类别间的代表测地距离，从而计算子类别间的测地距离。即，加权距离计算部106通过比较子类别的静止指标和静止指标阈值，将具有静止指标阈值以下的静止指标的子类别判断为静止物的子类别，将具有大于静止指标阈值的静止指标的子类别判断为移动体的子类别。静止指标的条件和加权的基准等在下文中详细说明。

最后，区域分割部107基于由加权距离计算部106计算的子类别间测地距离，进行多个子类别的区域统合（intergration），对最终得到的区域分割结果，以例如每个特定的区域成为不同的显示形态的方式，进行图像处理，并作为能够在显示器120等上显示的形式输出。即，区域分割部107基于加权距离计算部106计算的加权测地距离，将加权测地距离成为规定的阈值以上的移动轨迹彼此分类至不同的类别，从而将各图片上的静止物的区域和移动体的区域分割。

在本说明书中，“区域提取”包含以下两者：提取某特定的对象物所存在的图像区域的检测技术、以及不区别对象物是什么而将图片中的区域分割的区域分割技术。由于检测技术和区域分割技术共通的部分较多，所以在本说明书中不区分两者。

此外，在本说明书中，“移动体检测”包含如下两者：仅确定相对于成为基准的座标系移动的物体所存在的图像区域的检测技术、以及按进行相对不同的移动的每个物体将图片中的区域分割的区域分割技术。

另外，构成移动体检测装置100的各构成要素（图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部105、加权距离计算部106、区域分割部107）可以通过在计算机上执行的程序等的软件来实现，也可以通过电子电路或集成电路等硬件来实现。图2是表示通过软件实现的本实施方式的移动体检测装置的硬件构成的图。在图2中，摄像机110对图片进行拍摄并输出，计算机200取得图片并进行移动体提取处理，生成显示区域提取结果的图片。显示器120取得由计算机200生成的图片并显示。计算机200包含：I/F（接口）201、CPU（CentralProcessing Unit）202、ROM（Read Only Memory）203、RAM（Random AccessMemory）204、HDD（Hard Disk Drive）205及视频卡206。使计算机200动作的程序预先保持在ROM203或HDD205中。程序由作为处理器的CPU202从ROM203或HDD205读出到RAM204中并展开。CPU202执行展开到RAM204中的程序中的代码化的各命令。I/F201根据程序的执行，将由摄像机110拍摄的图片取入到RAM204中。视频卡206将根据程序的执行而生成的图片输出，显示器120显示该图片。

另外，计算机程序不限于半导体的ROM203或HDD205。也可以保存在例如CD―ROM中。此外，也可以经由有线或无线的网络、广播等传输并取入计算机的RAM204中。

以下，使用图3说明本实施方式的移动体检测装置100的动作。

图3是表示本实施方式的移动体检测装置100的动作的流程图。

在图3中，7个步骤S301～S307分别与图1的各处理部101～107对应。即，图像输入部101执行图像输入步骤S301、移动轨迹计算部102执行移动轨迹计算步骤S302、静止指标计算部103执行静止指标计算步骤S303、距离计算部104执行距离计算步骤S304、子类别分类部105执行子类别分类步骤S305、加权距离计算部106执行距离计算步骤S306、区域分割部107执行区域分割步骤S307的各动作。

最初，由图像输入部101执行图像输入步骤S301。即，图像输入部101从摄像机110取得构成运动图像的多个图片。在本实施方式中，从摄像机110取得的运动图像是30帧/秒的运动图像。

图4是表示拍摄状況的一例的图。此外，图5A～图5C表示通过摄像机110对图4的拍摄状況进行拍摄并取得的多个图片的例子。通过图像输入部101输入从1帧到T帧的T张（T≥2）图片。在本实施方式中，图片的数量T是预先决定的，设为30帧（T=30）。图5A表示第1帧的图片，图5C表示第T帧的图片，图5B表示第1帧和第T帧之间的帧的图片。

接着，由移动轨迹计算部102执行移动轨迹计算步骤S302。即，移动轨迹计算部102从图像输入部101输入多个图片，检测图片间的像素的运动信息（对应点），生成移动轨迹并输出。作为求出多个图片间的像素的运动信息（对应点）的方法，在此以1帧的图片上的所有像素（I个）为基准，求出从2帧到T帧的（T-1）张图片上的对应的像素。

以下，在本实施方式中，说明像素单位的处理，但是在以由多个像素构成的块为单位进行处理的情况下，通过（i）在块内对像素值进行合计，或（ii）求出块内的像素值的平均值，或（iii）求出块内的像素值的中央值，求出与块对应的数据（代表值），使用得到的代表值来进行与像素单位的处理同样的处理即可。

例如，若假设在步骤S301中输入了T张图片，则移动轨迹计算部102使用t帧和t＋1帧的两张图片，作为像素i的运动矢量推定对应点的像素座标值（x_t ⁱ，y_t ⁱ，x_t+1 ⁱ，y_t+1 ⁱ）。在此，帧不必须是连续的，例如也可以使用t帧和t＋n帧的两张图片来求出像素的运动。其中，n为1以上的整数。

作为计算上述的多个图片间的对应点的具体方法，可以使用非专利文献1或非专利文献2等中公开的方法。这些都是通过计算光流（Opticalflow）来计算运动矢量的方法，非专利文献1基于阶层性的块匹配来计算光流。由于将像素间的平滑程度作为约束条件，所以得到在相邻的光流间运动矢量平滑地变化的光流。尤其是在没有急剧的运动或遮挡的情况下，能够高效地求出正确的对应点。此外，由于能够计算推定的可靠度，所以如后所述，通过以后的处理将可靠度低于某阈值的对应点除去，从而降低错误的运动矢量相对于全部运动矢量的比例，能够进行更正确的移动体检测。

对此，非专利文献2是基于图形切断的光流计算方法，虽然计算成本较高，但是能够在图片上密集地求出正确的对应点。此外，根据该方法，还能推定遮挡的区域，所以如后述那样，通过以后的处理将位于遮挡区域的对应点除去，从而能够降低错误的运动矢量相对于全部运动矢量的比例，能够进行更正确的移动体检测。更详细的情况记载在各文献中，因此省略其详细说明。

非专利文献1：P.Anandan，“A Computational Framework and anAlgorithm for the Measurement of VisualMotion”，InternationalJournal of Computer Vision，Vol.2，pp.283-310，1989

非专利文献2：Vladimir Kolmogorov and Ramin Zabih，“ComputingVisual Correspondence with Occlusions via GraphCuts”，InternationalConferenceon Computer Vision，2001

此外，移动轨迹计算部102作为像素的运动也可以不推定所述运动矢量，而是推定仿射参数。这时，也可以对全部像素求出运动信息。此外，想要更高速地进行处理的情况下，可以将图片切割为网格，仅对于一定间隔的网格上的像素求出运动信息，也可以如上所述，将图片切割为块，对每个块求出运动信息。

此外，使用非专利文献1的公开技术来计算运动矢量的情况下，能够如前述那样计算其可靠度，所以可以仅使用具有可靠度较高的运动信息的像素。此外，使用非专利文献2的公开技术来计算运动矢量的情况下，能够如前述那样推定遮挡。因此，可以仅使用未被遮挡的像素的运动信息。

此外，作为计算像素的运动的方法，也可以不使用假设所述块的平移而计算运动矢量的方法，而使用假设块的仿射变形而计算运动矢量的方法。假设仿射变形而计算运动矢量的方法能够使用非专利文献3的公开技术来实现。

非专利文献3：Jianbo Shi and Carlo Tomasi“Good FeaturestoTrack”，IEEE Conferenceon Computer Vision and Pattern Recognition，pp593-600，1994

在上述方法中，推定相当于t帧和t＋1帧的图片的像素i附近的运动的仿射参数A_t ⁱ。对于像素i，t帧和t＋1帧中的在图片上的像素位置x_t ⁱ和x_t+1 ⁱ具有（式1）所示的关系。

【数学式1】

$x_{t+1}^i=A_t^i{x}_t^i$ (式1)

在上述方法中，尤其对于进行旋转运动的物体，与使用假设平移而计算运动矢量的方法的情况相比，能够高精度地推定像素i的运动。

此外，移动轨迹计算部102根据在时间上不同的T张图片间计算出的所述像素的对应点，来计算移动轨迹i。以下，将像素i的移动轨迹称为移动轨迹i。如图6A所示，移动轨迹计算部102基于t帧的输入图片601的像素i603a、像素k603b，受用在步骤S302中计算出的运动矢量信息602，对像素i 603a、像素k603b的运动进行追踪，求出像素i603a、像素k603b的对应点。这时，移动轨迹计算部102根据1帧的图片上的某像素i的座标值（x₁ ⁱ，y₁ ⁱ）和t帧中的像素i的对应点的像素座标值（x_t ⁱ，y_t ⁱ），如（式2）那样计算移动轨迹xⁱ。

【数学式2】

$x^i=(x_1^i,y_{1_1}^i,...,x_t^j,y_t^j,...,x_T^i,y_T^i)$ (式2)

在本实施方式中，设移动轨迹xⁱ是从1帧到T帧的跨T张图片间的对应点。

图6B表示移动轨迹的例子。输入至移动轨迹计算部102的运动图像由T张图片604构成。这时，移动轨迹xⁱ606a、x^k606b是与1帧的某像素i605a、像素k605b分别对应的、从2帧到T帧的图片上的对应点的集合。移动轨迹xⁱ606a、x^k606b通过以各图片的图片座标值为要素的矢量表示。

另外，在移动轨迹计算部102中求出图片间的对应点时，也可以不对图片的所有像素的每一个求出对应点，而是对图片内的相邻的多个像素（块）的每一个求出对应点。在本说明书中，不区别某对应点是对每1像素求出的，还是对多个像素求出一个对应点。此外，将与某图片的像素i对应的其他图片的对应点及与某图片的块i对应的其他图片的对应点都称为像素i的移动轨迹。

接着，由静止指标计算部103执行静止指标计算步骤S303。即，静止指标计算部103对于由移动轨迹计算部102计算的多个移动轨迹分别计算静止指标。在此，移动轨迹的静止指标是表示某移动轨迹是静止物上的移动轨迹的似然性的指标。

静止指标计算部103推定静止物上的移动轨迹应该满足的几何约束之后，求出表示各移动轨迹满足求出的几何约束的程度的误差，并将该误差作为静止指标。即，某移动轨迹的静止指标的值越小（误差越小），表示是静止物上的移动轨迹的似然性越高。相反，某移动轨迹的静止指标的值越大（误差越大），表示是静止物上的轨迹的似然性越低。

图7表示静止指标计算部103的构成。静止指标计算部103包含：几何约束推定部701，推定在各帧间静止物体上的对应点应该满足的几何约束；以及误差计算部702，基于几何约束，计算相对于移动轨迹的静止物相似度的偏离程度、即表示移动轨迹的移动体相似度（以下称为“移动体相似度”）的几何约束误差。

以下说明在静止指标计算部103中使用的几何约束。

关于几何约束，如图8所示，已知各种约束。

“2眼”或“3眼”表示与帧数或摄像机的数量有关的条件。“2眼”表示在两张图像间成立的约束，例如，即使使用1台摄像机，像运动图像那样将时间错开而拍摄的图像有多张即可。同样地，“3眼”表示在3张图像间成立的约束。多张图像可以从连续的不同的帧取得，在存在多台摄像机的情况下，也可以从多台摄像机分别取得1张或多张图像而利用。另外，在本实施方式中，利用从连续帧取得的图像。

对于以上的大分类，在图8中分别将代表性的约束各示出两个、计4个约束的种类。

对极约束（Epipolar Constraint）在摄像机几何约束之中是最被标准地使用的约束条件。对极约束对于稀疏的对应点有效地发挥作用，但是存在优选正确的对应点、或者帧间的摄像机位置的基线长度越大越好的特征。

图9A是用于说明对极约束的图。

投影到第1帧的图像上的点p₁ ⁱ的静止点X在第2帧的图像上投影在点p₂ ⁱ上，该点p₂ ⁱ存在于被称为核线（epipolar line）的通过核点（epipole）e₂的直线l₂上。因此，对应点p₂ ⁱ从核线l₂偏离一定阈值以上的距离的情况下，能够判定为该对应点不是静止物，而是移动体上的点。另外，一定的阈值取决于对应点的误差等噪声，但是一般来说在0～几像素的范围内设定。

对极约束通过以3×3矩阵表示的基础矩阵F_1，2如下给出。

【数学式3】

${p_2^i}^T{F}_{\mathrm{1,2}}{p}_1^i=0$ (式3)

【数学式4】

$l_2^i=F_{\mathrm{1,2}}{p_1}^i$ (式4)

【数学式5】

$l_1^i={F^T}_{\mathrm{1,2}}{p_2}^i$ (式5)

在此，p₁ ⁱ是以（x₁ ⁱ，y₁ ⁱ，1）的形式表示的第1帧的图像上的像素i的像素位置，p₂ ⁱ是同样以（x₂ ⁱ，y₂ ⁱ，1）的形式表示的、与p₁ ⁱ对应的第2帧的图像上的对应点像素位置。l₁ ⁱ，l₂ ⁱ是核线。

一般来说，在基础矩阵F（（式5）中，基础矩阵F_1，2）是以8点法、6点法等，通过RANSAC（RANdom SAmple Consensus）等的重复计算来推定的。尤其是，在场景中立体点较多的情况下，使用根据8点的对应点来计算基础矩阵F从而求出并推定的8点法，在平面上的点较多的情况下，利用单应（Homography）矩阵来求出核点的6点法，能够更稳定地推定基础矩阵F。

图9B是用于说明单应约束的图。

单应约束例如是以平面来假定被摄体的情况、或者摄像机的运动仅为旋转的情况下等成立的约束条件。单应约束在摄像机运动较小时也可以，或适用于噪声较强且密集的对应点。

如图9B所示，关于投影有某场景平面π上的点Xπ的第1帧的图像上的点p₁ ⁱ和第2帧的图像上的点p₂ ⁱ，基于以3×3矩阵表示的单应矩阵H_1，2的以下的变换式成立。

【数学式6】

$p_2^i=H_{\mathrm{1,2}}{p}_1^i$ (式6)

在此，p₁ ⁱ是以（x₁ ⁱ，y₁ ⁱ，1）的形式表示的第1帧的图像上的点p₁的像素位置，p₂ ⁱ是同样以（x₂ ⁱ，y₂ ⁱ，1）的形式表示的、与点p₁对应的第2帧的图像上的点p₂的像素位置。一般来说，单应矩阵H（在（式6）中为H_1，2）可以使用平面上的4点以上的点，使用RANSAC等从图像来推定。

因此，如果对应点从变换式偏离，则3维点Xπ从平面偏离。将场景假定为平面的情况下，静止指标计算部103判定为从单应变换式偏离的对应点是移动体上的点。

三重线性（Trilinear）约束将在2眼间成立的对极约束发展为3眼间的约束条件而成。三重线性约束在考虑与某空间的静止点对应的3张帧的图像上的对应点的情况下，施加如下约束条件：使将第1帧的摄像机中心和第1帧的图像上的对应点连结的直线、将第2帧的摄像机中心和第2帧的图像上的对应点连结的直线、以及将第3帧的摄像机中心和第3帧的图像上的对应点连结的直线在1点交叉。该约束通过被称为三焦距张量（trifocaltensor）的张量来表现，对于在第1帧的图像上投影为点p₁ ⁱ、在第2帧的图像上投影为点p₂ ⁱ、在第3帧的图像上投影为点p₃ ⁱ的某3维空间上的静止点X，通过以3×3矩阵表示的张量T_j（j=1～3），以下的（式7）成立。

【数学式7】

${(p_2^i\×\left(\underset{j}{\mathrm{\Σ}}{p_1^i}^{\left(j\right)}{T}_j\right))}^T\×p_3^i=0_{3\×3}$ (式7)

在此，设p₁ ^i(j)表示p₁ ⁱ的第j个成分。此外，0_3×3是所有成分为0的3×3的矩阵。一般来说，T_j使用7点的对应点对线型方程式进行求解，能够通过进行基于LMedS等的重复计算来求出。

对极约束、单应约束、三重线性约束的更详细的说明记载在非专利文献4中，因此省略详细说明。

图10是用于说明构造一致性约束（Structure ConsistencyConstraint）的图。

构造一致性约束将单应约束进一步发展而成，使用距离被称为投影深度（Projective Depth）的单应面π的相对深度，并作为静止物的约束条件。如图10所示，将第1帧的图像上的点x上显示的3维点X直接投影到第2帧的图像上的点为点x’，但即使X是以Xπ’表示的平面π上的点，在第2帧的图像上，也被投影在点x’上。这时，在第1帧的图像上，Xπ’被拍摄到点x～。X沿着将x’和Xπ’连结的直线，越远离平面π，则x～和x之间的距离越大。这时，如图10所示，x、x～、x’及核点e、e’分别肯定存在于由第1帧中的摄像机110的位置C1及第2帧中的摄像机110的位置C2和点X构成的平面上。即，通过着眼于点x及核点e的距离与点x～及核点e的距离之比，能够实现以参照平面π为基准的相对深度表现（投影深度）。

这时，投影深度的值k₁₂ ⁱ通过以下的式子计算。

【数学式8】

${k_{12}}^i=\frac{{(H_{21}{p_2}^i\×{p_1}^i)}^T({p_1}^i\×e_1)}{{\left|\right|{p_1}^i\×e_{12}\left|\right|}^2}$ (式8)

在此，p₁ ⁱ是以（x₁ ⁱ，y₁ ⁱ，1）的形式表示的第1帧的图像上的点的像素位置。e₁是以（u，v，1）的形式表示的、第1帧的图像上的核点的像素位置。H₂₁表示对于参照平面π上的点，将第2帧的图像上的点投影到第1帧的图像上的点的3×3的单应矩阵，p₂ ⁱ是以（x₂ ⁱ，y₂ ⁱ，1）的形式表示的、与p₁ ⁱ对应的第2帧的图像上的点的像素位置。由此，对于对应点所存在的全部像素，能够求出投影深度k₁₂ ⁱ。

在此，为了推定针对静止物的几何约束，最低需要使用3帧的图像。点X静止时，如下所示，对于图像上的点和投影深度，基于4×4矩阵G_{1，2， 3}的以下的双线性的约束式成立。

【数学式9】

${{\tilde{P}}_{\mathrm{2,3}}^i}^T{G}_{\mathrm{1,2,3}}{\tilde{P}}_{\mathrm{1,2}}^i=0$

${\tilde{P}}_{\mathrm{1,2}}^i=(x_1^i,y_1^i,k_{12}^i),{\tilde{P}}_{\mathrm{2,3}}^i=(x_2^i,y_2^i,k_{23}^i)$ (式9)

另外，p₁ ⁱ和p₂ ⁱ如前所述，设为处于对应点关系，k₂₃ ⁱ与k₁₂ ⁱ同样，是在第2帧的图像和第3帧的图像的对应点之间求出的投影深度。

因此，根据图像来推定该G_1，2，3，求出在图像中不满足约束式的像素，从而对于各像素，能够推定属于静止物和移动体的哪一个。G_1，2，3能够使用15点，通过基于LMedS等的重复计算等来推定。

关于构造一致性约束，更详细的说明记载在非专利文献5中，因此省略更详细的说明。

非专利文献4：Richard Hartley and Andrew Zisserman，“Multiple-View Geometry in Computer Vision”，seconded.CambridgeUniv.Press，2003

非专利文献5：Chang Yuan，Gerard Medioni，Jinman Kang and Isaac Cohen，“Detecting Motion Regions in the Presence of a Strong Parallax froma Moving Camera by Multiview Geometric Constraints”，IEEE Transactions On Pattern Analysis and Machine Intelligence，Vol.29，No.9，September2007

以上是在静止指标计算部103中使用的几何约束的例子。

几何约束推定部701推定上述的几何约束。使用哪个几何约束可以根据场景及状況由利用者来选择。

利用单应约束的情况下，根据图像推定单应H，使用对极约束的情况下，推定基础矩阵F，使用构造一致性约束的情况下，推定矩阵G，并分别输出至误差计算部702。

误差计算部702基于由几何约束推定部701推定的几何约束，计算表示与各像素对应的移动轨迹的静止物相似度的静止指标E。

不满足几何约束的点可以说是静止物的可能性较低，所以基于推定的几何约束，所以作为静止物相似度的静止指标E，计算相对于与各像素对应的移动轨迹的静止物相似度的偏离程度、即表示移动体相似度的几何约束误差。静止指标E利用针对静止物理想地成为0的评价值。

在本实施方式中，作为用于计算静止指标E的几何约束，利用对极约束。具体地说，作为关于某像素i的从第1帧到第T帧的静止指标E（i），使用以下的（式10）。

【数学式10】

$E\left(i\right)=\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}\left|{p_{t+1}^i}^T{F}_{t,t+1}{p}_t^i\right|$ (式10)

另外，利用单应约束的情况下，将以下的式子的值作为静止指标E（i）即可。图像平面上的最投影误差成为评价值。

【数学式11】

$E\left(i\right)=\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}|p_{t+1}^i-H_{t,t+1}{p}_t^i|$ (式11)

另外，利用构造一致性约束的情况下，将以下的式子的值作为静止指标E（i）即可。双线性约束式的值成为评价值。

【数学式12】

$E\left(i\right)=\underset{t=1}{\overset{T-2}{\mathrm{\Σ}}}\left|{{\tilde{P}}_{t+1,t+2}^i}^T{G}_{t,t+1,t+2}{\tilde{P}}_{t,t+1}^i\right|$ (式12)

当然，除了这里举出的例子以外，只要是对于静止物取0，对于移动体取0以外的值的指标，就可以作为静止物相似度的静止指标E来利用。即，只要是相对于静止物上的移动轨迹理想地成为0的评价值，并且相对于越不相似于静止物的例如以更快速度移动的移动体上的移动轨迹、取从0向＋方向变大的评价值的指标，就可以将该评价值作为静止指标E来利用。

另外，在此示出了作为静止指标E而使用单一的几何约束的例子，但是也可以将多个几何约束及几何约束误差同时加入静止指标E来利用。例如，同时利用单应约束和对极约束的情况下，能够通过以下的（式13）求出静止指标E。在此，λ₁和λ₂是用于指定各几何约束误差值的平衡的值，例如可以都设为1。在单一的几何约束误差中，虽然会产生误差灵敏度较低的部分，但是通过利用多个误差，能够弥补误差灵敏度的偏差，能够更稳定地求出静止指标E的值。

【数学式13】

$E\left(i\right)={\mathrm{\λ}}_1\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}\left|{p_{i+1}^i}^T{F}_{t,t+1}{p}_t^j\right|+{\mathrm{\λ}}_2\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}|p_{t+1}^i-H_{t,t+1}{p}_t^i|$ (式13)

在图11A中示出了表示移动轨迹的静止物相似度的静止指标E的例子。在图中，表示移动轨迹的静止物相似度的静止指标E的大小通过箭头的线的粗细来表示。即，如图11B所示，箭头的线越细，则静止指标E越小，与静止物越相似。另外，由于摄像机自身向前方移动，所以在背景的移动轨迹中也产生较大的运动。此外，箭头的方向表示移动轨迹的方向。

如图11A所示，几乎所有情况下，在移动体上的移动轨迹中，静止指标E成为较大的值，在背景上的移动轨迹中，静止指标E成为较小的值。例如，右侧的步行人物1101的脚部上的移动轨迹中的静止指标Ei较大（例如使用KLT（Kanade-Lucas-Tomasi）对应点和对极约束的情况下，虽然也依存于运动的大小，但是例如静止指标Ei为5左右），背景上的移动轨迹中的静止指标Ej变小（例如使用KLT对应点和对极约束的情况下，即使较大，静止指标Ej也为0.5左右）。左右，在移动体上的移动轨迹和静止物上的移动轨迹中，静止指标E的大小较大地不同的情况下，基于静止指标E，可以说能够区别移动体上的移动轨迹和背景上的移动轨迹。

但是，即使是移动体上的移动轨迹，也有时偶然地接近背景上的移动轨迹，结果静止指标E变小。例如，左侧的步行人物1102上的移动轨迹的静止指标Ek偶然地成为与背景类似的轨迹，所以静止指标E的值变小。此外，即使是背景上的移动轨迹，有时也由于移动轨迹计算的误差而静止指标E的值变大。这样，有时在表示移动轨迹的静止物相似度的静止指标E中，移动体上的移动轨迹的静止指标（例如Ek）和背景上的移动轨迹的静止指标（例如Ej）的值接近。结果，有时即使是移动体上的移动轨迹，却作为背景而被误检测。

为了防止这样的误检测，在本实施方式中，除了表示移动轨迹的静止物相似度的静止指标之外，还加入移动轨迹间的类似度而对移动轨迹进行聚类，从而实现了稳定地检测移动体。更具体地说，将表示移动轨迹的静止物相似度的静止指标作为向后述的基于移动轨迹间的类似度的聚类的加权来使用。

接着，由距离计算部104执行距离计算步骤S304。即，距离计算部104使用由移动轨迹计算部102计算的多个移动轨迹xⁱ，计算表示移动轨迹间的类似性的距离。即，分阶段地计算像素i的移动轨迹和像素j的移动轨迹间的欧几里德距离f（i，j）及测地距离g（i，j）。在此，欧几里德距离、测地距离都是表示移动轨迹的类似性的距离，所以在完全相等的移动轨迹间中都为0，相反，移动轨迹间的类似性越低，越是取正的更大的距离值（包含∞）的距离。

以下，参照图12，说明在距离计算部104中计算表示移动轨迹间的类似度的距离的方法。

图12（a）是表示距离计算部104的构成的一例的图。距离计算部104包含欧几里德距离计算部1201和移动轨迹间测地距离计算部1202。

根据图12（a）的构成，欧几里德距离计算部1201通过（式14）计算像素i的移动轨迹和像素j的移动轨迹的欧几里德距离f（i，j）。

【数学式14】

$f(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ (式14)

(其中 $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$ )

在此，通过（式14）计算的欧几里德距离f（i，j）为便于表示，对所有移动轨迹间进行了定义，但是作为欧几里德距离成为有限的值的仅为N个移动轨迹xⁱ之间。

另外，本实施方式中的欧几里德距离通过（式14）计算，但不限于该式。欧几里德距离与（式14）同样地，只要是表示移动轨迹间的图片座标中的位置、运动、加速度、旋转速度等几何类似度的指标即可，例如也可以使用下述的（式15）。

【数学式15】

$f(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t+w\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-\stackrel{\‾}{d})}^2}$ (式15)

(其中 $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2},$ $\stackrel{\‾}{d}=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ )

在（式15）中，w是权重系数，是设计者设定的参数。上述（式15）的移动轨迹间的欧几里德距离f（i，j）是在移动轨迹间的图片座标的距离的时间平均上加上了图片座标的距离的时间变动成分而得到的距离。尤其是，移动轨迹间距离的时间变动成分表示移动轨迹的运动的类似度，由此，即使在伴随着形状变化的情况下，也能够更正确地捕捉移动轨迹间的类似度。

将通过以上的顺序计算的移动轨迹间的欧几里德距离f（i，j）的集合作为欧几里德距离矩阵F_dist表示。

【数学式16】

F_dist＝{f(i，j)}         (式16)

接着，距离计算部104的移动轨迹间测地距离计算部1202根据移动轨迹间的欧几里德距离f（i，j），计算测地距离g（i，j）。

以后，详细说明在移动轨迹间测地距离计算部1202中，根据欧几里德距离f（i，j）计算测地距离g（i，j）的动作。

首先，移动轨迹间测地距离计算部1202使用对欧几里德距离计算部1201计算的欧几里德距离f（i，j）预先决定的阈值R，计算以（式17）表示的非线性化的距离f′（i，j）。

【数学式17】

(式17)

接着，移动轨迹间测地距离计算部1202根据非线性化的距离f′（i，j），计算测地距离。“测地距离”是指，对于在某空间中定义的多个数据点，得到这些数据点间的连接及连接的数据点间的距离时，将某两个数据点间连结得到的所有路径的距离中的最短的距离。

因此，移动轨迹间测地距离计算部1202计算从第i的移动轨迹xⁱ到第j的移动轨迹x^j的测地距离时，将其他多个移动轨迹的某一个作为中继点，将从第i移动轨迹xⁱ抵达第j移动轨迹x^j的所有路径中的最短的路径作为测地距离来计算。

例如，设得到了将移动轨迹xⁱ和移动轨迹x^j的2点间直接连结的节点的距离f′（i，j）。这时，将移动轨迹xⁱ和移动轨迹x^j的2点间连结的路径在将2点直接连结的节点以外，还有途径其他移动轨迹x^s的路径。设该路径的距离为f′（i，s）＋f′（s，j）。这样的将移动轨迹xⁱ和移动轨迹x^j的2点间连结的路径有多个，在这些距离之中，将最短的距离作为测地距离g（i，j）来计算（式18）。

【数学式18】

g(i，j)＝min(f′(i，j)，f′(i，s)+f′(s，j)，....)(式18)

在（式18）中，min（x，y，…）是将值x和值y等中的最小的值返回的函数。此外，s是移动轨迹x^s，是用于从移动轨迹xⁱ抵达移动轨迹x^j的中继点。在此，f′（i，s）＋f′（s，j）中的中继点s不限于1点。

上述的测地距离的计算中的搜索2点间的最短路径的方法的详细情况，例如有众所周知的非专利文献6的迪杰斯特拉算法，所以在此省略处理顺序的详细说明。

非专利文献6:E.W.Dijkstra，“A note on two problems in connexionwith graphs”，Numerihe Mathematik，pp.269-271，1959

通过上述的顺序，移动轨迹间测地距离计算部1202根据长时间持续的移动轨迹间的欧几里德距离f（i，j）计算测地距离g（i，j）。另外，测地距离的计算方法不限于所述（式17）及（式18）。

另外，欧几里德距离和测地距离的最大不同点为，求出距离的2数据点和其他数据点之间的关系。欧几里德距离不被其他数据点的状态左右，仅根据两个数据点来定义，与此相对，测地距离作为包含两个数据点、以及位于将两个数据点间连结得到的路径上的其他数据点的距离来定义，即，可能受到其他数据点的状态的影响。

将计算出的移动轨迹间的测地距离g（i，j）的集合作为测地距离矩阵G_dist来表示（式19）。

【数学式19】

G_dist＝{g(i，j)}    (式19)

通过以上的顺序，移动轨迹间测地距离计算部1202计算表示N个移动轨迹间的类似度的测地距离g（i，j），并作为测地距离矩阵G_dist输出。

使用图13A～图13C的概念图，详细说明根据上述的多个移动轨迹间的欧几里德距离计算测地距离的处理。

图13A是表示图片上的多个移动轨迹的一例的图。另外，移动轨迹在背景区域也进行计算，但是为便于表示，在此未图示背景区域的移动轨迹。

图13B是表示分别在（式2）中示出的多个移动轨迹的数据的分布的图。图13B中的“×”印的各数据点相当于在（式2）中示出的像素i的移动轨迹xⁱ。移动轨迹xⁱ是由独立的T×两个变量构成的矢量。因此，移动轨迹本来是最大为（T×2）维空间的数据，但是在图13B中为便于表示，作为3维空间的点表示。

图13B中的箭头1301表示由（式14）得到的移动轨迹xⁱ和移动轨迹x^j之间的欧几里德距离f（i，j）。即，数据点i与数据点j的欧几里德距离1301成为将数据间直接连结而得到的距离。

另一方面，图13C中的箭头1302表示由（式18）得到的移动轨迹xⁱ和移动轨迹x^j之间的测地距离g（i，j）。如图13C所示，数据点i和数据点j的测地距离1302是途径中继的数据点s而得到的距离。

接着，使用图14（a）及图14（b）的概念图，详细说明欧几里德距离f（i，j）和通过（式18）计算的测地距离g（i，j）的特征。

对于图片内的移动体，通过图14（a）中的箭头1401表示头部的移动轨迹xⁱ与手指部的移动轨迹x^j的欧几里德距离。从同图可知，移动轨迹间的欧几里德距离1401仅依存于求出距离的对象的两个移动轨迹xⁱ、x^j，与其他移动轨迹是无关系的距离。

另一方面，图14（b）表示头部的移动轨迹xⁱ与手指部的移动轨迹x^j的测地距离1402。这种情况下，不仅求出距离的对象的两个移动轨迹xⁱ、x^j，如粗箭头1402所示，还经由包含x^s在内的附近的多个移动轨迹而抵达移动轨迹x^j。因此，测地距离1402是经由的多个移动轨迹间的距离的和，所以受到移动轨迹xⁱ、x^j以外的移动轨迹的影响。

换言之，图14（a）的欧几里德距离1401完全未反映其他移动轨迹的分布。因此，在人物这样以关节连接的移动体中，移动轨迹间的距离取不依存于其形状的值。与此相对，在图14（b）所示的测地距离1402中，成为反映了其他移动轨迹的距离。因此，在以关节连接的移动体中，移动轨迹间的距离取依存于移动体的形状的值。即，关节中的连接作为信息包含在距离中，所以也能够用于人这样的形状变化的移动体检测。

如前述所述，（式2）所示的移动轨迹xⁱ是在数学上最大为（T ×2）维度空间的数据。但是，实际根据图片求出的移动轨迹如图13B及图13C这样，具备仅局限于（T×2）维度空间的一部分的性质，这通过发明人的实验得到了确认。对于具备这样的性质的移动轨迹，作为表示多个移动轨迹间的类似度的距离的尺度，和与数据的分布无关系仅求出2数据间的距离的结果即欧几里德距离（图14（a）的欧几里德距离1401）相比，反映了附近的数据的疏密的测地距离（图14（b）的测地距离1402）更加合适。

另外，在移动轨迹间测地距离计算部1202中，作为根据欧几里德距离求出测地距离的方法，示出了使用（式17）及（式18）的方法，但是测地距离的计算方法不限于此。

例如，代替预先决定的K个阈值Rk，使用预先决定的K个阈值Nk。并且，也可以是，作为根据欧几里德距离f（i，j）求出非线性化的距离f′k（i，j）的处理，也可以进行以下的处理。即，代替将阈值Rk以上的欧几里德距离f（i，j）置换为无限大的（式17）的处理，而在某移动轨迹xi和其他（I-1）个移动轨迹的欧几里德距离f（i，j）之中，将比从小开始第Nk个欧几里德距离大的欧几里德距离置换为无限大，从而计算非线性化的距离f′k（i，j）。

此外，也可以代替将欧几里德距离置换为无限大的处理，而将比从小开始第k个与移动轨迹的欧几里德距离大的与移动轨迹的欧几里德距离置换为无限大，从而计算非线性化的距离f′k（i，j）。

接着，由子类别分类部105执行子类别分类步骤S305。即，子类别分类部105通过亮度或移动轨迹的类似度等的某个指标，对由移动轨迹计算部102计算的移动轨迹的集合进行聚类，从而生成子类别。

在本实施方式中，子类别分类部105如图15所示，包含：欧几里德距离计算部1501，求出移动轨迹间的欧几里德距离；以及聚类部1502，基于欧几里德距离进行聚类。

欧几里德距离计算部1501的处理与距离计算部104中的欧几里德距离计算部1201完全相同，所以在此省略说明。

聚类部1502使用由欧几里德距离计算部1501计算的移动轨迹i与移动轨迹j的欧几里德距离f（i，j），按照f（i，j）从小到大的顺序，将移动轨迹i和移动轨迹j作为同一类别收敛，通过重复处理来进行聚类。

如图16A的移动轨迹a～h所示，即使移动轨迹在同一被摄体上，由于姿势变化而每个部位彼此不同。但是，只要是以关节连接的物体，特别是附近的移动轨迹能够假定为保持着较高的类似性。在此，较高的类似性是指，移动轨迹i和移动轨迹j的欧几里德距离f（i，j）较小。此外，欧几里德距离f（i，j）较小可以解释为，移动轨迹i和移动轨迹j在由移动轨迹构成的高维空间上以近距离分布。

图16B表示由移动轨迹构成的高维空间的概念图。在概念图中，为便于说明说明而设为3维空间，但实际上（式2）所示的矢量的各要素与各维度对应。即，高维空间是维数为2×T的空间。此外，为简化说明，将移动轨迹设为移动轨迹a～h这8条，但实际上，可以使用对每个像素求出的移动轨迹，也可以使用以块为单位求出的移动轨迹。在此，图16B所示的由移动轨迹构成的高维空间上的数据点分别与（式2）所示的一个移动轨迹对应。即，不仅1张图片上的区域，还与跨时间上不同的多张图片对像素进行追踪的结果对应。

并且，通过由移动轨迹构成的高维空间上的分布的连续性，对移动轨迹进行聚类，从而基于移动轨迹间的距离的不连续性进行聚类。结果，能够期待各类别与个别的被摄体或被摄体的一部分对应，能够进行被摄体的检测和区域分割。

首先，分割的各区域如下表现。

【数学式20】

θ＝{θ₁，...θ_m...θ_M}       (式20)

在此，M是区域数，根据利用的场景来经验性地决定。

首先，子类别分类部105按照欧几里德距离f（i，j）从小到大的顺序，进行将相互不同的移动轨迹i和移动轨迹j设为同一区域标签θ_m的处理。在进行了该处理的基础上，在移动轨迹i或移动轨迹j的一方已经属于区域θ_k的情况下，使尚未附有区域标签的像素也属于区域θ_k。此外，移动轨迹i和移动轨迹j已经分别属于不同的区域的情况下，对区域标签进行统合。接着，判断是否对所有移动轨迹附加了标签，并且区域数成为规定的M，不满足该条件的情况下，按照前述的欧几里德距离f（i，j）从小到大的顺序，重复将移动轨迹i和移动轨迹j设为同一区域标签θ_m的处理。另外，对于属于各区域的移动轨迹的数量成为阈值T_cluster个以下的区域，作为偏离值（Outlier）处理，在之后的处理中不使用而废弃。

使用图16C、图16D说明子类别分类处理的具体例。为简单起见，说明设M=2的情况（图16C）和设M=3的情况（图16D）。在实际的子类别分类时，利用将移动体的区域分割为充分细的单位的、更大的M。在此，在图16A～图16D的例子中，设移动轨迹a和移动轨迹b的距离为f（a，b）时，f（a，b）＜f(g，h）＜f（d，e）＜f（b，c）＜f(f，g)＜f（c，d）。首先，使用图16C说明M=2的例。由于移动轨迹a和移动轨迹b的距离f（a，b）最小，所以子类别分类部105对移动轨迹a和移动轨迹b附加同一区域标签θ₁。接着，由于移动轨迹g和移动轨迹h的距离f（g，h）第二小，所以子类别分类部105对移动轨迹g和移动轨迹h附加同一区域标签θ₂。进而，子类别分类部105对距离第3小的移动轨迹d和移动轨迹e附加同一区域标签θ₃。下一距离较小的是移动轨迹b和移动轨迹c的距离f（b，c）。在此，移动轨迹b已经附有标签，所以子类别分类部105对移动轨迹c附加与移动轨迹b相同的区域标签θ₁。下一距离较小的是移动轨迹f和移动轨迹g的距离f（f，g）。子类别分类部105与f（b，c）的情况同样地，对移动轨迹f附加与移动轨迹g相同的区域标签θ₃。在此，设M=3的情况下，所有移动轨迹都附有标签，判断为M=3，所以结束处理。

设定了M=2这一条件的情况下，在当前的类别分类中，不满足该条件。因此，子类别分类部105对于下一较小的距离的移动轨迹c和移动轨迹d，再次对移动轨迹c所属的区域标签θ₁和移动轨迹d所属的区域标签θ₃进行统合。此外，子类别分类部105对移动轨迹a至e附加区域标签θ₁。在此，判断为所有移动轨迹都附有标签，且M=2，所以结束处理。

在本实施方式中，通过对移动轨迹计算（式14）或（式15）这样的距离，能够进行考虑了像素的位置和运动的类似性的区域分割。因此，在图16C这样的例中，M=2的情况下，反映了左侧的人物的运动与背景的运动相对类似，移动轨迹被分离为右边的人物和背景及左边的人物这两个。此外，图16D的M=3的情况下，在M=2的情况之外，还反映了左侧的人物的运动和背景的运动的差异，能够将移动轨迹分离为背景、左边的人物、右边的人物。同样地，通过利用更大的M，能够将移动轨迹聚类到在子类别内不包含关节的细小的小区域。

这样，通过对类似的移动轨迹依次附加区域标签，能够将在高维空间上连续的移动轨迹判断为一个类别，将移动轨迹间的距离较大处作为不连续点，分离为各自的类别。并且，能够将属于各类别的移动轨迹用于移动体检测。

另外，在以上的说明中，子类别分类部105通过亮度或移动轨迹的类似度等的某一指标，对由移动轨迹计算部102计算的移动轨迹的集合进行聚类，从而生成子类别，但是子类别并不一定要包含多个移动轨迹。即，也可以进行子类别分别由一个移动轨迹构成的子类别分类。

接着，由加权距离计算部106执行距离计算步骤S306。加权距离计算部106如图17所示，包含代表测地距离计算部1701和静止指标附加部1702。

代表测地距离计算部1701基于由距离计算部104计算的测地距离、欧几里德距离，计算由子类别分类部105生成的子类别间的测地距离的代表值（代表测地距离）。接着，静止指标附加部1702基于由静止指标计算部103计算的各像素的静止指标，求出包含在各子类别中的移动轨迹的表示静止物相似度的静止指标，基于求出的表示静止物相似度的静止指标，对代表测地距离计算部1701计算的各子类别间的代表测地距离进行加权。

首先，详细说明代表测地距离计算部1701的动作。

图18表示由子类别分类部105生成的多个类别中的、接近的两个子类别θ_i、θ_j。另外，为简单起见，在以下的说明中，将“子类别”仅标记为“类别”。

设类别θ_i、θ_j中包含的移动轨迹的集合分别为I、J，设类别θ_i、θ_j所包含的移动轨迹的个数分别为Ni、Nj，则I、J由以下的（式21）、（式22）表示。

【数学式21】

$I=(x^{i_1},x^{i_2},...,x^{i_{\mathrm{ni}}},...,x^{i_{\mathrm{Ni}}})$ (式21)

【数学式22】

$J=(x^{j_1},x^{j_2},...,x^{j_{\mathrm{nj}}},...,x^{j_{\mathrm{Nj}}})$ (式22)

另外，（式21）、（式22）中包含的xⁱ与（式2）同样，是以多维矢量的形式表示的移动轨迹。

在此，将在I中包含的移动轨迹和J中包含的移动轨迹间求出的距离定义为类别间距离。在此，设“距离”是指同时包含欧几里德距离和测地距离的概念。

图18表示类别间测地距离的代表值（代表测地距离）的概念图。从类别θ_i选择了移动轨迹xⁱ³1801、从类别θ_j选择了移动轨迹x^j11802的情况下，该2移动轨迹间的测地距离作为g₃₁（=g（i₃，j₁））求出。若对其计算I，J间的所有移动轨迹的组合，则得到以下的（式23）所示的多个测地距离g。

【数学式23】

g(i，j)＝(g₁₁，g₁₂，..，g_NiNj)    (式23)

本说明书中的移动体区域检测着眼于I、J所示的类别内的单一移动轨迹的集合，基于类别单位的宏（macro）距离进行动作，从而能够应对由于以像素为单位进行处理而产生的静止指标的噪声·误检测。因此，优选为计算类别间距离的代表值。即，优选为类别间距离的代表值对于多个类别，是能够对各类别间的运动或位置的关系进行近似的代表值。

对于满足前述的优选条件的代表距离，能够将各类别的移动轨迹间的测地距离的平均值作为代表值使用。这是在多个类别间，求出与各类别包含的移动轨迹间的全部组合对应的多个测地距离，并进行平均而得到的。这种情况下，代表测地距离G（θ_i，θ_j）能够通过以下的（式24）计算。

【数学式24】

$G({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\frac{1}{N_i{N}_j}\underset{j\⋐N_j}{\overset{N_i,N_j}{\underset{i\⋐N_i,}{\mathrm{\Σ}}}}g(i,j)$ (式24)

另外，在（式24）中，在测地距离之中包含取无限大的距离的情况下（g（i，j）=∞的距离），从平均值的计算中将这些点除去。

或者，也可以是，根据所有g（i，j）求出分别除去了无限大的最大值gmax，将g（i，j）=∞的距离置换为gmax而进行平均值的计算。或者，也可以是，仅再次重新进行测地距离的计算，以使g（i，j）≠∞。

另外，该代表测地距离不限于测地距离的平均值。

如下所示，能够将各类别的移动轨迹间的测地距离的中央值作为代表值使用。这是在多个类别间，求出与各类别所包含的移动轨迹间的全部组合对应的多个测地距离，取它们的中间值而得到的。对于欧几里德距离的代表值，也能够同样地求出并使用。这种情况下，代表测地距离G（θ_i，θ_j）能够通过以下的（式25）计算。

【数学式25】

$G({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{median}{\left[g(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i}$ (式25)

另外，在（式25）中，

【数学式26】

$\mathrm{median}{\left[g(i,j)\right]}_{j\⋐\mathrm{Nj}}^{i\⋐\mathrm{Ni}}$ (式26)

式（26）是将具有与整数标签i（i=1～Ni）、整数标签j（j=1～Nj）对应的多个值的g（i，j）的中央值返回的函数。

另外，在测地距离之中包含取无限大的距离的情况下（g（i，j）=∞），与前述的平均值的计算同样，从中央值的计算中将这些点除去。或者，也可以是，根据所有g（i，j）求出分别将无限大除去的最大值gmax，将g（i，j）=∞的距离置换为gmax而进行中央值的计算。或者，仅再次重新进行测地距离计算，以使g（i，j）≠∞。

此外，如以下的（式27）所示，作为代表测地距离，可以将各类别的移动轨迹间的测地距离的频率最高值作为代表值使用。这些代表值是在多个类别间求出与各类别所包含的移动轨迹间的全部组合对应的多个测地距离时，其中出现频率最高的值。

【数学式27】

$G({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{mode}{\left[g(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i}$ (式27)

另外，在（式27）中

【数学式28】

$\mathrm{mode}{\left[g(i,j)\right]}_{j\⋐\mathrm{Nj}}^{i\⋐\mathrm{Ni}}$ (式28)

式（28）是将具有与整数标签i（i=1～Ni）、整数标签j（j=1～Nj）对应的多个值的g（i，j）的频率最高值返回的函数。

另外，在测地距离之中包含取无限大的距离的情况下（g（i，j）=∞），与前述的平均值的计算同样，从频率最高值的计算将这些点除去。或者，也可以是，根据所有g（i，j）求出分别将无限大除去的最大值gmax，将g（i，j）=∞的距离置换为gmax而进行频率最高值的计算。或者，也可以是，仅再次重新进行测地距离计算，以使g（i，j）≠∞。

接着，详细说明静止指标附加部1702的动作。静止指标附加部1702基于属于各类别的移动轨迹的静止指标，对各类别间的代表测地距离G进行加权。以下，参照图19A～图19E进行说明。

图19A是将分别属于移动体及背景上的移动轨迹的例重叠在场景图像上而示出的概念图。为了容易理解，对与左侧的人物A对应的移动轨迹赋予“□”、对与右侧的人物B对应的移动轨迹赋予“△”、对与背景对应的移动轨迹赋予“×”来示出。另外，在图19A中仅示出了代表性的8条移动轨迹，但是实际上存在更多数量的移动轨迹。再次，为了便于观察，省略了其他移动轨迹。

图19B是对于存在于图19A中的场景中的移动轨迹，在高维空间上示出将由子类别分类部105进行了类别分类的结果。在此，为了容易观察，也在2维空间上示出代表性的移动轨迹。

场景中的移动轨迹作为在移动体和背景等被摄体自身的运动成分中加入了摄像机的运动成分而得到的轨迹被观测。因此，摄像机的运动越大，在移动轨迹的分布（例如图19B所示的移动轨迹的分布）中摄像机运动成分越占主导，难以区分移动体上的移动轨迹和背景的移动轨迹。

例如，如图19A所示，摄像机自身向前方较大地移动的情况下，背景成为以源点为中心的放射状的移动轨迹。结果，如图19B所示的移动轨迹的分布，有时移动体上的移动轨迹和背景的移动轨迹的类似度及移动体上的移动轨迹的子类别和背景的移动轨迹的子类别之间的类似度相对变高，即测地距离变短。换言之，摄像机的运动越大，在图19B所示的移动轨迹的分布中，背景的移动轨迹的分布和移动体的移动轨迹的分布越接近，无法对背景的子类别和移动体的子类别进行分离统合。

此外，图19C表示静止指标附加部1702对各移动轨迹进行静止或移动的判定的结果。图19C上所示的移动轨迹与图19B所示的移动轨迹相同的轨迹分别显示在2维空间上的相同位置。

在此，设表示各移动轨迹的静止或移动的判定结果的指标设为静止判定值E_MS。静止指标附加部1702在各移动轨迹的静止指标E大于某设定的阈值TH_MS的情况下，判定为移动体，即静止判定值E_MS=1，在其以外的情况下，判定为是静止物，即静止判定值E_MS=0（式29）。阈值TH_MS可以通过场景或经验由利用者设定，但是在此设定为TH_MS=10^-5。

【数学式29】

(式29)

另外，用于静止或移动的判定的静止判定值E_MS，在此作为0或1的2值示出，但是这只是一例，只要对于静止物、移动体是不同的值，也可以不是前述的2值。

对于属于图19B和图19C的各移动轨迹，若比较静止或移动的判定结果和实际的结果，则可知如下情况：如移动轨迹1901那样，尽管实际上是静止物上的移动轨迹，却被误判定为移动体（静止判定值E_MS＝1），相反，如移动轨迹1902那样，尽管实际上是移动体上的移动轨迹，却被误判定为静止物（静止判定值E_MS=0）。实际上，在发明人们的实验中也确认到了同样的现象。

在此，如图19D所示，静止指标附加部1702以子类别为单位进行静止或移动的评价，并对误判定进行修正。

各子类别在多数情况下，作为移动体上的小区域或背景上的小区域求出。即，能够假定为子类别内的移动轨迹全部是移动体或全部是静止物。因此，静止指标附加部1702通过以子类别为单位进行静止或移动的评价，能够对前述的被看作图19C的移动轨迹1901及1902的误判定进行修正。在此，将表示子类别单位的静止或移动的评价判定结果的评价值设为子类别间静止判定值E_SUB-MS。子类别间静止判定值E_SUB-MS与移动轨迹的静止判定值E_MS同样，取0或1的2值。

作为子类别单位的静止或移动的评价的方法，例如作为最简单的例可以举出多个。具体地说，静止指标附加部1702对于某子类别内的移动轨迹，在静止判定值E_MS＝1的移动轨迹较多的情况下，将该子类别单位的静止或移动的评价作为“移动”、即子类别间静止判定值E_SUB-MS=1。相反，对于某子类别内的移动轨迹，若判定为“静止”的移动轨迹较多，或数量相同的情况下，将该子类别单位的静止或移动的评价作为“静止”、即子类别间静止判定值E_SUB-MS=0（式30）。由此，如图19D所示，在移动体上的各子类别中，判断为子类别间静止判定值E_SUB-MS＝1，在静止物上的各子类别中，判断为子类别间静止判定值E_SUB-MS=0，能够将误判定的影响除去。

【数学式30】

(式30)

另外，在此将子类别间静止判定值E_SUB-MS作为通过2值的静止判定值E_MS求出的2值的评价值，但是也可以如下那样。

即，设子类别间静止判定值E_SUB-MS为2值，通过多值的静止评价值E的平均值和预先决定的阈值TH_E的大小判定，求出子类别间静止判定值E_SUB-MS（式31）。

【数学式31】

(式31)

这样，能够节约用于保持静止判定值E_MS的存储器量。

本发明的目的在于，将移动体从背景分离。如图19B所示，为了使在高维空间上接近的移动体上的子类别和背景上的子类别成为能够分离统合的状态，优选为求出下面那样的新的子类别间距离：相互为静止背景的子类别彼此相互接近，相反，分别为移动体和背景的子类别之间更加远离。

在此，静止指标附加部1702设定图19E所示的加权规则，计算在子类别θ_i，θ_j间定义的新的子类别间距离、即加权测地距离G_w（θ_i，θ_j）（式32、式33）。

即，如果两个子类别的子类别间静止判定值E_SUB-MS都为0，则都是静止物的子类别，可以说属于同一静止背景。因此，使子类别间的距离接近即可。在此，静止指标附加部1702对子类别间的代表测地距离G（θ_i，θ_j）附加使距离缩短（接近）的权重W。即，附加W＜1的权重Wmin。

G_w（θ_i，θ_j）=Wmin·G（θ_i，θ_j）＜G（θ_i，θ_j）

此外，在某两个子类别的子类别间静止判定值E_SUB-MS的一方为0、另一方为1的情况下，分别是背景的子类别和移动体的子类别、即不同的物体的子类别的可能性较高，所以使子类别间的距离远离即可。在此，静止指标附加部1702对子类别间的代表测地距离G（θ_i，θ_j）附加使距离加长（远离）的权重W。即，附加W＞1的权重Wmax。

G_w（θ_i，θ_j）=Wmax·G（θ_i，θ_j）＞G（θ_i，θ_j）

此外，如果某两个子类别间的子类别间静止判定值E_SUB-MS都为1，则都是移动体的子类别。但是，与背景的情况不同，该两个子类别是同一移动体上的子类别，还是不同移动体上的子类别，仅根据子类别间静止判定值E_SUB-MS是无法判定。因此，不进行加权。即，静止指标附加部1702对子类别间的代表测地距离G（θ_i，θ_j）附加W=1的权重Wneu。

G_w（θ_i，θ_j）=Wneu·G（θ_i，θ_j）=G（θ_i，θ_j）

【数学式32】

Gw(θi，θj)＝w(θi，θj)G(θi，θj)(式32)

【数学式33】

(式33)

另外，为便于说明，在此将子类别间静止判定值E_SUB-MS作为通过静止判定值E_MS求出的2值的评价值，但是也可以将子类别间静止判定值E_SUB-MS作为多值。例如，子类别间静止判定值E_SUB-MS如以下的式34那样，也可以通过静止评价值E直接求出。

【数学式34】

E_SUB-MS(θi)＝average(E(i))      (式34)

这样，能够以更加反映了各移动轨迹中的静止评价值E的值的形式，进行子类别的静止移动判定。

这种情况下，定义加权规则的（式33）成为（式35）。即，如果两个子类别的子类别间静止判定值E_SUB-MS都为某阈值Th_SUB-MS以下，则附加都是静止物的子类别时的权重Wmin，两个子类别的子类别间静止判定值E_SUB-MS都为某阈值Th_SUB-MS以上的情况下，作为都是移动体的子类别的情况，附加W=1的权重Wneu，其以外的情况下，附加分别是背景的子类别和移动体的子类别时的权重Wmax。

【数学式35】

(式35)

另外，为了便于说明，这里将权重W（θ_i，θ_j）设为Wmin、Wmax、1的3值，但也可以是多值。例如，也可以是下面这样的多值的值：子类别间静止判定值E_SUB-MS（θ_i）、E_SUB-MS（θ_j）都是越接近0，权重W（θ_i，θ_j）越接近Wmin，子类别间静止判定值E_SUB-MS（θ_i）、E_SUB-MS（θ_j）都是越大则权重W（θ_i，θ_j）越接近1，子类别间静止判定值E_SUB-MS（θ_i）、ESUB-MS（θ_j）的一方接近0、而另一方越大，则权重W（θ_i，θj）越接近Wmax。

另外，也可以是，代替（式35），在两个子类别都是静止物的情况下，使用进行使子类别间的距离缩短的加权的（式36），另外两个子类别的一方为背景而另一方为静止物的情况下，使用进行使子类别间的距离加长的加权（式37）。

【数学式36】

(式36)

另外，将上述的（式36）的权重W（θ_i，θ_j）设为Wmin、1的2值，但也可以是多值。例如，也可以是下面这样的多值的值：子类别间静止判定值E_SUB-MS（θ_i）、E_SUB-MS（θ_j）同时越接近0，则权重W（θ_i，θ_j）越接近Wmin，其他情况下，权重W（θ_i，θ_j）接近1。

【数学式37】

(式37)

另外，将上述的（式37）的权重W（θ_i，θ_j）作为Wmax、1的2值，但也可以是多值。例如，也可以是下面那样的多值的值：子类别间静止判定值E_SUB-MS（θ_i）、E_SUB-MS（θ_j）的一方接近0、而另一方越大，则权重W（θ_i，θ_j）越接近Wmax，其他情况下，权重W（θ_i，θ_j）接近1。

另外，Wmax，Wmin的值虽然取决于摄像机运动的大小及移动体的动作速度等，但是例如在摄像机侧以时速1km直进的情况下，可以使用Wmax=5、Wmin=0.01。

此外，通过使权重根据子类别间静止判定值E_SUB-MS的可靠度变化，能够更正确地将移动体从背景分离。

在子类别间静止判定值E_SUB-MS的可靠度较低的情况下，存在出现误判定而对子类别间的代表测地距离G（θ_i，θ_j）附加反方向的权重的可能性。

在此，若考虑将例如核点误差作为静止指标E来利用的情况，尤其对于直进的车，例如在狭窄的道路等在正前方存在移动体的情况下，核线上的移动体容易发生检测失误。因此，静止指标E的可靠度变低。因此，这种情况下，通过预先设为Wmin=0.1、Wmax=2.5等，将Wmin、Wmax设为更接近1的值，能够降低误检测及检测失误对加权测地距离G_w（θ_i，θ_j）的不良影响。

相反，子类别间静止判定值E_SUB-MS的可靠度较高的情况下（例如前述的核点误差的情况下，大路的车道等在正前方不易出现人物那样的较小的移动体的情况），相反设为Wmin=0.001、Wmax=10等，将Wmin、Wmax设为更远离1的值即可。尤其是，完全正确地赋予了子类别间静止判定值E_SUB-MS的情况下，若设Wmax=∞，则能够容易地将移动体从背景分离。

图19F表示将通过以上的加权规则计算的加权测地距离G_w（θ_i，θ_j）在高维空间上示出的图。与图19B同样，为方便起见，将高维以2维显示。

属于背景的子类别从属于各移动体的子类别远离，与图19B相比，可知是能够容易地将移动体和背景分离的状态。

最后，在区域分割步骤S307中，区域分割部107将由子类别分类部105生成的多个子类别θ_p（p≤m，m：子类别数）作为区域分割候选。区域分割部107作为子类别θ_p的区域分割的评价值，基于由加权距离计算部106计算的子类别间的加权测地距离G_w（θ_p，θ_q），判断是否将子类别θ_p的区域分割候选作为其他群组来分割。

另外，到此为止，作为子类别θ_p，θ_q间的距离，使用了“加权测地距离G_w（θ_p，θ_q）”，但是以下为了进行说明，将子类别间的“加权测地距离G_w（θ_p，θ_q）”标记为“子类别间测地距离h_p，q”（q≤m、m：子类别数）。

具体地说，区域分割部107在子类别间测地距离h_p，q为预先决定的阈值Ht以上的情况下，将对应的两个子类别θ_p、θ_q作为其子类别间的距离充分分离的类别而选择，并确定为个别的类别。

另一方面，区域分割部107在子类别间测地距离h_p，q小于预先决定的阈值Ht的情况下，将对应的两个子类别θ_p、θ_q确定为同一类别。即，这种情况下，确定为不分割。并且，区域分割部107对区域分割候选的所有子类别判定了是否分割之后，对属于不同的类别的移动轨迹分配不同的标签θ_m，并作为移动轨迹的区域分割信息输出。

例如，对于图20A所示的类别数7的子类别，设各子类别间测地距离为h_p，q（p=0～6，q=0～6，m=7）。实际上，有时子类别的数量更多，但是在此为便于观看，仅显示7个子类别。

设图20A所示的与图19A的人物A对应的类别数2的子类别间的测地距离为h_1，2。在此，若设h_1，2≥Ht，则对应的子类别θ₁及θ₂被分割。相反，若设h_1，2＜Ht，则对应的子类别θ₁及θ₂被分割。

在区域分割部107中，通过以上的顺序，根据通过阈值Ht分配了标签的移动轨迹的群组θ_p生成图像，并显示在显示器120上。

在本实施方式中，区域分割部107对于由图像输入部101接受的运动图像，对输入图片施加图像处理并输出，以成为能够视觉辨认统合后的子类别的结果的显示形态，并显示在显示器120上。

图20B～图20D表示由区域分割部107生成的图片的例子。

另外，在本实施方式的移动体检测装置100的区域分割部107中，阈值Ht是预先决定的，但不限于此。具体地说，可以根据想要进行区域提取的移动体的运动的大小来使阈值Ht变化，也可以根据移动体是人还是车来变更阈值Ht。

阈值Ht相当于将某两个区域分割候选作为不同的区域还是相同的区域的评价基准。例如，两个区域分割候选分别与两个移动体对应的情况下，通过缩小阈值Ht，即使在两个移动体的相对位置和运动的差别较小的情况下，也能够作为不同的两个区域提取。相反，通过增大阈值Ht，仅在该两个移动体的相对位置和运动较大的情况下，能够作为两个区域提取。即，具有能够根据阈值Ht的大小来改变区域提取的对象的效果。

图20B～图20D表示进行以上的处理并将结果显示在显示器上的例。对于由子类别分类部105计算的各子类别，按照每个作为同一移动体提取的子类别，作为是一个移动体进行颜色区分，则如图20B所示，能对于显示的子类别分类结果，能够将子类别统合结果如图20C那样显示。

在该例中，两个移动体颜色分类至2种而显示。通过设为这样的显示形态，具有能够正确地检测图片中的移动体，并容易理解地显示该结果的效果。

为了视觉辨认移动体的位置，至少需要提示其大致的位置。因此，并不是一定要将区域整体进行颜色区分，所以如图20D所示，也可以仅显示外框。作为优点，移动体自身的观察方式几乎不变化，而能够提示移动体区域。

另外，在区域分割部107中，作为生成图片的顺序，以与部分区域相应的颜色描绘移动轨迹的图片座标位置的像素，但是生成图片的方法不限于此。具体地说，如果移动轨迹的数量和图片整体的像素数相同，则能够通过上述的方法，以与类别相应的颜色描绘图片中的全部像素。另一方面，移动轨迹的数量少于图片整体的像素数的情况下，存在与哪个移动轨迹的图片座标位置都不一致的像素。

对于这样的与移动轨迹的图片座标位置不一致的像素，可以通过其他方法来描绘。例如，也可以是，在移动轨迹计算部102中，属于在用于生成某移动轨迹的运动检测中使用的块的像素以与其移动轨迹所属的子类别相同的颜色描绘。

此外，作为描绘与移动轨迹的图片座标位置不一致的像素的其他方法，可以以与最附近的移动轨迹所属的子类别相同的颜色描绘。

此外，作为描绘与移动轨迹的图片座标位置不一致的像素的其他方法，可以通过德劳内（Delaunay）三角网格生成法将多个移动轨迹的图片座标位置（点）之间连结，将属于同一类别的3点围成的3角形中包含的像素以与其类别相同的颜色描绘。

另外，也可以是，对连续输入的运动图像进行处理的情况下，每当输入T张图片，重复进行上述的步骤S301～S307的动作。

如上所述，根据本实施方式的移动体检测装置及方法，基于图片内的子类别间的移动轨迹的测地距离的代表值和各子类别的移动轨迹的静止指标，进行移动体区域的判定，从而在时间上追踪在图片中移动的物体的区域，作为其结果，能够不取决于移动体的姿势地检测图片中的移动体区域。

另外，在此，对子类别进行加权距离计算部106中的向测地距离的加权及区域分割部107中的区域分割的处理，但是不是必须进行基于子类别的区域分割处理。

即，也可以是，不通过加权距离计算部106的静止指标附加部1702对子类别间的代表测地距离进行加权，而是对与各子类别对应的所有移动轨迹间的测地距离，使用对与各测地距离对应的子类别间的代表测地距离赋予的权重相同的权重进行加权，计算加权移动轨迹间测地距离，进而通过区域分割部107，代替加权测地距离Gw，而是基于加权移动轨迹间测地距离进行区域分割。作为这种情况的区域分割方法，通过例如对加权移动轨迹间测地距离进行与子类别分类部105及其变形例同样的处理，对图片进行区域分割，能够将移动体从背景分离。

尤其是，对测地距离进行上述的加权，即，基于移动轨迹的静止指标及移动轨迹间的距离，进行变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于变换前，然后将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

换言之，基于移动轨迹间的距离，计算移动轨迹间的测地距离，基于移动轨迹的静止指标，对计算的各测地距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于加权前，从而计算加权移动轨迹间测地距离。然后，通过将静止物的移动轨迹和移动体的移动轨迹分离，检测与移动体的移动轨迹对应的移动体区域。

因此，容易将静止物的移动轨迹和移动体的移动轨迹分离。因此，即使在图像中包含一边形状变化一边移动的人物等移动体、并且是由移动的摄像机拍摄的图像，也能够正确地检测移动体。

此外，作为预处理，不需要设定人物候选区域，所以不会发生起因于人物候选区域的检测失误的区域提取的失败。

如上所述，不限于巨大的参数的适配，通过基于区域间测地距离进行聚类，能够稳定从包含一边形状变化一边移动的人物等的图片正确地检测移动体。

另外，在本实施方式的移动体检测装置中，距离计算部104计算距离，并输入至加权距离计算部106，但是也可以代替距离，而使用距离的时间变化。

即，将根据t帧～2t帧的移动轨迹求出的距离和根据2t帧～3t帧的移动轨迹求出的距离的差分（差量）称作距离的时间变化，并将其代替t帧～2t帧的移动轨迹来使用，也能够得到同样的效果。

另外，在本实施方式的移动体检测装置中，距离计算部104从由移动轨迹计算部102生成的移动轨迹提取的移动轨迹的图片数T设为T=30，但是不限于该数值。例如，根据应该检测的移动体的种类和状态，也可以使用其他数值。例如，将检测的对象假定为步行者的情况下，由于平均的步行周期为约1秒（30帧），所以T=30帧的图片中的移动轨迹与人的步行1周期对应。这样，应该检测的对象是伴随着周期性变形的移动体的情况下，通过将在距离计算部104中提取的移动轨迹的图片数T设为与移动体的变形周期对应的图片数，具有不易受到移动体的变形的影响，而能够更正确地提取移动体的效果。此外，由于遮蔽等的影响，存在无法计算图片数T中的移动轨迹的图片中的移动体区域的情况下，通过将能够计算移动轨迹的最大的图片数设为S（S＜T），具有能够更详细地检测移动体的区域的效果。

另外，在本实施方式的移动体检测装置中，距离计算部104提取的用于得到移动轨迹的图片的张数T是预先决定的，作为一定进行了说明，但是也可以使用于各个移动轨迹的计算的图片数T运动地变化。

作为使移动轨迹的图片数T运动地变化的方法，例如可以预先决定移动轨迹个数的上限值，以不较大地超过这些上限值的方式使图片数T运动地变化。具体地说，可以是，预先决定移动轨迹的个数的上限值Nmax，在距离计算部104中，在从预先决定的图片数T中的移动轨迹提取的移动轨迹的个数超过Nmax的情况下，使图片数T增加。在此，移动轨迹的数量较多相当于，由于运动图像中的变化较少、被摄体的运动较小、运动导致的遮蔽区域较少等理由，跨所有图片的对应点能够计算得较多。这种情况下，通过使图片数T增加，使移动区域包含更多的运动的信息，从而能够期待能够正确地检测移动体的效果。

此外，作为使移动轨迹的图片数T运动地变化的其他方法，例如可以预先决定移动轨迹个数的下限值，以不低于这些下限值的方式使图片数T运动地变化。具体地说，预先决定移动轨迹的个数的下限值Nmin，在距离计算部104中，在预先决定的图片数T中的移动轨迹的个数低于Nmin的情况下，以移动轨迹的个数不超过Nmin的方式，使用更小的图片数T。若进行这样的处理，则能够使移动轨迹不低于预先决定的移动轨迹数。因此，对于例如由于运动图像中的被摄体的运动导致的遮蔽而移动轨迹的个数相对变小的运动图像，也不易发生移动轨迹极端变少的情况。结果，具有不易发生无法进行区域分割的情况得效果。

另外，在本实施方式中，作为线性距离，使用了欧几里德距离，但是如前所述，不限于欧几里德距离。使用以前述的线性距离定义的任意的距离指标得到的形态都包含在本发明中。

另外，本发明的移动体检测装置及方法不限于上述实施方式，对上述实施方式实施本领域技术人员能够想到的变形而得到的形态、将包含后述的各种变形例的多个形态中的构成要素任意组合而得到的形态也包含在本发明中。

（变形例1）

接着，说明本发明的实施方式的变形例1的移动体检测装置。

在本变形例的移动体检测装置中，具备用于在求出静止判定值E_MS时利用的调整阈值TH_MS的接口。

如上所述，对于在求出静止判定值E_MS时利用的阈值TH_MS的值，根据摄像机运动的大小及移动体的动作速度等不同而最佳的值不同。因此，实际上，在摄像场景或摄像机设定改变的情况下，预先设定的固定的阈值TH_MS不再是最佳，在使用固定的阈值TH_MS的情况下，可能无法正确地检测移动体。

这种情况下，为了求出最佳的阈值TH_MS，用户必须执行以下的步骤。首先，移动体检测装置100基于固定的阈值TH_MS，计算子类别间静止判定值E_SUB-MS，基于计算出的子类别间静止判定值E_SUB-MS，对子类别间距离进行加权等处理，从而在显示器120显示区域分割的结果。用户确认了显示的区域分割的结果之后，用试凑法输入阈值TH_MS。然后，由移动体检测装置100再次执行区域分割，确认了显示的区域分割的结果之后，再次输入阈值TH_MS，重复这样的步骤。这样，一边试行错误地输入阈值TH_MS，一边重复区域分割及阈值TH_MS的输入，通过重复这样的操作，求出最佳的阈值TH_MS。

但是，阈值TH_MS是对静止指标E的值应用的阈值。即，可以说阈值TH_MS较大地依存于静止指标E的值的分布。因此，若确认了静止指标E的值及其在图像上的分布，则不用将区域分割处理进行到最后，就能够调整阈值TH_MS。由此，能够更快地决定最佳的阈值TH_MS。

图21是表示变形例1的移动体检测装置100L的构成的框图。移动体检测装置100L在图1的移动体检测装置100的构成中，代替静止指标计算部103及加权距离计算部106，而分别使用静止指标计算部103A及加权距离计算部106A。

以下，主要说明与上述的实施方式不同的点，对于共通的点省略说明。

图22是表示静止指标计算部103A的详细构成的框图。

静止指标计算部103A具有在图7所示的静止指标计算部103上还加入了静止指标图像制作部703的构成。静止指标图像制作部703将构成图片的各块以与计算的静止指标的值相对应的显示形态显示在显示器120上。静止指标图像制作部703执行的处理的详细情况在下文说明。

图23是表示加权距离计算部106A的详细构成的框图。

加权距离计算部106A具有如下构成：在图17所示的加权距离计算部106上加入阈值输入部1703，代替静止指标附加部1702而使用静止指标附加部1702A。阈值输入部1703是接受用户输入的静止指标阈值的处理部，例如可以由键盘和鼠标等构成。静止指标附加部1702A通过与静止指标附加部1702同样的方法，求出静止指标，基于静止指标，对各子类别间的代表测地距离进行加权。但是，这时使用的静止指标的阈值TH_MS是由阈值输入部1703接受的阈值，这一点与静止指标附加部1702不同。

图24是表示静止指标计算部103A的静止指标图像制作部703制作的图像的一例的图。例如，静止指标图像制作部703将静止指标E的值分类至5阶段，在显示器120上显示对各块施加了与静止指标E的阶段相对应的阴影的图像。另外，静止指标图像制作部703也可以在显示器120上进行与静止指标E的值相对应的色相灰度显示。此外，静止指标图像制作部703具备阈值输入部，能够使用用户从阈值输入部另外输入的阈值，对静止指标E的值进行2值化显示。例如，将用户输入的具有比阈值大的静止指标E的像素以红色显示，将具有其以外的值的静止指标E的像素以蓝色等显示。这样，能够简单地一边视觉辨认实际输入某阈值时的静止判定值E_MS的值是怎样的值，一边决定阈值。

此外，阈值输入部1703接受在任意的定时由用户输入的阈值TH_MS。静止指标附加部1702A使用输入的阈值TH_MS来计算静止判定值E_MS，区域分割部107进行区域分割，并将结果显示在显示器120上。例如，如图25A所示，在显示器120上显示滑动条2211。用户通过使滑动条2211左右移动，进行阈值TH_MS的输入。如图25A所示，将阈值TH_MS设定为较大的值的情况下，例如静止指标E较大的移动体2111被区域提取。与此相对，如图25B所示，通过使滑动条2211向左移动，将阈值TH_MS设定为较小的值的情况下，除了静止指标E较大的移动体2111之外，静止指标E较小的移动体2110和噪声2112被区域提取。这样，用户一边使滑动条2211移动一边变更阈值TH_MS，从而能够简单地一边视觉辨认区域分割的结果，一边决定阈值TH_MS。

由此，能够使每当摄像场景或摄像机设定改变时由用户决定的最佳的阈值立刻反映为移动体检测装置的参数。

（变形例2）

接着，说明本发明的实施方式的变形例2的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了子类别分类部105基于通过（式14）计算的欧几里德距离f（i，j），求出子类别。但是，子类别分类部105的动作不限于此。即，子类别分类部105也可以基于移动轨迹间的、属于各移动轨迹的块彼此的色类似度，将多个移动轨迹分类至多个子类别。以下说明基于像素的色类似度进行移动轨迹的聚类的例子。

图26A是表示实施方式的变形例2的移动体检测装置的构成的图。如图26A所示，该移动体检测装置100A包含：图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部2101、加权距离计算部106及区域分割部107。

子类别分类部2101以外的处理部与上述实施方式相同，所以省略说明。

作为由子类别分类部2101计算子类别的方法，也可以代替在上述实施方式中说明的通过类似移动轨迹的标签附加来计算子类别的方法，而使用基于像素的色类似度，将图片分割为所谓被称为“超像素（superpixel）”的多个子类别的方法。计算超像素的方法可以使用图形库的方法等。处理顺序的详细说明记载在非专利文献7等中，所以省略，通过基于图片的图形表现来推定各区域间的边界，能够保持有效的且全局性的特征，并且将图片分割为小区域，且不易被遮挡，所以具有能够进行更健壮（robust）的分割的效果。

非专利文献7：PedroF.Felzenszwalb and DanielP.Huttenlocher“Efficient Graph-Based Image Segmentation”，International Journal of Computer Vision，Vol.59，No.2，pp.167-181，Sept，2004

图26B表示本实施方式的变形例2中的子类别分类部2101的构成。子类别分类部2101包含聚类部2102。聚类部2102基于上述的色类似度，将图片分类至多个子类别。在本变形例的子类别分类部2101的构成中，与图15所示的子类别分类部105的构成相比，不需要欧几里德距离计算部，所以能够通过更简单的构成来高速地进行向子类别的分类。此外，尤其是在移动体与背景的颜色不同的场景中，各子类别仅由移动体构成、或者仅由背景构成的可能性变高（若颜色不同，则分离为其他子类别的概率较高），所以具有能够更正确地求出子类别单位的子类别间静止判定值E_SUB-MS的效果。

通过以上的顺序，将图片分离为子类别，并能够将属于各子类别的移动轨迹用于移动体域检测。

（变形例3）

接着，说明本发明的实施方式的变形例3的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了子类别分类部105基于通过（式14）计算的欧几里德距离f（i，j），求出子类别。但是，子类别分类部105的动作不限于此。以下说明通过进行测地距离g（i，j）的维度压缩，进行向子类别的分类的例子。

图27A是表示实施方式的变形例3的移动体检测装置的构成的图。该移动体检测装置100B包含图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部2201、加权距离计算部106及区域分割部107。

子类别分类部2201以外的处理部与上述实施方式相同，所以省略说明。

图27B表示本实施方式的变形例3中的子类别分类部2201的构成。子类别分类部2201包含第2距离计算部2202和聚类部2203。子类别分类部2201与图15所示的子类别分类部105的构成不同，代替欧几里德距离计算部1501，而具备第2距离计算部2202。第2距离计算部2202根据由移动轨迹计算部102计算的移动轨迹，按照（式14）计算欧几里德距离f（i，j）之后，按照（式17）、（式18）求出测地距离g（i，j）。另外，这里的测地距离g（i，j）的计算步骤与上述实施方式中记载的距离计算部104的动作相同，所以省略说明。

接着，聚类部2203进行计算出的测地距离g（i，j）的维度压缩，然后使用维度压缩后的测地距离，将类别数作为赋予条件，以类别内方差成为最小的方式对移动轨迹进行聚类。

维度压缩在进行了Young-Householder变换之后，通过求出固有（本征）系统来实现。这是通过维度压缩，将分布于多维空间中的数据有效地投影到低维空间中的方法。以后，表示在聚类部2203中进行测地距离g（i，j）的维度压缩并对移动轨迹进行聚类的步骤。

设构成测地距离g（i，j）的矩阵为测地距离矩阵G（式38）。

【数学式38】

G＝{g(i，j)}    (式38)

聚类部2203首先对测地距离矩阵G进行将中心化矩阵H从两侧施加的Young-Householder变换。这是针对距离矩阵是由点间距离构成的距离矩阵，为了变换为以重心为原点的距离矩阵而进行的。

【数学式39】

$\mathrm{\τ}\left(G\right)=\frac{{\mathrm{HG}}^{\left(2\right)}H}{2}$ (式39)

在此，H为中心化矩阵，

【数学式40】

H_ij＝(I-1/NS)    (式40)

I为单位矩阵，N为移动轨迹的数量。

此外，

【数学式41】

G⁽²⁾＝{g(i，j)²}  (式41)

接着，聚类部2203为了进行维度压缩，计算对于τ（G）的P个固有矢量（eigen vector）e_p及与其对应的固有值（eigen value）λ_p。

由此，对于测地距离g（i，j），若设

【数学式42】

gⁱ＝(g(i，1)，g(i，2)，...，g(i，N_S))      (式42)

则投影在将测地距离gⁱ进行维度压缩后的空间上的结果作为数据z_p ⁱ，能够如下表示。

【数学式43】

$z_p^i=\sqrt{{\mathrm{\λ}}_p}{e}_p^i$ (式43)

另外，e_p ⁱ是第p个固有矢量e_p的第i个要素。固有矢量的数量P可以根据利用的场景而实验地决定，也可以如下那样根据固有值λ_p计算贡献率a_p，并基于该贡献率a_p来决定。

【数学式44】

$a_p=\frac{\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{\mathrm{\λ}}_p}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_p}$ (式44)

在此，P是利用的固有矢量的数量、即压缩后的空间的维数。N是全部固有矢量的数量。在此，将贡献率a_p为一定值以上时的P作为固有矢量的数量即可。

如以上那样，聚类部2203通过从（式39）到（式44）的处理，进行测地距离g（i，j）的维度压缩。能够将在第2距离计算部2202中计算的测地距离gⁱ及对应的假想的移动轨迹与通过固有矢量e_p拉伸的维度压缩后的空间上的数据z_p ⁱ建立对应。

使用图28A～图28D，说明将输入了人物的步行图像的情况的像素i的时间移动轨迹投影到非线性地维度压缩后的空间中的处理。图28A是表示多维空间中的维度压缩前的移动轨迹的数据分布的图。在同图中，为便于说明，设多维空间为3维空间，但实际上，（式2）所示的矢量的各要素与各维度对应。图28B表示对图28A所示的移动轨迹的多维空间进行维度压缩后的空间。图28B的横轴、纵轴分别是固有矢量e₁、e₂。投影到2维上的点（z₁ ⁱ，z₂ ⁱ）是将测地距离gⁱ投影而得到的点。在此，非线性空间上的数据z_p ⁱ和图片上的像素i的移动轨迹xⁱ处于一对一的对应关系。因此，（z₁ ⁱ，z₂ ⁱ）能够与像素i的移动轨迹xⁱ对应。另外，在此，为了使结果可视化，将非线性空间的维数设为2维，但是如前所述。维数并不需要一定是2维，维数越高，则能够以更高精度度数据进行投影。

接着，聚类部2203对图28B所示的将移动轨迹维度压缩的数据z_p ⁱ进行聚类，从而进行移动轨迹的聚类。在本实施方式的变形例3中，采用将类别数作为赋予条件，以使类别内方差成为最小的方式，对移动轨迹进行聚类的方法。

首先，将子类别如下表现。

【数学式45】

θ＝{θ₁，...θ_m...θ_M}     (式45)

在此，M是子类别数，根据利用的场景来经验性地决定。

各个子类别θ_m由参数

【数学式46】

及参数Z_m表现。在此参数

【数学式47】

是属于维度压缩后的空间中的子类别θ_m的数据的座标值的平均值，参数Z_m是与属于子类别θ_m的数据的座标值有关的共方差矩阵。参数

【数学式48】

的初始值可以随机地决定，也可以将压缩后的非线性空间中以网格分割为等间隔等，将其交点的座标值作为初始值。

另外，参数

【数学式49】

及参数Z_m能够如以下的（式46）及（式47）那样表示。

【数学式50】

$\stackrel{\‾}{Z_m}=\left[\begin{array}{c}\stackrel{\‾}{z_1^m}\\ .\\ .\\ .\\ \stackrel{\‾}{z_P^m}\end{array}\right]$ (式46)

【数学式51】

$Z_m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}\left[\begin{array}{c}{z}_1^{c_m}-\stackrel{\‾}{z_1^m}\\ .\\ .\\ .\\ z_P^{c_m}-\stackrel{\‾}{z_P^m}\end{array}\right]\left[\begin{array}{ccc}{z}_1^{c_m}-\stackrel{\‾}{z_1^m}& ...& z_P^{c_m}-\stackrel{\‾}{z_P^m}\end{array}\right]$ (式47)

在此，C_m在压缩后的非线性空间上是属于子类别θ_m的数据数。

以下说明具体的聚类方法。首先，使用以下的（式48）的距离函数求出数据z_i所属的子类别θ_m。

【数学式52】

(式48)

在此，ψ_m（z_i）表示与像素i的移动轨迹对应的数据z_i与各自的子类别θ_m的距离。各数据属于距离ψ_m（z_i）取最小值的子类别θ_m。另外，φ_m（z_i）是马氏距离，是

【数学式53】

(式49)

此外，也可以代替ψ_m（z_i）而使用φ_m（z_i）。

此外，p（z_i）是似然性函数的框架中的z_i的先验概率，因此，p（z_i）可以是一定值，在已知对象场景包含人物等固定的被摄体的情况下，也可以给予人物部位的形状和面积比等预先设定。尤其是，在数据z_i的密度存在偏向的情况下是有效。例如，已知数据z_i的密度较高时，想要将密集的数据z_i设为同一子类别的情况下，将对应的先验概率p（z_i）较大地设定即可。相反，想要将数据z_i细致地分割为子类别的情况下，将对应的先验概率p（z_i）较小地设定即可。另外，这里的数据z_i的密度可以是图像空间上的密度，也可以是压缩后的非线性空间上的密度。

接着，根据（式48）的计算结果，使用属于子类别θ_m的数据z_i，如以下那样更新子类别θ_m的参数

【数学式54】

及参数Z_m。

【数学式55】

$\stackrel{\‾}{Z_m}=\frac{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{\mathrm{\ω}}_{c_m}{z}_{c_m}}{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{\mathrm{\ω}}_{c_m}}$ (式50)

【数学式56】

$Z_m=\frac{\underset{c_{\mathrm{mk}}=1}{\overset{C_m}{\mathrm{\Σ}}}{{\mathrm{\ω}}_{c_m}}^2(z_{c_m}-\stackrel{\‾}{z_m}){(z_{c_m}-\stackrel{\‾}{z_m})}^t}{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{{\mathrm{\ω}}_{c_m}}^2}$ (式51)

在此，z_cm是属于子类别θ_m的压缩后的非线性空间上的数据。此外，ω是对于子类别θ_m的权重系数，可以取ω=1，也可以根据相对于输入数据的平均值的偏离程度来调整ω的值。因此，通过重复规定次数从（式48）到（式51）的距离计算及参数更新，能够得到非线性空间上的各数据所属的子类别θ_m。另外，除了上述之外，也可以使用k-mean、竞争学习等其他聚类方法。将上述的聚类处理应用于图28B所示的维度压缩后的数据的结果在图28C中示出。可知数据点被子类别化。

图28D表示对于移动的人物的数据，同样地在非线性空间上进行聚类处理的例。另外，在维度压缩后的数据分布图中，将对应的人物区域一并记载。若对压缩后的非线性空间上的从子类别θ₁到θ₂观察在图片上的对应，则θ₁与人物头部对应、θ₂与人物躯体对应，像这样人体的各部分与各子类别对应。

在此，人体的各部分与压缩后的非线性空间上的子类别对应意味着，跨时间上连续的多张图片对像素进行追踪。通过在压缩后的非线性空间上进行聚类，作为对在图片中移动的物体的区域进行时间性追踪的结果，能够按图片中的移动的每个被摄体提取图像区域。

在本实施方式的变形例3中，通过进行维度压缩，不需要很多参数适配，通过在非线性空间中进行聚类，尤其是在包含一边形状变化一边移动的人物等的图片中，也能够稳定地进行聚类。因此，具有能够更正确地求出子类别单位的静止指标E_SUB-MS的效果。

另外，在本实施方式中，作为将2点间连结的线性距离，使用了欧几里德距离，但是如上所述，线性距离不限于欧几里德距离。使用通过前述的线性距离定义的任意的距离指标得到的形态也包含在本发明中。

（变形例4）

接着，说明本发明的实施方式的变形例4的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了子类别分类部105基于欧几里德距离f（i，j）计算子类别。但是，子类别分类部105的动作不限于此。以下，说明通过生成多个测地距离，生成子类别的候选，从这些候选中选择并进行子类别的分类的例子。

图29A是表示实施方式的变形例4的移动体检测装置的构成的图。如图29A所示，该移动体检测装置100C包含图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部2401、加权距离计算部106及区域分割部107。

子类别分类部2401以外的构成要素与上述实施方式相同，所以省略说明。图29B表示本实施方式的变形例4的子类别分类部2401的构成。

子类别分类部2401对于多个移动轨迹的每一个，进行选择从该移动轨迹到其他移动轨迹的多个距离中的规定的距离阈值以下的距离并将未选择的距离设为无限大的非线性化之后，求出从该移动轨迹到其他移动轨迹的最短路径，从而计算测地距离，通过将移动轨迹间的测地距离为有限的值的移动轨迹的集合分类至同一子类别，将各移动轨迹分类至多个子类别中的某一个。

子类别分类部2401具备：第3距离计算部2402、子类别候选生成部2403及子类别候选选择部2404。

在子类别分类部2401中，首先由第3距离计算部2402根据由移动轨迹计算部102计算的移动轨迹计算欧几里德距离f（i，j），然后对计算出的距离矩阵设置多个判断基准，进行测地距离变换，求出测地距离g（i，j）。接着，在子类别候选生成部2403中，通过阈值检测移动轨迹间的距离的分布中的不连续点，对连续分布的移动轨迹进行聚类，以使相互偏离比检测到的不连续点小的测地距离的移动轨迹彼此成为一个类别，从而生成对于所述阈值的子类别的候选。最后，在子类别候选选择部2404中，取得对于类别数的指示，从由子类别候选生成部2403生成的多个区域提取候选中选择将被分割为与取得的类别数相近的个数的区域的区域提取候选，并将选择的子类别候选作为根据由移动轨迹计算部102计算的移动轨迹而子类别化后的结果来输出。即，从由子类别候选生成部2403生成的、对于各个所述阈值的区域提取的候选中选择与预先决定的类别数最接近的聚类结果。

以下说明子类别分类部2401的动作。

首先，在第3距离计算部2402中，计算欧几里德距离f（i，j）。该顺序与上述实施方式中说明的欧几里德距离计算部1501相同，所以省略说明。第3距离计算部2402对求出的欧几里德距离f（i，j）决定K个阈值R_k。第3距离计算部2402对各个确定的阈值R_k进行非线性化处理，计算与阈值R_k对应的测地距离处的g^k（i，j）。在此，与各阈值R_k对应的测地距离g^k（i，j）的计算顺序与上述实施方式中记载的距离计算部104中的动作相同，所以省略说明。

接着，子类别候选生成部2403使用与各个阈值R_k对应的测地距离矩阵g^k（i，j），通过对不连续点进行检测，进行子类别候选生成。具体地说，子类别候选生成部2403将g^k（i，j）为无限大的移动轨迹i和移动轨迹j之间作为不连续点。参照图30A～图30E说明上述顺序。图30A表示移动轨迹a～h，图30B表示由移动轨迹a～h构成的多维空间的概念图。

在阈值R_k为充分大的值的情况下，例如阈值R_k比欧几里德距离f（i，j）的最大值大的情况下，测地距离g^k（i，j）在所有i，j的组合中都不成为无限大。即，由于一个不连续点都没有，所以如图30C所示，子类别能够判断为一个。另一方面，阈值R_k充分小的情况下，具体地说，阈值R_k比f（i，j）的最小值小的情况下，在所有i，j的组合中，g^k（i，j）成为无限大。即，子类别数与移动轨迹的数量相同。因此，将阈值R_k设定为f（i，j）的最大值和最小值之间的值，并分别进行子类别分类是有效的。图30D、图30E表示应用了这样决定的阈值的例子。

将阈值作为R₁设定的情况下，如图30D所示，测地距离g¹（e，f）成为无限大。在此，子类别候选生成部2403将移动轨迹e和移动轨迹f之间判定为不连续点。结果，从移动轨迹a到d的各移动轨迹和移动轨迹e的测地距离不通过不连续点，所以不取无限大的值，相反，从移动轨迹f到h的各移动轨迹和从移动轨迹a到e的各移动轨迹的测地距离通过不连续点g¹（e，f），所以分别成为无限大。这样，判定为测地距离不成为无限大的移动轨迹i和移动轨迹j的组属于同一子类别，成为无限大的情况下判定为属于其他子类别。由此，如图30D所示，数据点被分离为θ₁、θ₂的两个子类别。此外，图30E表示将其他阈值决定为R₂（其中R₁＞R₂）的例子。分别判定为移动轨迹c和移动轨迹d之间、移动轨迹e和移动轨迹f之间、移动轨迹f和移动轨迹g之间存在不连续点，与图30D的情况同样，对测地距离成为无限大的组和不成为无限大的组进行整理，分离为θ₁、θ₂、θ₃、θ₄的合计4个子类别。

通过以上的处理，子类别候选生成部2403对于多个阈值R_k，通过使测地距离不成为无限大的移动轨迹的组连续，能够判定为同一子类别。此外，通过使测地距离成为无限大的移动轨迹的组不连续，能够基于不连续点生成多个子类别候选。

接着，子类别候选选择部2404根据子类别候选生成部2403中的子类别候选生成结果，将与预先设定的数最接近的类别数的子类别候选作为最终结果选择。通过图30A～图30B的例进行说明，设定为类别数M=4的情况下，选择阈值R₂时的子类别候选（图30E）。此外，设定为类别数M=2的情况下，选择阈值R₁时的子类别候选（图30D），对于各移动轨迹，执行与指定的子类别数最接近的子类别分类。另外，对于类别数M，在此举出了2、4，但实际上优选为更多数，能够根据场景的状況和经验任意地决定。

另外，在本实施方式的变形例4中，通过利用欧几里德距离和测地距离，能够进行考虑了像素的位置和运动的类似性的子类别分类。在图30A～图30B的例中，设定为类别数M=2的情况下，反映了下半身的运动与上半身的运动较大地不同，上半身和下半身成为不同的子类别。此外，设定为类别数M=4的情况下，除了M=2的情况以外，反映了头部的运动和手腕的运动的差异、上肢和下肢的运动的差异，头部、手腕、上肢、下肢成为不同的子类别。

另外，阈值R_k的数也可以准备多种。此外，不存在与设定的类别数同数的子类别候选的情况下，可以选择最接近的子类别数，也可以从比设定的类别数小的类别数之中选择最接近的子类别数的子类别候选。此外，同样地，也可以从比设定的类别数大的类别数之中选择最接近的子类别数的子类别候选。

这样，对于多个阈值，基于使用测地距离计算的不连续点进行子类别候选生成，并选择与规定的类别数最接近的子类别候选，从而能够进行子类别分类。

（变形例5）

接着，说明本发明的实施方式的变形例5的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了子类别分类部105基于通过（式14）计算的欧几里德距离f（i，j）求出子类别。但是，子类别分类部105的动作不限于此。即，在子类别分类部105中，由欧几里德距离计算部1501进行欧几里德距离的计算，但是在距离计算部104中也进行欧几里德距离的计算。因此，在本实施方式的变形例5中，省略子类别分类部中的距离计算，使用由距离计算部104计算的距离进行子类别分类处理。

图31A是表示实施方式的变形例5的移动体检测装置的构成的图。如图31A所示，该移动体检测装置100D包含：图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部2601、加权距离计算部106及区域分割部107。另外，也可以代替子类别分类部2601而使用子类别分类部2602，还可以使用子类别分类部2603。

子类别分类部2601、2602或2603以外的处理部与上述实施方式相同，所以省略说明。

图31B～图31D分别表示子类别分类部2601～2603的构成。分别与实施方式、实施方式的变形例3、实施方式的变形例4对应。分别依次说明。

图31B所示的子类别分类部2601包含欧几里德距离加载部2604及聚类部1502。聚类部1502的动作与图15所示的聚类部1502相同，所以省略说明。

在该构成中，距离计算部104具备的欧几里德距离计算部1201将计算出的欧几里德距离f（i，j）先保存到存储器（未图示）中，子类别分类部2601具备的欧几里德距离加载部2604将保存在存储器中的欧几里德距离f（i，j）从存储器加载。聚类部1502使用由欧几里德距离加载部2604从存储器加载的欧几里德距离f（i，j），进行移动轨迹的聚类。由此，能够节省新计算欧几里德距离的处理，能够实现更高速的处理。

图31C所示的子类别分类部2602包含距离加载部2605及聚类部2203。聚类部2203的动作与图27B所示的实施方式的变形例3中的聚类部2203相同，所以省略说明。

在该构成中，距离计算部104具备的欧几里德距离计算部1201及移动轨迹间测地距离计算部1202将分别计算的欧几里德距离f（i，j）及测地距离g（i，j）先保存到存储器（未图示）中，子类别分类部2602具备的距离加载部2605将保存在存储器中的欧几里德距离f（i，j）及测地距离g（i，j）从存储器加载。聚类部2203使用距离加载部2605从存储器加载的欧几里德距离f（i，j）及测地距离g（i，j），进行移动轨迹的聚类。由此，能够节省新计算欧几里德距离的处理，能够实现更高速的处理。

图31D所示的子类别分类部2603包含：距离加载部2605、子类别候选生成部2403及子类别候选选择部2404。子类别候选生成部2403及子类别候选选择部2404的动作与图29B所示的实施方式的变形例4中的子类别候选生成部2403、子类别候选选择部2404相同，所以省略说明。

在该构成中，距离计算部104具备的欧几里德距离计算部1201及移动轨迹间测地距离计算部1202将分别计算的欧几里德距离f（i，j）及测地距离g（i，j）线保存到存储器（未图示）中，子类别分类部2603具备的距离加载部2605将保存在存储器中的欧几里德距离f（i，j）及测地距离g（i，j）从存储器加载。子类别候选生成部2403使用距离加载部2605从存储器加载的欧几里德距离f（i，j）及测地距离g（i，j），与子类别候选选择部2404一起进行移动轨迹的聚类。由此，能够节省新计算欧几里德距离的处理，能够实现更高速的处理。

（变形例6）

接着，说明本发明的实施方式的变形例6的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了静止指标计算部103中包含的几何约束推定部701基于移动轨迹计算部102求出的移动轨迹求出几何约束。

但是，静止指标计算部103的动作不限于此。即，也可以是，静止指标计算部103与移动轨迹计算部102分别地，使用根据由图像输入部101作为输入接受的运动图像另外求出的移动轨迹，进行几何约束的推定。

以下说明另外几何约束推定用的移动轨迹的例子。

图32A是表示实施方式的变形例6的移动体检测装置的构成的图。

如图32A所示，该移动体检测装置100E包含：图像输入部101、移动轨迹计算部102、几何约束推定用移动轨迹计算部2701、静止指标计算部2702、距离计算部104、子类别分类部105、加权距离计算部106及区域分割部107。

几何约束推定用移动轨迹计算部2701及静止指标计算部2702以外的处理部与上述实施方式相同，所以省略说明。

图32B表示静止指标计算部2702的构成。以下将从几何约束推定用移动轨迹计算部2701开始的流程包含在内进行说明。

对于前述的几何约束的推定，已知推定的稳定性和推定结果依存于根据移动轨迹取得的对应点的精度。即，与误差较多的数据相比，尽量使用误差较少的数据，从而能够得到更正确的几何约束。根据发明人们的实验，也确认到了对应点精度较差的情况下，推定的结果和稳定性降低。一般来说，KLT或LK（Lucas-Kanade）这样的稀疏的对应点的取得方法，虽然存在较稀疏这一缺点，但是相反能够取得精度较好的对应点。

另一方面，在子类别分类部105中，为了正确地对移动轨迹进行类别分类，优选为尽量取得在图像上均匀且密集的移动轨迹。因此，认为在子类别分类部105中不应该利用前述的稀疏的对应点。

如上所述，在本实施方式的变形例6中，通过使用另外取得的、较稀疏但精度较高的对应点来仅进行几何约束的推定，能够更高精度地推定几何约束。作为稀疏的对应点取得方法，有KLT（Kanade-Lucas-Tomasi）跟踪器等。

KLT跟踪器基于以下的（式52），计算图像间的类似度。另外，p是以（u，v）形式表示的像素位置，z是以（u，v）的形式表示的对应点的像素间的移动量，e是应该最小化的误差成分。

【数学式57】

$e=\∫\underset{w}{\∫}{[J(p+z)-I\left(p\right)]}^2\mathrm{du}$ (式52)

通过求解将（式52）最小化的z，得到移动量z。对应点的取得方法在非专利文献8中详细示出，所以省略更详细的说明。

非专利文献8：“An Implementation of the Kanade-Lucas-TomasiFeature Tracker”，http：//www.ces.clemson.edu/～stb/klt/，2006

如图32B所示，静止指标计算部2702包含几何约束推定部701及误差计算部702。几何约束推定部701及误差计算部702与图7所示的几何约束推定部701及误差计算部702相同，所以在此省略说明。

静止指标计算部2702的几何约束推定部701将几何约束推定用移动轨迹计算部2701计算的移动轨迹作为输入接受，推定几何约束。接着，误差计算部702对由移动轨迹计算部102计算的移动轨迹应用由几何约束推定部701推定的几何约束，对各移动轨迹求出静止指标E。使用通过以上的顺序求出的静止指标，继续执行加权距离计算部106以后的处理。

根据上述构成，能够求出更稳定且正确的几何约束，所以具有能够更稳定且正确地进行移动体的检测的效果。因此，静止指标E的可靠度更加提高，结果，具有能够更正确地求出子类别单位的静止指标E_SUB-MS的效果。

（变形例7）

接着，说明本发明的实施方式的变形例7的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了加权距离计算部106基于由距离计算部104计算的测地距离g（i，j）及由静止指标计算部103计算的静止指标E，对子类别间测地距离进行加权而求出。但是，距离计算部104及加权距离计算部106的动作不限于此。即，也可以是，距离计算部104求出移动轨迹间的欧几里德距离，或加权距离计算部106求出子类别间欧几里德距离，基于子类别内移动轨迹的静止指标进行子类别的静止或移动的判定，基于判定结果对子类别间欧几里德距离进行加权，最后根据子类别间的欧几里德距离求出子类别间测地距离。

参照图33A～图33D说明本实施方式的变形例7的动作。

图33A是表示实施方式的变形例7的移动体检测装置的构成的图。如图33A所示，该移动体检测装置100F包含：图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部2801、子类别分类部105、加权距离计算部2802及区域分割部107。

距离计算部2801及加权距离计算部2802以外的处理部与上述实施方式相同，所以省略说明。

距离计算部2801计算移动轨迹间的欧几里德距离。图33B表示距离计算部2801的构成。距离计算部包含欧几里德距离计算部1501。欧几里德距离计算部1501的处理与在图15中说明的欧几里德距离计算部1501相同，所以省略说明。

加权距离计算部2802基于静止指标，对由距离计算部2801计算的欧几里德距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的欧几里德距离相对于任意静止物的移动轨迹间的欧几里德距离之比大于加权前，从而计算加权欧几里德距离，根据计算的加权欧几里德距离计算加权测地距离。

图33C表示加权距离计算部2802的构成。本变形例的加权距离计算部2802具备：子类别间欧几里德距离计算部2803、静止指标附加部2804及子类别间加权测地距离计算部2805。

首先，说明子类别间欧几里德距离计算部2803的动作。

图34表示由子类别分类部105生成的多个类别中的、接近的两个子类别θ_i、θ_j。另外，为简单起见，在以下的说明中，将“子类别”仅标记为“类别”。

若设类别θ_i、θ_j中包含的移动轨迹的集合分别为I、J，设类别θ_i、θ_j所包含的移动轨迹的个数分别为Ni、Nj，则I、J分别以在图13A～图13C的说明中使用的（式21）·（式22）表示。

另外，（式21）、（式22）中包含的xⁱ与（式2）同样，是以多维矢量的形式表示的移动轨迹。

在此，将在I中包含的移动轨迹和J中包含的移动轨迹间求出的距离定义为类别间距离。在此，设“距离”是同时包含欧几里德距离、测地距离的概念。

图34表示类别间欧几里德距离的代表值（代表欧几里德距离）的概念图。从类别θ_i选择移动轨迹xⁱ³1801、从类别θ_j选择移动轨迹x^j11802的情况下，该2移动轨迹间的欧几里德距离作为f₃₁（=f（i₃，j₁））求出。这是对I，J间的所有移动轨迹的组合进行计算，而得到了以下的（式53）所示的多个欧几里德距离f。

【数学式58】

f(i，j)＝(f₁₁，f₁₂，...，f_NiNj)     (式53)

本说明书中的移动体区域检测着眼于I、J所示的类别内的单一移动轨迹的集合，基于类别单位的微小距离进行动作，从而能够应对由于以像素为单位进行处理而产生的静止指标的噪声·误检测。因此，优选为计算类别间距离的代表值。即，类别间距离的代表值如图34所示，对多个类别，优选为是能够对类别间的运动或位置性关系进行近似的代表值。

对于满足前述的优选条件的代表距离，能够将各类别的移动轨迹间的欧几里德距离的平均值作为代表值使用。这是在多个类别间，求出各类别所包含的移动轨迹间的全部组合的多个欧几里德距离，并将它们平均而得到的。这种情况下，代表欧几里德距离F（θ_i，θ_j）能够通过以下的（式54）计算。

【数学式59】

$F({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\frac{1}{N_i{N}_j}\underset{j\⋐N_j}{\overset{N_i,N_j}{\underset{i\⋐N_i,}{\mathrm{\Σ}}}}f(i,j)$ (式54)

另外，该代表欧几里德距离不限于欧几里德距离的平均值。

如以下所示，能够将各类别的移动轨迹间的欧几里德距离的中央值作为代表值使用。这是在多个类别间，求出各类别所包含的移动轨迹间的全部组合的多个欧几里德距离，并取它们的中间值而得到的。这种情况下，代表欧几里德距离F（θ_i，θ_j）能够通过以下的（式55）计算。

【数学式60】

$F({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{median}{\left[f(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i,}$ (式55)

另外，在（式55）中，

【数学式61】

$\mathrm{median}{\left[f(i,j)\right]}_{j\⋐\mathrm{Nj}}^{i\⋐\mathrm{Ni},}$ (式56)

是将具有与整数标签i（i=1～Ni）、整数标签j（j=1～Nj）对应的多个值的f（i，j）的中央值返回的函数。

此外，如以下的（式57）所示，作为代表欧几里德距离，能够将各类别的移动轨迹间的欧几里德距离的频率最高值作为代表值使用。这些代表值是在多个类别间，求出各类别所包含的移动轨迹间的全部组合中的多个欧几里德距离时，在它们之中最高频度出现的值。

【数学式62】

$F({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{mode}{\left[f(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i,}$ (式57)

另外，在（式57）中，

【数学式63】

$\mathrm{mode}{\left[f(i,j)\right]}_{j\⋐\mathrm{Nj}}^{i\⋐\mathrm{Ni}}$ (式58)

是将具有与整数标签i（i=1～Ni）、整数标签j（j=1～Nj）对应的多个值的f（i，j）的频率最高值返回的函数。

接着，详细说明静止指标附加部2804的动作。静止指标附加部2804基于属于各类别的移动轨迹的静止指标，对各子类别间的代表欧几里德距离F（θ_i，θ_j）进行加权。

加权的顺序和基准与在图19E中说明的相同，所以省略详细说明。加权后，子类别间的代表欧几里德距离在移动体之间变近，而移动体与背景的距离变远。

最后，对于加权后的代表欧几里德距离F（θ_i，θ_j），由子类别间加权测地距离计算部2805计算子类别间测地距离。根据代表欧几里德距离求出测地距离的顺序在距离计算部104的说明中详细记载。即，进行与距离计算部104的移动轨迹间测地距离计算部1202相同的处理即可。处理的单位仅为移动轨迹单位还是子类别单位的差别，能够通过相同的处理求出测地距离。

另外，加权距离计算部2802并不是必须包含子类别间加权测地距离计算部2805。测地距离尤其适用于人物等变形剧烈的移动体的表现，但是根据运动图像中的移动体的变形的剧烈程度，有时不使用测地距离，仅通过欧几里德距离也能够进行检测。这种情况的加权距离计算部2806的构成在图33D中示出。

加权距离计算部2806基于静止指标，对距离计算部2801计算的欧几里德距离附加权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的欧几里德距离相对于任意静止物的移动轨迹间的欧几里德距离之比大于加权前，从而计算加权欧几里德距离。

本变形例的加权距离计算部2806具备子类别间欧几里德距离计算部2803和静止指标附加部2804。

根据以上的构成，不需要子类别间测地距离的计算，所以具有能够削减计算量的效果。

另外，如前所述，通过子类别分类部105，对由移动轨迹计算部102计算出的移动轨迹的集合，根据亮度或移动轨迹的类似度等某指标进行聚类，从而生成子类别，但是子类别并不一定要包含多个移动轨迹。即，子类别也可以进行分别由一个移动轨迹构成的子类别分类。

通过以上的顺序进行移动体检测，从而在子类别分类部输出的子类别数比全移动轨迹数小的情况下，具有能够削减测地距离的计算量的效果。

（变形例8）

接着，说明本发明的实施方式的变形例8的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了加权距离计算部106基于由距离计算部104计算的测地距离g（i，j）及由静止指标计算部103计算的静止指标E，对子类别间测地距离进行加权。

但是，静止指标计算部103及加权距离计算部106的动作不限于此。即，也可以是，静止指标计算部103具备从图像取得摄像机110的运动信息的摄像机运动取得部，将从图像检测到的摄像机运动输出至加权距离计算部106。此外，也可以是，加权距离计算部106基于子类别间测地距离和子类别内的移动轨迹的静止指标，进行子类别的静止或移动的判定，基于判定结果和摄像机运动的信息，对子类别间测地距离进行加权，从而求出子类别间测地距离。

以下说明推定摄像机运动的信息并用于子类别间测地距离的加权的例子。

图35A是表示实施方式的变形例8的移动体检测装置的构成的图。如图35A所示，该移动体检测装置100G包含：图像输入部101、移动轨迹计算部102、静止指标计算部3001、距离计算部104、子类别分类部105、加权距离计算部3002及区域分割部107。

静止指标计算部3001及加权距离计算部3002以外的处理部与上述实施方式相同，所以省略说明。

图35B表示静止指标计算部3001的构成。本变形例的静止指标计算部3001具备：摄像机运动取得部3003、几何约束推定部3004及误差计算部702。误差计算部702的动作与在图7中说明的误差计算部702的动作相同，所以在此省略说明。

首先，说明摄像机运动取得部3003的动作。摄像机运动取得部3003根据图像的运动信息推定摄像机运动的信息。即，摄像机运动取得部3003从由移动轨迹计算部102计算的移动轨迹提取各帧间的对应点，推定各帧间的摄像机运动的信息。

摄像机运动的信息的推定方法有各种方法，例如有如下方法：通过8点法求出基础矩阵F，并由此进行运动推定。从对应点选择8点的样本，并通过RANSAC来推定矩阵的8点法，作为在基础矩阵推定中经常使用的方法，是众所周知的。若进行摄像机的校准，并求出校准矩阵，则能够根据推定的基础矩阵和摄像机的校准矩阵求出本质矩阵（E矩阵），通过进行E矩阵的奇异值分解，推定摄像机运动的信息。

以上的运动推定方法详细记载在非专利文献4中，所以省略更详细的说明。当然，除了上述的方法以外，例如也可以像非专利文献9中记载的那样，根据对应点和平面进行运动推定。如果有其他根据图像来推定帧间的摄像机运动的信息的方法，也能够用于本实施方式的运动推定。

非专利文献9：《图像理解-3维识别的数理-》金谷健一著、森北出版、1990

几何约束推定部3004能够利用摄像机运动取得部3003推定的摄像机运动的信息来推定几何约束。例如，在（式4）及（式5）所示的对极约束式中，能够直接使用由摄像机运动取得部3003推定的基础矩阵F，或用于单应约束和构造一致性约束式的投影深度（式8）中包含的单应矩阵及核点也能够根据由摄像机运动取得部3003推定的摄像机运动的信息求出。详细的变换在该非专利文献4中有详细记载，所以省略说明。通过以上的顺序，具有几何约束推定部3004的处理变得简单的效果。此外，使用由几何约束推定部3004推定的几何约束，误差计算部702计算各移动轨迹的静止指标E。误差计算部702将求出的静止指标E输出至加权距离计算部3002，摄像机运动取得部3003将求出的摄像机运动的信息输出至加权距离计算部3002。

接着，加权距离计算部3002与图17的加权距离计算部106同样，计算子类别间测地距离。到此为止，加权距离计算部3002和加权距离计算部106进行相同动作。

在此，图36A及图36B表示摄像机运动较大和较小的情况的、高维空间上的子类别的分布的概念图。虽然实际上是高维空间，但为了便于观察，以二维显示。摄像机运动较大的情况的分布在图36A中示出，摄像机运动较小的情况的分布在图36B中示出。若摄像机运动变大，则相对地背景的运动成分变大，背景的分布变广，因此如图36A所示，在移动体和背景之间，无论如何距离都会变近。相反，摄像机运动较小的情况如图36B所示，背景分布于离移动体较远的位置。为了对应于这些分布的差异，使前述的加权规则根据摄像机运动的大小变化。

具体地说，如图36C所示，两个子类别都为“静止”的情况下，对子类别间测地距离附加W_B＜W_S＜1（W_B：摄像机运动大时的权重、W_S：摄像机运动小时的权重）的权重W_B或W_S。子类别为“静止”和“移动”的情况下（不同的分类），对子类别间测地距离附加W_B＞W_S＞1（W_B：摄像机运动大时的权重，W_S：摄像机运动小时的权重）的权重W_B或W_S。即，摄像机运动较大的情况下，设定使静止物的子类别彼此更加接近、移动体的子类别和静止物的子类别更加远离的权重。

具体地说，摄像机运动是大还是小的基准依存于想要根据运动图像检测的移动体的移动速度。例如想要将人物作为移动体检测的情况下，人物的平均移动速度为3km/h，所以摄像机运动为3km/h以上的情况下，判断为“摄像机运动较大”，摄像机运动越大，表示子类别静止或移动的判定结果的静止判定值E_MS应用于双方0（静止）的移动轨迹对间的测地距离的权重W越小（其中W＜1），静止判定值E_MS应应用于0和1（静止和移动）的移动轨迹对间的测地距离的权重W越大（其中W＞1）即可。

此外，摄像机运动小于3km/h的情况下，判断为“摄像机运动”较小，摄像机运动越小，则静止判定值E_MS应用于双方0的移动轨迹对间的测地距离的权重W越大（其中W＜1），静止判定值E_MS应用于0和1的移动轨迹对间的测地距离的权重W越小（其中W＞1）即可。

例如，摄像机运动较大的情况下，例如为5km/h的情况下，将应用于子类别都为“静止”的移动轨迹对间的测地距离的权重W设为W=0.005，将应用于子类别为“静止”和“移动”的移动轨迹对间的测地距离的权重W设为W=10。此外，摄像机运动较小的情况下，例如为相当于0.2km/h的距离的情况下，将应用于子类别都为“静止”的移动轨迹对间的测地距离的权重W设为W=0.05，将应用于子类别为“静止”和“移动”的移动轨迹对间的测地距离的权重W设为W=1等即可。

图36D及图36E表示通过以上那样设定的加权，子类别间测地距离变化的结果的例子。图36D表示按照摄像机运动较大时的权重来进行子类别间测地距离的加权后的子类别的分布，图36E表示按照摄像机运动较小时的权重来进行子类别间测地距离的加权后的子类别的分布。可知通过这样适当地使加权变化，不取决于摄像机运动的大小，求出了子类别间的测地距离。

另外，也可以是，关于W的大小，例如对于在某特定的摄像机运动下预先设定的权重W_ref，将摄像机运动的绝对值之比与权重W_ref相乘或相除，从而变更加权规则。

通过以上的构成，能够降低摄像机运动的大小变动对子类别间的加权测地距离G_w的影响，所以能够实现稳定的移动体检测。

另外，在本实施方式中，由摄像机运动取得部求出摄像机运动的信息自身，但是也可以代替摄像机运动，而求出移动轨迹的大小（通过移动轨迹求出的移动量）的平均值，并代替摄像机运动来使用。若摄像机运动变大，则平均地背景上的移动轨迹的大小也变大，所以能够近似地得到与摄像机运动的大小成正比的值。例如，通过事前取得实际的摄像机运动与其移动轨迹的大小的平均值的关系性，能够将移动轨迹的大小的平均值作为与摄像机运动对应的评价值使用。

（变形例9）

接着，说明本发明的实施方式的变形例9的移动体检测装置。

在变形例8中说明的移动体检测装置100G中，说明了摄像机运动取得部3003包含在静止指标计算部3001中，根据图像推定摄像机运动的信息。但是，摄像机运动取得部3003的动作不限于此。

即，也可以是，摄像机运动取得部3003通过设置于摄像机的传感器，电子或物理地取得摄像机运动的信息，或根据摄像机的操作控制信号取得摄像机运动的信息。

图37是表示实施方式的变形例9的移动体检测装置的构成的图。如图37所示，该移动体检测装置100H包含：图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部105、加权距离计算部3102及区域分割部107。

摄像机运动取得部3101及加权距离计算部3102以外的处理部与变形例8相同，所以省略说明。

摄像机运动取得部3101从设置于摄像机的传感器，电子或物理地取得摄像机运动的信息。接着，加权距离计算部3102除了从静止指标计算部103接受静止指标E、从距离计算部104接受各移动轨迹间的距离、从子类别分类部105接受子类别分类信息（标签信息），还从摄像机运动取得部3101接受由摄像机运动取得部3101取得的摄像机运动的信息。与变形例8同样，使对于子类别间测地距离的权重W基于摄像机运动的信息变化。处理的详细与变形例8相同，所以省略说明。根据该构成，加权距离计算部3102能够取得实际的摄像机运动的信息，所以能够更正确地进行移动体的检测。

另外，摄像机运动取得部3101中的摄像机运动的信息并不一定要通过设置于摄像机的传感器，也可以通过单独设置在设置有摄像机的移动车辆等中的传感器来取得。尤其是移动车辆为车的情况下，能够使用车载传感器。如果摄像机及另外设置的传感器的位置关系是已知的，则通过进行座标变换，能够将由传感器取得的移动体运动的信息简单地变换为摄像机运动的信息而利用。这样，传感器与摄像机分别设置的情况的移动体检测装置的构成图在图38中示出。即，移动体检测装置100I在图37所示的移动体检测装置100H中，代替摄像机运动取得部3101，具备摄像机运动取得部3201。摄像机运动取得部3201从设置于车等移动车辆上的移动体上传感器3202取得传感器信息，进行向摄像机座标系的座标变换，将移动体的运动信息作为摄像机运动的信息输出即可。根据构成，即使在难以取得来自摄像机主体的运动的情况下，通过在设置有摄像机的移动车辆上另外设置传感器，也能够取得摄像机运动的信息。另外，作为移动车辆是车的情况下使用的移动体上传感器3202，具体地说，可以作为检测行驶距离和操舵角的传感器。另外，在此将摄像机的搭载目标作为移动车辆，但只要移动且搭载有摄像机、能够检测摄像机运动，当然也可以不是车辆。

（变形例10）

接着，参照图39A及图39B，说明本发明的实施方式的变形例10的移动体检测装置。

在上述实施方式中说明的移动体检测装置100中，说明了加权距离计算部106包含代表测地距离计算部1701和静止指标附加部1702，基于静止指标对代表测地距离进行加权，区域分割部107对加权后的代表测地距离进行区域分割。但是，加权距离计算部106和区域分割部107的动作不限于此。

在加权距离计算部106中，也可以求出各子类别的代表测地距离和代表静止指标并输出至区域分割部，在区域分割部107中，对聚类阈值进行基于代表静止指标的加权。

图39A是表示实施方式的变形例10的移动体检测装置的构成的图。

如图39A所示，该移动体检测装置100J包含：图像输入部101、移动轨迹计算部102、静止指标计算部103、距离计算部104、子类别分类部105、加权距离计算部3401及区域分割部3402。

加权距离计算部3401及区域分割部3402以外的处理部与上述实施方式相同，所以省略说明。

加权距离计算部3401基于移动轨迹间的距离，计算移动轨迹间的测地距离。

区域分割部3402根据对于用于判断是否将静止物的移动区域和移动体的移动区域分类至不同的类别的测地距离的阈值附加基于静止指标的权重而得到的加权阈值和由加权距离计算部3401计算的测地距离的比较结果，将静止物的移动轨迹和移动体的移动轨迹分离，从而将各图片上的静止物的区域和移动体的区域分割。

区域分割部3402使两个移动轨迹的静止指标分别是表示“静止物”及“静止物”的值时的对于测地距离的阈值的权重，比两个移动轨迹的静止指标分别是表示“移动体”及“静止物”的值时的对于测地距离的阈值的权重大。

如图39B所示，加权距离计算部3401包含代表测地距离计算部1701和代表静止指标计算部3403。代表测地距离计算部1701的动作与上述实施方式相同，所以省略其说明。

详细说明代表静止指标计算部3403的动作。代表静止指标计算部3403对于属于各类别的移动轨迹的静止指标，分别求出其代表值。

即，通过进行与上述实施方式中的静止指标附加部1702的动作的前半部分（对各子类别求出一个静止指标的部分）相同的处理，即子类别单位的静止或移动的评价，修正在像素单位中产生的静止指标的误判定。

作为子类别单位的静止或移动的评价的方法，例如作为最简单的例子可以举出多个。具体地说，代表静止指标计算部3403对于某子类别内的移动轨迹，在静止判定值E_MS＝1（移动）的移动轨迹较多的情况下，将该子类别单位的静止或移动的评价作为“移动”、即子类别间静止判定值E_SUB-MS=1。相反，对于某子类别内的移动轨迹，判定为“静止”的移动轨迹较多、或者判定为“静止”的移动轨迹和判定为“移动”的移动轨迹的数量相同的情况下，将该子类别单位的静止或移动的评价作为“静止”、即子类别间静止判定值E_SUB-MS＝0。由此，如图19D所示，对移动体上的各子类别判定为子类别间静止判定值E_SUB-MS=1，对静止物上的各子类别判定为子类别间静止判定值E_SUB-MS=0，能够将误判定的影响除去。

由此，对各子类别间附加一个子类别间静止判定值E_SUB-MS、即子类别单位的静止或移动的评价的值。加权距离计算部3401将子类别间静止判定值E_SUB-MS和子类别间测地距离h_p，q输出至区域分割部3402。

区域分割部3402将由子类别分类部105生成的多个子类别θ_p（p≤m，m：子类别数）作为区域分割候选。区域分割部3402作为子类别θ_p的区域分割的评价值，使用由加权距离计算部3401计算的子类别间测地距离h_p，q，或者作为用于区域分割的阈值的加权，利用子类别间静止判定值E_SUB-MS，判断是否将子类别θ_p的区域分割候选作为其他群组来分割。

具体地说，区域分割部3402在子类别间测地距离h_p，q为预先决定的阈值Ht以上的情况下，将对应的两个子类别θ_p、θ_q作为其子类别间的距离充分远离的类别来选择，并确定为个别的类别。

另一方面，区域分割部3402在子类别间测地距离h_p，q小于预先决定的阈值Ht的情况下，将对应的两个子类别θ_p、θ_q确定为同一类别。即，这种情况下，确定为不分割。并且，区域分割部3402对区域分割候选的所有子类别判定了是否分割之后，对属于不同的类别的移动轨迹分配不同的标签θ_m，并作为移动轨迹的区域分割信息输出。

在此，对预先决定的阈值Ht设定以下所示的加权规则。

如果两个子类别的子类别间静止判定值E_SUB-MS都为0，则都是静止物的子类别，可以说属于同一静止背景。因此，设为子类别间更容易被统合的处理即可。在此，对于用于子类别的区域分割判定的阈值Ht，附加用于使子类别间测地距离接近的权重Y。即，区域分割部3402使用上述实施方式中的Wmin，对阈值Ht附加Ymin=1/Wmin的权重Ymin即可。若设加权阈值为Htw（p，q），则成为Htw（p，q）=Ymin·Ht。

此外，某两个子类别的子类别间静止判定值E_SUB-MS的一方为0、另一方为1的情况下，分别为背景的子类别和移动体的子类别、即不同的物体的子类别的可能性较高，所以采用子类别间不易被统合的处理即可。在此，对阈值Ht附加使子类别间测地距离远离的权重Y。即，区域分割部3402与Ymin同样，使用上述实施方式中的Wmax，对阈值Ht附加Ymax=1/Wmax的权重Ymax。若设加权阈值为Htw（p，q），则成为Htw（p，q）=Ymax·Ht。

此外，如果某两个子类别的子类别间静止判定值E_SUB-MS都为1，则都是移动体的子类别。但是，与背景的情况不同，该两个子类别是同一移动体上的子类别、还是不同的移动体上的子类别，仅根据子类别间静止判定值E_SUB-MS是无法判定的。因此，不进行加权。即，区域分割部3402对子类别间的聚类阈值附加Y=1的权重Yneu。若设加权阈值为Htw（p，q），则成为Htw（p，q）=Yneu·Ht。

另外，上述的两个子类别都是静止物的情况下的使子类别间容易被统合的加权、以及两个子类别的一方为背景而另一方为静止物的情况下的使子类别间不易被统合的加权，可以仅对某一方进行，也可以对两者同时进行。

另外，Ymax、Ymin的值取决于摄像机运动的大小和移动体的动作的速度等，但是例如摄像机以时速1km直进的情况下，通过上述实施方式的Wmax、Wmin，能够使用Ymax=0.2、Ymin=100。

此外，通过根据子类别的子类别间静止判定值E_SUB-MS的可靠度使权重变化，能够更正确地将移动体从背景分离。

子类别间静止判定值E_SUB-MS的可靠度较低的情况下（例如使用核点误差的情况下，尤其对于直进的车在例如狭窄的道路等在正前方存在较小的移动体的情况），存在发生误判定的可能性。这种情况下，预先设为Ymax=0.4、Ymin=10等，使Ymax、Ymin成为更接近1的值，能够降低误检测及检测失误。

相反，子类别间静止判定值E_SUB-MS的可靠度较高的情况下（例如前述的核点误差的情况下，在大路的车道等在正前方不易出现人物那样的较小的移动体的情况），相反设为Ymax=0.1、Ymin=1000等，使Ymax、Ymin更远离1的值即可。

尤其是，完全正确地赋予了子类别间静止判定值E_SUB-MS的情况下，若设Ymax=0，则能够容易地将移动体从背景分离。

如以上那样，通过对用于各子类别间的区域分割的阈值进行加权，能够得到与上述实施方式中的向测地距离的加权同样的效果。

最后，区域分割部3402使用加权后的阈值，与上述实施方式的区域分割部107的处理同样，比较子类别间测地距离h_p，q和加权阈值Htw（p，q），在h_p，q≥Htw（p，q）的情况下，判断为将对应的子类别θ_p、θ_q分割，相反，在h_p，q＜Htw（p，q）的情况下，判断为不将对应的子类别θ_p、θ_q分割、即不进行统合。

通过以上的顺序，不用直接变更测地距离的值，仅通过阈值的变更，就能够得到与上述实施方式的移动体检测装置100同样的效果。尤其是，在不保持加权后的测地距离，即子类别数较多的情况下等，不需要将加权前的测地距离和加权后的测地距离的双方保持到存储器中，所以具有存储器效率更好的效果。

如以上那样，在本实施方式及其变形例的移动体检测装置及其方法中，基于像素间的距离或移动轨迹的类似度进行子类别化，进而根据子类别间的代表距离和移动轨迹的静止指标，能够不取决于移动体的姿势地进行包含移动体的图片的区域分割。

此外，由于不需要作为预处理而设定人物候选区域，所以不会发生起因于人物候选区域的检测失误的区域分割的失败。因此，不需要很多参数的适配，就能够对包含一边形状变化一边移动的人物等的图片正确地进行移动体的检测。

此外，上述实施方式的移动体检测装置100具备图像输入部101、移动轨迹计算部102及子类别分类部105，但是这些构成要素对本发明来说并不是必需的。图40是表示具备本发明所必需的构成要素的移动体检测装置的构成的图。移动体检测装置100K具备：静止指标计算部103、距离计算部104、加权距离计算部106、区域分割部107。即，也可以是，预先计算构成运动图像的多个块各自的图片的移动轨迹的情况下，移动体检测装置100从外部取得这样的移动轨迹，对取得的移动轨迹执行步骤S303、S304、S306及S307的处理。此外，也可以是，不用将移动轨迹分类至子类别，加权距离计算部106在所有移动轨迹间计算测地距离。另外，在权利要求中，将加权距离计算部106及区域分割部107一并称作区域检测部。

此外，本发明作为移动体检测装置来实现，但只要具备移动体检测装置100的功能，当然也可以作为对在运动图像中具有关节状运动的目标物的区域进行提取或分割的图像处理装置来实现。

另外，在本实施方式中，作为线性距离使用了欧几里德距离，但是如前所述，不限于欧几里德距离。使用前述的以线性距离定义的任意的距离指标得到的形态也包含在本发明中。

此外，构成上述各装置的构成要素的一部分或全部可以由一个系统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI是将多个构成部集成在一个芯片上而制造的超多功能LSI，具体地说，是包含微处理器、ROM、RAM等而构成的计算机系统。在RAM存储有计算机程序。微处理器按照计算机程序进行动作，从而系统LSI达成其功能。

此外，构成上述各装置的构成要素的一部分或全部也可以由可拆装于各装置的IC卡或单体的模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块可以包含上述超多功能LSI。微处理器按照华计算机程序进行动作，从而IC卡或模块达成其功能。该IC卡或该模块也可以具有防篡改性。

此外，本发明也可以作为上述的方法。此外，也可以作为由计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。

此外，本发明也可以将上述计算机程序或上述数字信号记录在计算机可读取的非易失性记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD（Blu-rayDisc（注册商标））、半导体存储器等中。此外，也可以作为记录在这些非易失性记录介质中的上述数字信号。

此外，本发明也可以将上述计算机程序或上述数字信号经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传输。

此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储上述计算机程序，上述微处理器按照上述计算机程序进行动作。

此外，也可以是，通过将上述程序或上述数字信号记录在上述非易失性记录介质中并移送，或将上述程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统来实施。

此外，也可以将上述实施方式及上述变形例分别组合。

本次公开的实施方式的所有点都只是例示，不应该认为限制发明的范围。本发明的范围不是由上述说明示出，而是由权利要求示出，意图包含权利要求及均等的意思及范围内的所有变更。

工业实用性

本发明作为基于多张图片中的运动，对包含一边形状变化一边移动的人物等移动体的图片进行区域提取，从而检测图片中的移动体的移动体检测装置，例如能够作为运动解析装置、监视装置、摄影机或TV等AV设备中内置的移动体检测装置等来利用。

附图标记说明

100、100A～100L移动体检测装置

101图像输入部

102移动轨迹计算部

103、103A、2702、3001静止指标计算部

104距离计算部

105、2101、2201、2401、2601、2602、2603子类别分类部

106、106A、2802、2806、3002、3102、3401加权距离计算部

107、3402区域分割部

110摄像机

120显示器

200计算机

201I/F

202CPU

203ROM

204RAM

205HDD

206视频卡

701、3004几何约束推定部

702误差计算部

703静止指标图像制作部

1201、1501、2801欧几里德距离计算部

1202移动轨迹间测地距离计算部

1502、2102、2203聚类部

1701代表测地距离计算部

1702、1702A、2804静止指标附加部

1703阈值输入部

2202第2距离计算部

2402第3距离计算部

2403子类别候选生成部

2404子类别候选选择部

2604欧几里德距离加载部

2605距离加载部

2701几何约束推定用移动轨迹计算部

2803子类别间欧几里德距离计算部

2805子类别间加权测地距离计算部

3003、3101、3201摄像机运动取得部

3202移动体上传感器

3403代表静止指标计算部

Claims (32)

1.一种移动体检测装置，根据分别与运动图像中的各区域对应的多个移动轨迹，检测移动体区域，具备：

静止指标计算部，针对多个移动轨迹中的各个移动轨迹，计算表示该移动轨迹与静止物的移动轨迹的相似度的静止指标，所述移动轨迹是构成运动图像的两张以上图片间的块的运动的轨迹，所述块构成所述图片，且由一个以上像素构成；

距离计算部，计算表示所述移动轨迹间的类似度的距离；以及

区域检测部，基于所述移动轨迹的静止指标及所述移动轨迹间的距离，进行如下变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的距离相对于任意静止物的移动轨迹间的距离之比大于变换前，基于所述变换后的移动轨迹间的距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

2.如权利要求1所述的移动体检测装置，

所述距离计算部基于所述移动轨迹间的距离，计算下述测地距离，该测地距离是以两个移动轨迹以外的移动轨迹为中继点而从所述两个移动轨迹的一方抵达另一方的路径的距离；

所述区域检测部基于所述移动轨迹的静止指标及所述移动轨迹间的测地距离，进行如下变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于变换前，基于所述移动轨迹间的测地距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

3.如权利要求1所述的移动体检测装置，

所述静止指标计算部根据所述多个移动轨迹，推定在各移动轨迹为静止物的移动轨迹的情况下成立的几何约束，计算满足推定的所述几何约束的程度来作为所述静止指标。

4.如权利要求3所述的移动体检测装置，

所述静止指标计算部根据多个移动轨迹，推定对极约束、单应约束、三重线性约束及构造一致性约束中的某一个几何约束，计算满足推定的所述几何约束的程度来作为所述静止指标。

5.如权利要求1～4中任一项所述的移动体检测装置，

所述区域检测部包含：

加权距离计算部，基于所述移动轨迹间的距离，计算所述移动轨迹间的测地距离，基于所述移动轨迹的静止指标，对于计算的各测地距离附加如下权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于加权前，从而计算加权测地距离；以及

区域分割部，基于所述加权距离计算部计算的所述加权测地距离，将所述加权测地距离为规定的阈值以上的移动轨迹彼此分类至不同的类别，从而分割各图片上的静止物的区域和移动体的区域。

6.如权利要求5所述的移动体检测装置，

所述距离计算部计算表示移动轨迹间的类似度的测地距离；

所述加权距离计算部基于所述静止指标，对于所述距离计算部计算的所述测地距离附加如下权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的测地距离相对于任意静止物的移动轨迹间的测地距离之比大于加权前，从而计算所述加权测地距离。

7.如权利要求5所述的移动体检测装置，

所述距离计算部计算表示移动轨迹间的类似度的线性距离；

所述加权距离计算部基于所述静止指标，对所述距离计算部计算的所述线性距离附加如下权重，该权重使任意静止物的移动轨迹与任意移动体的移动轨迹间的线性距离相对于任意静止物的移动轨迹间的线性距离之比大于加权前，从而计算加权线性距离，并根据计算的所述加权线性距离计算所述加权测地距离。

8.如权利要求1～4中任一项所述的移动体检测装置，

所述区域检测部包含：

加权距离计算部，基于所述移动轨迹间的距离，计算所述移动轨迹间的测地距离；以及

区域分割部，根据对所述测地距离的阈值附加基于所述静止指标的权重而得到的加权阈值与所述加权距离计算部计算的所述测地距离的比较结果，分离为静止物的移动轨迹和移动体的移动轨迹，从而将各图片上的静止物的区域和移动体的区域分割，该测地距离的阈值用来判断是否将静止物的移动区域和移动体的移动区域分类至不同的类别。

9.如权利要求8所述的移动体检测装置，

所述区域分割部使两个移动轨迹的静止指标分别是表示“静止物”及“静止物”的值时的与所述测地距离的阈值对应的权重，大于两个移动轨迹的静止指标分别是表示“移动体”及“静止物”的值时的与所述测地距离的阈值对应的权重。

10.如权利要求5所述的移动体检测装置，还具备：

子类别分类部，将所述多个移动轨迹分类至多个子类别，该子类别是各自类似的移动轨迹的部分集合；

所述加权距离计算部基于移动轨迹的静止指标、移动轨迹间的距离及子类别的分类结果，计算附加了基于所述静止指标的所述权重的所述移动轨迹间的测地距离；

所述区域分割部基于由所述加权距离计算部计算的所述加权后的测地距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而将各图片上的静止物的区域和移动体的区域分割。

11.如权利要求5所述的移动体检测装置，还具备：

子类别分类部，将所述多个移动轨迹分类至多个子类别，该子类别是各自类似的移动轨迹的部分集合；

所述加权距离计算部基于移动轨迹的静止指标、移动轨迹间的距离及子类别的分类结果，计算附加了基于所述静止指标的所述权重的子类别间的测地距离；

所述区域分割部基于所述加权距离计算部计算的所述子类别间的测地距离，将静止物的子类别和移动体的子类别分离，从而将各图片上的静止物的区域和移动体的区域分割。

12.如权利要求11所述的移动体检测装置，

所述距离计算部计算表示移动轨迹间的类似度的测地距离；

所述加权距离计算部对子类别间的测地距离的代表值附加基于子类别中包含的移动轨迹的静止指标的代表值的权重，从而计算所述子类别间的测地距离。

13.如权利要求11所述的移动体检测装置，

所述距离计算部计算表示移动轨迹间的类似度的线性距离；

所述加权距离计算部对子类别间的线性距离的代表值附加基于子类别中包含的移动轨迹的静止指标的代表值的权重，基于加权后的子类别间的线性距离的代表值，计算所述子类别间的测地距离。

14.如权利要求11所述的移动体检测装置，

在两个子类别间，在所述两个子类别中包含的移动轨迹的静止指标的代表值分别是表示“移动体”及“静止物”的值时，所述加权距离计算部将所述子类别间的测地距离的所述权重设定为大于1的值。

15.如权利要求11或14所述的移动体检测装置，

在两个子类别间，在所述两个子类别中包含的移动轨迹的静止指标的代表值分别是表示“静止物”及“静止物”的值时，所述加权距离计算部将所述子类别间的测地距离的所述权重设定为小于1的值。

16.如权利要求14或15所述的移动体检测装置，

在两个子类别间，在所述两个子类别中包含的移动轨迹的静止指标的代表值分别是表示“移动体”及“移动体”的值时，所述加权距离计算部将所述子类别间的测地距离的所述权重设定为1。

17.如权利要求10或11所述的移动体检测装置，

所述子类别分类部基于移动轨迹间的类似度，将各移动轨迹分类至所述多个子类别中的某一个。

18.如权利要求10或11所述的移动体检测装置，

所述子类别分类部基于移动轨迹间的属于各移动轨迹的块彼此的亮度的类似度，将各移动轨迹分类至所述多个子类别中的某一个。

19.如权利要求10或11所述的移动体检测装置，

所述子类别分类部包含：

第2距离计算部，计算所述移动轨迹间的测地距离；以及

聚类部，对所述第2距离计算部计算的所述移动轨迹间的测地距离进行维度压缩，基于维度压缩后的所述移动轨迹间的测地距离，将各移动轨迹分类至所述多个子类别中的某一个。

20.如权利要求10或11所述的移动体检测装置，

所述子类别分类部针对所述多个移动轨迹中的各个移动轨迹进行非线性化，该非线性化是在从该移动轨迹到其他移动轨迹的多个距离之中选择所述规定的距离阈值以下的距离，并将未选择的距离变更为无限大的处理，然后求出从该移动轨迹到其他移动轨迹的最短路径，从而计算所述测地距离，将移动轨迹间的测地距离为有限的值的移动轨迹的集合分类至同一子类别，从而将各移动轨迹分类至所述多个子类别中的某一个。

21.如权利要求1～20中任一项所述的移动体检测装置，

所述静止指标计算部根据用于推定对静止物的移动轨迹成立的几何约束的移动轨迹，推定所述几何约束，并基于推定的所述几何约束，计算用于在所述距离计算部中计算距离的各移动轨迹的静止指标。

22.如权利要求5所述的移动体检测装置，还具备：

摄像机运动取得部，取得拍摄所述运动图像的摄像机的运动信息；

所述加权距离计算部基于所述摄像机的运动信息的大小，使加权时的静止指标的权重变化。

23.如权利要求22所述的移动体检测装置，

所述加权距离计算部在所述摄像机的运动信息越大时，使静止物的移动轨迹和移动体的移动轨迹间的距离的加权越大。

24.如权利要求11所述的移动体检测装置，还具备：

摄像机运动取得部，取得拍摄所述运动图像的摄像机的运动信息；

在所述两个子类别的静止指标的代表值分别是表示“移动体”及“静止物”的值时，所述加权距离计算部对所述两个子类别间的测地距离进行加权，

在设所述摄像机的运动信息为规定的阈值以上时的权重为WB、设所述摄像机的运动信息小于所述规定的阈值时的权重为WS的情况下，满足WB＞WS＞1的关系。

25.如权利要求11所述的移动体检测装置，还具备：

摄像机运动取得部，取得拍摄所述运动图像的摄像机的运动信息；

在所述两个子类别的静止指标的代表值分别是表示“静止物”及“静止物”的值时，所述加权距离计算部对所述两个子类别间的测地距离进行加权，

在设所述摄像机的运动信息为规定的阈值以上时的权重为WB、设所述摄像机的运动信息小于所述规定的阈值时的权重为WS的情况下，满足WB＜WS＜1的关系。

26.如权利要求22～25中任一项所述的移动体检测装置，

所述摄像机运动取得部根据针对摄像机的操作控制信号，取得所述摄像机的运动信息。

27.如权利要求22～25中任一项所述的移动体检测装置，

所述摄像机运动取得部从车载传感器取得所述摄像机的运动信息。

28.如权利要求5～20及22～27中任一项所述的移动体检测装置，

所述加权距离计算部还比较所述移动轨迹的静止指标和静止指标阈值，从而将具有所述静止指标阈值以下的静止指标的所述移动轨迹判断为静止物的移动轨迹，将具有大于所述静止指标阈值的静止指标的所述移动轨迹判断为移动体的移动轨迹。

29.如权利要求28所述的移动体检测装置，

所述加权距离计算部包含接受静止指标阈值的阈值输入部，通过比较所述移动轨迹的静止指标和所述阈值输入部接受的所述静止指标阈值，从而将具有所述静止指标阈值以下的静止指标的所述移动轨迹判断为静止物的移动轨迹，将具有大于所述静止指标阈值的静止指标的所述移动轨迹判断为移动体的移动轨迹；

所述区域检测部还使检测到的所述移动体区域显示在所述显示部上。

30.如权利要求1～29中任一项所述的移动体检测装置，

所述静止指标计算部还将构成所述图片的各块按照与计算的所述静止指标的值相应的显示形态显示在显示部上。

31.一种移动体检测方法，根据分别与运动图像中的各区域对应的多个移动轨迹，检测移动体区域，包括：

静止指标计算步骤，针对多个移动轨迹中的各个移动轨迹，计算表示该移动轨迹与静止物的移动轨迹的相似度的静止指标，所述移动轨迹是构成运动图像的两张以上图片间的块的运动的轨迹，所述块构成所述图片，且由一个以上像素构成；

距离计算步骤，计算表示所述移动轨迹间的类似度的距离；以及

区域检测步骤，基于所述移动轨迹的静止指标及所述移动轨迹间的距离，进行如下变换处理，该变换处理使任意静止物的移动轨迹与任意移动体的移动轨迹间的距离相对于任意静止物的移动轨迹间的距离之比大于变换前，基于所述移动轨迹间的距离，将静止物的移动轨迹和移动体的移动轨迹分离，从而检测与移动体的移动轨迹对应的移动体区域。

32.一种程序，用于根据分别与运动图像中的各区域对应的多个移动轨迹，检测移动体区域，

该程序使计算机执行权利要求31所述的移动体检测方法中包括的步骤。

Images