CN102227749A - 移动体检测方法及移动体检测装置 - Google Patents

Abstract

提供一种不受运动图像中的移动体的形状的变化等的影响、能够高精度地提取移动体的区域的移动体检测方法。移动体检测方法包括：距离计算步骤(S205)，从多个移动轨蹄中，提取NL个(NL≥2)遍及TL张(TL≥3)图片的长时间移动轨蹄、和NS个(NS＞NL)遍及包含在TL张图片中的TS张(TL＞TS≥2)的图片的短时间移动轨蹄，计算NL个长时间移动轨蹄间的测地距离和NS个短时间移动轨蹄间的测地距离；距离内插步骤(S206)，基于计算出的长时间移动轨蹄间的测地距离及短时间移动轨蹄间的测地距离，计算遍及TL张图片的NS个移动轨蹄间的测地距离作为近似测地距离；区域分割步骤(S207)，基于计算出的近似测地距离进行区域分割。

Description

移动体检测方法及移动体检测装置

技术领域

本发明涉及通过将运动图像中的移动体的区域分割来检测移动体的图像处理技术，特别涉及即使在移动体是如人物那样形状一边变化一边移动的对象的情况下、也基于运动图像中的运动信息检测移动体的装置。

背景技术

以往以来，广泛地进行了通过从包含移动体的像(以下单称作“移动体”)的图像中提取图像中的移动体的区域来检测移动体的区域提取技术的研究开发。特别是，在移动体是人的情况下提取该移动体的区域的技术是在数字摄像机或数字静像照相机中的焦点控制、画质改善处理、汽车的安全运转支援系统、或者机器人中的与人碰撞避让控制或用于碰撞避让的警报等中共通利用的基础技术。

作为提取图像中的移动体的区域的技术中的一般的方法，有(1)评价预先准备的移动体的模型与图像中的候补区域的类似度来确定移动体的区域的方法、(2)将图像分割为多个小区域而计算特征量、通过以特征量为基准将类似的区域综合来确定移动体的区域的方法的两种方法。

作为前者的代表性的方法，有在从图像提取了移动体区域的候补后、评价提取的移动体区域的候补与预先准备的移动体模型的类似度、提取类似度较高的区域作为移动体区域的方法。进而，在提取如步行的人物等那样、一边变形一边移动的移动体的区域的情况下，有利用考虑到变形的移动体模型的方法。

例如，在专利文献1中记载的方法中，作为移动体区域候补而从多个图像提取移动体的剪影图像。并且，评价预先参数化的关于移动体的变形的模型、与提取出的剪影图像的类似度，推测类似度较高的区域和模型的参数。由此，对于形状一边周期性变化一边移动的人物，也能够采用参数化的模型，所以能够进行移动体的区域提取。

作为后者的代表性的方法，有将图像先分割为多个小区域、提取基于各小区域的像素的亮度值的特征量后、评价多个小区域间的特征量的类似度、将类似度较高的区域作为同一个移动体区域综合的方法。

例如，在专利文献2中记载的方法中，先将图像分割为矩形的小区域，基于小区域的亮度及运动计算特征量，通过基于特征量的类似度的顺序将小区域综合，能够进行移动体的区域提取。

专利文献1：日本特开平8-214289号公报

专利文献2：日本特开2006-031114号公报

发明内容

但是，上述以往的区域提取的技术例如在街头等多个人物等的移动体往来的场景等那样、移动体被其他移动体部分地遮挡的情况下、或者在移动体的大小显著不同的情况下等，有不能正确地提取移动体的问题。

在以专利文献1中记载的方法为代表的、使用预先准备的模型的以往的区域提取方法中，需要从图像中提取移动体区域的候补。此时，如果不能适当地提取移动体区域的候补，则不能将参数化了移动体的模型正确地应用在移动体区域候补中。特别是，在上述那样的场景中，由于移动体的大小或形状较大地变化，所以难以适当地提取移动体区域候补。

进而，即使能够适当地提取移动体区域的候补，也有以下这样的问题。特别是，在人物等的多关节物体是移动体的情况下，起因于移动体的各种各样的姿势或大小的图像的变化的幅度非常大，所以在进行移动体模型的参数化时需要庞大的数量的参数。这导致模型的应用错误。因此，例如有将多个移动体误作为1个移动体进行区域提取、或将不存在作为提取对象的移动体的区域误作为移动体进行区域提取等、不能正确地检测移动体的问题。

在以专利文献2中记载的方法为代表的、使用小区域间的特征量的以往的区域提取方法中，作为特征量使用的亮度值或运动不类似的小区域被作为不同的区域分离。因此，如人物那样根据场所而亮度值不同、并且根据场所而运动不同的移动体将同一移动体的上的两个小区域作为不同的移动体的区域提取，有不能正确地检测移动体的问题。

所以，本发明是为了解决上述以往的问题而做出的，目的是提供一种能够不受运动图像中的移动体的形状的变化、大小的变化、或者遮挡等的影响而高精度地提取移动体的区域的移动体检测方法等。

解决问题的手段

本发明的一技术方案，是通过将运动图像中的移动体的全部或一部分的区域分割、来检测运动图像中的移动体的移动体检测方法，包括：距离计算步骤，根据作为遍及包含在运动图像中的2张以上的图片的对应点的多个移动轨蹄，提取NL个(NL≥2)作为遍及TL张(TL≥3)的图片的移动轨蹄的长时间移动轨蹄、提取NS个(NS＞NL)作为遍及包含在上述TL张图片中的TS张(TL＞TS≥2)的图片的移动轨蹄的短时间移动轨蹄，分别计算NL个长时间移动轨蹄间的测地距离、和NS个短时间移动轨蹄间的测地距离；距离内插步骤，基于在上述距离计算步骤中计算出的、长时间移动轨蹄间的测地距离及短时间移动轨蹄间的测地距离，计算遍及TL张图片的NS个移动轨蹄间的测地距离作为近似测地距离；区域分割步骤，基于在上述距离内插步骤中计算出的近似测地距离，通过将移动轨蹄的集合作为1个区域分割，进行区域分割。

通过上述结构，通过基于包含在长时间的移动轨蹄间的近似测地距离中的移动轨蹄的运动的差异的信息进行区域分割，能够不受形状的变化的影响而高精度地提取该区域。即，由于能够基于根据长时间移动轨蹄间的测地距离和短时间移动距离间的测地距离计算的近似测地距离进行区域分割，所以能够不受运动图像中的移动体的形状的变化、大小的变化、或者遮挡等的影响而高精度地提取移动体的区域。

这里，作为近似测地距离的计算方法，也可以是，在上述距离内插步骤中，基于上述短时间移动轨蹄间的测地距离，提取作为短时间移动轨蹄的集合的部分短时间移动轨蹄，基于所提取的部分短时间移动轨蹄计算上述近似测地距离。

通过上述结构，即使在多个短时间移动轨蹄之中包含运动不同的多个移动体上的短时间移动轨蹄的情况下，也能够仅基于类似的短时间移动轨蹄计算近似测地距离，所以能够高精度地提取移动体的区域。

这里，作为近似测地距离的计算方法，也可以是，在上述距离内插步骤中，通过基于上述短时间移动轨蹄间的测地距离进行上述长时间移动轨蹄间的测地距离的线性内插，计算上述近似测地距离。

通过上述结构，能够计算保持短时间移动轨蹄间的测地距离的关系的近似测地距离，通过基于该近似测地距离进行区域分割，能够更正确地将移动体进行区域提取。

这里，作为近似测地距离的计算方法，也可以是，在上述距离内插步骤中，通过进行加权的上述线性内插、以使得短时间移动轨蹄间的测地距离越小则权重越大，计算上述近似测地距离。

通过上述结构，能够计算保持短时间移动轨蹄间的局部的测地距离的关系的近似测地距离，通过基于该近似测地距离进行区域分割，能够将移动体更高精度地进行区域提取。

此外，本发明的更优选的形态是，还包括对在上述图像输入步骤中受理的运动图像实施图像处理、以按照在上述区域分割步骤中分割的区域成为不同的显示形态、将图像处理后的运动图像输出的输出步骤。

通过上述结构，由于按照确定的区域以不同的显示形态实施图像处理，所以能够容易地确认检测到的移动体。

此外，本发明的更优选的形态是，在上述输出步骤中，基于在上述距离内插步骤中计算出的近似测地距离、和在上述距离计算步骤中提取的NL个长时间移动轨蹄及NS个短时间移动轨蹄，计算内插了虚拟的长时间移动轨蹄的NS个近似长时间移动轨蹄，将包括计算出的近似长时间移动轨蹄的运动图像输出。

通过上述结构，能够显示包含不能根据运动图像计算出的长时间的移动轨蹄的图像，所以能够容易地确认检测到的移动体的移动轨蹄。

本发明的一技术方案是，还包括根据包含于在上述区域分割步骤中分割的区域中的移动轨蹄计算代表该区域的移动轨蹄、通过按照计算出的代表的移动轨蹄预测该区域移动、预测上述移动体的运动的运动预测步骤。

通过上述结构，通过使用代表多个移动轨蹄的轨蹄预测移动体的运动，能够更高精度地预测运动。

此外，在提取长时间移动轨蹄时，也可以是，在上述距离计算步骤中，根据所提取的长时间移动轨蹄的个数，使上述TL变化，来提取长时间移动轨蹄。

通过上述结构，由于能够根据包含在多个图片中的移动体的特征变更长时间移动轨蹄的图片数，所以能够提取遍及更多的图片数的更多的个数的长时间移动轨蹄。即，由于能够使用包括更多的信息的长时间移动轨蹄，所以能够更高精度地进行区域分割。

此外，在提取长时间移动轨蹄时，也可以是，在上述距离计算步骤中，在所提取的长时间移动轨蹄的个数超过预先设定的第1上限值的情况下，使上述TL增加来提取长时间移动轨蹄。

通过上述结构，能够提取适当的个数的遍及更多的图片数的长时间移动轨蹄。

此外，在提取长时间移动轨蹄时，也可以是，在上述距离计算步骤中，在所提取的长时间移动轨蹄的个数低于预先设定的第1下限值的情况下，使上述TL减少来提取长时间移动轨蹄。

通过上述结构，能够在确保尽可能多的图片数的同时、使得长时间移动轨蹄不低于预先设定的移动轨蹄的数量。

此外，在提取短时间移动轨蹄时，也可以是，在上述距离计算步骤中，根据所提取的短时间移动轨蹄的个数使上述TS变化，来提取短时间移动轨蹄。

通过上述结构，由于能够根据包含在多个图片中的移动体的特征变更短时间移动轨蹄的图片数，所以能够提取遍及更多图片数的更多的个数的短时间移动轨蹄。即，由于能够使用包含更多的信息的短时间移动轨蹄，所以能够更高精度地进行区域分割。

此外，在提取短时间移动轨蹄时，也可以是，在上述距离计算步骤中，在所提取的短时间移动轨蹄的个数超过预先设定的第2上限值的情况下，使上述TS增加来提取短时间移动轨蹄。

通过上述结构，能够将遍及更多的图片数的短时间移动轨蹄提取适当的个数。

此外，在提取短时间移动轨蹄时，也可以是，在上述距离计算步骤中，在所提取的短时间移动轨蹄的个数低于预先设定的第2下限值的情况下，使上述TS减少来提取短时间移动轨蹄。

通过上述结构，能够在确保尽可能多的图片数的同时、使得短时间移动轨蹄不低于预先设定的移动轨蹄的数量。

另外，本发明的移动体检测方法不仅通过计算机上的程序实现，也能够作为将上述各步骤通过硬件构成的移动体检测装置、使计算机执行上述各步骤的程序、保存有该程序的CD-ROM(Compact Disc Read Only Memory)等的计算机可读取的记录媒体、在运动图像中提取或分割具有运动的对象的区域的图像处理装置等实现。

发明效果

通过上述的方法及装置等，能够使用基于长时间移动轨蹄间的测地距离和短时间移动距离间的测地距离计算的近似测地距离进行区域分割，所以能够不受运动图像中的移动体的形状的变化、大小的变化、或者遮挡等的影响而高精度地提取移动体的区域。

附图说明

图1是表示本发明的实施方式的移动体检测装置的结构的图。

图2是表示由计算机构成的移动体检测装置的硬件结构的图。

图3是表示移动体检测装置的动作的次序的流程图。

图4是表示摄影状况的一例的图。

图5是表示包含在运动图像中的多张图片的一例的图。

图6是表示移动轨蹄的一例的图。

图7是表示移动轨蹄与图片数的关系的一例的图。

图8A是表示图片上的多个移动轨蹄的一例的图。

图8B是表示多个移动轨蹄的数据的分布的图。

图8C是表示多个移动轨蹄的数据的分布的图。

图9A是用来说明测地距离的特征的概念图。

图9B是用来说明测地距离的特征的概念图。

图10A是用来说明使用近似测地距离的分组的一例的图。

图10B是用来说明使用近似测地距离的分组的一例的图。

图10C是用来说明使用近似测地距离的分组的一例的图。

图11A是表示输出部生成的图像的一例的图。

图11B是表示输出部生成的图像的一例的图。

图12是表示理想的移动轨蹄的分布的概念图。

图13是用来说明本发明的实施方式的移动体检测装置的效果的图。

图14A是表示用来计算长时间移动轨蹄的图片与用来计算短时间移动轨蹄的图片的关系的另一例的图。

图14B是表示用来计算长时间移动轨蹄的图片与用来计算短时间移动轨蹄的图片的关系的另一例的图。

图15A是表示本发明的实施方式的变形例的移动体检测装置的结构的图。

图15B是表示本发明的实施方式的变形例的移动检测装置的动作的流程图。

图16是用来说明本发明的实施方式的变形例的移动体检测装置的运动预测的图。

图17是表示移动预测的结果的一例的图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

图1是表示实施方式的移动体检测装置100的结构的图。如图1所示，移动体检测装置100具备图像输入部101、运动解析部102、移动体检测部103、以及输出部104。进而，移动体检测部103具备距离计算部105、距离内插部106、区域分割部107。移动体检测装置100是通过进行确定包括多张图片的运动图像中的移动体的全部或一部分区域的区域分割来检测运动图像中的移动体的装置。在本实施方式中，移动体检测装置100取得由照相机110摄影的运动图像，检测所取得的运动图像中的移动体，基于检测结果生成图像并输出。显示器120显示从移动体检测装置100输出的图像。

图像输入部101是受理构成运动图像的多张图片的输入的处理部，例如是照相机、或者与照相机连接的通信接口等。

运动解析部102是计算作为遍及包含在由图像输入部101受理的多张图片中的2张以上的图片的对应点的移动轨蹄的处理部。具体而言，运动解析部102通过对由图像输入部101受理的多个图片检测连续的2张图片间的对应点，计算作为遍及多张图片的对应点的多个移动轨蹄并输出。这里，运动解析部102按照图片的1像素检测对应点，或者按照图片内的相邻的多个像素(块)检测代表的1个对应点。

另外，所谓“对应点”，是表示在多张图片中、认为表示相同的图像要素的图片内的位置的点。因而，移动轨蹄表示遍及连续的2张以上的图片的图像要素的运动。

在本说明书中，是按照1像素检测的对应点，但并没有区别记载是否是对多个像素检测1个的对应点。此外，将由对应于某个图片的像素i的其他图片的对应点、以及对应于某个图片的块i的其他图片的对应点表示的移动轨蹄都称作像素i的移动轨蹄。

移动体检测部103是通过基于由运动解析部102检测到的多个移动轨蹄确定类似的移动轨蹄的集合作为1个区域、进行移动轨蹄的分组的处理部。移动体检测部103具备距离计算部105、距离内插部106、及区域分割部107。

距离计算部105是取得多个作为遍及构成运动图像的多张图片的对应点的移动轨蹄、计算表示所取得的移动轨蹄间的类似度的距离的处理部。

在本实施方式中，距离计算部105从由运动解析部102计算出的多个移动轨蹄中提取遍及TL张(TL≥3)图片的NL个长时间移动轨蹄、和遍及TS张(TL＞TS≥2)图片的NS个短时间移动轨蹄。此时，假设TS张图片包含在TL张图片中。此外，假设遍及包含在NL个长时间移动轨蹄中的TS张图片的对应点也包含在NS个短时间移动轨蹄中。

进而，距离计算部105对提取出的NL个长时间移动轨蹄和NS个短时间移动轨蹄，分别计算表示两个移动轨蹄间的类似度的距离并输出。

在本说明书中，“距离”不仅是2维图像空间中的两点间的距离，如后述那样，包括多维的数据间的算术距离。另外，一般距离与类似度有相反的关系。即，在两个数据间的距离较小的情况下类似度较高，反之在两个数据间的距离较大的情况下类似度较低。

距离内插部106是根据由距离计算部105计算出的NL个长时间移动轨蹄间的距离、和NS个短时间移动轨蹄间的距离、计算作为基于NL个长时间移动轨蹄间的距离的NS个移动轨蹄间的距离的近似距离并输出的处理部。

区域分割部107是基于由距离内插部106计算出的近似距离、将类似的移动轨蹄的集合确定为1个区域、进行区域分割的处理部。

输出部104将由移动体检测部103在运动图像中的移动体的检测结果或图像的区域分割结果输出。具体而言，输出部104对由图像输入部101受理的运动图像实施图像处理、以使其成为例如按照由移动体检测部103确定的区域而不同的显示形态，向显示器装置等输出。

在本说明书中，所谓“区域分割”，包括提取存在某个特定的对象物的图像区域的检测技术、和不进行对象物是什么的区别而将图像中的区域分割的区域分割技术的两者。检测技术和区域分割技术由于共通的部分较多，所以在本说明书中不区别两者。

此外，在本说明书中，所谓“移动体检测”，包括仅确定存在相对于作为基准的坐标系移动的物体的图像区域的检测技术、和按照进行相对不同的移动的物体将图像中的区域分割的区域分割技术的两者。

另外，构成移动体检测装置100的各构成单元(图像输入部101、运动解析部102、移动体检测部103、输出部104)既可以通过在计算机上执行的程序等的软件实现，也可以由电子电路等的硬件实现。图2是表示通过软件实现的本实施方式的移动体检测装置的硬件结构的图。

照相机1001将运动图像摄影，将摄影出的运动图像输出给计算机1002。计算机1002取得从照相机1001输出的运动图像，进行区域分割处理。并且，计算机1002生成用来显示区域分割处理的结果的图像。显示器1003取得由计算机1002生成的图像并显示。

计算机1002具备I/F(接口)1004、CPU(Central Processing Unit)1005、ROM(Read Only Memory)1006、RAM(Random Access Memory)1007、HDD(Hard Disk Drive)1008、以及视频卡1009。使计算机1002动作的程序预先保持在ROM1006或HDD1008中。将程序通过作为处理器的CPU1005从ROM1006或HDD1008读出到RAM1007中并展开。CPU1005执行展开到RAM1007中的程序中的代码化的各命令。I/F1004对应于程序的执行，将由照相机1001摄影的图像向RAM1007取入。视频卡1009将对应于程序的执行而生成的图像输出，用显示器1003显示。

另外，程序并不限定于作为半导体的ROM1006或HDD1008，也可以保存在例如光盘中。此外，程序也可以经由有线网络、无线网络、或者广播等传送、被取入到计算机的RAM1007中。

以下，使用图3说明本实施方式的移动体检测装置100的动作。

图3是表示本实施方式的移动体检测装置100的动作的流程图。

在图3中，7个步骤S201～S207分别对应于图1的各处理部101～107。即，图像输入部101执行图像输入步骤S201的处理，运动解析部102执行运动解析步骤S202的处理，移动体检测部103执行移动物检测步骤S203的处理，输出部104执行图像输出步骤S204的处理。此外，移动物检测步骤S203由距离计算步骤S205、距离内插步骤S206、及区域分割步骤S207的3个子步骤构成。距离计算部105执行距离计算步骤S205的处理，距离内插部106执行距离内插步骤S206的处理，区域分割部107执行区域分割步骤S207的处理。

首先，图像输入部101从照相机1001取得构成运动图像的多张图片(步骤S201)。接着，运动解析部102计算遍及包含在由图像输入部101取得的多张图片中的连续的两张以上的图片的移动轨蹄(步骤S202)。并且，距离计算部105基于由运动解析部102计算出的多个移动轨蹄，提取NL个遍及TL张图片的长时间移动轨蹄、和NS个遍及TS张图片的短时间移动轨蹄。进而，距离计算部105计算提取出的长时间移动轨蹄间的测地距离及短时间移动轨蹄间的测地距离(步骤S205)。接着，距离内插部106基于由距离计算部105计算出的长时间移动轨蹄间的测地距离、和短时间移动轨蹄间的测地距离，计算遍及TL张图片的NS个移动轨蹄间的近似测地距离(步骤S206)。接着，区域分割部107通过基于由距离内插部106计算出的近似测地距离、检测类似的移动轨蹄的集合作为1个区域，进行区域分割(步骤S207)。最后，输出部104基于由区域分割部107分割的区域生成图像，显示在显示器1003上(步骤S204)。

以下，对图3所示的各步骤的详细情况进行说明。

首先，对由图像输入部101执行的图像输入步骤S201的详细情况进行说明。图像输入部101从照相机1001取得构成运动图像的多个图片。在本实施方式中，假设从照相机1001取得的运动图像是30帧/秒的运动图像。

图4是表示作为由照相机110摄影的对象物的状况的摄影状况的一例的图。此外，图5是表示包含在由照相机110在图4的摄影状况下摄影的运动图像中的多张图片的一例的图。图像输入部101从照相机110受理第1帧到第TL帧的TL张(TL≥3)图片。在本实施方式中，图片的数量TL被预先设定，假设为30帧(TL＝30)。

接着，对由运动解析部102执行的运动解析步骤S202的详细情况进行说明。运动解析部102从图像输入部101取得多张图片，通过对所取得的多张图片检测两张图片间的对应点，计算遍及连续的2张以上的图片的移动轨蹄并输出。

具体而言，运动解析部102以第1帧的图片上的全部像素(I个)为基准，检测从第2帧到第TL帧的(TL-1)张图片上的对应的像素。此外，也可以是，运动解析部102对TL张图片检测连续的两张图片间的对应点，通过将检测到的对应点遍及从第1帧起连续的2张以上的图片而连结，检测对应于第1帧的图片上的像素的其他图片上的像素。另外，检测遍及多张图片的对应点的更具体的方法详细地记载在非专利文献1或非专利文献2等中，所以这里省略详细的说明。

非专利文献1：P.Anandan，“A Computational Framework and an Algorithm for the Measurement of Visual Motion”，International Journal of Computer Vision，Vol.2，pp.283-310，1989

非专利文献2：Vladimir Kolmogorov and Ramin Zabih，“Computing Visual Correspondence with Occlusions via Graph Cuts”，International Conference on Computer Vision，2001

并且，运动解析部102通过提取在TL张图片中检测对应点的结果中的、遍及TS张(TL＞TS≥2)以上的图片检测到的对应点，计算移动轨蹄。在本实施方式中，图片数TS被预先设定，这里假设为10帧(TS＝10)。

像素i的移动轨蹄xⁱ使用第1帧的图片上的某个像素i的坐标值(x₁ ⁱ，y₁ ⁱ)、和对应点的像素坐标值(x_t ⁱ，y_t ⁱ)，如下述式1那样表示。

[数式1]

$x^i=(x_1^i,y_{1_1}^i,...,x_t^i,y_t^i,...,x_{\mathrm{TL}}^i,y_{\mathrm{TL}}^i)$ (式1)

这里，式1的移动轨蹄xⁱ除了包括遍及从第1帧到第TL帧的TL张的全部图片的对应点的像素坐标的情况以外，还包括不存在从第(TS+1)帧到第TL帧的对应点的像素坐标的移动轨蹄。

另外，运动解析部102也可以代替按照图片的全部像素检测对应点、而按照图片内的相邻的多个像素(块)检测对应点。

接着，对由距离计算部105执行的距离计算步骤S205的详细情况进行说明。距离计算部105基于由运动解析部102计算出的多个移动轨蹄X，分别提取遍及TL张图片的长时间移动轨蹄XL、和遍及TS张图片的短时间移动轨蹄XS，计算移动轨蹄间的距离(步骤S205)。

在本实施方式中，长时间移动轨蹄XL是遍及从第1帧到第TL帧的连续的TL张图片的对应点。此外，短时间移动轨蹄XS是遍及从第1帧到第TS帧的连续的TS张图片的对应点。此外，在以后的说明中，对从由运动解析部102计算出的NS个移动轨蹄中分别提取NL个长时间移动轨蹄、NS个短时间移动轨蹄的情况进行说明。

图6是表示移动轨蹄的一例的图。输入到运动解析部102中的运动图像由TL张图片601构成。此时，移动轨蹄xⁱ603a是对应于第1帧的规定的像素i602a的、从第2帧到第TL帧的图片上的对应点的集合，用由各图片的图像坐标值的集合构成的矢量表示。此外，在移动轨蹄中，如图6的像素k602b的移动轨蹄x^k603b那样，还包括在第(TS+1)帧以后对应点不存在于图片上的移动轨蹄。

图7是表示移动轨蹄与图片数的关系的一例的图。在图7的棒状图中，横轴表示图片，纵轴表示移动轨蹄。作为各棒表示的移动轨蹄表示在对应于该棒的左端的图片中发生的对应点在对应于该棒的右端的图片的下个的图片中消失。

如图7所示，图片的张数越增加，遍及多个图片检测到的移动轨蹄的数量越少。这是因为，图片的张数越增加，因为被摄体的出现、消失、或者临时的遮挡等，某个图片上的对应点在别的图片中不存在的情况增加。具体而言，图4～图6中的人的脚或手臂、被近侧的人物遮挡的背景、或者其他人物上的对应点等在别的图片中不存在的情况增加。此外，作为图片的张数越增加、移动轨蹄的数量越少的别的原因，是因为起因于被摄体的变形或照明的变化等而在运动解析部102中不能检测到对应点的情况增加。通过上述那样的理由，长时间移动轨蹄的数量NL为短时间移动轨蹄的数量NS以下。

接着，距离计算部105对提取出的NL个长时间移动轨蹄及NS个短时间移动轨蹄，分别计算表示两个移动轨蹄间的类似度的距离。

以下，详细地说明在距离计算部105中、对NL个长时间移动轨蹄及NS个短时间移动轨蹄分别计算表示移动轨蹄间的类似度的距离的方法。

距离计算部105通过下述式2计算像素i的长时间移动轨蹄与像素j的长时间移动轨蹄的线性距离f_L(i，j)。此外，距离计算部105通过下述式3计算像素i的短时间移动轨蹄与像素j的短时间移动轨蹄的线性距离f_S(i，j)。

[数式2]

$f_L(i,j)=\left\{\begin{array}{cc}\frac{1}{T_L}\underset{t=1}{\overset{T_L}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t& \mathrm{ifi},j\∈X_L\\ \∞& \mathrm{otherwise}\end{array}\right.$ (式2)

$f_S(i,j)=\frac{1}{T_S}\underset{t=1}{\overset{T_S}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ (式3)

其中， $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$

这里，通过式2计算出的线性距离f_L(i，j)为了表述的方便而对全部的移动轨蹄间进行定义，但作为线性距离为有限的值仅为NL个长时间移动轨蹄XL之间。在像素i的移动轨蹄或像素j的移动轨蹄不属于长时间移动轨蹄XL的情况下，线性距离f_L(i，j)为∞(无限大)。

另外，在本实施方式中，线性距离通过式2及式3计算，但并不限定于这些式子。线性距离与式2及式3同样，只要是表示移动轨蹄间的图像坐标中的位置、运动、加速度、旋转速度等那样的、几何性的类似度的指标就可以，例如也可以使用下述的式4及式5计算。

[数式3]

$f_L(i,j)=\left\{\begin{array}{cc}\frac{1}{T_L}\underset{t=1}{\overset{T_L}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t+w\sqrt{\frac{1}{T}\underset{t=1}{\overset{T_L}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-{\stackrel{\‾}{d}}_L)}^2}& \mathrm{ifi},j\∈X_L\\ \∞& \mathrm{otherwise}\end{array}\right.$ (式4)

$f_S(i,j)=\frac{1}{T_S}\underset{t=1}{\overset{T_S}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t+w\sqrt{\frac{1}{T_s}\underset{t=1}{\overset{T_S}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-{\stackrel{\‾}{d}}_S)}^2}$ (式5)

其中， $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$

${\stackrel{\‾}{d}}_L=\frac{1}{T_L}\underset{t=1}{\overset{T_L}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t,{\stackrel{\‾}{d}}_S=\frac{1}{T_S}\underset{t=1}{\overset{T_S}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$

在式4及式5中，w是权重系数，是设计者设定的参数。上述式4及式5的移动轨蹄间的距离f_L(i，j)及f_S(i，j)是对移动轨蹄间的图像坐标的距离的时间平均加上图像坐标的距离的时间变动成分后的值。特别是，移动轨蹄间距离的时间变动成分是表示移动轨蹄的运动的类似度的，由此，不仅是像素间所呈现的距离的关系不随时间变化的刚体，也能够捕捉关节物体等的形状变化。

将通过式2及式3计算出的移动轨蹄间的线性距离f_L(i，j)及f_S(i，j)的集合如下述式6所示，分别表示为线性距离矩阵F_L及F_S。

[数式4]

F_L＝{f_L(i，j)}(式6)

f_S＝{f_S(i，j)}

另外，在本实施方式中，为了与后述的测地距离g及非线性化的距离f’区别，将由式2～式5计算出的距离称作线性距离，但并不将线性距离的定义式限定于线性运算，也可以在线性距离的定义式中包含非线性的运算。

接着，距离计算部105根据移动轨蹄间的线性距离f_L(i，j)及f_S(i，j)计算移动轨蹄间的测地距离g_L(i，j)及g_S(i，j)。

以下，详细地说明距离计算部105根据线性距离f_L(i，j)计算测地距离g_L(i，j)的处理。

首先，距离计算部105使用对计算出的线性距离f_L(i，j)预先设定的阈值R_L，如下述式7所示那样计算非线性化的距离f_L’(i，j)。

[数式5]

${f_L}^{\&prime;}(i,j)=\left\{\begin{array}{cc}{f}_L(i,j)& \mathrm{if}{f}_L(i,j)<R_L\\ \&infin;& \mathrm{otherwise}\end{array}\right.$ (式7)

接着，距离计算部105根据非线性化的距离f_L’(i，j)计算测地距离g_L(i，j)。这里，所谓测地距离，是当得到了连结多个点的节点的距离(长度)时、能够连结某两点间的全部的路径的距离中的最短的距离。即，在本实施方式中，所谓测地距离，是表示两个移动轨蹄间的类似度的距离，是以其他移动轨蹄为中继点从一个移动轨蹄达到另一个移动轨蹄的路径的距离中的最短的距离。

由此，距离计算部105在从第i移动轨蹄到第j移动轨蹄的测地距离的计算中，计算以其他的多个移动轨蹄的任一个为中继点从第i移动轨蹄达到第j移动轨蹄的全部路径中的最短的路径的距离作为测地距离。

例如，在得到了将移动轨蹄i与移动轨蹄j的两点间直接连结的节点的距离f_L’(i，j)的情况下，将移动轨蹄i与移动轨蹄j的两点间连结的路径除了将两点直接连结的路径以外，还有以别的移动轨蹄s为中继的路径。以移动轨蹄s为中继的路径的距离为f_L’(i，s)+f_L’(s，j)。这样的将移动轨蹄i与移动轨蹄j的两点间连结的路径有多个。距离计算部105如下述式8所示，计算这些多个路径的距离中的最短的距离作为测地距离g_L(i，j)。

[数式6]

g_L(i，j)＝min(f_L′(i，j)，f_L′(i，s)+f_L′(s，j)，…)(式8)

在式8中，min(x，y，…)是返回值x、值y等的值中的最小的值的函数。此外，移动轨蹄s是用来从移动轨蹄i达到移动轨蹄j的中继点。这里，作为中继点的移动轨蹄s并不限定于1个。即，在从移动轨蹄i到移动轨蹄j的路径中，还包括以两个以上的移动轨蹄为中继点的路径。

上述测地距离的计算中的探索两点间的最短路径的方法的详细情况例如周知有非专利文献3的迪杰斯特拉法，所以这里省略处理次序的详细情况说明。

非专利文献3：E.W.Dijkstra，“A note on two problems in connexion with graphs”，Numerische Mathematik，pp.269-271，1959

通过在非专利文献3中记载的次序等，距离计算部105根据长时间移动轨蹄间的线性距离f_L(i，j)计算测地距离g_L(i，j)。进而，距离计算部105通过与上述同样的次序，使用预先设定的阈值R_S，根据短时间移动轨蹄间的线性距离f_S(i，j)计算测地距离g_S(i，j)。将计算出的移动轨蹄间的测地距离g_L(i，j)及g_S(i，j)的集合如下述式9所示那样表示为测地距离矩阵G_L及G_S。

[数式7]

G_L＝{g_L(i，j)}(式9)

G_S＝{g_S(i，j)}

通过以上的次序，距离计算部105计算表示NL个长时间移动轨蹄间的类似度的测地距离g_L(i，j)、以及表示NS个短时间移动轨蹄间的类似度的测地距离g_S(i，j)。并且，距离计算部105将计算出的测地距离g_L(i，j)及g_S(i，j)作为测地距离矩阵G_L及G_S输出。

另外，由上述式等可知，在本实施方式中，测地距离在同一维度的移动轨蹄间中计算。即，距离计算部105在遍及相同张数的图片的移动轨蹄间计算测地距离。

对于上述的根据多个移动轨蹄间的线性距离计算测地距离的处理，使用图8A～图8C的概念图进行说明。

图8A是表示图片上的多个移动轨蹄的一例的图。移动轨蹄在背景区域中也计算，但为了使表述变得容易，以后不图示背景区域的移动轨蹄。图8B及图8C是表示由上述式1表示的多个移动轨蹄的数据的分布的图。

图8B中的用“×”标记表示的各数据点相当于在式1中表示的像素i的移动轨蹄xⁱ。另外，移动轨蹄xⁱ是由独立的(TL×2)个变量构成的矢量。因而，移动轨蹄xⁱ本来最大是(TL×2)维空间的数据，但在图8B中，为了便于表述而表示为3维空间的点。

图8B所示的箭头表示通过上述式2及式3得到的移动轨蹄i与移动轨蹄j的线性距离f(i，j)。数据点i与数据点j的线性距离为将数据间直接连结的距离。另一方面，图8C所示的箭头表示在式7及式8中得到的移动轨蹄i与移动轨蹄j的测地距离g(i，j)。如图8C所示，数据点i与数据点j的测地距离如图中的箭头那样沿着中继的数据点s的距离。

接着，使用图9A及图9B的概念图说明线性距离f(i，j)、和通过式7及式8计算出的测地距离g(i，j)的特征。

图9A及图9B是用来说明测地距离的特征的概念图。例如，头部的移动轨蹄i与指尖部的移动轨蹄j的线性距离如图9A所示，为与其他移动轨蹄无关系的两个移动轨蹄间的距离。另一方面，头部的移动轨蹄i与指尖部的移动轨蹄j的测地距离如图9B所示，为通过附近的多个移动轨蹄沿着移动轨蹄j到达的用箭头表示那样的距离的和。换言之，图9A所示的线性距离完全不反映其他移动轨蹄的分布，所以不能表现人物那样的沿着用关节相连的形状的移动轨蹄间的距离。相对于此，图9B所示的测地距离为反映其他移动轨蹄的距离，所以能够表现沿着关节相连的形状的移动轨蹄间的距离。

如上所述，由式1表示的移动轨蹄xⁱ在数学上是最大(TL×2)维空间的数据。但是，通过发明者的实验也可以确认实际上从图像中检测的移动轨蹄如图8B及图8C那样具有局限在(TL×2)空间的很小一部分区域中的性质。对于具有这样的性质的移动轨蹄，比起与数据的分布无关的仅2数据间的距离的线性距离(图8B的箭头)，反映了附近的数据的分布的测地距离(图8C的箭头)可以说更适合作为表示移动轨蹄间的类似度的距离的尺度。

另外，表示了距离计算部105作为根据线性距离求出测地距离的方法而使用式7及式8的方法，但并没有限定求出测地距离的方法。例如，距离计算部105在根据线性距离求出非线性化距离时，也可以代替将阈值R以上的线性距离替换为无限大，通过将与从与移动轨蹄i的距离较小者起第k个大的移动轨蹄的距离用无限大替换来计算非线性化距离。

接着，对由距离内插部106执行的距离内插步骤S206的详细情况进行说明。距离内插部106基于由距离计算部105计算出的NL个长时间移动轨蹄间的测地距离、和NS个短时间移动轨蹄间的测地距离，计算移动轨蹄间的近似测地距离并输出。

以下，详细地说明在距离内插部106中、使用长时间移动轨蹄间的测地距离g_L(i，j)和短时间移动轨蹄间的测地距离g_S(i，j)计算近似测地距离g(i，j)的次序。

距离内插部106使用NL个长时间移动轨蹄的测地距离g_L(i，j)和NS个短时间移动轨蹄的测地距离g_S(i，j)，通过下述式10求出内插长时间测地距离g_L’(i，j)。

[数式8]

${g_L}^{\&prime;}(i,j)=\left\{\begin{array}{cc}{g}_L(i,j)& \mathrm{ifi},j\&Element;X_L\\ w{g}_S(i,j)& \mathrm{otherwise}\end{array}\right.$ (式10)

其中， $w=\frac{1}{N_L(N_L-1)}\underset{k\&Element;X_L}{\mathrm{\&Sigma;}}\underset{l\&Element;X_L\mathrm{andk}\&NotEqual;l}{\mathrm{\&Sigma;}}\frac{g_L(k,l)}{g_S(k,l)}$

接着，距离内插部106与上述式8的最短路径计算同样，如下述式11所示，对于内插长时间测地距离g_L’(i，j)，计算能够将某2点间连结的全部路径的距离中的最短距离，将计算结果作为近似测地距离g(i，j)输出。

[数式9]

g(i，j)＝min(g_L′(i，j)，g_L′(i，s)+g_L′(s，j)，....)(式11)

这里，近似测地距离g(i，j)可以对与短时间移动轨蹄相同数量的NS个移动轨蹄间计算。该近似测地距离g(i，j)根据式10及式11具有的意义，可以解释为通过对NL个长时间移动轨蹄使用更多数量的NS个短时间移动轨蹄内插添加移动轨蹄而修正后的、NS个虚拟的移动轨蹄间的测地距离。此外，作为别的解释，近似测地距离g(i，j)也可以解释为通过对遍及TS帧的短时间移动轨蹄使用遍及图片数更多的TL帧的长时间移动轨蹄将图片数外插而生成的、遍及TS帧的虚拟的移动轨蹄间的测地距离。即，近似测地距离g(i，j)包含比长时间移动轨蹄间的测地距离g_L(i，j)更多的移动轨蹄的信息、包含比短时间移动轨蹄的测地距离g_S(i，j)更多的图片的信息。换言之，近似测地距离g(i，j)可以说相当于关于遍及TL帧的NS个虚拟的移动轨蹄的、移动轨蹄间的近似的测地距离。

即，距离内插部106使用遍及连续的TL张图片的NL个长时间移动轨蹄间的测地距离、和遍及连续的TS张图片的NS个短时间移动轨蹄间的测地距离，计算遍及连续的TL张图片的NS个移动轨蹄间的测地距离作为近似测地距离。换言之，距离内插部106通过使用长时间移动轨蹄间的测地距离及短时间移动轨蹄间的测地距离的一个将另一个内插或外插，计算近似测地距离。具体而言，如式10及式11所示，距离内插部106通过使用短时间移动轨蹄间的测地距离进行长时间移动轨蹄间的测地距离的线性内插，计算近似测地距离。

接着，对由区域分割部107执行的区域分割步骤S207的详细情况进行说明。区域分割部107通过基于由距离内插部106计算出的近似测地距离g(i，j)检测类似的移动轨蹄的集合作为1个区域，进行区域分割。

在本实施方式中，区域分割部107在进行近似测地距离g(i，j)展开的高维空间的维度压缩后，在维度压缩后的空间中进行分组。

维度压缩可以通过在进行Young-Householder变换后求出Eigen system来实现。维度压缩是用来将分布在多维空间中的数据高效率地射影到低维空间中的方法。

以下，表示区域分割部107进行近似测地距离g(i，j)的维度压缩的次序。

如下述式12所示，将近似测地距离g(i，j)的NS×NS的矩阵表示为近似测地距离矩阵G。

[数式10]

G＝{g(i，j)}               (式12)

区域分割部107对近似测地距离矩阵G进行从两侧乘以中心化矩阵H的Young-Householder变换。这是对距离矩阵是由点间距离构成的距离矩阵、为了变换为以重心为原点的距离矩阵而进行的。

[数式11]

$\mathrm{\&tau;}\left(G\right)=\frac{{\mathrm{HG}}^{\left(2\right)}H}{2}$ (式13)

这里，H是中心化矩阵，是

[数式12]

H_ij＝(I-1/NS)             (式14)

I是单位矩阵，NS是移动轨蹄的数量。

此外，

[数式13]

G⁽²⁾＝{g(i，j)²}          (式15)

接着，区域分割部107为了进行维度压缩，计算对于τ(G)的P个固有矢量(eigen vector)e_p及对应于它的固有值(eigen value)λ_p。

由此，根据(式11)，在表示为

[数式14]

gⁱ＝(g(i，1)，g(i，2)，...，g(i，N_S))(式16)

的情况下，将gⁱ射影到维度压缩后的空间上的结果可以作为数据z_p ⁱ如以下这样表示。

[数式15]

$z_p^i=\sqrt{{\mathrm{\&lambda;}}_p}{e}_p^i$ (式17)

另外，e_p ⁱ是第p个固有矢量e_p的第i个要素。区域分割部107既可以根据利用的场景实验性地决定固有矢量的数P，也可以如以下这样根据固有值λ_p计算贡献率a_p、基于它来决定。

[数式16]

$a_p=\frac{\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_p}{\underset{p=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_p}$ (式18)

这里，P是利用的固有矢量的数量，即压缩的空间的维数。N是全部固有矢量的数量。所以，区域分割部107只要将贡献率a_p为一定值以上时的数量P决定为固有矢量的数量就可以。

如以上这样，区域分割部107通过式12到式17所示的计算处理，进行近似测地距离g(i，j)的维度压缩。由此，区域分割部107能够将由距离内插部106计算出的近似测地距离gⁱ及对应的虚拟的移动轨蹄与由固有矢量e_p展开的维度压缩的空间上的数据z_p ⁱ建立对应。

图10A～图10C是用来说明使用近似测地距离的分组的一例的图。另外，图10B及图10C也是表示将以人物的步行图像为输入的情况下的像素i的时间的移动轨蹄射影到非线性维度压缩后的空间中的结果的图。图10B及图10C所示的曲线图的纵轴、横轴分别是固有矢量e₁、e₂。射影在2维上的点(z₁ ⁱ，z₂ ⁱ)是将近似测地距离gⁱ射影的点。这里，由于非线性空间上的数据z_p ⁱ与图像上的像素i的移动轨蹄xⁱ为一对一的对应关系，所以点(z₁ ⁱ，z₂ ⁱ)可以掌握为对应于像素i的移动轨蹄xⁱ。另外，这里为了使结果可视化而将非线性空间的维数设为2维，但如上所述，并不一定需要是2维，可以将高维数者以更高的精度射影数据。

接着，区域分割部107通过对将图10B所示那样的移动轨蹄进行维度压缩后的数据z_p ⁱ进行分组，进行移动轨蹄的分段和移动体的检测。在本实施方式中，假设使用给出组数、将移动轨蹄分组以使组内方差为最小的方法。

首先，将段区域如以下这样表现。

[数式17]

θ＝{θ₁，...θ_m...θ_M}(式19)

这里，M是段区域数，根据利用的场景而经验性地决定。各个段区域θ_m用参数

[数式18]

$\stackrel{\&OverBar;}{z_m}$

及参数Z_m表现。这里，参数

[数式19]

$\stackrel{\&OverBar;}{z_m}$

是维度压缩后的空间中的属于段区域θ_m的数据的坐标值的平均值。此外，参数Z_m是关于属于段区域θ_m的数据的坐标值的共方差矩阵。区域分割部107既可以将参数

[数式20]

$\stackrel{\&OverBar;}{z_m}$

的初始值随机地决定，也可以将压缩后的非线性空间中用网格等间隔地分割等，将该网格的交点的坐标值决定为初始值。

另外，参数

[数式21]

$\stackrel{\&OverBar;}{z_m}$

及参数Z_m可以如以下的式20及式21那样表示。

[数式22]

$\stackrel{\&OverBar;}{z_m}=\left[\begin{array}{c}\stackrel{\&OverBar;}{z_1^m}\\ .\\ .\\ .\\ \stackrel{\&OverBar;}{z_P^m}\end{array}\right]$ (式20)

[数式23]

$\stackrel{\&OverBar;}{Z_m}=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}\left[\begin{array}{c}{z}_1^{c_m}-\stackrel{\&OverBar;}{z_1^m}\\ .\\ .\\ .\\ z_P^{c_m}-\stackrel{\&OverBar;}{z_P^m}\end{array}\right]\left[\begin{array}{ccc}{z}_1^{c_m}-\stackrel{\&OverBar;}{z_1^m}& ...& z_P^{c_m}-\stackrel{\&OverBar;}{z_P^m}\end{array}\right]$ (式21)

这里，C_m是在压缩的非线性空间上属于段区域θ_m的数据数量。

以下，对具体的分组的方法进行说明。首先，区域分割部107使用下式22的距离函数求出数据z_i属于的段区域θ_m。

[数式24]

(式22)

这里，ψ_m(z_i)是表示对应于像素i的移动轨蹄的数据z_i与各个段区域θ_m的距离的。假设各数据属于ψ_m(z_i)取最小值的段区域θ_m。另外，是马哈拉诺比斯距离，用下述式23表示。

[数式25]

(式23)

这里，区域分割部107也可以使用

作为ψ_m(z_i)的替代来计算。

进而，p(ω_m)也可以是一定值，在进行人物等决定的被摄体的分段的情况下，也可以是基于人物部位的形状及面积比等预先设定的值。ω_m是对于段区域θ_m的权重系数。

接着，区域分割部107根据式22的计算结果，使用属于段区域θ_m的数据z_i，如以下式24及式25那样更新段区域θ_m的参数

[数式26]

$\stackrel{\&OverBar;}{z_m}$

及参数Z_m。

[数式27]

$\stackrel{\&OverBar;}{z_m}=\frac{\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{c_m}{z}_{c_m}}{\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{c_m}}$ (式24)

[数式28]

$Z_m=\frac{\underset{c_{\mathrm{mk}}=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{{\mathrm{\&omega;}}_{c_m}}^2(z_{c_m}-\stackrel{\&OverBar;}{z_m}){(z_{c_m}-\stackrel{\&OverBar;}{z_m})}^t}{\underset{c_m=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{{\mathrm{\&omega;}}_{c_m}}^2}$ (式25)

这里，z_cm是属于段区域θ_m的压缩的非线性空间上的数据。此外，ω既可以是一定值“1”，也可以是根据从输入数据的平均值的偏差状况调整后的值。这样，区域分割部107通过将式22到式25的距离计算及参数更新重复规定次数，能够计算非线性空间上的各数据属于的段区域θ_m。另外，区域分割部107除了上述以外，也可以使用k-mean、竞争式学习等其他分组方法计算段区域。

图10C是表示设M＝3而将非线性空间上的数据分段的一例的图。如果对压缩的非线性空间上的段区域θ₁到θ₂观察图像上的对应，则θ₁对应于近侧的人物，θ₂对应于后方的人物。另外，实际上还包括背景区域的移动轨蹄，将背景区域分段为区域θ₃，但为了图的表述方便而省略。

这里，对应于压缩的非线性空间上的段区域的，不仅是1张图像上的区域，还是遍及在时间上连续的多张图像追踪像素的结果。即，区域分割部107通过在压缩的非线性空间上进行分段，作为将在图像中移动的物体的区域在时间上追踪的结果，能够按照图像中的移动的被摄体提取图像区域。此外，移动体检测装置100不需要作为前处理而设定人物候补区域，所以没有起因于人物候补区域的检测失误的分段的失败。如以上那样，移动体检测装置100不需要庞大的参数的匹配，而通过在非线性空间中进行分组，能将包括形状一边变化一边移动的人物等的图像稳定地分段，由此能够进行图像中的移动体的检测。

最后，对由输出部104执行的输出步骤S204的详细情况进行说明。输出部104基于移动轨蹄的段区域θ_m生成图像，显示在显示器1003上。

在本实施方式中，输出部104对由图像输入部101受理的运动图像实施图像处理、以使其按照由移动体检测部103确定的移动轨蹄的区域而成为不同的显示形态，并输出，显示在显示器1003上。这里，输出部104按照多个移动轨蹄的段区域θ_m而选择不同的颜色，通过用所选择的颜色分别描绘移动轨蹄的图像坐标位置的像素而生成图像。

图11A及图11B是表示输出部104生成的图像的一例的图。如图11A及图11B所示，在显示器1003上，显示按照分组的移动轨蹄而具有不同的颜色的图像。

另外，输出部104通过将移动轨蹄的图像坐标位置的像素用对应于段区域的颜色描绘而生成图像，但并不是将生成图像的方法限定于此。输出部104只要移动轨蹄的数量与图像整体的像素数是相同数量，就能够通过上述的方法将图像中的全部像素用对应于组的颜色描绘。另一方面，在移动轨蹄的数量比图像整体的像素数少的情况下，存在哪个移动轨蹄的图像坐标位置都不一致的像素。

对于这样的与移动轨蹄的图像坐标位置不一致的像素，输出部104也可以通过与上述方法不同的方法描绘。例如，输出部104也可以将属于运动解析部102在用来生成某个移动轨蹄的运动检测中使用的块的像素用与该移动轨蹄的段区域相同的颜色描绘。

此外，作为描绘与移动轨蹄的图像坐标位置不一致的像素的别的方法，输出部104也可以用与最近的移动轨蹄的段区域相同的颜色描绘。

此外，作为描绘与移动轨蹄的图像坐标位置不一致的像素的别的方法，输出部104也可以将多个移动轨蹄的图像坐标位置(点)之间用Delaunay三角网生成法连结、将包含在被属于同一个段区域的3点包围的3角形中的像素用与该段区域相同的颜色描绘。

另外，在对连续输入的运动图像进行处理的情况下，移动体检测装置100也可以将上述图3的步骤S201～S207的动作每当输入TL张图片时反复进行。

如以上这样，本实施方式的移动体检测装置基于运动图像中的移动轨蹄间的类似度将移动轨蹄分组，提取图像中的移动体的区域。并且，移动体检测装置通过作为移动轨蹄的类似度的指标而使用移动轨蹄间的测地距离，能够不取决于被摄体的形状的变化及关节物体的姿势的变化而进行图像中的移动体的区域提取。

进而，本实施方式的移动体检测装置将由距离内插部106计算出的多个移动轨蹄间的近似测地距离作为类似度的指标而进行移动轨蹄的分组。这里，在移动轨蹄间的类似度的计算中，在使用遍及更多的图片数的移动轨蹄的情况下，能够计算持续更长时间的移动轨蹄的类似度。因此，使用遍及更多的图片数的移动轨蹄对于得到正确的分组结果是有效的。但是，如上所述，使用越多的图片，能够计算的移动轨蹄的数量越减少。结果，移动轨蹄的粗密的差变大，成为移动体检测装置弄错区域分割的原因。另一方面，在使用更少的图片的情况下，可计算的移动轨蹄的数量增加，但移动轨蹄间的类似度的差变小。因此，特别是，发生在较长的时间中应表示不同的运动、但在较短的时间中表示相似的运动的移动轨蹄，成为移动体检测装置弄错区域分割的原因。对于这样的困境，本实施方式的移动体检测装置使用对长时间移动轨蹄利用短时间移动轨蹄增加了移动轨蹄的数量的近似测地距离进行移动轨蹄的分组，所以能够期待更正确的分组结果。

使用图12及图13说明这样的例子。图12是表示在与图4及图5同样的场景中、能够遍及TL帧追踪全部移动轨蹄的理想的情况下的移动轨蹄的分布的概念图。但是，实际的移动轨蹄因遮挡等而图片数越多数量越减少，所以成为图13(a)所示那样的分布。移动体检测装置100在如图13(a)那样使用稀疏的移动轨蹄计算测地距离、使用计算出的测地距离进行分组的情况下，进行错误的分组的可能性变高。另一方面，如果是遍及更少的图片数的移动轨蹄，则其个数接近于理想的状态，但如图13(b)所示，移动轨蹄间的类似度的差异变少。在这样的情况下，基于长时间移动轨蹄和短时间移动轨蹄的两者计算近似测地距离相当于图13(c)所示那样的、基于接近于图12的理想的分布的移动轨蹄计算测地距离。

以上，根据本实施方式的移动体检测装置及方法，通过基于图像的移动轨蹄的类似度进行分组，作为将在图像中移动的物体的区域在时间上追踪的结果，不论关节物体的姿势如何，都能够进行图像中的移动体的区域提取。此外，不需要作为前处理而设定人物候补区域，所以没有起因于人物候补区域的检测失误的区域提取的失败。如以上这样，不需要进行庞大的参数的匹配，通过基于移动轨蹄间的测地距离进行分组，将包含形状一边变化一边移动的人物等的图像稳定地进行区域提取，由此能够高精度地进行图像中的移动体的检测。

另外，在本实施方式的移动体检测装置中，距离内插部106根据长时间移动轨蹄间的测地距离和短时间移动轨蹄间的测地距离、通过上述式10及式11计算近似测地距离，但本发明并不限定于这些式子。距离内插部106只要是计算近似测地距离、以使其包含比长时间移动轨蹄间的测地距离g_L(i，j)多的移动轨蹄的信息、比短时间移动轨蹄的测地距离g_S(i，j)多的图片的信息的式子，也可以使用其他式子计算近似测地距离g(i，j)。例如，距离内插部106也可以代替式10，而使用下述式30计算内插长时间测地距离g_L’(i，j)后、使用式11计算近似测地距离g(i，j)。

[数式29]

${g_L}^{\&prime;}(i,j)=\left\{\begin{array}{cc}{g}_L(i,j)& \mathrm{ifi},j\&Element;X_L\\ w(i,j)g_S(i,j)& \mathrm{otherwise}\end{array}\right.$ (式30)

其中， $w(i,j)=\frac{1}{\hat{c}(i,j)}\underset{k\&Element;X_L}{\mathrm{\&Sigma;}}\underset{l\&Element;X_L\mathrm{andk}\&NotEqual;l}{\mathrm{\&Sigma;}}c(i,j,k,l)\frac{g_L(k,l)}{g_S(k,l)}$

$c(i,j,k,l)=\frac{1}{g_S(i,k)+g_S(i,l)+g_S(j,k)+g_S(j,l)}$

$\hat{c}(i,j)=\underset{k\&Element;X_L}{\mathrm{\&Sigma;}}\underset{l\&Element;X_L\mathrm{andk}\&NotEqual;l}{\mathrm{\&Sigma;}}c(i,j,k,l)$

式30相当于，在将长时间移动轨蹄间的测地距离使用短时间移动轨蹄间的测地距离内插时，进行加权的线性内插，以使得短时间移动轨蹄间的测地距离越小则权重w越大。即，距离内插部106在使用短时间移动轨蹄间的测地距离进行长时间移动轨蹄间的测地距离的线性内插时，也可以通过进行加权的线性内插、以使得短时间移动轨蹄间的测地距离越小则权重越大，来计算近似测地距离。通过添加这样的权重进行线性内插，距离内插部106能够在保持短时间移动轨蹄间的测地距离的更局部的分布的同时、计算近似测地距离。即，移动体检测装置通过使用这样计算出的近似测地距离，能够更高精度地提取移动体的区域。

另外，在本实施方式的移动体检测装置中，距离内插部106在计算某两个移动轨蹄间的近似测地距离时，使用全部的短时间移动轨蹄的测地距离g_S(i，j)进行计算，但并不限定于使用全部短时间移动轨蹄的方法。例如，也可以提取一部分的短时间移动轨蹄、使用提取的短时间移动轨蹄的测地距离g_S(i，j)计算近似测地距离。更具体地讲，例如，在计算移动轨蹄i与移动轨蹄j的近似测地距离g(i，j)的情况下，提取全部的短时间移动轨蹄中的、类似于移动轨蹄i的短时间移动轨蹄、和类似于移动轨蹄j的短时间移动轨蹄，将它们作为部分短时间移动轨蹄。并且，代替全部的短时间移动轨蹄的测地距离g_S(i，j)，使用提取的部分短时间移动轨蹄的测地距离g_S’(i，j)，通过式10及式30计算内插长时间测地距离g_L’(i，j)。最后，使用式11，根据内插长时间测地距离g_L’(i，j)计算近似测地距离g(i，j)。

即，距离内插部106也可以基于短时间移动轨蹄间的测地距离提取作为类似的短时间移动轨蹄的集合的部分短时间移动轨蹄、基于所提取的部分短时间移动轨蹄计算近似测地距离。即，距离内插部106也可以提取短时间移动轨蹄间的测地距离类似的短时间移动轨蹄的集合作为部分短时间移动轨蹄、使用所提取的部分短时间移动轨蹄计算近似测地距离。由此，移动体检测装置100例如在包含运动不同的多个移动体的情况下，也能够使用与对应于移动轨蹄i及移动轨蹄j的移动体相同或类似的运动的移动体的短时间移动轨蹄计算近似测地距离g(i，j)，所以能够计算更高精度的近似测地距离g(i，j)，结果，能够高精度地提取移动体的区域。

另外，在本实施方式的移动体检测装置中，距离内插部106在进行式10及式30的计算时，假设长时间移动轨蹄的测地距离g_L(i，j)和短时间移动轨蹄的测地距离g_S(i，j)都在其要素中不包含无限大(∞)的值而进行计算。假如作为测地距离的值而包含无限大的情况下，即在某个移动轨蹄i与移动轨蹄j的距离为无限大的情况下，距离内插部106优选的是分割为与移动轨蹄i的测地距离是有限的多个移动轨蹄、和与移动轨蹄j的测地距离是有限的多个移动轨蹄的两个部分集合(部分移动轨蹄)。并且，可以设分割后的部分集合分别是不同的组，各处理部进行以后的各处理。

即，距离内插部106也可以基于短时间移动轨蹄间的测地距离提取多个作为类似的短时间移动轨蹄的集合的部分短时间移动轨蹄、基于所提取的多个部分短时间移动轨蹄计算近似测地距离。即，距离内插部106也可以提取多个短时间移动轨蹄间的测地距离为有限的短时间移动轨蹄的集合作为部分短时间移动轨蹄、按照所提取的多个部分短时间移动轨蹄计算近似测地距离。在此情况下，区域分割部107按照根据相同的部分短时间移动轨蹄计算出的近似测地距离确定类似的移动轨蹄的集合作为1个区域。由此，移动体检测装置100即使在所提取的多个短时间移动轨蹄之中包含有不能计算出适当的测地距离的短时间移动轨蹄的组合的情况下，也能够高精度地提取移动体的区域。

另外，在本实施方式的移动体检测装置中，假设距离计算部105从由运动解析部102生成的移动轨蹄中提取的长时间移动轨蹄的图片数TL和短时间移动轨蹄的图片数TS分别是TL＝30、TS＝10，但并不限定于该数值。例如，也可以根据应检测的移动体的种类或状态而使用别的数值。

例如，在假定检测的对象是步行者的情况下，由于平均的步行周期是约1秒(30帧)，所以遍及TL＝30帧的图片的长时间移动轨蹄表示用人的步行1周期标准化的运动的信息。用步行周期标准化的移动轨蹄与不满足步行周期的一部分移动轨蹄相比，可以说更适合于表现各步行者的移动方向的差异。因而，将30张设为长时间移动轨蹄的图片数TL而提取长时间移动轨蹄可以说适合于以从包含多个步行者的运动图像中按照步行者提取移动体为目的的情况。另一方面，例如如单侧的脚或手等那样、在步行1周期中被临时遮挡的区域不能提取到遍及步行1周期量的图片的移动轨蹄。所以，距离计算部105只要将作为能够提取移动轨蹄的图片数的10张作为短时间移动轨蹄的图片数TS而提取短时间移动轨蹄，就对于这样的不能计算1周期的移动轨蹄的区域也能够提取短时间移动轨蹄。移动体检测装置100通过使用这样提取的短时间移动轨蹄，对于被临时遮挡的区域也能够进行移动体区域的判断及提取。

如以上这样，在应检测的对象是伴随着周期性的变形的移动体的情况下，通过将在距离计算部105中提取的长时间移动轨蹄的图片数(TL)设为对应于移动体的变形周期的图片数，变得不易受到移动体的变形的影响，具有能够更正确地提取移动体的效果。此外，对于不能计算长时间移动轨蹄的图片中的移动体区域，为了检测是否有移动体，通过将能够计算移动轨蹄的最大的图片数设为TS，具有能够进行更正确地对应于移动体的区域的移动体区域的检测的效果。

另外，在本实施方式的移动体检测装置中，假设距离计算部105从由运动解析部102生成的移动轨蹄提取的遍及TL帧的长时间移动轨蹄与遍及TS帧的短时间移动轨蹄的时间上的位置关系是图7的配置，但并不限定于此。只要TS帧的图片包含在TL帧中，是怎样的位置关系都可以。例如，即使长时间移动轨蹄与短时间移动轨蹄的时间上的位置关系是图14A或图14B所示那样的位置关系等，距离计算部105也能够与图7所示的位置关系的情况同样地进行处理。

如图7、图14A、及图14B那样，在提取短时间移动轨蹄的图片与提取长时间移动轨蹄的图片的相对的图片的配置不同的情况下，反映到由距离内插部106根据短时间移动轨蹄间的距离和长时间移动轨蹄间的距离计算的近似测地距离中的各图片的权重变化。例如，在图7的情况下，从第1帧到第TL帧的图片中，在从第1帧到第TS帧中提取的短时间移动轨蹄能够用于移动体的检测。另一方面，在从第1帧到第TS帧中被暂时遮挡、在后面的第(TS+1)帧到第TL帧中存在于图片中的区域不能进行使用移动轨蹄的移动体的检测处理。因而，在从第1帧到第TL帧的图片中、移动体提取的结果的重要度根据图片不同的情况下，距离计算部105只要决定图片的配置、以使重要度更高的图片包含在提取短时间移动轨蹄的图片中就可以。例如，在第1帧到第TL帧的图片中的最初的图片较重要的情况下，距离计算部105只要将提取短时间移动轨蹄的图片的配置决定为图7的配置就可以。另一方面，在如用于机器人或车辆的控制的移动体检测等那样、希望从将移动体摄影到装置检测到移动体的时间延迟较少的情况下，距离计算部105只要将提取短时间移动轨蹄的图片的配置决定为图14B那样的配置就可以。

此外，距离计算部105也可以将使用如图7、图14A和图14B的关系那样对于从第1帧到第TL帧的图片配置不同的TS帧的短时间移动轨蹄进行同样的处理的结果作为分别对应于TS帧的图片的移动体区域的提取结果。

另外，在本实施方式的移动体检测装置中，假设距离计算部105从移动轨蹄中提取的长时间移动轨蹄的图片数TL和短时间移动轨蹄的图片数TS预先设定、为一定而进行了说明，但也可以使在各个移动轨蹄的计算中使用的图片数动态地变化。具体而言，距离计算部105也可以根据提取的长时间移动轨蹄的数量而使长时间移动轨蹄的图片数TL变化来提取长时间移动轨蹄。此外，距离计算部105也可以根据提取的短时间移动轨蹄的数量使短时间移动轨蹄的图片数TS变化来提取短时间移动轨蹄。由此，距离计算部105能够根据包含在多个图片中的移动体的特征变更移动轨蹄的图片数，所以能够提取遍及更多的图片数的更多个数的移动轨蹄。即，移动体检测装置100能够使用包含更多的信息的移动轨蹄，所以能够更高精度地进行区域分割。

具体而言，作为使长时间移动轨蹄的图片数TL和短时间移动轨蹄的图片数TS动态变化的方法，距离计算部105例如也可以预先设定长时间移动轨蹄和短时间移动轨蹄的某一方或两者的、移动轨蹄个数的上限值，使图片数TL或TS动态地变化，以使其不大幅超过这些上限值。更具体地讲，距离计算部105也可以在遍及图片数TL的长时间移动轨蹄的个数超过预先设定的长时间移动轨蹄的个数的上限值NLmax(第1上限值)的情况下使图片数TL增加。此外，关于短时间移动轨蹄的图片数也同样，距离计算部105也可以在遍及图片数TS的短时间移动轨蹄的个数超过预先设定的短时间移动轨蹄的个数的上限值NLmax(第2上限值)的情况下使图片数TS增加。距离计算部105通过再次提取遍及这样增加的图片数的移动轨蹄，能够提取适当个数的遍及更多的图片数的移动轨蹄。这里，移动轨蹄的数量较多，相当于因运动图像中的变化较小、被摄体的运动较小、运动带来的遮挡区域较少等的理由、能够计算出许多遍及多个图片的对应点。在这样的情况下，通过使图片数TL或TS增加，能够使移动轨蹄中包含遍及更多的图片的运动的信息，所以结果能够期待基于移动轨蹄正确地检测移动体的效果。

此外，作为使长时间移动轨蹄的图片数TL和短时间移动轨蹄的图片数TS动态变化的别的方法，距离计算部105例如也可以预先设定长时间移动轨蹄和短时间移动轨蹄的某一方或两者的、移动轨蹄个数的下限值，使图片数TL或TS动态地变化，以使其不大幅超过这些上限值。具体而言，距离计算部105也可以在遍及图片数TL的长时间移动轨蹄的个数低于预先设定的长时间移动轨蹄的个数的下限值NLmin(第1下限值)的情况下使图片数TL减少、以使长时间移动轨蹄的个数超过NLmin。此外，关于短时间移动轨蹄的图片数也同样，距离计算部105也可以在遍及图片数TS的短时间移动轨蹄的个数低于预先设定的短时间移动轨蹄的个数的下限值NLmin(第2下限值)的情况下使图片数TS减少。距离计算部105通过再次提取遍及这样减少的图片数的移动轨蹄，能够在确保尽量多的图片数的同时、使得移动轨蹄不会低于预先设定的移动轨蹄的数量。因此，对于例如因运动图像中的被摄体的运动造成的遮挡而长时间移动轨蹄的个数相对变小的运动图像，也不易发生移动轨蹄的数量变得非常少的情况。结果，具有不易发生不能进行区域分割的效果。

另外，有关本发明的移动体检测装置及方法并不限定于上述实施方式，对于上述实施方式实施本领域的技术人员想到的各种变形而得到的形态、或者将包括后述的各种变形例的多个形态中的构成单元任意地组合而得到的形态也包含在本发明中。

例如，上述实施方式的移动体检测装置的距离计算部105使用预先设定的作为一定值的阈值R计算出测地距离。但是、本发明的距离计算部105并不限定于此。例如，距离计算部105也可以一边使阈值R逐渐变小一边计算测地距离。在此情况下，距离计算部105、距离内插部106及区域分割部107也可以按照逐渐变小的阈值R反复进行距离计算、距离内插、及区域分割，在达到规定的条件的时点结束处理。

另外，在本实施方式的移动体检测装置中，区域分割部107采用了在通过式12到式17的处理进行近似测地距离g(i，j)的维度压缩后、使用维度压缩后的测地距离、给出组数将移动轨蹄分组以使组内方差为最小的方法，但区域分割的方法并不限定于此。区域分割部107只要是使用近似测地距离将移动轨蹄分组的方法，也可以使用其他方法。

此外，在上述实施方式中，将区域分割的结果显示在显示器上，但例如也可以用于移动体的运动预测。具体而言，有关本发明的移动体检测装置如图15A所示，也可以除了上述实施方式的构成单元以外还具备运动预测部150。

图15A是表示本发明的实施方式的变形例的移动检测装置的结构的图。如图15A所示，本变形例的移动体检测装置除了图1所示的移动体检测装置具有的构成单元以外还具备运动预测部150。另外，在图15A中，对于与图1相同的构成单元赋予相同的标号而省略说明。

此外，图15B是表示本发明的实施方式的变形例的移动检测装置的动作的流程图。在图15B中，对于与图3同样的处理赋予相同的标号而适当省略说明。另外，在图15B中，步骤S250对应于图15A的运动预测部150。即，运动预测部150执行运动预测步骤S250的处理。

运动预测部150基于由区域分割部107得到的区域分割的结果，根据包含在各区域中的像素的移动轨蹄计算代表轨蹄，基于该代表轨蹄预测移动体的运动(步骤S250)。

更具体地讲，在将属于区域θ_m的像素的移动轨蹄表现为x^cm的情况下，运动预测部150首先如下述式26那样按照组区域θ_m求出代表的移动轨蹄

[数式30]

$\stackrel{\&OverBar;}{x^m}$

另外，运动预测部150使用式26，作为代表的移动轨蹄而计算平均移动轨蹄，但也可以对该计算按照像素的移动轨蹄x^cm进行加权等来计算，也可以计算对应于图像上的组的重心的像素的移动轨蹄作为代表的移动轨蹄。

[数式31]

$\stackrel{\&OverBar;}{x^m}=\frac{1}{C_m}\underset{c=1}{\overset{C_m}{\mathrm{\&Sigma;}}}{x}^{c_m}$ (式26)

这里，C_m是属于区域θ_m的像素数或像素的移动轨蹄的数量。

图16是用来说明由本变形例的移动体检测装置进行的运动预测的图。即，图16是表示基于式26按照组区域θ_m求出代表的移动轨蹄的一例的图。图中的“×”分别表示对应于时刻t的代表的移动轨蹄

[数式32]

$\stackrel{\&OverBar;}{x^m}$

的像素位置。根据这样的计算方法，由于如上述那样考虑像素运动的类似度进行通过非线性空间上的分组进行的区域分割，所以运动预测部150与单纯求出接近的像素的移动轨蹄的时间平均那样的方法相比，能够仅使用运动类似的像素的移动轨蹄计算代表的移动轨蹄，所以能够更高精度地求出代表的移动轨蹄。这样，运动预测部150通过按照组区域求出代表的移动轨蹄，能够正确且简单地表现各区域的运动。

接着，运动预测部150根据计算出的代表的移动轨蹄预测比时刻T靠前的时刻的移动体的位置。为此，运动预测部150根据代表的移动轨蹄计算加速度，预测T+1以后的移动体的位置。运动预测部150在被输入了3张以上的时间序列图像的情况下，如下式27那样按照代表的移动轨蹄

[数式33]

$\stackrel{\&OverBar;}{x^m}$

计算加速度矢量s^m。

[数式34]

$s_{t+1}^m=\{u_{t+1}^{m1}-u_t^m\}-\{u_t^m-u_{t-1}^n\}$ (式27)

这里，u_t ^m是运动矢量，可以如下式这样表示。

[数式35]

$u_t^m=(u_t^m,v_t^m)$ (式28)

运动预测部150使用式27所示的加速度矢量s^m，如图16中用“×”表示那样，按照移动体，如以下的式29那样预测时刻T+t’时的移动体的位置pos_m(T+t’)。

[数式36]

${\mathrm{pos}}_m(T+t^{\&prime;}){\mathrm{pos}}_m\left(T\right)+t^{\&prime;}{u}_T^m+\frac{1}{2}{t}^{\&prime;2}{s}_T^m$ (式29)

最后，输出部104将这样运动预测部150预测的移动体的位置输出。由此，运动预测部150能够进行添加了加速度的运动预测。在移动体的运动急剧地变快、或急剧地停止等的情况下，运动预测部150能够反映该加速度而预测移动体的位置。另外，运动预测部150也可以代替上述运动矢量而使用仿射参数进行运动预测。仿射参数能够实现包含旋转运动的运动的表现，能够更正确地预测物体的位置。

图17是表示对于别的运动图像的移动预测的结果的一例的图。即，图17是表示在包含1个人物的运动图像中、在组数是9的情况下基于式26按照组区域θ_m求出代表的移动轨蹄的一例的图。但是，在图17中，考虑到观察容易性，仅表示关于对应于头部的组区域θ₁和对应于脚部的组区域θ₈的代表的移动轨蹄。此外，没有图示背景。图中的“×”是分别对应于时刻t的代表的移动轨蹄

[数式37]

$\stackrel{\&OverBar;}{x^m}$

的要素，表示像素位置。

如以上这样，在有关本实施方式及其变形例的移动体检测装置及方法中，通过基于像素间的距离或移动轨蹄的类似度进行分组，作为将在图像中移动的物体的区域在时间上追踪的结果，不论关节物体的姿势如何，都能够进行图像中的移动体或移动体的部位的检测、包括移动体的图像的区域分割。此外，不需要作为前处理而设定人物候补区域，所以没有起因于人物候补区域的检测错误的区域分割的失败。如以上这样，不需要庞大的参数的匹配，而通过在非线性空间中进行分组，对包含形状一边变化一边移动的人物等的图像也正确地进行区域分割，由此能够进行图像中的移动体的检测。

此外，上述实施方式的移动体检测装置100具备图像输入部101及运动解析部102，但本发明并不将这些构成单元作为必须的单元。即，在预先计算了构成运动图像的多个块的各自的图像的移动轨蹄的情况下，移动体检测装置100也可以从外部取得这样的移动轨蹄、对所取得的移动轨蹄执行图3的步骤S203～S207的处理。

此外，本发明作为移动体检测装置实现，但只要具有区域分割部107的功能，当然也可以作为提取或分割在运动图像中具有运动的对象的区域的图像处理装置实现。

工业实用性

本发明作为通过基于多张图片中的运动将包括形状一边变化一边移动的人物等的移动体的图像区域提取而检测图像中的移动体的移动体检测装置，能够作为内置在例如运动解析装置、监视装置、摄像机或TV等的AV设备中的移动体检测装置等使用。

标号说明

100移动体检测装置

101图像输入部

102运动解析部

103移动体检测部

104输出部

105距离计算部

106距离内插部

107区域分割部

110照相机

120显示器

150运动预测部

1001照相机

1002计算机

1003显示器

1004I/F

1005CPU

1006ROM

1007RAM

1008HDD

1009视频卡

Claims (17)

1.一种移动体检测方法，通过将运动图像中的移动体的全部或一部分的区域分割，来检测运动图像中的移动体，其特征在于，包括：

距离计算步骤，根据作为遍及包含在运动图像中的2张以上的图片的对应点的多个移动轨蹄，提取NL个作为遍及TL张的图片的移动轨蹄的长时间移动轨蹄、提取NS个作为遍及包含在上述TL张图片中的TS张的图片的移动轨蹄的短时间移动轨蹄，分别计算NL个长时间移动轨蹄间的测地距离、和NS个短时间移动轨蹄间的测地距离，其中，NL≥2，TL≥3，NS＞NL，TL＞TS≥2；

距离内插步骤，基于在上述距离计算步骤中计算出的、长时间移动轨蹄间的测地距离及短时间移动轨蹄间的测地距离，计算遍及TL张图片的NS个移动轨蹄间的测地距离作为近似测地距离；以及

区域分割步骤，基于在上述距离内插步骤中计算出的近似测地距离，通过将移动轨蹄的集合作为1个区域分割，进行区域分割。

2.如权利要求1所述的移动体检测方法，其特征在于，

在上述距离内插步骤中，基于上述短时间移动轨蹄间的测地距离，提取作为短时间移动轨蹄的集合的部分短时间移动轨蹄，基于所提取的部分短时间移动轨蹄计算上述近似测地距离。

3.如权利要求1所述的移动体检测方法，其特征在于，

在上述距离内插步骤中，通过基于上述短时间移动轨蹄间的测地距离进行上述长时间移动轨蹄间的测地距离的线性内插，计算上述近似测地距离。

4.如权利要求3所述的移动体检测方法，其特征在于，

在上述距离内插步骤中，通过进行加权的上述线性内插、以使得短时间移动轨蹄间的测地距离越小则权重越大，计算上述近似测地距离。

5.如权利要求1所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，

(1)计算移动轨蹄间的线性距离，(2)对于上述移动轨蹄间的线性距离，通过使一部分线性距离无限大化，计算非线性化的距离，(3)基于上述非线性化后的距离，将其他移动轨蹄作为中继点，计算从两个移动轨蹄的一个达到另一个的多个路径的距离中的最短的距离作为上述测地距离。

6.如权利要求1所述的移动体检测方法，其特征在于，

还包括：

图像输入步骤，受理包含在运动图像中的多张图片；以及

运动解析步骤，通过对上述多张图片进行2张图片间的对应点的检测，计算表示遍及2张以上的图片的对应点的多个移动轨蹄；

在上述距离计算步骤中，从在上述运动解析步骤中计算出的多个移动轨蹄中，提取上述长时间移动轨蹄和上述短时间移动轨蹄。

7.如权利要求6所述的移动体检测方法，其特征在于，

还包括对在上述图像输入步骤中受理的运动图像实施图像处理、以按照在上述区域分割步骤中分割的区域成为不同的显示形态、将图像处理后的运动图像输出的输出步骤。

8.如权利要求7所述的移动体检测方法，其特征在于，

在上述输出步骤中，基于在上述距离内插步骤中计算出的近似测地距离、和在上述距离计算步骤中提取的NL个长时间移动轨蹄及NS个短时间移动轨蹄，计算内插了虚拟的长时间移动轨蹄的NS个近似长时间移动轨蹄，将包括计算出的近似长时间移动轨蹄的运动图像输出。

9.如权利要求1所述的移动体检测方法，其特征在于，

还包括根据包含于在上述区域分割步骤中分割的区域中的移动轨蹄计算代表该区域的移动轨蹄、通过按照计算出的代表的移动轨蹄预测该区域移动、预测上述移动体的运动的运动预测步骤。

10.如权利要求1或6所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，根据所提取的长时间移动轨蹄的个数，使上述TL变化，来提取长时间移动轨蹄。

11.如权利要求10所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，在所提取的长时间移动轨蹄的个数超过预先设定的第1上限值的情况下，使上述TL增加来提取长时间移动轨蹄。

12.如权利要求10所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，在所提取的长时间移动轨蹄的个数低于预先设定的第1下限值的情况下，使上述TL减少来提取长时间移动轨蹄。

13.如权利要求1或6所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，根据所提取的短时间移动轨蹄的个数使上述TS变化，来提取短时间移动轨蹄。

14.如权利要求13所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，在所提取的短时间移动轨蹄的个数超过预先设定的第2上限值的情况下，使上述TS增加来提取短时间移动轨蹄。

15.如权利要求13所述的移动体检测方法，其特征在于，

在上述距离计算步骤中，在所提取的短时间移动轨蹄的个数低于预先设定的第2下限值的情况下，使上述TS减少来提取短时间移动轨蹄。

16.一种移动体检测装置，通过将运动图像中的移动体的全部或一部分的区域分割，来检测运动图像中的移动体，其特征在于，具备：

距离计算部，根据作为遍及包含在运动图像中的2张以上的图片的对应点的多个移动轨蹄，提取NL个作为遍及TL张的图片的移动轨蹄的长时间移动轨蹄、提取NS个作为遍及包含在上述TL张图片中的TS张的图片的移动轨蹄的短时间移动轨蹄，分别计算NL个长时间移动轨蹄间的测地距离、和NS个短时间移动轨蹄间的测地距离，其中，NL≥2，TL≥3，NS＞NL，TL＞TS≥2；

距离内插部，基于由上述距离计算部计算出的、长时间移动轨蹄间的测地距离及短时间移动轨蹄间的测地距离，计算遍及TL张图片的NS个移动轨蹄间的测地距离作为近似测地距离；以及

区域分割部，基于由上述距离内插部计算出的近似测地距离，通过将移动轨蹄的集合作为1个区域分割，进行区域分割。

17.一种程序，通过将运动图像中的移动体的全部或一部分的区域分割，来检测运动图像中的移动体，其特征在于，

使计算机执行包含在权利要求1所述的移动体检测方法中的各步骤。

Images