CN102378992B - 关节状区域检测装置及其方法 - Google Patents

Abstract

关节状区域检测装置(100)具备将多个移动轨跡分类为多个子类的子类分类部(105)、按照每个子类计算该子类与其他子类之间的2点间距离及测地距离的距离计算部(106)、和基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类来作为具有关节状运动的区域的区域检测部(107)。

Description

关节状区域检测装置及其方法

技术领域

本发明涉及基于由多张图像构成的动态图像中的运动信息来检测图像中的移动体的技术。特别涉及对于如人物那样轮廓的形状一边变化一边移动的对象，通过检测这样的对象所特征性地具有的关节状区域，来检测移动体的区域的关节状区域检测装置。

背景技术

通过从包含移动体的像(以下简称作“移动体”)的图像中提取图像中的移动体的区域来检测移动体的区域提取技术的研究开发正在广泛地进行。特别是，在移动体是人的情况下，提取人的区域的技术是在数字摄像机或数字照相机的焦点控制、画质改善处理、汽车的安全驾驶辅助系统、或者机器人中的与人的碰撞避免控制或警报等中共同地使用的基础技术。

作为提取图像中的移动体的区域的技术中的一般的方法，有如下两种方法：(1)评价预先准备的移动体的模型与图像中的移动体的候选区域之间的类似度来确定移动体的区域的方法；和(2)将图像分割为多个小区域，按照每个区域计算特征量，通过以特征量为基准将类似的区域整合来确定移动体的区域。

作为前者的代表性的方法，有在从图像中提取移动体区域的候选后，对所提取的移动体区域的候选评价与预先准备的移动体模型之间的类似度，将类似度较高的区域作为移动体区域提取的方法。进而，在提取如步行的人物等那样一边变形一边移动的移动体的区域的情况下，有利用考虑了变形的移动体模型的方法。例如，在专利文献1中，作为移动体区域候选而从多个图像中提取移动体的轮廓图像。并且，公开了对关于预先参数化的移动体的变形的模型、与所提取的轮廓图像之间的类似度进行评价，推测类似度较高的区域和模型的参数的方法。由此，对于形状一边周期性地变化一边移动的人物也能够采用参数化的模型，所以能够进行移动体的区域提取。

作为后者的代表性的方法，有将图像先分割为多个小区域，提取基于各小区域的像素的亮度值的特征量后，评价多个小区域间的特征量的类似度，将类似度较高的区域整合为同一个移动体区域的方法。例如，在专利文献2中，将图像先分割为矩形的小区域，基于小区域的亮度或运动计算特征量，通过基于特征量的类似度的顺序将小区域整合，能够进行移动体的区域提取。

专利文献1：日本特开平8-214289号公报

专利文献2：日本特开2006-031114号公报

发明概要

发明要解决的技术问题

但是，以往的区域提取的技术例如在多个人物步行的场景等中，在因姿势或大小等的变化，移动体的形状伴随着显著的变化等情况下，有不能正确地提取移动体的问题。

在专利文献1所示的、使用预先准备的模型的区域提取方法中，需要从图像中提取移动体区域的候选。此时，如果不能适当地提取移动体区域候选，就不能使将移动体参数化的模型正确地适合于移动体区域候选。特别是，在上述那样的场景中，由于因移动体的姿势或大小等的变化而移动体的形状较大地变化，所以难以适当地提取移动体区域候选。进而，即使能够适当地提取移动体区域候选，也存在以下那样的问题。

具体而言，在将人物等的具有关节性的运动的物体作为移动体的情况下，起因于移动体的各种各样的姿势及位置、大小的图像的变化的幅度非常大。因此，在进行移动体模型的参数化时需要庞大数量的参数。这引发模型的适用错误。所以，有例如将1个移动体误作为多个移动体进行区域提取、或将不存在作为提取对象的移动体的区域误作为移动体进行区域提取等不能正确地检测移动体的问题。

在专利文献2所示的区域提取方法中，代替如专利文献1那样制作模型而使用小区域间的特征量，通过将作为特征量使用的亮度值或运动不类似的小区域判断为不同的区域来提取区域。但是，在如人物那样的移动体中，亮度值根据场所而不同，此外，即使是同一移动体上，在例如关节区域两端的小区域间等也运动不同。因此，有虽然是同一个移动体上的多个小区域、但被作为不同的移动体的区域分离提取而不能正确地检测移动体的问题。

发明内容

所以，在本发明中，着眼于引发以上的问题的“关节状运动”。在本发明中，在动态图像中，将以人物为代表那样的具有关节状的运动的、即因为姿势等的变化而移动体的形状在时间上伴随着显著的变化的移动体作为对象。

本发明的目的是提供一种关节状区域检测装置等，在上述移动体中，不将同一移动体上的小区域分离而提取，此外不受移动体自身的形状变化的影响而正确地检测该区域，所以能够检测在上述移动体上作为具有关节状运动的区域的关节状区域。

另外，在本说明书中，所谓关节状运动，是指例如以人的关节运动为代表的那样的关节状的运动。

如果举出人的关节以外的例子，则也可以是例如如蛇或蜈蚣的运动那样，由关节间的距离微小的许多关节构成的那样的运动等，也可以是如伞骨那样，从一个接头(关节)伸出许多骨(臂)那样的，或者如活动雕塑那样的运动。

在以往的区域提取方法中，在这样的呈关节状的运动的部分中，对象物被分离而提取的情况较多。因而，反之如果能够提取包括关节状运动的“关节状区域”，则能够防止将对象物分离提取。另外，所谓“关节状区域”，是指在其一部分或全部中具有1处以上呈关节状的运动的区域那样的区域。

用于解决技术问题的手段

本发明是为了解决上述问题而做出的，有关本发明的一技术方案的关节状区域检测装置，根据分别与构成动态图像中的移动体的多个区域相对应的多个移动轨跡，检测具有关节状运动的区域，其特征在于，具备：子类分类部，将跨越构成动态图像的多张图片的、分别作为由构成上述图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡，分类为多个子类，该多个子类分别为类似的移动轨跡的集合；距离计算部，按照每个子类，计算2点间距离和测地距离，该2点间距离为将属于该子类的第1移动轨跡与属于其他子类的第2移动轨跡直接连结的距离，该测地距离为以上述第1移动轨跡及上述第2移动轨跡之外的移动轨跡为中继点而从上述第1移动轨跡到达上述第2移动轨跡的路径的距离；以及区域检测部，基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。

根据该结构，通过基于子类间的测地距离的时间变化和2点间距离的时间变化提取关节状区域，能够不受移动体的形状的变化的影响而正确地提取关节状区域。

另外，本发明不仅能够作为具备这样的特征性的处理部的关节状区域检测装置实现，还能够作为以包含在关节状区域检测装置中的特征性的处理部为步骤的关节状区域检测方法实现。此外，也可以作为使计算机执行包含在关节状区域检测方法中的特征性的步骤的程序实现。并且，当然可以将这样的程序经由CD-ROM(Compact Disc-Read Only Memory)等的计算机可读取的记录介质或因特网等的通信网络流通。

发明效果

通过上述方法及装置等，在动态图像中，通过检测如人物那样、具有姿势或位置、大小等随时间变化的关节状运动的移动体的关节状区域，能够可靠地检测图像中的移动体。

附图说明

图1是表示本发明的实施方式的关节状区域检测装置的结构的图。

图2是表示由计算机构成的关节状区域检测装置的硬件结构的图。

图3是表示关节状区域检测装置的动作的步骤的流程图。

图4是表示摄影状况的例子的图。

图5是表示多个图片的例子的图。

图6是表示运动矢量及移动轨跡的例子的图。

图7是表示关节状区域检测部中的子类分类部的结构的图。

图8是表示图片中的移动轨跡的分布的图。

图9是表示关节状区域检测部中的距离计算部的结构的图。

图10是表示移动轨跡的数据分布和距离的图。

图11是表示移动轨跡间的欧几里得距离和测地距离的图。

图12是表示关节状区域检测部中的区域检测部的结构的图。

图13是表示关于属于不同的子类的移动轨跡间的欧几里得距离和测地距离的图。

图14是表示关于构成关节状区域的子类间的、代表欧几里得距离及代表测地距离的概念图。

图15是表示关于构成关节状区域的子类间以及不构成关节状区域的子类间的、代表欧几里得距离及代表测地距离的时间变化的概念图。

图16是表示关节运动的判断基准的图。

图17A是表示距离比较部的处理的流程图。

图17B是表示距离比较部的处理的流程图。

图17C是表示距离比较部的处理的流程图。

图18A是表示距离比较部的优选的追加处理的流程图。

图18B是表示距离比较部的优选的追加处理的流程图。

图18C是表示距离比较部的优选的追加处理的流程图。

图19是表示由图像输出步骤生成的图像的例子的图。

图20是表示有关本发明的实施方式1的变形例1的关节状区域检测装置的结构的图。

图21是表示有关本发明的实施方式1的变形例2的关节状区域检测装置的结构的图。

图22是表示通过维度压缩进行的数据的聚类的图。

图23是表示有关本发明的实施方式1的变形例3的关节状区域检测装置的结构的图。

图24是表示利用测地距离的数据的聚类的图。

图25是表示本发明的实施方式2的关节状区域检测装置的结构的图。

图26A是说明本发明的实施方式2的关节状区域检测装置进行的动作识别的图。

图26B是说明本发明的实施方式2的关节状区域检测装置进行的动作识别的图。

图27是表示本发明的实施方式3的关节状区域检测装置的结构的图。

图28是说明本发明的实施方式3的关节状区域检测装置进行的拿走检测的图。

图29A是表示本发明的实施方式4的制作表示将移动轨跡分类为子类的结果的分类信息的分类信息制作装置的结构的框图。

图29B是表示本发明的实施方式4的关节状区域检测装置的结构的框图。

图30是表示本发明的实施方式4的关节状区域检测装置的动作的流程图。

图31A是表示跨越1帧到4帧计算出的、作为图片间的对应点的移动轨跡的图。

图31B是表示保存在存储部中的分类信息的一例的图。

图31C是表示保存在存储部中的分类信息的一例的图。

图32A是表示跨越1帧到4帧计算出的、作为图片间的对应点的移动轨跡的图。

图32B是表示保存在存储部中的分类信息的一例的图。

具体实施方式

本发明的一实施方式，一种关节状区域检测装置，根据分别与构成动态图像中的移动体的多个区域相对应的多个移动轨跡，检测具有关节状运动的区域，其特征在于，具备：子类分类部，将跨越构成动态图像的多张图片的、分别作为由构成上述图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡，分类为多个子类，该多个子类分别为类似的移动轨跡的集合；距离计算部，按照每个子类，计算2点间距离和测地距离，该2点间距离为将属于该子类的第1移动轨跡与属于其他子类的第2移动轨跡直接连结的距离，该测地距离为以上述第1移动轨跡及上述第2移动轨跡之外的移动轨跡为中继点而从上述第1移动轨跡到达上述第2移动轨跡的路径的距离；以及区域检测部，基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。

通过上述结构，通过基于子类间的测地距离的时间变化和2点间距离的时间变化提取关节状区域，能够不受形状的变化的影响而正确地提取移动体的区域。

此外，在本发明的更优选的形态中，上述区域检测部检测子类间的2点间距离的时间变化比规定的2点间距离阈值大、并且上述子类间的测地距离的时间变化为规定的测地距离阈值以下的子类，来作为具有关节状运动的区域。

通过上述结构，由于能够确定属于同一个移动体的子类，所以能够更正确地确定移动体的区域。

特别是，可以是，上述区域检测部基于任意的2个子类间的2点间距离的代表值的时间变化及测地距离的代表值的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。由此，能够更高精度地执行关节状区域检测。

这里，作为距离的代表值的计算方法，也可以是，上述2个子类间的2点间距离的代表值是上述2个子类间的2点间距离的平均值；上述2个子类间的测地距离的代表值是上述2个子类间的测地距离的平均值。此外，也可以是，上述2个子类间的2点间距离的代表值是上述2个子类间的2点间距离的中央值；上述2个子类间的测地距离的代表值是上述2个子类间的测地距离的中央值。进而，也可以是，上述2个子类间的2点间距离的代表值是上述2个子类间的2点间距离的众数；上述2个子类间的测地距离的代表值是上述2个子类间的测地距离的众数。

通过上述结构，通过基于这样的代表值检测关节状区域，能够高速且高效率地提取关节状运动区域。此外，这样的代表值保持着子类间的移动轨跡间的测地距离及2点间距离的宏观的关系。

此外，在本发明的更优选的形态中，上述关节状区域检测装置还具备输出部，该输出部对上述多张图片中的至少1张图片实施图像处理以使得其成为按照由上述区域检测部检测到的每个区域而不同的显示形态，并且输出包含实施了图像处理后的区域的图片。通过上述结构，由于以按照所确定的每个区域而不同的显示形态实施图像处理，所以能够容易地确认检测到的关节状区域或移动体。

优选的是，上述动态图像是将人物作为被摄体而摄影的动态图像；上述关节状区域检测装置还具备动作识别部，该动作识别部计算在由上述区域检测部检测到的区域中所包含的呈关节状运动的多个子类间的角度，并通过将计算出的角度与按照人物的每个动作模式而预先设定的角度进行比较，来识别上述被摄体的动作。通过上述结构，能够简单地推测关节状区域或移动体的动作。

优选的是，上述关节状区域检测装置还具备动作检测部，该动作检测部基于在由上述区域检测部检测到的上述区域中所包含的呈关节状运动的多个子类间的关节数，检测在上述动态图像中所包含的移动体的连接数的变化。更优选的是，上述动作检测部在检测到上述连接数的减少的情况下，判断为有由上述移动体进行的物体的遗弃，在检测到上述连接数的增加的情况下，判断为有由上述移动体进行的物体的拿走。

通过上述结构，能够简单地检测到关节状区域、或移动体的拿走、遗弃动作。

优选的是，上述关节状区域检测装置还具备：图像输入部，受理构成动态图像的多张图片；以及移动轨跡计算部，按照由构成所受理的上述图片的1个以上的像素所构成的每个块，检测构成上述动态图像的在时间上邻接的2张图片间的该块的运动，通过将检测到的运动对上述多张图片进行连结，从而计算多个移动轨跡。

另外，关于关节状运动的内容，如上所述，上述关节状运动既可以是通过关节连接的物体的运动，上述关节状运动也可以是绳状的物体的运动，除此之外也可以是与其类似的关节状的运动。

本发明的另一实施方式，一种关节状区域检测装置，根据分别与构成动态图像中的移动体的多个区域相对应的多个移动轨跡，检测具有关节状运动的区域，其特征在于，具备：子类取得部，取得分类信息，该分类信息表示将跨越构成动态图像的多张图片的、分别作为由构成上述图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡分类为多个子类的结果，该多个子类分别为类似的移动轨跡的集合；距离计算部，根据所取得的上述分类信息，按照每个子类，计算2点间距离和测地距离，该2点间距离为将属于该子类的第1移动轨跡与属于其他子类的第2移动轨跡直接连结的距离，该测地距离为以上述第1移动轨跡及上述第2移动轨跡之外的移动轨跡为中继点而从上述第1移动轨跡到达上述第2移动轨跡的路径的距离；以及区域检测部，基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。

通过上述结构，通过基于子类间的测地距离的时间变化和2点间距离的时间变化提取关节状区域，能够不受形状的变化的影响而正确地提取移动体的区域。

另外，本发明的关节状区域检测装置不仅可以通过将各处理部用硬件构成来实现，也可以作为以上述各处理部为步骤的关节状区域检测方法实现、或将关节状区域检测方法通过计算机上的程序实现、或作为保存有该程序的CD-ROM等的计算机可读取的记录介质、对在动态图像中具有运动的对象的区域进行提取或分割的图像处理装置等实现。

(实施方式1)

以下，利用附图对本发明的实施方式1进行说明。

图1是表示实施方式1的关节状区域检测装置的结构的图。如图1所示，关节状区域检测装置100具备图像输入部101、移动轨跡计算部102、关节状区域检测部103及输出部104。关节状区域检测装置100是通过进行确定动态图像中的关节状区域的全部或一部分的区域的区域分割，来检测动态图像中的关节状区域的装置。即，关节状区域检测装置100是根据分别对应于构成动态图像中的移动体的多个区域的多个移动轨跡，检测具有关节状运动的区域的装置。在本实施方式中，关节状区域检测装置100输入由照相机110摄影的动态图像，检测动态图像中的关节状区域，基于检测结果生成图片(picture)并输出。显示器120将从关节状区域检测装置100输出的图片加以显示。在本说明书中，将图片也称作图像。

图像输入部101是受理构成动态图像的多张图片的输入的处理部，例如是照相机(camera)、或与照相机连接的通信接口等。

移动轨跡计算部102是基于由图像输入部101受理的多张图片，求出多个多张图片间的对应点，作为多个移动轨跡输出的处理部。即，移动轨跡计算部102通过按照构成由图像输入部101受理的图片的由1个以上的像素所构成的每个块，检测构成动态图像的在时间上相邻接的两张图片间的该块的运动，将检测到的运动对上述多张图片进行连结，由此计算多个移动轨跡。图片间的对应点既可以按照图片的每1像素求出对应点，也可以按照图片内的相邻接的多个像素(块)的每一个求出1个对应点。在本说明书中，对于将某个对应点按照每1像素求出、还是对多个像素求出1个不进行区别。此外，将对应于某个图片的像素i的其他图片的对应点、以及对应于某个图片的块i的其他图片的对应点都称作像素i的移动轨跡。

关节状区域检测部103是根据由移动轨跡计算部102求出的移动轨跡，基于小区域间的移动轨跡的时间变化，求出进行关节状运动的关节状区域的检测的处理部。关节状区域检测部103具备子类分类部105、距离计算部106及区域检测部107。

子类分类部105对由移动轨跡计算部102求出的多个移动轨跡，根据轨跡间距离、或速度等的类似度，将多个移动轨跡聚类(clustering)为分别包括至少1个移动轨跡的多个子类。即，子类分类部105将跨越构成动态图像的多张图片的、分别由构成图片的1个以上的像素所构成的块的运动的轨跡——即多个移动轨跡，分类为作为分别类似的移动轨跡的集合的、多个子类。

距离计算部106是计算表示上述移动轨跡间的类似度的距离的处理部。即，距离计算部106按照每个子类，计算将属于该子类的第1移动轨跡与属于另一子类的第2移动轨跡直接连结的距离——即2点间距离，以及以第1移动轨跡及第2移动轨跡以外的移动轨跡为中继点而从第1移动轨跡到达第2移动轨跡的路径的距离——即测地距离。

在本实施方式中，距离计算部106从由移动轨跡计算部102求出的多个移动轨跡中提取作为跨越T张(T＞＝2)图片间的对应点的N个移动轨跡，根据所提取的移动轨跡计算表示移动轨跡间的类似度的2点间距离及测地距离。

另外，本说明书中的2个移动轨跡间的“距离”，不仅是对应的2维图像空间中的2点间的距离，还如后述那样包括多维的数据间的算术距离。另外，一般而言，距离与类似度有相反的关系。即，在2个数据间的距离较小的情况下类似度较高，反之在2个数据的距离较大的情况下类似度较低。

此外，在本说明书中，定义了“2点间距离”及“测地距离”两种距离，但“2点间距离”是指仅由2个数据间求出的距离，“测地距离”是指如后述那样经由2个数据以外的点求出的距离。另外，本说明书中的“2点间距离”是移动轨跡间的图片坐标中的位置、速度、加速度等作为表示几何上的类似度的指标的距离，并不一定需要是线性距离。作为“2点间距离”的代表性的距离，在本说明书中将“欧几里得距离”用于以后的说明。关于上述距离的详细的例子，在距离计算部106的说明的部分中在后面叙述。

区域检测部107是对由距离计算部106计算出的测地距离、欧几里得距离，计算由子类分类部105生成的子类间的测地距离的代表值(以下称作“代表测地距离”)、以及欧几里得距离的代表值(以下称作“代表欧几里得距离”)，基于计算出的代表测地距离和代表欧几里得距离进行关节状区域的检测的处理部。即，区域检测部107基于任意的2个子类间的欧几里得距离的时间变化及测地距离的时间变化，检测对应于由同一关节连接的进行关节状运动的2个区域的移动轨跡所属的2个子类，作为具有关节状运动的区域。

输出部104输出由关节状区域检测部103处理后的动态图像中的关节状区域的检测结果。具体而言，输出部104对由图像输入部101受理的动态图像例如实施图像处理，以使得按照由关节状区域检测部103确定的每个关节状区域而成为不同的显示形态，将实施了图像处理的动态图像向显示器120等输出。

在本说明书中，所谓“区域提取”，包括提取某个特定的对象物所存在的图像区域的检测技术、和不区别对象物是什么而将图片中的区域加以分割的区域分割技术两者。检测技术和区域分割技术由于共通的部分较多，所以在本说明书中不将两者区别。

此外，在本说明书中，所谓“移动体检测”，包括仅确定相对于作为基准的坐标系移动的物体所存在的图像区域的检测技术、和按照相对地进行不同的移动的每个物体将图片中的区域加以分割的区域分割技术两者。

另外，构成关节状区域检测装置100的各构成要素(图像输入部101、移动轨跡计算部102、关节状区域检测部103、输出部104)既可以通过在计算机上执行的程序等的软件实现，也可以由电子电路或集成电路等的硬件实现。图2是表示由软件实现的本实施方式的关节状区域检测装置的硬件结构的图。在图2中，照相机110将图片摄影并输出，计算机200取得图片而进行关节状区域提取处理，生成显示区域提取结果的图片。显示器120取得由计算机200生成的图片并显示。计算机200包括I/F201、CPU202、ROM203、RAM204、HDD205及视频卡206。使计算机200动作的程序预先保持在ROM203或HDD205中。程序被作为处理器的CPU202从ROM203或HDD205读出到RAM204中并展开。CPU202执行展开到RAM204中的程序中的代码化的各命令。I/F201对应于程序的执行而将由照相机110摄影的图片向RAM204取入。视频卡206将对应于程序的执行而生成的图片输出，显示器120显示该图片。

另外，计算机程序并不限定于保存在作为半导体的ROM203或HDD205中，也可以保存在例如CD-ROM中。此外，也可以经由有线或无线的网络、广播等传送，取入到计算机的RAM204中。

以下，使用图3说明本实施方式的关节状区域检测装置100的动作。

图3是表示本实施方式的关节状区域检测装置100的动作的流程图。

在图3中，7个步骤S301～S307分别对应于图1的各处理部101～107。即，在图像输入部101中执行图像输入步骤S301，在移动轨跡计算部102中执行移动轨跡计算步骤S302，在关节状区域检测部103中执行关节状区域检测步骤S303，在输出部104中执行图像输出步骤S304的各动作。此外，关节状区域检测步骤S303包括子类分类步骤S305、距离计算步骤S306、区域检测步骤S307的3个步骤。在子类分类部105中执行子类分类步骤S305，在距离计算部106中执行距离计算步骤S306，在区域检测部107中执行区域检测步骤S307的各动作。

首先，由图像输入部101执行图像输入步骤S301。即，图像输入部101从照相机110取得构成动态图像的多个图片。在本实施方式中，从照相机110取得的动态图像是30帧/秒的动态图像。

图4是表示摄影状况的一例的图。此外，图5(a)～(f)表示由照相机110将图4的摄影状况摄影而取得的多个图片的例子。假设由图像输入部101输入了从1帧到T帧的T张(T＞＝2)图片。在本实施方式中，图片的数量T被预先设定，假设为30帧(T＝30)。

接着，由移动轨跡计算部102执行移动轨跡计算步骤S302。即，移动轨跡计算部102从图像输入部101输入多个图片，检测图片间的对应点，生成移动轨跡并输出。作为求出多个图片间的对应点的方法，这里以1帧的图片上的全部像素(I个)为基准，求出从2帧到T帧的(T-1)张图片上的对应的像素。

以下，在本实施方式中，对像素单位的处理进行说明，但在以由多个像素构成的块为单位进行处理的情况下，只要通过(i)在块内将像素值合计、或(ii)求出块内的像素值的平均值、或(iii)求出块内的像素值的中央值，从而求出对应于块的数据(代表值)，并使用得到的代表值与像素单位的处理同样进行处理就可以。

例如，如果假设在步骤S301中输入了T张图片，则移动轨跡计算部102使用在时刻t和时刻t+1输入的2张图片，推测像素i的运动矢量(u_t ⁱ，v_t ⁱ)。这里，帧并不一定需要连续，例如也可以使用在时刻t和时刻t+n输入的2张图片求出像素的运动。其中，n是1以上的整数。

作为计算上述多个图片间的对应点的具体的方法，也可以使用在非专利文献1或非专利文献2等中公开的方法。同时，非专利文献1是通过计算光流(optical flow)来计算运动矢量的方法，非专利文献1基于分阶层的块匹配计算光流。由于将像素间的平滑度作为约束条件，所以得到在相邻的光流间运动矢量平滑地变化那样的光流。特别在没有急剧的运动或没有遮挡的情况下能够求出高效率且正确的对应点。此外，由于能够计算推测的可靠度，所以如后述那样，通过将可靠度比某个阈值低的对应点从以后的处理中去除，能够减小相对于全部运动矢量的错误的运动矢量的比例，具有能够进行更正确的关节状区域推测的效果。

与此相对，非专利文献2是基于图形分割(graph cut)的光流计算方法，计算成本较高，但在图片上密集地求出正确的对应点。此外，根据该方法，掩蔽(occlusion)的区域也能够推测，所以通过如后述那样将位于掩蔽区域中的对应点从以后的处理中去除，能够降低错误的运动矢量相对于全部运动矢量的比例，具有能够进行更正确的关节状区域推测的效果。更详细的情况在各文献中记载，所以其详细的说明省略。

非专利文献1：P. Anandan，“A Computational Framework and anAlgorithm for the Measurement of Visual Motion”，International Journal ofComputer Vision，Vol.2，pp.283-310，1989

非专利文献2：Vladimir Kolmogorov and Ramin Zabih，“ComputingVisual Correspondence with Occlusions via Graph Cuts”，InternationalConferenceon on Computer Vision，2001

进而，作为像素的运动，移动轨跡计算部102也可以代替上述运动矢量而推测仿射参数。此时，也可以对全部的像素求出运动信息。此外，在想要更高速地进行处理的情况下，既可以将图片划分为网格而求出仅关于一定间隔的网格上的像素的运动信息，也可以如上述那样将图片划分为块而按照每个块求出运动信息。

进而，在使用非专利文献1的公开技术计算运动矢量的情况下，由于能够如上述那样计算其可靠度，所以也可以仅使用具有可靠度较高的运动信息的像素。此外，在使用非专利文献2的公开技术计算运动矢量的情况下，能够如上述那样推测掩蔽。因此，也可以仅使用没有被遮挡的像素的运动信息。

进而，作为计算像素的运动的方法，也可以上述代替假定块的平移移动计算运动矢量的方法而使用假定块的仿射变形计算运动矢量的方法。假定仿射变形而计算运动矢量的方法可以使用非专利文献3的公开技术实现。

非专利文献3：Jianbo Shi and Carlo Tomasi，“Good Features to Track”，IEEE Conferenceon on Computer Vision and Pattern Recognition，pp593-600，1994

在上述方法中，推测相当于在时刻t和时刻t+1被输入的图片的像素i附近的运动的仿射参数A_t ⁱ。关于像素i，时刻t和时刻t+1的图片上的像素位置x_t ⁱ和x_t+1 ⁱ有(式1)所示的关系。

[数式1]

$x_{t+1}^i=A_t^i{x}_t^i$ (式1)

在上述方法中，特别对于进行旋转运动的物体，与使用假定平移移动计算运动矢量的方法的情况相比，能够更高精度地推测像素i的运动。

并且，移动轨跡计算部102根据在时间上不同的T张图片间计算的上述像素的对应点计算移动轨跡i。以下，将像素i的移动轨跡称作移动轨跡i。如图6(a)所示，移动轨跡计算部102基于时刻t的输入图片601的像素i603a、像素k603b，使用在步骤S302中计算出的运动矢量信息602，追踪像素i603a、像素k603b的运动，求出像素i603a、像素k603b的对应点。此时，移动轨跡计算部102根据1帧的图片上的某个像素i的坐标值(x₁ ⁱ，y₁ ⁱ)、和时刻t的像素i的对应点的像素坐标值(x_t ⁱ，y_t ⁱ)，如(式2)那样计算移动轨跡xⁱ。

[数式2]

$x^i=(x_1^i,y_{1_1}^i,...,x_t^i,y_t^i,...,x_T^i,y_T^i)$ (式2)

在本实施方式中，假设移动轨跡xⁱ是跨越从1帧到T帧的T张图片间的对应点。

图6(b)表示移动轨跡的例子。输入到移动轨跡计算部102中的动态图像由T张图片604构成。此时，移动轨跡xⁱ606a、x^k606b是分别对应于1帧的某个像素i605a、像素k605b的、从2帧到T帧的图片上的对应点的集合。移动轨跡xⁱ606a、x^k606b用以各图片的图片坐标值为要素的矢量表不。

另外，在移动轨跡计算部102中求出图片间的对应点时，也可以代替按照图片的全部的像素的每个像素求出对应点，而按照图片内的相邻接的每多个像素(块)求出对应点。在本说明书中，对于将某个对应点按照每1像素求出、还是对多个像素求出1个对应点不进行区别。此外，将对应于某个图片的像素i的其他图片的对应点、以及对应于某个图片的块i的其他图片的对应点都称作像素i的移动轨跡。

接着，通过子类分类部105执行子类分类步骤S305。即，子类分类部105通过将由移动轨跡计算部102计算出的移动轨跡的集合用亮度、或移动轨跡的类似度等的某种指标进行聚类而生成子类。

在本实施方式中，子类分类部105如图7所示，包括求出移动轨跡间的欧几里得距离的欧几里得距离计算部701、和基于欧几里得距离进行聚类的聚类部702。

欧几里得距离计算部701通过(式3)计算像素i的移动轨跡与像素j的移动轨跡之间的欧几里得距离f(i，j)。

[数式3]

$f(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ (式3)

(其中， $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$ )

这里，通过(式3)计算的欧几里得距离f(i，j)为了表述的方便而对全部的移动轨跡间定义，但作为欧几里得距离为有限的值的只是N个移动轨跡xⁱ之间的距离。

另外，本实施方式中的欧几里得距离通过(式3)计算，但并不限定于该式。欧几里得距离只要是与(式3)同样，是移动轨跡间的图片坐标中的位置、运动、加速度、旋转速度等那样的表示几何上的类似度的指标就可以，例如也可以使用下述的(式4)。

[数式4]

$f(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t+w\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}^t-\stackrel{\‾}{d})}^2}$ (式4)

(其中， $d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2},$ $\stackrel{\‾}{d}=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}^t$ )

在(式4)中，w是加权系数，是由设计者设定的参数。上述(式4)的移动轨跡间的欧几里得距离f(i，j)是对移动轨跡间的图片坐标的距离的时间平均加上图片坐标的距离的时间变动成分后的值。特别是，移动轨跡间距离的时间变动成分是表示移动轨跡的运动的类似度的，由此，即使是伴随形状变化那样的情况，也能够更正确地捕捉移动轨跡间的类似度。

聚类部702通过反复进行使用由欧几里得距离计算部701计算的移动轨跡i与移动轨跡j的欧几里得距离f(i，j)并以f(i，j)由小到大的顺序将移动轨跡i与移动轨跡j聚束到同一类中的处理，而进行聚类。

如图8(a)的移动轨跡a～h所示，移动轨跡即使是同一被摄体，也因为姿势变化而按照每个部位较大地变化。但是，只要是用关节相连的物体，特别是附近的移动轨跡就能够假定为保持较高的类似性。这里，所谓较高的类似性，是指移动轨跡i与移动轨跡j之间的欧几里得距离f(i，j)较小。进而，欧几里得距离f(i，j)较小，可以解释为移动轨跡i和移动轨跡j在由移动轨跡构成的高维空间上近距离地分布。

在图8(b)中表示由移动轨跡构成的高维空间的概念图。在概念图中，为了使说明变得容易而设为3维空间，但实际上(式2)所示的矢量的各要素与各维对应。即，高维空间是维数为2×T的空间。此外，为了说明的简略化，设移动轨跡为移动轨跡a～h的8条，但实际上既可以使用按照每个像素求出的移动轨跡，也可以使用以块单位求出的移动轨跡。这里，图8(b)所示的由移动轨跡构成的高维空间上的数据点分别对应于(式2)所示的一个移动轨跡。即，不仅是1张图片上的区域，而对应于跨越在时间上不同的多张图片追踪像素的结果。

并且，通过用由移动轨跡构成的高维空间上的分布的连续性将移动轨跡聚类，由此基于移动轨跡间的距离的不连续性而进行聚类。结果，各个类可以期待对应于单独的被摄体或被摄体的一部分，能够进行被摄体的检测和区域分割。

首先，将分割的各区域如以下这样表现。

[数式5]

θ＝{θ₁，...θ_m...θ_M}          (式5)

这里，M是区域数，根据利用的场景经验性地决定。

首先，子类分类部105以欧几里得距离f(i，j)由小到大的顺序，进行将相互不同的移动轨跡i和移动轨跡j设为相同区域标签θ_m的处理。在进行该处理后，在移动轨跡i或移动轨跡j的一方已经属于区域θ_k的情况下，还没有被赋予区域标签的像素也属于区域θ_k。进而，在移动轨跡i和移动轨跡j已经分别属于不同的区域的情况下，将区域标签整合。接着，对全部的移动轨跡赋予标签，并且判断区域数是否为规定的M，在不满足该条件的情况下，重复以上述欧几里得距离f(i，j)由小到大的顺序将移动轨跡i和移动轨跡j设为相同区域标签θ_m的处理。另外，关于属于各区域的移动轨跡的数量为阈值T_cluster个以下的区域，也可以作为界外值(Outlier)处置，将其丢弃以使其不在以后的处理中使用。

使用图8(c)、图8(d)说明子类分类处理的具体例。为了简单，对设为M＝2的情况(图8(c))和设为M＝3的情况(图8(d))进行说明。在实际的子类分类时，利用充分将移动体的区域分割为细小的单位那样的、更大的M。这里，在图8的例子中，在设移动轨跡a与移动轨跡b之间的距离为f(a，b)时，是f(a，b)＜f(g，h)＜f(d，e)＜f(b，c)＜f(f，g)＜f(c，d)。首先，对M＝2的例子使用图8(c)进行说明。子类分类部105由于移动轨跡a与移动轨跡b之间的距离f(a，b)是最小，所以对移动轨跡a和移动轨跡b赋予相同的区域标签θ₁。接着，由于移动轨跡g与移动轨跡h之间的距离f(g，h)第2小，所以子类分类部105对移动轨跡g和移动轨跡h赋予相同的区域标签θ₂。进而，子类分类部105对作为第3小的距离的移动轨跡d和移动轨跡e赋予相同的区域标签θ₃。距离其次小的是移动轨跡b与移动轨跡c之间的距离f(b，c)。这里，由于移动轨跡b已经被赋予了标签，所以子类分类部105对移动轨跡c赋予与移动轨跡b相同的区域标签θ₁。距离再次小的是移动轨跡f与移动轨跡g之间的距离f(f，g)。子类分类部105与f(b，c)的情况同样，对移动轨跡f赋予与移动轨跡g相同的区域标签θ₃。这里，在设为M＝3的情况下，对全部的移动轨跡赋予了标签，由于判断为M＝3，所以结束处理。

在进行了M＝2的条件设定的情况下，通过当前的类的分类不满足该条件。因此，子类分类部105再次对作为其次小的距离的移动轨跡c和移动轨跡d将移动轨跡c属于的区域标签θ₁与移动轨跡d属于的区域标签θ₃整合。此外，子类分类部105对移动轨跡a到e赋予区域标签θ₁。这里，对全部的移动轨跡赋予了标签，由于判断为M＝2，所以结束处理。

在本实施方式中，通过对移动轨跡计算(式3)或(式4)那样的距离，能够进行考虑到像素的位置和运动的类似性的区域分割。因此，在图8(c)那样的例子中，在M＝2的情况下，反映出下半身的运动与上半身的运动较大地不同，移动轨跡被分离为上半身和下半身。进而，在图8(d)的M＝3的情况下，除了M＝2的情况以外，还反映头部的运动和手臂的运动的差异，能够将移动轨跡分离为上半身、手臂、和下半身。同样，通过利用更大的M，能够将移动轨跡聚类到在子类内不包含关节状运动那样的细微的小区域。

通过这样对类似的移动轨跡依次赋予区域标签，将在高维空间上连续的移动轨跡判断为一个类，能够将移动轨跡间的距离较大之处作为不连续点、将各个类分离。并且，能够将属于各类的移动轨跡用于关节状区域检测。

接着，由距离计算部106执行距离计算步骤S306。即，距离计算部106使用由移动轨跡计算部102计算出的多个移动轨跡xⁱ，计算表示各移动轨跡间的类似性的距离。即，分阶段地计算像素i的移动轨跡与像素j的移动轨跡之间的欧几里得距离f(i，j)、和测地距离g(i，j)。

以下，对于在距离计算部106中计算表示移动轨跡间的类似度的距离的方法，参照图9进行说明。

图9(a)是表示距离计算部106的结构的一例的图。距离计算部106包括欧几里得距离计算部901和测地距离计算部902。

根据图9(a)的结构，欧几里得距离计算部901首先计算欧几里得距离f(i，j)。另外，欧几里得距离计算部901的动作与上述子类分类部105包括的欧几里得距离计算部701完全相同，所以这里省略说明。

另外，本实施方式的距离计算部106也可以通过图9(b)所示那样的别的结构来实现。即，图9(b)所示的距离计算部106包括欧几里得距离加载部903和测地距离计算部902。

在该结构中，将由子类分类部105具备的欧几里得距离计算部701计算出的欧几里得距离f(i，j)先保存到存储器(未图示)中，距离计算部106具备的欧几里得距离加载部903将保存在存储器中的欧几里得距离f(i，j)从存储器加载。由此，能够省去新计算欧几里得距离的工夫，能够实现更高速的处理。

将通过以上的步骤计算出的移动轨跡间的欧几里得距离f(i，j)的集合表示为欧几里得距离矩阵F。

[数式6]

F＝{f(i，j)}   (式6)

接着，距离计算部106的测地距离计算部902根据移动轨跡间的欧几里得距离f(i，j)计算测地距离g(i，j)。另外，关于以后的测地距离计算部902的处理步骤，在图9(a)及图9(b)的结构中都是共通的。

以下，详细地说明在测地距离计算部902中根据欧几里得距离f(i，j)计算测地距离g(i，j)的动作。

首先，在测地距离计算部902中，对计算出的欧几里得距离f(i，j)使用预先设定的阈值R计算(式7)的非线性化的距离f′(i，j)。

[数式7]

(式7)

接着，测地距离计算部902根据非线性化的距离f′(i，j)计算测地距离。所谓“测地距离”，是对由某个空间中定义的多个数据点，在得到了这些数据点间的连接以及连接的数据点间的距离时，能够将某2个数据点间连结的全部路径的距离中的最短的距离。因而，测地距离计算部902在从第i的移动轨跡xⁱ到第j的移动轨跡x^j的测地距离的计算中，计算将其他多个移动轨跡的某个作为中继点而从第i移动轨跡xⁱ到达第j移动轨跡x^j的全部路径中的最短的路径作为测地距离。

例如，假设得到了将移动轨跡xⁱ与移动轨跡x^j的2点间直接连结的节点的距离f′(i，j)。此时，将移动轨跡xⁱ与移动轨跡x^j的2点间连结的路径除了将2点直接连结的节点以外，还有将别的移动轨跡x^s作为中继的路径。将该路径的距离设为f′(i，s)+f′(s，j)。将这样的移动轨跡xⁱ与移动轨跡x^j的2点间连结的路径有多个，计算这些距离中的最短的距离作为测地距离g(i，j)(式8)。

[数式8]

g(i，j)＝min(f′(i，j)，f′(i，s)+f′(s，j)，....)     (式8)

在(式8)中，min(x，y，…)是返回值x和值y等中的最小的值的函数。此外，s是移动轨跡x^s，是用来从移动轨跡xⁱ到达移动轨跡x^j的中继点。这里，f′(i，s)+f′(s，j)的中继点s并不限于1点。

上述测地距离的计算中的搜索2点间的最短路径的方法的详细情况例如周知有非专利文献4的狄克斯特拉(Dijkstra)法，所以这里省略处理次序的详细说明。

非专利文献4：E.W. Dijkstra，“A note on two problems in connexion withgraphs”，Numerische Mathematik，pp.269-271，1959

通过上述的步骤，测地距离计算部902根据长时间移动轨跡间的欧几里得距离f(i，j)计算测地距离g(i，j)。另外，测地距离的计算方法并不限定于上述(式7)及(式8)。

另外，欧几里得距离与测地距离的最不同的点是求出距离的2数据点与其他数据点之间的关系。不受其他数据点的状态影响、而仅由2个数据点定义的是欧几里得距离，相对于此，作为包括2个数据点、以及处于能够将2个数据点间连结的路径上的其他数据点的距离定义的、即有可能从其他数据点的状态受到影响的则是测地距离。

将计算出的移动轨跡间的测地距离g(i，j)的集合表示为测地距离矩阵G(式9)。

[数式9]

G＝{g(i，j)}      (式9)

通过以上的步骤，测地距离计算部902计算表示N个移动轨跡间的类似度的测地距离g(i，j)，作为测地距离矩阵G输出。

对于上述的根据多个移动轨跡间的欧几里得距离计算测地距离的处理，使用图10(a)～图10(c)的概念图进行说明。

图10(a)是表示图片上的多个移动轨跡的一例的图。另外，移动轨跡在背景区域中也计算，但为了使表述变得容易，以后不图示背景区域的移动轨跡。

图10(b)是表示分别由(式2)表示的多个移动轨跡的数据的分布的图。图10(b)中的“×”标记的各数据点相当于由(式2)表示的像素i的移动轨跡xⁱ。移动轨跡xⁱ是由独立的T×2个变量构成的矢量。因而，移动轨跡本来是最大(T×2)维空间的数据，但在图10(b)中为了表述的方便而表示为3维空间的点。

图10(b)中的箭头1001表示由(式3)得到的移动轨跡xⁱ与移动轨跡x^j之间的欧几里得距离f(i，j)。即，数据点i与数据点j之间的欧几里得距离1001是将数据间直接连结的距离。

另一方面，图10(c)中的箭头1002表示由(式8)得到的移动轨跡xⁱ与移动轨跡x^j之间的测地距离g(i，j)。如图10(c)所示，数据点i与数据点j的测地距离1002为沿着中继的数据点s的距离。

接着，将欧几里得距离f(i，j)与由(式8)计算出的测地距离g(i，j)的特征使用图11(a)及图11(b)的概念图详细地说明。

关于图片内的移动体，将头部的移动轨跡xⁱ与指尖部的移动轨跡x^j的欧几里得距离用图11(a)中的箭头1101表示。由该图可知，移动轨跡间的欧几里得距离1101仅依存于作为求出距离的对象的2个移动轨跡xⁱ、x^j，为与其他移动轨跡无关的距离。

另一方面，将头部的移动轨跡xⁱ与指尖部的移动轨跡x^j的测地距离1102表示在图11(b)中。在此情况下，不仅是作为求出距离的对象的2个移动轨跡xⁱ、x^j，如粗箭头1102所示，还经由以x^s为代表的附近的多个移动轨跡到达移动轨跡x^j。因而，测地距离1102为经由的多个移动轨跡间的距离的和，所以受到移动轨跡xⁱ、x^j以外的移动轨跡的影响。

换言之，图11(a)的欧几里得距离1101完全不反映其他移动轨跡的分布。因此，在如人物那样用关节相连的移动体中，移动轨跡间的距离取不依存于其形状的值。相对于此，在图11(b)所示的测地距离1102中，为反映其他移动轨跡的距离。因而，在用关节相连的移动体中，移动轨跡间的距离取依存于移动体的形状的值。即，由于关节的相连作为信息包含在距离中，所以能够用于关节区域的检测。

如上所述，由(式2)表示的移动轨跡xⁱ是在数学上最大为(T×2)维空间的数据。但是，实际上根据图片求出的移动轨跡，如图8(c)及图8(d)所示，通过本发明者的实验确认了具有局部存在于(T×2)维空间的很小一部分中的性质。作为对于具有这样的性质的移动轨跡表示多个移动轨跡间的类似度的距离的尺度，相比作为与数据的分布无关地仅求出2数据间的距离的欧几里得距离(图11(a)的距离1101)，可以说反映了附近的数据的疏密的测地距离(图11(b)的测地距离1102)更适合。

例如，代替预先设定的K个阈值R_k而使用预先设定的K个阈值Nk。并且，作为由欧几里得距离f(i，j)求出非线性化的距离f′k(i，j)的处理，也可以进行以下的处理。即，也可以代替将阈值R_k以上的欧几里得距离f(i，j)替换为无限大的(式7)的处理，通过将某个移动轨跡xⁱ与其他(I-1)个移动轨跡的欧几里得距离f(i，j)之中的比第Nk小的欧几里得距离还要大的欧几里得距离用无限大替换来计算非线性化的距离f′k(i，j)。

此外，也可以通过代替将欧几里得距离替换为无限大的处理，通过将比第k小的移动轨跡的欧几里得距离大的移动轨跡的欧几里得距离，用无限大替换来计算非线性化距离f′k(i，j)。

接着，由区域检测部107执行区域检测步骤S307。区域检测部107如图12所示，包括类间距离计算部1201和距离比较部1202。

类间距离计算部1201基于由距离计算部106计算出的测地距离、欧几里得距离，分别计算由子类分类部105生成的子类间的测地距离的代表值(代表测地距离)、及欧几里得距离的代表值(代表欧几里得距离)。接着的距离比较部1202基于类间距离计算部1201计算出的代表测地距离和代表欧几里得距离进行关节状区域的检测。

以下，对类间距离计算部1201的动作详细地说明。

在图13中表示由子类分类部105生成的多个类中的、接近的2个子类θ_i、θ_j。另外，为了简单，在以下的说明中仅将“子类”表述为“类”。

如果设包含在类θ_i、θ_i中的移动轨跡的集合分别为I、J、将类θ_i、θ_j包括的移动轨跡的个数分别设为Ni、Nj，则I、J分别用以下的(式10)、(式11)表示。

[数式10]

$I=(x^{i_1},x^{i_2},...,x^{i_{\mathrm{ni}}},...,x^{i_{\mathrm{Ni}}})$ (式10)

[数式11]

$J=(x^{j_1},x^{j_2},...,x^{j_{\mathrm{nj}}},...,x^{j_{\mathrm{Nj}}})$ (式11)

另外，包含在(式10)、(式11)中的xⁱ与(式2)同样，是以多维矢量的形式表示的移动轨跡。

这里，将在包含在I中的移动轨跡与包含在J中的移动轨跡之间求出的距离定义为类间距离。这里，所谓“距离”，是都包括欧几里得距离、测地距离的概念。

在图13中表示类间距离的概念图。在从类θ_i中选择了移动轨跡xⁱ³1301、从类θ_j中选择了移动轨跡x^j11302的情况下，该2个移动轨跡间的欧几里得距离作为f₃₁(＝f(i₃，j₁))、测地距离作为g₃₁(＝g(i₃，j₁))求出。如果将其对I、J间的全部的移动轨跡的组合计算，则能够得到以下的(式12)、(式13)所示那样的多个测地距离g和多个欧几里得距离f。

[数式12]

g(i，j)＝(g₁₁，g₁₂，...，g_NiNj)            (式12)

[数式13]

f(i，j)＝(f₁₁，f₁₂，...，f_NiNj)            (式13)

本说明书中的关节状运动区域检测着眼于I、J所示那样的类内的单一移动轨跡的集合、基于类间的宏观的距离的时间变化而动作。因而，优选的是计算类间距离的代表值。

将类间测地距离的代表值(代表测地距离)的概念图表示在图14(a)中、将类间欧几里得距离的代表值(代表欧几里得距离)的概念图表示在图14(b)中。如图14所示，优选的是对于多个类能够近似类间的运动或位置的关系那样的代表值。

关于满足上述优选的条件的代表距离，可以使用各类的移动轨跡间测地距离的平均值作为代表值。这是在多个类间、求出对应于跨越各类包含的移动轨跡间的全部组合的多个测地距离、将它们平均而得到的。关于欧几里得距离的代表值也同样能够求出利用。在此情况下，代表测地距离G(θ_i，θ_j)、代表欧几里得距离F(θ_i，θ_j)可以用以下的(式14)及(式15)计算。

[数式14]

$G({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\frac{1}{N_i{N}_j}\underset{\underset{j\⋐N_j}{i\⋐N_i},}{\overset{N_i,N_j}{\mathrm{\Σ}}}g(i,j)$ (式14)

[数式15]

$F({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\frac{1}{N_i{N}_j}\underset{\underset{j\⋐N_j}{i\⋐N_i},}{\overset{N_i,N_j}{\mathrm{\Σ}}}f(i,j)$ (式15)

另外，在(式14)及(式15)中，在测地距离之中包含取无限大的距离的情况下(作为g(i，j)＝∞的距离)，将这些点从平均值的计算中去除。

或者，也可以从全部的g(i，j)中求出分别去除了无限大后的最大值gmax、将作为g(i，j)＝∞的距离替换为gmax而进行平均值的计算。或者，也可以仅再次重新进行测地距离计算以使g(i，j)≠∞。

另外，关于该代表距离，并不限定于平均值。

如以下所示，也可以使用各类的移动轨跡间测地距离的中央值作为代表值。这是在多个类间求出对应于各类包含的移动轨跡间的全部组合的多个测地距离、取它们的中值(median)而得到的。关于欧几里得距离的代表值也可以同样求出使用。在此情况下，代表测地距离G(θ_j，θ_j)、代表欧几里得距离F(θ_i，θ_j)可以用以下的(式16)及(式17)计算。

[数式16]

$G({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{median}{\left[g(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i},$ (式16)

[数式17]

$F({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{median}{\left[f(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i},$ (式17)

另外，在(式16)、(式17)中，

[数式18]

$\mathrm{median}{\left[f(i,j)\right]}_{j\⋐\mathrm{Nj}}^{i\⋐\mathrm{Ni}}$

是返回具有对应于整数标签i(i＝1～Ni)、整数标签j(j＝1～Nj)的多个值的f(i，j)的中央值的函数。

另外，在测地距离中包含取无限大的距离的情况下(g(i，j)＝∞)，也可以将与上述平均值的计算同样的处置对作为g(i，j)＝∞的点进行。

此外，如以下的(式18)所示，作为代表测地距离，也可以使用各类的移动轨跡间测地距离的众数作为代表值。这些代表值是在多个类间求出对应于各类包含的移动轨跡间的全部组合的多个测地距离时、在它们中以最高频率出现的值。关于欧几里得距离的代表值，也可以按照以下的(式19)同样求出。

[数式19]

$G({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{mode}{\left[g(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i},$ (式18)

[数式20]

$F({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\mathrm{mode}{\left[f(i,j)\right]}_{j\⋐N_j}^{i\⋐N_i},$ (式19)

另外，在(式18)、(式19)中，

[数式21]

$\mathrm{mode}{\left[f(i,j)\right]}_{j\⋐\mathrm{Nj}}^{i\⋐\mathrm{Ni}}$

是返回具有对应于整数标签i(i＝1～Ni)、整数标签j(j＝1～Nj)的多个值的f(i，j)的众数的函数。

另外，在测地距离中包含取无限大的距离的情况下(g(i，j)＝∞)，也可以将与上述平均值的计算同样的处置对作为g(i，j)＝∞的点进行。

接着，对距离比较部1202的动作详细地说明。距离比较部1202分别计算各类间的代表测地距离G、及各类间的代表欧几里得距离F的时间变化，基于其结果检测伴随着关节状运动的、即作为关节状区域的类。

图15是表示类θ_i、θ_j间的代表测地距离G(θ_i，θ_j)、及代表欧几里得距离F(θ_i，θ_j)的时间变化的图。在图15(a)及图15(b)中分别表示2个类θ_i、θ_j伴随着关节那样的运动的情况的例子。即，在此情况下，可以考虑类θ_i、θ_j是属于同一个移动体的关节状区域。另一方面，在图15(c)及图15(d)中，表示类θ_i、θ_j不伴随着关节那样的运动的情况的一例。即，可以考虑类θ_i、θ_j是属于不同的移动体的。因而，在此情况下这些类θ_i、θ_j不构成关节状区域。

这里，首先着眼于图15(b)及图15(d)的代表欧几里得距离。

在类θ_i、θ_j如图15(b)那样构成关节状运动的情况下，类间的代表欧几里得距离随着时间而较大地变化。

这里，将相反代表欧几里得距离是大致一定(时间变化接近于零)的情况下的例子表示在图15(d)中。由图15(d)可知，在此情况下，与各类的重心的相对的位置关系大致不变化等同。

在属于同一个移动体那样的关节状区域中，代表欧几里得距离随着时间而变化。因而，代表欧几里得距离的时间变化比一定的阈值F_TH大的类有可能是关节状区域。

接着，着眼于图15(a)及图15(c)所示的代表测地距离。在类θ_i、θ_j如图15(c)那样不是关节状区域的情况下，代表测地距离随着时间而较大地变化。反之，在类θ_i、θ_j如图15(a)那样构成关节状运动的情况下，代表测地距离随着时间几乎不变化。因而，可以将代表测地距离的时间变化比一定的阈值G_TH小的类判断为是关节状区域的可能性较高的类。

根据以上，如果设代表测地距离G的时间变化为G_t、设代表欧几里得距离F的时间变化为F_t，则在距离比较部1202中，可以检测“类间的代表欧几里得距离F的时间变化F_t比一定的阈值F_TH大”、并且“类间的代表测地距离G的时间变化G_t比一定的阈值G_TH小”那样的类作为关节状区域。

这里，代表测地距离G的时间变化G_t、代表欧几里得距离F的时间变化F_t分别如以下的(式20)及(式21)那样，作为将代表测地距离G及代表欧几里得距离F微分而后的绝对值求出。作为绝对值求出的理由是因为，在是否是关节运动的判断结果中，距离G及F增加还是减少、即微分值的方向没有影响(图16)。

[数式22]

$G_t=\left|\frac{\mathrm{dG}}{\mathrm{dt}}\right|$ (式20)

[数式23]

$F_t=\left|\frac{\mathrm{dF}}{\mathrm{dt}}\right|$ (式21)

另外，关于代表测地距离G的时间变化G_t、代表欧几里得距离F的时间变化F_t的求出方法，并不限于(式20)及(式21)。虽然是类似于微分的方法、但作为最简单的方法，也可以以某个设定的时间间隔分别求出代表测地距离G、代表欧几里得距离F的差而使用。

图17A～图17C是以上的关节状区域判断处理的流程图。

如图17A所示，距离比较部1202首先对各类间距离进行阈值F_TH与代表欧几里得距离F的时间变化F_t的比较(S1701)，求出代表欧几里得距离F的时间变化F_t比阈值F_TH大的类的组(S1701中是)。接着，距离比较部1202进行阈值G_TH与代表测地距离G的时间变化G_t的比较(S1702)，将代表测地距离G的时间变化G_t为阈值G_TH以下的类的组判断为构成关节状运动的关节状区域(S1702中否，S1703)。另外，在代表测地距离G为无限大的情况下，将在该代表测地距离的计算中使用的类的组除外而进行处理。

距离比较部1202也可以代替图17A所示的处理而进行图17B所示的处理。即，距离比较部1202对于各类间距离，首先进行阈值G_TH与代表测地距离G的时间变化G_t的比较(S1711)。距离比较部1202求出代表测地距离G的时间变化G_t为阈值G_TH以下的类的组(S1711中否)。接着，距离比较部1202进行阈值F_TH与代表欧几里得距离F的时间变化F_t的比较(S1712)，将代表欧几里得距离F的时间变化F_t比阈值F_TH大的类的组判断为构成关节状运动的关节状区域(S1712中是、S1713)。

距离比较部1202也可以代替图17A及图17B所示的处理而进行图17C所示的处理。即，距离比较部1202将前面所示的阈值G_TH与代表测地距离G的时间变化G_t的比较、以及阈值F_TH与代表欧几里得距离F的时间变化F_t的比较同时并行地进行(S1721)。距离比较部1202将代表测地距离G的时间变化G_t为阈值G_TH以下、并且代表欧几里得距离F的时间变化F_t比阈值F_TH大的类的组判断为构成关节状运动的关节状区域(S1721(G，F)中(否，是)，S1722)。这些处理使用图17A～图17C的哪个都可以，但在某种程度知道或能够预测数据的性质的情况下，可以为了实现计算的高效化而有选择地使用。

例如，在能够预测代表欧几里得距离F的时间变化F_t较大的类的数量比较少的情况下，通过采用先进行欧几里得距离的比较、将类数大幅减少后进行测地距离的比较的图17A的流程，能够期待能够进行计算的高效化的效果。反之，在能够预测代表测地距离G的时间变化G_t较小的类的数量比较少的情况下，通过采用先进行测地距离的比较、将类数大幅地减少后、进行欧几里得距离的比较的图17B的流程，能够期待能够进行计算的高效化的效果。在其以外的情况下，特别在能够预测代表欧几里得距离F的时间变化F_t较大的类的数量与代表测地距离G的时间变化G_t较小的类的数量为相同程度的规模的情况下，也可以如图17C所示同时并行地进行处理。通过如以上这样根据状况选择处理，有可能能够提高计算效率。

另外，也可以在上述的图17A～图17C的流程的处理的最后将类间欧几里得距离的最小值minf(i，j)或类间测地距离的最小值ming(i，j)作为判断条件追加。将对图17A～图17C的各距离判断流程追加了上述最小距离判断流程后的流程分别表示在图18A～图18C中。

例如，如图18A所示，距离比较部1202对于判断为构成关节状运动的关节状区域的类的组，进行类间欧几里得距离的最小值minf(i，j)与预先设定的阈值MIN_TH的比较(S1801)。在类间欧几里得距离的最小值minf(i，j)比阈值MIN_TH大的情况下(S1801中是)，距离比较部1202判断为该组的类虽然对应于关节状区域但没有连接、对应于不同的2个物体(S1802)。另一方面，在类间欧几里得距离的最小值minf(i，j)为阈值MIN_TH以下的情况下(S1801中否)，距离比较部1202判断为该组的类对应于关节状区域、并且对应于同一个物体(S1803)。图18B及图18C的流程图中的S1801～S1803的处理与图18A所示的处理是同样的，所以不重复其详细的说明。另外，在S1801的处理中，进行了类间欧几里得距离的最小值与阈值的比较处理，但也可以代替类间欧几里得距离而使用类间的测地距离的最小值进行与阈值的比较处理。

在图15(a)等所示那样的同一物体上的关节状区域中，类间的欧几里得距离的最小值minf(i，j)在许多情况下接近于零。因而，在类间欧几里得距离的最小值minf(i，j)、或类间测地距离的最小值ming(i，j)比预先设定的阈值MIN_TH小的情况下，是同一物体上的关节状区域的可能性非常高。因此，具有能够更可靠地检测同一个移动体上的关节状区域的效果。

另外，本发明中的距离比较部1202的处理如图16的表、或图17A～图18C的流程图所示，不仅是关节状，也能够在类间的接近、平行移动等的状态的检测中使用。例如，在代表欧几里得距离F的时间变化F_t比阈值F_TH小的情况下，可以考虑2个类的重心平行移动或静止。进而，能够利用代表测地距离G的时间变化G_t的信息更细致地推测2个类的状态。可以在代表测地距离G的时间变化G_t较小的情况下推测为平行地移动，在代表测地距离G的时间变化G_t较大的情况下推测为都保持着重心的相对的位置关系不变而进行作为不同的物体的运动。这样，通过利用距离比较部1202的输出，能够关于类与类之间的关系取得有用的信息，通过将这些信息整合而使各类间的运动信息变得丰富，有能够更正确地实现移动物检测的效果。

最后，通过输出部104执行图像输出步骤S304。即，输出部104基于关节状区域的信息生成图片，显示在显示器120上。

在本实施方式中，输出部104对于由图像输入部101受理的动态图像，对输入图片实施图像处理以使由关节状区域检测部103确定的关节状区域成为能够视觉识别的显示形态并输出，显示在显示器120上。

在图19中表示由输出部104生成的图片的例子。

如果对由子类分类部105计算出的各子类、按照作为相互进行关节状运动的同一移动体提取的每个子类，设为是一个移动体而进行颜色区分，则能够如图19(a)、图19(b)那样显示。在该例中，将2个移动体以2种进行颜色区分显示。通过设为这样的显示形态，具有能够正确地检测图片中的移动体、将其结果容易理解地显示的效果。

为了视觉识别移动体的位置，需要至少提示其大体的位置。因而，并不一定需要将区域整体进行颜色区分，所以也可以如图19(c)那样仅显示外框。作为优点，能够使移动体本身的观看方式几乎不变换而提示移动体区域。

此外，在如图19(d)那样在检测到的子类间2个类构成关节状区域的情况下，也可以通过在该类间显示表示“是连接区域”的标记(在图19(d)的情况下是四方框)来简单地确认进行关节状运动的区域。

进而，通过将上述多种信息综合，例如如图19(e)那样，在人和车同时存在的图片中，也可以在具有关节状运动的移动体上记载“Human”(人类)、并在不进行关节状运动的物体上记载“No Human”(非人类)。例如，可以考虑对驾驶时的司机通知前方的状况时起作用。进而，对于被分配了“Human”的标签的移动体，在图片内的尺寸较大的情况下可以考虑处于距照相机(＝本车)较近的位置，所以在这样的情况下通过显示警报、或鸣响警报等的处理，能够期待向对于安全驾驶辅助等有作用的功能的应用。

另外，在输出部104中，作为生成图片的步骤，将移动轨跡的图片坐标位置的像素用对应于分段区域的颜色描绘，但并不将生成图片的方法限定于此。具体而言，只要移动轨跡的数量与图片整体的像素数是相同数量，就能够通过上述方法将图片中的全部像素用对应于类的颜色描绘。另一方面，在移动轨跡的数量比图片整体的像素数少的情况下，存在与哪个移动轨跡的图片坐标位置都不一致的像素。

对于这样的与移动轨跡的图片坐标位置不一致的像素，也可以通过别的方法描绘。例如，在移动轨跡计算部102中，也可以将属于在用来生成某个移动轨跡的运动检测中使用的块的像素，以与该移动轨跡属于的子类相同的颜色描绘。

此外，作为描绘与移动轨跡的图片坐标位置不一致的像素的别的方法，也可以用与离得最近的移动轨跡所属于的子类相同的颜色描绘。

此外，作为描绘与移动轨跡的图片坐标位置不一致的像素的别的方法，也可以将多个移动轨跡的图片坐标位置(点)之间用Delaunay(德劳内)三角网格生成法连结、将包含在被属于同一类的3点包围的3角形中的像素用与该类相同的颜色描绘。

另外，也可以在对被连续输入的动态图像进行处理的情况下、将上述的步骤S301～S307的动作每当输入了T张图片时重复进行。

如以上这样，根据本实施方式的关节状区域检测装置及方法，通过基于图片内的子类间移动轨跡的欧几里得距离和测地距离的代表值的时间变化进行关节状区域的判断，作为将在图片中移动的物体的区域在时间上追踪的结果，不论关节物体的姿势如何，都能够检测图片中的关节状区域。

此外，不需要作为前处理而设定人物候选区域，所以没有因人物候选区域的检测错误而导致的区域提取的失败。

如以上这样，不需要大量的参数的匹配(fitting)，通过基于区域间测地距离进行聚类，就能够稳定地从包含一边形状变化一边移动的人物等的图片中提取关节状区域，由此能够正确地检测图片中的移动体。

另外，在本实施方式的关节状区域检测装置中，距离计算部106从由移动轨跡计算部102生成的移动轨跡提取的移动轨跡的图片数T为T＝30，但并不限定于该数值。例如，也可以根据应检测的移动体的种类及状态而使用别的数值。例如，在假定检测的对象是步行者的情况下，由于平均的步行周期是约1秒(30帧)，所以跨越T＝30帧的图片的移动轨跡对应于人的步行1周期。这样，在应检测的对象是伴随着周期性的变形的移动体的情况下，通过将在距离计算部106中提取的移动轨跡的图片数T设为对应于移动体的变形周期的图片数，具有不易受到移动体的变形的影响、能够更正确地提取移动体的效果。此外，对于因遮挡等的影响而存在不能计算跨越图片数T的移动轨跡的图片中的移动体区域的情况，通过将能够计算移动轨跡的最大的图片数设为S(S＜T)，具有能够更详细地检测移动体的区域的效果。

另外，在本实施方式的关节状区域检测装置中，设用来得到距离计算部106提取的移动轨跡的图片的张数T预先设定、并为一定而进行了说明，但也可以使用于各个移动轨跡的计算的图片数T动态地变化。

作为使移动轨跡的图片数T动态地变化的方法，例如也可以预先设定移动轨跡个数的上限值、使图片数T动态地变化以使其不大大超过这些上限值。具体而言，也可以预先设定移动轨跡的个数的上限值Nmax，在距离计算部106中，在从跨越预先设定的图片数T的移动轨跡提取的移动轨跡的个数超过Nmax的情况下使图片数T增加。这里，所谓移动轨跡的数量多，相当于因动态图像中的变化较少、被摄体的运动较小、运动带来的遮挡区域较少等的理由而能够计算许多跨越全部图片的对应点的情况。这样的情况下，通过使图片数T增加，通过在移动区域中包含更多的运动的信息，能够期待能够正确地检测移动体的效果。

此外，作为使移动轨跡的图片数T动态地变化的别的方法，例如也可以预先设定移动轨跡个数的下限值、使图片数T动态地变化以使其不低于这些下限值。具体而言，也可以预先设定移动轨跡的个数的下限值Nmin，在距离计算部106中，在跨越预先设定的图片数T的移动轨跡的个数低于Nmin的情况下，也可以使用更少的图片数T，以使移动轨跡的个数超过Nmin。如果进行这样的处理，则能够使得移动轨跡不低于预先设定的移动轨跡数。因此，对于例如动态图像中的通过因被摄体的运动带来的遮挡而移动轨跡的个数相对变小的动态图像，也不易发生移动轨跡极端变少的情况。结果，有不易发生不能进行区域分割的效果。

另外，在本实施方式中，作为2点间距离而使用欧几里得距离，但如上所述，并不限定于欧几里得距离。使用由上述2点间距离定义的任意的距离指标得到的形态也包含在本发明中。

另外，有关本发明的关节状区域检测装置及方法并不限定于上述实施方式，对于上述实施方式实施本领域的技术人员想到的变形而得到的形态、以及将包括后述的各种变形例的多个形态中的构成单元任意组合而得到的形态也包含在本发明中。

(实施方式1的变形例1)

接着，对本发明的实施方式1的变形例1的关节状区域检测装置进行说明。

在由实施方式1说明的关节状区域检测装置中，设子类分类部105基于由(式3)计算出的欧几里得距离f(i，j)求出子类而进行了说明。但是，并不将子类分类部105的动作限定于此。即，子类分类部105也可以基于移动轨跡间的、属于各移动轨跡的块彼此的颜色类似度来将多个移动轨跡分类为多个子类。以下，对基于像素的颜色类似度进行聚类的例子进行说明。

图20(a)是表示实施方式1的变形例1的关节状区域检测装置的结构的图。如图20(a)所示，该关节状区域检测装置包括图像输入部101、移动轨跡计算部102、关节状区域检测部103、输出部104。关节状区域检测部103包括子类分类部1901、距离计算部106、及区域检测部107。

首先，关于子类分类部1901以外的部分，与实施方式1是相同的，所以省略说明。

作为在子类分类部1901中计算子类的方法，也可以代替在实施方式1中说明的通过类似移动轨跡的贴标签来计算子类的方法、而使用基于像素的颜色类似度将图片分割为称作所谓的“superpixel”(超像素)的多个子类的方法。关于计算superpixel的方法，可以使用基于图形的方法等。处理步骤的详细说明因为已在非专利文献5等中记载，所以省略，但是通过基于图片的图形表现推测各区域间的边界、由此一边保持有效且全局性的特征一边将图片分割为小区域的方法，由于对掩蔽较强，所以具有能够进行更鲁棒(robust)的分割的效果。

非专利文献5：Pedro F.Felzenszwalb and Daniel P.Huttenlocher，“Efficient Graph-Based Image Segmentation”，International Journal ofComputer Vision，Vol.59，No.2，pp.167-181，Sept，2004

将本实施方式的变形例1的子类分类部1901的结构表示在图20(b)中。子类分类部1901包括聚类部1902。聚类部1902基于上述的颜色类似度，将图片分类为多个子类。在本变形例的子类分类部1901的结构中，与图7所示的子类分类部105的结构相比，由于不需要欧几里得距离计算部，所以具有能够以更简单的结构高速地进行向子类的聚类的效果。

能够通过以上的步骤将图片分离为子类、将属于各子类的移动轨跡用于关节状区域检测。

(实施方式1的变形例2)

接着，对本发明的实施方式1的变形例2的关节状区域检测装置进行说明。

在由实施方式1说明的关节状区域检测装置中，对子类分类部105基于由(式3)计算出的欧几里得距离f(i，j)求出子类进行了说明。但是，并不将子类分类部105的动作限定于此。以下，对通过进行测地距离g(i，j)的维度压缩进行向子类的分类的例子进行说明。

图21(a)是表示实施方式1的变形例2的关节状区域检测装置的结构的图。如图21(a)所示，该关节状区域检测装置包括图像输入部101、移动轨跡计算部102、关节状区域检测部103、及输出部104。关节状区域检测部103包括子类分类部2001、距离计算部106、及区域检测部107。

首先，关于子类分类部2001以外的部分，由于与实施方式1相同，所以省略说明。将本实施方式的变形例2的子类分类部2001的结构表示在图21(b)中。子类分类部2001包括距离计算部2002和聚类部2003。子类分类部2001与图7所示的子类分类部105的结构不同，代替欧几里得距离计算部701而具备距离计算部2002。距离计算部2002在根据由移动轨跡计算部102计算出的移动轨跡按照(式3)计算欧几里得距离f(i，j)后，按照(式7)、(式8)求出测地距离g(i，j)。另外，这里的测地距离g(i，j)的计算步骤与在实施方式1中叙述的距离计算部106中的动作相同，所以省略说明。

接着，聚类部2003在进行计算出的测地距离g(i，j)的维度压缩后，使用维度压缩后的测地距离，给出类数，将移动轨跡聚类，以使类内方差为最小。

维度压缩可以通过在进行Young-Householder变换后求出Eigensystem来实现。是用来通过维度压缩而将分布在多维空间中的数据高效率地投射到低维空间中的方法。以下，表示在聚类部2003中进行测地距离g(i，j)的维度压缩、将移动轨跡聚类的步骤。

将测地距离g(i，j)构成的矩阵设为测地距离矩阵G(式22)。

[数式24]

G＝{g(i，j)}        (式22)

聚类部2003首先对测地距离矩阵G进行从两侧乘以中心化矩阵H的Young-Householder变换。与距离矩阵是由点间距离构成的距离行列式相对，这是为了变换为以重心为原点的距离矩阵而进行的。

[数式25]

$\mathrm{\τ}\left(G\right)=\frac{{\mathrm{HG}}^{\left(2\right)}H}{2}$ (式23)

这里，H是中心化矩阵，是

[数式26]

H_ij＝(I-1/NS)    (式24)

I是单位矩阵，N是移动轨跡的数量。

此外，是

[数式27]

G⁽²⁾＝{g(i，j)²} (式25)

接着，聚类部2003为了进行维度压缩，计算对于τ(G)的P个特征矢量(eigen vector)e_p及对应于它的特征值(eigen value)λ_p。

由此，关于测地距离g(i，j)，如果设

[数式28]

gⁱ＝(g(i，1)，g(i，2)，...，g(i，N_S))    (式26)

则将测地距离gⁱ投射到维度压缩后的空间上的结果，作为数据z_p ⁱ可以如以下这样表示。

[数式29]

$z_p^i=\sqrt{{\mathrm{\λ}}_p}{e}_p^i$ (式27)

另外，e_p ⁱ是第p个特征矢量e_p的第i个要素。特征矢量的数P既可以根据利用的场景实验性地决定，也可以如以下这样根据特征值λ_p计算贡献率a_p、基于它来决定。

[数式30]

$a_p=\frac{\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{\mathrm{\λ}}_p}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_p}$ (式28)

这里，P是利用的特征矢量的数量、即压缩的空间的维数。N是全部特征矢量的数量。所以，只要将贡献率a_p为一定值以上时的P设为特征矢量的数量就可以。

如以上这样，聚类部2003通过从(式22)到(式27)的处理，进行测地距离g(i，j)的维度压缩。能够将在距离计算部2002中计算出的测地距离gⁱ及对应的虚拟的移动轨跡与由特征矢量e_p展开的维度压缩后的空间上的数据z_p ⁱ建立对应。

在图22中表示输入了人物的步行图像的情况下的像素i的时间上的移动轨跡被投射到非线性地维度压缩后的空间中的结果。图22(a)是表示多维空间中的维度压缩前的移动轨跡的数据分布的图。在该图中，为了使说明变得容易而将多维空间设为3维空间，但实际上(式2)所示的矢量的各要素与各维对应。图22(b)表示将图22(a)所示的移动轨跡的多维空间进行维度压缩后的空间。图22(b)的纵轴、横轴分别是特征矢量e₁、e₂。被投射到2维上的点(z₁ ⁱ，z₂ ⁱ)是将测地距离gⁱ投射后的点。这里，非线性空间上的数据z_p ⁱ与图片上的像素i的移动轨跡xⁱ处于一对一的对应关系。

因此，(z₁ ⁱ，z₂ ⁱ)可以捕捉为对应于像素i的移动轨跡xⁱ。另外，这里为了使结果可视化而将非线性空间的维数设为2维，但如上述那样，维数并不一定需要是2维，较高的维数能够以更高的精度将数据投射。

接着，聚类部2003通过对图22(b)所示那样的将移动轨跡进行维度压缩后的数据z_p ⁱ进行聚类，由此进行移动轨跡的聚类。在本实施方式的变形例3中，假设采用给出类数、将移动轨跡聚类、以使类内方差为最小的方法。

首先，将子类如以下这样表现。

[数式31]

θ＝{θ₁，...θ_m...θ_M}    (式29)

这里，M是子类数，根据利用的场景经验性地决定。

各个子类θ_m用参数

[数式32]

$\stackrel{\‾}{z_m}$

及参数Z_m表现。这里，参数

[数式33]

$\stackrel{\‾}{z_m}$

是维度压缩后的空间中的属于子类θ_m的数据的坐标值的平均值，参数Z_m是关于属于子类θ_m的数据的坐标值的协方差矩阵。参数

[数式34]

$\stackrel{\‾}{z_m}$

的初始值既可以随机地决定，也可以将压缩后的非线性空间中用网格等间隔地分割等、将其交点的坐标值作为初始值。

另外，参数

[数式35]

$\stackrel{\‾}{z_m}$

及参数Z_m可以如以下的(式30)及(式31)那样表示。

[数式36]

$\stackrel{\‾}{z_m}=\left[\begin{array}{c}\stackrel{\‾}{z_1^m}\\ \·\\ \·\\ \·\\ \stackrel{\‾}{z_P^m}\end{array}\right]$ (式30)

[数式37]

$Z_m=\frac{1}{C_m}\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}\left[\begin{array}{c}{z}_1^{c_m}-\stackrel{\‾}{z_1^m}\\ \·\\ \·\\ \·\\ z_P^{c_m}-\stackrel{\‾}{z_P^m}\end{array}\right]\left[\begin{array}{ccc}{z}_1^{c_m}-\stackrel{\‾}{z_1^m}& \·\·\·& z_P^{c_m}-\stackrel{\‾}{z_P^m}\end{array}\right]$ (式31)

这里，C_m是在压缩后的非线性空间上属于子类θ_m的数据的数量。

以下，对具体的聚类的方法进行说明。首先，使用以下的(式32)的距离函数，求出数据z_i属于的子类θ_m。

[数式38]

(式32)

这里，ψ_m(z_i)表示与像素i的移动轨跡相对应的数据z_i与各自的子类θ_m的距离。假设各数据属于距离ψ_m(z_i)取最小值的子类θ_m。另外，是马哈拉诺比斯(Mahalanobis)距离，

[数式39]

(式33)

此外，也可以将作为ψ_m(z_i)的代替来使用。

此外，p(z_i)是似然函数的构架中的z_i的先验概率。因而，p(z_i)也可以为一定值，在已知对象场景包含人物等确定的被摄体的情况下，也可以基于人物部位的形状及面积比等预先设定。特别在数据z_i的密度中有偏倚的情况下是有效的。例如，在知道数据z_i的密度较高时，在想要使较密的数据z_i成为相同的子类的情况下，只要将对应的先验概率p(z_i)设定得较大就可以。反之，在想要将数据z_i细致地分割到不同的子类中的情况下，只要将对应的先验概率p(z_i)设定得较小就可以。另外，这里的数据z_i的密度既可以是图像空间上的密度，也可以是压缩后的非线性空间上的密度。

接着，根据(式32)的计算结果，使用属于子类θ_m的数据z_i，如以下这样将子类θ_m的参数

[数式40]

$\stackrel{\‾}{z_m}$

及参数Z_m更新。

[数式41]

$\stackrel{\‾}{z_m}=\frac{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{\mathrm{\ω}}_{c_m}{z}_{c_m}}{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{\mathrm{\ω}}_{c_m}}$ (式34)

[数式42]

$Z_m=\frac{\underset{c_{\mathrm{mk}}=1}{\overset{C_m}{\mathrm{\Σ}}}{{\mathrm{\ω}}_{c_m}}^2(z_{c_m}-\stackrel{\‾}{z_m}){(z_{c_m}-\stackrel{\‾}{z_m})}^t}{\underset{c_m=1}{\overset{C_m}{\mathrm{\Σ}}}{{\mathrm{\ω}}_{c_m}}^{\text{2}}}$ (式35)

这里，z_cm是属于子类θ_m的压缩后的非线性空间上的数据。此外，ω是对于子类θ_m的加权系数，既可以设为ω＝1，也可以根据输入数据的从平均值的偏离状况来调整ω的值。这样，通过将从(式32)到(式35)的距离计算及参数更新重复规定次数，能够得到非线性空间上的各数据属于的子类θ_m。另外，除了上述以外，也可以使用k-mean、竞争学习等其他聚类方法。

在图22(d)中表示对非线性空间上的数据聚类的例子。另外，在维度压缩后的数据分布图中同时记载了对应的人物区域。如果对于压缩后的非线性空间上的子类θ₁到θ₂观察图片上的对应，则如θ₁为人物头部、θ₂为人物躯干那样，各子类对应于人体的各部分。

这里，人体的各部分对应于压缩后的非线性空间上的子类，是通过跨越在时间上连续的多张图片追踪像素来得到的。通过在压缩后的非线性空间上进行聚类，作为将在图片中移动的物体的区域在时间上追踪的结果，能够按照图片中的移动的每个被摄体提取图像区域。

在本实施方式的变形例2中，不需要作为前处理而设定人物候选区域。因此，没有因人物候选区域的检测错误而导致的失败。因而，具有不需要大量的参数的匹配、通过在非线性空间中进行聚类、就能够稳定地将包含一边形状变化一边移动的人物等的图片聚类的效果。

另外，在本实施方式中，作为2点间距离而使用欧几里得距离，但如上述那样，并不限于欧几里得距离。使用由上述2点间距离定义的任意的距离指标得到的形态也包含在本发明中。

(实施方式1的变形例3)

接着，对本发明的实施方式1的变形例3的关节状区域检测装置进行说明。

在由实施方式1说明的关节状区域检测装置中，设子类分类部105基于欧几里得距离f(i，j)计算子类进行了说明。但是，并不将子类分类部105的动作限定于此。以下，对通过生成多个测地距离而生成子类的候选、从这些候选中选择而生成子类的例子进行说明。

图23(a)是表示实施方式1的变形例3的关节状区域检测装置的结构的图。如图23(a)所示，关节状区域检测装置包括图像输入部101、移动轨跡计算部102、关节状区域检测部103及输出部104。关节状区域检测部103包括子类分类部2201、距离计算部106及区域检测部107。

关于子类分类部2201以外的构成单元，与实施方式1相同，所以省略说明。将本实施方式的变形例3的子类分类部2201的结构表示在图23(b)中。

子类分类部2201具备距离计算部2202、子类候选生成部2203及子类候选选择部2204。

在子类分类部2201中，首先由距离计算部2202根据由移动轨跡计算部102计算出的移动轨跡计算出欧几里得距离f(i，j)后，对计算出的距离矩阵设置多个判断基准进行测地距离变换，求出测地距离g(i，j)。接着，由子类候选生成部2203通过阈值来检测移动轨跡间的距离的分布中的不连续点，通过将连续分布的移动轨跡聚类、以使得离开比检测到的不连续点小的测地距离的移动轨跡彼此成为一个类，由此生成对于上述阈值的子类的候选。最后，在子类候选选择部2204中，取得关于类的数量的指示，从由子类候选生成部2203生成的多个区域提取候选中选择分割为接近于所取得的类数的个数的区域的区域提取候选，将所选择的子类候选作为从由移动轨跡计算部102计算出的移动轨跡进行子类化的结果而输出。即，从由子类候选生成部2203生成的对于各个上述阈值的区域提取的候选中，选择最接近于预先设定的类数的聚类结果。

以下，对于子类分类部2201的动作进行说明。

首先，在距离计算部2202中计算欧几里得距离f(i，j)。该步骤与在实施方式1中说明的欧几里得距离计算部701相同，所以省略说明。距离计算部2202对求出的欧几里得距离f(i，j)设定K个阈值R_k。距离计算部2202对各个设定的阈值R_k进行非线性化处理，计算是对于阈值R_k的测地距离之处的g^k(i，j)。这里，对应于各阈值R_k的测地距离g^k(i，j)的计算步骤与在实施方式1中叙述的距离计算部106中的动作相同，所以省略说明。

接着，在子类候选生成部2203中，通过使用对应于各个阈值R_k的测地距离g^k(i，j)检测不连续点而进行子类候选生成。具体而言，子类候选生成部2203将g^k(i，j)为无限大的移动轨跡i与移动轨跡j之间作为不连续点。参照图24对上述步骤进行说明。在图24(a)中表示移动轨跡a～h，在图24(b)中表示由移动轨跡a～h构成的多维空间的概念图。

假如在阈值R_k是足够大的值的情况下，例如在阈值R_k比欧几里得距离f(i，j)的最大值大的情况下，测地距离g^k(i，j)在全部的i，j的组合中都不为无限大。即，不连续点1点也没有，所以如图24(c)所示，子类可以判断为1个。另一方面，在阈值R_k充分小的情况下，具体而言，在阈值R_k比f(i，j)的最小值小的情况下，在全部的i，j的组合中g^k(i，j)为无限大。即，子类数为与移动轨跡的数量相同数量。因而，将阈值R_k设定为f(i，j)的最大值与最小值之间的值、分别进行子类分类是有效的。在图24(d)、图24(e)中表示采用了这样设定的阈值的例子。

在将阈值设定为R₁的情况下，如图24(d)所示，测地距离g¹(e，f)为无限大。所以，子类候选生成部2203将移动轨跡e与移动轨跡f之间判断为不连续点。结果，移动轨跡a到d的各移动轨跡与移动轨跡e之间的测地距离不通过不连续点，所以不取无限大的值，反之移动轨跡f到h的各移动轨跡与移动轨跡a到e的各移动轨跡之间的测地距离由于通过不连续点g¹(e，f)，所以分别为无限大。这样，将测地距离不为无限大的移动轨跡i与移动轨跡j的组判断为属于相同的子类，在为无限大的情况下判断为属于不同的子类。由此，如图24(d)所示，将数据点分离为θ₁、θ₂的2个子类。进而，在图24(e)中表示将别的阈值设定为R₂(其中，R₁＞R₂)的例子。分别将移动轨跡c与移动轨跡d之间、移动轨跡e与移动轨跡f之间、移动轨跡f与移动轨跡g之间判断为不连续点，与图24(d)的情况同样，整理为测地距离为无限大的组和不为无限大的组，分离为θ₁、θ₂、θ₃、θ₄的合计4个子类。

通过以上的处理，子类候选生成部2203通过将对多个阈值R_k测地距离不为无限大的移动轨跡的组设为连续，能够判断为相同的子类。此外，通过将测地距离为无限大的移动轨跡的组设为不连续，能够基于不连续点生成多个子类候选。

接着，子类候选选择部2204根据子类候选生成部2203中的子类候选生成结果，将为最接近于预先设定的数量的类数的子类候选选择为最终结果。如果以图24的例子进行说明，则在设定为类数M＝4的情况下，选择阈值R₂时的子类候选(图24(e))。此外，在设定为类数M＝2的情况下，选择阈值R₁时的子类候选(图24(d))，对各移动轨跡执行子类分类，以使其最接近于指定的子类数。另外，对于类数M，这里采取2、4，但实际上优选的是更多的数量，可以根据场景的状况及经验任意地设定。

另外，在本实施方式的变形例3中，通过利用欧几里得距离和测地距离，能够进行考虑到像素的位置和运动的类似性的子类分类。在图24的例子中，在设定为类数M＝2的情况下，反映出下半身的运动与上半身的运动较大地不同，上半身和下半身为不同的子类。此外，在设定为类数M＝4的情况下，除了M＝2的情况以外，还反映头部的运动与手臂的运动的差异、大腿与小腿的运动的差异，头部、手臂、大腿、小腿为不同的子类。

另外，阈值R_k的数量也可以准备多种。此外，在没有与设定的类数相同数量的子类候选的情况下，既可以选择为最接近的子类数者，也可以从比设定的类数小的类数中选择作为最接近的子类数的子类候选。此外，同样也可以从比设定的类数大的类数中选择作为最接近的子类数的子类候选。

这样，通过基于对多个阈值使用测地距离计算出的不连续点进行子类候选生成、选择最接近于规定的类数的子类候选，能够进行子类分类。

如以上这样，在有关本实施方式及其变形例的关节状区域检测装置及方法中，基于像素间的距离或移动轨跡的类似度进行子类化(形成子类)，再根据子类间的欧几里得距离和测地距离的信息，不论关节物体的姿势如何都能够进行包含移动体的图片中的关节状区域、或具有关节状运动的部位的检测、包含关节状区域或具有关节状运动的移动体的图片的区域分割。

此外，由于不需要作为前处理而设定人物候选区域，所以没有因人物候选区域的检测错误而导致的失败。因而，不需要大量的参数的匹配，仅通过将欧几里得距离和测地距离与设定的阈值简单地比较，对包含一边形状变化一边移动的人物等的图片也正确地进行关节状区域的检测，由此也能够正确地进行图片中的移动体的检测。

此外，上述实施方式的关节状区域检测装置100具备图像输入部101及移动轨跡计算部102，但本发明并不将这些构成单元作为必须的单元。即，在预先计算了构成动态图像的多个块的各自的图片的移动轨跡的情况下，关节状区域检测装置100也可以从外部取得这样的移动轨跡、对所取得的移动轨跡执行步骤S203～S207的处理。

此外，本发明作为关节状区域检测装置实现，但只要是具有关节状区域检测部103的功能，当然也可以作为在动态图像中提取或分割具有关节状运动的对象的区域的图像处理装置实现。

另外，在本实施方式中，作为2点间距离而使用欧几里得距离，但如上所述，并不限定于欧几里得距离。使用由上述2点间距离定义的任意的距离指标得到的形态也包含在本发明中。

(实施方式2)

在上述实施方式1及其变形例中，作为关节状区域检测的结果，将人物区域、或关节状区域显示在显示器上，但作为关节状区域检测的结果的利用方法，并不限定于这样的应用，例如也可以应用到人物或移动体的动作识别中。

具体而言，有关本发明的关节状区域检测装置也可以除了上述实施方式的构成单元以外还具备动作识别部。将本实施方式的关节状区域检测部的结构表示在图25中。关节状区域检测装置100除了实施方式1的关节状区域检测装置100的结构以外，还在区域检测部107与输出部104之间具备动作识别部2401。动作识别部2401基于由关节状区域检测部103得到的关节状区域检测结果，将各个呈关节状运动的子类间的角度作为数据储存，基于该信息识别移动体的动作。即，动作识别部2401计算包含在由区域检测部107检测到的区域中的呈关节状运动的多个子类间的角度，通过将计算出的角度与按照人物的每个动作模式(pattern)预先设定的角度比较，来识别被摄体的动作。以下，参照图26A及图26B对动作识别部2401的动作进行说明。

在图26A中表示正在进行某个设定的作业的作业者。例如，假设如图26A(a)所示那样作业者作为第1个操作而进行零件#5的安装、如图26A(b)所示那样作业者作为第2个操作而进行零件#10的安装。假设对于从设置在能够拍摄作业者的动作的位置上的照相机110输入的图片，检测到子类θ_i和θ_j作为构成关节状运动的关节状区域。图26A(c)表示图26A(a)所示的图片中的关节状区域，图26A(d)表示图26A(b)所示的图中的关节状区域。

如图26A(c)所示，如果得到了某个时刻的子类θ_i2501a及子类θ_j2502a、以及将它们之间连接的关节部2503a，则子类θ_i2501a与子类θ_j2502a所成的角度可以根据各子类的重心及关节部2503a求出。

具体而言，如果将子类θ_i2501a的重心表现为w_i(x_i，y_i)、将子类θ_j2502a的重心表现为w_j(x_j，y_j)，则夹着关节部Jnt(x_jnt，y_jnt)2503a在图片上所成的角使用矢量的内积，如(式36)那样求出。

[数式43]

(式36)

这里，如图26A(d)所示，关于与包含上述角的图片(图26A(a))相邻接的图片(图26A(b))中的子类θ_i2501b、子类θ_j2502b、关节部Jnt2503b在图片上所成的角也可以同样用(式36)求出。

这里，如果使用(式36)所示的关节部的角度，则例如在作为应有的角度而给出了由图26A(e)的虚线的箭头表示的关节角度时，动作识别部2401将给出的关节角度与图26A(d)所示的实际观测到的关节角度比较，将比较结果对输出部104输出。

最后，输出部104在关节角度与应有的角度不同的情况下，如图26A(f)所示，认为在作业步骤中有错误，提示警告消息2505。由此，能够向作业者通知作业错误。在本实施方式中对显示器120提示，但当然消息也可以是声音。

(实施方式2的变形例1)

在图26B中表示对于别的动态图像的动作识别结果的例子。

在图26A中，表示了以包含1个人物的动态图像为输入、进行作业时的辅助的例子，但并不将动作识别部2401的处理内容限定于此。以下，作为实施方式2的变形例，对以包含以人物为代表的许多移动体的图片为输入、识别、显示各个移动体的动作的例子进行说明。

对于想要识别的动作，假定某个一定的模式。作为例子，假定图26B所示那样的[walking(步行)、dancing(跳舞)、running towards(奔跑)、hitting(殴打)、trembling(跌倒)、etc(其他)]的6种模式。关于各个模式，将关节部的数量和其角度、以及人物区域中的位置作为数据预先储存到存储器(未图示)中。作为最简单的方法，可以将储存的数据的平均值保存到存储器中。此外，由于人的动作伴随着时间变化，所以优选的是将这些数据作为具有一定的时间长的时间序列数据储存、利用。当然，学习的方法并不限定于此。

接着，对从照相机110输入的包含移动体的图片，关节状区域检测部103进行关节状区域检测，根据关节状区域检测部103的处理结果，由动作识别部2401取得关节部的数量和其角度、以及人物区域中的位置。动作识别部2401与上述预先储存的数据、或数据的平均值比较，将最接近的动作决定为该移动体的动作，对移动体区域进行与所决定的动作对应的标签添加，通过对输出部104输出而进行动作识别。

最后，输出部104使用动作识别标签和移动体区域的信息，在显示器120上，将动作识别结果作为图26B那样的图片显示。如以上这样，通过对于跳舞的移动体标注“dancing”、对步行的移动体标注“walking”等而在显示器上显示图片，能够使监视者对于殴打的“hitting”等的异常行动引起注意。此外，不仅是显示器，对于异常行动也可以用声音等发出警告。

另外，在本实施方式中，作为2点间距离而使用欧几里得距离，如上所述，并不限定于欧几里得距离。使用由上述2点间距离定义的任意的距离指标得到的形态也包含在本发明中。

(实施方式3)

以下，对本发明的实施方式3进行说明。

作为关节状区域的检测结果的利用方法，并不限定于在实施方式1及2中例示那样的应用例，例如也可以应用到遗弃检测中。

具体而言，有关本实施方式的关节状区域检测装置除了实施方式1的关节状区域检测装置的构成单元以外还具备动作检测部。

将本实施方式的关节状区域检测装置的结构表示在图27中。除了有关实施方式1的关节状区域检测装置100的结构以外，有关本实施方式的关节状区域检测装置100在区域检测部107与输出部104之间具备动作检测部2601。动作检测部2601基于由关节状区域检测部103得到的关节状区域检测结果，将呈关节状运动的子类间的关节数作为数据储存，基于该信息检测移动体的连接数的变化。以下，参照图28对动作检测部2601的动作进行说明。

如图28(a)及图28(b)所示，如果某个移动体通过时将包拿走，则在关节状区域的关节数中发生变化。

即，由两个箭头表示的关节2701的数量最初(图28(a))是8。然后，如图28(b)所示，如果移动体将某个物体拿走，则如图28(c)所示，关节数增加到9。

动作检测部2601通过捕捉这样的关节数的增加，能够检测到物体的拿走。反之，通过捕捉关节数的减少，还能够用于遗弃检测。

通过以上的步骤，动作检测部2601将遗弃、拿走的有无向输出部104输出，最终，输出部104如图28(d)那样，能够在显示器上显示警报、向监视者通知。当然，警报不仅是图像，也可以是声音。

如果使用本发明的本实施方式，则也能够进行本发明的向其他同样的安全监视领域的应用。

另外，也可以将上述实施方式1～3中2个子类间的测地距离基于2个子类内的移动轨跡间的距离进行规范化。

此外，也可以将上述实施方式1～3中的2个子类间的欧几里得距离基于2个子类内的移动轨跡间的欧几里得距离进行规范化。

另外，在本实施方式中，作为2点间距离而使用欧几里得距离，但如上所述，并不限定于欧几里得距离。使用由上述2点间距离定义的任意的距离指标得到的形态也包含在本发明中。

(实施方式4)

以下，对本发明的实施方式4进行说明。

关节状区域检测装置的结构及关节状区域的检测方法并不限于由实施方式1～3表示的例子，也可以通过例如以下所示的结构及方法实现。

具体而言，有关本实施方式的关节状区域检测装置如实施方式1的关节状区域检测装置100那样，代替由设在关节状区域检测装置100的内部中的子类分类部105将移动轨跡分类为子类，而从外部取得将移动轨跡分类为子类的结果而使用。

图29A是表示制作表示将移动轨跡分类为子类的结果的分类信息的分类信息制作装置的结构的框图。

分类信息制作装置300具备图像输入部101、移动轨跡计算部102及子类分类部105。图像输入部101、移动轨跡计算部102及子类分类部105执行的处理与实施方式1所示的处理是同样的。因此，这里不重复其详细的说明。但是，子类分类部105将作为将移动轨跡分类为子类的结果的分类信息2802存储到设在分类信息制作装置300的外部的存储部2800中。存储部2800是CD-ROM等的记录介质。分类信息2802表示将跨越构成动态图像的多张图片的、分别作为由构成图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡，分类为作为分别类似的移动轨跡的集合的多个子类的结果。

图29B是表示本实施方式的关节状区域检测装置的结构的框图。

图1所示的有关实施方式1的关节状区域检测装置100的结构中的移动轨跡计算部102、关节状区域检测部103及输出部104执行的处理不一定需要由同一个关节状区域检测装置进行。即，只要距离计算部106及区域检测部107包含在关节状区域检测装置中，就能够得到与实施方式1同样的效果。

有关本实施方式的关节状区域检测装置400具备关节状区域检测部2803和输出部104。

关节状区域检测部2803是参照存储在存储部2800中的分类信息2802、基于小区域间的移动轨跡的时间变化，进行做关节状运动的关节状区域的检测的处理部。关节状区域检测部2803具备子类取得部2801、距离计算部106及区域检测部107。

子类取得部2801通过从存储部2800读入而取得存储在存储部2800中的分离信息2802。

距离计算部106基于子类取得部2801取得的分类信息2802，通过与在实施方式1中说明的同样的方法，按照每个子类计算与其他子类之间的移动轨跡及测地距离。

区域检测部107通过与在实施方式1中说明的同样的方法，检测具有关节状运动的区域。

将表示本实施方式的关节状区域检测装置400的动作的流程图表示在图30中。在图30中，步骤S303及S304分别对应于图29B的关节状区域检测部2803及输出部104。即，在关节状区域检测部2803中执行关节状区域检测步骤S303，在输出部104中执行图像输出步骤S304的各动作。此外，步骤S2900、S306及S307分别对应于图29B的子类取得部2801、距离计算部106及区域检测部107。即，由子类取得部2801执行分类信息取得步骤S2900、由距离计算部106执行距离计算步骤S306、由区域检测部107执行区域检测步骤S307的各动作。距离计算步骤S306、区域检测步骤S307及图像输出步骤S304的各动作与实施方式1所示的动作是同样的。

在实施方式1的子类分类部105中，进行将移动轨跡分类为子类的处理。本实施方式的子类取得部2801取得作为另外预先进行了向子类的分类的移动轨跡的聚类结果信息的分类信息2802，将各移动轨跡属于哪个子类的信息(分类信息2802)向距离计算部106输出。

以下，对子类取得部2801的动作进行说明。

将多个移动轨跡向分别包含至少1个移动轨跡的多个子类分类的实施方式1的子类分类部105并不一定需要包含在本发明的关节状区域检测装置中。

这也是因为，所谓子类，是将各移动轨跡通过某个设定的指标聚类的，所以在这样的聚类事前由外部的装置或软件进行的情况下，不需要在关节状区域检测装置内重新进行聚类。

在本实施方式中，子类取得部2801取得表示在外部预先将移动轨跡向子类分类的分类结果的分类信息2802，将所取得的分类信息2802在距离计算部106及区域检测部107中利用。

首先，对子类取得部2801取得的数据使用一些例子进行说明，然后对数据的取得方法进行说明。

使用图31A～图31C，对子类取得部2801取得的分类信息2802的一例进行说明。

图31A表示跨越1帧到4帧计算出的、作为图片间的对应点的移动轨跡。在实际的图像中通常计算更多的移动轨跡，但这里为了简单而假设计算出了5条移动轨跡。

(1子类包含1移动轨跡的情况)

首先，对作为最简单的情形的、1个子类对应于1个移动轨跡的情况进行说明。

子类取得部2801取得各移动轨跡属于哪个子类的信息。因而，只要图31B所示那样的分类信息2802保存在存储部2800中，就能够取得而使用。

具体而言，分类信息2802只要至少包含对应于帧数的轨跡长(这里是4)、跨越轨跡长(这里是4帧)追踪的移动轨跡的数量(这里是5)、以及分类目标的子类的总数(这里是5)、以及各子类的数据(将各对应点的像素坐标和亮度信息排列的数据)就可以。例如，表示第1个移动轨跡的第1帧的图片上的坐标是(ax1，ay1)、该坐标的亮度值是aC1。

另外，这里需要亮度信息的理由是因为输出部104将原来的图像显示在显示器120上，关于关节状区域的检测自身，只要在各子类的数据中至少包含像素坐标的信息就能够实现。因此，也可以根据目的和情况，通过将亮度信息省略来进一步削减数据的大小。

此外，特别是，在此情况下，由于1个子类对应于1个移动轨跡，所以子类数与移动轨跡数相等。因而，如图31C所示，分类信息2802只要包括帧数(轨跡长)、移动轨跡数、及各移动轨跡的数据(将各对应点的像素坐标和亮度信息排列的数据)就可以。即，在分类信息2802中也可以仅包含移动轨跡的信息，所以实际上不论是否在外部进行了子类分类，关节状区域检测装置400都能够取得包含图31C所示那样的信息的分类信息2802、来检测关节状区域。

在子类取得部2801取得分类信息2802后，距离计算部106计算移动轨跡间距离，区域检测部107求出子类间的代表测地距离及代表欧几里得距离，检测具有关节状运动的区域。

在图31A～图31C的例子中，应注意的点是各个子类由1条移动轨跡构成这一点。距离计算部106中的各移动轨跡间的距离计算步骤不受包含在子类中的移动轨跡数影响。在区域检测部107中，通过子类间距离的计算、即(式14)、(式15)，计算代表测地距离及代表欧几里得距离。但是，这些式子是在1个子类是1条移动轨跡的情况下、即在上述的情形下也成立的式子，在本实施方式的图31A的例子中也在计算上没有任何问题。

如以上这样，本发明对于各子类是由1条移动轨跡构成的子类、即移动轨跡本身也能够进行关节状区域检测。但是，区域检测部107通过(式14)计算的代表测地距离、以及通过(式15)计算的代表欧几里得距离是在不同的子类的移动轨跡间定义的距离的平均、中央值、或众数。因此，可以说子类具有的移动轨跡数为多个时比为1个时在计算上更稳定、并且也有利于计算的高速化。因而，实际上各子类包含的移动轨跡优选的是多个。以下，对各子类包含的移动轨跡是多个的例子进行说明。

(1子类包含多个移动轨跡的情况)

使用图32A及图32B，对子类取得部2801取得的分类信息2802的另一例进行说明。

图32A与图31A同样，是表示跨越1帧到4帧计算出的、作为图片间的对应点的移动轨跡计算出5条的情况的图。

与图31A不同的点是1个子类包含多个移动轨跡这一点。

如果用在图32A的t＝1的帧上表示的点线的椭圆分别表示计算出的1个子类，则在图31A中也可知对于参照的点a～e、将点a和b分类到相同的子类(类1)中、将点d和e分类到别的相同的子类(类3)中。

在此情况下，将保存在存储部2800中的分类信息2802的例子表示在图32B中。具体而言，分类信息2802只要至少包括对应于帧数的轨跡长(这里是4)、跨越轨跡长(这里是4帧)追踪的移动轨跡的数量(这里是5)、分类目标的子类的总数(这里是3)、以及各子类的数据(将各对应点的像素坐标和亮度信息排列的数据)就可以。例如，表示2个移动轨跡属于第1个子类(类1)，其中的第1个移动轨跡的第1帧的图片上的坐标是(ax1，ay1)，其坐标的亮度值是aC1。此外，表示第2个移动轨跡的第1帧的图片上的坐标是(bx1，by1)，该坐标的亮度值是bC1。

与图31B及图31C的情况同样，这里需要亮度信息的理由是因为输出部104将原来的图像显示在显示器120上，关于关节状区域的检测自身，只要在各子类的数据中至少包含像素坐标的信息就能够实现。因此，也可以根据目的和情况、通过将亮度信息省略来进一步削减数据的大小。

特别是，在此情况下，1个子类对应于多个移动轨跡。

在子类取得部2801取得分类信息2802后，距离计算部106计算移动轨跡间距离，区域检测部107求出子类间的代表测地距离及代表欧几里得距离，检测具有关节状运动的区域。区域检测部107通过(式14)计算的代表测地距离、以及(式15)计算的代表欧几里得距离是在不同的子类间的移动轨跡间定义的距离的平均、中央值、或众数。因此，子类具有的移动轨跡数与是1个时相比，是多个时的本实施方式的图32A及图32B的例子更有利于计算上的稳定及高速化。

以上说明的分类信息2802可以以各种形态保存。例如，作为存储部2800，可以在外部存储器或服务器的存储器中预先保存分类信息2802。此外，作为存储部2800，也可以在SD(Secure Digital)卡、CD或DVD-ROM等的记录介质中预先记录分类信息2802。记录的分类信息2802可以经由有线或无线读出。具体而言，通过经由USB线缆等的PC线缆或读卡器、或者通过有线或无线的网络、广播等传送，子类取得部2801能够取得分类信息2802。

根据以上，在本实施方式中，通过分类信息制作装置300基于例如颜色、运动等的指标进行移动轨跡的聚类。关节状区域检测装置400取得聚类后的移动轨跡进行区域检测处理。

通过以上的步骤，关节状区域检测装置400不是在内部中计算、而是从外部取得关于各移动轨跡所属的子类的信息。通过以上的结构，也通过在动态图像中检测如人物那样姿势或位置、大小等随时间变化的具有关节状运动的移动体的关节状区域，能够可靠地检测图像中的移动体。

产业上的可利用性

本发明通过基于多张图片中的运动将包含一边形状变化一边移动的人物等的移动体的图片进行区域提取来检测图片中的移动体的关节状区域检测装置，能够作为例如运动解析装置、监视装置、摄像机或TV等的AV设备中内置的关节状区域检测装置等使用。

标号说明

100、400  关节状区域检测装置

101  图像输入部

102  移动轨跡计算部

103  关节状区域检测部

104  输出部

105  子类分类部

106  距离计算部

107  区域检测部

110  照相机

120  显示器

200  计算机

201  I/F

202  CPU

203  ROM

204  RAM

205  HDD

206  视频卡

300  分类信息制作装置

701、901  欧几里得距离计算部

702  聚类部

902  测地距离计算部

903  欧几里得距离加载部

1201 类间距离计算部

1202 距离比较部

2800 存储部

2801 子类取得部

2802 分类信息

2803 关节状区域检测部

Claims (30)

1.一种关节状区域检测装置，根据分别与构成动态图像中的移动体的多个区域相对应的多个移动轨跡，检测具有关节状运动的区域，其特征在于，具备：

子类分类部，将跨越构成动态图像的多张图片的、分别作为由构成上述图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡，分类为多个子类，该多个子类分别为类似的移动轨跡的集合；

距离计算部，按照每个子类，计算2点间距离和测地距离，该2点间距离为将属于该子类的第1移动轨跡与属于其他子类的第2移动轨跡直接连结的距离，该测地距离为以上述第1移动轨跡及上述第2移动轨跡之外的移动轨跡为中继点而从上述第1移动轨跡到达上述第2移动轨跡的路径的距离；以及

区域检测部，基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。

2.如权利要求1所述的关节状区域检测装置，其特征在于，

上述区域检测部检测子类间的2点间距离的时间变化比规定的2点间距离阈值大、并且上述子类间的测地距离的时间变化为规定的测地距离阈值以下的子类，来作为具有关节状运动的区域。

3.如权利要求2所述的关节状区域检测装置，其特征在于，

上述区域检测部从由上述子类分类部分类后的上述多个子类中，检测子类间的2点间距离的时间变化比上述规定的2点间距离阈值大的子类，并从检测到的子类中检测子类间的测地距离的时间变化为上述规定的测地距离阈值以下的子类，来作为具有关节状运动的区域。

4.如权利要求2所述的关节状区域检测装置，其特征在于，

上述区域检测部从由上述子类分类部分类后的上述多个子类中，检测子类间的测地距离的时间变化为上述规定的测地距离阈值以下的子类，并从检测到的子类中检测子类间的2点间距离的时间变化比上述规定的2点间距离阈值大的子类，来作为具有关节状运动的区域。

5.如权利要求2所述的关节状区域检测装置，其特征在于，

上述区域检测部并行地执行第1检测处理和第2检测处理，并检测在上述第1检测处理及上述第2检测处理的双方中检测到的子类，来作为具有关节状运动的区域，其中该第1检测处理是从由上述子类分类部分类后的上述多个子类中检测子类间的2点间距离的时间变化比上述规定的2点间距离阈值大的子类的处理，该第2检测处理是从由上述子类分类部分类后的上述多个子类中检测子类间的测地距离的时间变化为上述规定的测地距离阈值以下的子类的处理。

6.如权利要求2～5中任一项所述的关节状区域检测装置，其特征在于，

上述区域检测部还仅在子类间的2点间距离的最小值为规定的最小值阈值以下的情况下，检测上述子类间的2点间距离的时间变化比规定的2点间距离阈值大、并且上述子类间的测地距离的时间变化为规定的测地距离阈值以下的子类，来作为具有关节状运动的区域。

7.如权利要求1所述的关节状区域检测装置，其特征在于，

上述区域检测部基于任意的2个子类间的2点间距离的代表值的时间变化及测地距离的代表值的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。

8.如权利要求7所述的关节状区域检测装置，其特征在于，

上述2个子类间的2点间距离的代表值是上述2个子类间的2点间距离的平均值；

上述2个子类间的测地距离的代表值是上述2个子类间的测地距离的平均值。

9.如权利要求7所述的关节状区域检测装置，其特征在于，

上述2个子类间的2点间距离的代表值是上述2个子类间的2点间距离的中央值；

上述2个子类间的测地距离的代表值是上述2个子类间的测地距离的中央值。

10.如权利要求7所述的关节状区域检测装置，其特征在于，

上述2个子类间的2点间距离的代表值是上述2个子类间的2点间距离的众数；

上述2个子类间的测地距离的代表值是上述2个子类间的测地距离的众数。

11.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述子类分类部基于移动轨跡间的2点间距离将上述多个移动轨跡分类为上述多个子类。

12.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述子类分类部基于移动轨跡间的、属于各移动轨跡的像素彼此或上述像素所属的块彼此的颜色类似度，将上述多个移动轨跡分类为上述多个子类。

13.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述子类分类部进行移动轨跡间的测地距离的维度压缩，基于维度压缩后的上述移动轨跡间的测地距离，将上述多个移动轨跡分类为上述多个子类。

14.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述距离计算部对上述多个移动轨跡中的各个移动轨迹，选择从该移动轨跡到其他移动轨跡的多个2点间距离之中的、在规定的距离阈值以下的2点间距离，在进行将没有选择的2点间距离变更为无限大的非线性化之后，通过求出从该移动轨跡到其他移动轨跡的最短路径，从而计算上述测地距离。

15.如权利要求14所述的关节状区域检测装置，其特征在于，

上述距离计算部对上述多个移动轨跡中的各个移动轨迹，选择从该移动轨跡到其他移动轨跡的多个2点间距离之中的、在上述规定的距离阈值以下的2点间距离，在进行将没有选择的2点间距离变更为无限大的非线性化之后，通过求出从该移动轨跡到其他移动轨跡的最短路径，从而计算上述测地距离，并通过将移动轨跡间的测地距离为有限值的移动轨跡的集合分类为同一个子类，从而将上述多个移动轨跡分类为多个子类。

16.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

还具备输出部，该输出部对上述多张图片中的至少1张图片实施图像处理以使得其成为按照由上述区域检测部检测到的每个区域而不同的显示形态，并且输出包含实施了图像处理后的区域的图片。

17.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述动态图像是将人物作为被摄体而摄影的动态图像；

上述关节状区域检测装置还具备输出部，该输出部对上述多张图片中的至少1张图片实施图像处理以使得其成为按照由上述区域检测部检测到的每个区域能够视觉识别人物区域的显示形态，并且输出包含实施了图像处理后的区域的图片。

18.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述动态图像是将人物作为被摄体而摄影的动态图像；

上述关节状区域检测装置还具备动作识别部，该动作识别部计算在由上述区域检测部检测到的区域中所包含的呈关节状运动的多个子类间的角度，并通过将计算出的角度与按照人物的每个动作模式而预先设定的角度进行比较，来识别上述被摄体的动作。

19.如权利要求18所述的关节状区域检测装置，其特征在于，

还具备输出部，该输出部基于由上述动作识别部识别的上述被摄体的动作，对上述多张图片中的至少1张图片实施图像处理以使得其成为能够视觉识别上述被摄体的动作的显示形态，并且输出包含实施了图像处理后的区域的图片。

20.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

还具备动作检测部，该动作检测部基于在由上述区域检测部检测到的上述区域中所包含的呈关节状运动的多个子类间的关节数，检测在上述动态图像中所包含的移动体的连接数的变化。

21.如权利要求20所述的关节状区域检测装置，其特征在于，

上述动作检测部在检测到上述连接数的减少的情况下，判断为有由上述移动体进行的物体的遗弃，在检测到上述连接数的增加的情况下，判断为有由上述移动体进行的物体的拿走。

22.如权利要求21所述的关节状区域检测装置，其特征在于，

还具备输出部，该输出部基于上述动作检测部的判断结果，对上述多张图片中的至少1张图片实施图像处理以使得其成为能够视觉识别上述物体的遗弃或拿走的显示形态，并且输出包含实施了图像处理后的区域的图片。

23.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，还具备：

图像输入部，受理构成动态图像的多张图片；以及

移动轨跡计算部，按照由构成所受理的上述图片的1个以上的像素所构成的每个块，检测构成上述动态图像的在时间上邻接的2张图片间的该块的运动，通过将检测到的运动对上述多张图片进行连结，从而计算多个移动轨跡。

24.如权利要求23所述的关节状区域检测装置，其特征在于，

上述移动轨跡计算部按照所计算的移动轨跡的个数，使在该移动轨跡的计算中使用的图片的张数变化，并计算上述多个移动轨跡。

25.如权利要求24所述的关节状区域检测装置，其特征在于，

上述移动轨跡计算部在所计算的移动轨跡的个数超过预先设定的上限值的情况下，使在该移动轨跡的计算中使用的图片的张数增加，并计算上述多个移动轨跡。

26.如权利要求24所述的关节状区域检测装置，其特征在于，

上述移动轨跡计算部在所计算的移动轨跡的个数低于预先设定的下限值的情况下，使在该移动轨跡的计算中使用的图片的张数减少，并计算上述多个移动轨跡。

27.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述关节状运动是由关节连接的物体的运动。

28.如权利要求1～5、7～10中任一项所述的关节状区域检测装置，其特征在于，

上述关节状运动是绳状的物体的运动。

29.一种关节状区域检测方法，根据分别与构成动态图像中的移动体的多个区域相对应的多个移动轨跡，检测具有关节状运动的区域，其特征在于，包括：

子类分类步骤，将跨越构成动态图像的多张图片的、分别作为由构成上述图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡，分类为多个子类，该多个子类分别为类似的移动轨跡的集合；

距离计算步骤，按照每个子类，计算2点间距离和测地距离，该2点间距离为将属于该子类的第1移动轨跡与属于其他子类的第2移动轨跡直接连结的距离，该测地距离为以上述第1移动轨跡及上述第2移动轨跡之外的移动轨跡为中继点而从上述第1移动轨跡到达上述第2移动轨跡的路径的距离；以及

区域检测步骤，基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。

30.一种关节状区域检测装置，根据分别与构成动态图像中的移动体的多个区域相对应的多个移动轨跡，检测具有关节状运动的区域，其特征在于，具备：

子类取得部，取得分类信息，该分类信息表示将跨越构成动态图像的多张图片的、分别作为由构成上述图片的1个以上的像素构成的块的运动的轨跡的多个移动轨跡分类为多个子类的结果，该多个子类分别为类似的移动轨跡的集合；

距离计算部，根据所取得的上述分类信息，按照每个子类，计算2点间距离和测地距离，该2点间距离为将属于该子类的第1移动轨跡与属于其他子类的第2移动轨跡直接连结的距离，该测地距离为以上述第1移动轨跡及上述第2移动轨跡之外的移动轨跡为中继点而从上述第1移动轨跡到达上述第2移动轨跡的路径的距离；以及

区域检测部，基于任意的2个子类间的2点间距离的时间变化及测地距离的时间变化，检测与由同一个关节连接的进行关节状运动的2个区域相对应的移动轨跡所属的2个子类，来作为具有关节状运动的区域。