CN102317978A

CN102317978A - 动作解析装置以及动作解析方法

Info

Publication number: CN102317978A
Application number: CN2010800080839A
Authority: CN
Inventors: 川口京子; 田靡雅基
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2009-12-22
Filing date: 2010-12-20
Publication date: 2012-01-11
Anticipated expiration: 2030-12-20
Also published as: WO2011077696A1; US8751191B2; CN103942544B; US20120004887A1; JP5715946B2; CN102317978B; JPWO2011077696A1; CN103942544A

Abstract

本发明公开了能够容易地调整解析结果的提示量的动作解析装置。动作解析装置(300)是通过与标准动作的比较来进行比较对象动作的解析的装置，包括：动作特征提取单元(321)以及动作提取单元(322)，判定比较对象动作与标准动作的差异程度满足规定条件的位置；提示量输入单元(323)，接受对满足规定条件的位置的提示量的指定；以及动作提取度调整单元(324)，调整规定条件，以使满足规定条件的位置的数量为指定了的提示量。

Description

动作解析装置以及动作解析方法

技术领域

本发明涉及通过与标准动作的比较来对比较对象动作进行解析的动作解析装置以及动作解析方法。

背景技术

以往提出了通过与标准动作的比较来对比较对象动作进行解析的装置和方法(例如参照非专利文献1以及非专利文献2)。

非专利文献1中记载的装置是进行使用了在驾驶员的身体各部位上安装的加速度传感器的行动测量，使用独立分量分析和一类SVM(支持向量机)进行动作解析的装置。更具体而言，非专利文献1中记载的装置从代表性的驾驶动作中提取特征量向量(33维)，对提取的特征量向量集合适用主分量分析，进行无相关化后使用一类SVM。也就是说，非专利文献1中记载的装置使用SVM的特征量提取比较对象动作与标准动作的差异。

非专利文献2中记载的方法是在影像数据的立体高次局部自相关(CHLAC：cubic higher-order local autocorrelation)特征中导入时间权重的动作评价方法。非专利文献2中记载的方法是导入时间权重作为使用了傅立叶级数展开的连续函数的方法。更具体而言，非专利文献2中记载的方法为使用外在效标(external criterion)对傅立叶级数进行最优化，在此基础上，使用得到的时间权重计算影像特征，通过判别分析或者多元回归分析进行动作评价。另外，非专利文献2中记载的方法为使用影像特征的时间权重，提取标准动作与比较对象动作的差异。

通过使用上述装置以及方法，能够提取比较对象动作与标准动作的差异，并且提示满足差异程度超过阈值等规定条件的位置。由此，用户能够高效率地确认提示的位置。

专利文献1：特开2006-79272号公报

专利文献2：特开2007-334756号公报

非专利文献1：多田昌裕等五人「無線加速度センサを用いた運転者行動計測に基づく模範運転動作からの逸脱検出」、電子情報通信学会技術研究報告、Vol.107、No.114、pp.117-122、2007

非专利文献2：森下雄介等三人，「時間重みと外的規準を用いた動作評価手法」、電子情報通信学会技術研究報告、Vol.107、No.539、pp.47-52、2008

非专利文献3：篠原雄介、大津展之、「フィッシャ一重みマップを用いた顔画像からの表情認識」、電子情報通信学会研究報告、Vol.103、No.737、pp.79-84、2004

然而，根据作为解析对象的动作的种类或时间长度、确认解析结果的用户的状况或者解析要求的精度等，适当的解析结果的提示量不同。在提示的位置的个数或者作为提示对象的时间过多的情况下，提示内容变得烦杂，确认需要花费时间和精力。另一方面，在提示的位置的个数或者作为提示对象的时间过少的情况下，无法充分得到必需的解析结果。另外，适当的解析结果的提示量在解析对象和用户相同时，有时也会根据情况而不同。因此，较为理想的是用户能够容易地调整解析结果的提示量。

发明内容

本发明的目的在于提供能够容易地调整解析结果的提示量的动作解析装置以及动作解析方法。

本发明的动作解析装置是通过与标准动作的比较来对比较对象动作进行解析的动作解析装置，其包括：动作差异提取单元，判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置；提示量输入单元，接受对满足所述规定条件的位置的提示量的指定；以及动作提取度调整单元，调整所述规定条件，以使满足所述规定条件的位置的量为所述指定的提示量。

本发明的动作解析方法是通过与标准动作的比较来对比较对象动作进行解析的动作解析方法，其包括：接受所述解析的结果的提示量的指定的步骤；判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置的步骤；以及在满足所述规定条件的位置的量与指定的提示量不同时调整所述规定条件的步骤。

根据本发明，能够容易地调整解析结果的提示量。

附图说明

图1是表示一例本发明的实施方式1的动作解析系统的结构的系统结构图。

图2是表示一例本实施方式1的动作解析装置的结构的方框图。

图3是表示一例本实施方式1的动作解析装置的动作的流程图。

图4是表示一例本实施方式1的动作解析装置中的信息流程的图。

图5是表示一例本实施方式1中的结果显示画面的图。

图6是表示一例本实施方式1的变形例1的动作解析装置的动作的流程图。

图7是表示一例本实施方式1的变形例1的动作解析装置中的信息流程的的图。

图8是表示一例本发明的实施方式2的动作解析装置的结构的方框图。

图9是表示一例本实施方式2的动作解析装置的动作的流程图。

图10是表示一例本实施方式2的动作解析装置中的信息流程的图。

图11是表示一例本实施方式2中的动作提取结果显示画面的图。

图12是表示一例本发明的实施方式3的动作解析装置的结构的方框图。

图13是表示本实施方式3的动作解析装置的动作的一例的流程图。

图14是表示一例本发明的实施方式4的动作解析装置的结构的方框图。

图15是表示一例本实施方式4的动作解析装置的动作的流程图。

图16是表示一例本实施方式4的动作解析装置中的信息流程的图。

图17是表示一例包含本发明的实施方式5的动作解析装置的动作解析系统的结构的系统结构图。

图18是表示一例本实施方式5中的图像特征量的计算方法的图。

图19是表示一例本实施方式5的动作解析装置的结构的方框图。

图20是表示一例本实施方式5的动作解析装置的动作的流程图。

图21是表示本实施方式5中设想的标准动作的影像以及比较对象动作的影像的图。

图22是表示一例本实施方式5中设想的标准动作以及比较对象动作的内容、以及该情况下的时间权重图的图。

图23是表示一例本实施方式5中各时刻的时间权重的图。

图24是表示一例本实施方式5中位置权重的分布(位置权重图)的图。

图25是表示一例本实施方式5中结果显示画面的图。

图26是表示一例本实施方式5中结果显示画面中包含的三维曲线的图。

图27是表示一例包含本发明的实施方式6的动作解析装置的动作解析系统的结构的系统结构图。

图28是表示一例本实施方式6的动作解析装置的结构的方框图。

图29是表示一例本实施方式6的动作解析装置的动作的流程图。

图30是表示本实施方式6中设想的标准动作的影像以及比较对象动作的影像的图。

图31是表示一例本实施方式6中设想的标准动作以及比较对象动作的内容、以及该情况下的时间权重图的图。

图32是表示一例本实施方式6中各时刻的位置权重的分布(位置权重图)的图。

图33是表示一例本实施方式6中结果显示画面的图。

图34是表示一例本实施方式6中结果显示画面中包含的三维曲线的图。

图35是表示一例本实施方式7的动作解析装置的结构的方框图。

标号说明

100、100e、100f动作解析系统

200传感器装置

300、300b、300c、300d、300e、300f动作解析装置

310动作数据输入单元

321、321c、321d动作特征提取单元

322、322b、322c动作提取单元

323、323d提示量输入单元

324、324b、324d动作提取度调整单元

325动作提取结果提示单元

326b提取类别输入单元

327d动作解析初始值设定单元

331e时间权重提取单元

332e加权位置特征量提取单元

333e位置权重提取单元

341f位置权重提取单元

342f加权时间特征量提取单元

343f时间权重提取单元

400输出装置

500输入装置

具体实施方式

以下，参照附图详细说明本发明的各实施方式。另外，在各实施方式中，对相同的部分附加相同的标号，对相对应的部分附加下标不同的标号。

(实施方式1)

本实施方式将本发明作为适用于在熟练作业员和一般作业员工作的工厂中用于解析各一般作业员的动作的动作解析系统的例子进行说明。作业员的动作是由例如将部件取到手中、放到产品主体上、进行螺接固定、粘贴封条等多个单位动作构成的一连串的动作。更具体而言，本实施方式的动作解析系统是对从事某个作业工序的熟练作业员的姿态进行摄影，以相同的摄影角度对从事相同作业工序时的各一般作业员的姿态进行摄影，并对各一般作业员的动作进行解析。以下，将上述一般的单位动作和由动作解析系统100作为一个偏离动作提取的单位总称为“动作”。

图1中，动作解析系统100具有：传感器装置200、本实施方式的动作解析装置300、输出装置400、以及输入装置500。

传感器装置200是检测人的动作的装置。传感器装置200将测量了作业员的动作得到的数据向动作解析装置300输出。这里，传感器装置200是将摄影到的图像的图像帧数据(活动图像数据)实时输出的摄像机，采用能够对工厂的组装流水线上并排作业的各作业员分别摄影的装置。

以下，将对熟练作业员的一连串标准动作进行摄影得到的动作数据称为“标准动作数据”，将对一般对象者的一连串比较对象动作进行摄影得到的动作数据称为“比较对象动作数据”。另外，标准动作数据以及解析对象数据适当地总称为“动作数据”。

动作解析装置300是通过与标准动作的比较来对比较对象动作进行解析的装置。动作解析装置300提取比较对象动作与标准动作的差异程度满足规定条件的位置，生成用于提示提取出的位置的画面(以下称为“结果显示画面”)，并将生成了的结果显示画面向输出装置400输出。本实施方式的动作解析装置300提示比较对象动作与标准动作存在较大差异的动作(以下称为“偏离动作”)的位置(以下称为“偏离动作位置”)。

这里，动作解析装置300是具有CPU(central processing unit，中央处理单元)以及RAM(random access memory，随机存取存储器)等存储介质、以及用于获取活动图像数据的视频捕获电路的计算机。也就是说，动作解析装置300通过由CPU执行存储的控制程序来工作。

输出装置400输出从动作解析装置300输入的结果显示画面的数据。这里，输出装置400是具有液晶显示器的监视器。另外，输出装置400也可以是远程配置的装置(远程监视装置、移动电话等)。在此情况下，输出装置400例如经由因特网等网络与动作解析装置300连接。

输入装置500是用于由用户操作动作解析装置300的接口。这里，输入装置500例如是作为定点设备(pointing device)的鼠标、以及键盘。

这样的动作解析系统100能够将从比较对象动作中作为偏离动作检测出的位置经由结果显示画面对用户进行提示。因此，用户能够仅确认提示出的位置，高效率地解析比较对象动作。

接着，对动作解析装置300的结构进行说明。

图2是表示一例动作解析装置300的结构的方框图。图2中，动作解析装置300具有动作数据输入单元310、动作特征提取单元321、动作提取单元322、提示量输入单元323、动作提取度调整单元324、以及动作提取结果提示单元325。动作特征提取单元321以及动作提取单元322对应于本发明的动作差异提取单元。

动作数据输入单元310根据来自动作特征提取单元321的要求，从传感器装置200取得动作数据，并向动作特征提取单元321传送。动作数据的传送可以实时进行，也可以在存储动作数据后进行。另外，动作数据输入单元310接受输入装置500的用户操作，将从传感器装置200输入的动作数据在输入时或者输入后分类为标准动作数据与比较对象动作数据中的任一种。动作数据输入单元310也可以为了再次使用而存储一度输入的标准动作数据。

动作特征提取单元321根据从动作数据输入单元310输入的动作数据，使用规定的参数(第一参数)，从动作数据中提取表示动作特征的特征量(以下简称为“特征量”)。然后，动作特征提取单元321将计算出的特征量输出到动作提取单元322。

以下，将从标准动作数据中提取出的特征量适当地称为“标准动作特征量”，将从比较对象动作数据中提取的特征量适当地称为“比较对象动作特征量”。

这里，特征量为非专利文献2中公开的CHLAC特征。CHLAC特征是将作为来自二维图像数据的特征提取的高次局部自相关(HLAC)特征加上时间轴而扩展为三维的特征，并且是表示在图像的平面空间上加上了时间轴的三维坐标系中的运动特征的特征向量。特征量提取中使用的参数的值在初始状态下设定为预先确定的初始值，随后通过动作提取度调整单元324进行适当调整。

动作提取单元322根据从动作特征提取单元321输入的标准动作特征量以及比较对象动作特征量，使用规定的参数(第二参数)，提取比较对象动作与标准动作的差异。然后，动作提取单元322对提取出的差异满足由规定的参数(第三参数)确定的条件的位置进行提取，并将提取结果输出到动作输出度调整单元324。提取结果包含提取出的位置(以下称为“提取位置”)、以及基于规定的计数标准的提取位置的个数(以下称为“提取数”)。在提取位置为区间的情况下，提取结果包含该区间的开始时刻以及结束时刻。

这里，以下，将动作特征提取单元321在特征量提取中使用的参数适当地总称为“特征提取参数”。另外，将动作提取单元322在动作提取中使用的参数适当地总称为“动作提取参数”。在特征提取参数的种类中，包含用于CHLAC特征提取的图像大小或帧速率或窗口大小、主分量分析的主分量分析累计贡献度、傅立叶级数的基底函数的数量、最小二乘标准的变回归系数、以及k-nn法(k邻近法，k-nearest neighbor algorithm)的k的值。另外，动作提取参数的种类中包含动作的持续时间或后述的距离阈值。

提示量输入单元323经由输入装置500接受向用户进行提示的提取位置的个数(提取结果的提示量)的指定，将指定的个数(以下称为“目标提取数”)输出到动作提取度调整单元324。

在提取数与目标提取数不一致时，动作提取度调整单元324调整动作特征提取单元321的特征提取参数并指示动作特征提取单元321重新提取特征量，以使提取数与目标提取数一致。然后，动作提取度调整单元324在提取数与目标提取数一致时，将提取结果输出到动作提取结果提示单元325。也就是说，动作提取度调整单元324改变特征提取参数并且使动作特征提取单元321以及动作提取单元322反复进行处理，直至提取数与目标提取数一致。

动作提取结果提示单元325生成用于提示从动作提取度调整单元324输入的提取结果的结果显示画面，并且经由输出装置400进行显示。

具有这样的结构的动作解析装置300能够以用户指定的目标提取数，对用户提示偏离动作位置作为解析结果。因此，用户不用分别调整特征量提取或动作提取中使用的各个参数，而能够通过输入目标提取数这样的简单方法，调整偏离动作位置的提示量。

以下，对动作解析装置300的动作进行说明。

图3是表示一例动作解析装置300的动作的流程图。图4是表示一例动作解析装置300中的信息流程的图。

首先，用户例如安排熟练作业员和一般作业员隔着休息时间轮流负责包含对象动作的作业，并对动作解析装置300进行操作以对熟练作业员和一般作业员的动作分别进行摄影。通过采用这种方式，无需专门用于动作评价的时间，不会给作业员增加负担，因此能够在不影响工厂的生产性的情况下获取用于动作解析的数据。

其结果是，动作数据输入单元310输入标准动作数据和比较对象动作数据，并将输入的标准动作数据以及比较对象动作数据输出到动作特征提取单元321。动作数据输入单元310在每一次解析处理中，可以从一人或者多人取得多个标准动作数据，也可以从一人或者多人取得多个比较对象动作数据。另外，动作数据输入单元310在存储有过去输入了的标准动作数据的情况下，也可以将该标准动作数据输出到动作特征提取单元321。

首先，在步骤S1100中，动作提取度调整单元324经由提示量输入单元323输入目标提取数(以下适当地使用记号B)。具体而言，例如，从动作提取度调整单元324接受了指示的提示量输入单元323在输出装置400上显示用于催促进行目标提取数的输入的画面。然后，提示量输入单元323将对应地经由输入装置500输入的数值作为目标提取数B返送到动作提取度调整单元324。另外，在动作提取度调整单元324使用上次的目标提取数的情况下，也可以不必进行经由提示量输入单元323的目标提取数的输入。另外，在此情况下，动作提取度调整单元324可以经由提示量输入单元323向用户询问是否使用上次的目标提取数，或者基于是否以相同的目标提取数反复处理了设定的次数来进行判断。

然后，在步骤S1200中，动作特征提取单元321从一个或多个标准动作数据中，每帧地提取标准动作特征量，根据提取出的一连串标准动作特征量，求标准动作部分空间。标准动作特征量如上所述这里为CHLAC特征。所谓标准动作部分空间是指定义标准动作的空间。

动作特征提取单元321例如使用下式(1)所示的N次自相关函数，计算CHLAC特征x。

x_{f}^{N} (a_{1}, . . ., a_{N}) = &Integral; f (r) f (r + a) . . . f (r + a_{N}) dr . . . (1)

这里，f是时间序列图像，变量r以及N个变量a_i(i＝1，，N)是具有以图像内的二维坐标和时间作为分量的三维向量。时间方向的积分范围由取什么程度的时间方向的相关来确定。也就是说，积分范围是由N个静止图像(局部特征图像)构成的三维的像素集合，变量r是图像中的一个像素(位置像素)，变量a是相对于r的位移向量。并且，f(r)是位置r的函数值，表示局部特征图像的位置r的亮度值。

在CHLAC特征的情况下，位移为三维，位移向量的组合(位移模式)的数量在零维时为1个，一维时为13个，二维时为237个。因此，CHLAC特征在二值化图像的情况下，作为合计251维的特征向量表示。

另外，动作特征提取单元321例如对一连串标准动作特征量进行主分量分析，求主分量向量。然后，动作特征提取单元321获取该主分量向量作为标准动作部分空间。另外，例如在专利文献1中记载了CHLAC特征以及标准动作部分空间的计算方法的细节。

对于CHLAC特征而言，在该积分范围内仅进行了与标准动作特征量的计算中使用的标准动作相同的动作时，未超出标准动作部分空间。另外，对于CHLAC特征而言，在其积分范围内即使进行了一个与标准动作不同的动作时，也会成为从标准动作部分空间离开的值。另外，对于CHLAC特征而言，与标准动作不同的动作存在越大的差异，或者进行越长的时间，则成为从标准动作部分空间离开越远的值。因此，动作解析装置300利用动作相对于标准动作的非类似程度与特征量的自标准动作部分空间的距离大小大致成比例关系，进行动作解析。这里，某个特征量的自标准动作部分空间的距离(以下适当地称为“距离”)是指，例如，从该特征量的、向标准动作部分空间的投影以及向与标准动作部分空间相对的正交补空间的投影求出的正交补空间中的垂直距离。CHLAC特征强烈地受到由动作中各个部位的运动方向的总和产生的影响，因此，适于评价某个时刻的动作中各个部位(例如手)的运动方向的总和一致性。

另外，动作特征提取单元321在存储有过去计算出的标准动作部分空间的情况下，也可以不重新进行计算。

然后，在步骤S1300中，动作特征提取单元321从比较对象动作数据中，每帧地提取比较对象动作特征量，求提取出的一连串比较对象动作特征量各自的与标准动作部分空间的距离。然后，动作特征提取单元321将求出的距离输出到动作提取单元322。

然后，在步骤S1400中，动作提取单元322基于与标准动作部分空间的距离，提取偏离动作，对该提取数(以下适当地使用记号A)进行计数，并输出到动作提取度调整单元324。

更具体而言，首先，动作提取单元322提取比较对象动作数据中的、满足由动作提取参数定义的条件的部分作为一个偏离动作位置。然后，动作提取单元322对提取出的偏离动作位置进行计数并将其作为提取数A。

由动作提取参数定义的条件例如是距离大于规定的距离阈值的状态持续，其持续时间为规定的连续最小时间以上且规定的连续最长时间以下。规定的距离阈值例如是对比较对象动作数据整体的各帧求出的距离的最大值的60％。规定的连续最小时间例如为0.3秒。规定的连续最小时间例如是比较对象动作数据的长度(在有多个的情况下为平均长度)的25％。

通过适用这样的条件，动作提取单元322不会将检测噪声或微小的偏离动作、背景的运动等不应作为比较对象的动作等作为偏离动作进行处理，而能够仅提取适当的偏离动作。

然后，在步骤S1500中，动作提取度调整单元324判断提取数A是否等于目标提取数B。动作提取度调整单元324在提取数A不等于目标提取数B的情况下(S1500：否)，进入步骤S1600。

在步骤S1600中，动作提取度调整单元324判断提取数A是否大于目标提取数B。动作提取度调整单元324在提取数A大于目标提取数B的情况下(S1600：是)，进入步骤S1700，在提取数A不大于目标提取数B的情况下(S1600：否)，进入步骤S1800。

在步骤S1700中，动作提取度调整单元324向提取数A减少的方向修正动作特征提取单元321的特征提取参数，并且返回到步骤S1200，对动作特征提取单元321进行指示以重新提取特征量。

例如，动作提取度调整单元324调整特征提取参数，以能够基于大致的特征量检测比较对象动作与标准动作的差异。也就是说，动作提取度调整单元324基于参数调整规则调整特征提取参数，以能够检测在较大动作中出现较大差异的位置。这里，较大的动作是指在某个瞬间造成比较多的像素产生变化、且周期较长的动作，大致的特征量是指从这样的动作中显著提取的特征量。在该情况下，进行的参数修正例如是使作为提取对象的动作数据的分辨率更粗、使帧速率的间隔更宽、使CHLAC掩膜图案的距离参照点的像素间隔更宽等。另外，其他参数修正例如是使主分量分析的主分析分析累计贡献度更小、使提取时的窗口大小更大等。

参数调整规则规定在减少提取数A的情况下以及增大提取数A的情况下分别使哪个参数发生怎样的变化。动作解析装置300将参数调整规则存储在动作特征提取单元321或者动作提取度调整单元324中。参数调整规则是基于经验性测量、实验、学习等确定的规则，可以预先存储在动作解析装置300中，也可以根据需要经由网络等从外部获取。

用于使提取数A减少的参数调整规则的内容是为了提取更大的特征，以如下方式调整特征提取参数。例如，参数调整规则的内容是将分辨率降低5％使之变得粗，将帧速率延长至两倍、将CHLAC掩膜图形的距离参照点的像素间隔变为两倍、将主分量分析累计贡献度降低1％、使窗口大小增加5。在此情况下，参数调整规则按照预先确定的记述方式例如记述为A＞B：r＝-5；fs＝x2；ps＝x2；acr＝-1；ws＝+5。此外，动作提取度调整单元324在参数调整规则中描述了关于多个参数的变化的情况下，可以不通过一次修正使全部参数的值发生变化，而是分散为多次地使多个参数的值发生变化。其结果是，提取数A减少，动作提取度调整单元324再次将提取数A和目标提取数B进行比较(S1500)。

另一方面，在步骤S1800中，动作提取度调整单元324向提取数A增大的方向修正特征提取参数，并且返回到步骤S1200，对动作特征提取单元321进行指示以重新提取特征量。

例如，动作提取度调整单元324修正特征提取参数，以能够基于细微的特征量检测比较对象动作与标准动作的差异，即检测在较小的动作中出现较大差异的位置。这里，较小的动作是指在某个瞬间与较大的动作相比动作较少但造成一定量以上的像素产生变化、且周期较短的动作，细微的特征量是指从这样的动作中显著提取的特征量。例如，较大的动作的例子是下挥手腕等运动，较小的动作的例子是食指稍稍上下运动等运动。较大的动作与较小的动作相比，通常造成更多的像素产生变化，动作所用的时间较长。

在此情况下，进行的参数修正例如是使作为提取对象的动作数据的分辨率更细、使帧速率的间隔更窄、使CHLAC掩膜图形的距离参照点的像素间隔更窄等。另外，其他参数修正例如是使主分量分析的主分量分析累计贡献度更大、使提取时的窗口大小更小等。

用于使提取数A增大的参数调整规则的内容是为了提取更小的特征，以如下方式调整特征提取参数。例如，参数调整规则的内容是将分辨率增加5％使之变细，使帧速率缩短至0.5倍、使CHLAC掩膜图形的距离参照点的像素间隔变为0.5倍、将主分量分析累计贡献度提高1％、使窗口大小减少5。在此情况下，参数调整规则按照预先确定的记述方式例如记述为A＜B：r＝+5；fs＝x0.5；ps＝x0.5；acr＝+1；ws＝-5。

其结果是，提取数A增大，动作提取度调整单元324再次将提取数A和目标提取数B进行比较(S1500)。也就是说，反复进行步骤S1200～S1800的处理，直至提取数A与目标提取数B一致。

然后，动作提取度调整单元324在提取数A等于目标提取数B的情况下(S1500：是)，将提取结果输出到动作提取结果提示单元325，并进入步骤S1900。

在步骤S1900中，动作提取结果提示单元325生成用于提示提取结果的结果显示画面，使输出装置400进行显示。

图5是表示一例结果显示画面的图。图5是作为偏离动作位置提取的条件是比较对象特征量的与标准动作部分空间的距离比规定的距离阈值高，且目标提取数B为2的情况的例子。

如图5所示，结果显示画面610具有解析结果显示区域611、播放按钮612、比较对象动作显示区域613、暂停按钮614、结束按钮615、以及标准动作显示区域616。

结果显示画面610在解析结果显示区域611中显示：比较对象特征量的与标准动作部分空间的距离的时间序列数据617、表示规定的距离阈值的阈值显示线618、以及表示提取位置的标记619。另外，动作提取结果提示单元325显示能够从输入装置500进行左右移动操作的播放位置显示线620。

在播放按钮612被按下后，动作提取结果提示单元325在比较对象动作显示区域613中播放比较对象动作的摄影图像，并且使播放位置显示线620随着播放而移动。另外，动作提取结果提示单元325在图像播放过程中暂停按钮614被按下后，暂时停止图像的播放。另外，标准动作显示区域616与比较对象动作显示区域613中的比较对象动作的摄影图像的播放同步地播放标准动作的摄影图像。

利用这样的结果显示画面610，用户通过将播放位置显示线620向标记619部分移动并按下播放按钮612，能够迅速地找出并确认偏离动作的影像。另外，以指定的数量找出偏离动作位置，因而用户能够获得自己期望的数量的解析结果的提示。另外，用户能够在视觉上将比较对象动作和标准动作进行比较。

另外，结果显示画面610可以同时或者切换显示标准动作数据的图像和比较对象动作数据图像。另外，结果显示画面610可以一并输出与动作有关的其他数据，例如动作数据的摄影日期和时间、比较对象物的加速度数据、或者声音。另外，结果显示画面610在使用CHLAC特征的情况下可以一并输出(进行了主分量分析的)CHLAC的值。另外，结果显示画面610在使用基于加速度的特征量的情况下可以一并输出加速度数据，在使用基于声音的特征量的情况下可以一并输出声音数据。结果显示画面610在使用上述高次特征量的情况下，可以通过三维轨迹图显示对时间序列的高次特征量进行主分量分析而将维数削减为三维得到的值。这里，结果显示画面610在影像播放时可以高亮显示与播放同步输出的三维轨迹图上的对应的值。

然后，在步骤S2000中，动作解析装置300判断是否通过用户操作等指示了将解析处理结束。动作解析装置300在未指示将解析处理结束的情况下(S2000：是)，返回到步骤S1100，在指示了将解析处理结束的情况下(S2000：否)，结束一连串动作。

通过这样的动作，动作解析装置300能够调整特征提取参数以使实际的提取数与用户指定的目标提取数一致，在提取数与目标提取数一致时向用户提示提取结果。

另外，动作提取度调整单元324在按照提取数增大的方向修正参数的情况下，也可以在提示对象中保留在此之前的提取结果。

具体而言，动作提取度调整单元324首先在每次进行参数修正时，比较该参数修正前的提取位置(以下称为“修正前提取位置”)和该参数修正后的提取位置(以下称为“修正后提取位置”)。并且，动作提取度调整单元324在修正前提取位置中追加修正后提取位置中的、修正前提取位置的任一个中均未包含的位置(以下称为“新提取位置”)，以此形式增加提示对象。并且，动作提取度调整单元324在提示对象的提取位置的个数到达目标提取数后进入步骤S1900。

也就是说，动作提取度调整单元324将修正前提取位置的个数(A_old)和新提取位置的个数(A_new)之和(A_sum＝A_old+A_new)与目标提取数(B)进行比较。并且，动作提取度调整单元324在提取位置的个数之和(A_sum)小于目标提取数(B)的期间内(A_sum＜B)，反复进行提取数增大的方向的参数修正。并且，动作提取度调整单元324在提取位置的和(A_sum)为目标提取数(B)以上时(A_sum≥B)，采用最初提取出的位置与新提取位置作为提取结果，并进入步骤S1900。

由此，能够防止将一度提取出的偏离动作位置在以提取数增大的方向修正参数的过程中排除到提取对象之外。

另外，动作提取度调整单元324在参数修正的次数达到了预先确定的上限值时，可以认为提取数A与目标提取数B相等，并进入步骤S1900。

另外，动作提取度调整单元324在大于目标提取数B的提取数A经过参数修正的结果，变得小于目标提取数B的情况下，可以认为提取数A与目标提取数B相等，并进入步骤S1900。

另外，动作提取度调整单元324在小于目标提取数B的提取数A经过参数修正的结果，变得大于目标提取数B的情况下，可以认为提取数A与目标提取数B相等，并进入步骤S1900。

另外，动作提取度调整单元324可以选择提取数A与目标提取数B的数量之差变得最小时的提取结果，并进入步骤S1900。

通过采用上述处理，能够防止长时间重复步骤S1200～S1800而始终不显示提取结果的情况。

另外，动作提取度调整单元324在大于目标提取数B的提取数A经过参数修正的结果，变得小于目标提取数B，修正前的个数(A_old)与目标提取数B的差为规定的阈值以下的情况下，可以进行以下处理。

动作提取度调整单元324按照动作面积从大到小的顺序选择修正前提取位置，直至与目标提取数B一致的个数为止，以选择出的提取位置进行确定，并进入步骤S1900。这里，动作面积是指提取位置的距离中的超过距离阈值的部分的时间积分。这里，假设对于时刻t提取出的距离为d(t)，距离阈值为p，提取位置的开始时间以及结束时刻为t1、t2，则动作面积S是由下式(2)表示的值。

S = {&Integral;}_{t 1}^{t 2} (d (t) - p) dt . . . (2)

另外，动作提取度调整单元324在小于目标提取数B的提取数A经过参数修正的结果，变得大于目标提取数B的情况下，可以进行以下处理。

动作提取度调整单元324按照动作面积从大到小的顺序，以从目标提取数中减去修正前提取位置的个数所得到的个数(B-A_old)提取修正前提取位置。接着，动作提取度调整单元324将该提取位置作为新提取位置，将该个数作为新提取位置的个数(A_new)。并且，动作提取度调整单元324将修正前提取位置与新提取位置作为提取结果进行确定，并进入步骤S1900。修正前提取位置的个数与新提取位置的个数之和(A_old+A_new)与目标提取数(B)一致。

另外，动作提取度调整单元324在参数修正的次数达到了上限值的情况下，可以按照动作面积从大到小的顺序在目标提取数B的范围内，选择得到与目标提取数B最接近的提取数A时的提取位置，并进入步骤S1900。

通过采用上述处理，本实施方式的动作解析装置300能够防止提取虽然与标准动作不同，但持续时间较短、不应作为偏离动作处理的动作。也就是说，本实施方式的动作解析装置300能够考虑动作的持续时间而进行偏离动作的提取。

另外，动作提取度调整单元324也可以在动作解析装置300输入动作数据时或者在此之后等其他时机进行目标提取数的输入。

如以上所说明的那样，本实施方式的动作解析装置300调整规定的条件，以使比较对象动作与标准动作的差异程度满足规定的条件的位置数与用户指定了的目标提取数一致。也就是说，动作解析装置300使作为偏离动作提示的位置数与用户的指定值相同。由此，动作解析装置300能够在不进行细微的参数调整的情况下调整解析结果的提示量，对于不理解动作解析的详细算法的用户，也能够以所期望的解析等级容易地得到解析结果。

另外，本实施方式的动作解析装置300不需要手动调整与动作解析算法有关的参数设定，因此也适用于作为解析对象的单位动作的数量较多的情况。另外，本实施方式的动作解析装置300在参数种类庞大、各参数的对解析结果的影响方式也比较复杂的情况下有效，不需要要求熟练的参数调整作业，能够减少精力和时间。

另外，本实施方式的动作解析装置300即使在目标提取数发生变化时，也不需要手动调整与动作解析算法有关的参数设定，因此适用于所要求的解析等级频繁变化的情况。

另外，本实施方式的动作解析装置300调整特征提取参数，因而能够进行考虑了作为提取对象的动作的种类的、细微的提取对象的调整。

此外，本发明能够适用于以上说明的实施方式1之外的各种实施方式。以下，作为实施方式1的变形例说明本发明的其他实施方式。

(实施方式1的变形例1)

实施方式1的变形例1是动作提取度调整单元324不修正动作特征提取单元321的特征提取参数，而是修正动作提取单元322的动作提取参数的例子。

图6是表示一例本变形例的动作解析装置300的动作的流程图，是与图3对应的图。图7是表示一例本变形例的动作解析装置300中的信息流程的图，是与图4对应的图。对与图3及图4相同的部分附加相同的步骤编号，省略相关的说明。

本变形例的动作解析装置300的动作提取度调整单元324在提取数A大于目标提取数B的情况下(S1600：是)，进入步骤S1700a，在提取数A不大于目标提取数B的情况下(S1600：否)，进入步骤S1800a。

在步骤S1700a中，动作提取度调整单元324向提取数A减少的方向修正动作提取单元322的动作提取参数，并且返回到步骤S1400，对动作提取单元322进行指示以重新提取动作。

例如，设想动作提取单元322提取动作的条件是由上述的距离阈值、连续最小时间、以及连续最长时间定义的条件的情况。在此情况下，用于减少提取数A的参数调整规则的内容例如是使距离阈值增加10％、使连续最小时间增加0.1秒、使连续最长时间提高5％。

另一方面，在步骤S1800a中，动作提取度调整单元324向提取数A增加的方向修正动作提取单元322的动作提取参数，并且返回到步骤S1400，对动作提取单元322进行指示以重新提取动作。

在上述条件的情况下，用于增加提取数A的参数调整规则的内容例如是使距离阈值降低5％、使连续最小时间减少0.1秒、使连续最长时间降低5％。

根据本变形例，动作解析装置300调整动作提取参数，所以无须进行特征量的重新提取，能够更迅速地提示解析结果。

另外，动作解析装置300也可以调整特征提取参数和动作提取参数双方。另外，该调整可以在一次修正中同时进行，也可以在不同次数的修正中分别进行。由此，能够进行考虑了作为提取对象的动作的种类和类似度大小双方的、更细微的提取对象的调整。

(实施方式1的变形例2)

实施方式1的变形例2是动作解析装置300对于多种动作高效率地进行解析的例子。

本变形例的动作解析装置300进行着眼于与较大的动作对应的特征量的动作提取、以及着眼于与较小的动作对应的特征量的动作提取双方。

因此，动作解析装置300预先存储与较大的动作对应的特征量的提取用的初始设定(以下称为“第一初始设定”)、以及与较小的动作对应的特征量的提取用的初始设定(以下称为“第二初始设定”)。

初始设定中包含特征提取参数的初始值以及动作提取参数的初始值。例如，第一初始设定是进行将输入的动作数据的分辨率降低至一半的处理的设定，第二初始设定是将输入的动作数据的分辨率保持原状的设定。

动作解析装置300首先获取基于第一初始设定提取出的第一提取结果和基于第二初始设定提取出的第二提取结果。另外，动作解析装置300从用户接受与较大的动作对应的第一目标提取数以及与较小的动作对应的第二目标提取数双方的输入。并且，动作解析装置300基于第一提取结果以及第一目标提取数，调整第一初始设定中包含的参数，基于第二提取结果以及第二目标提取数，调整第二初始设定中包含的参数。

并且，动作解析装置300同时或者切换显示与较大的动作有关的解析结果以及与较小的动作有关的解析结果。动作解析装置300在将与较大的动作有关的解析结果以及与较小的动作有关的解析结果同时显示在解析结果显示区域611(参照图5)中的情况下，较理想的是，显示颜色不同等显示方式不同的标记619。

根据本变形例，由于提取较大的动作中的偏离动作以及较小的动作中的偏离动作双方并且进行汇总提示，所以能够提高用户的动作解析的效率性以及便利性。

(实施方式1的变形例3)

实施方式1的变形例3是指定的提示量不是提取数，而是提取位置的播放时间的合计值(以下称为“提取时间”)相对于比较对象动作数据的播放时间的比例的情况的例子。

本变形例的动作解析装置300计算提取时间相对于比较对象动作数据的播放时间的的比例(以下称为“提取时间比例”)，并且从用户接受提取时间比例的指定。并且，动作解析装置300进行特征提取参数以及动作提取参数的调整，以使计算出的提取动作时间与指定的提取动作时间(以下称为“目标提取时间比例”)一致。

例如，动作解析装置300在目标提取时间比例为20％，且比较对象动作数据的播放时间的平均值为30秒的情况下，进行参数调整，以使提取时间为6秒(30秒×0.2)。

动作解析装置300的动作与使用图3说明了的动作相同。但是，将提取数以及目标提取数分别置换为提取时间比例和目标提取时间比例。另外，设定使提取时间比例与目标提取时间比例完全一致的参数调整规则是较为困难的，因此动作解析装置300例如进行以下的动作。

动作解析装置300在提取时间比例与目标提取时间比例的差为规定的阈值以下的情况下，认为提取时间比例与目标提取时间比例一致，转移到提取结果的显示处理。例如，在规定的阈值为比较对象动作数据的播放时间的平均值的5％，该播放时间的平均值为30秒的情况下，动作解析装置300认可1.5秒(30秒×0.05)的误差。并且，在指定了20％作为目标提取时间比例的情况下，动作解析装置300在提取时间比例满足4.5秒以上且7.5秒以下的时刻，结束调整处理，并显示解析结果。

根据本变形例，用户不输入动作的数量，而是输入相对于动作数据的长度的时间比例，由此能够在不特别考虑动作数据的长度的情况下抽象地指定提取程度。

另外，动作解析装置300也可以不接受目标提取时间比例的设定，而是接受提取时间的目标值的设定，进行参数调整以使实际的提取时间与该目标值一致。由此，用户能够使提取位置的播放所需的时间为期望的时间。

(实施方式1的变形例4)

实施方式1的变形例4是表示动作特征的特征量为CHLAC特征以外的特征量，动作提取中使用与标准动作部分空间的距离以外的信息的例子。

例如，动作特征提取单元321使用SVM的特征量作为表示动作特征的特征量，基于一类SVM进行动作提取。SVM的特征量以及一类SVM的计算方法的细节例如记载在非专利文献1中，因此省略这里的说明。

在此情况下，动作解析装置300使用的特征提取参数中例如包含窗口大小、wavelet展开系数、以及主分量分析累计贡献度。另外，本变形例的动作解析装置300使用的动作提取参数中包含超平面识别的背离数据(divergencedata)的比例、超平面识别的核参数、连续最小时间、以及连续最长时间。

此外，动作特征提取单元321也能够使用CHLAC特征而通过一类SVM来提取动作。另外，动作特征提取单元321不仅能够使用动作特征量，也能够使用其他高次特征量提取动作。

根据本变形例，在使用CHLAC特征以及距离以外的特征量和信息的动作解析方法中，用户能够在不手动调整各参数的情况下，容易地调整解析结果的提示量。

另外，以上说明了的各变形例能够任意进行组合实施。由此，能够复合地获得上述各种效果。

(实施方式2)

本发明的实施方式2是能够切换作为提示对象的动作的类别的动作解析装置。

图8是表示一例本实施方式的动作解析装置的结构的方框图，是与实施方式1的图2对应的图。对与图2相同的部分附加相同的标号，省略相关的说明。

在图8中，动作解析装置300b具有进行不同动作的动作提取单元322b以及动作提取度调整单元324b，以取代实施方式1的动作提取单元以及动作提取度调整单元，并新增有提取类别输入单元326b。

提取类别输入单元326b经由输入装置500接受向用户进行提示的动作的类别的指定，将指定的类别(以下称为“提取动作类别”)输出到动作提取单元322b。这里，提取类别输入单元326b接受对偏离动作、以及比较对象动作与标准动作的差异较小的动作(以下称为“标准水平动作”)中任一个的指定，作为提取动作类别。

提取提取单元322b在偏离动作被指定了的情况下，进行与实施方式1相同的动作，在标准水平动作被指定了的情况下，提取标准水平动作的位置作为标准水平动作位置，并将提取结果输出到动作提取度调整单元324b。关于标准水平动作位置的提取方法在后面叙述。

动作提取度调整单元324b在输入了偏离动作位置的情况下进行与实施方式1相同的动作。另外，动作提取度调整单元324b在输入了标准水平动作位置的情况下，通过与偏离动作的情况不同内容的参数调整，使提取数与目标提取数一致。

具有这样的结构的动作解析装置300b能够提取标准水平动作位置，按照用户指定的提示量提示提取位置。

接着，对动作解析装置300b的动作进行说明。

图9是表示一例动作解析装置300b的动作的流程图，是与实施方式1的图3对应的图。对与图3相同的部分附加相同的标号，省略相关的说明。图10是表示一例动作解析装置300b中的信息流程的图。

首先，在步骤S1010b中，动作提取单元322b经由提取类别输入单元326b输入提取动作类别，并进入步骤S1100。具体而言，例如，从动作提取单元322b接受了指示的提取类别输入单元326b在输出装置400上显示用于催促进行动作类别的选择的画面。然后，提取类别输入单元326b将对应地经由输入装置500选择的动作类别返送到动作提取单元322b作为提取动作类别。

然后，动作解析装置300b输入目标提取数B，每帧地计算标准动作特征量的与标准动作部分空间的距离后(S1100～S1300)，进入步骤S2100b。

在步骤S2100b中，动作提取单元322b判断提取动作类别是否不是偏离动作而是标准水平动作。动作提取单元322b在提取动作类别是偏离动作的情况下(S2100b：否)，进入步骤S1400，在提取动作类别是标准水平动作的情况下(S2100b：是)，进入步骤S2200b。

在步骤S2200b中，动作提取单元322b基于距离提取标准水平动作，对该提取数(以下适当地使用记号A)进行计数，并输出到动作提取度调整单元324b。

更具体而言，首先，动作提取单元322b提取比较对象动作数据中的、满足由动作提取参数定义的条件的部分作为一个标准水平动作位置。然后，动作提取单元322b对提取出的标准水平动作位置进行计数并将其作为提取数A。

由动作提取参数定义的条件例如是距离小于规定的距离阈值的状态持续而且该持续时间为规定的连续最小时间以上且规定的连续最长时间以下。规定的距离阈值例如是根据比较对象动作数据整体求出的距离的最大值的40％。规定的连续最小时间例如为0.3秒。规定的连续最小时间例如是比较对象动作数据的长度(在有多个的情况下为平均长度)的25％。

通过适用这样的条件，能够防止由于检测噪声或者背景运动的影响，应作为标准水平动作处理的动作被排除在提示对象之外。

并且，与图3的步骤S1500～S1800同样，动作提取度调整单元324b根据提取数A与目标提取数B的大小关系，进行动作特征提取单元321的特征提取参数的调整(S2300b～S2600b)。

但是，动作提取度调整单元324使用与S1700、S1800不同的内容，进行步骤S2500b、S2600b中的参数修正。也就是说，动作提取度调整单元324例如对于提取动作类别为偏离动作的情况以及提取动作类别为标准水平动作的情况，分别存储使提取数A减少的情况下和使提取数A增大的情况下的参数调整规则。这是因为，对于偏离动作与标准水平动作而言，由动作提取参数定义的条件如上所述互不相同，即使在使提取数A向同一方向变化的情况下，应该对哪个参数怎样进行修正也是不同的。

图11是表示一例选择了标准水平动作时的动作提取结果显示画面的图，是与实施方式1的图5对应的图。对与图5相同的部分附加相同的标号，省略相关的说明。

在此情况下，如图11所示，结果显示画面610在解析结果显示区域611中显示用于表示作为标准水平动作位置的提取位置的标记619。通过这样的结果显示画面610，用户能够迅速找出标准水平动作位置，并通过图像迅速确认标准水平动作。另外，以指定的数量找出标准水平动作位置，所以用户能够获得自己期望的数量的解析结果的提示。

这样，本实施方式的动作解析装置300b不仅对于偏离动作，而且对于标准水平动作，也能够按照用户指定的提示量进行提示。另外，能够按照用户的指定切换作为提示对象的动作的类别。因此，用户能够对作为比较对象的动作进行更深层的解析。

另外，动作解析装置300b可以提取偏离动作位置和标准水平动作位置双方，同时或者切换提示这两种提取结果。动作解析装置300b在将偏离动作位置和标准水平动作位置同时显示在解析结果显示区域611(参照图5)中的情况下，显示颜色不同等显示方式不同的标记619较理想。另外，动作解析装置300b也可以始终仅提示标准水平动作位置。

另外，本实施方式能够与实施方式1中说明的各种变形例任意组合而实施。

但是，在进行利用了动作面积的标准水平动作位置的提取的情况下，动作面积S是用下式(3)表示的值。并且，动作提取度调整单元324b按照动作面积从小到大的顺序选择修正前提取位置，直至与目标提取数B一致的个数为止，并以选择的提取位置进行确定。

S = {&Integral;}_{t 1}^{t 2} d (t) dt . . . (3)

(实施方式3)

本发明的实施方式3是表示动作特征的特征量为CHLAC特征中的时间权重，动作提取中使用时间权重的动作解析装置。

图12是表示一例本实施方式的动作解析装置的结构的方框图，是与实施方式1的图2对应的图。对与图2相同的部分附加相同的标号，省略相关的说明。

在图12中，动作解析装置300c具有进行不同动作的动作特征提取单元321c以及动作提取单元322c，以取代实施方式1的动作特征提取单元以及动作提取单元。

动作特征提取单元321c在通过将对CHLAC特征适用时间权重得到的值进行积分，计算作为与动作数据整体有关的特征量的影像特征的方法中，学习每帧地定义权重的权重图(参照非专利文献2)。然后，动作特征提取单元321c将学习到的权重图输出到动作提取单元322c。

动作提取单元322c基于权重图中包含的每帧的权重，提取偏离动作，并将提取结果输出到动作提取度调整单元324。

具有这样的结构的动作解析装置300c能够基于对CHLAC特征适用时间权重得到的影像特征的权重图，提取偏离动作位置，按照用户指定的提示量提示提取位置。

图13是表示一例动作解析装置300c的动作的流程图，是与实施方式1的图3对应的图。对与图3相同的部分附加相同的步骤编号，省略相关的说明。

输入偏离动作的目标提取数B后(S1100)，动作解析装置300c进入步骤S1200c。

在步骤S1200c中，动作特征提取单元321c从标准动作数据中每帧地提取CHLAC特征。

然后，在步骤S1300c中，动作特征提取单元321c从比较对象动作数据中每帧地提取CHILAC特征并学习权重图，将学习到的权重图输出到动作提取单元322c。

具体而言，动作特征提取单元321c根据提取到的标准动作以及比较对象动作的一连串的各CHLAC特征，例如通过Fisher判别基准学习用于提取影像特征的时间权重的权重图(每帧的权重)。在用于权重图学习的特征提取参数中，包含为了吸收时间上的伸缩而导入的傅立叶级数展开所伴随的基底函数的数量。

动作特征提取单元321c与实施方式1同样地进行参数调整。因此，不仅基于学习数据，而且基于目标提取数，对加权进行最优化。最优化后的各权重具有越是动作中存在差异的帧则变得越大的特性，并且，具有按时间序列评价动作而且吸收各动作数据的长度差异的效果。影像特征以及权重图的学习方法的细节例如记载在专利文献2中，因此省略这里的说明。

并且，在步骤S1400c中，动作提取单元322c基于权重提取偏离动作，对该提取数(以下适当地使用记号A)进行计数，并输出到动作提取度调整单元324。

更具体而言，首先，动作提取单元322c提取比较对象动作数据中的、满足由动作提取参数定义的条件的部分作为一个偏离动作位置。然后，动作提取单元322c对提取出的偏离动作位置进行计数并将其作为提取数A。

由动作提取参数定义的条件例如是权重大于规定的权重阈值的状态持续而且该持续时间为规定的连续最小时间以上且规定的连续最长时间以下。规定的权重阈值例如是根据比较对象动作数据整体求出的权重的最大值的60％。规定的连续最小时间例如为0.3秒。规定的连续最小时间例如是比较对象动作数据的长度(在有多个的情况下为平均长度)的25％。

并且，与图3的步骤S1500～S1800同样，动作提取度调整单元324c根据提取数A和目标提取数B的大小关系，进行动作特征提取单元321的特征提取参数的调整。但是，动作提取度调整单元324c可以使用与S1700、S1800不同的内容，进行步骤S1700c、S1800c中的参数修正。

例如，动作提取度调整单元324c在使提取数A向减少的方向变化时，将用于权重图学习的基底函数的数量减少一个。在此情况下，动作提取度调整单元324c存储按照预先确定的记述方式例如记述为A＞B：bf＝-1的参数调整规则。这里，基底函数以外的用于使提取数A减少的参数调整的内容是以能够提取更大特征的方式调整参数。例如，参数调整的内容可以是同时进行将分辨率降低5％，使帧速率变为两倍、使CHLAC掩膜图形的距离参照点的像素间隔变为两倍、将主分量分析累计贡献度降低1％、使窗口大小增加5等调整。

另外，例如，动作提取度调整单元324c在使提取数A向增大的方向上变化时，将用于权重图学习的基底函数的数量增加一个。在此情况下，动作提取度调整单元324c存储按照预先确定的记述方式例如记述为A＞B：bf＝+1的参数调整规则。这里，基底函数的数量以外的用于使提取数A增大的参数调整的内容是以能够提取更小特征的方式调整参数。例如，参数调整的内容可以是同时进行将分辨率增加5％，使帧速率变为0.5倍、使CHLAC掩膜图形的距离参照点的像素间隔变为0.5倍、将主分量分析累计贡献度提高1％、使窗口大小减少5等调整。

通过这样的动作，动作解析装置300c能够提取权重较大的位置作为偏离动作位置。

如以上所说明的那样，本实施方式的动作解析装置300c能够基于在影像特征的提取中学习的权重提取偏离动作，并按照用户指定的提示量提示提取结果。在影像特征的提取中学习的权重在各个动作正确但进行动作的顺序不同的位置处变高。因此，通过使用动作解析装置300c，能够简单地进行对动作的时间序列的评价。

另外，本实施方式能够与实施方式1中说明的各种变形例以及实施方式2任意组合而实施。另外，本实施方式也可以如实施方式2那样，不修正特征提取参数，而仅修正动作提取参数。

但是，在进行利用了动作面积的偏离动作位置的提取的情况下，动作面积是提取位置的权重中的、超出权重阈值的部分的时间积分。另外，在利用动作面积进行标准水平动作位置的提取的情况下，动作面积是提取位置的权重的时间积分。

例如，在组合本实施方式和实施方式2的情况下，能够修正特征提取参数和动作提取参数双方。在这种情况下，用于使提取数A减少的参数调整规则的内容是为了提取更大的特征，以如下方式调整参数。例如，参数调整规则的内容是将分辨率增加5％，使帧速率变为两倍、使CHLAC掩膜图形的距离参照点的像素间隔变为两倍、将主分量分析累计贡献度降低1％、使窗口大小增加5。另外，该参数调整规则的内容是对于动作提取参数，使权重阈值降低5％、使连续最小时间增加0.2秒、使连续最长时间增加1％、使基底函数的数量减少一个。在此情况下，参数调整规则按照预先确定的记述方式例如记述为A＞B：r＝+5；fs＝x2；ps＝x2；acr＝-1；ws＝+5；w＝-5；mint＝+0.2；maxt＝+0.1；bf＝-1。

(实施方式4)

本发明的实施方式4是按照用户从多个不同的提示量等级中指定的等级进行解析结果的提示的动作解析装置。

图14是表示一例本实施方式的动作解析装置的结构的方框图，是与实施方式1的图2对应的图。对与图2相同的部分附加相同的标号，省略相关的说明。

在图14中，动作解析装置300d具有进行不同动作的动作特征提取单元321d、提取量输入单元323d、以及动作提取度调整单元324d，以取代实施方式1的动作特征提取单元、提示量输入单元、以及动作提取度调整单元，。另外，动作解析装置300d新增有动作解析初始值设定单元327d。动作解析初始值设定单元327d例如配置在动作数据输入单元310中。

动作解析初始值设定单元327d与预先定义的多个不同的提示量等级(以下称为“提取等级”)的各个等级相对应，设定各参数的初始值(以下称为“参数初始值”)和目标提取数。具体而言，动作解析初始值设定单元327d与预先定义的提取等级相对应，基于标准动作数据，计算并设定参数初始值和目标提取数。

另外，在本实施方式中，以动作提取参数使用固定的缺省值进行说明。另外，定义了提示量较少的低等级、提示量为中等程度的中等级、以及提示量较多的高等级这三个等级作为提取等级。

提取量输入单元323d经由输入装置500从用户接受提取等级的指定，将指定了的提取(以下称为“目标提取等级”)输出到动作特征提取单元321d以及动作提取度调整单元324d。

动作特征提取单元321d将用户指定了的提取等级的参数初始值适用于特征提取参数，并进行特征量的提取。特征提取参数的值随后通过动作提取度调整单元324d进行适当调整。

动作提取度调整单元324d在提取数与由动作解析初始值设定单元327d计算出的目标提取数不一致时，调整动作特征提取单元321的特征提取参数以使其一致。

具有这样的结构的动作解析装置300d能够以用户指定的提取等级对用户提示偏离动作位置作为解析结果。另外，动作解析装置300d基于标准动作数据对每个提取等级设定适当的参数初始值以及目标提取数，所以能够缩短用于提示解析结果之前的时间。

以下，对动作解析装置300d的动作进行说明。

图15是表示一例动作解析装置300d的动作的流程图，是与实施方式1的图3对应的图。对与图3相同的部分附加相同的步骤编号，省略相关的说明。图16是表示一例本实施方式的动作解析装置300d中的信息流程的图。

首先，在步骤S1020d中，动作解析初始值设定单元327d经由输入装置500由用户输入标准动作数(以下适当地使用记号J)，并将标准动作数J输出到动作特征提取单元321d。这里，标准动作数是指动作数据输入单元310输入的标准动作数据中包含的动作的个数，例如熟练作业员向前伸手的次数。标准动作数是应作为解析对象的动作的数量的基准，例如，在标准动作数据较长的情况下或忙碌地进行动作的情况下，具有变大的倾向。

并且，在步骤S1030d中，动作解析初始值设定单元327d基于标准动作数J，计算选择中的提取等级的参数初始值以及目标提取数B。并且，动作解析初始值设定单元327d将计算出的参数初始值设定为选择中的提取等级的参数初始值，并输出到动作特征提取单元321d。另外，动作解析初始值设定单元327d将计算出的目标提取数B设定为选择中的提取等级的目标提取数B，并输出到动作提取度调整单元324d。

对每个提取等级，将如何计算参数初始值以及目标提取数B存储在动作解析初始值设定单元327d中，作为初始值计算规则。初始值计算规则可以预先存储，可以由用户手动输入，也可以根据需要经由网络等从外部获取。

例如，与低等级对应的初始值计算规则的内容例如是使分辨率为321×240、使帧速率变为2/3倍、使CHLAC掩膜图形的距离参照点的像素间隔为3、使主分量分析累计贡献度为96％、使窗口大小为对帧速率乘以动作的平均长度后除以标准动作数J得到的值、使目标提取数B为对标准动作数J乘以0.2得到的值。

另外，例如，与中等级对应的初始值计算规则的内容是使分辨率为640×480、使帧速率保持不变、使CHLAC掩膜图形的距离参照点的像素间隔为3、使主分量分析累计贡献度为97％、使窗口大小为对帧速率乘以动作的平均长度后除以标准动作数J得到的值、使目标提取数B为对标准动作数J乘以0.3得到的值。

另外，例如，与高等级对应的初始值计算规则的内容是使分辨率为1280×960、使帧速率保持不变、使CHLAC掩膜图形的距离参照点的像素间隔为2、使主分量分析累计贡献度为98％、使窗口大小为对帧速率乘以动作的平均长度后除以标准动作数J得到的值、使目标提取数B为对标准动作数J乘以0.4得到的值。

另外，动作的平均长度例如是将标准动作数据的平均播放时间除以标准动作数J而得到的时间长度。

这里，设想适用上述初始值计算规则，在原始的标准动作数据中，标准动作数J为10，平均播放时间为20秒，帧速率为30bps的情况。此时，帧速率的初始值在低等级时为20bps，在中等级以及高等级时为30bps，窗口大小在低等级时为40，在中等级时为60，在高等级时为30bps。另外，目标提取数B在低等级时为2，中等级时为3，高等级时为4。

这里，在比较对象动作数据的平均播放时间比标准动作数据的平均播放时间长的情况下，认为一般作业员的熟练度较低，因此动作的平均速度较慢。在此情况下，在比较对象动作特征量提取所使用的窗口大小的计算中，动作解析初始值设定单元327d可以不使用标准动作数据的平均播放时间，而使用比较对象动作数据的平均播放时间。但是，在比较对象动作数据的平均播放时间比标准动作数据的平均播放时间长的情况下，也有可能是一般作业员做了多余的动作。因此，动作解析初始值设定单元327d也可以使用相同的窗口大小(基于标准动作数据的平均播放时间计算的窗口大小)，进行比较对象动作特征量的提取。

然后，在步骤S1040d中，动作特征提取单元321d以及动作提取度调整单元324d经由提示量输入单元323d输入目标提取等别(以下适当地使用记号K)。具体而言，例如，从动作特征提取单元321d或者动作提取度调整单元324d接受了指示的提示量输入单元323d在输出装置400上显示用于催促进行提取等级的选择的画面。然后，提示量输入单元323d将对应地经由输入装置500选择的提取等级返送到动作特征提取单元321d以及动作提取度调整单元324d作为目标提取等级K。

其结果是，动作特征提取单元321d以及动作提取度调整单元324d采用与目标提取等级K对应的参数初始值以及目标提取数B。然后，动作解析装置300d使用采用了的参数初始值以及目标提取数B进行解析处理，提示解析结果(S1200～S1900)，并进入步骤S1910d。

在步骤S1910d中，动作解析装置300d判断是否通过用户操作等指示了将使用相同标准动作的解析处理结束。动作解析装置300d在未指示将使用相同标准动作的解析处理结束的情况下(S1910d：是)，返回到步骤S1040d。另外，动作解析装置300d在指示了将使用相同标准动作的解析处理结束的情况下(S1910d：否)，进入步骤S2000。

通过这样的动作，动作解析装置300d能够以用户指定的提取等级，即按照与标准动作数据的播放时间和标准动作数对应的适当的提示量，进行解析结果的提示。

如以上所说明的那样，本实施方式的动作解析装置300d基于标准动作数据对每个提示等级设定参数初始值以及目标提取数，以指定的提取等级进行解析处理。由此，与仅将单一的缺省值作为参数初始值使用的情况相比，动作解析装置300d能够从适当的值开始处理，不仅能够实现处理的高速化，还能提高解析结果的精度。另外，动作解析装置300d能够根据标准动作数据的播放时间和标准动作数等调整各提取等级的提示量。另外，用户并不输入数量或比例的数值，而是进行选择所谓提取等级的抽象选项的操作，由此能够调整提示量，从而能够更直观地进行操作。

另外，动作解析装置300d也可以定义两个或四个以上提取等级。

另外，动作解析装置300d可以预先对多个或全部提取等级进行解析处理，并同时或者切换显示多个解析结果。

另外，动作解析装置300d也可以默认地仅执行与一个提取等级对应的处理。在此情况下，不需要输入目标提取等级。在此情况下，也能够从适当的参数值开始处理，从而能够实现处理的高速化。

例如，特别是在将本实施方式和实施方式2组合的情况下，能够对特征提取参数和动作提取参数双方设定初始值。以下，示出对动作提取参数的初始值计算规则的例子及其计算结果的例子。

例如，与低等级对应的初始值计算规则的内容是使距离阈值为距离的最大值的65％、使连续最小时间为对动作的平均长度乘以0.5得到的值、使连续最大时间保持不变、以及使基底函数的数量为5个。

另外，例如，与中等级对应的初始值计算规则的内容是使距离阈值为距离的最大值的60％、使连续最小时间为对动作的平均长度乘以0.5得到的值、使连续最大时间保持不变、以及使基底函数的数量为5个。

另外，例如，与高等级对应的初始值计算规则的内容是使距离阈值为距离的最大值的50％、使连续最小时间为对动作的平均长度乘以0.25得到的值、使连续最大时间为对动作的平均长度乘以0.75得到的值、以及使基底函数的数量为8个。

这里，设想适用上述初始值计算规则，在原始的标准动作数据中，标准动作数J为10，平均播放时间为20秒的情况。此时，连续最小时间的初始值在低等级以及中等级时为1秒，在高等级时为0.5秒，连续最大时间在低等级以及中等级时为2秒，在高等级时为1.5秒。

另外，在以上说明的各实施方式中，动作数据采用活动图像数据，但并不限于此。作为动作数据，可以采用从动作中取得的距离数据、温度数据、加速度数据、磁数据、语音数据等能够提取出表示动作特征的特征量的各种数据。在这些情况下，传感器装置需要采用距离传感器、温度传感器、加速度传感器、以及磁传感器、集音传感器等适当装置。

另外，动作解析装置可以与画面显示一起或者代替画面显示，通过语音输出进行解析结果的提示。在此情况下，需要广播喇叭等作为主要装置。

(实施方式5)

例如在专利文献2中记载了使用CHLAC特征量的每个位置的时间积分值，利用主分量分析等进行动作评价的动作评价方法。通过使用专利文献2的方法，能够以较少的处理负荷，对用户提示影像中比较对象动作与标准动作的差异程度较大的位置。

然而，例如，在钢琴弹奏中，在用拇指弹奏do的音后接着用中指弹奏mi的音是正确的动作时，若用中指弹奏mi的音后接着用拇指弹奏do的音，则变为不同的曲子。因此，在进行了这样的动作时，期望提示影像中的中指位置和拇指位置。

另外，例如，在产品组装工序中的螺钉固定动作以与正确顺序不同的顺序进行的情况下，也期望提示比较对象动作的影像中进行该动作的位置。这是因为螺钉固定的顺序是关系到产品安全性和作业效率的重要问题。

也就是说，在各个动作正确但动作的顺序不同的一连串动作(以下称为“顺序不同动作”)发生了的情况下，期望提示该动作的位置。

但是，在非专利文献2记载的方法中，虽然能够提取顺序不同动作的时间，但无法自动提取顺序不同的动作的位置。这是因为，非专利文献2记载的方法使用对CHLAC特征量进行空间积分的、位置不变的值。

另外，在专利文献2记载的方法中，由于各个动作是正确的，因此根本无法检测顺序不同的动作的发生。这是因为，专利文献2记载的方法使用对CHLAC特征量进行时间积分的、时间不变的值。

如果将时间划分得较细并适用专利文献2记载的方法，则在划分出的每个时间中能够提取顺序不同动作的位置。然而，这样的处理比较烦杂，因此特别是在标准动作的影像数据与比较对象动作的影像数据中时间长度不同的情况下，装置的处理负荷变高。也就是说，在以往技术中，存在无法容易地提取顺序不同动作的位置的问题。

因此，作为本发明的实施方式5，说明能够容易地提取顺序不同动作的位置的动作解析装置。

以下，参照附图详细地说明本发明的实施方式5。

与实施方式1～实施方式4同样，本实施方式以将本发明适用于在熟练作业员和一般作业员工作的工厂中用于解析各一般作业员的动作的系统为例进行说明。但是，本实施方式中的动作解析系统提取一般作业员与熟练作业员的较大不同动作的位置。

图17中，本实施方式的动作解析系统100e具有传感器装置200、本实施方式的动作解析装置300e、输出装置400、以及输入装置500。

传感器装置200是检测人的动作的装置。传感器装置200将测量出的作业员的动作的数据输出到动作解析装置300e。这里，传感器装置200是将摄影出的图像的图像帧数据(活动图像数据)实时输出的摄像机，采用能够对工厂的组装流水线上并排作业的各作业员分别摄影的装置。

以下，与实施方式1～实施方式4同样，将对熟练作业员的一连串标准动作进行了摄影的时间序列的帧数据称为“标准动作数据”，将对一般对象者的一连串比较对象动作进行了摄影的时间序列的帧数据称为“比较对象动作数据”。另外，标准动作数据以及比较对象动作数据适当地总称为“动作数据”。另外，将构成比较对象动作数据的帧中，作为一个解析对象的连续的多个帧称为“对象帧”。

另外，本实施方式中的动作解析系统100e基于图像特征量进行动作解析。在本实施方式中，使用非专利文献2公开的CHLAC特征作为图像特征量。

在本实施方式中，从标准动作数据获得的图像特征量称为“标准特征量”，从标准动作数据获得的标准特征量的数据称为“标准特征量数据”。另外，从比较对象动作数据获得的图像特征量称为“比较对象特征量”，从比较对象动作数据获得的比较对象特征量的数据称为“比较对象特征量数据”。另外，标准特征量数据以及比较对象特征量数据适当地总称为“特征量数据”。

动作解析装置300e是利用与标准动作的比较来进行比较对象动作的解析的装置。动作解析装置300e从比较对象特征量数据与标准特征量数据中，提取作为表示各时刻的图像中比较对象动作与标准动作的差异(以下适当地称为“动作差异”)的大小的值的时间权重。接着，动作解析装置300e使用提取出的时间权重，计算比较对象特征量数据与标准特征量数据的各个数据的加权位置特征量。

这里，时间权重表示根据各时刻的标准特征量以及比较对象特征量计算出的、每个时刻的图像特征量的不同的程度。时间权重在某个时刻若其值较高，则表示该时刻的标准特征量与比较对象特征量的差异较大，在某个时刻若其值较小，则表示该时刻的标准特征量与比较对象特征量的差异较小。

动作解析装置300e例如对每个时刻从标准特征量生成标准部分空间，计算标准部分空间与比较对象特征量的距离，以求出各时刻的时间权重。与标准部分空间的距离的计算方法是公知技术。

例如，关于各动作数据，假设各动作数据开始点为时刻t＝0，每秒30帧的图像存在300e帧(10秒)。在此情况下，若窗口大小为1，则每个窗口的CHLAC特征量可以取298个(因为计算一个CHLAC特征量需要3帧)。这里，在标准动作数据为30帧的情况下，动作解析装置300e对每个窗口，根据标准动作数据，计算作为CHLAC特征量的帧时刻的1/30秒至9+28/30秒的298个标准部分空间。接着，动作解析装置300e基于相对于各个标准部分空间的比较对象特征量的距离求时间权重。例如，动作解析装置300e可以将这里求出的298个距离以平均值为0、方差为1进行了标准化的值作为各时刻的时间权重的值。

另外，这里，说明了对各时刻的图像特征量直接适用各帧的图像特征量的例子，但在根据动作数据而帧数不同的情况下，动作解析装置300e可以吸收时间上的伸缩。具体而言，例如，动作解析装置300e以标准动作数据的平均时间为基准，通过使帧间隔伸缩而将各动作数据的时刻变换为换算时刻后，估计必要的换算时刻的图像特征量，并进行上述处理。

例如，将帧速率F设为每秒20帧(帧间隔D＝0.05秒)进行图像特征量的提取。另外，标准动作数据的平均时间p为10秒(200帧)，某个标准动作数据的时间q为8秒(160帧)。在此情况下，该标准动作的帧间隔被换算为D’＝0.0625秒(＝p/Fq)。并且，例如，第一帧的换算时刻为t＝0，第二帧的换算时刻为t＝0.0625，第j帧的换算时刻为t＝0.0625(j-1)＝pj/Fq。

这里，动作解析装置300e可以使用与换算时刻D(j-1)最接近的换算时刻的帧的图像特征量，计算第j帧的换算时刻D(j-1)的图像特征量。另外，动作解析装置300e可以根据相邻的两个帧的图像特征量，通过估计来计算第j帧的换算时刻D(j-1)的图像特征量。

例如，动作解析装置300e在求换算时刻t＝0.5的图像特征量的情况下，利用换算时刻t＝0.5的第8帧的图像特征量。另外，动作解析装置300e可以使用换算时刻最接近的换算时刻t＝0.5625的第9帧的值，计算换算时刻t＝0.55的图像特征量。另外，动作解析装置300e可以根据与时刻t＝0.55相邻的第8帧和第9帧进行估计计算。

动作解析装置300e在使用换算时刻最接近的帧的图像特征量的情况下，能够吸收动作数据的长度不同并减轻处理负荷。另外，动作解析装置300e在通过估计进行计算的情况下能够得出更正确的结果。

图18是一例表示通过估计计算图像特征量的方法的图。

如图18所示，换算时刻n设为换算时刻t＝0.5625(第9帧)，换算时刻m设为换算时刻t＝0.5(第8帧)。这里，估计作为换算时刻t＝0.55的换算时刻k的图像特征量。

这里，例如，图像特征量的计算中，换算时刻n的帧的251维图像特征量设为V_n，换算时刻m的帧的251维图像特征量设为V_m，换算时刻k的帧的251维图像特征量设为V_k。

在此情况下，动作解析装置300e例如根据图像特征量V_n、V_m，使用下式(4)，对图像特征量V_k的每一维，计算图像特征量V_k。

V_k＝V_m+(V_n-V_m)×(k-m)/(n-m) …(4)

也就是说，动作解析装置300e假设图18所示的时间与值的差分的比例关系，估计图像特征量V_k。

例如，图像特征量V_n的第一维的值设为45000，图像特征量V_m的第一维的值设为40000。在此情况下，动作解析装置300e计算40000+(45000-40000)0.05/0.625＝40400作为图像特征量V_k的第一维的值。动作解析装置300e对于剩余的250维的值同样进行计算。

这里，说明了计算251维的值作为图像特征量的方法，但动作解析装置300e也可以使用进行主分量分析而削减了维数后的值进行估计。这样，计算量被削减。另外，这里，使用两点进行基于一次函数的估计，但动作解析装置300e也可以使用多个点，使用二次函数或三角函数等其他函数进行估计。这样，预计进一步提高估计精度。

动作解析装置300e通过这样的方法，对于标准动作数据和比较对象动作数据的全部数据、以及生成标准部分空间的换算时刻的全部时刻，计算图像特征量。随后，动作解析装置300e与不进行估计时同样，根据从标准动作数据计算出的图像特征量，对计算时间权重的每个时刻生成标准部分空间。接着，动作解析装置300e计算各个标准部分空间与从对应的比较对象动作数据计算出的图像特征量的距离，并将其作为时间权重。

另外，加权位置特征量是指将时间权重适用于特征量数据得到的值的、每个位置的时间积分。加权位置特征量换言之是时间权重对应且像素对应的CHLAC特征量。即，加权位置特征量是对特定像素附近像素的浓淡值的积赋予时间权重，对于对象帧整体合计得到的、非常为局部的特征量。例如，在非专利文献3中记载关于未附加时间权重的像素对应CHLAC特征量，因此省略说明。

另外，动作解析装置300e获取从时间权重和比较对象特征量数据得到的加权位置特征量的数据、以及从时间权重和标准特征量数据得到的加权位置特征量的数据。接着，动作解析装置300e从获取的加权位置特征量的数据和加权位置特征量的数据中，提取作为表示比较对象动作与标准动作的差异大小的值的位置权重。另外，以下，比较对象特征量数据的加权位置特征量的数据以下称为“比较对象位置特征量数据”，标准特征量数据的加权位置特征量的数据以下称为“标准位置特征量数据”。进而，动作解析装置300e生成将各位置的位置权重作为比较对象动作的影像中的各位置的重要度来表示的结果显示画面的数据，并输出到输出装置400。另外，以下，标准位置特征量数据以及比较对象位置特征量数据适当地总称为“位置特征量数据”。

这里，位置权重是指，对于位置特征量数据的差异，以使排列了各像素的d维特征量向量的矩阵的方差最大化的方式，通过fisher判别基准等进行了最优化后的，影像面上的位置的权重。

另外，在根据动作数据而图像大小不同的情况下，动作解析装置300e可以通过增减像素数来吸收图像大小的不同。具体而言，例如，动作解析装置300e以标准动作数据的像素数为基准，通过使图像大小伸缩而将各动作数据的位置变换为换算位置后，估计必要的换算位置的图像特征量，并进行上述处理。

动作解析装置300e采用具有CPU以及RAM等存储介质、以及获取活动图像数据的视频捕获器的计算机。也就是说，动作解析装置300e通过由CPU执行存储的控制程序来工作。

输出装置400基于从动作解析装置300e输入的数据，输出结果显示画面。这里，输出装置400为具有液晶显示器的监视器。另外，输出装置400也可以是远程配置的装置(远程监视装置、移动电话等)。在此情况下，输出装置400例如经由因特网等网络与动作解析装置300e连接。

输入装置500是用于由用户对动作解析装置300e进行操作的接口。这里，输入装置500例如是作为定点设备(pointing device)的鼠标、以及键盘。

这样的动作解析系统100e首先计算用于表示时间轴上的动作差异的大小的时间权重。接着，动作解析系统100e根据将时间权重适用于特征量数据而得到的位置特征量数据，计算表示影像面(每帧的空间)上的动作差异的大小的位置权重。并且，动作解析系统100e生成将计算出的位置权重作为比较对象动作的影像中的各位置的重要度来表示的结果显示画面，并对用户进行提示。由此，动作解析系统100e对于顺序不同动作也能降低处理负荷，并且能够利用加法性等CHLAC特征量的优点，容易地提取该动作的位置并对用户提示。

接着，对动作解析装置300e的结构进行说明。

图19是表示一例动作解析装置300e的结构的方框图。

图19中，动作解析装置300e具有动作数据输入单元310、时间权重提取单元331e、加权位置特征量提取单元332e、位置权重提取单元333e、以及显示信息生成单元350。

动作数据输入单元310根据来自时间权重提取单元331e的要求，从传感器装置200取得动作数据，并向时间权重提取单元331e以及显示信息生成单元350传送。动作数据的传送可以实时进行，也可以在存储动作数据后进行。另外，动作数据输入单元310接受输入装置500的用户操作，将从传感器装置200输入的动作数据在输入时或者输入后分类为标准动作数据和比较对象动作数据中的任一种数据。动作数据输入单元310可以为了再次使用而存储一度输入了的标准动作数据。

时间权重提取单元331e从动作数据中提取图像特征量，并生成特征量数据(标准特征量数据以及比较对象特征量数据)。另外，时间权重提取单元331e从生成了的标准特征量数据以及比较对象特征量数据中提取时间权重，生成对每帧定义权重的时间权重图。时间权重图是记述了比较对象动作数据的各帧的时间权重的数据。另外，时间权重提取单元331e将生成了的时间权重图与特征量数据(标准特征量数据以及比较对象特征量数据)输出到加权位置特征量提取单元332e。

加权位置特征量提取单元332e根据时间权重图与特征量数据(标准特征量数据以及比较对象特征量数据)，计算加权位置特征量(标准位置特征量以及比较对象位置特征量)，计算位置特征量数据。另外，加权位置特征量提取单元332e将计算出的位置特征量数据(标准位置特征量数据以及比较对象位置特征量数据)输出到位置权重提取单元333e。

位置权重提取单元333e从比较对象位置特征量数据以及标准位置特征量数据中提取位置权重，生成对每个位置定义权重的位置权重图。位置权重图是记述了比较对象动作数据的影像的各位置的位置权重的数据。另外，位置权重提取单元333e将生成了的位置权重图输出到显示信息生成单元350。

显示信息生成单元350根据位置权重图和动作数据，生成将各位置的位置权重作为比较对象动作的影像中的各位置的重要度来表示的结果显示画面的数据。另外，显示信息生成单元350将生成了的结果显示画面的数据输出到输出装置400。在后面描述结果显示画面的细节。

如上所述，加权位置特征量是指将时间权重适用于特征量数据得到的值的、每个位置的时间积分。另外，时间权重在动作差异较大的时间取较大的值。也就是说，各位置的加权位置特征量在存在动作差异较大的时间时变大，例如，顺序不同动作发生时，与该动作的位置对应地变大。另外，位置权重在加权位置特征量较大的位置处取较大的值。

因此，具有上述结构的动作解析装置300e在存在顺序不同动作时，能够强调与该动作对应的位置的位置权重，能够提取顺序不同动作的位置并对用户提示。

接着，对动作解析装置300e的动作进行说明。

图20是表示一例动作解析装置300e的动作的流程图。

首先，用户例如安排熟练作业员和一般作业员隔着休息时间地轮流负责包含对象动作的作业，对动作解析装置300e进行操作以对熟练作业员和一般作业员的动作分别进行摄影。通过这样，无需专门用于动作评价的时间，也不会给作业员增加负担，因此能够在不影响工厂的生产性的情况下获取用于动作解析的数据。

其结果是，动作数据输入单元310在步骤S3100e中，输入标准动作数据与比较对象动作数据。另外，动作数据输入单元310根据来自时间权重提取单元331e的要求，将输入了的标准动作数据以及比较对象动作数据输出到时间权重提取单元331e以及显示信息生成单元350。另外，动作数据输入单元310在存储过去输入了的标准动作数据的情况下，也可以将该标准动作数据输出到时间权重提取单元331e。

另外，在步骤S3200e中，时间权重提取单元331e从动作数据中提取图像特征量，并生成特征量数据(标准特征量数据和比较对象特征量数据)。

具体而言，时间权重提取单元331e例如使用下式(5)所示的N次自相关函数，计算每个位置以及每个时间的图像特征量V。

V_{f}^{N} (a_{1}, . . ., a_{N}) = &Integral; f (r) f (r + a) . . . f (r + a_{N}) dr . . . (5)

这里，f是时间序列图像，变量r以及N个变量a_i(i＝1，......，N)是具有以图像内的二维坐标和时间作为分量的三维向量。时间方向的积分范围由取多少程度的时间方向的相关来确定。也就是说，积分范围是由N个静止图像(局部特征图像)构成的三维的像素集合，变量r是图像中的一个像素(位置像素)，变量a是相对于r的位移向量。另外，f(r)是位置r的函数值，表示局部特征图像的位置r的亮度值。

在CHLAC特征量的情况下，位移为三维，位移向量的组合(位移模式)的数量在零维时为1个，一维时为13个，二维时为237个。因此，本实施方式中的图像特征量在二值化图像的情况下，表示为合计251维的特征向量。

在步骤S3300e中，时间权重提取单元331e根据标准特征量数据以及比较对象特征量数据生成时间权重图，并与标准特征量数据以及比较对象特征量数据一起，输出到加权位置特征量提取单元332e。

在步骤S3400e中，加权位置特征量提取单元332e将时间权重图适用于标准特征量数据以计算标准位置特征量数据，将时间权重图适用于比较对象特征量数据以计算比较对象位置特征量数据。另外，加权位置特征量提取单元332e将计算出的标准位置特征量数据以及比较对象位置特征量数据输出到位置权重提取单元333e。

具体而言，加权位置特征量提取单元332e根据以下所示的、式(6)表示的时间权重w_t和式(7)表示的实数的图像特征量V_t，x，y，使用式(8)计算加权位置特征量V_x，y(^～)。另外，加权位置特征量提取单元332e将排列了关于影像面整体的时间特征量V_x，y(^～)得到的数据作为位置特征量数据输出到位置权重提取单元333e。这里，记号t表示比较对象动作的影像中的时间(与帧对应)，记号x，y表示每帧的空间(影像面)中的二维位置，记号d表示图像特征量的维数，记号τ表示时间方向的积分范围。

w_t∈R …(6)

V_t，x，y∈R^d …(7)

{\tilde{V}}_{x, y} = Σ_{t = 0}^{τ - 1} w_{t} V_{t, x, y} . . . (8)

然后，在步骤S3500e中，位置权重提取单元333e根据标准位置特征量数据以及比较对象位置特征量数据生成位置权重图，并输出到显示信息生成单元350。

然后，在步骤S3600e中，显示信息生成单元350根据位置权重图、标准动作数据、以及比较对象动作数据，生成用于提示提取结果的结果显示画面，使输出装置400进行显示。

然后，在步骤S3700e中，动作解析装置300e判断是否通过用户操作等指示了将解析处理结束。动作解析装置300e在未指示将解析处理结束的情况下(S3700e：是)，返回到步骤S3100e，在指示了将解析处理结束的情况下(S3700e：否)，结束一连串的动作。

通过上述动作，动作解析装置300e计算出时间权重w_x，yt后，根据将该时间权重w_x，yt适用于特征量数据V_t，x，y(^～)得到的位置特征量数据V_x，y(^～)计算位置权重w_x，y。接着，动作解析装置300e能够将计算出的位置权重w_x，y作为影像的各位置的重要度进行提示。

以下，举出一例顺序不同动作，说明各参数的状态以及结果显示画面。

图21是表示设想的标准动作的影像以及比较对象动作的影像的图。

如图21所示，标准动作的影像601与比较对象动作的影像602的摄影角度相同。因此，动作解析装置300e在以相同顺序进行相同动作的情况下，通过使摄影角度以及摄影像素数相同，使影像上的运动的方向、大小、顺序也大致相同。

图22是表示一例设想的标准动作以及比较对象动作的内容、以及该情况下的时间权重图的图。

标准动作的例子如图22A所示包含以下动作。

(1)从左侧取得第一部件并设置在正面；

(2)左手向左斜向伸出取得第二部件并安装到第一部件上；

(3)左手向前伸出取得第三部件并安装到第一部件上；

(4)右手向前伸出取得第四部件并安装到第一部件上；

(5)将安装了第二～第四部件的第一部件放置到右侧。

另一方面，比较对象动作的例子如图22B所示包含以下动作。

(1)从左侧取得第一部件并设置在正面；

(2)左手向前伸出取得第三部件并安装到第一部件上；

(3)左手向左斜向伸出取得第二部件并安装到第一部件上；

(4)右手向前伸出取得第四部件并安装到第一部件上；

(5)将安装了第二～第四部件的第一部件放置到右侧。

也就是说，假设在比较对象动作中，第二个动作和第三个动作的顺序与标准动作不同，包含了顺序不同动作。

在此情况下，标准特征量数据与比较对象特征量数据的差异在(2)以及(3)的动作位置处变大。因此，动作解析装置300e计算出的时间权重如图22C所示在(2)以及(3)的动作位置处变大。

图23是表示图22所示的动作中的各时刻的时间权重的例子的图。这里，底纹的浓度表示时间权重的大小。另外，各记号的下标表示对应的时刻t。

另外，时刻t＝1～5依次与图22所示的动作(1)～(5)对应。即，顺序不同动作在时刻t＝2、3时发生。

如图23A所示，时间权重w₁～w₅中，与顺序不同动作对应的时间权重w₂、w₃的值变大。图像特征量V₁～V₅在进行动作(1)～(5)的位置处变为较大的值。也就是说，例如，在时刻t＝1的帧中，进行动作(1)的位置(左手从左侧向正面移动的范围)的图像特征量V_t，s，y变为较大的值，其他位置的图像特征量V_t，s，y变为较小的值。

因此，在运动较大的顺序不同动作存在时，其动作位置的加权位置特征量V_x，y(^～)如图23B所示，将在每个时刻对图像特征量V_t，s，y乘以时间权重w_t得到的值进行积分来计算，由此变为较大的值。另外，在运动较大的顺序不同动作存在时，进行该动作的位置的位置权重w_x，y也变为较大的值。另一方面，对于除此之外的位置的加权位置特征量V_x，y(^～)以及位置权重w_x，y，由于图像特征量V_x，y较小，因此无论时间权重w_t如何，都变为较小的值。

计算加权位置特征量V_x，y(^～)时的积分范围(τ)短于对象帧的整体长度时，加权位置特征量V_x，y(^～)的大小根据积分范围的位置而不同。

图24是表示一例各区间中的位置权重w_x，y的分布(位置权重图)的图。这里，底纹的浓度表示位置权重w_x，y的大小。

在时刻t＝2和时刻t＝3时，伸出左手的方向不同，因此进行动作的位置不同。因此，如图24所示，例如，在以时刻t＝2为中心的区间P＝1、以及以时刻t＝3为中心的区间P＝2中，位置权重图的内容不同。

显示信息生成单元350例如在仅提示一个区间的信息的情况下，生成使位置权重w_x，y的值较大的位置较明显的结果显示画面。例如，显示信息生成单元350设定包含位置权重w_x，y的值较大的位置的一个汇总区域(以下称为“重要区域”)。接着，显示信息生成单元350在重要区域的位置权重w_x，y的平均值越高时，使包围重要区域的线为更深的颜色或更粗。另外，例如，显示信息生成单元350生成仅鲜明地显示重要区域的影像，模糊显示其他部分的影像的结果显示画面。

图25是表示一例结果显示画面的图。

如图25所示，结果显示画面610e具有解析结果显示区域611、播放按钮612、比较对象动作显示区域613、暂停按钮614、结束按钮615、以及标准动作显示区域616。

结果显示画面610e在解析结果显示区域611中显示：时间权重的时间序列数据(权重图)617、表示规定的阈值的阈值显示线618、以及表示时间权重超过阈值显示线618的区间的标记619。另外，结果显示画面610e显示能够从输入装置500进行左右移动操作的播放位置显示线620。

结果显示画面610e在播放按钮612被按下后，在比较对象动作显示区域613中播放比较对象动作的摄影图像，并且使播放位置显示线620随着播放而移动。另外，结果显示画面610e在图像播放过程中暂停按钮614被按下后，暂时停止图像的播放。另外，标准动作显示区域616与比较对象动作显示区域613中的比较对象动作的摄影图像的播放同步地播放标准动作的摄影图像。

另外，结果显示画面610e显示与比较对象动作的摄影图像重叠而表示重要区域的框线621e。框线621e例如在时间权重超过阈值显示线618的区间中变为较浓的颜色，在其他显示区间中变为较浅的颜色。

通过这样的结果显示画面610e，用户能够使播放位置显示线620移动到标记619部分并按下播放按钮612。然后，通过该操作，用户能够迅速找出并确认由于顺序不同动作等而动作差异较大的位置的影像。另外，显示用于表示重要区域的框线621e，从而用户能够迅速找出并确认运动差异较大、作为解析对象重要度较高的位置。也就是说，用户能够简单地了解应该关注图像中的哪个位置。另外，框线621e的浓度与时间权重相对应，所以用户能够在一并确认重要度的高低的同时，通过影0像确认运动差异。

另外，框线621e的形状以及大小可以是固定的，也可以是与重要区域的形状匹配的形状以及大小。另外，结果显示画面610e可以同时或者切换显示标准动作数据的图像和比较对象动作数据图像。另外，结果显示画面610e可以一并输出与动作有关的其他数据，例如动作数据的摄影日期和时间、比较对象物的加速度数据、或者声音。

另外，结果显示画面610e的解析结果显示区域611可以一并输出标准特征量以及比较对象特征量的主分量值(principal component scores)。例如，如图26所示，结果显示画面610e的解析结果显示区域611可以包含以图像特征量的主分量值为纵轴、并且以时间为横轴的三维曲线700。三维曲线700中，例如用线711连接标准动作特征量，用线721连接比较对象特征量。这样，结果显示画面610e通过进行三维显示，能够不仅是将时间权重，而且与动作一起易于理解地显示图像特征量的变化。

如上所述，本实施方式的动作解析装置300e在计算出时间权重后，根据将时间权重适用于特征量数据得到的位置特征量数据，计算用于表示影像的各位置的重要度的位置权重。由此，本实施方式的动作解析装置300e能够容易地提取顺序不同动作。也就是说，能够在不将时间划分得较细的情况下，利用CHLAC特征量的优点，提取顺序不同动作。

另外，动作解析装置300e显示影像的位置权重较高的位置，所以能够对用户提示动作差异较大的位置。另外，动作解析装置300e显示影像的时间权重较高的时间，所以能够对用户提示动作差异较大的时间位置。也就是说，动作解析装置300e能够对用户提示应通过影像进行查看的动作。

另外，在本实施方式中，适用于标准特征量数据的时间权重图与适用于比较对象特征量数据的时间权重图采用相同的权重图，但本发明不限于此。例如，适用于标准特征量数据的时间权重图也可以采用固定了分布的时间权重图，或者在全部帧中具有恒定值的时间权重图。作为恒定值，例如可以采用对象帧的最初的时间权重的值、对象帧中时间权重的平均值、或者对象帧中时间权重的最低值。另外，时间权重也可以设置上限值。作为上限值，例如可以采用对象帧中时间权重的平均值。由此，有时标准动作与比较对象动作之间的加权位置特征量的差异变得更明确。

另外，动作解析装置可以首先基于时间权重提取作为提示对象的时间区间，对提取出的每个时间区间计算位置权重。由此，能够计算更为适当的位置权重。

另外，在本实施方式中，对于时间权重，基于标准图像吸收了时间上的伸缩，但也可以导入傅立叶级数展开。导入了傅立叶级数的时间权重对于特征量数据的差异，通过傅立叶级数展开的导入来吸收时间上的伸缩。进而，导入了傅立叶级数的时间权重是指，以使排列了各像素的d维特征量向量的矩阵的方差最大化的方式，通过fisher判别基准等进行了最优化的，时间轴上的频率权重。最优化后的时间权重具有越是动作中存在差异的帧则变得越大的特性，并且，具有按时间序列评价动作并吸收各动作数据的长度差异的效果。关于时间权重的细节，例如记载在非专利文献2中，因此省略这里的说明。

另外，在本实施方式中，动作解析装置300e计算从标准动作数据计算出的各时间的标准部分空间和从对应的比较对象动作数据计算出的图像特征量之间的距离，并作为时间权重。另外，动作解析装置300e也可以将基于计算出的距离进行标准化等处理后的值作为时间权重。另外，动作解析装置300e也可以采用对于时间特征量数据的差异，以使排列了各时间的d维特征量向量的矩阵的方差最大化的方式，通过fisher判别基准等进行了最优化的值。

另外，在标准动作的影像和比较对象动作的影像的时间长度相同，或者虽然不同但伸缩至相同时间长度的情况下，如本实施方式中说明的那样，也可以不必进行导入。另外，在该情况下，时间权重也可以仅为每帧的图像特征量的差。另外，位置权重也可以仅为每个位置的加权位置特征量的差。

另外，在本实施方式中，将图像特征量作为CHLAC特征量进行了说明，但并不限定于此。作为图像特征量，例如，能够使用利用了加权方向直方图的高次局部特征量等。在使用这种特征量的情况下，动作解析装置根据浓度比例图像求出图像的局部性方向直方图，将求出的方向直方图作为特征向量即可。在使用了这样的图像特征量的情况下，也能够容易地提取顺序不同动作的位置。

另外，在本实施方式中，在进行时间权重的计算以及位置权重的计算时，使用了从同一传感器获取的数据，但也可以使用从不同传感器获取的数据。在本实施方式中，例如，可以使用从作为同一种类传感器的摄像机传感器获取的数据。在此情况下，时间权重的计算中使用的标准数据可以采用从易于捕捉水平方向以及垂直方向的运动的略微斜前方取得的数据，位置权重的计算中使用的数据可以采用从正上方获取的数据。

这样，能够根据目的提取更适当的时间权重和位置权重。进而，例如，在时间权重的计算中，可以使用从加速度传感器获取的数据，在位置权重的计算中可以使用从摄像机传感器获取的数据。在本实施方式中，例如，使用从摄像机传感器获取的数据计算时间权重，使用从加速度传感器获取的数据计算时间权重。在此情况下，即使摄像机传感器在水平方向或垂直方向上存在死角或误差，也能够弥补摄像机传感器的弱点。在使用从加速度传感器获取的数据的情况下，在计算出局部特征量后，与根据图像计算出的特征量同样地计算时间权重。例如，在将加速度传感器安装在动作者的两手腕的情况下，计算两手的6维与加速度数据之间的相关关系的15维的共计21维的特征量，作为加速度传感器的局部特征量即可。另外，也考虑在要评价的动作所使用的工具上安装加速度传感器。这样，能够在不对动作者安装加速度传感器的情况下，进行有效利用了不同传感器的特性的动作评价。

(实施方式6)

例如，在产品的组装工序中，有时右手与左手进行不同的作业。具体而言，例如，用右手持握电动螺丝起子这样的工具，用左手取得螺钉这样的部件并进行支撑，并进行螺接固定这样的作业。这样，在用右手持握较大工具、用左手取得较小部件并进行作业时，左手如果做出无用的动作，则作业效率降低。因此，在进行了这样的动作时，期望提示该动作发生了的时间的影像。

但是，在这样的例子的情况下，在上述专利文献2以及非专利文献2记载的方法中，难以提取左手的无用的动作。

其理由如下。在上述例子的情况下，右手的动作中伴随有较大工具的运动，左手的动作中伴随有较小部件的运动。因此，与左手的动作关联的运动所占据的影像面的面积小于与右手的动作关联的运动所占据的影像面的面积。

在使用对CHLAC特征量进行空间积分得到的值的非专利文献2记载的方法中，表示左手的动作的图像特征量对积分值产生的影响较小，难以适当地提取左手的无用动作的时间。进而，表示右手的动作的图像特征量对积分值产生的影响较大，所以若另外存在这样的较大的运动，则动作时间的提取变得更困难。

另外，在专利文献2记载的方法中，虽然能够提取左手的无用动作的位置，但无法自动提取左手的无用动作的时间。这是因为，专利文献2记载的方法使用对CHLAC特征量进行时间积分的、位置不变的值。

如果将影像面划分得较细并适用非专利文献2记载的方法，在划分出的每个区域中进行动作评价，则能够提取左手的无用动作的时间。然而，这样的处理比较烦杂，所以特别是在标准动作的影像数据和比较对象动作的影像数据中影像的像素数不同的情况下，装置的处理负荷变高。也就是说，在以往技术中，存在着在关联的运动占据影像面的面积较小、但与标准动作的差异较大的动作(以下称为“小差异动作”)发生的情况下，无法容易地提取该动作时间的问题。

由此，作为本发明的实施方式6，说明能够容易地提取小差异动作的时间的动作解析装置。

以下，参照附图详细地说明本发明的实施方式6。

与实施方式1～实施方式5同样，本实施方式以将本发明适用于在熟练作业员和一般作业员工作的工厂中用于解析各一般作业员的动作的系统为例进行说明。但是，本实施方式中的动作解析系统提取一般作业员和熟练作业员的较大不同动作的时间。

图27中，本实施方式的动作解析系统100f具有：传感器装置200、本实施方式的动作解析装置300f、输出装置400、以及输入装置500。

传感器装置200是检测人的动作的装置。传感器装置200将测量出作业员的动作的数据输出到动作解析装置300f。这里，传感器装置200是将摄影出的图像的图像帧数据(活动图像数据)实时输出的摄像机，采用能够对工厂的组装流水线上并排作业的各作业员分别摄影的装置。

以下，与实施方式1～实施方式5同样，将对熟练作业员的一连串标准动作进行了摄影的时间序列的帧数据称为“标准动作数据”，将对一般对象者的一连串比较对象动作进行了摄影的时间序列的帧数据称为“比较对象动作数据”。另外，标准动作数据以及比较对象动作数据适当地总称为“动作数据”。另外，将构成比较对象动作数据的帧中，作为一个解析对象的连续的多个帧称为“对象帧”。

另外，本实施方式中的动作解析系统100f基于图像特征量进行动作解析。在本实施方式中，使用非专利文献2公开的CHLAC特征作为图像特征量。CHLAC特征是将作为基于二维数据的特征提取的高次局部自相关(HLAC)特征加上时间轴以扩展为三维的特征，是表示在图像的平面空间上加上了时间轴的三维坐标系中的运动特征的特征向量。

在本实施方式中，与实施方式5同样，从标准动作数据得到的图像特征量称为“标准特征量”，从标准动作数据得到的标准特征量的数据称为“标准特征量数据”。另外，从比较对象动作数据获得的图像特征量称为“比较对象特征量”，从比较对象动作数据获得的比较对象特征量的数据称为“比较对象特征量数据”。另外，标准特征量数据以及比较对象特征量数据适当地总称为“特征量数据”。

动作解析装置300f是利用与标准动作的比较来进行比较对象动作的解析的装置。动作解析装置300f从比较对象特征量数据和标准特征量数据中提取位置特征量。另外，动作解析装置300f从该位置特征量中，提取作为表示影像面的每个位置的比较对象动作与标准动作的差异(以下适当地称为“动作差异”)的大小的值的位置权重。接着，动作解析装置300f使用提取出的位置权重，计算比较对象特征量数据和标准特征量数据的各自的时间特征量。

这里，位置特征量是对各时刻的图像上的用二维坐标表示的某个特定位置的特征量，按照对象帧的数量将其相加得到的值。另外，位置权重表示根据影像面的各位置(以下简单地称为“位置”)的标准特征量以及比较对象特征量计算出的、每个位置的图像特征量的不同的程度。位置权重在某个位置处其值较高时，表示该位置的标准特征量和比较对象特征量的差异较大，在某个位置处其值较小时，表示该位置的标准特征量和比较对象特征量的差异较小。如非专利文献3所公开的那样，位置权重可以使用固有权重图的值，也可以使用利用了fisher判别基准的fisher权重图的值。

另外，在根据动作数据而像素数不同的情况下，动作解析装置300f可以吸收二维空间的伸缩。具体而言，例如，动作解析装置300f以标准动作数据的像素数为基准，增减比较对象数据的像素数，然后进行上述处理。

另外，加权时间特征量是指将位置权重适用于特征量数据得到的值的、每个时间(每帧)的空间积分。加权时间特征量换言之是位置权重对应的CHLAC特征量。也就是说，加权时间特征量是对特定像素附近像素的浓淡值的积赋予位置权重，对于图像面整体合计得到的、非常为局部的特征量。例如，在非专利文献2中记载了有关未进行位置权重的CHLAC特征，因而省略其说明。

另外，动作解析装置300f取得从比较对象特征量数据得到的加权时间特征量的数据、以及从标准特征量数据得到的加权时间特征量的数据。接着，动作解析装置300f从取得的加权时间特征量的数据和加权时间特征量的数据中，提取作为表示比较对象动作与标准动作的差异大小的值的时间权重。另外，以下，比较对象特征量数据的加权时间特征量的数据以下称为“比较对象时间特征量数据”，标准特征量数据的加权时间特征量的数据以下称为“标准时间特征量数据”。进而，动作解析装置300f生成将各时间的时间权重作为比较对象动作的影像中各时间的重要度来表示的结果显示画面的数据，并输出到输出装置400。另外，以下，标准时间特征量数据以及比较对象时间特征量数据适当地总称为“时间特征量数据”。

这里，时间权重是指从标准动作数据以及位置权重计算出的各时间的标准部分空间与从对应的比较对象动作数据以及位置权重计算出的图像特征量的距离。

另外，在根据动作数据而帧数不同的情况下，动作解析装置300f可以吸收时间上的伸缩。具体而言，例如，动作解析装置300f以标准动作数据的平均时间为基准，通过使帧间隔伸缩而将各动作数据的时刻变换为换算时刻后，估计必要的换算时刻的图像特征量，并进行上述处理。图像特征量的估计可以使用与要估计的时刻最接近的特征量进行近似，或者使用估计时刻的前后两点的特征量利用一次函数进行估计，或者使用附近的多个点而利用二次函数或三角函数等其他函数进行估计。这样，预计进一步提高估计精度。

动作解析装置300f采用具有CPU以及RAM等存储介质、以及获取活动图像数据的视频捕获器的计算机。即，动作解析装置300f通过由CPU执行存储的控制程序来工作。

输出装置400基于从动作解析装置300f输入的数据，输出结果显示画面。这里，输出装置400为具有液晶显示器的监视器。另外，输出装置400也可以是远程配置的装置(远程监视装置、移动电话等)。在此情况下，输出装置400例如经由因特网等网络与动作解析装置300f连接。

输入装置500是用于由用户操作动作解析装置300f的接口。这里，输入装置500例如是作为定点设备(pointing device)的鼠标、以及键盘。

这样的动作解析系统100f首先计算用于表示影像面(每帧的二维空间)上的动作差异的大小的位置权重。接着，动作解析系统100f根据将位置权重适用于特征量数据得到的时间特征量数据，计算用于表示时间轴上的动作差异的大小的时间权重。另外，动作解析系统100f生成将计算出的时间权重作为比较对象动作的影像中各时间的重要度来表示的结果显示画面，并对用户进行提示。由此，动作解析系统100f对于小差异动作也能够降低处理负荷，并且能够有效利用加法性等CHLAC特征量的优点，容易地提取其发生时间并对用户提示。也就是说，动作解析系统100f能够在抑制随同动作而运动的物体的大小所产生的影响的状态下，进行差异动作的提取。

接着，对动作解析装置300f的结构进行说明。

图28是表示一例动作解析装置300f的结构的方框图。

图28中，动作解析装置300f具有动作数据输入单元310、位置权重提取单元341f、加权时间特征量提取单元342f、时间权重提取单元343f、以及显示信息生成单元350。

动作数据输入单元310根据来自位置权重提取单元341f的要求，从传感器装置200取得动作数据，并向位置权重提取单元341f以及显示信息生成单元350传送。动作数据的传送可以实时进行，也可以在存储动作数据后进行。另外，动作数据输入单元310接受输入装置500的用户操作，将从传感器装置200输入的动作数据在输入时或者输入后分类为标准动作数据和比较对象动作数据中的任一种数据。动作数据输入单元310可以为了再次使用而存储一度输入了的标准动作数据。

位置权重提取单元341f从动作数据中提取图像特征量，并生成特征量数据(标准特征量数据以及比较对象特征量数据)。另外，位置权重提取单元341f从生成了的标准特征量数据以及比较对象特征量数据中提取位置权重，生成对每个位置定义权重的位置权重图。位置权重图是记述比较对象动作数据的影像面的各位置的位置权重的数据。另外，位置权重提取单元341f将生成了的位置权重图与特征量数据(标准特征量数据以及比较对象特征量数据)输出到加权时间特征量提取单元342f。

加权时间特征量提取单元342f根据位置权重图和特征量数据(标准特征量数据以及比较对象特征量数据)，计算加权时间特征量(标准时间特征量以及比较对象时间特征量)，计算时间特征量数据。另外，加权时间特征量提取单元342f将计算出的时间特征量数据(标准时间特征量数据以及比较对象时间特征量数据)输出到时间权重提取单元343f。

时间权重提取单元343f从比较对象时间特征量数据以及标准时间特征量数据中提取时间权重，生成对每个时间定义权重的时间权重图。时间权重图是记述比较对象动作数据的影像的各时间的时间权重的数据。另外，时间权重提取单元343f将生成了的时间权重图输出到显示信息生成单元350。

显示信息生成单元350根据时间权重图和动作数据，生成将各时间的时间权重作为比较对象动作的影像中的各时间的重要度来表示的结果显示画面的数据。另外，显示信息生成单元350将生成了的结果显示画面的数据输出到输出装置400。在后面描述结果显示画面的细节。

如上所述，加权时间特征量是指将位置权重适用于特征量数据得到的值的、每个时间(为了平滑化而合并了若干帧的每个窗口)的空间积分。另外，位置权重在动作差异较大的位置处取较大的值。也就是说，各时间的加权时间特征量在存在动作差异较大的位置时变大，例如，小差异动作发生时，与该动作的时间对应地变大。另外，时间权重在加权时间特征量较大的位置处取较大的值。

因此，具有上述结构的动作解析装置300f在存在小差异动作时，能够强调与该动作对应的时间的时间权重，能够提取小差异动作的时间并对用户提示。

接着，对动作解析装置300f的动作进行说明。

图29是表示一例动作解析装置300f的动作的流程图。

首先，用户例如安排熟练作业员和一般作业员隔着休息时间地轮流负责包含对象动作的作业，对动作解析装置300f进行操作以对熟练作业员和一般作业员的动作分别进行摄影。这样，无需专门用于动作评价的时间，也不会给作业员增加负担，因此能够在不影响工厂的生产性的情况下获取用于动作解析的数据。

其结果是，动作数据输入单元310在步骤S3100f中，输入标准动作数据和比较对象动作数据。另外，动作数据输入单元310根据来自位置权重提取单元341f的要求，将输入了的标准动作数据以及比较对象动作数据输出到位置权重提取单元341f以及显示信息生成单元350。另外，动作数据输入单元310在存储过去输入的标准动作数据的情况下，也可以将该标准动作数据输出到位置权重提取单元341f。

然后，在步骤S3200f中，位置权重提取单元341f从动作数据中提取图像特征量，并生成特征量数据(标准特征量数据以及比较对象特征量数据)。

具体而言，位置权重提取单元341f例如使用下式(9)所示的N次自相关函数，计算每个位置以及每个时间的图像特征量V。

V_{f}^{N} (a_{1}, . . ., a_{N}) = &Integral; f (r) f (r + a) . . . f (r + a_{N}) dr . . . (9)

这里，f是时间序列图像，变量r以及N个变量a_i(i＝1，厖，N)是具有以图像内的二维坐标和时间作为分量的三维向量。时间方向的积分范围由取多少程度的时间方向的相关来确定。也就是说，积分范围是由N个静止图像(局部特征图像)构成的三维的像素集合，变量r是图像中的一个像素(位置像素)，变量a是相对于r的位移向量。另外，f(r)是位置r的函数值，表示局部特征图像的位置r的亮度值。

在步骤S3310f中，位置权重提取单元341f根据标准特征量数据以及比较对象特征量数据生成位置权重图，并与标准特征量数据以及比较对象特征量数据一起，输出到加权时间特征量提取单元342f。

在步骤S3410f中，加权时间特征量提取单元342f将位置权重图适用于标准特征量数据以计算标准时间特征量数据，将位置权重图适用于比较对象特征量数据以计算比较对象时间特征量数据。另外，加权时间特征量提取单元342f将计算出的标准时间特征量数据以及比较对象时间特征量数据输出到时间权重提取单元343f。

具体而言，加权时间特征量提取单元342f根据以下所示的、式(10)表示的位置权重w_x，y与式(11)表示的实数的图像特征量V_t，x，y，使用式(12)计算加权时间特征量V_t(^～)。另外，加权时间特征量提取单元342f将排列了关于影像面整体的加权时间特征量V_t(^～)得到的数据输出到时间权重提取单元343f作为时间特征量数据。这里，记号t表示比较对象动作的影像中的时间(与帧对应)，记号x，y表示每帧的空间(影像面)中的二维位置，记号d表示图像特征量的维数，记号n、m表示影像的纵横方向各自的像素数。

w_x，y∈R …(10)

V_t，x，y∈R^d …(11)

{\tilde{V}}_{t} = Σ_{x = 1, y = 1}^{x = n, y = m} w_{x, y} V_{t, x, y} . . . (12)

然后，在步骤S3510f中，时间权重提取单元343f根据标准时间特征量数据以及比较对象时间特征量数据生成时间权重图，并输出到显示信息生成单元350。

然后，在步骤S3610f中，显示信息生成单元350根据时间权重图、标准动作数据、以及比较对象动作数据，生成将提取结果进行提示的结果显示画面，使输出装置400进行显示。

然后，在步骤S3700f中，动作解析装置300f判断是否通过用户操作等指示了将解析处理结束。动作解析装置300f在未指示将解析处理结束的情况下(S3700f：是)，返回到步骤S3100f，在指示了将解析处理结束的情况下(S3700f：否)，结束一连串动作。

通过上述动作，动作解析装置300f计算出位置权重w_x，y后，根据将该位置权重w_x，y适用于特征量数据V_t，x，y得到的时间特征量数据V_t(^～)计算时间权重w_t。接着，动作解析装置300f能够将计算出的时间权重w_t作为影像的各时间的重要度进行提示。

以下，有时动作的画面上的位置中存在差异，从时间轴上看时存在其他的较大动作，因此成为相对较小的动作。举出一例可以称为这样的标准动作与比较对象动作的差异动作的动作(以下简单地称为“小差异动作”)，说明各参数的状态以及结果显示画面。

图30是表示设想的标准动作的影像以及比较对象动作的影像的图。

如图30所示，标准动作的影像601与比较对象动作的影像602的摄影角度以及摄影像素数相同。因此，在以相同顺序进行相同动作的情况下，动作解析装置300f通过使摄影角度相同，使影像上的运动的方向、大小、顺序也大致相同。

图31是表示一例设想的标准动作以及比较对象动作的内容、以及该情况下的位置权重图的图。

标准动作的例子如图31A所示包含以下动作。

(1)从右侧移动较大的第一部件605并设置在正面；

(2)右手向前伸出取得工具606；

(3)左手向前伸出取得第二部件607；

(4)使用工具606将第二部件607安装到第一部件605上；

(5)将安装了第二部件607的第一部件605送到左侧。

另一方面，比较对象动作的例子如图31B所示包含以下动作。

(1)从右侧移动较大的第一部件605并设置在正面；

(2)右手向前伸出取得工具606；

(3)左手向左斜向伸出取得第二部件607；

(4)使用工具606将第二部件607安装到第一部件605上；

(5)将安装了第二部件607的第一部件605送到左侧。

即，比较对象动作中，取第二部件607的动作的方向与标准动作不同。

在此情况下，标准特征量数据与比较对象特征量数据的差异在(3)的动作位置处变大。因此，动作解析装置300f计算出的位置权重如图31C所示在(3)的动作位置处变大。这里，底纹的浓度表示位置权重的大小。

在对以往的CHLAC特征量即图像特征量，每帧地进行空间积分得到的值中，将像素的值均等地相加。因此，在右手的动作的图像特征量上加上第一工具606的运动的图像特征量，左手的动作的图像特征量变得相对较少，难以提取左手的动作的差异。特别是，在工具606较大，相对而言第二部件607非常小的情况下，与左手的动作有关的图像特征量占该时间内的帧整体的图像特征量的比例变得更小，更难提取左手的动作的差异。

关于这一点，动作解析装置300f将图31C所示的对每个位置反映动作的差异的位置权重适用于图像特征量，因而能够强调并容易提取(3)这样的小差异动作。

图32是表示图31所示的动作中各时刻的位置权重w_x，y的分布(位置权重图)例子的图。这里，底纹的浓度表示位置权重的大小。另外，各记号的下标表示对应的时间t。另外，时刻t＝1～5依序与图31所示的动作(1)～(5)对应。也就是说，在时刻t＝3时发生小差异动作。

如图32所示，位置权重中，与小差异动作对应的位置的位置权重w_x，y的值变大。图像特征量V₁(^～)～V₅(^～)在进行动作(1)～(5)的位置处变为较大的值。也就是说，例如，在时间t＝3的帧中，进行动作(3)的位置(左手向斜前方移动的范围)的图像特征量V_t，s，y为相对较大的值，其他位置的图像特征量V_t，s，y为相对较小的值。

因此，在(3)的动作这样的小差异动作存在时，进行该动作的时间的加权时间特征量V_t(^～)以如下方式求出。加权时间特征量V_t(^～)如图32所示，将在每个位置对图像特征量V_t，x，y乘以位置权重w_x，y得到的值进行积分来计算，由此变为相对较大的值。另外，在(3)的动作这样的小差异动作存在时，即使在同一帧中同时包含了较大的动作，其时间的时间权重w_t也变为相对较大的值。

图33是表示一例结果显示画面的图。

如图33所示，结果显示画面610f具有解析结果显示区域611、播放按钮612、比较对象动作显示区域613、暂停按钮614、结束按钮615、以及标准动作显示区域616。

结果显示画面610f在解析结果显示区域611中显示：时间权重的时间序列数据(权重图)617、表示规定的阈值的阈值显示线618、以及表示时间权重超过阈值显示线618的区间的标记619。另外，结果显示画面610f显示能够从输入装置500进行左右移动操作的播放位置显示线620。

结果显示画面610f在播放按钮612被按下后，在比较对象动作显示区域613中播放比较对象动作的摄影图像，并且使播放位置显示线620随着播放而移动。另外，结果显示画面610f在图像播放过程中暂停按钮614被按下后，暂时停止图像的播放。另外，标准动作显示区域616与比较对象动作显示区域613中的比较对象动作的摄影图像的播放同步地播放标准动作的摄影图像。

另外，结果显示画面610f显示与比较对象动作的摄影图像重叠而表示重要区域的框线621f。框线621f例如在时间权重超过阈值显示线618的区间中变为较浓的颜色，在其他显示区间中变为较浅的颜色。

通过这样的结果显示画面610f，用户能够使播放位置显示线620向标记619部分移动并按下播放按钮612。另外，通过该操作，用户能够迅速找出并确认因小差异动作等而动作差异较大的时间的影像。另外，显示用于表示重要区域的框线621f，因而用户能够迅速找出并确认小差异动作等运动差异较大、且作为解析对象重要度较高的位置。也就是说，用户能够简单地了解应该关注图像中的哪个位置。另外，框线621f的浓度与时间权重相对应，因而用户能够在一并确认重要度的高低的同时，通过影像确认运动差异。

另外，框线621f的形状以及大小可以是固定的，也可以是与重要区域的形状匹配的形状以及大小。另外，结果显示画面610f可以同时或者切换显示标准动作数据的图像和比较对象动作数据图像。另外，结果显示画面610f可以一并输出与动作有关的其他数据，例如动作数据的摄影日期和时间、比较对象物的加速度数据、或者语音。

另外，结果显示画面610f的解析结果显示区域611可以一并输出标准特征量以及比较对象特征量的主分量值。例如，如图34所示，结果显示画面610f的解析结果显示区域611可以包含以图像特征量的主分量值为纵轴、并且以时间为横轴的三维曲线700。三维曲线700中，例如用线711连接标准动作特征量，用线721连接比较对象特征量。这样，结果显示画面610f通过进行三维显示，不仅能够与时间权重，而且能够与动作一起易于理解地显示图像特征量的变化。

如上所述，本实施方式的动作解析装置300f在计算出位置权重后，根据将位置权重适用于特征量数据得到的时间特征量数据，计算用于表示影像的各时间的重要度的时间权重。由此，本实施方式的动作解析装置300f能够容易地提取小差异动作。也就是说，能够在不将影像面划分得较细的情况下，有效利用CHLAC特征量的优点，提取小差异动作。

另外，动作解析装置300f将影像的位置权重较高的位置进行显示，因而能够对用户提示动作差异较大的位置。另外，动作解析装置300f将影像的时间权重较高的时间进行显示，因而能够对用户提示动作差异较大的时间位置。也就是说，动作解析装置300f能够对用户提示应通过影像进行查看的动作。

另外，在本实施方式中，适用于标准特征量数据的位置权重图与适用于比较对象特征量数据的位置权重图采用相同的权重图，但本发明不限于此。例如，适用于标准特征量数据的位置权重图也可以采用被固定的分布的位置权重图，或者在全部区域中具有恒定值的位置权重图。作为恒定值，例如可以采用影像面的中心的位置权重的值、影像面中位置权重的平均值、或者影像面中的位置权重的最低值。另外，位置权重也可以设置上限值。作为上限值，例如可以采用影像面中位置权重的平均值。由此，有时标准动作与比较对象动作之间的加权时间特征量的差异更明确。

另外，动作解析装置可以首先基于位置权重提取作为提示对象的区域，对提取出的每个区域计算时间权重。由此，能够计算更适当的时间权重。

另外，在本实施方式中，对于时间权重，基于标准图像吸收了时间上的伸缩，但也可以导入傅立叶级数展开。导入了傅立叶级数的时间权重对于特征量数据的差异，通过傅立叶级数展开的导入来吸收时间上的伸缩。接着，导入了傅立叶级数的时间权重是指，以使排列了各像素的d维特征量向量的矩阵的方差最大化的方式，通过fisher判别基准等进行了最优化的，时间轴上的频率权重。最优化后的时间权重具有越是动作中存在差异的帧则变得越大的特性，并且，具有按时间序列评价动作并吸收各动作数据的长度差异的效果。例如在非专利文献3中记载了有关时间权重的细节，因此省略这里的说明。

另外，在本实施方式中，动作解析装置300f计算从标准动作数据计算出的各时间的标准部分空间与从对应的比较对象动作数据计算出的图像特征量的距离，并作为时间权重。另外，动作解析装置300f可以将基于计算出的距离进行标准化等处理后的值作为时间权重。另外，动作解析装置300f也可以采用对于时间特征量数据的差异，以使排列了各时间的d维特征量向量的矩阵的方差最大化的方式，通过fisher判别基准等进行了最优化的值。另外，时间权重也可以仅为每帧的加权时间特征量的差。

另外，在本实施方式中，将图像特征量作为CHLAC特征量进行了说明，但并不限定于此。作为图像特征量，例如，能够使用利用了方向直方图的高次局部特征量等。在使用这种特征量的情况下，动作解析装置根据浓度比例图像求出图像的局部性方向直方图，将求出的方向直方图作为特征向量即可。在使用了这样的图像特征量的情况下，也能够容易地提取小差异动作的时间。

另外，在本实施方式中，在进行时间权重的计算以及位置权重的计算时，使用了从同一传感器获取的数据，但也可以使用从不同传感器获取的数据。例如，在本实施方式中，也可以使用从作为同一种类传感器的摄像相机传感器获取的数据。在此情况下，时间权重的计算中使用的标准数据可以采用从易于捕捉水平方向以及垂直方向的运动的略微斜前方取得的数据，位置权重的计算中使用的数据可以采用从正上方获取的数据。这样，能够根据目的提取更适当的时间权重和位置权重。

进而，例如，在时间权重的计算中，可以使用从加速度传感器获取的数据，在位置权重的计算中可以使用从摄像机传感器获取的数据。在本实施方式中，例如，使用从摄像机传感器获取的数据计算时间权重，使用从加速度传感器获取的数据计算时间权重。在此情况下，即使摄像机传感器在水平方向或垂直方向上存在死角或误差，也能够弥补摄像机传感器的弱点。在使用从加速度传感器获取的数据的情况下，在计算出局部特征量后，与根据图像计算出的特征量同样地计算时间权重。例如，对于加速度传感器的局部特征量的计算，在将加速度传感器安装在动作者的两手腕的情况下，计算两手的6维与加速度数据之间的相关关系的15维的共计21维的特征量，作为加速度传感器的局部特征量即可。另外，也考虑在要评价的动作所使用的工具上安装加速度传感器。这样，能够在不对动作者安装加速度传感器的情况下，进行有效利用了不同传感器的特性的动作评价。

(实施方式7)

以上说明的实施方式5以及实施方式6能够与实施方式1～实施方式4中的任一个进行组合。也就是说，在实施方式1～实施方式4中，能够将解析的对象设为实施方式5中说明了的顺序不同动作、实施方式6中说明了的小差异动作。由此，对于顺序不同动作的提取结果的提示量、小差异动作的时间的提取结果的提示量，也能容易地进行调整。作为本发明的实施方式7，说明组合了实施方式1与实施方式5或实施方式6的动作解析装置。

这里，动作解析装置使用至少包含时间分量和位置分量的图像特征量进行动作解析。以下，将时间分量以及位置分量中的一个分量作为“第一分量”，将另一个分量作为“第二分量”。另外，在比较对象特征量数据和标准特征量数据之间的差异中，将表示第一分量的每个值的差异大小的权重称为“第一权重”，将表示第二分量的每个值的差异大小的权重称为“第二权重”。

也就是说，在第一分量为时间分量的情况下，第一权重为时间权重，第二权重为位置权重。将该情况称为“第一模式”。另外，在第一分量为位置分量的情况下，第一权重为位置权重，第二权重为时间权重。将该情况称为“第二模式”。

图35是表示一例本实施方式的动作解析装置的结构的方框图，是与实施方式1的图2、实施方式5的图19、以及实施方式6的图28对应的图。

图35中，动作解析装置300g具有动作数据输入单元310、动作特征提取单元321g、动作提取单元322g、提示量输入单元323、动作提取度调整单元324、以及动作提取结果提示单元325。动作特征提取单元321g具有第一权重提取单元341g以及加权特征量提取单元342g。动作提取单元322g具有第二权重提取单元343g。

首先，对第一模式中各部分的功能进行说明。

第一权重提取单元341g与实施方式5的时间权重提取单元331e具有相同的功能。但是，第一权重提取单元341g中使用的参数的值由动作提取度调整单元324进行适当调整。这里，数值被调整的参数是上述的第一参数中的例如分辨率、帧速率、CHLAC掩膜图形的距离参照点的像素间隔、主分量分析累计贡献度、窗口大小、基底函数的数量、展开数、时间权重阈值、以及连续最小(最长)时间等。

加权特征量提取单元342g与实施方式5的加权位置特征量提取单元332e具有相同的功能。但是，加权特征量提取单元342g中使用的参数的值由动作提取度调整单元324进行适当调整。这里，数值被调整的参数是上述的第一参数中的例如分辨率、帧速率、CHLAC掩膜图形的距离参照点的像素间隔、主分量分析累计贡献度、以及窗口大小等。

第二权重提取单元343g与实施方式5的位置权重提取单元333e具有相同的功能。但是，第二权重提取单元343g中使用的参数的值由动作提取度调整单元324进行适当调整。这里，数值被调整的参数是上述的第二参数以及第三参数中的例如基底函数的数量、展开数、位置权重阈值、以及连续最小(最大)区域等。

即，第二模式是组合了实施方式5与实施方式1的模式。

接着，对第二模式中各部分的功能进行说明。

第一权重提取单元341g与实施方式6的位置权重提取单元341f具有相同的功能。但是，第一权重提取单元341g中使用的参数的值由动作提取度调整单元324进行适当调整。这里，数值被调整的参数是上述的第一参数中的例如分辨率、帧速率、CHLAC掩膜图形的距离参照点的像素间隔、主分量分析累计贡献度、窗口大小、基底函数的数量、展开数、位置权重阈值、以及连续最小(最大)区域等。

加权特征量提取单元342g与实施方式6的加权时间特征量提取单元342f具有相同的功能。但是，加权特征量提取单元342g中使用的参数的值由动作提取度调整单元324进行适当调整。这里，数值被调整的参数是上述的第一参数中的例如分辨率、帧速率、CHLAC掩膜图形的距离参照点的像素间隔、主分量分析累计贡献度、以及窗口大小等。

第二权重提取单元343g与实施方式6的时间权重提取单元343f具有相同的功能。但是，第二权重提取单元343g中使用的参数的值由动作提取度调整单元324进行适当调整。这里，数值被调整的参数是上述的第二参数以及第三参数中的例如基底函数的数量、展开数、时间权重阈值、以及连续最小(最长)时间等。

也就是说，第二模式是组合了实施方式6与实施方式2的模式。

动作解析装置300g的动作为仅将实施方式1说明了的动作中作为提取数A进行计数的对象的提取处理置换为实施方式5或实施方式6说明了的解析对象的提取处理。因此，省略对动作解析装置300g的动作的说明。

这样，本实施方式的动作解析装置300g对于顺序不同动作的提取结果的提示量、小差异动作的时间的提取结果的提示量，也能够容易地进行调整。因此，通过使用动作解析装置300g，能够在不同用途中进行与各种需求相符的动作解析。

此外，在本实施方式中，仅说明了与实施方式1的组合，同样，也能组合实施方式2～实施方式4与实施方式5或实施方式6。

另外，也可以可切换地组合实施方式5以及实施方式6双方。也就是说，动作解析装置可以利用用户指定等来切换上述第一分量采用时间分量还是位置分量。在此情况下，动作解析装置例如具有以下两个系统即可，即：包括时间权重提取单元331e、加权位置特征量提取单元332e以及位置权重提取单元333e的系统，以及包括位置权重提取单元341f、加权时间特征量提取单元342f以及时间权重提取单元343f的系统。

进而，也可以可切换地组合仅实施方式5以及实施方式6。在此情况下，虽然无法调整提示量，但能够进行多方面的动作解析。

另外，本发明的适用对象在以上说明了的实施方式1～实施方式7中设为适用于解析工厂中的作业动作的装置，但不限于此。本发明能够适用于对例如车辆驾驶、运动、烹饪、乐器演奏等各种动作进行解析的装置等其他各种装置。

如上所述，本发明的第1方式的动作解析装置是通过与标准动作的比较来进行比较对象动作的解析的动作解析装置，包括：动作差异提取单元，判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置；提示量输入单元，接受对满足所述规定条件的位置的提示量的指定；以及动作提取度调整单元，调整所述规定条件，以使满足所述规定条件的位置的数量为所述指定的提示量。

本发明的第2方式的动作解析装置在所述第1方式的动作解析装置中，还包括：动作数据输入单元，输入作为一连串所述标准动作的动作数据的标准动作数据和作为一连串所述比较对象动作的动作数据的比较对象动作数据，所述动作差异提取单元使用第一参数从所述标准动作数据以及所述比较对象动作数据的各个动作数据中提取特征量，使用第二参数提取所述比较对象动作数据的特征量和所述标准动作数据的特征量之间的差异，并对提取出的差异满足由第三参数确定的条件的位置进行提取，所述动作提取度调整单元调整所述第一参数、所述第二参数、以及所述第三参数中的至少一个参数。

本发明的第3方式的动作解析装置在所述第2方式的动作解析装置中，所述动作数据为活动图像数据，所述特征量为CHLAC特征。

本发明的第4方式的动作解析装置为在所述第2方式的动作解析装置中，由所述第三参数确定的条件是所述差异大于所述第三参数。

本发明的第5方式的动作解析装置为在所述第2方式的动作解析装置中，所述提示量是满足由所述第三参数确定的条件的位置的个数。

本发明的第6方式的动作解析装置在所述第2方式的动作解析装置中，所述提示量是满足由所述第三参数确定的条件的位置的时间长度的合计。

本发明的第7方式的动作解析装置为在所述第2方式的动作解析装置中，由所述第三参数确定的条件是所述差异小于所述第三参数。

本发明的第8方式的动作解析装置为在所述第1方式的动作解析装置中，还包括：动作数据输入单元，输入作为一连串所述标准动作的活动图像数据的标准动作数据和作为一连串所述比较对象动作的活动图像数据的比较对象动作数据，所述动作差异提取单元使用第四参数，将在CHLAC特征中导入时间权重并计算影像特征时的时间权重，作为表示所述比较对象动作与所述标准动作的差异的特征量进行提取，并且提取所述特征量满足由第五参数确定的条件的位置，所述动作提取度调整单元调整所述第四参数以及所述第五参数中的至少一个参数。

本发明的第9方式的动作解析装置为在所述第1方式的动作解析装置中，还包括：动作解析初始值设定单元，与多个不同的提示量等级中的各个等级对应，基于所述标准动作数据，设定所述规定条件的初始值以及所述提示量的目标值，所述动作提取度调整单元根据所述等级的指定，接受所述规定条件的初始值以及所述提示量的指定。

本发明的第10方式的动作解析方法是通过与标准动作的比较来进行比较对象动作的解析的动作解析方法，包括：接受对所述解析的结果的提示量的指定的步骤；判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置的步骤；以及在满足所述规定条件的位置的数量与指定了的提示量不同时调整所述规定条件的步骤。

本发明的第11方式的动作解析装置是通过与标准动作的比较来进行比较对象动作的解析的动作解析装置，包括：时间权重提取单元，从作为所述比较对象动作的图像特征量的数据的比较对象特征量数据和作为所述标准动作的图像特征量的数据的标准特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的时间权重；加权位置特征量提取单元，对于所述比较对象特征量数据以及所述标准特征量数据中的各个特征量数据，计算作为适用了所述时间权重的值的每个位置的时间积分的加权位置特征量；以及位置权重提取单元，从作为所述比较对象特征量数据的所述加权位置特征量的数据的比较对象位置特征量数据、以及作为所述标准特征量数据的所述加权位置特征量的数据的标准位置特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的位置权重。

本发明的第12方式的动作解析装置为在所述第11方式的动作解析装置中，还包括：显示信息生成单元，基于所述位置权重，生成用于表示所述比较对象动作的影像中的各位置的重要度的信息。

本发明的第13方式的动作解析装置为在所述第11方式的动作解析装置中，还包括：显示信息生成单元，基于所述位置权重以及所述时间权重，生成用于表示所述比较对象动作的影像中的各位置的重要度和各时间的重要度的信息。

本发明的第14方式的动作解析装置为在所述第11方式的动作解析装置中，所述图像特征量为CHLAC特征量。

本发明的第15方式的动作解析方法是通过与标准动作的比较来进行比较对象动作的解析的动作解析方法，包括：从作为所述比较对象动作的图像特征量的数据的比较对象特征量数据和作为所述标准动作的图像特征量的数据的标准特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的时间权重的步骤；对于所述比较对象特征量数据以及所述标准特征量数据中的各个特征量数据计算作为适用了所述时间权重的值的每个位置的时间积分的加权位置特征量的步骤；以及从作为所述比较对象特征量数据的所述加权位置特征量的数据的比较对象位置特征量数据、以及作为所述标准特征量数据的所述加权位置特征量的数据的标准位置特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的位置权重的步骤。

本发明的第16方式的动作解析装置是通过与标准动作的比较来进行比较对象动作的解析的动作解析装置，包括：位置权重提取单元，从作为所述比较对象动作的图像特征量的数据的比较对象特征量数据和作为所述标准动作的图像特征量的数据的标准特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的位置权重；加权时间特征量提取单元，对于所述比较对象特征量数据以及所述标准特征量数据中的各个特征量数据计算作为适用了所述位置权重的值的每个时间的空间积分的加权时间特征量；以及时间权重提取单元，从作为所述比较对象特征量数据的所述加权时间特征量的数据的比较对象时间特征量数据、以及作为所述标准特征量数据的所述加权时间特征量的数据的标准时间特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的时间权重。

本发明的第17方式的动作解析装置为在所述第16方式的动作解析装置中，还包括：显示信息生成单元，基于所述时间权重，生成用于表示所述比较对象动作的影像中的各时间的重要度的信息。

本发明的第18方式的动作解析装置为在所述第16方式的动作解析装置中，还包括：显示信息生成单元，基于所述时间权重以及所述位置权重，生成用于表示所述比较对象动作的影像中的各时间的重要度和各位置的重要度的信息。

本发明的第19方式的动作解析装置为在所述第16方式的动作解析装置中，所述图像特征量为CHLAC特征量。

本发明的第20方式的动作解析方法是通过与标准动作的比较来进行比较对象动作的解析的动作解析方法，包括：从作为所述比较对象动作的图像特征量的数据的比较对象特征量数据和作为所述标准动作的图像特征量的数据的标准特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的位置权重的步骤；对于所述比较对象特征量数据以及所述标准特征量数据中的各个特征量数据计算作为适用了所述位置权重的值的每个时间的空间积分的加权时间特征量的步骤；以及从作为所述比较对象特征量数据的所述加权时间特征量的数据的比较对象时间特征量数据、以及作为所述标准特征量数据的所述加权时间特征量的数据的标准时间特征量数据中，提取用于表示所述比较对象动作与所述标准动作的差异大小的时间权重的步骤。

2009年12月22日申请的特愿2009-291018、2010年3月25日申请的特愿2010-70444、以及2010年3月25日申请的特愿2010-70445号的日本专利申请所包含的说明书、附图和说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明的动作解析装置以及动作解析方法作为能够容易地调整解析结果的提示量的动作解析装置以及动作解析方法极为有用。另外，本发明的动作解析装置以及动作解析方法作为能够容易地提取顺序不同动作的位置的动作解析装置以及动作解析方法极为有用。另外，本发明的动作解析装置以及动作解析方法作为能够容易地提取小差异动作的时间的动作解析装置以及动作解析方法极为有用。也就是说，本发明作为对工厂中的作业动作、车辆驾驶、运动、烹饪、以及乐器演奏等各种动作进行解析的装置以及方法极为有用。

Claims

1.动作解析装置，通过与标准动作的比较来进行比较对象动作的解析，包括：

动作差异提取单元，判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置；

提示量输入单元，接受对满足所述规定条件的位置的提示量的指定；以及

动作提取度调整单元，调整所述规定条件，以使满足所述规定条件的位置的数量为所述指定了的提示量。

2.如权利要求1所述的动作解析装置，还包括：

动作数据输入单元，输入作为一连串所述标准动作的动作数据的标准动作数据和作为一连串所述比较对象动作的动作数据的比较对象动作数据，

所述动作差异提取单元使用第一参数从所述标准动作数据以及所述比较对象动作数据的各个动作数据中提取特征量，使用第二参数提取所述比较对象动作数据的特征量与所述标准动作数据的特征量的差异，并对提取出的差异满足由第三参数确定的条件的位置进行提取，

所述动作提取度调整单元调整所述第一参数、所述第二参数、以及所述第三参数中的至少一个参数。

3.如权利要求2所述的动作解析装置，

所述动作数据为活动图像数据，所述特征量为立体高次局部自相关特征。

4.如权利要求2所述的动作解析装置，

由所述第三参数确定的条件是所述差异大于所述第三参数。

5.如权利要求2所述的动作解析装置，

所述提示量是满足由所述第三参数确定的条件的位置的个数。

6.如权利要求2所述的动作解析装置，

所述提示量是满足由所述第三参数确定的条件的位置的时间长度的合计。

7.如权利要求2所述的动作解析装置，

由所述第三参数确定的条件是所述差异小于所述第三参数。

8.如权利要求1所述的动作解析装置，还包括：

动作数据输入单元，输入作为一连串所述标准动作的活动图像数据的标准动作数据和作为一连串所述比较对象动作的活动图像数据的比较对象动作数据，

所述动作差异提取单元使用第四参数，将在立体高次局部自相关特征中导入时间权重并计算影像特征时的时间权重，作为表示所述比较对象动作与所述标准动作的差异的特征量进行提取，并且提取所述特征量满足由第五参数确定的条件的位置，

所述动作提取度调整单元调整所述第四参数以及所述第五参数中的至少一个参数。

9.如权利要求1所述的动作解析装置，还包括：

动作解析初始值设定单元，与多个不同的提示量等级中的各个等级对应，基于所述标准动作数据，设定所述规定条件的初始值以及所述提示量的目标值，

所述动作提取度调整单元根据所述等级的指定，接受所述规定条件的初始值以及所述提示量的指定。

10.动作解析方法，用于通过与标准动作的比较来进行比较对象动作的解析，包括：

接受对所述解析的结果的提示量的指定的步骤；

判定所述比较对象动作与所述标准动作的差异程度满足规定条件的位置的步骤；以及

在满足所述规定条件的位置的数量与指定的提示量不同时调整所述规定条件的步骤。

11.如权利要求1所述的动作解析装置，

所述动作差异提取单元包括：

第一权重提取单元，从作为所述比较对象动作的图像特征量的数据的比较对象特征量数据和作为所述标准动作的图像特征量的数据的标准特征量数据中，提取第一权重，该第一权重表示对于所述图像特征量的时间分量以及位置分量中的一方即第一分量的每个值，所述比较对象动作与所述标准动作的差异大小；

加权特征量提取单元，对于所述比较对象特征量数据以及所述标准特征量数据中的各个特征量数据，计算适用了所述第一权重的值的所述第一分量的值的积分值；以及

第二权重提取单元，从根据所述比较对象特征量数据计算出的所述积分值和根据所述标准特征量数据计算出的所述积分值中，提取第二权重，该第二权重表示对于所述图像特征量的时间分量以及位置分量中的另一方即第二分量的每个值，所述比较对象动作与所述标准动作的差异大小。

12.如权利要求11所述的动作解析装置，

所述第一分量是所述时间分量，所述第一权重是表示所述比较对象动作与所述标准动作的每个时间的差异大小的时间权重，所述第二分量是所述位置分量，所述第二权重是表示所述比较对象动作与所述标准动作的每个位置的差异大小的位置权重。

13.如权利要求12所述的动作解析装置，还包括：

显示信息生成单元，基于所述位置权重，生成表示所述比较对象动作的影像中的各位置的重要度的信息。

14.如权利要求12所述的动作解析装置，还包括：

显示信息生成单元，基于所述位置权重以及所述时间权重，生成用于表示所述比较对象动作的影像中的各位置的重要度和各时间的重要度的信息。

15.如权利要求12所述的动作解析装置，

所述图像特征量是立体高次局部自相关特征量。

16.如权利要求11所述的动作解析装置，

所述第一分量是所述位置分量，所述第一权重是表示所述比较对象动作与所述标准动作的每个位置的差异大小的位置权重，所述第二分量是所述时间分量，所述第二权重是表示所述比较对象动作与所述标准动作的每个时间的差异大小的时间权重。

17.如权利要求16所述的动作解析装置，还包括：

显示信息生成单元，基于所述时间权重，生成表示所述比较对象动作的影像中的各时间的重要度的信息。

18.如权利要求16所述的动作解析装置，还包括：

显示信息生成单元，基于所述时间权重以及所述位置权重，生成表示所述比较对象动作的影像中的各时间的重要度和各位置的重要度的信息。

19.如权利要求16所述的动作解析装置，

所述图像特征量是立体高次局部自相关特征量。