CN102473301B

CN102473301B - 动作解析装置及动作解析方法

Info

Publication number: CN102473301B
Application number: CN201080032945.1A
Authority: CN
Inventors: 川口京子; 田靡雅基
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2010-05-27
Filing date: 2010-11-05
Publication date: 2014-12-10
Anticipated expiration: 2030-11-05
Also published as: JP5455787B2; JP2011248664A; CN102473301A; US8565488B2; US20120114183A1; WO2011148439A1

Abstract

本发明公开了动作解析装置及动作解析方法，该动作解析装置能够简单地设定适合解析条件的贡献度。动作解析装置(300)具备：动作数据输入单元(310)，其输入学习数据；动作特征提取单元(320)，其从学习数据中提取动作特征量；主分量分析单元(330)，其对于学习数据的一部分，使用动作特征量进行主分量分析，并且学习部分空间；学习数据距离计算单元(340)，其计算学习数据的动作特征量和部分空间的距离；以及贡献度判定单元(350)，其根据从用于部分空间的学习的学习数据计算出的距离和从未用于部分空间的学习的学习数据计算出的距离，判定用于主分量分析的贡献度的适合性。

Description

动作解析装置及动作解析方法

技术领域

本发明涉及通过与标准动作进行比较来解析比较对象动作的动作解析装置及动作解析方法。

背景技术

以往，有如下装置，通过对表示动作特征的多维动作特征量进行主分量分析，求标准动作的部分空间，且基于求出的标准动作的部分空间和比较对象动作的动作特征量的距离，解析比较对象动作(例如参照专利文献1)。

专利文献1中记载的装置(以下称作“现有装置”)使用从活动图像中提取特征的立体高次局部自相关(CHLAC)特征，从比较对象动作中检测异常动作。

具体而言，现有装置从存储的多个标准动作分别提取动作特征量的特征数据，根据提取出的多个特征数据，通过主分量分析方法生成基于主分量向量的部分空间(以下简称为“部分空间”)。

而且，现有装置从比较对象动作中也同样提取动作特征量的特征数据，在提取出的特征数据和部分空间的距离大于规定值的情况下，将该比较对象动作判定为异常。

这样的现有装置由于统计性学习标准动作，所以在设计阶段不特别定义标准动作，就能够进行依据监视对象的异常动作检测。

然而，为了尽量防止异常动作的漏判，只要将生成部分空间时使用的特征数据的累计贡献率(以下称为“贡献度”)设定得高即可。

贡献度是表示所生成的部分空间(主分量向量)在何种程度上说明了原特征数据的指标值。

另一方面，为了尽量防止标准动作的误判，只要将用于主分量分析的特征数据的贡献度设定得低即可。

这是因为，原特征数据中未能网罗的标准动作的偏差在贡献度低的情况下被吸收。

即，贡献度的最佳值取决于监视对象或所要求的检测精度(以下称为“解析条件”)。

因此，贡献度优选被设定为适合解析条件的值。

另外，例如在工厂进行动作解析的情况下，可以设想按要解析的作业频繁地改变摄像机的设置场所。

因此，通过主分量分析来解析比较对象动作的装置(以下称作“动作解析装置”)优选能够尽量简单地设定适合解析条件的贡献度。

现有技术文献

专利文献1：(日本)特开2006－79272号公报

发明内容

发明要解决的问题

但是，现有装置中，为了设定适合解析条件的贡献度，需要通过实验等对每种贡献度存储有关标准动作的解析结果和有关异常动作的解析结果，验证各贡献度是否合适。

另外，在异常动作可能包含非稳态动作(以下将可能包含非稳态动作的异常动作称为“非稳态动作”)的情况下，需要使用庞大的异常动作的特征数据进行解析及验证。

即，现有装置在设定适合解析条件的贡献度时非常耗时耗力。

本发明的目的在于，提供能够简单地设定适合解析条件的贡献度的动作解析装置及动作解析方法。

用于解决问题的技术方案

本发明的动作解析装置使用活动图像提取非稳态动作，所述动作解析装置包括：动作数据输入单元，其输入学习数据；动作特征提取单元，其从所述动作数据输入单元输入的所述学习数据中提取动作特征量；主分量分析单元，其对于所述学习数据的一部分，使用所述动作特征提取单元提取出的动作特征量进行主分量分析，并且学习部分空间；学习数据距离计算单元，其计算所述动作特征提取单元提取出的学习数据的动作特征量和所述主分量分析单元学习的部分空间的距离；以及贡献度判定单元，其根据所述学习数据距离计算单元计算出的距离中、从所述主分量分析单元用于所述部分空间的学习的学习数据计算出的距离的平均值和从所述主分量分析单元未用于所述部分空间的学习的学习数据计算出的距离的平均值之比，判定所述主分量分析单元用于所述主分量分析的贡献度的适合性。

本发明的动作解析装置使用活动图像提取非稳态动作，所述动作解析装置包括：动作数据输入单元，其输入学习数据；动作特征提取单元，其从所述动作数据输入单元输入的所述学习数据中提取动作特征量；主分量分析单元，其对于所述学习数据的一部分，使用所述动作特征提取单元提取出的动作特征量进行主分量分析，并且学习部分空间；学习数据距离计算单元，其计算所述动作特征提取单元提取出的学习数据的动作特征量和所述主分量分析单元学习的部分空间的距离；以及贡献度判定单元，其根据所述学习数据距离计算单元计算出的距离中、从所述主分量分析单元用于所述部分空间的学习的学习数据计算出的距离的标准偏差和从未用于所述部分空间的学习的学习数据计算出的距离的标准偏差之比，判定所述主分量分析单元用于所述主分量分析的贡献度的适合性。

本发明的动作解析方法使用活动图像提取非稳态动作，所述动作解析方法包括以下步骤：输入学习数据；从所述学习数据中提取动作特征量；使用从所述学习数据的一部分中提取出的动作特征量进行主分量分析且学习部分空间；计算所述学习数据的动作特征量和所述部分空间的距离；以及根据所述学习数据的动作特征量和所述部分空间的距离中、从用于所述部分空间的学习的学习数据计算出的距离的平均值和从未用于所述部分空间的学习的学习数据计算出的距离的平均值之比，判定用于所述主分量分析的贡献度的适合性。

本发明的动作解析方法使用活动图像提取非稳态动作，所述动作解析方法包括以下步骤：输入学习数据；从所述学习数据中提取动作特征量；使用从所述学习数据的一部分中提取出的动作特征量进行主分量分析且学习部分空间；计算所述学习数据的动作特征量和所述部分空间的距离；以及根据所述学习数据的动作特征量和所述部分空间的距离中、从用于所述部分空间的学习的学习数据计算出的距离的标准偏差和从未用于所述部分空间的学习的学习数据计算出的距离的标准偏差之比，判定用于所述主分量分析的贡献度的适合性。

发明效果

根据本发明，能够简单地设定适合解析条件的贡献度。

附图说明

图1是表示本发明实施方式1的包含动作解析装置的动作解析系统的结构的系统结构图。

图2是表示本实施方式1的动作解析装置的结构的方框图。

图3是用于说明本实施方式1的贡献度和距离的关系的图。

图4是表示本实施方式1的动作解析装置的整体动作的流程图。

图5是表示本实施方式1的贡献度判定处理的流程图。

图6是表示本实施方式1中使用平均值之比的情况下的评价值的计算例的图。

图7是表示本实施方式1中使用标准偏差之比的情况下的评价值的计算例的图。

图8是表示本发明实施方式2的动作解析装置的结构的方框图。

图9是表示本实施方式2的动作解析装置的整体动作的流程图。

图10是表示一例本实施方式2的结果显示画面的图。

图11是表示另一例本实施方式2的结果显示画面的图。

标号说明

100 动作解析系统

200 传感器装置

300、300a 动作解析装置

310 动作数据输入单元

320 动作特征提取单元

330 主分量分析单元

340 学习数据距离计算单元

350 贡献度判定单元

360a 解析对象数据距离计算单元

370a 显示信息生成单元

400 输出装置

500 输入装置

具体实施方式

下面，参照附图详细地说明本发明的各实施方式。

(实施方式1)

本实施方式是将本发明应用于在熟练作业员和一般作业员工作的工厂中解析各一般作业员的动作的动作解析系统的例子。

作业员的动作例如是由下述多个单位动作组成的一连串的动作，即，将产品置于工作台，多次重复拿起零件将其嵌入产品主体的动作，并将产品送到旁边。

具体而言，本实施方式的动作解析系统对从事某个作业工序的熟练作业员的姿势进行拍摄，以相同的拍摄角度对从事同一作业工序时的各一般作业员的姿势进行拍摄，并对各一般作业员的动作进行解析。

下面，将上述一般的单位动作和由动作解析系统100作为一个偏离动作提取的单位统称为“动作”。

图1中，动作解析系统100具有：传感器装置200、本实施方式的动作解析装置300、输出装置400、及输入装置500。

传感器装置200为检测人的动作的装置，将测量作业员的动作得到的数据输出到动作解析装置300。

这里，传感器装置200是实时输出所拍摄的图像的图像帧数据(活动图像数据)的摄像机，且是可对在工厂的组装生产线上并排作业的各作业员分别进行拍摄的摄像机。

下面，从拍摄一连串的标准动作的影像得到的特征数据称作“学习数据”。

另外，从拍摄有可能包含非稳态动作的一连串的动作的影像得到的特征数据称为“解析对象数据”。

学习数据及解析对象数据适当地总称为“动作数据”。

动作解析装置300基于从学习数据通过主分量分析而学习的部分空间和解析对象数据的各动作特征量的距离进行解析对象数据的解析。

另外，动作解析装置300在进行解析对象数据的解析之前，先进行学习数据的解析，判定用于主分量分析的贡献度的适合性，将判定结果提示给用户。

而且，动作解析装置300从用户接收用于评价解析对象数据的贡献度(以下称作“设定贡献度”)的设定。

这里，贡献度的适合性是表示在应用该贡献度时异常动作和标准动作在何种程度上被正确地区分、即用户所希望的差异在何种程度上被正确地区分的指标。

具体而言，动作解析装置300使用从一部分学习数据中提取出的动作特征量进行主分量分析，学习部分空间。

下面，用于学习部分空间的学习数据组称为“部分空间生成用数据”。

另外，未用于部分空间的学习的学习数据组称作“贡献度评价用数据”。

“部分空间生成用数据”从学习数据任意选择。

例如，在学习数据由多个数据文件组成的情况下，动作解析装置300将任意一个文件设为“贡献度评价用数据”，将除该“贡献度评价用数据”之外的所有的学习数据设为“部分空间生成用数据”。

在此，动作解析装置300也可以使用留一法(leave－one－out法)。

留一法中，在给予了n个学习数据的情况下，首先，n个学习数据被分割成(n－1)个训练数据(“部分空间生成用数据”)和1个评价用数据(“贡献度评价用数据”)。

其次，留一法中，通过使用(n－1)个训练数据所得的学习结果，评价1个评价用数据。

此时，分割的方法有n种，所以计算相对于该全部n种方法的评价结果的平均，将平均值用作评价值。

然后，动作解析装置300计算部分空间和部分空间生成用数据的距离、以及部分空间和贡献度评价用数据的距离。

下面，将部分空间和部分空间生成用数据的距离称为“基准距离”，将部分空间和贡献度评价用数据的距离称为“评价距离”。然后，动作解析装置300求取使与基准距离和评价距离之差相关的评价值为适当范围的贡献度。接着，动作解析装置300将求出的贡献度作为设定贡献度的候补提示给用户。

这里，评价值的适当范围是指能够以所要求的精度区分异常动作和标准动作的数值范围。动作解析装置300为包含CPU(central processing unit，中央处理单元)、RAM(random access memory，随机存取存储器)等存储介质、及获取活动图像数据的视频采集电路等的计算机。

即，动作解析装置300通过由CPU执行所存储的控制程序而进行工作。

输出装置400为具有例如液晶显示器的监视器，输出从动作解析装置300输入的结果显示画面的数据。

另外，输出装置400也可以是远程配置的装置(远程监视装置、移动电话等)。此时，输出装置400例如经由因特网等网络与动作解析装置300连接。输入装置500为用户用于操作动作解析装置300的接口，例如由作为定点设备的鼠标和键盘构成。

这样的动作解析系统100能够仅基于学习数据判定贡献度的适合性，并对用户提示判定结果。

由此，用户能够仅确认所提示的判定结果，高效率地解析用于主分量分析的贡献度的适合性。

因此，用户可以简单地设定适合解析条件的贡献度。

另外，本实施方式的动作解析装置300的特征主要在于能够仅基于学习数据简单地判定用于动作解析的贡献度的适合性。

因此，在本实施方式中，以判定贡献度的适合性以前的动作和实现该动作的装置单元为中心进行说明。

图2是表示动作解析装置300的结构的方框图。

图2中，动作解析装置300具有动作数据输入单元310、动作特征提取单元320、主分量分析单元330、学习数据距离计算单元340、及贡献度判定单元350。

动作数据输入单元310根据来自动作特征提取单元320的请求，从传感器装置200获取学习数据，并将其转送到动作特征提取单元320。

动作数据的转送可以实时进行，也可以在存储动作数据后进行。

另外，动作数据输入单元310也可以接受输入装置500的用户操作而开始工作。

动作特征提取单元320从动作数据输入单元310输入的学习数据中提取动作特征量。然后，动作特征提取单元320将提取出的动作特征量输出给主分量分析单元330。

这里，动作特征量为专利文献1中公开的CHLAC特征。

CHLAC特征是通过增加时间轴而将从二维图像数据中提取特征的高次局部自相关(HLAC)特征扩展到三维而得到的。即，CHLAC特征为在图像的平面空间增加了时间轴的三维坐标系中的、表示运动特征的特征向量。动作特征提取单元320例如使用下式(1)所示的N次自相关函数计算CHLAC特征x。

(式1)

x_{f}^{N} (a_{1}, \cdot \cdot \cdot, a_{N}) = &Integral; f (r) f (r + a_{1}) \cdot \cdot \cdot f (r + a_{N}) dr

f为时间序列图像，变量r及N个变量a_i(i＝1，···，N)为具有图像内的二维坐标和时间作为分量的三维向量。

时间方向的积分范围由取何种程度的时间方向的相关来确定。

即，积分范围为由N个静止图像(局部特征图像)构成的三维像素集合，变量r为图像中的一个像素(位置像素)，变量a为相对于r的位移向量。

而且，f(r)为位置r的函数值，表示局部特征图像的位置r的亮度值。在CHLAC特征的情况下，位移为三维，位移向量的组合(位移图案)的数量在0维为1个，在1维为13个，在2维为237个。

因此，CHLAC特征在二值化图像的情况下表示为合计251维的特征向量。

主分量分析单元330从部分空间生成用数据学习部分空间，将定义学习了的部分空间的主分量向量和学习数据输出到学习数据距离计算单元340。

主分量分析单元330例如如下计算主分量向量。

M维的CHLAC特征向量x、将主分量向量(固有向量)排列成列的矩阵U、协方差矩阵Σ分别可由下式(2)～式(4)表示。

其中，M＝251，μ为特征向量x的平均向量，E为求取期待值的运算符号(E＝(1/N)Σ)。

(式2)

x_i∈V^M(i＝1,···，N)

(式3)

U＝[u₁，···u_M]，u_j∈V^M(j＝1，···，M)

(式4)

Σ_{X} = E_{i = 1}^{N} {(x_{i} - μ) {(x_{i} - μ)}^{T}}

此时，主分量分析单元330通过下式(5)的固有值问题求取矩阵U。

(式5)

Σ_XU＝UΛ

固有值的对角矩阵Λ和至第K固有值为止的累计贡献率(贡献度)η_K分别由下式(6)及式(7)表示。

(式6)

Λ＝diag(λ₁，···，λ_M)

(式7)

η_{K} = \frac{Σ_{i = 1}^{K} λ_{i}}{Σ_{i = 1}^{M} λ_{i}}

主分量分析单元330将由直至累计贡献率η_K成为规定值(例如η_K＝0.99)的维为止的固有向量u₁，···，u_K形成的空间作为部分空间应用。

这里，主分量分析单元330对预先确定的第一～第三累计贡献率η_K1～η_K3分别求部分空间。

这里，设第一累计贡献率η_K1＝0.99、第二累计贡献率η_K2＝0.9999、第三累计贡献率η_K3＝0.999999。

下面，将应用第一～第三累计贡献率η_K1～η_K3计算出的部分空间依次称为第一～第三部分空间。

第一～第三累计贡献率η_K1～η_K3中哪一个的适合性高，取决于监视对象或要求的检测精度。

学习数据距离计算单元340对第一～第三部分空间分别计算与部分空间生成用数据的距离(基准距离)、以及部分空间与贡献度评价用数据的距离(评价距离)。

下面，将对于第一～第三部分空间的基准距离依次称为第一～第三基准距离。

另外，将对于第一～第三部分空间的评价距离依次称为第一～第三评价距离。

学习数据距离计算单元340将第一～第三基准距离及第一～第三评价距离输出到贡献度判定单元350。学习数据距离计算单元340例如如下计算基准距离及评价距离。

向由主分量正交基底U_K＝[u₁，···，u_K]形成的部分空间的射影算子P及向与其相对的正交补空间的射影算子P_⊥由下式(8)表示。

其中，U’为矩阵U的转置矩阵，I_M为M次的单位矩阵。

(式8)

P＝U_KU′_K

P_⊥＝I_M-P

此时，学习数据距离计算单元340使用下式(9)计算向部分空间U的垂线的平方距离d² _⊥(即在正交补空间的平方距离)。

另外，学习数据距离计算单元340根据计算出的平方距离d² _⊥，计算垂直距离d_⊥作为部分空间和设为对象的特征数据的距离(以下简称为“距离”)。

(式9)

\begin{matrix} d_{&perp;}^{2} = {| | P_{&perp;} x | |}^{2} \\ = {| | (I_{M} - U_{K} U_{K}^{'}) x | |}^{2} \\ = x^{'} {(I_{M} - U_{K} U_{K}^{'})}^{'} (I_{M} - U_{K} U_{K}^{'}) x \\ = x^{'} (I_{M} - U_{K} U_{K}^{'}) x \end{matrix}

贡献度判定单元350根据第一～第三基准距离及第一～第三评价距离判定用于生成第一～第三部分空间的第一～第三贡献度的适合性。

具体而言，贡献度判定单元350对每种贡献度基于表示基准距离的平均值和评价距离的平均值的差异的大小的评价值判定适合性。

下面，将与第一～第三贡献度相对应的评价值依次称为第一～第三评价值。图3是用于说明贡献度和距离的关系的图。

具体而言，图3是使贡献度变化时的、学习数据的距离及解析对象数据的距离的曲线图。这里，主分量分析单元330将不含有非稳态状态的某个学习数据分为部分空间生成用数据A、部分空间生成用数据B、以及贡献度评价用数据。

而且，主分量分析单元330根据部分空间生成用数据A及部分空间生成用数据B的整体，计算部分空间。

下面，将部分空间生成用数据A和部分空间的距离称为基准距离A。

将部分空间生成用数据B和部分空间的距离称作基准距离B。

将贡献度评价用数据和部分空间的距离称为评价距离。

图3A～图3C中，横轴表示时间，纵轴表示距离。

另外，图中，三角(▲)的曲线511表示基准距离A，圆圈(●)的曲线512表示基准距离B，菱形(◆)的曲线513表示评价距离。

图3A～图3C依次为第一累计贡献率η_K1＝0.99时的距离、第二累计贡献率η_K2＝0.9999时的距离、第三累计贡献率η_K3＝0.999999时的距离。

如图3所示，整体上无论哪一贡献度，相比基准距离A和基准距离B之间的差异，基准距离A及基准距离B和评价距离之间的差异均较大。

但是，在第一累计贡献率和第二累计贡献率之间进行比较时，第一累计贡献率的基准距离A及基准距离B和评价距离之间的差异更小。

即，在成为学习对象者的距离和未成为学习对象者的距离之间仅存在微小的差。

这表明，设定贡献度越低，则仅检测出与标准动作的差异更大的异常动作的可能性越高。

另外，在第三累计贡献率和第二累计贡献率之间进行比较时，第三累计贡献率的基准距离A及基准距离B和评价距离之间的差异更大。

即，在成为学习对象者和未成为学习对象者之间产生距离大的差。

这表明，设定贡献度越高，则基于微细的动作的差异，将标准动作检测为异常动作的可能性越高。

这样，贡献度越高，则对部分空间生成用数据的学习越深入，基准距离和评价距离之差越大。

即使贡献度低也被提取的动作的差异可以说是不受各学习数据的个别差左右的大的差异。

另外，贡献度非常高的情况下提取的动作的差异可以说是连学习数据的个别的差都反映出的微小的差异。

根据动作解析的目的，应提取的动作的差异的大小不同。

因此，不提示在同样的基准下判定为差异大的动作，而提示提取出的动作的差异的大小本身，有利于理解解析结果。

贡献度判定单元350使用基准距离的平均值和评价距离的平均值的差分作为评价值，判定贡献度的适合性。

这样构成的动作解析装置300可仅根据学习数据来判定贡献度的适合性。下面，对动作解析装置的动作进行说明。

图4是表示动作解析装置300的整体动作的流程图。

首先，在步骤S1000中，动作数据输入单元310输入动作数据(这里仅为学习数据)，在动作特征提取单元320提取学习数据的特征量。

然后，在步骤S2000中，主分量分析单元330根据将学习数据分成部分空间生成用数据和贡献度评价用数据时的部分空间生成用数据，计算部分空间。

这里，主分量分析单元330如上所述生成第一～第三部分空间。然后，在步骤S3000中，学习数据距离计算单元340计算对部分空间的学习数据的距离、即基准距离及评价距离。

这里，学习数据距离计算单元340如上所述生成第一～第三基准距离及第一～第三部分空间。

然后，在步骤S4000中，贡献度判定单元350进行贡献度判定处理。

贡献度判定处理为基于基准距离和评价距离判定贡献度的适合性的处理。图5是表示贡献度判定处理的流程图。首先，在步骤S4100中，贡献度判定单元350求取部分空间生成用数据的距离(基准距离)的平均值a。然后，在步骤S4200中，贡献度判定单元350求取贡献度评价用数据的距离(评价距离)的平均值b。

另外，步骤S4100、S4200的处理顺序也可以相反。然后，在步骤S4300中，贡献度判定单元350求取平均值a和平均值b之比c＝b/a作为评价值c。

这里，动作解析装置300求取第一～第三评价值c₁～c₃。图6是表示作为评价值c使用平均值之比的情况下的第一～第三评价值的计算例的图。如图6所示，例如与贡献度0.99、0.9999、0.999999对应的第一～第三评价值c₁～c₃依次为1.2、2.03、16.37。然后，在图5的步骤S4400中，贡献度判定单元350取得预先设定的适当范围d，比较评价值c和适当范围d，判定贡献度的适合性的等级且输出判定结果。例如，适当范围d设定在1.5＜c＜2.5的范围。

另外，例如作为贡献度的适合性的等级，设定与适当范围d以下、适当范围d、及适当范围d以上这三个范围对应的三个等级。

此时，贡献度判定单元350在评价值c为1.5以下的情况下，判定为“学习少”。

另外，贡献度判定单元350在评价值c大于1.5而小于2.5的情况下，判定为“适当”。

另外，贡献度判定单元350在评价值c的值大于2.5的情况下，判定为“过量学习”。

因此，在图6的例子中，贡献度判定单元350将贡献度0.99判定为“学习少”，将贡献度0.9999判定为“适当”，将贡献度0.999999判定为“过量学习”。

通过这样的动作，动作解析装置300能够计算基准距离及评价距离，且根据它们的平均值的差分判定贡献度的适合性。

另外，动作解析装置300也可以使用距离的最大值、最小值、或标准偏差等、与距离有关的其它统计量的比作为评价值c。

例如，动作解析装置300使用基准距离的平均值a、评价距离的平均值b、基准距离的标准偏差e、评价距离的标准偏差f，作为评价值c，计算c＝e/f、或c＝a/e。

另外，动作解析装置300也可以使用多个统计量的运算结果判定等级。

例如，动作解析装置300使用c＝a+e作为评价值c，将适当范围d设定为a+e＜b＜a+2e+b。

即，动作解析装置300在b＜a+e的情况下判定为“学习少”，在a+e＜b＜a+2e+b的情况下判定为“适当”，在a+2e+b＜b的情况下判定为“过量学习”。图7是表示使用标准偏差之比作为评价值的情况下的各贡献度的评价值的计算例的图。

如图7所示，例如与贡献度0.99、0.9999、0.999999对应的第一～第三评价值c₁～c₃依次为1.08、2.13、16.18。

按与适当范围d的关系，与使用平均值的情况同样，判定等级。如上，本实施方式的动作解析装置300能够仅基于学习数据判定贡献度的适合性，将判定结果提示给用户。

由此，对于用户而言，动作解析装置300可以仅确认判定结果而高效率地解析用于主分量分析的贡献度的适合性，或者可以自动设定适当等级的贡献度。即，动作解析装置300可以简单地设定适合解析条件的贡献度。

此外，动作解析装置300也可以变更学习数据中作为部分空间生成用数据使用的部分，对各贡献度计算多次评价值，取得多个判定结果。

即，动作解析装置300也可以变更部分空间生成用数据而取得多次评价值及判定结果。

另外，动作解析装置300也可以取得代表该多个判定结果的结果作为最终的判定结果。由此，动作解析装置300能够得到统计上更稳定的结果。

另外，动作解析装置300也可以不是对预先确定的多个贡献度进行判定，而是变更贡献度的值，同时重复进行处理，直至贡献度的判定结果显示适当。

由此，动作解析装置300可以通过仅输入学习数据，自动地求取适当的贡献度。

另外，动作解析装置300也可以具有从用户接收评价值c的适当范围d、或对作为计算的对象的贡献度的变更的用户接口。

由此，用户可以确认贡献度的判定结果，同时更可靠地得到适当的贡献度。

(实施方式2)

本发明的实施方式2中，通过将贡献度的适合性与解析对象数据的解析结果一起提示给用户，帮助用户理解解析结果。

图8是表示本实施方式的动作解析装置的结构的方框图，与实施方式1的图2对应。

对与图2相同的部分标注同一标号，并省略与其相关的说明。如图8所示，本实施方式的动作解析装置300a除了图1所示的结构以外，还具有解析对象数据距离计算单元360a及显示信息生成单元370a。本实施方式中，动作数据输入单元310根据来自动作特征提取单元320的请求，从传感器装置200获取学习数据及解析对象数据，并将其转送给动作特征提取单元320。

另外，动作特征提取单元320从动作数据输入单元310输入的学习数据及解析对象数据中提取动作特征量，将提取出的动作特征量输出到解析对象数据距离计算单元360a。

另外，贡献度判定单元350将有关贡献度的适合性的判定结果输出到显示信息生成单元370a。解析对象数据距离计算单元360a根据从动作特征提取单元320输入的所有的学习数据对第一～第三累计贡献率η_K1～η_K分别求取部分空间。

另外，作为解析对象数据距离计算单元360a计算的第一～第三部分空间的基础的学习数据和作为主分量分析单元330计算出的第一～第三部分空间的基础的学习数据不相同。

因此，这些部分空间不必一致。而且，解析对象数据距离计算单元360a对学习了的第一～第三部分空间分别计算与解析对象数据的距离(以下称为“解析对象距离”)。

下面，将对于第一～第三部分空间的解析对象距离依次称为第一～第三解析对象距离。

而且，解析对象数据距离计算单元360a将第一～第三解析对象距离输出到显示信息生成单元370a。显示信息生成单元370根据贡献度判定单元350的判定结果和解析对象数据距离计算单元360a的计算结果，生成显示解析对象数据的解析结果的结果显示画面。

而且，显示信息生成单元370将生成了的结果显示画面通过输出装置400提示给用户。具有这样的结构的动作解析装置300a可以将解析对象数据的解析结果(即有无异常动作)与贡献度的适合性一起提示给用户。

即，用户通过使用动作解析装置300a，可以确认贡献度的适合性，同时进行动作的解析。下面，对动作解析装置300a的动作进行说明。图9是表示动作解析装置300a的整体动作的流程图，与实施方式1的图4对应。

与图4相同的部分标注同一步骤号，并省略对其的说明。动作解析装置300a在进行了贡献度判定处理后(S4000，图5)，进入步骤S5000a。在步骤S5000a，动作特征提取单元320提取全部学习数据的动作的动作特征量。然后，学习数据距离计算单元340使用全部学习数据，进行基于第一～第三贡献度的各个贡献度的主分量分析，生成第一～第三部分空间。

另外，动作解析装置300a也可以不执行步骤S5000a的处理而直接使用在步骤S2000生成的第一～第三部分空间。

而且，在步骤S6000a，动作特征提取单元320提取解析对象数据的动作的动作特征量。

另外，动作解析装置300a可以在步骤S5000a的处理之前进行步骤S6000a的处理，也可以例如在步骤S1000之前或之后进行。然后，在步骤S7000a，动作特征提取单元320计算第一～第三部分空间和解析对象数据的动作特征量的距离(解析对象距离)。然后，在步骤S8000中，显示信息生成单元370a使用在步骤S4000判定出的贡献度的适合性和在步骤S7000a计算出的每种贡献度的解析对象距离，生成结果显示画面的显示数据。

然后，显示信息生成单元370a将生成的显示数据输出到输出装置400，同时，经由输入装置500接受用户对结果显示画面的操作。通过这样的动作，动作解析装置300a可以将解析对象数据的解析结果(即有无异常动作)与贡献度的适合性一起提示给用户。此外，动作解析装置300a也可以变更贡献度，同时重复步骤S2000～S7000a的处理。

另外，动作解析装置300a也可以变更贡献度，同时重复步骤S2000～S4000的处理，直至贡献度的判定结果成为所希望的结果，其后执行步骤S5000～S7000的处理。

由此，动作解析装置300a可以使用与目的相一致的贡献度的主分量分析，自动地提取对应解析对象数据的非稳态动作的部分。另外，动作解析装置300a也可以变更贡献度，同时重复进行步骤S2000～S7000的处理，直至贡献度的判定结果成为所希望的结果。

由此，动作解析装置300a例如可以使用贡献度的适合性低的(学习少的)主分量分析，自动地提取解析对象数据的非稳态部分。另外，动作解析装置300a能够使用贡献度的适合性高的(学习少，且提取的非稳态部分被估计为个人差等级的)主分量分析，自动地提取所提取的解析对象数据的非稳态部分。结果显示画面可以仅显示基于判定为“适当”的贡献度的解析结果，也可以将基于第一～第三贡献度的解析结果与该贡献度的适合性一起显示。图10是表示一例仅显示基于判定为“适当”的贡献度的解析结果的结果显示画面的图。如图10所示，结果显示画面610具有解析结果显示区域611、播放按钮612、图像显示区域613、暂停按钮614、结束按钮615、及标准动作显示区域616。显示信息生成单元370a在结果显示画面610中，在解析结果显示区域611，显示解析对象距离的时间序列数据617、表示规定的阈值的阈值显示线618、表示解析对象距离超过阈值的位置的标记619。另外，显示信息生成单元370a在结果显示画面610中显示可左右移动操作的播放位置显示线620。另外，显示信息生成单元370a将表示显示中的解析对象距离的时间序列数据617是通过适当的贡献度计算出的时间序列数据的消息621在结果显示画面610进行显示。在播放按钮612被点击时，显示信息生成单元370a在图像显示区域613播放比较对象动作的摄影图像，同时使播放位置显示线620与播放配合地移动。

另外，在图像的播放中暂停按钮614被点击时，显示信息生成单元370a暂停图像的播放。

另外，显示信息生成单元370a在标准动作显示区域616中，与图像显示区域613中的比较对象动作的摄影图像的播放同步地播放标准动作的摄影图像。通过提示这样的结果显示画面610，用户能够通过使播放位置显示线620移动到标记619部分并点击播放按钮612，迅速地拾取异常动作的影像并加以确认。

另外，用户可以将比较对象动作和标准动作进行视觉性比较。另外，由于用户可以确认是基于适当的贡献度的解析结果，所以可以正确地理解解析对象数据的动作解析结果。图11是表示一例将基于第一～第三贡献度的解析结果和该贡献度的适合性一起显示的结果显示画面的图，与图10相对应。对与图10相同的部分标注同一标号，并省略对其的说明。如图11所示，结果显示画面710具有与第一～第三贡献度对应的第一～第三解析结果显示区域611₁～611₃和显示各贡献度的适合性的贡献度适合性显示区域711。显示信息生成单元370a将表示第一～第三贡献度的解析对象距离超过阈值的位置的第一～第三标记619₁～619₃在贡献度适合性显示区域711进行显示。

显示信息生成单元370a在该位置重叠的情况下，例如优先显示与更低的贡献度对应的标记619。

而且，显示信息生成单元370a将与各标记619对应的贡献度的适合性以该标记619的颜色或图案等进行显示。通过提示这样的结果显示画面710，用户可以同时确认贡献度不同的多个动作解析结果和该贡献度的适合性，因此，能够正确地理解解析对象数据的动作解析结果。另外，由于提示全部等级的解析结果，所以用户可以更可靠地提取异常动作。对于贡献度不同的解析对象距离而言，由于其值可取的范围、即其值表示的意思不同，所以如果仅提示第一～第三解析结果显示区域611₁～611₃，用户难以综合把握这些解析结果。

但是，由于在结果显示画面710也提示表示各贡献度的适合性的贡献度适合性显示区域711，所以用户能够容易地综合把握贡献度不同的解析结果。这样，根据本实施方式，由于将贡献度的适合性和解析对象数据的解析结果一起提示给用户，所以能够帮助用户理解解析结果。此外，在以上说明的各实施方式中，作为适合性判定的对象的贡献度设为0.99、0.9999、0.999999，但值及个数均不限于此。另外，贡献度的适合性的等级的个数及与各等级对应的评价值不限于上述的例子。

另外，成为解析的对象的动作数据不限于摄像机影像。

成为解析的对象的动作数据例如也可以是仅将由动态捕捉装置获取的标记的位置进行图像化所得的数据、或从标记的位置生成的动画数据。另外，用于解析的动作特征量不限于CHLAC特征量。

用于解析的动作特征量例如也可以是使用了加权方向直方图的高次的局部特征量。

该情况下，动作解析装置根据浓度梯度图像求取图像的局部的方向直方图且将求出的方向直方图作为动作特征量即可。进而言之，用于解析的动作特征量不限于从活动图像数据中提取的动作特征量。

用于解析的动作特征量例如也可以是从动作得到的距离数据、温度数据、加速度数据、磁数据、声音数据等可提取来表示动作的特征的多维的动作特征量的各种数据。

该情况下，传感器装置需要采用距离传感器、温度传感器、加速度传感器、及磁性传感器、集音传感器等适宜的装置。

这些传感器可以装配于动作的主体，也可以装配于动作的主体所使用的道具。

例如，传感器装置也可以将包含使用动态捕捉器获取的标记的识别号和位置信息的时间序列的数据作为多维的动作特征量使用。另外，动作解析装置也可以通过声音输出与画面显示一起进行解析结果的提示、或者取代画面表示而通过语音输出进行提示解析结果的提示。

该情况下，输出装置需要具备扬声器等。另外，在以上说明的各实施方式中，将本发明应用于在工厂解析作业动作的装置，但不限于此。

本发明可以应用于解析例如车辆驾驶、运动、烹调、乐器演奏等各种动作的装置等其它各种装置。

2010年5月27日申请的特愿2010－121658的日本申请中包含的说明书、附图及摘要的公开内容全部在本申请被引用。工业实用性本发明的动作解析装置及动作解析方法作为可以简单地设定适合解析条件的贡献度的动作解析装置及动作解析方法是有用的。

Claims

1.动作解析装置，使用活动图像提取非稳态动作，所述动作解析装置包括：

动作数据输入单元，其输入学习数据；

动作特征提取单元，其从所述动作数据输入单元输入的所述学习数据中提取动作特征量；

主分量分析单元，其对于所述学习数据的一部分，使用所述动作特征提取单元提取出的动作特征量进行主分量分析，并且学习部分空间；

学习数据距离计算单元，其计算所述动作特征提取单元提取出的学习数据的动作特征量和所述主分量分析单元学习的部分空间的距离；以及

贡献度判定单元，其根据所述学习数据距离计算单元计算出的距离中、从所述主分量分析单元用于所述部分空间的学习的学习数据计算出的距离的平均值和从所述主分量分析单元未用于所述部分空间的学习的学习数据计算出的距离的平均值之比，判定所述主分量分析单元用于所述主分量分析的贡献度的适合性。

2.动作解析装置，使用活动图像提取非稳态动作，所述动作解析装置包括：

动作数据输入单元，其输入学习数据；

贡献度判定单元，其根据所述学习数据距离计算单元计算出的距离中、从所述主分量分析单元用于所述部分空间的学习的学习数据计算出的距离的标准偏差和从未用于所述部分空间的学习的学习数据计算出的距离的标准偏差之比，判定所述主分量分析单元用于所述主分量分析的贡献度的适合性。

3.如权利要求1或者2所述的动作解析装置，

还包括：显示信息生成单元，其输出所述贡献度的适合性的判定结果。

4.如权利要求3所述的动作解析装置，

还包括：解析对象数据距离计算单元，其计算所述动作特征提取单元提取出的解析对象数据的动作特征量和所述主分量分析单元学习的部分空间的距离，

所述显示信息生成单元将所述解析对象数据距离计算单元计算出的距离和用于该距离的计算的所述贡献度的适合性的判定结果一并输出。

5.如权利要求4所述的动作解析装置，

所述主分量分析单元对多个贡献度分别学习所述部分空间；

所述显示信息生成单元对于所述多个贡献度的每个贡献度，输出所述解析对象数据距离计算单元计算出的距离和适合性的判定结果。

6.如权利要求1或者2所述的动作解析装置，

所述动作特征量为立体高次局部自相关特征。

7.动作解析方法，其是使用活动图像提取非稳态动作的动作解析方法，包括以下步骤：

输入学习数据；

从所述学习数据中提取动作特征量；

使用从所述学习数据的一部分中提取出的动作特征量进行主分量分析且学习部分空间；

计算所述学习数据的动作特征量和所述部分空间的距离；以及

根据所述学习数据的动作特征量和所述部分空间的距离中、从用于所述部分空间的学习的学习数据计算出的距离的平均值和从未用于所述部分空间的学习的学习数据计算出的距离的平均值之比，判定用于所述主分量分析的贡献度的适合性。

8.动作解析方法，其是使用活动图像提取非稳态动作的动作解析方法，包括以下步骤：

输入学习数据；

从所述学习数据中提取动作特征量；

根据所述学习数据的动作特征量和所述部分空间的距离中、从用于所述部分空间的学习的学习数据计算出的距离的标准偏差和从未用于所述部分空间的学习的学习数据计算出的距离的标准偏差之比，判定用于所述主分量分析的贡献度的适合性。