CN108279767A - 动作分析装置以及动作分析方法 - Google Patents

Abstract

本发明的实施方式涉及动作分析装置以及动作分析方法。能够自动进行基于传感器输出的时序数据的标签赋予。实施方式的动作分析装置具备：对应区间检测部、以及对应关联部。对应区间检测部使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与第二时序数据类似或共现的区间的对应区间进行检测。对应关联部使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联。

Description

动作分析装置以及动作分析方法

本申请以日本专利申请2017-000316(申请日：1/5/2017)为基础，根据该申请享受优先权。本申请参照该申请，包括该申请的全部内容。

技术领域

本发明的实施方式涉及动作分析装置以及动作分析方法。

背景技术

为了实现各种业务的改善·生产效率的提高，掌握作业人员的动作历史并分析其问题点。近年来各种传感器设备的小型化·无线化得以推进，能够以简易的结构测量人的活动。因此，尝试对在现场进行作业的作业人员安装传感器，以传感器的测量值为基础特定在现场的动作编辑其历史。

使用传感器来特定作业人员的动作的方法通常为使用动作词典，将基于传感器输出的时序数据与动作词典相对照，从而来特定作业人员的动作的方法，所述动作词典确定了基于传感器输出的时序数据与根据该时序数据推定的动作之间的关系。这种方法为了构筑动作词典，对必要的时序数据进行标签赋予需要花费很多工夫，要求进行改善。另外，还具有以下需求，即并不限于这种编辑作业人员的动作历史的用途，在使用传感器分析活动的各种各样的用途中，希望能够自动进行基于传感器输出的时序数据的标签赋予。

发明内容

本发明要解决的课题在于提供一种能够自动进行基于传感器输出的时序数据的标签赋予的动作分析装置、动作分析方法以及程序。

实施方式的动作分析装置具备：对应区间检测部、以及对应关联部。对应区间检测部使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与第二时序数据类似或共现的区间的对应区间进行检测。对应关联部使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联。

根据上述结构的动作分析装置，能够自动进行基于传感器输出的时序数据的标签赋予。

附图说明

图1是说明第一实施方式的动作分析装置的概要的图。

图2是说明第一实施方式的动作分析装置的处理的概要的图。

图3是表示第一实施方式的动作分析装置的硬件结构例的方框图。

图4是表示第一实施方式的动作分析装置的功能性结构例的方框图。

图5是说明信号同步部的处理的图。

图6是说明人的活动与物体的活动的相关的图。

图7是说明波形的类似度的图。

图8是表示目标对应信息的一例的图。

图9是说明生成学习数据的方法的一例的图。

图10是表示输出部使显示器显示的信息的一例的图。

图11是表示变形例1的动作分析装置的功能性结构例的方框图。

图12是说明动作区间提取部的处理的图。

图13是表示动作区间提取部的处理流程的一例的流程图。

图14是表示变形例2的动作分析装置的功能性结构例的方框图。

图15是说明第二实施方式的动作分析装置的概要的图。

图16是表示第二实施方式的动作分析装置的功能性结构例的方框图。

图17是表示目标对应信息的一例的图。

图18是说明第三实施方式的动作分析装置的概要的图。

图19是表示第三实施方式的动作分析装置的功能性结构例的方框图。

图20是表示目标对应信息的一例的图。

附图标记说明

10(10A、10B)第一传感器单元；20第二传感器单元；100动作分析装置；122对应区间检测部；123对应关联部；124动作区间提取部；131学习数据生成部；132推定器构筑部；134特征量计算部；141动作推定部；142特征量计算部；180目标对应信息；200动作分析装置；300动作分析装置；301特征量计算部；302分类部。

具体实施方式

下面，参照附图，对实施方式的动作分析装置以及动作分析方法的详细内容进行说明。此外，在以下的说明中，对于具有同样功能的结构要素赋予相同的附图标记，适当省略重复的说明。

<第一实施方式>

在本实施方式中，对在现场进行作业的作业人员和作业人员使用的工具、部件、现场的运转设备等物体分别安装小型传感器，测量作业人员与物体双方的活动。而且，通过对基于作业人员侧的传感器输出的时序数据与基于物体侧的传感器输出的时序数据进行对照，从而对作业人员使用物体进行作业的区间进行检测，进行对于表示该区间的作业人员的活动的时序数据特定物体的标签赋予。被标签赋予的时序数据能够用于学习数据的生成，所述学习数据用于通过机械学习构筑推定器，所述推定器用于推定作业人员的动作。使用学习数据构筑推定器之后，使用该推定器，能够仅从基于作业人员侧的传感器输出的时序数据，来推定作业人员对物体的使用。

图1是说明本实施方式的动作分析装置100的概要的图。如图1所示，本实施方式的动作分析装置100分别从在现场进行作业的作业人员(第一目标的一例)的手等安装的第一传感器单元10和在作业人员使用的工具(第二目标的一例)安装的第二传感器单元20接收与作业人员的活动、工具的活动对应的时序数据。第一传感器单元10、第二传感器单元20例如使用粘着构件等对作业人员的手、工具直接或经由手套、工具盖安装。还可以使用皮带、回形针等装备，将第一传感器单元10、第二传感器单元20安装于作业人员的手、工具。

第一传感器单元10和第二传感器单元20分别具备：测量活动的传感器、以及将该传感器的每个时刻的测量值作为时序数据发送的发送机，将与作业人员、工具的活动对应的时序数据实时或临时保存在内部的存储器中之后，发送给动作分析装置100。在本实施方式中，作为测量活动的传感器，例如假设使用采样频率30Hz的三轴加速度传感器的例子，但也可以使用陀螺传感器、地磁传感器等。

从第一传感器单元10、第二传感器单元20对动作分析装置100发送时序数据的方法并不特别限定，例如能够使用有线通信、长距离无线通信或近距离无线通信等。另外，还可以为将从第一传感器单元10、第二传感器单元20发送的时序数据保存在与动作分析装置100不同的云服务器、外部的其他记录装置中，动作分析装置100从该处获取时序数据的结构。此外，在图1中分别图示了各一个第一传感器单元10和第二传感器单元20，但实际上为了生成推定器的机械学习所需要的多个学习数据，会对多个作业人员分别安装第一传感器单元10，对多个工具、部件、现场的运行设备等物体分别安装第二传感器单元20。

图2是说明本实施方式的动作分析装置100的处理的概要的图。本实施方式的动作分析装置100的处理主要大致分为图2(a)所示的处理A、图2(b)所示的处理B、以及图2(c)所示的处理C这三种动作。

如图2(a)所示，处理A为使用与第一传感器单元10测量的作业人员的活动对应的时序数据和与第二传感器单元20测量的工具的活动对应的时序数据，对作业人员使用工具进行作业的区间进行检测的处理。如图2(b)所示，处理B为使用在与作业人员的活动对应的时序数据之中对于处理A检测出的区间赋予了工具的标签的数据作为学习数据，通过机械学习构筑用于推定作业人员的动作的推定器的处理。如图2(c)所示，处理C为使用处理B构筑的推定器，从与第一传感器单元10测量的作业人员的活动对应的时序数据，推定作业人员的动作(工具的使用)的处理。处理A和处理B假设为将动作分析装置100导入现场时实施的处理，处理C假设为进行实际的动作分析、其历史的记录等时实施的处理。

图3是表示本实施方式的动作分析装置100的硬件结构例的方框图。例如图3所示，本实施方式的动作分析装置100具有通常的计算机的硬件结构，具备：CPU(CentralProcessing Unit)、GPU(Graphics Processing Unit)等处理器101、RAM(Random AccessMemory)、ROM(Read Only Memory)等内部存储器102、HDD(Hard Disk Drive)、SDD(SolidState Drive)等存储设备103、用于连接显示器106等周边设备的输入输出I/F104、以及与第一传感器单元10、第二传感器单元20等装置外部的设备进行通信的通信I/F105。本实施方式的动作分析装置100例如能够通过处理器101一边利用内部存储器102，一边执行保存在存储设备103、内部存储器102等中的程序，从而实现后述的各功能性结构要素。

图4是表示本实施方式的动作分析装置100的功能性结构例的方框图。本实施方式的动作分析装置100例如作为通过图3所示的硬件与软件(程序)的协作来实现的功能性结构要素，如图4所示，具备：获取部110、第一处理部120、第二处理部130、第三处理部140以及输出部150。

获取部110对与通过第一传感器单元10测量的作业人员的活动对应的时序数据(以下将其称为“第一时序数据”)、与通过第二传感器单元20测量的作业人员的活动对应的时序数据(以下将其称为“第二时序数据”)进行获取。获取部100还可以直接获取从第一传感器单元10发送的第一时序数据、从第二传感器单元20发送的第二时序数据，也可以通过访问云服务器、外部的存储装置来获取如上所述保存在这些云服务器、外部的记录装置中的第一时序数据、第二时序数据。

在上述的处理A中，获取部110获取第一时序数据和第二时序数据的双方，将这些第一时序数据和第二时序数据供给到第一处理部120，并且将其保存在存储设备103等中(图4的时序数据170)。另外，在上述的处理C中，获取部110仅获取第一时序数据，并供给到第三处理部140。

第一处理部120为执行上述处理A的各处理的处理部，具备：信号同步部121、对应区间检测部122、以及对应关联部123。

信号同步部121具有使第一时序数据与第二时序数据的时刻同步的功能。第一时序数据、第二时序数据例如为通过三轴加速度传感器测量的加速度信号的时序数据，附加了与各加速度值对应的测量时刻。测量时刻还可以为与各加速度值相联系的时刻，也可以由测量开始时刻与采样周期的组合来表示。当第一传感器单元10在内部保持的系统时钟信息与第二传感器单元20在内部保持的系统时钟信息在测量开始时被预先同步时，信号同步部121使用各自的时序数据的测量时刻取得同步即可。

另一方面，当第一传感器单元10和第二传感器单元20的双方的系统时钟信息在测量开始时并未同步的设定时，从测量开始时在规定的时间T1(例如1sec)内对第一传感器单元10和第二传感器单元20的双方赋予特征性的振动，信号同步部121以伴随着该特征性的振动的驱动波形为线索，使第一时序数据与第二时序数据的时刻同步。

作为这种特征性的振动，例如在时间T1内的任一时机选择作业人员手持工具的情况下周期性地左右振动的运动等低频的振动时，如图5所示，信号同步部121对在时间T1内通过第一传感器单元10测量的至少一轴的加速度信号(参照图5(a))与在时间T1内通过第二传感器单元20测量的至少一轴的加速度信号(参照图5(b))的相互相关函数进行计算(参照图5(c))。然后，计算取得相互相关函数的最大值的峰31的时刻32作为第一传感器单元10与第二传感器单元20的时间偏差，使第一时序数据和第二时序数据的一个以相当于时刻32的时间部分位移，使两波形数据的时刻同步。

另外，作为特征性的振动还可以在例如选择使作业人员手持的工具与其他物体碰撞的运动等高频的振动时，信号同步部121对在时间T1内通过第一传感器单元10测量的三轴的加速度信号的均方根与在时间T1内通过第二传感器单元20测量的三轴的加速度信号的均方根进行计算，计算这些的最大峰值的时刻差作为第一传感器单元10与第二传感器单元20的时间偏差，从而使第一时序数据与第二时序数据的时刻同步。

对应区间检测部122对作为通过信号同步部121实现了同步的第一时序数据与第二时序数据类似或共现的区间的对应区间进行检测。例如，对应区间检测部122将表示第一时序数据的波形(以下将其称为“第一波形”)与表示第二时序数据的波形(以下将其称为“第二波形”)的类似度为基准值以上的区间作为对应区间进行检测。

这里，作为第一波形与第二波形的类似度，例如能够使用至少一轴的加速度信号的波形的相关值。图6是说明人的活动与物体的活动的相关的图，图6(a)表示人在厨房反复进行开关门、抽屉的动作、手持杯子的动作时的右手腕的x轴方向的加速度信号的波形X1，图6(b)表示该人手持的杯子(物体)的x轴方向的加速度信号的波形X2。另外，图6(c)表示计算出在各时刻中规定的时间T2(例如1000msec)区间部分的波形X1与波形X2的相关系数ρ(t)的结果。

如图6(b)所示，在与人手持杯子的事件时间对应的区间33中，波形X2发生大的波动。而且，参见图6(c)可知，与区间33同步负相关系数增大。因此，该区间33被解释为表示人的活动的波形X1与表示杯子(物体)的活动的波形X2的类似度高。

如上所述，表示人的活动的波形数据与表示物体的活动的波形数据的类似度例如能够使用两波形的相关系数ρ(t)表示。因此，对应区间检测部122能够对表示第一传感器单元10测量的作业人员的活动的第一波形与表示第二传感器单元20测量的工具的活动的第二波形的相关系数ρ(t)进行计算，将相关系数ρ(t)的绝对值为阈值Th1以上的区间检测作为第一波形与第二波形类似的对应区间。

另外，波形的类似度还可以被解释为波形的振幅变化量、频率越类似则类似度越高。图7示出通过波形的振幅变化量和频率来判定类似度的例子，图7(a)示出基准的波形，图7(b)示出对于图7(a)的波形，频率类似但振幅变化量不同的波形，图7(c)示出对于图7(a)的波形，振幅变化量类似但频率不同的波形，图7(d)示出对于图7(a)的波形振幅变化量和频率双方均类似的波形。在该图7所示的例子中，图7(a)所示的波形与图7(d)所示的波形的类似度被计算为最高的值。作为具体的指标，除了上述的相关系数以外，例如还可以对波形进行时频分析并计算光谱图，将各频率波的功率分布差作为指标。另外，还可以将规定的时间T2区间部分的波形通过傅立叶变换等转换为频域，将其波形的相关系数作为指标。

对应关联部123例如对于特定对应区间检测部122检测出的第一时序数据中的对应区间的信息，使特定与第一时序数据对应的作业人员(第一目标的一例)的信息与特定与第二时序数据对应的工具(第二目标的一例)的信息对应关联。对应关联部123的对应关联的结果为作为目标对应信息180被保存在存储设备103等中。

图8是表示被保存在存储设备103等中的目标对应信息180的一例的图。在图8中示出在由特定对应区间检测部122检测出的对应区间的开始时刻和结束时刻，使特定作业人员的作业人员ID与特定工具的工具ID对应关联的目标对应信息180的例子。作业人员ID为对于安装了第一传感器单元10的作业人员唯一分配的ID，通过预先存储与第一传感器单元10的设备ID的对应关系，从而例如能够以从第一传感器单元10与波形数据一起发送来的设备ID为线索，识别安装了该第一传感器单元10的作业人员的作业人员ID。另外，工具ID为对于安装了第二传感器单元20的工具唯一分配的ID，通过预先存储与第二传感器单元20的设备ID的对应关系，从而例如能够以从第二传感器单元20与波形数据一起发送来的设备ID为线索，识别安装了该第二传感器单元20的工具的工具ID。

此外，目标对应信息180为对于特定对应区间的信息，使特定第一目标的信息与特定第二目标的信息对应关联的信息即可，则并不限于图8所示的结构。例如，作为特定对应区间的信息，还可以代替开始时刻和结束时刻的任一个，使用对应区间的长度(时间)。另外，还可以代替作业人员ID，使用第一传感器单元10的设备ID，代替工具ID，使用第二传感器单元20的设备ID。另外，如上所述在由对应区间检测部122根据第一波形与第二波形的类似度检测对应区间的结构时，还可以将对应区间中的第一波形与第二波形的类似度包含在目标对应信息180中。此外，在本实施方式中，如后所述，假设以生成用于构筑推定任意的作业人员的动作的推定器的学习数据的用途，使用目标对应信息180。因此，目标对应信息180还可以为不包含特定作业人员ID等第一目标的信息的结构。

第二处理部130为执行上述的处理B的各处理的处理部，具备：学习数据生成部131以及推定器构筑部132。

学习数据生成部131根据目标对应信息180，生成用于构筑推定作业人员的动作的推定器的学习数据。在学习数据生成部131中输入有通过获取部110保存在存储设备103等中的时序数据170之中的第一时序数据、以及保存在存储设备103等中的目标对应信息180之中的开始时刻、结束时刻和工具ID。学习数据生成部131使用这些输入的信息，生成对于第一时序数据进行了标签赋予工具ID的学习数据。

图9是说明生成学习数据的方法的一例的图。例如图9所示，学习数据生成部131首先针对表示通过第一传感器单元10测量的三轴加速度的第一时序数据的每个时刻，生成作为标签赋予工具ID的数据。此时，对于包含在由对应区间检测部122检测出的对应区间中的时刻，与该对应区间对应的工具ID作为标签被赋予，对于不与对应区间对应的时刻，以表示未使用工具的意思赋予了“NULL”这个标签。

接着，学习数据生成部131如以上那样从所示针对每个时刻进行了标签赋予的第一时序数据中，一边错开规定时间T12一边提取规定长度T11的分析区间部分的数据，以作为推定器输入用的数据。在图9中示出将分析区间的长度T11设定为200msec，将规定时间T12设定为100msec来提取推定器输入用的数据的例子，但这些T11和T12的长度按照作为分析对象的动作的种类由设计者确定最适合的值即可。

接着，学习数据生成部131对与如以上所示提取的推定器输入用的数据对应的推定器输出用的代表标签进行确定。代表标签为在上述的分析区间内的各时刻被赋予相同的标签时，将该标签作为代表标签即可。例如与图9的分析区间42的数据对应的代表标签为“电动螺丝刀”。另一方面，在分析区间内赋予了多个标签时，例如对于分析区间的长度T11，多个标签之中的某一个标签被赋予的时间的比例为阈值Th2以上时，将该标签作为代表标签。任何标签均不满足该条件时，视为各种各样的动作混合存在，是分析困难的区间，代表标签成为“NULL”。阈值Th2例如被设定为60％。在这种情况下，与图9的分析区间41的数据对应的代表标签为“NULL”。

学习数据生成部131如以那样将从上所示针对每个时刻进行了标签赋予的第一时序数据中提取的推定器输入用的数据与推定器输出用的代表标签的组合，生成作为用于通过机械学习构筑推定器的学习数据。

推定器构筑部132通过使用由学习数据生成部131生成的学习数据的机械学习来构筑推定器。推定器构筑部132当构筑推定器时，将上述的分析区间部分的第一时序数据输入深层学习的网络，将与该第一时序数据对应的代表标签使用作为教师标签，使其学习网络的层数、加权参数等。

通过推定器构筑部132构筑的推定器的程序和参数(图4的推定器190)被保存在存储设备103等中。另外，作为上述的分析区间的参数的规定长度T11、规定时间T12等信息也一并被保存在存储设备103等中。

第三处理部140为执行上述的处理C的处理的处理部，具备动作推定部141。

动作推定部141将与通过第一传感器单元10测量的作业人员的活动对应的第一时序数据作为输入，根据通过推定器构筑部132构筑并保存在存储设备103等中的推定器的程序和参数(图4的推定器190)，对作业人员的动作进行推定。

对动作推定部141输入有通过获取部10获取的第一时序数据。动作推定部141参照被保存在存储设备103等中的上述的规定长度T11、规定时间T12，从输入的第一时序数据中，依次提取与通过推定器构筑部132构筑的推定器的数据形式相适合的区间长的数据。而且，动作推定器141将提取的数据作为推定器的输入，从根据被保存在存储设备103等中的推定器的程序和参数(图4的推定器190)输出的标签中，对作业人员的动作进行推定。

输出部150对表示本实施方式的动作分析装置100的处理结果的信息进行输出。输出部150例如可以使显示器106显示动作分析装置100的处理结果，还可以将动作分析装置100的处理结果经由通信I/F105发送给外部的装置，使外部的装置显示。在上述的处理C中，输出部150能够使显示器106等显示表示通过动作推定部141推定的作业人员的动作的信息。另外，在上述的处理A中，例如图10所示，输出部151还可以以强调上述的第一波形与第二波形两者的类似度高的对应区间的形式使显示器106显示，也可以使显示器106合并显示两者的类似度。

如以上举出具体例进行了详细说明所示，根据本实施方式，通过着眼于与作业人员(第一目标的一例)的活动对应的第一时序数据和与工具(第二目标的一例)的活动对应的第二时序数据的类似性，从而能够自动进行在这些时序数据中作业人员使用工具进行作业的区间的分区、以及对于时序数据的标签赋予。另外，根据本实施方式，由于能够使用这种被标签赋予的时序数据，自动生成用于通过机械学习构筑推定作业人员的动作的推定器的学习数据，因此能够大幅减轻用于生成学习数据的作业负担，能够迅速进行用于业务改善的动作分析装置100的现场导入。

(变形例1)

如图11所示，本实施方式的动作分析装置100还可以为对第一处理部120设置动作区间提取部124，对应区间检测部122使用通过动作区间提取部124提取的动作区间检测对应区间的结构。

动作区间提取部124从第一时序数据和第二时序数据的至少一个中，提取作为推定为具有活动的区间的动作区间。图12是说明动作区间提取部124的处理的图。如图12所示，动作区间提取部124对于表示第一时序数据的第一波形和表示第二时序数据的第二波形的至少一个(这里为图12(a)所示的加速度波形)实施微分处理，得到如图12(b)所示的高频带波形。作为微分处理的代替，例如还可以使用截止频率为10Hz的高通滤波器，得到如图12(b)所示的高频带波形。然后，动作区间提取部124在该高频带波形的各时刻中，使用过去规定区间T21的分析窗求出方差(统计量的一例)，将方差为阈值Th11以上的区间作为动作区间候补A(图12(c))。

另外，动作区间提取部124对于表示第一时序数据的第一波形和表示第二时序数据的第二波形的至少一个(图12(a)所示的加速度波形)，例如使用截止频率为5Hz的高通滤波器，得到如图12(d)所示的低频带波形。而且，动作区间提取部124在该低频带波形的各时刻中，求出表示使用了过去规定区间T22的分析窗的方差的变化量，将变化量为阈值Th12以上的区间、以及从变化量低于阈值Th12到下一变为阈值Th12以上的区间且区间长为阈值Th13以下的区间作为动作区间候补B(图12(e))。此外，阈值Th13为按照假设的动作的种类设定的阈值，在本例中例如设定为15sec。

而且，动作区间提取部124将与上述的动作区间候补A和动作区间候补B的至少任一个相符合的区间作为最终的动作区间(图12(f))，从第一时序数据或第二时序数据中提取该动作区间。

图13是表示针对第一时序数据或第二时序数据的每个时刻反复进行的动作区间提取部124的处理流程的一例的流程图。动作区间提取部124通过使用如图12(b)所示的高频带波形和如图12(d)所示的低频带波形，针对第一时序数据或第二时序数据的每个时刻反复执行图13的流程图所示的处理，从而提取如图12(f)所示的动作区间。下面为了方便将作为图13的流程图所示的处理的对象的时刻称为“对象时刻”。

图13的流程图所示的处理开始后，动作区间提取部124首先对于图12(b)所示的高频带波形，根据对象时刻计算过去规定区间T21的分析窗中的方差(步骤S101)。然后，如果计算出的方差为阈值Th11以上(步骤S102：是)，则对于对象时刻保持动作区间候补A＝True(步骤S103)。另一方面，如果计算出的方差不到阈值Th11(步骤S102：否)，则对于对象时刻保持动作区间候补A＝False(步骤S104)。

另外，动作区间提取部124对于图12(d)所示的低频带波形，根据对象时刻使用过去规定区间T22的分析窗计算变化量(步骤S105)。然后，如果计算出的变化量为阈值Th12以上(步骤S106：是)，则对于对象时刻保持动作区间候补B＝True(步骤S107)。另一方面，如果变化量不到阈值Th12(步骤S106：否)，则特定相比对象时刻在过去的时刻变化量为阈值Th12以上的最近的时刻(将其称为“参照时刻”)，将从参照时刻到对象时刻的时间差与阈值Th13进行比较。然后，如果参照时刻与对象时刻的时间差为阈值Th13以下(步骤S108：否)，则对于对象时刻保持动作区间候补B＝True(步骤S107)。另一方面，如果参照时刻与对象时刻的时间差大于阈值Th13(步骤S108：是)，则对于对象时刻保持动作区间候补B＝False(步骤S109)，如果从参照时刻到对象时刻具有被判定为动作区间的区间，则将该区间变更为非动作区间(步骤S110)。

然后，动作区间提取部124参照对象时刻中的动作区间候补A的值和动作区间候补B的值，如果至少一个为True(步骤S111：是)，则将对象时刻判定为动作区间(步骤S112)，结束处理。另一方面，如果对象时刻中的动作区间候补A的值和动作区间候补B的值双方为False(步骤S111：否)，则将对象时刻判定为非动作区间(步骤S113)，结束处理。

本变形例中的对应区间检测部122使用通过动作区间提取部124从第一时序数据和第二时序数据的至少一个中提取的动作区间，检测对应区间。仅从第一时序数据中提取动作区间时，对应区间检测部122将从第一时序数据中提取的动作区间与第二时序数据相对照，在第二时序数据中，将与从第一时序数据中提取的动作区间的类似度为基准值以上的区间检测作为对应区间。另外，仅从第二时序数据中提取动作区间时，对应区间检测部122将从第二时序数据中提取的动作区间与第一时序数据相对照，在第一时序数据中，将与从第二时序数据中提取的动作区间的类似度为基准值以上的区间检测作为对应区间。

另外，从第一时序数据和第二时序数据的双方提取动作区间时，对应区间检测部122在从第一时序数据中提取的动作区域与从第二时序数据中提取的动作区间的类似度超过基准值时，将这些动作区间检测作为对应区间。

另外，还可以在从第一时序数据中提取的动作区间的开始时刻与从第二时序数据中提取的动作区间的开始时刻的时间差、以及从第一时序数据中提取的动作区间的结束时刻与从第二时序数据中提取的动作区间的结束时刻的时间差均不到规定的阈值Th21(例如500msec)，能够视为两动作区间同步时，由于这些动作区间为表示第一时序数据的第一波形与表示第二时序数据的第二波形共现的区间，因此将这些动作区间检测作为对应区间。在这种情况下，也可以将两动作区间的开始时刻的时间差与结束时刻的时间差的合计值与上述的第一波形和第二波形的类似度同样处理，包含在目标对应信息180中。

如以上说明所示，在本变形例中，由于从第一时序数据和第二时序数据的至少一个中提取推定为具有活动的动作区间，使用提取的动作区间检测对应区间，因此能够更准确且低成本地实施对应区间的检测。

(变形例2)

如图14所示，本实施方式的动作分析装置100还可以为对第二处理部130和第三处理部140分别设置特征量计算部134、142，使用根据第一时序数据计算出的特征量进行学习数据的生成、动作的推定的结构。作为根据第一时序数据计算的特征量，能够使用分析区间中的波形的振幅平均值·方差·标准偏差值、高频带和低频带中的波形的振幅平均值、方差、以及频率分析后具有最大功率值的频率值的至少一个。

本变形例中的学习数据生成部131如图9所示将针对每个时刻从进行了标签赋予的第一时序数据中提取的分析区间部分的数据交给特征量计算部134，接收由特征量计算部134计算出的特征量。而且，将特征量计算部134计算出的特征量与代表标签的组合生成作为学习数据。在这种情况下，推定器构筑部132能够使用通过学习数据生成部131生成的学习数据，构筑基于以支持向量机、误差反向传播算法为代表的一般性的识别手法的推定器。

在本变形例中的动作推定部141中输入有根据获取部110获取的第一时序数据通过特征量计算部142计算出的特征量。特征量计算部142计算的特征量与特征量计算部134计算的特征量相同。特征量计算部142参照被保存在存储设备103等中的上述的规定长度T11、规定时间T12，根据获取部110获取的第一时序数据，计算与推定器构筑部132构筑的推定器的数据形式相适合的区间长的数据的特征量，交给动作推定部141。动作推定器141将该特征量作为推定器的输入，从根据被保存在存储设备103等中的推定器的程序和参数(图14的推定器190)输出的标签中，对作业人员的动作进行推定。

如以上说明所示，在本变形例中，由于使用根据第一时序数据计算出的特征量进行学习数据的生成、动作的推定，因此能够构筑基于一般性的识别手法的推定器，更简便地推定作业人员的动作。

<第二实施方式>

在本实施方式中，在假设多个作业人员使用同一工具的情况下，使用来自分别安装于多个作业人员的第一传感器单元10的多个第一时序数据和来自安装于工具的第二传感器单元20的第二时序数据，特定工具在何时、由哪个作业人员使用。在上述的第一实施方式中，以生成用于推定器的构筑的学习数据为目的，检测第一时序数据与第二时序数据的对应区间并对第一时序数据进行标签赋予，但在本实施方式中，主要以记录多个作业人员使用的工具的使用历史为目的，检测多个第一时序数据的某一个与第二时序数据的对应区间并对第二时序数据进行标签赋予。

图15是说明本实施方式的动作分析装置200的概要的图。如图15所示，本实施方式的动作分析装置200分别从安装于多个作业人员(第一目标的一例)各自的多个第一传感器单元10(10A、10B)和安装于这些多个作业人员使用的同一工具(第二目标的一例)的第二传感器单元20，接收与作业人员的活动、工具的活动对应的时序数据。然后，本实施方式的动作分析装置200对在与工具的活动对应的第二时序数据中，与多个作业人员分别对应的多个第一时序数据的某一个波形类似或共现的对应区间进行检测，对于特定该第二时序数据中的对应区间的信息，将使特定多个作业人员的某一个的信息对应关联的目标对应信息180保存在存储设备103等中。此外，在图15中图示了两个第一传感器单元10A、10B，但还可以按照使用同一工具的作业人员的数量，使用更多的第一传感器单元10。

图16是表示本实施方式的动作分析装置200的功能性结构例的方框图。本实施方式的动作分析装置200例如作为通过图3所示的硬件与软件(程序)的协作来实现的功能性结构要素，如图16所示，具备：获取部110、信号同步部121、对应区间检测部122、以及对应关联部123。此外，与上述的第一实施方式的变形例1同样地还可以为进一步具备动作区间提取部124的结构。

获取部110与第一实施方式同样，获取第一时序数据和第二时序数据。另外，信号同步部121与第一实施方式同样地使第一时序数据与第二时序数据的时刻同步。但是，在本实施方式中，获取部110获取从多个第一传感器单元10A、10B发送的、与多个作业人员对应的多个第一时序数据，信号同步部121使这些多个第一时序数据与第二时序数据的时刻同步。

对应区间检测部122从通过信号同步部121实现了与多个第一时序数据的同步的第二时序数据中，检测与多个第一时序数据的某一个类似或共现的对应区间。本实施方式的对应区间检测部122从第二时序数据中检测对应区间的具体的方法能够使用与上述的第一实施方式同样的方法。

对应关联部123对于特定对应区间检测部122检测出的第二时序数据中的对应区间的信息，将特定与第二时序数据对应的工具的信息和特定与在该对应区间中波形类似或共现的第一时序数据对应的作业人员的信息对应关联。对应关联部123的对应关联的结果作为目标对应信息180被保存在存储设备103等中。

图17是表示被保存在存储设备103等中的目标对应信息180的一例的图。在图17中示出在特定对应区间检测部122检测出的对应区间的开始时刻和结束时刻，使特定工具的工具ID与特定作业人员的作业人员ID对应关联的目标对应信息180的例子。作为特定对应区间的信息，还可以代替开始时刻与结束时刻的任一个，使用对应区间的长度(时间)。另外，还可以代替作业人员ID，使用第一传感器单元10的设备ID，代替工具ID，使用第二传感器单元20的设备ID。

如以上所述，根据本实施方式，能够对于表示多个作业人员使用的工具的活动的第二时序数据，自动进行任一个作业人员使用的区间的分区、以及表示哪个作业人员使用的标签赋予，能够实现高效率的动作分析。

此外，在以上说明的例子中，作为对多个作业人员分别安装第一传感器单元10进行了说明，但也可以对同一作业人员的不同身体部位分别安装第一传感器单元10，这也有助于分析作业人员如何使用工具。另外，还可以对现场的运行设备等工具以外的物体安装第二传感器单元20，能够掌握该物体的使用历史。

<第三实施方式>

在本实施方式中，将检测出的对应区间中的第一波形与第二波形的类似度、以及根据该对应区间的时序数据计算出的特征量的至少任一个分类为指定数量的群，使包括该分类结果的目标对应信息180存储在存储设备103等中。

图18是说明本实施方式的动作分析装置300的概要的图。如图18所示，按照作业人员的疲劳状态、熟练度、作业人员是否正确使用工具的手持方法的变化，作业人员与工具的姿势变化。因此，例如在传感器使用三轴加速度传感器时，可以认为相当于对应区间中的类似度的相关值高的加速度的轴的组合变化。另外，例如，即使作业人员的活动相同且加速度波形类似，如果手持方法不同，则可以认为工具的加速度波形不同。同样，即使工具的活动相同且加速度波形类似，如果手持方法不同，则作业人员的加速度波形变化。进而，在以不同的使用目的使用同一工具的情况下，可以认为作业人员与工具双方的加速度波形、类似度高的加速度的轴的倾向等也会有很大不同。

因此，在本实施方式中，通过将分析第一时序数据与第二时序数据的波形的类似性而得到的信息、也就是上述的对应区间中的类似度与根据该对应区间的时序数据计算出的特征量的至少任一个分类为指定数量的群，从而能够分析如上所述的作业人员的疲劳状态、熟练度、工具的使用方法、使用目的等差异。

图19是表示本实施方式的动作分析装置300的功能性结构例的方框图。本实施方式的动作分析装置300例如作为通过图3所示的硬件与软件(程序)的协作来实现的功能性结构要素，如图19所示，具备：获取部110、信号同步部121、对应区间检测部122、对应关联部123、特征量计算部301、以及分类部302。此外，与上述的第一实施方式的变形例1同样地还可以为进一步具备动作区间提取部124的结构。

获取部110与第一实施方式同样地获取第一时序数据和第二时序数据。另外，信号同步部121与第一实施方式同样地使第一时序数据与第二时序数据的时刻同步。另外，对应区间检测部122与第一实施方式同样地对在第一时序数据与第二时序数据波形类似或共现的对应区间进行检测。

特征量计算部301根据对应区间检测部122检测出的对应区间中的第一时序数据和第二时序数据的至少一个计算特征量。这里，特征量是指连续类似度高的区间中的波形的振幅平均值·方差·标准偏差值、高频带和低频带中的波形的振幅平均值、方差、以及频率分析后具有最大功率值的频率值的至少一个。

分类部302将对应区间检测部122检测出的对应区间中的类似度、和特征量计算部301计算出的特征量的至少任一个分类为指定数量的群。用于分类的群数例如可以由分析作业人员的疲劳状态、熟练度、工具的使用方法、使用目的等差异的用户通过键盘输入等来指定与分析的粒度相应的数量，还可以预先指定固定的数量。分类部302的群集的手法例如能够使用k-mean法等公知的手法。

对应关联部123对于特定对应区间检测部122检测出的对应区间的信息，使特定与第一时序数据对应的作业人员的信息、特定与第二时序数据对应的工具的信息以及分类部302的分类结果对应关联。对应关联部123的对应关联的结果为作为目标对应信息180被保存在存储设备103等中。

图20是表示被保存在存储设备103等中的目标对应信息180的一例的图。在图20中示出与特定对应区间检测部122检测出的对应区间的开始时刻和结束时刻对应关联，使特定作业人员的作业人员ID、特定工具的工具ID以及表示分类部302的分类结果的群ID对应关联的目标对应信息180的例子。作为特定对应区间的信息，还可以代替开始时刻与结束时刻的任一个，使用对应区间的长度(时间)。另外，还可以代替作业人员ID，使用第一传感器单元10的设备ID，代替工具ID，使用第二传感器单元20的设备ID。

另外，还可以在分类部302对特征量计算部301计算出的特征量进行分类的情况下，对应关联部123利用自组织映射、主成分分析等，使将多维的特征量低维化的值对应关联，包括低维化的特征量的值的目标对应信息180被保存在存储设备103等中。在这种情况下，通过使包含在目标对应信息180中的低维化的特征量的值在二维空间上表示并对用户提示，用户能够直观地理解各个数据的接近度。

如以上所述，根据本实施方式，由于将通过分析第一时序数据与第二时序数据的波形的类似性而得到的信息分类为指定数量的群，存储该分类结果，因此能够分析作业人员的疲劳状态、熟练度、工具的使用方法、使用目的等差异，能够实现更详细的动作分析。

<补充说明>

在上述的各实施方式中，假设分析现场中的作业人员的动作的用途，关于作为活动的测量对象的目标，第一目标为作业人员(人)，第二目标为作业人员使用的工具、部件、现场的运行设备等(物体)进行了说明。但是，上述的各实施方式并不限于分析现场中的作业人员的动作的用途，还能够实现各种各样的用途中的应用，该用途中的活动的测量对象为第一目标和第二目标。例如，如果将第一目标设为机器人，将第二目标设为该机器人使用的道具，则能够实现分析机器人的动作的用途中的应用。

上述的各实施方式的动作分析装置100、200、300例如能够使用通常的计算机执行规定的程序来实现。即，作为动作分析装置100、200、300的功能性结构要素示出的各部包含在通过计算机执行的程序中，计算机具备的一个以上的处理器(图3的处理器101)执行该程序，从而上述的各部在RAM等主存储(图3的内部存储器102)上生成。

通过计算机执行的上述程序例如被记录在磁盘(软磁盘、硬盘等)、光盘(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW、Blu-ray(注册商标)Disc等)、半导体存储器或与其类似的记录介质上并提供。此外，记录程序的记录介质只要为计算机可读的记录介质，则其存储形式可以为任意形态。另外，还可以为将上述程序预先安装在计算机中的结构，也可以为将经由网络发布的上述程序适宜安装在计算机中的结构。

此外，构成上述的各实施方式的动作分析装置100、200、300的各部不仅通过程序(软件)实现，还能够使其部分或全部通过ASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)等专用的硬件实现。

另外，上述的各实施方式的动作分析装置100、200、300还可以构成作为可通信地连接多台计算机的网络系统，将上述的各部分散于多台计算机来实现的结构。

以上对本发明的实施方式进行了说明，这里说明的实施方式作为例子提示，并不用以限定发明的范围。这里说明的新的实施方式能够由其他各种各样的方式来实施，在不脱离发明的宗旨的范围内，能够进行各种省略、替换、变更。这里说明的实施方式、其变形包含在发明的范围和宗旨中，并且包含在与权利要求中记载的发明均等的范围内。

此外，能够将上述实施方式总结为以下的技术方案。

技术方案1

一种动作分析装置，其中：

对应区间检测部，使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与所述第二时序数据类似或共现的区间即对应区间进行检测；以及

对应关联部，使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联。

技术方案2

在上述技术方案1的动作分析装置中，其中：所述对应区间检测部将表示所述第一时序数据的第一波形与表示所述第二时序数据的第二波形的类似度为基准值以上的区间检测为所述对应区间，所述对应关联部进一步使所述对应区间中的所述第一波形与所述第二波形的类似度对应关联。

技术方案3

在上述技术方案1或2的动作分析装置中，其中还包括：

动作区间提取部，从所述第一时序数据和所述第二时序数据的至少一个中提取推定为具有活动的动作区间，

所述对应区间检测部使用提取出的所述动作区间来检测所述对应区间。

技术方案4

在上述技术方案3的动作分析装置中，其中：所述动作区间提取部将对表示所述第一时序数据的第一波形或表示所述第二时序数据的第二波形的高频带的波形使用规定的时间长度的分析窗求出的统计量为第一阈值以上的区间、对所述第一波形或所述第二波形的低频带的波形使用规定的时间长度的分析窗求出的变化量为第二阈值以上的区间、以及从该变化量低于所述第二阈值到下一变为所述第二阈值以上的、区间长为第三阈值以下的区间提取为所述动作区间。

技术方案5

在上述技术方案3或4的动作分析装置中，其中：

所述动作区间提取部从所述第一时序数据和所述第二时序数据的双方提取所述动作区间，

所述对应区间检测部在从所述第一时序数据中提取的所述动作区间与从所述第二时序数据中提取的所述动作区间同步时，将该动作区间检测为所述对应区间。

技术方案6

在上述技术方案1至5的动作分析装置中，其中：所述第一传感器和所述第二传感器为测量振动的加速度传感器、测量旋转运动的陀螺传感器或检测地磁的地磁传感器之中的至少一种。

技术方案7

在上述技术方案1至6的动作分析装置中，其中：所述第一目标为人，所述第二目标为所述人使用的物体。

技术方案8

在上述技术方案1至7的动作分析装置中，其中还包括：

学习数据生成部，使用所述对应关联部的对应关联的结果，对于所述第一时序数据中的所述对应区间将特定所述第二目标的信息进行标签赋予，使用进行了标签赋予的所述第一时序数据生成学习数据；以及

推定器构筑部，通过使用所述学习数据的机械学习构筑推定器。

技术方案9

在上述技术方案8的动作分析装置中，其中：所述学习数据生成部使用根据所述第一时序数据计算出的特征量生成所述学习数据。

技术方案10

在上述技术方案8或9的动作分析装置中，其中还包括：

动作推定部，将所述第一时序数据或根据该第一时序数据计算出的特征量作为输入，根据所述推定器的程序和参数，推定所述第一目标的动作。

技术方案11

在上述技术方案1至7的动作分析装置中，其中：

所述对应区间检测部从所述第二时序数据中，对与多个第一目标对应的多个所述第一时序数据之中的任一个类似或共现的所述对应区间进行检测，

使特定与所述第二时序数据类似或共现的所述第一时序数据对应的所述第一目标的信息与特定检测出的所述对应区间的信息相对应。

技术方案12

在上述技术方案1至7的动作分析装置中，其中还包括：

分类部，将表示所述对应区间中的所述第一时序数据的第一波形与表示所述第二时序数据的第二波形的类似度、或者根据所述对应区间的所述第一时序数据或第二时序数据计算出的特征量分类为指定的数量的群，

所述第一对应部进一步使所述分类部的分类结果对应关联。

技术方案13

一种动作分析方法，是通过计算机执行的动作分析方法，其中，

对应区间检测部使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与所述第二时序数据类似或共现的区间即对应区间进行检测的步骤；以及

对应关联部使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联的步骤。

技术方案14

一种程序，其特征在于，用于使计算机实现：

使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与所述第二时序数据类似或共现的区间即对应区间进行检测的功能；以及

使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联的功能。

Claims (10)

1.一种动作分析装置，其中，

对应区间检测部，使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与所述第二时序数据类似或共现的区间即对应区间进行检测；以及

对应关联部，使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联。

2.根据权利要求1所述的动作分析装置，其中：所述对应区间检测部将表示所述第一时序数据的第一波形与表示所述第二时序数据的第二波形的类似度为基准值以上的区间检测为所述对应区间，

所述对应关联部进一步使所述对应区间中的所述第一波形与所述第二波形的类似度对应关联。

3.根据权利要求1或2所述的动作分析装置，其中还包括：

动作区间提取部，从所述第一时序数据和所述第二时序数据的至少一个中提取推定为具有活动的动作区间，

所述对应区间检测部使用提取出的所述动作区间来检测所述对应区间。

4.根据权利要求3所述的动作分析装置，其中：所述动作区间提取部将对表示所述第一时序数据的第一波形或表示所述第二时序数据的第二波形的高频带的波形使用规定的时间长度的分析窗求出的统计量为第一阈值以上的区间、对所述第一波形或所述第二波形的低频带的波形使用规定的时间长度的分析窗求出的变化量为第二阈值以上的区间、以及从该变化量低于所述第二阈值到下一变为所述第二阈值以上的、区间长为第三阈值以下的区间提取为所述动作区间。

5.根据权利要求3或4所述的动作分析装置，其中：

所述动作区间提取部从所述第一时序数据和所述第二时序数据的双方提取所述动作区间，

所述对应区间检测部在从所述第一时序数据中提取的所述动作区间与从所述第二时序数据中提取的所述动作区间同步时，将该动作区间检测为所述对应区间。

6.根据权利要求1至5中任一项所述的动作分析装置，其中：所述第一传感器和所述第二传感器为测量振动的加速度传感器、测量旋转运动的陀螺传感器或检测地磁的地磁传感器之中的至少一种。

7.根据权利要求1至6中任一项所述的动作分析装置，其中：所述第一目标为人，所述第二目标为所述人使用的物体。

8.根据权利要求1至7中任一项所述的动作分析装置，其中还包括：

学习数据生成部，使用所述对应关联部的对应关联的结果，对于所述第一时序数据中的所述对应区间将特定所述第二目标的信息进行标签赋予，使用进行了标签赋予的所述第一时序数据生成学习数据；以及

推定器构筑部，通过使用所述学习数据的机械学习构筑推定器。

9.根据权利要求8所述的动作分析装置，其中：所述学习数据生成部使用根据所述第一时序数据计算出的特征量生成所述学习数据。

10.一种动作分析方法，是通过计算机执行的动作分析方法，其中包括：

对应区间检测部使用基于测量第一目标的活动的第一传感器的输出的第一时序数据和基于测量第二目标的活动的第二传感器的输出的第二时序数据，对所述第一时序数据与所述第二时序数据类似或共现的区间即对应区间进行检测的步骤；以及

对应关联部使特定所述第一目标的信息与特定所述第二目标的信息的至少一个与特定检测出的所述对应区间的信息对应关联的步骤。