CN113642374A - 动作评价系统、动作评价装置及动作评价方法 - Google Patents

Abstract

提供能够向正在动作的人高效地传达动作改进的适宜的信息的动作评价系统、动作评价装置及动作评价方法。在动作评价系统中，作为包含传感器单元、信息处理装置及信息提示装置的构成，在信息处理装置中构成为具备通信装置、存储装置和运算装置，运算装置经由通信装置取得通过传感器对用户进行观测而得到的动作数据并同与动作的适当性相关的信息进行比对，判定用户的动作的状态，确定应该改进的状态的动作作为改进点，将改进点的动作以后的动作数据同与用户的忙碌度相关的信息进行比对来确定忙碌度，基于与改进点及忙碌度的各状况相应地预先决定的规则，将多次分别不同内容的信息作为与改进点相关的改进教导的信息向信息提示装置输出。

Description

动作评价系统、动作评价装置及动作评价方法

技术领域

本发明涉及动作评价系统、动作评价装置及动作评价方法。

背景技术

提出了向正在行动中的人适宜地提供所需的信息的各种技术。例如，提出了其目的在于基于信息的种类、用户的行动、周围的状况等对信息进行调整并将调整后的信息向用户提示的以下技术。

即，提出了如下技术(参照专利文献1)：具备从各种信息源获得信息的信息获得模组、以及进行调整以使信息的量成为单位期间取得信息量的信息量调整模组，信息提示定时调整模组与从行动监视模组通知的用户的行动相应地调整定时，信息输出模组在调整后的定时向用户提示调整后的信息。

另外，还提出了如下技术(参照专利文献2)：以从信息源收集信息或者接受向用户送来的信息并向用户提示作为目的，根据信息保持部所保持的信息的开头，分别由重要度判定部和提示期限判定部判定信息的重要度和信息的提示期限，由忙碌度估计部根据用户所输入的忙碌度和时钟估计各时间的忙碌度，根据判定结果和忙碌度，由信息提示判定部判定是否是应该将所述信息向信息提示部提示的时间，并由信息提示部提示应该提示的信息。

在先技术文献

专利文献

专利文献1：日本特开2000-99441号公报

专利文献2：日本特开平8-241256号公报

发明内容

发明所要解决的课题

另外，作为进行如上所述的信息提供的情形，存在如下情况：关于正在作业中或训练中的人，对不优选的动作、姿势(以下统称为“动作”)进行识别，并进行用于促进其改进的信息提供。

在对这种情形适用现有技术的情况下，在一系列作业或训练结束后进行信息提示。但是，对进行作业或训练的人而言，难以通过直觉认识到由该信息教导改进的动作是哪个时刻的动作。因此存在如下课题：即使进行信息提示，其对象者也无法充分理解，无法充分得到动作改进的效果。

于是，本发明的目的在于，提供能够向正在动作中的人高效地传达动作改进的适宜的信息的技术。

用于解决课题的手段

用于解决上述课题的本发明的动作评价系统的特征在于，该动作评价系统包含信息处理装置，该信息处理装置具备：通信装置，与观测用户的动作的传感器进行通信；存储装置，存放规定了所述动作的各种状态的基准信息、以及所述动作的改进教导的各种信息；以及运算装置，执行如下处理：经由所述通信装置取得通过所述传感器对所述用户进行观测而得到的动作数据，将该动作数据与所述基准信息之中的与动作的适当性相关的信息进行比对，判定所述用户的动作的状态，确定所述动作之中的应该改进的状态的动作作为改进点；将所述改进点的动作以后的所述动作数据与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度；以及基于与所述改进点及所述忙碌度的各状况相应地预先决定的规则，从所述存储装置提取多次各自不同内容的信息作为与所述改进点相关的改进教导的信息，将该信息向面向所述用户的信息提示装置输出。

另外，本发明的动作评价装置的特征在于，具备：通信装置，与观测用户的动作的传感器进行通信；存储装置，存放规定了所述动作的各种状态的基准信息、以及所述动作的改进教导的各种信息；以及运算装置，该运算装置执行如下处理：经由所述通信装置取得通过所述传感器对所述用户进行观测而得到的动作数据，将该动作数据与所述基准信息之中的与动作的适当性相关的信息进行比对，判定所述用户的动作的状态，确定所述动作之中的应该改进的状态的动作作为改进点；将所述改进点的动作以后的所述动作数据与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度；以及基于与所述改进点及所述忙碌度的各状况相应地预先决定的规则，从所述存储装置提取多次各自不同内容的信息作为与所述改进点相关的改进教导的信息，将该信息向面向所述用户的信息提示装置输出。

另外，本发明的动作评价方法的特征在于，信息处理装置具备：通信装置，与观测用户的动作的传感器进行通信；以及存储装置，存放规定了所述动作的各种状态的基准信息、以及所述动作的改进教导的各种信息，所述信息处理装置执行如下处理：经由所述通信装置取得通过所述传感器对所述用户进行观测而得到的动作数据，将该动作数据与所述基准信息之中的与动作的适当性相关的信息进行比对，判定所述用户的动作的状态，确定所述动作之中的应该改进的状态的动作作为改进点；将所述改进点的动作以后的所述动作数据与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度；以及基于与所述改进点及所述忙碌度的各状况相应地预先决定的规则，从所述存储装置提取多次各自不同内容的信息作为与所述改进点相关的改进教导的信息，将该信息向面向所述用户的信息提示装置输出。

发明效果

根据本发明，能够向正在动作中的人高效地传达动作改进的适宜的信息。

附图说明

图1是表示本实施方式的动作评价系统的整体模块例的图。

图2是表示本实施方式中的传感器佩戴方式的例子的图。

图3是表示本实施方式中的计算机的硬件构成例的图。

图4是表示本实施方式中的肘状态估计部的动作概念例的图。

图5是表示本实施方式中的负担评价表的构成例的图。

图6是表示本实施方式中的负担评价表的构成例的图。

图7A是表示本实施方式中的正确的作业姿势的作业负担分数的图例的图。

图7B是表示本实施方式中的错误的作业姿势的作业负担分数的图例的图。

图8是表示本实施方式中的作业负担和特征量的图例的图。

图9是表示本实施方式中的忙碌度评价的概念例的图。

图10是表示本实施方式中的动作评价方法的流程例的图。

图11是表示本实施方式中的提示信息表的构成例的图。

图12是表示本实施方式中的输出例的图。

图13是表示本实施方式中的动作评价方法的流程例的图。

图14是表示本实施方式中的动作评价方法的流程例的图。

图15是表示本实施方式中的动作评价方法的流程例的图。

图16是表示本实施方式中的动作评价方法的流程例的图。

图17是表示本实施方式中的个人属性表的构成例的图。

附图标记说明：

1 动作评价系统

5 网络

10 传感器单元

11 传感器

12 通信部

40 动作数据

50 作业改进提案信息

100 信息处理装置

101 存储装置

102 程序

103 存储器

104 运算装置

105 通信装置

110 通信部

111 特征量提取部

112 作业负担估计部

113 改进点提取部

114 忙碌度估计部

115 信息生成部

116 控制部

125 负担评价表

126 忙碌度评价表

127 提示信息表

128 个人属性表

200 信息提示装置

201 通信部

202 控制部

203 输出部

具体实施方式

关于本实施方式，利用附图详细说明。其中，本发明不限定于以下示出的实施方式的记载内容而被解释。本领域技术人员容易理解，在不脱离本发明的思想或主旨的范围内，能够对其具体的构成进行变更。

在以下说明的发明的构成中，有时针对同一部分或者具有同样功能的部分在不同的附图间共通地使用同一标记，并省略重复的说明。

在具有相同或者同样的功能的要素有多个的情况下，有时对同一标记附加不同的后缀来进行说明。但是，在无需对多个要素进行区别的情况下，有时省略后缀来进行说明。

本说明书等中的“第1”、“第2”、“第3”等标记为了识别构成要素而附加，不一定限定数量、顺序或其内容。

另外，用于识别构成要素的编号按每处上下文使用，在一处上下文中使用的编号不限于在其他上下文必须表示同一构成。

另外，由某编号识别的构成要素也可以兼具由其他编号识别的构成要素的功能。

附图等中示出的各构成的位置、大小、形状、范围等为了使发明易于理解，有时并不表现实际的位置、大小、形状、范围等。因此，本发明不一定限定于附图等中公开的位置、大小、形状、范围等。

在本说明书中由单数形式表现的构成要素除非在上下文中显然不表示复数形式，就包含复数形式。

<以后的说明中的前提等>

为了向作为动作评价对象的人即正进行动作的人(以下称为用户)通知应该对此人的动作的何处进行改进，首先，需要估计该用户的动作的质量(动作估计)并确定动作的何处存在课题(改进点的提取)。

另外，需要根据该用户的动作状况估计用户的忙碌度(忙碌度的估计)，并与忙碌度相应地判定信息提示的定时(提示信息时刻的判定)及其内容(提示信息内容的判定)。

最后，依照如上所述判定的信息提示时刻及内容，向该用户提示信息(改进点的提示)。此外，这样的信息提示的定时为多次，也能够与各个定时相应地调整提示内容。

在此，“动作”指的是工业、农业等中的各种作业、或者舞蹈、体操、乐器演奏等人出于规定目的而使身体移动来进行的各种动作。

另外，为了具体地确定这样的动作的何处存在课题，优选对该用户的身体的特定的部分在特定的定时的运动进行评价。

这样的技术例如能够作为作业支援系统或者教育系统来利用。作业支援系统例如能够利用于设施、设备的保养作业的研修。另外，教育系统例如能够利用于舞蹈、瑜伽的姿势的练习。

<实施例1>

<系统整体构成>

图1是表示本实施例的动作评价系统1的整体模块例的图。动作评价系统1由传感器单元10、信息处理装置100和信息提示装置200构成。另外，上述传感器单元10、信息处理装置100及信息提示装置200通过有线或者无线的网络5以能够相互通信的方式连接。

其中传感器单元10具备传感器11和通信部12。传感器11例如是能够佩戴在用户的身体上的可穿戴的传感器。传感器11作为一例能够设想为观测该用户的运动(加速度等)的运动传感器(当然，不限定于此)。在图2中，表示用户210佩戴了传感器11的例子。

这样的传感器11将通过上述的观测而得到的加速度等的动作数据，例如向传感器集线器13直接或者经由其他传感器通知。传感器11与传感器集线器13的连接既可以是有线也可以是无线。另外，传感器集线器13是传感器单元10之一，或者至少具备通信部。

传感器集线器13将从各个传感器11送来的动作数据40经由通信部例如通过无线向信息处理装置100发送。传感器11及传感器集线器13设为由电池等(未图示)被进行供电。此外，图2的传感器11的配置是一例，既可以如图2所示在全身的各部佩戴传感器，也可以与想要评价的动作相应地仅设为上半身、仅设为下半身等而仅设为身体的一部分。

另外，关于传感器11的种类、佩戴位置，与想要评价的动作相应地从公知的传感器中选择1个或者多个种类即可。

在希望直接评价用户210的身体的运动的情况下，优选能够测定用户210的身体的各部的位置、运动。例如，对应于加速度传感器、位置传感器。另外，也可以是陀螺仪、地磁、影像、声音、肌电、角速度等的传感器。

另外，也可以在用户210上佩戴反射标记，由摄像机等摄影并测定身体的各部的位置、运动。在以后的说明中，作为传感器11的一例，设想采用了加速度传感器的状况进行说明。

<硬件构成例>

接下来，关于上述的信息处理装置100的硬件构成，基于图3进行说明。信息处理装置100具备存储装置101、存储器103、运算装置104及通信装置105。

其中存储装置101由SSD(固态驱动器(Solid State Drive))、硬盘驱动器等适宜的非易失性存储元件构成。

另外，存储器103由RAM等易失性存储元件构成。

另外，运算装置104是将存储装置101中保持的程序102向存储器103读出等并执行来进行装置自身的统辖控制、并且进行各种判定、运算及控制处理的CPU。

另外，通信装置105是与适宜的网络5连接来负责与其他装置的通信处理的网络接口卡。

此外，在存储装置101内，除了用于安装本实施方式的信息处理装置100所需的功能的程序102之外，还至少存储着负担评价表125、忙碌度评价表126、提示信息表127及个人属性表128。上述各种表的详细情况留待后述。

此外，信息处理装置100也可以除了图示的构成之外，还具备受理来自用户的按键输入、语音输入的键盘、鼠标、麦克风等输入装置。同样，也可以还具备对运算装置104中的处理数据进行显示的显示器、扬声器等输出装置。

另外，以后分别记载的与本实施方式的动作评价方法对应的各种动作，通过作为动作评价装置的信息处理装置100向存储器等读出并执行的程序来实现(以下同样)。

另外，在本实施例中，计算、控制等功能通过存储装置101中存放的程序102由运算装置104执行从而与其他硬件协同进行预定的处理来实现，对应于图1中示出的功能模块。

以上的构成除了由单体的信息处理装置构成的情形之外，也可以是，输入装置、输出装置、处理装置、存储装置的任意部分由通过网络连接的其他计算机构成。另外，在本实施例中，与由软件构成的功能同等的功能也能够由FPGA(现场可编程逻辑门阵列(FieldProgrammable Gate Array))、ASIC(应用型专用集成电路(Application SpecificIntegrated Circuit))等硬件实现。后述的神经网络的安装有时也由FPGA等进行。

<关于各功能模块>

接下来，关于信息处理装置100所具备的通信部110、特征量提取部111、作业负担估计部112、改进点提取部113、忙碌度估计部114、信息生成部115及控制部116的各功能模块进行说明。

上述之中的通信部110接收从传感器单元10的通信部12发送的动作数据40。另外，通信部110向信息提示装置200发送作为改进教导的信息的作业改进提案信息50。

另外，特征量提取部111从动作数据40中提取期望的特征量。作业负担估计部112将动作数据40或者由特征量提取部111提取的特征量作为输入，估计与用户的作业姿势相应的作业负担。在本实施例中，设为基于动作数据40估计姿势。特征量提取部111、作业负担估计部112例如能够使用神经网络来构成。

改进点提取部113使用来自特征量提取部111的特征量和来自作业负担估计部112的作业负担，提取改进点。

忙碌度估计部114将动作数据40或者由特征量提取部111提取的特征量作为输入，估计用户作业的忙碌度。

信息生成部115基于由改进点提取部113提取的改进点及由忙碌度估计部114提取的忙碌度，生成用于向用户210指出的作业改进提案信息50。

此外，一次生成的作业改进提案信息50不一定是一个，有时制作内容不同的多个信息。作业改进提案信息50被从通信部110向信息提示装置200发送。控制部116对信息处理装置100的动作整体的序列进行控制。

信息提示装置200也是信息处理装置的一种。例如，能够利用用户210能够便携的便携信息终端，但不限于此。作为一般性的硬件构成，包含输入装置、输出装置、处理装置及存储装置，但如果是仅向用户210通知信息，则只要具备用于从信息处理装置100接受信息的通信部201、整体的控制部202以及显示信息的输出部203即可。或者，也可以是能够在纸介质上打印信息的装置。输出部203例如是液晶显示器、扬声器或者振动器。

<特征量提取部＞

图4是用于说明特征量提取部111的功能的概念图。特征量提取部111提取用于评价用户210的作业姿势的负担的特征量。在该情况下，与动作的评价的目的相应地由系统的设计者等定义一个或者多个特征量。

另外，作为特征量，能够任意地定义一个或者多个，例如肘的弯曲角度、腰的高度、头的朝向、脚的张开角度等。这些特征量与用户的身体的可动部位的状态、例如各关节的运动的特征建立了对应。

首先作为前提，规定的负责者等为了提取期望的特征量，将用于取得具有所需的物理量的动作数据的传感器11佩戴于用户210。另一方面，特征量提取部111从用户210所佩戴的传感器11中的任意的一个或者多个取得动作数据40并加以利用。以下，说明使用加速度传感器估计肘的弯曲角度的例子。

在图4中，例示了特征量提取部111所包含的从由传感器11观测的动作数据中提取用户210的肘的弯曲角度的肘状态估计部1111。如图4所示，肘状态估计部1111从用户210的左臂所佩戴的3个传感器11取得动作数据，并基于它们判定左肘的弯曲角度。动作数据按每个单位时间被观测，并向肘状态估计部1111提供。因此，左肘的弯曲角度的判定结果也作为时序数据被取得。

另一方面，在希望提取肘的弯曲角度以外的特征量的情况下，只要与肘状态估计部1111同样向特征量提取部111追加用于判定对象部位的动作的腰的高度提取部、头的朝向提取部等即可。

此外，肘状态估计部1111例如由深度神经网络(DNN)构成，使其事先利用公知的有教师学习进行学习即可。在此所学习的事象为表示从传感器11得到的动作数据(加速度数据等)与将其作为输入而得到的肘的弯曲角度之中的正确的弯曲角度(负责者等判断的教师数据)之间的对应关系的模型。

另外，肘状态估计部1111也能够不是上述的DNN，而是根据传感器11的加速度数据通过通常的计算来估计肘的弯曲角度。

在根据加速度估计肘的弯曲角度的情况下，肘状态估计部1111从传感器11取得用户210的初始状态下的观测值并加以利用。因此，预先使用户210成为规定的姿势(例如直立姿势)，或者另行对传感器11的位置进行检测等。或者，作为传感器11，也可以替代加速度传感器而使用位置传感器。如上，传感器的种类能够与希望估计的特征量相应地自由选择。

在系统的运用时，提取的特征量按其种类作为时序数据被存放于存储装置。

<作业负担估计部>

作业负担估计部112将来自传感器11的动作数据40、以及由特征量提取部111提取的特征量作为输入，估计由于作业姿势引起的作业负担。

图5及图6表示作业负担估计部112中估计作业负担时利用的负担评价表125的一例。

其中的图5的负担评价表125为用于基于由特征量提取部111提取的肘的弯曲角度计算肘所承受的负担的表。如图5所示，肘的弯曲角度越增加则对肘的负担越高，规定为对应的负担分数越增加。

其中，在此示出的构成不过是一例，与肘的弯曲角度对应的负担分数也可以与图5所示的方式不同。例如，也可以使用在称为RULA(快速上肢评估(Rapid Upper LimbAssessment))的评价方法中定义的负担分数。

另外，也可以关于多个身体部位定义负担分数，并作为它们的组合而定义更大的身体部位的负担分数。例如，如图6所示，通过将肘与肩各自的负担分数组合来进行判定，也能够设想对胳膊所承受的负担的分数进行估计的负担评价表125。

与图5同样，图6的构成也不过是一例，身体部位的组合方式、通过它们的组合被定义的分数也可以与图6所示的方式不同。例如，也可以是如RULA中定义的组合和分数。

此外，对作业负担进行估计的方法不限于使用如上所述的对应表的方法，也可以是使用机器学习自动地估计作业负担等能够得到同样的效果的方法。

<改进点提取部>

在图7A中，表示以正确的姿势进行了作业时的作业负担分数的图，在图7B中表示以包含错误的姿势的作业姿势进行了作业时的作业负担分数的图。这样的作业负担分数是时序数据，因此在横轴表示时间，在纵轴表示作业负担分数。

在这些例子中，在包含错误的姿势的作业姿势的作业负担分数中，在某个时间段中存在作业负担上升的区域602。在作业负担估计部112中，例如在作业负担分数以一定时间以上超过了某个一定的阈值601的情况下，判断为有错误的作业姿势。错误的作业姿势的检测方法也能够采用得到同等的效果的其他方法。

例如，也可以不使用阈值，而基于作业负担分数的相对性的变动来判定错误的作业姿势。另外，阈值601也可以不是固定的而是变动的。

作业负担估计部112如果识别为有错误的作业姿势，则将与错误的作业姿势相应的时间段603的信息向改进点提取部113通知。

另外，改进点提取部113从特征量提取部111取得包含相应的时间段的特征量数据。然后，改进点提取部113将上述的从特征量提取部111取得的特征量数据，与预先在存储装置中保持的以正确的姿势进行了作业时的特征量数据的变迁进行比较，确定两者之间差异大到规定以上的特征量。在系统的运用时，估计出的作业负担分数事先作为时序数据存放于存储装置。

基于图8，关于改进点提取部113的动作例进行说明。此外，在图8中，(A1)是作为参考的正确的姿势下的作业负担分数。(B1)是正确的姿势下的作为特征量之一的肘的弯曲角度的分数。另外，(C1)是正确的姿势下的作为特征量之一的肩的关节角的分数。

另外，(A2)是用户的作业负担分数。(B2)是包含错误的作业姿势的用户的作为特征量之一的肘的弯曲角度所相关的分数。(C2)是用户的作为特征量之一的肩的关节角的分数。

在此，在特征量“肘的弯曲角度”中，在正确的姿势与用户(错误的姿势)之间，在时间段801中能够确认特征量的大小存在差异。这能够基于作业负担分数的差异大来进行判定。

另一方面，在特征量“肩的关节角”中，两者未见差异。因此，可知动作评价系统1应该向用户作为改进点进行提示的是与错误的作业姿势相应的时间段801中的“肘的弯曲角度”。

像这样，改进点提取部113将用户的身体的运动整体之中的一部分动作，提取为作为改进对象的动作。进行了以上的分析的改进点提取部113将应该改进的特征量、与正确的姿势的差异等向信息生成部115发送。

<忙碌度估计部>

忙碌度估计部114将来自传感器11的动作数据40以及由特征量提取部111提取的特征量作为输入，估计用户的忙碌度。

图9是用于说明忙碌度估计部114的功能的概念图。忙碌度估计部114对用户的行动进行识别，基于该行动估计忙碌度。

与教育系统的目的相应地由系统的设计者等定义一个或者多个这样的忙碌度。作为忙碌度，例如能够使用动作数据40或由特征量提取部111提取的特征量，对用户的行动进行识别，并与行动相应地定义忙碌度。以下，说明使用加速度传感器对作业进行识别的情形下的例子。

在图9中，表示忙碌度估计部114所具备的根据从传感器11得到的动作数据对该用户的作业进行识别的作业识别部1141。

如图9所示，作业识别部1141从用户210的全身所佩戴的传感器11得到与该用户210相关的动作数据40，基于该动作数据40判定当前执行中的作业。这样的与作业相关的信息作为时序数据被取得。另外，能够伴随着该作业的判定，利用忙碌度评价表126确定该作业的忙碌度。

在图9的例子中，作业识别部1141将从传感器11得到的动作数据40适用于忙碌度评价表126，将相应作业判定为“货物搬运”。另外，该“货物搬运”的作业的忙碌度被规定为“2”，将该“2”确定为忙碌度。

此外，在该图9所例示的忙碌度评价表126中，将各作业与动作数据40的对应关系作为“模式”规定。因此，忙碌度估计部114通过将动作数据40与各作业的模式进行比对，从而将该动作数据40所示的动作的时序变化与“模式”一致的“作业”判定为该用户正在执行的作业。

此外，作业识别部1141例如由深度神经网络(DNN)构成，使其事先利用公知的有教师学习进行学习即可。另外，作业识别部1141的输入也可以不仅是来自传感器11的动作数据40，而且也将由特征量提取部111提取的特征量同时作为输入来使用。或者，也可以仅将特征量作为输入来使用。

另外，作业识别部1141不一定必须是DNN，也可以使用能够得到同样的效果的其他方法。

在系统的运用时，估计出的作业及忙碌度按其种类作为时序数据事先存放于存储装置。

此外，对忙碌度进行估计的方法不限于如上所述的使用行动识别方法的方法，例如也可以是基于用户自己申报来估计忙碌度等能够得到同样的效果的方法。

<信息生成部>

信息生成部115基于从改进点提取部113接收的与改进点相关的信息、以及从忙碌度估计部114接收的忙碌度的信息，决定何时将怎样内容的信息通知几次，利用预先在提示信息表127中存储的图形数据、声音数据等，生成向用户提示的作业改进提案信息50。

图10是生成作业改进提案信息50的一个方法的流程图。首先，在处理S901中，改进点提取部113根据由通信部110从传感器11接收的动作数据40、以及由特征量提取部111提取的特征量，提取用户应该改进的作业姿势信息。

另外，在处理S902中，忙碌度估计部114根据上述的动作数据40及特征量，估计该用户的忙碌度。作业姿势信息、忙碌度是时序数据。

另外，在处理S903中，信息生成部115从上述的改进点提取部113及忙碌度估计部114接收当前时刻的作业姿势信息及忙碌度。

接下来，在处理S904中，信息生成部115判定在S903中得到的忙碌度是否超过一定值。

在上述判定的结果是忙碌度超过了一定值的情况下(S904：是)，在处理S905中，信息生成部115例如在提示信息表127(参照图11)中例如对象部位为“肘”的即时通知用信息中，将与作业姿势信息所示的特征量对应的内容确定为即时通知用信息，同样也确定事后通知用信息，确定上述即时通知用信息及事后通知用信息。

另外，在处理S906中，信息生成部115将上述的即时通知用信息向信息提示装置200发送。而且，在处理S907中，信息生成部115保持事后通知用信息直到上述的忙碌度低于一定值。如果忙碌度低于一定值(S904：否)，则信息生成部115将事后通知用信息向信息提示装置200发送。

此外，即时通知用信息是在用户的忙碌度高时被通知的信息。另一方面，事后通知用信息是在用户的忙碌度变低后被通知的信息。因此，这2个信息也可以是不同的内容的信息。

具体而言，即时通知用信息的目的在于，不妨碍用户的作业，而仅在当前时刻传达存在某种应该改进的方面。具体而言，也可以设想数秒的警告音、振动等极为简洁的信息。

另外，事后通知用信息是在用户的忙碌度变低后被提示的信息。因此，也可以设为比基于图形数据或声音的指示等更加详细且复杂的信息，以吸引用户的注意而且使其更好地知晓应该改进的内容。

另一方面，在忙碌度未超过一定值的情况下(S904：否)，信息生成部115在处理S908中生成即时通知用信息。此外，在处理S905中生成的即时通知用信息与在处理S908中生成的即时通知用信息不需要是同样的内容，也可以是将处理S905中生成的即时通知用信息与事后通知用信息综合而成的信息、或者将它们摘录而成的信息。作业改进提案信息50被从通信部110向信息提示装置200发送。

在本实施例中，通过取得用户的动作数据40，并预先准备与作业姿势相关的数据，从而提取应该改进的用户的作业姿势。另外，通过使用深度学习等技术，对用户正执行的作业进行识别，并估计其忙碌度。

通过将上述组合使用，能够在忙碌度高的作业中以警告音、振动等简洁的方法针对作业姿势的改进进行通知，在忙碌度变低后的定时，进行更详细的正确的动作的提案。因此，能够向用户更易于理解地提示是否存在将来能够改进的方面、以及具体应该如何改进这双方的信息。

<信息提示装置>

图12是作为信息提示装置200的输出部203的一例的画面例。在该画面1200中，为了帮助用户理解，使用人型的模型显示应该改进的特征量。

在画面1200中，信息提示装置200也可以通过将正确的作业姿势1210与用户的模型1220并排或者重叠等来进行比较显示。

在图12的例子中，在信息提示装置200中，基于来自改进点提取部113的信息，通过计算机图形(CG)，关于右臂的位置和脚的张开角度提示了改进。

另外，为了帮助用户理解，也可以输出文本、声音，或者使用振动。文本、声音、振动的模式的生成方法能够通过使用机器学习的添加说明或语音合成技术、或者使用预先准备的模式(图案)的显示来进行。另外，主要在事后通知用信息中，使用动态图像CG是有效的。

<实施例1中的效果＞

根据以上说明的实施例1，通过估计进行动作的人的作业姿势，提取在作业姿势的哪个部位的动作存在课题，同时估计用户的忙碌度，能够与用户的忙碌度相应地多次对改进进行提案。

由此，用户能够通过更易于理解的方法，理解是否做出了在将来应该改进的姿势的信息以及具体应该怎样改进的信息这双方。

例如，在通过下蹲进行训练时，如果腰或膝盖的运动方式错误则无法得到恰当的训练效果，根据情况还可能使腰或膝盖疼痛。

在这样的情况下，作为公知的手段，由于训练中的信息提示无法充分引起用户的注意，因此在一系列训练结束后提示信息。

但是，实际上在训练中多次反复进行下蹲动作，因此即使在训练结束后被提示了信息，也难以理解哪个动作在哪个定时做出了不佳的动作。

与此相对，根据本提案，通过在动作变得不佳的定时先提示警告音等简洁的信息，在一系列训练结束后再提示详细的信息，能够更加意识到自己的不佳动作，能够提高学习效果。

<实施例2>

在实施例1中，作为向用户提示的信息，仅提示了用于改进姿势的信息。作为其他例，改进点提取部113在未发现改进点时，也能够将表示正确进行动作的信息向信息生成部115发送，由信息生成部115从提示信息表127提取称赞用户的动作正确的信息并向用户提示。

此外，称赞用户的信息可以在作业中等忙碌时利用简洁的方法提示，在忙碌度已下降时提示详细的信息等。由此，能够提升用户以正确的姿势执行作业的干劲。

<实施例3＞

在实施例1、2中，在由改进点提取部113反复提取了同样的改进点的情况下，由信息生成部115生成的信息也不变更。

作为其他例，在由改进点提取部113反复发现了相同的改进点时，也能够由信息生成部115对该反复的次数进行计数，在该次数超过了一定的次数的情况下，对通知的内容更加强调。

图13是表示与反复发生的同样的改进点的次数相应地对生成的作业改进提案信息50的内容进行变更的一个方法的流程图。

此外，本流程中到S906为止与图10的流程同样，因此关于S1101以后进行说明。

在S1101中，信息生成部115按姿势改进信息的每个种类，对该用户的忙碌度降低之前的期间中的发生次数进行合计。

在S1102中，信息生成部115与各姿势改进信息的发生次数的多少相应地，对从提示信息表127提取的事后通知用信息的内容进行变更，并向信息显示装置150发送。

此外，关于事后通知用信息的内容的变更，例如针对发生次数多的信息，可以采用对CG中的标记使用更加强调的颜色、使文本的字符成为粗体、变更颜色等方式。由此，用户能够重点地学习错误较多的作业姿势。

<实施例4＞

在实施例1、2、3中，关于是仅生成即时通知用信息还是也生成事后通知用信息并多次进行通知，仅以作业者的忙碌度作为基准进行判定。

作为其他例，也能够在由改进点提取部113提取的改进点的紧急度高的情况下，即使忙碌度超过了一定值也即时地进行信息的提示。

图14是表示由改进点提取部113同时提取改进点和紧急度、并与紧急度相应地发送紧急通知用信息的一个方法的流程图。

在该情况下，在S1201中，在改进点提取部113中，提取姿势改进信息及紧急度。此外，关于紧急度，例如能够使用所估计的身体负担是否超过一定值(特别是身体负担是否显著高)这样的基准。

在S1202中，信息生成部115在忙碌度超过了一定值的状况下，判断紧急度是否高。在紧急度高的情况下(S1202：是)，信息生成部115在S1203中从提示信息表127提取并生成紧急通知用信息，在S1204中向信息显示装置200发送。

此外，紧急通知用信息也可以是被施加了规定的强调处理以与即时通知用信息相比更加引起用户的注意的信息。

具体而言，可以设想比即时通知用信息的设定更大的声音的警告音、音色或旋律的模式与即时通知用信息大为不同、特征性的警告音、强烈的振动、夸张的色彩或闪烁模式等引起注目的影像信息等。由此，通过在用户的身体负担异常高，有负伤的危险性等的情况下，即使在忙碌度超过一定值的情况下也提示信息，能够提前防止负伤等。

<实施例5＞

在实施例1、2中，在由改进点提取部113反复提取了同样的改进点的情况下，由信息生成部115生成的信息也不变更。于是，作为其他例，关于如下方式进行说明：在由改进点提取部113反复发现了相同的改进点时，由信息生成部115与上次的通知时刻进行比较，如果是一定时间以内则取消即时通知用信息的提示。

图15是表示与反复发生的同样的改进点的次数相应地对生成的作业改进提案信息50的内容进行变更的一个方法的流程图。

本流程中直到S904为止与图10的流程同样，因此关于S1301以后的处理进行说明。

在该情况下，首先在S1301中，信息生成部115判定是否在一定时间内关于相同内容的姿势改进信息面向规定的用户进行了通知。

在一定时间以内进行了通知的情况下(S1301：是)，信息生成部115取消相同内容的信息提示。由此，在用户反复成为同样的错误姿势的情况下，也能够避免将相同内容的即时通知用信息反复向用户提示而过于引起用户的注意，而能够进行有助于姿势改进的信息提示。

<实施例6＞

在实施例1中，作为向用户提示的信息，无论是哪个用户，只要是相同的姿势改进信息、相同的忙碌度，则被提示的信息是同样的。作为其他例，说明基于用户的年龄、性别、技能、熟练度等个人属性改变向用户提示的信息的方式。

图16是表示与用户的熟练度相应地生成通知用信息的一个方法的流程图。在此，作为个人属性的一例，举出与某作业相关的“熟练度”进行说明，但也可以采用其他个人属性。

信息生成部115在S905中生成通知用信息时，在个人属性表128(参照图17)中参照用户的熟练度，如果是该熟练度比基准低的用户，则从提示信息表127中提取例如从作业的基本概念开始仔细地进行说明的通知用信息(例如，熟练度栏的值为C以下)。同样，信息生成部115也可以是，如果上述的用户的熟练度比基准高，则省略基本概念等的说明而从提示信息表127中提取并生成简洁的通知用信息(例如，熟练度栏的值为A+以上)。

此外，关于用户的熟练度，利用根据过去的作业中的姿势改进信息提示的履历来制作的熟练度，或者使用在实施作业前进行简单的测试等来掌握等方法判定熟练度。这些不过是一例，用于掌握熟练度的手段不限于这些。

由此，通过与用户的熟练度等个人属性相应地改变向该用户提示的信息的内容，针对熟练度低的用户提示更仔细且详细的信息，能够提高学习效果。

<实施例7＞

在实施例1中，作为估计用户的忙碌度的方法，以用户的作业内容作为基准。作为其他例，也能够使用用户的作业工序、作业对象设备、来自用户正进行作业的环境中设置的相机、麦克风、温度计等传感器的信息估计忙碌度。

在该情况下，忙碌度估计部114将与用户的作业工序、作业对象设备的工作状况及作业环境的各事象的至少某一个相关的信息(例：对设备的工作状况进行观测而得到的数据、作业环境中的噪音水平)，从作为该事象的监视手段的上述传感器取得，并将与该事象相关的信息及动作数据40，同与用户的忙碌度相关的信息进行比对，确定用户的忙碌度。

在该情况下，能够设想如下方式：忙碌度估计部114例如将工作中的设备的转速、作业环境的噪音水平的各值，例如与忙碌度评价表126中关于该事象规定的基准值进行比对，将与对应的基准值相关联的忙碌度确定为该用户的忙碌度。

在该情况下，忙碌度评价表126与图9中例示的不同，设为由信息处理装置100预先保持的如下的表：以与环境相关的各种事象(设备的工作值、声音、温度等)作为键，按该事象的值的各个范围(例：噪音为〇〇水平、工作值从〇〇到〇〇的范围)规定了忙碌度。

此外，也可以将从用户所持的便携终端等由用户自身输入的信息，用作上述的与环境相关的事象的信息。

由此，例如，能够还考虑作业对象设备的工作速度、与其相伴的周围环境中的噪音水平等信息，高精度地判定该用户的忙碌度。这有助于能够更高精度地确定改进教导的信息并向该用户输出。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，信息生成部115也可以基于上述的与环境相关的事象的信息，控制向信息提示装置200发送的改进教导的信息的方式。

在该情况下，信息生成部115基于上述的与环境相关的事象的信息，从提示信息表127提取与该作业环境相应地预先决定的方式的改进教导的信息，或者将该改进教导的信息加工为规定的方式，并向信息提示装置200输出。

例如能够进行如下等运用：信息生成部115从在作业环境中设置的作为传感器的麦克风取得作业环境中的噪音水平的值，在该值比预先决定的基准大的情况下，在信息提示时从提示信息表127提取声音以外的通知用信息并向信息提示装置200发送。

由此，能够在噪音水平超过基准的环境中，以振动器的振动、照明灯的闪烁等方式输出改进教导的信息，另一方面，在噪音水平为基准以下但照度为基准以下的环境中，以特定音的输出、振动器的振动等方式输出改进教导的信息等，以与环境相应的灵活且准确的方式传达信息。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。也就是说，能够更多方面地掌握用户的状态，并进行与用户的状态相应的信息提示。

以上，关于用于实施本发明的优选方式等具体地进行了说明，但本发明不限定于此，在不脱离其主旨的范围内能够进行各种变更。

根据这样的本实施方式，能够向正在动作中的人高效地传达动作改进的适宜的信息。

根据本说明书的记载，至少明确了如下内容。即，在本实施方式的动作评价系统中也可以是，所述运算装置在所述忙碌度为规定基准以上的情况下，作为所述多次之中的第一次的所述改进教导的信息，在从所述改进点的动作发生起规定时间内，进行预先决定的即时通知用信息的所述输出，在该提示以后，所述忙碌度低于规定基准的情况下，进行预先决定的事后通知用信息的所述输出。

由此，能够进行如下控制：向正在作业等处于忙碌状态的人，提示简短且明确的改进教导的信息、或者仅表示其成为了改进教导的对象的信息等，另一方面，在该忙碌状态解除后的时刻，提示详细且具体性的改进教导的信息。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置在关于所述用户在一定时间内反复确定了相同的改进点的情况下，对所述改进教导的信息执行预先决定的强调处理，针对经过了该强调处理后的所述改进教导的信息进行所述输出。

由此，能够更加促使该用户认识到需要改进的动作。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置在所述动作的状态的判定时，在针对所述改进点的动作进行改进的紧急度超过规定基准的情况下，无论所述忙碌度高低，都在从所述改进点的动作发生起规定时间内，针对适用了规定的强调处理后的所述改进教导的信息进行所述输出。

由此，在动作的不恰当性达到了可能引起严重的事件发生的水平的情况下，能够使用户明确认识到该状况并使其改进。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置在关于所述用户在一定时间内反复确定了相同的改进点，而且在一定时间以内进行了相同内容的改进教导的输出的情况下，减小该输出的频度。

由此，能够避免在关于并非特别紧急的改进点反复输出了相同内容的改进教导的信息的情况下使得已经认识到该信息的用户产生无谓的困惑等的事态。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述存储装置还保持与所述用户的个人属性相关的信息，所述运算装置在所述改进教导的信息的提取时，在存储装置中参照所述用户的所述个人属性的信息，从所述存储装置提取与所述个人属性相应的所述改进教导的信息，将该改进教导的信息向所述信息提示装置输出。

由此，能够与用户的年龄、性别、技能、熟练度等属性相应地，灵活地控制改进教导的信息，作为对该用户而言适度且易于识别的信息来传达改进教导的信息。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置参照该用户的所述动作的熟练度的信息作为所述个人属性的信息，从所述存储装置提取与该熟练度相应的所述改进教导的信息，将该改进教导的信息向所述信息提示装置输出。

由此，能够提示对该用户而言考虑了与其熟练度相应的知识背景的适宜的信息(省略了多余部分的信息、或者也包含面向初学者的基础知识的信息)，作为改进教导的信息。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置在确定所述忙碌度时，除了所述动作数据之外，还将与所述用户的作业工序、作业对象设备的工作状况、以及作业环境的各事象的至少某一个相关的信息，从作为该事象的监视手段的所述传感器取得，将与所述事象相关的信息及所述动作数据，与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度。

由此，例如，能够还考虑作业对象设备的工作速度、与其相伴的周围环境中的噪音水平等信息，高精度地判定该用户的忙碌度。这有助于能够更高精度地确定改进教导的信息并向该用户输出。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置在将所述改进教导的信息向所述信息提示装置输出时，基于与所述作业环境相关的信息，从所述存储装置提取与该作业环境相应地预先决定的方式的改进教导的信息，或者将所述改进教导的信息加工为该方式，并向所述信息提示装置输出。

由此，能够在噪音水平超过基准的环境中，以振动器的振动、照明灯的闪烁等方式输出改进教导的信息，另一方面，在噪音水平为基准以下但照度为基准以下的环境中，以特定音的输出、振动器的振动等方式输出改进教导的信息等，以与环境相应的灵活且准确的方式传达信息。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

另外，在本实施方式的动作评价系统中也可以是，所述运算装置在确定所述改进点时，在没有确定出改进点的情况下，将称赞该用户的动作的适当性的信息向所述信息提示装置输出。

由此，能够提升该用户对作业等的动力。这能够有助于适宜地维持该用户对作业等的热情，并且使其保持对改进教导的信息输出的关注。进而，能够向正在动作中的人更高效地传达动作改进的适宜的信息。

Claims (12)

1.一种动作评价系统，其特征在于，包含信息处理装置，该信息处理装置具备：

通信装置，与观测用户的动作的传感器进行通信；

存储装置，存放规定了所述动作的各种状态的基准信息、以及所述动作的改进教导的各种信息；以及

运算装置，执行如下处理：

经由所述通信装置取得通过所述传感器对所述用户进行观测而得到的动作数据，将该动作数据与所述基准信息之中的与动作的适当性相关的信息进行比对，判定所述用户的动作的状态，确定所述动作之中的应该改进的状态的动作作为改进点；

将所述改进点的动作以后的所述动作数据与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度；以及

基于与所述改进点及所述忙碌度的各状况相应地预先决定的规则，从所述存储装置提取多次各自不同内容的信息作为与所述改进点相关的改进教导的信息，将该信息向面向所述用户的信息提示装置输出。

2.如权利要求1所述的动作评价系统，其特征在于，

所述运算装置在所述忙碌度为规定基准以上的情况下，作为所述多次之中的第一次的所述改进教导的信息，在从所述改进点的动作发生起规定时间内，进行预先决定的即时通知用信息的所述输出，在该提示以后，所述忙碌度低于规定基准的情况下，进行预先决定的事后通知用信息的所述输出。

3.如权利要求1所述的动作评价系统，其特征在于，

所述运算装置在关于所述用户在一定时间内反复确定了相同的改进点的情况下，对所述改进教导的信息执行预先决定的强调处理，针对经过该强调处理后的所述改进教导的信息进行所述输出。

4.如权利要求1所述的动作评价系统，其特征在于，

所述运算装置在所述动作的状态的判定时，在针对所述改进点的动作进行改进的紧急度超过规定基准的情况下，无论所述忙碌度高低，都在从所述改进点的动作发生起规定时间内，针对适用了规定的强调处理后的所述改进教导的信息进行所述输出。

5.如权利要求1所述的动作评价系统，其特征在于，

所述运算装置在关于所述用户在一定时间内反复确定了相同的改进点，而且在一定时间以内进行了相同内容的改进教导的输出的情况下，减小该输出的频度。

6.如权利要求1所述的动作评价系统，其特征在于，

所述存储装置还保持与所述用户的个人属性相关的信息，

所述运算装置在所述改进教导的信息的提取时，在存储装置中参照所述用户的所述个人属性的信息，从所述存储装置提取与所述个人属性相应的所述改进教导的信息，将该改进教导的信息向所述信息提示装置输出。

7.如权利要求6所述的动作评价系统，其特征在于，

所述运算装置参照该用户的所述动作的熟练度的信息作为所述个人属性的信息，从所述存储装置提取与该熟练度相应的所述改进教导的信息，将该改进教导的信息向所述信息提示装置输出。

8.如权利要求1所述的动作评价系统，其特征在于，

所述运算装置在确定所述忙碌度时，除了所述动作数据之外，还将与所述用户的作业工序、作业对象设备的工作状况、以及作业环境的各事象的至少某一个相关的信息，从作为该事象的监视手段的所述传感器取得，将与所述事象相关的信息及所述动作数据，与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度。

9.如权利要求8所述的动作评价系统，其特征在于，

所述运算装置在将所述改进教导的信息向所述信息提示装置输出时，基于与所述作业环境相关的信息，从所述存储装置提取与该作业环境相应地预先决定的方式的改进教导的信息，或者将所述改进教导的信息加工为该方式，并向所述信息提示装置输出。

10.如权利要求1所述的动作评价系统，其特征在于，

所述运算装置在确定所述改进点时，在没有确定出改进点的情况下，将称赞该用户的动作的适当性的信息向所述信息提示装置输出。

11.一种动作评价装置，其特征在于，具备：

通信装置，与观测用户的动作的传感器进行通信；

存储装置，存放规定了所述动作的各种状态的基准信息、以及所述动作的改进教导的各种信息；以及

运算装置，执行如下处理：

经由所述通信装置取得通过所述传感器对所述用户进行观测而得到的动作数据，将该动作数据与所述基准信息之中的与动作的适当性相关的信息进行比对，判定所述用户的动作的状态，确定所述动作之中的应该改进的状态的动作作为改进点；

将所述改进点的动作以后的所述动作数据与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度；以及

基于与所述改进点及所述忙碌度的各状况相应地预先决定的规则，从所述存储装置提取多次各自不同内容的信息作为与所述改进点相关的改进教导的信息，将该信息向面向所述用户的信息提示装置输出。

12.一种动作评价方法，其特征在于，

信息处理装置具备：

通信装置，与观测用户的动作的传感器进行通信；以及

存储装置，存放规定了所述动作的各种状态的基准信息、以及所述动作的改进教导的各种信息，

所述信息处理装置执行如下处理：

经由所述通信装置取得通过所述传感器对所述用户进行观测而得到的动作数据，将该动作数据与所述基准信息之中的与动作的适当性相关的信息进行比对，判定所述用户的动作的状态，确定所述动作之中的应该改进的状态的动作作为改进点；

将所述改进点的动作以后的所述动作数据与所述基准信息之中的与用户的忙碌度相关的信息进行比对，确定所述用户的忙碌度；以及

基于与所述改进点及所述忙碌度的各状况相应地预先决定的规则，从所述存储装置提取多次各自不同内容的信息作为与所述改进点相关的改进教导的信息，将该信息向面向所述用户的信息提示装置输出。

Images