CN117999578A - 信息处理系统、信息处理方法和程序 - Google Patents

Abstract

一种信息处理系统，包括状态机(221)和动作分析单元(222)。状态机(221)基于从视频数据提取的目标的姿势信息，检测目标的一系列动作中的多个阶段。动作分析单元(222)使用姿势信息分析每个阶段中的目标的动作。

Description

信息处理系统、信息处理方法和程序

技术领域

本发明涉及信息处理系统、信息处理方法和程序。

背景技术

近年来，提出了使用姿势估计技术的动作分析方法(例如，参考专利文献1至8)。姿势估计技术是从目标人或目标对象的图像中提取多个关键点(在目标是人类时指示肩、肘、腕、腰、膝、踝等的多个特征点)并基于关键点的相对位置来估计目标的姿势的技术。姿势估计技术被期望应用于各种各样的领域，诸如体育、医疗保健、自动驾驶和危险预测中的学习支持。

引用列表

专利文献

专利文献1：JP 4166087 B2

专利文献2：JP 4594157 B2

专利文献3：JP 5547968 B2

专利文献4：JP 6045139 B2

专利文献5：JP 2021-049319 A

专利文献6：JP 2020-141806 A

专利文献7：JP 6447609 B2

专利文献8：JP 6289165 B2

发明内容

技术问题

当使用目标动作图像执行动作分析时，期望分析用作点的每个阶段的一系列动作。目标的一系列动作可被视为多个特征动作(阶段)的组合。当对每个阶段执行分析时，可精确地分析一系列运动。在常规方法中，不执行通过阶段对运动进行分类。因此，不可能以整体方式准确地评估一系列动作。

因此，本公开提出了能够在适当地提取用作点的阶段的同时以整体方式准确地评估一系列动作的信息处理系统、信息处理方法以及程序。

问题的解决方案

根据本公开，提供了一种信息处理系统，包括：状态机，被配置为基于从运动图像数据提取的关于目标的姿势信息检测包括在目标的一系列动作中的多个阶段；以及动作分析单元，被配置为通过使用姿势信息来针对每个阶段分析目标的动作。根据本公开，提供了一种信息处理系统的信息处理由计算机执行的信息处理方法以及用于使计算机执行信息处理系统的信息处理的程序。

附图说明

图1是示出动作分析服务的示例的示图。

图2为示出信息处理系统的功能配置的示例的框图。

图3是示出动作分析处理的概要的流程图。

图4是示出运动图像获取处理的示例的流程图。

图5是示出预处理的具体示例的示图。

图6是示出预处理的具体示例的示图。

图7是示出预处理的具体示例的示图。

图8是示出分析/评估处理的示例的流程图。

图9是示出与分析/干预处理相关的功能配置的示例的示图。

图10是示出分析信息的示例的示图。

图11是示出分析信息的通知模式的示例的示图。

图12是示出分析信息的通知模式的另一示例的示图。

图13是示出系统配置的变形例的示图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施方式。在下面的实施方式中，相同的部件将由相同的参考标号来表示，并且将省略冗余的描述。

[1.动作分析服务的概要]

[2.信息处理系统的配置]

[3.信息处理方法]

[3-1.动作分析处理的概要]

[3-2.运动图像获取处理]

[3-3.分析/评估处理]

[4.与分析/干预处理相关的功能配置]

[5.动作分析的具体示例]

[6.系统配置的变型]

[7.效果]

[1.动作分析服务的概要]

图1是示出动作分析服务的示例的示图。

动作分析服务是基于运动图像数据CD分析目标TG的动作并呈现适当的干预信息VI的服务。该动作分析服务适用于体育、医疗、自动驾驶、危险预测等方面的学习支持。根据应用动作分析服务的字段、分析的目的等适当地定义要分析的动作。

例如，在运动中的学习支持的领域中，与教练目标(足球射门、网球发球、高尔夫挥杆等)对应的特定动作被定义为待分析的目标。在医疗领域中，诸如健身动作(诸如瑜伽)、功能恢复训练、动作训练/步行训练、动作训练的关节范围和肌肉强化训练的动作、指定为日常生活的现有活动(ADL)的动作和诸如步行的动作被定义为待分析的目标。在自动驾驶领域中，行人的动作被定义为待分析的目标。在危险预测领域中，异常姿势状态下的动作(长时间躺着、蹲下、喝醉人的动作、可疑行为、翻滚等)被定义为待分析的目标。

以下，将描述动作分析服务被应用于体育和健身中的学习支持的领域的示例。

动作分析服务由如图1所示的信息处理系统1执行。信息处理系统1包括客户终端100、动作分析服务器200、训练者终端300、家庭终端400和服务供应商服务器500。客户终端100、动作分析服务器200、训练者终端300、家庭终端400、以及服务提供者服务器500经由网络NW彼此连接(参考图9)。要注意的是，在图1的示例中，信息处理系统1包括教练终端300、家庭终端400和服务供应商服务器500，但是这些配置不是必要的。

客户终端100是诸如智能电话、平板终端、和笔记本计算机的信息终端。客户终端100由请求目标TG的动作分析的客户端保持。该客户端例如是目标TG或目标TG的家庭FM。客户终端100向动作分析服务器200发送示出与运动和健身相关的目标TG的视频的运动图像数据MD。

动作分析服务器200基于运动图像数据MD分析目标TG的动作。目标的一系列动作被视为在时间轴上排列的多个特征动作的组合。动作分析服务器200提取单独的特征动作作为阶段。阶段之间的边界基于预定索引来定义。动作分析服务器200通过对每个阶段执行动作分析来评估一系列动作。

动作分析服务器200生成表示评估结果的分析信息MAI，并将分析信息MAI发送至客户终端100、训练者终端300、以及家庭终端400。目标TG、训练者和家庭FM能够根据发送的分析信息MAI掌握目标TG的动作状态。

分析信息MAI包括基于目标TG的运动与模型的运动之间的比较的评估结果。训练者根据训练者终端300接收到的分析信息MAI对目标TG进行诊断。训练者经由训练者终端300将表示诊断结果的诊断信息发送至动作分析服务器200。动作分析服务器200将诊断信息与分析信息MAI一起发送至服务供应商服务器500。

服务提供者服务器500基于分析信息MAI和/或诊断信息从产品销售数据库提取适合于目标TG的产品销售信息(诸如训练机器)，并将产品销售信息发送到动作分析服务器200。动作分析服务器200基于分析信息MAI、诊断信息和产品销售信息生成针对目标TG的干预信息VI，并且将干预信息VI发送到客户终端100。干预信息VI包括目标TG的诊断结果、运动能力的认证、用于改善目标TG的运动的各种建议、以及产品销售信息。

[2.信息处理系统的配置]

图2是示出了信息处理系统1的功能配置的示例的框图。

客户终端100包括传感器单元110、输入装置120、以及显示装置170。传感器单元110追踪目标TG的活动并收集目标TG的活动量和运动数据。锻炼数据包括示出目标TG的锻炼状态的运动图像数据MD。输入装置120包括能够输入用于健康筛选的查询数据的各种输入装置。显示装置170显示通过目标TG的动作分析获得的各种确定结果(分析信息MAI)和干预信息VI。

例如，传感器单元110包括健身追踪器、相机160、全球定位系统(GPS)、加速度传感器和陀螺仪传感器。输入装置120包括触摸面板、键盘、鼠标、眼睛跟踪装置和语音输入装置。显示装置170包括液晶显示器(LCD)或有机发光二极管(OLED)。

客户终端100将目标TG的重要数据、运动数据和查询数据发送到动作分析服务器200。动作分析服务器200基于从客户终端100获取的多条数据来执行目标TG的动作分析。

动作分析服务器200包括活动计算单元210、评估单元220、干预信息生成单元230和存储装置290。

活动计算单元210基于传感器数据和查询数据来计算关于目标TG的活动信息。活动信息包括指示目标TG的活动的各种类型的信息，诸如目标TG的活动量(步数、心率、卡路里消耗等)和运动情形。

例如，活动计算单元210包括传感器数据分析单元211、特征量提取单元212、以及查询数据分析单元213。应注意，在图2的示例中，查询数据分析单元213包括在活动计算单元210中，但是查询数据分析单元213不是必需的，只要仅存在运动的指令。在这种情况下，也不需要输入查询数据。

传感器数据分析单元211基于健身传感器的感测结果检测目标TG的活动量。传感器数据分析单元211分析示出目标TG的动作状态的运动图像数据MD，并且提取目标TG的姿势信息HPI(参考图6)。

特征量提取单元212基于存储在索引数据库295中的索引从姿势信息HPI中提取特征量。索引数据库295存储用于对每种类型的锻炼执行动作分析的索引。索引包括用于执行动作分析的各种类型的信息。将经受动作分析的一个或多个确定项与个体锻炼项相关联。在存储装置290(索引数据库295)中，针对每个确定项存储运动图像的图像捕获条件、关于特征量的一条定义信息以及动作分析算法AL，作为用于执行动作分析的索引。

例如，在运动的学习支持中，针对每个运动项使用不同的确定项和动作分析的指数。在足球学习支持的示例中，盘球、射门、头球等被定义为基本动作。在索引数据库295中，各个基本动作被定义为确定项。针对每个确定项获取运动图像数据MD，并且还针对每个确定项进行动作分析。

查询数据分析单元213基于该查询数据来诊断生活方式和活体内状态(体重、体脂肪、内脏脂肪、基础代谢、肌肉质量、血流、皮肤年龄等)。查询数据可包括诸如疾病状态、用药历史、疼痛部位和期望改进的部分之类的信息。诊断结果用于确定锻炼是否可能。查询数据分析单元213基于诊断结果确定是否适于使目标TG执行锻炼。在确定在目标TG上施加过大的负担或目标TG执行锻炼不适当的情况下，查询数据分析单元213将用于停止锻炼或鼓励医生进行检查的警报通知给客户终端100。查询数据分析单元213可以对训练终端300进行查询，而不是将警报通知给客户终端100。

评估单元220基于由特征量提取单元212提取的特征量和存储在索引数据库295中的动作分析算法AL来分析目标TG的动作。例如，评估单元220基于动作分析算法AL将记录在运动图像数据MD中的目标TG的一系列动作分类为多个阶段，并分析每个阶段的动作。在动作分析算法AL中定义检测阶段之间的边界的方法和评估每个阶段的运动的方法。评估单元220生成指示一系列动作的评估结果的分析信息MAI。

干预信息生成单元230基于分析信息MAI生成用于目标TG的干预信息VI。干预信息VI包括用作用于鼓励目标TG改善其运动的确定材料的信息(确定信息)或者目标TG的训练计划。

干预信息生成单元230可从分析信息MAI中提取目标TG的一个或多个症状，并基于针对每个症状确定的优先级和每个症状的权重来确定训练计划。除了分析信息MAI之外，干预信息生成单元230还可以参考诸如查询数据的信息确定训练计划。

该症状包括与目标动作相比的目标TG特异性习惯。例如，当球被抛出时，肘向前运动然后臂向下摆动的形式是正确的形式。然而，有些人突然投掷球，而不像投篮那样向前移动他们的肘。通过对形式进行分类，可以对症状进行分类。在索引数据库295中定义了用于症状定义和症状分类的算法。在目标TG中检测到多个症状的情况下，干预信息生成单元230例如根据优先度最高的症状提示训练计划。

症状的优先级和每个症状的训练计划被存储在解决方案数据库294中。在解决方案数据库294中，一个或多个训练计划与每个症状相关联。干预信息生成单元230可以基于症状的改善的进展呈现与症状相关联的另一训练计划。

干预信息生成单元230基于分析信息MAI确定目标TG的当前运动能力级别。级别信息用于与具有类似运动能力、年龄或运动历史的其他运动成员比较、用于改善技能的认证处理等。例如，干预信息生成单元230生成用于对目标TG的当前级别进行认证的认证信息。

存储装置290可以具有个人信息数据库291、匿名化感测信息数据库292、干预信息数据库293、解决方案数据库294和索引数据库295。

个人信息数据库291存储关于目标TG个体的信息，诸如目标TG的年龄、身高、体重、病史、用药等。在图2的示例中，个人信息作为数据库存储在动作分析服务器200中。然而，关于目标TG的个人信息可被存储在客户终端100中。

匿名化感测信息数据库292存储由活动计算单元210使用的目标TG的过去感测数据。过去的感测数据被存储为与匿名化信息(诸如年龄、性别和疾病)相关联的匿名化数据。

干预信息数据库293与关于目标TG的活动信息相关联地存储由干预信息生成单元230生成的干预信息VI。

解决方案数据库294存储由干预信息生成单元230使用的每个运动项的解答。例如，为每个项存储诸如一条建议、教育内容、以及训练/锻炼程序的内容。每个内容可以与评估结果或诊断结果相关联地存储。结果，提供与目标TG的状态相应的一条适当的建议和适当的内容。

索引数据库295存储由评估单元220使用的索引。索引数据库295包括关于特征量的定义信息和使用特征量作为动作分析的索引的动作分析算法AL。动作分析算法AL可以基于特定阈值，或者可以基于对其执行机器学习的学习模型。

训练终端300是诸如智能电话、平板终端、笔记本计算机和台式计算机的信息终端。教练终端300包括评估单元310和诊断信息数据库390。训练终端300接收并显示从动作分析服务器200发送的关于目标TG的健康信息、分析信息MAI、关于症状的信息等。

评估单元310基于由训练者输入的信息、由动作分析服务器200接收的目标TG的健康信息和分析信息MAI以及存储在诊断信息数据库390中的信息来诊断目标TG的当前锻炼状态，并将诊断结果和根据诊断结果的一条建议发送到动作分析服务器200。诊断结果和根据诊断结果的建议可被直接发送到由目标TG保持的客户终端100，而不经过动作分析服务器200。

诊断信息数据库390存储通过诊断过去的目标TG而获得的诊断信息等。

由于目标TG的健康信息、评估结果等被发送到训练终端300，因此即使训练者远离目标TG生活，训练者也能够知道目标TG的健康状态和行为变化。因此，训练者能够远程诊断目标TG的当前锻炼状态并提供诊断结果。

家庭终端400是诸如智能电话、平板终端、笔记本计算机和台式计算机的信息终端。家庭终端400接收并显示从动作分析服务器200发送的关于目标TG的活动信息、分析信息MAI等。结果，即使目标TG的家庭FM远离目标TG生活，目标TG的家庭FM也可以知道目标TG的活动状态和行为变化。

服务供应商服务器500包括产品销售数据库591。产品销售数据库591存储适合于每条健康信息和分析信息MAI的健康食品等的产品销售信息PSI。服务提供者服务器500接收从动作分析服务器200发送的关于目标TG的健康信息、分析信息MAI、关于症状的信息等。服务提供者服务器500在产品销售数据库591中搜索与接收到的关于目标TG的健康信息、分析信息MAI和关于症状的信息相对应的产品销售信息。服务供应商服务器500将搜索到的产品销售信息发送到动作分析服务器200。

由于目标TG的健康信息、分析信息MAI等被发送给服务提供者服务器500，服务提供者可基于目标TG的健康状态和行为改变向目标TG提供产品销售信息，诸如推荐训练机。期望使训练者终端300和服务提供者服务器500接收到的关于目标TG的健康信息、分析信息MAI和关于症状的信息匿名。

在图2的示例中，在动作分析服务器200中计算活动信息，并且提供分析信息MAI和干预信息VI。然而，计算活动信息的服务器和评估运动并提供分析信息MAI和干预信息VI的服务器可以单独配置。此外，虽然服务提供者服务器500已经被描述为不同于动作分析服务器200的服务器，但是动作分析服务器200和服务提供者服务器500可以形成为彼此集成。

此外，在图2的示例中，已经描述了动作分析服务器200包括各种数据库的示例。然而，可以单独提供包括各种数据库的数据库服务器。此外，存储装置290中的每个数据库可以由与动作分析服务器200不同的服务器管理。

[3.信息处理方法]

[3-1.动作分析处理的概要]

图3是示出动作分析处理的概要的流程图。

客户终端100从传感器单元110和输入装置120获取传感器数据和查询数据(步骤S1)。客户终端100将获取的传感器数据和查询数据发送至动作分析服务器200(步骤S2)。

查询数据分析单元213从查询数据中提取关于目标TG的健康信息(步骤S3)。传感器数据分析单元211从传感器数据中提取目标TG的活动量和锻炼期间的目标TG的姿势信息HPI(步骤S4)。

特征量提取单元212根据用作确定项的锻炼类型从索引数据库295提取动作分析的索引(关于特征量的定义信息和动作分析算法AL)。特征量提取单元212基于关于特征量的定义信息从姿势信息HPI中提取特征量(步骤S5)。

评估单元220将所提取的特征量的数据应用于动作分析算法AL，以分析目标TG的动作。针对运动的每个阶段执行动作分析。评估单元220基于动作分析算法AL将目标TG的一个示例的运动划分为多个阶段。在健身的情况下，评估单元220可考虑关于活动量的信息执行动作分析。评估单元220基于针对每个阶段的动作的分析结果来评估目标TG的一系列动作，并且生成指示评估结果的分析信息MAI(步骤S6)。

干预信息生成单元230从训练终端300和服务提供者服务器500获取与分析信息MAI相关的诊断信息和产品销售信息。干预信息生成单元230基于分析信息MAI、诊断信息、关于症状的信息以及产品销售信息生成用于干预目标TG的干预信息VI(步骤S7)。

干预信息生成单元230将生成的干预信息VI发送到客户终端100(步骤S8)。客户终端100在显示装置170上显示干预信息VI，并且使目标TG识别锻炼状况(步骤S9)。其结果，促使目标TG的动作变化。

[3-2.运动图像获取处理]

图4是示出运动图像获取处理的示例的流程图。

<步骤SA1：识别辨别>

客户终端100辨别要进行动作分析的人(目标TG)。目标TG可被辨别为相机160的图像捕获视野的中心处的人，或者目标TG可通过账户信息、脸部认证、指纹认证等来认证。

<步骤SA2：图像捕获准备>

客户终端100基于查询数据确定锻炼是否可行。当确定锻炼可行时，客户终端100将确定项和图像捕获条件确定为图像捕获的准备。

通过对目标TG或训练者的选择来选择确定项。当在训练计划中设置作为待分析目标的训练项时，可将设置的训练项确定为确定项。在本公开中，确定项是基于例如用户输入信息(目标TG的选择)来确定的。

客户机终端100从索引数据库295提取与确定项相关联的图像捕获条件，并使用语音或视频向目标TG通知图像捕获条件。图像捕获条件包括目标TG与相机160之间的位置关系的参考、目标TG在视角中的位置(例如，双肩的坐标和骨架的中心线的位置)等。如果客户终端100确定相机160的图像捕获位置不满足上述参考，则客户终端100使用语音或视频向目标TG发出通知。

可以通过诸如动作分析服务器200的另一个分析装置来执行关于图像捕获位置是否满足上述参考的确定。部分确定(例如，仅姿势估计)可由客户终端100执行，并且其余确定可由另一个分析装置执行。此外，当使用ToF传感器等检测目标TG与相机160之间的位置关系时，可基于检测到的位置关系校正相机160的视频以满足上述参考。

客户终端100可以使用陀螺仪传感器等检测其自身的水平状态，并且如果客户终端100从水平倾斜，则可以向目标TG发出通知。当分析目标TG的运动时，可能需要根据确定项准确地知道目标TG的姿势从垂直方向倾斜了哪个方向和多少。在这种情况下，作为在执行图像捕获之前的准备，使得目标TG调整客户终端100的水平状态。

当通过图像分析确定目标TG不能准确地与背景分离时，客户终端100可以向目标TG发出通知。当衣服的颜色和背景(例如，墙壁)的颜色相同时，或者当毛发的颜色和背景(例如，暗廊道)的颜色相同时，不能通过图像分析将目标TG与背景精确地分离。即使当另一个人存在于目标TG的背景中时，也不能单独地分析目标TG和另一个人。如果目标TG不能与背景分离，则不能精确地提取目标TG的姿势信息HPI。因此，通知目标TG，并且调整摄像位置和照明状态。

<步骤SA3：运动图像获取>

当图像捕获条件被优化时，客户终端100捕获运动图像。客户终端100可以在捕获与确定项关于的运动图像之前捕获评估运动图像。评估运动图像是指为了分析目标TG的运动能力而取得的表示起立、行走、上下楼梯、上起等基本动作的运动图像。将评估运动图像与查询数据一起用作用于分析目标TG的健康状况的确定材料。

可以通过声音输入开始和结束运动图像的摄像的指令。可替换地，可以通过图像分析来检测在运动的开始和结束时的姿势，并且当检测到这些姿势时可以自动地执行对运动图像的开始和结束图像捕获的处理。

<步骤SA4：用于动作分析的预处理>

当捕获与确定项相关的运动图像时，客户终端100根据需要使用动作分析服务器200执行动作分析的预处理。

当使用运动图像数据MD分析目标TG的运动时，实际需要分析的帧图像的数量不那么大(例如，每个阶段1个以上到10个以下)。如果包含在运动图像数据MD中的所有帧图像由高性能动作分析服务器200分析，则分析成本将增加。因此，作为用于动作分析的预处理，客户终端100提取期望包括指示该阶段中的运动的重要帧图像的特定运动场景(在后文中称为“特定场景”)。对应于每个阶段提取特定场景。客户终端100仅将特定场景的帧图像发送给动作分析服务器200。

例如，客户终端100分析在低图像质量模式(例如，每帧368像素X368像素的分辨率)下获取的运动图像数据MD以预测特定场景的接收时刻。客户终端100根据预测的时刻将运动图像数据MD的获取模式从低图像质量模式切换至高图像质量模式(例如，每帧640像素X480像素的分辨率)，并且将高质量帧图像发送至动作分析服务器200。客户终端100在保持低图像质量的同时将除了特定场景之外的场景的帧图像发送给动作分析服务器200。

在动作分析算法AL中定义待提取的特定场景的特征。基于关于目标TG的轮廓信息、姿势信息LPI(参考图5)、由目标TG使用的特定对象OB与目标TG之间的位置关系等检测特定场景。特定对象OB例如在足球的情况下是足球，在高尔夫的情况下是高尔夫球杆和高尔夫球。

例如，在确定项为足球射门的情况下，将(i)踏入支脚的时刻、(ii)踢腿的大腿向球运动的时刻、(iii)冲击时刻、以及(iv)冲击后的指定秒后的时刻分别定义为作为分析对象的阶段。例如，基于特定关节的角度和作为物体OB的球与特定身体的特征点(关键点)之间的相对位置来定义阶段确定条件。

客户终端100从运动图像数据MD中提取各自包括阶段(i)至(iv)的多个特定场景。如果仅检测到特定场景，则即使使用低性能客户终端100也可以高速执行检测。因为仅包括在特定场景中的帧图像是动作分析的目标，所以能够抑制动作分析服务器200的分析成本。

<<预处理的流程>>

图5至图7是示出预处理的具体示例的示图。在下文中，将参考图5和图6描述图7的流程。

客户终端100捕获目标TG的运动图像(步骤SD1)。运动图像数据MD包括按时间序列布置的多个帧图像FI。运动图像包括待分析的特定场景和该特定场景之前和之后的场景。

客户终端100从运动图像数据MD中提取指示特定场景的一个或多个帧图像FI(特定帧图像SFI)(步骤SD2)。例如，基于目标TG的运动来执行特定场景的确定。例如，使用计算量低且准确度低的第一分析模型143(参照图9)，基于从运动图像数据MD的所有帧图像FI提取的目标TG的姿势信息LPI(通过第一分析模型143指示低准确度姿势估计结果的信息)来估计目标TG的运动。

如上所述，完成提取高准确度的姿势估计对象的预处理。提取的帧图像通过动作分析服务器200经历动作分析。

例如，动作分析服务器200从所提取的一个或多个特定帧图像SFI中提取每个帧图像SFI的目标TG的姿势信息HPI(步骤SD3)。例如，使用具有高准确度的高计算量的第二分析模型297(参考图9)，仅从一个或多个特定帧图像SFI中提取目标TG的姿势信息HPI。

动作分析服务器200从所提取的一条或多条姿势信息HPI(通过第二分析模型297指示高度精确的姿势估计结果的信息)中提取指示每个相的运动时刻的姿势信息HPI。结果，检测一系列动作中包括的多个阶段。动作分析服务器200使用指示每个阶段的运动时刻的姿势信息HPI分析每个阶段的目标TG的运动(步骤SD4)。

客户终端100从动作分析服务器200接收分析信息MAI并且将分析信息MAI通知给目标TG(步骤SD5)。

要注意的是，在图5至图7的示例中，通过客户终端100进行低准确度姿势估计，并且通过动作分析服务器200进行高准确度姿势估计，但是姿势估计的共享不限于此。例如，可以通过客户终端100进行所有姿势估计(低准确度姿势估计和高准确度姿势估计)，或者可以通过动作分析服务器200进行所有姿势估计。在任何一种情况下，可获得在高准确度姿势估计中快速检测特定场景并减少总共三次打击的优异效果。

[3-3.分析/评估处理]

图8是示出分析/评估处理的示例的流程图。

<步骤SB1：姿势估计>

从运动图像数据MD提取多个特定场景的视频并且将其从客户端终端100发送到动作分析服务器200。动作分析服务器200执行每个特定场景的姿势分析。使用已知的姿势估计技术进行姿势分析。例如，动作分析服务器200使用深度学习方法从目标TG的图像提取多个关键点KP(指示肩、肘、腕、腰、膝、踝等的多个特征点：参考图10)。动作分析服务器200基于所提取的关键点KP之间的相对位置来估计目标TG的姿势。

动作分析服务器200从包括在特定场景中的每个帧图像提取目标TG的姿势信息HPI。姿势信息HPI是表示各关键点KP的位置(坐标)与关键点KP之间的位置关系(关节角等)的信息。动作分析服务器200是具有比客户终端100的性能更高的性能的信息处理装置。因此，提取具有比客户终端100执行的姿势分析的准确度更高的准确度的姿势信息HPI。通过使用高度精确的姿势信息HPI，还提高了动作分析的准确度。

<步骤SB2：阶段分析>

在动作分析算法AL中，定义关于如何定义每个阶段的姿势的定义信息。姿势根据例如关键点KP之间的位置关系(角度、距离等)和特定关键点KP的运动模式(运动方向的变化状态、运动速度、运动速度等)来确定。姿势可基于与目标TG所使用的特定对象OB(诸如球)的位置关系来定义。

可以在阶段中定义多个姿势。通过将多个姿势设置为待分析的目标，可以分析发生在相同阶段的姿势的转变。例如，在高尔夫挥杆中，可以评估挥杆过程中姿势的转变。仅通过观察该阶段的开始时间点和结束时间点，不可能知道在该时间期间已经执行了哪种摆动。通过分析在阶段的开始时间点和结束时间点的中间的一个或多个帧图像SFI，可以掌握在相同阶段中的姿势的转变。因此，可以检查是否已经执行正确的动作。

动作分析服务器200从包括在特定场景中的一个或多个帧图像SFI中提取在定义信息中定义的一个或多个帧图像SFI。结果，检测与定义信息中定义的相同阶段相关联的一个或多个姿势。作为确定姿势的方法，可以使用基于阈值的确定方法，或者可以使用基于机器学习(诸如深度学习)的确定方法。

<步骤SB3：评估>

<<项的分类>>

在动作分析算法AL中，针对每个阶段定义一个或多个评估项。个人评估项和评分参考由训练者、教练等设置。当标准评估项和标准评分参考是已知的时，已知的评估项和评分参考可以照原样使用。例如，Barthel指数(BI)和功能独立性测量(FIM)通常被用作评估日常生活活动(ADL)的方法。通过使用已知的评估项和评分参考，可以更好地掌握目标TG的状态。

<<评分>>

动作分析服务器200从指示阶段的动作的帧图像SFI中提取姿势信息HPI。动作分析服务器200为每个评估项对所提取的姿势信息HPI评分。可以对个体姿势信息HPI进行评分或可以对跨多个帧的平均姿势信息HPI进行评分。作为评分方法，可以使用基于阈值的评分方法，或者可以使用基于机器学习(诸如深度学习)的评分方法。评分时刻可以是实时的或者在捕获运动图像之后。

<步骤SB5：症状分类>

当对所有阶段的分析完成时(步骤SB4：是)，动作分析服务器200基于每个阶段的评分结果检测目标TG的动作的特征。动作分析服务器200基于动作的特征对目标TG的症状进行分类。作为分类方法，可以使用基于阈值的分类方法，或者可以使用基于机器学习(诸如深度学习)的分类方法。在动作分析算法AL中，例如，定义由训练者或教练设置的多个分类项。

<<比较>>

动作分析服务器200基于每个评估项的评分结果和症状的分类结果评估目标TG的一系列动作。动作分析服务器200可将目标TG的评估结果与另一人(模型人、另一运动成员)的评估结果或目标TG的过去评估结果进行比较，并将比较结果通知给目标TG。比较方法的示例包括以叠加方式或并行显示将被比较的多个骨架图像的方法。此时，优选匹配骨架图像的大小。

<<报告>>

动作分析服务器200生成指示一系列动作的评估结果的分析信息MAI，并且将生成的分析信息MAI报告给目标TG、家庭FM等。分析信息MAI例如包括用于支持目标TG的各种类型的信息，诸如目标TG的当前状况(症状的评分结果和分类结果)、症状转变、一条建议和推荐的训练计划。报告的时刻可以被自由地和选择性地设置。

[4.与分析/干预处理相关的功能配置]

图9是示出与分析/干预处理相关的功能配置的示例的示图。

<客户端>

客户终端100包括处理装置130、存储装置140、以及通信装置150。处理装置130包括运动图像获取单元131、图像捕获条件确定单元132、场景提取单元133、以及输出单元134。

运动图像获取单元131获取由相机160捕获的目标TG的运动图像数据MD。运动图像包括与各个阶段相对应的多个特定场景。

场景提取单元133从运动图像获取单元131获取运动图像数据MD。场景提取单元133从运动图像数据MD中提取表示每个阶段的特定场景的一个或多个帧图像SFI。例如，所提取的帧图像SFI的数量为一个或多个并且十个或更少。例如，场景提取单元133基于目标TG的运动确定特定场景。场景提取单元133通过将目标TG的运动特征与场景信息142进行对照来确定特定场景。

例如，场景提取单元133基于在特定场景之前的帧图像组的姿势分析结果，检测至特定场景的切换。场景提取单元133提取具有比响应于至特定场景的切换而获取的帧图像组的分辨率更高的分辨率的一个或多个帧图像FI，作为表示特定场景的一个或多个特定帧图像SFI。

在场景信息142中，与各阶段相对应的多个特定场景和用于确定每个特定场景的确定条件被彼此关联地定义。在运动算法AL中定义关于特定场景的定义信息和特定场景的确定方法。客户终端100从索引数据库295中提取关于特定场景的定义信息和特定场景的确定方法，并且将所提取的定义信息和确定方法存储在存储装置140中作为场景信息142。

场景提取单元133使用例如通过机器学习获得的第一分析模型143提取目标TG的姿势信息LPI。例如，第一分析模型143是具有比在由动作分析服务器200提取姿势信息HPI时使用的分析模型(第二分析模型297)低的姿势估计准确度的分析模型。场景提取单元133基于从提取的姿势信息LPI估计的目标TG的姿势变化来检测至特定场景的切换。

运动图像数据MD包括关于包括以时间序列生成的多个特定场景的一系列动作的信息。场景提取单元133考虑运动流程中的先前和后续背景确定从单独视点产生哪个特定场景。例如，在足球的拍摄动作中，首先，根据(i)之后的运动图像数据，确定与(i)的阶段相对应的特定场景，然后，按照(ii)、(iii)和(iv)的顺序确定与各个阶段相对应的特定场景。基于针对每个特定场景假设的身体运动来确定每个特定场景。

为了便于确定，场景提取单元133基于例如当目标TG与特定对象OB(例如，足球情况下的球)处于预定位置关系时的目标TG的运动或目标TG与特定对象OB之间的位置关系的变化来检测向特定场景的切换。在该配置中，与仅基于骨架之间的相对位置关系来确定特定场景的情况相比，以更高的准确度来确定特定场景。

例如，如下执行与(i)对应的特定场景的确定。首先，根据与球的相对位置关系，规定在踏入转动脚时转动脚几乎不运动的独特区域。例如，唯一区域被定义为从球的中心具有半径A×r(r是球的半径；A是大于1的数)的图像区域。

例如，场景提取单元133提取枢转脚与球之间的距离在阈值内的帧图像作为参考帧图像。场景提取单元133从通过来自参考帧图像的(N-1)个帧回溯的帧图像FI中提取直至参考帧图像的N个帧图像FI(N是1或更大的整数)。场景提取单元133为N帧图像FI中的每提取目标TG的脚跟的骨架适合其中的骨架区域。场景提取单元133提取包括所有N个骨架区域的骨架运动区域。当骨架运动区域的尺寸在阈值内并且骨架运动区域被包括在独特区域中时，场景提取单元133确定枢转脚被踩上。场景提取单元133从运动图像数据MD中提取表示枢转脚踩踏的时刻的一个或多个帧图像FI。

当提取与(i)对应的特定场景的帧图像FI时，场景提取单元133继续提取与(ii)对应的特定场景的帧图像FI。例如，场景提取单元133将被检测为枢转脚的脚的延长线穿过球的时刻确定为对应于(ii)的特定场景。

对与(i)对应的特定场景之后的运动图像数据MD进行与(ii)对应的特定场景的确定。考虑运动流中的先前和后续上下文，认为对应于(ii)的特定场景紧接在对应于(i)的特定场景之后发生。因此，在存在被检测为转动脚的脚的延长线在紧挨着与(i)对应的特定场景之后的预定时间内通过球的场景的情况下，该场景是与(ii)对应的特定场景的可能性高。因此，场景提取单元133将场景确定为对应于(ii)的特定场景，并且从运动图像数据MD中提取表示特定场景的一个或多个帧图像FI。

当提取与(ii)对应的特定场景的帧图像FI时，场景提取单元133继续提取与(iii)对应的特定场景的帧图像FI。例如，在腰部的中心与球的中心之间的距离减小之后，场景提取单元133将距离以比距离减小的速度更高的速度增大的时刻确定为对应于(iii)的特定场景。

当球被撞击时，腰部中心与球的中心之间的距离趋于减小，直到撞击之前为止，但是当球被撞击时，距离开始以比距离减小的速度高得多的速度增大。利用这一点，场景提取单元133计算各帧图像FI中的腰骨中心与球的中心之间的距离，并且当通过除以球直径的帧之间的距离的差而获得的值超过阈值时，确定距离的改变模式被反转。场景提取单元133确定距离改变的模式即将反转之前的场景是与(iii)对应的特定场景。

对与(ii)对应的特定场景之后的运动图像数据MD执行与(iii)对应的特定场景的确定。考虑运动流中的先前和后续上下文，认为对应于(iii)的特定场景紧接在对应于(ii)的特定场景之后发生。因此，在紧挨着与(ii)对应的特定场景之后的预定时间内发生上述距离变化的情况下，该场景是与(iii)对应的特定场景的可能性高。因此，场景提取单元133将场景确定为对应于(iii)的特定场景，并且从运动图像数据MD中提取表示特定场景的一个或多个帧图像FI。

当提取与(iii)对应的特定场景的帧图像FI时，场景提取单元133继续提取与(iv)对应的特定场景的帧图像FI。与(iv)对应的特定场景的帧图像FI用于分析拍摄之后的姿势。

与(iv)对应的特定场景被定义为从与(iii)对应的特定场景起经过预定时间之后的场景。直到检测到适合于分析的姿势的时间取决于冲入球和运动的速度。然后，虽然将从拍摄起已经经过一定程度的时刻确定为与(iv)相对应的特定场景，但是该时刻根据每个目标TG而变化。因此，考虑个体差异，例如，场景提取单元133确定从与(ii)对应的特定场景至与(iii)对应的特定场景的帧数量经过预定次数的帧时间作为与(iv)对应的特定场景。

姿势的估计准确度根据用于分析模型的神经网络的规模而改变。在使用大型神经网络的情况下，从图像数据中提取多个关键点KP，高准确度地估计目标TG的各种动作。即使由于遮挡等而丢失信息，也高准确度地提取目标TG的关键点KP。作为增加神经网络规模的方法，存在增加特征图(通道)的方法和加深层(层)的方法。在任一方法中，卷积运算的处理量增加，并且这样的计算速度劣化。姿势的估计准确度与计算速度之间存在折衷的关系。

场景提取单元133使用例如具有小的神经网络规模和低准确度的低计算量的第一分析模型143，从构成运动图像数据MD的所有帧图像FI中提取目标TG的姿势信息LPI。仅仅为了确定目标TG的特定场景，能够掌握目标TG的粗略运动就足够了。即使由于遮挡等而缺乏信息，通过姿势的大致变化来掌握动作的特征。因此，即使使用具有低准确度低计算量的第一分析模型143，也能够确定目标TG的运动场景。在使用第一分析模型143的情况下，每个帧图像FI的卷积操作的处理量较小，因此，即使运动图像数据MD较大，也可进行快速处理。

指示特定场景的一个或多个帧图像SFI的数据经由通信装置150发送给动作分析服务器200。动作分析服务器200使用所接收的一个或多个帧图像SFI执行与特定场景对应的阶段的动作分析。输出单元134经由通信装置150从动作分析服务器200接收基于动作分析的评估结果(分析信息MAI)。输出单元134将接收的分析信息MAI通知给目标TG。该通知例如通过字符、图表和语音的组合来执行。

图像捕获条件确定单元132基于用作动作分析的目标的动作的类型(确定项)，确定在获取运动图像数据MD时目标TG的图像捕获方向。在索引数据库295中，针对每个确定项定义要执行图像捕获的一个或多个图像捕获方向。从容易抓住点运动的观点来确定图像捕获方向。例如，基于用作待分析目标的动作的特征来确定图像捕获方向，诸如目标TG的正面方向(垂直于正面平面的方向)、侧面方向(垂直于矢状平面的方向)或正面方向和侧面方向两者。摄像条件确定单元132向目标TG通知索引数据库295中定义的摄像方向。

注意，在可以使用飞行时间(ToF)传感器等获取关于目标TG的三维坐标信息的情况下，可以从一条运动图像数据MD中提取目标TG在正面方向和侧面方向上的姿势信息HPI。在这样的情况下，不需要单独地捕获在正面方向和侧面方向上的视频。

例如，存储装置140存储图像捕获条件信息141、场景信息142、第一分析模型143、以及程序144。图像捕获条件信息141包括关于在动作分析算法AL中定义的图像捕获条件的信息。客户终端100从索引数据库295提取关于图像捕获条件的信息，并且将所提取的信息存储在存储装置140中作为图像捕获条件信息141。应注意，图像捕获条件信息141和场景信息142可从索引数据库295下载或者可从头安装在客户终端100中。

程序144是使计算机执行客户终端100的信息处理的程序。处理装置130根据程序144执行各种类型的处理。存储装置140可以用作用于临时存储处理装置130的处理结果的工作区。存储装置140包括任何非暂态存储介质，诸如半导体存储介质和磁存储介质。存储装置140包括例如光盘、磁光盘或闪存。程序144存储在例如非易失性计算机可读存储介质中。

处理装置130是例如包括处理器和存储器的计算机。处理装置130的存储器包括随机存取存储器(RAM)和只读存储器(ROM)。处理装置130通过执行程序144用作运动图像获取单元131、图像捕获条件确定单元132、场景提取单元133、以及输出单元134。

<动作分析服务器>

动作分析服务器200包括处理装置250、存储装置290和通信装置260。处理装置250包括姿势信息提取单元214、状态机221、以及动作分析单元222。姿势信息提取单元214包括在传感器数据分析单元211中。状态机221和动作分析单元222被包括在评估单元220中。

姿势信息提取单元214获取经由通信装置260从客户端终端100发送的表示特定场景的一个或多个帧图像SFI。使用通过机器学习获得的第二分析模型297，姿势信息提取单元214从指示特定场景的一个或多个帧图像SFI中提取每个帧图像SFI的目标TG的姿势信息HPI。

第二分析模型297是具有比场景提取单元133确定特定场景时使用的分析模型(第一分析模型143)更高的姿势估计准确度的分析模型。例如，姿势信息提取单元214使用具有大规模的神经网络和具有高准确度的高计算量的第二分析模型297来从一个或多个特定帧图像SFI中提取目标TG的姿势信息HPI。姿势信息提取单元214的姿势估计处理的目标仅是从形成运动图像数据MD的多个帧图像FI中选择的一个或多个特定帧图像SFI。因此，即使每个帧图像SFI的卷积运算的处理量大，也可以进行快速处理。

状态机221基于目标TG的姿势信息HPI来检测包括在目标TG的一系列动作中的多个阶段。例如，状态机221将包括在目标TG的姿势信息HPI中的特征与阶段信息298进行对照。在阶段信息298中，将待分析的多个阶段和用于确定每个阶段的确定条件彼此关联地定义。在运动算法AL中定义阶段定义信息和阶段确定方法(阶段边界检测方法)。在图9中，关于运动算法AL中定义的阶段的各种类型的信息(每个阶段的定义信息、确定方法等)被示出为阶段信息298。

状态机221根据姿势信息提取单元214提取的一个或多个姿势信息HPI的整理结果提取一个或多个姿势信息HPI。基于整理结果提取的一条或多条姿势信息HPI分别指示阶段信息298中定义的阶段中的目标TG的姿势。通过该处理，检测一系列动作中包括的多个阶段。

在从多个方向捕获目标TG的动作的情况下，状态机221基于从多个方向获取的姿势信息HPI来检测包括在一系列动作中的多个阶段。结果，在补偿作为盲点的信息的同时检测多个阶段。

动作分析单元222获取由姿势信息提取单元214提取的特定场景中的目标TG的姿势信息HPI(从包括在特定场景中的一个或多个帧图像SFI为每个帧图像SFI提取的姿势信息)。动作分析单元222从包括在特定场景中的一个或多个帧图像SFI中提取指示由状态机221检测的阶段的一个或多个帧图像SFI作为待分析的目标。

动作分析单元222基于从状态机221获取的阶段的检测结果，针对每个阶段提取一个或多个帧图像SFI，每个帧图像SFI是待分析的目标。动作分析单元222针对每个阶段分析用作待分析的目标的姿势信息HPI，并且生成指示一系列动作的评估结果的分析信息MAI。在动作分析算法AL中定义动作分析的方法(评分项的定义、评分方法等)。动作分析单元222基于从索引数据库295获取的动作分析算法AL执行动作分析。

例如，动作分析单元222基于针对每个阶段设置的一个或多个评分项来对每个阶段的动作进行评分，并且基于每个阶段的评分结果生成分析信息MAI。动作分析单元222经由通信装置260将分析信息MAI发送至客户终端100、训练者终端300、家庭终端400、以及服务供应商服务器500。

存储装置290存储角色模型信息296、第二分析模型297、阶段信息298和程序299。程序299是使计算机执行动作分析服务器200的信息处理的程序。处理装置250根据存储在存储装置290中的程序299执行各种类型的处理。存储装置290可以用作用于临时存储处理装置250的处理结果的工作区。存储装置290包含任何非暂时性存储媒体，例如半导体存储媒体和磁性存储媒体。存储装置290包括例如光盘、磁光盘或闪存。例如，程序299存储在非易失性计算机可读存储介质中。

处理装置250是例如包括处理器和存储器的计算机。处理装置250的存储器包括RAM和ROM。通过执行程序299，处理装置250用作传感器数据分析单元211、评估单元220、姿势信息提取单元214、状态机221、以及动作分析单元222。

<服务供应商服务器>

服务供应商服务器500包括处理装置510、存储装置590和通信装置520。处理装置510包括信息获取单元511和产品销售信息生成单元512。信息获取单元511经由通信装置520获取分析信息MAI。基于从信息获取单元511获取的分析信息MAI，产品销售信息生成单元512从产品销售数据库591中提取关于适合于目标TG的运动情况的产品组的信息。产品销售信息生成单元512基于提取的关于产品组的信息生成产品销售信息，并且经由通信装置520将产品销售信息发送到动作分析服务器200。动作分析服务器200使用分析信息MAI、产品销售信息等生成干预信息VI，并且将干预信息VI发送至客户终端100。

存储装置590存储产品销售数据库591和程序592。程序592是使计算机执行处理装置510的信息处理的程序。处理装置510通过执行程序592用作信息获取单元511和产品销售信息生成单元512。存储装置590和处理装置510的配置类似于动作分析服务器200的存储装置290和处理装置250的配置。

[5.动作分析的具体示例]

图10是示出分析信息MAI的示例的示图。

动作分析单元222基于每个阶段的分析结果生成分析信息MAI。输出单元134将分析信息MAI连同用作待分析的目标的运动图像数据MD的视频一起显示在显示装置170上。例如，输出单元134针对每个阶段暂时停止目标TG的运动，并且在该阶段中将分析信息MAI与目标TG的静止图像IM一起显示。

例如，输出单元234通知第一分析信息MAI1和第二分析信息MAI2作为分析信息MAI。第一分析信息MAI1针对每个阶段包括作为动作模型的指示目标TG的动作和特定人RM(例如，职业运动员)的动作之间的比较的信息。第二分析信息MAI2包括指示用于使目标TG的运动更接近特定人RM的目标动作的指导的信息。在图10的实例中，“踢腿抬高”的评论和“86点”的评估点被示出为第二分析信息MAI2。评估点表示基于预先设定的参考的成就度。

关于特定人RM的运动的信息被存储在存储装置290中作为角色模型信息296。在动作分析算法AL中，定义关于在执行动作分析中要比较的运动的信息。在图9中，在运动算法AL中定义的关于比较目标的信息(关于特定人RM的运动的信息等)被示出为角色模型信息296。分析信息MAI可包括指示针对每个评分项的每个相的评分结果从过去到现在的转变的信息。

第一分析信息MAI1包括例如目标TG的骨架信息SI和用作每个阶段中的比较参考的参考骨架信息RSI(关于特定人RM的骨架信息)。参考骨架信息RSI是使用例如通过基于目标TG和特定人RM之间的物理差异校正关于每个相中的特定人RM的骨架信息而获得的骨架信息来生成的。每个阶段中的参考骨架信息RSI被包括在角色模型信息296中。

例如，如下设置参考骨架信息RSI的比例。首先，定义适合于比较特定人RM和目标TG的体格的一个或多个骨骼。例如，在图10的示例中，脊柱和脚骨被定义为用于比较的参考。对于特定人RM和目标TG中的每一个，动作分析单元222在姿势被对齐的时刻检测脊柱和脚骨的长度。动作分析单元222计算脊柱和脚骨的长度的和的比率作为特定人RM和目标TG的身体尺寸的比率，并基于该比率改变特定人RM的骨架的比例。这有助于与特定人RM进行比较，由此使得容易理解目标TG应当如何运动。

在图10的示例中，示出了与踩在枢转脚上的时刻对应的阶段。例如，第一参考骨架信息RSI1、第二参考骨架信息RSI2和第三参考骨架信息RSI3被显示为参考骨架信息RSI。

第一参考骨架信息RSI1是关于用作模型的特定人RM的运动的骨架信息。第二参考骨架信息RSI2是关于在不满足模型的特定水平(例如，当模型是100点时的80点的水平)的运动的骨架信息。第一参考骨架信息RSI1和第二参考骨架信息RSI3是关于在腰部位置与目标TG匹配的时刻的模型的骨架信息。第三参考骨架信息RSI3是关于在枢转脚的位置与目标TG匹配时的时刻的模型的骨架信息。

例如，在从踩在枢转脚上到撞击之后立即的一系列运动期间，第三参考骨架信息RSI3总是与目标TG的运动连同目标TG的骨架信息SI一起被显示。第三参考骨架信息RSI3用于比较从在枢转脚上踩踏到立即在与目标TG碰撞之后的一系列运动。因此，不同于第一参考骨架信息RSI1和第二参考骨架信息RSI2，第三参考骨架信息RSI3指示关于全身的骨架信息。

一系列动作所需的时间在特定人RM和目标TG之间不同。因此，限定有效执行比较的时刻(例如，冲击的时刻、踏入枢转脚的时刻等)，并且将第三参考骨架信息RSI3叠加在目标TG上，使得限定的时刻彼此匹配。在图10的示例中，踩踏枢转脚的时刻彼此匹配，但根据课程等的目的适当地设置应该匹配的时刻。

例如，输出单元134以偏移的方式显示第三参考骨架信息RSI3的位置，使得目标TG的脚踝的位置和特定人RM的脚踝的位置在定义的时刻彼此匹配。结果，容易理解目标TG和特定人RM的踏步位置之间的差异。

输出单元134选择性地显示关于与该阶段中要被分析的目标TG的一部分相对应的骨架的信息作为目标TG的骨架信息SI、第一参考骨架信息RSI1和第二参考骨架信息RSI2。在图10的示例中，关于腰部和腿部的骨架信息被选择性地显示为骨架信息SI、第一参考骨架信息RSI1和第二参考骨架信息RSI2。

第一参考骨架信息RSI1和第二参考骨架信息RSI2可在一系列动作期间始终结合目标TG的运动来显示。然而，为了阐明与特定人RM的比较，第一参考骨架信息RSI1和第二参考骨架信息RSI2可以在出现与特定人RM的动作的偏离的时刻显示。例如，输出单元134在目标TG的骨架信息SI与第一参考骨架信息RSI1之间产生了超过可允许参考的差异时，显示目标TG的骨架信息SI、第一参考骨架信息RSI1和第二参考骨架信息RSI2。输出单元134强调并显示目标TG的骨架的一部分，该部分是目标TG的骨架信息SI和第一参考骨架信息RSI1在允许参考之外彼此不同的部分。

一系列动作所需的时间在特定人RM和目标TG之间不同。因此，用于执行比较的有效的时刻被定义为阶段，并且第一参考骨架信息RSI1被叠加在目标TG上，使得定义的阶段被匹配。这有助于与特定人RM进行比较，由此使得容易理解目标TG应当如何动作。

<分析信息的通知示例1>

图11是示出分析信息MAI的通知模式的示例的示图。

分析信息MAI重叠显示在指示每个阶段的运动时刻的帧图像上。显示装置170在每个阶段的运动时刻暂时停止分析运动图像数据AMD的回放。然后，显示装置170显示静止图像IM，其中，分析信息MAI被叠加在每个阶段的帧图像上。在设定了多个阶段的情况下，针对每个阶段暂时停止分析运动图像数据AMD的再现，并且发出相应阶段的分析信息MAI的通知。注意，可以以慢动作执行运动图像数据MD的重放，使得可以容易地检查目标TG的姿势。此时，慢动作回放可以仅应用于从第一阶段到最后阶段的分段，并且可以在正常回放速度下回放该分段之前和之后的视频。

图11示出了设置三个阶段A1至A3的示例。阶段A1是踏在枢转脚上的时刻。阶段A2是影响时刻。阶段A3是碰撞之后(从碰撞开始指定的几秒之后)立即的时刻。

首先，显示装置170基于客户终端100上的重放操作来重放目标TG的运动图像。显示装置170在阶段A1被重放的时刻暂时停止运动图像数据MD的重放。然后，显示装置170显示静止图像IM(第一静止图像IM1)，其中，在阶段A1中目标TG的运动的分析信息MAI被叠加在阶段A1的帧图像FI上。此后，显示装置170利用客户终端100上的重放操作或者从开始显示第一静止图像IM1起经过预设时间作为触发在阶段A1之后开始重放运动图像。

显示装置170在再现阶段A2的时刻暂时停止运动图像数据MD的再现。然后，显示装置170显示静止图像IM(第二静止图像IM2)，其中，在阶段A2中的目标TG的运动的分析信息MAI被叠加在阶段A2的帧图像FI上。此后，显示装置170在具有对客户终端100的回放操作的阶段A2之后或者作为触发的从开始显示第二静止图像IM2起的预设时间流逝之后开始运动图像的回放。

显示装置170在阶段A3被重放的时刻暂时停止运动图像数据MD的重放。然后，显示装置170显示静止图像IM(第三静止图像IM3)，其中，在阶段A3中的目标TG的运动的分析信息MAI被叠加在阶段A3的帧图像FI上。此后，显示装置170在具有对客户终端100的回放操作的阶段A3之后开始运动图像的回放或者从开始显示第三静止图像IM3起经过预设时间作为触发。

结果，显示装置170可在每个阶段中暂时停止目标TG的运动，并在每个阶段中与目标TG的静止图像IM一起显示每个阶段中的分析信息MAI。当发出所有阶段的分析信息MAI的通知时，显示装置170播放剩余的运动图像结束。

<分析信息的通知示例2>

图12是示出分析信息MAI的通知模式的另一示例的示图。图12示出了动作分析服务应用于高尔夫学习支持的示例。

图12示出了设置六个阶段的示例。例如，将后摆时间、下摆时间、即将碰撞前的时间、碰撞时间、即将碰撞后的时间和追随时间设定为分别成为分析对象的阶段。

与上述示例类似，在重放每个阶段的运动的时刻，临时停止运动图像数据MD，并且重叠并显示分析信息MAI。在图12的示例中，过去的阶段的分析信息MAI在没有被擦除的情况下在显示装置170上连续地显示。此外，不显示用作模型的参考骨架信息RSI。在最后阶段的回放时或者当发出所有阶段的分析信息MAI的通知并且剩余的运动图像被回放到最后时，针对各个阶段的评估点(分数)被共同显示。

在图12的示例中，即使在发出某个阶段的分析信息MAI的通知之后，阶段的分析信息MAI也不会被消除并且继续显示在屏幕上。然而，分析信息MAI的显示模式不限于此。当发出某个阶段的分析信息MAI通知后，可以一次擦除该分析信息MAI，直到显示下一阶段，当最后一阶段播放时，或者当发出所有阶段的分析信息MAI的通知，播放剩余的运动图像结束时，可以再次将所有阶段的分析信息MAI统一显示。

<变形例>

在图11的示例中，第一分析信息MAI1呈现为指示与另一个人的比较的信息。然而，第一分析信息MAI1可包括指示与目标TG的过去动作的比较的信息。例如，第一分析信息MAI1可包括用作比较的参考的关于目标TG的当前骨架信息SI和关于目标TG的过去骨架信息SI。

例如，在目标TG的当前骨架信息SI和指示特定人RM的运动的参考骨架信息RSI之间产生超过可允许参考的差异的时刻，输出单元134显示目标TG的当前骨架信息SI和目标TG的过去骨架信息SI。输出单元134强调并显示目标TG的骨架的一部分，该部分是目标TG的当前骨架信息SI和参考骨架信息RSI在允许参考之外彼此不同的部分。

在上述示例中，已经给出了关于输出单元134在运动图像数据MD的重放屏幕上叠加和显示分析信息MAI的示例的描述。然而，发布分析信息MAI的通知的方法不限于此。例如，客户终端100可以生成结合分析信息MAI的新运动图像数据(校正运动图像数据)，并且在显示装置170上重放生成的校正运动图像数据。例如，分析信息MAI被写在表示校正的运动图像数据的每个阶段的帧图像中。在校正后的运动图像数据中，在每个阶段停止目标TG的运动，并且在预定时间显示包含分析信息MAI的目标TG的静止图像IM之后，调整显示，使得朝向下一阶段恢复后续视频。

校正的运动图像数据可由动作分析单元222产生。动作分析单元222可以将生成的校正运动图像数据与分析信息MAI或者代替分析信息MAI一起发送到客户终端100、训练终端300、家庭终端400和服务供应商服务器500。

[6.系统配置的变型]

图13是示出系统配置的变形例的示图。

与图2中的配置相似，图13的上侧上的信息处理系统1A具有传感器单元110内置于客户终端100中的配置。在图16下侧的信息处理系统1B中，传感器单元110被设置为独立于客户终端100的装置。由传感器单元110检测的传感器数据被临时存储在客户端终端100中，然后被发送到动作分析服务器200。

应注意，在上述示例中，已经描述了服务提供者拥有的装置是服务器(服务提供者服务器500)的示例。然而，由服务供应商拥有的装置未必需要是服务器，并且可以是诸如智能电话、平板终端、笔记本计算机和台式计算机的信息终端。

[7.效果]

信息处理系统1包括状态机221和动作分析单元222。状态机221基于从运动图像数据CD提取的目标TG的姿势信息HPI来检测包括在目标TG的一系列动作中的多个阶段。动作分析单元222使用姿势信息HPI分析每个阶段的目标TG的动作。在本公开的信息处理方法中，通过计算机执行信息处理系统1的处理。本公开的程序使计算机实现信息处理系统1的处理。

根据该配置，对作为点的每个阶段分析目标TG的一系列动作。因此，整体精确地评估一系列动作。

信息处理系统1包括场景提取单元133和姿势信息提取单元214。场景提取单元133从运动图像数据MD提取指示与每个阶段的阶段对应的特定场景的一个或多个特定帧图像SFI。姿势信息提取单元214从所提取的一个或多个特定帧图像SFI中提取目标TG的姿势信息HPI。

根据该配置，仅从需要分析的特定场景的帧图像FI(特定帧图像SFI)中提取姿势信息HPI。在捕获目标TG的运动图像的情况下，在许多情况下，捕获包括在特定场景之前和之后的运动的运动，使得特定场景被可靠地包括在运动图像数据MD中。在特定场景之前和之后的运动图像数据MD对动作分析没有贡献。通过省略对动作分析没有贡献的数据区域的图像处理，减少了动作分析所需的时间和成本。

场景提取单元133基于在特定场景之前的帧图像组的姿势分析结果，检测至特定场景的切换。场景提取单元133提取具有比响应于至特定场景的切换而获取的帧图像组的分辨率更高的分辨率的一个或多个帧图像FI，作为一个或多个特定帧图像SFI。

根据该配置，基于在低图像质量模式中获取的运动图像数据MD来预测特定场景的接收时刻。根据预测时刻，运动图像数据MD的获取模式从低图像质量模式切换到高图像质量模式。从在高图像质量模式下获取的运动图像数据MD中提取目标TG的姿势信息HPI。因此，可以在以低处理负荷指定特定场景的同时以高准确度提取用作待分析目标的姿势信息HPI。

场景提取单元基于在目标TG与特定对象OB处于预定位置关系时目标TG的运动或目标TG与特定对象OB之间的位置关系的变化，来检测到特定场景的切换。

根据该配置，与仅基于骨架之间的相对位置关系来检测特定场景的情况相比，高准确度地检测特定场景。

场景提取单元133使用具有比在姿势信息提取单元214中使用的分析模型(第二分析模型297)更低的姿势估计准确度的分析模型(第一分析模型143)提取目标TG的姿势信息LPI。场景提取单元133基于从提取的姿势信息LPI估计的目标TG的姿势变化来检测至特定场景的切换。

根据该配置，使用简单的第一分析模型143快速且低成本地估计目标TG的运动。如果仅检测到特定场景，则不需要准确的动作分析。通过使在执行详细动作分析时使用的第二分析模型297的姿势估计准确度与用于确定特定场景的第一分析模型143的姿势估计准确度不同，以低成本执行高效的动作分析。

信息处理系统1包括图像捕获条件确定单元132。图像捕获条件确定单元132基于用作动作分析的目标的动作的类型来确定在获取运动图像数据MD时目标TG的图像捕获方向。

根据该配置，可容易地获得适合于动作分析的运动图像数据MD。

状态机221基于从多个方向获取的姿势信息HPI检测一系列动作中包括的多个阶段。

根据该配置，几乎不会发生由于遮挡等引起的信息丢失。因此，执行具有高准确度的动作分析。

动作分析单元222基于针对每个阶段设置的一个或多个评分项来对每个阶段的动作进行评分。动作分析单元222基于每个阶段的评分结果生成指示一系列动作的评估结果的分析信息MAI。

根据此配置，准确且客观地评估整个系列的运动。

信息处理系统1包括输出单元134。例如，输出单元134针对每个阶段暂时停止目标TG的运动，并且在该阶段与目标TG的静止图像IM一起显示分析信息MAI。

根据该配置，以与运动图像的重放场景相关联的模式来提供分析结果。因此，能够有效地掌握要关注的目标TG的运动及其分析结果。

分析信息MAI包括指示与目标动作的比较的信息。

根据该配置，根据与目标动作的比较，容易掌握由目标TG进行的动作的种类。

分析信息MAI包括目标TG的骨架信息SI和用作比较的参考的参考骨架信息RSI。

根据该配置，能够容易地掌握目标TG的运动和目标动作之间的差异。

输出单元选择性地显示关于与该阶段中要被分析的目标TG的一部分相对应的骨架的信息作为目标TG的骨架信息SI和参考骨架信息RSI。

根据该配置，能够容易地掌握要关注的骨架的信息。

输出部在目标TG的骨架信息SI和参考骨架信息RSI之间产生了超过可允许参考的差异时，显示目标TG的骨架信息SI和参考骨架信息RSI。

根据该配置，可以容易地掌握偏离目标动作的动作的阶段。

输出单元突出显示并显示目标TG的骨架的一部分，该部分是目标TG的骨架信息SI与参考骨架信息RSI的彼此差异在允许参考之外的部分。

根据该配置，容易掌握与目标动作发生偏离的部分的骨架。

分析信息MAI包括指示用于使目标TG的运动更接近目标动作的指导的信息。

根据该配置，可以基于指导鼓励目标TG改善其运动。

分析信息MAI包括指示与目标TG的过去动作的比较的信息。

根据该配置，能够容易地掌握动作的改善状况。

分析信息MAI包括用作比较的参考的目标TG的当前骨架信息SI和目标TG的过去骨架信息SI。

根据该配置，能够容易地把握要改善的动作部分。

输出单元134在目标TG的当前骨架信息SI和指示目标动作的参考骨架信息RSI之间产生了超过可允许参考的差异的时刻，显示目标TG的当前骨架信息SI和目标TG的过去骨架信息SI。

根据该配置，容易掌握与目标动作产生偏差的时刻。

输出单元134强调并显示目标TG的骨架的一部分，该部分是目标TG的当前骨架信息SI和参考骨架信息RSI在允许参考之外彼此不同的部分。

根据该配置，能够容易地把握要改善的动作部分。

在分析信息MAI中，包含表示各相的各计分项的计分结果从过去向现在的推移的信息。

根据该配置，能够容易地掌握动作的改善状况。

信息处理系统1包括干预信息生成单元230。干预信息生成单元230基于分析信息MAI生成用于目标TG的干预信息VI。

根据该配置，能够积极地参与目标TG的运动的改善。

干预信息VI包括用作用于鼓励目标TG改善其运动的确定材料的确定信息或目标TG的训练计划。

根据该配置，用于改善动作的指导可被呈现给目标TG。

干预信息生成单元230产生用于验证目标TG的当前级别的验证信息。

根据该配置，基于认证信息客观地掌握目标TG的级别。

状态机221基于存储在索引数据库295中的每个阶段的确定方法检测多个阶段。动作分析单元222基于存储在索引数据库295中的针对各个阶段的评分项和评分参考，针对各个阶段分析目标TG的动作。索引数据库295存储关于运动图像的图像捕获条件、阶段定义、用作待分析目标的特定场景、评分项以及每个确定项的评分参考的一条或者多条信息作为动作分析的索引。确定项与用作动作分析的目标的锻炼类型相关联。动作分析单元222将一系列动作的评估结果发送给由干预目标TG的干预员(教练员、家庭成员、服务提供者等)所拥有的终端或服务器。根据该配置，可以执行精确的分析和干预。

应注意，在本说明书中描述的效果仅是示例并且不受限制，并且可以获得其他效果。

[补充说明]

应注意，本技术还可具有以下配置。

(1)

一种信息处理系统，包括：

状态机，被配置为基于从运动图像数据提取的关于目标的姿势信息检测包括在所述目标的一系列动作中的多个阶段；以及

动作分析单元，被配置为通过使用姿势信息分析针对每个阶段的目标的动作。

(2)

根据(1)的信息处理系统，包括：

场景提取单元，被配置为从所述运动图像数据提取用于每个阶段的一个或多个特定帧图像，所述一个或多个特定帧图像表示根据所述阶段的特定场景；以及

姿势信息提取单元，被配置为从所述一个或多个特定帧图像提取关于每个帧图像的所述目标的所述姿势信息。

(3)

根据(2)的信息处理系统，其中，

所述场景提取单元被配置为：基于所述特定场景之前的帧图像组的姿势分析结果，检测切换至所述特定场景；以及提取具有比帧图像组的分辨率更高的分辨率的一个或多个帧图像，作为一个或多个特定帧图像，根据到特定场景的切换，获取一个或多个帧图像。

(4)

根据(3)的信息处理系统，其中，

所述场景提取单元被配置为当所述目标与特定对象处于预定位置关系或者所述目标与所述特定对象之间的所述位置关系的改变时，基于所述目标的所述运动检测切换至所述特定场景。

(5)

根据(3)或(4)所述的信息处理系统，其中

所述场景提取单元被配置为通过使用具有比所述姿势信息提取单元使用的分析模型的姿势估计准确度低的姿势估计准确度的分析模型提取关于所述目标的所述姿势信息；以及基于目标的姿势的变化来检测到特定场景的切换，从提取的姿势信息估计姿势。

(6)

根据(1)至(5)中任一项所述的信息处理系统，包括：

图像捕获条件确定单元，被配置为基于用作动作分析目标的动作的类型，确定当获取运动图像数据时目标的图像捕获方向。

(7)

根据(6)的信息处理系统，其中，

所述状态机被配置为基于从多个方向获取的所述姿势信息检测所述一系列动作中包括的所述多个阶段。

(8)

根据(1)至(7)中任一项所述的信息处理系统，其中

所述动作分析单元被配置成：基于针对每个阶段设置的一个或多个评分项来对每个阶段的所述动作评分；以及基于每个阶段的评分结果生成指示所述一系列动作的评估结果的分析信息。

(9)

根据(8)的信息处理系统，包括：

输出单元，被配置为针对每个阶段暂停所述目标的运动，并且在所述阶段中将所述分析信息与所述目标的静止图像一起显示。

(10)

根据(9)的信息处理系统，其中，

所述分析信息包括指示与目标动作的比较的信息。

(11)

根据(10)所述的信息处理系统，其中

所述分析信息包括关于所述目标的骨架信息和用作所述比较的参考的参考骨架信息。

(12)

根据(11)的信息处理系统，其中，

所述输出单元被配置为选择性地显示关于与在所述阶段中要被分析的所述目标的一部分相对应的骨架的信息作为关于所述目标的骨架信息和所述参考骨架信息。

(13)

根据(11)或(12)所述的信息处理系统，其中

所述输出单元被配置为在关于所述目标的骨架信息与所述参考骨架信息之间生成超过可允许参考的差异的时刻，显示关于所述目标的骨架信息和参考骨架信息。

(14)

根据(11)至(13)中任一项所述的信息处理系统，其中

所述输出单元被配置为强调并显示所述目标的骨架的一部分，所述部分是关于所述目标的骨架信息和所述参考骨架信息在超出可允许参考时彼此不同的部分。

(15)

根据(10)至(14)中任一项所述的信息处理系统，其中

分析信息包括指示使目标的动作接近目标动作的指导的信息。

(16)

根据(9)至(15)中任一项所述的信息处理系统，其中

所述分析信息包括指示与所述目标的过去动作的比较的信息。

(17)

根据(16)所述的信息处理系统，其中

所述分析信息包括关于所述目标的当前骨架信息和关于所述目标的过去骨架信息，所述过去骨架信息用作所述比较的参考。

(18)

根据(17)所述的信息处理系统，其中

所述输出单元被配置为在关于所述目标的所述当前骨架信息和指示目标动作的参考骨架信息之间生成超过可允许参考的差异的时刻，显示关于所述目标的所述当前骨架信息和关于所述目标的所述过去骨架信息。

(19)

根据(18)所述的信息处理系统，其中

所述输出单元被配置为强调并显示所述目标的骨架的一部分，所述部分是关于所述目标的所述当前骨架信息和所述参考骨架信息在所述允许参考之外彼此不同的部分。

(20)

根据(8)至(19)中任一项所述的信息处理系统，其中

所述分析信息包括指示每个阶段的每个评分项的评分结果从过去到现在的转变的信息。

(21)

根据(8)至(20)中任一项所述的信息处理系统，包括：

干预信息生成单元，被配置为基于所述分析信息生成所述目标的干预信息。

(22)

根据(21)的信息处理系统，其中，

所述干预信息包括充当用于鼓励所述目标改善所述运动的确定材料或所述目标的训练计划的确定信息。

(23)

根据(21)或(22)所述的信息处理系统，其中

所述干预信息生成单元被配置为生成用于认证所述目标的当前级别的认证信息。

(24)

根据(1)至(23)中任一项所述的信息处理系统，其中

所述状态机被配置为基于存储在索引数据库中的每个阶段的确定方法来检测所述多个阶段。

(25)

根据(24)所述的信息处理系统，其中

所述动作分析单元被配置为基于所述索引数据库中存储的每个阶段的评分项和评分参考来分析所述目标的每个阶段的所述运动。

(26)

根据(24)或(25)所述的信息处理系统，其中

所述索引数据库存储运动图像的图像捕获条件、阶段定义、用作待分析目标的特定场景、评分项以及用于每个确定项的评分参考中的一项或多项信息作为动作分析的索引。

(27)

根据(26)所述的信息处理系统，其中

所述确定项与用作所述动作分析的目标的锻炼类型相关联。

(28)

根据(1)至(27)中任一项所述的信息处理系统，其中

所述动作分析单元被配置为将所述一系列动作的评估结果发送给由干预所述目标的干预者拥有的终端或服务器。

(29)

一种由计算机执行的信息处理方法，所述信息处理方法包括：

基于从运动图像数据中提取的关于目标的姿势信息，检测包括在所述目标的一系列动作中的多个阶段；以及

通过使用所述姿势信息分析所述目标的每个阶段的运动。

(30)

一种程序，用于使计算机执行：

基于从运动图像数据中提取的关于目标的姿势信息，检测包括在所述目标的一系列动作中的多个阶段；以及

通过使用所述姿势信息分析所述目标的每个阶段的运动。

参考标号列表

1、1A、1B信息处理系统

132 图像捕获条件确定单元

133 场景提取单元

134 输出单元

143 第一分析模型

214 姿势信息提取单元

221 状态机

222 动作分析单元

230 干预信息生成单元

297 第二分析模型

FI、SFI帧图像

IM静态图像

LPI、HPI姿势信息

MAI 分析信息

MD 运动图像数据

OB对象

RSI 参考骨架信息

SI 骨架信息

TG 目标

VI 干预信息。

Claims (30)

1.一种信息处理系统，包括：

状态机，被配置为基于从运动图像数据提取的关于目标的姿势信息来检测包括在所述目标的一系列动作中的多个阶段；以及

动作分析单元，被配置为通过使用所述姿势信息来针对每个阶段分析所述目标的动作。

2.根据权利要求1所述的信息处理系统，包括：

场景提取单元，被配置为从所述运动图像数据提取每个阶段的一个或多个特定帧图像，所述一个或多个特定帧图像指示根据所述阶段的特定场景；以及

姿势信息提取单元，被配置为从所述一个或多个特定帧图像中提取每个帧图像的关于所述目标的所述姿势信息。

3.根据权利要求2所述的信息处理系统，其中，

所述场景提取单元被配置为基于所述特定场景之前的帧图像组的姿势分析结果来检测至所述特定场景的切换；并且提取具有比所述帧图像组的分辨率更高的分辨率的一个或多个帧图像作为所述一个或多个特定帧图像，所述一个或多个帧图像根据到特定场景的切换而获取。

4.根据权利要求3所述的信息处理系统，其中，

所述场景提取单元被配置为基于当所述目标与特定对象处于预定位置关系时所述目标的所述运动或者所述目标与所述特定对象之间的所述位置关系的变化，检测至所述特定场景的切换。

5.根据权利要求3所述的信息处理系统，其中，

所述场景提取单元被配置为通过使用具有比所述姿势信息提取单元使用的分析模型的姿势估计准确度低的姿势估计准确度的分析模型来提取关于所述目标的所述姿势信息；并且基于所述目标的姿势的变化来检测至所述特定场景的切换，所述姿势是从所提取的姿势信息估计出的。

6.根据权利要求1所述的信息处理系统，包括：

图像捕获条件确定单元，被配置为基于用作动作分析目标的动作的类型，确定在获取所述运动图像数据时所述目标的图像捕获方向。

7.根据权利要求6所述的信息处理系统，其中，

所述状态机被配置为基于从多个方向获取的所述姿势信息来检测包括在所述一系列动作中的所述多个阶段。

8.根据权利要求1所述的信息处理系统，其中，

所述动作分析单元被配置成基于针对每个阶段设置的一个或多个评分项来对每个阶段的所述动作评分；并且基于每个阶段的评分结果来生成指示所述一系列动作的评估结果的分析信息。

9.根据权利要求8所述的信息处理系统，包括：

输出单元，被配置为在每个阶段暂停所述目标的运动，并且在所述阶段中将所述分析信息与所述目标的静止图像一起显示。

10.根据权利要求9所述的信息处理系统，其中，

所述分析信息包括指示与目标动作的比较的信息。

11.根据权利要求10所述的信息处理系统，其中，

所述分析信息包括关于所述目标的骨架信息和用作所述比较的参考的参考骨架信息。

12.根据权利要求11所述的信息处理系统，其中，

所述输出单元被配置为选择性地显示关于与在所述阶段中要被分析的所述目标的一部分相对应的骨架的信息作为关于所述目标的骨架信息以及所述参考骨架信息。

13.根据权利要求11所述的信息处理系统，其中，

所述输出单元被配置为在关于所述目标的骨架信息与所述参考骨架信息之间产生了超过可允许参考的差异时，显示关于所述目标的骨架信息和所述参考骨架信息。

14.根据权利要求11所述的信息处理系统，其中，

所述输出单元被配置为强调并显示所述目标的骨架的一部分，所述一部分是关于所述目标的骨架信息与所述参考骨架信息的彼此差异超过可允许参考的部分。

15.根据权利要求10所述的信息处理系统，其中，

所述分析信息包括指示使所述目标的动作接近所述目标动作的指导的信息。

16.根据权利要求9所述的信息处理系统，其中，

所述分析信息包括指示与所述目标的过去动作的比较的信息。

17.根据权利要求16所述的信息处理系统，其中，

所述分析信息包括关于所述目标的当前骨架信息和关于所述目标的过去骨架信息，所述过去骨架信息用作所述比较的参考。

18.根据权利要求17所述的信息处理系统，其中，

所述输出单元被配置为在关于所述目标的所述当前骨架信息与指示目标动作的参考骨架信息之间产生了超过可允许参考的差异时，显示关于所述目标的所述当前骨架信息和关于所述目标的所述过去骨架信息。

19.根据权利要求18所述的信息处理系统，其中，

所述输出单元被配置为强调并显示所述目标的骨架的一部分，所述一部分是关于所述目标的所述当前骨架信息与所述参考骨架信息的彼此差异超过所述可允许参考的部分。

20.根据权利要求8所述的信息处理系统，其中，

所述分析信息包括指示每个阶段的每个评分项的评分结果从过去到现在的转变的信息。

21.根据权利要求8所述的信息处理系统，包括：

干预信息生成单元，被配置为基于所述分析信息针对所述目标生成干预信息。

22.根据权利要求21所述的信息处理系统，其中，

所述干预信息包括用作用于鼓励所述目标改善所述动作的确定材料的确定信息或者包括所述目标的训练计划。

23.根据权利要求21所述的信息处理系统，其中，

所述干预信息生成单元被配置为生成用于认证所述目标的当前级别的认证信息。

24.根据权利要求1所述的信息处理系统，其中，

所述状态机被配置为基于存储在索引数据库中的每个阶段的确定方法来检测所述多个阶段。

25.根据权利要求24所述的信息处理系统，其中，

所述动作分析单元被配置为基于存储在所述索引数据库中的每个阶段的评分项和评分参考来分析所述目标的每个阶段的所述动作。

26.根据权利要求24所述的信息处理系统，其中，

所述索引数据库将每个确定项的运动图像的图像捕获条件、阶段定义、用作待分析目标的特定场景、评分项以及评分参考当中的一项或多项信息存储为动作分析的索引。

27.根据权利要求26所述的信息处理系统，其中，

所述确定项与用作所述动作分析的目标的锻炼类型相关联。

28.根据权利要求1所述的信息处理系统，其中，

所述动作分析单元被配置为将所述一系列动作的评估结果发送给干预所述目标的干预者所拥有的终端或服务器。

29.一种由计算机执行的信息处理方法，所述信息处理方法包括：

基于从运动图像数据中提取的关于目标的姿势信息来检测包括在所述目标的一系列动作中的多个阶段；以及

通过使用所述姿势信息来针对每个阶段分析所述目标的运动。

30.一种程序，用于使计算机执行：

基于从运动图像数据中提取的关于目标的姿势信息来检测包括在所述目标的一系列动作中的多个阶段；以及

通过使用所述姿势信息来针对每个阶段分析所述目标的动作。