CN110997093B - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及能够容易且准确地识别对象的运动的信息处理设备、信息处理方法以及程序。信息处理设备包括：运动识别部，基于多个检测数据段识别对象的运动，多个检测数据段指示多个传感器装置在对象的多个检测位置处已经检测到的检测位置处的活动；以及输出控制单元，控制对与对象的运动相对应的处理进行控制所使用的控制数据的输出。例如，本技术可以应用于指导表演的呈现系统。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理方法和程序，更具体地，涉及适于在识别对象的运动的情况下使用的信息处理装置、信息处理方法和程序。

背景技术

已经提出了一种系统，其中基于来自附接到多个用户的传感器的锻炼信息，运动相关运算单元估计每个用户的锻炼节奏，计算每个用户的锻炼节奏与基本锻炼节奏之间的差异程度，或者用户的锻炼节奏之间的差异程度，并且将其结果反馈给用户(参见，例如，PTL 1)。

引用列表

专利文献

PTL 1:日本未审查专利申请公开第2011-87794号

发明内容

本发明要解决的问题

然而，在PTL 1中描述的发明中，未考虑识别例如每个用户的舞蹈技术的特定的运动。

本技术是鉴于这样的情况而做出的，并且能够容易且准确地识别诸如人的对象的运动。

解决问题的装置

根据本技术的一方面的信息处理装置包括：所需时间估计部，估计通信数据到达后续阶段中的装置所需的第一所需时间；以及传输部，将通信数据和包括第一所需时间的所需时间信息发送到后续阶段中的装置。

在根据本技术的一方面的信息处理方法中，信息处理装置基于指示由多个传感器装置在多个检测位置处分别检测到的对象的各个检测位置的活动的多个检测数据，来识别对象的运动，并且控制用于控制与对象的移动相对应的处理的控制数据的输出。

根据本技术的一方面的程序使得计算机执行包括运动识别步骤和输出控制步骤的处理，运动识别步骤基于指示由多个传感器装置在多个检测位置处分别检测到的对象的各个检测位置的活动的多个检测数据来识别对象的运动，并且输出控制步骤控制用于控制与对象的运动相对应的处理的控制数据的输出。

在本技术的一方面中，基于指示由多个传感器装置在多个检测位置处分别检测到的对象的各个检测位置的活动的多个检测数据来识别对象的运动，并且控制用于控制与对象的运动相对应的处理的控制数据的输出。

发明效果

根据本技术的一方面，可以容易且准确地识别诸如人的对象的运动。

应当注意，本文描述的效果不必受到限制，并且可以是本公开中描述的任何效果。

附图说明

[图1]是示出应用本技术的运动识别系统的第一实施例的框图。

[图2]示出了可穿戴传感器的附接位置的示例。

[图3]是示出可穿戴传感器的第一实施例的框图。

[图4]是示出设置在可穿戴传感器中的传感器规格的示例的表格。

[图5]是示出运动识别器的第一实施例的框图。

[图6]是可穿戴传感器的处理的第一实施例的说明性流程图。

[图7]示出了通信分组的格式的第一实施例。

[图8]是示出了运动检测数据的配置示例的表格。

[图9]是运动识别器的处理的第一实施例的说明性流程图。

[图10]示出了在花样滑冰中执行运动识别的情况的示例。

[图11]示出了舞蹈技术的示例

[图12]示出了舞蹈技术的示例。

[图13]是示出了应用本技术的学习系统的配置示例的框图。

[图14]是示出了信息处理装置的配置示例的框图。

[图15]是示出了学习处理单元的配置示例的框图。

[图16]是运动记录处理的说明性流程图。

[图17]示出了运动记录处理的用户界面的示例。

[图18]示出了舞蹈风格的分级结构。

[图19]示出了舞蹈技术的分级结构。

[图20]示出了学习数据的示例。

[图21]是示出了数据丢失率与运动识别准确度之间的关系的示图。

[图22]是示出了通信分组的重传次数、数据丢失率、最大延迟时间和运动识别准确度之间的关系的表格。

[图23]是有助于运动识别的实时特性的元素的说明图。

[图24]是示出应用本技术的运动识别系统的第二实施例的框图。

[图25]是示出了可穿戴传感器的第二实施例的框图。

[图26]是示出了运动识别器的第二实施例的框图。

[图27]是运动识别器的处理的第二实施例的说明性流程图。

[图28]是可穿戴传感器的处理的第二实施例的说明性流程图。

[图29]示出了通信分组的格式的第二实施例。

[图30]是示出了运动识别器与每个可穿戴传感器之间的通信的序列图。

[图31]是示出应用本技术的运动识别系统的第三实施例的框图。

[图32]是示出了可穿戴传感器的第三实施例的框图。

[图33]是示出了运动识别器的第三实施例的框图。

[图34]是可穿戴传感器的处理的第三实施例的说明性流程图。

[图35]示出了通信分组的格式的第三实施例。

[图36]是运动识别器的处理的第三实施例的说明性流程图。

[图37]是示出应用本技术的运动识别系统的第四实施例的框图。

[图38]是示出了中继器的配置示例的框图。

[图39]是中继器的处理的说明流程图。

[图40]示出了通信分组的格式的第四实施例。

[图41]是示出了应用本技术的呈现系统的配置示例的框图。

[图42]是示出了呈现控制单元的配置示例的框图。

[图43]是呈现控制处理的说明性流程图。

[图44]是示出了运动转变与声音效果关系的转变图。

[图45]是示出了输出声音效果的定时的示例。

[图46]是示出了应用本技术的分析系统的配置示例的框图。

[图47]是示出了分析处理单元的配置示例的框图。

[图48]是分析处理的说明性流程图。

[图49]示出了分析处理的呈现方法的第一示例。

[图50]是动作分析部分的显示内容的放大视图。

[图51]示出了分析处理的呈现方法的第二示例。

[图52]示出了分析处理的呈现方法的第三示例。

具体实施方式

以下，对实施本技术的实施例进行描述。按以下顺序进行描述。

1.第一实施例(运动识别系统和学习系统)

2.第二实施例(运动识别系统)

3.第三实施例(运动识别系统)

4.第四实施例(运动识别系统)

5.第五实施例(呈现系统)

6.第六实施例(分析系统)

7.应用示例

8.修改示例

9.其他

<<1.第一实施例>>

首先，参见图1至图23，对本技术的第一实施例进行描述。

<运动识别系统的第一实施例>

图1示出了作为应用本技术的运动识别系统的第一实施例的运动识别系统100的配置示例。

运动识别系统100是执行用户运动的识别处理的系统。

这里，运动是指例如基于预定分类构成用户(人)的动作的活动单位。因此，运动是在短于动作的时间段内的用户活动。此外，运动可以是用户全身的活动或用户身体的一部分的活动。

同时，动作是基于预定分类的一系列运动的集合，并且包括多个运动的组合。例如，用于实现预定目的的一系列运动的集合是动作。

应当注意，在本技术中，可以任意设置或改变动作和运动的分类。例如，基于诸如舞蹈、滑冰、橄榄球、三项全能、游泳和登山的体育项目来分类要进行运动识别的动作。在这种情况下，例如，多个事件被组合的运动，例如全能体操，可以被认为是一种动作。

此外，例如，基于日常生活的动作，例如通勤、驾驶、工作、学习、喂养儿童、睡眠、烹饪、吃饭、看电视、歌唱、玩耍、拍摄等，将作为运动识别目标的动作进行分类。

同时，例如，，基于关于舞蹈动作的例如滑行(slide)、急扭(jerk)或吉兹马基舞(Biz Markie)的舞蹈技术，对待识别的运动进行分类。或者，基于例如关于舞蹈动作的旋转、跳跃、舞步、滚转和俯仰的舞蹈活动，对待识别的运动分类。应当注意，待识别的运动可基于舞蹈的技术和活动两者来分类。

例如，，基于关于花样滑冰的动作的例如阿克塞尔跳(axel)、勾手跳(lutz)或后内结环一周跳(salchow)的花样滑冰的技术，对待识别的运动进行分类。可替换地，基于关于花样滑冰的动作的例如滑动、旋转、跳跃和步进的花样滑冰的活动，对待识别的运动分类。应当注意，可以基于花样滑冰的技术和活动，对待识别的运动分类。

例如，基于关于橄榄球的活动的例如争球(scrum)、达阵(try)、奔跑(run)、传球(pass)和扑搂(tackle)的橄榄球特定的活动，对待识别的运动进行分类。可替换地，例如，基于关于橄榄球的动作的诸如跑步、跳跃、投掷、接球和击中得分的一般运动，对待识别的运动分类。应当注意，可以基于橄榄球特定活动和一般活动，对待识别的运动分类。

例如，基于关于游泳动作的诸如爬泳(crawl)、蛙泳(breaststroke)、蝶泳(butterfly)和仰泳(back stroke)的游泳姿势对待识别的运动分类。可替代地，例如，基于关于游泳动作的诸如跳入(jumping-in)、翻转(turn)、呼吸(breathing)和踢水(kick)的游泳活动，对待识别的运动进行分类。应当注意，可以基于游泳的姿势和活动，对待识别的运动分类。

例如，，基于关于三项全能的动作的游泳、自行车和跑步的三项全能事件，对待识别的运动分类。

例如，基于关于体操全能的动作的诸如跳马、自由操和吊环的体操的事件，对待识别的运动分类。

例如，基于关于通勤的动作的诸如步行、休息、乘坐火车或爬楼梯的通勤时的活动，对待识别的运动分类。

例如，基于关于驾驶动作的例如加速、制动、换档和后确认的驾驶时的活动，对待识别的运动分类。

例如，基于关于工作的动作的例如说话、收听、书写、使用电话或PC、以及讨论的工作时的活动，对待识别的运动分类。

应当注意，根据不同的分类，相同用户的活动可以是动作或运动。例如，三项全能的每个事件(游泳、自行车和跑步)可以是独立地进行运动识别的动作。即，可以将游泳、自行车或跑步分为动作，并且可以针对每个动作执行运动识别处理。

运动识别系统100包括可穿戴传感器101-1至可穿戴传感器101-6，以及运动识别器102。

应当注意，在下文中，在不需要单独区分可穿戴传感器101-1至可穿戴传感器101-6的情况下，将它们简单地称为可穿戴传感器101。

每个可穿戴传感器101是附接至作为运动识别目标的用户的不同位置(在下文中，称为检测点或检测位置)并且检测每个检测点的活动的传感器装置。每个可穿戴传感器101向运动识别器102发送包括指示各个检测点的运动检测结果的运动检测数据的通信分组。

运动识别器102例如安装在远离用户的位置。然后，运动识别器102基于由相应的可穿戴传感器101检测到的用户的检测点的活动，来执行用户的运动识别的处理。运动识别器102将用于控制与用户的运动相对应的处理的控制数据(以下称为运动控制数据)发送到后续阶段中的装置。

应当注意，例如，对于可穿戴传感器101和运动识别器102之间的通信，采用任何系统的低延迟近场通信。通过采用近场通信，可以降低可穿戴传感器101的功耗并且使可穿戴传感器101小型化。

此外，运动识别器102与后续阶段中的装置之间的通信采用例如任何系统的无线通信或有线通信。

<每个可穿戴传感器101的附接位置的示例>

图2示意性地示出了可穿戴传感器101的附接位置(检测点)的示例。应当注意，在该示图中，可穿戴传感器101的附接位置由圆圈示出。

例如，可穿戴传感器101-1附接到用户的头部并且检测头部的活动。可穿戴传感器101-2附接到用户的髋部并且检测髋部的活动。即，可穿戴传感器101-1和可穿戴传感器101-2检测用户的身体躯干的活动、重心、姿势等。

可穿戴传感器101-3附接到用户的左腕并且检测左腕的活动。可穿戴传感器101-4附接到用户的右腕并且检测右腕的活动。即，可穿戴传感器101-3和可穿戴传感器101-4检测用户双手活动、手腕弯折等。

可穿戴传感器101-5附接到用户的左踝并检测左踝的活动。可穿戴传感器101-6附接到用户的右踝并检测右踝的活动。即，可穿戴传感器101-5和可穿戴传感器101-6检测用户双脚的活动、步伐等。

然后，基于用户的身体躯干、双手和双脚的相互活动的互锁特性来识别用户的运动。

应当注意，图1和图2中附接的可穿戴传感器101的数量及其附接位置是示例性的，并且根据待识别的运动的类型等适当地改变。例如，可穿戴传感器101可以附接至用户的头部、躯干、左手、右手、左脚和右脚中的两个或两个以上。

应当注意，通常，随着所附接的可穿戴传感器101的数量增加，运动识别准确度增加，但施加到用户的负载增加。另一方面，随着所附接的可穿戴传感器101的数量减少，施加到用户的负载减少，但运动识别准确度降低。

此外，对如何附接可穿戴传感器101没有特别限制。例如，可以使用带子、腰带、支撑物、胶带、夹子等。应当注意，为了高准确度地检测每个检测点的活动，希望每个可穿戴传感器101的附接位置尽可能不会移动到妨碍用户的活动或引起用户不舒服感的程度。

<可穿戴传感器101的配置示例>

图3示出了图1中的可穿戴传感器101的配置示例。此外，图4示出了可穿戴传感器101的传感器的规格的示例。

可穿戴传感器101包括HDR(高动态范围)加速度传感器131、LDR(低动态范围)加速度传感器132、HDR(高动态范围)陀螺仪传感器133、LDR(低动态范围)陀螺仪传感器134、地磁传感器135、应变传感器136、气压传感器137、时间信息获取部138、传感器数据获取部139、合并处理部140、姿势检测部141、校正部142、缓冲器143、分组生成部144、传输控制部145以及传输部146。

HDR加速度传感器131在附接可穿戴传感器101的位置(检测点)处检测俯仰轴(x轴)、滚动轴(y轴)和偏航轴(z轴)的三个轴向方向上的加速度。例如，HDR加速度传感器131以1024Hz的采样频率采样检测点的加速度，并输出16比特×3轴的传感器数据(以下称为HDR加速度数据)。

LDR加速度传感器132在检测点处检测俯仰轴、滚动轴和偏航轴的三个轴向方向上的加速度。例如，LDR加速度传感器132以1024Hz的采样频率采样检测点的加速度，并输出16比特×3轴的传感器数据(以下称为LDR加速度数据)。

应当注意，HDR加速度传感器131具有比LDR加速度传感器132更宽的可检测加速度的动态范围。例如，HDR加速度传感器131以±32G输出传感器数据，而LDR加速度传感器132以±16G输出传感器数据。

HDR陀螺仪传感器133围绕三个轴(即围绕俯仰轴、围绕滚动轴和围绕偏航轴)检测检测点的角速度。例如，HDR陀螺仪传感器133以1024Hz的采样频率采样检测点的角速度，并输出16比特×3轴的传感器数据(以下称为HDR角速度数据)。

LDR陀螺仪传感器134围绕三个轴(即围绕俯仰轴、围绕滚动轴和围绕偏航轴)检测检测点的角速度。例如，LDR陀螺仪传感器134以1024Hz的采样频率采样检测点的角速度，并输出16比特×3轴的传感器数据(以下称为LDR角速度数据)。

应当注意，HDR陀螺仪传感器133具有比LDR陀螺仪传感器134更宽的可检测角速度的动态范围。例如，HDR陀螺仪传感器133以±4000dps输出传感器数据，而LDR陀螺仪传感器134以±2000dps输出传感器数据。

地磁传感器135在检测点附近检测俯仰轴、滚动轴和偏航轴的三个轴向方向上的地磁。例如，地磁传感器135以128Hz的采样频率对检测点附近的地磁进行采样，并输出16比特×3轴的传感器数据(以下称为地磁数据)。

应变传感器136在俯仰轴和滚动轴的两个轴向方向上检测检测点的应变(例如，检测点的膨胀和收缩)。例如，应变传感器136以256Hz的采样频率对检测点的应变进行采样，并输出16比特×2轴的传感器数据(以下称为应变数据)。

气压传感器137检测检测点附近的气压。例如，基于检测点附近的气压来检测检测点在高度方向上的位置。例如，气压传感器137以128Hz的采样频率采样检测点附近的气压，并输出24比特传感器数据(以下称为气压数据)。

时间信息获取部138例如由时钟等配置，获取表示当前时间的时间信息，并将所获取的时间信息提供给传感器数据获取部139。

传感器数据获取部139分别从HDR加速度传感器131、LDR加速度传感器132、HDR陀螺仪传感器133和LDR陀螺仪传感器134获取HDR加速度数据、LDR加速度数据、HDR角速度数据和LDR角速度数据；将获取的时间添加到获取的数据中；并且将得到的获取的数据提供给合并处理部140。此外，传感器数据获取部139从地磁传感器135获取地磁数据，将获取的时间添加到获取的数据，并将得到的获取的数据提供给姿势检测部141。此外，传感器数据获取部139分别从应变传感器136和气压传感器137获取应变数据和气压数据，将获取的时间添加到获取的数据，并将得到的获取的数据提供给校正部142。

合并处理部140执行HDR加速度数据和LDR加速度数据的合并处理，以及HDR角速度数据和LDR角速度数据的合并处理。合并处理部140将合并后的加速度数据和角速度数据提供给姿势检测部141和缓冲器143。

姿势检测部141基于加速度数据、角速度数据和地磁数据来检测检测点的姿势。检测点的姿势由例如欧拉角表示。姿势检测部141将表示计算结果的数据(以下称为姿势数据)提供给缓冲器143。

校正部142校正应变数据和气压数据，并将校正的应变数据和气压数据提供给缓冲器143。

缓冲器143临时累加姿势数据、加速度数据、角速度数据、应变数据和气压数据。

分组生成部144生成用于传输数据(以下称为运动检测数据)的通信分组，数据包括在缓冲器143中累加的姿势数据、加速度数据、角速度数据、应变数据和气压数据，并将该通信分组提供给传输控制部145。

传输控制部145控制传输部146对通信分组的传输。

传输部146通过预定系统的无线通信将通信分组发送到运动识别器102。

应当注意，尽管省略了图示，但是可穿戴传感器101的每个部由例如电池驱动。

<运动识别器102的配置示例>

图5示出了运动识别器102的配置示例。

运动识别器102包括接收部161、分组恢复部162、缓冲器163、样本数据生成部164、运动识别部165、传输控制部166和传输部167。

接收部161通过对应于每个可穿戴传感器101的传输部146的系统的无线通信从每个可穿戴传感器101接收通信分组，并且将该通信分组提供给分组恢复部162。

分组恢复部162恢复每个可穿戴传感器101的通信分组，将包括在通信分组中的运动检测数据与时间戳相关联，并且将相关联的运动检测数据提供给缓冲器163。

缓冲器163临时累加从每个可穿戴传感器101的通信分组中提取的运动检测数据和时间戳。

样本数据生成部164使用在缓冲器163中累加的运动检测数据生成用于运动识别处理的样本数据，并将样本数据提供给运动识别部165。

运动识别部165使用作为用于用户运动识别的模型的运动识别模型，基于样本数据执行用户运动识别的处理。运动识别部165将用户的运动识别结果提供给传输控制部166。

传输控制部166基于用户的运动识别的结果生成运动控制数据，并控制传输部167对运动控制数据的传输。即，传输控制部166控制从运动识别器102输出运动控制数据。

传输部167通过预定系统的无线通信或有线通信将运动控制数据发送到后续阶段中的装置。

<可穿戴传感器101中的处理>

接下来，参考图6中的流程图，给出对可穿戴传感器101中的处理的描述。该处理例如在可穿戴传感器101的电源接通时开始，并且在电源断开时结束。

在步骤S1中，传感器数据获取部139开始获取传感器数据。

具体地，传感器数据获取部139开始分别从HDR加速度传感器131、LDR加速度传感器132、HDR陀螺仪传感器133和LDR陀螺仪传感器134获取HDR加速度数据、LDR加速度数据、HDR角速度数据和LDR角速度数据的处理；将获取的时间添加到获取的数据中；并且将得到的获得的数据提供给合并处理部140。此外，传感器数据获取部139开始从地磁传感器135获取地磁数据的处理，将获取的时间添加到获取的数据，并将得到的获取的数据提供给姿势检测部141。此外，传感器数据获取部139开始分别从应变传感器136和气压传感器137获取应变数据和气压数据的处理，将获取的时间添加到获取的数据，并将得到的获取的数据提供给校正部142。

在步骤S2中，合并处理部140开始加速度数据和角速度数据的合并处理。

具体地，合并处理部140开始合并(合成)HDR加速度数据和LDR加速度数据的处理，并且将合并的加速度数据提供给缓冲器143用于累加。

应当注意，在合并后的加速度数据中，将基于LDR加速度数据的数据用于LDR加速度数据的动态范围内的数据，将基于HDR加速度数据的数据用于该范围外的数据。结果，在合并的加速度数据中提高了LDR加速度数据动态范围内的加速度的检测准确度。

此外，合并处理部140开始合并(合成)HDR角速度数据和LDR角速度数据的处理，并将合并的角速度数据提供给缓冲器143用于累加。

应当注意，在合并的角速度数据中，基于LDR角速度数据的数据用于LDR角速度数据的动态范围内的数据，并且基于HDR角速度数据的数据用于该范围之外的数据。结果，在合并的角速度数据中，提高了LDR角速度数据的动态范围内的角速度的检测准确度。

在步骤S3中，姿势检测部141开始检测姿势。具体地，姿势检测部141基于加速度数据、角速度数据和地磁数据，开始围绕三个轴(即，围绕俯仰轴、围绕滚动轴和围绕偏航轴)检测表示检测点的姿势的欧拉角的处理。此外，姿势检测部141开始将表示检测结果的姿势数据提供给缓冲器143进行累加的处理。

在步骤S4中，校正部142开始校正应变数据和气压数据。例如，校正部142开始去除应变数据和气压数据的噪声、转换数据大小等的处理。此外，校正部142开始将校正的应变数据和气压数据提供给缓冲器143以进行累加的处理。

在步骤S5中，分组生成部144确定是否到发送通信分组的定时。重复执行该确定处理，直到确定到发送通信分组的定时为止；在确定到发送通信分组的定时的情况下，处理进行到步骤S6。

应当注意，例如，以预定间隔发送通信分组。例如，以128Hz的传输频率(即每秒128次)发送通信分组。在这种情况下，包括在通信分组中的运动检测数据的采样频率是128Hz。

在步骤S6中，分组生成部144生成通信分组。例如，分组生成部144从缓冲器143读出最新的姿势数据、加速度数据、角速度数据、应变数据和气压数据。此外，分组生成部144从时间信息获取部138获取指示当前时间的时间信息。然后，分组生成部144产生包括从缓冲器143读出的姿势数据、加速度数据、角速度数据、应变数据和气压数据的通信分组。

图7示出了由分组生成部144生成的通信分组的格式的示例。通信分组包括报头、时间戳和运动检测数据。

例如，在时间戳中设置获取传感器数据的时间。应当注意，获取传感器数据的时间被设置为例如用于通信分组中的运动检测数据的各个传感器数据的最早获取时间。此外，例如，在包括在运动检测数据中的各个数据的获取定时不同的情况下，可以针对每个数据将时间戳(获取传感器数据的时间)存储在通信分组中。在这种情况下，通信分组的格式例如是报头、时间戳1、包括在运动检测数据中的数据1(例如姿势数据)、时间戳2、包括在运动检测数据中的数据2(例如加速度数据)等。

运动检测数据包括从缓冲器143读出的姿势数据、加速度数据、角速度数据、应变数据和气压数据。应当注意，例如通过预定方法对运动检测数据进行加密。

图8示出了包括在运动检测数据中的每个数据的规格的示例。

姿势数据的大小被设置为例如16比特×3轴。在发送通信分组的频率是128Hz的情况下，姿势数据的采样频率是128Hz，并且其比特率是6144bps(比特每秒)。

加速度数据的大小例如是20比特×3轴。在发送通信分组的频率是128Hz的情况下，加速度数据的采样频率是128Hz，并且其比特率是7680bps。

角速度数据的大小例如是20比特×3轴。在发送通信分组的频率是128Hz的情况下，角速度数据的采样频率是128Hz，并且其比特率是7680bps。

应变数据的大小例如是16比特×2轴。在发送通信分组的频率是128Hz的情况下，应变数据的采样频率是128Hz，并且其比特率是4096bps。

气压数据的大小例如是24比特。在发送通信分组的频率是128Hz的情况下，气压数据的采样频率是128Hz，并且其比特率是2048bps。

分组生成部144将通信分组提供给传输控制部145。此外，分组生成部144从缓冲器143中删除由通信分组发送的每个数据和比每个数据老的数据。

在步骤S7中，传输部146在传输控制部145的控制下向运动识别器102发送通信分组。

此后，处理返回到步骤S5，并且执行从步骤S5继续的处理。

<运动识别器102中的处理>

接下来，参考图9中的流程图，给出了以与图6中的每个可穿戴传感器101的处理相对应的方式由运动识别器102执行的处理的描述。该处理例如在运动识别器102的电源接通时开始，并且在电源断开时结束。

在步骤S31中，接收部161开始接收通信分组。即，接收部161开始接收从每个可穿戴传感器101发送的通信分组并将接收到的通信分组提供给分组恢复部162的处理。

在步骤S32中，分组恢复部162开始恢复通信分组。例如，在对包括在从每个可穿戴传感器101接收的通信分组中的运动检测数据执行解码等之后，分组恢复部162开始将运动检测数据与包括在通信分组中的时间戳相关联并将相关联的运动检测数据提供给缓冲器163以供累加的处理。

在步骤S33中，样本数据生成部164确定是否到执行运动识别处理的定时。重复执行该确定处理，直到确定到执行运动识别处理的定时为止；在确定到执行动作识别处理的定时的情况下，处理进入步骤S34。

应当注意，例如，以预定间隔执行运动识别处理。例如，以与发送通信分组的频率相同的频率(例如，每秒128次)执行运动识别处理。

在步骤S34中，样本数据生成部164提取具有接近时间戳的运动检测数据。

例如，基于在缓冲器163中累加的每个运动检测数据的时间戳，样本数据生成部164检测时区，在该时区中在从当前时间返回到先前时间的同时所有检测点的运动检测数据的时间戳落在预定时间段(例如，几毫秒)的范围内。然后，样本数据生成部164提取具有包括在时区中的时间戳的运动检测数据。结果，对于各个检测点逐一提取具有接近时间戳的多条运动检测数据。即，提取与在各个检测点处在基本相同的定时检测到的活动相对应的多条运动检测数据。

应当注意，在没有检测到所有检测点的运动检测数据的时间戳落在预定时间段的范围内的时区的情况下，例如，可以检测到检测数据的数量最大化的时区以提取该时区中的运动检测数据。在这种情况下，一些检测点的运动检测数据丢失。或者，可以加宽提取运动检测数据的时区的宽度，以允许提取所有检测点的运动检测数据。

在步骤S35中，样本数据生成部164使用提取的运动检测数据生成样本数据。具体地，样本数据生成部164生成包括在步骤S34的处理中提取的各个检测点的运动检测数据的样本数据，并将该样本数据提供给运动识别部165。此外，样本数据生成部164从缓冲器163中删除提取的运动检测数据，并且有时间戳的运动检测数据比提取的运动检测数据旧。

在步骤S36中，运动识别部165基于样本数据执行运动识别处理。例如，运动识别部165使用运动识别模型，基于用户的各个检测点的姿势、加速度、角速度、应变(膨胀和收缩)和气压(高度)来识别用户的运动。

应当注意，运动识别模型例如是基于用户的各个检测点之间的运动关系(例如，各个检测点之间的互锁特性等)来执行用户的运动识别的模型。运动识别模型例如通过初步学习处理(preliminary learning processing)来生成。可以采用诸如递归神经网络(RNN)的任何方法作为运动识别模型的学习方法。

运动识别部165将用户的运动识别的结果提供给传输控制部166。

在步骤S37，运动识别器102发送识别结果。具体地，传输控制部166基于用户的运动识别的结果产生运动控制数据，并将运动控制数据提供给传输部167。

应当注意，运动控制数据包括例如用户的运动识别的结果或关于与所识别的运动相对应的处理的控制信息中的至少一个。

此外，运动控制数据可以包括用于运动识别的各个检测点的运动检测数据。这使得可以在后续阶段中基于装置中的运动检测数据来检测所识别的运动的细节。

然后，传输部167将运动控制数据发送到后续阶段中的装置，例如智能电话、个人计算机、各种系统等。

应当注意，可以通过间歇传输来进行运动控制数据的传输。例如，可以在运动识别结果改变的定时发送运动控制数据。这使得可以降低运动识别器102的功耗。

此外，例如，诸如HID(人机接口设备)或MIDI(乐器数字接口)的通用协议可以用作运动控制数据的传输协议。这使得可以在后续阶段中的装置中使用现有软件等。

此后，处理返回到步骤S33，并且执行从步骤S33继续的处理。

如上所述，可以容易且准确地识别用户的运动。

例如，如图10所示，在用户正在进行花样滑冰的情况下，可以识别诸如三周半跳跃(triple axel)的个人技术，并检测执行该技术的时间段。

可替换地，例如，可以容易且准确地识别构成用户动作的诸如“站立”、“摇晃”、“坐着”、“站起”、“躺着”、“行走”、“跑步”、“停止”、“跳跃”、“爬行”、“闪避”、“摇动”、“投掷”和“踢腿”的个人活动。

应当注意，运动识别系统100识别用户的运动类型(例如，关于运动含义的信息)，但不进一步执行每个运动的详细活动的识别。

例如，在用户跳舞的情况下，如图11和图12所示，识别舞蹈的个人技术类型，例如爆开(popcorn、)滑行(slide)、推摆(lacoste)、巴特辛普森舞(bart simpson)、用力推行(forcing)、布鲁克林舞(brooklyn)、急扭(jerk)、吉兹马基舞(biz markie)、蠕行(worm)、律动(front groove)和跳跃(jump)。另一方面，不能识别个人技术中的活动差异。即，即使当用户通过改变肢体的活动或节奏来执行相同的舞蹈技术时，该技术也只被识别为相同的舞蹈技术，并且没有识别进一步的区别。

应当注意，因此可以通过基于预定分类限制用户的运动类型来减少附接的可穿戴传感器101的数量。结果，与CG(计算机图形)等中使用的现有运动捕获系统相比，可以减少用户的负担。例如，即使当用户佩戴可穿戴传感器101时，用户也可以在对活动几乎没有限制的情况下执行基本上平常的运动。

在现有的运动捕获系统中，输出关于用户的整个身体的位置和姿势的信息。然后，例如，应用程序的开发者需要基于该信息独立地开发用于用户的运动识别的算法，并将该算法结合到应用程序中。

然而，在运动识别系统100中，识别并输出运动的类型，从而减轻了应用程序开发者的负担。

此外，例如，与基于通过安装相机拍摄的图像来执行用户的运动识别的方法相比，减少了对执行运动识别的地点或环境等的限制。

例如，可以在不关注相机的安装位置、拍摄范围、拍摄条件等的情况下执行运动识别。例如，可以在不关注相机的拍摄范围或遮挡的情况下在用户自由动作的同时执行运动识别。例如，可以在黑暗场所、海上(例如，风帆冲浪等)等处识别用户的运动。此外，例如，作为识别目标的用户可以穿着期望颜色或设计的衣服或服装，而不用注意与该组舞台、背景等的关系。此外，例如，安装相机的位置不受舞台的结构、呈现等的限制，因此用户的运动可被识别的范围不受限制。

此外，通过为每个用户提供运动识别系统100，可以在不受其他用户影响的情况下单独识别每个用户的运动。例如，在一组舞蹈表演中，可以识别单个表演者的运动或特定表演者的运动。

此外，可穿戴传感器101的相应传感器的采样频率高于典型相机的帧速率，从而使得可以识别用户的更高速度的运动。例如，可以精确地识别诸如跳舞转身和舞步的高速活动。

应当注意，可以在运动识别系统100中设置相机，并且可以基于相机拍摄的图像来检测用户的位置。可替代地，至少一个可穿戴传感器101可以配备有能够检测该用户的位置信息的设备，例如GNSS(全球导航卫星系统)接收器以允许检测该用户的位置。这使得可以基于运动识别的结果和位置信息的检测结果更详细地检测用户的活动。

<学习系统的配置示例>

图13示出了作为应用本技术的学习系统的实施例的学习系统200的配置示例。应当注意，在图中，与图1中的运动识别系统100的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

学习系统200是执行要应用于运动识别器102的运动识别部165的运动识别模型的学习处理的系统。

学习系统200包括可穿戴传感器101-1至可穿戴传感器101-6和学习处理器201。

学习处理器201基于包括在从每个可穿戴传感器101发送的通信分组中的运动检测数据来执行运动识别模型的学习处理。

<信息处理装置的配置示例>

图14示出了适用于图13中的学习处理器201的信息处理装置220的配置示例。

信息处理装置220由例如个人计算机、智能电话、平板电脑等配置。信息处理装置220包括CPU(中央处理单元)221、ROM(只读存储器)222、RAM(随机存取存储器)223、总线224、输入/输出接口225、输入单元226、输出单元227、存储单元228、通信单元229、驱动器230和可移动介质231。

CPU 221、ROM 222和RAM 223通过总线224彼此耦接。输入/输出接口225还耦接到总线224。输入单元226、输出单元227、存储单元228、通信单元229和驱动器230耦接到输入/输出接口225。

输入单元226包括例如键盘、鼠标、麦克风等。

输出单元227包括例如显示器、扬声器等。

存储单元228包括例如硬盘、非易失性存储器等。

通信单元229包括例如无线或有线通信设备、网络接口等。

驱动器230驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质231。

在信息处理装置220中，CPU 221经由输入/输出接口225和总线224将存储在例如存储单元228中的程序加载到RAM 223中，并执行程序，从而执行各种类型的处理。

由信息处理装置220(CPU 221)执行的程序可以通过例如记录在可移动介质231中的作为封装介质等来提供。此外，还可以经由有线或无线传输介质(例如局域网、互联网或数字卫星广播)来提供程序。

在信息处理装置220中，通过将可移动介质231安装在驱动器230中，可以经由输入/输出接口225将程序安装在存储单元228中。此外，该程序也可以由通信单元229经由有线或无线传输介质接收并安装在存储单元228中。此外，程序可以预先安装在ROM 222或存储单元228中。

应当注意，在下文中，适当地省略对总线224和输入/输出接口225的描述。例如，在CPU 221和通信单元229经由总线224和输入/输出接口225发送和接收数据的情况下，简单地描述CPU 221和通信单元229发送和接收数据的效果。

<学习处理单元的配置示例>

图15示出了由执行预定控制程序的信息处理装置220的CPU 221实现的学习处理单元251的配置示例。

学习处理单元251包括分组恢复部261、缓冲器262、样本数据生成部263、缓冲器264、学习数据生成部265、学习部266和UI(用户界面)控制部267。

类似于图5中的分组恢复部162，分组恢复部261恢复每个可穿戴传感器101的通信分组，将包括在通信分组中的运动检测数据与时间戳相关联，并且将相关联的运动检测数据提供给缓冲器262。

缓冲器262临时累加从每个可穿戴传感器101的通信分组中提取的运动检测数据。

类似于图5中的样本数据生成部164，样本数据生成部263使用在缓冲器262中累加的运动检测数据生成样本数据，并将样本数据提供给缓冲器264。

缓冲器264临时累加样本数据。

学习数据生成部265通过将标签添加到在缓冲器264中累加的样本数据来生成学习数据，并将学习数据提供给学习部266。标签指示例如在检测到包括在样本数据中的运动检测数据时用户的运动类型。

学习部266基于学习数据执行运动识别模型的学习处理。应当注意，可以采用针对运动识别模型的学习处理的任何学习方法。

UI控制部267基于经由输入单元226输入的用户输入等来控制输出单元227，并且在执行运动识别模式的学习处理时控制用户界面。

<运动记录处理>

接下来，参考图16中的流程图，给出作为由学习系统200执行的学习处理的示例的运动记录处理的描述。运动记录处理是记录在运动识别模型中待新识别的运动的处理。在下文中，作为示例，给出了将新舞蹈技术记录为识别目标的情况的描述。

在步骤S101中，学习处理单元251接受关注点的选择。

例如，输出单元227在UI控制部267的控制下显示图17中的窗口W1。在窗口W1中，用户佩戴可穿戴传感器101的位置(检测点)由圆圈表示。然后，用户经由输入单元226从检测点中选择关注点。

这里，关注点是指在待记录的运动中特别关注的检测点(位置)。例如，选择在特别显著地表示待记录的运动特征的位置中的检测点作为关注点。然后，例如，在学习处理中，关注点的活动比其他检测点的活动更受重视。

例如，在双手大幅摆动的舞蹈技术被记录为新运动的情况下，双手的活动是重要的，而其他位置的活动不是非常重要。因此，在这种情况下，例如，如图17中的窗口W1所示，选择两个手腕作为关注点。

UI控制部267从输入单元226获取关注点的选择结果，并将选择结果提供给学习部266。

应当注意，不一定要选择关注点。

在步骤S102中，学习处理单元251接受节奏的设置。

例如，输出单元227在UI控制部267的控制下显示图17中的窗口W2。窗口W2显示用于在记录运动时设置点击声音的节奏的滑块281。例如，用户在通过经由输入单元226向左和向右移动滑块281来记录运动时设置节奏。在该示例中，节奏被设置为120bpm(每分钟的节拍)。

UI控制部267从输入单元226获取节奏的设置结果。

在步骤S103中，学习处理单元251接收记录运动的定时的设置。

例如，输出单元227在UI控制部267的控制下显示图17中的窗口W3。窗口W3显示表示四拍点击声音的圆圈数字1到4。应当注意，在后面将要描述的窗口W3和窗口W5和窗口W6中，诸如圆圈数字上的“嘟嘟声(beep)”的字符指示要在各个节拍中输出的点击声音，并且实际上没有显示。

例如，用户经由输入单元226设置用于运动记录的定时。在该示例中，示出了将运动设置为在第一节拍和第二节拍的点击声音之间记录的示例。即，将从第一节拍的点击声音的输出到第二节拍的点击声音的输出的时段设置为运动的记录时段。在这种情况下，例如，第一节拍和第二节拍的点击声音的音量变大，以及第三节拍和第四节拍的点击声音的音量变小。

UI控制部267从输入单元226获取节奏的设置结果。

在步骤S104中，运动识别系统100接受运动的记录。

例如，输出单元227在UI控制部267的控制下显示图17中的窗口W4，并呈现运动记录开始的定时。然后，在UI控制部267的控制下，输出单元227在运动记录开始的时间段显示图17中的窗口W5，并且开始以设置的节奏输出点击声音。如上所述，点击声音的音量在第一节拍和第二节拍变大，以及点击声音的音量在第三节拍和第四节拍变小。

应当注意，例如，一些可穿戴传感器101可以具有内置扬声器以从扬声器输出点击声音。

例如，用户在佩戴可穿戴传感器101的同时在第一节拍和第二节拍的点击声音之间的运动记录时段期间执行待记录的运动。例如，用户在第一节拍的点击声音输出时开始运动，而在第二节拍的点击声音时输出结束运动。这使得用户能够可靠地将运动输入到学习系统200中。此外，这使得用户能够在游戏中享受乐趣的感觉的同时记录运动。应当注意，点击声音可以根据用户的期望音乐作品输出，以使得用户在拥有更多乐趣的同时记录运动。

每个可穿戴传感器101通过上面参考图6描述的处理开始发送包括运动检测数据的通信分组的处理，该运动检测数据指示每个检测点在预定周期的活动。

信息处理装置220(学习处理器201)的通信单元229开始从每个可穿戴传感器101接收通信分组并将该通信分组提供给分组恢复部261的处理。

通过与图9中的步骤S32类似的处理，分组恢复部261开始以下处理：恢复每个可穿戴传感器101的通信分组，将包括在通信分组中的运动检测数据与时间戳相关联，以及将相关联的运动检测数据提供给缓冲器262以供累加。

通过与图9中的步骤S34和S35类似的处理，样本数据生成部263开始使用在缓冲器262中累加的运动检测数据生成样本数据，并且将样本数据提供给缓冲器264用于累加的处理。应当注意，此时，例如，仅使用在第一节拍和第二节拍的点击声音之间检测到的运动检测数据来生成样本数据。

在步骤S105中，学习处理单元251学习运动。具体地，学习数据生成部265通过添加指示运动类型的标签来开始生成学习数据、并将学习数据提供给学习部266的处理，该运动类型在缓冲器264中累加的采样数据中待新纪录。

学习部266基于获取的学习数据开始在运动识别模型中记录新运动的学习处理。此时，例如，在选择关注点的情况下，学习部266通过对关注点的运动检测数据赋予比对其他检测点的运动检测数据更大的权重来执行学习处理。即，学习部266通过对各检测点赋予权重来进行学习处理。

然后，当完成新运动的记录时，输出单元227在UI控制部267的控制下显示图17中的窗口W6，通知运动记录完成，并且输出与记录时的点击声音不同的“蜂鸣声”的点击声音。

在步骤S106中，信息处理装置220(学习处理器201)呈现可靠性。具体地，学习部266通过预定方法计算当前记录的运动的可靠性。基于例如用于记录运动的学习数据的量、包括在学习数据中的样本数据的方差、错误地确定为另一运动的概率等来计算运动的可靠性。运动的可靠性越高，运动识别的准确度越高；运动的可靠性越低，运动识别的准确度越低。

此外，输出单元227在UI控制部267的控制下显示图17中的窗口W7，并呈现当前记录的运动的可靠性。此外，在运动的可靠性不足的情况下，例如，显示消息意思是需要更多的学习数据。这使得用户例如能够确定是否需要更多的学习，或者是否改变运动以便阐明与其他运动的差异。

此后，运动记录处理结束。

以这种方式，用户可以根据容易理解的用户界面在获得乐趣的同时容易地记录新的运动。此外，通过设置关注点，运动的记录变得有效，因此，例如，使得可以以较少的学习数据以高识别准确度记录新的运动。

<提高运动识别模型识别准确度的方法>

接下来，描述用于提高运动识别模型中的识别准确度的方法的示例。具体地，描述了用于将舞蹈的每种单独技术识别为运动的运动识别模型中提高识别准确度的情况的示例。

图18示出了编排舞蹈类型的示例。如该图所示，舞蹈的类型由分级结构表示。即，图中的类型越靠下，出现时间越早；类型越靠上，出现时间就越晚。然后，基于旧的类型创建新的类型。

例如，组合或改进旧类型的技术来创建一些新类型的技术。因此，旧类型的舞蹈技术的特征被包括在新类型的技术的一部分中。因此，类型越旧，对其他类型的影响越大；类型越新，对其他类型的影响越小。

例如，爵士乐(Jazz)、摇滚乐(Rock)、流行音乐(Pop)和碎拍(Break)是各自基于灵魂乐(Soul)创建的类型。中间嘻哈(Middle School)是基于爵士乐、摇滚乐、流行音乐和碎拍创作的一种类型。女声(Girls)和浩室(House)是各自基于中间嘻哈(Middle School)创建的类型。新式嘻哈(New School)是基于女声(Girls)和浩室(House)创建的类型。

此外，新类型的舞蹈技术是基于旧类型的舞蹈技术而创建的，因此舞蹈技术也可由如图19所示的分级结构来表示。应当注意，在图19中，舞蹈技术之间的关系由箭头指示。即，在由箭头连接的技术中，箭头的原始技术受到箭头点的技术的影响。例如，急扭受到滑行(slide)和蠕行(worm)的影响。更具体地，组合滑行和蠕行的技术是急扭。

以此方式，通过分级舞蹈技术并布置主从关系，可以阐明各个舞蹈技术的特征之间的关系并阐明各个技术的特征之间的差异。然后，通过利用布置的结果学习用于识别舞蹈技术的运动识别模型，可以提高舞蹈技术的识别准确度。

<改进运动识别的实时特性的方法>

接下来，参考图20和图23，描述用于改进运动识别系统100中的运动识别的实时特性的方法。

例如，根据使用运动识别结果的情况，有时需要运动识别中的实时运动特性。换言之，存在需要使用户执行特定运动的时间到执行运动识别的时间(以下称为延迟时间)所需的时间尽可能地缩短的情况。上述情况的示例包括执行舞台呈现以跟随表演者的活动的情况、在运动训练等中立即反馈选手活动的识别结果的情况、以及在强调实时特性的比赛中通过选手的活动输入命令的情况。

同时，在现有的无线通信中，通常重要的是可靠地发送和接收数据，并且在发生通信错误的情况下结合用于重传数据的规范。然而，例如，在可穿戴传感器101和运动识别器102之间发生通信错误并且重复通信分组的重传的情况下，延迟时间因此变得更长。此外，例如，当在安排了所有检测点的通信分组之后试图执行运动识别处理时，从用户执行运动的时间到执行运动识别的时间的时间段(延迟时间)变得更长，并且不保证实时特性。

同时，例如，当为了强调实时特性而限制通信分组的重传次数时，很可能发生来自一些可穿戴传感器101的通信分组(运动检测数据)丢失的情况。即，很可能没有向运动识别器102通知一些检测点的活动。

然而，运动识别器102的运动识别部165基于用户的多个检测点的运动来执行用户的运动识别。因此，即使当一些检测点的通信分组丢失，并且没有通知检测点的活动时，也经常发生可能基于其他检测点的活动来准确地识别用户的运动的情况。

因此，为了在不降低识别准确度的情况下确保运动识别的实时特性，例如，考虑学习系统200在假设通信分组(运动检测数据)丢失的情况下学习运动识别模型，并且运动识别系统100限制通信分组的重传次数。

具体地，例如，在学习系统200的学习部266中，可以想到根据诸如丢弃(dropout)的方法，使用具有各个检测点的部分丢失的运动检测数据的学习数据来执行运动识别模型的学习处理。

例如，图20示出了这种学习数据的一些示例。具体地，图20示出了包括在学习数据中的各个检测点的运动检测数据中的角速度数据和加速度数据的波形的示例。在每个图中，横轴表示时间，纵轴表示角速度或加速度。此外，在该图中，各个检测点处的角速度数据的波形和加速度数据的波形基本相同；然而实际上，各个检测点之间的波形是不同的。

应当注意，示图中各个图的阴影部分表示运动检测数据丢失的部分。如上所述，通过使用每个检测点的运动检测数据部分丢失的学习数据执行学习处理，构造对运动检测数据的丢失具有鲁棒性的运动识别模型。

应当注意，例如，期望测量每个可穿戴传感器101和运动识别器102之间的通信状态，并且基于通信错误发生趋势的分析结果，使用丢失运动检测数据的学习数据以更接近实际状态。

然后，在运动识别系统100中，通过使用对运动检测数据的丢失具有鲁棒性的运动识别模型，限制每个可穿戴传感器101和运动识别器102之间的通信分组的重传次数。

例如，在通信分组发送的频率是128Hz的情况下，通信分组的传输间隔是大约7.8毫秒。在这种情况下，例如，可以设想限制重传次数以使得在大约7.8毫秒内完成通信分组的传输。

然而，通信分组的重传次数和运动检测数据的丢失率处于折衷关系。此外，运动检测数据的丢失率和运动识别准确度也处于折衷关系。

具体地，图21是示出运动检测数据的丢失率与运动识别准确度(F值)之间的关系的曲线图。横轴表示数据丢失率(单位：％)，以及纵轴表示识别准确度。

如该图所示，运动检测数据的丢失率越低，运动识别的准确度越高；运动检测数据的丢失率越高，运动识别的准确度越低。

此外，图22示出了通信分组的重传次数的上限值、运动检测数据的丢失率、通信分组的最大延迟时间以及运动中的识别准确度(F值)之间的关系的示例。

例如，在通信分组的重传次数被限制为3的情况下，运动检测数据的丢失率为2.5％，最大延迟时间为11.7毫秒，并且运动识别准确度为0.90。

另一方面，在通信分组的重传次数被限制为2的情况下，运动数据的丢失率增加到5.0％，并且运动识别准确度降低到0.85。同时最大延迟时间减少到7.8毫秒。

此外，在通信分组的重传次数被限制为1的情况下，运动数据的丢失率增加到8.0％，并且运动识别准确度降低到0.80。同时最大延迟时间减少到3.9毫秒。

因此，例如，希望能够根据利用运动识别结果的情况来改变每个可穿戴传感器101的通信分组的重传次数。

例如，在强调运动识别的实时特性的情况下，通信分组的重传次数被限制为1。这使得可以实现快速跟随用户运动的应用，尽管运动识别准确度稍微降低。

同时，例如，在不强调运动识别的实时特性的情况下，运动的重传次数增加到3。这使得可以提高用户的运动识别准确度，从而实现更适当地跟随用户运动的应用。

应当注意，除了重传次数之外，有助于运动识别的实时特性的因素的示例包括所附接的可穿戴传感器101的数量、运动检测数据的大小以及运动检测数据的采样频率(发送通信分组的频率)，如图23所示。

例如，当附接的可穿戴传感器101的数量减少时，时分控制的数量减少，从而使得可以在不改变通信分组的重传次数的情况下增加运动检测数据的采样频率(发送通信分组的频率)。结果，缩短了运动识别处理的周期，减少了延迟时间，从而改进运动识别的实时性。另一方面，当附接的可穿戴传感器101的数量减少时，检测点的数量减少，因此降低了运动识别准确度。相反地，当附接的可穿戴传感器101的数量增加时，运动识别的实时特性降低，但是运动识别准确度提高。

此外，例如，当运动检测数据的大小减小时，通信分组的有效载荷大小减小，从而使得可以在不改变通信分组的重传次数的情况下增加运动检测数据的采样频率(发送通信分组的频率)。结果，缩短了运动识别处理的周期并且减少了延迟时间，从而使得可以改进运动识别的实时特性。另一方面，当运动检测数据的尺寸减小时，包括在运动检测数据中的每个数据的大小减小，并且加速度、角速度等的分辨率降低。结果，降低了运动识别准确度。相反地，当运动检测数据的大小增加时，运动识别的实时特性降低，但是运动识别准确度提高。

此外，当运动检测数据的采样频率(发送通信分组的频率)增加时，运动识别处理的周期变得更短，并且延迟时间减少，从而改善运动识别的实时特性。另一方面，由于通信分组的传输周期较短，因此在试图将延迟时间包含在通信分组的传输周期内的情况下，有必要减少通信分组的重传次数。结果，数据丢失率增加，并且运动识别准确度降低。相反地，当运动检测数据的采样频率降低时，运动识别的实时性降低，但运动识别准确度提高。

因此，希望能够基于强调运动识别的实时特性和运动识别准确度中的哪一个，来调整通信分组的重传次数、附接的可穿戴传感器101的数量、运动检测数据的大小以及运动检测数据的采样频率中的一个或多个。这使得运动识别系统100能够适当地处理要求实时特性的应用和要求识别准确度的应用。

<<2.第二实施例>>

随后，参见图24至图30，对本技术的第二实施例进行描述。

如上所述，在运动识别系统100中，基于用户的检测点之间的运动关系来执行运动识别。因此，为了提高运动识别准确度，重要的是尽可能地使检测各个检测点的活动的定时同步。或者，重要的是尽可能使用在相同的定时在各个检测点检测到的运动检测数据执行运动识别处理。

另一方面，在运动识别系统100中，基于每个通信分组的时间戳，尽可能使用在相同时间在各个检测点检测到的运动检测数据执行运动识别处理。

然而，在这种情况下，当每个可穿戴传感器101的时间信息获取部138的时间发生不同步时，各个检测点之间的运动检测数据的检测定时的差异变大。结果，运动识别准确度降低。

因此，需要通过使用某种方法，对各个可穿戴传感器101的时间信息获取部138之间的时间进行同步处理。然而，此时的同步处理例如需要在每次打开每个可穿戴传感器101的电源时执行，从而导致高处理负载。此外，需要更复杂的处理来解决在使用运动识别系统100期间时间的不同步。

同时，在运动识别处理中使用的各个检测点的运动检测数据的检测定时不必严格同步；通常情况是允许某种程度的不同步(例如，以几毫秒为单位或在一个采样内)。

因此，在第二实施例中，运动识别器控制每个可穿戴传感器检测运动检测数据的定时，从而尽可能地使用在相同定时检测到的运动检测数据在每个检测点执行运动识别处理。

<运动识别系统的第二实施例>

图24示出了作为应用本技术的运动识别系统的第二实施例的运动识别系统300的配置示例。

运动识别系统300包括可穿戴传感器301-1至可穿戴传感器301-6以及运动识别器302。

应当注意，在下文中，在不需要单独区分可穿戴传感器301-1至可穿戴传感器301-6的情况下，将它们简单地称为可穿戴传感器301。

类似于图1中的每个可穿戴传感器101，每个可穿戴传感器301附接到用户的不同检测点。每个可穿戴传感器301在运动识别器302的控制下检测每个检测点的活动，并且将包括检测结果的通信分组发送到运动识别器302。

运动识别器302基于包括在从每个可穿戴传感器301接收的通信分组中的检测点的运动检测数据，来执行用户的运动识别的处理。运动识别器302将基于用户的运动识别的结果的运动控制数据发送到后续阶段中的装置。

<可穿戴传感器301的配置示例>

图25示出了图24中的可穿戴传感器301的配置示例。应当注意，在图中，与图3中的可穿戴传感器101的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

可穿戴传感器301与可穿戴传感器101的区别在于，提供了分组生成部331和传输控制部334来代替分组生成部144和传输控制部145，添加了缓冲器332和接收部333，并且删除了时间信息获取部138。

分组生成部331生成用于传输运动检测数据的通信分组，该通信分组包括在缓冲器143中累加的姿势数据、加速度数据、角速度数据、应变数据和气压数据，并将该通信分组提供给缓冲器332。

缓冲器332临时累加通信分组。

接收部333通过与传输部146相同的系统的无线通信，从运动识别器302接收请求传输通信分组的传输请求信号，并将传输请求信号提供给传输控制部334。

传输控制部334控制传输部146对通信分组的传输。

<运动识别器302的配置示例>

图26示出了图24中的运动识别器302的配置示例。应当注意，在图中，与图5中的运动识别器102的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

运动识别器302与运动识别器102的不同之处在于，添加了通信控制部361和传输部362，并且删除了缓冲器163。

通信控制部361生成用于请求每个可穿戴传感器301发送通信分组的传输请求信号，并将该传输请求信号提供给传输部362。此外，通信控制部361将接收部161提供的来自每个可穿戴传感器301的通信分组提供给分组恢复部162。

传输部362通过与每个可穿戴传感器301的接收部333相对应的系统的无线通信将传输请求信号发送到每个可穿戴传感器301。

<运动识别器302中的处理>

接下来，参考图27中的流程图，给出对运动识别器302中的处理的描述。

该处理例如在运动识别器302的电源接通时开始，并且在电源断开时结束。

在步骤S201中，通信控制部361将变量i的值设定为1。

在步骤S202中，运动识别器302请求第i个可穿戴传感器(可穿戴传感器301-i)发送通信分组。具体地，通信控制部361生成用于请求可穿戴传感器301-i发送通信分组的传输请求信号，并将该传输请求信号提供给传输部362。传输部362将传输请求信号发送到可穿戴传感器301-i。

另一方面，可穿戴传感器301-i在稍后描述的图28的步骤S236中接收传输请求信号，并且在步骤S237中发送通信分组。

在步骤S203中，接收部161从第i个可穿戴传感器(可穿戴传感器301-i)接收通信分组。接收部161将接收到的通信分组提供给通信控制部361。通信控制部361将通信分组提供给分组恢复部162。

在步骤S204中，分组恢复部162恢复通信分组。例如，分组恢复部162对包括在所获取的通信分组中的运动检测数据执行解码等，然后将运动检测数据提供给样本数据生成部164。

在步骤S205中，通信控制部361使变量i的值递增1。

在步骤S206中，通信控制部361确定变量i的值是否等于或小于常数M。这里，常数M表示可穿戴传感器301的数量，并且在本示例中M＝6成立。在确定变量i的值等于或小于常数M的情况下，即在存在尚未被请求发送通信分组的可穿戴传感器301的情况下，处理返回到步骤S202。

此后，重复执行步骤S202至步骤S206中的处理，直到在步骤S206中确定变量i的值超过常数M为止。结果，所有可穿戴传感器301都被依次请求发送通信分组，并且来自各个可穿戴传感器301的通信分组被依次接收。

应当注意，例如，在与步骤S204中通信分组的恢复的同时，可以请求随后的可穿戴传感器301发送通信分组。

另一方面，在步骤S206中确定变量i的值超过常数M的情况下，处理进入步骤S207。

在步骤S207中，样本数据生成部164生成样本数据。即，样本数据生成部164生成包括分组恢复部162提供的来自可穿戴传感器301的运动检测数据的样本数据。样本数据生成部164将生成的样本数据提供给运动识别部165。

然后，在步骤S208和步骤S209中，执行与图9中的步骤S36和步骤S37类似的处理。此后，处理返回到步骤S201，并且执行从步骤S201继续的处理。

<可穿戴传感器301中的处理>

接下来，参考图28中的流程图，以与图27中的运动识别器302的处理相对应的方式描述由可穿戴传感器301执行的处理。

该处理例如在可穿戴传感器301的电源接通时开始，并且在电源断开时结束。

在步骤S231至步骤S234中，执行与图6中的步骤S1至步骤S4类似的处理。

在步骤S235中，分组生成部331开始生成通信分组。具体地，分组生成部331开始从缓冲器143读出最新的姿势数据、加速度数据、角速度数据、应变数据和气压数据的处理，生成包括读出数据的通信分组，以及在缓冲器332中累加通信分组。

图29示出了由分组生成部331生成的通信分组的格式的示例。

该通信分组与图7中的通信分组的不同之处在于，时间戳被删除。即，运动识别器302控制每个可穿戴传感器301发送通信分组的定时，从而使得时间戳不必要。

在步骤S236，传输控制部334确定是否已经请求传输通信分组。在预定定时重复执行该确定处理，直到确定已经请求传输通信分组。

然后，在传输控制部334经由接收部333从运动识别器302接收传输请求信号的情况下，传输控制部334确定已经请求传输通信分组，并且处理前进到步骤S237。

在步骤S237中，可穿戴传感器301发送通信分组。具体地，传输控制部334从缓冲器332读出通信分组，并将通信分组提供给传输部146。传输控制部334从缓冲器332中删除读取的通信分组。传输部146将通信分组发送到运动识别器302。

此后，处理返回到步骤S236，并且执行从步骤S236继续的处理。

图30是示出在图27和图28的处理中运动识别器302和每个可穿戴传感器301之间的通信的序列图。

如上所述，运动识别器302依次向每个可穿戴传感器301发送传输请求信号(REQ)，并且各个可穿戴传感器301依次发送通信分组(ACK)。因此，可以在不使用同步信号、时间戳等的情况下调整在运动识别处理中使用的各个可穿戴传感器301的运动检测数据的检测定时。因此，能够提高运动识别处理的精度。此外，在运动识别器302中，缓冲和等待通信分组直到来自各个可穿戴传感器301的通信分组都被排列的处理变得没有必要。

此外，如上面参考图29所述，不需要向通信分组添加时间戳，因此减少了通信分组的数据量。结果，缩短了通信分组的通信时间，从而降低功耗。此外，可以增加通信错误时通信分组的重传次数，从而提高通信的稳定性。

在从每个可穿戴传感器301接收通信分组之后，运动识别器302生成样本数据，并执行运动识别处理。例如，在每秒执行运动识别处理128次的情况下，以7.8毫秒的周期执行上述处理。

应当注意，例如，当从运动识别器302接收传输请求信息时，可穿戴传感器301可以生成通信分组并发送生成的通信分组。

<<3.第三实施例>>

随后，参见图31至图36，对本技术的第三实施例进行描述。

在第三实施例中，使用通过与第二实施例不同的方法，尽可能地使用在相同的定时在各个检测点检测到的运动检测数据，来执行运动识别处理。

<运动识别系统的第三实施例>

图31示出了作为应用本技术的运动识别系统的第三实施例的运动识别系统400的配置示例。

运动识别系统400包括可穿戴传感器401-1至可穿戴传感器401-6、以及运动识别器402。

应当注意，在下文中，在不需要单独区分可穿戴传感器401-1至可穿戴传感器401-6的情况下，将它们简单地称为可穿戴传感器401。

类似于图1中的可穿戴传感器101，每个可穿戴传感器401附接到用户的不同检测点，检测每个检测点的活动，并且将包括检测结果的通信分组发送到运动识别器402。

运动识别器402基于包括在从每个可穿戴传感器401接收的通信分组中的每个检测点的运动检测数据，来执行用户的运动识别的处理。运动识别器402将基于用户的运动识别的结果的运动控制数据发送到后续阶段中的装置。

<可穿戴传感器401的配置示例>

图32示出了图31中的可穿戴传感器401的配置示例。应当注意，在图中，与图3中的可穿戴传感器101的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

可穿戴传感器401与可穿戴传感器101的区别在于，提供了分组生成部433代替分组生成部144，并且添加了时钟生成部431和所需时间估计部432。

时钟生成部431生成预定频率的时钟信号，并将该时钟信号提供给可穿戴传感器401的每个部(诸如所需时间估计部432)。应当注意，时钟生成部431设置在图3中的可穿戴传感器101和图25中的可穿戴传感器301中，但是因为该图示对于处理的描述不是特别必要，所以省略了其图示。

所需时间估计部432从缓冲器143读出要发送到运动识别器402的姿势数据、加速度数据、角速度数据、应变数据和气压数据，并将这些数据段提供给分组生成部433。此外，所需时间估计部432基于时钟信号估计数据传输所需的时间(以下称为传输所需时间)，并将指示估计结果的信息提供给分组生成部433。

分组生成部433生成用于传输从所需时间估计部432提供的数据的通信分组，并将该通信分组提供给传输控制部145。

<运动识别器402的配置示例>

图33示出了图31中的运动识别器402的配置示例。应当注意，在图中，与图5中的运动识别器102的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

运动识别器402与运动识别器102的不同之处在于，添加了时间信息获取部461和检测时间计算部462。

时间信息获取部461例如由时钟等配置，并获取表示当前时间的时间信息，并将获取的时间信息提供给检测时间计算部462。

检测时间计算部462从分组恢复部162获取包括在从每个可穿戴传感器401接收的通信分组中的运动检测数据和传输所需时间。然后，检测时间计算部462基于当前时间和传输所需时间，来计算检测到与运动检测数据相对应的检测点的活动的时间(以下称为运动检测时间)。检测时间计算部462将运动检测数据与运动检测时间相关联，并将相关联的数据提供给缓冲器163。

<可穿戴传感器401中的处理>

接下来，参考图34中的流程图，给出对可穿戴传感器401中的处理的描述。该处理例如在可穿戴传感器401的电源接通时开始，并且在电源断开时结束。

在步骤S301至步骤S304中，执行与图6中的步骤S1至步骤S4类似的处理。

在步骤S305中，所需时间估计部432确定是否到发送通信分组的定时。重复执行该确定处理，直到确定到发送通信分组的定时为止；在确定到发送通信分组的定时的情况下，处理进行到步骤S306。

在步骤S306中，所需时间估计部432估计传输所需时间。具体地，所需时间估计部432从缓冲器143读出最新的姿势数据、加速度数据、角速度数据、应变数据和气压数据，作为要发送到运动识别器402的数据。然后，所需时间估计部432估计传输包括这种数据的运动检测数据所需的传输所需时间。

传输所需时间例如是从检测到检测点的活动的时间到包括与检测到的活动相对应的运动检测数据的通信分组到达运动识别器402的时间的所需时间。

检测点的活动被检测到的时间(运动检测时间)例如是检测点的活动的检测开始的时间。更具体地，例如，运动检测时间是在要用于运动检测数据的传感器数据中，首先被传感器数据获取部139获取的传感器数据的获取时间。例如，作为运动检测数据，使用HDR加速度数据、LDR加速度数据、HDR角速度数据、LDR角速度数据、地磁数据、应变数据和气压数据中的每一个的传感器数据。然后，将用于要发送到运动识别器402的运动检测数据的每个传感器数据的获取时间中的最早时间设置为运动检测时间。

例如，所需时间估计部432估计从检测到检测点的活动的时间到生成包括与检测到的活动相对应的运动检测数据的通信分组的时间所需的时间(以下称为分组生成时段)。分组生成时段例如是在开始检测检测点的活动的时间(运动检测时间)和完成包括与检测到的运动相对应的运动检测数据的通信分组的生成的时间(以下称为分组生成时间)之间的时间段。

例如，所需时间估计部432使用预定的计算公式基于每个传感器数据的大小等来计算分组生成时段。例如，基于传感器数据获取部139获取传感器数据的定时、从传感器数据的获取到通信分组的生成的处理内容、可穿戴传感器401的处理能力等，预先制定分组生成时段的计算公式。

此外，例如，所需时间估计部432估计从通信分组的生成到通信分组到达运动识别器402所需的时间(以下称为分组传输时间)。分组传输时间例如是分组生成时间和通信分组到达运动识别器402的时间(以下称为分组到达时间)之间的时间。

例如，所需时间估计部432使用预定的计算公式，基于通信分组大小、可穿戴传感器401和运动识别器402之间的通信状态等来计算分组传输时间。基于例如可穿戴传感器401和运动识别器402之间的通信方法和通信路径、可穿戴传感器401和运动识别器402的处理能力等，预先制定分组传输时间的计算公式。

应当注意，例如，在可穿戴传感器401和运动识别器402之间预先发送和接收通信分组的情况下，可以基于实际测量时间来计算分组传输时间。

然后，所需时间估计部432将分组生成时段和分组传输时间相加，以计算传输所需时间。

应当注意，在由于通信错误等而重传通信分组的情况下，重传所需的时间也被添加到传输所需时间。例如，将检测通信错误所需的时间、执行重传之前的等待时间、重传处理所需的时间等添加到传输所需时间。

所需时间估计部432将从缓冲器143读出的姿势数据、加速度数据、角速度数据、应变数据、气压数据以及传输所需时间的估计结果提供给分组生成部433。此外，分组生成部433从缓冲器143中删除由通信分组发送的每个数据和比该数据旧的数据。

在步骤S307中，分组生成部433生成通信分组。

图35示出了由分组生成部433生成的通信分组的格式的示例。该通信分组与图7中的通信分组的不同之处在于，包括传输所需时间代替时间戳。即，由所需时间估计部432估计的传输所需时间包括在通信分组中。

然后，分组生成部433将通信分组提供给传输控制部145。

在步骤S308中，传输部146在传输控制部145的控制下向运动识别器402发送通信分组。

此后，处理返回到步骤S305，并且执行从步骤S305继续的处理。

<运动识别器402中的处理>

接下来，参考图36中的流程图，以与图34中的每个可穿戴传感器401的处理相对应的方式描述由运动识别器402执行的处理。

该处理例如在运动识别器402的电源接通时开始，并且在电源断开时结束。

在步骤S331中，接收部161开始接收通信分组。即，接收部161开始接收从每个可穿戴传感器401发送的通信分组并将接收到的通信分组提供给分组恢复部162的处理。

在步骤S332中，分组恢复部162开始恢复通信分组。例如，分组恢复部162对从每个可穿戴传感器101接收的通信分组中包括的运动检测数据执行解码等，然后开始将恢复的通信分组提供给检测时间计算部462的处理。

在步骤S333中，检测时间计算部462开始计算检测点的活动被检测到的时间。具体地，检测时间计算部462开始计算检测到与包括在从分组恢复部162提供的通信分组中的运动检测数据相对应的检测点的活动的时间(运动检测时间)。此外，检测时间计算部462开始将运动检测数据与运动检测时间相关联的处理，并将相关联的运动检测数据提供给缓冲器163用于累加。

这里，给出了对计算运动检测时间的方法的示例的描述。

例如，检测时间计算部462估计从接收部161接收到通信分组的时间(从通信分组到达运动识别器402的时间)到分组恢复部162恢复通信分组的时间(以下称为分组恢复时间)所需的时间。

例如，检测时间计算部462使用预定的计算公式，基于通信分组的大小等来计算分组恢复时间。基于例如通信分组的恢复处理的内容、运动识别器402的处理能力等，预先制定分组恢复时间的计算公式。

然后，检测时间计算部462从时间信息获取部461获取指示当前时间的时间信息，并且通过从当前时间中减去包括在通信分组中的传输所需时间和估计的分组恢复时间来计算运动检测时间。

类似于图9中的步骤S33中的处理，在步骤S334中确定是否到执行运动识别处理的定时。在预定定时重复执行该确定处理；在确定到进行运动识别处理的定时的情况下，处理进行到步骤S335。

在步骤S335中，样本数据生成部164提取具有接近检测时间的运动检测数据。即，通过类似于图9中步骤S34的处理的方法，样本数据生成部164使用运动检测时间而不是时间戳来提取运动检测数据。结果，对于各个检测点逐一提取具有接近运动检测时间的多条运动检测数据。即，提取与在各个检测点处在基本相同的定时检测到的活动相对应的多条运动检测数据。

然后，在步骤S336至步骤S338中，执行与图9中的步骤S35至步骤S37类似的处理。

此后，处理返回到步骤S334，并且执行从步骤S334继续的处理。

如上所述，在运动识别器402中，可以容易且准确地检测运动检测时间。然后，尽可能使用在相同定时在各个检测点检测到的运动检测数据来执行运动识别处理，结果，运动识别准确度提高。

此外，可以在每个可穿戴传感器401和运动识别器402通电之后无需测量所需时间或同步时间而立即开始通信。此外，例如，在不测量所需时间或同步时间的情况下恢复通信路径的定时，即使当通信路径变得不稳定并且通信分组的传输暂时停止时，也可以立即恢复通信。

<<4.第四实施例>>

随后，参见图37至图40，对本技术的第四实施例进行描述。

第四实施例是可穿戴传感器401和运动识别器402经由中继器彼此通信的实施例。

<运动识别系统的第四实施例>

图37示出了作为应用本技术的运动识别系统第四实施例的运动识别系统500的配置示例。

应当注意，在图中，与图31中的运动识别系统400的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

运动识别系统500与运动识别系统400的不同之处在于增加了中继器501-1和中继器501-2。

中继器501-1将可穿戴传感器401-1至可穿戴传感器401-3和运动识别器402之间的通信分组进行中继。即，中继器501-1从可穿戴传感器401-1至可穿戴传感器401-3接收通信分组，并且将该通信分组传送到运动识别器402。

中继器501-2将可穿戴传感器401-4至可穿戴传感器401-6和运动识别器402之间的通信分组进行中继。即，中继器501-2从可穿戴传感器401-4至可穿戴传感器401-6接收通信分组，并且将该通信分组传送到运动识别器402。

应当注意，在下文中，在不需要单独区分中继器501-1和中继器501-2的情况下，将它们简单地称为中继器501。

<中继器501的配置示例>

图38示出了中继器501的配置示例。

中继器501包括接收部531、缓冲器532、时钟生成部533、所需时间估计部534、分组更新部535、传输控制部536和传输部537。

接收部531通过对应于每个可穿戴传感器401的传输部146的系统的无线通信从每个可穿戴传感器401接收通信分组，并且将该通信分组提供给缓冲器532。

缓冲器532临时累加通信分组。

时钟生成部533生成预定频率的时钟信号，并将该时钟信号提供给中继器501的诸如所需时间估计部534的每个部。

所需时间估计部534从缓冲器532读出要传送到运动识别器402的通信分组，并将该通信分组提供给分组更新部535。此外，所需时间估计部534基于时钟信号估计中继通信分组所需的时间(以下称为中继器所需时间)，并将指示估计结果的信息提供给分组更新部535。

分组更新部535通过向通信分组添加由所需时间估计部534估计的中继器所需时间来更新通信分组。分组更新部535将更新的通信分组提供给传输控制部536。

传输控制部536控制传输部537对通信分组的传输。

传输部537通过与运动识别器402的接收部161相对应的系统的无线通信将通信分组发送到运动识别器402。

<中继器501中的处理>

接下来，参考图39中的流程图，对中继器501中的处理进行描述。

该处理例如在中继器501的电源接通时开始，并且在电源断开时结束。

在步骤S401中，确定接收部531是否已经接收到通信分组。重复执行该确定处理，直到确定已经接收到通信分组为止。然后，在确定接收部531已经接收到从可穿戴传感器401发送的通信分组的情况下，处理进行到步骤S402。接收部531在缓冲器532中累加接收到的通信分组。

在步骤S402中，所需时间估计部534估计中继器所需时间。具体地，所需时间估计部534从缓冲器532读出通信分组。然后，所需时间估计部534估计中继通信分组所需的中继器所需时间。

中继器所需时间例如是从接收部531接收通信分组的时间(从通信分组到达中继器501的时间)到通信分组到达运动识别器402的时间的所需时间。

例如，所需时间估计部534使用预定的计算公式，基于通信分组的大小、中继器501和运动识别器402之间的通信状态等来计算中继器所需时间。基于例如中继器501和运动识别器402之间的通信方法和通信路径、以及中继器501和运动识别器402的处理能力等，预先准备中继器所需时间的计算公式。

应当注意，例如，在中继器501和运动识别器402之间发送和接收通信分组的情况下，可以基于测量的时间预先计算中继器所需时间。

此外，例如，在由于中继器501中的通信错误等而重传通信分组的情况下，将重传所需的时间添加到中继器所需时间。此外，在通信分组临时存储在中继器501中的情况下，将用于存储的时间添加到中继器所需时间。

所需时间估计部534将从缓冲器532读出的通信分组和中继器所需时间的估计结果提供给分组更新部535。此外，所需时间估计部534从缓冲器532中删除读取的通信分组。

在步骤S403中，分组更新部535将中继器所需时间添加到通信分组。

图40示出了在添加了中继器所需时间之后的通信分组的格式的示例。

图40中的通信分组与图35中的通信分组的不同之处在于，将中继器所需时间添加在报头和传输所需时间之间。

应当注意，对于图40中的通信分组的传输所需时间，设置可穿戴传感器401和中继器501之间的传输所需时间，而不是可穿戴传感器401和运动识别器402之间的传输所需时间。

然后，包括传输所需时间和中继器所需时间的信息构成总所需时间信息。即，通过将传输所需时间和中继器所需时间相加而获得的时间构成，从在可穿戴传感器401中检测到检测点的活动时的时间到包括与检测到的活动相对应的运动检测数据的通信分组到达运动识别器402时的总所需时间。

然后，分组更新部535将通过增加中继器所需时间而更新的通信分组提供给传输控制部536。

在步骤S404中，传输部537在传输控制部536的控制下向运动识别器402发送通信分组。

此后，处理返回到步骤S401，并且执行从步骤S401继续的处理。

应当注意，在图36的上述步骤S333中，运动识别器402的检测时间计算部462通过从当前时间中除了减去传输所需时间和分组恢复时间之外还减去包括在通信分组中的中继器所需时间，来计算运动检测时间。

以此方式，即使当在可穿戴传感器401与运动识别器402之间提供中继器501时，也可以在运动识别器402中容易且准确地检测运动检测时间。

例如，当佩戴可穿戴传感器401的用户在空间中自由移动时，假定动态改变可穿戴传感器401和运动识别器402之间的通信路径(中继器501)以改变通信速度和通信状态的情况。这种情况的示例包括选择具有最佳通信状态的通信路径、避免发生通信错误的路径或选择最靠近可穿戴传感器401的中继器501的情况。

同时，使用第四实施例的技术，能够在通信路径上的可穿戴传感器401、中继器501和运动识别器402之间无需测量所需时间或同步时间的情况下立即开始通信，即使在难以预先知道要使用的通信路径的情况下，诸如通信路径被改变的情况或多个通信路径以网格形式存在的情况。此外，在运动识别器402中，可以容易且准确地检测每个可穿戴传感器401的运动检测时间。

然后，尽可能使用在同一定时在各个检测点检测到的运动检测数据来执行运动识别处理，并且因此提高运动识别准确度。

应当注意，可以在可穿戴传感器401和运动识别器402之间设置两个或两个以上中继器501。在这种情况下，例如，中继器所需时间被添加到每个中继器501中的通信分组。

<<5.第五实施例>

随后，参见图41至图45，对本技术的第五实施例进行描述。

第五实施例例示了上述运动识别系统被用于呈现诸如音乐会、舞蹈和剧院的各种表演的情况。

<呈现(rendering，渲染)系统600的配置示例>

图41示出了应用本技术的呈现系统600的配置示例。

呈现系统600是通过根据每个表演者的活动控制图像、声音、照明等来进行表演呈现的系统。

呈现系统600包括运动识别系统601-1至运动识别系统601-n、接收器602、相机603、PAD控制器604、呈现控制器605、合成器606、音频混合器607、功率放大器608、声音部609、图像部610、DMX控制器611和照明部612。

应当注意，在下文中，在不需要单独区分运动识别系统601-1至运动识别系统601-n的情况下，将它们称为运动识别系统601。

运动识别系统601例如被配置为上述运动识别系统100、运动识别系统300、运动识别系统400和运动识别系统500中的任何一个。

此外，提供与要进行运动识别的表演者的数量一样多的运动识别系统601，并且单独地执行每个表演者的运动识别处理。每个运动识别系统601向接收器602发送基于每个表演者的运动识别结果的运动控制数据。

应当注意，例如，在只有一个表演者的情况下，可以只使用一个运动识别系统601。

接收器602从每个运动识别系统601接收运动控制数据，并将运动控制数据提供给呈现控制器605。

应当注意，例如，对于每个运动识别系统601和接收器602之间的通信，采用无线通信或有线通信的任何系统。此外，例如，对于接收器602和呈现控制器605之间的通信，采用无线通信或有线通信的任何系统。

例如，相机603拍摄每个表演者、舞台等，并将拍摄结果获得的图像数据提供给呈现控制器605。

PAD控制器604例如是用于输入键盘、打击乐器等的音乐表演数据的输入装置，并且将输入的音乐表演数据提供给呈现控制器605。从PAD控制器604输出的音乐表演数据例如是根据MIDI(乐器数字接口)标准的数据。

呈现控制器605由例如个人计算机、平板电脑、智能电话等配置。应当注意，在下文中，通过例示呈现控制器605由图14所示的信息处理装置220配置的情况来进行描述。

除了上述数据之外，例如指示用于表演呈现的图像、声音或照明的效果图形等的图像数据、声音数据和控制数据等被输入到呈现控制器605。

例如，呈现控制器605通过执行用于VJ(Video Jockey)的软件来执行与表演呈现相关的各种类型的处理。例如，呈现控制器605执行图像再混合、图像和音频效果处理、音频分析、BPM(每分钟的节拍)检测等。此外，例如，呈现控制器605执行MIDI数据、OSC(开放声控)数据和DMX(数字多路复用)数据的处理和输出等。

然后，呈现控制器605将用于产生呈现的声音的声控数据提供给合成器606，并将用于输出呈现的声音的声音数据提供给音频混合器607。此外，呈现控制器605向图像部610提供用于输出呈现的图像的图像数据。此外，呈现控制器605向照明部612提供用于控制呈现的照明的DMX数据。

合成器606基于来自呈现控制器605的声控数据产生用于呈现的各种声音，并将用于输出所产生的声音的声音数据提供给音频混合器607。

音频混合器607混合来自呈现控制器605的声音数据和来自合成器606的声音数据，并将混合的声音数据提供给功率放大器608。音频混合器607将经由未示出的麦克风输入的音频数据提供给呈现控制器605。

功率放大器608放大声音数据，并将放大的声音数据提供给声音部609。

声音部609由例如扬声器等配置，并且基于声音数据输出声音。

图像部610由例如投影仪、监视器等配置，并且基于图像数据将图像投影或显示到舞台等上。

DMX控制器611是用于控制照明部612的装置。DMX控制器611根据用户输入等生成用于控制照明部612的DMX数据，并将DMX数据提供给照明部612。

照明部612例如由各种灯、光源等配置。照明部612基于来自呈现控制器605和DMX控制器611的DMX数据执行各种类型的照明呈现。

<呈现控制单元631的配置示例>

图42示出了在呈现控制器605由图14中的信息处理装置220配置的情况下，由执行预定控制程序的信息处理装置220的CPU 221实现的呈现控制单元631的配置示例。

呈现控制单元631基于每个表演者的音乐和活动来控制表演呈现。例如，在多个表演者随着音乐跳舞的情况下，呈现控制单元631基于音乐和每个表演者的舞蹈来控制表演呈现。

呈现控制单元631包括音乐输入部641、音乐分析部642、运动输入部643、中断控制部644、场景生成部645、声控部646、图像控制部647和照明控制部648。

音乐输入部641获取从外部输入的音乐数据，并将音乐数据提供给音乐分析部642。

音乐分析部642执行音乐数据的分析处理。音乐分析部642将音乐数据和分析结果提供给场景生成部645。

运动输入部643从接收器602获取从每个运动识别系统601发送的运动控制数据，并将运动控制数据提供给中断控制部644。

中断控制部644基于来自每个运动识别系统601的运动控制数据执行中断控制。例如，在检测到每个表演者已经表演了预定运动的情况下，中断控制部644通知场景生成部645已经检测到运动，并且基于音乐数据的分析结果将对应于每个表演者的运动的呈现添加到呈现场景。

场景生成部645基于从外部提供的控制数据、音乐数据的分析结果以及每个表演者的运动识别的结果来生成用于表演呈现的呈现场景。场景生成部645将生成的呈现场景提供给声控部646、图像控制部647和照明控制部648。此外，场景生成部645将音乐数据提供给声控部646。

声控部646基于呈现场景，处理从场景生成部645提供的音乐数据和从外部提供的声音数据，生成用于呈现的声音数据，并将声音数据提供给音频混合器607。此外，声控部646基于呈现场景生成声控数据，并将声控数据提供给合成器606。

图像控制部647基于呈现场景，处理相机603提供的图像数据和从外部提供的图像数据，并生成呈现图像数据。图像控制部647将图像数据提供给图像部610。

照明控制部648基于呈现场景，生成用于呈现的DMX数据，并将用于呈现的DMX数据提供给照明部612。

应当注意，例如，通过插件软件实现图42中的呈现控制单元631使得可以通过使用安装在诸如大厅或活动房屋的舞台中的现有呈现装置来构造具有运动识别系统601的呈现系统。此外，可以使用例如个人计算机、平板电脑等来模拟实际的舞台环境。

<呈现控制处理>

接下来，参考图43中的流程图，对将由呈现系统600执行的呈现控制处理进行描述。

例如，当经由信息处理装置220(呈现控制器605)的输入单元226输入执行表演呈现的命令时，开始该处理。

在步骤S501，呈现控制单元631开始分析音乐。

具体地，音乐输入部641开始获取从外部输入的音乐数据并将音乐数据提供给音乐分析部642的处理。

音乐分析部642基于音乐数据开始分析音乐的和弦进行、节奏、节拍、结构、包括的乐器声音等的处理，并将分析结果提供给场景生成部645。

在步骤S502，场景生成部645开始生成呈现场景。具体地，场景生成部645基于从外部提供的控制数据和音乐数据的分析结果，开始根据音乐控制声音、图像和照明的处理，生成进行表演呈现的呈现场景，并将呈现场景提供给声控部646、图像控制部647和照明控制部648。此外，场景生成部645开始向声控部646提供音乐数据的处理。

在步骤S503中，呈现控制单元631开始控制声音、图像和照明。

具体地，声控部646开始基于呈现场景、处理从场景生成部645提供的音乐数据和从外部提供的声音数据的处理，生成用于呈现的声音数据，以及将用于呈现的声音数据提供给音频混合器607。此外，声控部646开始基于呈现场景、生成声控数据并将声控数据提供给合成器606的处理。

合成器606开始基于声控制数据生成用于呈现的各种声音并将用于输出生成的声音的声音数据提供给音频混合器607的处理。

音频混合器607开始对来自呈现控制器605的声音数据和来自合成器606的声音数据进行混合，并将混合后的声音数据提供给功率放大器608的处理。

功率放大器608开始放大声音数据并将放大的声音数据提供给声音部609的处理。

声音部609开始基于声音数据输出声音的处理。

图像控制部647开始基于呈现场景、处理从相机603提供的图像数据和从外部提供的图像数据，生成呈现图像数据，并将呈现图像数据提供给图像部610的处理。

图像部610开始将基于图像数据的图像投影或显示到舞台等上的处理。

照明控制部648开始基于呈现场景生成用于呈现的DMX数据并将DMX数据提供给照明部612的处理。

DMX控制器611开始根据用户输入等生成DMX数据并将DMX数据提供给照明部612的处理。

照明部612开始基于来自照明控制部648和DMX控制器611的DMX数据执行各种类型的照明呈现的处理。

在步骤S504中，每个运动识别系统601开始每个表演者的运动识别的处理。然后，每个运动识别系统601开始将基于每个表演者的运动识别结果的运动控制数据发送到接收器602。

接收器602开始从每个运动识别系统601接收运动控制数据并将运动控制数据发送到信息处理装置220(呈现控制器605)的通信单元229(图14)的处理。

通信单元229开始将每个运动识别系统601的运动控制数据提供给运动输入部643的处理。

运动输入部643开始将每个运动识别系统601的运动控制数据提供给中断控制部644的处理。

在步骤S505中，中断控制部644基于每个运动识别系统601的运动控制数据确定是否已经检测到预定运动。在确定已经检测到预定运动的情况下，处理进行到步骤S506。

在步骤S506中，呈现控制单元631执行中断处理。

例如，中断控制部644通知场景生成部645已经检测到预定运动。

场景生成部645将对应于检测到的运动的呈现添加到基于从外部提供的控制数据和音乐数据的分析结果生成的呈现场景。

结果，例如，根据表演者的舞步来控制图像和照明。例如，根据表演者全身的节奏、活动的强度、肢体的缓慢和快速等来控制照明的颜色和亮度。例如，根据表演者的舞步，显示执行与表演者相同的舞蹈技术的CG字符或者照明闪烁。

此后，处理进行到步骤S507。

另一方面，在步骤S505中确定未检测到预定的运动的情况下，跳过步骤S506的处理，处理进入步骤S507。

在步骤S507中，场景生成部645确定是否完成呈现。在确定呈现未完成的情况下，处理返回到步骤S505。

此后，重复执行步骤S505至步骤S507的处理，直到在步骤S507中确定呈现要完成为止。

另一方面，在步骤S507中，在经由信息处理装置220(呈现控制器605)的输入单元226输入完成表演呈现的命令的情况下，场景生成部645确定将要完成呈现，并且完成呈现控制处理。

如上所述，可以在基于来自外部的控制数据和音乐数据的分析结果执行呈现的同时，根据表演者的运动来执行呈现。

<表演呈现的具体示例>

这里，参考图44和图45，对呈现系统600的表演呈现的具体示例进行描述。具体地，对根据由凯若特(Karate)播放器(表演者)执行的凯若特(Karate)的风格，输出声音效果的情况的示例进行描述。

图44是示出要识别的运动(凯若特技术)和要输出的声音效果之间的关系的转变图。

例如，战斗姿势、右手拳、左手拳、右脚踢和左脚踢被假定为待识别的运动。

然后，基于运动转变来选择和输出声音效果。即，基于转变前的运动和转变后的运动的组合来选择和输出呈现内容(声音效果)。

例如，在从选手保持的战斗姿势的状态下执行右手拳或左手拳的情况下，输出声音效果A；在从选手保持的战斗姿势的状态执行右脚踢或左脚踢的情况下，输出声音效果E。

在执行右手拳后选手返回战斗姿势的情况下，输出声音效果B；在执行右手拳之后选手执行左手拳的情况下，输出声音效果C。在执行左手拳后选手回到战斗姿势的情况下，输出声音效果B；并且在执行左手拳之后选手执行右手拳的情况下，输出声音效果D。

在执行右脚踢后选手返回战斗姿势的情况下，输出声音效果F；在执行右脚踢后选手执行左脚踢的情况下，输出声音效果G。在执行左脚踢后选手返回战斗姿势的情况下，输出声音效果F；在执行左脚踢后选手执行右脚踢的情况下，输出声音效果H。

这使得能够基于选手的一系列活动内的运动转变来动态地改变声音效果。结果，可以执行更有效的呈现。例如，实现具有更精细尺度的呈现，从而使得可以实现与选手的活动更匹配的呈现以及具有更高逼真感觉的呈现。

图45示出了输出声音效果的定时的示例。

图45的上部图示出了声音效果、运动识别和传感器数据波形的时间序列转换的示例。

在该示例中，在选手运动完成并且其运动识别完成的时间点输出声音效果。例如，选手执行右手拳，并且完成右手拳；在其识别完成的时间点，输出声音效果“砰砰声(thump)”。接着，选手从执行右手拳的状态返回战斗姿势，并完成战斗姿势；在其识别完成的时间点，输出声音效果“嗖嗖声(swish)”。接着，选手从保持的战斗姿势的状态执行右脚踢，并且完成右脚踢；在其识别完成的时间点，输出声音效果“咚咚声(thunk)”。

同时，还假设希望在运动完成之前，即在运动的中间输出声音效果的情况。相反，例如，如图45的下部图所示，可以在运动识别系统601的运动识别部165中预测运动识别，以基于预测结果加速效果定时(即，声音效果输出定时)。

例如，当选手正在执行右手拳时，在完成右手拳的识别的预测的时间点，输出声音效果“砰砰声”。接着，当选手从已经执行了右手拳的状态返回到战斗姿势时，在完成战斗姿势的识别的预测的时间点，输出声音效果“嗖嗖声”。接着，当选手从保持战斗姿势的状态执行右脚踢时，在右脚踢的预测完成的时间点，输出声音效果“咚咚声”。

以此方式，通过使用运动识别的预测，可以在运动完成之前的中间阶段对正在执行的运动进行呈现。

应当注意，还可以基于用户的运动转变来控制除了声音效果之外的呈现内容。

此外，例如，可以针对每种类型的运动而不是运动转变来控制诸如声音效果的呈现内容。例如，可以在选手执行右手拳的情况下输出声音效果A；在选手执行左手拳的情况下可以输出声音效果B；在选手执行右脚踢的情况下可以输出声音效果C；并且在选手执行左脚踢的情况下可以输出声音效果D。

<<6.第六实施例>>

随后，参见图46至图52，对本技术的第六实施例进行描述。

第六实施例例示了上述运动识别系统用于人的动作的分析处理的情况。

<分析系统700的配置示例>

图46示出了应用本技术的分析系统700的配置示例。应当注意，在示图中，与图41中的呈现系统600的部件相对应的部件由相同的附图标记表示，并且适当地省略其描述。

分析系统700是分析一个或多个用户的动作的系统。

分析系统700包括运动识别系统601-1到运动识别系统601-n、接收器602、相机603和分析处理器701。

要提供的运动识别系统601的数量等于要分析其动作的用户的数量。应当注意，在只有一个用户是分析目标的情况下，可以只使用一个运动识别系统601。

分析处理器701由例如个人计算机、平板电脑、智能电话等配置。应当注意，在下文中，通过例示分析处理器701由图14所示的信息处理装置220配置的情况来给出描述。

分析处理器701基于从接收器602提供的每个运动识别系统601的运动控制数据和从相机603提供的图像数据来执行每个用户的动作的分析处理。

<分析处理单元731的配置示例>

图47示出了在分析处理器701由图14中的信息处理装置220配置的情况下，由执行预定控制程序的信息处理装置220的CPU 221实现的分析处理单元731的配置示例。

分析处理单元731包括分析部741和UI(用户界面)控制部742。

分析部741基于从接收器602提供的每个运动识别系统601的运动控制数据和从相机603提供的图像数据，来分析每个用户的动作。

UI控制部742基于经由信息处理装置220的输入单元226输入的用户输入等来控制输出单元227，以在呈现每个用户的动作的分析结果时控制用户界面。

<分析处理>

接下来，参考图48中的流程图，对将由分析系统700执行的分析处理进行描述。

例如，当经由信息处理装置220(分析处理器701)的输入单元226输入执行分析处理的命令时，处理开始。

在步骤S601中，每个运动识别系统601执行每个用户的运动识别的处理。然后，每个运动识别系统601将基于每个用户的运动识别结果的运动控制数据发送到接收器602。

接收器602从每个运动识别系统601接收运动控制数据，并将运动控制数据发送到信息处理装置220的通信单元229(图14)。

通信单元229使存储单元228存储接收到的每个用户的运动控制数据。

此外，相机603拍摄每个用户动作的行为，并使存储单元228存储得到的图像数据。

在步骤S602，分析部741分析每个用户的动作。具体地，分析部741基于存储在存储单元228中的每个用户的运动控制数据和相机603拍摄的图像数据，来分析每个用户的动作。分析部741使存储单元228存储指示分析结果的分析数据。

应当注意，该分析处理可以与每个用户的运动的识别处理并行地执行，或者可以在每个用户的动作完成并且每个用户的运动的识别处理完成之后执行。

在步骤S603中，输出单元227在UI控制部742的控制下基于存储在存储单元228中的分析数据呈现分析结果。

此后，分析处理结束。

这里，参考图49至图52，给出了呈现分析结果的方法的示例的描述。具体地，给出了呈现橄榄球比赛的每个选手的动作的分析结果的情况的示例的描述。

在这种情况下，例如，每个选手的橄榄球特定的活动，例如停留(stay)、行走(walk)、奔跑(run)、传球(pass)、踢(kick)、接球(catch)、扑搂(tackle)、争球(scrum)、转身(turn)和达阵(try)被识别为运动。

然后，例如，在输出单元227中显示如图49所示的分析屏幕。分析屏幕大致分为图像显示部分871、操作部分872、时间显示部分873、位置分析部分874和动作分析部分875。

由相机603拍摄的橄榄球比赛的图像显示在图像显示部分871中。

操作部分872显示用于对图像显示部分871中显示的图像执行诸如再现、停止、快进、倒带等操作的按钮等。

时间显示部分873显示关于在图像显示部分871中显示的图像的时间的信息。

位置分析部分874显示在图像显示部分871中显示图像时各个选手的位置的分析结果。

应当注意，使用例如由相机603、GNSS接收器等拍摄的图像数据来检测各个选手的位置(位置信息)。

动作分析部分875显示各个选手的动作的分析结果。图50是动作分析部分875的显示内容的放大图。

具体地，在动作分析部分875中以在垂直方向上对齐的方式显示多个选手的运动识别的结果。例如，在图50的示例中，选手A至选手D的运动识别的结果以在垂直方向上对齐的方式显示。例如，可以通过在动作分析部分875中在垂直方向上滚动显示来改变要显示的选手。

此外，在水平方向上以时间序列显示每个选手的运动(活动)的转变。例如，示出了选手A的运动以争球、接球、奔跑、传球、奔跑、扑搂和奔跑的顺序转变。

此外，在每个选手的运动中，与球的移动相关的运动(例如传球、接球和达阵、以及得分)以不同的颜色等显示，以区别于其他运动。

此外，基于每个选手动作的分析结果跟踪球的位置，并通过跟踪线881显示其结果。

此外，显示对应于在图像显示部分871中显示的图像的时间的时间线882。通过左右滑动时间线882，可以调整在图像显示部分871中显示的图像的时间。这使得可以在每个选手执行运动时容易地搜索图像。

如上所述，图49和图50的分析屏幕使得能够详细地掌握和分析仅由图像未知的每个选手的运动、选手之间的组合等。

图51示出了基于运动识别的结果和每个选手的位置信息来呈现执行每个选手的运动的位置的分析结果的示例。具体地，在图51的分析屏幕上显示选手A踢球的次数，并且以热图的形式显示已经进行踢球的位置。例如，选手A踢球次数多的区域被突出显示。

在图51的分析屏幕上，例如，可以切换要分析的选手，或者可以切换要分析的运动。此外，例如，可以设置多个选手一次全部分析，或者可以设置多个运动一次全部分析。

这使得能够详细地掌握每个选手的运动和运动的执行位置之间的关系。

图52示出了呈现结果的示例，其中基于每个选手的运动识别的结果，来分析重新加载每个选手所需的时间(例如，从选手落下到回到比赛的时间)。

具体地，图52中的窗口891显示选手A已经执行重新加载的时间和重新加载所需的时间的列表。

此外，窗口892示出指示重新加载所需的时间变化的线图。在该图中，横轴表示重新加载的次数，即已经执行了多少次重新加载，以及纵轴表示每次重新加载所需的时间。

应当注意，在上述示例中，已经给出了呈现橄榄球比赛的分析结果的示例的描述；然而，不用说，本技术可应用于其他运动。例如，图51中的热图可应用于踢足球的位置、投篮球的位置、传手球的位置等。

<<7.应用示例>>

接着，对与上述示例不同的本技术的应用示例进行描述。

<运动识别处理的应用示例>

例如，可以通过由本技术的运动识别处理识别的运动来执行各种装置的操作、命令的输入等。

具体地，可以使用VR(虚拟现实)或AR(增强现实)操作例如各种装置以及系统。

例如，在虚拟战斗游戏中，可以使用本技术的运动识别处理来识别选手的技术。然后，例如，在所识别的技术击中对手选手的情况下，可以将振动反馈给攻击选手的系统。

例如，在使用AR的游戏中，在识别用户投掷球的运动的情况下，可以根据速度或方向来计算球撞击的点，并且可以获取该点处的项目。

例如，在使用AR的系统中，在识别到开门的运动的情况下，可以打开显示的门，或者在识别到打开盒子的运动的情况下，可以打开显示的盒子。

例如，可以通过所识别的用户的运动来操作靶机等。

此外，例如，可以将本技术的运动识别处理应用于对运动等的活动的评估。

具体地，例如，在舞蹈学校或瑜伽学校中，可以比较教师和学生的运动识别结果，以通过声音、振动等将比较结果实时反馈给学生。这使得例如即使当学生处于教师不可见的位置时，学生也能够立即识别他或她的活动或姿势是否正确。应当注意，在这种情况下，可以根据班级的级别来改变运动识别准确度。例如，在高级班中可以提高识别准确度以允许准确地识别每个运动，而在初学者班中可以放宽识别准确度以允许为用户的一个活动识别多个候选运动。

此外，例如，基于表演者的运动识别的结果，可以通过剪辑和拼接在拍摄舞蹈的图像中执行特定技术的部分，来自动生成宣传视频。此外，根据舞蹈技术的类型，可以自动地插入诸如剪切变化和交叉渐变的效果。

此外，例如可以利用游戏开发环境软件的运动识别结果来创建插件软件，并且可以利用选手身体的活动将插件软件应用于游戏开发。

此外，例如，本技术的运动识别处理可应用于在医院等中进行康复的情况。

具体地，例如，预先准备指示正确康复活动的过程的程序和图像，并且患者在观看图像的同时执行康复。然后，可以通过识别正在进行康复的患者的运动、并将程序的活动与患者的活动进行比较，来检测康复的实现程度。然后，例如，在患者能够根据程序的过程进行康复的情况下，程序可以自动进行到下一阶段。这使得每个患者能够根据程序自己进行精确的康复。此外，可以自动生成并累加每个患者康复的执行记录，从而使医院方能够自动管理每个患者康复的进展状态。

此外，例如，可以根据携带或佩戴颜色、亮度等可变的光笔或腕带的观众的运动来控制光笔或腕带的颜色和亮度。这使得能够在舞台和观众座位之间协作地执行呈现等。

<运动数据和呈现数据的分布>

此外，例如，专业表演者或编舞者可以经由互联网等分发(distribute)拍摄用作模型的活动(诸如编排或舞蹈)的图像、以及包括对应于该活动的运动控制数据的运动数据。应当注意，使用本技术的运动识别系统获取运动控制数据。

然后，例如，创建者可以经由互联网等分发用于根据图像的活动来执行呈现的呈现数据。呈现数据包括例如根据图像的活动要播放的图像或声音、以及用于控制图像声音或照明的控制数据。

相反，例如，舞台导演能够获得运动数据和图像数据，并且能够使用获得的数据产生离线的舞台呈现。此外，另一个表演者或用户能够获得呈现数据并且使用该呈现数据来呈现将由每个表演者或用户进行的表演。

<要识别的运动>

应当注意，以上描述给出了将本技术应用于识别人的运动的情况的示例；然而，本技术可应用于识别除人之外的对象的运动的情况。要识别的对象可以是诸如动物的生物体或诸如机器人的无生命对象。在识别无生命对象的情况下，无生命对象可以是自主移动或通过用户操作移动的无生命对象，例如机器人，或通过外力例如波浪或风移动的无生命对象，例如海上浮体。

<<8.修改示例>>

以下，对本发明的技术的上述实施例的修改示例进行描述。

<可穿戴传感器的数量和附接位置的修改示例>

如上所述，可以根据待识别的运动、所需的识别准确度等来改变所附接的可穿戴传感器的数量及其附接位置(附接点)。

例如，在识别上述舞蹈技术的示例中，可穿戴传感器可以通过使用带子等附接到背部，而不是头部和臀部。

例如，在当用户佩戴AR眼镜并且执行基于身体的交互时应用本技术的情况下，例如，将可穿戴传感器附接到头部和两个手腕的三个位置。应当注意，代替将可穿戴传感器连接到头部，AR眼镜可以具有内置传感器。此外，使用例如轻量带子将可穿戴传感器附接到每个手腕。

例如，在将本技术应用于使用整个身体的命令输入的情况下，使用轻量带子将可穿戴传感器附接到两个手腕和两个脚踝的四个位置中的每一个。

例如，在将运动识别系统应用于上述康复的情况下，根据要康复的动作或身体位置，来设置所附接的可穿戴传感器的数量及其附接位置。例如，在进行手臂康复的情况下，使用缠绕型带将可穿戴传感器附接到上臂和手腕的两个位置中的每一个。例如，在执行行走操作的康复的情况下，使用缠绕型带将可穿戴传感器附接到两个大腿和两个脚踝的四个位置中的每一个。

<第三实施例以及第四实施例的修改示例>

此外，上述第三实施例和第四实施例的技术不仅可应用于可穿戴传感器和运动识别器之间的通信，而且还可应用于公共发射器和公共接收器之间的通信。

这使得可以在发射器、中继器和接收器之间无需测量所需时间或同步时间的情况下立即开始或重新开始通信。此外，在接收器中，可以精确地检测检测到预定事件的时间。

应当注意，对于要检测检测时间的事件没有特别限制。例如，由可穿戴传感器的每个传感器检测的加速度、角速度等也是该事件的示例。

此外，即使当发射器和接收器之间的通信路径动态改变时，也可以在发射器、中继器和接收器之间无需测量所需时间或同步时间的情况下立即开始通信。此外，在接收器中，可以精确地检测检测到预定事件的时间。

此外，例如，即使当发射器为了诸如节能的目的而延迟数据传输或减少数据传输时，在接收器中也可以精确地检测检测到预定事件的时间。

应当注意，例如，在发射器和接收器之间的通信频率低(例如，一天一次等)的情况下，当测量发射器、中继器和接收器之间的所需时间或同步发射器、中继器和接收器之间的时间时，测量所需时间或使时间同步的成本大于发送实际数据的成本。这里，成本是指例如用于保护通信网络的通信带宽、时钟维护、功耗等的成本。同时，使用本技术可以减少这种成本的浪费。

此外，例如，当在发射器或配备有发射器的装置中累加检测数据时，并且当发射器和接收器或中继器准备彼此通信时，本技术还可应用于将检测数据从发射器发送到接收器或中继器的情况。在这种情况下，发射器将传输所需时间添加到每个检测数据并发送检测数据；该传输所需时间包括累加每个检测数据的时间。因此，添加到每个检测数据的传输所需时间根据检测到检测数据的时间而变化。

在下文中，对该应用示例的具体示例进行描述。

例如，游泳者进行练习，同时在多个位置佩戴设置有各种传感器的发射器。在发射器不能与中继器或接收器通信的情况下，如在水下的情况下，发射器周期性地在其中累加所获取的传感器数据。然后，当发射器能够与接收器通信时，发射器发射每个累加的传感器数据以及包括每个传感器数据的累加时间的传输所需时间信息。然后，例如，基于传感器数据和传输所需时间来检测游泳者的每个事件的发生时间。此外，基于检测结果，可以显示选手的事件以时间序列排列的图，或者使用CG使游泳者的形式动画化。

例如，多个舞者在多个位置佩戴设置有各种传感器的发射器的同时进行表演。每个发射器在其中累加在表演期间周期性地获取的传感器数据，并且在表演之后将累加的每个传感器数据与包括每个传感器数据的累加时间的传输所需时间信息一起发送到接收器。然后，例如，基于传感器数据和传输所需时间来检测每个舞者的每个事件的发生时间。基于检测结果，可以确认每个舞者的活动的定时、准确度等。此外，可以同步和显示例如拍摄每个舞者的表演的图像的时间线和每个事件的发生时间。

例如，设置在车辆中的传感器周期性地检测车辆的各个部件的状况，并且检测到的传感器数据累加在车辆中。然后，当车辆停放在车库中并且设置在车辆中的发射器和设置在车库中的接收器准备通信时，发射器将车辆中累加的每个传感器数据与包括每个传感器数据的累加时间的传输所需时间信息一起发送到接收器。然后，基于传感器数据和传输所需时间，检测车辆的每个部件的事件发生的时间。此外，例如，基于车辆的每个部件的事件的检测结果，检测车辆的部件故障、故障的发生时间、发生原因等。

例如，传感器设备附接到每个负载，并且每个传感器设备在运输期间周期性地检测每个负载的温度、湿、冲击等，并且在其中累加检测到的传感器数据。然后，在每个负载到达其目的地的情况下，附接到负载的传感器设备将每个累加的传感器数据连同包括每个传感器数据的累加时间信息的传输所需时间信息一起发送到目的地接收器。然后，基于传感器数据和传输所需时间，检测在运输期间货物发生的事件及事件发生时间。

例如，传感器设备附接到患者，并且传感器设备周期性地检测患者的生命体征并在其中累加检测到的传感器数据。当传感器设备靠近接收器时，传感器设备将每个累加的传感器数据与包括每个传感器数据的累加时间的传输所需时间信息一起发送到接收器。然后，基于传感器数据和传输所需时间，检测患者的每个事件及事件发生时间。

<其他修改示例>

上述各个装置和系统的功能共享是示例性的，并且可以适当地修改。例如，可以在运动识别器中设置图15中的学习处理单元251、图42中的呈现控制单元631、或图47中的分析处理单元731的一些或全部功能。

此外，例如，用户可以佩戴运动识别器。在这种情况下，可以集成运动识别器和可穿戴传感器。

<<9.其他>>

上述一系列处理可以由硬件或软件执行。在由软件执行一系列处理的情况下，构成软件的程序被安装在计算机(例如，信息处理装置220)中。这里，计算机的示例包括结合在专用硬件中的计算机，以及能够通过安装各种程序来执行各种功能的通用个人计算机。

应当注意，要由计算机执行的程序可以是以在本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行地或以所需的定时(例如当进行呼叫时)执行处理的程序。

在本说明书中，系统意味着一组多个组件(设备，模块(部件)等)，并且对所有组件是否在同一壳体中没有限制。因此，容纳在分开的壳体中并经由网络耦接的多个设备，以及容纳在一个壳体中的多个模块每个都是系统。

此外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的要旨的情况下以多种方式进行修改。

例如，本技术可以具有云计算的配置，其中一个功能由多个装置经由网络共同共享和处理。

此外，除了由一个装置执行之外，上述流程图中描述的每个步骤可以由多个设备共享和执行。

此外，在一个步骤中包括多条处理的情况下，除了由一个装置执行之外，在一个步骤中包括的多条处理可以由多个设备共享和执行。

<配置组合的示例>

本技术可以具有以下配置。

(1)

一种信息处理装置，包括：

运动识别部，基于多个检测数据来识别对象的运动，多个检测数据指示由多个传感器装置在多个检测位置处检测到的对象的多个检测位置的相应活动；以及

输出控制部，控制用于控制与对象的运动相对应的处理的控制数据的输出。

(2)

根据(1)的信息处理装置，其中

对象包括人，并且

运动包括构成人的动作的单位活动。

(3)

根据(2)的信息处理装置，其中，检测位置包括人的头部、躯干、左手、右手、左脚和右脚中的两个或两个以上。

(4)

根据(2)或(3)的信息处理装置，还包括呈现控制单元，呈现控制单元基于控制数据来控制人的表演的呈现。

(5)

根据(4)的信息处理装置，其中，程序控制单元基于转变前的运动和转变后的运动的组合来选择呈现内容。

(6)

根据(2)至(5)中任一项的信息处理装置，还包括分析部，分析部基于控制数据对人的动作进行分析。

(7)

根据(6)的信息处理装置，还包括用户界面控制部，用户界面控制部控制人的动作的分析结果的呈现。

(8)

根据(1)至(7)中任一项的信息处理装置，其中，运动识别部基于检测位置之间的运动关系来识别对象的运动。

(9)

根据(1)至(8)中任一项的信息处理装置，还包括接收部，接收部执行与传感器装置中的每一个的近场通信并且接收多个检测数据。

(10)

根据(9)的信息处理装置，还包括通信控制部，通信控制部请求传感器装置依次发送相应检测数据。

(11)

根据(9)或(10)的信息处理装置，其中，传感器装置与信息处理装置之间的相应检测数据的重传次数是可变的。

(12)

根据(1)至(11)中任一项的信息处理装置，其中，控制数据包括对象的运动识别的结果和关于与对象的运动相对应的处理的控制信息中的至少一个。

(13)

根据(1)至(12)中任一项的信息处理装置，其中，运动识别部使用识别模型来识别对象的运动。

(14)

根据(13)的信息处理装置，其中，使用学习数据来学习识别模型，在学习数据中，检测位置的相应检测数据部分丢失。

(15)

根据(13)或(14)的信息处理装置，还包括学习识别模型的学习部。

(16)

根据(15)的信息处理装置，其中，学习部通过对相应检测位置赋予权重来学习识别模型。

(17)

根据(1)至(16)中任一项的信息处理装置，其中，信息处理装置附接到对象。

(18)

根据(17)的信息处理装置，包括多个传感器装置中的一个，其中，信息处理装置附接到多个检测位置中的一个。

(19)

一种信息处理方法，包括使信息处理装置：

基于多个检测数据来识别对象的运动，多个检测数据指示由多个传感器装置在多个检测位置处检测到的对象的多个检测位置的相应活动，并且

控制用于控制与对象的运动相对应的处理的控制数据的输出。

(20)

一种使计算机执行处理的程序，该处理包括：

运动识别步骤，基于多个检测数据来识别对象的运动，多个检测数据指示由多个传感器装置在多个检测位置处检测到的对象的多个检测位置的相应活动；并且

输出控制步骤，控制用于控制与对象的运动相对应的处理的控制数据的输出。

[附图标记列表]

100 运动识别系统

101 可穿戴传感器

102 运动识别器

139 传感器数据获取部

144 分组生成部

145 传输控制部

161 接收部

165 运动识别部

166 传输控制部

167 传输部

200 学习系统

201 学习处理器

220 信息处理装置

221 CPU

229 通信单元

265 学习数据生成部

266 学习部

267 UI控制部

300 运动识别系统

301 可穿戴传感器

302 运动识别器

331 分组生成部

334 传输控制部

361 通信控制部

400 运动识别系统

401 可穿戴传感器

402 运动识别器

432 所需时间估计部

433 分组生成部

462 检测时间计算部

501 中继器

531 接收部

534 所需时间估计部

535 分组更新部

536 传输控制部

537 传输部

600 呈现系统

601 运动识别系统

605 呈现控制器

631 呈现控制单元

645 场景生成部

646 声控部

647 图像控制部

648 照明控制部

700 分析系统

701 分析处理器

731 图像处理单元

741 分析部

742 UI控制部。

Claims (17)

1.一种信息处理装置，包括：

运动识别部，基于多个运动检测数据来识别对象的运动，所述多个运动检测数据指示由多个传感器装置在多个检测位置处检测到的所述对象的各个所述检测位置的活动；

输出控制部，控制控制数据的输出，所述控制数据用于控制与所述对象的所述运动相对应的处理，其中

所述对象包括人，并且

所述运动是构成所述人的动作的活动单位，

呈现控制单元，基于所述控制数据来控制所述人的表演的呈现，

所述呈现控制单元基于转变前的运动和所述转变后的运动的组合来选择呈现内容；

所需时间估计部，估计所述运动检测数据到达所述运动识别部所需的第一所需时间；其中，所述第一所需时间至少是分组生成时段和分组传输时段之和，所述分组生成时段是从检测到所述对象的各个所述检测位置的活动的时间到生成包括与检测到的活动相对应的所述运动检测数据的通信分组的时间所需的时间，所述分组传输时段是从所述通信分组的生成到所述通信分组到达所述运动识别部所需的时间；以及

传输部，将所述运动检测数据和包括所述第一所需时间的所需时间信息发送到所述运动识别部。

2.根据权利要求1所述的信息处理装置，其中，所述检测位置包括所述人的头部、躯干、左手、右手、左脚和右脚中的两种以上。

3.根据权利要求1所述的信息处理装置，还包括基于所述控制数据对所述人的所述动作进行分析的分析部。

4.根据权利要求3所述的信息处理装置，还包括控制所述人的所述动作的分析结果的呈现的用户界面控制部。

5.根据权利要求1所述的信息处理装置，其中，所述运动识别部基于所述检测位置之间的运动关系来识别所述对象的所述运动。

6.根据权利要求1所述的信息处理装置，还包括接收部，所述接收部与各所述传感器装置进行近场通信并且接收所述检测数据。

7.根据权利要求6所述的信息处理装置，还包括请求各个所述传感器装置依次发送所述检测数据的通信控制部。

8.根据权利要求6所述的信息处理装置，其中，所述传感器装置与所述信息处理装置之间的所述检测数据的重传次数是可变的。

9.根据权利要求1所述的信息处理装置，其中，所述控制数据包括所述对象的运动识别的结果和关于与所述对象的所述运动相对应的所述处理的控制信息中的至少一者。

10.根据权利要求1所述的信息处理装置，其中，所述运动识别部使用识别模型来识别所述对象的所述运动。

11.根据权利要求10所述的信息处理装置，其中，使用学习数据来学习所述识别模型，在所述学习数据中，各个所述检测位置的所述检测数据部分地丢失。

12.根据权利要求10所述的信息处理装置，还包括学习所述识别模型的学习部。

13.根据权利要求12所述的信息处理装置，其中，所述学习部通过对各个所述检测位置赋予权重来学习所述识别模型。

14.根据权利要求1所述的信息处理装置，其中，所述信息处理装置附接到所述对象。

15.根据权利要求14所述的信息处理装置，包括所述多个传感器装置中的一个，其中，

所述信息处理装置附接到所述多个检测位置中的一个。

16.一种信息处理方法，包括通过信息处理装置执行的以下步骤：

通过运动识别部基于多个检测数据来识别对象的运动，所述多个检测数据指示由多个传感器装置在多个检测位置处检测到的所述对象的各个所述检测位置的活动，

控制控制数据的输出，所述控制数据用于控制与所述对象的所述运动相对应的处理，其中所述对象包括人，并且所述运动是构成所述人的动作的活动单位，

基于所述控制数据来控制所述人的表演的呈现，并且

基于转变前的运动和所述转变后的运动的组合来选择呈现内容；

估计所述检测数据到达所述运动识别部所需的第一所需时间；其中，所述第一所需时间至少是分组生成时段和分组传输时段之和，所述分组生成时段是从检测到所述对象在各个所述检测位置的活动的时间到生成包括与检测到的活动相对应的所述检测数据的通信分组的时间所需的时间，所述分组传输时段是从所述通信分组的生成到所述通信分组到达所述运动识别部所需的时间；以及

将所述检测数据和包括所述第一所需时间的所需时间信息发送到所述运动识别部。

17.一种存储程序的存储介质，所述程序使计算机执行处理，所述处理包括：

运动识别步骤，通过运动识别部基于多个检测数据来识别对象的运动，所述多个检测数据指示由多个传感器装置在多个检测位置处检测到的所述对象的各个所述检测位置的活动；

输出控制步骤，控制控制数据的输出，所述控制数据用于控制与所述对象的所述运动相对应的处理，其中所述对象包括人，并且所述运动是构成所述人的动作的活动单位，

控制呈现步骤，基于所述控制数据来控制所述人的表演的呈现，

选择步骤，基于转变前的运动和所述转变后的运动的组合来选择呈现内容；

估计所需时间步骤，估计所述检测数据到达所述运动识别部所需的第一所需时间；其中，所述第一所需时间至少是分组生成时段和分组传输时段之和，所述分组生成时段是从检测到所述对象在各个所述检测位置的活动的时间到生成包括与检测到的活动相对应的所述检测数据的通信分组的时间所需的时间，所述分组传输时段是从所述通信分组的生成到所述通信分组到达所述运动识别部所需的时间；以及

传输步骤，将所述检测数据和包括所述第一所需时间的所需时间信息发送到所述运动识别部。

Images