CN111315453B - 信息处理设备、信息处理方法及程序 - Google Patents

Abstract

本技术涉及适合于适当地识别用户的动作的节奏的信息处理设备、信息处理方法及程序。信息处理设备设置有动作节奏识别单元，其基于由传感器设备在包括用户身体躯干上的至少一个部分的一个或多个检测位置处检测到的指示动作的检测数据来识别指示用户的动作的节奏的动作节奏。本技术例如可以应用于呈现表演的呈现系统。

Description

信息处理设备、信息处理方法及程序

技术领域

本技术涉及一种信息处理设备、信息处理方法及程序，并且特别地，涉及一种适用于在识别用户的动作节奏的情况下使用的信息处理设备、信息处理方法及程序。

背景技术

在现有技术中，提出了一种系统，在该系统中，基于来自多个用户中的每一个所穿戴的传感器的运动信息来评估每一个用户的运动节奏、计算每一个用户的运动节奏与基本运动节奏之间的差异以及用户之间的运动节奏的差异、并将结果反馈给用户。此外，已经提出了利用节拍(例如，每分钟的节拍数：BPM)作为运动节奏(例如，参见专利文献1)。

引文目录

专利文献

专利文献1：日本专利申请特开2011-87794号

发明内容

通过本发明要解决的问题

然而，用户的动作节奏通常不是像音乐的节拍那样单调的节奏，而是更加复杂。因此，存在不能用每单位时间的节拍数适当地表示用户的动作的节奏的情况。

本技术是考虑到这种情况而制定的，并且旨在使用户的动作的节奏能够被适当地识别。

问题的解决方案

根据本技术的一个方面，提供了一种信息处理设备，包括动作节奏识别单元，该动作节奏识别单元被配置为基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示用户的动作的节奏的动作节奏，该检测数据指示检测位置的动作。

根据本技术的一个方面，提供了一种信息处理方法，包括通过信息处理设备，基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示用户的动作的节奏的动作节奏，该检测数据指示检测位置的动作。

根据本技术的一个方面，提供了一种程序，以用于使计算机基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来执行识别指示用户的动作的节奏的动作节奏的处理，该检测数据指示检测位置的动作。

在本技术的一个方面中，基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示用户的动作的节奏的动作节奏，该检测数据指示检测位置的动作。

本发明的效果

根据本技术的一个方面，可以适当地识别用户的动作的节奏。此外，根据本技术的一个方面，可以适当地利用用户的动作的节奏。

注意，这里所描述的有利效果不一定是限制性的，并且可以获得本公开中所描述的任何有利效果。

附图说明

图1是示出应用了本技术的呈现系统的硬件的配置示例的框图。

图2是示出可穿戴传感器穿戴的位置的示例的视图。

图3是示出可穿戴传感器穿戴的位置的示例的视图。

图4是示出应用了本技术的呈现系统的功能的配置示例的框图。

图5是示出可穿戴传感器的配置示例的框图。

图6是指示设置在可穿戴传感器处的传感器的规格的示例的表格。

图7是用于说明可穿戴传感器的处理的流程图。

图8是示出通信分组的格式的示例的视图。

图9是指示动作检测数据的配置示例的表格。

图10是用于说明动作分析处理的流程图。

图11是用于说明音乐的节拍和动作节奏之间的差异的视图。

图12是用于说明用于生成动作节奏识别模型的方法的示例的视图。

图13是示出舞蹈的技巧的示例的视图。

图14是示出舞蹈的技巧的示例的视图。

图15是用于说明用于生成动作识别模型的方法的示例的视图。

图16是用于示出用于通知动作类型的定时的示例的视图。

图17是用于说明呈现控制处理的流程图。

图18是指示呈现方法的具体示例的表格。

图19是示出应用了本技术的同步评估系统的功能的配置示例的框图。

图20是用于说明同步评估处理的流程图。

图21是用于说明同步程度的检测方法的第一示例的视图。

图22是用于说明同步程度的检测方法的第二示例的视图。

图23是用于说明同步程度的检测方法的第二示例的视图。

图24是示出应用了本技术的成像系统的第一实施例的硬件的配置示例的框图。

图25是示出应用了本技术的成像系统的第一实施例的功能的配置示例的框图。

图26是用于说明成像控制处理的流程图。

图27是用于说明显示控制处理的流程图。

图28是示出显示画面的第一示例的视图。

图29是示出显示画面的第二示例的视图。

图30是示出显示画面的第三示例的视图。

图31是示出应用了本技术的成像系统的第二实施例的功能的配置示例的框图。

图32是用于说明成像控制处理的流程图。

图33是用于说明显示控制处理的流程图。

图34是示出显示画面的第四示例的视图。

图35是示出显示画面的第五示例的视图。

图36是示出显示画面的第六示例的视图。

图37是示出应用了本技术的音乐推荐系统的一个实施例的框图。

图38是用于说明音乐推荐处理的流程图。

图39是示出计算机的配置示例的视图。

具体实施方式

下面将描述用于实现本技术的实施例。将按以下顺序提供描述。

1.第一实施例(呈现系统)

2.第二实施例(同步评估系统)

3.第三实施例(成像系统)

4.第四实施例(成像系统)

5.第五实施例(音乐推荐系统)

6.修改实例

7.其他

<<1.第一实施例>>

首先，将参考图1至图18描述本技术的第一实施例。

<呈现系统的硬件配置示例>

图1示出应用了本技术的呈现系统100的硬件的配置示例。

呈现系统100是分析用户的动作并基于分析结果呈现用户的表演的系统。

注意，要呈现的表演类型没有特别地限制。例如，要呈现戏剧、音乐、舞蹈等的表演。

呈现系统100包括可穿戴传感器101-1至101-5、分析计算机102、控制计算机103以及呈现设施104。

注意，在以下描述中，在不需要单独区分可穿戴传感器101-1至101-5的情况下，它们将被简单地称为可穿戴传感器101。

各个可穿戴传感器101是在用户的不同位置(下文，称为检测点或检测位置)处穿戴并检测各个检测点处的动作的传感器设备。各个可穿戴传感器101将包括指示各个检测点处的动作的检测结果的动作检测数据的通信分组发送至分析计算机102。

分析计算机102基于来自各个可穿戴传感器101的动作检测数据来分析用户的动作。分析计算机102将指示用户的动作的分析结果的数据发送至控制计算机103。

控制计算机103基于用户的动作的分析结果来通过呈现设施104控制用户表演的呈现。例如，控制计算机103生成用于控制呈现设施104的呈现的呈现控制数据，并将该呈现控制数据发送至呈现设施104。

呈现设施104基于呈现控制数据来呈现用户的表演。

注意，在每一个可穿戴传感器101和分析计算机102之间的通信中，例如，采用任意的低延迟近场通信方案。通过采用近场通信，可以降低可穿戴传感器101的功耗且使可穿戴传感器101的尺寸更小。

在分析计算机102和控制计算机103之间的通信中，例如采用任意的无线通信或有线通信的方案。

在控制计算机103和呈现设施104之间的通信中，例如采用任意的无线通信或有线通信的方案。

此外，例如分析计算机102和控制计算机103可以由一个装置构成。

<每一个可穿戴传感器101穿戴的位置的示例>

图2和图3示意性地示出各可穿戴传感器101被穿戴的位置(检测点)的示例。

图2示出可穿戴传感器101的最小配置的示例。具体地，图2示出用户仅穿戴一个可穿戴传感器101的情况下的示例。

将在稍后描述的动作分析中，存在通过检测诸如用户的头部和腰部的身体躯干的动作来改善分析准确性的实验结果。因此，在用户仅穿戴一个可穿戴传感器101的情况下，期望可穿戴传感器101穿戴在用户的身体躯干上。

例如，在图2中的A中，可穿戴传感器101-1穿戴在用户的头部上，并检测用户的头部的动作。在图2中的B中，可穿戴传感器101-6穿戴在用户的腰部上，并检测用户的腰部的动作。即，通过可穿戴传感器101-1或可穿戴传感器101-6检测用户的身体躯干的动作、重心、姿态等。

例如，在舞蹈中，基本上，节奏通常是通过身体躯干的上下动作来保持。因此，例如，在动作分析中仅执行将在稍后描述的动作节奏的识别的情况下，如图2中的A或B所示，用户仅需要在身体躯干的一个部分上穿戴可穿戴传感器101。

图3示出用户除了身体躯干之外也在手和脚处穿戴可穿戴传感器101，从而可以捕获用户的整个身体的动作的示例。注意，用户不一定需要在所有的手和脚处穿戴可穿戴传感器101，而是例如，用户可以仅在手或仅在脚处穿戴可穿戴传感器101。

在图3中的A中，与图2中的A相比较，用户另外在用户的两个手腕和两个脚踝处穿戴可穿戴传感器101-2至101-5。

可穿戴传感器101-2穿戴在用户的左手腕上，并检测左手腕的动作。可穿戴传感器101-3穿戴在用户的右手腕上，并检测右手腕的动作。即，通过可穿戴传感器101-2和可穿戴传感器101-3检测用户的两个手的动作、手腕的扭动等。

可穿戴传感器101-4穿戴在用户的左脚踝上，并检测左脚踝的动作。可穿戴传感器101-5穿戴在用户的右脚踝上，并检测右脚踝的动作。即，通过可穿戴传感器101-4和可穿戴传感器101-5检测用户的双脚的动作、步伐等。

此外，基于用户的躯干、两个手和两个脚的动作的相互关系来分析用户的动作。

在图3中的B中，与图2中的B相比较，可穿戴传感器101-4和可穿戴传感器101-5另外穿戴在用户的两个脚踝上。即，通过可穿戴传感器101-4和可穿戴传感器101-5检测用户的两个脚的动作、踏步等。

此外，基于用户的身体躯干和两个脚的动作的相互关系来分析用户的动作。

注意，在图2和图3中可穿戴传感器101的数量和可穿戴传感器101穿戴的位置是示例，且根据动作分析的用途、准确性等而适当地改变。

例如，可穿戴传感器101可以穿戴在作为用户的身体躯干上的部分的背面上。此外，可穿戴传感器101可以穿戴在用户的身体躯干上的两个或多个部分上。

注意，通常地，随着所穿戴的可穿戴传感器101的数量增加，在改善了动作分析的准确性的同时，用户的负荷增加。同时，随着所穿戴的可穿戴传感器101的数量减小，在用户的负荷变小的同时，动作分析的精确度下降。

注意，假设很少在诸如肘部和膝部的中间关节保持节奏。因此，认为腰部、头部、两个手、两个脚的最多六个部分(以及手指，如果需要的话)足够作为穿戴可穿戴传感器101的部分。

此外，可穿戴传感器101的穿戴方法没有特别地限制。例如，使用带、腰带、支撑件、胶带、夹子等。注意，期望使每一个可穿戴传感器101的穿戴位置的移动范围最小化至不妨碍用户的动作或不给用户提供不适感的程度，从而可以高准确度地检测每一个检测点的动作。

注意，如图1和图3中的A所示，下面将描述在可穿戴传感器101-1至101-5穿戴在用户的头部、两个手以及两个脚的情况下的示例。

<呈现系统功能配置示例>

图4示出呈现系统100的功能的配置示例。

呈现系统100包括可穿戴传感器101-1至101-5、通信单元151、传感器同步单元152、动作分析单元153、呈现控制单元154、照明设施155、视频设施156以及音频设施157。

通信单元151从各个可穿戴传感器101接收通信分组，并将通信分组提供给传感器同步单元152。

传感器同步单元152通过使包括在来自各个可穿戴传感器101的通信分组中的动作检测数据同步，来吸收各个检测点处的动作检测数据的时间差。传感器同步单元152将实现了同步之后的各个动作检测数据提供给动作分析单元153。

动作分析单元153例如由图1中的分析计算机102实现，并且分析用户的动作。动作分析单元153包括动作节奏识别单元161、每分钟动作节拍(BPM)识别单元162以及动作识别单元163。

动作节奏识别单元161基于来自各个可穿戴传感器101的动作检测数据来执行识别指示用户的动作的节奏的动作节奏的处理。动作节奏识别单元161将指示用户的动作节奏的识别结果的数据提供给呈现控制单元154。

动作BPM识别单元162基于来自各个可穿戴传感器101的动作检测数据来执行识别指示用户的动作的基本频率的动作BPM的处理。动作BPM识别单元162将指示用户的动作BPM的识别结果的数据提供给呈现控制单元154。

动作识别单元163基于来自各个可穿戴传感器101的动作检测数据来执行识别用户的动作的处理。动作识别单元163将指示用户的动作的识别结果的数据提供给呈现控制单元154。

呈现控制单元154例如由图1中的控制计算机103实现，并且由照明设施155、视频设施156以及音频设施157来控制用户的表演的呈现。呈现控制单元154包括照明控制单元171、视频控制单元172以及音频控制单元173。

照明控制单元171基于用户的动作节奏、动作BPM、动作等来生成照明呈现控制数据，以用于控制照明设施155的呈现，并且将照明呈现控制数据发送至照明设施155。

视频控制单元172基于用户的动作节奏、动作BPM、动作等来生成视频呈现控制数据，以用于控制视频设施156的呈现，并且将视频呈现控制数据发送至视频设施156。

音频控制单元173基于用户的动作节奏、动作BPM、动作等来生成音频呈现控制数据，以用于控制音频设施157的呈现，并且将音频呈现控制数据发送至音频设施157。

照明设施155例如由各种光、光源等构成。照明设施155基于照明产生控制数据，通过在照明控制单元171的控制下输出各种光来执行照明呈现。

视频设施156例如由投影仪、监视器等构成。视频设施156基于视频呈现控制数据，通过在视频控制单元172的控制下输出各种视频来呈现视频。

音频设施157例如由混频器、扬声器等构成。音频设施157基于音频呈现控制数据，通过在音频控制单元173的控制下输出各种声音来呈现音频。

<可穿戴传感器101的配置示例>

图5示出图1中的可穿戴传感器101的配置示例。此外，图6示出可穿戴传感器101的各个传感器的规格的示例。

可穿戴传感器101包括高动态范围(HDR)加速度传感器201、低动态范围(LDR)加速度传感器202、高动态范围(HDR)陀螺仪传感器203、低动态范围(LDR)陀螺仪传感器204、地磁传感器205、应变传感器206、大气压力传感器207、时间信息获取单元208、传感器数据获取单元209、合并处理单元210、姿态检测单元211、校正单元212、缓冲器213、分组生成单元214、发送控制单元215以及发送单元216。

HDR加速度传感器201在穿戴可穿戴传感器101的位置(检测点)处检测俯仰轴(x轴)、翻滚轴(y轴)以及偏航轴(z轴)的三轴方向上的加速度。例如，HDR加速度传感器201以1024Hz的采样频率对检测点处的加速度进行采样，并且输出16比特×3轴的传感器数据(下文，称为HDR加速度数据)。

LDR加速度传感器202检测在检测点处的俯仰轴、翻滚轴以及偏航轴的三轴方向上的加速度。例如，LDR加速度传感器202以1024Hz的采样频率对检测点处的加速度进行采样，并且输出16比特×3轴的传感器数据(下文，称为LDR加速度数据)。

注意，可以由HDR加速度传感器201检测到的加速度的动态范围比可以由LDR加速度传感器202检测到的加速度的动态范围更宽。例如，HDR加速度传感器201输出±32G的传感器数据，而LDR加速度传感器202输出±16G的传感器数据。

HDR陀螺仪传感器203检测围绕检测点的俯仰轴、滚动轴以及偏航轴的三个轴的角速度。例如，HDR陀螺仪传感器203以1024Hz的采样频率对检测点处的角速度进行采样，并且输出16比特×3轴的传感器数据(下文，称为HDR角速度数据)。

LDR陀螺仪传感器204检测围绕检测点的俯仰轴、滚动轴以及偏航轴的三个轴的角速度。例如，LDR陀螺仪传感器204以1024Hz的采样频率对检测点处的角速度进行采样，并且输出16比特×3轴的传感器数据(下文，称为LDR角速度数据)。

注意，可以由HDR陀螺仪传感器203检测到的加速度的动态范围比可以由LDR陀螺仪传感器204检测到的角速度的动态范围更宽。例如，HDR陀螺仪传感器203输出±4000dps的传感器数据，而LDR陀螺仪传感器204输出±2000dps的传感器数据。

地磁传感器205检测在围绕检测点的俯仰轴、滚动轴以及偏航轴的三轴方向上的地磁。例如，地磁传感器205以128Hz的采样频率对围绕检测点的地磁进行采样，并且输出16比特×3轴的传感器数据(下文，称为地磁数据)。

应变传感器206检测在围绕检测点的俯仰轴和滚动轴的两个轴方向上的应变(诸如例如，检测点的伸缩)。例如，应变传感器206以256Hz的采样频率对检测点的应变进行采样，并且输出16比特×2轴的传感器数据(下文，称为应变数据)。

大气压力传感器207检测围绕检测点的大气压力。例如，基于围绕检测点的大气压力来检测高度方向上的检测点的位置。例如，大气压力传感器207以128Hz的采样频率对围绕检测点的大气压力进行采样，并且输出24比特的传感器数据(下文，称为大气压力数据)。

时间信息获取单元208由例如时钟等构成，获取指示当前时间的时间信息，并且将该时间信息提供给传感器数据获取单元209。

传感器数据获取单元209分别从HDR加速度传感器201、LDR加速度传感器202、HDR陀螺仪传感器203以及LDR陀螺仪传感器204获取HDR加速度数据、LDR加速度数据、HDR角速度数据以及LDR角速度数据，将所获取的时间添加至所获取的数据，并且将数据提供给合并处理单元210。此外，传感器数据获取单元209从地磁传感器205获取地磁数据，将所获取的时间添加至所获取的数据，并且将数据提供给姿态检测单元211。另外，传感器数据获取单元209分别从应变传感器206和大气压力传感器207获取应变数据和大气压力数据，将所获取的时间添加至所获取的数据，并且将数据提供给校正单元212。

合并处理单元210执行合并HDR加速度数据与LDR加速度数据的处理，以及合并HDR角速度数据与LDR角速度数据的处理。合并处理单元210将合并后的加速度数据和角速度数据提供给姿态检测单元211和缓冲器213。

姿态检测单元211基于加速度数据、角速度数据以及地磁数据来检测检测点的姿态。检测点的姿态例如由欧拉角表示。姿态检测单元211将指示计算结果的数据(下文，称为姿态数据)提供给缓冲器213。

校正单元212校正应变数据和大气压力数据，并且将校正后的应变数据和大气压力数据提供给缓冲器213。

缓冲器213暂时性地累积姿态数据、加速度数据、角速度数据、应变数据以及大气压力数据。

分组生成单元214生成用于发送动作检测数据的通信分组，该动作检测数据包括缓冲器213中所累积的姿态数据、加速度数据、角速度数据、应变数据以及大气压力数据，并且将该通信分组提供给发送控制单元215。

发送控制单元215控制发送单元216的通信分组的发送。

发送单元216使用无线通信的预定方案将通信分组发送至通信单元151。

注意，虽然省略了图示，但是可穿戴传感器101的各个单元例如由电池驱动。

<呈现系统的处理>

之后，将参考图7至图18描述呈现系统100的处理。

<可穿戴传感器101的处理>

将首先参考图7所示的流程图描述可穿戴传感器101的处理。

该处理例如在可穿戴传感器101通电时开始，而在可穿戴传感器101断电时结束。

在步骤S1中，传感器数据获取单元209开始获取传感器数据。

具体地，传感器数据获取单元209开始以下处理：从HDR加速度传感器201、LDR加速度传感器202、HDR陀螺仪传感器203以及LDR陀螺仪传感器204分别获取HDR加速度数据、LDR加速度数据、HDR角速度数据以及LDR角速度数据，将所获取的时间添加至所获取的数据，并且将数据提供给合并处理单元210。此外，传感器数据获取单元209开始以下处理：从地磁传感器205获取地磁数据，将所获取的时间添加至所获取的数据，并且将数据提供给姿态检测单元211。另外，传感器数据获取单元209开始以下处理：分别从应变传感器206和大气压力传感器207获取应变数据和大气压力数据，将所获取的时间添加至所获取的数据，并且将数据提供给校正单元212。

在步骤S2中，合并处理单元210开始合并处理加速度数据和角速度数据。

具体地，合并处理单元210开始以下处理：合并(合成)HDR加速度数据和LDR加速度数据，将合并后的加速度数据提供给缓冲器213，并且使数据累积。

注意，在合并后的加速度数据当中，当数据在LDR加速度数据的动态范围内时，使用基于LDR加速度数据的数据，而当数据在其他范围内时，使用基于HDR加速度数据的数据。通过这种方式，在合并后的加速度数据中改善了LDR加速度数据的动态范围内的加速度的检测准确度。

此外，合并处理单元210开始以下处理：合并(合成)HDR角速度数据和LDR角速度数据，将合并后的角速度数据提供给缓冲器213，并使数据累积。

注意，在合并后的角速度数据当中，当数据在LDR角速度数据的动态范围内的数据时，使用基于LDR角速度数据的数据，而当数据在其他范围内时，使用基于HDR角速度数据的数据。通过这种方式，在合并后的角速度数据中改善了LDR角速度数据的动态范围内的角速度的检测准确度。

在步骤S3中，姿态检测单元211开始检测姿态。具体地，姿态检测单元211开始基于加速度数据、角速度数据以及地磁数据来检测围绕指示检测点的姿态的俯仰轴、滚动轴以及偏航轴的三个轴的欧拉角的处理。此外，姿态检测单元211开始将指示检测结果的姿态数据提供给缓冲器213并使该数据累积的处理。

在步骤S4中，校正单元212开始校正应变数据和大气压力数据。例如，校正单元212开始应变数据和大气压力数据的噪声去除，以及数据大小的转换等的处理。此外，校正单元212开始将校正后的应变数据和大气压力数据提供给缓冲器213并使数据存储的处理。

在步骤S5中，分组生成单元214确定是否是发送通信分组的定时。重复执行该确定处理，直到确定了是发送通信分组的定时为止，并且在确定是发送通信分组的定时的情况下，处理进行到步骤S6。

注意，例如，以预定间隔发送通信分组。例如，以128Hz(即，128次/秒)的发送频率发送通信分组。在这种情况下，包括在通信分组中的动作检测数据的采样频率变为128Hz。

在步骤S6中，分组生成单元214生成通信分组。例如，分组生成单元214从缓冲器213读出最新的姿态数据、加速度数据、角速度数据、应变数据以及大气压力数据。此外，分组生成单元214从时间信息获取单元138获取指示当前时间的时间信息。然后，分组生成单元214生成包括从缓冲器213读出的姿态数据、加速度数据、角速度数据、应变数据以及大气压力数据的通信分组。

图8示出由分组生成单元214生成的通信分组的格式的示例。通信分组包括报头、时间戳以及动作检测数据。

在时间戳处，例如设置获取传感器数据的时间。注意，例如，将在通信分组内的用于动作检测数据的各个传感器数据的获取时间当中的最早的时间设置为获取传感器数据的时间。此外，例如，在包括在动作检测数据中的各个数据的获取定时不同的情况下，可以针对每一个数据将时间戳(获取传感器数据的时间)存储在通信分组中。在这种情况下，通信分组的格式变为例如报头、时间戳1、包括在动作检测数据中的数据1(例如，姿态数据)、时间戳2、包括在动作检测数据中的数据2(例如，加速度数据)……。

动作检测数据包括从缓冲器213读出的姿态数据、加速度数据、角速度数据、应变数据以及大气压力数据。注意，例如使用预定方案加密动作检测数据。

图9示出包括在动作检测数据中的各个数据的规格的示例。

姿态数据的大小被设置为例如16比特×3轴。在通信分组的发送频率为128Hz的情况下，姿态数据的采样频率变为128Hz、比特率变为6144比特每秒(bps)。

加速度数据的大小被设置为例如20比特×3轴。在通信分组的发送频率为128Hz的情况下，加速度数据的采样频率变为128Hz、比特率变为7680bps。

角速度数据的大小被设置为例如20比特×3轴。在通信分组的发送频率为128Hz的情况下，角速度数据的采样频率变为128Hz、比特率变为7680bps。

应变数据的大小被设置为例如16比特×2轴。在通信分组的发送频率为128Hz的情况下，应变数据的采样频率变为128Hz、比特率变为4096bps。

大气压力数据的大小被设置为例如24比特。在通信分组的发送频率为128Hz的情况下，大气压力数据的采样频率变为128Hz、比特率变为2048bps。

分组生成单元214将通信分组提供给发送控制单元215。此外，分组生成单元214从缓冲器213中删除要使用通信分组发送的各个数据和早于该数据的数据。

在步骤S7中，发送单元216在发送控制单元215的控制下将通信分组发送至通信单元151。

此后，处理返回到步骤S5，并且执行步骤S5以及后续步骤中的处理。

<动作分析处理>

之后将参考图10中的流程图描述要由动作分析单元153执行的要以与图7中的可穿戴传感器101的处理相对应地执行的动作分析处理。

该处理例如在分析计算机102通电时开始，而在分析计算机102断电时结束。

在步骤S31中，动作分析单元153开始动作分析。

具体地，动作节奏识别单元161例如使用通过预先的学习处理而获得的动作节奏识别模式，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，开始识别用户的动作节奏的处理。

例如，动作节奏识别单元161开始检测用户保持动作节奏(动作节奏)的定时的处理。

注意，图11简单地说明音乐的节拍与动作节奏之间的差异。上面的图例指示音乐的节拍的示例，而下面的图例指示动作节奏的示例。

音乐的节拍以基本规则的间隔有规律地拍打，在同一音乐内几乎没有变化。同时，虽然动作节奏通常与音乐的节拍同步(进入音乐的节拍)，但动作节奏也通常保持在与节拍不同且不能从音乐中知道的任意定时。

例如，动作节奏由用户的动作的重音表示。此外，用户的动作的重音例如由用户的动作的方向、速度以及模式的变化来表达。例如，在舞蹈中保持动作节奏的动作存在以下几个示例。

-上下移动身体躯干或左右摆动

-暂时性地站着不动，保持姿势

-快速切换颈部、手或脚的运动方向

-转动

-定期移动双手

-踏步

-甩头

-扭动(do snap)

-用手指数

-快速移动

在上述动作中，方向、速度或模式改变的定时，例如，用户停止动作、改变动作方向或开始动作的定时，成为用户保持动作节奏的定时。

然而，在用户的动作的方向、速度和模式改变时，用户不一定在所有定时都保持动作节奏。例如，在甩头时，在头部上下摆动的同时，存在动作节奏保持在头部停止在上位置和下位置的两个定时的情况，或者存在动作节奏仅保持在其中的一个定时的情况。

此外，例如，动作节奏识别单元161开始计算用户保持动作节奏的间隔(动作节奏的触发间隔)的移动平均值。

此外，例如动作节奏识别单元161开始以下处理：检测指示用户的动作节奏的强度的节奏程度(用户的动作的节奏的强度)，并将指示所检测到的节奏程度的节奏程度数据提供给呈现控制单元154。节奏程度例如由用户的动作的重音的强度来表示。

这里，将参考图12描述用于生成动作节奏识别模型的方法的示例。

例如，穿戴各个可穿戴传感器101的用户在保持咔哒声的节奏的同时跳舞。即，用户在跳舞的同时使节奏保持在产生咔哒声的定时。咔哒声的间隔可以是恒定的或者不必是恒定的。然后，将咔哒声输入深度神经网络作为正确数据。即，将产生咔哒声的定时提供至至深度神经网络作为指示用户保持动作节奏的定时的正确数据。

同时，在具有预定样本(例如，x个样本)宽度的帧在时间轴方向上偏移的同时，以帧为单位提取每一个可穿戴传感器101的加速度数据(图中的Acc)的范数和角速度数据(图中的Gyro)的范数。然后，在所提取的帧内的每一个可穿戴传感器101的加速度数据的范数与角速度数据的范数之间实现同步，并且将实现同步之后的数据输入到深度神经网络。

这里，范数是加速度数据或角速度数据的矢量的大小。

此外，通过使用深度神经网络的学习处理来生成用于识别用户的动作节奏的动作节奏识别模型。

注意，虽然在该示例中描述了从动作节奏识别模型输出指示是否保持动作节奏的离散值1或0的的示例，但也可以输出节奏程度(连续值)。此外，例如可以从动作节奏识别模型输出识别结果的可靠性。

动作BPM识别单元162基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来开始识别用户的动作BPM的处理。

这里，动作BPM例如由用户的动作的基本频率表示。例如，检测加速度数据或角速度数据的基本频率作为动作BPM。例如，在用户通过上下移动他/她的身体来保持具有恒定周期的节奏的情况下，一次的上下移动与动作BPM的一个节拍相对应。

因此，动作节奏表示不规则地观察到的用户的动作，而动作BPM表示长时间观察到用户的动作时的周期性动作。

注意，典型的BPM是由音乐决定的。同时，在用户随着音乐跳舞的情况下，存在用户将音乐的BPM改变为双倍、1/2倍等，并且以该速度跳舞的情况。因此，即使用相同的音乐，用户的动作也会变快或变慢。因此，动作BPM不一定与音乐的BPM匹配，并且存在动作BPM可以在同一音乐内改变的情况。

动作识别单元163例如使用通过预先的学习处理而获得的动作识别模型，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，开始识别用户的动作的处理。

这里，将描述本技术中的动作的定义。注意，虽然在第一实施例中描述了呈现用户的表演的示例，但是本技术中的动作不限于与表演相关的动作。

具体地，动作例如是基于预定类别构成用户(人)的行为的动作单位。因此，该动作是在比行为更短的时段内的用户的动作。此外，该动作可以是用户的整个身体的动作，或者可以是用户的身体的一部分的动作。

同时，行为是基于预定类别而集合的一系列动作，并且包括多种类型动作的组合。例如，为实现预定目的而集合一系列动作成为行为。

注意，在本技术中，可以任意设置或改变行为和动作的类型。例如，基于诸如舞蹈、滑冰、橄榄球、铁人三项、游泳以及攀岩的运动的类型对要识别的动作的行为进行分类。在这种情况下，例如，可以将像全能体操那样组合多个类型的运动视为一种类型的行为。

此外，例如基于诸如通勤、驾驶、工作、学习、照顾孩子、睡觉、做饭、吃饭、看电视、唱歌、播放音乐以及捕获的日常生活中的行为来对要识别的动作的行为进行分类。

同时，例如，针对舞蹈的行为，基于诸如滑步(slide)、挺举(Jerking)以及跨步摆手(Biz Markie)的舞蹈中的技巧来对要识别的动作进行分类。可替代地，针对舞蹈的行为，基于诸如旋转、跳跃、步法、左右摆动以及上下晃动的舞蹈中的动作来对要识别的动作进行分类。注意，可以基于舞蹈的技巧和动作两者来对要识别的动作进行分类。

例如，针对花样滑冰的行为，基于诸如阿克塞尔(axel)、勾手(lutz)以及后内结环(salchow)的花样滑冰中的技巧来对要识别的动作进行分类。可替代地，针对花样滑冰的行为，基于诸如滑冰、旋转、跳跃以及步法的花样滑冰中的动作来对要识别的动作进行分类。注意，可以基于花样滑冰的技巧和动作两者来对要识别的动作进行分类。

例如，针对橄榄球的行为，基于诸如挣球(scrum)、try(达阵)、奔跑(run)、传球(pass)以及拦截(tackle)的特定于橄榄球的动作来对要识别的动作进行分类。可替代地，例如，针对橄榄球的行为，基于诸如奔跑、跳跃、掷球、接球、以及击球的典型的动作来对要识别的动作进行分类。注意，可以基于特定于橄榄球的动作和典型动作两者来对要识别的动作进行分类。

例如，针对游泳的行为，基于诸如自由泳、蛙泳，蝶泳以及仰泳的泳姿来对要识别的动作进行分类。可替代地，针对游泳的行为，基于诸如跳水、转身、呼吸以及踢腿的游泳的动作来对要识别的动作进行分类。注意，可以基于泳姿和游泳的动作两者来对要识别的动作进行分类。

例如，针对铁人三项的行为，基于游泳、自行车以及跑步的铁人三项的类型来对要识别的动作进行分类。

例如，针对全能体操的行为，基于诸如鞍马、自由体操以及吊环的体操的类型来对要识别的动作进行分类。

例如，针对通勤的行为，基于诸如步行、休息、乘坐火车以及爬楼梯的通勤期间的动作来对要识别的动作进行分类。

例如，针对驾驶的行为，基于诸如加速、制动、换档以及查看后方的驾驶期间的动作来对要识别的动作进行分类。

例如，针对工作的行为，基于诸如谈话、倾听、书写、呼叫、使用PC以及用会议的工作期间的动作来对要识别的动作进行分类。

注意，根据分类的差异，用户的同一动作可以为行为或动作。例如，铁人三项的各个项目(游泳、自行车以及跑步)可以为要单独识别动作的行为。即，存在将游泳、骑自行车以及跑步分类为行为，并且针对每种类型的行为执行识别动作的处理的情况。

此外，例如，除了用户的整个身体的动作之外，也可以将针对诸如脚的动作和手的动作的用户的每一个部分的动作设置为要识别的动作。

注意，动作识别单元163基本上识别用户的动作的类型(例如，动作的语义信息)，而不识别每种类型的动作的详细动作。

例如，在如图13和图14所示的用户跳舞的情况下，诸如双手叠交(popcorn)、滑步(slide)、侧身摆手(Lacoste)，曲肘跨步(Bart Simp-son)、用力推进(forcing)、脚交替(Brooklyn)、挺举(Jerking)、跨步摆手(Biz Markie)，蠕行(Worm)，前律动(front groove)和跳跃(jump)的个人技巧的类型被识别到。同时，个体技巧中的动作差异未被识别到。即，即使用户在改变手和脚的动作以及改变节奏的同时执行相同的舞蹈技巧，它们也被识别为相同的舞蹈技巧，且更多细节的差异未被识别到。

以这样的方式，通过基于预定类别来将识别限制为用户的动作的类型的识别，可以减少要穿戴的可穿戴传感器101的数量。结果，与在计算机图形(CG)等中使用的现有技术中的动作捕获系统相比，可以减少用户的负荷。例如，即使用户穿戴可穿戴传感器101，用户也可以基本上如平常一样移动，而在动作上几乎没有限制。

注意，也可以根据需要识别每种类型的动作的详细动作。

这里，将参考图15描述用于生成动作识别模型的方法的示例。

例如，穿戴每一个可穿戴传感器101的用户做出各种要识别的动作。然后，将由用户做出的动作的类型(动作类)提供至深度神经网络作为正确数据。

同时，在具有预定样本(例如，x样本)宽度的帧在时间轴方向上偏移的同时，以帧为单位在用户做出每一个动作时提取每一个可穿戴传感器101的加速度数据(图中的Acc)的范数和角速度数据(图中的Gyro)的范数。然后，在所提取的帧内的加速度数据的范数与角速度数据的范数之间实现同步，并且将实现同步之后的数据输入到深度神经网络。

此外，通过使用深度神经网络的学习处理来生成用于识别用户的动作的动作识别模型。

返回到图10，在步骤S32中，动作节奏识别单元161确定是否保持了动作节奏。在确定保持了动作节奏的情况下，处理进行到步骤S33。

在步骤S33中，动作节奏识别单元161发出节奏定时的通知。即，动作节奏识别单元161将指示用户保持动作节奏的定时的节奏定时数据提供给呈现控制单元154。

在步骤S34中，动作节奏识别单元161确定动作节奏是否改变。例如，在用户保持动作节奏的间隔的移动平均值改变为等于或大于预定阈值的情况下，动作节奏识别单元161确定动作节奏改变，并且处理进行到步骤S35。

注意，在步骤S34的第一处理中，始终确定动作节奏已经改变，则处理进行到步骤S35。

在步骤S35中，动作节奏识别单元161通知节奏改变定时。即，动作节奏识别单元161将指示动作节奏改变的定时的节奏改变定时数据提供给呈现控制单元154。

此后，处理进行到步骤S36。

同时，在步骤S34中，例如在动作节奏保持的间隔的移动平均值没有改变为等于或大于预定阈值的情况下，动作节奏识别单元161确定动作节奏没有改变，跳过步骤S35中的处理，并且处理进行到步骤S36。

此外，在步骤S32中，在确定了动作节奏没有保持的情况下，跳过步骤S33至步骤S35的处理，并且处理进行到步骤S36。

在步骤S36中，动作BPM识别单元162确定动作BPM是否已改变。例如，在动作BPM的改变量等于或大于预定阈值的情况下，动作BPM识别单元162确定动作BPM已改变，并且处理进行到步骤S37。

注意，在步骤S36的第一处理中，始终确定动作BPM已改变，则处理进行到步骤S37。

在步骤S37中，动作BPM识别单元162发出动作BPM的通知。即，动作BPM识别单元162将指示检测到的动作BPM的动作BPM数据提供给呈现控制单元154。

此后，处理进行到步骤S38。

同时，在步骤S36中，例如在动作BPM的改变量小于预定阈值的情况下，动作BPM识别单元162确定动作BPM没有改变，并且跳过步骤S37中的处理，并且处理进行到步骤S38。

在步骤S38中，动作识别单元163确定是否检测到动作。在确定了检测到动作的情况下，处理进行到步骤S39。

在步骤S39中，动作识别单元163发出动作类型的通知。即，动作识别单元163将指示检测到的动作类型的动作数据提供给呈现控制单元154。

注意，用于发出动作的类型的通知的定时例如是动作完成的定时。例如，如图16所示，在用户跳跃的情况下，在用户着陆后站起来的时间点给出动作的类型的通知。

此后，处理返回到步骤S32，并且执行步骤S32以及后续步骤中的处理。

同时，在步骤S38中，在确定了未检测到动作的情况下，处理返回到步骤S32，并且执行步骤S32以及后续步骤中的处理。

<呈现控制处理>

之后将参考图17中的流程图描述要由呈现控制单元154执行的呈现控制处理，执行该呈现控制处理以与图10中的动作分析处理相对应。

该处理例如在控制计算机103通电时开始，而在控制计算机103断电时结束。

在步骤S61中，呈现控制单元154获取动作分析结果。具体地，呈现控制单元154从动作分析单元153获取节奏程度数据、节奏定时数据、节奏改变定时数据、动作BPM数据或动作数据。

在步骤S62中，呈现控制单元154基于动作分析结果来执行呈现控制。

这里，将参考图18描述呈现方法的具体示例。

首先，将描述在用户保持动作节奏的定时的呈现方法的示例。

例如，照明控制单元171使照明设施155强照明。在这种情形下，照明控制单元171可以基于节奏程度来调整光量。

例如，照明控制单元171改变照明设施155的照明方向。例如，照明控制单元171使照明设施155的照明方向左右、上下摆动等。在这种情形下，照明控制单元171可以基于节奏程度来调整照明方向改变的速度。

例如，视频控制单元172对从视频设施156输出的视频施加效果。在这种情形下，视频控制单元172可以基于节奏程度来调整效果的类型和强度。

例如，音频控制单元173使音频设施157呈现效果声音。在这种情形下，音频控制单元173可以基于节奏程度来调整效果声音的类型和强度。

之后，将描述用户的动作节奏改变的定时的呈现方法的示例。

例如，照明控制单元171改变照明设施155的颜色主题或照明的模式。

例如，视频控制单元172改变从视频设施156输出的视频的颜色主题、切换视频或执行视频的剪切改变。

例如，音频控制单元173切换要从音频设施157输出的背景音乐(BGM)。此外，例如音频控制单元173切换要从音频设施157输出的节拍模式。另外，例如音频控制单元173使音频设施157要呈现效果声音。

之后将描述使用用户的动作BPM的呈现方法的示例。

例如，照明控制单元171基于动作BPM来调整从照明设施155输出的光的规则闪烁定时。例如，照明控制单元171使从照明设施155输出的光的规则定时适应于动作BPM。

例如，视频控制单元172基于动作BPM来调整从视频设施156输出的化身的动画的速度。例如，视频控制单元172使化身的动画的速度适应于动作BPM。

例如，音频控制单元173使音频设施157输出与动作BPM相同的BPM的节拍模式。此外，例如，音频控制单元173调整要从音频设施157输出的音乐的BPM。例如，音频控制单元173使音乐的BPM适应于动作BPM。

之后将描述使用用户的动作的呈现方法的示例。

例如，照明控制单元171使照明设施155在动作做出的定时进行闪烁。在这种情形下，照明控制单元171可以基于动作的类型和强度来调整光的颜色和强度。

例如，照明控制单元171在动作做出的定时改变照明设施155的颜色主题。在这种情形下，照明控制单元171可以基于动作的类型和强度来选择颜色主题。

例如，照明控制单元171在动作做出的定时改变照明设施155的光发射模式。在这种情形下，照明控制单元171可以基于动作的类型和强度来选择光发射模式。

例如，视频控制单元172在动作做出的定时对从视频设施156输出的视频施加效果。在这种情形下，视频控制单元172可以基于动作的类型和强度来调整效果的类型和强度。

例如，视频控制单元172在动作做出的定时将与动作相关的动画指定给要从视频设施156输出的化身。例如，视频控制单元172使化身做出与用户相同的动作。

例如，视频控制单元172在动作做出的定时使视频设施156输出与动作相关的粒子表达。

例如，视频控制单元172在动作做出的定时执行对要从视频设施156输出的视频的剪切改变。

例如，音频控制单元173使音频设施157呈现效果声音。在这种情形下，音频控制单元173可以基于动作的类型和强度来调整效果声音的类型和强度。

返回到图17，然后，处理返回到步骤S61，并且执行步骤S61以及后续步骤中的处理。

如上所述，可以根据在用户表演期间的动作节奏、节奏程度、动作BPM或用户的动作来执行有效的呈现。此外，例如在用户进行无音乐的表演的情况下，也可以仅基于用户的动作来执行有效的呈现。

<第一实施例的修改示例>

虽然在上述描述中，已描述了呈现一个用户的表演的示例，但是本技术也可以应用于呈现多个用户的表演的情况。

在这种情况下，例如为每一个用户提供了图4中的可穿戴传感器101-1至101-5、通信单元151以及传感器同步单元152。注意，通信单元151和传感器同步单元152可以在多个用户当中共享。此外，例如基于每一个用户的动作节奏、节奏程度、动作BPM或动作，使用上述方法执行呈现控制。

此外，动作节奏识别单元161可以通过长期观察动作节奏来识别重复出现的动作节奏的模式。然后，可以使用动作节奏的模式来执行呈现控制。

此外，例如，也可以将加速度数据和角速度数据转换为人体的骨架信息，而不是将原始加速度数据和角速度数据输入到动作节奏识别模型和动作识别模型。这里，骨骼信息例如由人体的各个关节的位置或姿态来表示。

此外，例如也可以不使用机器学习来构造动作节奏识别单元161。

例如，在加速度数据的范数超过预定阈值的情况下，动作节奏识别单元161可以识别出用户保持了动作节奏。此外，例如，动作节奏识别单元161可以检测加速度数据的范数变为最小值的定时，并且识别出用户在该定时保持动作节奏。作为加速度数据的范数成为最小值的定时，例如可以假设用户的动作处于静止的定时。

注意，在不使用机器学习的该示例中，在用户穿戴多个可穿戴传感器101的情况下，例如使用各个可穿戴传感器101的加速度数据的平均值、最大值等。

此外，在本技术中，表演的呈现不一定在执行表演的舞台或观众席上进行。例如，在每一个观众使用增强现实(AR)经由眼镜型可穿戴装置观看表演的情况下，可以通过控制每一个观众的可穿戴装置的视频和声音执行呈现。

<<2.第二实施例>>

之后，将参考图19至图23描述本技术的第二实施例。

<同步评估系统300的功能的配置示例>

图19示出应用了本技术的同步评估系统300的功能的配置示例。注意，在该图中，与图4中的部分相对应的部分由相同的附图标记表示，并将适当省略其的说明。

同步评估系统300是评估指示多个用户的动作的节奏的匹配程度的同步程度的系统。换句话说，同步评估系统300是评估多个用户之间的动作的节奏的匹配程度(同步水平)的系统。

同步评估系统300包括动作分析处理单元301-1至301-n、同步程度检测单元302以及呈现设施303。

动作分析处理单元301-1至301-n分别被提供给作为同步评估的对象的各个用户。

注意，在不需要单独区分动作分析处理单元301-1至301-n的情况下，它们将被简单地称为动作分析处理单元301。

每一个动作分析处理单元301包括可穿戴传感器101-1至101-5，通信单元151、传感器同步单元152以及动作节奏识别单元161。

动作节奏识别单元161基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101获取到的动作检测数据，来执行识别用户的动作节奏的处理。动作节奏识别单元161将指示用户的动作节奏的识别结果的数据提供给同步程度检测单元302。

同步程度检测单元302检测用户之间的动作节奏的同步程度。同步程度检测单元302将指示检测到的同步程度的数据提供给呈现设施303。

呈现设施303使用视频、声音、光、振动等来呈现用户之间的动作节奏的同步程度。

注意，通信单元151、传感器同步单元152以及动作节奏识别单元161不一定需要被提供给每一个动作分析处理单元301，并且可以在多个动作分析处理单元301当中共享。

<同步评估处理>

之后将参考图20中的流程图描述要由同步评估系统300执行的同步评估处理。

该处理例如在向同步评估系统300输入了用于开始处理的命令时开始，并且在输入了用于结束处理的命令时结束。

在步骤S101中，每一个动作分析处理单元301识别每一个用户的动作节奏。具体地，每一个动作节奏识别单元161通过与上述图10的步骤S31中的处理类似的处理，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来执行识别每一个用户的动作节奏的处理。然后，每一个动作节奏识别单元161将指示每一个用户保持动作节奏的定时的节奏定时数据和指示节奏程度的节奏程度数据提供给同步程度检测单元302。

在步骤S102中，同步程度检测单元302检测同步程度。

这里，将参考图21至图23描述用于检测同步程度的方法的示例。

首先，将参考图21描述基于用户A和用户B保持动作节奏的定时之间的相关关系来检测两个用户之间的同步程度的示例。

例如，同步程度检测单元302按照时间发生顺序排列用户A保持动作节奏的定时和用户B保持动作节奏的定时。例如，以下的Rhythm_A是按照时间发生顺序排列用户A保持动作节奏的时间的矩阵，而Rhythm_B是按照时间发生顺序排列用户B保持动作节奏的时间的矩阵。

Rhythm_A＝[0.342，0.628，1.391，…]

Rhythm_B＝[0.322，0.839，1.458，…]

然后，同步程度检测单元302将Rhythm_A的各个元素和Rhythm_B的各个元素之间的时间彼此接近的Rhythm_A的元素和Rhythm_B的元素配对。通过这种方式，可以获得包括一对(Rhythm_a，Rhythm_b)的阵列Rhythm_Pair。注意，Rhythm_a表示Rhythm_A的元素，而Rhythm_b表示Rhythm_B的元素。

图21是描述了构成阵列Rhythm_Pair的各个配对的散点图。横轴指示用户A保持动作节奏的时间，而纵轴表示用户B保持动作节奏的时间。

然后，同步程度检测单元302计算阵列Rhythm_Pair的Rhythm_a和Rhythm_b之间的相关系数。然后，同步程度检测单元302使用计算出的相关系数作为用户A和用户B之间的节奏定时的同步程度。

注意，在存在三个或更多用户的情况下，也可以基于各个用户之间的相关系数来检测所有用户之间的同步程度。例如，可以计算每两个用户之间的相关系数，并检测计算出的相关系数的平均值作为所有用户之间的同步程度。

下面将参考图22和图23描述基于用户A和用户B的节奏程度来检测同步程度的示例。

图22是示出用户A和用户B的节奏程度的示例的曲线图。横轴表示时间，纵轴表示节奏程度。此外，实线的曲线图表示用户A的节奏程度，而虚线的曲线图表示用户B的节奏程度。

然后，同步程度检测单元302使用以下公式(1)计算用户A的节奏程度和用户B的节奏程度之间的互相关。

[数学1]

注意，公式(1)中的f表示指示用户A的节奏程度的函数，g表示指示用户B的节奏程度的函数。此外，m表示偏移量。

图23示出用户A的节奏程度和用户B的节奏程度之间的互相关的示例。横轴表示偏移量m，而纵轴表示互相关。

例如，同步程度检测单元302获得用户A的节奏程度和用户B的节奏程度之间的互相关的最大值，作为用户A和用户B之间的动作节奏的同步程度。例如，在图23中的示例中，将被虚线圆包围的部分中的互相关的峰值设置为用户A和用户B之间的动作节奏的同步程度。

此外，例如，同步程度检测单元302可以检测当用户A和用户B之间的节奏程度的互相关变为最大时的偏移量m，作为用户A和用户B之间的动作节奏的偏差。

注意，在存在三个或更多用户的情况下，也可以基于各个用户之间的互相关来检测所有用户之间的同步程度。例如，可以计算每两个用户之间的互相关，并检测计算出的互相关的平均值作为所有用户之间的同步程度。

同步程度检测单元302将指示检测到的同步程度的同步程度数据提供给呈现设施303。

在步骤S103中，呈现设施303呈现同步程度。

注意，可以使用任意方法作为同步程度的呈现方法。例如，呈现设施303使用图像或声音呈现同步程度的特定数值。此外，例如呈现设施303使用振动的强度或速度、光的强度或颜色、效果声音的类型、音量或速度来呈现同步程度。

此后，处理返回到步骤S101，并且执行步骤S101以及后续步骤中的处理。

如上所述，可以准确且容易地检测多个用户之间的动作节奏的同步程度。

此外，例如通过实时地将同步程度呈现给每一个用户呈现，每一个用户可以改善舞蹈等的表演，从而增加同步程度。

<第二实施例的修改示例>

例如，也可以识别针对每一个用户的每一个部分(例如，头部、手、脚以及腰部)的动作节奏，并检测多个用户的各部分之间的动作节奏的同步程度。

此外，例如在上述第一实施例中，同步程度可以用在每一个用户参与的表演的呈现控制上。这里，每一个用户参与的表演包括每一个用户作为表演者参与表演的情况和每一个用户作为观众参与表演的情况。

在每一个用户作为表演者参与表演的情况下，例如在每一个表演者的同步程度超过预定阈值的情况下，或者同步程度超过参考值的次数(触发率)在预定时段内超过预定阈值的情况下，执行各种呈现。

同时，在每一个用户作为观众参与表演的情况下，例如可穿戴传感器101由每一个观众穿戴。然后，例如在各个观众的动作节奏的同步程度超过预定阈值的情况下，或者在同步程度的触发率在预时段内超过预定阈值的情况下，执行各种呈现。

此外，例如代替同步程度或除同步程度之外，也可以在每一个用户参与的表演的呈现控制中使用每一个用户的节奏程度。

在每一个用户作为表演者参与表演的情况下，例如在每一个表演者的总节奏程度超过预定阈值的情况下，或者在每一个表演者的总节奏程度超过预定参考值的次数(触发率)在预定时段内超过预定阈值的情况下，执行各种呈现。

另一方面，在每一个用户作为观众参与表演的情况下，例如，在每一个观众的总节奏程度超过预定阈值的情况下，或者在每一个观众的节奏程度的触发率在预时段内超过预定阈值的情况下，执行各种呈现。

注意，通过基于观众的同步程度或节奏程度来呈现表演，可以将现场的团结感或兴奋感反映到呈现中。结果，可以进一步增加场地中的团结感和兴奋感。

<<3.第三实施例>>

之后，将参考图24至图30描述本技术的第三实施例。

<成像系统400的硬件的配置示例>

图24示出应用了本技术的成像系统400的硬件的配置示例。注意，在附图中，相同的附图标记被分配给与图1中的部分相对应的部分，并将适当省略其的说明。

成像系统400包括可穿戴传感器101-1至101-5、计算机401、显示设施402以及成像单元403。

每一个可穿戴传感器101将包括动作检测数据的通信分组发送到计算机401。

计算机401基于动作检测数据来控制成像单元403捕获用户的图像，并且接收所获得的图像作为图像捕获的结果。此外，计算机401控制显示设施402显示捕获到的用户的图像。

显示设施402包括例如投影仪、监视器等，并且在计算机401的控制下显示图像。

成像单元403包括一个或多个照相机。成像单元403在计算机401的控制下捕获用户的图像，并将所获得的图像作为图像捕获的结果发送到计算机401。

注意，在每一个可穿戴传感器101和计算机401之间的通信中，例如采用了任意的低延迟近场通信的方案。通过采用近场通信，可以降低可穿戴传感器101的功耗，并且使可穿戴传感器101的尺寸更小。

在计算机401和成像单元403之间的通信中，例如，采用任意的无线通信的方案。

注意，例如，计算机401和显示设施402可以由一个装置构成，或者计算机401和成像单元403可以由一个装置构成。此外，例如计算机401、显示设施402以及成像单元403可以由一个装置构成。

<成像系统400的功能的配置示例>

图25示出成像系统400的功能的配置示例。

注意，在该图中，相同的附图标记被分配给与图29和图26中的部分相对应的部分，并将省略其说明。

成像系统400包括动作分析处理单元301、显示设施402、成像单元403、成像控制单元451、存储单元452以及显示控制单元453。动作分析处理单元301包括可穿戴传感器101-1至101-5、通信单元151、传感器同步单元152以及动作节奏识别单元161。

动作节奏识别单元161基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101获取的动作检测数据，来执行识别用户的动作节奏的处理。动作节奏识别单元161将指示用户的动作节奏的识别结果的数据提供给成像控制单元451，且并使该数据存储在存储单元452中。

成像控制单元451控制成像单元403的图像捕获。例如，成像控制单元451基于用户的动作节奏的识别结果来控制成像单元403的图像捕获定时。

成像单元403使所获得的图像作为图像捕获的结果被存储在存储单元452中。

显示控制单元453基于用户的动作节奏的识别结果，来控制显示设施402显示存储在存储单元452中的图像。

<成像系统400的处理>

之后将参考图26至图30描述成像系统400的处理。

<成像控制处理>

之后将参考图26中的流程图描述要由成像系统400执行的成像控制处理。

例如，在用于开始图像捕获的命令输入到成像系统400时，开始该处理。

在步骤S201中，动作节奏识别单元161开始动作节奏的识别和记录。具体地，每一个动作节奏识别单元161通过与上述图10中的步骤S31中的处理类似的处理，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来开始识别用户的动作节奏的处理。此外，动作节奏识别单元161开始将指示用户保持动作节奏的定时的节奏定时数据和指示节奏程度的节奏程度数据提供给存储单元452，并使存储单元452存储数据。

在步骤S202中，与图10中的步骤S32中的处理类似，确定了动作节奏是否保持。在确定了动作节奏保持的情况下，处理进行到步骤S203。

在步骤S203中，成像系统400捕获图像。具体地，动作节奏识别单元161将指示用户保持动作节奏的定时的节奏定时数据提供给成像控制单元451。

在摄像控制单元451的控制下，成像单元403与用户保持动作节奏的定时同步地捕获用户的图像，并且使所获得的图像作为图像捕获的结果被存储在存储单元452中。

在步骤S204中，成像系统400确定是否完成图像捕获。在确定未完成图像捕获的情况下，处理返回到步骤S202。

此后，在步骤S204中，直到确定了完成图像捕获为止，否则重复执行从步骤S202到步骤S204的处理。

同时，在步骤S204中，例如在输入了用于完成图像捕获的命令的情况下，成像系统400确定完成图像捕获，并且成像控制处理完成。

<显示控制处理>

之后，将参考图27中的流程图描述要由成像系统400执行的显示控制处理。

例如，该处理在用于显示图像的命令输入到成像系统400时开始。

在步骤S231中，显示控制单元453基于节奏定时来设置显示布局。

注意，稍后将参考图28至图30描述显示布局的具体示例。

在步骤S232中，显示控制单元453基于节奏程度来确定是否处理图像。例如，在将用于基于节奏程度处理图像的设置置于开启状态的情况下，显示控制单元453确定了基于节奏程度处理图像，并且处理进行到步骤S233。

在步骤S233中，显示控制单元453计算每一个图像的效果强度。具体地，显示控制单元453基于存储在存储单元452中的节奏度数据，来检测捕获每一个图像时的用户的节奏度，并且基于检测到的节奏程度来计算要应用于每一个图像的效果强度。例如，效果强度被设置为通过将节奏程度程度乘以预定常数而获得的值。

在步骤S234中，显示控制单元453基于计算出的效果强度来对存储在存储单元452中的每一个图像施加效果。

此后，处理进行到步骤S235。

同时，在步骤S232中，例如在将用于基于节奏程度处理图像的设置置于关闭状态的情况下，显示控制单元453确定了不基于节奏程度处理图像，跳过步骤S233和步骤S234中的处理，并且处理前进到步骤S235。

在步骤S235中，显示设施402在显示控制单元453控制下显示图像。

此后，完成显示控制处理。

这里，将参考图28至图30描述在该处理中要在显示设施402处显示的显示画面的示例。

图28示出在不基于节奏程度处理图像的情况下的显示画面的示例。

图28中的显示画面粗略地划分为画面上部的图像显示部501和画面下部的操作部502。

在图像显示部501处，按照时间发生顺序排列并显示用户保持动作节奏时的图像(下文，称为节奏定时图像)。在该示例中，节奏定时图像P1至P4按照捕到获图像的时间顺序从左至右排列和显示。此外，基于用户实际保持动作节奏的时间间隔来调整各个节奏定时图像之间的间隔。

例如，在选择了节奏定时图像P1至P4中的一个的情况下，所选择的节奏定时图像被放大并清晰地显示出。在这种情形下，例如，也可以使得存储或共享所选择的节奏定时图像。

在操作部502处，显示了搜索条511、滑块512、再现按钮513、快退按钮514以及快进按钮515。

滑块512的宽度表示在图像显示部501处显示的节奏定时图像的时间范围的粗略指示。滑块512的中心处的圆形表示捕获在图像显示部501的大致中心处显示的节奏定时图像的时间的粗略指示。此外，通过使滑块512在指示时间轴的搜索条511上向左或向右滑动，调整在图像显示部501处显示的节奏定时图像的时间范围。如果滑块512向左滑动，则使在图像显示部501处显示的节奏定时图像的时间范围返回。同时，如果滑块512向右滑动，则使在图像显示部501处显示的节奏定时图像的时间范围前进。

如果按下再现按钮513，则开始节奏定时图像的自动再现。例如，仅将在与滑块512的中心处的圆形的部分相对应的时间附近捕获到的节奏定时图像在显示屏中大显示。然后，使要在显示画面内显示的节奏定时图像按照时间发生顺序以预定间隔一帧一帧地自动前进。在这种情形下，如果按下快退按钮514，则使在图像显示部501处显示的节奏定时图像快退。同时，如果按下快进按钮515，则使在图像显示部501处显示的节奏定时图像快进。

注意，在按下再现按钮513的情况下，在图28中的布局保持的同时，在图像显示部501处显示的节奏定时图像可以沿左方向(沿时间前进的方向)滚动。

此外，例如也可以通过在显示画面上正在执行的收缩操作来增大或减小显示图像尺寸。

图29示出在基于节奏程度处理图像的情况下的显示画面的示例。注意，在该图中，相同的附图标记被分配给与图28中的部分相对应的部分，并将适当省略其的描述。

与图28中的显示画面类似的方式，图29中的显示画面被划分为图像显示部501和操作部502。操作部502具有与图28所示的显示画面中的操作部502类似的配置。同时，图29中的操作部502与图28中的操作部502的不同在于该效果被施加在图像显示部501处显示的节奏定时图像。

具体地，在该示例中，在图像显示部501处显示节奏定时图像P11至P14。

例如，如节奏定时图像P12，图像尺寸基于节奏的程度来改变。例如，当捕获到节奏定时图像时，当用户的节奏程度较大时，图像尺寸变大，而当节奏程度较小时，图像尺寸变小。

例如，如节奏定时图像P13，图像基于节奏程度像钟摆一样从一边摆动到另一边。例如，当捕获到节奏定时图像时，当用户的节奏程度较大时，图像的摆动宽度变大，而当节奏程度较小时，图像的摆动宽度变小。

例如，如节奏定时图像P14，基于节奏程度在图像周围显示颗粒。例如，当捕获到节奏定时图像时，当用户的节奏程度较大时，颗粒的数量变多或者颗粒变亮。同时，当捕获到节奏定时图像时，当用户的节奏程度较小时，颗粒的数量变少或者颗粒变暗。

注意，虽然在上述中已描述了当用户保持动作节奏时捕获图像的示例，但是例如，也可以始终捕获用户的图像，并且稍后基于节奏定时和节奏程度来处理和显示捕获到的图像(运动图像)。

在这种情况下，例如在从图28或图29中的显示画面中的节奏定时图像P1至P14中选择一个节奏定时图像的情况下，可以再现基于所选择的节奏定时图像的预定周期内的运动图像。此外，例如，可以能够按照时间发生顺序连续地再现各个节奏定时图像附近的运动图像(可以再现摘要)。

此外，例如如图30中的显示画面中的那样，显示可以在拾取显示和运动图像显示之间切换。

具体地，在图30中的显示画面的上端处显示拾取显示标签栏531和运动图像显示标签栏532。在该示例中，示出了选择运动图像显示标签栏532的情况。注意，在选择拾取显示标签栏531的情况下，例如，上述图28或图29中的显示画面在拾取显示标签栏531和运动图像显示标签栏532的下方显示。

在选择运动图像显示标签栏532的情况下，捕获到的用户的运动图像在拾取显示标签栏531和运动图像显示标签栏532的下方显示。此外，以叠加在运动图像上的方式来显示操作部533。

在操作部533处，显示搜索条541、滑块542、动作按钮543-1至543-3、再现按钮544、快退按钮545、快进按钮546、快退按钮547、快进按钮548、快退按钮549以及快进按钮550。

搜索条541和滑块542与图28和图29中的搜索条511和滑块512类似。如果滑块542在搜索条541上向左滑动，则运动图像的再现位置沿时间轴方向返回。同时，如果滑块542在搜索条541上向右滑动，则运动图像的再现位置沿时间轴方向前进。

动作按钮543-1至543-3指示检测到的动作的时间位置。注意，实际上，在动作按钮543-1至543-3内显示检测到的动作的类型。然后，如果选择了动作按钮543-1至543-3中的一个，则从所选择的动作的部分开始运动图像的再现。

注意，例如可以提供用于重复再现所选择的动作的部分的运动图像的功能。

如果按下再现按钮544，则开始运动图像的再现。

如果按下快退按钮545，则使运动图像的再现位置返回到先前的节奏定时。同时，如果按下快进按钮546，则运动图像的再现位置前进到下一节奏定时。

如果按下快退按钮547，则运动图像的再现位置返回到前一动作的起点。同时，如果按下快进按钮548，则运动图像的再现位置前进到下一动作的起点。

如果按下快退按钮549，则运动图像的再现位置返回到前一章节的起点。同时，如果按下快进按钮550，则运动图像的再现位置前进到下一章的起点。

注意，章节被分割，例如，对于每一部分，用户的节奏模式是基本上恒定的，或者对于每一部分，用户的动作BPM是基本上恒定的。

如上所述，可以容易地在用户保持动作节奏的定时捕获和显示图像。

此外，当用户保持动作节奏时，例如，用户通常处于休息或保持他/她的姿势。因此，通过在用户保持动作节奏时捕获图像，即使用户移动，也可以捕获用户的好看图像而不模糊。

<第三实施例的修改示例>

例如，通过将第三实施例应用于第一实施例，在用户进行表演的同时，可以在每次用户保持动作节奏时捕捉用户的图像。然后，例如可以将一系列捕获到的图像置于相册中，并将相册分发给用户。

<<4.第四实施例>>

之后将参考图31至图35描述本技术的第四实施例。

<成像系统600的功能的配置示例>

图31示出应用了本技术的成像系统600的功能的配置示例。注意，在附图中，相同的附图标记被分配给与图19和图25中的部分相对应的部分，并将适当省略其的描述。

成像系统600包括动作分析处理单元301-1至301-n、同步程度检测单元302、显示设施402、成像单元403、存储单元452、同步程度峰值检测单元601、成像控制单元602以及显示控制单元603。

每一个动作分析处理单元301中的动作节奏识别单元161基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101获取到的动作检测数据，来执行识别每一个用户的动作节奏的处理。动作节奏识别单元161将指示用户的动作节奏的识别结果的数据提供给同步程度检测单元302和成像控制单元602。

同步程度峰值检测单元601检测由同步程度检测单元302检测的用户之间的动作的同步程度的峰值。同步程度峰值检测单元601将指示同步程度的峰值的检测结果的数据提供给成像控制单元602。此外，同步程度峰值检测单元601使指示同步程度的检测结果和同步程度的峰值的数据存储在存储单元452中。

成像控制单元602控制成像单元403的图像捕获。例如，成像控制单元602基于由每一个动作节奏识别单元161识别到的每一个用户的动作节奏的识别结果来控制成像单元403的图像捕获定时。此外，例如成像控制单元602基于由同步程度峰值检测单元601检测到的用户之间的动作节奏的同步程度的峰值来控制成像单元403的图像捕获定时。

显示控制单元603基于每一个用户的动作节奏的识别结果和用户之间的动作节奏的同步程度的峰值，来控制由显示设施402显示存储在存储单元452中的图像。

<成像系统600>的处理

之后将参考图32至图36描述成像系统600的处理。

<成像控制处理>

之后将参考图32中的流程图描述成像系统600要由执行的成像控制处理。

例如，在用于开始图像捕获的命令输入到成像系统600时，开始该处理。

在步骤S301中，每一个动作分析处理单元301的动作节奏识别单元161开始动作节奏的识别和记录。具体地，每一个动作节奏识别单元161通过与上述图10中的步骤S31中的处理类似的处理，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来开始识别每一个用户的动作节奏的处理。此外，每一个动作节奏识别单元161开始将指示每一个用户保持动作节奏的定时的节奏定时数据和指示节奏程度的节奏程度数据提供给存储单元452，并使存储单元452存储数据。

在步骤S302中，成像系统600开始同步程度的检测和记录。具体地，同步程度检测单元302使用与图20中的步骤S102中的处理类似的处理来开始检测各个用户之间的动作节奏的同步程度的处理。此外，同步程度检测单元302开始将指示检测到的同步程度的同步程度数据提供给同步程度峰值检测单元601的处理。

同步程度峰值检测单元601开始检测同步程度的峰值的处理。此外，同步程度峰值检测单元601开始使添加了同步程度的峰值的检测结果的同步程度数据存储在存储单元452中的处理。

在步骤S303中，同步程度峰值检测单元601确定是否检测到同步程度的峰值。在确定了未检测到同步程度的峰值的情况下，处理进行到步骤S304。

在步骤S304中，每一个动作节奏识别单元161确定动作节奏是否保持。在一个或多个动作节奏识别单元161确定了动作节奏保持的情况下，处理进行到步骤S305。

同时，在步骤S303中，在确定了检测到同步程度的峰值的情况下，跳过步骤S304中的处理，并且处理前进到步骤s305。

在步骤S305中，成像系统600捕获图像。

具体地，在每一个动作节奏识别单元161检测到动作节奏保持的情况下，每一个动作节奏识别单元161将指示用户保持动作节奏的定时的节奏定时数据提供给成像控制单元602。此外，在同步程度峰值检测单元601检测到同步程度的峰值的情况下，同步程度峰值检测单元601向成像控制单元602通知指示检测到同步程度的峰值的同步程度峰值检测数据。

在成像控制单元602的控制下，成像单元403与一个或多个用户保持动作节奏的定时、或各个用户之间的动作节奏的同步程度变为峰值的定时同步地捕获用户的图像，并且使所获得的图像作为图像捕获的结果存储在存储单元452中。

注意，成像单元403可以一次捕获所有用户的图像，或者单独捕获各个用户的图像。在后种情况下，例如成像单元403可以仅捕获保持动作节奏的用户的图像，或者也可以捕获不保持动作节奏的用户的图像。此外，在后种情况下，成像单元403可以逐个捕获用户的图像，或者可以将用户划分为包括一个或多个用户的多个组，并可以捕获每一个组的图像。

此后，处理进行到步骤S306。

同时，在步骤S304中，在所有动作节奏识别单元161确定了动作节奏没有保持的情况下，跳过步骤S305中的处理，并且处理前进到步骤S306。即，在未检测到同步程度的峰值并且没有用户保持动作节奏的情况下，不捕获图像。

在步骤S306中，确定了是否以与图26中的步骤S204中的处理类似的方式完成图像捕获。在确定了未完成图像捕获的情况下，处理返回到步骤S303。

此后，在步骤S306中，直到确定了完成图像捕获为止，否则重复执行步骤S303到步骤S306的处理。

同时，在步骤S306中，在确定完成图像捕获的情况下，完成成像控制处理。

<显示控制处理>

之后将参考图33中的流程图描述由成像系统600执行的显示控制处理。

例如，在用于显示图像的命令输入到成像系统600时，开始该处理。

在步骤S331中，显示控制单元603基于同步程度来确定是否设置显示布局。例如，在将用于基于同步程度设置显示布局的设置置于开启状态的情况下，显示控制单元603确定了基于同步程度设置显示布局，并且处理进行到步骤S332。

在步骤S332中，显示控制单元603基于同步程度和节奏定时来设置显示布局。

注意，稍后将参考图35和图36描述显示布局的具体示例。

此后，处理进行到步骤S334。

另一方面，在步骤S331中，例如在将用于基于同步程度设置显示布局的设置置于关闭状态的情况下，显示控制单元603确定了不基于同步程度设置显示布局，并且处理前进到步骤S333。

在步骤S333中，显示控制单元603基于节奏定时设置显示布局。即，不像步骤S332中的处理，仅使节奏定时用于显示布局的设置，并且不使用同步程度。

注意，稍后将参考图34描述显示布局的具体示例。

此后，处理进行到步骤S334。

在步骤S334至步骤S336中，执行与图27中的步骤S232至步骤S234中的处理类似的处理。

在步骤S337中，显示设施402在显示控制单元603的控制下显示图像。

此后，完成显示控制处理。

这里，将参考图34和图36描述在该处理中要在显示设施402处显示的显示画面的示例。注意，在附图中，相同的附图标记被分配给与图28和图29中的部分相对应的部分，并将省略其的说明。

图34示出仅基于节奏定时而不使用同步程度来显示图像的情况下的示例。

类似于图28和图29中的显示画面，图34中的显示画面粗略地划分为画面上部的图像显示部501和画面下部的操作部502。操作部502的配置类似于图28和图29中的显示画面。

同时，在图像显示部501处，垂直排列并显示用户A和用户B的两个用户的节奏定时图像。每一个用户的节奏定时图像的显示布局类似于图28中的显示画面中的显示布局。即，按照时间发生顺序排列并显示用户A的节奏定时图像Pa1至Pa4。此外，按照时间发生顺序排列并显示用户B的节奏定时图像Pb1至Pb3。

垂直排列的节奏定时图像Pa1和节奏定时图像Pb1以及垂直排列的节奏定时图像Pa3和节奏定时图像Pb2是基本上同时被捕获到的图像。由此可以理解，用户A和用户B保持动作节奏的定时基本上相同。

同时，节奏定时图像Pa2是在用户B不保持动作节奏时用户A保持动作节奏的定时而捕获到的图像。

此外，节奏定时图像Pa4和节奏定时图像Pb3在时间方向上的位置存在轻微的间隙。由此可以理解，在用户A保持动作节奏的定时和用户B保持动作节奏的定时之间存在间隙。

注意，作为图像Pa1至Pb3，可以使用通过单独捕获各个用户而获得的图像，或者可以使用通过从通过一起捕获用户A和用户B而获得的图像中提取各个用户而获得的图像。

在图34中的示例中，可以容易地比较各个用户之间动作的节奏(动作节奏)。因此，例如通过将多个用户中的一个设置为模型用户，其他用户可以容易地将他们的动作与成为模型的动作进行比较。特别地，可以准确地识别动作节奏的差异。结果，每一个用户可以容易地识别例如他/她如何可以将他/她的动作与模型相符，从而他/她能够改善他/她的动作。

图35示出基于同步程度和节奏定时来显示图像的情况下的示例。

类似于图34中的显示画面的图35中的显示画面粗略地划分为画面上部的图像显示部501和画面下部的操作部502。操作部502的配置类似于图34中的显示画面。

同时，在图像显示部501处，仅提取并显示用户A和用户B的动作的同步程度变为峰值时的用户A和用户B的节奏定时图像。

即，按照时间发生顺序排列并显示用户A的节奏定时图像Pa11至Pa14。此外，按照时间发生顺序排列并显示用户B的节奏定时图像Pb11至Pb14。

垂直排列的节奏定时图像Pa11和节奏定时图像Pb11、垂直排列的节奏定时图像Pa12和节奏定时图像Pb12、垂直排列的节奏定时图像Pa13和节奏定时图像Pb13以及垂直排列的节奏定时图像Pa14和节奏定时图像Pb14的各个配对分别是在同一定时(同步程度变为峰值)捕获到的图像。

注意，如图像Pa11至Pb14，可以使用通过单独捕获各个用户而获得的图像，或者可以使用通过从通过一起捕获用户A和用户B而获得的图像中提取各个用户而获得的图像。

图36示出在基于同步程度和节奏定时来显示图像的情况下的另一示例。

类似于图34和图35中的显示画面，图36中的显示画面粗略地划分为画面上部的图像显示部501和画面下部的操作部502。操作部502的配置类似于图34和图35中的显示画面。

同时，在图像显示部501处，类似于图35中的显示画面，仅提取并显示用户A至用户C的动作的同步程度变为峰值时、用户A至用户C的节奏定时图像。

然而，不像图35中的显示画面，在该显示画面中，集中显示了同步程度变为峰值时而捕获到的用户A至用户C的图像。即，图像P21和P22分别包括在一个图像中同步程度成为峰值时而捕获到的用户A至用户C的图像。

注意，如图像P21和P22，可以使用通过一起捕获用户A至用户C的图像而获得的图像，或者可以使用通过合成通过在同步程度变为峰值时单独捕获各个用户的图像而获得的图像而获得的图像。

在图35和图36中的示例中，在各个用户之间的同步程度较高的定时(例如在各个用户的动作完全匹配的定时)，可以容易地提取和显示图像。

注意，在图34至图36中的显示画面中，可以以与图29中的显示画面类似的方式，基于节奏程度对每一个图像施加效果。

此外，例如也可以不断地捕获各个用户的图像，并且稍后基于节奏定时、节奏程度以及同步程度来处理和显示捕获到的图像(运动图像)。

<<5.第五实施例>>

之后将参考图37和图38描述本技术的第五实施例。

<音乐推荐系统700的功能的配置示例>

图37示出应用了本技术的音乐推荐系统700的功能的配置示例。注意，在该图中，相同的附图标记被分配给与图4中的部分相对应的部分，并将适当省略其的说明。

音乐推荐系统700包括动作分析处理单元701、音乐数据库(DB)702、音乐分析单元703、音乐节奏数据库(DB)704、比较单元705以及推荐单元706。

动作分析处理单元701包括可穿戴传感器101-1至101-5、通信单元151、传感器同步单元152、动作节奏识别单元161以及动作BPM识别单元162。

动作节奏识别单元161基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来执行识别用户的动作节奏的处理。动作节奏识别单元161将指示用户的动作节奏的识别结果的数据提供给比较单元705。

动作BPM识别单元162基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来执行识别用户的动作BPM的处理。动作BPM识别单元162将指示用户的动作BPM的识别结果的数据提供给比较单元705。

在音乐DB702中，登记用于再现每一段音乐的音乐数据。

音乐分析单元703分析音乐DB702中所登记的音乐数据的处理。音乐分析单元703包括节拍检测单元711、声源分离单元712以及基于乐器类型的节奏识别单元713。

节拍检测单元711基于音乐DB702中所登记的每一段音乐数据来检测每一段音乐的节拍。节拍检测单元711将表示检测到的每一段音乐的节拍的数据登记在音乐节奏DB704中。

声源分离单元712针对每一个声源(即，针对每一个乐器)分离音乐DB702中所登记的每一段音乐数据，并且将针对每一个乐器的分离之后的的音频数据提供给基于乐器类型的节奏识别单元713。

基于乐器类型的节奏识别单元713基于针对每一个乐器的每一段音乐的音频数据，来执行识别每一个乐器的每一段音乐的节奏的处理。例如，基于乐器类型的节奏识别单元713基于每一个乐器的音量等，来识别保持每一个乐器的节奏的定时和指示每一个乐器的节奏的强度的节奏程度。基于乐器类型的节奏识别单元713将指示针对每一个乐器的每一段音乐的所识别的节奏和节奏程度的数据登记在音乐节奏DB704中。

在音乐节奏DB704中，登记每一段音乐的节拍和指示针对每一个乐器的节奏和节奏程度的数据。

比较单元705将用户的动作的节奏与音乐节奏DB704中所登记的每一段音乐的节奏进行比较，并将指示比较结果的数据提供给推荐单元706。

推荐单元706基于用户的动作的节奏和每一段音乐的节奏之间的比较结果来选择要推荐给用户的音乐，并且输出指示要推荐的音乐的数据。

<音乐推荐处理>

之后将参考图38中的流程图描述要由音乐推荐系统700要执行的音乐推荐处理。

在步骤S401中，动作分析处理单元701识别用户的动作节奏和动作BPM。

具体地，动作节奏识别单元161通过类似于上述图10中的步骤S31中的处理，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来执行识别每一个用户的动作节奏的处理。然后，动作节奏识别单元161将指示用户保持动作节奏的定时的节奏定时数据和指示节奏程度的节奏程度数据提供给比较单元705。

动作BPM识别单元162通过与图10中的步骤S31中的类似处理，基于经由通信单元151和传感器同步单元152从每一个可穿戴传感器101提供的动作检测数据，来识别用户的动作BPM的处理。动作BPM识别单元162将指示检测到的动作BPM的动作BPM数据提供给比较单元705。

在步骤S402中，比较单元705搜索适合用户的动作的音乐。

例如，比较单元705从音乐节奏DB中所登记的音乐当中提取预定范围内的具有与用户的动作BPM不同的BPM的音乐。

然后，比较单元705检测所提取的音乐的每一个乐器的节奏与用户的动作节奏之间的匹配程度。注意，可以使用与用于上述用户之间的动作节奏的同步程度的计算方法类似的计算方法，来检测每一个乐器的节奏与动作节奏之间的匹配程度。例如，可以将每一个乐器的节奏的保持定时与用户保持动作节奏的定时之间的相关系数设置为匹配程度。此外，例如可以将每一个乐器的节奏程度与用户的节奏程度之间的互相关设置为匹配程度。

比较单元705将指示所提取的每一段音乐的匹配程度的数据提供给推荐单元706。

在步骤S403中，推荐单元706推荐音乐。

具体地，推荐单元706基于每一段音乐的匹配程度来提取适合用户的动作的音乐。例如，推荐单元706提取至少一个乐器的匹配程度等于或大于预定阈值的音乐。可替代地，例如推荐单元706获得每一个乐器的匹配程度的最大值，并且提取匹配程度的最大值较高的预定数量的音乐。此外，例如，推荐单元706针对每首音乐计算所有乐器的匹配程度的平均值，并且提取匹配程度的平均值等于或大于预定阈值的音乐。可替代地，例如，推荐单元706提取匹配程度的平均值高的预定数量的音乐。

然后，推荐单元706将指示所提取的音乐的数据输出到后续设备。

后续设备例如呈现关于所推荐的音乐的信息或再现所推荐的音乐。

此后，结束音乐推荐处理。

如上所述，可以适当地推荐适合用户的动作的音乐。例如，可以推荐具有与用户的动作节奏匹配或类似的节奏的音乐。通过这种方式，例如在用户开始跳舞而没有BGM的情况下，可以搜索适合舞蹈的音乐并将该音乐用作BGM。

<第五实施例的修改示例>

虽然在上述中，已描述了从具有与用户的动作BPM匹配或类似的BPM的音乐中选择要推荐的音乐的示例，但是也可以仅使用每一个乐器的节奏而不使用BPM来选择要推荐的音乐。

此外，例如也可以在使每一段音乐的BPM与用户的动作BPM相匹配之后，基于用户的动作节奏与每一个乐器的节奏之间的比较结果来选择要推荐的音乐。在这种情况下，例如在使要推荐的音乐的BPM与用户的动作BPM匹配的状态下再现音乐。

<<6.修改示例>>

下面将描述本技术的上述实施例的修改示例。

上述各个设备和系统的功能的分配是示例，并且可以适当地改变。

例如，可以将动作节奏识别单元161、动作BPM识别单元162以及动作识别单元163的全部或部分设置在可穿戴传感器101处。

此外，虽然在上述描述中已描述了使本技术应用于分析人类的动作的情况的示例，但是本技术也可以应用于分析除人类以外的对象的动作的情况。要被分析动作的对象可以是诸如动物的活体对象，也可以是诸如机器人的非活体对象。此外，在要识别的目标是非活体对象的情况下，该目标可以是诸如自主地或响应于用户操作而移动的机器人的非生命物体，也可以是诸如海洋中的漂浮物的非生命物体，该漂浮物通过诸如波浪和风的外力而移动。

<<7.其他>>

<计算机配置示例>

上述一系列处理可以由硬件执行或者可以由软件执行。在由软件执行该一系列处理的情况下，将形成软件的程序安装到计算机中。这里，计算机的示例包括并入在专用硬件中的计算机、可以通过安装各种类型的程序来执行各种类型的功能的通用个人计算机等。

图39是示出利用程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002以及随机存取存储器(RAM)1003通过总线1004相互连接。

此外，输入/输出接口1005连接到总线1004。连接到输入/输出接口1005的是输入单元1006、输出单元1007、记录单元1008、通信单元1009以及驱动器1010。

输入单元1006包括输入开关、按钮、麦克风、成像元件等。输出单元1007包括显示器、扬声器等。记录单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘以及半导体存储器的可移除记录介质1011。

在如上所述配置的计算机1000中，CPU1001经由输入/输出接口1005和总线1004将例如存储在记录单元1008中的程序加载到RAM1003上，并执行该程序，从而执行上述一系列处理。

例如，可以在作为封装介质等的可移除记录介质1011中记录并提供由计算机1000(cpu1001)执行的程序。另外，可以经由诸如局域网、互联网以及数字卫星广播的有线或无线传输介质来提供程序。

在计算机1000中，通过将可移除记录介质1011安装到驱动器1010上，可以经由输入/输出接口1005将程序安装到记录单元1008中。此外，也可以通信单元1009经由有线或无线传输介质接收程序，并将程序安装到记录单元1008中。另外，程序可以预先安装到ROM1002或记录单元1008中。

注意，由计算机执行的程序可以是其中在时间序列中按照时间发生顺序以本文描述的顺序实施处理的程序，或者可以是其中并行地或在必要的定时(诸如当调用处理时)实施处理的程序。

此外，在本说明书中，系统具有多个结构元件(诸如设备或模块(部件))的集合的含义，并且不考虑所有结构元件是否在相同的壳体中。因此，系统可以是存储在分离的壳体中并通过网络连接的多个设备，或者可以是其中多个模块存储在单个壳体中的设备。

此外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围的情况下进行各种改变和修改。

例如，本技术可以采用云计算的配置，该配置中多个装置经由网络共享单个功能并协作地执行处理。

此外，上述流程图中的每一个步骤可以由单个装置执行，或者由多个装置共享并执行。

另外，在单个步骤包括多个处理的情况下，包括在单个步骤中的多个处理可以由单个装置执行，或者由多个装置共享并执行。

<配置的组合示例>

本技术也可以如下配置。

(1)

一种信息处理设备，包括：

动作节奏识别单元，被配置为基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示用户的动作的节奏的动作节奏，该检测数据指示检测位置的动作。

(2)

根据(1)的信息处理设备，

在该信息处理设备中，动作节奏由用户的动作的重音来表示。

(3)

根据(2)的信息处理设备，

在该信息处理设备中，动作的重音由用户的动作的方向、速度以及模式的变化来表示。

(4)

根据(1)至(3)中任一项的信息处理设备，进一步包括：

呈现控制单元，被配置为基于动作节奏来控制用户的表演的呈现。

(5)

根据(4)的信息处理设备，进一步包括：

动作BPM识别单元，被配置为基于检测数据来识别作为用户的动作的基本频率的动作BPM，

在该信息处理设备中，呈现控制单元进一步基于动作BPM来控制呈现。

(6)

根据(4)或(5)的信息处理设备，进一步包括：

动作识别单元，被配置为基于检测数据来识别作为构成用户的行为的动作单位的动作，

在该信息处理设备中，呈现控制单元进一步基于所识别的动作来控制呈现。

(7)

根据(1)至(6)中任一项的信息处理设备，

在该信息处理设备中，动作节奏识别单元识别多个用户的动作节奏，并且

信息处理设备进一步包括同步程度检测单元，同步程度检测单元被配置为检测指示用户之间的动作节奏的匹配程度的同步程度。

(8)

根据(7)的信息处理设备，进一步包括：

呈现控制单元，被配置为基于同步程度来控制多个其中有用户参与的表演的呈现。

(9)

根据(7)或(8)的信息处理设备，

在该信息处理设备中，动作节奏识别单元检测指示用户的动作节奏的强度的节奏程度，并且

同步程度检测单元基于用户的节奏程度来检测同步程度。

(10)

根据(7)至(9)中任一项的信息处理设备，进一步包括以下至少一项：

成像控制单元，被配置为基于同步程度来控制用户的图像的捕获；以及

显示控制单元，被配置为基于同步程度来控制用户的图像的显示。

(11)

根据(1)至(9)中任一项的信息处理设备，进一步包括以下至少一项：

成像控制单元，被配置为基于动作节奏来控制用户的图像的捕获；以及

显示控制单元，被配置为基于动作节奏来控制用户的图像的显示。

(12)

根据(11)的信息处理设备，

在该信息处理设备中，动作节奏识别单元检测指示动作节奏的强度的节奏程度，并且

显示控制单元进一步基于节奏程度来控制用户的图像的显示。

(13)

根据(1)、(4)和(7)至(12)中任一项的信息处理设备，进一步包括：

推荐单元，被配置为基于动作节奏和音乐的节奏之间的比较结果来选择要推荐的音乐。

(14)

根据(13)的信息处理设备，进一步包括：

动作BPM识别单元，被配置为基于检测数据来识别作为用户的动作的基本频率的动作BPM，

在该信息处理设备中，推荐单元进一步基于动作BPM和音乐的BPM之间的比较结果来选择要推荐的音乐。

(15)

根据(1)至(8)和(10)至(14)中任一项的信息处理设备，

动作节奏识别单元检测指示动作节奏的强度的节奏程度。

(16)

根据(15)的信息处理设备，

在该信息处理设备中，动作节奏识别单元检测多个用户的节奏程度，并且

信息处理设备进一步包括呈现控制单元，呈现控制单元被配置为基于多个用户的节奏程度来控制其中有多个用户参与的表演的呈现。

(17)

根据(1)至(4)、(7)至(13)、(15)和(16)中任一项的信息处理设备，进一步包括：

动作BPM识别单元，被配置为基于检测数据来识别作为用户的动作的基本频率的动作BPM。

(18)

根据(1)至(17)中任一项的信息处理设备，

在该信息处理设备中，检测位置进一步包括用户的两个手和两个脚中的至少一个部分。

(19)

一种信息处理方法，包括：

通过信息处理设备，

基于由传感器设备在包括用户身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，识别指示用户的动作节奏的动作节奏，该检测数据指示检测位置的动作。

(20)

一种用于使计算机执行以下处理的程序：

基于由传感器设备在包括用户身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，识别指示用户的动作节奏的动作节奏，该检测数据指示检测位置的动作。

参考标志列表

100呈现系统，101-1至101-6可穿戴传感器，102分析计算机，103控制计算机，104呈现设施，151通信单元，153动作分析单元，154呈现控制单元，155照明设施，156视频设施，157音频设施，161动作节奏识别单元，162动作BPM识别单元，163动作识别单元，171照明控制单元，172视频控制单元，173音频控制单元，300同步评估系统，301-1至301-n动作分析处理单元，302同步程度检测单元，303呈现设施，400成像系统，401计算机，402显示设施，403成像单元，451成像控制单元，453显示控制单元，600成像系统，601同步程度峰值检测单元，602成像控制单元，603显示控制单元，700音乐推荐系统，701动作分析处理单元，703音乐分析单元，704比较单元，705推荐单位，711节拍检测单元，712声源分离单元，713基于乐器类型的节奏识别单元。

Claims (17)

1.一种信息处理设备，包括：

动作节奏识别单元，被配置为基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示所述用户的动作的节奏的动作节奏，所述检测数据指示所述检测位置的动作，其中，所述动作节奏识别单元识别多个用户的所述动作节奏；

同步程度检测单元，所述同步程度检测单元被配置为检测指示所述用户之间的所述动作节奏的匹配程度的同步程度；以及

呈现设施，被配置为使用视频、声音、光、振动来呈现所述用户之间的所述动作节奏的所述同步程度，

所述信息处理设备，进一步包括以下至少之一：

成像控制单元，被配置为基于所述动作节奏来控制所述用户的图像的捕获；以及

显示控制单元，被配置为基于所述动作节奏来控制所述用户的所述图像的显示。

2.根据权利要求1所述的信息处理设备，

其中，所述动作节奏由所述用户的所述动作的重音来表示。

3.根据权利要求2所述的信息处理设备，

其中，所述动作的所述重音由所述用户的所述动作的方向、速度以及模式的变化来表示。

4.根据权利要求1所述的信息处理设备，进一步包括：

呈现控制单元，被配置为基于所述动作节奏来控制所述用户的表演的呈现。

5.根据权利要求4所述的信息处理设备，进一步包括：

动作BPM识别单元，被配置为基于所述检测数据来识别作为所述用户的所述动作的基本频率的动作BPM，

其中，所述呈现控制单元进一步基于所述动作BPM来控制所述呈现。

6.根据权利要求4所述的信息处理设备，进一步包括：

动作识别单元，被配置为基于所述检测数据来识别作为构成所述用户的行为的动作单位的动作，

其中，所述呈现控制单元进一步基于所识别的动作来控制所述呈现。

7.根据权利要求1所述的信息处理设备，进一步包括：

呈现控制单元，被配置为基于所述同步程度来控制有所述多个用户参与的表演的呈现。

8.根据权利要求1所述的信息处理设备，

其中，所述动作节奏识别单元检测指示所述用户的所述动作节奏的强度的节奏程度，并且

所述同步程度检测单元基于所述用户的所述节奏程度来检测所述同步程度。

9.根据权利要求1所述的信息处理设备，

其中，所述动作节奏识别单元检测指示所述动作节奏的强度的节奏程度，并且

所述显示控制单元进一步基于所述节奏程度来控制所述用户的所述图像的显示。

10.根据权利要求1所述的信息处理设备，进一步包括：

推荐单元，被配置为基于所述动作节奏和音乐节奏之间的比较结果来选择要推荐的音乐。

11.根据权利要求10所述的信息处理设备，进一步包括：

动作BPM识别单元，被配置为基于所述检测数据来识别作为所述用户的动作的基本频率的动作BPM，

其中，所述推荐单元进一步基于所述动作BPM和音乐的BPM之间的比较结果来选择要推荐的音乐。

12.根据权利要求1所述的信息处理设备，

其中，所述动作节奏识别单元检测指示所述动作节奏的强度的节奏程度。

13.根据权利要求12所述的信息处理设备，

其中，所述动作节奏识别单元检测多个用户的所述节奏程度，并且

所述信息处理设备进一步包括呈现控制单元，所述呈现控制单元被配置为基于所述多个用户的所述节奏程度来控制有所述多个用户参与的表演的呈现。

14.根据权利要求1所述的信息处理设备，进一步包括：

动作BPM识别单元，被配置为基于所述检测数据来识别作为所述用户的所述动作的基本频率的动作BPM。

15.根据权利要求1所述的信息处理设备，

其中，所述检测位置进一步包括所述用户的两个手和两个脚中的至少一个部分。

16.一种信息处理方法，包括：

通过信息处理设备，

基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示所述用户的动作的节奏的动作节奏，所述检测数据指示所述检测位置的动作，其中，识别指示所述用户的动作的节奏的动作节奏包括识别多个用户的所述动作节奏；

检测指示所述用户之间的所述动作节奏的匹配程度的同步程度；以及

使用视频、声音、光、振动来呈现所述用户之间的所述动作节奏的所述同步程度，

所述信息处理方法进一步包括以下至少之一：

基于所述动作节奏来控制所述用户的图像的捕获；以及

基于所述动作节奏来控制所述用户的所述图像的显示。

17.一种存储介质，其上存储有程序，所述程序用于使计算机执行以下处理：

基于由传感器设备在包括用户的身体躯干上的至少一个部分的一个或多个检测位置处检测到的检测数据，来识别指示所述用户的动作的节奏的动作节奏，所述检测数据指示所述检测位置的动作，其中，识别指示所述用户的动作的节奏的动作节奏包括：识别多个用户的所述动作节奏；

检测指示所述用户之间的所述动作节奏的匹配程度的同步程度；

使用视频、声音、光、振动来呈现所述用户之间的所述动作节奏的所述同步程度，

所述处理进一步包括以下至少之一：

基于所述动作节奏来控制所述用户的图像的捕获；以及

基于所述动作节奏来控制所述用户的所述图像的显示。

Images