CN111433831A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

[问题]提供一种信息处理装置、信息处理方法和程序，该信息处理装置、信息处理方法和程序可用于通过基于表现中多个运动之间的协调程度向用户反馈信息，帮助学习由协作或非协作操作的用户身体的多个部分创建的表现。[解决方案]提供了一种信息处理装置，包括：感测数据获取单元，用于从一个或多个传感器获取多条感测数据，用于检测由用户身体的多个部分的操作创建的表现中的多个运动的状态；计算单元，用于计算表示运动之间协调程度的协作信息；以及报告单元，用于基于所计算的协作信息向用户报告反馈信息。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及一种信息处理装置、一种信息处理方法和一种程序。

背景技术

表现(例如，弹钢琴)代表由人体的多个部分(例如，手指、肩膀、肘部和肌肉)的运动而引起的大量运动元素的复杂的、协作的或非协作的组合。因此，在上述表现中，即使当每个运动元素处于优选状态时，也不一定能够实现完美的表现，并且使得大量运动元素优选地协作或不协作，使得能够实现完美的表现。

近年来，已经开发了容易使用的各种传感器，并且相应地，已经做出了这样的方法，其中，感测表现中的运动元素，并且提供感测结果作为反馈，由此用于支持掌握表现。以下专利文献1公开了一种感测多个人的运动，并基于获得的感测数据提供反馈的装置。

引用列表

专利文献

专利文献1：日本公开专利公开号2011-87794

发明内容

技术问题

如上所述，表现(例如，弹钢琴)代表大量运动元素的协作或非协作，由使用大量运动元素作为变量的几个变量的函数来表示。因此，对于由几个变量的函数表示的运动，大量的变量使得难以分析相互协作和关系。由于这个原因，尚未实现一种方法，其中，计算表现中多个运动元素的协作水平，并且将所计算的协作水平作为反馈提供，以掌握该表现。

因此，本公开提出了一种新型且新颖的信息处理装置，该装置基于由用户身体的多个部分的协作或非协作运动提供的表现中的多个运动元素的协作水平来提供信息，作为对用户的反馈，并且该装置可用于支持掌握表现；一种信息处理方法；以及一种程序。

问题的解决方案

根据本公开，提供了一种信息处理装置，包括：感测数据获取单元，被配置为从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户身体的多个部分运动而执行的表现中的多个运动元素的状态；计算器，被配置为从所获取的多组感测数据中计算表示运动元素的运动协作性的协作信息；以及通知单元，被配置为基于所计算的协作信息向用户通知反馈信息。

此外，根据本公开，提供了一种信息处理方法，包括：从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户身体的多个部分运动而执行的表现中的多个运动元素的状态；从所获取的多组感测数据中计算表示运动元素的运动协作性的协作信息；并且基于所计算的协作信息向用户通知反馈信息。

此外，根据本公开，提供了一种使计算机实现功能的程序，包括：从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户身体的多个部分运动而执行的表现中的多个运动元素的状态；从所获取的多组感测数据中计算表示运动元素的运动协作性的协作信息；并且基于所计算的协作信息向用户通知反馈信息。

发明的有益效果

如上所述，根据本公开，可以提供一种新型且新颖的信息处理装置，该装置基于由用户身体的多个部分的协作或非协作运动提供的表现中的多个运动元素的协作水平来提供信息，作为对用户的反馈，并且该装置可用于支持掌握表现；一种信息处理方法；以及一种程序。

上述效果不一定是限定性的，并且与上述效果一起，或者代替上述效果，可以获得说明书中表示的任何一种效果或者从说明书中可以知道的另一种效果。

附图说明

[图1]是解释根据本公开实施方式的信息处理系统1的示例性配置的说明图；

[图2]是示出根据实施方式的传感器装置10的配置的框图；

[图3]是示出根据实施方式的传感器装置10的示例的(第一)说明图；

[图4]是示出根据实施方式的传感器装置10的示例的(第二)说明图；

[图5]是示出根据实施方式的服务器30的配置的框图；

[图6]是用于解释根据实施方式的学习单元348的说明图；

[图7]是用于解释根据实施方式的计算器346的说明图；

[图8]是用于解释根据实施方式的比较器350的说明图；

[图9]是示出根据实施方式的用户侧装置70的配置的框图；

[图10]是用于解释根据实施方式的用户侧装置70的示例的说明图；

[图11]是用于解释根据实施方式的外骨骼机器人712的说明图；

[图12]是解释根据实施方式的示例性信息处理方法的序列图；

[图13]是根据实施方式的步骤S200的流程图；

[图14]是根据实施方式的步骤S300的流程图；

[图15]是用于解释根据本公开实施方式的示例1中的示例性反馈的(第一)说明图；

[图16]是用于解释根据本公开实施方式的示例2中的示例性反馈的(第二)说明图；

[图17]是用于解释根据本公开实施方式的示例2中的示例性反馈的(第一)说明图；

[图18]是用于解释根据本公开实施方式的示例2中的示例性反馈的(第二)说明图；

[图19]是示出根据实施方式的信息处理装置900的示例性硬件配置的说明图；

[图20]是用于解释根据本公开的第二实施方式的变型例1的压力传感器装置20的配置的说明图；

[图21]是用于解释根据变型例的压力传感器装置20的运动的说明图；

[图22]是解释根据变型例的压力传感器装置20的测量结果的示例性反馈的说明图；

[图23]是用于解释根据本公开的第二实施方式的变型例2的光反射器传感器装置40的配置的(第一)说明图；

[图24]是用于解释根据变型例的光反射器传感器装置40的配置的(第二)说明图；

[图25]是用于解释根据变型例的光反射器传感器400的运动的说明图；

[图26]是用于解释根据变型例的光反射器传感器装置40的测量结果的示例性反馈的(第一)说明图；

[图27]是用于解释根据变型例的光反射器传感器装置40的测量结果的示例性反馈的(第二)说明图；

[图28]是分析根据变型例的光反射器传感器装置40的测量结果的过程的流程图；

[图29]是解释根据变型例的光反射器传感器装置40的测量结果的分析过程的说明图；

[图30]是解释根据变型例的光反射器传感器装置40的测量结果的示例性反馈的(第三)说明图；

[图31]是解释根据变型例的光反射器传感器装置40的测量结果的示例性反馈的(第四)说明图；

[图32]是用于解释根据本公开的第二实施方式的变型例3的肌肉活动传感器装置60的配置的说明图；

[图33]是解释根据本公开的第三实施方式的示例性反馈的(第一)说明图；

[图34]是解释根据本公开的第三实施方式的示例性反馈的(第二)说明图。

具体实施方式

参考附图，下面将详细描述本公开的优选实施方式。在说明书和附图中，具有基本相同功能的组件用相同的数字表示，因此省略了冗余的描述。

在说明书和附图中，具有基本相同或相似功能配置的多个组件可以通过在相同数字的末尾添加不同的数字来区分。当不特别需要区分具有基本相同或相似功能配置的多个组件时，仅添加相同的数字。不同实施方式之间的类似组件可以通过将不同的字母添加到相同数字的末端来彼此区分。注意，当不特别需要区分相似的组件时，仅添加相同的数字。

将按照以下顺序进行描述。

1.如何创建本公开的实施方式

2.本公开的实施方式

2.1.根据本公开实施方式的信息处理系统1的概述

2.2.根据本公开实施方式的传感器装置10的配置

2.3.根据本公开实施方式的服务器30的配置

2.4.根据本公开实施方式的用户侧装置70的配置

2.5.根据本公开实施方式的信息处理方法

3.本公开实施方式的示例

3.1.示例1

3.2.示例2

3.3.其他应用示例

4.概述

5.关于硬件配置

6.第二实施方式

6.1.变型例1

6.2.变型例2

6.3.变型例1

7.第三实施方式

8.补充

《1.如何创建本公开的实施方式》

在描述根据本公开的实施方式之前，将描述发明人根据本公开创建实施方式的背景。

如上所述，表现(例如，像钢琴演奏那样的乐器演奏)代表由人体的大量部分(例如，手指、肩膀、肘部和肌肉)的运动引起的大量运动元素的复杂的、协作的或非协作的组合。例如，在钢琴演奏中，手指和手肘的关节协作地运动，右手手指和左手手指非协同独立运动。相应地，在钢琴演奏等方面，即使当单个运动元素(例如，一个手指的运动)优选地运动时，也不一定能够实现完美的表现。换言之，可以通过使大量的运动元素优选地或不优选地协作来实现完美的表现，使得手指和肘部的关节协作地运动，或者右手手指和左手手指独立地和非协作地运动。

表现(例如，钢琴演奏)代表大量运动元素的协作或非协作，因此可以称为由使用大量运动元素作为变量的几个变量的函数表示的运动。因此，对于由几个变量的函数表示的运动，大量的变量使得难以分析相互协作和关系。由于这个原因，没有在钢琴演奏等中进行对体育运动(例如，用棒球棒击球或用网球拍击球)进行的科学和定量运动科学分析，所述运动可由单个变量或少量变量形成的变量函数来表示。

近年来，在钢琴演奏期间测量每个运动元素和演奏者的肌肉活动，并将测量结果作为反馈提供给演奏者，并且在大多数情况下，仅提供关于单个运动元素的测量值，作为反馈。换言之，关于多个运动元素的协作的信息不作为反馈提供给演奏者，因此，即使有上述反馈，演奏者也难以学习如何协作或非协作地运动他/她的身体的多个部分。由于这个原因，多种运动元素的这种协作或非协作的运动被认为是钢琴演奏的一种“诀窍”，因此被认为是由演奏者通过反复试验而唯一掌握的。

在本文中，多个运动元素的协作和不协作是指其他运动元素如何依赖于或不依赖于一个运动元素(例如，手指、肩膀、肘部或肌肉)的行为(偏移、速度、运动方向、活动量或其中的变化)而表现。更具体地，表示多个运动元素的运动的协作的水平的协作水平(协作信息)是指示多个身体部位上的关节和肌肉集中协作的程度或者协作是否减少以允许独立运动的指数。在本公开的实施方式中，协作水平不限于两个运动元素之间的协作，并且协作可以在三个或更多个运动元素之间。通过在给定状态下(演奏、时间等)感测多个运动元素的变化模式，并计算所感测的变化模式的相似性，可以获得这样的协作水平。

如上所述，教授钢琴演奏风格不是基于证据的，因为还没有进行运动科学分析，一般来说，教学是基于经验法则进行的。此外，这种教学方法是主观的或直观的，并且伴随着交叉的细节，因此教师很难向受教者讲授，因此受教者很难理解教学内容并将教学付诸实践。

此外，对于钢琴演奏风格的教学，还没有建立科学、客观的教学方法，因此教学还有很多地方需要改进。例如，根据性别、年龄、身体大小(手的大小、身高、骨骼等)肌肉和要演奏的音乐类型的不同，认为有更好的演奏风格。因此，可以认为，如果不仅专业的音乐演奏者，而且熟悉钢琴的普通人都能够分别掌握比他们更好的演奏风格，则他们就能够避免身体的紊乱(例如，腱鞘炎)和脑神经疾病(例如，局灶性肌张力障碍(一种引起不自主的和持续的肌肉收缩的神经疾病))并“舒适地”演奏，即“愉快地”演奏。然而，尚未建立根据演奏者的属性来教授这种演奏风格的教学方法，并且在不少演奏者中，健康问题进一步恶化，同时根据情况根据对演奏者不优选的教学方法来教授演奏者，因此演奏者对不能演奏预期的音乐感到苦恼。

在这种情况下，发明家们对一种装置进行了大量的研究，这种装置可以基于运动科学分析科学客观地教授钢琴演奏风格。在研究过程中，发明者了解到，即使从由几个变量的函数表示的运动中，也有可能通过多变量分析和机器学习提取与运动技能的提高密切相关的运动元素的协作和不协作。着眼于上述学习，发明人认为，通过在演奏期间同时感测手指的各种运动的大量运动元素并分析感测数据，可以搜索对演奏至关重要的运动元素的协作和不协作。此外，发明人认为，将基于如上所述的搜索结果的信息作为反馈提供给演奏者，可用于改进钢琴演奏和创建本公开实施方式。

具体地，在将在下面描述的公开的实施方式中，首先，多个运动元素是在钢琴演奏期间的手指、手臂关节和肌肉的行为或者由运动元素(压力、声音等)引起的变化，被单个或多个传感器感测。此外，在该实施方式中，对如上所述获得的多组感测数据(每个运动元素的时间序列数据)执行多元分析。多元分析使得可以提取在钢琴演奏中至关重要的运动元素的协作或非协作(特征运动元素的协作或非协作)，作为定量信息。在该实施方式中，收集与大量演奏者相关的感测数据并对所收集的感测数据执行机器学习使得可以科学地概括演奏状态(精确演奏等)与每个运动元素的协作或非协作之间的关系。此外，在该实施方式中，可以创建收集的感测数据的数据库(DB)以及表征演奏状态的运动元素(特征值)的协作或非协作。

在该实施方式中，从如上所述教导的受教者收集感测数据，将所收集的感测数据的特征值(关于运动元素的协作或非协作的信息)和用作受教者的模型的感测数据(从专家的完美演奏获得的感测数据)的特征值(关于运动元素的协作或非协作的信息)(以下称为角色模型)彼此进行比较，并且基于比较的结果向受教者提供反馈。具体地，在该实施方式中，为了使受教者的演奏接近于专家的完美演奏，将高度需要被纠正或被优先排序的运动元素的协作水平彼此进行比较，且将与角色模型和要纠正的特定内容(身体部位、运动量等)的偏离(差异)作为反馈提供给受教者。可以根据与演奏状态(精确演奏等)的关系以及与角色模型的偏离程度等来确定校正的必要性和优先级。在该实施方式中，可以根据属性信息(性别、年龄等)选择角色模型，并且这种选择使得能够根据受教者的属性定制反馈。

在该实施方式中，使用根据优选的感觉模态选择的方法，向受教者提供反馈。具体地，在该实施方式中，通过使用颜色可视化上述偏离并显示可视化的偏离，可以向受教者提供反馈。此外，在该实施方式中，当偏离微小或者当偏离发生的持续时间微小时，受教者难以感测到偏离，因此关于偏离的信息可能虚拟地夸大，并且可提供放大的偏离，作为反馈。更具体地，在该实施方式中，该偏离可以是标量相乘和可视化的(在空间方向上放大)，或者以慢运动发布(在时间方向上放大)。

在该实施方式中，可以经由受教者佩戴的可穿戴装置向被测者提供作为生物反馈的偏离信息。具体地，在该实施方式中，利用佩戴在受教者的手指等上的可穿戴装置向手指的每个关节施加力(例如，根据相对于角色模型在拉伸和弯曲方向上的力过大或不足的程度，施加力)，能够实现触觉反馈。

下面将依次详细描述根据本公开实施方式的装置配置和信息处理方法。在以下描述中，将描述将本公开的实施方式应用于教授钢琴演奏风格(掌握技术)的情况。本公开的实施方式不限于教授钢琴演奏风格的应用，并且该实施方式适用于掌握另一种乐器的演奏风格的技术、运动的技术以及运动障碍的传统制作或康复的技术。

在以下描述中，除非另有说明，否则用户是指被教授钢琴演奏风格的受教者、根据该实施方式从其收集感测数据以构建DB的演奏者、以及使用根据该实施方式的信息处理系统的操作者中的任何一个。

在以下描述中，钢琴演奏的状态是指演奏者在演奏期间的演奏速度(速度或节奏)、演奏的准确性(节奏或每个声音的音量的准确性)、演奏所引起的音量(声音波形的峰值)、声音的振动性(声音波形的积分的音量)、音调(频谱)、和弦中声音之间的音量差异或时间音量差异(多个声音)(即，“和弦中的平衡”)、每个声音参数的最大值和最小值之间的差异(范围)、以及每个声音的参数的粒度(分辨率)。此外，在上述多个参数(例如，演奏的速度和准确度)之间存在具有折衷关系的参数，因此考虑到这种情况，钢琴演奏状态可以是每个参数的比率。演奏状态可以是由人的主观评价产生的评价指标(演奏者具有高准确度)。当本公开的实施方式应用于除钢琴演奏之外的其他运动时，演奏状态可以是由用户实现的运动元素的运动模式、运动速度、运动精度、运动量(运动功率、脉冲、负载等)或者由演奏引起的结果的状态。

在以下描述中，除非另有说明，特征值不仅包括表征运动元素的协作或非协作，还包括表征例如当达到最大速度时的最大按键速度和时间(时间点)、当达到最大加速度时的最大按键加速度和时间、当键盘开始运动时的时间以及当演奏者按下键盘而上下运动时键盘到达底部时的时间等。在以下描述中，特征值包括键盘从底部分离的时间、键盘返回初始位置的时间以及时间组之间的时间差异。在以下描述中，特征值可以包括同时产生两个连续声音的持续时间(连奏的时间长度)、在按下多个应该同时按下以进行演奏的键盘时的时间组之间的差异(滞后)、当达到最大按键速度时的时间组之间的差异、最大按键速度之间的差异或比率、以及最大加速度之间的差异或比率。此外，特征值可以包括当键盘到达底部表面时获得的加速度，即，由键盘敲击引起的冲击强度，以及键盘按压底部感觉部分的持续时间，并且还包括当键盘开始运动时的加速度，即，由手指敲击键引起的冲击强度。

《2.本公开的实施方式》

<2.1.根据本公开实施方式的信息处理系统1的概述>

首先，将参考图1描述根据本公开实施方式的信息处理系统1的总体配置。图1是解释根据实施方式的信息处理系统1的示例性配置的说明图。

如图1所示，根据该实施方式的信息处理系统1包括传感器装置10、服务器30和用户侧装置70，其经由网络90彼此连接，使得可以彼此进行通信。例如，传感器装置10、服务器30和用户侧装置70经由图中未示出的基站(例如，移动电话基站或无线LAN接入点)等连接到网络90。换言之，任何系统都可以用作网络90中使用的通信系统，而不管该系统是无线的还是有线的。下面将描述根据实施方式的信息处理系统1包括的各个装置的概述。

(传感器装置10)

传感器装置10可以是可佩戴在受教者或演奏者身体的一部分上的传感器、捕获受教者或演奏者的图像的成像装置、设置在受教者或演奏者弹奏的钢琴中的压力传感器、或者拾取钢琴声音的声音拾取装置。对于传感器装置10的数量和类型没有特别限制，只要传感器装置10获取多组感测数据。下面将描述传感器装置10的细节。

(服务器30)

服务器30由例如计算机构成。例如，根据实施方式提供服务的服务提供商拥有服务器30，并且服务器30向每个用户或每个第三方提供服务。具体地，例如，服务器30收集关于演奏者或受教者的感测数据，分析收集的感测数据，并向受教者提供反馈。下面将描述服务器30的细节。

(用户侧装置70)

用户侧装置70是将来自服务器30的反馈信息通知给受教者等的装置，并且当受教者正在演奏时或在演奏之后，将可见的反馈信息变为听觉可感知的或听得见的触觉部分，然后发出反馈信息的通知。例如，用户侧装置70可以是装置，例如，平板电脑、智能手机、膝上型PC(个人计算机)或笔记本PC。此外，用户侧装置70可以是可穿戴在受教者身体的一部分上的可穿戴装置。更具体地，作为可穿戴装置，可以使用利用各种系统的可穿戴装置，例如，HMD(头戴式显示器)型、耳机装置(头戴式耳机)型、脚链型、手镯型、项链型、眼镜型、手套型、护垫型、徽章型和布料型。下面将描述用户侧装置70的细节。

图1示出了根据该实施方式的信息处理系统1包括单个传感器装置10和单个用户侧装置70；然而，实施方式不限于此。例如，根据实施方式的信息处理系统1可以包括多个传感器装置10和多个用户侧装置70。此外，信息处理系统1可以包括另一通信装置，例如，用于从传感器装置10向服务器30发送感测数据的中继装置。

<2.2.本公开实施方式的传感器装置10的配置>

参考图2至图4，将描述根据本公开实施方式的传感器装置10的配置。图2是示出根据实施方式的传感器装置10的配置的框图。图3和图4是示出根据实施方式的示例性传感器装置10的说明图。

如图2所示，根据该实施方式的传感器装置10主要包括传感器单元100、主控制器140和通信单元160。下面将描述传感器装置10的每个功能单元的细节。

(传感器单元100)

传感器单元100佩戴在例如受教者或演奏者的身体上，并且因此能够获取表示由受教者或正在演奏的演奏者的身体的每个部分执行的每个运动元素的状态的感测数据。例如，传感器单元100使用加速度传感器、角速度传感器、陀螺仪传感器、地磁传感器、位置传感器、振动传感器和弯曲传感器中的至少一个来实现。上述传感器装置检测由运动元素提供的加速度或角速度的变化，并生成表示检测到的变化的多组感测数据。此外，由传感器单元100获得的多组感测数据输出到主控制器140。传感器单元100可以包含时钟机制(图中未示出)来知道准确的时间，并将获取感测数据的时间与感测数据相关联。

本文的弯曲传感器是一种使用如下元件的传感器，该元件的电阻根据其弯曲时的弯曲程度非线性地变化，例如，弯曲传感器佩戴在使用者的关节上，因此能够检测关节弯曲的角度。在该实施方式中，在用户的手臂、腿、身体的关节上佩戴如上所述的传感器装置，能够定量检测空间中手指和手臂的姿势(倾斜)、运动速度、关节弯曲角度。

在该实施方式中，传感器单元100可以是捕获受教者或演奏者的图像的成像装置。具体地，如图3所示，由LED(发光二极管)等形成的标记192(以圆形示出)佩戴在受教者的关节、手指等上。在该实施方式中，利用作为传感器单元100的示例的高速摄影相机(成像装置)194捕获标记192的运动，使得可以定量地检测受教者的关节等的位置和运动。在该实施方式中，成像装置可以检测到受教者的眼球等的运动。

在该实施方式中，传感器单元100可以是核磁共振传感器，其利用核磁共振检测受教者或演奏者的口腔或气管内状态、嘴唇或舌头的运动。具体地，受教者等在磁共振成像(MRI)设备中执行演奏，并且这使得能够检测前述状态或运动。特别是当本公开的实施方式应用于各种吹奏的演奏风格(例如，长笛、双簧管、单簧管和小号)时，MRI是有用的，因为能够检测嘴唇和舌头的运动，而用其他方法难以检测这些运动。

传感器单元100可以是位置传感器，其检测由受教者或演奏者的运动元素引起的钢琴键盘的上下运动。例如，在各个键盘下设置位置传感器，使得能够检测每个键盘的上下运动，并检测导致每个键上下运动的手指的运动。传感器单元100可以是压力传感器，每个压力传感器检测由受教者或演奏者的运动元素施加到钢琴键盘的压力。例如，传感器单元100可以是压力传感器196，其佩戴在钢琴的白键600的表面上，如图4所示。传感器单元100可以是压力传感器(图中未示出)，每个压力传感器检测受教者等的手指在白键600上的哪个位置按压白键600。具体地，在相应的键盘上设置均具有两个压力传感器的薄板，使得可以使用来自每个压力传感器的感测数据来估计受教者的手指等按压按键的位置。

传感器单元100可以是声音拾取装置，其从由受教者或演奏者演奏的钢琴中拾取声音。例如，传感器单元100可以是设置在钢琴附近的麦克风198，如图4所示。具体地，利用机器人等通过各种力按压钢琴键，并且传感器单元100经由麦克风198检测由键按压引起的声音。下面将描述的服务器30使用机器学习等将关于按键的参数(力等)和拾取声音的数据彼此关联，从而生成参数和声音之间的关系信息。利用关系信息，使得能够基于由受教者等通过麦克风198从演奏中新拾取的声音的状态(振动、音调或音量)来获取关于受教者等的按键的参数。

在该实施方式中，传感器单元100可以包括生物信息传感器，例如，肌电传感器、心率传感器、脉搏传感器、血流传感器、呼吸传感器、脑电波传感器、皮肤温度传感器和皮肤电导率传感器。本文的肌电传感器是感测由形成肌肉的肌肉纤维产生的弱电场的传感器。具体地，使用如图3所示的佩戴在演奏者或受教者的手臂等上的电极190，肌电传感器从当检测手臂等的肌肉时在肌肉纤维中出现的并且在身体表面上发送的电信号测量肌电位，从而能够定量地检测肌肉的肌肉活动量。

心率传感器是一种检测心率的传感器，所述心率是出现在身体表面的动脉的脉动等，因为心脏的脉动(心率)导致经由动脉通过身体发送血液，并且相应地在动脉的内壁上发生压力变化。血流传感器是一种向身体辐射红外线并通过红外线反射检测血流量的传感器。呼吸传感器可以是检测呼吸量变化的呼吸流量计。脑波传感器是一种通过以以下方式提取周期性波来检测脑波的传感器：将多个电极佩戴在头部表面上，并且从电极之间的电位差异的测量变化中去除噪声。皮肤温度传感器是一种检测演奏者或受教者的体温的传感器，皮肤电导率传感器是一种检测演奏者或受教者的皮肤电阻的传感器。

传感器单元100可以还包括位置信息传感器，例如，获取关于受教者或演奏者的位置信息的GPS(全球定位系统)接收器。传感器单元100可以包括其他各种传感器，例如，气动传感器、温度传感器和湿度传感器，以便获取表示受教者或演奏者进行演奏的环境状态的环境信息。

(主控制器140)

主控制器140设置在传感器装置10中，并且能够控制传感器装置10的每个块。主控制器140使用硬件来实现，例如，CPU(中央处理器)、ROM(只读存储器)或RAM(随机存取存储器)。主控制器140还能够用作数据获取单元142、处理器144和输出控制器152。下面将描述根据该实施方式的主控制器140的这些功能的细节。

-数据获取单元142-

数据获取单元142控制传感器单元100，获取从传感器单元100输出的感测数据，并且将获取的感测数据输出到将在下面描述的处理器144。数据获取单元142包含时钟机制(图中未示出)，以知道准确的时间，将感测数据与获取感测数据的时间相关联，并将与时间相关联的感测数据输出到处理器144。

-处理器144-

处理器144将从上述数据获取单元142输出的感测数据转换成可经由网络发送的给定形式(例如，将作为模拟信号的感测数据转换成数字信号)，并将转换后的感测数据输出到将在下文描述的输出控制器152。

-输出控制器152-

输出控制器152控制将在下面描述的通信单元160，并将从上述处理器144输出的给定形式的感测数据发送到服务器30。

(通信单元160)

通信单元160设置在传感器装置10中，并且能够向外部装置(例如，服务器30)发送信息和从外部装置接收信息。换言之，通信单元160可以称为具有发送和接收数据的功能的通信接口。通信单元160使用通信装置来实现，例如，通信天线、发送-接收电路或端口。

使用各种系统的可穿戴装置(例如，HMD型、耳机装置型、脚链型、手镯型、项链型、眼镜型、护垫型、徽章型、腰带型和布料型)可以用作传感器装置10。具体地，这些可穿戴装置可以设置在手指、手臂、腿、身体、头部和脚趾上。传感器装置10可以是设置在受教者或演奏者周围的装置，例如，成像装置或声音拾取装置。

<2.3.根据本公开实施方式的服务器30的配置>

将参考图5至图8描述根据本公开实施方式的服务器30的配置。图5是示出根据实施方式的服务器30的配置的框图。图6是用于解释根据实施方式的学习单元348的说明图。图7是用于解释根据实施方式的计算器346的说明图。图8是用于解释根据实施方式的比较器350的说明图。

如上所述，服务器30由例如计算机构成。如图5所示，服务器30主要包括输入单元(属性信息获取单元)300、输出单元310、主控制器340、通信单元360和存储器370。下面将描述服务器30的每个功能单元的细节。

(输入单元300)

输入单元300接收数据并向服务器30输入命令。更具体地，输入单元300使用触摸面板、键盘等来实现，并且能够接收关于受教者或演奏者的属性信息的输入。

(输出单元310)

输出单元310由例如显示器、扬声器、视频输出端子或音频输出端子形成，并通过图像或声音输出各种类型的信息。

(主控制器340)

主控制器340设置在服务器30中，并且能够控制服务器30的每个块。主控制器340由硬件实现，例如，CPU、ROM或RAM。主控制器340还能够用作数据获取单元(感测数据获取单元)342、处理器344和输出控制器(通知单元)352。将描述根据该实施方式的主控制器340的功能的细节。

-数据获取单元342-

数据获取单元342获取从上述传感器装置10发送的感测数据，并将获取的感测数据输出到将在下面描述的处理器344。

-处理器344-

处理器344处理从数据获取单元342输出的感测数据，根据感测数据计算表示受教者在演奏期间的运动元素的协作性的协作水平，并基于计算的协作水平生成将作为反馈提供给受教者的反馈信息。处理器344能够创建由用于计算协作水平的各种类型的信息和上述反馈信息形成的DB 372(参考图6)。具体地，为了实现上述这些功能，处理器344用作计算器346、学习单元348和比较器350。将描述根据该实施方式的处理器344的这些功能的细节。

通过使用基于从传感器装置10发送的感测数据的给定算法，计算器346计算表示与特定演奏状态相关的受教者的运动元素的协作性的协作水平。计算器346然后将计算结果输出到将在下面描述的比较器350和存储器370。更具体地，例如，使用将在下面描述的(其存储在将在下面描述的存储器370中)和通过将在下面描述的学习单元348的机器学习获得的DB 372，计算器346根据预设的演奏目标状态(目标表现状态)(例如，快速演奏)选择适当的算法，并计算表示与目标状态相关的运动元素的协作性的协作水平。

因此，在该实施方式中，为了获取用于构建计算器346使用的DB 372的信息，使大量的演奏者(例如，大约100个演奏者)执行给定的演奏(例如，音乐、乐句、音阶、琶音、和弦)，并且根据大量的运动元素从使用上述传感器装置10演奏的演奏者收集大量的感测数据组。例如，传感器装置10收集关于演奏者的每个手指的运动的感测数据。

服务器30(处理器344的学习单元348)收集关于每个演奏者的演奏状态(表现状态)的信息。如上所述，关于演奏状态的信息是诸如演奏速度、演奏准确度、由演奏引起的音量、声音的振动、音调、和弦声音之间的音量差异和持续时间差异、每个声音参数的最大值和最小值之间的差异以及每个声音的参数粒度等信息。例如，可以通过用设置在演奏者附近的麦克风198收集声音并分析通过收集声音获得的音频数据来收集关于演奏状态的这种信息。

在该实施方式中，可以获取关于每个演奏者的属性信息(性别、年龄、身高、体重、肌肉力量、手掌大小、弹钢琴的年限等)，并且可以将属性信息输入到处理器344的学习单元348。

在该实施方式中，如上所述获取的诸如感测数据和演奏状态等信息输入到处理器344的学习单元348，并且使得学习单元348执行机器学习。具体地，例如，处理器344包括监督学习单元(学习机)348，例如，支持向量回归或深层神经网络。如图6所示，从传感器装置10获取的感测数据500和演奏状态502分别作为输入信号和训练信号(标签)输入到学习单元348，并且学习单元348根据给定规则对这些信息组之间的关系执行机器学习。输入的输入信号和训练信号可以不具有图6所示的一对一关系，可以彼此相关联地输入多个输入信号(感测数据500)和单个训练信号(演奏状态502)，或者，可以彼此相关联地输入多个输入信号和多个训练信号。此外，可以预先对用作训练信号的演奏状态信息进行聚类，然后输入该信息。换言之，在该实施方式中，关于具有相似演奏倾向的多个演奏者的一组信息集合可以作为相同的聚类数据组来处理。例如，在该实施方式中，可以基于使用上述属性信息确定的演奏者的熟练程度来执行聚类。这种聚类可用于选择将在下面描述的比较器中使用的信息，并且可用于对受教者的演奏进行分类。

学习单元348通过执行多元分析来获取关于各种组合的运动元素的协作水平和演奏状态之间的关系的信息。具体地，可以通过计算同一演奏者的运动元素之间的感测数据500的相似度来获得运动元素的协作水平。具体地，例如，可以通过在同一时间段内提取各个运动元素的感测数据集500随时间的变化模式并计算变化模式之间的相似性来获得协作水平。例如，可以通过在三维空间中通过给定的范数来归一化关于各个运动元素的感测数据集500的变化模式，并提取变化模式，然后计算变化模式之间的相似性水平来获得协作水平。学习单元348对如上所述获得的协作水平和演奏状态502之间的关系执行多元分析，例如，多元回归分析，并因此获取每个演奏状态中的协作特征水平(特征值)(第一特征信息)，从而能够对演奏状态和协作水平之间的关系信息执行机器学习。通过将学习单元348通过机器学习获得的关系信息存储在存储器370中来构建数据库(DB)372。

学习单元348可以用半训练学习机进行机器学习，以便省略部分感测数据500上的标记。在这种情况下，学习单元348将没有被标记并且被确定为感测数据500的感测数据500的集合分类，该感测数据500类似于已经标记到同一聚类中的感测数据500，从而构建DB372。学习单元348可以例如查询每个演奏者的演奏状态，并且使用基于查询的答案确定的临时信息作为粗略训练信号来执行低训练学习。或者，学习单元348可以执行未经训练的学习，其中，使用大量数据自动执行聚类提取。在这种情况下，学习单元348自动生成表示用作训练信号的演奏状态的聚类和信息。

如图7所示，计算器346能够基于由学习单元348通过机器学习获得的DB 372，根据从传感器装置10新获取的关于受教者的感测数据，计算与特定演奏状态相关的受教者的运动元素的协作水平504。具体地，计算器346从DB 372中提取与特定演奏状态(例如，准确地演奏或快速地演奏)高度相关的协作水平504，即给定演奏状态的特征水平，并且从新获取的关于受教者的感测数据500中计算与特征值(与和提取的特征值相同的运动相关的协作水平504)相对应的给定运动元素的协作水平504。由计算器346计算的协作水平不限于一个，并且可以计算多个协作水平504。计算器346还将计算出的协作水平504输出到将在下面描述的比较器350。

如图8所示，比较器350从DB 372中选择用作受教者的模型的给定演奏状态(专家完美的演奏)的特征值(协作水平504)(角色模型)，并将该特征值与由计算器计算的协作水平504进行比较。例如，比较器350可以计算与作为角色模型计算的协作水平504的差异(偏离)，并且可以计算角色模型和计算的协作水平504之间的一致性水平。此外，比较器350可以进一步提取关于使计算的差异为零所必需的运动元素的信息(关于身体部位、运动量等)。比较器350生成用于向受教者提供反馈的反馈信息，并将生成的反馈信息输出到输出控制器352。

具体地，比较器350从DB 372中选择用作在给定演奏状态下(例如，准确演奏或快速演奏)受教者的模型的代表性协作水平504(从专家的完美演奏中获得的协作水平504)，并且将所选择的角色模型与受教者的协作水平彼此进行比较。当存在多个代表性协作水平504时，比较器350可以计算协作水平504与对应的受教者的协作水平504的差异，并且选择具有作为要比较的角色模型的较大差异的代表性协作水平504，作为要纠正的受教者进行演奏的高度必要性的协作水平504，以便接近专家的完美演奏。或者，比较器350可以选择与给定演奏状态具有最高关系的协作水平504，作为协作水平504(角色模型)，当该水平改善，以使受教者的演奏接近专家的完美演奏时，协作水平504的效果被认为是显著的。

在该实施方式中，比较器350可以根据受教者的属性信息(例如，性别、年龄、体型、肌肉力量、柔韧性和敏捷性)来选择角色模型。这种选择使得能够根据受教者的属性定制反馈。例如，根据受教者的属性，比较器350选择属性接近受教者属性的专家的协作水平504。

在该实施方式中，当受教者的右手手指和左手手指之间的熟练程度不同时，比较器350可以反转熟练的一只手(例如，优势手)的手指的协作水平504，并选择反转的协作水平504，作为另一只手的手指的协作水平504的角色模型。当比较过去的演奏者和现在的受教演奏者时，比较器350可以选择过去的演奏者的协作水平504作为角色模型。

输出控制器352控制通信单元360将从处理器344输出的反馈信息506发送到用户侧装置70。换言之，输出控制器352能够控制用户侧装置70中的反馈。输出控制器352不限于将从处理器344输出的所有反馈信息506发送到用户侧装置70。例如，输出控制器352可以基于关于受教者等的属性信息来选择反馈信息506，并将反馈信息506发送到用户侧装置70。具体地，作为反馈提供给受教者的大量信息有时会使受教者感到困惑，并最终阻碍该技术的学习。因此，通过根据受教者的属性等限制输出控制器352中作为反馈提供的信息量，可以避免受教者的困惑。

在该实施方式中，输出控制器352可以基于先前的设置选择要发送到用户侧装置70的反馈信息506。作为示例，使用受教者使用根据实施方式的信息处理系统1来在“演奏速度”和“按键强度”这两个目标上进行改进的情况，将描述输出控制器352基于先前设置选择反馈信息506。在这种情况下，当提供用于提高(增加)“演奏速度”的反馈信息506和用于提高(增加)“按键强度”的反馈信息506，作为反馈时，存在受教者困惑的风险。因此，在该实施方式中，例如，受教者或教师预先设置应该优先提供关于演奏速度的反馈信息506和关于按键强度的反馈信息506中的哪一个，作为反馈。这可以避免受教者的困惑。该实施方式不限于提供单一组反馈信息506作为反馈，并且例如，可以间歇地顺序提供多组反馈信息506作为反馈。在这种情况下，可以设置提供多组反馈的顺序和滞后，使得反馈优选地提供给受教者。

在该实施方式中，如上所述，输出控制器352可以使用由上述学习单元348通过学习获取的算法选择要发送到用户侧装置70的反馈信息，而不基于属性信息和先前设置选择反馈信息。例如，在该实施方式中，作为反馈提供给受教者的反馈信息506的内容和音量以及关于受教者的演奏改进的信息输入到学习单元348。这些信息组已经输入到的学习单元348先前学习反馈信息506和表示信息量和改善效果之间的关系的关系信息。此外，使用由学习单元348获得的上述关系信息，并且基于其改善效果被估计为高的反馈信息506，输出控制器352选择要发送到用户侧装置70的反馈信息506。在该实施方式中，通过适当地控制作为反馈提供的反馈信息506，可以有效地学习和提高受教者的演奏。在该实施方式中，基于通过学习单元348的学习获得的信息，不仅可以选择反馈信息506的内容和信息量，还可以选择反馈的时间和提供反馈的反馈模式(例如，显示、音频或触觉)。

输出控制器352可以基于反馈信息506、关于受教者的属性信息等选择反馈模式(例如，显示、音频或触觉)，并且将所选择的反馈模式的信息发送到用户侧装置70。例如，当该实施方式应用于掌握准确弹奏钢琴的技术时，输出控制器352选择使用触觉机构710(参见图9)提供的反馈模式，该触觉机构710使用用作受教者的模型的专家的运动，作为反馈信息，向受教者的身体的一部分施加并传递力。在类似的情况下，输出控制器352选择使用显示单元714(参考图9)提供的反馈模式，该显示单元714可视地发送受教者和专家之间的运动的偏离，作为反馈信息。受教者等可以根据受教者的品位预先设置输出控制器352提供反馈的反馈模式。

(通信单元360)

通信单元360设置在服务器30中，并且能够向外部装置(例如，传感器装置10和用户侧装置70)发送信息和从外部装置接收信息。通信单元360使用通信装置来实现，例如，通信天线、发送-接收电路或端口。

(存储器370)

存储器370被设置在服务器30中，并存储程序和信息等，用于上述主控制器340执行各种类型的处理和通过处理获得的信息。存储器370使用例如磁存储介质(例如，硬盘(HD))、非易失性存储器(例如，闪存)等来实现。存储器370能够存储上述DB 372。

<2.4.根据实施方式的用户侧装置70的配置>

将参考图9至图11描述根据本公开实施方式的用户侧装置70的配置。图9是示出根据实施方式的用户侧装置70的配置的框图。图10是用于解释根据实施方式的用户侧装置70的示例的说明图。此外，图11是用于解释根据该实施方式的外骨骼机器人(可穿戴装置)712的说明图。

如上所述，用户侧装置70可以是例如，平板电脑、膝上型PC、笔记本PC或可穿戴装置的装置。如图9所示，用户侧装置70主要包括触觉机构710、显示单元714、音频输出单元(音频输出装置)716、主控制器740、通信单元760和存储器770。下面将描述用户侧装置70的每个功能单元的细节。

(触觉机构710)

触觉机构710是提供触觉发送的装置，例如，基于从服务器30发送的反馈信息506向受教者身体的一部分(例如，关节)施加力。例如，触觉机构710是如图10所示佩戴在受教者手上的球形可穿戴装置(可穿戴装置)712。具体地，球形可穿戴装置712称为手指外骨骼机器人，并且如图11所示，由包括多个外骨骼构件712a和使外骨骼构件712a能够运动的致动器(例如，电动致动器或气动致动器)(图中未示出)的机构形成。球形可穿戴装置712使用致动器使外骨骼构件712a运动，以向受教者的手指和关节施加力，从而例如允许受教者触觉感知关节伸展和弯曲的方向上的力是过大还是不足。因此，球形可穿戴装置712能够充当向导，使得受教者的演奏接近于专家的演奏。在该实施方式中，上述传感器装置10可以佩戴在触觉机构710上，并且在这种情况下，触觉机构710可以向受教者的身体的一部分施加力或刺激，使得传感器装置10获取目标值。在该实施方式中，可穿戴装置712不限于如图11所示的手套类型，并且例如，可穿戴装置712可以是佩戴在受教者手臂上的臂罩类型的可穿戴装置。

在该实施方式中，触觉机构710不限于球形可穿戴装置712，并且触觉机构710可以是例如向受教者身体的一部分施加振动的振动装置或者利用电肌肉刺激向肌肉施加刺激的刺激装置。换言之，在该实施方式中，触觉机构710优选地将触觉刺激施加于受教者身体的一部分，从而触觉地向受教者提供反馈信息506作为反馈(生物反馈)。

当受教者进行心理排练时，可以使用触觉机制710。例如，当由触觉机构710提供用作受教者的模型的专家的运动，作为反馈时，受教者即使没有钢琴等也能够进行心理排练。在这种情况下，对应于反馈信息506的演奏声音可以由下面将描述的音频输出单元716输出给受教者。由触觉机构710提供的反馈可以缓慢地再现，并且由音频输出单元716输出的演奏声音可以缓慢地输出，以增加受教者的心理排练的效果。

(显示单元714)

显示单元714是用于向诸如受教者等用户显示反馈信息506的装置，并且使用图像或光向受教者输出反馈信息506。如图10所示，显示单元714使用显示器(图像显示装置)、发光装置(图中未示出)等来实现。此外，显示单元714可以使用视频输出端子等来实现。

具体地，显示单元714能够显示包含在反馈信息506中的角色模型和受教者的协作水平504之间的差异，同时根据差异的大小改变颜色。此外，由于当差异是微小的或者发生差异的持续时间是微小的时，受教者难以察觉该差异，所以显示单元714可以以增强的方式虚拟地显示上述差异信息。具体地，显示单元714可以通过给定的标量乘法(空间方向上的增强)来使差异变得可见，或者以慢运动来张贴差异(时间方向上的增强)。此外，显示单元714可以显示演奏者的先前协作水平504和当前协作水平504之间的差异，并表示演奏者的掌握程度。

显示单元714可以是能够基于反馈信息506以叠加方式在真实空间中将对象显示为增强现实(AR)的投影装置。例如这种投影装置可以是佩戴在受教者眼前的智能眼镜可穿戴装置(图中未示出)。在智能眼镜可穿戴装置中形成透射显示器，并且透射显示器使用例如半反射镜或透明光导在受教者的眼前保持由透明光导单元等形成的虚像光学系统，并在虚像光学系统的内部显示物体。投影装置可以是安装在受教者头部的HMD。

(音频输出单元716)

音频输出单元716是用于通过声音(警报)将反馈信息506输出到用户(例如，受教者)的装置，并且音频输出单元716可以是例如受教者佩戴在耳朵上的音频输出单元716，如图10所示，或者是设置在受教者附近的扬声器(图中未示出)。此外，音频输出单元716可以使用音频输出端子等来实现。例如，当角色模型和受教者的协作水平504之间出现差异时，音频输出单元716通过向正在演奏的受教者输出特定声音来提供反馈。

如上所述，在该实施方式中，可以根据反馈信息等从上述触觉机构710、显示单元714和音频输出单元716中选择对应于任何一种优选感觉模态的单元，并向受教者提供反馈。反馈可以由触觉机构710、显示单元714和音频输出单元716同时提供，并且该实施方式没有特别限制。这使得受教者能够感觉到运动元素的协作，这称为“诀窍(knack)”，并且对于受教者来说难以想象。

(主控制器740)

主控制器740设置在用户侧装置70中，并且能够控制用户侧装置70的每个块。主控制器740使用例如诸如CPU、ROM或RAM等硬件来实现。

(通信单元760)

通信单元760能够向外部装置(例如，服务器30)发送信息以及从外部装置发送信息。注意，通信单元760使用通信装置来实现，例如，通信天线、发送-接收电路或端口。

(存储器770)

存储器770被设置在用户侧装置70中，并存储程序等，用于存储器770执行各种类型的处理和通过处理获得的信息。存储器770使用例如磁记录介质(例如，硬盘(HD))、非易失性存储器(例如，闪存)等来实现。

用户侧装置70可以包括图中未示出的输入单元。输入单元具有接收对用户侧装置70的数据和命令的输入的功能。更具体地，使用触摸面板、按钮、开关、按键、键盘、麦克风或图像传感器来实现输入单元。

在该实施方式中，传感器装置10的传感器单元100和用户侧装置70的触觉机构710的功能可以集成到单个可穿戴装置中。

<2.5.根据本公开实施方式的信息处理方法>

已经详细描述了信息处理系统1所包括的信息处理系统1和传感器装置10、服务器30和用户侧装置70的配置。将参考图12描述根据实施方式的信息处理方法。图12是解释根据实施方式的示例性信息处理方法的序列图。如图12所示，根据实施方式的信息处理方法包括从步骤S100到步骤S400的多个步骤。将描述根据实施方式的信息处理方法包括的每个步骤的细节。

(步骤S100)

首先，传感器装置10在受教者演奏之前预先佩戴在受教者身体的一部分上，或者可以设置在受教者周围。当受教者开始给定的演奏(例如，音乐、乐句、音阶、琶音、和弦)时，传感器装置10的传感器单元100感测与正在演奏的受教者的运动相关联的每个运动元素的加速度和角速度的变化，并获取多组感测数据。传感器装置10将获取的感测数据发送到服务器30。

(步骤S200)

服务器30从传感器装置10获取感测数据500。使用基于感测数据500的给定算法，服务器30计算与预期演奏状态相关的受教者的协作水平504。

(步骤S300)

服务器30将在上述步骤S200获得的协作水平504与从DB 372中选择的角色模型进行比较，并且基于比较结果生成反馈信息506。服务器30将反馈信息506发送到用户侧装置70，以便向受教者提供反馈。

(步骤S400)

用户侧装置70基于接收到的反馈信息506向受教者提供反馈。

将参考图13描述上述图12中的步骤S200的细节。图13是根据实施方式的步骤S200的流程图。如图13所示，根据该实施方式的步骤S200包括从步骤S201到步骤S205的多个步骤。下面将描述根据实施方式的步骤S200所包括的每个步骤的细节。

(步骤S201)

服务器30从传感器装置10获取多组感测数据500。

(步骤S203)

服务器30从DB 372中选择与预先设置的特定演奏状态高度相关的协作水平504，例如，准确演奏或快速演奏，即特定演奏状态的特征值。

(步骤S205)

服务器30根据在步骤S201获得的关于受教者的感测数据500，计算对应于在上述步骤S230选择的特征值的给定运动元素的协作水平504。

将参考图14描述图12中的步骤S300的细节。图14是根据实施方式的步骤S300的流程图。如图14所示，具体地，根据实施方式的步骤S300包括从步骤S301到步骤S309的多个步骤。下面将描述根据实施方式的步骤S300所包括的每个步骤的细节。

(步骤S301)

服务器30获取在上述步骤S200中计算的受教者的协作水平504。

(步骤S303)

服务器30从DB 372中选择代表性协作水平504(角色模型)，用作在给定的演奏状态(例如，精确演奏或快速演奏)下受教者的模型。

(步骤S305)

服务器30计算在上述步骤S303选择的角色模型和在步骤S301获取的受教者的协作水平504之间的差异。

(步骤S305)

服务器30基于在步骤S305计算的差异生成反馈信息506。

(步骤S307)

服务器30基于在上述步骤S305生成的反馈信息选择反馈模式(显示、音频或触觉)等。

如上所述，根据本公开的上述实施方式，可以提供一种信息处理装置，该装置基于由用户身体的多个部分的协作或非协作运动提供的表现中的多个运动元素的协作水平来提供信息，作为对用户的反馈，并且该装置可用于支持掌握表现；一种信息处理方法；以及一种程序。

此外，根据该实施方式，使用对应于优选感觉模态的单元来提供反馈信息506的反馈，因此，例如，受教者能够容易地知道受教者和另一个人(例如，专家)之间的运动差异。

《3.根据本公开实施方式的示例》

已经描述了根据本公开实施方式的信息处理方法的细节。将更详细地描述根据本公开实施方式的信息处理的示例，表示具体示例。下面给出的示例仅是根据本公开实施方式的信息处理的示例，因此根据本公开实施方式的信息处理不限于下面的示例。

<3.1.示例1>

首先，将参考图15和图16将本公开的上述实施方式应用于精确弹奏钢琴的技术掌握支持系统的情况的示例1描述为示例1。图15和图16是用于解释示例中的示例性反馈的说明图。技术掌握支持系统可以教受教者如何运动手指准确弹奏钢琴。

在这个示例中，作为初级阶段，大量(例如，大约100名)专家演奏给定的音乐、部分音乐、乐句(例如，音阶、琶音、和弦)等。根据该实施方式的信息处理系统1感测正在演奏的演奏者的运动元素，并收集大量感测数据集500。根据演奏准确度(演奏状态)502来标记所收集的感测数据集500，然后将其输入到信息处理系统1的服务器30。通过对标记的感测数据集500执行多元分析，服务器30搜索与演奏准确度高度相关的运动元素的协作水平504。

通过用麦克风198感测每个前述演奏者的演奏与分数之间的一致性水平等，并且使演奏声音与单独输入到服务器30的分数数据一致，可以计算上述演奏准确度502。具体地，演奏者演奏的节奏和由分数指示的节奏之间的一致性以及演奏者演奏的每个声音的音量和由分数指示的每个声音的音量之间的一致性可以作为确定一致性的内容。演奏准确度502可以例如由用户主观输入等(例如，可以输入指示由用户的主观性确定的演奏者的准确度水平的指标)，并且演奏准确度502没有特别限制。

然后，受教者演奏给定的音乐。服务器30从DB 372中选择具有高演奏准确度的代表性协作水平504(角色模型)，作为受教者的模型，并将选择的角色模型与基于从演奏中获得的感测数据500计算的协作水平504进行比较。服务器30还基于比较结果生成反馈信息506，并将反馈信息506发送到用户侧装置70。在该示例中，角色模型和受教者的协作水平504相互比较，并且从分析中确定将与角色模型的偏离最大化的原因是受教者右手手指的运动元素。在这种情况下，服务器30可以提取使偏离为零所必需的受教者右手手指的运动方向和运动量。

然后，用户侧装置70基于接收到的反馈信息506向受教者提供用于准确演奏的反馈。具体地，用户侧装置70向正在演奏或演奏之后的受教者显示如图15所示的显示屏800。显示屏800在右侧包括一致性索引条804，其指示角色模型和受教者的协作水平504之间的一致性水平。一致性水平越高，一致性索引条804以向上拉长的方式显示得越多，这允许受教者一眼就从角色模型中立即知道受教者的偏离。

显示屏800中心的上半部分包含显示手指姿势和运动的手指显示屏802。如图15所示，以叠加的方式显示示意性示出右手手指的两个成像图像，在右手手指上确定右手手指最大化了与角色模型的偏离。具体地，在图15中由斜线表示的手指的成像图像832表示根据角色模型的专家的手指的姿势和运动，而作为另一图像的手指的成像图像834表示受教者的手指的姿势和运动。根据手指显示屏802，以叠加的方式在受教者的手指和运动上显示根据角色模型的专家的手指的姿势和运动，作为图像，这允许受教者从专家知道运动中的受教者的偏离。因此，在该实施方式中，受教者能够校正受教者的右手手指的偏离，将受教者的协作水平504近似为角色模型，并且掌握用于精确演奏的技术。

显示屏800中心的下半部分包含示意性显示键盘的键盘显示屏836。例如，上键盘可以是对应于左手手指演奏的屏幕，下键盘可以是对应于右手手指演奏的屏幕。例如，当受教者错误地按下与给定分数的声音不同于的声音的键时，对应于受教者不能通过按键发出的声音的键盘838可以与其他键盘的颜色不同的颜色显示。在该实施方式中，当发生键盘到达底部或键盘键开始抬起的事件时，可以在显示屏800上实时显示警报显示(图中未示出)，或者可以输出给定的警报声音，以向受教者表示事件的发生。受教者等能够预先设置什么事件的发生导致如上所述的警报输出。

示例中的反馈可以是如图16所示的显示屏806。类似于图15中的显示屏800，显示屏806包括手指显示屏808、一致性索引条804和键盘显示屏836。显示屏806和键盘显示屏836的一致性索引条804与显示屏800中的相同，因此省略其描述，并将描述手指显示屏808。

具体地，显示屏806的中心的上半部分包含显示手指的姿势和运动的手指显示屏808。如图16所示，在显示屏806中，显示了示意性示出受教者的右手手指的成像图像840。成像图像840表示受教者的手指的姿势和运动。此外，在成像图像840的一部分中表示多个向量810。每个向量810表示受教者的右手手指的方向运动和使角色模型和使受教者的协作水平504之间的偏离为零所需的运动量(学者)。根据显示屏806，根据角色模型，受教者的手指的姿势和运动与专家的手指的姿势和运动之间的每个偏离在图中被示为向量810，这允许受教者一眼就知道受教者和专家之间的运动偏离。因此，在该示例中，受教者能够根据显示的向量810来校正受教者的手指的偏离，将受教者的协作水平504近似为角色模型，并且掌握用于精确演奏的技术。

<3.2.示例2>

参考图17和图18，将本公开的上述实施方式应用于快速弹奏钢琴的技术掌握支持系统的情况的示例2描述为示例2。图17和图18是用于解释示例中的示例性反馈的说明图。技术掌握支持系统可以教受教者如何运动手指以及如何使用肌肉快速弹钢琴。

首先，同样在该示例中，作为初级阶段，大量的专家演奏者演奏给定的音乐、部分音乐、乐句等，并且根据该实施方式的信息处理系统1收集大量的感测数据集500。此外，根据演奏速度(演奏状态)502标记收集的感测数据集，然后将其输入到信息处理系统1的服务器30。通过对标记的感测数据集500执行多元分析，服务器30搜索与演奏速度高度相关的运动元素的协作水平504。

然后，受教者演奏给定的音乐。服务器30从DB 372中选择高演奏速度的代表性协作水平504(角色模型)，作为受教者的模型，并将选择的角色模型与基于从演奏中获得的感测数据500计算的协作水平504进行比较。服务器30还基于比较结果生成反馈信息506，并将反馈信息506发送到用户侧装置70。在该示例中，角色模型和受教者的协作水平504相互比较，并且从分析中确定将与角色模型的偏离最大化的原因是受教者的手臂和手指的肌肉如何拉紧。在这种情况下，服务器30可以提取使偏离为零所必需的受教者的手臂和手指的肌肉的活动量。

然后，用户侧装置70基于接收到的反馈信息506向受教者提供用于快速演奏的反馈。具体地，用户侧装置70向受教者显示如图17所示的显示屏862。显示屏862是用于在每个时间点提供关于受教者的肌肉活动的反馈的屏幕。在该示例中，如上所述，因为确定了使受教者的协作水平504和角色模型之间的偏离最大化的原因是如何拉紧受教者的手臂和手指的肌肉，所以关于肌肉活动的信息作为反馈提供给受教者。

具体地，显示屏862包括多个窗口850，用于在受教者演奏期间的每个时间点提供关于受教者肌肉活动的信息，作为反馈。如图17所示，类似于图15中的显示屏800，每个窗口850包含手指显示屏864和一致性索引条804。手指显示屏864还包括成像图像866，其示意性地示出了从指尖到前臂区域的两个左臂和右臂。在每个成像图像的一部分中示出区域显示器868。具体地，在手臂和手指的肌肉位置中的区域显示器868的颜色根据使偏离为零所必需的肌肉活动量(具体地，张力水平)而变化，所述肌肉位置是使在角色模型和受教者的协作水平504之间的偏离为零所必需的。根据显示屏862，在角色模型的受教者和专家之间出现肌肉活动量的差异的肌肉位置和肌肉活动量的差异由颜色表示，这允许受教者一眼就知道受教者和专家之间的运动偏离。因此，在该示例中，受教者能够根据显示屏862拉紧他/她的手臂和手指的肌肉或者减小张力，以使受教者的协作水平504接近角色模型，从而掌握快速演奏的技术。在图17中，颜色的差异表示在角色模型的受教者和专家之间出现肌肉活动量的差异的肌肉位置以及肌肉活动量的差异；然而，示例不限于此，并且可以使用图案或符号(标记)的差异来表示差异。

在该示例中，类似于图18所示的显示屏870可以显示给受教者。显示屏870包括键盘显示屏872，键盘显示屏872示意性地示出了键盘，其中，键盘显示屏872中示出的每个白键都设有速度显示器876。速度显示器876通过动画再现由受教者(或演奏者)演奏引起的每个键盘的运动。此外，速度显示器876的颜色根据受教者按下相应白键的速度而变化，更具体地，根据角色模型，根据受教者按下按键的速度和专家按下按键的速度之间的差异而变化。因此，根据键盘显示屏872，因为与专家的速度差异是通过颜色显示的，所以受教者能够一眼就知道按下哪个白色键以及哪个手指必须快速运动才能按下白色键。注意，速度显示器876可以显示为键盘的一部分，或者可以显示为整个键盘。条形显示器908(参考图33)可以用作速度显示器876。条形显示器908的高度(或长度)可以根据键盘的速度(即按键速度)而变化。除了按键速度之外，其他特征值(最大按键速度、达到最大按键速度的时间、最大加速度、达到最大加速度的时间、键盘开始运动的时间以及键盘到达底部的时间等)或者感测数据500可以使用条形图、诸如饼图(图中未示出)等图表、数值、动画等的条形显示器908来显示。通过改变条形显示器908或其他显示器的颜色、图案、形状等，可以表示受教者(或演奏者)是否按下按键或受教者的手指等，与按键分离(按键释放)。更具体地，例如，可以在受教者等按压按键的时间显示具有给定颜色的标记(显示)，另一方面，可以在释放按键的时间显示具有与前述给定颜色不同的颜色的标记，从而区分按压按键还是释放按键。在这种情况下，该标记不仅显示按下按键还是释放按键，而且还保持显示，直到按下或释放按键之后经过给定的时间。将在下面描述条形显示器908的细节等。

在显示屏870中，在键盘显示屏872的每个白键上方提供时间序列数据显示器874，表示关于受教者按下相应键盘的手指速度的时间序列数据，使得时间序列数据显示器874分别对应于白键。在时间序列数据显示器874上，可以显示受教者的按键速度和专家的速度之间的差异的时间序列数据。时间序列数据还可以包含标记(图中未示出)，示出最快速度的时间点，即以增强的方式从键盘抬起手指的时间点。

<3.3.其他应用示例>

本公开的实施方式不限于上述示例，并且可以应用于各种用途。将简要描述本公开的实施方式的各种应用示例。

(应用示例1)

本公开的实施方式适用于掌握与特定演奏者A(例如，著名演奏者)的演奏风格相似的演奏风格。具体地，根据该实施方式的信息处理系统1收集关于演奏者A演奏的感测数据500。信息处理系统1(具体地，学习单元348)基于收集的感测数据500计算演奏者A演奏的运动元素的协作水平504，并将计算的协作水平504与另一演奏者的协作水平进行比较。以这种方式，在应用示例中，提取表征演奏者A的演奏的协作水平504，即特征值。通过选择提取的特征值作为角色模型，受教者能够使用根据实施方式的信息处理系统1来掌握类似于演奏者A的演奏风格。在应用示例中，使用表征演奏者A的演奏的特征值，使得能够使用人形机器人、机器人手臂等再现与演奏者A的演奏类似的演奏。

在该应用示例中，将表征多个演奏者的演奏的特征值存储为数据库，使得可以确定由另一演奏者演奏的数据库中的哪个演奏者在演奏风格上接近。具体地，根据该实施方式的信息处理系统1从不在数据库中的演奏者的演奏中收集多组感测数据500，并且使用收集的多组感测数据500，提取另一演奏者的演奏的特征值(第二特征信息)。此外，通过计算另一演奏者的计算特征值和数据库中每个演奏者的特征值之间在虚拟空间中的距离，并比较计算的距离，信息处理系统1(具体地，服务器30)能够确定(分类)另一演奏者在演奏时接近数据库中的哪个演奏者。

在应用示例中，可以根据数据库中各个演奏者的特征值来分类另一演奏者，相应地，例如，初步诊断是否存在障碍，例如，肌张力障碍。具体地，根据该实施方式的信息处理系统1将多个演奏者分类(聚类)为健康的专家演奏者、健康的普通演奏者、健康的初学者、肌张力障碍患者和非演奏者(从未演奏过钢琴)，并且让每个人演奏并收集每个人的感测数据500。信息处理系统1(具体地，学习单元348)分析与每个聚类相关联的多组感测数据500，提取每个聚类的特征值，并将提取的特征值转变成数据库，作为表征每个聚类中包含的人的演奏的特征值。此外，通过从有可能受肌张力障碍影响的演奏者的演奏中收集多组感测数据500，计算演奏者的特征值，并将计算的特征值与数据库中每个聚类的特征值进行比较，信息处理系统1能够诊断演奏者是否受肌张力障碍影响。

在应用实例中，不仅诊断演奏者是否受到肌张力障碍的影响，还收集演奏者身体病史等信息，使得可以预测演奏者未来的身体问题(部分身体问题的高风险等)。

在应用示例中，还可以通过比较受教者的以前和现在的特征值来评估练习的效果。在应用示例中，通过与处于最佳状态的演奏者的特征值进行比较，可以检查演奏者走出低谷的线索。

(应用示例2)

本公开的实施方式适用于掌握演奏风格，以便在比赛中获奖。具体地，根据该实施方式的信息处理系统1收集过去在比赛中获奖者演奏时的感测数据500。此外，信息处理系统1(具体地，学习单元348)通过基于收集的感测数据500计算获奖者在演奏中的特征值(运动元素的协作水平504)并比较未获奖者的特征值，来提取获奖者的特征值。通过选择提取的特征值，作为角色模型，受教者能够使用根据实施方式的信息处理系统1来掌握演奏风格，以便在比赛中获奖。

应用示例不限于直接收集获奖者的运动元素的感测数据500，并且可以收集获奖者在比赛中的演奏声音。在这种情况下，信息处理系统1获取关系信息，表示用机器人等在钢琴上按压键的参数(例如，力)和由按压键引起的声音之间的关系。使用上述关系信息分析比赛中的演奏声音，使得可以获取获奖者按压键时的参数，作为感测数据500。

(应用示例3)

本公开的实施方式适用于演奏者选择更好的钢琴的情况。例如，如上所述，根据实施方式的信息处理系统1获取关系信息，表示用机器人等在各种钢琴上按压键的参数(例如，力)和由按压键引起的声音之间的关系。信息处理系统1分析关系信息，从而指定在各种钢琴的给定状态下产生声音(振动或音调)所必需的按键参数，并提取表征相应钢琴的特征值。例如，钢琴的特征值可以是信息，例如，“钢琴A难以产生柔和的音调”、“钢琴B具有弱振动性”、“钢琴C在没有强键按压的情况下不具有振动性”或者“钢琴D在没有快速键按压的情况下不产生声音”。通过将上述钢琴特征值和每个演奏者的特征值相互结合使用，信息处理系统1可以选择对演奏者更好的钢琴。

在应用示例中，通过参考每个钢琴的特征值，可以选择在可操作性和演奏者期望的表达方面更好的钢琴，并且可以选择对演奏场所更好的钢琴(例如，声音的振动性根据演奏场所而不同)。此外，在应用示例中，信息处理系统1向调谐器提供每个钢琴的特征值和每个演奏者的特征值的反馈，以使得当调谐器根据演奏者来调谐钢琴时，信息处理系统1能够用作支持装置。

在应用示例中，可以使用演奏者演奏的位置或环境(例如，温度、压力或湿度)的信息，该信息是由传感器装置10的传感器单元100获取的信息。具体地，钢琴声音的质量(振动、音量等)根据钢琴演奏的环境(演奏大厅的结构、温度、湿度)而变化。因此，在应用示例中，例如，基于由传感器装置10的位置信息传感器获取的位置信息，信息处理系统1获取关于演奏钢琴的演奏大厅的信息。信息处理系统1还获取关于在演奏大厅中进行的演奏的信息(例如，声音的振动)和关于进行演奏的环境的环境信息(例如，温度、压力或湿度)。利用这些获取的信息组，信息处理系统1获取并学习演奏大厅的特征值(例如，振动或音量)以及表示环境信息和声音之间的关系的关系信息。此外，利用演奏大厅的特征值和上述关系信息，此外，利用钢琴的上述特征值、演奏者的特征值等，信息处理系统1能够选择对于演奏者来说在演奏大厅中演奏更好的钢琴或者对于音乐会日期的天气(环境)更好的钢琴。

在上述每个应用示例中，演奏者的特征值被描述为表征演奏者演奏的运动元素的协作水平504；然而，本公开的实施方式不限于此。换言之，在该实施方式中，演奏者的特征值没有特别限制，只要该特征值是可以表征演奏者演奏的信息，并且例如，该特征值可以是运动元素的感测数据。

(应用示例4)

在以上描述中，描述了本公开的实施方式应用于弹钢琴的情况；然而，该实施方式也适用于演奏另一种乐器。例如，该实施方式也适用于另一种键盘乐器(例如，风琴、双簧管或合成器)、弦乐器(例如，小提琴或大提琴)、打击乐器(例如，鼓)或管乐器(例如，长笛、双簧管、单簧管或小号)。具体地，即使当演奏上述各种乐器时，根据该实施方式的传感器装置10也能够检测手指、腿、脖子、喉咙等的运动以及要按压的琴弦和孔的位置。更具体地，通过上述MRI可以检测到演奏者口腔中的舌头运动。该实施方式不限于演奏乐器的应用，并且该实施方式也适用于唱歌和吹口哨。

(应用示例5)

本公开的实施方式也适用于音乐以外的表现。例如，该实施方式可用于发声训练(例如，英语发音或语音)、运动、康复(例如，康复，以改善身体瘫痪)、游戏、医疗操作训练(预防性内窥镜检查训练)、驾驶车辆训练(例如，汽车、自行车、轮椅、飞机)、操作设备(建筑设备)的训练、创作艺术和艺术品的技术训练(绘画、书法、折纸艺术)等。该实施方式也适用于如上所述的心理演练。

《4.概述》

如上所述，根据上述公开的实施方式，可以提供一种信息处理装置，该装置基于由用户身体的多个部分的协作或非协作运动提供的表现中的多个运动元素的协作水平来提供信息，作为对用户的反馈，并且该装置可用于支持掌握表现；一种信息处理方法；以及一种程序。

此外，根据该实施方式，使用对应于优选感觉模态的单元来提供反馈信息的反馈，因此，例如，受教者能够容易地知道受教者和另一个人(例如，专家)之间的运动差异以及先前受教者和当前受教者之间的运动差异。因此，在该实施方式中，可以支持受教者掌握“诀窍”，即掌握表现。在该实施方式中，不仅通过与另一个人进行比较，而且通过当前受教者与先前受教者之间的比较，可以容易地知道受教者的掌握水平。

《5.关于硬件配置》

图19是示出根据实施方式的信息处理装置900的示例性硬件配置的说明图。图19示出了上述服务器30的示例性硬件配置。

信息处理装置900包括例如CPU 950、ROM 952、RAM 954、记录介质956和输入输出接口958。信息处理装置900还包括触觉装置960、显示装置962、音频输出装置964、通信接口968和传感器980。信息处理装置900例如经由用作数据发送路径的总线970将组件彼此连接。

(CPU 950)

CPU 950用作主控制器340，该主控制器340使用由诸如CPU、各种处理电路等操作电路形成的至少一个处理器形成，并且控制整个信息处理装置900。

(ROM 952和RAM 954)

ROM 952存储用于控制的数据，例如，CPU 950使用的程序和操作参数。例如，RAM954临时存储要由CPU 950执行的程序等。例如，ROM 952和RAM 954用作信息处理装置900中的上述存储器370。

(记录介质956)

记录介质956用作上述存储器370，并且例如存储关于根据实施方式的信息处理方法的数据和各种类型的数据，例如，各种应用。例如，磁记录介质(例如，硬盘)或者非易失性存储器(例如，闪存)用作记录介质956。记录介质956可以从信息处理装置900拆卸。

(输入输出接口958、触觉装置960、显示装置962和音频输出装置964)

输入输出接口958例如将触觉装置960、显示装置962和音频输出装置964彼此连接。例如，USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清多媒体接口)(商标)端子、各种处理电路等用作输入输出接口958。

触觉装置960用作上述触觉机构710，显示装置962用作上述显示单元714，音频输出装置964用作上述音频输出单元716。例如，液晶显示器或有机EL(电致发光)显示器用作显示装置962。

毋庸置疑，输入输出接口958可与信息处理装置900的外部装置连接，例如，外部操作输入装置(例如，键盘或鼠标)或外部显示装置。

(通信接口968)

通信接口968是信息处理装置900的通信单元，并且用作通信单元360，并且通信接口968用作通信单元(图中未示出)，用于经由网络90(或直接)执行与外部装置的有线或无线通信。例如，通信天线和RF(射频)电路(无线通信)、IEEE802.15.1端口和发射器-接收器电路(无线通信)、IEEE802.11端口和发射器-接收器电路(无线通信)、或者LAN(局域网)端子和发射器-接收器电路(有线通信)用作通信接口968。

已经描述了信息处理装置900的示例性硬件配置。信息处理装置900的硬件配置不限于图19所示的配置。具体地，上述每个组件可以使用专用于每个组件的功能的通用构件或硬件来形成。在实施时，可以根据技术水平适时地适当改变配置。

例如，当经由连接的外部通信装置与外部装置通信时，或者当被配置为执行独立处理时，信息处理装置900不需要包括通信接口968。通信接口968可以具有能够根据多个通信系统与至少一个外部装置通信的配置。

根据该实施方式的信息处理装置可以应用于被设计用于连接到网络(或装置之间的通信)并且由多个装置形成的系统，例如，在云计算中。换言之，根据上述实施方式的信息处理装置可实现为例如利用多个装置执行基于根据实施方式的信息处理方法的处理的信息处理系统。

《6.第二实施方式》

本公开的上述实施方式可以如下变型例。下面将描述作为本公开的第二实施方式的各种变型例。

<6.1.变型例1>

首先，将参考图20至图22描述使用压力传感器装置20的变型例1，该压力传感器装置20测量受教者或演奏者的手指在钢琴键盘上的哪个位置按压该键，并且进一步测量按压键盘的力度。图20是用于解释根据变型例1的压力传感器装置20的配置的说明图。图21是用于说明变型例1的压力传感器装置20的运动的说明图。图22是用于解释根据变型例1的压力传感器装置20的测量结果的示例性反馈的说明图。

(配置)

参考图20，将描述压力传感器装置20的配置。如图20所示，根据变型例的压力传感器装置20主要包括设置在键盘604(图20中的白键)底部的压力传感器200、转换压力传感器200的感测数据的AD(模拟/数字)转换器210、以及处理转换的感测数据的信息处理装置212。

具体地，如图20所示，压力传感器装置20包括由3D打印机等创建的成对的上键盘604a和下键盘604b形成的键盘604。例如，可以设置与钢琴的键盘(白键和黑键)相同对数的上键盘604a和下键盘604b。上键盘604a是被受教者或演奏者的手指按压的键盘，并且通过按压按键施加的力使得上键盘604a上下运动。另一方面，下键盘604b以固定的方式设置，以接收上键盘604a，并且包含检测上键盘604a的运动的压力传感器200。更具体地，在变型例中，至少两个突起202沿着键盘的纵向方向设置在上键盘604a的底面上，并且进入形成在下键盘604b的顶面上的孔204中，使得孔204与突起202相对。此外，压力传感器200设置在孔204的底面上。因此，当上键盘604a按下并相应地向下运动时，进入孔204中的突起202按压压力传感器200，从而可以检测到由受教者或演奏者的手指按压的键。由压力传感器200检测的压力感测数据由AD转换器210从模拟信号转换成数字信号，然后输出到信息处理装置212。

在该变型例中，设置的压力传感器200的位置可以根据一对中的上键盘604a和下键盘604b对应于白键600和黑键中的哪一个而适当地改变。

(示例性检测)

将参考图21描述使用受教者或演奏者在键盘上的手指检测按键的位置以及检测由上述压力传感器200检测的按键引起的力的大小。如图21所示，两个压力传感器200a例如沿着键盘的纵向为每个键盘设置。位于受教者或演奏者一侧的前侧的压力传感器200是压力传感器200a，而相对于受教者或演奏者位于后侧的压力传感器200是压力传感器200b。压力传感器200a检测到的压力是F₁，压力传感器200b检测到的压力是F₂。在这种情况下，由受教者或演奏者按键引起的力的大小F可检测为由两个压力传感器200a和200b检测的压力F₁和F₂的净力。换言之，由受教者或演奏者按键引起的力的大小F可由下面的等式(1)检测。

F＝F₁+F₂ (1)

受教者或演奏者按键导致键盘(即上部盘604a)像跷跷板一样运动。因此，当键盘的长度为L₀并且受教者或演奏者按键的位置相对于用作起始点的键盘的后端为L时，可以使用下面的等式(2)从由两个压力传感器200a和200b检测到的压力F₁和F₂的比率来计算按键的位置L。

L＝L₀×{F₁/F} (2)

此外，两个压力传感器200沿着图20中键盘的纵向为每个键盘设置；然而，变型例不限于此。例如，两个压力传感器200可以沿着键盘的横向方向设置。在变型例中，可以使用三轴传感器来代替压力传感器200。

(示例性反馈)

将参考图22描述将上述压力传感器200的检测结果作为反馈提供给用户的示例性方法。在变型例中，例如，可以使用如图22所示的显示屏820将压力传感器200的检测结果作为反馈提供给用户。显示屏820包含键盘显示屏822，并且例如，受教者按压按键的位置(键盘纵向上的位置)可以显示为标记824a(图22中的白色圆圈)。作为受教者的模型的演奏者按下按键的位置可以由标记824b(图22中用斜线画出的圆圈)一起显示。这种显示允许用户清楚地识别受教者和模型演奏者之间的按键位置的差异。此外，变型例不限于图22所示的模式中的按键位置的表示。例如，在变型例中，受教者和演奏者按下按键的位置可以以叠加的方式显示在由受教者使用AR(增强现实)技术在真实空间中按下的钢琴键盘上。在这种情况下，显示模式可以是如图22所示的标记824，或者可以是动画等。此外，在这种情况下，例如，可以使用佩戴在受教者的头上的透明的头戴式显示器(下面是HMD)等来变型例显示模式。在变型例中，HMD不限于透明显示器，而HMD可以是不透明显示器。在后一种情况下，HMD可以包括成像装置，例如，相机，并且在真实空间中的钢琴键盘的捕获图像上显示受教者和演奏者以叠加方式按下按键的位置。此外，在后一种情况下，HMD可以在虚拟现实空间中示意性地表示键盘的显示器上显示受教者和演奏者以叠加方式按下按键的位置。

此外，如图22所示，显示屏820可以包含按键压力显示屏826，该显示屏826按键盘显示由受教者或演奏者按压按键引起的力的大小F随时间的变化。同样在这种情况下，由作为受教者的模型的演奏者按下按键引起的力的大小F随时间的变化可以以不同的颜色或线型一起显示(在图22中分别以实线和虚线显示)。这种显示允许用户通过键盘清楚地识别由作为受教者模型的演奏者按下按键引起的力以及力变化的差异。

如上所述，根据该变型例，可以由受教者或演奏者经由显示屏820实时向用户提供按键，即，由按键引起的键盘运动、按键的位置、由按键引起的力的大小等，作为反馈。

在该变型例中，当使用三轴传感器时，不仅可以表示由受教者按压的键盘纵向上的位置，还可以表示键盘横向上的位置，并且可以表示键盘在垂直方向上的偏移随时间的变化。这种显示使得可以向用户提供更详细的三维感测数据的反馈，作为反馈。

<6.2.变型例2>

在上述变型例中，使用压力传感器200，并且在该实施方式中，可以使用光反射器传感器装置40来代替压力传感器200。参考图23至图29，将使用光反射器传感器装置40的示例描述为变型例2。图23和图24是用于解释根据变型例的光反射器传感器装置40的配置的说明图。图25是用于解释根据变型例的光反射器传感器400的操作的说明图。图26和27是用于解释根据变型例的光反射器传感器装置40的测量结果的示例性反馈的说明图。图28是分析根据变型例的光反射器传感器装置40的测量结果的过程的流程图。图29是用于解释分析根据变型例的光反射器传感器装置40的测量结果的过程的说明图。

(配置)

首先，将参考图23至图25描述光反射器传感器装置40的配置。如图23所示，根据变型例的光反射器传感器装置40包括可拆卸地设置在各种钢琴的键盘下方的基板402和排列在基板402上的多个光反射器传感器400，使得光反射器传感器400对应于键盘并且检测按压的键盘的运动。此外，光反射器传感器装置40主要包括转换光反射器传感器400的感测数据的AD转换器410和处理转换的感测数据的信息处理装置412。根据变型例的光反射器传感器装置40可以可拆卸地设置在各种钢琴的键盘下。因此，当制造或装运钢琴时，光反射器传感器装置40可以安装在钢琴上，或者可以在钢琴装运后附接。

具体地，如图24所示，在每个键盘(每个白键600和每个黑键602)下设置一个光反射器传感器400。注意，在图24中，表示对应于一个八度音阶的12个键(具体地，七个白键600和五个黑键602)，并且光反射器传感器400被设置成使得光反射器传感器400分别对应于十二个键盘。优选地设置光反射器传感器400，使得当从受教者或演奏者的角度看时，光反射器传感器400位于每个键盘的后下侧。每个光反射器传感器400由发射光的发光装置400a和成对接收光的光接收装置400b形成。

更具体地，如图25所示，光反射器传感器400的发光装置400a由LED(发光二极管)等形成，并且能够发射给定波长的光。此外，光反射器传感器400的光接收装置400b由光电二极管等形成，并且能够根据接收的光量产生光电流(信号)。因此，由发光装置400a发射的光在白键600的底面上部分反射，并且到达光接收装置400b，使得光可被光接收装置400b检测到。例如，当白键600被受教者或演奏者按下并因此向下运动时，光接收装置400b检测到的光量变化，因为光发射装置400a发射的光传播直到光接收装置400b检测到光的路径长度变化。因此，根据光反射器传感器400，由光接收装置400b检测的光量根据白键600在垂直方向上的偏移而变化，因此可以使用来自光反射器传感器400的信号(电压值)来检测白键600的偏移。

在变型例中，光反射器传感器400具有大约2mm的时间分辨率和大约0.01mm的空间分辨率，因此能够精确地获取键盘偏移的显示变化。更具体地，在变型例中，例如，当光反射器传感器400的信号超过给定阈值时的情况可以被视为键盘开始运动的时间(按键开始时间)(键盘开始向下运动的时间)。在变型例中，考虑到光反射器传感器400的噪声(白噪声等)和波动，可以适当地设置阈值，并且例如，可以将阈值设置为当键盘仍然在上部位置时来自光反射器传感器400的信号值的标准偏差异的两倍值。在该变型例中，可以准确地获取键盘运动量随时间的变化，这使得不仅可以为键盘获取上述按键开始时间，还可以获取按键结束的按键结束时间(键盘开始向上运动的时间)以及从按键开始时间到按键结束时间的按键持续时间。此外，在变型例中，可以为每个键盘获得按键速度(键盘的运动速度)、加速度(键盘的运动加速度)和偏移随时间的变化。

(示例性反馈)

此外，将参考图26和图27描述将光反射器传感器400的检测结果作为反馈提供给用户的示例性方法。在图26和图27中的时间序列数据集842、842a和842b中，在图中的上侧表示向下运动的键盘的偏移。

在该变型例中，可以从键盘偏移的时间序列数据842中检测事件的时间和特征值，通过受教者或演奏者按下按键获得该键盘偏移，并且将事件的时间和特征值作为反馈提供给用户。本文的事件时间是指按键开始时间、按键结束时间、键盘处于最低位置的时间(向下运动结束时间)、键盘处于最高位置的时间(向上运动结束时间)、按键速度最大的时间(达到最大速度的时间)、加速度最大的时间(达到最大加速度的时间)等，并且没有特别限制。在变型例中，事件的时间和要检测的特征值没有特别限制。更具体地，如图26所示，由标记844表示事件的时间，使得可以向用户给出发生事件的时间的反馈。用户可以选择显示事件时间和特征值。

此外，如图27所示，由作为受教者的模型的演奏者按下按键引起的键盘偏移的时间序列数据842b可以以不同的颜色或线型一起显示。例如，在图27中，由演奏者按下按键引起的键盘偏移的时间序列数据842b以不同于由受教者按下按键引起的键盘偏移的时间序列数据842a的线型线表示。这种显示允许用户清楚地为每个键盘识别由受教者和作为受教者模型的演奏者的按键引起的键盘偏移以及由受教者和作为受教者模型的演奏者之间的特征值随时间变化的差异。结果，根据该变型例，可以直观地知道按压键盘的时间、从键盘释放手指的时间以及运动手指的速度，这使得可以容易地掌握该技术并促进学习。在该实施方式中，由按键引起的键盘偏移不限于显示为偏移的时间序列数据842b，并且偏移可以通过改变键盘显示屏872(参见图33)中示出的键盘904(参见图33)的颜色、颜色等级或图案来表示。将在下面描述这种偏移显示的细节。

在变型例中，作为反馈提供给用户的数据不限于键盘偏移随时间的变化，并且数据可以是运动速度、运动加速度等随时间的变化。在变型例中，使用标记844，按键开始时间、按键结束时间、键盘处于最低位置的时间(向下运动结束时间)、键盘处于最高位置的时间(向上运动结束时间)、按键速度最大的时间(达到最大速度的时间)、键盘向上或向下运动期间达到最大速度的时间或者当键盘上下运动时达到最大速度的持续时间或者达到最大加速度的持续时间。

(分析方法)

在该变型例中，当将由受教者按下按键引起的键盘偏移的时间序列数据842a和由模型演奏者按下按键引起的键盘偏移的时间序列数据842b相互比较时，即使当执行相同的演奏(音乐、乐句、音阶、琶音、和弦等)时，每次按下的时间也可能不同。在这种情况下，即使当由受教者按下按键引起的键盘偏移的时间序列数据842a和由模型演奏者按下按键引起的键盘偏移的时间序列数据842b以叠加方式显示时，也难以一眼就知道受教者和演奏者之间的按键持续时间、按键速度(键盘的运动速度)、加速度(键盘的运动加速度)等的差异。

因此，在变型例中，如在上述图27中，除了“乐句比较模式”显示之外，可以以其他显示模式进行显示，在“乐句比较模式”显示中，由受教者的按键引起的键盘偏移的时间序列数据842a与由模型演奏者的按键引起的键盘偏移的时间序列数据842b一起显示。具体地，在变型例中，可以执行“单音比较模式”显示，用于比较每个单音的键盘偏移随时间的变化。“单音比较模式”通过对每次按键的时间序列数据842a进行截取和排列来构建时间序列数据842c，使得受教者的时间序列数据842a中的按键时间和演奏者的时间序列数据842b中的按键时间彼此一致，从而实现显示。下面将参考图28和29描述用于执行“单音比较模式”的分析方法。

如图28所示，根据变型例的分析方法包括从S501到S509的步骤。将描述分析方法中包括的每个步骤的细节。

(步骤S501)

首先，光反射器传感器装置40获取由受教者的按键引起的键盘偏移的时间序列数据842a。

(步骤S503)

然后，光反射器传感器装置40从在步骤S501获得的时间序列数据842a中提取每次按键开始的时间和每次按键结束的时间。光反射器传感器装置40将光反射器传感器400的信号超过给定阈值的情况视为键盘开始运动的时间(按键开始时间)。此外，光反射器传感器装置40将光反射器传感器400的信号低于给定阈值的情况视为手指与键盘分离的时间(按键结束时间)。因此，光反射器传感器装置40能够提取每次按键开始的时间和每次按键结束的时间。基于所提取的时间，光反射器传感器装置40从时间序列数据842a中截取对应于每次按键的间隔，作为时间序列间隔842d，并保持该间隔。

(步骤S505)

然后，光反射器传感器装置40从在步骤S503中截取的每个时间序列间隔842d中提取特征值，例如，按键开始时间、按键结束时间、键盘处于最低位置的时间(向下运动结束时间)、键盘处于最高位置的时间(向上运动结束时间)、按键速度最大的时间(达到最大速度的时间)或者当键盘上下运动时达到最大速度的持续时间或者达到最大加速度的持续时间。具体地，例如，在第一实施方式中描述的学习单元348在每次按键时提取受教者或演奏者每次按键时所按压的键盘的偏移随时间的变化，并且从提取的每次按键随时间的变化的一部分(时间序列间隔842d)中提取特征值(第三信息)。光反射器传感器装置40通过将标记844叠加在时间序列间隔842d上来可视化提取的特征值。

(步骤S507)

光反射器传感器装置40通过例如将截取的时间序列间隔842d排列成与作为受教者的模型的演奏者按下按键引起的键盘偏移的时间序列数据842b对齐来执行重建。具体地，如图28和图29所示，每个时间序列间隔842d偏离并排列，使得每个时间序列间隔842d中的按键开始时间与时间序列数据842b中相应按键的按键开始时间一致，从而重建关于受教者的时间序列数据，作为顺序数据。更具体地，例如，第一实施方式中描述的学习单元348根据给定的规则再次将提取的每次按键随时间的变化的一部分(时间序列间隔842d)重建为顺序数据。在以下描述中，通过重建获得的关于受教者的时间序列数据将称为时间序列数据842c。

(步骤S509)

光反射器传感器装置40还显示在上述步骤S507中获得的时间序列数据842c，使得时间序列数据842c叠加到由作为受教者的模型的演奏者的按键引起的键盘偏移的时间序列数据842b上，从而向用户提供反馈。

在变型例中，如上所述，时间序列数据842b和842c的集合使得关于受教者的时间序列数据842c中的按键时间(按键开始时间)和关于演奏者的时间序列数据842b中的按键时间彼此一致。在变型例中，这种显示允许用户一眼就知道受教者和演奏者之间的按键持续时间、按键速度(键盘的运动速度)和加速度(键盘的运动加速度)的差异，从而使得容易掌握技术并促进学习。

(反馈的变型例)

可以如下变型例将光反射器传感器400的检测结果提供给用户的上述方法。将参考图30和31描述更多的变型例。图30和图31是解释根据变型例的光反射器传感器装置40的测量结果的示例性反馈的说明图。在图30和图31中的时间序列数据842中，在图中的下侧示出在键盘向下运动的情况下键盘的偏移。

在变型例中，如图30所示，在显示屏880的下部空间中显示键盘显示屏882和显示每个键盘偏移的时间序列数据842的时间序列数据显示器884，使得时间序列数据842对应于在键盘显示屏882上显示的键盘。时间序列数据显示器884显示由受教者按键引起的键盘偏移的时间序列数据842a和由作为受教者模型的演奏者按键引起的键盘偏移的时间序列数据842b。

在变型例中，如图30所示，在显示屏880的下部空间中显示分数显示屏886。分数显示屏886具有框架890，并且对应于框架890中的音符的部分对应于由时间序列数据显示器884显示的时间序列数据842。此外，滑动条888设置在分数显示屏886下方，并且用户运动滑动条888，因此分数显示屏886的框架890运动，这使得可以改变时间序列数据显示器884上显示的时间序列数据842的区域。换言之，在变型例中，可以与作为反馈提供给用户的时间序列数据842同步地显示分数的相应部分。对应于分数部分的声音可以与作为反馈提供给用户的时间序列数据842同步输出。这种输出允许用户容易地知道正在显示的时间序列数据842对应于演奏的哪个部分(例如，音乐或乐句)。注意，变型例不限于通过使用滑动条888运动分数显示屏886的框架890来改变要在时间序列数据显示器884上显示的时间序列数据842的区域。例如，在变型例中，分数显示屏886的框架890可以通过使用滑动条888运动在时间序列数据显示器884上显示的时间序列数据842的区域来运动。此外，变型例不限于滑动条888，并且要在分数显示屏886上显示的区域和要在时间序列数据显示器884上显示的时间序列数据842的区域可以通过滑动、收缩或放大分数显示屏886或时间序列数据显示器884来改变。

在变型例中，可以使用如图31所示的显示屏880a。在显示屏880a中，用户运动滑动条888，从而分数显示屏886的框架890的尺寸变化，这使得可以改变要在时间序列数据显示器884上显示的时间序列数据842的区域。换言之，在变型例中，用户能够通过放大或缩小时间序列数据842来选择要在时间序列数据显示器884上显示的时间序列数据842的时间范围。这种显示允许用户容易地放大或缩小演奏的期望范围(例如，音乐或乐句)的时间序列数据842，并因此允许用户容易地知道特征值等。例如，在变型例中，时间序列数据842的时间范围可以放大，这使得可以可视化当受教者弹奏“Do、Mi和Sol”和弦时获得的时间序列数据842和在用作模型的模型演奏者上的时间序列数据842之间的三个音调的按键时间的偏离。在变型例中，这种微小的偏离可以可视化，并且这允许用户容易地识别难以通过听觉等来识别的偏离，这使得可以促进受教者进一步熟练地掌握演奏。该变型例不限于通过使用滑动条888改变分数显示屏886上的框架890的大小来改变要在时间序列数据显示器884上显示的时间序列数据842的区域。例如，在变型例中，通过使用滑动条888改变时间序列数据显示器884上显示的时间序列数据842的区域大小，来改变分数显示屏886上的框架890的大小。换言之，在变型例中，分数显示屏886和时间序列数据显示器884彼此同步显示。

在变型例中，用于与受教者的时间序列数据842进行比较的另一个人的时间序列数据842可以是由代表值(集体智能)形成的时间序列数据842，例如，从多个专家的时间序列数据842中提取的平均值，或者可以是特定专家的时间序列数据842。此外，在变型例中，可以优选地选择要比较的时间序列数据842，使得该水平根据受教者的专业水平逐渐增加。这有效地激发了受教者的动机，并更平稳地提高了受教者的演奏水平。

此外，在变型例中，时间序列数据842优选地通过对应于要比较的时间序列数据842的演奏者的手的大小来预先标记。当执行这种标记时，在变型例中，可以根据受教者的手的大小自动选择要比较的时间序列数据842。此外，变型例不限于上述手的尺寸，时间序列数据842可以用属性信息来标记，例如，抓握力、手的形状、身体尺寸、专业水平、年龄、性别等。在变型例中，这种标记使得可以考虑到个体差异来选择更好的时间序列数据进行比较，并且提供个人定制的课程。

在该变型例中，还可以比较至少三个多组时间序列数据842，并且可以通过以叠加的方式在过去受教者的时间序列数据842上显示时间序列数据842来检查受教者的发展轨迹。此外，在变型例中，可以将发展的程度数字化，或者用图表表示专业知识的变化。

<6.3.变型例3>

主要通过使用屏幕显示上面描述的反馈，并且在该实施方式中，可以通过给受教者提供触觉刺激来给出反馈。参考图32，将感测受教者的肌肉活动量并且基于感测数据使用振动器612(参考图32)给出触觉刺激的示例描述为变型例3。图32是用于解释本公开的变型例的肌肉活动传感器装置60的配置的说明图。

(配置)

首先，参考图32，将描述肌肉活动传感器装置60的配置。如图32所示，肌肉活动传感器装置60佩戴在拇指、食指、中指等的基部，并且能够检测受教者的各个手指的肌肉活动量，并且基于检测到的肌肉活动量通过振动提供反馈。具体地，肌肉活动传感器装置60包括肌电位传感器610和通过触觉刺激提供反馈的振动器612。在变型例中，肌肉活动传感器装置60优选地是肌电位传感器610和振动器612的集成装置。此外，转换肌电位传感器610的感测数据的AD转换器620、控制振动器612的微控制器630和处理转换的感测数据并控制微控制器630的信息处理装置632连接到肌肉活动传感器装置60。

具体地，肌电位传感器610附接到受教者的手的皮肤690的一部分，并且能够检测由肌肉692(具体地，肌肉纤维)的收缩活动引起的肌电位的变化。此外，检测到的肌电位的感测数据被AD转换器620从模拟信号转换成数字信号，然后该数字信号输出到信息处理装置632。信息处理装置632将肌电位感测数据680与给定阈值682进行比较，并且基于比较结果，向微控制器630输出信号，从而实现对振动器612的控制。振动器612例如是安装在智能手机等上的振动装置，并且可以根据经由微控制器630的控制来改变振动幅度和振动频率。在变型例中，进一步缩短从肌电位传感器610检测到肌肉活动量到振动器612振动的持续时间的配置是优选的，并且这种配置使得能够向受教者更准确地实时反馈肌肉弱化或拉伸的时间。

(示例性反馈)

将详细描述将上述肌肉活动传感器装置60的检测结果作为反馈提供给受教者的方法。

具体地，如上所述，信息处理装置632将肌电位感测数据680与阈值682进行比较。可以将阈值682设置为例如相对于相应肌肉692的最大肌肉收缩时的电位的X％。当肌电位感测数据680超过阈值682(或低于给定阈值)时，信息处理装置632向微控制器630输出信号，以使振动器612振动。

更具体地，在变型例中，振动器612的振动频率可以根据肌电位的大小而改变。例如，当肌电位超过给定阈值时，信息处理装置632确定相应的肌肉692拉紧超过需要，并经由振动器612向受教者施加高频振动。这允许受教者认识到肌肉692处于“紧张状态”，并削弱相应的肌肉。此时的振动频率优选为大约250Hz，在该频率下，人类对振动的敏感度被认为是最高的。特别地，在钢琴演奏中，在某些情况下需要弱化肌肉692，并且在意识到弱化的同时难以准确地演奏。然而，根据变型例，允许受教者容易地识别他/她的“紧张状态”，因此受教者能够削弱肌肉692。

另一方面，例如，当肌电位低于给定阈值时，信息处理装置632确定需要将肌肉692转变成更紧张的状态，并经由振动器612以低频向受教者提供振动。这使得受教者能够将肌肉692变成更紧张的状态。

根据上面给出的描述，信息处理装置632控制频率，并且在变型例中，可以控制幅度大小或者可以控制频率和幅度大小。例如，信息处理装置632控制频率和幅度大小，这使得不仅可以向用户提供反馈，指示控制肌肉692的弱化或拉紧中的哪一个，还可以提供关于应该对受教者执行多少弱化或应该执行多少拉紧的反馈。

在变型例中，当检测到多块肌肉692的肌电位时，如在上述实施方式中，可以基于多块肌肉692的协作水平向受教者提供反馈。在变型例中，例如，在需要拉紧(收缩)拇指的肌肉692和小指的肌肉692的情况下，向拇指的肌肉692和小指的肌肉692施加振动，能够向受教者提供关于哪个肌肉692快速拉紧还是更强拉紧的信息作为反馈。这使得受教者能够通过触觉掌握弹奏钢琴所需的多块肌肉692的协同运动。

由于受教者的皮肤690、脂肪等的阻抗效应，肌电位包含噪声。换言之，即使当肌肉692休息时，肌电位的大小也彼此不同。在变型例中，提供处于休息状态的受教者的肌肉692的肌电位(背景噪声)和肌肉最大拉紧时的肌电位。在该变型例中，通过利用静止状态下的肌电位和最紧张状态下的肌电位之间的差异来归一化新检测到的肌电位，可以处理个体之间的肌电位的差异，并精确地检测由肌肉692的弱化和拉紧引起的肌电位。

根据上面给出的描述，将肌电位与给定的阈值进行比较，并且使用振动向受教者提供反馈，但是变型例不限于此。例如，当肌电位在给定持续时间内超过给定阈值时，或者当肌电位在给定持续时间内低于给定阈值时，可以使用振动向受教者提供反馈。换言之，变型例不限于肌电位，可以使用肌肉活动时间等。

该变型例没有特别限制，并且不限于手指的肌肉692，只要可以检测到肌电位，就可以使用身体的其他部分的肌肉。在变型例中，可以使用除肌电位之外的生物信息，例如，关节角度和角速度的信息。

(组合)

根据变型例的肌肉活动传感器装置60可以与上述触觉机构710结合使用。具体地，肌肉活动传感器装置60可以安装在受教者的指尖上，并且外骨骼机器人712可以佩戴在手指的关节上。在这种情况下，肌肉活动传感器装置60向受教者提供关于相应肌肉弱化或拉紧程度的反馈。另一方面，使用外骨骼机器人712向受教者提供关于手指将在哪个方向和哪些方向运动的信息，作为反馈。

这样的组合使得受教者能够使用指尖的触觉和关节的触觉进行多模态学习。此外，在变型例中，与视觉反馈和听觉反馈的组合，允许受教者容易地知道受教者和另一个人(例如，专家)之间的运动差异以及他/她的先前运动和当前运动之间的差异。因此，在变型例中，可以支持受教者掌握“窍门”，即支持掌握表现。

在变型例中，触觉机构710可以改变要施加到手指关节的力的程度和施加速度(例如，双速、慢运动等)。可以输出由受教者弹奏的钢琴声。例如，以触觉可感知的方式通过触觉机构710再现受教者的手指的运动速度，并将再现的速度应用于受教者的手指，允许受教者识别当前受教者的手指的运动速度的界限。例如，使用触觉机构710对受教者的手指的触觉应用，同时逐渐快速地进行运动，可以促进受教者的手指的快速运动。

如上所述，根据本公开的第二实施方式的每个变型例，可以提供一种信息处理装置，该信息处理装置可用于支持掌握演奏，并且向用户提供关于用户演奏的信息，作为获得各种传感器的反馈；一种信息处理方法；以及一种程序。此外，根据实施方式的每个变型例，可以支持受教者掌握表现，例如，执行远程课程、自我课程等。

每个实施方式、每个示例和每个变型例可以彼此组合地执行，并且应当理解，这些组合属于本公开的技术范围。

《7.第三实施方式》

可以如下变型例本公开实施方式的上述反馈方法。下面将参考图33和34描述作为本公开的第三实施方式的示例性各种类型的反馈。图33和34是解释根据本公开的第三实施方式的示例性反馈的说明图。

如在上述实施方式中，用户侧装置70基于接收到的反馈信息506向受教者提供反馈。具体地，用户侧装置70在演奏期间或之后向受教者显示类似于图33所示的显示屏902。显示屏902在其右侧包含示意性地表示键盘的键盘显示屏872，并且在其左侧包含表示受教者(或演奏者)按压相应键盘的手指速度的时间序列数据的时间序列数据显示器874。键盘显示屏872和时间序列数据显示器874是由受教者等演奏时每个键盘的运动的再现，并且在再现时改变速度或改变键盘的区域或要再现的演奏，即，在用户要求的状态下能够再现。

具体地，包含在键盘显示屏872中的每个键盘904使得能够通过动画再现由受教者(或演奏者)演奏引起的每个键盘的运动(例如，再现动画速度可以被设置为用户所需的速度)，并且进一步使得能够在演奏期间使用颜色、颜色等级和图案的差异来表示受教者按压的键盘的偏移等。在该实施方式中，例如，当键盘向下运动，接近底部时，相应的键盘904以较深的颜色表示，而当键盘向上运动时，相应的键盘904以较浅的颜色表示。在该实施方式中，不仅可以再现相应键盘的偏移，还可以通过颜色表示相应键盘的偏移，这允许用户容易地知道每个键盘的偏移。在该实施方式中，动画基于由另一传感器装置10(例如，安装在受教者手上的手套型传感器装置10或肌肉活动传感器装置60)获取的感测数据500再现手指运动等，可以以叠加的方式在每个键盘904上显示。

在该实施方式中，与通过动画再现由受教者演奏引起的每个键盘的运动而获得的每个键盘904的运动同步，可以再现演奏时获取的演奏声音。此外，至于演奏声音的再现，也可以设置用户在运动再现中所需的速度。

此外，在该实施方式中，显示屏902不仅可以显示偏移，还可以显示运动速度。例如，在键盘向下运动速度(按键速度或运动速度)最大的时间附近显示在图33中为三角形的时间显示器906a，而在键盘向上运动速度最大的时间附近显示在图33中为三角形的时间显示器906b。时间显示器906的形状不限于如图33所示的矩形形状。矩形的条形显示器908a和908b是表示类似条形图的键盘运动速度的条形。例如，显示条，使得当键盘向下运动时，具有给定颜色或图案的条形显示器908根据键盘的运动速度向下延伸，另一方面，当键盘向上运动时，具有给定颜色或图案的条形显示器908向上延伸。在该实施方式中，使用时间显示器906和条形显示器908的显示允许受教者等本能地知道键盘的运动速度，即当按键速度或速度最大时的时间。

在该实施方式中，还能够与作为模型的角色模型进行直接比较。例如，使用线框等，由用作模型的角色模型演奏引起的键盘运动可以通过动画以叠加的方式绘制在由受教者演奏引起的键盘运动上。

在该实施方式中，可以使用如图34所示的显示屏910给出反馈。如上所述，显示屏910在其右侧包含示意性地表示键盘的键盘显示屏872，在其左侧包含表示受教者(或演奏者)按压相应键盘的手指速度的时间序列数据的时间序列数据显示器874。

此外，在该实施方式中，由聚氨酯等形成的弹性可变形构件和位置传感器设置在钢琴键盘部分上。具体地，在该实施方式中，构件被设置成使得当每个键盘仅向下运动给定距离(例如，10mm)时，构件与键盘的底部接触。此外，位置传感器设置在每个键盘的底面上。位置传感器能够精确地测量位置，因此能够检测这样的状态，在该状态下，当深深按压键盘时，键盘的底面与构件接触，并且进一步深深按压键盘，使构件轻微地变形，因此键盘下沉得比前述给定距离更深。

因此，如图34所示，包含在键盘显示屏872中的相应键盘904能够通过动画再现由受教者(或演奏者)演奏引起的每个键盘的运动，并且表示在演奏期间受教者(或演奏者)使用颜色差异、颜色等级、图案等按压的键盘深度。具体地，在图34中，键盘904的条纹图案表示相应的键盘下沉得比给定距离更深，即，不必要地按压键盘。不必要地按压键盘，会减弱振动并使音调变硬，进而导致演奏者使用不必要的能量，因此，一般来说，应该避免不必要地按压键盘。在该实施方式中，以不同的颜色、图案等显示键盘904，以便表示相应的键盘下沉得比给定距离更深，并且这允许受教者等容易地知道按压每个键盘的程度，结果，受教者等意识到不必要地按压键盘而进行演奏，这通常应该避免。

《8.补充》

例如，上述公开的实施方式可以包括用于使计算机用作根据该实施方式的信息处理装置的程序以及其中记录该程序的暂时有形介质。该程序可以经由通信网络分发，例如，互联网(也包括无线通信)。

本公开的上述实施方式的过程的每个步骤不一定按照本文描述的顺序来实现。例如，可以根据需要以改变的顺序处理每个步骤。每个步骤可以部分或单独并行实现，而不是按时间顺序实现。此外，关于每个步骤的实现方法，每个步骤不一定根据本文描述的方法来实现，并且每个步骤可以由另一功能单元并使用另一种方法来实现。

已经参考附图详细描述了本公开的优选实施方式；然而，本公开的技术范围不限于这些示例。显然，本公开的技术领域的普通技术人员可以在权利要求中描述的技术思想的范围内实现各种示例性变型例或示例性校正，并且应当理解，这些示例性变型例或示例性校正自然属于本公开的技术范围。

本文描述的效果仅仅是解释性的和示例性的，因此不是限定性的。换言之，根据本公开的技术可以与上述效果一起或者代替上述效果实现对本领域技术人员来说从本文的描述中显而易见的其他效果。

以下配置也属于本公开的技术范围。

(1)一种信息处理装置，包括：

感测数据获取单元，被配置为从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户身体的多个部分运动而执行的表现中的多个运动元素的状态；

计算器，被配置为从所获取的多组感测数据中计算表示运动元素的运动协作性的协作信息；以及

通知单元，被配置为基于所计算的协作信息向用户通知反馈信息。

(2)根据(1)所述的信息处理装置，其中，所述计算器被配置为计算关于与先前设置的表现状态具有关系的运动元素的协作信息。

(3)根据(2)所述的信息处理装置，还包括存储器，所述存储器被配置为存储表示各种表现状态之间的关系的关系信息和关于与每个表现状态具有关系的运动元素的协作信息，

其中，所述计算器被配置为基于先前存储在所述存储器中的关系信息，从所获取的多组感测数据中计算协作信息。

(4)根据(3)所述的信息处理装置，还包括学习单元，所述学习单元被配置为使用所述多个表现状态和对应于所述多个表现状态中的每一个的所述多组感测数据，对所述各种表现状态和关于所述运动元素的协作信息之间的关系执行机器学习，并学习所述关系信息。

(5)根据(4)所述的信息处理装置，其中，所述学习单元被配置为对所述关系信息执行多元分析，并且提取表征每个表现状态的协作信息，作为第一特征信息。

(6)根据(4)所述的信息处理装置，其中，所述学习单元被配置为基于所获取的多组感测数据提取表征用户表现的协作信息，作为第二特征信息。

(7)根据(6)所述的信息处理装置，其中，所述学习单元被配置为基于所述第二特征信息对用户的表现状态进行分类。

(8)根据(5)所述的信息处理装置，还包括比较器，所述比较器被配置为

选择与先前设置的表现状态相关的第一特征信息，

将所选择的第一特征信息和由计算器计算的关于用户的协作信息彼此进行比较，并且

基于比较的结果生成反馈信息。

(9)根据(8)所述的信息处理装置，其中，所述通知单元被配置为基于所生成的反馈信息选择所述反馈信息的通知模式。

(10)根据(9)所述的信息处理装置，其中，所述通知单元被配置为通过控制显示装置显示给定图像来向用户通知所述反馈信息。

(11)根据(10)所述的信息处理装置，其中，所述通知单元被配置为通过在用户按压的键盘上显示位置来向用户通知所述反馈信息。

(12)根据(10)或(11)所述的信息处理装置，其中，所述通知单元被配置为通过显示用户按压的键的偏移、运动速度和运动加速度中的至少一个随时间的变化，来向用户通知所述反馈信息。

(13)根据(12)所述的信息处理装置，其中，通过显示键盘开始向下运动的时间、键盘结束向下运动的时间、键盘开始向上运动的时间、键盘结束向上运动的时间、达到最大速度的时间以及在键盘向下运动或向上运动的同时达到最大加速度的时间，来向用户通知反馈信息。

(14)根据(12)或(13)所述的信息处理装置，其中，所述通知单元被配置为与随着时间的变化同步地显示与用户的按键对应的分数。

(15)根据(9)所述的信息处理装置，其中，所述通知单元被配置为通过控制佩戴在用户身体上的可穿戴装置来对用户进行触觉刺激，来向用户通知反馈信息。

(16)根据(15)所述的信息处理装置，其中，所述通知单元被配置为通过基于将用户的一部分的肌肉活动量和阈值彼此进行比较的结果，对用户引起触觉刺激来向用户通知反馈信息。

(17)根据(9)所述的信息处理装置，其中，所述通知单元被配置为通过控制音频输出装置输出给定的声音来向用户通知所述反馈信息。

(18)根据(8)所述的信息处理装置，还包括属性信息获取单元，其被配置为获取关于用户的属性信息，

其中，所述比较器被配置为基于所获取的属性信息来选择所述第一特征信息。

(19)根据(2)所述的信息处理装置，其中，所述表现状态由表现中用户的运动元素的运动模式、运动速度、运动精度和运动量中的至少一个来表示。

(20)根据(2)所述的信息处理装置，其中，所述表现状态由表现引起的结果的状态来表示。

(21)根据(1)至(20)中任一项所述的信息处理装置，其中，所述多组感测数据包括从加速度传感器、陀螺仪传感器、角速度传感器、振动传感器、压力传感器、生物信息传感器、弯曲传感器和位置传感器获得的多组至少一组所述感测数据。

(22)根据(1)至(21)中任一项所述的信息处理装置，其中，所述多组感测数据包括从捕获用户图像的成像装置、感测由用户身体的一部分施加的压力的压力传感器、以及感测用户体内的核磁共振的核磁共振传感器中获得的多组至少一组所述感测数据。

(23)根据(1)至(22)中任一项所述的信息处理装置，其中，所述多组感测数据包括从光反射器传感器获得的多组至少一组所述感测数据，所述光反射器传感器感测由用户身体的一部分按压的键盘的运动。

(24)根据(23)所述的信息处理装置，其中，所述光反射器传感器可拆卸地设置在各种钢琴的键盘下方。

(25)根据(1)至(24)中任一项所述的信息处理装置，其中，所述多组感测数据包括从声音拾取装置获得的感测数据，所述声音拾取装置感测由表现引起的声音。

(26)一种信息处理方法，包括：

从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户身体的多个部分运动而执行的表现中的多个运动元素的状态；

从所获取的多组感测数据中计算表示运动元素的运动协作性的协作信息；并且

基于所计算的协作信息向用户通知反馈信息。

(27)一种用于使计算机实现功能的程序，包括：

从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户身体的多个部分运动而执行的表现中的多个运动元素的状态；

从所获取的多组感测数据中计算表示运动元素的运动协作性的协作信息；并且

基于所计算的协作信息向用户通知反馈信息。

附图标记列表

1 信息处理系统

10 传感器装置

20 压力传感器装置

30 服务器

40 光反射传感器装置

60 肌肉活动传感器装置

70 用户侧装置

90 网络

100 传感器单元

140、340、740 主控制器

142、342 数据获取单元

144、344 处理器

152、352 输出控制器

160、360、760 通信单元

190 电极

192、824a、824b、844 标记

194 高速摄影相机

196、200 压力传感器

198 麦克风

202 突起

204 孔

210、410、620 AD转换器

212、412、632、900 信息处理装置

300 输入单元

310 输出单元

346 计算器

348 学习单元

350 比较器

370、770 存储器

372 DB400 光反射传感器

400a 发光装置

400b 光接收装置

402 基板

500 感测数据

502 演奏状态

504 协作水平

506 反馈信息

600 白键

604、838、904 键盘

604a 上键盘

604b 下键盘

610 肌电位传感器

612 振动器

630 微控制器

680 肌电位感测数据

682 阈值

690 皮肤

692 肌肉

710 触觉机构

712 外骨骼机器人

712a 外骨骼构件

714 显示单元

716 音频输出单元

800、806、820、862、870、880、880a、902、910 显示屏

802、808、864 手指显示屏

804 一致性索引条

810 向量

832、834、840、866 成像图像

822、836、872、882 键盘显示屏

826 按键压力显示屏

842L 842a、842b、842 时间序列数据

842d 时间序列间隔

850 窗口

868 区域显示器

874、884 时间序列数据

876 速度显示器

886 分数显示屏

888 滑动条

890 框架

906、906a、906b 时间显示器

908、908a、908b 条形显示器

950 CPU

952 ROM

954 RAM

956 记录介质

958 输入输出接口

960 触觉装置

962 显示装置

964 音频输出装置

968 通信接口

970 总线

980 传感器。

Claims (20)

1.一种信息处理装置，包括：

感测数据获取单元，被配置为从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户的身体的多个部分运动而执行的表现中的多个运动元素的状态；

计算器，被配置为从所获取的多组感测数据计算表示所述运动元素的运动协作性的协作信息；以及

通知单元，被配置为基于所计算的协作信息向所述用户通知反馈信息。

2.根据权利要求1所述的信息处理装置，其中，所述计算器被配置为计算关于与先前设定的表现状态具有关系的所述运动元素的所述协作信息。

3.根据权利要求2所述的信息处理装置，还包括存储器，所述存储器被配置为存储表示各种表现状态和关于与每种所述表现状态具有关系的所述运动元素的所述协作信息之间的关系的关系信息，

其中，所述计算器被配置为基于先前存储在所述存储器中的所述关系信息，从所获取的多组感测数据计算所述协作信息。

4.根据权利要求3所述的信息处理装置，还包括学习单元，所述学习单元被配置为使用多种所述表现状态和对应于多种所述表现状态中的每一种的所述多组感测数据来对所述各种表现状态和关于所述运动元素的所述协作信息之间的关系执行机器学习，并学习所述关系信息。

5.根据权利要求4所述的信息处理装置，其中，所述学习单元被配置为对所述关系信息执行多元分析，并且提取表征每种所述表现状态的所述协作信息作为第一特征信息。

6.根据权利要求4所述的信息处理装置，其中，所述学习单元被配置为基于所获取的多组感测数据提取表征所述用户的所述表现的所述协作信息作为第二特征信息。

7.根据权利要求6所述的信息处理装置，其中，所述学习单元被配置为基于所述第二特征信息对所述用户的所述表现的状态进行分类。

8.根据权利要求5所述的信息处理装置，还包括比较器，所述比较器被配置为：

选择与先前设置的所述表现状态相关的第一特征信息，

将所选择的第一特征信息和由所述计算器计算的关于所述用户的所述协作信息彼此进行比较，并且

基于比较的结果生成所述反馈信息。

9.根据权利要求8所述的信息处理装置，其中，所述通知单元被配置为基于所生成的所述反馈信息选择所述反馈信息的通知模式。

10.根据权利要求9所述的信息处理装置，其中，所述通知单元被配置为通过以下中的至少一项来向所述用户通知所述反馈信息：控制显示装置以显示给定图像、控制佩戴在所述用户的身体上的可穿戴装置对所述用户执行触觉刺激，以及控制音频输出装置以输出给定声音。

11.根据权利要求10所述的信息处理装置，其中，所述通知单元被配置为通过显示被所述用户按压的键盘上的位置来向所述用户通知所述反馈信息。

12.根据权利要求10所述的信息处理装置，其中，所述通知单元被配置为通过显示被所述用户按压的键的偏移量、运动速度和运动加速度中的至少一个随时间的变化，来向所述用户通知所述反馈信息。

13.根据权利要求8所述的信息处理装置，还包括属性信息获取单元，所述属性信息获取单元被配置为获取关于所述用户的属性信息，

其中，所述比较器被配置为基于所获取的属性信息来选择所述第一特征信息。

14.根据权利要求2所述的信息处理装置，其中，由以下项中的至少一项来表示所述表现状态：所述表现中所述用户的所述运动元素的运动模式、运动速度、运动精度、运动量以及由所述表现而产生的结果的状态。

15.根据权利要求1所述的信息处理装置，其中，所述多组感测数据包括从以下项获得的至少一组所述感测数据：穿戴于所述用户的加速度传感器、陀螺仪传感器、角速度传感器、振动传感器、压力传感器、生物信息传感器、弯曲传感器以及位置传感器。

16.根据权利要求1所述的信息处理装置，其中，所述多组感测数据包括从以下项获得的至少一组所述感测数据：捕获所述用户的图像的成像装置、感测由所述用户的身体的一部分施加的压力的压力传感器，以及感测所述用户内的核磁共振的核磁共振传感器。

17.根据权利要求1所述的信息处理装置，其中，所述多组感测数据包括从光反射器传感器获得的至少一组所述感测数据，所述光反射器传感器感测由所述用户的身体的一部分按压的键盘的动作。

18.根据权利要求1所述的信息处理装置，其中，所述多组感测数据包括从声音拾取装置获得的感测数据，所述声音拾取装置感测由所述表现引起的声音。

19.一种信息处理方法，包括：

从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户的身体的多个部分运动而执行的表现中的多个运动元素的状态；

从所获取的多组感测数据计算表示所述运动元素的运动协作性的协作信息；并且

基于所计算的协作信息向所述用户通知反馈信息。

20.一种用于使计算机实现以下功能的程序，包括：

从至少一个传感器获取多组感测数据，所述至少一个传感器被配置为感测由于用户的身体的多个部分运动而执行的表现中的多个运动元素的状态；

从所获取的多组感测数据计算表示所述运动元素的运动协作性的协作信息；并且

基于所计算的协作信息向所述用户通知反馈信息。

Images