JP2020042161A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】例えば、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行う。【解決手段】人体に着脱可能とされ、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する情報処理装置である。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

打鍵の強弱を変更できる楽器が知られている。例えば、下記の特許文献１には、打鍵の強弱を変更できる自動演奏ピアノが記載されている。

特開２０１１−２２５９９号公報

例えば特許文献１に記載の楽器の演奏に関して、プロや上級者から生徒がレッスンを受ける際には、生徒に対して適切なフィードバックがなされることが望まれる。

本開示は、楽器等のレッスンが行われるシステムにおいて、生徒に対して適切なフィードバックを行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。

本開示は、例えば、
人体に着脱可能とされ、
楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する
情報処理装置である。

本開示は、例えば、
制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
人体に着脱可能とされる情報処理装置における情報処理方法である。

本開示は、例えば、
制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
人体に着脱可能とされる情報処理装置における情報処理方法を、コンピュータに実行させるプログラムである。

図１は、実施の形態の概要を説明する際に参照される図である。 図２は、実施の形態に係る情報処理装置の外観例を示す斜視図である。 図３は、実施の形態に係る情報処理装置の内部構成例を示すブロック図である。 図４は、実施の形態に係る制御部の機能ブロックの一例を示す図である。 図５は、実施の形態に係る振動部が有する複数の振動デバイスの配置例を説明するための図である。 図６は、第１の実施の形態に係る遠隔レッスンシステムで行われる処理例を説明するための図である。 図７Ａ及び図７Ｂは、実施の形態に係る振動フィードバック情報生成部の動作例を説明するための図である。 図８Ａは先生の演奏に基づく時系列データの一例を示し、図８Ｂは生徒の演奏に基づく時系列データの一例を示し、図８Ｃは相違データの一例を示す図である。 図９は、相違データの一例を示す図である。 図１０は、第１の実施の形態に係る、振動フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。 図１１は、第１の実施の形態に係る、差分フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。 図１２は、第２の実施の形態に係る遠隔レッスンシステムで行われる処理例を説明するための図である。 図１３は、第２の実施の形態に係る、差分フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。 図１４は、第３の実施の形態に係る遠隔レッスンシステムで行われる処理例を説明するための図である。 図１５は、第３の実施の形態において、加速度データの差分を算出する処理を説明する際に参照される図である。 図１６は、姿勢変化に関する相違データの一例を示す図である。 図１７は、第３の実施の形態に係る、姿勢変化フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。

以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜背景＞
＜第１の実施の形態＞
＜第２の実施の形態＞
＜第３の実施の形態＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。

＜背景＞
始めに、本開示の背景について説明する。近年、インターネットの高速化、ビデオチャットツールの高画質化、高音質化、スマートホン等のデバイスの普及に伴って、ビデオチャットツールを用いた、遠隔レッスンが普及してきている。遠隔レッスンの内容は、初期には英会話がほとんどであったが、近年は英会話のみならず、例えば、楽器のレッスンも行われるようになってきている。楽器の種類も、ピアノなどの鍵盤楽器だけでなく、ギターなどの弦楽器、フルートなどの管楽器に至るまで、様々な楽器の遠隔レッスンが行われるようになっている。

係る楽器の遠隔レッスンは、先生と生徒が顔を合わせてレッスンを行う対面レッスンに比べて、費用が安く、且つ、先生の居るレッスン会場へ通うが必要なく、時間が節約できるという利点がある。また、生徒は、遠隔レッスンにより、所望の楽器に関する演奏をレッスン会場に通うこと無く効率的に習得することができる。場合によっては、著名な先生のレッスンを受けることも可能になる。このような様々な利点を有する楽器の遠隔レッスンは、今後も増加していくことが予想される。

ところで、楽器の遠隔レッスンの際には、ヘッドホンやイヤホンを用いて先生の指示を聞き、ディスプレイやスクリーンに映し出される先生の弾き方を真似して、演奏の練習を進めていく。また、生徒が、一人で演奏を復習する際には、先生の演奏の録音を聞いたり、指示を思い出したりしながら演奏の練習を進めていく。

ピアノに代表される打鍵を伴う楽器を弾くことを練習する際には、適切な指の力の入れ具合（強弱の付け方）を習得することが重要である。音の強弱がそのまま曲の表情となるからである。強弱の付け方が適切であることが、曲への表情付けの上手さにつながる。通常の対面レッスン時には、先生に指を直接ガイドしてもらったり、先生の指を間近で注意深く見たりするなどして、どの指でどれくらいの力の入れ具合で打鍵しているのかを習得する。

一方で、遠隔レッスンにおいては、生徒から見て、先生が行っている打鍵の強弱がわかりにくく、打鍵の強弱の習得がしづらいという問題がある。生徒は遠隔地にいるために、当然ながら先生に直接指をガイドして強弱を教えてもらうことはできないし、間近で先生の手をみることもできない。従って、先生が演奏した際の演奏音の大小を聞いたり、先生の口頭の説明を聞いたりして、打鍵の強弱を習得しなければならない。

しかしながら、ビデオチャットツールでは、例えば、先生の演奏に対応する音データに対して、ノーマライズやノイズリダクション、ゲインコントロール等の信号処理が施されるため、生徒にとっての音の聞こえ方は一定ではないことがあり得る。このため、ビデオチャットツールから聞こえてくる音は打鍵の強弱の付け方を習得するための見本としては適切でない場合が多い。また、力の入れ具合は人それぞれの主観的なものなので、先生に口頭で説明されても生徒にとってはわかりにくいことが多々ある。係る問題は、生徒が一人で復習を行い演奏する際にも、同様に生じ得る。このように遠隔レッスンは、利便性に優れる反面、対面レッスンと比較して欠点も存在する。以上の点に鑑みてなされた本開示の実施の形態について、以下、詳細に説明する。

＜第１の実施の形態＞
［概要］
始めに、図１を参照して実施の形態の概要について説明する。実施の形態では、楽器、具体的にはピアノの遠隔レッスンを例にして説明する。図１に示すように、ピアノの遠隔レッスンを行う遠隔レッスンシステム（遠隔レッスンシステム１）では、先生一人に対して少なくとも一人の生徒が存在する。図１に示される例では、一人の先生Ｔ１に対して一人の生徒Ｓ１が存在しているが、複数の生徒Ｓ１が存在しても良い。

遠隔レッスンシステム１では、先生Ｔ１及び生徒Ｓ１が同一の構成を有する情報処理装置を使用する。先生Ｔ１が使用する情報処理装置を情報処理装置２Ａと称する。生徒Ｓ１が使用する情報処理装置を情報処理装置２Ｂと称する。なお、情報処理装置２Ａ、２Ｂとの間に構成上の差異があっても構わない。

また、遠隔レッスンシステム１では、先生Ｔ１及び生徒Ｓ１が同一の構成を有するグローブを装着してピアノを演奏する。先生Ｔ１が使用するグローブをグローブＧＡと称する。生徒Ｓ１が使用するグローブをグローブＧＢと称する。なお、グローブＧＡ、ＧＢとの間に構成上の差異があっても構わない。

グローブＧＡは、例えば、指毎に設けられた変位センサを有している。変位センサは、例えば、指の動き（変位）に応じた電圧を出力する歪ゲージ等により構成されている。グローブＧＢについても同様である。

情報処理装置２Ａ、２Ｂは、ネットワークＮＴを介して接続されており、種々のデータの送受信が可能とされている（なお、図１では、情報処理装置２Ａ、２ＢがネットワークＮＴを介して接続されている様子が模式的に示されている。）。ネットワーク。実施の形態に係るネットワークＮＴは、無線の伝送路を想定しているが有線の伝送路であっても構わない。ネットワークＮＴとしては、具体的には、インターネットなどの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などが挙げられる。また、ネットワークＮＴは、ＩＰ−ＶＰＮ（Internet Protocol Virtual Private Network）などの専用回線網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信網であっても良い。

なお、実施の形態の内容によっては、先生Ｔ１や生徒Ｓ１が、情報処理装置２Ａ、２ＢやグローブＧＡ、ＧＢを必ずしも装着しなくて良い場合もあり得る。これらについては、個々の実施の形態の中で説明する。

［情報処理装置］
（情報処理装置の外観例）
次に、実施の形態に係る情報処理装置について説明する。図２は、実施の形態に係る情報処理装置２Ａの外観例を示す斜視図である。情報処理装置２Ａは、人体に着脱自在とされるウェアラブルデバイスである。情報処理装置２Ａは、例えば、ユーザの首に装着されて使用される所謂ネックバンド型のウェアラブルデバイスである。具体的には、情報処理装置２Ａは、一部が開放されたリング状の形状（Ｃ字形状）を有する筐体２１Ａを備えている。情報処理装置２Ａは、筐体２１Ａの中央付近がユーザの首部の後方にかかるように、換言すれば、開放されている部分がユーザの前方に位置する状態となるように、ユーザに装着される。筐体２１Ａは、開放箇所が拡開できるように若干の可撓性を有しており、様々な首の太さに対応できるようになっている。

情報処理装置２Ａの筐体２１Ａの適宜な箇所には、収音部としてのマイクロン及びスピーカが設けられている。例えば、筐体２１Ａの両端部付近に、マイクロン及びスピーカが設けられている。実施の形態に係る情報処理装置２Ａは、マイクロホンにより収音可能とされており、また、スピーカにより音の再生が可能とされている。

（情報処理装置の内部構成例）
図３は、情報処理装置２Ａの内部構成例を示すブロック図である。図３に示すように、情報処理装置２Ａは、例えば、制御部２０１Ａと、記憶部２０２Ａと、角速度センサ２０３Ａと、加速度センサ２０４Ａと、地磁気センサ２０５Ａと、ＧＰＳ（Global Positioning System）２０６Ａと、スピーカ２０７Ａと、通信部２０８Ａと、マイクロホン２０９Ａと、振動部２１０Ａとを有している。

制御部２０１Ａは、例えば、ＣＰＵ（Central Processing Unit）などにより構成されており、情報処理装置２Ａの各部を統括的に制御する。制御部２０１Ａが有する機能ブロック及び制御部２０１Ａにより行われる処理の具体例については、後述する。

記憶部２０２Ａは、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリと、制御部２０１Ａの作業領域として用いられる揮発性のメモリとを含む。上記プログラムは、光ディスクや、半導体デバイスなどの可搬性の記録媒体から読み取られても良いし、ネットワーク上のサーバ装置からダウンロードされても良い。

角速度センサ２０３Ａは、情報処理装置２Ａの３軸（ＸＹＺ軸）回りの角速度を検出し、検出した３軸回りの角速度の情報を制御部２０１Ａに出力する。加速度センサ２０４Ａは、情報処理装置２Ａの３軸方向の加速度を検出し、検出した３軸方向の加速度の情報を制御部２０１Ａに出力する。地磁気センサ２０５Ａは、情報処理装置２Ａの３軸回りの角度（方位）を検出し、検出した角度（方位）の情報を制御部２０１Ａに出力する。本実施の形態では、各センサの検出軸が３軸とされているが、この検出軸は、１軸、あるいは、２軸であっても良い。

ＧＰＳ２０６Ａは、ＧＰＳ衛星からの電波を受信して、情報処理装置２Ａの位置情報を検出し、この位置情報を制御部２０１Ａに出力する。

スピーカ２０７Ａは、筐体２１Ａに設けられた開口部（不図示）の下側の位置にそれぞれ１つずつ設けられている。これらのスピーカ２０７Ａは、制御部２０１Ａによる制御に応じて音を再生する。なお、スピーカ２０７Ａの数が２つとされているが、スピーカ２０７Ａの数については特に限定されることはない。

通信部２０８Ａは、他の機器との間で、無線又は有線により通信を行う。通信部２０８Ａは、通信方式に応じたアンテナ、変復調回路等を有している。

マイクロホン２０９Ａは、情報処理装置２Ａの周囲の音を収音する。例えば、先生Ｔ１のピアノの演奏音を収音する。収音された演奏音の音データ（以下、演奏データと適宜、称する）が制御部２０１Ａに供給される。

振動部２１０Ａは、筐体２１Ａの内部に収納され、制御部２０１Ａの制御に応じて振動するデバイスである。

なお、実施の形態では、情報処理装置２Ａが、グローブＧＡが有する変位センサの出力を取得できるように構成されている。例えば、情報処理装置２ＡがグローブＧＡと有線又は無線により接続されており、通信を介して変位センサの出力が情報処理装置２Ａに供給されるように構成されている。

（制御部の機能ブロック）
図４は、制御部２０１Ａの機能ブロックの一例を示す図である。実施の形態に係る制御部２０１Ａは、機能ブロックとして例えば、振動フィードバック情報生成部２２１Ａと、差分算出部２２２Ａと、差分フィードバック情報生成部２２３Ａと、フィードバック制御部２２４Ａとを有している。振動フィードバック情報生成部、差分算出部、差分フィードバック情報生成部及びフィードバック制御部の具体的な動作例については後述する。なお、制御部２０１Ａは、上述した機能ブロック以外にもＡ／Ｄ(Analog to Digital)変換等の適宜な機能を実行する構成を有している。

（振動部）
ここで振動部２１０Ａの具体例について説明する。振動部２１０Ａは、例えば、複数の振動デバイスを有している。振動デバイスは、例えば、印加電圧に応じて変位するアクチュエータ等により構成される。図５は、振動部２１０Ａが有する複数の振動デバイスの配置例を説明するための図である。振動部２１０Ａは、例えば、指の配列に対応して配置された複数の振動デバイスを有している。より具体的には、振動部２１０Ａは、１０本の指に応じた１０個の振動デバイス（振動デバイス２１０Ａａ、２１０Ａｂ、２１０Ａｃ・・・２１０Ａｊ）を有している。図５に示すように、情報処理装置２Ａの装着状態において、筐体２１Ａの左側から右側に向かって振動デバイス２１０Ａａ、２１０Ａｂ、２１０Ａｃ・・・２１０Ａｊが順に配置されている。

個々の振動デバイスが指に対応している。例えば、振動デバイス２１０Ａａは、左手の小指に対応している。また、振動デバイス２１０Ａｂは、左手の薬指に対応している。同様に、他の振動デバイスも所定の指に対応している。指の位置と振動デバイスの配置方向とが対応していることにより、振動デバイスが振動した際にどの指に対応する振動であるのかをユーザがわかりやすいようにすることができる。

以上、情報処理装置２Ａの構成例について説明したが、実施の形態では、情報処理装置２Ｂも同様の構成を有している。なお、情報処理装置２Ｂの構成については、情報処理装置２Ａの構成に付した参照符号における「Ａ」を「Ｂ」に置き換えた参照符号を付す。例えば、情報処理装置２Ａが有する制御部は、制御部２０１Ａであるのに対して、情報処理装置２Ｂが有する制御部は、制御部２０１Ｂとなる。

［遠隔レッスンシステムで行われる処理例］
次に、図６から図９までを参照して、第１の実施の形態に係る遠隔レッスンシステム１で行われる処理例について説明する。

（先生側のシステムにおける処理例）
始めに、先生Ｔ１側のシステムで行われる処理例について説明する。図６に示すように、先生Ｔ１側のシステムにおいて、先生Ｔ１がピアノを演奏する。ピアノの演奏音がマイクロホン２０９Ａにより収音され、収音された音データが例えば制御部２０１ＡによりＡ／Ｄ変換されることで演奏データＰＤが生成される。一方、演奏の進行に伴ってグローブＧＡが有する変位センサからセンサデータが出力され、係るセンサ出力が情報処理装置２Ａに供給される。そして、センサデータが情報処理装置２Ａの制御部２０１ＡによりＡ／Ｄ変換されることでセンサデータＳＤ１が生成される。

演奏データＰＤ及びセンサデータＳＤ１が通信部２０８Ａに供給される。制御部２０１Ａの制御に応じて通信部２０８Ａが動作し、通信部２０８Ａが動作することにより演奏データＰＤ及びセンサデータＳＤ１が生徒Ｓ１側のシステムに送信される。なお、本実施の形態では、センサデータＳＤ１が情報処理装置２Ａを介して送信されているが、情報処理装置２Ａとは異なる装置によりセンサデータＳＤ１が生徒Ｓ１側のシステムに送信されるようにしても良い。

（生徒側のシステムにおける処理例）
次に、生徒Ｓ１側のシステムにおける処理例について説明する。生徒Ｓ１側の情報処理装置２Ｂの通信部２０８Ｂにより、先生Ｔ１側のシステムから送信された演奏データＰＤ及びセンサデータＳＤ１が受信される。受信されたデータのうち、演奏データＰＤが制御部２０１ＢによりＤ／Ａ(Digital to Analog)された後にスピーカ２０７Ｂに供給され、スピーカ２０７Ｂから再生される。なお、演奏データＰＤは、記憶部２０２Ｂに記憶されても良く、適宜なタイミング（例えば、生徒Ｓ１が一人でピアノの演奏を復習するとき）に再生することも可能である。

一方、通信部２０８Ｂにより受信されたセンサデータＳＤ１は、制御部２０１Ｂの振動フィードバック情報生成部２２１Ｂに供給される。振動フィードバック情報生成部２２１Ｂは、楽器の打鍵に基づく情報に基づいて、振動によるフィードバックを行う振動フィードバック情報を生成する。ここでの楽器の打鍵に基づく情報は、楽器の打鍵の強弱を示す情報を含む。

振動フィードバック情報生成部２２１Ｂの動作例について、図７Ａ及び図７Ｂを参照して説明する。なお、以下説明する振動フィードバック情報生成部２２１Ｂの動作例は、振動フィードバック情報生成部２２１Ａにも適用することができる。

実施の形態では、楽器の打鍵の強弱を、音を出すために打鍵した指の速さとしている。図７Ａ及び図７Ｂに示すように、先生Ｔ１側のそれぞれの指の打鍵の強弱による変位データを振動データに変換する。まず、グローブＧＡが有する変位センサの値であるセンサデータＳＤ１を時系列に並べて微分し、指の速さを表す値として扱い、その時系列データを求める（図７Ａ参照）。指の速さを表す時系列のデータが、楽器の打鍵の強弱を示す情報の一例に対応する。求めた速さの時系列データから、振動の大きさの時系列データを生成する（図７Ｂ参照）。速さと振動の大きさは、例えば比例の関係とし、速さの取り得るおおよその最大値と振動部２１０Ｂの振動デバイスの制限からくる振動最大値を基に正規化する。振動フィードバック情報生成部２２１Ｂは、これらの処理を各指（１０本）の分、行うことにより、各指に対応する振動の大きさの時系列データを生成する。この時系列データが、振動フィードバック情報の一例に対応する。振動フィードバック情報がフィードバック制御部２２４Ｂに供給される。

フィードバック制御部２２４Ｂは、振動フィードバック情報に基づくフィードバックが行われるように、必要な制御を行う。具体的には、フィードバック制御部２２４Ｂは、振動フィードバック情報に基づいて振動部２１０Ｂの適宜な振動デバイスを駆動し振動させる。例えば、振動フィードバック情報により、右手小指の所定の大きさの振動が示される場合は、フィードバック制御部２２４Ｂは、振動フィードバック情報で示される振動の大きさとなるように所定の大きさの電圧を振動デバイス２１０Ｂｊに印加する。これにより振動デバイス２１０Ｂｊが、振動フィードバック情報で示された強さで振動する。

上述した処理により、例えば、以下の遠隔レッスンの態様を実現することができる。生徒Ｓ１は、先生Ｔ１側のシステムから演奏データＰＤ及びセンサデータＳＤ１を取得する。生徒Ｓ１は、情報処理装置２Ｂを装着した状態で、適宜なタイミングで演奏データＰＤの再生を指示する。再生指示に応じて、生徒Ｓ１が装着している情報処理装置２Ｂの制御部２０１Ｂが、演奏データＰＤの再生処理及び振動部２１０Ｂを振動させる処理を行う。

演奏データＰＤの再生処理に応じてスピーカ２０７Ｂから先生Ｔ１の演奏音が再生されると共に、適宜な振動デバイスが振動する。この振動が情報処理装置２Ｂを装着している生徒Ｓ１の体に伝達される。これにより、生徒Ｓ１は、先生Ｔ１の演奏音を聴取できるのに加え、音を打鍵した際に先生Ｔ１が使用した指及びその打鍵の強さを認識（体感）することができる。従来、音のみでは理解しづらかった打鍵の強さが振動によりフィードバックされるので、生徒Ｓ１は適切な打鍵の強弱を理解することができる。なお、振動とともに、振動の大きさに比例するような効果音が再生されるようにしても良い。

このように、生徒Ｓ１は適切な打鍵の強弱を認識することができるものの、実際に自身が演奏した際の打鍵の強弱が適切であるのか否かが認識しづらい。そこで、本実施の形態では、更に、実際に自身が演奏した際の打鍵の強弱が適切であるか否かに関するフィードバックがなされるようにしている。以下、この点について説明する。

例えば、図６の生徒Ｓ１側のシステムに示すように、生徒Ｓ１がグローブＧＢを装着してピアノを演奏する。なお、演奏の際、生徒Ｓ１は、情報処理装置２Ｂを装着していても良いし、装着していなくても良い。グローブＧＢが有する変位センサの出力であり、制御部２０１ＢによりＡ／Ｄ変換されることで生成されたセンサデータＳＤ２が情報処理装置２Ｂの制御部２０１Ｂ、より具体的には、差分算出部２２２Ｂに入力される。また、通信部２０８Ｂを介して受信されたセンサデータＳＤ１も差分算出部２２２Ｂに入力される。

図８Ａ〜図８Ｃを参照して、差分算出部２２２Ｂの動作例について説明する。差分算出部２２２Ｂは、センサデータＳＤ１を速さのデータに変換する。変換方法は上述した方法と同様であり、センサデータＳＤ１の値を時系列に並べて微分し、速さとしてその時系列データを求める。この速さの時系列データを時系列データＤ１と称する。上述したように、実施の形態では、楽器の打鍵の強弱を、音を出すために打鍵した指の速さとしていることから指の速さの時系列データＴＤ１が、楽器の打鍵の強弱に基づく第１のデータの一例に対応する。時系列データＴＤ１の具体例（例えば、左手小指の打鍵の速さに関する時系列データ）が図８Ａに模式的に示されている。

また、差分算出部２２２Ｂは、センサデータＳＤ２を速さのデータに変換する。変換方法は、上述したセンサデータＳＤ１に対して行った方法と同様であり、センサデータＳＤ２の値を時系列に並べて微分し、速さとしてその時系列データを求める。この速さの時系列データを時系列データＴＤ２と称する。上述したように、実施の形態では、楽器の打鍵の強弱を、音を出すために打鍵した指の速さとしていることから指の速さの時系列データＴＤ２が、第１のデータとは異なる、楽器の打鍵の強弱に基づく第２のデータの一例に対応する。時系列データＴＤ２の具体例（例えば、左手小指の打鍵の速さに関する時系列データ）が図８Ｂに模式的に示されている。

差分算出部２２２Ｂは、時系列データＴＤ１と時系列データＴＤ２とを比較し、ある一定時間内に先生Ｔ１と生徒Ｓ１とが同じ指でほぼ同じ速さで打鍵している場合に、先生Ｔ１と生徒Ｓ１とが同じ速さ、即ち同じ強さで打鍵しているとみなし、生徒Ｓ１の打鍵の強さが適切であると判断する。例えば、図８Ａ及び図８Ｂにより示される時系列データＴＤ１、ＴＤ２の場合は、差分算出部２２２Ｂは、タイミングのずれが所定の閾値ｔｈｔ内（｜ｔ１−ｔ２｜＜ｔｈｔ）であり、且つ、先生Ｔ１と生徒Ｓ１が同じ指で、閾値ｔｈｖ内でほぼ同じ速さで打鍵している（｜ｖ１−ｖ２｜＜ｔｈｖ）場合に、先生Ｔ１と生徒Ｓ１とが同じ速さで打鍵しているとみなし、生徒Ｓ１の打鍵の強さが適切であると判断する。

差分算出部２２２Ｂは、上述した処理を連続的に行い、楽器の打鍵の強弱に基づく情報、具体的には、打鍵が同じ速さで行われていない箇所の時系列データである相違データＤＤを生成する。相違データＤＤは、全ての指の分だけ生成される。例えば、差分算出部２２２Ｂは、図８Ｃに示すように、同じ速さでの打鍵でないとき、具体的には、生徒Ｓ１のほうが先生Ｔ１より指の速度が大きい時はｄ＝１、生徒Ｓ１のほうが先生Ｔ１より指の速度が小さい時にはｄ＝−１、それ以外の時はｄ＝０として、相違データＤＤを生成する。差分算出部２２２Ｂは、生成した相違データＤＤを差分フィードバック情報生成部２２３Ｂに出力する。

差分フィードバック情報生成部２２３Ｂは、差分即ち相違データＤＤに応じたフィードバックを行う差分フィードバック情報を生成する。図９に示すように、時系列データＴＤ１、ＴＤ２の違いが一定以上の場合にパルスが出力されることが相違データＤＤにより示される。全ての指に関する相違データＤＤにおけるパルスの回数が多いほど、先生Ｔ１と生徒Ｓ１とにおける打鍵の強弱の相違が多いことになり、打鍵の強弱に関する生徒のミスが多いことになる。反対に、全ての指に関する相違データＤＤにおけるパルスの回数が少ないほど、先生Ｔ１と生徒Ｓ１とにおける打鍵の強弱の相違が少ないことになり、打鍵の強弱に関する生徒のミスが少ないことになる。

差分フィードバック情報生成部２２３Ｂは、パルスの回数、換言すれば、生徒側のミスの回数や、パルスの出力タイミングに応じた差分フィードバック情報を出力する。そして、フィードバック制御部２２４Ｂが、差分フィードバック情報に示された具体的なフィードバックを行うための制御を実行する。本実施の形態では、差分フィードバック情報に応じてメッセージ（ＴＴＳ(Text to Speech)）の再生及び振動の少なくとも一方によるフィードバックがなされる。

例えば、以下のような態様でフィードバックがなされる。
生徒Ｓ１側のシステムで、先生Ｔ１側のシステムにおける演奏データＰＤ及びセンサデータＳＤ１を取得する。生徒Ｓ１は、一度、ピアノを演奏する。このとき、差分算出部２２２Ｂ及び差分フィードバック情報生成部２２３Ｂが上述したように動作することで、差分フィードバック情報が生成される。

生徒Ｓ１による演奏の終了後、フィードバック制御部２２４Ｂによる差分フィードバック情報に応じたフィードバックがなされる。差分フィードバック情報には、例えば、メッセージの内容及び当該メッセージの再生タイミングが規定されている。具体例としては、生徒Ｓ１による演奏を録音しておき、その後、録音した演奏を再生する。差分フィードバック情報に示される内容に応じてフィードバック制御部２２４Ｂは、例えば、再生中の演奏の進行において、相違データＤＤによりｄ＝−１が出力されたタイミングで「最初から数えて５秒目あたりをもう少し力強く弾いてみましょう。」等のメッセージを生成し、当該メッセージをスピーカ２０７Ｂから再生する制御を行う。

差分フィードバック情報生成部２２３Ｂは、差分が閾値を超えた回数に応じてフィードバックの内容を決定し、決定したフィードバックの内容に対応する差分フィードバック情報を生成しても良い。差分フィードバック情報に応じてフィードバック制御部２２４Ｂは、所定のメッセージを生成し再生する制御を行う。例えば、相違データＤＤにおけるパルスの回数が閾値以下の場合は、差分フィードバック情報生成部２２３Ｂは、曲の終了後に「上手ですね、よく頑張りましたね」のような褒めるメッセージを生成及び再生するための差分フィードバック情報を生成する。また、例えば、相違データＤＤにおけるパルスの回数が閾値より多い場合は、差分フィードバック情報生成部２２３Ｂは、曲の終了後に「もっと練習しましょう」との言葉や「今度は頑張りましょうね」「一緒に頑張りましょう」のような励ましのメッセージを生成及び再生するための差分フィードバック情報を生成する。フィードバック制御部２２４Ｂは、差分フィードバック情報に応じたフィードバックを行うための制御（例えば、上述したメッセージの生成及び再生処理）を行う。

差分フィードバック情報に応じて振動によるフィードバックが行われるようにしても良い。例えば、相違データＤＤにおけるパルスの回数に応じて、差分フィードバック情報生成部２２３Ｂは、曲の終了後に振動部２１０Ｂが所定の強さで振動するための差分フィードバック情報を生成する。例えば、パルスの回数が多いほど、即ち、間違いが多いほど振動部２１０Ｂが強く振動するような差分フィードバック情報を、差分フィードバック情報生成部２２３Ｂが生成する。差分フィードバック情報に応じて、フィードバック制御部２２４Ｂは、差分フィードバック情報で示された強さで振動部２１０Ｂを振動させる制御を行う。

なお、差分フィードバック情報に応じて振動部２１０Ｂを振動させる場合には、上述した振動フィードバック情報に基づく振動部２１０Ｂの振動と差分フィードバック情報に基づく振動部２１０Ｂの振動とが混在しないように振動のタイミング等が重複しないように適宜設定される。

なお、レッスンに応じて生徒Ｓ１の演奏レベルが上達する場合もあり得る。反対に、レッスンを怠ることにより生徒Ｓ１の演奏レベルが下がる場合もあり得る。そこで、相違データＤＤを生成する際の閾値（閾値ｔｈｔや閾値ｔｈｖ）を演奏レベルに応じて動的に変更できるようにしても良い。例えば、演奏レベルが上達した場合には、閾値ｔｈｔや閾値ｔｈｖを小さくして難度を上げるようにしても良い。また、相違データＤＤにおけるパルスの回数に対する閾値（回数）を動的に変更可能としても良い。例えば、パルスの回数、即ち、ミスの回数が５回以下で有る場合に適切な打鍵の強弱に基づく演奏と判断されていたものが、ミスの回数が３回以下で有る場合に適切な打鍵の強弱に基づく演奏と判断されるようにしても良い。相違データＤＤを生成する際の閾値や、相違データＤＤにおけるパルスの回数に対する閾値の設定が、先生Ｔ１側のシステムにおける情報処理装置２Ａでできるようにしても良い。そして、先生Ｔ１側の情報処理装置２Ａにおいてなされた設定が、生徒Ｓ１側の情報処理装置２Ａに供給されて用いられるようにしても良い。更に、難度が高く設定されている場合に適切な打鍵の強弱による演奏がなされた場合には、差分フィードバック情報生成部２２３Ｂが、例えば、より多く褒めるようなメッセージを生成及び再生するための差分フィードバック情報を生成しても良い。

［処理の流れ］
次に、遠隔レッスンシステム１において行われる処理の流れについて説明する。始めに、図１０のフローチャートを参照して、振動フィードバック情報に基づくフィードバックがなされる処理の流れについて説明する。

処理の前提として、先生Ｔ１側のシステムと生徒Ｓ１側のシステムとが接続されることで両システム間におけるデータ、コマンド等の送受信が可能となり、遠隔レッスンシステム１が構築されている。遠隔レッスンシステム１では「さぁ、これからピアノのレッスンを始めましょう」等の対面レッスン時になされる会話と同様の会話がなされる。先生Ｔ１が発した会話は情報処理装置２Ａで収音され、生徒Ｓ１側の情報処理装置２Ｂで再生される。一方、生徒Ｓ１が発した会話は情報処理装置２Ｂで収音され、先生Ｔ１側の情報処理装置２Ａで再生される。

始めに、先生Ｔ１が、例えば情報処理装置２Ａ及びグローブＧＡを装着した状態で、見本のピアノ演奏を行う。先生Ｔ１のピアノ演奏に伴う演奏音がマイクロホン２０９Ａにより収音され、演奏データＰＤが生成される（ステップＳＴ１１）。また、演奏に伴う先生Ｔ１の指の動きに応じて、グローブＧＡが有する変位センサがセンサデータＳＤ１を出力し、センサデータＳＤ１が情報処理装置２Ａにより取得される（ステップＳＴ１２）。ステップＳＴ１１、ＳＴ１２の処理は、先生Ｔ１の演奏に伴って並列的に行われる処理である。

演奏データＰＤ及びセンサデータＳＤ１が、通信部２０８Ａを介して情報処理装置２Ｂに送信され、通信部２０８Ｂにより受信される。演奏データＰＤは、制御部２０１Ｂによりアナログデータに変換された後、適宜増幅されてスピーカ２０７Ｂから再生される（ステップＳＴ１３）。

通信部２０８Ｂで受信されたセンサデータＳＤ１は、振動フィードバック情報生成部２２１Ｂに供給される。振動フィードバック情報生成部２２１Ｂは、各指のセンサデータＳＤ１を時系列に並べて微分し、振動の大きさの時系列データを生成する（ステップＳＴ１４）。そして、フィードバック制御部２２４Ｂが、振動の大きさを示す時系列データＤ１に基づいて、対応する振動部２１０Ｂの振動デバイスを振動させる（ステップＳＴ１５）。これにより、先生Ｔ１の打鍵の強弱が生徒Ｓ１側で再現される。情報処理装置２Ｂを利用することにより、先生Ｔ１の打鍵の強弱を生徒Ｓ１が体感することができる。

そして、曲（先生Ｔ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ１６）。制御部２０１Ｂは、例えば、一定期間、演奏データＰＤの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ１１、ＳＴ１２に戻る。曲が終了した場合には、処理が終了する。

なお、上述した処理は、情報処理装置２Ａから演奏データＰＤ及びセンサデータＳＤ１が送信されることに伴って、演奏データＰＤに対応する演奏音がリアルタイムに再生され、センサデータＳＤ１に基づく振動が生徒Ｓ１にリアルタイムにフィードバックされる例を説明したが、これに限定されるものではない。演奏データＰＤ及びセンサデータＳＤ１が一旦、記憶部２０２Ｂに記憶されても良い。そして、適宜なタイミング（例えば、先生Ｔ１から指示されたタイミングや、生徒Ｓ１の復習時）に、演奏データＰＤ及びセンサデータＳＤ１が記憶部２０２Ｂから読み出され、演奏データＰＤに対応する演奏音が再生され、センサデータＳＤ１に基づく振動が生徒Ｓ１にフィードバックされるようにしても良い。

次に、図１１のフローチャートを参照して、差分フィードバック情報に基づくフィードバックがなされる処理の流れについて説明する。なお、前提として、センサデータＳＤ１が既に情報処理装置２Ｂに送信されているものとして説明する。

例えば先生Ｔ１の「それでは、演奏してください。」等の指示に応じて、生徒Ｓ１がピアノを演奏する。生徒Ｓ１は、例えば、グローブＧＢ及び情報処理装置２Ｂを装着した状態でピアノを演奏する。ピアノの演奏に伴う生徒Ｓ１の指の動きに応じて、グローブＧＢが有する変位センサが、各指のセンサデータＳＤ２を出力する。センサデータＳＤ２が情報処理装置２Ｂにより取得される（ステップＳＴ２１）。

そして、曲（生徒Ｓ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ２２）。制御部２０１Ｂは、例えば、一定期間、生徒Ｓ１の演奏に伴う演奏データの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ２１に戻る。曲が終了した場合には、処理がステップＳＴ２３に進む。

生徒Ｓ１の演奏が終了した後、生徒Ｓ１の演奏における打鍵の強弱とリファレンスとの差分が、差分算出部２２２Ｂにより算出される（ステップＳＴ２３）。具体的には、差分算出部２２２Ｂは、リファレンスデータとしての各指のセンサデータＳＤ１を時系列に並べて微分したデータと、各指のセンサデータＳＤ２を時系列に並べて微分したデータとの差分を演算することにより、相違データＤＤを生成する。差分算出部２２２Ｂは、相違データＤＤを差分フィードバック情報生成部２２３Ｂに出力する

差分フィードバック情報生成部２２３Ｂは、相違データＤＤに基づいて、差分フィードバック情報を生成する（ステップＳＴ２４）。そして、生成された差分フィードバック情報に基づいて、フィードバック制御部２２４Ｂが、生徒Ｓ１に対するフィードバックを行う（ステップＳＴ２５）。上述したように、差分フィードバック情報に基づくフィードバックは、メッセージの再生や振動等によりなされる。

［効果の一例］
以上説明した第１の実施の形態によれば、打鍵の強弱を振動によりユーザ（例えば、遠隔レッスンシステムにおける生徒）にフィードバックすることができる。従って、当該ユーザは、適切な打鍵の強さを認識することができる。
また、先生の打鍵の強弱と生徒の打鍵の強弱とを比較した結果である差分に応じたフィードバックを行うことができる。従って、ユーザ（例えば、生徒）は、自身の打鍵の強さが適切であるか否かを認識することができる。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、特に断らない限り、第１の実施の形態で説明した事項は、第２の実施の形態に対しても適用することができる。また、第２の実施の形態において、第１の実施の形態で説明した事項と同一若しくは同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。

図１２は、第２の実施の形態に係る遠隔レッスンシステム（遠隔レッスンシステム１Ａ）で行われる処理例を説明するための図である。第２の実施の形態では、例えば、略同時になされる先生Ｔ１と生徒Ｓ１とのピアノ演奏時に、リアルタイムに差分フィードバック情報が生成され、リアルタイムに差分フィードバック情報に基づくフィードバックがなされる。なお、略同時になされる演奏とは、伝送遅延や情報処理装置２Ａ、２Ｂで行われる処理の遅延等が適切に補正され、先生Ｔ１及び生徒Ｓ１が聴感的に同時に演奏しているように聞こえる、タイミングのずれが所定以下の演奏を意味する。

上述したように、差分フィードバック情報に基づくフィードバックは、メッセージ及び振動の少なくとも一方によりなされる。本実施の形態では、メッセージ及び振動によりフィードバックがなされる。従って、図１２に示すように、振動フィードバック情報による振動と差分フィードバック情報に基づく振動とが混在しないように、本実施の形態では、振動フィードバック情報によるフィードバックがなされないように構成されている。勿論、生徒Ｓ１が一人でピアノの演奏の復習を行う際等に、第１の実施の形態で説明したように、振動フィードバック情報によるフィードバックが行われるようにしても良い。

［処理の流れ］
次に、図１３のフローチャートを参照して、第２の実施の形態に係る、差分フィードバック情報に基づくフィードバックがなされる処理の流れについて説明する。なお、先生Ｔ１及び生徒Ｓ１が略同時に行うピアノの演奏音は、情報処理装置２Ａ、２Ｂのマイクロホン２０９Ａ、２０９Ｂで収音され、相手の情報処理装置に送信される。そして、相手のピアノの演奏音は情報処理装置２Ａ、２Ｂのスピーカ２０７Ａ、２０７Ｂからそれぞれ再生される。

例えば先生Ｔ１の「それでは、一緒に演奏しましょう。」等の指示に応じて、先生Ｔ１及び生徒Ｓ１がピアノを演奏する。先生Ｔ１は、例えば、グローブＧＡ及び情報処理装置２Ａを装着した状態でピアノを演奏する。また、生徒Ｓ１は、例えば、グローブＧＢ及び情報処理装置２Ｂを装着した状態でピアノを演奏する。

ピアノ演奏に伴う先生Ｔ１（本例ではリファレンス側）の指の動きに応じて、グローブＧＡが有する変位センサが、各指のセンサデータＳＤ１を出力する。センサデータＳＤ１が情報処理装置２Ａにより取得される（ステップＳＴ３１）。センサデータＳＤ１は、情報処理装置２Ａの通信部２０８Ａにより情報処理装置２Ｂに送信される。センサデータＳＤ１は、情報処理装置２Ｂの通信部２０８Ｂにより受信された後、制御部２０１Ｂに供給される。

また、ピアノ演奏に伴う生徒Ｓ１の指の動きに応じて、グローブＧＢが有する変位センサが、各指のセンサデータＳＤ２を出力する。センサデータＳＤ２が情報処理装置２Ｂにより取得される（ステップＳＴ３２）。

差分算出部２２２Ｂは、先生Ｔ１の演奏における打鍵の強弱と生徒Ｓ１の演奏における打鍵の強弱との差分を算出する（ステップＳＴ３３）。具体的には、差分算出部２２２Ｂは、リファレンスデータとしての各指のセンサデータＳＤ１を時系列に並べて微分したデータと、各指のセンサデータＳＤ２を時系列に並べて微分したデータとの差分を算出する。

そして、差分フィードバック情報生成部２２３Ｂは、閾値以上の差分（例えば、上述した相違データＤＤにおけるｄ＝１やｄ＝−１に対応する差分）があったか否かを判断する（ステップＳＴ３４）。この判断で、閾値以上の差分があった場合には、差分フィードバック情報生成部２２３Ｂより差分フィードバック情報が生成され、差分フィードバック情報に基づくフィードバックが、フィードバック制御部２２４Ｂにより行われる（ステップＳＴ３５）。閾値以上の差分がない場合は、フィードバックはなされず、先生及び生徒による演奏が進行する。

例えば、生徒Ｓ１の打鍵が先生Ｔ１の打鍵に比べて一定以上弱い場合には、当該打鍵がなされる指に対応する振動デバイスが、短く且つ弱く振動するフィードバックがなされると共に、「ここはもっと強く」等のメッセージが再生される差分フィードバック情報が生成される。一方で、生徒Ｓ１の打鍵が先生Ｔ１の打鍵に比べて一定以上強い場合には、当該打鍵がなされる指に対応する振動デバイスが、短く且つ強く振動するフィードバックがなされると共に、「ここはもっと弱く」等のメッセージが再生される差分フィードバック情報が生成される。差分フィードバック情報に基づくフィードバックがフィードバック制御部２２４Ｂにより行われる。

そして、曲（先生Ｔ１及び生徒Ｓ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ３６）。制御部２０１Ｂは、例えば、一定期間、演奏データの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ３１、３２に戻る。曲が終了した場合には、処理が終了する。

［効果］
以上説明した第２の実施の形態では、生徒のピアノの演奏時に、打鍵の強さがリファレンス（例えば、先生の打鍵の強さ）と一定以上相違する場合に、そのことをリアルタイムにフィードバックすることができる。

＜第３の実施の形態＞
次に、第３の実施の形態について説明する。なお、特に断らない限り、第１、第２の実施の形態で説明した事項は、第３の実施の形態に対しても適用することができる。また、第３の実施の形態において、第１、第２の実施の形態で説明した事項と同一若しくは同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。

［概要］
始めに、第３の実施の形態の概要について説明する。一般に、楽器の演奏の際には、上級者になればなるほど、単に楽器を演奏する動きだけでなく、体全体をつかって楽器を演奏することにより、より豊かな演奏音を奏でることが行われる。体全体の動きは、ノリなどとも称され、演奏のコンクールなどでは、体全体の動きが評価の対象にもなり得る。実施の形態に係る情報処理装置２Ａ、２Ｂは、加速度センサ２０４Ａ、２０４Ｂを有している。そこで、第３の実施の形態では、加速度センサ２０４Ａ、２０４Ｂを、演奏者の姿勢変化を検出する姿勢変化検出部として使用し、例えば、演奏時における先生Ｔ１の姿勢変化と生徒Ｓ１の姿勢変化との差分を検出し、差分に応じたフィードバック行う。これにより、打鍵の強さだけなく、演奏時における適切な体の動きを生徒Ｓ１が認識できるようにする。以下、第３の実施の形態について詳細に説明する。

［処理例］
図１４は、第３の実施の形態に係る遠隔レッスンシステム（遠隔レッスンシステム１Ｂ）で行われる処理例を説明するための図である。上述した実施の形態と異なる点を中心に説明する。

先生Ｔ１がピアノを演奏する際の姿勢変化が加速度センサ２０４Ａにより検出される。加速度センサ２０４Ａから出力されるセンサデータが制御部２０１Ａによりデジタルデータに変換されることで、加速度データＡＤ１が生成される。加速度データＡＤ１が、通信部２０８Ａを介して情報処理装置２Ｂに送信される。加速度データＡＤ１は、情報処理装置２Ｂの通信部２０８Ｂにより受信され、制御部２０１Ｂに供給される。

また、生徒Ｓ１がピアノを演奏する際の姿勢変化が加速度センサ２０４Ｂにより検出される。加速度センサ２０４Ｂから出力されるセンサデータが制御部２０１Ｂによりデジタルデータに変換されることで、加速度データＡＤ２が生成される。加速度データＡＤ１、ＡＤ２が制御部２０１Ｂの差分算出部２２２Ｂに入力される。

第３の実施の形態に係る差分算出部２２２Ｂは、加速度データＡＤ１、ＡＤ２の差分を算出する。図１５Ａに、先生Ｔ１側で取得される加速度データＡＤ１が模式的に示されている。図１５Ｂに、生徒Ｓ１側で取得される加速度データＡＤ２が模式的に示されている。加速度データから体の姿勢変化を表す値を求める事を考える。加速度の極大/極小地点が、速度の変化が一番大きい点であり、体の姿勢変化の拍部分にあたるとする。

加速度を体の姿勢変化を表す代表値として扱い、先生Ｔ１側と生徒Ｓ１側のそれぞれの加速度データＡＤ１、ＡＤ２を比べることでリファレンス(本例では先生の体の姿勢変化)との差分を求める。

ここで、３軸の時系列の加速度データは、下記の数式１によって表すことができる。

上述した加速度データから、ベクトルの大きさの時系列データαを下記の数式２により求める。なお、先生Ｔ１側のベクトルの大きさの時系列データをα１とし、生徒Ｓ１側のベクトルの大きさの時系列データをα２とする。

差分算出部２２２Ｂは、時系列データα１と時系列データα２とを比較し、タイミングのずれが所定の閾値ｔｈｔ内（｜ｔ１−ｔ２｜＜ｔｈｔ）であり、且つ、先生Ｔ１と生徒Ｓ１がほぼ同じ姿勢変化を行っている（｜α１−α２｜＜ｔｈα）場合に、先生Ｔ１と生徒Ｓ１とが同じ姿勢変化、即ち同じ体の動きで演奏しているとみなし、生徒Ｓ１の演奏時における体の動きが適切であると判断する。

差分算出部２２２Ｂは、上述した処理を連続的に行い、体の姿勢変化が相違する箇所の時系列データである相違データＤＤ１を生成する。例えば、差分算出部２２２Ｂは、図１５Ｃに示すように、同じ姿勢変化でないとき、具体的には、生徒Ｓ１の姿勢変化が先生Ｔ１の姿勢変化より大きい時はｄ＝１、生徒Ｓ１の姿勢変化が先生Ｔ１の姿勢変化より小さい時にはｄ＝−１、それ以外の時はｄ＝０として、相違データＤＤ１を生成する。本例では、相違データＤＤ１が、楽器の演奏に伴う姿勢変化に基づく情報の一例に対応する。差分算出部２２２Ｂは、生成した相違データＤＤ１を差分フィードバック情報生成部２２３Ｂに出力する。

差分フィードバック情報生成部２２３Ｂは、差分即ち相違データＤＤ１に応じたフィードバックを行う姿勢変化フィードバック情報を生成する。図１６に示すように、先生Ｔ１と生徒Ｓ１における姿勢変化に一定以上の違いがある場合には、パルスが出力されることが相違データＤＤ１により示される。全ての指に関する相違データＤＤ１におけるパルスの回数が多いほど、姿勢変化の相違が多いことになり、生徒Ｓ１側の姿勢変化が適切でない回数が多いことになる。反対に、相違データＤＤ１におけるパルスの回数が少ないほど、姿勢変化の相違が少ないことになり、生徒Ｓ１が適切な姿勢変化でピアノを演奏していることになる。

差分フィードバック情報生成部２２３Ｂは、パルスの回数やパルスの発生タイミング等に応じた姿勢変化フィードバック情報を出力する。姿勢変化フィードバック情報には、フィードバックの内容やフィードバックを行うタイミングが含まれている。フィードバック制御部２２４Ｂは、姿勢変化フィードバック情報に基づくフィードバックをＴＴＳ等により行う。

例えば、以下のような態様でフィードバックがなされる。
生徒Ｓ１による演奏の終了後、姿勢変化フィードバック情報に応じたフィードバックがなされる。例えば、生徒Ｓ１による演奏を録音しておき、録音した演奏を再生しつつ、姿勢変化フィードバック情報に応じたフィードバックがなされる。フィードバック制御部２２４Ｂは、例えば、ある曲の進行において、相違データＤＤ１でｄ＝−１が出力されたタイミングで例えば「最初から数えて５秒目あたりをもっとノってみましょう（大きく体を動かしましょう）」等のメッセージを生成し、当該メッセージをスピーカ２０７Ｂから再生する。また、例えば、フィードバック制御部２２４Ｂは、ある曲の進行において、相違データＤＤ１でｄ＝１が出力されたタイミングで例えば「最初から数えて５秒目あたりはもっと落ち着いて弾いてみましょう」等のメッセージを生成し、当該メッセージをスピーカ２０７Ｂから再生する。

相違データＤＤ１におけるパルスの回数に応じたメッセージが再生されても良い。パルスの回数が閾値以下の場合は、例えば、フィードバック制御部２２４Ｂは「うまくノって演奏していましたね」等の褒め言葉を再生する。パルスの回数が閾値より大きい場合は、例えば、フィードバック制御部２２４Ｂは「一緒に頑張りましょう」等の励ましの言葉を再生する。

姿勢変化フィードバック情報に基づくフィードバックが振動によりなされても良い。例えば、パルスの回数が閾値以下の場合は、振動する振動デバイスが一端側から他端側に連続的に変化する態様のフィードバックがなされる。また、パルスの回数が閾値より大きい場合は、全部の振動デバイスが振動する態様のフィードバックがなされる。勿論、どのような振動でフィードバックを行うかは適宜、設定することができる。また、第１の実施の形態で説明したように、生徒のレベルに応じて難易度が変わるように、閾値等の設定ができるようにしても良い。

［処理の流れ］
次に、図１７のフローチャートを参照して、姿勢変化フィードバック情報に基づいてフィードバックがなされる処理の流れについて説明する。なお、前提として、加速度データＡＤ１が既に情報処理装置２Ｂに送信されているものとして説明する。

例えば先生Ｔ１の「それでは、演奏してください。」等の指示に応じて、生徒Ｓ１がピアノを演奏する。生徒Ｓ１は、例えば、グローブＧＢ及び情報処理装置２Ｂを装着した状態でピアノを演奏する。ピアノの演奏に伴う生徒Ｓ１の体の動きに応じて、加速度センサ２０４Ｂが加速度データを出力する。この加速度データが制御部２０１Ｂによりデジタルデータに変換され、加速度データＡＤ２が生成される（ステップＳＴ４１）。

そして、曲（生徒Ｓ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ４２）。制御部２０１Ｂは、例えば、一定期間、演奏データの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ４１に戻る。曲が終了した場合には、処理がステップＳＴ４３に進む。

生徒Ｓ１の演奏が終了した後、生徒Ｓ１の演奏時における姿勢変化とリファレンスとの差分が、差分算出部２２２Ｂにより算出される（ステップＳＴ４３）。具体的には、差分算出部２２２Ｂは、加速度データＡＤ１に基づく時系列データα１と加速度データＡＤ２に基づく時系列データα２との差分を演算することにより、相違データＤＤ１を生成する。差分算出部２２２Ｂは、相違データＤＤ１を差分フィードバック情報生成部２２３Ｂに出力する

差分フィードバック情報生成部２２３Ｂは、相違データＤＤ１に基づいて、姿勢変化フィードバック情報を生成する（ステップＳＴ４４）。そして、生成された姿勢変化フィードバック情報に基づいて、フィードバック制御部２２４Ｂが、生徒Ｓ１に対するフィードバックを行う（ステップＳＴ４５）。上述したように、姿勢変化フィードバック情報に基づくフィードバックは、メッセージの再生や振動等によりなされる。

［効果］
以上説明した第３の実施の形態によれば、演奏時における体の動きが適切であるか否かに関するフィードバックを行うことができる。従って、ユーザ（例えば、生徒）は、適切な体の動きで楽器を演奏することが可能となる。

＜変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。

上述した実施の形態では、生徒側の情報処理装置が差分を計算するようにしたが、これに限定されるものではない。例えば、生徒が有するスマートホンやクラウド上に存在するサーバ装置が差分を計算するようにしても良い。係る場合は、情報処理装置の制御部が差分算出部を有しない構成でも良い。このように、情報処理装置の構成は、実施の形態で例示された構成に限定されるものではなく、適宜、変更することができる。

上述した各実施の形態は、適宜、組み合わせることが可能である。また、フィードバックする内容を、モードとして設定できるようにしても良い。例えば、所定のモードが設定された場合には、打鍵の強さの相違に応じたフィードバックがなされ、他のモードが設定された場合には、姿勢変化の相違に応じたフィードバックがなされるようにしても良い。

上述した実施の形態では、先生も情報処理装置を装着した構成について説明したがこれに限定されるものではない。例えば、演奏データやセンサデータを生徒側の情報処理装置に送信できる装置であれば、当該装置は必ずしも実施の形態で説明した情報処理装置に限定されるものではない。

上述した実施の形態では、主に、先生側から生徒側に各種のデータが送信される例について説明したが、生徒側から先生側に各種のデータが送信することも可能である。例えば、生徒側の情報処理装置から先生側の情報処理装置にセンサデータが送信され、先生側の情報処理装置における振動デバイスが生徒の打鍵の強さに対応する強さで振動するようにしても良い。即ち、先生が生徒の打鍵の強さ等を確認できるようにしても良い。

上述した実施の形態では、フィードバックがメッセージの再生及び振動の少なくとも一方によりなされる例について説明したが、これに限定されるものではない。例えば、表示によるフィードバックがなされても良い。表示は、例えば、ピアノに設けられたディスプレイを使用してなされる。実施の形態で説明した情報処理装置にディスプレイが設けられても良い。また、実施の形態で説明した情報処理装置にＬＥＤ(Light Emitting Diode)等の発光部が設けられ、発光部の発光色や発光強度を変化させた発光（表示の一態様）によりフィードバックが行われるようにしても良い。例えば、生徒の演奏における打鍵の強さが適切である場合はＬＥＤが緑で発光し、生徒の演奏における打鍵の強さが適切でない場合はＬＥＤが赤で発光するようにしても良い。また、情報処理装置の制御部が生成した振動フィードバック情報や差分フィードバック情報に基づくフィードバックの制御が、情報処理装置と異なる装置（例えば、情報処理装置の近距離無線を行うことが可能なスマートホンやゲーム機器）で行われても良い。

上述した実施の形態では、リファレンスされるデータ、即ち、先生側のシステムで得られた各種のデータがネットワークを介して伝送される例について説明したが、これに限定されるものではない。例えば、先生側のシステムで得られるデータ（例えば、センサデータＳＤ１）が記録メディアに記憶されており、当該記録メディアを介して供給されるようにしても良い。係る記録メディアとしては、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。記録メディアは、書籍等の付属物であっても良い。例えば、音楽のレッスンに関する書籍に記録メディアが付属していても良い。また、先生側のシステムで得られるデータが、所定のサーバ装置からダウンロード可能とされても良い。この場合、例えば、課金等の処理を行ったユーザのみが上述したデータをダウンロード可能としても良いし、複数の先生毎に上述したデータが用意され、ユーザが所望の先生のデータを選択的にダウンロードできるようにしても良い。

上述した実施の形態において、演奏データとセンサデータとが別々に送信されるようにしても良い。また、上述した実施の形態では、グローブが有する変位センサにより指の動き（速さ）が取得される例について説明したが、指の動きをセンシングできるものであれば、グローブが有する変位センサ以外で指の動きが取得されても良い。係る装置としては指の動きを撮像するカメラを挙げることができる。カメラは、情報処理装置に設けられていても良い。また、情報処理装置に設けられるカメラは、ヒンジ等の機構により可動とされ、指の動きを撮像できるように構成されても良い。

上述した各実施の形態の遠隔レッスンシステムが、生徒が先生の様子に関する映像情報、具体的には、先生の演奏姿、姿勢等に関する映像情報を視聴しながら行われても良い。そして、生徒が映像情報を視聴しつつ、振動のフィードバック等が行われても良い。勿論、先生が生徒の様子に関する映像情報を視聴しながら、遠隔レッスンシステムが行われても良い。遠隔レッスンシステムにおける映像情報のやり取りは、公知のビデオチャットツールを利用して行われても良いし、本技術に適した専用のビデオチャットツールやシステムを構築した上で、それらを利用して行われても良い。映像情報を利用することにより、相手の様子、例えば、生徒が先生の様子を視覚的に確認できるので、より効果的な遠隔レッスンを行うことができる。

実施の形態で説明した情報処理装置の形状は、リング形状（ネックバンド型）に限定されるものではない。他の形状、例えば、ベルト型、時計型等であっても良い。

実施の形態では、楽器の一例としてピアノを用いた説明をしたが、演奏操作（打鍵や息づかい）の強弱により音色が変わり得る楽器、例えば、太鼓やギターであっても構わない。

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。

なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。

本開示は、以下の構成も採ることができる。
（１）
人体に着脱可能とされ、
楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する
情報処理装置。
（２）
前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱に基づく第１のデータと、前記第１のデータとは異なる、楽器の打鍵の強弱に基づく第２のデータとの差分を示す情報を含み、
前記制御部は、前記差分に応じたフィードバックを行う差分フィードバック情報を生成する
（１）に記載の情報処理装置。
（３）
前記制御部は、前記第１のデータと前記第２のデータとの差分を算出する
（２）に記載の情報処理装置。
（４）
第１の楽器の演奏時に当該第１の楽器の打鍵の強弱に基づく前記第１のデータが取得され、第２の楽器の演奏時に当該第２の楽器の打鍵の強弱に基づく前記第２のデータが取得され、
前記制御部は、略同時になされる前記第１の楽器及び前記第２の楽器の演奏の進行に伴って、前記差分をリアルタイムに算出する
（３）に記載の情報処理装置。
（５）
前記制御部は、前記差分が閾値を超えた回数に応じて前記フィードバックの内容を決定する
（２）に記載の情報処理装置。
（６）
前記閾値及び前記回数の少なくとも一方が変更可能とされている
（５）に記載の情報処理装置。
（７）
前記制御部は、前記差分フィードバック情報に応じたフィードバックを行うための制御を行う
（２）から（６）までの何れかに記載の情報処理装置。
（８）
メッセージの再生、振動及び表示の少なくとも一方によるフィードバックがなされる
（７）に記載の情報処理装置。
（９）
前記第１のデータがネットワークを介して供給される
（２）から（８）までの何れかに記載の情報処理装置。
（１０）
前記第１のデータが記録メディアを介して供給される
（２）から（８）までの何れかに記載の情報処理装置。
（１１）
前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱を示す情報を含み、
前記制御部は、前記楽器の打鍵の強弱を示す情報に基づいて、振動によるフィードバックを行う振動フィードバック情報を生成する
（１から（１０）までの何れかに記載の情報処理装置。
（１２）
前記振動フィードバック情報に基づいて振動する振動部を有する
（１１）に記載の情報処理装置。
（１３）
前記振動部は、指の配列に対応して配置された複数の振動デバイスを有する
（１２）に記載の情報処理装置。
（１４）
前記制御部は、楽器に演奏に伴う姿勢変化に基づく情報に応じたフィードバックを行う姿勢変化フィードバック情報を生成する
（１）から（１３）までの何れかに記載の情報処理装置。
（１５）
楽器に演奏に伴う姿勢変化を検出する姿勢変化検出部を有する
（１４）に記載の情報処理装置。
（１６）
ネックバンド型の形状を有する
（１）から（１５）までの何れかに記載の情報処理装置。
（１７）
収音部を有する
（１）から（１６）までの何れかに記載の情報処理装置。
（１８）
スピーカを有する
（１）から（１７）までの何れかに記載の情報処理装置。
（１９）
制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
人体に着脱可能とされる情報処理装置における情報処理方法。
（２０）
制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
人体に着脱可能とされる情報処理装置における情報処理方法を、コンピュータに実行させるプログラム。

２Ａ，２Ｂ・・・情報処理装置
２０１Ａ，２０１Ｂ・・・制御部
２０４Ａ，２０４Ｂ・・・加速度センサ
２０７Ａ，２０７Ｂ・・・スピーカ
２０９Ａ，２０９Ｂ・・・マイクロホン
２１０Ａ，２１０Ｂ・・・振動部
２１０Ａａ〜２１０Ａｊ・・・振動デバイス

Claims (20)

1. 人体に着脱可能とされ、
   楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する
   情報処理装置。
2. 前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱に基づく第１のデータと、前記第１のデータとは異なる、楽器の打鍵の強弱に基づく第２のデータとの差分を示す情報を含み、
   前記制御部は、前記差分に応じたフィードバックを行う差分フィードバック情報を生成する
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記第１のデータと前記第２のデータとの差分を算出する
   請求項２に記載の情報処理装置。
4. 第１の楽器の演奏時に当該第１の楽器の打鍵の強弱に基づく前記第１のデータが取得され、第２の楽器の演奏時に当該第２の楽器の打鍵の強弱に基づく前記第２のデータが取得され、
   前記制御部は、略同時になされる前記第１の楽器及び前記第２の楽器の演奏の進行に伴って、前記差分をリアルタイムに算出する
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記差分が閾値を超えた回数に応じて前記フィードバックの内容を決定する
   請求項２に記載の情報処理装置。
6. 前記閾値及び前記回数の少なくとも一方が変更可能とされている
   請求項５に記載の情報処理装置。
7. 前記制御部は、前記差分フィードバック情報に応じたフィードバックを行うための制御を行う
   請求項２に記載の情報処理装置。
8. メッセージの再生、振動及び表示の少なくとも一方によるフィードバックがなされる
   請求項７に記載の情報処理装置。
9. 前記第１のデータがネットワークを介して供給される
   請求項２に記載の情報処理装置。
10. 前記第１のデータが記録メディアを介して供給される
    請求項２に記載の情報処理装置。
11. 前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱を示す情報を含み、
    前記制御部は、前記楽器の打鍵の強弱を示す情報に基づいて、振動によるフィードバックを行う振動フィードバック情報を生成する
    請求項１に記載の情報処理装置。
12. 前記振動フィードバック情報に基づいて振動する振動部を有する
    請求項１１に記載の情報処理装置。
13. 前記振動部は、指の配列に対応して配置された複数の振動デバイスを有する
    請求項１２に記載の情報処理装置。
14. 前記制御部は、楽器に演奏に伴う姿勢変化に基づく情報に応じたフィードバックを行う姿勢変化フィードバック情報を生成する
    請求項１に記載の情報処理装置。
15. 楽器に演奏に伴う姿勢変化を検出する姿勢変化検出部を有する
    請求項１４に記載の情報処理装置。
16. ネックバンド型の形状を有する
    請求項１に記載の情報処理装置。
17. 収音部を有する
    請求項１に記載の情報処理装置。
18. スピーカを有する
    請求項１に記載の情報処理装置。
19. 制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
    人体に着脱可能とされる情報処理装置における情報処理方法。
20. 制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
    人体に着脱可能とされる情報処理装置における情報処理方法を、コンピュータに実行させるプログラム。

Images