JP2011215856A - 情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】ストレスなく機器の操作を習得することを可能にする。
【解決手段】小型カメラ２は、ユーザがピアノ５を操作する身体部分の画像データを生成し、身体部分の画像データを学習支援管理サーバ６に対して送信する。学習支援管理サーバ６は、身体部分の画像データに基づいて身体部分の位置を識別し、身体部分の位置の近傍にピアノ５の操作に係る情報を提示するようＨＭＤ１に対して指示する。ＨＭＤ１は、その指示に応じて、ピアノ５の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における身体部分の位置の近傍の映像に合成して提示する。
【選択図】図１

Description

本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な技術に関するものである。

ピアノ練習を支援する技術が幾つか知られている。例えば、特許文献１には、内蔵された曲のメロディに併せて該当音の鍵を光らせる機能を備える電子鍵盤楽器が開示されている。従って、この機能を使って光った鍵を押さえるだけで曲のメロディを表現することができる。

その他、非特許文献１には、運指認識技術を活用したピアノ演奏の運指の習得を支援するシステムが開示されている。このシステムは、カメラで撮影された画像データ、ＭＩＤＩ（Musical Instrument Digital Interface）データを入力とし、これらのデータを基に運指認識やシステム操作解析を行い、鍵盤上部の固定位置に譜面を投影させ、鍵盤上に打鍵位置や運指を投影させる技術である。

特許第３４６５３７７号公報

日本ソフトウェア科学界、"運指認識技術を活用したピアノ演奏学習支援システムの設計と実装"、インターネット＜http://www.wiss.org/WISS2009Proceedings/papers/paper0008.pdf＞

しかしながら、これらの従来技術においては、手元の動きと譜面との間で、繰り返し視点の行き来が発生するため、非常に煩雑である。例えば、ピアノの場合、鍵盤は８８鍵もあり、低音キーのメロディが続いたかと思えば、次の小節からは高音キーばかり続くこともある。この場合、視線は手元の動きに併せて、低音キーエリアから高音キーエリアへ大幅に移動する。また、その合間に譜面を見るため、さらに煩雑な視点の行き来が発生する。

そこで、本発明の目的は、ストレスなく機器の操作を習得することを可能にすることにある。

本発明の情報処理システムは、現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とを有する情報処理システムであって、前記拡張現実感提示装置は、ユーザが前記機器を操作する身体部分の画像データを生成する第１の画像データ生成手段と、前記第１の画像データ生成手段により生成された前記身体部分の画像データを前記管理装置に対して送信する第１の送信手段とを有し、前記管理装置は、前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別手段と、前記識別手段により識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する第１の指示手段とを有し、前記拡張現実感提示装置は、前記第１の指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する第１の提示手段を更に有することを特徴とする。
本発明の情報処理方法は、現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とによって実行される情報処理方法であって、前記拡張現実感提示装置は、ユーザが前記機器を操作する身体部分の画像データを生成する画像データ生成ステップと、前記画像データ生成ステップにより生成された前記身体部分の画像データを前記管理装置に対して送信する送信ステップとを含み、前記管理装置は、前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別ステップと、前記識別ステップにより識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する指示ステップとを含み、前記拡張現実感提示装置は、前記指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する提示ステップを更に含むことを特徴とする。

本発明によれば、ストレスなく機器の操作を習得することが可能となる。

本発明の実施形態に係る学習支援システムの構成を概略的に示す図である。 学習支援管理サーバのハードウェア構成を示す図である。 ＨＭＤ及び小型カメラのハードウェア構成を示す図である。 本発明の実施形態に係る学習支援システムの処理の流れを示すフローチャートである。 ＨＭＤの譜面ＡＲ表示処理の流れを示すフローチャートである。 ＨＭＤの運指ＡＲ表示処理の流れを示すフローチャートである。 現在演奏位置に対応する譜面部分のＡＲ表示例を示す図である。 現在演奏位置に対応する運指のＡＲ表示例を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る学習支援システムの構成を概略的に示す図である。図１に示す本実施形態に係る学習支援システムは、ユーザのピアノ演奏の学習を支援するための後述する譜面データ及び運指データ等を管理する学習支援管理サーバ６を備えている。学習支援管理サーバ６は、小型カメラ２及びＨＭＤ（Head Mounted Display）１とピアノ５と無線通信回線を介して通信可能に接続されている。ＨＭＤ１は眼鏡型のものであり、ユーザの頭部に装着される。ＨＭＤ１は、光学的に透過してＨＭＤ１のレンズ部分に映し出される現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下の説明では、文字、図形、静止画、動画等のコンピュータで管理されたコンピュータグラフィックス画像データを、現実空間の映像へ重畳表示させ、補足的な情報を与える技術をＡＲ（拡張現実：Augmented Reality）表示と称することがある。小型カメラ２は、ユーザの視界に近い画角で画像データを撮影できるようにＨＭＤ１に対して取り付けられている。撮影された画像データは無線通信回線を介して学習支援管理サーバ６に対して送信される。なお、ＨＭＤ１には、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤ１のレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。

なお、本実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として、眼鏡型のＨＭＤ１を挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のＡＲ表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のコンピュータグラフィックス画像データとの座標合わせが行われる。本実施形態においては、現実空間のオブジェクトにマーカを付けておき、そのマーカをカメラで撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置を整合するようにコンピュータグラフィックス画像データを合成する。さらに、他の座標合わせの方法として、ＨＭＤの位置（緯度、経度）と姿勢（方向、仰角）とに基づいてＨＭＤを装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。

ユーザが演奏するピアノ５の各鍵にはマーカ４が貼付されている。小型カメラ２でマーカ４を撮影し、撮影した画像データを解析することにより、鍵の位置を特定することができる。なお、予めピアノ５の鍵盤の大きさ等規格情報を学習支援管理サーバ６に備えておき、基準とした鍵のみにマーカを貼付して該鍵の位置を特定し、これを基点として該ピアノの規格情報より各鍵の位置を特定してもよい。また、ユーザの手元にもマーカ３が貼付されており、小型カメラ２でマーカ３を撮影し、撮影した画像データを解析することにより、ユーザの手元の位置を特定することができる。

学習支援管理サーバ６は、譜面データ取得／送信部６１、現在演奏位置判定部６２、運指データ取得／送信部６３、譜面データ格納部６４、ＭＩＤＩデータ格納部６５、運指データ格納部６６及び音−マーカ対応管理ファイル６７を備える。譜面データ格納部６４は、複数の楽曲の譜面データを格納している。譜面データ取得／送信部６１は、ユーザによって演奏対象として選択された楽曲の譜面データのうち、ユーザの現在の演奏位置（以下、現在演奏位置と称す）に対応する譜面データを譜面データ格納部６４から取得する。また、譜面データ取得／送信部６１は、小型カメラ２によって撮影されているユーザの手元の画像データを取得し、ユーザの手元に貼付されているマーカ３の画像解析を行うことにより、ユーザの手元の位置を検出する。そして、譜面データ取得／送信部６１は、検出したユーザの手元の位置情報及び現在演奏位置に対応する譜面データをＨＭＤ１に対して送信するとともに、現在演奏位置に該当する譜面部分のコンピュータグラフィックス画像データをユーザの手元付近に合成してＡＲ表示するようＨＭＤ１に対して指示する。ＨＭＤ１は、現実空間におけるユーザの手元付近の映像に対して、現在演奏位置に対応する譜面部分を表すコンピュータグラフィックス画像データを合成してＡＲ表示する。

ＭＩＤＩデータ格納部６５は、複数の楽曲のＭＩＤＩ（Musical Instrument Digital Interface）データを格納している。ここでＭＩＤＩデータとは、楽曲の演奏音のデータであって、ＭＩＤＩ規格に基づいて表されている。ＭＩＤＩ規格は、電子楽器を外部から制御して演奏させるためのデータの規格であり、楽曲を構成する各音についてのデータを時系列に従って、電子楽器等に入力するように定められている。ＭＩＤＩデータは、楽曲の先頭から順次出現する音に対し、その音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔等の時間情報等楽譜の情報を含んでいる。ＭＩＤＩデータ格納部６５には、正確なピアノ演奏の基に生成されたＭＩＤＩデータが格納されており、後述するユーザのピアノ演奏に応じて生成されたＭＩＤＩデータとの比較によってユーザの現在演奏位置等が判定される。以下の説明においては、ＭＩＤＩデータ格納部６５において格納されているＭＩＤＩデータを参考ＭＩＤＩデータと称す。また、ユーザがピアノ５を演奏すると、その演奏内容を示すＭＩＤＩデータがピアノ５において生成され、学習支援管理サーバ６に対して送信される。以下の説明においては、ユーザの演奏に応じてピアノ５で生成されるＭＩＤＩデータを演奏ＭＩＤＩデータと称す。現在演奏位置判定部６２は、ユーザが選択した楽曲の参考ＭＩＤＩデータをＭＩＤＩデータ格納部６５から取得し、演奏ＭＩＤＩデータと参考ＭＩＤＩデータとを比較することにより、現在演奏位置を判定する。現在演奏位置の判定結果は、譜面データ取得／送信部６１及び後述する運指データ取得／送信部６３に対して出力される。

運指データ格納部６６は、複数の楽曲の運指データを格納している。運指データとは、楽曲をピアノ演奏する際の運指を示すデータである。運指データ取得／送信部６３は、ユーザによって演奏対象として選択された楽曲の運指データのうち、現在演奏位置に対応する運指データを運指データ格納部６６から取得し、更に当該運指データに対応するコンピュータグラフィックス画像データを取得する。また、運指データ取得／送信部６３は、小型カメラ２によって撮影されている鍵盤の画像データを取得し、鍵盤に貼付されているマーカ４の画像解析を行うことにより、現在演奏位置の音に対応する鍵の位置を検出する。詳細は後述するが、運指データ取得／送信部６３は、音と鍵盤上のマーカ４とを対応付けた音−マーカ対応管理ファイル６７を参照して、現在演奏位置の音に対応するマーカ４を判定する。そして、運指データ取得／送信部６３は、当該マーカ４が貼付されている現実空間における鍵の映像に対し、現在演奏位置に対応する運指のコンピュータグラフィックス画像データを合成してＡＲ表示するようＨＭＤ１に対して指示する。ＨＭＤ１は、現実空間における該当する鍵の映像に対して、現在演奏位置に対応する運指のコンピュータグラフィックス画像データを合成してＡＲ表示する。

図２−１は、学習支援管理サーバ６のハードウェア構成を示す図である。ＣＰＵ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２０３又はＨＤ（ハードディスク）２０７には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、学習支援管理サーバ６が実行する例えば図３に示す処理のプログラム等が記憶されている。

なお、図２−１の例では、ＨＤ２０７は学習支援管理サーバ６の内部に配置された構成としているが、他の実施形態としてＨＤ２０７に相当する構成が学習支援管理サーバ６の外部に配置された構成としてもよい。また、本実施形態に係る例えば図３に示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ−ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。

ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０２にロードして、プログラムを実行することで各種動作を実現するものである。

ＨＤ２０７やＦＤ２０６は、外部メモリとして機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０２にロードして、プログラムを実行することで各種動作を実現するものである。

ディスクコントローラ２０８は、ＨＤ２０７やＦＤ２０６等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ２０４は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。

ディスプレイコントローラ２０８は、ディスプレイ２０９における画像表示を制御する。

ＫＢコントローラ２１０は、ＫＢ（キーボード）２１１からの操作入力を受け付け、ＣＰＵ２０１に対して送信する。なお、図示していないが、ＫＢ２１１の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る学習支援管理サーバ６に適用可能である。

図１に示す譜面データ取得／送信部６１、現在演奏位置判定部６２、運指データ取得／送信部６３は、例えばＨＤ２０７内に記憶され、必要に応じてＲＡＭ２０２にロードされるプログラム及びそれを実行するＣＰＵ２０１によって実現される構成である。また、譜面データ格納部６４、ＭＩＤＩデータ格納部６５、運指データ格納部６６は、ＨＤ２０７やＲＡＭ２０２の一部記憶領域に相当する構成である。また、音−マーカ対応管理ファイル６７は、ＨＤ２０７又はＲＡＭ２０２に記憶されている。

図２−２は、ＨＭＤ１及び小型カメラ２のハードウェア構成を示す図である。ＣＰＵ３０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０２には、ＨＭＤ１及び小型カメラ２が実行する例えば図３〜図５に示す処理のプログラム等が記憶されている。なお、図３〜図５に示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。

ＲＡＭ３０４は、ＣＰＵ３０１の主メモリ、ワークメモリ等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０４にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ３０３は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。

撮像部３０５は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ３０６は、ディスプレイ３０７における画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、ディスプレイ３０７はハーフミラーで構成され、装着したユーザはディスプレイ３０７を介して外の様子を見ることができる。なお、撮像部３０５は、図１の小型カメラ２に相当する構成である。

図３は、本実施形態に係る学習支援システムの処理の流れを示すフローチャートである。
先ず、ステップＳ１０１において、ユーザは自らの手元を小型カメラ２で撮影する。ステップＳ１０２において、小型カメラ２によって撮影された手元の画像データは学習支援管理サーバ２に対して送信される。

ステップＳ２０１において、学習支援管理サーバ６は、ユーザの手元の画像データを受信したか否かを判定する。この判定は、受信した画像データ内にマーカ３が含まれるか否かによって行われる。受信した画像データ内にマーカ３が含まれ、手元の画像データを受信したと判定された場合、処理はステップＳ２０２に移行する。一方、画像データ自体を受信していない、又は受信した画像データ内にマーカ３が含まれない場合、学習支援管理サーバ６は、手元の画像データを受信するまで待機する。

ユーザは、手元の画像データを撮影した後、楽曲を選択してピアノ演奏を開始する。楽曲の選択操作は、例えばピアノ５に備えられた楽曲選択ボタンを押す操作がピアノ５に対して行われる。ピアノ５に対して楽曲の選択操作が行われると、ユーザＩＤ及び楽曲ＩＤを含む選択情報がピアノ５から学習支援管理サーバ６に対して送信される。

楽曲の選択操作の後、ユーザは当該楽曲のピアノ演奏を行う。ステップＳ１０３において、ピアノ５は、ユーザの演奏に応じて演奏ＭＩＤＩデータを生成し、学習支援管理サーバ６に対して送信する。ステップＳ１０４において、ピアノ５は、ユーザの演奏が終了したか否かを判定する。演奏が終了した場合、処理は終了する。一方、演奏が終了していない場合、処理はステップＳ１０３に戻り、演奏ＭＩＤＩデータの生成、送信が継続して行われる。

ステップＳ２０２において、学習支援管理サーバ６は、ピアノ５から演奏ＭＩＤＩデータを受信したか否かを判定する。演奏ＭＩＤＩデータを受信した場合、処理はステップＳ２０３に移行する。一方、演奏ＭＩＤＩデータを受信していない場合、学習支援管理サーバ６は、演奏ＭＩＤＩデータを受信するまで待機する。

ステップＳ２０３において、現在演奏位置判定部６２は、上記選択情報に含まれる楽曲ＩＤに該当する参考ＭＩＤＩデータをＭＩＤＩデータ格納部６５から取得し、参考ＭＩＤＩデータと演奏ＭＩＤＩデータとを比較することにより、現在演奏位置を判定する。なお、本処理の前に、ステップＳ２０１で受信された手元の画像データのヘッダ情報に含まれるユーザＩＤと上記選択情報に含まれるユーザＩＤとの一致性が判定され、双方が一致する場合、ステップＳ２０３の処理が実行される。

ステップＳ２０４において、譜面データ取得／送信部６１は、ユーザによって選択された楽曲の譜面データのうち、現在演奏位置に対応する譜面データを譜面データ格納部６４から取得する。

ステップＳ２０５において、譜面データ取得／送信部６１は、ステップＳ２０１で受信された手元の画像データからマーカ３の画像解析を行うことにより、ユーザの手元の位置を検出する。ステップＳ２０９において、譜面データ取得／送信部６１は、検出したユーザの手元の位置情報及び現在演奏位置に対応する譜面データをＨＭＤ１に対して送信するとともに、現在演奏位置に該当する譜面部分のコンピュータグラフィックス画像データをユーザの手元付近に合成してＡＲ表示するようＨＭＤ１に対して指示する（譜面ＡＲ表示指示）。なお、ステップＳ２０４、Ｓ２０５、Ｓ２０９と並行して以下のステップＳ２０６〜Ｓ２０８の処理が実行される。

ステップＳ２０６において、運指データ取得／送信部６３は、ユーザによって選択された楽曲の運指データのうち、現在演奏位置に対応する運指データを運指データ格納部６６から取得し、更に取得した運指データに対応するコンピュータグラフィックス画像データを取得する。ステップＳ２０７において、運指データ取得／送信部６３は、当該楽曲における現在演奏位置の音を参考ＭＩＤＩデータから取得し、音−マーカ対応管理ファイル６７を参照して、その音に対応する鍵盤上のマーカ４を判定する。なお、現在演奏位置の音は、周波数解析によって取得してもよい。

ここで、ユーザは自らの手元を見ながら演奏をしているため、小型カメラ２では、ユーザの手元とともに鍵盤上のマーカ４も撮影している。ステップＳ２０８において、運指データ取得／送信部６３は、小型カメラ２によって撮影される画像データからステップＳ２０７で判定したマーカ４の位置を判定し、当該マーカ４の位置情報及び現在演奏位置に対応する運指のコンピュータグラフィックス画像データをＨＭＤ１に対して送信するとともに、当該マーカ４が貼付されている鍵の映像に、現在演奏位置に該当する運指のコンピュータグラフィックス画像データを合成してＡＲ表示するようにＨＭＤ１に対して指示する（運指ＡＲ表示指示）。

ステップＳ２１０において、学習支援管理サーバ６は、演奏ＭＩＤＩデータの受信を完了したか否かを判定する。演奏ＭＩＤＩデータの受信を完了した場合、処理は終了する。一方、演奏ＭＩＤＩデータの受信が未だ完了していない場合、次に受信する演奏ＭＩＤＩデータについてステップＳ２０３からの処理を実行する。

図４は、ＨＭＤ１の譜面ＡＲ表示処理の流れを示すフローチャートである。ステップＳ１０５において、ＨＭＤ１は、譜面ＡＲ表示指示を学習支援管理サーバ６から受け付けたか否かを判定する。譜面ＡＲ表示指示を受け付けた場合、処理はステップＳ１０６に移行する。一方、譜面ＡＲ表示指示を受け付けていない場合、ＨＭＤ１は譜面のＡＲ表示指示を受け付けるまで待機する。

ステップＳ１０６において、ＨＭＤ１は、学習支援管理サーバ６から受信したユーザの手元の位置情報及び現在演奏位置に対応する譜面データを用いて、現在演奏位置に対応する譜面部分のコンピュータグラフィックス画像データを、現実空間におけるユーザの手元付近の映像に合成してＡＲ表示する。

ステップＳ１０７において、ＨＭＤ１は、学習支援管理サーバ６からの譜面ＡＲ表示指示の受け付けが完了したか否かを判定する。譜面ＡＲ表示指示の受け付けが完了した場合、処理は終了する。一方、譜面ＡＲ表示指示の受け付けが完了していない場合、処理はステップＳ１０５に戻り、次の譜面部分のＡＲ表示指示に対応した処理を行う。

図５は、ＨＭＤ１の運指ＡＲ表示処理の流れを示すフローチャートである。ステップＳ１０８において、ＨＭＤ１は、運指ＡＲ表示指示を学習支援管理サーバ６から受け付けたか否かを判定する。運指ＡＲ表示指示を受け付けた場合、処理はステップＳ１０９に移行する。一方、運指ＡＲ表示処理を受け付けていない場合、ＨＭＤ１は運指ＡＲ表示指示を受け付けるまで待機する。

ステップＳ１０９において、ＨＭＤ１は、学習支援管理サーバ６から受信したマーカ４の位置情報及び現在演奏位置に対応する運指のコンピュータグラフィックス画像データを用いて、現在演奏位置に対応する運指のコンピュータグラフィックス画像データを、当該マーカ４が貼付されている鍵の映像に合成してＡＲ表示する。

ステップＳ１１０において、ＨＭＤ１は、学習支援管理サーバ６から運指ＡＲ表示指示の受け付けが完了したか否かを判定する。運指ＡＲ表示指示の受け付けが完了した場合、処理は終了する。一方、運指ＡＲ表示指示の受け付けが完了していない場合、処理はステップＳ１０９に戻り、次の運指のＡＲ表示指示に対応した処理を行う。

図６は、現在演奏位置に対応する譜面部分のＡＲ表示例を示す図である。図６に示すように、ＨＭＤ１は、ユーザの手元６１付近の映像に現在演奏位置に対応する譜面部分のコンピュータグラフィックス画像データ６２をＡＲ表示する。これにより、例えば仮に演奏キーが移ったとしても視線を行き来させることなく、常に譜面を視界に捉えながら演奏することができる。従って、本実施形態によれば、ストレスなくピアノ５の操作を習得することが可能となる。

また、本実施形態では、現在演奏位置の前後ｘ小節（ｘは予め設定された任意の数値）分の譜面部分をＡＲ表示する。即ち、ステップＳ２０９においては、学習支援管理サーバ６からＨＭＤ１に対して、現在演奏位置の前後ｘ小節分の譜面データが送信される。そして、ステップＳ１０７において、ＨＭＤ１は、当該譜面データに基づいて、現在演奏位置の前後ｘ小節分の譜面部分のコンピュータグラフィックス画像データをＡＲ表示する。この場合、現在演奏位置の譜面部分を他の譜面部分より目立つように強調表示するようにしてもよい。これにより、現在演奏位置が明確になるとともに、現在演奏位置に対する譜面の前後関係を把握することができる。

図７は、現在演奏位置に対応する運指のＡＲ表示例を示す図である。図７に示すように、ＨＭＤ１は、現在演奏位置に対応する運指のコンピュータグラフィックス画像データ７１０、７２を、現在演奏値位置の音に対応する鍵の映像に合成してＡＲ表示する。なお、図７の７３、７４は、演奏しているユーザの指を示している。学習支援管理サーバ６においては、運指データ格納部６６にて楽曲毎にＭＩＤＩデータの時間情報と対応付けされた運指の順番が設定された運指データを備えており、演奏ＭＩＤＩデータの時間情報より現在演奏位置に対応する運指を運指データから特定することが可能である。例えば、楽曲Ａの運指データにおいては、「Ｒ１（右手の親指）→Ｒ２（右手の人差指）→Ｒ５（右手の小指）→Ｌ３（左手の中指）・・・」というように楽曲Ａを演奏する際の運指の順番が設定されている。

また、学習支援管理サーバ６内には、運指毎にコンピュータグラフィックス画像データを管理している（Ｒ１（右手の親指）−コンピュータグラフィックス画像データ１、Ｒ２（右手の人差指）−コンピュータグラフィックス画像データ２、・・・）。学習支援管理サーバ６は、現在演奏位置を判定すると、現在演奏位置に対応する運指を運指データから特定し、当該運指のコンピュータグラフィックス画像データを取得してＨＭＤ１に対して送信する。これにより、ＨＭＤ１では、現在演奏位置に対応する運指のコンピュータグラフィックス画像データをＡＲ表示することが可能となる。なお、上述したように、運指のコンピュータグラフィックス画像データは、現在演奏位置の音に対応する鍵の位置に合成してＡＲ表示される。これにより、ユーザは、ＨＭＤ１越しに手元を眺めると、手元に対し、正しい運指のコンピュータグラフィックス画像データがＡＲ表示され、正しい運指で演奏できているか否かを直感的、且つ視覚的に把握することができる。

上記の例では、運指毎にコンピュータグラフィックス画像データを管理しているが、他の実施形態として、運指の前後の組み合わせに対応付けてコンピュータグラフィックス画像データを管理してもよい。即ち、Ｒ２（右手の人差指）→Ｒ１（右手の親指）→Ｒ２（右手の人差指）の流れでのＲ１と、Ｒ３（右手の中指）→Ｒ１（右手の親指）→Ｒ２（右手の人差指）の流れでのＲ１とでは、異なるコンピュータグラフィックス画像データが管理されており、同じ運指Ｒ１のコンピュータグラフィックス画像データを特定する場合でも、運指の順番に応じて異なるコンピュータグラフィックス画像データが特定される。

また、ユーザの各指にどの指であるかを識別するためのマーカを貼付し、学習支援管理サーバ６がそれらのマーカと運指とを対応付けて管理しておくことにより、小型カメラ２で撮影されたユーザの指のマーカを画像解析することでユーザの運指を特定することができる。そして、特定された運指と運指データに設定されている運指とを比較することにより、運指に間違いがあったか否かを判定することができ、間違いがあった場合には、間違いがあった指付近にその旨をＡＲ表示するようにしてもよい。

さらに、学習支援管理サーバ６は、演奏ＭＩＤＩデータと参考ＭＩＤＩデータとを比較することにより、打鍵位置に間違いがあったか否かを判定することができる。間違いがあった場合、学習支援管理サーバ６はその旨をＡＲ表示するようにＨＭＤ１に対して指示し、ＨＭＤ１は、その指示に応じて、間違いがあった指付近の映像にその旨を合成してＡＲ表示してもよい。また、他の実施形態として、ユーザの演奏音を音声解析や周波数解析し、解析結果と参考ＭＩＤＩデータとを比較することにより打鍵位置の間違いを検出してもよい。

なお、上述した実施形態では、現在演奏位置を判定したり、演奏の間違いを検出するためにＭＩＤＩデータを使用しているが、音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔等の情報を含むものであれば、ＭＩＤＩデータに限定する必要はない。また、上述した実施形態では、ピアノ演奏の学習支援に適用した例を挙げて説明しているが、これに限らず、クラリネットやフルート等の他の楽器、ＰＣの操作等、様々な機器の操作の学習支援に適用することができる。

１：ＨＭＤ、２：小型カメラ、３、４：マーカ、５：ピアノ、６：学習支援管理サーバ、６１：譜面データ取得／送信部、６２：現在演奏位置判定部、６３：運指データ取得／送信部、６４：譜面データ格納部、６５：ＭＩＤＩデータ格納部、６６：運指データ格納部、６７：音−マーカ対応管理ファイル

Claims (7)

1. 現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とを有する情報処理システムであって、
   前記拡張現実感提示装置は、
   ユーザが前記機器を操作する身体部分の画像データを生成する第１の画像データ生成手段と、
   前記第１の画像データ生成手段により生成された前記身体部分の画像データを前記管理装置に対して送信する第１の送信手段とを有し、
   前記管理装置は、
   前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別手段と、
   前記識別手段により識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する第１の指示手段とを有し、
   前記拡張現実感提示装置は、
   前記第１の指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する第１の提示手段を更に有することを特徴とする情報処理システム。
2. 前記拡張現実感提示装置は、
   前記機器の画像データを生成する第２の画像データ生成手段と、
   前記第２の画像データ生成手段により生成された前記機器の画像データを前記管理装置対して送信する第２の送信手段とを有し、
   前記管理装置は、
   前記ユーザの現在の操作位置を特定する特定手段と、
   前記機器の操作に係る情報のうち、前記現在の操作位置に対応する情報を取得する取得手段と、
   前記機器の画像データを解析し、その解析結果と前記現在の操作位置に対応する前記機器の操作に係る情報とに基づいて、前記現在の操作位置に対応する前記機器の操作箇所を判定する判定手段と、
   前記現在の操作位置に対応する前記機器の操作に係る情報を、現実空間における前記現在の操作位置に対応する前記機器の操作箇所の映像に合成して提示するよう前記拡張現実感提示装置に対して指示する第２の指示手段とを更に有し、
   前記拡張現実感提示装置は、
   前記第２の指示手段による指示に応じて、前記現在の操作位置に対応する前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記現在の操作位置に対応する前記機器の操作箇所の映像に合成して提示する第２の提示手段を更に有することを特徴とする請求項１に記載の情報処理システム。
3. 前記管理装置は、
   前記ユーザの前記機器に対する操作内容と予め設定されている前記機器に対する操作内容とを比較することにより、前記ユーザの前記機器に対する操作の間違いを検出する検出手段と、
   前記検出手段により前記ユーザの前記機器に対する操作の間違いが検出された場合、その旨を現実空間の映像に合成して提示するよう前記拡張現実感提示装置に対して指示する第３の指示手段とを有し、
   前記拡張現実感提示装置は、
   前記第３の指示手段による指示に応じて、前記ユーザの前記機器に対する操作に間違いがあった旨を示すコンピュータグラフィックス画像データを現実空間の映像に合成して提示する第３の提示手段を更に有することを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記管理装置は、
   前記身体部分の画像データを解析することにより、前記ユーザの前記機器に対する操作内容を認識する第１の認識手段を更に有することを特徴とする請求項３に記載の情報処理システム。
5. 前記管理装置は、
   前記ユーザの操作に応じて生成された前記ユーザの前記機器に対する操作内容を示す情報により、前記ユーザの前記機器に対する操作内容を認識する第２の認識手段を更に有することを特徴とする請求項３に記載の情報処理システム。
6. 前記管理装置は、
   前記ユーザの演奏音を音声解析することにより、前記ユーザの前記機器である楽器に対する演奏内容を認識する第３の認識手段を更に有することを特徴とする請求項３に記載の情報処理システム。
7. 現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とによって実行される情報処理方法であって、
   前記拡張現実感提示装置は、
   ユーザが前記機器を操作する身体部分の画像データを生成する画像データ生成ステップと、
   前記画像データ生成ステップにより生成された前記身体部分の画像データを前記管理装置に対して送信する送信ステップとを含み、
   前記管理装置は、
   前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別ステップと、
   前記識別ステップにより識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する指示ステップとを含み、
   前記拡張現実感提示装置は、
   前記指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する提示ステップを更に含むことを特徴とする情報処理方法。

Images