JP2002366142A - 演奏支援装置 - Google Patents

Abstract

(57)【要約】 【課題】 演奏者に演奏支援情報を効率的に提示するこ
とが出来る演奏支援装置を提供する。 【解決手段】 演奏支援装置は、複数の演奏操作子と、
前記複数の演奏操作子を含む視界を撮影し、視界画像情
報を生成する撮影手段と、演奏支援情報と前記複数の演
奏操作子を含む視界画像情報とを合成して表示する表示
手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、演奏支援装置に関
し、より詳しくは、演奏情報とともに実際の楽器状況が
写しこまれる映像処理装置を有する演奏支援装置に関す
る。

【０００２】

【従来の技術】鍵盤楽器などを練習する場合、どこをど
のように抑えるかが楽譜を見ただけではわかりづらく、
練習がうまく出来なかったり、上達しなかったりするこ
とがある。

【０００３】これは、演奏する対象の鍵盤と、演奏を指
示している楽譜に物理的な隔たりがあるからである。こ
の隔たりがあるために、演奏者（練習者）は、楽譜と鍵
盤を交互に見なければならず、演奏練習は、非常にわず
らわしいものとなる。

【０００４】このような場合に、演奏者が楽譜と鍵盤を
交互に見なくても良いように、楽曲データに基づいて、
鍵盤を光らせるなどの演奏ガイドを表示する電子楽器が
提案されている。

【０００５】

【発明が解決しようとする課題】鍵盤上に演奏ガイドを
表示した場合、どの操作子（鍵）を操作するのかは、鍵
盤から目を離さずに確認することが出来るが、その操作
子をどの指で操作するべきなのかは、鍵盤上に表示され
る演奏ガイドからは、判別することが出来ない。

【０００６】上記のような運指情報は、電子楽器に備え
られたディスプレイに表示することにより、演奏者に適
切な運指を知らせているが、この場合も、やはり演奏者
は、鍵盤とディスプレイを交互に見る必要がある。

【０００７】また、楽譜には、演奏するべき鍵盤の場
所、及び演奏するべきタイミング等の楽譜情報が書き込
まれているが、練習者は、この楽譜情報を実際の鍵盤に
対応した演奏情報に変換して理解しなければならない。

【０００８】また、そのような演奏指示情報を電子楽器
に備えられたディスプレイに表示するものがあるが、こ
の場合にも、演奏者は、鍵盤とディスプレイを交互に見
るなどする必要がある。

【０００９】本発明の目的は、演奏者に演奏支援情報を
効率的に提示することが出来る演奏支援装置を提供する
ことである。

【００１０】また、本発明の他の目的は、演奏者が視線
を変えることなく、演奏支援情報を視認することが出来
る演奏支援装置を提供することである。

【００１１】

【課題を解決するための手段】本発明の一観点によれ
ば、演奏支援装置は、複数の演奏操作子と、前記複数の
演奏操作子を含む視界を撮影し、視界画像情報を生成す
る撮影手段と、演奏支援情報と前記複数の演奏操作子を
含む視界画像情報とを合成して表示する表示手段とを有
する。

【００１２】また、前記表示手段は、演奏者と前記複数
の演奏操作子を結んだ線上に演奏支援情報と前記複数の
演奏操作子を含む視界画像情報とを合成して表示するよ
うにしてもよい。

【００１３】また、本発明の他の観点によれば、演奏支
援装置は、複数の演奏操作子と、透明又は半透明の表示
画面を有し、前記透明又は半透明の表示画面を通して目
視される前記複数の演奏操作子に重なるように、演奏支
援情報を表示する表示手段とを有する。

【００１４】また、前記表示手段は、演奏者と前記複数
の演奏操作子を結んだ線上に演奏支援情報を表示するよ
うにしてもよい。

【００１５】

【発明の実施の形態】図１は、本発明の実施例による演
奏支援装置１のハードウェア構成を示すブロック図であ
る。

【００１６】演奏支援装置１は、電子楽器２及び演奏支
援情報を映し出すことが出来るヘッド・マウント・ディ
スプレイ（ＨＭＤ）３により構成される。ユーザは、Ｈ
ＭＤ３を装着して、そこに映し出される演奏支援情報を
参照しながら、電子楽器２を演奏することにより演奏練
習を行う。

【００１７】電子楽器２はバス４、ＲＡＭ５、ＲＯＭ
６、ＣＰＵ７、タイマ８、外部記憶装置９、検出回路１
０、設定操作子１０ａ、演奏操作子１０ｂ、表示回路１
１、ディスプレイ１２、音源回路１３、効果回路１４、
サウンドシステム１５、ＭＩＤＩインターフェイス１
６、通信インターフェイス１７、位置検出信号発信機１
８ａ、送受信装置１９ａを含んで構成される。

【００１８】ヘッド・マウント・ディスプレイ（ＨＭ
Ｄ）３は、位置検出信号受信機１８ｂ、送受信装置１９
ｂ、画像表示装置２３を含んで構成される。本実施例で
は、頭部に装着するメガネタイプのＨＭＤを用いている
が、表示画面と少なくとも電子楽器２の演奏操作子１０
ｂを重ねて表示できるものであれば、頭部に装着するタ
イプのものでなくともよい。

【００１９】バス４には、ＲＡＭ５、ＲＯＭ６、ＣＰＵ
７、外部記憶装置９、検出回路１０、表示回路１１、音
源回路１３、効果回路１４、ＭＩＤＩインターフェイス
１６、通信インターフェイス１７、位置検出信号発信機
１８ａ、送受信装置１９aが接続される。

【００２０】ユーザは、検出回路１０に接続される複数
の設定操作子１０ａを用いて、各種設定をすることがで
きる。設定操作子１０ａは、例えば、ロータリーエンコ
ーダ、スイッチ、パッド、フェーダ、スライダ、マウ
ス、文字入力用キーボード、演奏用の鍵盤、ジョイステ
ィック、ジョグシャトル等、ユーザの入力に応じた信号
を出力できるものならどのようなものでもよい。

【００２１】また、設定操作子１０ａは、マウス等の他
の操作子を用いて操作するディスプレイ１２上に表示さ
れるソフトスイッチ等でもよい。

【００２２】演奏操作子１０ｂは、検出回路１０に接続
され、ユーザの演奏動作に従い、演奏信号を供給する。
本実施例では、演奏操作子１０ｂとして、演奏用の鍵盤
が用いられている。なお、演奏操作子１０ｂはこれらに
限らず、ユーザが演奏情報を入力できるものであればど
のようなものでもよい。例えば、文字入力用のキーボー
ドや、マウス、ジョイスティック等を演奏操作子１０ｂ
として用いることも出来る。

【００２３】表示回路１１は、ディスプレイ１２に接続
され、各種情報をディスプレイ１２に表示することがで
きる。ユーザは、このディスプレイ１２に表示される情
報を参照して、各種設定を行う。また、ディスプレイ１
２は、外部の表示装置を接続することにより構成しても
よい。

【００２４】また、ディスプレイ１２に、タッチパネル
を用いることができる。この場合は、ディスプレイ１２
上に表示されるスイッチ等をユーザが押すことによりユ
ーザの指示が入力される。

【００２５】外部記憶装置９は、外部記憶装置用のイン
ターフェイスを含み、そのインターフェイスを介してバ
ス４に接続される。外部記憶装置９は、例えばフロッピ
ディスクドライブ（ＦＤＤ）、ハードディスクドライブ
（ＨＤＤ）、光磁気ディスク（ＭＯ）ドライブ、ＣＤ−
ＲＯＭ（コンパクトディスク−リードオンリィメモリ）
ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌ
ｅ Ｄｉｓｃ）ドライブ、半導体メモリ等である。

【００２６】外部記憶装置９には、楽曲データ、各種パ
ラメータ、各種データ、及び本実施例を実現するための
プログラム等を記憶することができる。楽曲データは、
例えば、ＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌ
ｅ）フォーマットに準拠した、自動楽曲データであり、
先頭に記録される初期設定情報と、発音タイミングを表
すタイミングデータと、各タイミング毎のイベントを表
すイベントデータとを含んで構成されている。また、楽
曲データは複数のパートで構成することも出来る。

【００２７】また、本実施例では、外部記憶装置９に
は、電子楽器形状情報が記録されている。電子楽器形状
情報は、電子楽器に設けられた演奏操作子１０ｂの位置
を表す座標が記録されている。例えば、演奏操作子１０
ｂが鍵盤である場合には、各鍵の位置が記録されてい
る。また、鍵盤以外の演奏操作子の位置を記録してもよ
い。さらに、設定操作子１０ａの位置を表す座標も合わ
せて記録するようにしてもよい。

【００２８】また、電子楽器形状情報は、ＨＭＤ３の電
子楽器２との相対的位置関係を演算するための基準位置
関係におけるＨＭＤ３の座標及び各操作子の座標を記憶
している。ここで、基準位置関係とは、例えば、ユーザ
がＨＭＤ３を装着して、電子楽器２正面を向いたときの
ＨＭＤ３の座標である。

【００２９】ＲＡＭ５は、フラグ、レジスタ又はバッフ
ァ、各種パラメータ等を記憶するＣＰＵ７のワーキング
エリアを有する。ＲＯＭ６には、各種パラメータ及び制
御プログラム、又は本実施例を実現するためのプログラ
ム等を記憶することができる。この場合、プログラム等
を重ねて、外部記憶装置９に記憶する必要は無い。ＣＰ
Ｕ７は、ＲＯＭ６又は、外部記憶装置９に記憶されてい
る制御プログラム等に従い、演算又は制御を行う。

【００３０】タイマ８は、ＣＰＵ７に接続されており、
基本クロック信号、割り込み処理タイミング等をＣＰＵ
７に供給する。

【００３１】外部記憶装置９として、ハードディスクド
ライブ（ＨＤＤ）が接続されている場合には、制御プロ
グラム又は本実施例を実現するためのプログラム等は、
外部記憶装置９内のハードディスク（ＨＤＤ）に記憶さ
せることもできる。ハードディスクからＲＡＭ５に制御
プログラム等を読み出すことにより、ＲＯＭ６に制御プ
ログラム等を記憶させている場合と同様の動作をＣＰＵ
７にさせることができる。このようにすると、制御プロ
グラム等の追加やバージョンアップ等が容易に行える。

【００３２】また、ハードディスクドライブに加えて、
ＣＤ−ＲＯＭドライブが接続されている場合には、制御
プログラム又は本実施例を実現するためのプログラム等
をＣＤ−ＲＯＭに記憶させることもできる。ＣＤ−ＲＯ
Ｍからハードディスクに制御プログラムや本実施例を実
現するためのプログラム等をコピーすることができる。
制御プログラム等の新規インストールやバージョンアッ
プを容易に行うことができる。

【００３３】音源回路１３は、外部記憶装置９等に記録
されたシーケンスデータ又はＭＩＤＩインターフェイス
１６に接続されたＭＩＤＩ機器２０等から供給されるＭ
ＩＤＩ信号、演奏信号等に応じて楽音信号を生成し、効
果回路１４を介して、サウンドシステム１５に供給す
る。

【００３４】効果回路１４は、音源回路１３から供給さ
れるデジタル形式の楽音信号に各種効果を与える。

【００３５】サウンドシステム１５は、Ｄ／Ａ変換器及
びスピーカを含み、供給されるデジタル形式の楽音信号
をアナログ形式に変換し、発音する。

【００３６】なお、音源回路１３は、波形メモリ方式、
ＦＭ方式、物理モデル方式、高調波合成方式、フォルマ
ント合成方式、ＶＣＯ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏ
ｌｌｅｄ Ｏｓｃｉｌｌａｔｏｒ）＋ＶＣＦ（Ｖｏｌｔ
ａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ｆｉｌｔｅｒ）＋ＶＣ
Ａ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ａｍｐｌ
ｉｆｉｅｒ）のアナログシンセサイザ方式等、どのよう
な方式であってもよい。

【００３７】また、音源回路１３は、専用のハードウェ
アを用いて構成するものに限らず、ＤＳＰ（Ｄｉｇｉｔ
ａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）＋マイクロ
プログラムを用いて構成してもよいし、ＣＰＵ＋ソフト
ウェアのプログラムで構成するようにしてもよいし、サ
ウンドカードのようなものでもよい。

【００３８】さらに、１つの音源回路を時分割で使用す
ることにより複数の発音チャンネルを形成するようにし
てもよいし、複数の音源回路を用い、１つの発音チャン
ネルにつき１つの音源回路で複数の発音チャンネルを構
成するようにしてもよい。

【００３９】ＭＩＤＩインターフェイス（ＭＩＤＩ Ｉ
／Ｆ）１６は、電子楽器、その他の楽器、音響機器、コ
ンピュータ等に接続できるものであり、少なくともＭＩ
ＤＩ信号を送受信できるものである。ＭＩＤＩインター
フェイス１６は、専用のＭＩＤＩインターフェイスに限
らず、ＲＳ−２３２Ｃ、ＵＳＢ（ユニバーサル・シリア
ル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３
９４）等の汎用のインターフェイスを用いて構成しても
よい。この場合、ＭＩＤＩメッセージ以外のデータをも
同時に送受信するようにしてもよい。

【００４０】ＭＩＤＩ機器２０は、ＭＩＤＩインターフ
ェイス１６に接続される音響機器及び楽器等である。Ｍ
ＩＤＩ機器２０の形態は鍵盤楽器に限らず、弦楽器タイ
プ、管楽器タイプ、打楽器タイプ等の形態でもよい。ま
た、音源装置、自動演奏装置等を１つの電子楽器本体に
内蔵したものに限らず、それぞれが別体の装置であり、
ＭＩＤＩや各種ネットワーク等の通信手段を用いて各装
置を接続するものであってもよい。ユーザは、このＭＩ
ＤＩ機器２０を演奏（操作）することにより演奏情報の
入力を行うこともできる。

【００４１】また、ＭＩＤＩ機器１８は、演奏情報以外
の各種データ及び各種設定を入力するための操作子とし
ても用いることが出来る。

【００４２】通信インターフェイス１７は、ＬＡＮ（ロ
ーカルエリアネットワーク）やインターネット、電話回
線等の通信ネットワーク２１に接続可能であり、該通信
ネットワーク２１を介して、サーバコンピュータ２２と
接続し、ＨＤＤ等外部記憶装置９、又はＲＡＭ６等内
に、サーバコンピュータ２２から制御プログラムや本実
施例を実現するためのプログラム、楽曲データ等をダウ
ンロードすることができる。

【００４３】なお、通信インターフェイス１７及び通信
ネットワーク２１は、有線のものに限らず無線でもよ
い。また双方を備えていてもよい。

【００４４】位置検出信号発信機１８ａは、ＨＭＤ３の
位置検出信号受信機１８ｂと併せて、ＨＭＤ３の電子楽
器２に対する相対位置を検出するための位置センサを構
成している。以下、本明細書では位置検出信号発信機１
８ａと１８ｂをまとめて位置センサ１８と呼ぶ。

【００４５】位置センサ１８としては、例えば、磁気式
三次元位置センサ等を用いることが出来る。なお、位置
センサ１８は、ＨＭＤ３の電子楽器２に対する相対位置
を検出することが出来るものであれば、電波式、光学式
など、どのようなものでもよい。また、位置検出の精度
を高めるために、複数の位置検出信号発信機１８ａを設
けることが好ましい。

【００４６】また、本実施例では、電子楽器２側に位置
検出信号発信機１８ａを取り付け、ＨＭＤ３側に位置検
出信号受信機１８ｂを取り付けたが、これを逆にして、
電子楽器２側に受信機１８ｂ、ＨＭＤ３側に発信機１８
ａを取り付けるようにしてもよい。

【００４７】送受信装置１９ａは、ＨＭＤ３の送受信装
置１９ｂから送信されるＨＭＤ３の位置情報及び画像デ
ータ等を受信し、後述の各種処理により生成される操作
指示画像、演奏指示画像等を含む演奏支援画像を表示す
るための演奏支援情報をＨＭＤ３の送受信装置１９ｂに
送信する。

【００４８】送受信装置１９ａ及び１９ｂは、無線又は
有線の通信インターフェイスである。例えば、ＩＥＥＥ
８０２．１１ｂ等の無線ＬＡＮ規格や、Ｂｌｕｅｔｏｏ
ｔｈ（商標：Ｔｈｅ Ｂｌｕｅｔｏｏｔｈ Ｓｐｅｃｉａ
ｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐ）規格等の短距離無線
通信回路を用いて構成することが出来る。

【００４９】画像表示装置２３は、送受信装置１９ｂが
受信する演奏支援情報に基づき演奏支援画像を表示す
る。ユーザは、画像表示装置２３に表示される演奏支援
画像を見ながら演奏練習を行う。

【００５０】画像表示装置２３は、通常の液晶表示装置
（ＬＣＤ）又は、表示画面が透明又は半透明のシースル
ータイプの表示装置で構成される。シースルータイプの
表示装置は、例えば、液晶表示装置とハーフミラー等を
組み合わせたものである。

【００５１】画像表示装置２３として、通常の液晶表示
装置（ＬＣＤ）を用いる場合は、上記の構成に加えて、
動画撮影用のカメラ２４を設ける。この場合、カメラ２
４で撮影される電子楽器及びユーザの手等を含む画像デ
ータは、電子楽器２で、演奏支援情報に基づく画像と合
成されて、画像表示装置２３に表示される。ユーザは画
像表示装置２３に表示される映像を見ながら演奏練習を
行う。

【００５２】また、画像表示装置２３として、シースル
ータイプの表示装置を用いる場合は、表示装置には、演
奏支援情報に基づく画像のみが表示され、ユーザは表示
画面と透明又は半透明の表示画面の向こう側に見える実
際の電子楽器及びユーザの手を見ながら演奏練習を行
う。

【００５３】図２は、本発明の実施例における、電子楽
器２の外観の一例を示す概略図である。図中、図１と同
じ参照番号のものは、基本的に同じ構成を示す。

【００５４】電子楽器装置２の上方中央にはディスプレ
イ１２が配置され、その左右に複数の設定操作子１０ａ
が配置されている。さらに外側には、スピーカ１５１が
左右に配置されている。スピーカ１５１は、図１のサウ
ンドシステム１５の一部である。電子楽器２の下半分に
は、鍵盤（演奏操作子）１０ｂが配置されている。

【００５５】また、電子楽器２の右上方には、送受信装
置１９ａの一部であるアンテナ１９１ａが設けられてい
る。さらに、電子楽器２の表面上の３箇所には、位置検
出信号発信機１８ａが設けられている。

【００５６】図３は、本発明の実施例における、ヘッド
・マウント・ディスプレイ（ＨＭＤ）３の外観の一例を
示す概略図である。

【００５７】ＨＭＤ３の外部には、送受信装置１９ｂの
一部であるアンテナ１９１ｂが設けられている。さら
に、ＨＭＤ３の表面上の直線上にない３箇所には、位置
検出信号受信機１８ｂが設けられている。その他、図
中、図１と同じ参照番号のものは、基本的に同じ構成を
示すので説明を省略する。

【００５８】図４は、図１のＣＰＵ７で行う本実施例に
よるメイン処理を表すフローチャートである。

【００５９】ステップＳＡ１ではメイン処理をスタート
して、各種フラグやバッファを初期化し、次のステップ
ＳＡ２に進む。

【００６０】ステップＳＡ２では、図１のディスプレイ
１２に外部記憶装置９等に記録されている楽曲データの
一覧を表示して、演奏練習をする楽曲データをユーザに
選択させる。ユーザは、一覧表示される楽曲データの中
から演奏練習（自動演奏）をするものを設定操作子１１
ａ等で選択する。なお、楽曲データの選択はこの方法に
限らず、ユーザが楽曲データの保存先のパス等を直接指
定するようにしてもよい。楽曲データが選択されたら、
次のステップＳＡ３に進む。

【００６１】ステップＳＡ３では、各種設定処理を行
う。ここでは、演奏ガイド機能、運指ガイド機能、演奏
指示情報の表示のオン・オフ、及びキーオン待機の設定
等を行う。設定が終了したら、次のステップＳＡ４に進
む。

【００６２】ステップＳＡ４では、選択楽曲データを外
部記憶装置９等からＲＡＭ５内のバッファに読み込む。
その後、次のステップＳＡ５に進む。

【００６３】ステップＳＡ５では、ステップＳＡ４で読
み出したイベントのタイミングが楽曲データの終了タイ
ミングか否かを検出する。終了タイミングであれば、Ｙ
ＥＳの矢印で示すステップＳＡ６に進む。終了タイミン
グでなければ、ＮＯの矢印で示すステップＳＡ８に進
む。

【００６４】ステップＳＡ６では、その他処理を行う。
その他処理では、楽曲データの再生開始及び停止、その
他の編集処理、楽曲データの記録、楽曲データのダウン
ロード、演奏操作子による演奏、各種設定等を行うこと
が出来る。その後、次のステップＳＡ７に進みメイン処
理を終了する。

【００６５】ステップＳＡ８では、後述の演奏支援処理
を行う。演奏支援処理が終了したら、次のステップＳＡ
９に進む。演奏支援処理は、選択楽曲データの演奏を支
援するために、運指指示画像、演奏指示情報画像等を含
む演奏支援画像をＨＭＤ３の画像表示装置２３上に表示
する処理である。なお、ステップＳＡ３で演奏ガイド機
能をオフに設定した場合は、このステップＳＡ８を飛ば
して次のステップＳＡ９に進む。

【００６６】ステップＳＡ９では、楽曲データ及びユー
ザの演奏する演奏信号に基づき楽音信号を生成する。そ
の後、次のステップＳＡ１０に進む。

【００６７】ステップＳＡ１０では、楽音信号を音源回
路１３に送り効果回路１４を介してサウンドシステム１
５から発音する。その後次のステップＳＡ１１に進む。

【００６８】ステップＳＡ１１では、次のタイミングの
データを楽曲データから読み出す。その後ステップＳＡ
５に戻る。

【００６９】図５は、後述の演奏支援処理により、図１
のＨＭＤ３の表示装置２３に表示される演奏支援画面の
一例である。

【００７０】演奏支援画面は、図１のカメラ２４で撮影
される実際の電子楽器２の画像２３２、及びユーザの手
２３１をバックグラウンドとして、その上に運指指示画
像２４１（２４１ａ及び２４１ｂを含む）及び演奏指示
情報画像２５０を合成して作成される。

【００７１】運指指示画像２４１（２４１ａ及び２４１
ｂを含む）は、人間の両手を模式的に表したものであ
り、破線はユーザの各指に対応している。実際に演奏に
使用する指の先端には、運指指示画像２４１ｂが表示さ
れ、該運指指示画像２４１ｂは、演奏されるべき操作子
上に配置される。

【００７２】運指指示画像２４１は、半透明であり、ユ
ーザは運指指示画像２４１の下に配置される実際の電子
楽器２の画像２３２、及びユーザの手２３１をみること
が出来る。

【００７３】すなわち、被操作操作子を指示するととも
に、その操作子を操作するべき指を指示する運指指示画
像を鍵盤に重ね合わせて表示する。

【００７４】例えば、ユーザは、運指指示画像２４１ａ
の各指に、自分の各指が重なるようにし、運指指示画像
画像２４１ｂが先端に表示される指を用いて演奏をす
る。このようにすることにより、ユーザは、鍵盤及び自
分の手から視線をずらすことなく、操作する操作子（被
操作操作子）及びそれを操作するべき指がどれであるか
を知ることが出来る。

【００７５】なお、図４のステップＳＡ３で、演奏ガイ
ド機能及び運指ガイド機能をオフに設定した場合は、運
指指示画像２４１は、表示されない。また、運指ガイド
機能のみをオフに設定した場合に、運指指示画像２４１
とは別に、被操作操作子を指示する操作子指示画像（図
示せず）を表示させるようにしてもよい。例えば、運指
指示画像２４１ｂのみを表示させて操作子指示画像とす
ることが出来る。また、被操作操作子である鍵をハイラ
イト表示したり、点滅させたりして、操作子指示画像と
してもよい。

【００７６】また、本実施例では、運指指示画像２４１
に、手の模式図を用いているが、これに限らず、実際の
手の各指との対応関係がわかるものならばどのような表
示形態をとってもよい。

【００７７】演奏指示情報画像２５０は、図５に示すよ
うに、演奏中の楽曲データを表す楽譜、「ゆっくり演奏
しよう」、「ここに注意」などの演奏に関するアドバイ
スを表示するものである。

【００７８】演奏指示情報画像２５０を上記の運指指示
画像２４１等と一緒にＨＭＤ３の表示装置２３に表示す
ることにより、ユーザは、視点を移動しないで、楽譜や
アドバイスを参照することが出来る。

【００７９】なお、図４のステップＳＡ３で、演奏支援
情報の表示をオフに設定した場合には、この演奏指示情
報画像２５０は、表示されない。なお、表示する演奏指
示情報を、例えば、楽譜だけにしたり、アドバイスだけ
にしたり出来るようにしてもよい。

【００８０】なお、ＨＭＤ３の表示装置２３として、透
明又は半透明の表示画面を持つ表示装置を使用する場合
は、バックグラウンドの画像２３２、及びユーザの手２
３１は、カメラ２４で撮影した映像ではなく、透明又は
半透明の表示画面を通してみる実際の電子楽器２及びユ
ーザの手である。

【００８１】図６は、図４のステップＳＡ８で行う演奏
支援処理を表すフローチャートである。なお、ここで
は、図４のステップＳＡ３で演奏ガイド機能、運指ガイ
ド機能、演奏指示情報の表示、キーオン待機の設定を全
てオンにした場合を想定して説明する。上記いずれかの
機能の設定がオフの場合は、適宜該当するステップを飛
ばして処理を薦めるようにすればよい。

【００８２】ステップＳＢ１では、演奏支援処理をスタ
ートして、次のステップＳＢ２に進む。

【００８３】ステップＳＢ２では、楽曲データに基づき
今回のタイミングで操作されるべき操作子を決定する。
例えば、楽曲データ中のノートオンイベントの音高に対
応する演奏操作子１０ｂ（鍵）を決定する。その後、次
のステップＳＢ３に進む。

【００８４】ステップＳＢ３では、図１の外部記憶装置
９等に記録されている電子楽器形状情報を参照して、ス
テップＳＢ２で決定した被操作操作子の座標を求める。
その後、次のステップＳＢ４に進む。

【００８５】ステップＳＢ４では、楽曲データに基づき
運指情報を作成する。ここで、運指情報とは、被操作操
作子を操作するべき指をユーザに指示する情報である。
まず、楽曲データが運指情報を有しているか否かを判断
し、楽曲データが運指情報を有しているのであれば、楽
曲データ中の運指情報をそのまま用いる。楽曲データ中
に運指情報がない場合には、周知技術により、運指情報
を作成する。例えば、楽曲データの演奏の流れを考慮し
て、一定の条件によって運指情報を作成する。その後、
次のステップＳＢ５に進む。

【００８６】ステップＳＢ５では、運指情報に基づき運
指指示画像を生成する。ここで生成する運指指示画像
は、例えば、図５に示す運指指示画像２４１ａ及び２４
１ｂである。その後次のステップＳＢ６に進む。

【００８７】なお、図４のステップＳＡ３で演奏ガイド
機能はオンで、運指ガイド機能がオフになっている場合
は、このステップＳＢ５で生成する運指指示画像は、図
５に示す運指指示画像２４１ｂのみである。また、この
場合は、運指指示画像として、操作子指示画像を作成し
てもよい。

【００８８】ステップＳＢ６では、楽曲データに基づき
演奏指示情報を作成する。演奏指示情報は、例えば、楽
譜データ、テンポや、表情に関するデータ、演奏におけ
る注意事項、歌詞等である。まず、楽曲データが演奏指
示情報を有しているか否かを判断し、楽曲データが演奏
指示情報を有しているのであれば、楽曲データ中の演奏
指示情報をそのまま用いる。楽曲データ中に演奏指示情
報がない場合には、周知技術により、演奏指示情報を作
成する。例えば、楽曲データのノートオンイベント等に
基づき楽譜データを作成する。また、楽譜データが楽曲
データ中にある場合には、楽譜データ中の音楽記号等に
基づき、表情や演奏における注意事項に関する情報を作
成する。その後、次のステップＳＢ７に進む。

【００８９】ステップＳＢ７では、演奏指示情報に基づ
き演奏指示画像を生成する。その後次のステップＳＢ８
に進む。

【００９０】ステップＳＢ８では、ステップＳＢ３で求
めた被操作操作子の座標に基づき、ＨＭＤ３と電子楽器
２が基準位置関係にあるときの、運指指示画像及び演奏
指示画像の表示装置２３上での表示座標を決定する。そ
の後、次のステップＳＢ９に進む。

【００９１】ステップＳＢ９では、ＨＭＤ３に設けられ
た動画撮影用のカメラ２４で撮影される視界画像データ
（動画データ）を取得する。その後、次のステップＳＢ
１０に進む。

【００９２】ステップＳＢ１０では、後述する位置検出
処理を行う。位置検出処理では、位置センサ１８を用い
て、ＨＭＤ３の位置及び方向を検出し、ステップＳＢ８
で決定した運指指示画像及び演奏指示画像の表示装置２
３上での表示座標を修正する。この処理により、ユーザ
の視界を推定する。その後次のステップＳＢ１１に進
む。

【００９３】ステップＳＢ１１では、運指指示画像と演
奏指示とを、ステップＳＢ１０の位置検出処理で修正し
た各画像の表示座標に基づき、ステップＳＢ９で取得し
た視界画像に合成して、演奏支援画像を生成する。その
後次のステップＳＢ１２に進む。

【００９４】なお、表示装置２として、透明又は半透明
の表示装置を用いる場合は、運指指示画像と演奏指示と
を、ステップＳＢ１０の位置検出処理で修正した各画像
の表示座標に基づき、合成して、演奏支援画像を生成す
る。

【００９５】ステップＳＢ１２では、ステップＳＢ１１
で合成した演奏支援画像を、ＨＭＤ３の表示装置２３に
表示させる。その後次のステップＳＢ１３に進む。

【００９６】なお、図４のステップＳＡ３でキーオン待
機の設定をオフにした場合は、次のステップＳＢ１３を
飛ばして、常に、ステップＳＢ１４に進んで演奏支援処
理を終了し、図４のメイン処理に戻る。

【００９７】ステップＳＢ１３では、ステップＳＢ２で
決定した被操作操作子に対するキーオン操作があるか否
かを検出する。キーオン操作があれば、演奏ガイドどお
りの演奏が行われているので、ＹＥＳの矢印で示すステ
ップＳＢ１４に進み、演奏支援処理を終了し、図４のメ
イン処理に戻る。キーオン操作がない、又は演奏ガイド
と異なるキーオン操作があった場合には、正しいキーオ
ン操作を待機するために、ＮＯの矢印で示すステップＳ
Ｂ９に戻る。

【００９８】図７は、図６のステップＳＢ１０で行う位
置検出処理を表すフローチャートである。

【００９９】ステップＳＣ１では、位置検出処理をスタ
ートして次のステップＳＣ２に進む。

【０１００】ステップＳＣ２では、位置センサ１８によ
りＨＭＤ３の電子楽器２に対する相対的位置情報を求め
る。その後、次のステップＳＣ３に進む。

【０１０１】ステップＳＣ３では、外部記憶装置９等に
記録されている基準位置関係におけるＨＭＤ３の座標及
び各操作子の座標と、ステップＳＣ２で求めた相対的位
置情報におけるＨＭＤ３の現在の座標及び向きとのずれ
（差分）を検出する。その後、次のステップＳＣ４に進
む。

【０１０２】ステップＳＣ４では、ステップＳＣ３で検
出したずれ（差分）に基づき、図６のステップＳＢ８で
決定した運指指示画像及び演奏指示画像の表示装置２３
上での表示座標を修正する。その後、次のステップＳＣ
５に進み位置検出処理を終了する。

【０１０３】この、位置検出処理によって、運指指示画
像及び演奏指示画像の表示装置２３上での表示座標を修
正することにより、ＨＭＤ３の装着したユーザの実際の
視界に対応した演奏支援画像を表示装置２３上に表示す
ることが出来る。

【０１０４】以上、本実施例によれば、運指指示情報や
演奏指示情報を鍵盤及びユーザの手を含む視界画像と重
ねて表示するので、ユーザは、演奏指示情報と鍵盤及び
ユーザの手を同時に見ることが出来る。

【０１０５】また、運指指示情報、演奏指示情報、鍵盤
及びユーザの手を含む視界画像を合成して、演奏者（ユ
ーザ）と演奏操作子を結ぶ線上に表示することが出来
る。

【０１０６】また、透明又は半透明の表示装置を用いる
場合には、運指指示情報や演奏指示情報を透明又は半透
明の表示装置を通して見える鍵盤及びユーザの手に重な
るように表示するので、ユーザは、演奏指示情報と鍵盤
及びユーザの手を同時に見ることが出来る。

【０１０７】また、本実施例に拠れば、位置センサによ
りＨＭＤの位置及び向きを検出することが出来るので、
ＨＭＤを装着しているユーザの視線に合った映像をＨＭ
Ｄ内の表示装置に表示することが出来る。

【０１０８】なお、本実施例では、運指指示情報及び演
奏指示情報を演奏支援情報として用いたが、電子楽器２
等の設定操作子１０ａ等の操作方法を表示して、電子楽
器２の使用方法等の情報を表示するようにしてもよい。

【０１０９】なお、楽曲データ（演奏データ）のフォー
マットは、演奏イベントの発生時刻を１つ前のイベント
からの時間で表した「イベント＋相対時間」、演奏イベ
ントの発生時刻を曲や小節内における絶対時間で表した
「イベント＋絶対時間」、音符の音高と符長あるいは休
符と休符長で楽曲データを表した「音高（休符）＋符
長」、演奏の最小分解能毎にメモリの領域を確保し、演
奏イベントの発生する時刻に対応するメモリ領域に演奏
イベントを記憶した「ベタ方式」等、どのような形式で
もよい。

【０１１０】また、楽曲データの処理方法は、設定され
たテンポに応じて処理周期を変更する方法、処理周期は
一定で、楽曲データ中のタイミングデータの値を設定さ
れたテンポに応じて変更する方法、処理周期は一定で、
１回の処理において楽曲データ中のタイミングデータの
計数の仕方をテンポに応じて変更する方法等、どのよう
なものであってもよい。

【０１１１】さらに、複数チャンネル分の楽曲データの
記憶方法としては、複数のチャンネルのデータが混在記
憶された形式でもよいし、各チャンネルのデータがトラ
ック毎に分かれて記憶されている形式でもよい。

【０１１２】さらに、またメモリ上において、時系列の
楽曲データが連続する領域に記憶されていてもよいし、
飛び飛びの領域に散在して記憶されているデータを、連
続するデータとして別途管理するようにしてもよい。す
なわち、時系列的に連続するデータとして管理すること
ができればよく、メモリ上で連続して記憶されているか
否かは問題ではない。

【０１１３】なお、本実施例の演奏支援装置１は電子楽
器の形態に限らず、パソコン＋アプリケーションソフト
ウェアの形態、カラオケ装置や、ゲーム装置、携帯電話
等の携帯型通信端末などどのような形態をとってもよ
い。

【０１１４】携帯型通信端末に適用した場合、端末のみ
で所定の機能が完結している場合に限らず、機能の一部
をサーバ側に持たせ、端末とサーバとからなるシステム
全体として所定の機能を実現するようにしてもよい。

【０１１５】また、電子楽器の形態を取った場合、その
形態は鍵盤楽器に限らず、弦楽器タイプ、管楽器タイ
プ、打楽器タイプ等の形態でもよい。

【０１１６】なお、弦楽器タイプ、又は管楽器タイプの
形態を取る場合には、演奏支援画像の表示を演奏者と操
作子の線上ではなく、演奏者の見やすい位置に修正して
もよい。

【０１１７】また、音源装置、自動演奏装置等を１つの
電子楽器本体に内蔵したものに限らず、それぞれが別体
の装置であり、ＭＩＤＩや各種ネットワーク等の通信手
段を用いて各装置を接続するものであってもよい。

【０１１８】なお、本実施例は、本実施例に対応するコ
ンピュータプログラム等をインストールした市販のコン
ピュータ等によって、実施させるようにしてもよい。

【０１１９】その場合には、本実施例に対応するコンピ
ュータプログラム等を、ＣＤ−ＲＯＭやフロッピー（登
録商標）ディスク等の、コンピュータが読み込むことが
出来る記憶媒体に記憶させた状態で、ユーザに提供して
もよい。

【０１２０】そのコンピュータ等が、ＬＡＮ、インター
ネット、電話回線等の通信ネットワークに接続されてい
る場合には、通信ネットワークを介して、コンピュータ
プログラムや各種データ等をコンピュータ等に提供して
もよい。

【０１２１】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組合せ等が可能なことは当業者に自明
であろう。

【０１２２】

【発明の効果】以上説明したように、本発明によれば、
演奏者に演奏支援情報を効率的に提示することが出来る
演奏支援装置を提供することができる。

【０１２３】また、本発明によれば、演奏者が視線を変
えることなく、演奏支援情報を視認することが出来る演
奏支援装置を提供することができる。

【図面の簡単な説明】

【図１】 本発明の実施例による演奏支援装置１のハー
ドウェア構成を示すブロック図である。

【図２】 本発明の実施例による、電子楽器２の外観の
一例を示す概略図である。

【図３】 本発明の実施例による、ヘッド・マウント・
ディスプレイ（ＨＭＤ）３の外観の一例を示す概略図で
ある。

【図４】 本発明の本実施例によるメイン処理を表すフ
ローチャートである。

【図５】 本発明の実施例による、ＨＭＤ３の表示装置
２３に表示される演奏支援画面の一例である。

【図６】 本発明の実施例による演奏支援処理を表すフ
ローチャートである。

【図７】 本発明の実施例による位置検出処理を表すフ
ローチャートである。

【符号の説明】

１…演奏支援装置、２…電子楽器、３…ＨＭＤ、４…バ
ス、５…ＲＡＭ、６…ＲＯＭ、７…ＣＰＵ、８…タイ
マ、９…外部記憶装置、１０…検出回路、１０ａ…設定
操作子、１０ｂ…演奏操作子、１１…表示回路、１２…
ディスプレイ、１３…音源回路、１４…効果回路、１５
…サウンドシステム、１６…ＭＩＤＩ Ｉ／Ｆ、１７…
通信Ｉ／Ｆ、１８…位置センサ、１９…送受信装置、２
０…ＭＩＤＩ機器、２１…通信ネットワーク、２２…サ
ーバコンピュータ、２３…表示装置、２４…カメラ、１
５１…スピーカ、１９１…アンテナ、演奏者の手…２３
１、電子楽器の画像…２３２、運指指示画像…２４１、
２５０…演奏指示画像

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の演奏操作子と、 前記複数の演奏操作子を含む視界を撮影し、視界画像情
   報を生成する撮影手段と、 演奏支援情報と前記複数の演奏操作子を含む視界画像情
   報とを合成して表示する表示手段とを有する演奏支援装
   置。
2. 【請求項２】 複数の演奏操作子と、 透明又は半透明の表示画面を有し、前記透明又は半透明
   の表示画面を通して目視される前記複数の演奏操作子に
   重なるように、演奏支援情報を表示する表示手段とを有
   する演奏支援装置。
3. 【請求項３】 さらに、前記複数の演奏操作子と前記表
   示手段との相対的位置関係を検出する位置検出手段と、 前記相対的位置関係に基づき前記演奏支援情報の表示を
   制御する表示制御手段とを有する請求項１又は２記載の
   演奏支援装置。
4. 【請求項４】 前記演奏支援情報は、運指情報を含む請
   求項１〜３のいずれか１つに記載の演奏支援装置。
5. 【請求項５】 前記表示手段は、演奏者の頭部に装着す
   る表示手段である請求項１〜４のいずれか１つに記載の
   演奏支援装置。