JP2007171354A - 演奏ガイド装置 - Google Patents

Abstract

【課題】表示板に表示された楽譜や手指と実際の鍵盤上の鍵との物理的対応関係を明確にすることを目的とする。
【解決手段】表示手段に大譜表の高音部譜および低音部譜を１小節分程度順次表示するとともに、その高音部譜および低音部譜における音符に対応する押鍵すべき鍵の実際の位置に一致するように、高音部譜および低音部譜を移動させて表示する。さらに、押鍵すべき鍵に対して運指マークや手指の画像を表示する。これにより、演奏者は、表示手段に表示された楽譜の音符の位置と押鍵すべき実際の鍵盤上の鍵の物理的位置との対応関係が取り易くなり、楽譜を見ながら演奏するための技術を容易に習得することができる。
【選択図】図１３

Description

本発明は、ピアノ、電子ピアノ、電子キーボード、オルガンなどの鍵盤楽器において、楽曲データに基づくガイド表示を演奏者に示して演奏を誘導する演奏ガイド装置に関する。

このような鍵盤楽器の演奏ガイド装置については、鍵盤楽器の各鍵に対応する位置に音符や単灯表示等の発光ダイオードによるガイド表示を行い、演奏者が楽譜によらずにこの表示板のガイド表示の誘導によって楽曲を演奏できるようにしたものが知られている。このような演奏ガイド装置は、楽譜の読めない初心者にとっては好適であるが、楽譜が読めるようになって、さらに上級に進もうとする者にとっては機能が不足する。そこで、液晶装置を用いたガイド表示板に演奏しようとしている楽譜の一部を表示し、この楽譜と押し下げるべき鍵に対応する位置を発光ダイオードにより順次表示して、演奏者を誘導する演奏ガイド装置が知られている（例えば、特許文献１参照）。この演奏ガイド装置によれば、楽譜の音符と鍵盤の鍵との関係が明確に表示されるので、演奏者は、知らず知らずに楽譜が読めるようになり、読譜力の向上を期待することができる。

また、鍵盤楽器の演奏ガイド装置としては、運指をガイドする装置も知られている。鍵盤楽器の演奏は、左右の指１０本を使用して演奏するのが理想であり、演奏ガイド装置に従って指１本だけで演奏するのでは技量の向上は望めない。どの音符をどの指で押鍵するかを指示するのが運指法であり、通常の楽譜では、親指の１番から小指の５番までの番号が割り当てられている。したがって、ガイド表示板に表示された音符や楽譜に運指のための番号を表示して運指をガイドするほか、手指を表示してどの指で押鍵するかを指示するガイド装置も知られている（例えば、特許文献２参照）。

なお、演奏ガイド装置とは別に、一般的な光による表示手段としては、白熱球、蛍光管、冷陰極線管、発光ダイオード（ＬＥＤ）、半導体レーザ（ＬＤ）、液晶ディスプレイ（ＬＣＤ）、エレクトロルミネセンス（ＥＬ）などの光源を用いるものの他に、画像を立体表示させる立体像再生装置（例えば、特許文献３参照）およびホログラム装置（例えば、特許文献４参照）、ＮＨＫ放送技術研究所が開発した電子ホログラフィ技術などが知られている。
特開平０５−１８１４０６号公報 特開２０００−３３８９７２号公報 特開２００１−２３５７０８号公報 特開２００５−２８３６８３号公報

しかしながら、従来の楽譜を表示する演奏ガイド装置においては、楽譜を表示するＬＣＤ表示板は、その大きさが１小節分の楽譜を表示できる程度の大きさしかなく、そこに表示された楽譜の音符と実際の鍵盤上の鍵との物理的対応関係が取り難いという問題があった。また、人の手指を表示板に表示して運指を指示する演奏ガイド装置においても、表示板に表示された手指と実際の鍵盤上の鍵との物理的対応関係が取り難いという問題があった。

本発明は、このような従来の問題を解決するためになされたもので、表示板に表示された楽譜や手指と実際の鍵盤上の鍵との物理的対応関係が取り易い演奏ガイド装置を提供することを目的とする。

上記目的を達成するために、本発明の演奏ガイド装置は、大譜表の高音部譜および低音部譜を独立に所定長さ分だけ表示可能な表示手段と、押鍵された鍵を検知する押鍵検知手段と、前記表示手段に表示された前記高音部譜および低音部譜における音符に対応する押鍵すべき鍵の位置に、前記押鍵検知手段からの信号を基に、前記高音部譜および低音部譜を独立に移動可能に表示させる制御手段とを備えたものである。

この構成により、制御手段は、演奏しようとしている楽曲の楽曲データに基づいて、表示手段に大譜表の高音部譜および低音部譜を任意の小節分、例えば１小節分程度順次表示するとともに、その高音部譜および低音部譜における音符に対応する押鍵すべき鍵の実際の位置に一致するように、押鍵検知手段からの信号を基に、必要に応じて高音部譜および低音部譜をそれぞれ独立に移動させて表示するので、演奏者は、表示手段に表示された楽譜の音符の位置と押鍵すべき実際の鍵盤上の鍵の位置との物理的対応関係が取り易くなり、楽譜と押鍵すべき鍵との位置関係が明確に理解できるようになる。このため、演奏ガイド装置に頼らず、楽譜を見ながら演奏するための技術を容易に習得することができる。

本発明はまた、前記表示手段が、前記高音部譜および／または低音部譜における前記押鍵すべき鍵と対応する音符を他の音符と識別表示することを特徴とする。この構成により、演奏者は、押鍵すべき鍵の音符と他の音符とを確実に識別することができる。

本発明はまた、前記表示手段が、前記鍵盤に沿って上下方向に区画された複数の表示エリアを有することを特徴とする。この構成により、複数の表示エリアに大譜表等のみならず、種々の異なる表示を行うことができ、多くの情報を演奏者に与えることができる。

本発明はまた、前記表示手段が、前記複数の表示エリアの１つに前記大譜表の高音部譜および／または低音部譜を表示し、前記表示エリアの別の１つに前記押鍵すべき鍵の位置に対応する位置に運指マークを表示することを特徴とする。この構成により、楽譜と押鍵すべき鍵との位置関係が明瞭になり、読譜力を向上させることができる。

本発明はまた、前記表示手段が、前記複数の表示エリアの１つに前記大譜表の高音部譜および／または低音部譜を表示し、前記表示エリアの別の１つに前記押鍵すべき鍵の位置に対応する位置に手指の画像を表示することを特徴とする。この構成により、楽譜と押鍵すべき指との位置関係が明瞭になり、読譜力および運指技術を向上させることができる。

本発明はまた、前記表示手段が、前記大譜表の高音部譜および／または低音部譜、前記押鍵すべき鍵の位置に対応する位置に運指マークおよび手指の画像のうちの少なくとも１つを鍵盤の方向に向けて投射（投影または投光を含む。）することを特徴とする。この構成により、運指マークや手指の画像が、前方ではなく鍵盤の上方に表示されるので、楽譜と押鍵すべき鍵との位置関係が明瞭になり、鍵盤を注視しながら演奏しがちな初級者に対するガイドを確実に行うことができる。

本発明はまた、前記表示手段が、２次元ディスプレイまたは３次元ディスプレイまたはホログラムディスプレイまたはこれらの組み合わせであることを特徴とする。この構成により、音符表示等を立体的に行うことができるので、音符等の動的効果が高まり、音符等が時間経過とともに変化することを体感として理解でき、音楽に対する理解を深めることができる。

本発明はまた、前記制御手段が、前記押鍵検知手段により得られた押鍵位置における音高に対応する音符を、前記表示手段に表示された楽譜の中の該当する音高位置へ表示するとともに、前記音符の音高位置を記憶するようにしたことを特徴とする。この構成により、演奏者が間違った鍵を押下した場合には、その間違った鍵に対応する音符が、表示手段に表示された楽譜上の該当する音高位置に表示されるので、演奏者は押鍵位置を間違えたことを明確に認識できるとともに、その間違った押鍵位置と楽譜上の位置との関係を理解することができ、読譜力が向上する。また、その間違った押鍵位置が記憶されるので、演奏後にもその間違った押鍵位置を再確認することができる。

本発明はまた、前記表示手段、押鍵検知手段および制御手段が、一体に構成されて、鍵盤楽器に脱着可能であることを特徴とする。この構成により、既存の鍵盤楽器にも取り付けることができるので、新たに鍵盤楽器を購入する必要がなく、利用者の利便性および経済性に大きく貢献することができる。

本発明は、大譜表の高音部譜および低音部譜を独立に所定長さ分だけ表示可能な表示手段と、押鍵された鍵を検知する押鍵検知手段と、前記表示手段に表示された前記高音部譜および低音部譜における音符に対応する押鍵すべき鍵の位置に、前記押鍵検知手段からの信号を基に、前記高音部譜および低音部譜を独立に移動可能に表示させる制御手段とを備えたものであり、制御手段は、演奏しようとしている楽曲の楽曲データに基づいて、表示手段に大譜表の高音部譜および低音部譜を任意の小節分、例えば１小節分程度順次表示するとともに、その高音部譜および低音部譜における音符に対応する押鍵すべき鍵の実際の位置に一致するように、押鍵検知手段からの信号を基に、必要に応じて高音部譜および低音部譜をそれぞれ独立に移動させて表示するので、演奏者は、表示手段に表示された楽譜の音符の位置と押鍵すべき実際の鍵盤上の鍵の位置との物理的対応関係が取り易くなり、楽譜と押鍵すべき鍵との位置関係が明確に理解できるようになる。このため、演奏ガイド装置に頼らず、楽譜を見ながら演奏するための技術を容易に習得することができる。

（実施の形態１）
以下、本発明の第１の実施の形態における演奏ガイド装置について説明する。図１において、演奏ガイド装置３は、ピアノ本体１の鍵盤２の奥側に設けられた鍵盤押えの代わりに、またはその近辺に、後置きとして並行に配置された細長い板状のものである。このように演奏ガイド装置３は、表示手段であるガイド表示板４と後述する押鍵検知手段および制御手段とが一体となってピアノ本体１に着脱可能なため、ピアノ本体１や鍵盤２を加工することがない利点がある。また、演奏ガイド装置３に、ＬＳＩおよびタッチセンサを内蔵した有機ＥＬを用いれば、演奏ガイド装置３自体をフィルム状に形成することもできる。また、ピアノ等の本体へ演奏ガイド装置３を内蔵させることもできる。なお、演奏ガイド装置３は、鍵盤２が８８鍵のピアノの場合に、８８鍵の全てに設ける必要はなく、よく使用される鍵の数、例えば７６鍵、６４鍵、４９鍵等のように部分的に設けても良い。

ガイド表示板４は、図２に示すように、楽譜等を表示するドットマトリクス表示部４１と、その前方に配置されてドットマトリクス表示部４１に表示された楽符等の画像を鍵盤上に投射する投射手段であるレンズプレート４２とからなる。ドットマトリクス表示部４１は、上下方向に３つのエリア４１ａ、４１ｂ、４１ｃに区画されており、第１エリア４１ａには楽譜、音楽標識、各種メッセージ等が表示され、第２エリア４１ｂには運指マークｍが表示され、第３エリア４１ｃには手指画像が表示される。レンズプレート４２は、ドットマトリクス表示部４１の第１エリア４１ａに対応する複眼レンズ４２ａと、第２エリア４１ｂに対応する単眼レンズアレイ４２ｂと、第３エリア４１ｃに対応する空間部４２ｃとに区画されている。なお、別の構成例として、ドットマトリクス表示部４１のうちの最下部の第３エリア４１ｃおよびレンズプレート４２のうちの最下部の空間部４２ｃを省略した構成としてもよい。さらには、第１エリア４１ａに対しては投射手段４２ａを設けず、投射手段は第２エリア４１ｂに対してのみ設けるように構成してもよい。

第１エリア４１ａには、大譜表の高音部譜および低音部譜が独立して表示される。大譜表の高音部譜および低音部譜は、あるモードでは鍵盤２のほぼ中央部に表示されるが、別のモードでは、左右別々に、弾くべき音符が押鍵すべき鍵の位置に対応するように表示される。レンズプレート４２の複眼レンズ４２ａは、第１エリア４１ａに対応しており、これら第１エリア４１ａと複眼レンズ４２ａとで、第１エリア４１ａに表示された音符画像等の仮想立体像４３を、鍵盤２の上方に結像する３次元ディスプレイを構成している。

図３は３次元ディスプレイの一例であるインテグラル・フォトグラフィ（ＩＰ：Integral Photography）の基本原理を示している。図３（ａ）に示すように、対象物体１０１を微小な凸レンズを多数並べた複眼レンズ（フライアイレンズ）１０２を通してＣＣＤカメラ１０３により多数の小画像データを得、これをメモリ１０４に記録し、再生時には、図３（ｂ）に示すように、メモリ１０４からの画像データを液晶ディスプレイ１０５に送り、小画像データを液晶ディスプレイ１０５に表示し、その前方から複眼レンズ１０２と同様な複眼レンズ１０６を通して見ると、対象物体の立体再生像１０７が得られる。３次元ディスプレイとしては、インテグラル・フォトグラフィ方式の他に、左右の視差画像を縦ストライプ状に分割して交互に合成した画像によるパララックスバリア方式、レンチキュラレンズ方式などの公知技術を利用することができる。したがって、レンズプレート４２の一部は、適宜、パララックスバリア方式に変更することもできる。

このようにして、大譜表の高音部譜および低音部譜のそれぞれの画像データを予め作成してメモリに記憶しておき、それを適宜液晶ドライバにより選択して、図４に示すように、ドットマトリクス表示部４１の第１エリア４１ａに表示することにより、その仮想立体像４３を鍵盤２の上方に表示することができる。

ドットマトリクス表示部４１の第２エリア４１ｂに表示される運指マークｍは、図５に示すように、押鍵すべき鍵に対応して表示される。第２エリア４１ｂに対応するレンズプレート４２の単眼レンズアレイ４２ｂは、第２エリア４１ｂに表示された運指マークｍを鍵盤２上にビームスポット４４として結像する。なお、運指マークｍは、図示のようなビームスポット４４ではなく、各指に割り当てられた１から５までの番号を表示するようにしてもよい。また、第２エリア４１ｂは、ドットマトリクス表示部４１の一部としてではなく、すなわちドットマトリクス表示部ではなく、図６に示すように、ＬＥＤ４６ａを鍵盤２の各鍵に対応するように一列に並べてその照射光を鍵盤２の各鍵の上にビームスポット４４として結像させるＬＥＤアレイ４６として構成してもよい。この場合、ＬＥＤアレイ４６は、第２エリア４１ｂの位置に設けて単眼レンズアレイ４２ｂの部分を空間とするか、または第２エリア４１ｂの位置は空間またはデッドスペースとして、ＬＥＤアレイ４６を単眼レンズアレイ４２ｂの位置に配置することができる。さらに、ＬＥＤ４６ａの代わりに半導体レーザを用いて半導体レーザアレイを構成するようにしてもよい。

図２において、第３エリア４１ｃに対応するレンズプレート４２の部分は空間部４２ｃになっており、この第３エリア４１ｃが、第３エリア４１ｃに表示された手指画像の再生立体像４５を鍵盤２の上方に結像するホログラムディスプレイを構成している。手指画像の再生立体像４５は、上方から見下ろした場合に、左右それぞれ５本の指が鍵と同程度の幅で表示される。

図７は本実施の形態におけるホログラムディスプレイとして利用したレインボーホログラム技術の原理を示している。図７（ａ）において、物体１１１をマスターホログラム板１１２に記録するために、Ｈｅ−Ｎｅレーザ１１３からのレーザ光をビームスプリッタ１１４およびミラー１１５、１１６で反射させ、対物レンズ１１７およびピンホール１１８でレーザ光を広げて物体１１１を照明し、物体１１１の反射光である物体光１１９がマスターホログラム１１２板を照射する。一方、ビームスプリッタ１１４を通過したレーザ光は、ミラー１２０で反射後、対物レンズ１２１およびピンホール１２２によって広げられ、参照光１２３としてマスターホログラム１１２板を照射する。このようにして、物体光１１９と参照光１２３とにより干渉縞がマスターホログラム板１１２に形成され、マスターホログラムが作製される。次いで、図７（ｂ）に示すように、同じＨｅ−Ｎｅレーザ１１３からのレーザ光をミラー１２４、ビームスプリッタ１２５およびミラー１２６、１２７で反射させ、対物レンズ１２８およびピンホール１２９でレーザ光を広げた後、コリメータレンズ１３０により平行な再生照明光１３１を得て、これを上記の参照光１２３とは反対方向からマスターホログラム板１１２に照射する。これにより、マスターホログラム板１１２の上記物体１１１と反対側に実像再生像１３２が形成される。この時、マスターホログラム板１１２のコリメータレンズ１３０側の面にはスリット板１３３が配置され、このスリット板１３３を通過した光が物体光１３４となって、実像再生像１３２がトランスファーホログラム板１３５に照射される。一方、ビームスプリッタ１２５で反射されたレーザ光は、ミラー１３６で反射され、対物レンズ１３７およびピンホール１３８で広げられた後、参照光１３９としてトランスファーホログラム板１３５を照射する。このようにして、物体光１３４と参照光１３９とにより干渉縞がトランスファーホログラム板１３５に形成され、トランスファーホログラムが作製される。そして、再生時には、図７（ｃ）に示すように、干渉縞を形成されたトランスファーホログラム板１３５に対し、上記参照光１３９とは反対方向で観察者の裏側から白色光源１４０により再生照明光１４１を照射すると、白色光源１４０とは反対側に実像再生像１４２が形成され、こを観察者が観察することができる。

このレインボーホログラム技術を利用した本実施の形態におけるホログラムディスプレイについて説明する。まず、マスターホログラムの作成に関しては、図７（ａ）のマスターホログラム板１１２としてＣＣＤカメラを使用し、物体１１１として手指模型を撮像し、得られた手指模型の干渉縞は、ＣＣＤカメラに接続されたコンピュータのメモリに格納される。次いで、図７（ｂ）のマスターホログラム板１１２としてコンピュータに接続された透過型ＬＣＤを使用し、これに上記コンピュータのメモリに格納された干渉縞を出力して実像再生像１３２を形成する。マスターホログラム板１１２の前方には、トランスファーホログラム板１３５としてコンピュータに接続されたＣＣＤカメラが配置され、実像再生像１３２がこのＣＣＤカメラにより撮像され、コンピュータのメモリに格納される。そして、実際のピアノに実装されるガイド表示板４の第３エリア４１ｃとして、図７（ｃ）におけるトランスファーホログラム板１３５の代わりに透過型ＬＣＤが使用され、この透過型ＬＣＤに上記コンピュータのメモリに格納された干渉縞を出力するとともに、その背後に配置された白色光源１４０としてのＬＥＤ等から白色光を再生照明光１４１として照射することにより、観察者側に実像再生像１４２を得ることができ、図８に示すように、鍵盤２上に手指の再生立体像４５を得ることができる。なお、このようなレインボーホログラムの他に、立体再生像を鍵盤２の方向に向けて再生させる公知の他のホログラム技術を利用することができる。また、ホログラム光学素子（ＨＯＥ）を用いて、屈折効率、回折効率の補正を行えば、より良好なホログラム像が得られる。

図９は本実施の形態における演奏ガイド装置３の内部構成を示している。図９において、ドットマトリクス表示部４１の第１エリア４１ａは、液晶駆動部（ＬＣＤドライバ）１１の第１駆動部１１ａにより駆動され、第２エリア４１ｂは第２駆動部１１ｂにより駆動され、第３エリア４１ｃは第３駆動部１１ｃにより駆動される。ＬＣＤドライバ１１の各駆動部１１ａ、１１ｂ、１１ｃは、ＣＰＵからなる制御部１２により制御される。制御部１２には、制御部１２が装置全体を制御するＯＳや演奏ガイド装置を制御するアプリケーションプログラム等を蓄積するＲＯＭ１３と、制御部１２が各部を制御する際に使用する楽曲データや作業データを一時的に格納するＲＡＭ１４と、各曲毎の符号化されたデジタル音符の流れおよび各種音楽標識を楽曲データとして格納するＩＣカード、光カード、光ディスク、磁気カード、或いは磁気ディスクといった外部メモリ１５と、演奏者による押鍵あるいは放鍵の動作を検知する押鍵検知部１６と、押鍵検知部１６で検知された楽曲演奏データと外部メモリ１５からＲＡＭ１４に移された楽曲データとを比較して演奏状態を判定する演奏状態判定部１７と、演奏者が演奏モードや命令を入力する操作入力部１８等が接続されている。制御部１２は、記憶装置としてのＤＶＤやハードディスク、パソコン、ＭＩＤＩや他の端末からのデータのやり取りを行うためのインタフェース機能を備えていてもよい。なお、ＲＯＭ１３およびＲＡＭ１４の代わりに、フラッシュメモリを使用してもよい。

外部メモリ１５には、演奏者の運指ガイド機能として、楽譜に書かれた１つ１つの音符表示にしたがって押鍵する押鍵部指定と、その押鍵部のさらに次に鍵を押下げるに適した位置に手指が配置できるようにする非押鍵部指定と、押鍵部と非押鍵部が変更即ち移動するか否かを指定する移動有無と、左右いずれに移動するかを指定する移動方向と、どれだけの大きさ（長さ）移動するかを指定する移動量、および押鍵部と非押鍵部との表示をある押鍵位置あるいはその近傍より次に押下すべき押鍵位置とさらにその次の押下すべき押鍵位置までを楽曲の演奏速度で移動する移動速度等が、２進化された楽曲データとして１小節単位毎に格納されている。

押鍵検知部１６は、透過型または反射型のフォトカプラが使用され、押鍵された鍵の位置変位を検出することにより押鍵および／または放鍵を検知する。図１０は反射型のフォトカプラを用いた例である。図１０（ａ）に示すように、発光ダイオードＰＤ１と受光ダイオードＰＤ２とを備え、発光ダイオードＰＤ１から出射した光線は、鍵２を指で押下する前は、レンズＬ１、Ｌ２を経て受光ダイオードＰＤ２により受光され、＋Ｂ電源からの電流は受光ダイオードＰＤ２を経て接地され、制御部１２には押鍵信号が出力されない。鍵２を押下すると、図１０（ｂ）に示すように、発光ダイオードＰＤ１からの光線は、受光ダイオードＰＤ２により受光されなくなり、＋Ｂ電源からの電流は、制御部１２に電圧信号として押鍵が検知される。図１０（ｂ）の状態から、鍵２の押鍵を開放すると、再び図１０（ａ）の状態になり、受光ダイオードＰＤ２に電流が流れて、制御部１２では放鍵が検知される。

演奏状態判定部１７は、押鍵検知部１６から送られる検知データから演奏者の押鍵強度、音長および放鍵速度のデータを取得し、このデータとＲＡＭ１４から送れられてくる楽曲データとを比較することにより、演奏者の演奏状態を楽曲の進行に伴って随時判定する。この判定結果は、制御部１２に送られ、例えば「もっとゆっくり弾いて下さい」などと、ドットマトリクス表示部４１の第１エリア４１ａ上に表示し、演奏者に知らせることができる。操作入力部１８は、マウス、トラックボール、パッド、キーボードから演奏モードを指定したり、何を表示するかを指示したりする。操作入力部１８は、ドットマトリクス表示部４１の前面にタッチパネルを設け、このタッチパネルに、ライトペンおよび／または手指により書き込みができるようにしてもよい。

次に、本実施の形態における演奏ガイド装置３のガイド機能としての概略動作について説明する。演奏者により演奏ガイド装置３に設けられた始動スイッチが押されると、制御部１２が作動し、外部メモリ１５または内部ＲＯＭ１３から楽譜の所定の小節分（ここでは１小節分）を１ブロックとするそれぞれ右手用（高音部譜用）および左手用（低音部譜用）の楽曲データを読み出して、ＲＡＭ１４に格納する。この楽曲データは、楽譜に書かれた１つ１つの音符表示に従って押鍵する押鍵部指定データと、その押鍵部のさらに次に鍵を押下すべき位置に手指が配置できるようにする非押鍵部指定データと、押鍵部と非押鍵部が変更即ち移動するか否かを指定する移動有無データと、左右いずれに移動するかを指定する移動方向データと、どれだけの大きさ（長さ）移動するかを指定する移動量データと、押鍵部と非押鍵部との表示をある押下した押鍵位置あるいはその近傍より次に押下すべき押鍵位置とさらにその次に押下すべき鍵の位置までを、その楽曲の演奏速度で移動する移動速度データとのセットである。右手用の第１ブロックのデータが外部メモリ１５から読み出されてＲＡＭ１４に格納されると、続いて、同様な構成の左手用の第２ブロックの楽曲データが外部メモリ１５から読み出されてＲＡＭ１４に格納される。制御部１２は、ＲＡＭ１４から各データを読み出して、液晶駆動部１１の各駆動部１１ａ、１１ｂ、１１ｃを通じて各エリア４１ａ、４１ｂ、４１ｃの表示を制御する。演奏者が押鍵を行うと、その押鍵および／または放鍵が押鍵検知部１６によって検出される。押鍵検知部１６が押鍵を検出すると、制御部１２は、外部メモリ１５から右手用の次の第３ブロックの楽曲データおよび左手用の次の第４ブロックの楽曲データを読み出してしてＲＡＭ１４に格納し、同様にして液晶駆動部１１の各駆動部１１ａ、１１ｂ、１１ｃを通じて各エリア４１ａ、４１ｂ、４１ｃの表示を制御する。

ドットマトリクス表示部４１に表示されたガイド表示に従い、演奏者は対応する各鍵を押鍵する。制御部１２は、この押鍵動作を押鍵検知部１６で検知し、押鍵した位置あるいはその近傍から演奏者の各指が次に押鍵すべき鍵の上まで、該当する音符および指番号を移動させるとともに、該当する各種音楽標識も表示する。また、第３エリア４１ｃにホログラムディスプレイにより手指画像を表示する場合にも、手指の画像を次に押鍵すべき位置まで移動させ、押鍵すべき指を音符画像および運指マークｍの位置に合わせる。押鍵検知部１６で検知した楽曲演奏データは、演奏状態判定部１７へ送られ、ここでＲＡＭ１４から読み出した楽曲データと比較され、その判定結果が、例えば「もっとゆっくり弾いて下さい」などのメッセージを、楽曲の演奏進行に伴ってドットマトリクス表示部４１の任意の場所に随時表示する。以上のガイド表示を繰り返して、楽曲の最後まで演奏者の誘導を行なう。そして最後に、演奏状態判定部１７は、演奏終了までの総合評価を行ない、その結果を制御部１２へ送り、「もっと練習して下さい５０点」などとその結果を第１エリア４１ａに表示させる。なお、本実施例では、光を点滅させることで押鍵表示と非押鍵表示とを区別したが、この他にも光の強弱、色分けなど、識別できる表示法であれば何ら限定されるものではない。また、音符の長さである音価を表現する方法として、押鍵後の音符の符頭の大きさを音価に比例して次第に小さくするようにしてもよい。また、第１エリア４１ａには、ＲＡＭ１４に記憶された楽曲データの中の強弱記号、速度記号、発想記号、ペダル記号などの演奏に必要な各種音楽標識およびメッセージ４７も表示される。ペダル記号に関しては、ハーフペダルを理解しやすくするために、表示マークとして長方形や三角形を用い、上部からの押し足の場合は下方へ向って色づけし、離し足の場合は上方に向って色づけをなくしていくようにしてもよい。

次に、本実施の形態における読譜習得のための機能としての表示の具体例について説明する。本実施の形態では、演奏者の技量に応じて、以下のようなレベル１からレベル５までのガイドモードを、演奏者が操作入力部１８を通じて任意に選択することができる。

レベル１：このレベル１は上級者向けであり、図１１に示すように、鍵盤２のほぼ中央部に相当する位置の第１エリア４１ａに大譜表の高音部譜および低音部譜を任意の小節、例えば１小節分だけ順次表示してその仮想立体楽譜（図２では楽譜の一部である８分音符４３のみを図示）を鍵盤２の上方に表示する。図示の例では、高音部譜の４分音符ｎ１と低音部譜の２分音符ｎ４とが押鍵された後、高音部譜の８分音符ｎ２が押鍵すべき音符として点滅表示されている。この押鍵すべき音符を識別するための方法としては、点滅表示の他に、拡大表示、回転表示、反転表示、振動表示、音符周辺放射光表示、バックグラウンド色変更表示等を利用することができる。また、長さの異なる４分音符ｎ１と２分音符ｎ４とを同時に押鍵する場合は、長い方の音符の音価が経過するまでその長い方の音符を識別表示しておく。また、このレベル１では、演奏者が楽譜通りに正しい鍵を押鍵しても、誤った鍵を押鍵しても、押鍵されることにより次の音符を順次識別表示していく。但し、ミスタッチした場合には、押鍵検知部１６により得られた押鍵位置における音高に対応する音符を、第１エリア４１ａに表示された楽譜の中の該当する音高位置へ表示するとともに、「ミスタッチしました。」などのメッセージ４７を表示する。例えば音符ｎ１に対応する鍵ｋ４４を押下すべきところ、鍵ｋ４２を押下した場合には、鍵ｋ４２に対応する楽譜の音高位置すなわち「レ」の位置に音符を赤色で表示する。これにより、演奏者は押鍵位置を間違えたことを明確に認識できるとともに、その間違った押鍵位置と楽譜上の位置との関係を理解することができ、読譜力が向上する。なお、この音符表示は、その音高位置に×印を表示しても、符頭だけを表示してもよい。または、鍵を押し続けている長さ、すなわち押鍵検知部１６が押鍵から放鍵の間の時間に基づいて、その長さに対応する音符長を表示するようにしてもよい。さらに、間違って押鍵した鍵の音高位置をＲＡＭ１４に記憶しておき、演奏後にもその間違った押鍵位置を表示して演奏者に再確認させるようにしてもよい。なお、このミスタッチ表示機能は、以下のレベル２から５においても適用される。

レベル２：このレベル２は中級者向けであり、演奏者が音符に指定された時間または一定時間が経過しても押鍵しない場合または誤った鍵を押鍵した場合に適用されるものである。このレベル２では、初めは、レベル１のように大譜表が鍵盤２のほぼ中央部の第１エリア４１ａに表示されるが、演奏者が一定時間が経過しても押鍵しない場合または誤った鍵を押鍵した場合には、高音部譜を右手が押鍵すべき位置付近まで移動させ、低音部譜を左手が押鍵すべき位置付近まで移動させる。すなわち、演奏者に大体の押下すべき鍵の位置を表示して、演奏者が押鍵すべき鍵を自分で確定するようにさせるものである。この時、高音部譜および／または低音部譜に表示される音符の間隔を押鍵すべき鍵の幅に対して狭くして複数個の音符が入るようにしておけば、演奏者にどの音符がどの鍵に対応するかを考えるチャンスを与えることができ、読譜力が向上する。

レベル３：このレベル３はレベル２よりも低い中級者向けであり、演奏者が音符に指定された時間または一定時間が経過しても押鍵しない場合または誤った鍵を押鍵した場合に適用されるものである。このレベル３では、初めは、レベル１のように大譜表が鍵盤２のほぼ中央部の第１エリア４１ａに表示されるが、演奏者が一定時間が経過しても押鍵しない場合または誤った鍵を押鍵した場合には、図１２に示すように、高音部譜を右手が押鍵すべき音符に対応する鍵の位置まで移動させ、低音部譜を左手が押鍵すべき音符に対応する鍵の位置まで移動させる。すなわち、左手で押鍵すべき音符ｎ４が正しく押鍵されなかった場合は、音符ｎ４を押下すべき鍵ｋ３５の位置に対応するように、低音部譜全体を左方向に移動させる。また、右手で押鍵すべき音符ｎ２が正しく押鍵されなかった場合は、音符ｎ２を押下すべき鍵ｋ４７の位置に対応するように、高音部譜全体を右方向に移動させる。この時、高音部譜および／または低音部譜に表示されるある押鍵すべき音符とそれに隣り合う左右の音符との間隔は、図１２Ａに示すように、実際に押鍵すべき鍵の幅程度の間隔にし、押鍵すべき音符と実際に押鍵すべき鍵とを１対１に対応させて視認しやすくする。押鍵しない音符どうしの間隔はこの限りではない。これにより、実際に押鍵すべき音符がアッピールされ、押鍵しない音符は、実際の楽譜に近くに表示されるので、読譜の訓練になる。または、別の表示方法として、図１２Ｂに示すように、例えば１小節分内の押下すべき全ての鍵に各音符が逐一対応するように、現在押下すべき音符ｎ４５および鍵ｋ４５を中心に楽譜全体を左右方向に伸ばして、それぞれ音符ｎ４０が鍵ｋ４０に、音符ｎ４２が鍵ｋ４２に、音符ｎ４４が鍵ｋ４４等に対応させることもできる。これにより、初心者には分かりやすい表示となるが、ある程度慣れてきたら、図１２Ａのような表示に切り換えるとよい。そして、演奏者が正しく押鍵した場合は、高音部譜および／または低音部譜をもとの中央位置に戻して表示する。これにより、演奏者は、弾くべき音符と押下すべき鍵との対応関係を容易に視認し理解することができる。

レベル４：このレベル４はレベル３よりも低い初級者向けであり、演奏者が音符に指定された時間または一定時間が経過しても押鍵しない場合または誤った鍵を押鍵した場合に適用されるものである。このレベル４では、初めは、レベル１のように大譜表が鍵盤２のほぼ中央部の第１エリア４１ａに表示されるが、演奏者が一定時間が経過しても押鍵しない場合または誤った鍵を押鍵した場合には、図１３に示すように、高音部譜を右手が押鍵すべき音符に対応する鍵の位置まで移動させ、低音部譜を左手が押鍵すべき音符に対応する鍵の位置まで移動させる。すなわち、左手で押鍵すべき音符ｎ４が正しく押鍵されなかった場合は、音符ｎ４を押下すべき鍵ｋ３５の位置に対応するように、低音部譜全体を左方向に移動させる。また、右手で押鍵すべき音符ｎ２が正しく押鍵されなかった場合は、音符ｎ２を押下すべき鍵ｋ４７の位置に対応するように、高音部譜全体を右方向に移動させる。この時、上記したように高音部譜および／または低音部譜に表示される押鍵すべき音符と隣り合う左右の音符の間隔は、押鍵すべき鍵の幅程度の間隔にし、押鍵すべき音符と鍵を１対１に対応させて視認しやすくする。この場合の押鍵しない音符どうしの間隔はこの限りではない。さらに、第２エリア４１ｂの押下すべき鍵ｋ３５、ｋ４７に対応する位置に運指マークｍを表示して鍵ｋ３５、ｋ４７の表面上にビームスポット４４を投射させる。さらに、第３エリア４１ｃに手指画像をホログラム表示させて、鍵盤２上の対応する位置に手指画像の再生立体像４５を、使用すべき指が押鍵すべき鍵に対応するように表示する。また、押鍵しない指も同時に表示され、運指の状況により各指の幅の変化を一目で視認することができる。これにより、演奏者は、弾くべき音符と押下すべき鍵と使用すべき指との対応関係を容易に目で確認し理解することができる。なお、左右の手指画像は、互いに区別するために、色を変えて表示するようにしてもよい。さらには、手指画像において、押鍵すべき指を他の指と異なる色にし、押鍵すべき鍵の上で上下に振動させると、演奏者にとって非常にリアルに認識することができる。さらに、楽曲の進行に伴って手指全体が左右に移動するのを認識することができる。そして、演奏者が正しく押鍵した場合は、高音部譜および／または低音部譜をもとの中央位置に戻して表示する。これにより、演奏者は、弾くべき音符と押下すべき鍵との対応関係を容易に視認し理解することができる。なお、この場合、音符が押下すべき鍵に逐一対応するように、例えば、音符ｎ１が鍵ｋ４４に、音符ｎ２が鍵ｋ４７に、音符ｎ３が鍵ｋ５１にそれぞれ対応するように、楽譜自体を左右方向に伸ばして表示することもできる。

レベル５：このレベル５はレベル４よりもさらに低い初級者向けであり、演奏の初めから、図１３に示すように、高音部譜を右手が押鍵すべき音符に対応する鍵の位置まで移動させ、低音部譜を左手が押鍵すべき音符に対応する位置まで移動させるとともに、第２エリア４１ｂの押下すべき鍵ｋ３５、ｋ４７に対応する位置に運指マークｍを表示して、鍵ｋ３５、ｋ４７の表面上にビームスポット４４を投射させる。さらに、第３エリア４１ｃに手指画像をホログラム表示させて、鍵盤２上の対応する位置に手指画像の再生立体像４５を、使用すべき指が押鍵すべき鍵に対応するように表示する。これにより、演奏者は、弾くべき音符と押下すべき鍵と使用すべき指との対応関係を容易に目で確認し理解することができる。なお、左右の手指画像は、互いに区別するために、色を変えて表示するようにしてもよい。さらには、手指画像において、押鍵すべき指を他の指と異なる色にし、押鍵すべき鍵の上で上下に振動させると、演奏者にとって非常にリアルに認識することができる。

上記レベル１から５までのガイドモードの選択は、演奏者によって演奏の初めに選択されるが、演奏の途中であっても選択切り換えが可能である。また、正しく押鍵された場合に基本の中央位置に楽譜表示が戻ることは、選択可能な事項として構成してもよい。また、第１エリア４１ａに楽譜を表示する際に、１小節分をカラー表示させ、そのバックグランド色が音符の進行と並行して次々に変化していくとともに、変化した色がメトロノーム記号の速度に合わせて点滅するようにすることにより、楽曲の速度をも体感することができる。さらに、押鍵すべく識別表示された音符が複数あり、和音やポリフォニーの場合、表示された識別音符と実際の鍵との対応は、運指に最も適した識別音符と対応するような鍵の真上で静止するように構成してもよい。さらにまた、右手と左手とを同時に押鍵すべき場合、高音部譜のみの音符に対応する鍵を押鍵した場合も、低音部譜のみの音符に対応する鍵を押鍵した場合も、このような場合はミスと見なして、次に押鍵すべき音符の表示および／または運指マークｍの表示はしないようにすることもできる。したがって、高音部譜の音符と低音部譜の音符とを同時に押鍵すべき時は、同時に押鍵しないと次に進行できなくすることもできる。さらにまた、音価の長い音符と短い音符とを同時に押鍵すべき場合、押鍵すべき音符および／または当該音符に該当する運指マークｍを点滅させ、音価の長い音符と短い音符が同時に押鍵された時、音価の長い音符および／または音価の短い音符に該当する運指マークｍの点滅表示を停止して点灯したままとし、押鍵すべき音符に該当する運指マークｍを押鍵によって次々と点滅させ、音価の長い音符の長さに達するまでその音符の点灯状態を持続させるようにしてもよい。さらにまた、図１４に示すように、第１エリア４１ａにおける楽譜表示の上（または下）に波形を表示し、音符の強弱を振幅の大きさで表し、音符の高さを振動数で表し、音符の長さを持続時間で表すようにしてもよい。そして、現在押鍵すべき音符の波形と、その１つ前および１つ後の音符の波形とを、線の種類や色等により区別して表示することにより、音符の強弱、高さ、長さを視覚的に理解することができる。なお、第１エリア４１ａの中央位置に大譜表が表示されるが、大譜表をガイド表示板４から独立させた位置に表示できるようにすると、表示がより見やすくなる。例えば、ピアノの楽譜立てなどにＬＣＤ等で独立表示させたり、ピアノの上に置いたノートパソコンに表示させてもよい。

このように、本実施の形態によれば、ドットマトリクス表示部４１および制御部１２によって、押鍵すべき鍵と対応した位置に大譜表の高音部譜および低音部譜をそれぞれ独立して表示するとともに、演奏者の押鍵動作を押鍵検知部１６によって検知した後、演奏者が次に押鍵すべき鍵の位置を運指マークｍおよび手指の画像を順次表示させることができる。そして、これらのガイド表示はその前面に配置されたレンズプレート４２により対応する鍵上に投射されるので、演奏者は鍵盤を見ながら正しい運指法により演奏することができる。さらに、押鍵検知部１６で検知された楽曲演奏データとＲＡＭ１４に記憶された対応する楽曲データとを演奏状態判定部１７が比較することにより、演奏者の演奏状態を判定することができるので、演奏を中止することなく、音高はもちろん、音の強弱、音長、スラー、スタッカート、テヌート等、正しく演奏しているかどうかを楽曲の進行に伴って随時判定することができ、より高い楽器演奏の自動的指導が可能となる。

なお、本実施の形態では、ドットマトリクス表示部４１の最上部の第１エリア４１ａに音符や楽譜を表示し、第２エリア４１ｂに運指マーク、必要に応じて第３エリア４１ｃに手指画像を表示するようにしたが、その順番は任意に変更可能であり、最下部の第３エリアに音符や楽譜を表示するようにしてもよい。さらに、第１エリア４１ａのインテグラル・フォトグラフィ方式の部分へ手指画像を表示し、第３エリア４１ｃのホログラムディスプレイの部分へ音符や楽譜を表示するようにしてもよい。

また、本実施の形態では、第１エリア４１ａに３次元ディスプレイ技術を用いて仮想立体像を表示したが、図１５に示すように、ドットマトリクス表示部４１の第１エリア４１ａを通常のＬＣＤドットマトリクス表示部４８として楽譜を表示するとともに、このＬＣＤドットマトリクス表示部４８に対応して、その前面に鍵盤２の各鍵に対応するレンズを有するレンズアレイ４９を配置して、ＬＣＤドットマトリクス表示部４８に表示された楽譜のうちの押鍵すべき鍵に対応する音符を、その押鍵すべき鍵の表面上に音符像５０として投影するようにしてもよい。ＬＣＤドットマトリクス４８には、大譜表の高音部譜と低音部譜とが表示されるので、どちらの楽譜も鍵盤２上に投射できるように、レンズアレイ４９も全体が２段構成に、または中央ハ音から左側と右側のように部分的に分けた２段構成になっている。この場合でも、演奏者の手指によってガイド表示が隠されることがなく、また、たとえ演奏者の手指によってガイド表示が隠される位置にガイド表示が表示される場合であっても、そのガイド表示は手指の上に投射されるので、演奏者は手指に投射されたガイド表示を見ながら演奏を行うことができる。さらには、レンズアレイ４９の対応するレンズ素子自体も光るので、レンズ素子においてもガイド表示を確認することができる。なお、レンズアレイ４９には、正立等倍結像レンズアレイ等を用いる。したがって、いずれの場合にもガイド表示が手指により隠されることがなく、ガイド表示を見ながら演奏することにより、初めての楽曲でもその演奏を容易に行うことができる。

（実施の形態２）
次に本発明の第２の実施の形態について説明する。本実施の形態２が上記した実施の形態１と異なるのは、図１６に示すように、ガイド表示板４のドットマトリクス表示部４１が、上下方向に２つのエリア４１ａ、４１ｂに区画されており、第１エリア４１ａには楽譜や音楽標識、各種メッセージ等が表示され、第２エリア４１ｂには運指マークｍが表示され、その前面に配置されるレンズプレート４２は、第２エリア４１ｂに対してのみ設けられていることである。したがって、４１ａはＬＣＤドットマトリクス表示部となり、３次元ディスプレイは行われず、２次元ディスプレイとなる。他の構成は、第１エリア４１ａに表示される大譜表および第２エリア４１ｂに表示される運指マークｍについてのガイドモードを含めて、実施の形態１と全て同じである。したがって、この本実施の形態２によれば、ガイド表示板４の構成が大幅に簡略化されるので、装置のコストを大幅に低減させることができる。

なお、上記した実施の形態１および実施の形態２の説明において、第２エリア４１ｂに表示された運指マークｍは、該当する鍵の表面上に単眼レンズアレイ４２ｂによって投射されるが、その位置は、第１エリア４１ｂと単眼レンズアレイ４２ｂの位置および単眼レンズアレイ４２ｂの各レンズ素子の傾きおよび焦点距離によって決まる。このため、単眼レンズアレイ４２を他の部分から独立して構成し、その中央部または下部の両側に設けられた回転軸を支点として前後方向に傾動可能に取り付けることにより、その投射位置を調整できるようにしてもよい。また、単眼レンズアレイ４２ｂの焦点距離と傾斜角度によって、対応する鍵の全面に運指マークを投射するようにしてもよい。また、運指マークは、初期設定として、演奏ガイド装置の電源投入時には、鍵盤２の中央部のハ音の鍵を指示するようにしてもよい。

また、上記各実施の形態では、表示手段として液晶装置を用いたが、発光ダイオードや有機ＥＬ、半導体レーザ、プラズマなどによりドットマトリクス表示部４１を構成してもよい。さらには投射手段としてピンホールを用いることができる。なお、ＬＣＤに関しては上記各エリアの使用状況によって、適宜、透過型ＬＣＤ、反射型ＬＣＤ、バックライト型ＬＣＤまたはその組み合わせを使用する。

本発明の実施の形態における演奏ガイド装置をピアノに取り付けた状態を示す概略斜視図。 実施の形態１におけるガイド表示板の構造を示す概略側面図。 実施の形態１における３次元ディスプレイの原理を示す模式図。 実施の形態１における３次元ディスプレイによる表示を示す概略斜視図。 実施の形態１における運指マークの表示例を示す概略斜視図。 実施の形態１における運指マークの別の表示例を示す概略斜視図。 実施の形態１におけるホログラムディスプレイの原理を示す模式図。 実施の形態１におけるホログラムディスプレイによる表示例を示す概略斜視図。 実施の形態１における演奏ガイド装置の内部構成を示す概略ブロック図。 実施の形態１における押鍵検知部の構成を示す概略斜視図。 実施の形態１におけるレベル１のガイドモードにおける表示例を示す模式図。 実施の形態１におけるレベル３のガイドモードにおける表示例を示す模式図。 実施の形態１におけるレベル３のガイドモードにおける別の表示例を示す説明図。 実施の形態１におけるレベル３のガイドモードにおけるさらに別の表示例を示す説明図。 実施の形態１におけるレベル４および５のガイドモードにおける表示例を示す模式図。 実施の形態１における楽譜の別の表示例を示す模式図。 実施の形態１における楽譜の別の表示例を示す概略斜視図。 本発明の実施の形態２におけるガイド表示板を示す概略側面図。

符号の説明

１ ピアノ本体
２ 鍵盤
３ 演奏ガイド装置
４ ガイド表示板
１１ 液晶駆動部
１２ 制御部
１３ ＲＯＭ
１４ ＲＡＭ
１５ 外部メモリ
１６ 押鍵検知部
１７ 演奏状態判定部
１８ 操作入力部
４１ ドットマトリクス表示部
４１ａ 第１エリア（音符表示）
４１ｂ 第２エリア（運指マーク表示）
４１ｃ 第３エリア（手指図形表示）

Claims (9)

1. 鍵盤楽器の鍵盤に沿って並設されて演奏しようとしている楽曲の大譜表の高音部譜および低音部譜を独立に所定長さ分だけ表示可能な表示手段と、押鍵された鍵を検知する押鍵検知手段と、前記表示手段に表示された前記高音部譜および低音部譜における音符に対応する押鍵すべき鍵の位置に、前記押鍵検知手段からの信号を基に、前記高音部譜および低音部譜を独立に移動可能に表示させる制御手段とを備えた演奏ガイド装置。
2. 前記表示手段は、前記高音部譜および／または低音部譜における前記押鍵すべき鍵と対応する音符を他の音符と識別表示することを特徴とする請求項１記載の演奏ガイド装置。
3. 前記表示手段は、前記鍵盤に沿って上下方向に区画された複数の表示エリアを有することを特徴とする請求項１記載の演奏ガイド装置。
4. 前記表示手段は、前記複数の表示エリアの１つに前記大譜表の高音部譜および／または低音部譜を表示し、前記表示エリアの別の１つに前記押鍵すべき鍵の位置に対応する位置に運指マークを表示することを特徴とする請求項３記載の演奏ガイド装置。
5. 前記表示手段は、前記複数の表示エリアの１つに前記大譜表の高音部譜および／または低音部譜を表示し、前記表示エリアの別の１つに前記押鍵すべき鍵の位置に対応する位置に手指の画像を表示することを特徴とする請求項３記載の演奏ガイド装置。
6. 前記表示手段は、前記大譜表の高音部譜および／または低音部譜、前記押鍵すべき鍵の位置に対応する位置に運指マークおよび手指の画像のうちの少なくとも１つを鍵盤の方向に向けて投射することを特徴とする請求項４または５記載の演奏ガイド装置。
7. 前記表示手段は、２次元ディスプレイまたは３次元ディスプレイまたはホログラムディスプレイまたはこれらの組み合わせであることを特徴とする請求項６記載の演奏ガイド装置。
8. 前記制御手段は、前記押鍵検知手段により得られた押鍵位置における音高に対応する音符を、前記表示手段に表示された楽譜の中の該当する音高位置へ表示するとともに、前記音符の音高位置を記憶するようにしたことを特徴とする請求項１記載の演奏ガイド装置。
9. 前記表示手段、押鍵検知手段および制御手段は、一体に構成されて、鍵盤楽器に脱着可能であることを特徴とする請求項１に記載の演奏ガイド装置。

Images