JP2007171353A

JP2007171353A - Musical performance guiding device

Info

Publication number: JP2007171353A
Application number: JP2005366210A
Authority: JP
Inventors: Hirofumi Kani; 弘文可児
Original assignee: Individual
Current assignee: Individual
Priority date: 2005-12-20
Filing date: 2005-12-20
Publication date: 2007-07-05

Abstract

<P>PROBLEM TO BE SOLVED: To provide a musical performance guiding device easy to recognize guide display for a person not limited in a beginner course but to an intermediate and an advanced courses in a simple configuration without having a display of a music note or the like hidden by hands and fingers. <P>SOLUTION: The musical performance guiding device vertically divides a dot matrix display part 41 of a guide display plate 41 into vertical three partitions, displays a music note image 43 by a three-dimensional display in a first area 41a of the uppermost part upward of a keyboard 2, projects a fingering mark in a second area 41b through a single eye lens array 42b on the surface of keys of the keyboard 2, and three-dimensionally displays a hand and finger figure 45 by a hologram display in a third area 41c. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ピアノ、電子ピアノ、電子キーボード、オルガンなどの演奏ガイド装置に関し、さらに詳細には、鍵盤に並設した表示板上に押鍵すべき鍵に対応する位置を順次表示して、演奏者を誘導する演奏ガイド装置に関する。 The present invention relates to a performance guide device such as a piano, an electronic piano, an electronic keyboard, and an organ. More specifically, the present invention relates to a performance guide by sequentially displaying positions corresponding to keys to be pressed on a display board arranged in parallel with a keyboard. The present invention relates to a performance guide device for guiding a person.

このような演奏ガイド装置については、本願出願人が先にいくつか提案している（例えば、特許文献１ないし３参照）。これらは、鍵盤楽器の各鍵に対応する位置に音符や単灯表示等のガイド表示を表示する表示板を、ピアノやオルガンの鍵盤の奥側の端部に鍵盤と並行に取り付け、演奏者が楽譜によらずにこの表示板のガイド表示の誘導によって楽曲を演奏できるようにしたものである。別の例として、音符等のガイド表示を鍵盤の奥側の端部に設けた表示板に表示するのではなく、鍵盤の内部から鍵盤の表面に投影する例も知られている（例えば、特許文献４参照）。なお、演奏ガイド装置とは別に、一般的な光の表示手段としては、白熱球、蛍光管、冷陰極線管、発光ダイオード（ＬＥＤ）、半導体レーザ（ＬＤ）、液晶ディスプレイ（ＬＣＤ）、エレクトロルミネセンス（ＥＬ）などの光源を用いるものの他に、画像を立体表示させる立体像再生装置（例えば、特許文献５参照）およびホログラム装置（例えば、特許文献６参照）、ＮＨＫ放送技術研究所が開発した電子ホログラフィ技術などが知られている。
特公平０５−０１４９１３号公報特公平０６−０５８５８９号公報特公平０８−０３０９３６号公報特開２００１−１８４０６５号公報特開２００１−２３５７０８号公報特開２００５−２８３６８３号公報 The applicant of the present application has previously proposed several such performance guide devices (see, for example, Patent Documents 1 to 3). These are a display board that displays guides such as notes and single lights at positions corresponding to each key of the keyboard instrument, and is attached to the back end of the piano or organ keyboard in parallel with the keyboard. The music can be played by guiding the guide display on the display board regardless of the score. As another example, a guide display such as a musical note is not displayed on a display board provided at an end on the back side of the keyboard, but is projected from the inside of the keyboard onto the surface of the keyboard (for example, a patent is known). Reference 4). In addition to the performance guide device, general light display means include incandescent bulbs, fluorescent tubes, cold cathode ray tubes, light emitting diodes (LEDs), semiconductor lasers (LDs), liquid crystal displays (LCDs), electroluminescence. In addition to a device using a light source such as (EL), a stereoscopic image reproducing device (for example, see Patent Literature 5) and a hologram device (see, for example, Patent Literature 6) for stereoscopically displaying an image, an electronic developed by NHK Broadcasting Technology Laboratory Holographic technology is known.
Japanese Patent Publication No. 05-014913 Japanese Patent Publication No. 06-058589 Japanese Patent Publication No. 08-030936 Japanese Patent Laid-Open No. 2001-184065 JP 2001-235708 A JP 2005-283683 A

しかしながら、従来の演奏ガイド装置においては、音符等を鍵盤の内部から鍵盤の表面に投影する装置は、鍵盤を見つめて演奏する傾向のある初心者にとって表示が見やすくなる利点はあるものの、実際には音符が鍵盤の上に置いた手指により隠れてしまい、表示が見難いという問題があった。したがって、この種の装置は、人差し指一本のみで演奏する初心者に限られるという問題があった。また、従来の装置では、音符等を鍵盤の内部から鍵盤の表面に投影するので、鍵盤自体を加工しなければならず、構成が複雑になるとともにそれだけコストが高くなり、既存の鍵盤には応用できないという問題があった。 However, in a conventional performance guide device, a device for projecting notes and the like from the inside of the keyboard onto the surface of the keyboard has the advantage of being easy to see for beginners who tend to look at the keyboard, but in practice the notes Is hidden by the fingers placed on the keyboard, making it difficult to see the display. Therefore, this type of device has a problem that it is limited to beginners who perform with only one index finger. In addition, in conventional devices, notes and the like are projected from the inside of the keyboard onto the surface of the keyboard, so the keyboard itself has to be processed, which makes the configuration complicated and expensive, and can be applied to existing keyboards. There was a problem that I could not.

本発明は、このような従来の問題を解決するためになされたもので、音符等のガイド表示が手指により隠れることがなく、構成が簡単で、初心者に限らず、中級者、上級者とってもガイド表示を確認しやすい演奏ガイド装置を提供することを目的とする。 The present invention has been made to solve such a conventional problem, and guide displays such as musical notes are not hidden by fingers, and the configuration is simple, not only for beginners but also for intermediate and advanced users. An object of the present invention is to provide a performance guide device that allows easy confirmation of display.

上記目的を達成するために、本発明の演奏ガイド装置は、鍵盤楽器の鍵盤に沿って並設されて、演奏に際して必要なガイド表示を表示する表示手段と、前記表示手段に表示されたガイド表示を前記鍵盤の方向に向けて投射（投影または投光を含む。）する投射手段とを備えたものである。 In order to achieve the above object, a performance guide apparatus according to the present invention is arranged alongside a keyboard of a keyboard instrument, and displays display means for displaying guide display necessary for performance, and guide display displayed on the display means. Projecting means for projecting (including projection or light projection) toward the direction of the keyboard.

この構成により、表示手段に表示されたガイド表示は、投射手段を介してそれぞれ対応する鍵盤に向けて上方から投射されるので、ガイド表示が演奏者の手指により隠されることがなく、ガイド表示を演奏者にとって見やすい位置に表示することができる。また、たとえ演奏者の手指によってガイド表示が隠される位置にガイド表示が行われる場合でも、そのガイド表示は手指の上に投射されるので、演奏者は手指に投射されたガイド表示を視認することができる。したがって、いずれの場合にもガイド表示が手指により隠されることがなく、構成が簡単で、初心者に限らず、中級者、上級者とっても誘導表示を確認しやすい演奏ガイド装置を実現することができる。 With this configuration, the guide display displayed on the display means is projected from above toward the corresponding keyboard via the projection means, so that the guide display is not hidden by the fingers of the performer. It can be displayed at a position that is easy for the performer to see. Even if the guide display is performed at a position where the guide display is hidden by the performer's fingers, the guide display is projected on the fingers, so the performer must visually recognize the guide display projected on the fingers. Can do. Therefore, in any case, the guide display is not hidden by the fingers, the configuration is simple, and it is possible to realize a performance guide device that is easy for the intermediate and advanced users to easily confirm the guidance display, not only for beginners.

また、本発明は、前記投射手段が、前記ガイド表示を前記鍵盤の表面上に投射することを特徴とするものである。この構成により、演奏者は、鍵上に表示されたガイド表示を見ながら鍵を押すことにより、初めての楽曲でもスムーズに演奏することができ、表示手段に音符を表示すれば、音符とその長さの関係を学習することができる。 Further, the present invention is characterized in that the projecting means projects the guide display onto the surface of the keyboard. With this configuration, the performer can smoothly play the first piece of music by pressing the key while looking at the guide display displayed on the key. If the note is displayed on the display means, the note and its length are displayed. You can learn the relationship.

また、本発明は、前記表示手段および前記投射手段が、３次元ディスプレイであることを特徴とする。この構成により、３次元ディスプレイに表示されたガイド表示がそれぞれ対応する鍵の上方位置に空中像として表示されるので、ガイド表示が演奏者の手指により隠されることがなく、ガイド表示を演奏者にとって見やすい位置に表示することができる。 Further, the present invention is characterized in that the display means and the projection means are three-dimensional displays. With this configuration, the guide display displayed on the three-dimensional display is displayed as an aerial image above the corresponding key, so that the guide display is not hidden by the performer's fingers and the guide display is It can be displayed at an easy-to-see position.

また、本発明は、前記表示手段および前記投射手段が、ホログラムディスプレイであることを特徴とする。この構成により、ホログラムディスプレイに表示されたガイド表示がそれぞれ対応する鍵の上方位置に空中像として表示されるので、ガイド表示が演奏者の手指により隠されることがなく、ガイド表示を演奏者にとって見やすい位置に表示することができる。 In the invention, it is preferable that the display unit and the projection unit are hologram displays. With this configuration, since the guide display displayed on the hologram display is displayed as an aerial image above the corresponding key, the guide display is not hidden by the performer's fingers, and the guide display is easy for the player to view. Can be displayed in position.

また、本発明は、前記表示手段および前記投射手段、または前記３次元ディスプレイ、または前記ホログラムディスプレイが、前記鍵盤楽器に脱着可能に構成されていることを特徴とする。この構成により、既存の鍵盤楽器にも取り付けることができ、利用者の利便性および経済的負担の軽減に大きく貢献することができる。 Further, the present invention is characterized in that the display means and the projection means, the three-dimensional display, or the hologram display are configured to be detachable from the keyboard instrument. With this configuration, it can be attached to an existing keyboard instrument and can greatly contribute to the convenience of the user and the reduction of the economic burden.

本発明は、鍵盤楽器の鍵盤に並設された表示手段に表示されたガイド表示が、投射手段を介してそれぞれ対応する鍵盤に向けて上方から投射されるので、ガイド表示が演奏者の手指により隠されることがなく、ガイド表示を演奏者にとって見やすい位置に表示することができる。このため、構成が簡単で、初心者に限らず、中級者、上級者とっても誘導表示を確認しやすい演奏ガイド装置を実現することができる。 In the present invention, since the guide display displayed on the display means arranged in parallel with the keyboard of the keyboard instrument is projected from above toward the corresponding keyboard through the projection means, the guide display is performed by the fingers of the performer. The guide display can be displayed at a position that is easy for the performer to see without being hidden. Therefore, it is possible to realize a performance guide device that has a simple configuration and is easy for the intermediate and advanced users to check the guidance display, not only for beginners.

以下、本発明の実施の形態における演奏ガイド装置について説明する。図１において、演奏ガイド装置３は、ピアノ本体１の鍵盤２の奥側に設けられた鍵盤押えの代わりに、またはその近辺に、後置きとして並行に配置された細長い板状のものである。このように演奏ガイド装置３は、表示手段であるガイド表示板４と後述する押鍵検知手段および制御手段とが一体となってピアノ本体１に着脱可能なため、ピアノ本体１や鍵盤２を加工することがない利点がある。また、演奏ガイド装置３に、ＬＳＩおよびタッチセンサを内蔵した有機ＥＬを用いれば、演奏ガイド装置３自体をフィルム状に形成することもできる。また、ピアノ等の本体へ演奏ガイド装置３を内蔵させることもできる。なお、演奏ガイド装置３は、鍵盤２が８８鍵のピアノの場合に、８８鍵の全てに設ける必要はなく、よく使用される鍵の数、例えば７６鍵、６４鍵、４９鍵等のように部分的に設けても良い。 Hereinafter, the performance guide apparatus according to the embodiment of the present invention will be described. In FIG. 1, the performance guide device 3 is a long and thin plate-like member arranged in parallel as a rear position instead of or near a keyboard presser provided on the back side of the keyboard 2 of the piano body 1. As described above, the performance guide device 3 can be attached to and detached from the piano body 1 by integrating the guide display plate 4 serving as display means and the key press detection means and control means described later, so that the piano body 1 and the keyboard 2 are processed. There are advantages to not. Further, if the performance guide apparatus 3 uses an organic EL incorporating an LSI and a touch sensor, the performance guide apparatus 3 itself can be formed in a film shape. Moreover, the performance guide apparatus 3 can also be incorporated in main bodies, such as a piano. In the case where the keyboard 2 is an 88-key piano, the performance guide device 3 does not have to be provided for all 88 keys, such as the number of frequently used keys, for example, 76 keys, 64 keys, 49 keys, etc. It may be partially provided.

ガイド表示板４は、図２に示すように、音符や楽譜等を表示する表示手段であるドットマトリクス表示部４１と、その前方に配置されてドットマトリクス表示部４１に表示された楽符等の画像を鍵盤上に投射する投射手段であるレンズプレート４２とからなる。ドットマトリクス表示部４１は、上下方向に３つのエリア４１ａ、４１ｂ、４１ｃに区画されており、第１エリア４１ａには音符や楽譜、音楽標識、各種メッセージ等が表示され、第２エリア４１ｂには運指マークｍが表示され、第３エリア４１ｃには手指画像が表示される。レンズプレート４２は、ドットマトリクス表示部４１の第１エリア４１ａに対応する複眼レンズ４２ａと、第２エリア４１ｂに対応する単眼レンズアレイ４２ｂと、第３エリア４１ｃに対応する空間部４２ｃとに区画されている。なお、別の構成例として、ドットマトリクス表示部４１のうちの最下部の第３エリア４１ｃおよびレンズプレート４２のうちの最下部の空間部４２ｃを省略した構成としてもよい。さらには、第１エリア４１ａに対しては投射手段４２ａを設けず、投射手段は第２エリア４１ｂに対してのみ設けるように構成してもよい。 As shown in FIG. 2, the guide display board 4 includes a dot matrix display unit 41 that is a display means for displaying notes, a score, and the like, and musical notes and the like that are arranged in front of the dot matrix display unit 41 and displayed on the dot matrix display unit 41. The lens plate 42 is a projection means for projecting an image onto the keyboard. The dot matrix display section 41 is divided into three areas 41a, 41b, and 41c in the vertical direction. The first area 41a displays notes, sheet music, music markers, various messages, and the like, and the second area 41b. A fingering mark m is displayed, and a finger image is displayed in the third area 41c. The lens plate 42 is partitioned into a compound eye lens 42a corresponding to the first area 41a of the dot matrix display unit 41, a monocular lens array 42b corresponding to the second area 41b, and a space 42c corresponding to the third area 41c. ing. As another configuration example, the lowermost third area 41 c of the dot matrix display unit 41 and the lowermost space portion 42 c of the lens plate 42 may be omitted. Furthermore, the projection means 42a may not be provided for the first area 41a, and the projection means may be provided only for the second area 41b.

第１エリア４１ａに音符画像が表示される場合は、表示される各音符は押鍵すべき鍵に対応して表示される。レンズプレート４２の複眼レンズ４２ａは、第１エリア４１ａに対応しており、これら第１エリア４１ａと複眼レンズ４２ａとで、第１エリア４１ａに表示された音符画像等の仮想立体像４３を、鍵盤２の上方に結像する３次元ディスプレイを構成している。 When a note image is displayed in the first area 41a, each displayed note is displayed corresponding to the key to be pressed. The compound eye lens 42a of the lens plate 42 corresponds to the first area 41a, and a virtual stereoscopic image 43 such as a note image displayed in the first area 41a is displayed on the keyboard by the first area 41a and the compound eye lens 42a. A three-dimensional display that forms an image above 2 is constructed.

図３は３次元ディスプレイの一例であるインテグラル・フォトグラフィ（ＩＰ：Integral Photography）の基本原理を示している。図３（ａ）に示すように、対象物体１０１を微小な凸レンズを多数並べた複眼レンズ（フライアイレンズ）１０２を通してＣＣＤカメラ１０３により多数の小画像データを得、これをメモリ１０４に記録し、再生時には、図３（ｂ）に示すように、メモリ１０４からの画像データを液晶ディスプレイ１０５に送り、小画像データを液晶ディスプレイ１０５に表示し、その前方から複眼レンズ１０２と同様な複眼レンズ１０６を通して見ると、対象物体の立体再生像１０７が得られる。３次元ディスプレイとしては、インテグラル・フォトグラフィ方式の他に、左右の視差画像を縦ストライプ状に分割して交互に合成した画像によるパララックスバリア方式、レンチキュラレンズ方式などの公知技術を利用することができる。したがって、レンズプレート４２の一部は、適宜、パララックスバリア方式に変更することもできる。 FIG. 3 shows the basic principle of integral photography (IP), which is an example of a three-dimensional display. As shown in FIG. 3A, a large amount of small image data is obtained by a CCD camera 103 through a compound eye lens (fly eye lens) 102 in which a large number of minute convex lenses are arranged on a target object 101, and this is recorded in a memory 104. At the time of reproduction, as shown in FIG. 3B, image data from the memory 104 is sent to the liquid crystal display 105, small image data is displayed on the liquid crystal display 105, and through the compound eye lens 106 similar to the compound eye lens 102 from the front. When viewed, a stereoscopic reproduction image 107 of the target object is obtained. As a three-dimensional display, in addition to the integral photography method, a known technique such as a parallax barrier method or a lenticular lens method using an image obtained by alternately synthesizing left and right parallax images into vertical stripes should be used. Can do. Therefore, a part of the lens plate 42 can be appropriately changed to a parallax barrier system.

このようにして、種々の音符図形の画像データを予め作成してメモリに記憶しておき、それを適宜液晶ドライバにより選択して、図４に示すように、ドットマトリクス表示部４１の第１エリア４１ａに表示することにより、その仮想立体像４３を鍵盤２の上方に表示することができる。 In this way, image data of various musical note figures is created in advance and stored in the memory, and is appropriately selected by the liquid crystal driver. As shown in FIG. 4, the first area of the dot matrix display unit 41 is displayed. By displaying on 41a, the virtual stereoscopic image 43 can be displayed above the keyboard 2.

ドットマトリクス表示部４１の第２エリア４１ｂに表示される運指マークｍは、図５に示すように、押鍵すべき鍵に対応して表示される。第２エリア４１ｂに対応するレンズプレート４２の単眼レンズアレイ４２ｂは、第２エリア４１ｂに表示された運指マークｍを鍵盤２上にビームスポット４４として結像する。なお、運指マークｍは、図示のようなビームスポット４４ではなく、各指に割り当てられた１から５までの番号を表示するようにしてもよい。また、第２エリア４１ｂは、ドットマトリクス表示部４１の一部としてではなく、すなわちドットマトリクス表示部ではなく、図６に示すように、ＬＥＤ４６ａを鍵盤２の各鍵に対応するように一列に並べてその照射光を鍵盤２の各鍵の上にビームスポット４４として結像させるために焦点を鍵に向けて投射するようにしたレンズと発光素子とを一体化して作製されたＬＥＤアレイ４６として構成してもよい。この場合、ＬＥＤアレイ４６は、第２エリア４１ｂの位置に設けて単眼レンズアレイ４２ｂの部分を空間とするか、または第２エリア４１ｂの位置は空間またはデッドスペースとして、ＬＥＤアレイ４６を単眼レンズアレイ４２ｂの位置に配置することができる。さらに、ＬＥＤ４６ａの代わりに半導体レーザを用いて半導体レーザアレイを構成するようにしてもよい。 The fingering mark m displayed in the second area 41b of the dot matrix display section 41 is displayed corresponding to the key to be pressed as shown in FIG. The monocular lens array 42b of the lens plate 42 corresponding to the second area 41b images the fingering mark m displayed on the second area 41b as a beam spot 44 on the keyboard 2. In addition, the fingering mark m may display a number from 1 to 5 assigned to each finger instead of the beam spot 44 as shown. Further, the second area 41b is not as a part of the dot matrix display section 41, that is, not the dot matrix display section, but the LEDs 46a are arranged in a line so as to correspond to each key of the keyboard 2, as shown in FIG. In order to form the irradiation light on each key of the keyboard 2 as a beam spot 44, the lens is configured as an LED array 46 formed by integrating a lens and a light emitting element that are projected toward a key. May be. In this case, the LED array 46 is provided at the position of the second area 41b, and the portion of the monocular lens array 42b is a space, or the position of the second area 41b is a space or dead space, and the LED array 46 is a monocular lens array. 42b can be arranged. Further, a semiconductor laser array may be configured using a semiconductor laser instead of the LED 46a.

図２において、第３エリア４１ｃに対応するレンズプレート４２の部分は空間部４２ｃになっており、この第３エリア４１ｃが、第３エリア４１ｃに表示された手指画像の再生立体像４５を鍵盤２の上方に結像するホログラムディスプレイを構成している。手指画像の再生立体像４５は、上方から見下ろした場合に、左右それぞれ５本の指が鍵と同程度の幅で表示される。 In FIG. 2, the portion of the lens plate 42 corresponding to the third area 41c is a space portion 42c. The third area 41c displays the reproduced stereoscopic image 45 of the finger image displayed in the third area 41c on the keyboard 2. The hologram display that forms an image above is formed. In the reproduced stereoscopic image 45 of the finger image, when viewed from above, five fingers on both the left and right sides are displayed with the same width as the key.

図７は本実施の形態におけるホログラムディスプレイとして利用したレインボーホログラム技術の原理を示している。図７（ａ）において、物体１１１をマスターホログラム板１１２に記録するために、Ｈｅ−Ｎｅレーザ１１３からのレーザ光をビームスプリッタ１１４およびミラー１１５、１１６で反射させ、対物レンズ１１７およびピンホール１１８でレーザ光を広げて物体１１１を照明し、物体１１１の反射光である物体光１１９がマスターホログラム１１２板を照射する。一方、ビームスプリッタ１１４を通過したレーザ光は、ミラー１２０で反射後、対物レンズ１２１およびピンホール１２２によって広げられ、参照光１２３としてマスターホログラム１１２板を照射する。このようにして、物体光１１９と参照光１２３とにより干渉縞がマスターホログラム板１１２に形成され、マスターホログラムが作製される。次いで、図７（ｂ）に示すように、同じＨｅ−Ｎｅレーザ１１３からのレーザ光をミラー１２４、ビームスプリッタ１２５およびミラー１２６、１２７で反射させ、対物レンズ１２８およびピンホール１２９でレーザ光を広げた後、コリメータレンズ１３０により平行な再生照明光１３１を得て、これを上記の参照光１２３とは反対方向からマスターホログラム板１１２に照射する。これにより、マスターホログラム板１１２の上記物体１１１と反対側に実像再生像１３２が形成される。この時、マスターホログラム板１１２のコリメータレンズ１３０側の面にはスリット板１３３が配置され、このスリット板１３３を通過した光が物体光１３４となって、実像再生像１３２がトランスファーホログラム板１３５に照射される。一方、ビームスプリッタ１２５で反射されたレーザ光は、ミラー１３６で反射され、対物レンズ１３７およびピンホール１３８で広げられた後、参照光１３９としてトランスファーホログラム板１３５を照射する。このようにして、物体光１３４と参照光１３９とにより干渉縞がトランスファーホログラム板１３５に形成され、トランスファーホログラムが作製される。そして、再生時には、図７（ｃ）に示すように、干渉縞を形成されたトランスファーホログラム板１３５に対し、上記参照光１３９とは反対方向で観察者の裏側から白色光源１４０により再生照明光１４１を照射すると、白色光源１４０とは反対側に実像再生像１４２が形成され、こを観察者が観察することができる。 FIG. 7 shows the principle of the rainbow hologram technique used as a hologram display in the present embodiment. In FIG. 7A, in order to record the object 111 on the master hologram plate 112, the laser beam from the He-Ne laser 113 is reflected by the beam splitter 114 and the mirrors 115 and 116, and is reflected by the objective lens 117 and the pinhole 118. The laser beam is spread to illuminate the object 111, and object light 119 that is reflected light of the object 111 irradiates the master hologram 112 plate. On the other hand, the laser beam that has passed through the beam splitter 114 is reflected by the mirror 120 and then spread by the objective lens 121 and the pinhole 122 to irradiate the master hologram 112 plate as the reference beam 123. In this way, interference fringes are formed on the master hologram plate 112 by the object light 119 and the reference light 123, and a master hologram is produced. Next, as shown in FIG. 7B, the laser beam from the same He-Ne laser 113 is reflected by the mirror 124, the beam splitter 125, and the mirrors 126 and 127, and the laser beam is spread by the objective lens 128 and the pinhole 129. After that, parallel reproduction illumination light 131 is obtained by the collimator lens 130, and this is irradiated onto the master hologram plate 112 from the direction opposite to the reference light 123. As a result, a real image reproduction image 132 is formed on the opposite side of the master hologram plate 112 from the object 111. At this time, a slit plate 133 is disposed on the surface of the master hologram plate 112 on the collimator lens 130 side, and the light that has passed through the slit plate 133 becomes object light 134 and the real image reproduction image 132 is irradiated onto the transfer hologram plate 135. Is done. On the other hand, the laser beam reflected by the beam splitter 125 is reflected by the mirror 136, spread by the objective lens 137 and the pinhole 138, and then irradiates the transfer hologram plate 135 as the reference beam 139. In this way, interference fringes are formed on the transfer hologram plate 135 by the object beam 134 and the reference beam 139, and a transfer hologram is produced. At the time of reproduction, as shown in FIG. 7C, the reproduction illumination light 141 is reproduced by the white light source 140 from the back side of the observer in the opposite direction to the reference light 139 with respect to the transfer hologram plate 135 on which the interference fringes are formed. , A real image reproduction image 142 is formed on the side opposite to the white light source 140, and this can be observed by an observer.

このレインボーホログラム技術を利用した本実施の形態におけるホログラムディスプレイについて説明する。まず、マスターホログラムの作成に関しては、図７（ａ）のマスターホログラム板１１２としてＣＣＤカメラを使用し、物体１１１として手指模型を撮像し、得られた手指模型の干渉縞は、ＣＣＤカメラに接続されたコンピュータのメモリに格納される。次いで、図７（ｂ）のマスターホログラム板１１２としてコンピュータに接続された透過型ＬＣＤを使用し、これに上記コンピュータのメモリに格納された干渉縞を出力して実像再生像１３２を形成する。マスターホログラム板１１２の前方には、トランスファーホログラム板１３５としてコンピュータに接続されたＣＣＤカメラが配置され、実像再生像１３２がこのＣＣＤカメラにより撮像され、コンピュータのメモリに格納される。そして、実際のピアノに実装されるガイド表示板４の第３エリア４１ｃとして、図７（ｃ）におけるトランスファーホログラム板１３５の代わりに透過型ＬＣＤが使用され、この透過型ＬＣＤに上記コンピュータのメモリに格納された干渉縞を出力するとともに、その背後に配置された白色光源１４０としてのＬＥＤ等から白色光を再生照明光１４１として照射することにより、観察者側に実像再生像１４２を得ることができ、図８に示すように、鍵盤２上に手指の再生立体像４５を得ることができる。なお、このようなレインボーホログラムの他に、立体再生像を鍵盤２の方向に向けて再生させる公知の他のホログラム技術を利用することができる。また、ホログラム光学素子（ＨＯＥ）を用いて、屈折効率、回折効率の補正を行えば、より良好なホログラム像が得られる。 A hologram display in the present embodiment using this rainbow hologram technology will be described. First, regarding the creation of the master hologram, a CCD camera is used as the master hologram plate 112 in FIG. 7A, a finger model is imaged as the object 111, and the interference fringes of the obtained finger model are connected to the CCD camera. Stored in the computer's memory. Next, a transmissive LCD connected to a computer is used as the master hologram plate 112 in FIG. 7B, and interference fringes stored in the memory of the computer are output to form a real image reproduction image 132. A CCD camera connected to a computer as a transfer hologram plate 135 is arranged in front of the master hologram plate 112, and a real image reproduction image 132 is picked up by this CCD camera and stored in the memory of the computer. As the third area 41c of the guide display board 4 mounted on an actual piano, a transmissive LCD is used instead of the transfer hologram plate 135 in FIG. 7C, and this transmissive LCD is stored in the memory of the computer. By outputting the stored interference fringes and irradiating white light as reproduction illumination light 141 from an LED or the like as the white light source 140 disposed behind the interference fringe, a real image reproduction image 142 can be obtained on the viewer side. As shown in FIG. 8, a reproduced three-dimensional image 45 of fingers can be obtained on the keyboard 2. In addition to such a rainbow hologram, other known hologram techniques for reproducing a three-dimensional reproduction image in the direction of the keyboard 2 can be used. Further, if the refractive efficiency and diffraction efficiency are corrected using a hologram optical element (HOE), a better hologram image can be obtained.

図９は本実施の形態における演奏ガイド装置３の内部構成を示している。図９において、ドットマトリクス表示部４１の第１エリア４１ａは、液晶駆動部（ＬＣＤドライバ）１１の第１駆動部１１ａにより駆動され、第２エリア４１ｂは第２駆動部１１ｂにより駆動され、第３エリア４１ｃは第３駆動部１１ｃにより駆動される。ＬＣＤドライバ１１の各駆動部１１ａ、１１ｂ、１１ｃは、ＣＰＵからなる制御部１２により制御される。制御部１２には、制御部１２が装置全体を制御するＯＳや演奏ガイド装置を制御するアプリケーションプログラム等を蓄積するＲＯＭ１３と、制御部１２が各部を制御する際に使用する楽曲データや作業データを一時的に格納するＲＡＭ１４と、各曲毎の符号化されたデジタル音符の流れおよび各種音楽標識を楽曲データとして格納するＩＣカード、光カード、光ディスク、磁気カード、或いは磁気ディスクといった外部メモリ１５と、演奏者による押鍵あるいは放鍵の動作を検知する押鍵検知部１６と、押鍵検知部１６で検知された楽曲演奏データと外部メモリ１５からＲＡＭ１４に移された楽曲データとを比較して演奏状態を判定する演奏状態判定部１７と、演奏者が演奏モードや命令を入力する操作入力部１８等が接続されている。制御部１２は、記憶装置としてのＤＶＤやハードディスク、パソコン、ＭＩＤＩや他の端末からのデータのやり取りを行うためのインタフェース機能を備えていてもよい。なお、ＲＯＭ１３およびＲＡＭ１４の代わりに、フラッシュメモリを使用してもよい。 FIG. 9 shows the internal configuration of the performance guide apparatus 3 in the present embodiment. In FIG. 9, the first area 41a of the dot matrix display section 41 is driven by the first driving section 11a of the liquid crystal driving section (LCD driver) 11, the second area 41b is driven by the second driving section 11b, and the third area The area 41c is driven by the third drive unit 11c. Each drive part 11a, 11b, 11c of the LCD driver 11 is controlled by the control part 12 which consists of CPU. The control unit 12 includes an OS for controlling the entire apparatus by the control unit 12 and a ROM 13 for storing application programs for controlling the performance guide apparatus, and music data and work data used when the control unit 12 controls each unit. A RAM 14 for temporary storage; an external memory 15 such as an IC card, an optical card, an optical disk, a magnetic card, or a magnetic disk for storing the flow of encoded digital notes for each song and various music markers as music data; The key press detection unit 16 that detects the key press or key release operation by the performer, the music performance data detected by the key press detection unit 16 and the music data transferred from the external memory 15 to the RAM 14 are compared and played. A performance state determination unit 17 that determines the state is connected to an operation input unit 18 through which a performer inputs a performance mode and a command. The control unit 12 may include an interface function for exchanging data from a DVD, a hard disk, a personal computer, MIDI, or another terminal as a storage device. A flash memory may be used instead of the ROM 13 and the RAM 14.

外部メモリ１５には、演奏者の運指ガイド機能として、楽譜に書かれた１つ１つの音符表示にしたがって押鍵する押鍵部指定と、その押鍵部のさらに次に鍵を押下げるに適した位置に手指が配置できるようにする非押鍵部指定と、押鍵部と非押鍵部が変更即ち移動するか否かを指定する移動有無と、左右いずれに移動するかを指定する移動方向と、どれだけの大きさ（長さ）移動するかを指定する移動量、および押鍵部と非押鍵部との表示をある押鍵位置あるいはその近傍より次に押下すべき押鍵位置とさらにその次の押下すべき押鍵位置までを楽曲の演奏速度で移動する移動速度等が、２進化された楽曲データとして１小節単位毎に格納されている。 In the external memory 15, as a fingering guide function for the performer, a key pressing part specification for pressing keys according to the display of each note written on the score, and a key pressing down after the key pressing part are performed. Specifying the non-key-pressing part that allows fingers to be placed at suitable positions, whether or not the key-pressing part and the non-key-pressing part are changed, that is, whether to move, and whether to move left or right The direction of movement, the amount of movement (designated by how much) it moves, and the key press that should be pressed next from the key press position or the vicinity of the key press part and the non-key press part. The position and the moving speed for moving to the next key pressing position to be pressed at the performance speed of the music are stored as binarized music data for each bar unit.

押鍵検知部１６は、透過型または反射型のフォトカプラが使用され、押鍵された鍵の位置変位を検出することにより押鍵および／または放鍵を検知する。図１０は反射型のフォトカプラを用いた例である。図１０（ａ）に示すように、発光ダイオードＰＤ１と受光ダイオードＰＤ２とを備え、発光ダイオードＰＤ１から出射した光線は、鍵２を指で押下する前は、レンズＬ１、Ｌ２を経て受光ダイオードＰＤ２により受光され、＋Ｂ電源からの電流は受光ダイオードＰＤ２を経て接地され、制御部１２には押鍵信号が出力されない。鍵２を押下すると、図１０（ｂ）に示すように、発光ダイオードＰＤ１からの光線は、受光ダイオードＰＤ２により受光されなくなり、＋Ｂ電源からの電流は、制御部１２に電圧信号として押鍵が検知される。図１０（ｂ）の状態から、鍵２の押鍵を開放すると、再び図１０（ａ）の状態になり、受光ダイオードＰＤ２に電流が流れて、制御部１２では放鍵が検知される。 The key press detection unit 16 uses a transmission type or reflection type photocoupler, and detects key press and / or key release by detecting the displacement of the pressed key. FIG. 10 shows an example using a reflection type photocoupler. As shown in FIG. 10 (a), a light emitting diode PD1 and a light receiving diode PD2 are provided, and the light emitted from the light emitting diode PD1 passes through the lenses L1 and L2 and is received by the light receiving diode PD2 before the key 2 is pressed with a finger. The light is received and the current from the + B power source is grounded through the light receiving diode PD2, and no key pressing signal is output to the control unit 12. When the key 2 is pressed, as shown in FIG. 10B, the light beam from the light emitting diode PD1 is not received by the light receiving diode PD2, and the current from the + B power source is detected by the key press as a voltage signal to the control unit 12. Is done. When the key 2 is released from the state shown in FIG. 10B, the state again enters the state shown in FIG. 10A, a current flows through the light receiving diode PD2, and the controller 12 detects the key release.

演奏状態判定部１７は、押鍵検知部１６から送られる検知データから演奏者の押鍵強度、音長および放鍵速度のデータを取得し、このデータとＲＡＭ１４から送れられてくる楽曲データとを比較することにより、演奏者の演奏状態を楽曲の進行に伴って随時判定する。この判定結果は、制御部１２に送られ、例えば「もっとゆっくり弾いて下さい」などと、ドットマトリクス表示部４１の第１エリア４１ａ上に表示し、演奏者に知らせることができる。操作入力部１８は、マウス、トラックボール、パッド、キーボードから演奏モードを指定したり、何を表示するかを指示したりする。操作入力部１８は、ドットマトリクス表示部４１の前面にタッチパネルを設け、このタッチパネルに、ライトペンおよび／または手指により書き込みができるようにしてもよい。 The performance state determination unit 17 acquires the data of the player's key press intensity, tone length, and key release speed from the detection data sent from the key press detection unit 16, and uses this data and the music data sent from the RAM 14. By comparing, the performance state of the performer is determined at any time as the music progresses. The determination result is sent to the control unit 12 and displayed on the first area 41a of the dot matrix display unit 41, for example, “Please play more slowly” to notify the player. The operation input unit 18 designates a performance mode from the mouse, trackball, pad, and keyboard, and instructs what to display. The operation input unit 18 may be provided with a touch panel on the front surface of the dot matrix display unit 41 so that writing can be performed on the touch panel with a light pen and / or fingers.

次に、本実施の形態における演奏ガイド装置３の概略動作について説明する。演奏者により演奏ガイド装置３に設けられた始動スイッチが押されると、制御部１２が作動し、外部メモリ１５または内部ＲＯＭ１３から楽譜の所定の小節分（ここでは１小節分）を１ブロックとするそれぞれ右手用（メロディ用）および左手用（伴奏用）の楽曲データを読み出して、ＲＡＭ１４に格納する。この楽曲データは、楽譜に書かれた１つ１つの音符表示に従って押鍵する押鍵部指定データと、その押鍵部のさらに次に鍵を押下すべき位置に手指が配置できるようにする非押鍵部指定データと、押鍵部と非押鍵部が変更即ち移動するか否かを指定する移動有無データと、左右いずれに移動するかを指定する移動方向データと、どれだけの大きさ（長さ）移動するかを指定する移動量データと、押鍵部と非押鍵部との表示をある押下した押鍵位置あるいはその近傍より次に押下すべき押鍵位置とさらにその次に押下すべき鍵の位置までを、その楽曲の演奏速度で移動する移動速度データとのセットである。右手用の第１ブロックのデータが外部メモリ１５から読み出されてＲＡＭ１４に格納されると、続いて、同様な構成の左手用の第２ブロックの楽曲データが外部メモリ１５から読み出されてＲＡＭ１４に格納される。制御部１２は、ＲＡＭ１４から各データを読み出して、液晶駆動部１１の各駆動部１１ａ、１１ｂ、１１ｃを通じて各エリア４１ａ、４１ｂ、４１ｃの表示を制御する。演奏者が押鍵を行うと、その押鍵および／または放鍵が押鍵検知部１６によって検出される。押鍵検知部１６が押鍵を検出すると、制御部１２は、外部メモリ１５から右手用の次の第３ブロックの楽曲データおよび左手用の次の第４ブロックの楽曲データを読み出してしてＲＡＭ１４に格納し、同様にして液晶駆動部１１の各駆動部１１ａ、１１ｂ、１１ｃを通じて各エリア４１ａ、４１ｂ、４１ｃの表示を制御する。 Next, a schematic operation of the performance guide device 3 in the present embodiment will be described. When the start switch provided in the performance guide device 3 is pressed by the performer, the control unit 12 is activated, and a predetermined measure (in this case, one measure) of the musical score from the external memory 15 or the internal ROM 13 is made one block. The music data for the right hand (for melody) and the left hand (for accompaniment) are read out and stored in the RAM 14 respectively. The music data includes a key-pressing portion designation data to be pressed in accordance with the display of each note written in the score, and a non-printing position that allows a finger to be placed at a position where the key is to be pressed next to the key-pressing portion. Key press part specification data, movement presence / absence data specifying whether or not the key press part and non-key press part are changed, that is, movement, movement direction data specifying whether to move left and right, and how much (Length) Movement amount data for specifying whether to move, and the display of the key-pressed part and the non-key-pressed part, and the key-pressed position to be pressed next from the pressed key-pressed position or its vicinity It is a set with moving speed data that moves to the position of the key to be pressed at the performance speed of the music. When the right-hand first block data is read from the external memory 15 and stored in the RAM 14, the left-hand second block music data having the same configuration is subsequently read from the external memory 15 and the RAM 14. Stored in The control unit 12 reads each data from the RAM 14 and controls the display of each area 41a, 41b, 41c through each driving unit 11a, 11b, 11c of the liquid crystal driving unit 11. When the performer performs key depression, the key depression and / or key release is detected by the key depression detection unit 16. When the key depression detecting unit 16 detects the key depression, the control unit 12 reads out the music data of the next third block for the right hand and the music data of the next fourth block for the left hand from the external memory 15 and reads the RAM 14. Similarly, the display of each area 41a, 41b, 41c is controlled through each drive part 11a, 11b, 11c of the liquid crystal drive part 11.

図１１は本実施の形態における表示の具体例を示している。なお、この図１１の例は、図２のドットマトリクス表示部４１のうちの最下部の第３エリア４１ｃおよびレンズプレート４２のうちの最下部の空間部４２ｃを省略するとともに、図９の第３駆動部１１ｃも省略して構成した場合の例である。また、この例では、第２エリア４１ｂには、運指マークとして５本の手指に相当する数字を表示するようにしてある。さらに、図１１では右手の押鍵範囲のみを拡大表示してあるが、左手側の表示形式も同様である。ドットマトリクス表示部４１の第１エリア４１ａ上には、鍵盤の左端から５２番目の鍵２₅₂の位置に３２分音符が、同じく５５番目の鍵２₅₅の位置に８分音符が、６１番目の鍵２₆₁の位置に４分音符が、それぞれ図３および図４で説明したような３次元ディスプレイ用のデータを用いて画像表示されている。また、この音符表示の下部の第２エリア４１ｂには、運指マークとして運指における指の番号が表示され（１:親指、２:人差指、３:中指、４:薬指、５:小指）、この例では押鍵すべき指番号１、２、５を押鍵部として点滅表示させ、押鍵すべきさらに次の鍵を押し下げるのに適した位置に手指が配置できるように非押鍵表示も行なう。図１１では、押鍵部として鍵２₅₂上に親指、鍵２₅₅上に人差指、鍵２₆₁上に小指を配置するように番号１、２、５が点滅表示され、非押鍵部として鍵２₅₉上に中指、鍵２₆₀上に薬指の番号３、４が点滅表示されずに表示されている。また、メトロノーム記号により表示される演奏速度の指示は、表示された音符または運指マークの点滅速度を変化させるか、またはそれらの表示の背景を点滅させてその点滅速度を変化させる。これらの制御は、制御部１２がＲＡＭ１４に格納された楽曲データに基づいて行う。なお、本実施例では、光を点滅させることで押鍵表示と非押鍵表示とを区別したが、この他にも光の強弱、色分けなど、識別できる表示法であれば何ら限定されるものではない。また、音価を表現する方法として、押鍵後の音符の符頭の大きさを音価に比例して次第に小さくするようにしてもよい。そして、図４からドットマトリクス表示部４１の第１エリア４１ａに表示された音符画像は、その前面に配置された複眼レンズ４２ａにより対応する鍵の上方に仮想立体像４３として投影され、演奏者はこの鍵上に投影された音符画像を見ながら演奏することになる。なお、第１エリア４１ａの上部には、ＲＡＭ１４に記憶された楽曲データの中の強弱記号２１、速度記号２２および発想記号２３、ペダル記号などの演奏に必要な各種音楽標識およびメッセージ２４も表示されている。ペダル記号に関しては、ハーフペダルを分かりやすくするために、表示マークとして長方形や三角形を用い、上部からの押し足の場合は下方へ向って色づけし、離し足の場合は上方に向って色づけをなくしていくようにしてもよい。 FIG. 11 shows a specific example of display in the present embodiment. In the example of FIG. 11, the lowermost third area 41c of the dot matrix display section 41 of FIG. 2 and the lowermost space section 42c of the lens plate 42 are omitted, and the third area of FIG. In this example, the drive unit 11c is omitted. In this example, in the second area 41b, numbers corresponding to five fingers are displayed as fingering marks. Furthermore, in FIG. 11, only the right-hand key pressing range is enlarged and displayed, but the display format on the left-hand side is the same. On the first area 41a of the dot matrix display section 41, a 32nd note is located at the position of the _52nd key 2252 from the left end of the keyboard, and an 8th note is also located at the position of the _55th key 255. A quarter note is displayed as an image at the position of the key 2 ₆₁ using data for a three-dimensional display as described with reference to FIGS. Also, in the second area 41b below the note display, the finger number of the fingering is displayed as a fingering mark (1: thumb, 2: index finger, 3: middle finger, 4: ring finger, 5: little finger), In this example, the finger numbers 1, 2, and 5 to be pressed are blinked and displayed as the key pressing part, and the non-key pressing display is also provided so that the finger can be placed at a position suitable for pressing down the next key to be pressed. Do. In Figure 11, the thumb, index finger on the key 2 _55, are numbered 1, 2, 5 to place the little finger on the key 2 ₆₁ blink on the key 2 ₅₂ as depressed portion, the key as a non-depressed portion middle finger on 2 _59, ring finger numbers 3 and 4 are displayed without being displayed blinking on the key 2 _60. The performance speed instruction displayed by the metronome symbol changes the flashing speed of the displayed note or fingering mark, or flashes the background of the display to change the flashing speed. These controls are performed by the control unit 12 based on music data stored in the RAM 14. In this embodiment, the key pressed display and the non-key pressed display are distinguished by blinking the light. However, other display methods can be used as long as they can be distinguished, such as light intensity and color coding. is not. Further, as a method of expressing the note value, the note head size after the key depression may be gradually reduced in proportion to the note value. Then, the musical note image displayed in the first area 41a of the dot matrix display unit 41 from FIG. 4 is projected as a virtual stereoscopic image 43 above the corresponding key by the compound eye lens 42a arranged in front of the dot image display unit 41. The player will perform while watching the note image projected on the key. In addition, on the upper part of the first area 41a, various musical signs and messages 24 necessary for performance such as strength symbols 21, speed symbols 22 and idea symbols 23, pedal symbols and the like in the music data stored in the RAM 14 are also displayed. ing. Regarding the pedal symbol, in order to make the half pedal easy to understand, rectangles and triangles are used as display marks, and if the foot is pushed from the top, it is colored downward, and if it is a release foot, it is colored upward. You may make it go.

ドットマトリクス表示部４１に表示されたガイド表示に従い、演奏者は対応する各鍵を押鍵する。制御部１２は、この押鍵動作を押鍵検知部１６で検知し、押鍵した位置あるいはその近傍から演奏者の各指が次に押鍵すべき鍵の上まで、該当する音符および指番号を移動させるとともに、該当する各種音楽標識も表示する。また、第３エリア４１ｃにホログラムディスプレイにより手指画像を表示する場合にも、手指の画像を次に押鍵すべき位置まで移動させ、押鍵すべき指を音符画像および運指マークの位置に合わせる。押鍵検知部１６で検知した楽曲演奏データは、演奏状態判定部１７へ送られ、ここでＲＡＭ１４から読み出した楽曲データと比較され、その判定結果が、例えば「もっとゆっくり弾いて下さい」などのメッセージ２４を、楽曲の演奏進行に伴って随時表示する。以上のガイド表示を繰り返して、楽曲の最後まで演奏者の誘導を行なう。そして最後に、演奏状態判定部１７は、演奏終了までの総合評価を行ない、その結果を制御部１２へ送り、「もっと練習して下さい５０点」などとその結果を第１エリア４１ａに表示させる。 In accordance with the guide display displayed on the dot matrix display unit 41, the performer presses the corresponding key. The control unit 12 detects this key pressing operation with the key pressing detection unit 16, and the corresponding note and finger number from the position where the key is pressed or the vicinity thereof to the key to be pressed next by each performer's finger. And the corresponding music signs are also displayed. Also, when a finger image is displayed on the third area 41c by the hologram display, the finger image is moved to the position where the key should be pressed next, and the finger to be pressed is aligned with the position of the note image and the fingering mark. . The music performance data detected by the key press detection unit 16 is sent to the performance state determination unit 17, where it is compared with the music data read from the RAM 14, and the determination result is a message such as “Please play more slowly”. 24 is displayed at any time as the music performance progresses. By repeating the above guide display, the player is guided to the end of the music. Finally, the performance state determination unit 17 performs a comprehensive evaluation until the end of the performance, sends the result to the control unit 12, and displays “practice more 50 points” and the result in the first area 41a. .

このように、本実施の形態によれば、ドットマトリクス表示部４１の第１エリア４１ａに表示された音符画像が複眼レンズ４２を通して仮想立体像４３として表示されるので、ガイド表示が演奏者の手指により隠されることがなく、ガイド表示を演奏者にとって見やすい位置に表示することができる。しかも、演奏ガイド装置３は、ピアノ本体に対し着脱可能に構成されているので、既存の鍵盤に対して取り付けが可能であり、利用者の経済的負担を軽減することができる。 Thus, according to the present embodiment, the musical note image displayed in the first area 41a of the dot matrix display unit 41 is displayed as the virtual stereoscopic image 43 through the compound eye lens 42, so that the guide display is performed by the player's finger. Therefore, the guide display can be displayed at a position easy for the performer to see. And since the performance guide apparatus 3 is comprised so that attachment or detachment is possible with respect to the piano main body, it can be attached with respect to the existing keyboard, and can reduce a user's economical burden.

また、本実施の形態では、ドットマトリクス表示部４１および制御部１２によって、押鍵すべき鍵と対応した位置に音符などの押鍵表示を行なうとともに、演奏者の押鍵動作を押鍵検知部１６によって検知した後、演奏者が次に押鍵すべき鍵位置まで音符を順次表示させることができる。また、押鍵表示を押鍵する際に残りの押鍵しない指をさらに次に押鍵するのに最も適した位置に手指が配置されるように非押鍵表示を行ない、押鍵検知部１６によって検知した後、演奏者が押鍵すべき次の鍵位置に適した手指を準備させるようにドットマトリクス表示部４１に表示して演奏者を誘導することができる。また、ドットマトリクス表示部４１を用いることにより、音符表示とともに、各種音楽標識を合せて表示することができる。そして、これらのガイド表示はその前面に配置されたレンズプレート４２により対応する鍵上に投射されるので、演奏者は鍵盤を見ながら演奏することができる。さらに、鍵盤楽器、特にピアノの練習に際しては運指法が特に重要とされているので、演奏者は音符の移動に伴って指と手を順次移動させることで、この運指法を習得することができ、次第に上手に鍵盤楽器を演奏していくことができる。さらにまた、押鍵検知部１６で検知された楽曲演奏データとＲＡＭ１４に記憶された対応する楽曲データとを演奏状態判定部１７が比較することにより、演奏者の演奏状態を判定することができるので、演奏を中止することなく、音高はもちろん、音の強弱、音長、スラー、スタッカート、テヌート等、正しく演奏しているかどうかを楽曲の進行に伴って随時判定することができ、より高い楽器演奏の自動的指導を可能となる。 Further, in the present embodiment, the dot matrix display unit 41 and the control unit 12 display a key press such as a note at a position corresponding to the key to be pressed, and the key press detection unit detects the player's key press operation. After the detection by 16, the music notes can be sequentially displayed up to the key position to be pressed next by the performer. Further, when pressing the key pressing display, the non-key pressing display is performed so that the finger is arranged at the most suitable position for the next key pressing of the remaining non-key pressing fingers. Can be displayed on the dot matrix display unit 41 to guide the performer so as to prepare a finger suitable for the next key position to be depressed by the performer. Further, by using the dot matrix display unit 41, various music signs can be displayed together with the note display. Since these guide displays are projected onto the corresponding keys by the lens plate 42 disposed on the front surface thereof, the performer can perform while looking at the keyboard. In addition, fingering is especially important when practicing keyboard instruments, especially the piano, so players can learn this fingering by moving their fingers and hands sequentially as the notes move. You can gradually play keyboard instruments. Furthermore, since the performance state determination unit 17 compares the music performance data detected by the key depression detection unit 16 with the corresponding music data stored in the RAM 14, the performance state of the performer can be determined. Without stopping the performance, it is possible to determine at any time with the progress of the music whether it is playing correctly, such as the pitch of the sound, the length of the sound, the length, slur, staccato, tenuto, etc. Automatic performance guidance is possible.

なお、第２エリア４１ｂに表示された運指マークは、該当する鍵の表面上に単眼レンズアレイ４２ｂによって投射されるが、その位置は、第１エリア４１ｂと単眼レンズアレイ４２ｂの位置および単眼レンズアレイ４２ｂの各レンズ素子の傾きおよび焦点距離によって決まる。このため、単眼レンズアレイ４２ｂを他の部分から独立して構成し、その中央部または下部の両側に設けられた回転軸を支点として前後方向に傾動可能に取り付けることにより、その投射位置を調整できるようにしてもよい。また、単眼レンズアレイ４２ｂの焦点距離と傾斜角度によって、対応する鍵の全面に運指マークを投射するようにしてもよい。また、運指マークは、初期設定として、演奏ガイド装置の電源投入時には、鍵盤２の中央部のハ音の鍵を指示するようにしてもよい。 The fingering mark displayed in the second area 41b is projected on the surface of the corresponding key by the monocular lens array 42b, and the positions thereof are the positions of the first area 41b and the monocular lens array 42b, and the monocular lens. It is determined by the inclination and focal length of each lens element of the array 42b. For this reason, the projection position can be adjusted by constituting the monocular lens array 42b independently from the other parts and attaching it so that it can tilt in the front-rear direction with the rotation shafts provided at the center or both sides of the lower part as fulcrums. You may do it. Further, a fingering mark may be projected on the entire surface of the corresponding key according to the focal length and the inclination angle of the monocular lens array 42b. Further, as an initial setting, the fingering mark may indicate a high-pitched sound key at the center of the keyboard 2 when the performance guide device is turned on.

また、本実施の形態では、ドットマトリクス表示部４１の最上部の第１エリア４１ａに音符や楽譜を表示し、第２エリア４１ｂに運指マーク、必要に応じて第３エリア４１ｃに手指画像を表示するようにしたが、その順番は任意に変更可能であり、最下部の第３エリアに音符や楽譜を表示するようにしてもよい。 In the present embodiment, a note or a score is displayed in the first area 41a at the top of the dot matrix display unit 41, a fingering mark is displayed in the second area 41b, and a finger image is displayed in the third area 41c as necessary. Although displayed, the order can be arbitrarily changed, and a note or a score may be displayed in the third area at the bottom.

また、本実施の形態では、第１エリア４１ａに３次元ディスプレイ技術を用いて仮想立体像を表示したが、図１２に示すように、ドットマトリクス表示部４１の第１エリア４１ａを通常のＬＣＤドットマトリクス表示部４８として楽譜を表示するとともに、このＬＣＤドットマトリクス表示部４８に対応して、その前面に鍵盤２の各鍵に対応するレンズを有するレンズアレイ４９を配置して、ＬＣＤドットマトリクス表示部４８に表示された楽譜のうちの押鍵すべき鍵に対応する音符を、その押鍵すべき鍵の表面上に音符像５０として投影するようにしてもよい。なお、レンズアレイ４９には、正立等倍結像レンズアレイ等を用いる。また、ＬＣＤドットマトリクス４８の上部に音符等を表示し、その下部に運指マークｍを表示するようにしてもよい。この場合でも、演奏者の手指によってガイド表示が隠されることがなく、また、たとえ演奏者の手指によってガイド表示が隠される位置にガイド表示が表示される場合であっても、そのガイド表示は手指の上に投射されるので、演奏者は手指に投射されたガイド表示を見ながら演奏を行うことができる。さらには、レンズアレイ４９の対応するレンズ素子自体も光るので、レンズ素子においてもガイド表示を確認することができる。したがって、いずれの場合にもガイド表示が手指により隠されることがなく、ガイド表示を見ながら演奏することにより、初めての楽曲でもその演奏を容易に行うことができる。 In the present embodiment, a virtual stereoscopic image is displayed in the first area 41a using the three-dimensional display technology. However, as shown in FIG. 12, the first area 41a of the dot matrix display unit 41 is displayed as a normal LCD dot. A score is displayed as a matrix display unit 48, and a lens array 49 having lenses corresponding to the keys of the keyboard 2 is arranged on the front surface of the LCD dot matrix display unit 48 in correspondence with the LCD dot matrix display unit 48. A musical note corresponding to a key to be pressed in the musical score displayed in 48 may be projected as a musical note image 50 on the surface of the key to be pressed. The lens array 49 is an erecting equal-magnification imaging lens array or the like. Alternatively, a note or the like may be displayed on the upper part of the LCD dot matrix 48, and a fingering mark m may be displayed on the lower part thereof. Even in this case, the guide display is not hidden by the fingers of the performer, and even if the guide display is displayed at a position where the guide display is hidden by the performers' fingers, the guide display is not displayed. Therefore, the performer can perform while watching the guide display projected on the fingers. Further, since the corresponding lens element itself of the lens array 49 also shines, the guide display can be confirmed also on the lens element. Therefore, in any case, the guide display is not hidden by fingers, and by playing while watching the guide display, it is possible to easily perform the performance even for the first music.

また、上記各実施の形態では、表示手段として液晶装置を用いたが、発光ダイオードや有機ＥＬ、半導体レーザ、プラズマなどによりドットマトリクス表示部４１を構成してもよい。さらには投射手段としてピンホールを用いることができる。なお、ＬＣＤに関しては、上記各エリアの使用状況によって、適宜、透過型ＬＣＤ、反射型ＬＣＤ、バックライト型ＬＣＤまたはその組み合わせを使用する。 In each of the above embodiments, the liquid crystal device is used as the display unit. However, the dot matrix display unit 41 may be configured by a light emitting diode, an organic EL, a semiconductor laser, plasma, or the like. Furthermore, a pinhole can be used as the projection means. As for the LCD, a transmissive LCD, a reflective LCD, a backlight LCD, or a combination thereof is appropriately used depending on the usage situation of each area.

本発明の実施の形態における演奏ガイド装置をピアノに取り付けた状態を示す概略斜視図。The schematic perspective view which shows the state which attached the performance guide apparatus in embodiment of this invention to the piano. 本実施の形態における表示構造を示す概略側面図。The schematic side view which shows the display structure in this Embodiment. 本実施の形態における３次元ディスプレイの原理を示す模式図。The schematic diagram which shows the principle of the three-dimensional display in this Embodiment. 本実施の形態における３次元ディスプレイによる表示例を示す概略斜視図。The schematic perspective view which shows the example of a display by the three-dimensional display in this Embodiment. 本実施の形態における運指マークの表示例を示す概略斜視図。The schematic perspective view which shows the example of a display of the fingering mark in this Embodiment. 本実施の形態における運指マークの別の表示例を示す概略斜視図。The schematic perspective view which shows another example of a display of the fingering mark in this Embodiment. 本実施の形態におけるホログラムディスプレイの原理を示す模式図。The schematic diagram which shows the principle of the hologram display in this Embodiment. 本実施の形態におけるホログラムディスプレイによる表示例を示す概略斜視図。The schematic perspective view which shows the example of a display by the hologram display in this Embodiment. 本実施の形態における演奏ガイド装置の内部構成を示す概略ブロック図。The schematic block diagram which shows the internal structure of the performance guide apparatus in this Embodiment. 本実施の形態における押鍵検知部の構成を示す概略斜視図。The schematic perspective view which shows the structure of the key press detection part in this Embodiment. 本実施の形態における表示例を示す部分正面図。The partial front view which shows the example of a display in this Embodiment. 本実施の形態における音譜の別の表示例を示す概略斜視図。The schematic perspective view which shows another example of a display of the musical score in this Embodiment.

Explanation of symbols

１ピアノ本体
２鍵盤
３演奏ガイド装置
４ガイド表示板
１１液晶駆動部
１２制御部
１３ＲＯＭ
１４ＲＡＭ
１５外部メモリ
１６押鍵検知部
１７演奏状態判定部
１８操作入力部
４１ドットマトリクス表示部
４１ａ第１エリア（音符表示）
４１ｂ第２エリア（運指マーク表示）
４１ｃ第３エリア（手指図形表示）
DESCRIPTION OF SYMBOLS 1 Piano main body 2 Keyboard 3 Performance guide apparatus 4 Guide display board 11 Liquid crystal drive part 12 Control part 13 ROM
14 RAM
15 External Memory 16 Key Press Detection Unit 17 Performance State Determination Unit 18 Operation Input Unit 41 Dot Matrix Display Unit 41a First Area (Musical Note Display)
41b 2nd area (fingering mark display)
41c 3rd area (finger graphic display)

Claims

A display unit that is arranged along the keyboard of the keyboard instrument and displays a guide display necessary for performance, and a projection unit that projects the guide display displayed on the display unit toward the keyboard. Performance guide device.

2. The performance guide apparatus according to claim 1, wherein the projection means projects the guide display onto a surface of the keyboard.

2. The performance guide apparatus according to claim 1, wherein the display means and the projection means are three-dimensional displays.

The performance guide apparatus according to claim 1, wherein the display means and the projection means are hologram displays.

5. The performance guide device according to claim 1, wherein the display unit, the projection unit, the three-dimensional display, or the hologram display are configured to be detachable from the keyboard instrument. .