JP2000003171A - Fingering data forming device and fingering display device - Google Patents

Fingering data forming device and fingering display device

Info

Publication number
JP2000003171A
JP2000003171A JP10168955A JP16895598A JP2000003171A JP 2000003171 A JP2000003171 A JP 2000003171A JP 10168955 A JP10168955 A JP 10168955A JP 16895598 A JP16895598 A JP 16895598A JP 2000003171 A JP2000003171 A JP 2000003171A
Authority
JP
Japan
Prior art keywords
data
fingering
musical
finger
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10168955A
Other languages
Japanese (ja)
Other versions
JP3233103B2 (en
Inventor
Masatada Wachi
正忠 和智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP16895598A priority Critical patent/JP3233103B2/en
Publication of JP2000003171A publication Critical patent/JP2000003171A/en
Application granted granted Critical
Publication of JP3233103B2 publication Critical patent/JP3233103B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To efficiently perform recording, reproducing and transferring of data without increasing a data amount related to fingering by generating the fingering data and the musical sound performance data, relating them to each other and recording them as the same file or separated files. SOLUTION: In fingering data pickup recording processing, the fingering data from a fingering input device 2K inputted on the data and an address bus 2P through a fingering data interface 2B are picked up to be recorded in a prescribed storage area. In musical data pickup recording processing, the musical sound data from a musical sound input device 2J inputted on the data and the address bus 2P through a musical data interface 2A are picked up to be recorded in the prescribed storage area. The picked up fingering data and musical sound data are recorded so that the timing to be fingering-displayed is related to the utterance timing.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、楽器演奏時の運
指を表示してその演奏教習を支援する運指データ作成装
置及び運指表示装置に係り、特に運指表示に関するデー
タの取扱いに改良を加えた運指データ作成装置及び運指
表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a fingering data creation device and a fingering display device for displaying fingering during musical instrument performance and assisting the performance lesson, and more particularly to the handling of data related to fingering display. The present invention relates to a fingering data creation device and a fingering display device to which are added.

【0002】[0002]

【従来の技術】ピアノなどのように手指によって演奏さ
れる楽器については、その演奏教習時に実際の手指の運
指状態を目視で確認させることは重要な教習方法の一つ
である。この運指の教習方法としては、実際に先生の演
奏を見てその運指方法を習得する方法、ビデオカメラな
どによって録画された先生の運指に関する映像、又はそ
れをアニメーション化した映像などを見てその運指方法
を習得する方法などがある。
2. Description of the Related Art For musical instruments played by fingers, such as a piano, it is one of the important training methods to visually check the actual fingering state of the fingers during the performance training. As a method of teaching fingering, a method of learning the fingering method by actually watching the teacher's performance, a video about the fingering of the teacher recorded by a video camera or the like, or an animated image of the video. There is a method of learning the fingering method.

【0003】[0003]

【発明が解決しようとする課題】従来の運指習得方法の
場合、実際に先生の演奏を見て運指方法を習得する方が
最も分かり易く習得度も高いのが現状である。しかしな
がら、実際に先生に教わるということは時間的や場所的
な困難性を伴う。故に実際はビデオなどの映像を見なが
ら自宅で習得するという場合が多い。これだと繰り返し
練習する場合に、ビデオの巻き戻し再生といった処理を
繰り返さなければならないこと、また、再生スピードを
調整してスローモションで再生する場合に映像が乱れる
などの画質劣化が起こるという問題がある。また、繰り
返し再生することによってメディア(ビデオテープ等)
の劣化が顕著になるという問題がある。
In the conventional fingering acquisition method, at present, it is the easiest to understand the fingering method by actually watching the teacher's performance and the degree of acquisition is high. However, actually teaching with a teacher involves time and location difficulties. Therefore, in many cases, students actually learn at home while watching videos such as videos. In this case, when practicing repeatedly, it is necessary to repeat the processing such as rewind playback of the video, and if the playback speed is adjusted and played back in slow motion, the image quality will deteriorate and the image will be degraded. is there. Media (video tape, etc.) can be played repeatedly.
There is a problem that the deterioration of is remarkable.

【0004】この発明は、楽器演奏時の運指を表示して
その演奏教習を支援する場合の運指に関するデータ量を
増大させることなく、データの記録、再生、転送を効率
的に行うことのできる運指データ作成装置を提供するこ
とを目的とする。
[0004] The present invention is intended to efficiently record, reproduce, and transfer data without increasing the amount of data related to fingering when displaying fingering during musical instrument play and supporting the performance lesson. It is an object of the present invention to provide a fingering data creation device capable of performing fingering.

【0005】この発明は、楽器演奏時の運指を表示して
その演奏教習を支援する場合に、演奏者のレベルに応じ
た任意のスピードで運指に関する映像を画質劣化させる
ことなく表示できる運指表示装置を提供することを目的
とする。
According to the present invention, when fingering during musical instrument performance is displayed to support the performance lesson, an image related to fingering can be displayed at any speed according to the level of the player without deteriorating the image quality. It is an object to provide a finger display device.

【0006】[0006]

【課題を解決するための手段】出願時の請求項1に記載
の本発明に係る運指データ作成装置は、演奏者が楽器を
演奏する際の手指の動きを検出し、運指データを生成す
る運指データ生成手段と、前記楽器の演奏に対応した楽
音演奏データを生成する楽音演奏データ生成手段と、前
記運指データと前記楽音演奏データを関連付けてそれら
を同一のファイル又は別々のファイルとして記録媒体に
記録する記録手段とを備えたものである。運指データ生
成手段は、手指の動きを検出するモーションキャプチャ
ーなどで構成され、手指の表示に必要な最低数の代表点
の動きだけを記録した運指データを生成するものであ
る。楽音演奏データは通常のMIDI規格に準拠したデ
ータであり、タイミングに関するデータを有している。
従って、請求項2に記載の運指データ作成装置のよう
に、楽音演奏データのタイミングデータに運指データを
関連付けて記録することによって、楽音演奏データのタ
イミングデータに基づいて運指データのみの再生を行う
ことができるようになる。また、作成された運指データ
と楽音演奏データに基づいて発音と運指状態の表示を同
期させたり、いずれか一方を先行させて処理することが
できる。
According to a first aspect of the present invention, there is provided a fingering data generating apparatus according to the present invention, which detects a movement of a finger when a player plays a musical instrument and generates fingering data. Fingering data generating means, musical sound performance data generating means for generating musical sound performance data corresponding to the performance of the musical instrument, and associating the fingering data with the musical sound performance data as the same file or separate files. Recording means for recording on a recording medium. The fingering data generating means includes a motion capture for detecting the movement of the finger, and generates fingering data in which only the movement of the minimum number of representative points required for displaying the finger is recorded. The musical sound performance data is data conforming to a normal MIDI standard, and has data relating to timing.
Therefore, the fingering data is recorded in association with the timing data of the musical performance data as in the fingering data generating device according to the second aspect, so that only the fingering data is reproduced based on the timing data of the musical performance data. Will be able to do. Further, based on the created fingering data and musical performance data, the display of the sounding and the fingering state can be synchronized, or one of them can be processed in advance.

【0007】出願時の請求項2に記載の本発明に係る運
指表示装置は、運指データと楽音演奏データとを記録し
ている記録媒体と、前記記録媒体から前記運指データ及
び前記楽音演奏データを読み出すデータ読み出し手段
と、前記データ読み出し手段によって読み出された前記
運指データ及び楽音演奏データに基づいて手指の運指状
態を表示する表示手段とを備えたものである。記録手段
から読み出された前記運指データは手指の表示に必要な
最低数の代表点の動きを記録しており、楽音演奏データ
はこの運指データのタイミングに関するデータを記録し
ているので、表示手段は前記運指データ及び楽音演奏デ
ータに基づいて実際の手指の運指状態を表示することが
できる。
[0007] A fingering display device according to the present invention according to claim 2 at the time of filing is a recording medium on which fingering data and musical performance data are recorded, and the fingering data and the musical sound are recorded from the recording medium. Data reading means for reading performance data; and display means for displaying a fingering state of a finger based on the fingering data and musical performance data read by the data reading means. Since the fingering data read from the recording means records the movement of the minimum number of representative points required for displaying the finger, and the musical performance data records data relating to the timing of the fingering data, The display means can display the actual fingering state of the finger based on the fingering data and the musical performance data.

【0008】出願時の請求項3に記載された本発明に係
る運指表示装置は、運指データと楽音演奏データとを記
録している記録媒体と、前記記録媒体から少なくとも前
記運指データを読み出すデータ読み出し手段と、前記デ
ータ読み出し手段によって読み出された前記運指データ
に基づいて手指の各指に動物、記号、文字などの固有の
図柄を当てはめて、運指状態を表示する表示手段とを備
えたものである。運指データは手指の表示に必要な最低
数の代表点の動きだけを記録したものなので、手指の各
指に動物、記号、文字などの固有の図柄を当てはめるこ
とによって、各指の運指状態を容易に把握することがで
きるようになる。例えば、親指に馬の図柄ら人指し指が
犬の図柄などのようにすることによって、その運指状態
を幼児や子どもなどに分かり易く説明することができ
る。
[0008] A fingering display device according to the present invention described in claim 3 at the time of filing is a recording medium on which fingering data and tone performance data are recorded, and at least the fingering data from the recording medium. Data reading means to be read, display means for applying a unique design such as an animal, a symbol, or a character to each finger of the finger based on the fingering data read by the data reading means, and displaying a fingering state. It is provided with. Since the fingering data records only the movement of the minimum number of representative points necessary for displaying the fingers, the fingering state of each finger is applied by applying a unique design such as animals, symbols, characters, etc. to each finger of the finger. Can be easily grasped. For example, by using a horse symbol and a pointing finger as a dog symbol on the thumb, the fingering state can be easily explained to infants and children.

【0009】出願時の請求項4に記載された本発明に係
る運指表示装置は、運指データと楽音演奏データとを記
録している記録媒体と、前記記録媒体から前記運指デー
タ及び前記楽音演奏データを読み出すデータ読み出し手
段と、前記データ読み出し手段によって読み出された前
記楽音演奏データに基づいた楽音を発生する処理を行う
楽音演奏データ処理手段と、前記データ読み出し手段に
よって読み出された前記運指データに基づいた手指の運
指状態の表示を前記楽音演奏データ処理手段の対応する
楽音演奏データの発音処理に先行して行う表示手段とを
備えたものである。楽音演奏データの発音処理に先行し
て、運指データに基づいた運指状態の表示を行うことに
よって、演奏支援を行うものである。すなわち、運指を
楽音演奏処理よりも先に表示して、演奏者に演奏時の運
指を知らせ、演奏支援を行う。
The fingering display device according to the present invention described in claim 4 at the time of filing is a recording medium on which fingering data and musical performance data are recorded, and the fingering data and the sound data are stored from the recording medium. Data reading means for reading musical performance data, musical performance data processing means for performing processing for generating a musical tone based on the musical performance data read by the data reading means, and the musical performance data read by the data reading means. Display means for displaying the fingering state of the finger based on the fingering data prior to the tone generation processing of the corresponding tone performance data by the tone performance data processing means. Prior to the tone generation processing of the musical performance data, the performance support is performed by displaying the fingering state based on the fingering data. In other words, the fingering is displayed prior to the musical sound performance processing, so that the player is informed of the fingering during the performance, and the performance is supported.

【0010】出願時の請求項1に記載された本発明に係
る運指データ作成装置の一実施態様として、前記運指デ
ータの運指表示するタイミングと前記楽音演奏データの
発音するタイミングとをそれぞれ関連付けて記録するよ
うにしてよい。出願時の請求項2に記載された本発明に
係る運指表示装置の一実施態様として、前記データ読み
出し手段によって読み出された前記楽音演奏データに基
づいた楽音を発生する発音処理及び音階や押鍵位置など
を表示する演奏支援に関する表示処理の少なくとも一方
の処理を行う楽音演奏データ処理手段を備えるようにし
てよい。これにより、運指表示の他に、読み出された楽
音演奏データに基づいて発音処理や演奏支援に関する表
示処理を行うことができる。
In one embodiment of the fingering data creation device according to the present invention described in claim 1 at the time of filing, the timing of fingering display of the fingering data and the timing of sounding of the musical performance data are respectively described. It may be recorded in association with it. As one embodiment of the fingering display device according to the present invention as set forth in claim 2 at the time of filing, a sound generation process for generating a musical tone based on the musical performance data read by the data reading means, and a scale and a press are provided. The musical performance data processing means may be provided for performing at least one of display processing relating to performance support for displaying a key position and the like. Thus, in addition to the fingering display, it is possible to perform a sound generation process and a display process related to performance support based on the read musical performance data.

【0011】上記運指表示装置の一実施態様として、前
記表示手段は、手指の運指状態を表示する際に時間的又
は空間的に異なる前記運指データ間のデータを補間処理
によって生成し、前記手指の運指状態が滑らかに表示さ
れるようにしたものであってよい。運指データは手指の
表示に必要な最低数の代表点の動きだけを記録したもの
であり、或る所定のテンポで押鍵された場合におけるデ
ータなので、そのテンポで再生する場合には滑らかに表
示されるが、テンポが早くなった場合には運指データが
不足し、運指データと運指データとの間の時間的又は空
間的な手指の運指状態を表示することができなくなる。
そこで、そのような場合には運指データ間のデータを補
間処理によって作成し、手指の運指状態が滑らかに表示
されるようにしたものである。
In one embodiment of the fingering display device, the display means generates data between the fingering data that is temporally or spatially different by interpolation processing when displaying a fingering state of a finger, The fingering state of the finger may be displayed smoothly. Fingering data records only the movement of the minimum number of representative points required for displaying a finger, and is data when a key is pressed at a certain predetermined tempo. However, when the tempo is increased, the fingering data becomes insufficient and the temporal or spatial fingering state of the finger between the fingering data cannot be displayed.
Therefore, in such a case, data between fingering data is created by interpolation processing so that the fingering state of a finger is displayed smoothly.

【0012】上記運指表示装置の一実施態様として、前
記運指データを、演奏者の手の位置と各指の位置との相
対的位置関係を示すデータで構成するようにしてよい。
運指データは手指の表示に必要な最低数の代表点の動き
だけを記録したものであるが、この発明はそれを具体的
に示したものである。すなわち、運指データを手の位置
と各指の位置との相対的な位置関係で示すようにした。
As one embodiment of the fingering display device, the fingering data may be constituted by data indicating a relative positional relationship between the position of the player's hand and the position of each finger.
Although the fingering data is obtained by recording only the movement of the minimum number of representative points required for displaying the finger, the present invention specifically shows the movement. That is, the fingering data is indicated by the relative positional relationship between the position of the hand and the position of each finger.

【0013】上記運指表示装置の一実施態様として、前
記運指データに基づいて手指の運指状態をポリゴンなど
の図形要素で描画表示するようにしてよい。運指データ
が手の位置と各指の位置との相対的な位置関係を示すも
のなので、手指の状態をポリゴンなどの図形要素を用い
て描画することによってより簡単に手指の運指状態を表
示することができる。
As one embodiment of the fingering display device, the fingering state of the finger may be drawn and displayed by a graphic element such as a polygon based on the fingering data. Since the fingering data indicates the relative positional relationship between the position of the hand and the position of each finger, the fingering state of the finger can be displayed more easily by drawing the state of the finger using graphic elements such as polygons can do.

【0014】[0014]

【発明の実施の形態】以下、添付図面を参照してこの発
明の実施の形態を詳細に説明する。図1はこの発明に係
る運指表示装置を内蔵した電子楽器の実施の形態を示す
ハード構成ブロック図である。この実施の形態では1つ
のCPU21によって運指表示に関する処理等を行う電
子楽器を例に説明する。CPU21はこの電子楽器全体
の動作を制御するものである。このCPU21に対し
て、データ及びアドレスバス2Pを介してプログラムメ
モリ(ROM)22、ワーキングメモリ(RAM)2
3、マウス検出回路24、スイッチ検出回路25、表示
回路26、外部記憶装置27、音源回路28、効果回路
29、楽音信号インターフェイス2A、運指データイン
ターフェイス2B、通信インターフェイス2C及びタイ
マ2Dが接続されている。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a block diagram of a hardware configuration showing an embodiment of an electronic musical instrument incorporating a fingering display device according to the present invention. In this embodiment, an electronic musical instrument in which one CPU 21 performs a process related to fingering display and the like will be described as an example. The CPU 21 controls the operation of the electronic musical instrument as a whole. A program memory (ROM) 22 and a working memory (RAM) 2 are supplied to the CPU 21 via a data and address bus 2P.
3, mouse detection circuit 24, switch detection circuit 25, display circuit 26, external storage device 27, sound source circuit 28, effect circuit 29, musical sound signal interface 2A, fingering data interface 2B, communication interface 2C, and timer 2D are connected. I have.

【0015】CPU21はプログラムメモリ22及びワ
ーキングメモリ23内の各種プログラムや各種データ、
及び外部記憶装置27や楽音信号インターフェイス2A
から取り込まれた楽音制御情報(MIDIデータ)や運
指データインターフェイス2Bから取り込まれた運指情
報に基づいて動作する。この実施の形態では、外部記憶
装置27として、ハードディスクドライブ(HDD)、
フロッピーディスクドライブ(FDD)、CD−ROM
ドライブ、光磁気ディスク(MO)ドライブ、ZIPド
ライブ、PDドライブ、DVDなどを用いてもよい。ま
た、楽音信号インターフェイス2Aを介して他の楽音入
力装置(例えば、MIDI機器)2JなどからMIDI
データなどを取り込んでもよいし、通信インターフェイ
ス2Cを介してネット上からMIDIデータなどを取り
込んでもよい。CPU21は、MIDIデータを音源回
路28に供給し、発音処理を行う。なお、内蔵の音源回
路28の他にMIDIケーブルを介して外部に接続され
た音源回路を用いて発音処理を行うようにしてもよい。
The CPU 21 includes various programs and various data in the program memory 22 and the working memory 23.
And an external storage device 27 and a tone signal interface 2A.
It operates based on the musical tone control information (MIDI data) fetched from the fingering information interface 2B. In this embodiment, as the external storage device 27, a hard disk drive (HDD),
Floppy disk drive (FDD), CD-ROM
A drive, a magneto-optical disk (MO) drive, a ZIP drive, a PD drive, a DVD, or the like may be used. Also, a MIDI input device (for example, a MIDI device) 2J or the like via the musical tone signal interface 2A transmits MIDI data.
Data or the like may be fetched, or MIDI data or the like may be fetched from a network via the communication interface 2C. The CPU 21 supplies the MIDI data to the tone generator circuit 28 and performs a sound generation process. Note that, in addition to the built-in tone generator circuit 28, the tone generation process may be performed using a tone generator circuit externally connected via a MIDI cable.

【0016】プログラムメモリ22はCPU21のシス
テム関連のプログラムや各種のパラメータ及びデータな
どを記憶しているものであり、リードオンリメモリ(R
OM)で構成されている。ワーキングメモリ23はCP
U21がプログラムを実行する際に発生する各種のデー
タを一時的に記憶するものであり、ランダムアクセスメ
モリの所定のアドレス領域がそれぞれ割り当てられ、レ
ジスタやフラグ等として利用される。またプログラムメ
モリ22に動作プログラム、各種データなどを記憶させ
る代わりに、CD−ROMドライブ等の外部記憶装置2
7に自動演奏データや伴奏データや楽音波形データなど
の各種データ及び任意の動作プログラム、運指データ、
運指データに関する図柄や記号に関するデータなどを記
憶していてもよい。外部記憶装置27に記憶されている
動作プログラムや各種データは、ワーキングメモリ23
等に転送記憶させることができる。これにより、動作プ
ログラムの新規のインストールやバージョンアップを容
易に行うことができる。
The program memory 22 stores programs related to the system of the CPU 21, various parameters and data, and the like.
OM). Working memory 23 is CP
The U21 temporarily stores various data generated when the U21 executes the program, and a predetermined address area of the random access memory is allocated to each of them and used as a register, a flag, or the like. Instead of storing the operation program and various data in the program memory 22, an external storage device 2 such as a CD-ROM drive is used.
7. Various data such as automatic performance data, accompaniment data, musical sound waveform data, and any operation program, fingering data,
A pattern related to fingering data, data related to a symbol, or the like may be stored. The operation programs and various data stored in the external storage device 27 are stored in the working memory 23.
Etc. can be transferred and stored. This makes it possible to easily perform new installation and version upgrade of the operation program.

【0017】なお、通信インターフェイス2Cをデータ
及びアドレスバス2Pに接続し、この通信インターフェ
イス2Cを介してLAN(ローカルエリアネットワー
ク)やインターネット、電話回線などの種々の通信ネッ
トワーク2L上に接続可能とし、他のサーバコンピュー
タ2Mとの間でデータのやりとりを行うようにしてもよ
い。これにより、サーバコンピュータ2Mから動作プロ
グラムや各種データをダウンロードすることもできる。
この場合、クライアントとなる電子楽器から、通信イン
ターフェイス2C及び通信ネットワーク2Lを介してサ
ーバコンピュータ2Mに動作プログラムや各種データの
ダウンロードを要求するコマンドを送信する。サーバコ
ンピュータ2Mは、このコマンドに応じて、所定の動作
プログラムやデータを、通信ネットワーク2Lを介して
他の電子楽器に送信する。電子楽器では、通信インター
フェイス2Cを介してこれらの動作プログラムやデータ
を受信して、外部記憶装置の一部であるハードディスク
ドライブ等にこれらのプログラムやデータを蓄積する。
これによって、動作プログラム及び各種データのダウン
ロードが完了する。
The communication interface 2C is connected to a data and address bus 2P, and can be connected to various communication networks 2L such as a LAN (local area network), the Internet, and a telephone line via the communication interface 2C. May be exchanged with the server computer 2M. Thus, the operation program and various data can be downloaded from the server computer 2M.
In this case, a command requesting download of an operation program and various data is transmitted from the electronic musical instrument serving as a client to the server computer 2M via the communication interface 2C and the communication network 2L. In response to this command, server computer 2M transmits a predetermined operation program or data to another electronic musical instrument via communication network 2L. The electronic musical instrument receives these operation programs and data via the communication interface 2C and stores these programs and data in a hard disk drive or the like which is a part of the external storage device.
Thus, the download of the operation program and various data is completed.

【0018】なお、本発明は、本発明に対応する動作プ
ログラムや各種データをインストールした市販のパーソ
ナルコンピュータ等によって、実施させるようにしても
よい。その場合には、本発明に対応する動作プログラム
や各種データを、CD−ROMやフロッピーディスク等
の、パーソナルコンピュータが読み込むことができる記
憶媒体に記憶させた状態で、ユーザーに提供してもよ
い。また、そのパーソナルコンピュータ等が、LAN、
インターネット、電話回線等の通信ネットワークに接続
されている場合には、通信ネットワークを介して、動作
プログラムや各種データ等を他のパーソナルコンピュー
タ等に提供してもよい。
The present invention may be implemented by a commercially available personal computer or the like in which an operation program and various data corresponding to the present invention are installed. In that case, the operation program and various data corresponding to the present invention may be provided to the user in a state where the program is stored in a storage medium such as a CD-ROM or a floppy disk which can be read by a personal computer. In addition, the personal computer is a LAN,
When connected to a communication network such as the Internet or a telephone line, the operation program or various data may be provided to another personal computer or the like via the communication network.

【0019】マウス2Eはパソコン等に用いられるポイ
ンティングデバイスである。マウス2Eからの入力信号
はマウス検出回路24によって位置情報に変換され、デ
ータ及びアドレスバス2Pに供給される。スイッチ検出
回路25はパネルスイッチ2F上の各スイッチ群に対応
して設けられており、これらの各スイッチ群の操作状況
に応じたスイッチオン/オフイベントを出力する。パネ
ルスイッチ2F上のスイッチ群としては、例えば運指情
報や楽音信号の記録モードや再生モードを変更するモー
ド変更スイッチ、運指データの運指映像を再生するのか
又はMIDIデータの演奏を行うのか、その再生時のテ
ンポ又は音色を変更するのかなどの各種の再生条件を変
更する再生条件変更スイッチ、モーションキャプチャー
の方式を変更するキャプチャー方式変更スイッチ、楽音
入力手段をMIDIデータで入力するか、マイクロフォ
ンからアナログ信号として入力するかを変更する楽音入
力手段変更スイッチなどの録音条件の変更スイッチ、そ
の他種々の条件の変更を指示する変更スイッチなどが設
けられている。この他にも発生すべき楽音の音色、音
量、音高、効果等を選択、設定、制御するための各種の
操作子を有している。これ以外のスイッチも多数存在す
るがここでは省略する。なお、これらのハード的なスイ
ッチの他には、ディスプレに各種のスイッチを表示し、
それをマウス2Eでソフト的に選択できるようにしても
よい。表示回路26はディスプレイ2Gの表示内容を制
御するものであり、疑似的な鍵盤や運指の様子を二次元
的又は三次元的に表示する。ディスプレイ2Gは液晶表
示パネル(LCD)等から構成され、表示回路26によ
ってその表示動作を制御される。
The mouse 2E is a pointing device used for a personal computer or the like. The input signal from the mouse 2E is converted into position information by the mouse detection circuit 24 and supplied to the data and address bus 2P. The switch detection circuit 25 is provided corresponding to each switch group on the panel switch 2F, and outputs a switch on / off event according to the operation status of each switch group. The switch group on the panel switch 2F includes, for example, a mode change switch for changing a recording mode or a reproduction mode of fingering information or a musical sound signal, whether to play fingering data of fingering data or to play MIDI data, A reproduction condition change switch for changing various reproduction conditions such as whether the tempo or tone at the time of the reproduction is changed, a capture method change switch for changing a motion capture method, a musical sound input means can be inputted by MIDI data, or inputted from a microphone. There are provided a recording condition change switch such as a musical sound input means change switch for changing whether or not to input as an analog signal, and a change switch for instructing change of various conditions. In addition, it has various controls for selecting, setting, and controlling the tone color, volume, pitch, effect, and the like of the musical tone to be generated. There are many other switches, but they are omitted here. In addition to these hardware switches, various switches are displayed on the display,
You may make it selectable by software with the mouse 2E. The display circuit 26 controls the display content of the display 2G, and displays two-dimensional or three-dimensional pseudo keyboard and fingering. The display 2G is composed of a liquid crystal display panel (LCD) or the like, and its display operation is controlled by the display circuit 26.

【0020】音源回路28は、複数チャンネルで楽音信
号の同時発生が可能であり、アドレスバス2Pを経由し
て与えられた楽音データ(MIDI規格に準拠したデー
タ:MIDIデータ)を入力し、この情報に基づき楽音
信号を発生する。音源回路28において複数チャンネル
で楽音信号を同時に発音させる構成としては、1つの回
路を時分割で使用することによって複数の発音チャンネ
ルを形成するようなものや、1つの発音チャンネルが1
つの回路で構成されるような形式のものであってもよ
い。また、音源回路28における楽音信号発生方式はい
かなるものを用いてもよい。
The tone generator circuit 28 is capable of simultaneously generating musical tone signals on a plurality of channels, receives musical tone data (data conforming to the MIDI standard: MIDI data) provided via an address bus 2P, and receives this information. The tone signal is generated based on The tone generator circuit 28 can simultaneously generate tone signals on a plurality of channels by using a single circuit in a time-division manner to form a plurality of tone channels, or by setting one tone channel to one.
It may be of a type configured with one circuit. Further, any tone signal generation method in the tone generator circuit 28 may be used.

【0021】効果回路29は音源回路28からの楽音デ
ータに種々の効果を付与し、効果の付与された楽音デー
タをサウンドシステム2Hに出力する。効果回路29に
よって効果の付与された楽音データは、アンプ及びスピ
ーカからなるサウンドシステム2Hを介して発音され
る。タイマ2Dは時間間隔を計数したり、自動演奏のテ
ンポを設定したりするためのテンポクロックパルスを発
生するものである。このテンポクロックパルスの周波数
はスイッチ群の中のテンポスイッチ(図示していない)
によって調整される。タイマ2Nからのテンポクロック
パルスはCPU21に対してインタラプト命令として与
えられ、CPU21はインタラプト処理により自動演奏
時における各種の処理を実行する。
The effect circuit 29 applies various effects to the tone data from the tone generator 28 and outputs the tone data to which the effect has been applied to the sound system 2H. The tone data to which the effect is given by the effect circuit 29 is generated through a sound system 2H including an amplifier and a speaker. The timer 2D generates a tempo clock pulse for counting a time interval and setting a tempo for automatic performance. The frequency of this tempo clock pulse is determined by the tempo switch (not shown) in the switch group.
Will be adjusted by The tempo clock pulse from the timer 2N is given to the CPU 21 as an interrupt command, and the CPU 21 executes various processes during the automatic performance by the interrupt process.

【0022】楽音入力装置2Jは発音すべき楽音の音
高、音長、ベロシティなどのデータを入力するものであ
り、鍵盤楽器の鍵盤又はマイクロフォン等である。楽音
入力装置2Jが鍵盤の場合、各鍵には対応したキースイ
ッチが設けられ、また必要に応じて押圧力検出装置等の
タッチ検出手段が設けられる。なお、以下の説明では鍵
盤楽器の場合の運指方法を例に説明する。従って、楽音
入力装置2Jは鍵盤の離鍵状態から押鍵状態への変化を
検出してキーオンイベントを出力し、押鍵状態から離鍵
状態への変化を検出してキーオフイベントを出力すると
共にそれぞれのキーオンイベント及びキーオフイベント
に関する鍵の音高を示すノートナンバを出力する。楽音
入力装置2Jはこの他にも鍵押し下げ時の押鍵操作速度
や押圧力等を判別してベロシティデータやアフタタッチ
データを出力する。楽音入力装置2Jは、鍵盤以外の演
奏操作子でもよいことはいうまでもない。楽音データイ
ンターフェイス2Aは楽音入力装置2Jからの各イベン
ト信号又はマイクロフォンからの音信号を所定の方式に
よってMIDIデータに変換して、データ及びアドレス
バス2P上に出力する。なお、マイクロフォンから入力
された音声又は楽器音をMIDIデータに変換する技術
は公知の技術を適用する。
The musical sound input device 2J is for inputting data such as pitch, length, velocity and the like of a musical sound to be produced, and is a keyboard of a keyboard instrument or a microphone. When the musical sound input device 2J is a keyboard, each key is provided with a corresponding key switch, and, if necessary, a touch detecting means such as a pressing force detecting device. In the following description, a fingering method for a keyboard instrument will be described as an example. Accordingly, the tone input device 2J detects a change from the key release state to the key depressed state of the keyboard and outputs a key-on event, detects a change from the key depressed state to the key released state, outputs a key-off event, and outputs a key-off event. Output a note number indicating the pitch of the key related to the key-on event and the key-off event. The tone input device 2J also outputs the velocity data and the after touch data by determining the key pressing operation speed and the pressing force when the key is pressed. It goes without saying that the musical sound input device 2J may be a performance operator other than the keyboard. The tone data interface 2A converts each event signal from the tone input device 2J or a tone signal from the microphone into MIDI data by a predetermined method, and outputs the MIDI data to the data and address bus 2P. In addition, a known technique is applied to a technique for converting a voice or a musical instrument sound input from a microphone into MIDI data.

【0023】運指入力装置2Kは、3Dコンピュータグ
ラフィックスによる映像制作に使用されるモーションキ
ャプチャーと呼ばれる技術によって、演奏時の複雑な人
間の手指の空間的絶対位置情報すなわち手指に対応した
リフレクタの位置情報を取り込むものである。モーショ
ンキャプチャーシステムとしては、光学式のものを用い
たり、磁気式のものを用いたり、手指の先端に設けられ
た圧力センサに応じてどの指がどの鍵を押鍵しているの
か検出する押鍵センサを用いて手指の動作に関するデー
タを取り込む。すなわち、光学式のモーションキャプチ
ャーシステムは人間の手指の各間接部分にリフレクタ
(反射物)を取り付け、このリフレクタの映像を複数の
カメラシステムで撮像し、それに基づいて手指の動きを
取り込む。磁気式のモーションキャプチャーシステムは
このリフレクタの代わりに磁気センサを用いて手指の動
きを取り込む。また、手指の先端に圧力センサを設けた
ものは、これらのモーションキャプチャーシステムの補
助的役割として用いられる。すなわち、モーションキャ
プチャーによる手指の動きだけでは、実際の押鍵タイミ
ングを認識しにくい場合などに、この手指に設けられた
圧力センサの信号の変化からその押鍵タイミングを認識
し、どの指がどの鍵を押鍵したか離鍵したかも検出す
る。以下、光学式のものをモーションキャプチャー1と
呼び、磁気式のものをモーションキャプチャー2と呼
ぶ。なお、このモーションキャプチャー技術については
公知の技術を適用するので、ここではその説明を省略す
る。運指入力装置2Kによって取り込まれたリフレクタ
又は磁気センサの位置情報は運指データインターフェイ
ス2Bによって運指データとしてデータ及びアドレスバ
ス2P上に出力され、CPU21によって処理される。
CPU21はアニメーションシステムを利用して、取り
込まれた運指データに基づいて、人間の手指の映像を作
成する。作成された手指の映像は表示回路26によって
ディスプレイ2G上に表示される。
The fingering input device 2K employs a technique called motion capture, which is used in video production by 3D computer graphics, to obtain information on the spatial absolute position of a complex human finger at the time of performance, that is, the position of the reflector corresponding to the finger. It captures information. As the motion capture system, an optical type, a magnetic type, or a key press that detects which finger is pressing which key according to the pressure sensor provided at the tip of the finger Using a sensor, data on the movement of a finger is captured. That is, the optical motion capture system attaches a reflector (reflector) to each indirect portion of a human finger, captures images of the reflector with a plurality of camera systems, and captures the movement of the finger based on the image. Magnetic motion capture systems use a magnetic sensor instead of this reflector to capture finger movements. Further, a device provided with a pressure sensor at the tip of a finger is used as an auxiliary role of these motion capture systems. That is, when it is difficult to recognize the actual key press timing only by the movement of the finger by the motion capture, the key press timing is recognized based on a change in the signal of the pressure sensor provided on the finger, and which finger is Also detects whether the key is pressed or released. Hereinafter, the optical type is called a motion capture 1 and the magnetic type is called a motion capture 2. Since a known technique is applied to this motion capture technique, description thereof is omitted here. The position information of the reflector or the magnetic sensor captured by the fingering input device 2K is output as fingering data on the data and address bus 2P by the fingering data interface 2B, and is processed by the CPU 21.
The CPU 21 creates an image of a human finger based on the taken fingering data using an animation system. The created finger image is displayed on the display 2G by the display circuit 26.

【0024】次に、CPU21によって実行される運指
表示装置の処理の一実施の形態を図2から図7までのフ
ローチャートに基づいて説明する。図2はこの運指表示
装置のメインフローの一例を示す図である。まず、最初
のステップで初期設定処理が行われる。この初期設定処
理では、各パラメータの設定や各レジスタの初期化など
が行われる。次のステップのパネル設定処理では、図3
に示されるようにパネル上のモード変更スイッチ、再生
条件変更スイッチ、録音条件変更スイッチ、その他の条
件変更スイッチが操作されたかどうかに応じた処理を行
う。モード変更スイッチが操作された場合にはモード変
更イベントありと判定されるので、現行のモードにて処
理を実施中であるか否かを判定し、現行モードと同じモ
ード変更イベントの場合には次の再生条件変更イベント
の有無を判定するステップに進み、現行のモードと異な
るモード変更イベントの場合には、モードを現行モード
とは異なる録音モード又は再生モードに変更し、次の再
生条件変更イベントの有無を判定するステップに進む。
Next, one embodiment of the processing of the fingering display device executed by the CPU 21 will be described with reference to the flowcharts of FIGS. FIG. 2 is a diagram showing an example of a main flow of the fingering display device. First, an initial setting process is performed in the first step. In this initial setting process, setting of each parameter, initialization of each register, and the like are performed. In the panel setting process of the next step, FIG.
As shown in (1), processing is performed according to whether or not a mode change switch, a reproduction condition change switch, a recording condition change switch, and other condition change switches on the panel are operated. When the mode change switch is operated, it is determined that there is a mode change event. Therefore, it is determined whether or not processing is being performed in the current mode. Proceed to the step of determining the presence / absence of a playback condition change event, and in the case of a mode change event different from the current mode, change the mode to a recording mode or playback mode different from the current mode, and Proceed to the step of determining the presence or absence.

【0025】再生条件変更スイッチが操作された場合に
は、再生条件変更イベントありと判定されるので、その
イベントが再生するデータの変更を指示するものなのか
どうか、再生時のテンポ変更を指示するイベントなの
か、音色変更を指示するイベントなのかどうか、又はそ
の他の条件の変更を指示するイベントなのかどうかの判
定を行い、その判定結果に応じた処理を行う。再生デー
タの変更を指示するイベントの場合にはその指示に従っ
た運指データ又はMIDIデータを読み出すようにす
る。テンポ変更イベントの場合にはその指示に従ったテ
ンポに変更する。音色変更イベントの場合にはその指示
に従った音色に変更する。なお、その他の条件の変更を
指示するイベントの場合にはそのイベントに応じて再生
条件の変更処理を行う。
When the reproduction condition change switch is operated, it is determined that there is a reproduction condition change event. Therefore, it is instructed whether or not the event instructs to change the data to be reproduced, and whether to change the tempo during reproduction. It is determined whether the event is an event, an event instructing a tone change, or an event instructing a change in other conditions, and a process is performed according to the determination result. In the event of an instruction to change the reproduction data, fingering data or MIDI data according to the instruction is read. In the case of a tempo change event, the tempo is changed according to the instruction. In the case of a tone change event, the tone is changed to the tone according to the instruction. In the case of an event instructing a change of another condition, a process of changing a reproduction condition is performed according to the event.

【0026】録音条件変更スイッチが操作された場合に
は、録音条件変更イベント有りと判定されるので、その
イベントがモーションキャプチャー方式の変更を指示す
るイベントなのかどうか、楽音入力手段の変更を指示す
るイベントなのかどうかの判定を行い、その判定結果に
応じた処理を行う。モーションキャプチャー方式の変更
を指示するイベントの場合にはその指示に従ってモーシ
ョンキャプチャー方式を変更する。楽音入力手段の変更
を指示するイベントの場合には、その指示に従いMID
Iデータ入力又はマイクロフォン入力に変更する。な
お、その他の条件の変更を指示するイベントの場合には
そのイベントに応じて録音条件の変更処理を行う。
When the recording condition change switch is operated, it is determined that there is a recording condition change event. Therefore, it is instructed whether or not the event is an event for instructing a change in the motion capture method, and to change the musical sound input means. It is determined whether the event is an event, and a process is performed according to the determination result. In the case of an event that instructs to change the motion capture method, the motion capture method is changed according to the instruction. In the event of an instruction to change the musical sound input means, the MID is
Change to I data input or microphone input. In the case of an event that instructs a change of another condition, the recording condition is changed in accordance with the event.

【0027】パネル設定処理が終了した場合には、図2
に戻って、現在、記録モードが選択されているのか、再
生モードが選択されているのかを判定し、それぞれのモ
ードに応じた処理を行う。記録モードが選択されている
場合には、図4に示すような記録モード処理が行われ
る。図4の記録モード処理は、録音開始イベント又は録
音停止イベントの有無に応じた処理を行う。録音開始イ
ベントありの場合には、運指データピックアップ記録処
理と楽音データピックアップ記録処理を行う。運指デー
タピックアップ記録処理は、運指データインターフェイ
ス2Bを経由してデータ及びアドレスバス2P上に入力
される運指入力装置2Kからの運指データをピックアッ
プし、それを所定の記憶領域に記録するものである。楽
音データピックアップ記録処理は、楽音データインター
フェイス2Aを経由してデータ及びアドレスバス2P上
に入力される楽音入力装置2Jからの楽音データをピッ
クアップし、それを所定の記憶領域に記録するものであ
る。このとき、ピックアップされた運指データと楽音デ
ータはそれぞれ運指表示するタイミングと発音するタイ
ミングとが関連付けられて記録される。これによって、
運指データと楽音データを同期させて処理することや、
いずれか一方を先行させて処理することができる。
When the panel setting process is completed, FIG.
Then, it is determined whether the recording mode or the reproduction mode is currently selected, and the processing corresponding to each mode is performed. When the recording mode is selected, a recording mode process as shown in FIG. 4 is performed. The recording mode processing in FIG. 4 performs processing according to the presence or absence of a recording start event or a recording stop event. If there is a recording start event, fingering data pickup recording processing and musical sound data pickup recording processing are performed. The fingering data pick-up recording process picks up the data via the fingering data interface 2B and the fingering data input from the fingering input device 2K on the address bus 2P, and records it in a predetermined storage area. Things. The tone data pickup recording process is to pick up data and tone data from the tone input device 2J input to the address bus 2P via the tone data interface 2A and record it in a predetermined storage area. At this time, the picked fingering data and the musical sound data are recorded in association with the fingering display timing and the sounding timing, respectively. by this,
Synchronize and process fingering data and music data,
Either one can be processed first.

【0028】運指データピックアップ処理の詳細は、図
5に示すような処理であり、モーションキャプチャーの
モードがモーションキャプチャー1なのかモーションキ
ャプチャー2なのかを判定し、それぞれのモードに応じ
た処理を行う。モーションキャプチャー1の場合には、
カメラシステムを駆動し、手指の映像を取り込み、リフ
レクタの動きを解析し、それを運指データとして記録す
る。運指データは、演奏者の手の位置と各指の位置との
関係を相対的に示したものであり、その表示に必要な最
低数の代表点の動きを記録して構成される。従って、手
指の図形要素を視覚化するのは、再生側のアプリケーシ
ョンすなわち図1のCPU21の処理によって行われ
る。従って、運指データ自体のデータ量は手指の画像を
撮像する場合に比べて比較的少ない情報量で構成され、
記録、伝送に適したデータ構成である。モーションキャ
プチャー2の場合には、磁気センサの信号を取り込み、
磁気センサ信号に基づいて手指の動きを解析し、それを
運指データとして記録する。楽音データピックアップ記
録処理の詳細は、図6に示すような処理であり、楽音入
力手段2Jの入力モードがMIDIモードなのか、リア
ル楽音モード(マイクロフォンを使った入力モード)な
のかを判定し、それぞれのモードに応じた処理を行う。
MIDIモードの場合には、入力されたMIDIデータ
を順次記録するという処理を行う。リアル楽音モードの
場合は、マイクロフォンからのアナログの入力音声信号
又は楽音信号を取り込み、その入力音声信号又は楽音信
号の波形に基づいてピッチを測定し、音高(ノート)を
決定し、決定された音高(ノート)をMIDIデータフ
ォーマットで記録する。一方、図4の判定が録音停止イ
ベントありと判定された場合には、運指データのピック
アップを停止すると共に、楽音データのピックアップを
停止し、記憶領域への記録処理を共に終了する。
The details of the fingering data pick-up processing are as shown in FIG. 5, in which it is determined whether the mode of the motion capture is the motion capture 1 or the motion capture 2, and the processing according to each mode is performed. . In case of motion capture 1,
It drives the camera system, captures images of fingers, analyzes the movement of the reflector, and records it as fingering data. The fingering data relatively indicates the relationship between the position of the player's hand and the position of each finger, and is configured by recording the movement of the minimum number of representative points required for the display. Therefore, visualization of the graphic element of the finger is performed by the application on the reproduction side, that is, the processing of the CPU 21 in FIG. Therefore, the data amount of the fingering data itself is composed of a relatively small amount of information as compared with the case of capturing an image of a finger,
This is a data structure suitable for recording and transmission. In the case of motion capture 2, the signal of the magnetic sensor is taken in,
The movement of the finger is analyzed based on the magnetic sensor signal, and the analysis is recorded as fingering data. The details of the musical tone data pickup recording process are as shown in FIG. 6, and it is determined whether the input mode of the musical tone input means 2J is the MIDI mode or the real musical tone mode (input mode using a microphone). The processing according to the mode is performed.
In the case of the MIDI mode, a process of sequentially recording the input MIDI data is performed. In the case of the real tone mode, an analog input voice signal or tone signal from a microphone is taken in, a pitch is measured based on the waveform of the input voice signal or tone signal, and a pitch (note) is determined. The pitch (note) is recorded in the MIDI data format. On the other hand, if it is determined in FIG. 4 that the recording stop event is present, the pickup of the fingering data is stopped, the pickup of the musical sound data is stopped, and the recording process to the storage area is ended.

【0029】一方、図2の判定で再生モードが選択され
ていると判定された場合には、図7に示すような再生モ
ード処理が行われる。再生モード処理は、再生開始イベ
ント又は再生停止イベントに応じた処理を行う。再生開
始イベントと判定された場合には、予め選択されている
運指データとMIDIデータを所定の記憶領域から読み
出す。そして、読み出された運指データをそのときの再
生テンポに応じて補間する。すなわち、運指データはあ
る特定のテンポに対応して記録されたデータなので、テ
ンポの値がその特定のテンポの値よりも小さくなったに
は運指データの再生時に画像データが飛び飛びの値を取
るようになるために、手指の動きが離散的となり、映像
が不安定なものとなる。そこで、このステップでは運指
データを補間して、再生テンポに応じた手指の動きが滑
らかになるようにしている。逆にテンポの値が特定のテ
ンポの値よりも大きい場合には、逆に運指データを間引
いて画像処理の負担を少なくする。このようにして補間
処理された運指データ又は間引かれた運指データに基づ
いてポリゴン等で表現した画像データを作成する。な
お、運指データの記録密度を圧縮するために、運指デー
タを間引いて記録しておき、それを演奏テンポに応じて
補間処理するようにしてもよい。練習時にテンポの設定
を変更したい場合など、自由に変更することができ、ま
た、滑らかで見やすい運指状態を表示することができ
る。また、運指データそのものの代表点が少ないので、
演算に要する時間も少なくて済み、CPUの負担を軽減
することもできる。
On the other hand, if it is determined in FIG. 2 that the reproduction mode has been selected, the reproduction mode processing as shown in FIG. 7 is performed. The playback mode process performs a process according to a playback start event or a playback stop event. When it is determined that the event is a reproduction start event, the fingering data and MIDI data selected in advance are read from a predetermined storage area. Then, the read fingering data is interpolated according to the playback tempo at that time. That is, since the fingering data is data recorded corresponding to a specific tempo, if the tempo value becomes smaller than the specific tempo value, the image data may have a discrete value when the fingering data is reproduced. In order to take it, the movement of the finger becomes discrete, and the image becomes unstable. Therefore, in this step, the fingering data is interpolated so that the movement of the finger according to the reproduction tempo becomes smooth. Conversely, when the tempo value is larger than the specific tempo value, the fingering data is thinned to reduce the load of image processing. Image data represented by polygons or the like is created based on the fingering data subjected to the interpolation processing or the thinned fingering data. In order to compress the recording density of the fingering data, the fingering data may be thinned out and recorded, and may be subjected to interpolation processing according to the performance tempo. For example, when the user wants to change the tempo setting during practice, the user can freely change the tempo, and a smooth and easy-to-see fingering state can be displayed. Also, there are few representative points of fingering data itself,
The time required for the calculation can be reduced, and the load on the CPU can be reduced.

【0030】運指データの各指に図柄や記号などが割り
当てられている場合には、それらの図柄データ又は記号
データを所定のテーブルから読み出す。MIDIデータ
に関しては、そのMIDIデータに基づいて音階を検出
し、予め設定されている再生条件(テンポ、音色等)に
応じて発音処理を行う。すなわち、MIDIデータに基
づいた通常の自動演奏処理を行う。この自動演奏処理に
同期させて、ポリゴンの画像データ、すなわち鍵盤とそ
の手指の運指状態、その運指の各指に割り当てられてい
る図柄又は記号、音階などの各種情報をディスプレイ2
G上に表示する。一方、図7の判定で再生停止イベント
であると判定された場合には、運指データとMIDIデ
ータの読み出しとその出力処理を停止する。手指の運指
状態は、ボリゴンなどで表現した手指図形要素等を、運
指データに従って鍵盤図形上を動かすことに表示される
ようになる。
When a symbol or a symbol is assigned to each finger of the fingering data, the symbol or symbol data is read from a predetermined table. As for the MIDI data, a musical scale is detected based on the MIDI data, and a tone generation process is performed according to preset reproduction conditions (tempo, tone color, etc.). That is, normal automatic performance processing based on the MIDI data is performed. In synchronization with the automatic performance processing, image information of polygons, that is, various information such as a fingering state of a keyboard and its fingers, a symbol or a symbol assigned to each finger of the fingering, and a musical scale are displayed.
Display on G. On the other hand, when it is determined that the event is the reproduction stop event in the determination of FIG. 7, the reading of the fingering data and the MIDI data and the output processing thereof are stopped. The fingering state of a finger is displayed by moving a finger graphic element or the like represented by a polygon on a keyboard figure according to fingering data.

【0031】図2の記録モード又は再生モードに対応し
た処理が終了したら、今度は、楽音データインターフェ
イス2Aを経由して入力される楽音入力装置2Jからの
楽音データがキーオンイベントなのかキーオフイベント
なのかを判定して、それに対応した処理を行う。すなわ
ち、鍵盤操作に応じて発音処理を行う電子楽器の基本的
な発音処理又は消音処理を行う。キーオンイベントの場
合には、対応する鍵の楽音データの出力処理(発音処
理)を行い、キーオフイベントの場合には、対応する鍵
の楽音データの停止処理(消音処理)を行う。
When the processing corresponding to the recording mode or the reproduction mode of FIG. 2 is completed, it is determined whether the tone data from the tone input device 2J input via the tone data interface 2A is a key-on event or a key-off event. Is determined, and processing corresponding to the determination is performed. That is, a basic sound generation process or a silence process of an electronic musical instrument that performs a sound generation process according to a keyboard operation is performed. In the case of a key-on event, an output process of tone data of a corresponding key (sounding process) is performed, and in the case of a key-off event, a stop process of tone data of a corresponding key (silence process) is performed.

【0032】図8は、本実施例の運指表示装置の表示画
面の一例を示す図であり、各指に動物の図柄が割り当て
られたものである。左手には左向きの動物の図柄が、右
手には右向きの動物の図柄がそれぞれ割り当てられる。
このように動物の図柄の割り当てられた手指がアニメー
ションシステム上で動作することになる。これによっ
て、どの指が押鍵に関与しているのかが視覚的に容易に
認識可能である。また、鍵盤などの白鍵や黒鍵中にこれ
らの動物の図柄を表示して、押鍵ガイドを行うようにし
てもよい。これにより、押鍵される鍵と手指との関係を
操作者に容易に認識させることができるようになり、運
指の練習に大きな効果を与えることができる。また、図
柄の色を押鍵の順番に従って色替えしてもよい。なお、
図柄は動物以外の人間の父母姉兄赤ちゃんなどの図柄
や、『1,2,3,4,5,・・・』、『A,B,C,
D,E,・・・』、『あ,い,う,え,お,・・・』な
どの文字記号などを用いてもよい。
FIG. 8 is a view showing an example of a display screen of the fingering display device of the present embodiment, in which an animal design is assigned to each finger. A left-facing animal pattern is assigned to the left hand, and a right-facing animal pattern is assigned to the right hand.
In this way, the finger to which the animal design is assigned operates on the animation system. This makes it easy to visually recognize which finger is involved in key depression. Alternatively, the symbols of these animals may be displayed in a white key or a black key such as a keyboard to perform key pressing guide. This makes it possible for the operator to easily recognize the relationship between the key to be pressed and the finger, which can have a great effect on the practice of fingering. Further, the color of the symbol may be changed in accordance with the order of key depression. In addition,
The pattern is a pattern of human parents, siblings and baby other than animals, "1, 2, 3, 4, 5, ...", "A, B, C,
, D, E,... And "A, I, U, E, O,...".

【0033】なお、上述の実施の形態では音源回路、自
動演奏装置及び運指表示装置を内蔵した電子楽器につい
て説明したが、電子楽器と、パーソナルコンピュータを
接続して、パーソナルコンピュータのディスプレイ上に
運指映像を表示してもよい。また、図1のパネルスイッ
チ2Fをパーソナルコンピュータのキーボードで代用し
てもよい。鍵盤楽器に限らず、弦楽器タイプ、管楽器タ
イプ、打楽器タイプ等の形態でもよい。音源装置、自動
演奏装置などを内蔵した電子楽器に限らず、それぞれが
別体の装置であり、MIDIや各種ネットワーク等の通
信手段を用いて各装置を接続するものであってもよい。
In the above-described embodiment, an electronic musical instrument incorporating a tone generator circuit, an automatic performance device, and a fingering display device has been described. However, the electronic musical instrument is connected to a personal computer, and the electronic musical instrument is connected to a personal computer display. A finger image may be displayed. Further, the panel switch 2F of FIG. 1 may be replaced with a keyboard of a personal computer. Not limited to keyboard instruments, string instruments, wind instruments, percussion instruments and the like may be used. The present invention is not limited to an electronic musical instrument having a built-in sound source device and an automatic performance device, but may be separate devices and connected to each other using communication means such as MIDI or various networks.

【0034】上述の実施の形態では、従来技術として確
立しているモーションキャプチャー方式を用いて運指デ
ータを生成する場合について説明したが、ピアノの運指
の場合には押鍵と離鍵の単純な繰り返し動作なので、通
常のモーションキャプチャー技術のように複数台のカメ
ラシステムを駆動して手指の映像を認識しなくても、1
台のカメラを用いて、すなわち、鍵盤の上面側にカメラ
を設け、そこから手指の動き(リフレクタ)の動きを撮
影し、それに基づいて運指データを作成するようにして
もよい。この場合、手指に押鍵センサを設け、押鍵又は
離鍵のタイミングを検出することによって、より正確な
運指データを作成することができる。
In the above-described embodiment, a case has been described in which fingering data is generated using a motion capture method that has been established as a conventional technique. Because it is a repetitive operation, it does not need to drive multiple camera systems to recognize the image of the finger as in the case of the normal motion capture technology.
A camera may be provided using a single camera, that is, a camera may be provided on the upper surface side of the keyboard, and the movement of the finger (reflector) may be photographed therefrom, and fingering data may be created based on the photographed image. In this case, more accurate fingering data can be created by providing a key depression sensor on the finger and detecting the timing of key depression or key release.

【0035】[0035]

【発明の効果】この発明によれば、楽器演奏時の運指を
表示してその演奏教習を支援する場合の運指に関するデ
ータ量を増大させることなく、データの記録、再生、転
送を効率的に行うことのできができるという効果があ
る。
According to the present invention, it is possible to efficiently record, reproduce, and transfer data without increasing the amount of data related to fingering when displaying fingering during musical instrument performance and supporting the performance training. There is an effect that can be performed.

【0036】この発明によれば、楽器演奏時の運指を表
示してその演奏教習を支援する場合に、演奏者のレベル
に応じた任意のスピードで運指に関する映像を画質劣化
させることなく表示することができるという効果があ
る。
According to the present invention, when fingering at the time of playing a musical instrument is displayed to support the performance lesson, an image related to fingering is displayed without deteriorating the image quality at an arbitrary speed according to the level of the player. There is an effect that can be.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 この発明に係る運指データ作成装置及び運指
表示装置を内蔵した電子楽器の実施の形態を示すハード
構成ブロック図である。
FIG. 1 is a block diagram of a hardware configuration showing an embodiment of an electronic musical instrument incorporating a fingering data creation device and a fingering display device according to the present invention.

【図2】 この発明に係る運指表示装置のメインフロー
の一例を示す図である。
FIG. 2 is a diagram showing an example of a main flow of the fingering display device according to the present invention.

【図3】 図2のパネル設定処理の詳細を示す図であ
る。
FIG. 3 is a diagram showing details of a panel setting process of FIG. 2;

【図4】 図2の記録モード処理の詳細を示す図であ
る。
FIG. 4 is a diagram showing details of a recording mode process of FIG. 2;

【図5】 図4の運指データピックアップ記録処理の詳
細を示す図である。
FIG. 5 is a diagram showing details of a fingering data pickup recording process of FIG. 4;

【図6】 図4の楽音データピックアップ記録処理の詳
細を示す図である。
FIG. 6 is a diagram showing details of a tone data pickup recording process of FIG. 4;

【図7】 図2の再生モード処理の詳細を示す図であ
る。
FIG. 7 is a diagram showing details of a reproduction mode process of FIG. 2;

【図8】 本実施例の運指表示装置の表示画面の一例を
示す図である。
FIG. 8 is a diagram illustrating an example of a display screen of the fingering display device according to the present embodiment.

【符号の説明】[Explanation of symbols]

21…CPU、22…ROM、23…RAM、24…マ
ウス検出回路、25…スイッチ検出回路、26…表示回
路、27…外部記憶装置、28…音源回路、29…効果
回路、2A…楽音データインターフェイス、2B…運指
データインターフェイス、2C…通信インターフェイ
ス、2C…鍵盤、2D…タイマ、2E…マウス、2F…
パネルスイッチ、2G…ディスプレイ、2H…サウンド
システム、2J…楽音入力装置、2K…運指入力装置、
2L…通信ネットワーク、2M…サーバコンピュータ、
2P…アドレス及びデータバス
21 CPU, 22 ROM, 23 RAM, 24 mouse detection circuit, 25 switch detection circuit, 26 display circuit, 27 external storage device, 28 tone generator circuit, 29 effect circuit, 2A musical tone data interface , 2B ... fingering data interface, 2C ... communication interface, 2C ... keyboard, 2D ... timer, 2E ... mouse, 2F ...
Panel switch, 2G: display, 2H: sound system, 2J: tone input device, 2K: fingering input device,
2L: communication network, 2M: server computer,
2P: Address and data bus

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 演奏者が楽器を演奏する際の手指の動き
を検出し、運指データを生成する運指データ生成手段
と、 前記楽器の演奏に対応した楽音演奏データを生成する楽
音演奏データ生成手段と、 前記運指データと前記楽音演奏データを関連付けてそれ
らを同一のファイル又は別々のファイルとして記録媒体
に記録する記録手段とを備えたことを特徴とする運指デ
ータ作成装置。
1. A fingering data generating means for detecting finger movements when a player plays a musical instrument and generating fingering data, and musical performance data for generating musical performance data corresponding to the performance of the musical instrument. An apparatus for creating fingering data, comprising: generating means; and recording means for associating the fingering data with the musical performance data and recording them in a recording medium as the same file or separate files.
【請求項2】 運指データと楽音演奏データとを記録し
ている記録媒体と、 前記記録媒体から前記運指データ及び前記楽音演奏デー
タを読み出すデータ読み出し手段と、 前記データ読み出し手段によって読み出された前記運指
データ及び前記楽音演奏データに基づいて手指の運指状
態を表示する表示手段とを備えたことを特徴とする運指
表示装置。
2. A recording medium storing fingering data and musical performance data; data reading means for reading the fingering data and the musical performance data from the recording medium; Display means for displaying a fingering state of a finger based on the fingering data and the musical performance data.
【請求項3】 運指データと楽音演奏データとを記録し
ている記録媒体と、 前記記録媒体から少なくとも前記運指データを読み出す
データ読み出し手段と、 前記データ読み出し手段によって読み出された前記運指
データに基づいて手指の各指に動物、記号、文字などの
固有の図柄を当てはめて、運指状態を表示する表示手段
とを備えたことを特徴とする運指表示装置。
3. A recording medium recording fingering data and musical performance data; data reading means for reading at least the fingering data from the recording medium; and the fingering read by the data reading means. A fingering display device comprising: display means for displaying a fingering state by applying a unique design such as an animal, a symbol, or a character to each finger of a finger based on data.
【請求項4】 運指データと楽音演奏データとを記録し
ている記録媒体と、 前記記録媒体から前記運指データ及び前記楽音演奏デー
タを読み出すデータ読み出し手段と、 前記データ読み出し手段によって読み出された前記楽音
演奏データに基づいた楽音を発生する発音処理を行う楽
音演奏データ処理手段と前記データ読み出し手段によっ
て読み出された前記運指データに基づいた手指の運指状
態の表示を前記楽音演奏データ処理手段の対応する楽音
演奏データの処理に先行して行う表示手段と、 を備えたことを特徴とする運指表示装置。
4. A recording medium for recording fingering data and musical performance data, data reading means for reading the fingering data and the musical performance data from the recording medium, and data reading means for reading the data. The musical performance data processing means for generating a tone based on the musical performance data and a display of the fingering state of the finger based on the fingering data read by the data reading means. Display means for performing processing prior to processing of the corresponding musical performance data by the processing means.
JP16895598A 1998-06-16 1998-06-16 Fingering data creation device and fingering display device Expired - Lifetime JP3233103B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16895598A JP3233103B2 (en) 1998-06-16 1998-06-16 Fingering data creation device and fingering display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16895598A JP3233103B2 (en) 1998-06-16 1998-06-16 Fingering data creation device and fingering display device

Publications (2)

Publication Number Publication Date
JP2000003171A true JP2000003171A (en) 2000-01-07
JP3233103B2 JP3233103B2 (en) 2001-11-26

Family

ID=15877661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16895598A Expired - Lifetime JP3233103B2 (en) 1998-06-16 1998-06-16 Fingering data creation device and fingering display device

Country Status (1)

Country Link
JP (1) JP3233103B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283793A (en) * 2004-03-29 2005-10-13 Casio Comput Co Ltd Apparatus and program for evaluating musical performance
US7041888B2 (en) 2004-01-09 2006-05-09 Yamaha Corporation Fingering guide displaying apparatus for musical instrument and computer program therefor
JP2006317612A (en) * 2005-05-11 2006-11-24 Yamaha Corp Keyboard instrument and method for recording fingering data
US7288712B2 (en) 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
DE112008000866T5 (en) 2007-04-18 2010-01-21 Toyota Jidosha Kabushiki Kaisha, Toyota-shi The fuel cell system
CN110728967A (en) * 2019-10-03 2020-01-24 陕西学前师范学院 Intelligent piano system capable of prompting fingering and using method thereof
CN111883089A (en) * 2020-07-28 2020-11-03 张驰 Method, device and storage medium for generating visual guqin music score
WO2021186563A1 (en) * 2020-03-17 2021-09-23 日本電気株式会社 Playing method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7041888B2 (en) 2004-01-09 2006-05-09 Yamaha Corporation Fingering guide displaying apparatus for musical instrument and computer program therefor
US7288712B2 (en) 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
JP2005283793A (en) * 2004-03-29 2005-10-13 Casio Comput Co Ltd Apparatus and program for evaluating musical performance
JP4513378B2 (en) * 2004-03-29 2010-07-28 カシオ計算機株式会社 Performance evaluation apparatus and performance evaluation program
JP2006317612A (en) * 2005-05-11 2006-11-24 Yamaha Corp Keyboard instrument and method for recording fingering data
JP4626387B2 (en) * 2005-05-11 2011-02-09 ヤマハ株式会社 Recording method of keyboard instrument and fingering data
DE112008000866T5 (en) 2007-04-18 2010-01-21 Toyota Jidosha Kabushiki Kaisha, Toyota-shi The fuel cell system
CN110728967A (en) * 2019-10-03 2020-01-24 陕西学前师范学院 Intelligent piano system capable of prompting fingering and using method thereof
WO2021186563A1 (en) * 2020-03-17 2021-09-23 日本電気株式会社 Playing method
JP7420218B2 (en) 2020-03-17 2024-01-23 日本電気株式会社 How to play
CN111883089A (en) * 2020-07-28 2020-11-03 张驰 Method, device and storage medium for generating visual guqin music score
CN111883089B (en) * 2020-07-28 2023-08-08 张驰 Method, device and storage medium for generating visualized Gu Qinqin spectrum

Also Published As

Publication number Publication date
JP3233103B2 (en) 2001-11-26

Similar Documents

Publication Publication Date Title
CN1808566B (en) Playback apparatus and method
US8242344B2 (en) Method and apparatus for composing and performing music
JPH09204163A (en) Display device for karaoke
JP6724879B2 (en) Reproduction control method, reproduction control device, and program
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
US11557269B2 (en) Information processing method
JP6776788B2 (en) Performance control method, performance control device and program
JP3233103B2 (en) Fingering data creation device and fingering display device
US7504572B2 (en) Sound generating method
JP7226709B2 (en) Video control system and video control method
JP2006119320A (en) Electronic music device system, server side electronic music device, and client side electronic music device
JP3563428B2 (en) Multimedia control device
JP3843735B2 (en) Performance guide method, performance guide device and recording medium
JP2018063315A (en) Performance system and automatic performance method
JP3998461B2 (en) Performance practice device, performance practice method, program and recording medium
JP4270102B2 (en) Automatic performance device and program
KR102524870B1 (en) Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device
JP2004287144A (en) Control device for reproduction of music and display of moving image and its program
WO2022209557A1 (en) Electronic musical instrument, electronic musical instrument control method, and program
JP2002077824A (en) Educational display and educational displaying method and recording medium
WO2011060504A1 (en) Music tuition or practice method and apparatus
WO2023032137A1 (en) Data modification method, data reproduction method, program, data modification device
JP4315116B2 (en) Electronic music equipment
JP3843948B2 (en) Music content utilization apparatus and computer program applied to the apparatus
JP2000148168A (en) Musical instrument play learning device and karaoke device

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070921

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080921

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090921

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 11