JP2004038219A - Automatic performance system - Google Patents

Automatic performance system Download PDF

Info

Publication number
JP2004038219A
JP2004038219A JP2003366394A JP2003366394A JP2004038219A JP 2004038219 A JP2004038219 A JP 2004038219A JP 2003366394 A JP2003366394 A JP 2003366394A JP 2003366394 A JP2003366394 A JP 2003366394A JP 2004038219 A JP2004038219 A JP 2004038219A
Authority
JP
Japan
Prior art keywords
automatic performance
character
data
tone
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003366394A
Other languages
Japanese (ja)
Other versions
JP3760940B2 (en
Inventor
Yuji Senba
仙場　祐二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003366394A priority Critical patent/JP3760940B2/en
Publication of JP2004038219A publication Critical patent/JP2004038219A/en
Application granted granted Critical
Publication of JP3760940B2 publication Critical patent/JP3760940B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To make a visual expression of a composition of musical instruments of a piece of music possible with an automatic performance system. <P>SOLUTION: Musical piece data (automatic performance data) having timbre information (timbre assignment data) and localization information at a header section are read and is automatically performed. At this time, the characters corresponding to a plurality of timbres deduced from the timbre information are read from a character file and are displayed. The character data represent the motion data of a plurality of frames and are so set as to make different movements according to a sound volume. <P>COPYRIGHT: (C)2004,JPO

Description

　この発明は、複数種類の音色の楽音を合成して自動演奏する自動演奏装置の表示態様の改善に関する。 The present invention relates to an improvement in the display mode of an automatic performance device that synthesizes a plurality of types of musical tones and performs automatic performance.

　自動演奏データである楽曲データに基づいて自動演奏を行う自動演奏装置が実用化されている。自動演奏装置は表示器を備えているものが多く、自動演奏動作中はこの表示器に演奏中の曲の楽譜やミキサの操作パネルなどが表示されていた。 Automatic performance devices that perform automatic performances based on music data that is automatic performance data have been put to practical use. Many automatic performance devices have a display, and during the automatic performance operation, the display displays the musical score of the music being played and the operation panel of the mixer.

　また、自動演奏装置には、複数チャンネルのパートのうち任意のチャンネルの楽音を出力しないいわゆるミュート機能を備えたものがあるが、このミュート機能を実行するためには、ミュートしたい音色のパートを担当しているチャンネル番号を何らかの方法で知って、そのチャンネル番号を指定してミュートを行う必要があった。 Some automatic performance devices have a so-called mute function that does not output a musical tone of an arbitrary channel among parts of a plurality of channels.In order to execute this mute function, a part of a tone to be muted is assigned. It was necessary to know the channel number being used in some way and to mute by specifying that channel number.

　しかし、従来の音符表示やミキサの表示では、その曲を演奏する楽器の編成がどのようなものであるかを感覚的に知ることができない欠点があった。また、ミュートを指定する場合にも、その音色のチャンネルを先に調べておく必要があり、面倒であった。 However, the conventional note display and mixer display had a drawback that it was not possible to intuitively know the composition of the musical instruments that played the song. Also, when specifying mute, it is necessary to check the channel of the tone first, which is troublesome.

　この発明は、曲の楽器編成が視覚的に表現でき、且つ、ミュートの指示をその表示に対して行うことができる自動演奏装置を提供することを目的とする。 An object of the present invention is to provide an automatic performance device that can visually represent the musical composition of a song and can give a mute instruction to the display.

　この発明は、複数種類の音色を合成可能な楽音合成手段と、音色指定データを含む自動演奏データを記憶する自動演奏データ記憶手段と、該自動演奏データ記憶手段に記憶されている自動演奏データを読み出し前記音色指定データで指定される音色で前記楽音合成手段を駆動する自動演奏手段とを備えた自動演奏装置において、
　表示手段と、前記複数種類の音色に対応するキャラクタを記憶するキャラクタ記憶手段と、前記自動演奏データから音色指定データを読み出し、この音色指定データで指定された音色に対応するキャラクタを前記キャラクタ記憶手段から読み出して前記表示手段に表示させるキャラクタ表示制御手段と、を設けたことを特徴とする。 The present invention provides a musical tone synthesizing means capable of synthesizing a plurality of types of timbres, an automatic performance data storage means for storing automatic performance data including tone color designation data, and an automatic performance data stored in the automatic performance data storage means. An automatic performance device comprising: an automatic performance device that drives the tone synthesis device with a tone specified by the read tone color specification data.
Display means; character storage means for storing characters corresponding to the plurality of types of timbres; and timbre specification data read from the automatic performance data, and a character corresponding to the timbre specified by the timbre specification data is stored in the character storage means. And character display control means for reading from the display means and displaying on the display means.

　この発明は、前記キャラクタ記憶手段が、楽器に対応するキャラクタとして、その音色に対応する楽器を演奏する演奏者の姿を記憶していることを特徴とする。 The present invention is characterized in that the character storage means stores, as a character corresponding to the musical instrument, a figure of a player who plays the musical instrument corresponding to the timbre.

　この発明は、前記キャラクタ記憶手段が、音色に対応するキャラクタとして、モーションのキャラクタを記憶していることを特徴とする。 The present invention is characterized in that the character storage means stores a motion character as a character corresponding to a tone color.

　この発明は、前記キャラクタ記憶手段が、音色に対応するキャラクタとして、音量が大きいときのキャラクタと音量が小さいときのキャラクタを記憶しており、前記キャラクタ表示制御手段は、自動演奏データの当該音色の音量データに応じていずれかのキャラクタを読み出すことを特徴とする。 In the present invention, the character storage means stores a character when the sound volume is high and a character when the sound volume is low as the character corresponding to the timbre, and the character display control means stores the character of the timbre of the automatic performance data. One of the characters is read out according to the volume data.

　この発明は、前記キャラクタ記憶手段が、各音色に対応するキャラクタのうち、類似する音色に対応するキャラクタを共通化していることを特徴とする。 The present invention is characterized in that the character storage means shares a character corresponding to a similar tone among characters corresponding to each tone.

　この発明は、前記自動演奏データ記憶手段が記憶している自動演奏データが、音色指定データおよびこの音色の左右および上下の定位を指定する定位情報を含み、前記キャラクタ表示制御手段は、音色指定データとともに定位情報を読み出し、前記対応するキャラクタをこの定位情報で指定された定位位置に表示させることを特徴とする。 According to the present invention, the automatic performance data stored in the automatic performance data storage means includes timbre specification data and localization information for specifying left, right, up and down localization of the timbre, and the character display control means includes: And reads out the localization information, and displays the corresponding character at the localization position specified by the localization information.

　この発明は、複数種類の音色を合成可能な楽音合成手段と、複数の音色を指定する音色指定データを含む自動演奏データを記憶する自動演奏データ記憶手段と、該自動演奏データ記憶手段に記憶されている自動演奏データを読み出し前記音色指定データで指定される音色で前記楽音合成手段を駆動する自動演奏手段とを備えた自動演奏装置において、
　表示手段と、前記複数種類の音色の楽器に対応するキャラクタを記憶するキャラクタ記憶手段と、前記自動演奏データから音色指定データを読み出し、この音色指定データが指定する複数の音色の組み合わせが所定のアンサンブルの編成になっているかを判定し、所定のアンサンブルの編成になっている場合には、各音色の楽器に対応するキャラクタの配置をそのアンサンブルにおける配置に決定するアンサンブル判定手段と、該アンサンブル判定手段によって決定された配置で、前記複数の音色に対応するキャラクタを前記表示手段に表示させるキャラクタ表示制御手段と、を設けたことを特徴とする。 The present invention provides a musical tone synthesizing means capable of synthesizing a plurality of types of timbres, an automatic performance data storing means for storing automatic performance data including timbre designation data for specifying a plurality of timbres, and an automatic performance data storage means. An automatic performance device that reads out the automatic performance data that has been read out and drives the tone synthesis device with the tone specified by the tone color designation data.
Display means, character storage means for storing characters corresponding to the musical instruments of the plurality of timbres, and timbre designation data read out from the automatic performance data, wherein a combination of a plurality of timbres designated by the timbre designation data is a predetermined ensemble. Ensemble determination means for determining whether the character corresponding to the musical instrument of each tone is arranged in the ensemble, and determining whether or not the character corresponding to the musical instrument of each tone is arranged in the ensemble. Character display control means for causing the display means to display characters corresponding to the plurality of timbres in the arrangement determined by the above.

　この発明は、前記アンサンブル判定手段が、自動演奏データから読み出した音色指定データが指定する複数の音色の組み合わせが所定のアンサンブルの編成になっていなかった場合には、自動演奏データにおける各音色のイベント数に応じて、予め定めた順序に前記各音色に対応するキャラクタの配置を決定することを特徴とする。 The present invention is characterized in that the ensemble determination means, when the combination of a plurality of timbres specified by the timbre designation data read from the automatic performance data does not form a predetermined ensemble, the event of each timbre in the automatic performance data The arrangement of the characters corresponding to the respective tone colors is determined in a predetermined order according to the number.

　この発明の自動演奏装置は、自動演奏データに基づいて楽音合成手段が駆動され、所定の音色で自動演奏を行う。この場合に、音色指定データで指定された音色に対応するキャラクタがキャラクタ記憶手段から読み出され、表示手段に表示される。これにより、自動演奏される曲の音色（楽器）の構成を視覚的に認識することができる。 In the automatic performance device of the present invention, the tone synthesis means is driven based on the automatic performance data, and performs an automatic performance with a predetermined tone. In this case, the character corresponding to the tone color specified by the tone color designation data is read from the character storage means and displayed on the display means. This makes it possible to visually recognize the configuration of the timbre (musical instrument) of the automatically played music.

　このようにこの発明によれば、自動演奏中に画面に演奏者キャラクタが表示されるため、楽器の編成を視覚的に把握することができ、自動演奏をよりリアルに聴取することができる。また、楽曲データの音色の組み合わせに基づいて編成を判断することにより、どのような楽曲データを読み込んだ場合でもこのキャラクタ表示を行うことができる。 According to the present invention, since the player character is displayed on the screen during the automatic performance, the organization of the musical instrument can be visually grasped, and the automatic performance can be heard more realistically. Also, by determining the composition based on the combination of the timbres of the music data, this character display can be performed even when any music data is read.

　図１はこの発明の実施形態である自動演奏装置のブロック図である。また、図２は同自動演奏装置のメモリ構成図である。この装置はＨＤＤ１３に記憶された楽曲データをＣＰＵ１０が読み出して楽音合成装置１５に入力することにより自動演奏する装置である。楽音はスピーカ１６から放音されるが、このとき同時にこの演奏に対応した画像がモニタ１８に表示される。ここで、演奏に対応した画像とは、その曲のパート編成に対応するキャラクタ（演奏者）の画像である。 FIG. 1 is a block diagram of an automatic performance device according to an embodiment of the present invention. FIG. 2 is a memory configuration diagram of the automatic performance apparatus. In this apparatus, the CPU 10 reads out music data stored in the HDD 13 and inputs the read music data to the musical tone synthesizing apparatus 15, thereby performing an automatic performance. The musical sound is emitted from the speaker 16, and at the same time, an image corresponding to the performance is displayed on the monitor 18. Here, the image corresponding to the performance is an image of a character (player) corresponding to the part organization of the music.

　同図において、前記ＣＰＵ１０，ＨＤＤ１３，楽音合成装置１５はバスに接続されている。バスにはその他ＲＯＭ１１，ＲＡＭ１２，マウス１４および画像処理装置１７が接続されている。ＣＰＵ１０はこの自動演奏装置全体の動作を制御する。ＨＤＤ１３には複数曲の楽曲データ、モニタ１８に表示されるキャラクタデータなどが記憶される。ＲＯＭ１１には制御プログラム、楽音合成装置１５が楽音信号を合成するための音色データ、各種テーブルデータなどが記憶されている。ＲＡＭ１２には複数パートの自動演奏制御用のパート制御テーブルなどが設定される。マウス１４はモニタ１８に表示されるカーソルを移動させ画面上の点を指示するためのデバイスであり、画面に表示された曲名を指示して選曲したり、画面に表示されたキャラクタを指示してミュートしたりするときに使用される。楽音合成装置１５はＣＰＵ１０から入力された楽曲データに基づいて楽音信号を合成する装置である。楽音合成装置１５にはスピーカ１６が接続されているスピーカ１６は楽音合成装置１５が合成した楽音信号を放音する。画像処理装置１７はＣＰＵ１０の指示に基づいてモニタ１８にキャラクタの画像を表示する。 In the figure, the CPU 10, HDD 13, and tone synthesizer 15 are connected to a bus. In addition, a ROM 11, a RAM 12, a mouse 14, and an image processing device 17 are connected to the bus. The CPU 10 controls the operation of the entire automatic performance device. The HDD 13 stores music data of a plurality of songs, character data displayed on the monitor 18, and the like. The ROM 11 stores a control program, tone data for the tone synthesizer 15 to synthesize a tone signal, various table data, and the like. In the RAM 12, a part control table for automatic performance control of a plurality of parts is set. The mouse 14 is a device for moving a cursor displayed on the monitor 18 to indicate a point on the screen, and selecting a song by indicating a song name displayed on the screen, or indicating a character displayed on the screen. Used when muting. The tone synthesizer 15 is a device that synthesizes a tone signal based on music data input from the CPU 10. The speaker 16 is connected to the tone synthesizer 15. The speaker 16 emits a tone signal synthesized by the tone synthesizer 15. The image processing device 17 displays a character image on the monitor 18 based on an instruction from the CPU 10.

　図３はＨＤＤ１３に記憶されている楽曲データの構成例を示す図である。楽曲データはヘッダ部とデータ本体部からなっている。この楽曲データはそれぞれ異なる音色で演奏される複数パートからなる自動演奏データである。データ本体部は全パートのイベントデータ，デュレーションデータを記憶している。なお、この実施形態では全パートのデータを１トラックに記憶しているが、各パート毎にトラックを設けるようにしてもよい。ヘッダ部には、各パートの音色情報および各パートの定位情報が記憶されている。音色情報はＭＩＤＩフォーマットのコントロールチェンジ情報として記憶され、コントロールチャンネルナンバとして書き込まれる００H 〜８ＦH の音色番号は図９に示すように割り当てられている。この音色番号の割り当てはジェネラルＭＩＤＩフォーマットとして統一された規格のものである。定位情報はＭＩＤＩフォーマットのＰＡＮ情報として記憶される。ＰＡＮ情報は左右の定位を制御する情報であるが、さらに、上下の定位を制御する情報を記憶するようにしてもよい。また、楽曲データによってはこの定位情報が記憶されていないものもあり、この場合には後述の手法で各パートの定位を決定する。 FIG. 3 is a diagram showing a configuration example of music data stored in the HDD 13. The music data includes a header section and a data body section. The music data is automatic performance data composed of a plurality of parts played with different tones. The data body stores event data and duration data of all parts. In this embodiment, data of all parts is stored in one track, but a track may be provided for each part. The header section stores tone color information of each part and localization information of each part. Tone color information is stored as the control change information MIDI format, tone number 00 H ~8F H written as a control channel number is assigned as shown in FIG. The assignment of the tone color numbers is based on a standard standardized as a general MIDI format. The localization information is stored as MIDI format PAN information. Although the PAN information is information for controlling left and right localization, information for controlling vertical localization may be further stored. Also, some music data does not store the localization information. In this case, the localization of each part is determined by a method described later.

　図４は、ＨＤＤ１３に記憶されているキャラクタデータファイルの構成を示す図である。キャラクタデータファイルには同図（Ａ）に示すように、楽音合成装置１５が合成可能な各音色（楽器）毎に複数（２ｎ個）のキャラクタデータが記憶されている。キャラクタデータは、その楽器を演奏する演奏者を模式的に表現した図形である。なお、楽音合成装置１５が合成可能な１２８音色毎にそれぞれ別のキャラクタデータを記憶してもよいが、メモリを節約するために、たとえば、ピアノとキーボード、テナーサックスとアルトサックスなど演奏姿勢が類似する楽器のキャラクタを共通にしてもよい。また、自然楽器にない電子楽器独自の音色は全てキーボード奏者のキャラクタを用いるようにする。 FIG. 4 is a diagram showing a configuration of a character data file stored in the HDD 13. As shown in FIG. 2A, a character data file stores a plurality (2n) of character data for each tone (musical instrument) that can be synthesized by the tone synthesizer 15. The character data is a figure that schematically represents a player who plays the musical instrument. Note that different character data may be stored for each of the 128 timbres that can be synthesized by the tone synthesizer 15. However, in order to save memory, for example, the playing postures of a piano and a keyboard, tenor sax and an alto sax are similar. The character of the musical instrument to be played may be common. In addition, all the tones unique to electronic musical instruments that are not included in natural musical instruments use keyboard player characters.

　同図（Ｂ）にギターの演奏者を表現するキャラクタの例を示す。同図上段のように通常のモーションのキャラクタがｎ個記憶されており、モーションナンバ１〜ｎで識別される。また、同図下段のように大胆なモーションのキャラクタがｎ個記憶されており、モーションナンバｎ＋１〜２ｎで識別される。通常のモーションのキャラクタはこの音色の発音レベルが一定値以下のときに表示され、大胆のモーションのキャラクタはこの音色の発音レベルが一定値を超えたとき表示される。読み出されるキャラクタデータは楽曲の進行に従い１，２，３，‥‥またはｎ＋１，ｎ＋２，ｎ＋３，‥‥のように順次切り換えられ、モニタ１８には実際に演奏しているような動きのあるキャラクタが表示される。 (B) shows an example of a character expressing a guitar player. As shown in the upper part of the figure, n normal motion characters are stored, and are identified by motion numbers 1 to n. Further, as shown in the lower part of the figure, n bold motion characters are stored, and are identified by motion numbers n + 1 to 2n. A character with a normal motion is displayed when the sounding level of this timbre is below a certain value, and a character with a bold motion is displayed when the sounding level of this timbre exceeds a certain value. The read character data is sequentially switched as 1, 2, 3, １，２ or n + 1, n + 2, n + 3, に 従 い according to the progress of the music. Is displayed.

　図５は、ＲＯＭ１１に記憶されているアンサンブル判定テーブルを示す図である。アンサンブル判定テーブルは、楽曲データのヘッダ部から音色番号が読み出されたとき、その音色の組み合わせ（楽器編成）がどのようなアンサンブルやバンドに該当するかを判定するテーブルである。 FIG. 5 is a diagram showing an ensemble determination table stored in the ROM 11. The ensemble determination table is a table for determining, when a timbre number is read from the header part of the music data, what ensemble or band the combination (musical instrument organization) of the timbre corresponds to.

　このアンサンブル判定テーブルには、アンサンブル（バンド）の名称とこのアンサンブルのパート編成が音色番号で記憶されている。小規模のアンサンブルとしては、カルテット，ジャズバンド，ロックバンドなどの編成が記憶され、中・大規模のアンサンブルとして、バロックオーケストラ，クラシカルオーケストラ，１９世紀オーケストラ，２０世紀オーケストラ，ビッグバンドなどの編成が記憶されている。アンサンブルの判定は、楽曲データ（ヘッダ部）から読み出された複数の音色番号をアンサンブル判定テーブルのパート編成と比較し、一致したときそのアンサンブルであると判定する。複数の音色番号が、どのアンサンブルのパート編成とも完全に一致しない場合には、編成が最も近いアンサンブルに決定する。編成が最も近いアンサンブルの判定は、例えば、楽曲データの複数の音色番号による編成でパートの過不足が最も少ないアンサンブルを割り出すことで行う。 名称 The ensemble determination table stores the names of ensembles (bands) and the part compositions of the ensembles by tone numbers. As small-scale ensembles, organizations such as quartets, jazz bands, and rock bands are stored. As medium- and large-scale ensembles, organizations such as baroque orchestras, classical orchestras, 19th-century orchestras, 20th-century orchestras, and big bands are stored. Have been. In ensemble determination, a plurality of timbre numbers read from the music data (header part) are compared with the part organization in the ensemble determination table, and when they match, the ensemble is determined to be the ensemble. If the plurality of timbre numbers do not completely match the part organization of any ensemble, the ensemble with the closest organization is determined. The determination of the ensemble whose composition is the closest is performed, for example, by determining an ensemble with the least number of parts in composition based on a plurality of timbre numbers of music data.

　さらに、アンサンブル判定テーブルには、各アンサンブル毎に、そのアンサンブルを構成する複数パートの標準的な配置が記憶されている。配置は各パート毎に（音色番号，ｘ座標，ｙ座標）のデータの組み合わせで記憶されている。ｘ座標，ｙ座標はモニタ１８の画面上に設定される座標でありｘ座標は０〜１２７，ｙ座標は０〜１２７の範囲である。楽曲データに配置情報が記憶されていないとき、この配置データに基づいてキャラクタを表示する。キャラクタは指定されたｘ，ｙ座標を中心に表示される。 Further, the ensemble determination table stores, for each ensemble, a standard arrangement of a plurality of parts constituting the ensemble. The arrangement is stored as a combination of data (tone number, x coordinate, y coordinate) for each part. The x-coordinate and the y-coordinate are coordinates set on the screen of the monitor 18, and the x-coordinate ranges from 0 to 127 and the y-coordinate ranges from 0 to 127. When no arrangement information is stored in the music data, a character is displayed based on this arrangement data. The character is displayed around the designated x, y coordinates.

　なお、楽曲データに配置情報が記憶されておらず、このアンサンブル判定テーブルにも該当する適当な配置が記憶されていない場合には、楽曲の演奏前に各チャンネルのイベント数を全て数え、イベント数の最も多いパートを前列中央に表示し、順次左右，後列に表示するようにする。このような配置手法における配置順位の例を図１２に示す。この図では、順位が第１位〜第５位のパートが前列中央から左右に並び、順位が第６位から第９位のものが後列に並ぶようになっている。なお、パートの頻度順位に合わせて段々後列になってゆくように配列するようにしてもよい。 If no arrangement information is stored in the music data and no appropriate arrangement is stored in the ensemble determination table, the number of events of each channel is counted before the music is played. Are displayed in the center of the front row, and are sequentially displayed in the left, right, rear row. FIG. 12 shows an example of an arrangement order in such an arrangement method. In this figure, the parts of the first to fifth ranks are arranged left and right from the center of the front row, and the parts of the sixth to ninth ranks are arranged in the rear row. Note that the arrangement may be such that the rear row is gradually arranged in accordance with the frequency order of the parts.

　なお、５〜６人程度の小編成のアンサンブルの場合には、各パートのキャラクタを全員表示することができるが（図１０参照）、ビッグバンドや大編成のオーケストラの場合にはキャラクタを全員表示することが不可能である。このような場合には、キャラクタの表示を行わずに楽器配置データに基づいてパート配置のみ表示するようにしてもよく（図１１参照）、簡略化して縮小されたキャラクタを表示するようにしてもよい。さらに、各パート配置のみを表示し、各パートの表示色の彩度や明度をそのパートの発音レベルに応じて変化させるようにし、いまどのパートの音が大きく聞こえているかが判るようにしてもよい。 In the case of a small ensemble of about 5 to 6 players, all the characters of each part can be displayed (see FIG. 10). However, in the case of a big band or large orchestra, all the characters are displayed. It is impossible to do. In such a case, only the part arrangement may be displayed based on the musical instrument arrangement data without displaying the character (see FIG. 11), or a simplified and reduced character may be displayed. Good. Furthermore, only the arrangement of each part is displayed, and the saturation and brightness of the display color of each part are changed according to the sounding level of that part, so that it is possible to know which part is sounding louder now. Good.

　また、この実施形態では楽曲データに記憶されている音色情報に基づいてどのようなアンサンブルであるかを判定するようにしているが、楽曲データのヘッダ部にこの曲はどの形態のアンサンブルの曲であるかを予めを書き込んでおくようにしてもよい。 In this embodiment, the type of ensemble is determined based on the timbre information stored in the music data. Whether or not there is may be written in advance.

　図６はＲＡＭ１２に設定されるパート管理テーブルを示す図である。楽曲データはＣＨ１〜ＣＨ１６の１６パートの自動演奏データである。パート管理テーブルには各パート毎に指定されている音色番号，ミュートフラグ，表示座標，指定キャラクタ番号を記憶するエリアが設けられている。ミュートフラグはこのパートの楽音を発音するかしないかを指示するフラグであり、自動演奏中に利用者がマウス１４を用いて表示中のキャラクタをクリックしたときこのフラグが反転される。このフラグがセットしているとき（“１”のとき）、このパートの楽音は発音しないように制御される。表示座標はこのパートのキャラクタを表示する画面上の座標である。この座標は上述したようにアンサンブル判定テーブル，楽曲データのヘッダ部に記憶されている配置データまたは各パートのイベント数に基づいて決定される。指定キャラクタ番号はキャラクタデータファイルのキャラクタを指定する番号であり音色番号に基づいて決定される。 FIG. 6 is a diagram showing a part management table set in the RAM 12. The music data is automatic performance data of 16 parts CH1 to CH16. The part management table is provided with an area for storing a tone color number, a mute flag, display coordinates, and a designated character number designated for each part. The mute flag is a flag for instructing whether or not to sound the musical tone of this part. When the user clicks the displayed character using the mouse 14 during automatic performance, the flag is inverted. When this flag is set (when it is "1"), the tone of this part is controlled not to sound. The display coordinates are coordinates on the screen for displaying the character of this part. The coordinates are determined based on the ensemble determination table, the arrangement data stored in the header of the music data, or the number of events of each part as described above. The designated character number is a number that designates a character in the character data file, and is determined based on the tone color number.

　図７，図８は同自動演奏装置の動作を示すフローチャートである。自動演奏動作をしないときにはモニタ１８に曲目リストを表示している（ｎ１）。この曲目リストはＨＤＤ１３に記憶されている楽曲データファイルのディレクトリに基づいて作成される。ｎ２で利用者による選曲があるまで待機する。選曲は、モニタ１８に表示された曲目リストのうちのいずれかの曲名をマウス１４でクリックすることによって行われる。選曲が行われるとこの曲の楽曲データの記憶エリアをＨＤＤ１３から検索する（ｎ３）。楽曲データの記憶エリアが検索されると、まずヘッダ部のうちの音色情報を読み出す（ｎ４）。この音色情報から割り出された複数の音色番号でアンサンブル判定テーブル（図５）を検索してこの曲のアンサンブルを割り出す（ｎ５）。編成の割り出し方式は上述したとおりである。次に、各パートのキャラクタおよび表示位置を決定する（ｎ６，ｎ７）。同時に表示態様も決定する。表示態様とは、小規模のアンサンブルの場合にはフルスケールでキャラクタを表示し、大規模のアンサンブルの場合にはパート表示のみまたは縮小したキャラクタを表示するなどである。以上の動作によって決定された内容はパート管理テーブルに記憶される（ｎ８）。 FIGS. 7 and 8 are flowcharts showing the operation of the automatic performance apparatus. When the automatic performance operation is not performed, the music list is displayed on the monitor 18 (n1). The music list is created based on the directory of the music data file stored in the HDD 13. At n2, the program waits until there is music selection by the user. The music selection is performed by clicking one of the music titles in the music list displayed on the monitor 18 with the mouse 14. When the music selection is performed, the storage area of the music data of the music is searched from the HDD 13 (n3). When the storage area of the music data is searched, the timbre information in the header portion is read out first (n4). The ensemble determination table (FIG. 5) is searched using the plurality of tone colors determined from the tone color information to determine the ensemble of the music (n5). The knitting indexing method is as described above. Next, the character and display position of each part are determined (n6, n7). At the same time, the display mode is also determined. The display mode is such that a small-scale ensemble displays a character at full scale, and a large-scale ensemble displays only a part display or a reduced character. The content determined by the above operation is stored in the part management table (n8).

　以上の動作により自動演奏の事前設定動作が完了したため、以下自動演奏動作にはいる。まず、自動演奏に用いる各種レジスタをリセットする（ｎ９）。レジスタには、デュレーションタイムをカウントダウンするためのＤＵＲレジスタ、各パートのモーションナンバをカウントするｍｏＣＮＴ（ｉ）などがある。などがある。次にパート管理テーブルからキャラクタ指定データを読み出してこのキャラクタをＨＤＤ１３から読み込む（ｎ１０）。読み込んだキャラクタをパート管理テーブルに記憶されている表示位置データに基づいてＶＲＡＭに書き込むことによってモニタ１８に表示する。ｎ９でモーションレジスタがリセットされているため、この表示はモーションナンバ１のものである。次にＤＵＲの値を判断する。ＤＵＲ＝０であれば自動演奏データ読み出しタイミングであるため読み出し処理動作（ｎ１３：図８）を実行する。自動演奏動作の最初はＤＵＲがリセットされているため必ずこの動作を行う。次にモニタ１８に表示されているキャラクタがマウス１４でクリックされたかを判断する（ｎ１４）。クリックされると、そのキャラクタで表示されるパートをミュートするかミュートを解除（アンミュート）するかの指示であるため、パート管理テーブルの対応するパートのミュートフラグＭＵＴＥ（ｉ）を反転する（ｎ１５）。つぎに、その他処理（ｎ１６）を実行し、一定時間を経過したことを判断してＤＵＲを１減算してｎ１２に戻る。 た め Since the pre-set operation of the automatic performance is completed by the above operation, the automatic performance operation is started. First, various registers used for automatic performance are reset (n9). The registers include a DUR register for counting down the duration time, and moCNT (i) for counting the motion number of each part. and so on. Next, character designation data is read from the part management table, and this character is read from the HDD 13 (n10). The read character is displayed on the monitor 18 by writing the read character in the VRAM based on the display position data stored in the part management table. Since the motion register is reset at n9, this display is for motion number 1. Next, the value of DUR is determined. If DUR = 0, it is the automatic performance data read timing, so the read processing operation (n13: FIG. 8) is executed. This operation is always performed at the beginning of the automatic performance operation because the DUR is reset. Next, it is determined whether the character displayed on the monitor 18 has been clicked with the mouse 14 (n14). When clicked, it is an instruction to mute or unmute (unmute) the part displayed by the character, so the mute flag MUTE (i) of the corresponding part in the part management table is inverted (n15). ). Next, other processing (n16) is executed, it is determined that a predetermined time has elapsed, DUR is decremented by 1, and the process returns to n12.

　図８は読み出し処理動作を示すフローチャートである。この動作はＤＵＲ＝０のとき上記ｎ１３で実行される動作である。まず楽曲データを読み出す（ｎ２０）。読み出された楽曲データがどのようなデータであるかをｎ２１，ｎ２２，ｎ２３で判断する。読み出された楽曲データがイベントデータであればそのイベントが発生したパートの番号をｉにセットする（ｎ２４）。このパートのミュートフラグＭＵＴＥ（ｉ）を判断する（ｎ２５）。ＭＵＴＥ＝０であればそのパートはミュートされていないため、通常どおりイベントを実行する（ｎ２６）。イベントの実行とは、例えば、ノートオンイベントであれば、その楽音を発音する発音チャンネルを割り当ててキーコードやベロシティデータをその発音チャンネル（楽音合成装置１５）に送信するなどの処理である。次に、このパートのモーションカウンタｍｏＣＮＴ（ｉ）に１を加算する。このモーションカウンタは表示されるキャラクタのモーション番号を指定するカウンタである。加算の結果ｍｏＣＮＴがｎになった場合にはｍｏＣＮＴを０にセットする（ｎ２８，ｎ２９）。これは、基本モーションをｎ個のコマから形成し、それを繰り返し表示するためである。次にこのパートの発音レベルが一定以上であるかを判断する（ｎ３０）。この判断は、ノートオンイベント時のベロシティデータで判断してもよく、また、楽音合成装置１５から何らかのフィードバックデータを得てそれに基づいて判断してもよい。一定レベル以下の場合にはベースキャラクタｂを１にセットする（ｎ３１）。また、一定レベル以上の場合にはベースキャラクタナンバｂをｎ＋１にセットする（ｎ３２）。つぎに、モーション番号ＭＯを計算する（ｎ３３）。ＭＯはｍｏＣＮＴ（ｉ）＋ｂで算出される。これにより、このパートの発音レベルが一定以上の場合にはモーション番号ｎ＋１以降のキャラクタが読み出されることになり、大きなアクションのキャラクタが表示されることになる。また、ミュートされていないため表示色を濃く指定する（ｎ３４）。これらのデータに基づいてパートｉに指定されているキャラクタテーブルのなかからモーションナンバＭＯのキャラクタを読み出してキャラクタ表示を更新する（ｎ３５，ｎ３６）。こののち、次の楽曲データを読み出すためにｎ２０にもどる。また、ｎ２５でＭＵＴＥ＝１であった場合には、このパートはミュートされており発音しないためイベントを実行せずにモーションもＭＯ＝１に固定する（ｎ３７）。そして表示色をミュートを示す薄色に指定して（ｎ３８）、ｎ３５に進む。 FIG. 8 is a flowchart showing a read processing operation. This operation is an operation executed at n13 when DUR = 0. First, music data is read (n20). The type of the read music data is determined by n21, n22, and n23. If the read music data is event data, the part number in which the event has occurred is set to i (n24). The mute flag MUTE (i) of this part is determined (n25). If MUTE = 0, the part is not muted, and the event is executed as usual (n26). The execution of the event is, for example, a note-on event, a process of assigning a sounding channel for sounding the musical tone, and transmitting a key code or velocity data to the sounding channel (musical sound synthesizer 15). Next, 1 is added to the motion counter moCNT (i) of this part. This motion counter is a counter for designating the motion number of the character to be displayed. When moCNT becomes n as a result of the addition, moCNT is set to 0 (n28, n29). This is for forming a basic motion from n frames and displaying it repeatedly. Next, it is determined whether the sound level of this part is equal to or higher than a certain value (n30). This determination may be made based on the velocity data at the time of the note-on event, or may be obtained based on some feedback data obtained from the tone synthesizer 15. If the level is equal to or lower than the certain level, the base character b is set to 1 (n31). If the level is equal to or higher than a certain level, the base character number b is set to n + 1 (n32). Next, the motion number MO is calculated (n33). MO is calculated by moCNT (i) + b. As a result, if the sounding level of this part is equal to or higher than a certain value, the characters with the motion number n + 1 and thereafter are read, and a character with a large action is displayed. Further, since the image is not muted, the display color is specified to be dark (n34). Based on these data, the character of the motion number MO is read out of the character table specified in part i, and the character display is updated (n35, n36). Thereafter, the process returns to n20 to read out the next music data. If MUTE = 1 in n25, this part is muted and does not sound, so that no event is executed and the motion is fixed to MO = 1 (n37). Then, the display color is designated as a light color indicating mute (n38), and the process proceeds to n35.

　一方、読み出されたデータがデュレーションデータであった場合にはこのデータをＤＵＲにセットして（ｎ４０）。図７の動作にリターンする。またエンドデータであった場合には演奏が終了であるため現在発音中の全楽音を消去して（ｎ４１）最初の動作ｎ１に戻る。さらにこれら以外のデータであったときには対応する動作（ｎ４２）を実行したのちｎ２０にもどる。 On the other hand, if the read data is duration data, this data is set in DUR (n40). It returns to the operation of FIG. If the data is end data, the performance has ended, and all tones currently being generated are deleted (n41), and the process returns to the first operation n1. Further, when the data is other than these, the corresponding operation (n42) is executed, and then the process returns to n20.

このようにすることにより、音楽に合わせて、その音楽にあった映像を表示することができ、実際に演奏しているようなリアルな感覚の表示にすることができる。また、ミュートの指示もそのパートの演奏者を指定するのみでよいため、簡略である。 By doing so, an image suitable for the music can be displayed in time with the music, and a display with a realistic feeling as if actually playing can be achieved. Also, the mute instruction is simple because it is only necessary to specify the player of the part.

　なお、この実施形態では楽曲データのヘッダ部から音色情報を得たが、イベント数と同様に演奏に先立ってその楽曲で用いられる全ての音色を曲全体から抽出するようにしてもよい。 In this embodiment, the timbre information is obtained from the header portion of the music data, but all the timbres used in the music may be extracted from the whole music prior to the performance in the same manner as the number of events.

この発明の実施形態である自動演奏装置のブロック図1 is a block diagram of an automatic performance device according to an embodiment of the present invention. 同自動演奏装置のメモリ構成図Memory configuration diagram of the automatic performance device 楽曲データの構成図Composition diagram of music data キャラクタデータファイルの構成図Configuration diagram of character data file アンサンブル判定テーブルの構成図Configuration diagram of the ensemble determination table パート管理テーブルの構成図Configuration diagram of part management table 同自動演奏装置の動作を示すフローチャートFlow chart showing the operation of the automatic performance device 同自動演奏装置の動作を示すフローチャートFlow chart showing the operation of the automatic performance device 音色番号リストを示す図Diagram showing tone number list ロックバンドの表示例を示す図Figure showing a display example of a rock band オーケストラの表示例を示す図Diagram showing a display example of an orchestra キャラクタの配置順序の例を示す図Figure showing an example of character placement order

Claims (8)

　複数種類の音色を合成可能な楽音合成手段と、音色指定データを含む自動演奏データを記憶する自動演奏データ記憶手段と、該自動演奏データ記憶手段に記憶されている自動演奏データを読み出し前記音色指定データで指定される音色で前記楽音合成手段を駆動する自動演奏手段とを備えた自動演奏装置において、
　表示手段と、
　前記複数種類の音色に対応するキャラクタを記憶するキャラクタ記憶手段と、
　前記自動演奏データから音色指定データを読み出し、この音色指定データで指定された音色に対応するキャラクタを前記キャラクタ記憶手段から読み出して前記表示手段に表示させるキャラクタ表示制御手段と、
　を設けたことを特徴とする自動演奏装置。 Tone synthesis means capable of synthesizing a plurality of types of tones, automatic performance data storage means for storing automatic performance data including tone specification data, and reading out the automatic performance data stored in the automatic performance data storage means. An automatic performance device comprising: an automatic performance device that drives the musical tone synthesis device with a tone specified by data.
Display means;
Character storage means for storing characters corresponding to the plurality of types of timbres,
Character display control means for reading the tone specification data from the automatic performance data, reading a character corresponding to the tone specified by the tone specification data from the character storage means, and displaying the read character on the display means;
An automatic performance device comprising: 　前記キャラクタ記憶手段は、楽器に対応するキャラクタとして、その音色に対応する楽器を演奏する演奏者の姿を記憶している請求項１に記載の自動演奏装置。 2. The automatic performance apparatus according to claim 1, wherein the character storage means stores, as a character corresponding to the musical instrument, a figure of a player who plays the musical instrument corresponding to the timbre. 　前記キャラクタ記憶手段は、音色に対応するキャラクタとして、モーションのキャラクタを記憶している請求項１または請求項２に記載の自動演奏装置。 3. The automatic performance apparatus according to claim 1, wherein the character storage means stores a motion character as a character corresponding to a tone color. 　前記キャラクタ記憶手段は、音色に対応するキャラクタとして、音量が大きいときのキャラクタと音量が小さいときのキャラクタを記憶しており、
　前記キャラクタ表示制御手段は、自動演奏データの当該音色の音量データに応じていずれかのキャラクタを読み出す請求項１、請求項２または請求項３に記載の自動演奏装置。 The character storage means stores a character when the volume is high and a character when the volume is low as the character corresponding to the tone color,
4. The automatic performance device according to claim 1, wherein said character display control means reads out any one of the characters according to the volume data of the timbre of the automatic performance data. 　前記キャラクタ記憶手段は、各音色に対応するキャラクタのうち、類似する音色に対応するキャラクタを共通化している請求項１乃至請求項４のいずれかに記載の自動演奏装置。 The automatic performance device according to any one of claims 1 to 4, wherein the character storage unit shares a character corresponding to a similar tone color among characters corresponding to each tone color. 　前記自動演奏データ記憶手段が記憶している自動演奏データは、音色指定データおよびこの音色の左右および上下の定位を指定する定位情報を含み、
　前記キャラクタ表示制御手段は、音色指定データとともに定位情報を読み出し、前記対応するキャラクタをこの定位情報で指定された定位位置に表示させる請求項１乃至請求項５のいずれかに記載の自動演奏装置。 The automatic performance data stored in the automatic performance data storage means includes timbre specification data and localization information for specifying left, right, up, and down localization of the timbre,
6. The automatic performance apparatus according to claim 1, wherein the character display control means reads out the localization information together with the tone color designation data, and displays the corresponding character at the localization position specified by the localization information. 　複数種類の音色を合成可能な楽音合成手段と、複数の音色を指定する音色指定データを含む自動演奏データを記憶する自動演奏データ記憶手段と、該自動演奏データ記憶手段に記憶されている自動演奏データを読み出し前記音色指定データで指定される音色で前記楽音合成手段を駆動する自動演奏手段とを備えた自動演奏装置において、
　表示手段と、
　前記複数種類の音色の楽器に対応するキャラクタを記憶するキャラクタ記憶手段と、
　前記自動演奏データから音色指定データを読み出し、この音色指定データが指定する複数の音色の組み合わせが所定のアンサンブルの編成になっているかを判定し、所定のアンサンブルの編成になっている場合には、各音色の楽器に対応するキャラクタの配置をそのアンサンブルにおける配置に決定するアンサンブル判定手段と、
　該アンサンブル判定手段によって決定された配置で、前記複数の音色に対応するキャラクタを前記表示手段に表示させるキャラクタ表示制御手段と、
　を設けたことを特徴とする自動演奏装置。 Tone synthesis means capable of synthesizing a plurality of types of tones, automatic performance data storage means for storing automatic performance data including tone specification data for specifying a plurality of tones, and automatic performance data stored in the automatic performance data storage means. An automatic performance device comprising: an automatic performance device that reads data and drives the tone synthesis device with a tone specified by the tone color specification data;
Display means;
Character storage means for storing characters corresponding to the plurality of types of musical instruments;
The tone specification data is read from the automatic performance data, and it is determined whether a combination of a plurality of tones specified by the tone specification data has a predetermined ensemble composition.If the combination has a predetermined ensemble composition, Ensemble determination means for determining the arrangement of the character corresponding to the musical instrument of each tone to the arrangement in the ensemble;
Character display control means for causing the display means to display characters corresponding to the plurality of timbres in the arrangement determined by the ensemble determination means,
An automatic performance device comprising: 　前記アンサンブル判定手段は、自動演奏データから読み出した音色指定データが指定する複数の音色の組み合わせが所定のアンサンブルの編成になっていなかった場合には、自動演奏データにおける各音色のイベント数に応じて、予め定めた順序に前記各音色に対応するキャラクタの配置を決定する請求項７に記載の自動演奏装置。 The ensemble determination means, if the combination of a plurality of timbres specified by the timbre specification data read from the automatic performance data is not a predetermined ensemble composition, according to the number of events of each timbre in the automatic performance data. 8. The automatic performance device according to claim 7, wherein the arrangement of the characters corresponding to the respective tone colors is determined in a predetermined order.
JP2003366394A 2003-10-27 2003-10-27 Automatic performance device Expired - Fee Related JP3760940B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003366394A JP3760940B2 (en) 2003-10-27 2003-10-27 Automatic performance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003366394A JP3760940B2 (en) 2003-10-27 2003-10-27 Automatic performance device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP20685694A Division JP3579927B2 (en) 1994-08-31 1994-08-31 Automatic performance device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005296666A Division JP4192936B2 (en) 2005-10-11 2005-10-11 Automatic performance device

Publications (2)

Publication Number Publication Date
JP2004038219A true JP2004038219A (en) 2004-02-05
JP3760940B2 JP3760940B2 (en) 2006-03-29

Family

ID=31712902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003366394A Expired - Fee Related JP3760940B2 (en) 2003-10-27 2003-10-27 Automatic performance device

Country Status (1)

Country Link
JP (1) JP3760940B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63170697A (en) * 1987-09-04 1988-07-14 ヤマハ株式会社 Musical sound image converter
JPS6444982A (en) * 1987-08-14 1989-02-17 Yamaha Corp Musical video converter
JPS6457298A (en) * 1987-08-28 1989-03-03 Yamaha Corp Musical sound visualizer
JPS6491173A (en) * 1987-10-02 1989-04-10 Yamaha Corp Musical video converter
JPH0267598A (en) * 1988-09-02 1990-03-07 Yamaha Corp Musical sound generating device
JPH03216767A (en) * 1990-01-21 1991-09-24 Sony Corp Picture forming device
JPH07152369A (en) * 1993-11-30 1995-06-16 Yamaha Corp Multi-media controller
JPH0869282A (en) * 1994-08-31 1996-03-12 Yamaha Corp Automatic playing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444982A (en) * 1987-08-14 1989-02-17 Yamaha Corp Musical video converter
JPS6457298A (en) * 1987-08-28 1989-03-03 Yamaha Corp Musical sound visualizer
JPS63170697A (en) * 1987-09-04 1988-07-14 ヤマハ株式会社 Musical sound image converter
JPS6491173A (en) * 1987-10-02 1989-04-10 Yamaha Corp Musical video converter
JPH0267598A (en) * 1988-09-02 1990-03-07 Yamaha Corp Musical sound generating device
JPH03216767A (en) * 1990-01-21 1991-09-24 Sony Corp Picture forming device
JPH07152369A (en) * 1993-11-30 1995-06-16 Yamaha Corp Multi-media controller
JPH0869282A (en) * 1994-08-31 1996-03-12 Yamaha Corp Automatic playing device

Also Published As

Publication number Publication date
JP3760940B2 (en) 2006-03-29

Similar Documents

Publication Publication Date Title
US5631433A (en) Karaoke monitor excluding unnecessary information from display during play time
US7091410B2 (en) Apparatus and computer program for providing arpeggio patterns
JP2002116686A (en) Device and method for instructing performance and storage medium
JP2004264501A (en) Keyboard musical instrument
JP3579927B2 (en) Automatic performance device
EP3550555B1 (en) Electronic musical instrument, method, and storage medium
US20040147301A1 (en) Music game apparatus and electronic musical apparatus and computer programs therefor
US6323411B1 (en) Apparatus and method for practicing a musical instrument using categorized practice pieces of music
JP2000056756A (en) Support apparatus for musical instrument training and record medium of information for musical instrument training
JP4192936B2 (en) Automatic performance device
JP2000338972A (en) Electronic musical instrument with performance guide
JP3815249B2 (en) Music score display device and music score display program
JP3267777B2 (en) Electronic musical instrument
JP2005202204A (en) Program and apparatus for musical score display
JP3760940B2 (en) Automatic performance device
JP2009180757A (en) Electronic musical device and performance data editing display program
JP3788457B2 (en) Automatic performance device
JP2007248881A (en) Musical performance system, controller used for same system, and program
US6274798B1 (en) Apparatus for and method of setting correspondence between performance parts and tracks
JP5029400B2 (en) Management program and information processing apparatus
JP4179063B2 (en) Performance setting data selection device and program
JP2006267611A (en) Stringed instrument type electronic musical instrument
WO2023032672A1 (en) Sound generation device, sound generation method, and program
JP3680732B2 (en) Performance device and storage medium
JP3674469B2 (en) Performance guide method and apparatus and recording medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110120

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120120

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130120

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees