JP2007025411A - Musical score display device and musical score display program - Google Patents
Musical score display device and musical score display program Download PDFInfo
- Publication number
- JP2007025411A JP2007025411A JP2005209407A JP2005209407A JP2007025411A JP 2007025411 A JP2007025411 A JP 2007025411A JP 2005209407 A JP2005209407 A JP 2005209407A JP 2005209407 A JP2005209407 A JP 2005209407A JP 2007025411 A JP2007025411 A JP 2007025411A
- Authority
- JP
- Japan
- Prior art keywords
- image
- song
- data
- performance
- color attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Processing Or Creating Images (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
Description
本発明は、楽譜以外の情報を視覚的に表現する楽譜表示装置および楽譜表示プログラムに関する。 The present invention relates to a score display apparatus and a score display program for visually expressing information other than a score.
曲を構成する各音を表す曲データを楽譜化して表示する楽譜表示装置が知られている。例えば、特許文献1には、色彩と楽曲の演奏の仕方に関する指示との対応関係を示す関係情報を用いて、楽譜中で演奏指示する部分を指定色で表示して演奏練習を効果的に行えるようにした楽譜表示装置が開示されている。 2. Description of the Related Art Music score display devices that display music data representing each sound constituting a music in a musical score are known. For example, Japanese Patent Laid-Open No. 2004-228620 can effectively perform performance practice by displaying a portion instructed for performance in a musical score in a designated color using relationship information indicating a correspondence relationship between a color and an instruction regarding how to perform a song. A musical score display apparatus as described above is disclosed.
ところで、上記特許文献1に開示の装置では、楽譜中で演奏指示する部分を指定色で表示して演奏練習をアシストするだけなので、楽譜化する曲の印象やユーザの演奏結果といった楽譜以外の情報を視覚的に表現することが出来ないという問題がある。
そこで本発明は、このような事情に鑑みてなされたもので、楽譜化する曲の印象やユーザの演奏結果といった楽譜以外の情報を視覚的に表現することができる楽譜表示装置および楽譜表示プログラムを提供することを目的としている。
By the way, in the apparatus disclosed in the above-mentioned
Therefore, the present invention has been made in view of such circumstances, and a musical score display apparatus and a musical score display program capable of visually expressing information other than a musical score, such as an impression of a song to be scored and a performance result of a user, are provided. It is intended to provide.
上記目的を達成するため、請求項1に記載の発明では、各画像毎の色彩属性および画像データを記憶する画像記憶手段と、曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段とを具備することを特徴とする。 In order to achieve the above object, according to the first aspect of the present invention, image storage means for storing color attributes and image data for each image and music data storage means for storing music data representing each sound constituting the music. A parameter that represents the impression of the song from the song data stored in the song data storage unit, and a song analysis unit that converts the parameter into a conversion value corresponding to a color attribute; and the song analysis unit An image selection unit that selects image data having a color attribute closest to the conversion value from the image storage unit, and a background image display that displays the image data selected by the image selection unit as a background image of a score according to the corresponding color attribute Means.
請求項2に記載の発明では、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って楽譜の背景として表示される画像の表示態様を異ならせる画像補正手段とを具備することを特徴とする。 According to the second aspect of the present invention, performance evaluation means for generating an evaluation result of performance data generated by a user performance is corrected with respect to song data serving as a performance model, and is corrected according to the evaluation result generated by the performance evaluation means. Image correction means for changing the display mode of the image displayed as the background of the score according to the color attribute.
請求項3に記載の発明では、各画像毎の色彩属性および画像データを記憶する画像記憶手段と、曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段と、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って前記背景画像表示手段により表示された背景画像の表示態様を異ならせる画像補正手段とを具備することを特徴とする。 According to the third aspect of the present invention, image storage means for storing color attributes and image data for each image, music data storage means for storing music data representing each sound constituting the music, and the music data storage means A song analysis means for extracting a parameter representing the impression of the song from the song data stored in the song data and converting the parameter into a conversion value corresponding to the color attribute; and a color attribute closest to the conversion value generated by the song analysis means An image selection unit that selects the image data from the image storage unit, a background image display unit that displays the image data selected by the image selection unit as a background image of a score according to a corresponding color attribute, and a performance example Performance evaluation means for generating performance data evaluation results generated by user performance with respect to song data, and color attributes corrected according to the evaluation results generated by the performance evaluation means Accordingly, characterized by comprising an image correcting means for varying the display mode of the displayed background image by the background image display means.
上記請求項1乃至3のいずれかに従属する請求項4に記載の発明では、前記色彩属性は、対応する画像の明度、彩度および色相を指定することを特徴とする。
The invention according to
上記請求項2又は3のいずれかに従属する請求項5に記載の発明では、前記画像補正手段は、少なくとも明度、彩度および色相のいずれかを評価結果に応じて補正することを特徴とする。
In the invention according to claim 5 that depends on either
請求項6に記載の発明では、曲を構成する各音を表す曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析処理と、予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理とをコンピュータで実行させることを特徴とする。 According to the sixth aspect of the present invention, a song analysis process for extracting a parameter representing the impression of a song from song data representing each sound constituting the song and converting it into a converted value corresponding to a color attribute, and storing in advance An image selection process for selecting image data having a color attribute closest to the conversion value generated by the music analysis means from among the color attribute and image data for each image, and the image data selected by the image selection process And a background image display process for displaying as a background image of a musical score according to a corresponding color attribute.
請求項7に記載の発明では、曲を構成する各音を表す曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析処理と、予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理と、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価処理と、前記演奏評価処理が生成する評価結果に応じて補正される色彩属性に従って前記背景画像表示処理にて表示された背景画像の表示態様を異ならせる画像補正処理とをコンピュータで実行させることを特徴とする。 According to the seventh aspect of the present invention, a song analysis process for extracting a parameter representing the impression of a song from song data representing each sound constituting the song and converting it into a conversion value corresponding to a color attribute, and storing in advance An image selection process for selecting image data having a color attribute closest to the conversion value generated by the music analysis means from among the color attribute and image data for each image, and the image data selected by the image selection process A background image display process for displaying the image as a background image of a musical score according to a corresponding color attribute, a performance evaluation process for generating a performance data evaluation result generated by a user performance for music data serving as a performance model, and the performance evaluation And an image correction process for changing the display mode of the background image displayed in the background image display process according to the color attribute corrected according to the evaluation result generated by the process. Characterized in that it run on the data.
請求項1、6に記載の発明によれば、曲データから曲の印象を表すパラメータを抽出して色彩属性に対応させた変換値に変換すると、その変換値に最も近い色彩属性の画像データが予め記憶された各画像毎の色彩属性および画像データの内から選択され、選択された画像データを対応する色彩属性に従って楽譜の背景画像として表示する。したがって、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示されるから、楽譜以外の情報を視覚的に表現出来るようになる。 According to the first and sixth aspects of the invention, when a parameter representing the impression of a song is extracted from the song data and converted to a conversion value corresponding to the color attribute, image data having a color attribute closest to the conversion value is obtained. It is selected from among color attributes and image data for each image stored in advance, and the selected image data is displayed as a background image of a score according to the corresponding color attribute. Accordingly, since an image suitable for the impression of the music to be scored is displayed as the background of the score, information other than the score can be visually expressed.
請求項2に記載の発明によれば、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生すると、その評価結果に応じて補正される色彩属性に従って楽譜の背景として表示される画像の表示態様を異ならせる。この結果、ユーザの演奏結果に応じて、楽譜の背景となる画像の表示態様が変化する為、楽譜以外の情報を視覚的に表現することができる。 According to the second aspect of the present invention, when an evaluation result of performance data generated by a user performance is generated for music data serving as a performance model, the background of the score is generated according to the color attribute corrected according to the evaluation result. The display mode of the displayed image is varied. As a result, since the display mode of the image serving as the background of the score changes according to the performance result of the user, information other than the score can be visually expressed.
請求項3、7に記載の発明によれば、曲データから曲の印象を表すパラメータを抽出して色彩属性に対応させた変換値に変換すると、その変換値に最も近い色彩属性の画像データが予め記憶された各画像毎の色彩属性および画像データの内から選択され、選択された画像データを対応する色彩属性に従って楽譜の背景画像として表示する。これにより、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示される為、楽譜以外の情報を視覚的に表現することができる。
また、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生すると、その評価結果に応じて補正される色彩属性に従って背景画像の表示態様を異ならせる結果、ユーザの演奏結果に応じて楽譜の背景画像の表示態様が変化して楽譜以外の情報を視覚的に表現することができる。
According to the third and seventh aspects of the present invention, when a parameter representing the impression of a song is extracted from the song data and converted into a conversion value corresponding to the color attribute, image data having a color attribute closest to the conversion value is obtained. It is selected from among color attributes and image data for each image stored in advance, and the selected image data is displayed as a background image of a score according to the corresponding color attribute. As a result, an image suitable for the impression of the music to be scored is displayed as the background of the score, so that information other than the score can be visually expressed.
Further, when an evaluation result of performance data generated by a user performance is generated with respect to music data serving as a performance example, the display mode of the background image is changed according to the color attribute corrected according to the evaluation result, so that the performance of the user Depending on the result, the display mode of the background image of the score changes and information other than the score can be visually expressed.
以下、図面を参照して本発明の実施の形態について説明する。
A.構成
図1は、本発明の実施の一形態による楽譜表示装置の構成を示すブロック図である。この図において、操作部10は、電源スイッチの他、キー入力用のキーボードやマウス等の入力操作子を備え、入力操作に対応したイベントを発生する。このイベントはCPU11に取り込まれる。CPU11は、ROM12に記憶される各種制御プログラムを実行し、操作部10が発生するイベントに対応して装置各部を制御するものであり、その特徴的な処理動作については追って詳述する。
Embodiments of the present invention will be described below with reference to the drawings.
A. Configuration FIG. 1 is a block diagram showing a configuration of a score display apparatus according to an embodiment of the present invention. In this figure, the
ROM12は、プログラムエリアおよびデータエリアを備える。ROM12のプログラムエリアには、CPU11にロードされる各種制御プログラムが記憶される。各種制御プログラムとは、後述するメインルーチン、曲分析処理、画像選択処理、演奏評価処理、楽譜表示処理、画像補正処理、楽譜描画処理および背景描画処理を含む。ROM12のデータエリアには、音符や休符、譜表などを表示するための楽譜表示データやGUI画面を形成する各種画面データが記憶される。RAM13は、ワークエリアおよびデータエリアを備える。RAM13のワークエリアには、CPU11の処理に用いられる各種レジスタ/フラグデータが一時記憶される。RAM13のデータエリアは、画像データエリアおよび曲データエリアを有する。
The
RAM13の画像データエリアには、画像データベースIDBが設けられる。図2は、RAM13の画像データエリアに設けられる画像データベースIDBの構成を示す図である。この図に示す画像データベースIDBは、各画像の色彩属性を表すヘッダHD[0]〜HD[N]と、これらヘッダHD[0]〜HD[N]に対応する画像データD[0]〜[N]とを備える。ヘッダHDは、対応する画像データDを指定するポインタHP、当該ポインタHPで指定される画像データD[HP]の明度Bri、彩度Satおよび色相Hueを指定する。
An image database IDB is provided in the image data area of the
なお、明度Bri、彩度Satおよび色相Hueは、色彩の3属性であり、明度Briは明暗を表す輝度を、彩度Satは色の鮮やかさを表す純度(飽和度)を、色相Hueは色合をそれぞれ表すものである。本実施形態では、後述するように、楽譜化する曲の印象に最も近い明度Bri、彩度Satおよび色相Hueを有するヘッダHD[picp]を画像データベースIDBから検索し、該当するヘッダHD[picp]により指定される画像データD[picp]を、楽譜の背景として表示するようになっている。 The lightness Bri, saturation Sat, and hue Hue are the three attributes of color, the lightness Bri is brightness representing brightness, the saturation Sat is purity (saturation) representing color vividness, and the hue Hue is hue. Respectively. In this embodiment, as will be described later, a header HD [picp] having the brightness Bri, saturation Sat, and hue Hue closest to the impression of the music to be scored is searched from the image database IDB, and the corresponding header HD [picp] The image data D [picp] specified by is displayed as the background of the score.
RAM13の曲データエリアには、各曲の属性を表す曲ヘッダKH[0]〜KH[N]と、これらヘッダKH[0]〜KH[N]に対応する曲データKD[0]〜[N]とを備える。曲ヘッダKHは、図3に図示するように、対応する曲データKDを指定するポインタP、当該ポインタPで指定される曲データKD[P]のテンポTmp、調Keyおよび拍子Baetから構成される。曲データKDは、図示していないが、曲を構成する各音の発音時刻、音長、音高および音量を有し、曲の終わりには終端を表すデータendを備える。
In the song data area of the
音源14は、周知の波形メモリ読み出し方式で構成され、RAM13の曲データエリアからCPU11が順次読み出す曲データを、指定テンポに同期して再生して楽音信号を出力する。サウンドシステム15は、音源14から出力される楽音信号をD/A変換した後に増幅してスピーカSPから発音する。表示部16は、CPU11から供給される表示制御信号に応じて楽譜表示したり、装置の動作状態を表示する。
The
インタフェース(I/F)部17は、CPU11の制御の下に外部装置と画像データDを授受する通常のインタフェースの他、外部MIDI機器とMIDI形式の曲データを授受するMIDIインタフェースを備える。なお、図1には図示していないが、インタフェース(I/F)部17のMIDIインタフェースに、外部MIDI機器としてキーボード装置が接続される場合、当該キーボード装置の押離鍵操作に対応して生じる演奏データは、MIDIインタフェースを介してRAM13の曲データエリアに、演奏データとして格納されるようになっている。
The interface (I / F)
B.動作
次に、図4〜図11を参照して上記構成による実施形態の動作について説明する。以下では、先ず最初に全体動作としてメインルーチンの動作を説明した後、続いてメインルーチンからコールされる曲分析処理、画像選択処理、演奏評価処理および楽譜表示処理の各動作を説明する。
B. Operation Next, the operation of the embodiment having the above-described configuration will be described with reference to FIGS. In the following, first, the operation of the main routine will be described as the overall operation, and then each operation of music analysis processing, image selection processing, performance evaluation processing, and score display processing called from the main routine will be described.
(1)メインルーチンの動作
装置電源の投入に応じて、CPU11は図4に図示するメインルーチンを実行してステップSA1に処理を進め、RAM13のワークエリアに設けられる各種レジスタ/フラグ類をリセットしたり、初期値セットする初期化を実行する。そして、ステップSA2に進み、ユーザによるキー操作入力待ち状態となる。次いで、ステップSA3〜SA8では、キー操作入力待ち状態下で「曲選択」、「画像選択」、「再生選択」、「演奏開始」、「演奏評価」および「印刷」の実行を指示するキー操作入力の有無を判断する。
(1) Operation of main routine In response to turning on the power of the apparatus, the CPU 11 executes the main routine shown in FIG. 4 and proceeds to step SA1 to reset various registers / flags provided in the work area of the
「曲選択」を指示するキー操作入力が行われた場合には、ステップSA3において、RAM13の曲データエリアに格納される曲データを一覧表示する曲選択用のGUI画面を発生して表示部16に表示する。そして、この曲選択用のGUI画面においてユーザが曲選択を行うと、ステップSA3の判断結果が「YES」になり、ステップSA9を介して曲分析処理(後述する)を実行した後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
When a key operation input for instructing “song selection” is performed, in step SA3, a song selection GUI screen for displaying a list of song data stored in the song data area of the
「画像選択」を指示するキー操作入力が行われた場合には、ステップSA4の判断結果が「YES」になり、ステップSA10を介して画像選択処理(後述する)を実行した後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。 When a key operation input for instructing “image selection” is performed, the determination result in step SA4 is “YES”. After performing image selection processing (described later) via step SA10, step SA15 is performed. Then, a score display process (described later) is executed, and then the process returns to step SA2 to return to the key operation input waiting state.
「再生選択」を指示するキー操作入力が行われた場合には、ステップSA5の判断結果が「YES」になり、ステップSA11に進む。ステップSA11では、上記ステップSA3にて選択された曲データを再生する再生処理を実行する。この後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。 When the key operation input for instructing “reproduction selection” is performed, the determination result in step SA5 is “YES”, and the process proceeds to step SA11. In step SA11, a reproduction process for reproducing the music data selected in step SA3 is executed. Thereafter, a score display process (described later) is executed via step SA15, and then the process returns to step SA2 to return to the key operation input waiting state.
「演奏開始」を指示するキー操作入力が行われた場合には、ステップSA6の判断結果が「YES」になり、ステップSA12に進む。ステップSA12では、ユーザの演奏操作に応じて、外部MIDI機器(例えばキーボード)からインタフェース部17のMIDIインタフェースを介して入力される演奏データをRAM13の曲データエリアに取り込む演奏処理を実行する。この後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
When the key operation input for instructing “start of performance” is performed, the determination result of step SA6 is “YES”, and the process proceeds to step SA12. In step SA12, in accordance with a user's performance operation, a performance process is performed in which performance data input from an external MIDI device (for example, a keyboard) via the MIDI interface of the
「演奏評価」を指示するキー操作入力が行われた場合には、ステップSA7の判断結果が「YES」になり、ステップSA13を介して演奏評価処理(後述する)を実行した後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。 When a key operation input for instructing “performance evaluation” is performed, the determination result in step SA7 is “YES”. After performing performance evaluation processing (described later) through step SA13, step SA15 is performed. Then, a score display process (described later) is executed, and then the process returns to step SA2 to return to the key operation input waiting state.
「印刷」を指示するキー操作入力が行われた場合には、ステップSA8の判断結果が「YES」になり、ステップSA14に進む。ステップSA14では、表示部16の画面に表示された楽譜および背景を印刷する印刷処理をを実行する。この後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
When a key operation input for instructing “print” is performed, the determination result of step SA8 is “YES”, and the process proceeds to step SA14. In step SA14, a printing process for printing the score and the background displayed on the screen of the
(2)曲分析処理の動作
次に、図5を参照して曲分析処理の動作を説明する。上述したメインルーチンのステップSA9(図4参照)を介して本処理が実行されると、CPU11はステップSB1に処理を進める。ステップSB1〜SB4では、レジスタmeanlen、レジスタmeanpit、レジスタmeanvelおよびカウンタnをゼロリセットする。次いで、ステップSB5では、前述のステップSA3(図4参照)において選択された曲データKD[P]中の各音(音符)を指定するノートポインタnotepを初期化する。
(2) Music Analysis Processing Operation Next, the music analysis processing operation will be described with reference to FIG. When this process is executed via step SA9 (see FIG. 4) of the main routine described above, the CPU 11 advances the process to step SB1. In steps SB1 to SB4, the register meanlen, the register meanpit, the register meanbel, and the counter n are reset to zero. Next, in step SB5, a note pointer notep for designating each sound (note) in the music piece data KD [P] selected in step SA3 (see FIG. 4) is initialized.
続いて、ステップSB6では、ノートポインタnotepが曲データKD[P]の終端endに達したか否かを判断する。終端endに達していなければ、判断結果は「NO」になり、ステップSB7に進む。ステップSB7では、ノートポインタnotepが指定する音符の音長をレジスタmeanlenに加算する。次いで、ステップSB8では、ノートポインタnotepが指定する音符の音高をレジスタmeanpitに加算する。続いて、ステップSB9では、ノートポインタnotepが指定する音符の音量をレジスタmeanvelに加算する。そして、ステップSB10では、カウンタnをインクリメントして歩進させる。次に、ステップSB11では、ノートポインタnotepを歩進させた後、上述のステップSB6に処理を戻す。 Subsequently, in step SB6, it is determined whether or not the note pointer note has reached the end end of the music piece data KD [P]. If the terminal end has not been reached, the determination result is “NO”, and the flow proceeds to step SB7. In step SB7, the note length designated by the note pointer note is added to the register meanlen. Next, in step SB8, the pitch of the note designated by the note pointer note is added to the register meanpit. Subsequently, in step SB9, the volume of the note designated by the note pointer note is added to the register meanlevel. In step SB10, the counter n is incremented and incremented. Next, in step SB11, the note pointer notep is incremented, and then the process returns to step SB6 described above.
以後、歩進されるノートポインタnotepが曲データKD[P]の終端endに達するまで上述したステップSB6〜SB11を繰り返すことによって、前述のステップSA3(図4参照)において選択された曲データKD[P]の音符の数がカウンタnにて計数されると共に、各音符の音長を累算した値がレジスタmeanlenに、各音符の音高を累算した値がレジスタmeanpitに、各音符の音量を累算した値がレジスタmeanvelにそれぞれストアされる。そして、ノートポインタnotepが曲データKD[P]の終端endに達すると、上記ステップSB6の判断結果が「YES」になり、ステップSB12に進む。 Thereafter, the above-described steps SB6 to SB11 are repeated until the stepped note pointer notep reaches the end end of the song data KD [P], whereby the song data KD [ P] is counted by the counter n, the value obtained by accumulating the note length of each note is stored in the register meanlen, the value obtained by accumulating the pitch of each note is stored in the register meanpit, and the volume of each note. Are accumulated in the register meanvel. When the note pointer notep reaches the end ending of the music piece data KD [P], the determination result in Step SB6 is “YES”, and the flow proceeds to Step SB12.
そして、ステップSB12〜SB14では、カウンタnにて計数された音符数で音長累算値、音高累算値および音量累算値をそれぞれ除して得る平均音長、平均音高および平均音量をそれぞれレジスタmeanlen、レジスタmeanpitおよびレジスタmeanvelにストアして本処理を終える。
このように、曲分析処理では、前述のステップSA3(図4参照)において選択された曲データKD[P]の平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出するようになっている。
In steps SB12 to SB14, the average pitch, average pitch and average volume obtained by dividing the pitch length accumulated value, pitch accumulated value and volume accumulated value by the number of notes counted by the counter n, respectively. Are stored in the register meanlen, the register meanpit, and the register meanvel, respectively.
As described above, in the music analysis process, the average tone length meanlen, average pitch meanpit and average volume meanbel of the song data KD [P] selected in step SA3 (see FIG. 4) are calculated. .
(3)画像選択処理の動作
次に、図6を参照して画像選択処理の動作を説明する。上述したメインルーチンのステップSA10(図4参照)を介して本処理が実行されると、CPU11はステップSC1に処理を進める。ステップSC1では、次式(1)に基づき上述の曲分析処理にて求めた平均音長meanlenを明度Briに対応させた変換値Aに変換する。同様に、ステップSC2〜SC3では、次式(2)、(3)に基づき上述の曲分析処理にて求めた平均音高meanpitを彩度Satに対応させた変換値Bに、上述の曲分析処理にて求めた平均音量meanvelを彩色相Hueに対応させた変換値Cにそれぞれ変換する。
(3) Operation of Image Selection Process Next, the operation of the image selection process will be described with reference to FIG. When this process is executed via step SA10 (see FIG. 4) of the main routine described above, CPU 11 advances the process to step SC1. In step SC1, the average tone length meanlen obtained in the above-described music analysis process based on the following equation (1) is converted into a conversion value A corresponding to the brightness Bri. Similarly, in steps SC2 to SC3, the above-described music analysis is performed on the converted value B in which the average pitch meanpit obtained in the above-described music analysis processing based on the following expressions (2) and (3) is associated with the saturation Sat. The average sound volume meanbel obtained by the processing is converted into a conversion value C corresponding to the hue Hue.
変換値A=64×log2(meanlen/res) …(1)
変換値B=meanpit×2 …(2)
変換値C=meanvel×2 …(3)
なお、上記(1)〜(3)式は、変換値A〜Cが各々「0〜255」の範囲に収まるように定数resや乗算係数が設定されている。
Conversion value A = 64 × log 2 (meanlen / res) (1)
Conversion value B = meanpit × 2 (2)
Conversion value C = meanvel × 2 (3)
In the above equations (1) to (3), the constant res and the multiplication coefficient are set so that the conversion values A to C are within the range of “0 to 255”, respectively.
続いて、ステップSC4〜SC5では、レジスタminv、レジスタminpおよびポインタpicpを初期化する。次に、ステップSC6では、画像データベースIDB中のヘッダHD[picp]を指定するポインタpicpが終端endに達したか否かを判断する。ポインタpicpが終端endに達していなければ、判断結果は「NO」になり、ステップSC7に進む。ステップSC7では、上記ステップSC1〜SC3にて算出した(変換値A、変換値B、変換値C)と、ポインタpicpで指定されるヘッダHD[picp]中の(明度Bri、彩度Sat、色相Hue)との差分を算出してレジスタminにストアする。なお、ここで言う差分とは、各要素毎の差分(変換値A−明度Bri)、(変換値B−彩度Sat)および(変換値C−色相Hue)の自乗和平方根((A−Bri)2+(B−Sat)2+(C−Hue)2)1/2を指す。 Subsequently, in steps SC4 to SC5, the register minv, the register minp, and the pointer picp are initialized. Next, in step SC6, it is determined whether or not the pointer picp for designating the header HD [picp] in the image database IDB has reached the end end. If the pointer picp has not reached the end end, the determination result is “NO”, and the flow proceeds to step SC7. In step SC7, (conversion value A, conversion value B, conversion value C) calculated in steps SC1 to SC3 and (lightness Bri, saturation Sat, hue) in the header HD [picp] specified by the pointer picp. The difference from Hue) is calculated and stored in the register min. The difference referred to here is the square sum ((A-Bri) of the difference (conversion value A-lightness Bri), (conversion value B-saturation Sat), and (conversion value C-hue Hue) for each element. ) 2 + (B-Sat) 2 + (C-Hue) 2 ) 1/2 .
次に、ステップSC8では、最も小さい差分を保持するレジスタminvの値が、上記ステップSC7にて算出される差分を保持するレジスタminの値より大きいか否かを判断する。min>minvならば、判断結果は「NO」になり、後述のステップSC11に処理を進めるが、min<minvであると、判断結果が「YES」になり、ステップSC9に進み、レジスタminの値をレジスタminvに更新登録する。これにより、レジスタminvには最小差分が保持される。 Next, in step SC8, it is determined whether or not the value of the register minv that holds the smallest difference is larger than the value of the register min that holds the difference calculated in step SC7. If min> minv, the determination result is “NO”, and the process proceeds to step SC11, which will be described later. If min <minv, the determination result is “YES”, the process proceeds to step SC9, and the value of the register min Is updated and registered in the register minv. As a result, the minimum difference is held in the register minv.
続いて、ステップSC10では、最小差分に対応した(明度Bri、彩度Sat、色相Hue)を備えたヘッダHD[picp]を指定するポインタpicpを、レジスタminpにストアする。次いで、ステップSC11に進み、ポインタpicpを歩進させた後、上述のステップSC6に処理を戻す。以後、ポインタpicpが終端endに達するまでステップSC6〜SC11を繰り返すことによって、レジスタminvに最小差分がストアされ、レジスタminpに最小差分に対応するポインタpicpがストアされる。そして、ポインタpicpが終端endに達すると、ステップSC6の判断結果が「YES」になり、本処理を完了させる。 Subsequently, in step SC10, a pointer picp designating the header HD [picp] having (lightness Bri, saturation Sat, hue Hue) corresponding to the minimum difference is stored in the register minp. Next, the process proceeds to step SC11, the pointer picp is incremented, and the process returns to step SC6 described above. Thereafter, steps SC6 to SC11 are repeated until the pointer picp reaches the end end, whereby the minimum difference is stored in the register minv, and the pointer picp corresponding to the minimum difference is stored in the register minp. When the pointer picp reaches the end end, the determination result in step SC6 is “YES”, and this processing is completed.
このように、画像選択処理では、前述の曲分析処理にて求めた曲の平均音長meanlen(変換値A)、平均音高meanpit(変換値B)および平均音量meanvel(変換値C)に最も近い明度Bri、彩度Satおよび彩色相Hueを有するヘッダHD[minp]を画像データベースIDB(図2参照)から検索することで、曲の印象に相応しい背景画像が選択されるようになっている。 In this way, in the image selection process, the average pitch mean mean (converted value A), average pitch mean pitch (converted value B) and average volume mean level (converted value C) of the music obtained in the above-described music analyzing process are the most. By searching the header HD [minp] having the near brightness Bri, saturation Sat, and hue Hue from the image database IDB (see FIG. 2), a background image suitable for the impression of the song is selected.
(4)演奏評価処理の動作
次に、図7を参照して演奏評価処理の動作を説明する。演奏評価処理では、メインルーチンのステップSA12(図4参照)を介して実行された演奏処理にてRAM13の曲データエリアに取り込んだ演奏データと、模範演奏に相当する曲データとを比較して演奏評価を行う。すなわち、上述したメインルーチンのステップSA13(図4参照)を介して本処理が実行されると、CPU11は、ステップSD1〜SD5において、レジスタdevon、レジスタdevoff、レジスタdevvel、ポインタnおよびノートポインタnotepをそれぞれゼロリセットする。続いて、ステップSD6では、ノートポインタnotepが演奏データの終端endに達したか否かを判断する。
(4) Operation of Performance Evaluation Process Next, the operation of the performance evaluation process will be described with reference to FIG. In the performance evaluation process, the performance data fetched in the music data area of the
終端endに達していなければ、判断結果は「NO」になり、ステップSD7に進む。ステップSD7では、ノートポインタnotepが指定する演奏データ中の音(以下、演奏ノートと称す)に対応する正解ノートを曲データKDから検索してレジスタtnoteにストアする。なお、レジスタtnoteに格納される正解ノートは、発音時刻、音長、音高および音量からなる。次いで、ステップSD8では、ノートポインタnotepが指定する演奏ノートの発音時刻と、レジスタtnoteに格納される正解ノートの発音時刻との絶対差分を「発音タイミングずれ」としてレジスタdevonに加算する。 If the terminal end has not been reached, the determination result is “NO”, and the flow proceeds to step SD7. In step SD7, the correct note corresponding to the sound in the performance data designated by the note pointer note (hereinafter referred to as performance note) is retrieved from the music data KD and stored in the register tnote. Note that the correct note stored in the register tnote is composed of a pronunciation time, a tone length, a pitch, and a volume. Next, in step SD8, the absolute difference between the sounding time of the performance note designated by the note pointer note and the sounding time of the correct note stored in the register tnote is added to the register devon as a “sounding timing deviation”.
次に、ステップSD9では、ノートポインタnotepが指定する演奏ノートの発音時刻および音長から得られる消音時刻と、レジスタtnoteに格納される正解ノートの発音時刻および音長から得られる消音時刻との絶対差分を「消音タイミングずれ」としてレジスタdevoffに加算する。続いて、ステップSD10では、ノートポインタnotepが指定する演奏ノートの音量と、レジスタtnoteに格納される正解ノートの音量との絶対差分を「ベロシティ差」としてレジスタdevvelに加算する。そして、ステップSD11では、カウンタnをインクリメントして歩進させ、続くステップSD12では、ノートポインタnotepを歩進させた後、上述のステップSD6に処理を戻す。 Next, in step SD9, the absolute time between the sounding time obtained from the sounding time and sound length of the performance note specified by the note pointer note and the sounding time obtained from the sounding time and sound length of the correct note stored in the register tnote. The difference is added to the register devoff as “mute timing difference”. In step SD10, the absolute difference between the volume of the performance note specified by the note pointer note and the volume of the correct note stored in the register tnote is added to the register devvel as a “velocity difference”. In step SD11, the counter n is incremented and incremented. In the subsequent step SD12, the note pointer notep is incremented, and then the process returns to step SD6.
以後、歩進されるノートポインタnotepが演奏データの終端endに達するまで上述したステップSD6〜SD12を繰り返すことによって、演奏ノートの数がカウンタnにて計数されると共に、演奏データの「発音タイミングずれ累算値」がレジスタdevonに、「消音タイミングずれ累算値」がレジスタdevoffに、「ベロシティ差累算値」がレジスタdevvelにそれぞれストアされる。そして、ノートポインタnotepが演奏データの終端endに達すると、上記ステップSD6の判断結果が「YES」になり、ステップSD13に進む。 Thereafter, the above steps SD6 to SD12 are repeated until the stepped note pointer notep reaches the end ending of the performance data, whereby the number of performance notes is counted by the counter n and the performance data “sounding timing deviation” is counted. The “accumulated value” is stored in the register devon, the “silence timing shift accumulated value” is stored in the register devoff, and the “velocity difference accumulated value” is stored in the register devvel. When the note pointer notep reaches the end ending of the performance data, the determination result in step SD6 is “YES”, and the flow advances to step SD13.
そして、ステップSD13〜SD15では、カウンタnにて計数された演奏ノートの数で「発音タイミングずれ累算値」、「消音タイミングずれ累算値」および「ベロシティ差累算値」をそれぞれ除して得る「発音タイミングずれ平均値」、「消音タイミングずれ平均値」および「ベロシティ差平均値」をそれぞれレジスタdevon、レジスタdevoffおよびレジスタdevvelにストアして本処理を終える。 Then, in steps SD13 to SD15, the “sounding timing deviation accumulated value”, “mute timing deviation accumulated value” and “velocity difference accumulated value” are respectively divided by the number of performance notes counted by the counter n. The obtained “sounding timing deviation average value”, “mute timing deviation average value”, and “velocity difference average value” are stored in the register devon, the register devoff, and the register devvel, respectively, and the process is finished.
このように、演奏評価処理では、演奏処理にてRAM13の曲データエリアに取り込んだ演奏データと、演奏模範となる曲データとを比較する演奏評価により演奏データの発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvelが算出される。
In this way, in the performance evaluation process, the performance data pronunciation timing deviation average value devon and mute timing are determined by performance evaluation comparing performance data fetched into the music data area of the
(5)楽譜表示処理の動作
次に、図8〜図11を参照して楽譜表示処理の動作を説明する。前述したメインルーチンのステップSA15(図4参照)を介して実行される楽譜表示処理は、図8に図示するように、ステップSE1を介して実行される画像補正処理と、ステップSE2を介して実行される楽譜描画処理とから構成される。以下、画像補正処理および楽譜描画処理の各動作について述べる。
(5) Operation of Score Display Processing Next, the operation of the score display processing will be described with reference to FIGS. The musical score display process executed via step SA15 (see FIG. 4) of the main routine described above is executed via image correction process executed via step SE1 and step SE2, as shown in FIG. And a musical score drawing process. The operations of the image correction process and the score drawing process will be described below.
(6)画像補正処理の動作
画像補正処理では、上述の演奏評価処理にて得られた評価要素(発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvel)の内、いずれか1つの評価要素もしくは複数の評価要素に応じて、楽譜の背景として表示される画像の色彩3属性(明度Bri、彩度Satおよび色相Hue)の内、いずれか1つの属性もしくは複数の属性を補正する。図9に図示する一例の画像補正処理は、発音タイミングずれ平均値devonに応じて背景画像の明度Briを補正する。
(6) Image Correction Process Operation In the image correction process, any of the evaluation elements (sound generation timing shift average value devon, mute timing shift average value devoff and velocity difference average value devvel) obtained in the performance evaluation process described above. According to one evaluation element or a plurality of evaluation elements, any one attribute or a plurality of attributes are selected from the three color attributes (brightness Bri, saturation Sat, and hue Hue) of the image displayed as the background of the score. to correct. The image correction process of the example illustrated in FIG. 9 corrects the brightness Bri of the background image according to the sound generation timing shift average value devon.
図8のステップSE1を介して画像補正処理が実行されると、CPU11は図9に図示するステップSF1に進み、上述の演奏評価処理にて得られた発音タイミングずれ平均値devonに所定の係数ronを乗算して補正明度Rbriを算出する。次いで、ステップSF2では、画素ポインタpicpを初期化する。続いて、ステップSF3〜SF7では、画素ポインタpicpを歩進させながら、前述の画像選択処理により選択された背景画像(ヘッダHD[minp]で指定される画像データD[minp])を構成する各画素値(Red、Gr、Bl)を読み出し、読み出した画素値(Red、Gr、Bl)を補正明度Rbriに応じて増加させる。つまり、発音タイミングずれ平均値devonが大きくなるほど明度を上げるように補正する。そして、背景画像を構成する各画素値全てについて明度補正し終えると、ステップSF3の判断結果が「YES」になり、本処理を終える。 When the image correction process is executed through step SE1 in FIG. 8, the CPU 11 proceeds to step SF1 shown in FIG. 9, and a predetermined coefficient ron is added to the sounding timing deviation average value devon obtained in the performance evaluation process described above. To calculate a corrected brightness Rbri. Next, in step SF2, the pixel pointer picp is initialized. Subsequently, in steps SF3 to SF7, each of the background images (image data D [minp] specified by the header HD [minp]) selected by the above-described image selection process while incrementing the pixel pointer picp is configured. Pixel values (Red, Gr, B1) are read out, and the read pixel values (Red, Gr, B1) are increased according to the corrected lightness Rbri. In other words, correction is performed so that the lightness increases as the sound generation timing deviation average value “devon” increases. When the brightness correction is completed for all the pixel values constituting the background image, the determination result in step SF3 is “YES”, and the present process ends.
したがって、図9に図示する一例の画像補正処理によれば、ユーザの演奏により生じる発音タイミングずれ平均値devonが大きくなる程、つまり演奏下手である程、背景画像の明度が上がる為、ユーザの演奏結果が一目瞭然となり、楽譜以外の情報を視覚的に表現し得るようになる。 Therefore, according to the image correction processing of the example shown in FIG. 9, the brightness of the background image increases as the sound generation timing deviation average value “devon” generated by the user's performance increases, that is, the lower the performance, the higher the brightness of the background image. The result becomes obvious and information other than the score can be expressed visually.
なお、図9に図示した一例の画像補正処理は、説明の簡略化を図る為、発音タイミングずれ平均値devonに応じて明度補正するという単純な補正に止めたが、上述したように、評価要素(発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvel)の内の複数の評価要素に応じて、楽譜表示の背景となる画像の3属性(明度Bri、彩度Satおよび色相Hue)の内の複数の属性を補正すれば、様々な視覚的な表現が可能になることは言うまでもない。 Note that the image correction processing in the example illustrated in FIG. 9 is limited to simple correction in which the brightness is corrected according to the sound generation timing deviation average value “devon” in order to simplify the description. Three attributes (lightness Bri, saturation Sat, and saturation Sat) of the image as the background of the score display, according to a plurality of evaluation elements of (average pronunciation timing deviation value Devon, mute timing deviation average value devoff, and velocity difference average value devvel) It goes without saying that various visual expressions can be achieved by correcting a plurality of attributes in the hue Hue).
(7)楽譜描画処理の動作
次に、図10〜図11を参照して楽譜描画処理の動作を説明する。図8のステップSE2を介して楽譜描画処理が実行されると、CPU11は図10に図示するステップSG1に進み、背景描画処理を実行する。背景描画処理は、図11に図示するステップSH1〜SH9から構成される。以下、図11を参照して背景描画処理の動作を説明する。先ずステップSH1では、前述の画像選択処理により選択された背景画像(ヘッダHD[minp]で指定される画像データD[minp])を読み出して描画する。
(7) Operation of Score Drawing Process Next, the operation of the score drawing process will be described with reference to FIGS. When the score drawing process is executed via step SE2 of FIG. 8, the CPU 11 proceeds to step SG1 shown in FIG. 10 and executes the background drawing process. The background drawing process includes steps SH1 to SH9 illustrated in FIG. The operation of the background drawing process will be described below with reference to FIG. First, in step SH1, the background image (image data D [minp] specified by the header HD [minp]) selected by the above-described image selection process is read and drawn.
次に、ステップSH2では、段カウンタを初期化する。段カウンタとは、背景画像上に描画する譜表(五線譜)の段数を計数する。ステップSH2では、段カウンタの値が最終段endに達したか否か、つまり全ての段を描画し終えたかどうかを判断する。全ての段を描画し終えていなければ、判断結果は「NO」になり、ステップSH4に進み、譜表カウンタを初期化する。譜表カウンタとは、五線譜の線数を計数するカウンタである。 Next, in step SH2, the stage counter is initialized. The stage counter counts the number of staffs (stave) to be drawn on the background image. In step SH2, it is determined whether or not the value of the stage counter has reached the final stage end, that is, whether or not all stages have been drawn. If all the stages have not been drawn, the determination result is “NO”, and the process proceeds to step SH4 to initialize the staff counter. The staff counter is a counter that counts the number of lines of the staff.
そして、ステップSH5〜SH8では、譜表カウンタを歩進させながら、五線譜の各線を順番に描画する。その過程で背景マスクが必要な箇所では背景画像をマスクする。そして、五線譜の各線を描画し終えると、ステップSH5の判断結果が「YES」になり、ステップSH9に進み、段カウンタを歩進させる。以後、全ての段を描画し終えるまでステップSH3〜SH9を繰り返す。そして、全ての段を描画し終えると、ステップSH9の判断結果が「YES」になり、本処理を終える。 In steps SH5 to SH8, each line of the staff is drawn in order while incrementing the staff counter. In the process, a background image is masked at a place where a background mask is necessary. When the drawing of each line of the staff is completed, the determination result in step SH5 is “YES”, and the process proceeds to step SH9 to increment the stage counter. Thereafter, steps SH3 to SH9 are repeated until all the stages are drawn. Then, when all the stages have been drawn, the determination result in step SH9 is “YES”, and this process ends.
こうして、図10に図示した背景描画処理が完了すると、CPU11は図11に図示するステップSG2に処理を進め、譜面中の小節数を計数する小節カウンタを初期化する。次いで、ステップSG3では、小節カウンタの値が最終小節endに達したか否か、つまり全ての小節について音符を描画し終えたかどうかを判断する。全ての小節について音符を描画し終えていなければ、判断結果は「NO」になり、ステップSG4に進み、小節情報に基づき小節線を描画する。そして、ステップSG5に進み、小節中の音符を指定する音符ポインタnotepを初期化する。 When the background drawing process illustrated in FIG. 10 is completed, the CPU 11 proceeds to step SG2 illustrated in FIG. 11 and initializes a bar counter that counts the number of bars in the score. Next, in step SG3, it is determined whether or not the value of the bar counter has reached the final bar end, that is, whether or not the notes have been drawn for all bars. If drawing of the notes for all the bars has not been completed, the determination result is “NO”, the process proceeds to step SG4, and bar lines are drawn based on the bar information. Then, the process proceeds to step SG5, and a note pointer notep for designating a note in the measure is initialized.
続いて、ステップSG6〜SG9では、歩進される音符ポインタnotepに応じて順次指定される各音符の小節内の表示位置を計算して描画する。そして、1小節内の全ての音符を描画し終えると、ステップSG6の判断結果が「YES」になり、ステップSG10に進む。ステップSG10では、小節カウンタを歩進させた後、上述のステップSG3に処理を戻す。以後、全ての小節について音符を描画し終えるまで上述したステップSG3〜SG10を繰り返し、全ての小節について音符を描画し終えると、ステップSG3の判断結果が「YES」になり、本処理を終える。 Subsequently, in steps SG6 to SG9, the display position within the measure of each note sequentially designated according to the stepped note pointer notep is calculated and drawn. When all the notes in one measure have been drawn, the determination result in step SG6 is “YES”, and the flow proceeds to step SG10. In step SG10, the bar counter is incremented, and then the process returns to step SG3. Thereafter, the above-described steps SG3 to SG10 are repeated until drawing of notes for all the bars is completed, and when drawing of notes for all of the bars is completed, the determination result of step SG3 becomes “YES”, and this processing is finished.
以上のように、本実施の形態では、楽譜化する曲を選択すると、その選択された曲の印象を表すパラメータとして、当該曲の曲データから平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出し、これらを色彩3属性(明度Bri、彩度Satおよび彩色相Hue)に対応させる変換値A、変換値Bおよび変換値Cに変換する。そして、これら変換値A、変換値Bおよび変換値Cに最も近い明度Bri、彩度Satおよび彩色相Hueを有するヘッダHD[minp]を画像データベースIDBから検索し、該当するヘッダHD[minp]で指定される画像データD[minp]を、楽譜の背景として表示する。この結果、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示される為、楽譜以外の情報を視覚的に表現し得るようになる。 As described above, in the present embodiment, when a song to be scored is selected, the average pitch meanlen, the average pitch meanpit, and the average volume meanbel are calculated from the song data of the song as parameters representing the impression of the selected song. Are converted into a conversion value A, a conversion value B, and a conversion value C that correspond to the three color attributes (lightness Bri, saturation Sat, and hue Hue). The header HD [minp] having the brightness Bri, saturation Sat, and hue Hue closest to the conversion value A, conversion value B, and conversion value C is searched from the image database IDB, and the corresponding header HD [minp] is used. The designated image data D [minp] is displayed as the background of the score. As a result, since an image suitable for the impression of the music to be scored is displayed as the background of the score, information other than the score can be visually expressed.
また、上述した実施の形態では、演奏模範となる曲データに対するユーザ演奏で生じる演奏データを評価する複数の評価要素として、例えば発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvelを発生し、これら複数の評価要素の内、いずれか1つの評価要素もしくは複数の評価要素に応じて、楽譜の背景として表示される画像の色彩3属性(明度Bri、彩度Satおよび色相Hue)の内、いずれか1つの属性もしくは複数の属性を補正する。具体的な一例として、発音タイミングずれ平均値devonに応じて背景画像の明度Briを補正すれば、ユーザの演奏結果に応じて、楽譜表示の背景となる画像の表示態様が変化する為、楽譜以外の情報を視覚的に表現し得るようになる。 Further, in the above-described embodiment, as a plurality of evaluation elements for evaluating performance data generated by user performance with respect to song data serving as a performance model, for example, sound generation timing shift average value devon, mute timing shift average value devoff, and velocity difference average value devvel is generated, and according to any one of the plurality of evaluation elements or a plurality of evaluation elements, the three color attributes (brightness Bri, saturation Sat, and hue Hue) of the image displayed as the background of the score are generated. ), Any one attribute or a plurality of attributes are corrected. As a specific example, if the brightness Bri of the background image is corrected according to the sound generation timing deviation average value “devon”, the display mode of the image serving as the background of the score display changes according to the performance result of the user. The information can be expressed visually.
なお、本実施の形態では、曲の印象を表すパラメータとして、当該曲の曲データから平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出し、これらを色彩3属性(明度Bri、彩度Satおよび彩色相Hue)に対応させる変換値A、変換値Bおよび変換値Cに変換するようにしたが、これに限らず、例えば曲の調やコード進行を曲の印象を表すパラメータとして抽出し、これらを色彩3属性に対応させる変換値に変換することも可能である。 In the present embodiment, as a parameter representing the impression of a song, an average pitch length meanlen, an average pitch meanpit and an average volume meanbel are calculated from the song data of the song, and these are assigned to three color attributes (lightness Bri, saturation). The conversion value A, the conversion value B, and the conversion value C corresponding to Sat and chromatic hue Hue) are converted. However, the present invention is not limited to this. These can be converted into conversion values corresponding to the three color attributes.
10 操作部
11 CPU
12 ROM
13 RAM
14 音源
15 サウンドシステム
16 表示部
17 インタフェース部
10 Operation unit 11 CPU
12 ROM
13 RAM
14
Claims (7)
曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、
前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、
前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、
前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段と
を具備することを特徴とする楽譜表示装置。 Image storage means for storing color attributes and image data for each image;
Song data storage means for storing song data representing each sound constituting the song;
A song analysis unit that extracts a parameter representing the impression of a song from the song data stored in the song data storage unit and converts the parameter into a conversion value corresponding to a color attribute;
Image selecting means for selecting, from the image storage means, image data having a color attribute closest to the conversion value generated by the music analysis means;
And a background image display means for displaying the image data selected by the image selection means as a background image of the score according to the corresponding color attribute.
前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って楽譜の背景として表示される画像の表示態様を異ならせる画像補正手段と
を具備することを特徴とする楽譜表示装置。 Performance evaluation means for generating a performance data evaluation result generated by a user performance with respect to song data serving as a performance model,
A score display apparatus comprising: an image correction unit that changes a display mode of an image displayed as a score background according to a color attribute that is corrected according to an evaluation result generated by the performance evaluation unit.
曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、
前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、
前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、
前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段と、
演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、
前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って前記背景画像表示手段により表示された背景画像の表示態様を異ならせる画像補正手段と
を具備することを特徴とする楽譜表示装置。 Image storage means for storing color attributes and image data for each image;
Song data storage means for storing song data representing each sound constituting the song;
A song analysis unit that extracts a parameter representing the impression of a song from the song data stored in the song data storage unit and converts the parameter into a conversion value corresponding to a color attribute;
Image selecting means for selecting, from the image storage means, image data having a color attribute closest to the conversion value generated by the music analysis means;
Background image display means for displaying the image data selected by the image selection means as a background image of a score according to a corresponding color attribute;
Performance evaluation means for generating a performance data evaluation result generated by a user performance with respect to song data serving as a performance model,
An image correcting means for changing a display mode of the background image displayed by the background image display means according to a color attribute corrected according to an evaluation result generated by the performance evaluation means. .
予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、
前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理と
をコンピュータで実行させることを特徴とする楽譜表示プログラム。 A song analysis process for extracting parameters representing the impression of a song from song data representing each sound constituting the song and converting it into a conversion value corresponding to the color attribute;
Image selection processing for selecting image data having a color attribute closest to the conversion value generated by the music analysis means, among color attributes and image data for each image stored in advance,
A score display program for causing a computer to execute background image display processing for displaying image data selected by the image selection processing as a background image of a score in accordance with a corresponding color attribute.
予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、
前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理と、
演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価処理と、
前記演奏評価処理が生成する評価結果に応じて補正される色彩属性に従って前記背景画像表示処理にて表示された背景画像の表示態様を異ならせる画像補正処理と
をコンピュータで実行させることを特徴とする楽譜表示プログラム。 A song analysis process for extracting parameters representing the impression of a song from song data representing each sound constituting the song and converting it into a conversion value corresponding to the color attribute;
Image selection processing for selecting image data having a color attribute closest to the conversion value generated by the music analysis means, among color attributes and image data for each image stored in advance,
A background image display process for displaying the image data selected by the image selection process as a background image of a score according to a corresponding color attribute;
A performance evaluation process for generating a performance data evaluation result generated by a user performance with respect to song data serving as a performance model,
An image correction process for changing a display mode of the background image displayed in the background image display process according to a color attribute corrected according to an evaluation result generated by the performance evaluation process is executed by a computer. Music score display program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005209407A JP4742362B2 (en) | 2005-07-20 | 2005-07-20 | Music score display device and music score display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005209407A JP4742362B2 (en) | 2005-07-20 | 2005-07-20 | Music score display device and music score display program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007025411A true JP2007025411A (en) | 2007-02-01 |
JP2007025411A5 JP2007025411A5 (en) | 2008-05-15 |
JP4742362B2 JP4742362B2 (en) | 2011-08-10 |
Family
ID=37786241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005209407A Expired - Fee Related JP4742362B2 (en) | 2005-07-20 | 2005-07-20 | Music score display device and music score display program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4742362B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048044A (en) * | 2007-08-22 | 2009-03-05 | Casio Comput Co Ltd | Performance evaluation device and program for performance evaluation processing |
JP2022164934A (en) * | 2019-12-23 | 2022-10-27 | カシオ計算機株式会社 | Program, method, electronic apparatus, and musical performance data display system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6457298A (en) * | 1987-08-28 | 1989-03-03 | Yamaha Corp | Musical sound visualizer |
JP2000029473A (en) * | 1998-07-08 | 2000-01-28 | Ricoh Co Ltd | Playing music reproducing device |
JP2001100737A (en) * | 1999-09-30 | 2001-04-13 | Kawai Musical Instr Mfg Co Ltd | Device and method for displaying music information |
JP2003005743A (en) * | 2001-06-26 | 2003-01-08 | Casio Comput Co Ltd | Musical score indication device, musical score indication method, and program |
JP2004117486A (en) * | 2002-09-24 | 2004-04-15 | Yamaha Corp | Device and program for outputting musical score data for stringed instrument |
JP2005181646A (en) * | 2003-12-19 | 2005-07-07 | Omron Corp | System and method to output music and picture and music data generating server device |
-
2005
- 2005-07-20 JP JP2005209407A patent/JP4742362B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6457298A (en) * | 1987-08-28 | 1989-03-03 | Yamaha Corp | Musical sound visualizer |
JP2000029473A (en) * | 1998-07-08 | 2000-01-28 | Ricoh Co Ltd | Playing music reproducing device |
JP2001100737A (en) * | 1999-09-30 | 2001-04-13 | Kawai Musical Instr Mfg Co Ltd | Device and method for displaying music information |
JP2003005743A (en) * | 2001-06-26 | 2003-01-08 | Casio Comput Co Ltd | Musical score indication device, musical score indication method, and program |
JP2004117486A (en) * | 2002-09-24 | 2004-04-15 | Yamaha Corp | Device and program for outputting musical score data for stringed instrument |
JP2005181646A (en) * | 2003-12-19 | 2005-07-07 | Omron Corp | System and method to output music and picture and music data generating server device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048044A (en) * | 2007-08-22 | 2009-03-05 | Casio Comput Co Ltd | Performance evaluation device and program for performance evaluation processing |
JP2022164934A (en) * | 2019-12-23 | 2022-10-27 | カシオ計算機株式会社 | Program, method, electronic apparatus, and musical performance data display system |
JP7420181B2 (en) | 2019-12-23 | 2024-01-23 | カシオ計算機株式会社 | Programs, methods, electronic equipment, and performance data display systems |
Also Published As
Publication number | Publication date |
---|---|
JP4742362B2 (en) | 2011-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007147783A (en) | Language learning device | |
JP4742362B2 (en) | Music score display device and music score display program | |
JP6340755B2 (en) | Performance evaluation apparatus, performance evaluation method and program | |
WO2011125204A1 (en) | Information processing device, method, and computer program | |
JP5387642B2 (en) | Lyric telop display device and program | |
JP4225362B2 (en) | Code determination apparatus and code determination processing program | |
JP4525924B2 (en) | A modulation interval display device, a temporary symbol display device, a modulation interval display program, and a temporary symbol display program | |
JP4697666B2 (en) | Music score display device and music score display program | |
JP4452671B2 (en) | Karaoke device with assist evaluation function | |
JP5163928B2 (en) | Performance information correction apparatus and performance information correction program | |
JP4635577B2 (en) | Performance practice device and performance practice program | |
JP4217978B2 (en) | Code determination apparatus and code determination processing program | |
JP5413484B2 (en) | Performance information correction apparatus and performance information correction program | |
JP2012252073A (en) | Musical tone data correcting device and program | |
JP4547719B2 (en) | Music score display device and music score display program | |
JP2006178268A (en) | Musical sound controller and musical sound control program | |
JP4816930B2 (en) | Performance support information generation apparatus and performance support information generation program | |
JP2007316666A (en) | Musical score display device and musical score display program | |
JP2007286219A (en) | Musical sound data input device and program | |
JP5549838B2 (en) | Playback apparatus and program | |
JP2013011658A (en) | Performance instructing device and program | |
JP5754449B2 (en) | Music code score generator | |
JP4966731B2 (en) | Electronic musical instrument and music data storage device | |
JP4877611B2 (en) | Performance practice device and performance practice program | |
JP4774997B2 (en) | Music editing device and program for music editing processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100903 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110421 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |