JP2013068657A - Image generation device, method and program for generating image, performance support apparatus, and method and program for supporting performance - Google Patents
Image generation device, method and program for generating image, performance support apparatus, and method and program for supporting performance Download PDFInfo
- Publication number
- JP2013068657A JP2013068657A JP2011205073A JP2011205073A JP2013068657A JP 2013068657 A JP2013068657 A JP 2013068657A JP 2011205073 A JP2011205073 A JP 2011205073A JP 2011205073 A JP2011205073 A JP 2011205073A JP 2013068657 A JP2013068657 A JP 2013068657A
- Authority
- JP
- Japan
- Prior art keywords
- image
- axis
- data
- piano roll
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Processing Or Creating Images (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
Description
本発明は、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、画像生成方法及びそのプログラム、並びに演奏支援装置、演奏支援方法及びプログラムに関する。 The present invention provides an image generation apparatus, an image generation method, and an image generation method capable of intuitively recognizing the correspondence between a score and a keyboard and generating an image that facilitates step-by-step learning of a key depression operation from a final score. The present invention relates to a program, a performance support apparatus, a performance support method, and a program.
従来より、ピアノ等の鍵盤楽器においては、音高に合わせて鍵盤が配列されている。楽器の演奏に使用される楽譜は、縦方向に音高があり、横方向が時間を示すように構成されており、鍵盤の配列とは一致していないために、楽譜に不慣れな初学者には、楽譜から直接演奏することは困難であった。 Conventionally, in a keyboard musical instrument such as a piano, the keyboard is arranged in accordance with the pitch. The musical score used to play the musical instruments has a pitch in the vertical direction and the time in the horizontal direction indicates time, and it does not match the keyboard layout. It was difficult to play directly from the score.
近年、コンピュータ音楽では、シーケンスソフト上での演奏情報を視覚化するものとして、楽譜の表示に並んでピアノロールを表示に転用した表示が用いられることがある。ピアノロールとは、元々、オルガン式オルゴールや自動ピアノに取り付けて使用する紙製のロールのことで、演奏情報が紙に穿孔されており、このピアノロールに空気圧をかけ、穿孔部を通してハンマー等を動作させることでピアノ等を自動演奏することができる。 In recent years, in computer music, in order to visualize performance information on sequence software, a display in which a piano roll is converted into a display alongside a score display is sometimes used. Originally, a piano roll is a paper roll that is attached to an organ-type music box or an automatic piano. Performance information is perforated on the paper. Air pressure is applied to the piano roll, and a hammer is applied through the perforated part. The piano can be automatically played by operating.
このようなピアノロールを転用した表示（以下、ピアノロールの表示）を用いることで、鍵盤と楽音との配列関係が一致するために、初学者においても直感的に楽音の変化を認識しやすく、楽譜よりも理解が容易になる。
上述したようなピアノロールの表示を行う技術としては、特許文献１に記載のものが知られている。この特許文献１に記載の技術では、演奏するタイミングに合わせて、ピアノロール表示がスクロールするように構成されている。
By using such a piano roll display (hereinafter referred to as piano roll display), the keyboard and musical sounds are in a consistent relationship, so even beginners can intuitively recognize changes in musical sounds. It is easier to understand than the score.
As a technique for displaying a piano roll as described above, a technique described in
しかしながら、ピアノロールの表示を用いて、鍵盤の練習を行っていても、押鍵操作の練習にはなるが、最終的に、楽譜を用いて演奏をする場合には、結局のところ鍵盤の配列と不一致な楽譜での練習を行うために、楽譜への理解は、また別途行う必要がある。
そこで、鍵盤楽器の演奏支援を行うものとして、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的に習得できるような表示が求められている。
However, even if you are practicing the keyboard using the piano roll display, you will be practicing the key-pressing operation. In order to practice with a score that does not match the above, it is necessary to understand the score separately.
In order to support the performance of keyboard instruments, there is a need for a display that can intuitively recognize the correspondence between the score and the keyboard, and that can be used to learn key-press operations from the final score step by step. Yes.
本発明は、このような状況に鑑みてなされたものであり、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、演奏支援装置、画像生成方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a situation. The correspondence between the score and the keyboard can be intuitively recognized, and the key-pressing operation from the final score can be easily learned step by step. An object of the present invention is to provide an image generation apparatus, a performance support apparatus, an image generation method, and a program for generating an image to be played.
上記目的を達成するため、本発明の一態様の画像生成装置は、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、を備えることを特徴とする。 In order to achieve the above object, an image generation apparatus according to an aspect of the present invention is an image representing a musical sound at a predetermined time point based on musical sound data that can reproduce a musical sound of a predetermined musical composition, and the traveling direction of the musical composition A score image generating means for generating, as score image data, image data of a two-dimensional plane constructed from the first axis of the first axis and the second axis representing the pitch of the pitch, and based on the musical sound data, An image representing the piano roll at the predetermined time point, and data of a two-dimensional plane image constructed from a third axis in the direction of progression of music and a fourth axis representing the pitch of the pitch, From the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis with the piano roll image generating means for generating image data. In the constructed three-dimensional space, the score image and the The data of an image showing a state in which is disposed a Anororu image, characterized in that it comprises a three-dimensional playing image producing means for producing a data of a three-dimensional playing images.
本発明によれば、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。 According to the present invention, it is possible to intuitively recognize the correspondence between the score and the keyboard, and to generate an image that facilitates step-by-step learning of the key pressing operation from the final score.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明における演奏支援装置の一実施形態に係る電子ピアノ１の外観を示す図である。
電子ピアノ１は、図１に示すように、鍵盤１１と、スイッチ１２と、表示部１３と、音響１４と、を備える。
鍵盤１１は、ピアノ式鍵盤であり、複数の鍵が並行に配列されている。鍵盤１１は、押鍵操作されることにより、対応する音を音響１４から発するように構成された入力手段である。
スイッチ１２は、例えば、電源のオン・オフ、自動演奏等のモード変更、各種機能の付加・変更等を行う。
表示部１３は、例えば、各種機能の設定画面を表示したり、後述するガイド表示画像を画面表示したり、各種の表示を行う。
音響１４は、例えば、押鍵操作やスイッチ１２の操作等の各種操作、楽曲の再生音等を出力する。
FIG. 1 is a diagram showing an external appearance of an
As shown in FIG. 1, the
The
The
For example, the
The
図２は、このような電子ピアノ１のハードウェアの構成を示すブロック図である。
電子ピアノ１は、図２に示すように、上述した鍵盤１１と、スイッチ１２と、表示部１３と、音響１４に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７と、音源１８と、ドライブ１９とを備える。
FIG. 2 is a block diagram showing a hardware configuration of such an
As shown in FIG. 2, the
ＣＰＵ１５は、ＲＯＭ１６に記録されているプログラム、後述するリムーバブルメディア２１又は、図示しない記憶部からＲＡＭ１７にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１７には、ＣＰＵ１５が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１５、ＲＯＭ１６及びＲＡＭ１７は、図示しないバスを介して相互に接続されている。このバスにはまた、図示しない入出力インターフェースも接続されている。入出力インターフェースには、スイッチ１２、表示部１３、音響１４及びドライブ１９が接続されている。
The
音源１８は、種々の音源１８を保存しており、データをアナログ信号に変換する音声処理して、音響１４に供給する。
ドライブ１９には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ１９によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて図示しない記憶部にインストールされる。
The
A
リムーバブルメディア２１は、図示しない記憶部に記憶されている画像のデータ等の各種データも、図示しない記憶部と同様に記憶することができる。
The
このように構成される電子ピアノ１においては、図１に示すように、楽譜の読み取りと押鍵の習得に供する、所定の楽曲のガイド表示画像を生成及び表示を行う機能を有する。詳細には、電子ピアノ１では、習得を行う楽曲の楽譜画像とピアノロール画像を同一画像内に配置し、かつ、楽譜とピアノロールを３次元的な構図となる画像を生成し、表示部１３での表示を行う機能を有する。
As shown in FIG. 1, the
ここで、「楽譜画像」とは、楽曲を記譜法に則って演奏記号や符号を使って記号化し、時間軸と音階を表す五線譜上に当該演奏記号や符号を配置した画像である。
また、「ピアノロール画像」とは、楽曲をピアノロールの表示方法に則って、対応する鍵盤１１上に演奏する音を配置した画像である。なお、楽曲とは、複数の楽音により構成される音楽をいう。
Here, the “musical score image” is an image in which music is symbolized using performance symbols and symbols in accordance with the notation method, and the performance symbols and symbols are arranged on a staff notation representing the time axis and scale.
The “piano roll image” is an image in which sounds for playing music on the
図３は、ガイド表示画像が表示された画面の一例を示す模式図である。詳細には、図３（ａ）は、表示部１３に表示されるガイド表示画像の一例を示す図である。
上述した機能を有する電子ピアノ１の表示部１３では、図３（ａ）に示すようなガイド表示画像が表示される。なお、図３（ａ）の例では、ピアノロール画像におけるハッチングは、鍵盤１１のうち、左方の楽譜画像において音符等で表わされる楽音に対応する鍵を示している。
ここで、図３（ａ）のガイド表示画像は、押鍵の練習を行うときに、押鍵する楽音を表示して押鍵をガイドする画像である。また、ガイド表示画像は、楽譜と鍵盤との対応関係を段階的に習得するために用いる画像である。
このようなガイド表示画像は、演奏する楽曲の楽譜と、ピアノロールとが対応するように１つの画像内に配置し、かつ、楽譜画像とピアノロール画像とが単に２次元平面上に並べて配置されている画像ではなく、楽譜画像とピアノロール画像との各々が仮想的な３次元空間内で直交する２つの平面上のそれぞれに配置された構図の画像である。これにより、ガイド表示画像では、ユーザが、図３（ａ）のガイド表示画像を視認することで、あたかも、楽譜が壁面に描かれたようにイメージさせ、ピアノロールが床面に描かれたようにイメージさせることが容易にできる。
また、本実施形態では、図３（ａ）のガイド表示画像のような静止画像が時間的に連続して複数枚配置された動画像が、表示部１３の表示対象となる。この動画像が表示部１３に表示されると、現時点で演奏対象となる音が常に一番手前となるように、各音が奥から手前にスクロール表示され、演奏が終了した音は手前側に流れて消去されるように、演奏者に視認される。即ち、ガイド表示画像は、手前から奥に行く従って時刻が進むイメージを与えるように構成される。
なお、以下、静止画像と動画像とを個々に区別する必要が無い場合には、静止画像も動画像もまとめてガイド表示画像と呼ぶことにする。
FIG. 3 is a schematic diagram illustrating an example of a screen on which a guide display image is displayed. Specifically, FIG. 3A is a diagram illustrating an example of a guide display image displayed on the
On the
Here, the guide display image of FIG. 3A is an image that guides the key press by displaying a tone to be pressed when practicing the key press. The guide display image is an image used to learn the correspondence between the score and the keyboard step by step.
Such a guide display image is arranged in one image so that the score of the musical piece to be played corresponds to the piano roll, and the score image and the piano roll image are simply arranged side by side on a two-dimensional plane. This is not an image, but a musical score image and a piano roll image that are arranged on two planes orthogonal to each other in a virtual three-dimensional space. Thus, in the guide display image, the user visually recognizes the guide display image of FIG. 3A, as if the score is drawn on the wall surface, and the piano roll is drawn on the floor surface. You can easily make it image.
Further, in the present embodiment, a moving image in which a plurality of still images such as the guide display image of FIG. When this moving image is displayed on the
In the following description, when there is no need to distinguish between still images and moving images, both still images and moving images are collectively referred to as guide display images.
また、ガイド表示画像は、演奏すべき音を一番手前から順次表示し、演奏に合わせてスクロールして、演奏が終わった楽音が表示画面から流れて消えるように表示される。
図３（ａ）の例を用いて説明すると、演奏時点の音が一番手前の「ファ」であり、「ファ」の奥にある「レ」が次に演奏を予定する音であり、「レ」のさらに奥にある「ソ」が「レ」が次に演奏を予定する音である。このようにガイド表示画像は、演奏対象の音のみならず、演奏を予定する音を表示させておく。したがって、ユーザは、このようなガイド表示画像を視認することで、時間的に後に演奏する音まで視野に入れることができ、音の時間的変化をイメージしながら押鍵操作をしていくことができる。
The guide display image is displayed so that the sounds to be played are sequentially displayed from the forefront, scrolled in time with the performance, and the musical sounds that have been played flow from the display screen and disappear.
Referring to the example of FIG. 3A, the sound at the time of performance is “F” in the foreground, and “L” behind “F” is the sound that is scheduled to be played next. “So” in the back of “Le” is the sound that “Le” is scheduled to play next. In this way, the guide display image displays not only the sound to be played but also the sound to be played. Accordingly, by visually recognizing such a guide display image, the user can enter into the field of view the sound to be played later in time, and can perform the key pressing operation while imagining the temporal change of the sound. it can.
図３（ｂ）は、図３（ａ）に示すガイド表示画像の構成の詳細を説明するための図である。なお、図３（ｂ）において、Ｘ軸及びＹ軸は音高の高低である音高方向を示し、Ｔ軸は楽曲の進行方向を示す。
ガイド表示画像の構成は、図３（ｂ）に示すように、ユーザからみて、左下の端点が原点「０」とされ、原点「０」から右方向がＸ軸の正方向（音高が高くなる方向）とされ、原点「０」から上方向がＹ軸の正方向（音高が高くなる方向）とされ、原点「０」から左斜め上方向が、楽譜とピアノロールで共有する時間軸となるＴ軸の正方向（時間の進む方向、楽曲の進行方向）とされている。即ち、ガイド表示画像は、Ｔ軸を挟むようにして配置される楽譜画像とピアノロール画像とで構成される。
楽譜を表示する部分では、Ｙ軸を楽譜の音高方向とし、Ｔ軸を楽譜の進行方向、即ち、時間軸方向としている。一方、ピアノロール表示では、Ｘ軸を鍵盤１１の音高方向とし、Ｔ軸をピアノロールの進行方向、即ち、時間軸方向としている。
なお、電子ピアノ１においては、図１に示すように、鍵盤１１の中央部の奥付近に表示部１３が配置されている。このため、ピアノロールの音高方向を示すＸ軸方向と、鍵盤１１の配列方向（鍵盤１１の音高方向）とが一致することになる。
FIG. 3B is a diagram for explaining details of the configuration of the guide display image shown in FIG. In FIG. 3B, the X-axis and Y-axis indicate the pitch direction in which the pitch is high, and the T-axis indicates the progression direction of the music.
As shown in FIG. 3B, the configuration of the guide display image is that the lower left end point is the origin “0” and the right direction from the origin “0” is the positive direction of the X axis (the pitch is high), as shown in FIG. The upper direction from the origin “0” is the positive direction of the Y axis (the direction in which the pitch increases), and the upper left direction from the origin “0” is the time axis shared by the score and the piano roll. The positive direction of the T-axis (the direction in which the time advances, the direction in which the music advances). That is, the guide display image is composed of a score image and a piano roll image arranged so as to sandwich the T axis.
In the part displaying the score, the Y axis is the pitch direction of the score, and the T axis is the progression direction of the score, that is, the time axis direction. On the other hand, in the piano roll display, the X axis is the pitch direction of the
In the
次に、図２のハードウェア構成を有する電子ピアノ１の機能的構成のうち、ガイド表示画像生成処理及びガイド表示画像表示処理に係る処理を実行するための機能的構成について説明する。
「ガイド表示画像生成処理」とは、ＭＩＤＩデータ等の楽音データから表示部１３に表示するガイド表示画像を生成する一連の処理である。
「ガイド表示画像表示処理」とは、ガイド表示画像生成処理で生成されたガイド表示画像を表示部１３に表示する一連の処理である。
Next, among the functional configurations of the
The “guide display image generation process” is a series of processes for generating a guide display image to be displayed on the
The “guide display image display process” is a series of processes for displaying the guide display image generated in the guide display image generation process on the
ガイド表示画像生成処理及びガイド表示画像表示処理を実行する場合には、ＣＰＵ１５は以下の機能を発揮するように構成される。この際、リムーバブルメディア２１には、楽音データが格納される。楽音データには、楽曲のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データと楽曲のＭＩＤＩデータと組み合わせることにより楽曲の楽譜を再現することができる音符等の楽譜用データが格納される。
When executing the guide display image generation process and the guide display image display process, the
ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータから読み出されたＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）データと、楽譜用データとから楽譜データを生成する。
The
ここで、楽譜データの詳細について図４（ａ）及び図４（ｂ）を用いて説明する。
図４は、楽譜側画像の生成を説明するための図である。詳細には、図４（ａ）は楽譜側画像の生成に用いる楽譜データの一例を示す模式図である。
楽譜データは、図４（ａ）に示すように、「音高」、「音符」、「棒・旗」、「小節」、「タイミング」により構成される。
最初の楽音は、「ファ」であり、「音高」が「Ｆ４」であり、「音符」が「４分音符」であり、「棒」が「上」向きであり、「小節」が「００１」であり、「タイミング」が「００００」である。
次の楽音は、「レ」であり、「音高」が「Ｄ４」であり、「音符」が「８分音符」であり、「棒」が「上」向きであり、「旗」が「スタート（ＳＴ）」であり、「小節」が「００１」小節であり、「タイミング」が「００２４」である。
次の楽音は、「ソ」であり、「音高」が「Ｇ４」であり、「音符」が「８分音符」であり、「棒」が「上」向きであり、「旗」が「エンド（ＥＤ）」であり、「小節」が「００１」小節であり、「タイミング」が「００３６」である。
Here, the details of the musical score data will be described with reference to FIGS. 4 (a) and 4 (b).
FIG. 4 is a diagram for explaining generation of a score-side image. Specifically, FIG. 4A is a schematic diagram showing an example of score data used for generating a score-side image.
As shown in FIG. 4A, the musical score data includes “pitch”, “note”, “bar / flag”, “bar”, and “timing”.
The first musical sound is “F”, “Pitch” is “F4”, “Note” is “Quarter note”, “Bar” is “Up”, and “Bar” is “Four”. “001” and “timing” is “0000”.
The next musical sound is “Le”, “Pitch” is “D4”, “Note” is “Eighth note”, “Stick” is “up”, and “Flag” is “ “Start (ST)”, “Measure” is “001” measure, and “Timing” is “0024”.
The next musical sound is “seo”, “pitch” is “G4”, “note” is “eighth note”, “stick” is “up”, and “flag” is “ “End (ED)”, “Bar” is “001” bar, and “Timing” is “0036”.
また、ＣＰＵ１５は、楽譜データに基づいて、楽譜画像を生成する。即ち、ＣＰＵ１５は、所定の楽曲の楽音を再現可能な楽音データ（ＭＩＤＩデータ及び楽譜用データ）に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のＴ軸と音高の方向のＹ軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する。
Further, the
図４（ｂ）は、楽譜画像の一例を示す模式図である。なお、図４（ｂ）において、Ｙ軸は音高を示し、Ｔ軸は楽曲の進行方向を示す。
ＣＰＵ１５は、図４（ａ）に示すような楽譜データに基づいて、図４（ｂ）に示すような楽譜画像を生成する。図４（ａ）に示すような楽譜データに基づいて作成される楽譜画像は、詳細には、図４（ｂ）に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
FIG. 4B is a schematic diagram illustrating an example of a score image. In FIG. 4B, the Y axis indicates the pitch, and the T axis indicates the traveling direction of the music.
The
また、ＣＰＵ１５は、楽譜画像を変換して楽譜側画像を生成する。即ち、ＣＰＵ１５は、楽譜画像が設けられている２次元平面について、音高方向（Ｙ軸）の軸と楽譜の進行方向の軸（Ｔ軸）とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
ここで、楽譜側画像の詳細について図４（ｃ）を用いて説明する。図４（ｃ）は、楽譜画像から楽譜側画像の生成を示す模式図である。なお、図４（ｃ）において、Ｙ軸は音高を示し、Ｔ軸は楽曲の進行方向を示し、Ｙ’軸は座標変換後の音高を示し、Ｔ’は楽曲の進行方向を示す。
ＣＰＵ１５は、楽譜画像の角度を変更すること、即ち、座標値を変換することにより、楽譜側画像を生成する。
詳細には、ＣＰＵ１５は、図４（ｃ）に示すように、時間軸方向Ｔ側の角度を、角度θ分傾斜させるように変更する。即ち、楽譜画像の直行する座標（ｔ，ｙ）の点から角度θを持った楽譜側画像の座標点（ｔ’，ｙ’）への変換を行う。つまり、（ｔ，ｙ）から（ｔ’，ｙ’）の変換式は（ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）となる。
ＣＰＵ１５は、画像の全座標の値を変換式（ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）に基づいて変換することで、図２（ａ）の左側に示すような楽譜側画像を生成する。
Further, the
Here, details of the musical score side image will be described with reference to FIG. FIG. 4C is a schematic diagram showing generation of a score side image from a score image. In FIG. 4C, the Y-axis indicates the pitch, the T-axis indicates the music progression direction, the Y′-axis indicates the pitch after coordinate conversion, and T ′ indicates the music progression direction.
The
Specifically, as shown in FIG. 4C, the
The
また、ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータから読み出されたＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）データからピアノロールデータを生成する。
ここで、ピアノロールデータの詳細について図５（ａ）及び図５（ｂ）を用いて説明する。
図５は、ピアノロール側画像の生成を説明するための図である。詳細には、図５（ａ）はピアノロール側画像の生成に用いるピアノロールデータの一例を示す模式図である。
ピアノロールデータは、図５（ａ）に示すように、「音高」、「強さ」、「ノートオン（小節）」、「ノートオン（タイミング）」、「ノートオフ（小節）」、「ノートオフ（タイミング）」により構成される。
最初の楽音は、「ファ」であり、「音高」が「Ｆ４」であり、「強さ」が「１２７」であり、「ノートオン（小節）」が「００１」であり、「ノートオン（タイミング）」が「００００」であり、「ノートオフ（小節）」が「００１」であり、「ノートオフ（タイミング）」が「００２０」である。
次の楽音は、「レ」であり、「音高」が「Ｄ４」であり、「強さ」が「６４」であり、「ノートオン（小節）」が「００１」であり、「ノートオン（タイミング）」が「００２４」であり、「ノートオフ（小節）」が「００１」であり、「ノートオフ（タイミング）」が「００３０」である。
次の楽音は、「ソ」であり、「音高」が「Ｇ４」であり、「強さ」が「３０」であり、「ノートオン（小節）」が「００１」であり、「ノートオン（タイミング）」が「００３６」であり、「ノートオフ（小節）」が「００１」であり、「ノートオフ（タイミング）」が「００３８」である。
Further, the
Here, details of the piano roll data will be described with reference to FIGS. 5 (a) and 5 (b).
FIG. 5 is a diagram for explaining the generation of the piano roll side image. In detail, Fig.5 (a) is a schematic diagram which shows an example of the piano roll data used for the production | generation of the piano roll side image.
As shown in FIG. 5A, the piano roll data includes “pitch”, “strength”, “note on (measure)”, “note on (timing)”, “note off (measure)”, “ Note off (timing) ".
The first musical sound is “fa”, “pitch” is “F4”, “strength” is “127”, “note on (bar)” is “001”, “note on” “Timing” is “0000”, “Note Off (Measure)” is “001”, and “Note Off (Timing)” is “0020”.
The next musical sound is “Le”, “Pitch” is “D4”, “Strength” is “64”, “Note On (Measure)” is “001”, “Note On” “Timing” is “0024”, “Note Off (Measure)” is “001”, and “Note Off (Timing)” is “0030”.
The next musical sound is “So”, “Pitch” is “G4”, “Strength” is “30”, “Note On (bar)” is “001”, “Note On” “Timing” is “0036”, “Note Off (Measure)” is “001”, and “Note Off (Timing)” is “0038”.
また、ＣＰＵ１５は、ピアノロールデータに基づいて、ピアノロール画像を生成する。即ち、ＣＰＵ１５は、楽音データ（ＭＩＤＩデータ）に基づいて、所定の時点のピアノロールを表す画像であって、楽曲の進む方向の時間方向のＴ軸と音高の方向のＸ軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
Moreover, CPU15 produces | generates a piano roll image based on piano roll data. That is, the
図５（ｂ）は、ピアノロール画像の一例を示す模式図である。なお、図５（ｂ）において、Ｘ軸は音高を示し、Ｔ軸は楽曲の進行方向を示す。
ＣＰＵ１５は、図５（ａ）に示すようなピアノロールデータに基づいて、図５（ｂ）に示すようなピアノロール画像を生成する。
図５（ａ）に示すようなピアノロールデータに基づいて生成されるピアノロール画像は、図５（ｂ）に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
FIG. 5B is a schematic diagram illustrating an example of a piano roll image. In FIG. 5B, the X axis indicates the pitch, and the T axis indicates the traveling direction of the music.
The
As shown in FIG. 5B, the piano roll image generated based on the piano roll data as shown in FIG. 5A has musical sounds of “Fa”, “Le”, and “So” on the staff. It becomes the arranged image.
また、ＣＰＵ１５は、ピアノロール画像を変換してピアノロール側画像を生成する。即ち、ＣＰＵ１５は、ピアノロール画像が設けられている２次元平面について、音高方向の軸（Ｘ軸）と楽曲の進行方向の軸（Ｔ軸）とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
ここで、ピアノロール側画像の詳細について図５（ｃ）を用いて説明する。図５（ｃ）は、ピアノロール画像からピアノロール側画像の生成を示す模式図である。なお、図５（ｃ）において、Ｘ軸は音高を示し、Ｔ軸は楽曲の進行方向を示し、Ｘ’軸は座標変換後の音高を示し、Ｔ’は楽曲の進行方向を示す。
ＣＰＵ１５は、図５（ｃ）に示すようにピアノロール画像の角度を変更すること、即ち、座標値を変換することにより、ピアノロール側画像を生成する。
詳細には、ＣＰＵ１５は、図５（ｂ）に示すように、時間軸方向Ｔ側の角度を、角度θ分傾斜させるように変更する。即ち、ピアノロール画像の直行する座標（ｔ，ｙ）の点から角度θを持ったピアノロール側画像の座標点（ｔ’，ｙ’）への変換を行う。つまり、（ｔ，ｙ）から（ｔ’，ｙ’）の変換式は（ｘ＋ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）となる。
ＣＰＵ１５は、画像の全座標の位置を変換式（ｘ＋ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）に基づいて変更することで、図２（ａ）の右側に示すようなピアノロール側画像を生成する。
Further, the
Here, the detail of the piano roll side image is demonstrated using FIG.5 (c). FIG.5 (c) is a schematic diagram which shows the production | generation of the piano roll side image from a piano roll image. In FIG. 5C, the X-axis indicates the pitch, the T-axis indicates the music traveling direction, the X′-axis indicates the pitch after coordinate conversion, and T ′ indicates the music traveling direction.
CPU15 produces | generates a piano roll side image by changing the angle of a piano roll image as shown in FIG.5 (c), ie, changing a coordinate value.
Specifically, as illustrated in FIG. 5B, the
The
また、ＣＰＵ１５は、楽譜側画像とピアノロール側画像に基づいて、ガイド表示画像を生成する。即ち、ＣＰＵ１５は、楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、時間軸、Ｙ軸、及びＸ軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
Further, the
具体的には、ＣＰＵ１５は、図４（ｃ）に示す角度が変更された楽譜側画像と、図５（ｃ）に示す角度が変更されたピアノロール側画像とを貼り合わせて、図２（ａ）に示すような１枚のガイド表示画像を生成する。この際、ＣＰＵ１５は、生成されたガイド表示画像のデータを表示に供してもよいし、リムーバブルメディア２１に格納してもよい。また、ガイド表示画像は、演奏に際して楽曲全てを一度に生成してもよいし、表示に合わせて逐次生成してもよいし、予め生成したガイド表示画像をリムーバブルメディア２１に格納しておいてもよい。
Specifically, the
また、ＣＰＵ１５は、ガイド表示画像のデータを表示に供する場合には、ガイド表示画像を表示するように表示部１３を制御する。その結果、電子ピアノ１においては、図１に示すように、表示部１３にガイド表示画像が表示される。このガイド表示画像は、ピアノロール画像の音高方向と、鍵盤の配列方向が一致するように表示される。
ここで、ガイド表示画像の表示のタイミングの例について図６を用いて説明する。図６は、ガイド表示画像の表示のタイミングの一例を示す模式図である。
ガイド表示画像は、演奏時点の楽音を順次一番手前になるように表示する。
また、ガイド表示画像は、図６に示すように、２小節分を同時に表示し、１小節分の表示が終了したら次の小節を表示させる。即ち、ガイド表示画像は、表示開始時には前面に１小節目と１小節目の後ろに２小節目とを最初に表示しており、１小節目の表示が完了した場合には、２小節目を前面に表示し、２小節目の後ろに３小節目を表示させる。その後、２小節目の表示が完了した場合には、３小節目を前面に表示し、３小節目の後ろに４小節目を表示させる。
Further, when the guide display image data is used for display, the
Here, an example of the display timing of the guide display image will be described with reference to FIG. FIG. 6 is a schematic diagram illustrating an example of the display timing of the guide display image.
The guide display image displays the musical tones at the time of performance so that they are in front of each other.
Further, as shown in FIG. 6, the guide display image displays two bars at the same time, and displays the next bar when the display of one bar is completed. That is, the guide display image first displays the first measure on the front and the second measure after the first measure at the start of display, and when the display of the first measure is completed, the second measure is displayed. Display on the front and display the 3rd bar after the 2nd bar. After that, when the display of the second measure is completed, the third measure is displayed on the front, and the fourth measure is displayed behind the third measure.
図７は、図２のＣＰＵ１５が実行するメイン処理の流れを説明するフローチャートである。メイン処理とは、ＣＰＵ１５の起動から演奏や各種の機能の実行を行う一連の処理である。
FIG. 7 is a flowchart for explaining the flow of main processing executed by the
ステップＳ１において、ＣＰＵ１５は、イニシャライズ処理を行う。詳細には、ＣＰＵ１５は、電子ピアノ１についての各種初期設定を行う。
In step S1, the
ステップＳ２において、ＣＰＵ１５は、ＳＷ（Ｓｗｉｔｃｈ）処理を行う。
ＳＷ処理とは、複数の選択肢が存在するモードについて所定の選択肢を選択したり、複数の状態が存在するフラグについて初期状態を選択したりして、設定する処理をいう。
例えば、本実施形態のＳＷ処理では、動作モードとして、「通常モード」、「練習モード」、「自動演奏モード」等とのうちユーザにより選択されたモードが設定される。
「通常モード」とは、ユーザが自由に演奏するためのモードで、鍵盤１１の押鍵操作により音が出力されるモードである。
「練習モード」とは、ユーザが画面表示を見ながら演奏を練習するためのモードで、選択した楽曲のガイド表示画像が表示されると共に、表示に合わせて鍵盤１１の押鍵操作を行うモードである。
「自動演奏モード」とは、ユーザが演奏を行わずに、選択した楽曲を自動で演奏するモードである。
In step S2, the
The SW process is a process of setting by selecting a predetermined option for a mode in which a plurality of options exist or selecting an initial state for a flag having a plurality of states.
For example, in the SW process of the present embodiment, a mode selected by the user from among “normal mode”, “practice mode”, “automatic performance mode”, and the like is set as the operation mode.
The “normal mode” is a mode for the user to perform freely, and is a mode in which a sound is output by a key pressing operation of the
The “practice mode” is a mode for the user to practice the performance while watching the screen display. In this mode, a guide display image of the selected music is displayed and a key pressing operation of the
The “automatic performance mode” is a mode in which the selected music is automatically played without performing by the user.
ステップＳ３において、ＣＰＵ１５は、ガイド表示画像生成処理を行う。ガイド表示画像生成処理の詳細については、図９を用いて、後述する。
In step S3, the
ステップＳ４において、ＣＰＵ１５は、ガイド表示画像表示処理を行う。ガイド表示画像表示処理の詳細については、図１０を用いて、後述する。
In step S4, the
ステップＳ５において、ＣＰＵ１５は、鍵盤処理を行う。鍵盤処理の詳細については、図１１を用いて、後述する。
In step S5, the
ステップＳ６において、ＣＰＵ１５は、その他の処理を行う。詳細には、ＣＰＵ１５は、例えば、「自動演奏モード」下においては、自動演奏処理を行う。その後処理は、ステップＳ２に戻る。
In step S6, the
図８は、図２のＣＰＵ１５が実行するステップＳ３のガイド表示画像生成処理の流れを説明するフローチャートである。
ガイド表示画像生成処理は、ユーザによるスイッチ１２へのガイド表示画像の表示操作を契機に開始する。
ステップＳ２１において、ＣＰＵ１５は、楽譜データを生成する。具体的には、ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータからＳＭＦデータを読み出し、リムーバブルメディア２１に格納される楽譜用データを読み出して、ＳＭＦデータと楽譜用データから図４（ａ）に示すようなデータ構造を有する楽譜データを生成する。その際、ＣＰＵ１５は、楽譜データをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
FIG. 8 is a flowchart for explaining the flow of the guide display image generation process of step S3 executed by the
The guide display image generation process starts when the user performs a guide display image display operation on the
In step S21, the
ステップＳ２２において、ＣＰＵ１５は、楽譜画像を生成する。具体的には、ＣＰＵ１５は、図４（ａ）に示すようなデータ構造を有する楽譜データに基づいて、図４（ｂ）に示すような楽譜画像を生成する。その際、ＣＰＵ１５は、楽譜画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
In step S22, the
ステップＳ２３において、ＣＰＵ１５は、楽譜側画像を生成する。具体的には、ＣＰＵ１５は、図４（ｃ）に示すように楽譜画像の座標値を変換して、図３（ａ）の左側に示すような楽譜側画像を生成する。その際、ＣＰＵ１５は、楽譜側画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
In step S23, the
ステップＳ２４において、ＣＰＵ１５は、ピアノロールデータを生成する。具体的には、ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータからＳＭＦデータを読み出し図５（ａ）に示すようなデータ構造を有するピアノロールデータを生成する。その際、ＣＰＵ１５は、ピアノロールデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
In step S24, the
ステップＳ２５において、ＣＰＵ１５は、ピアノロール画像を生成する。具体的には、ＣＰＵ１５は、図５（ａ）に示すようなデータ構造を有するピアノロールデータに基づいて、図５（ｂ）に示すような楽譜画像を生成する。その際、ＣＰＵ１５は、ピアノロール画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
In step S25, the
ステップＳ２６において、ＣＰＵ１５は、ピアノロール側画像を生成する。具体的には、ＣＰＵ１５は、図５（ｃ）に示すようにピアノロール画像の座標値を変換して、図３（ａ）の右側に示すようなピアノロール側画像を生成する。その際、ＣＰＵ１５は、ピアノロール側画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
In step S26, the
ステップＳ２７において、ＣＰＵ１５は、ガイド表示画像を生成する。具体的には、ＣＰＵ１５は、楽譜側画像とピアノロール側画像とを貼り合わせて、図３（ａ）に示すような１つのガイド表示画像を生成する。その際、ＣＰＵ１５は、ガイド表示画像のデータをリムーバブルメディア２１に格納してもよく、その後のガイド表示画像表示処理に供してもよい。その後、ガイド表示画像生成処理は終了する。続いて、ガイド表示画像表示処理が開始される。
In step S27, the
図９は、図２のＣＰＵ１５が実行するステップＳ４のガイド表示画像表示処理の流れを説明するフローチャートである。
ガイド表示画像表示処理は、ガイド表示画像生成処理を受けて、開始する。
なお、本例では、選択した楽曲の演奏時間は、４分音符４拍とした。即ち、小節内の最小時間「ｔ」の総数である「Ｂｍａｘ」は、９６（２４×４＝９６）となる。また、選択した楽曲は２４小節（Ｎｍａｘ＝２４）のものとして以下の説明を行う。
FIG. 9 is a flowchart for explaining the flow of the guide display image display process of step S4 executed by the
The guide display image display process starts upon receiving the guide display image generation process.
In this example, the performance time of the selected music is set to 4 quarter notes and 4 beats. That is, “Bmax”, which is the total number of minimum times “t” in the measure, is 96 (24 × 4 = 96). Further, the following explanation will be given assuming that the selected music is one having 24 bars (Nmax = 24).
ステップＳ４１において、ＣＰＵ１５は、「Ｂｍａｘ＝９６、Ｎ＝１、Ｎｍａｘ＝２４、ｔ＝０」として初期設定を行う。詳細には、ＣＰＵ１５は、最大小節数（Ｎｍａｘ）は２４であり、小節内の最大時間ｔ（Ｂｍａｘ）は、９６であり、現在１小節目（Ｎ＝１）で、演奏時間は０秒（ｔ＝０）という演奏開始前の初期状態の設定をする。
In step S41, the
ステップＳ４２において、ＣＰＵ１５は、Ｎ小節目のガイド表示画像を表示する。詳細には、ＣＰＵ１５は、Ｎ小節目のガイド表示画像を表示するように表示部１３を制御する。
In step S42, the
ステップＳ４３において、Ｎ＋１小節目のガイド表示画像を表示する。詳細には、ＣＰＵ１５は、ステップＳ４２においてＮ小節のガイド表示画像を表示が完了しているため、次の小節（Ｎ＋１小節目）のガイド表示画像を表示するように表示部１３を制御する。
In step S43, a guide display image of the (N + 1) th bar is displayed. Specifically, the
ステップＳ４４において、ＣＰＵ１５は、「ｔ＝ｔ＋１」とする値の変更を行う。詳細には、ＣＰＵ１５は、１小節終了したため、ｔに１をインクリメントする。
In step S44, the
ステップＳ４５において、ＣＰＵ１５は、「ｔ＜Ｂｍａｘ」か否かを判断する。詳細には、ＣＰＵ１５は、ｔが最大小節数（Ｂｍａｘ）を超えているか否かを判断する。
「ｔ＜Ｂｍａｘ」の場合には、ステップＳ４４において処理はＹＥＳであり、ステップＳ４４に戻る。
「ｔ＜Ｂｍａｘ」でない場合、即ち、「ｔ≧Ｂｍａｘ」の場合には、ステップＳ４４において処理はＹＥＳであり、ステップＳ４６に進む。
In step S45, the
If “t <Bmax”, the process is YES in step S44, and the process returns to step S44.
If “t <Bmax” is not satisfied, that is, if “t ≧ Bmax”, the process is YES in step S44, and the process proceeds to step S46.
ステップＳ４６において、ＣＰＵ１５は、「Ｎ＝Ｎ＋１、ｔ＝０」とする値の変更を行う。詳細には、ＣＰＵ１５は、１小節終了したため、「Ｎ＝Ｎ＋１」と小節数をインクリメントし、「ｔ＝０」と時間のカウントをリセットする。
In step S46, the
ステップＳ４７において、ＣＰＵ１５は、「Ｎ＞Ｎｍａｘ」か否かを判断する。詳細には、ＣＰＵ１５は、現在の小節数が、最大小節数を超えているか否かを判断する。
「Ｎ＞Ｎｍａｘ」の場合には、ステップＳ４７において処理はＮＯであり、ステップＳ４２に戻る。
「Ｎ≦Ｎｍａｘ」の場合には、ステップＳ４７において処理はＹＥＳであり、その後処理は終了する。
In step S47, the
If “N> Nmax”, the process is NO in step S47, and the process returns to step S42.
If “N ≦ Nmax”, the process is YES in step S47, and then the process ends.
図１０は、図２の電子ピアノ１が実行するステップＳ５の鍵盤処理の流れを説明するフローチャートである。
FIG. 10 is a flowchart for explaining the keyboard processing flow in step S5 executed by the
ステップＳ６１において、ＣＰＵ１５は、鍵走査を行う。詳細には、ＣＰＵ１５は、鍵盤１１に走査を行う。そして、ＣＰＵ１５は、走査結果から、状態の変化の内容や押鍵によるものであれば押鍵の速さを特定するために、状態が変化した鍵を解析する。
In step S61, the
ステップＳ６２において、ＣＰＵ１５は、解析結果から、鍵の状態が変化を判定する。
鍵の状態が変化しない場合には、ステップＳ６２において処理は「変化無し」であり、一連の処理が終了する。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が離鍵状態（ＯＦＦ）から押鍵状態（ＯＮ）に変化したと判定された場合には、ステップＳ６２において処理は「ＯＦＦ→ＯＮ」であり、ステップＳ６３に進む。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が押鍵状態（ＯＮ）から離鍵状態（ＯＦＦ）に変化したと判定された場合には、ステップＳ６２において処理は「ＯＮ→ＯＦＦ」であり、ステップＳ６７に進む。
In step S62, the
If the key state does not change, the process is “no change” in step S62, and the series of processes ends.
If it is determined that the key state has changed, specifically, if it is determined that the key state has changed from the key release state (OFF) to the key press state (ON), the process proceeds to “ “OFF → ON”, and the process proceeds to step S63.
When it is determined that the key state has changed, in detail, when it is determined that the key state has changed from the key-pressed state (ON) to the key-released state (OFF), the process proceeds to “ “ON → OFF”, and the process proceeds to step S67.
ステップＳ６３において、ＣＰＵ１５は、「ＫＥＹ←押鍵番号」を設定する。詳細には、ＣＰＵ１５は、変数ＫＥＹに、押鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
In step S63, the
ステップＳ６４において、ＣＰＵ１５は、「ＶＥＬ←検出ベロシティ値」を設定する。詳細には、ＣＰＵ１５は、変数ＴＯＵＣＨに、ステップＳ６３で代入した押鍵番号の押鍵時の速さを示す値（「検出ベロシティ値」）を代入する。なお、「ＶＥＬ（ＶＥＬＯＣＩＴＹ：ベロシティ）」とは、電子楽器の演奏情報のやり取りをするための規格であるＭＩＤＩ規格において、音の強弱を表す数値のことである。ベロシティは０〜１２７の１２８段階あり、０は無音、１２７が最大の音の大きさとなっている。
In step S64, the
ステップＳ６５において、ＣＰＵ１５は、ＫＥＹ及びＶＥＬに基づいて、ノートオンイベントを作成する。詳細には、ＣＰＵ１５は、変数ＫＥＹ及び変数ＴＯＵＣＨの値で指定される楽音の発音を指示するノートオンコマンドを生成する。
In step S65, the
ステップＳ６６において、ＣＰＵ１５は、音源１８に供給する。詳細には、ＣＰＵ１５は、ステップＳ６５において生成されたノートオンコマンドを音源１８に送出する。その後、一連の処理は終了する。
In step S <b> 66, the
一方、鍵の状態が押鍵状態（ＯＮ）から離鍵状態（ＯＦＦ）に変化したと判定された場合のステップＳ６７において、ＣＰＵ１５は、「ＫＥＹ←押鍵番号」を設定する。詳細には、ＣＰＵ１５は、変数ＫＥＹに、離鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
On the other hand, in step S67 when it is determined that the key state has changed from the key pressing state (ON) to the key releasing state (OFF), the
ステップＳ６８において、ＣＰＵ１５は、「ＶＥＬ←０」に設定する。詳細には、ＣＰＵ１５は、変数ＴＯＵＣＨに、消音を指示する値である０を代入する。
In step S68, the
ステップＳ６９において、ＣＰＵ１５は、ＫＥＹ及びＶＥＬに基づいて、ノートオフイベントを作成する。詳細には、ＣＰＵ１５は、変数ＫＥＹ及び変数ＴＯＵＣＨの値で指定される楽音の消音を指示するノートオフコマンドを生成する。その後処理は、ステップＳ６６に進み、ＣＰＵ１５が生成されたノートオンコマンドを音源１８に送出して、一連の処理は終了する。
In step S69, the
次に、本実施形態の電子ピアノ１に表示されるガイド表示画像の変形例について図１２を用いて説明する。図１１は、ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
本変形例におけるガイド表示画像は、図１１に示すように、上述した実施形態のガイド表示画像にさらに、楽譜部分で表示される楽音とピアノロール部分で表示される楽音が対応付けられて表示される。楽譜部分の楽音とピアノロール部分の楽音の対応付けは、楽音同士を連結することにより行う。即ち、本変形例におけるガイド表示画像においては、楽譜表示の側から、楽譜表示よりも奥側から光が当たっており、当該光の影として、ピアノロール表示が行われるような視覚的な演出効果を得るような画像が生成される。
なお、このように生成される本変形例のガイド表示画像は、具体的には、図８のステップＳ２７において、ＣＰＵ１５により生成される。
このように構成することにより、電子ピアノ１においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
Next, a modified example of the guide display image displayed on the
As shown in FIG. 11, the guide display image in the present modification is displayed in association with the musical sound displayed in the musical score portion and the musical sound displayed in the piano roll portion in addition to the guide display image of the above-described embodiment. The Correspondence between the musical tones of the musical score part and the musical tones of the piano roll part is performed by connecting the musical tones. That is, in the guide display image in this modification, light is applied from the score display side from the back side of the score display, and a visual effect such that piano roll display is performed as a shadow of the light. An image is generated to obtain
Note that the guide display image of the present modification generated in this way is specifically generated by the
With this configuration, in the
従って、電子ピアノ１においては、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
Therefore, the
以上のように構成される電子ピアノ１において、鍵盤１１と、画像を表示する表示部１３とを備える。
ＣＰＵ１５は、所定の楽曲の楽音を再現可能な楽音データ（ＭＩＤＩデータ及び楽譜用データ）に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のＴ軸と音高の方向のＹ軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する。
また、ＣＰＵ１５は、楽音データ（ＭＩＤＩデータ）に基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進む方向のＴ軸と音高の方向のＹ軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
また、ＣＰＵ１５は、楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、Ｔ軸、Ｙ軸、及びＸ軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
また、ＣＰＵ１５は、ピアノロール画像のＸ軸と、鍵盤の配列方向が一致するようにガイド表示画像を表示するように表示部１３を制御する。
The
The
Further, the
Further, the
Further, the
従って、電子ピアノ１においては、ＣＰＵ１５により、楽曲の楽音データに基づいて生成されたガイド表示画像を表示部１３に表示することで、ユーザは、鍵盤１１の配列と同一の配列となるピアノロールを経て、鍵盤１１との配置が一致しない楽譜まで段階的に楽音の読み取りと押鍵操作の習得をすることができる。
また、電子ピアノ１においては、ピアノロール画像の表示が鍵盤１１と並列しており、鍵盤１１と楽譜との対応関係がピアノロールを介して行われるため、直感的に鍵盤１１と楽譜との関係を意識させることができる。
また、ガイド表示画像は、楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、Ｔ軸、Ｙ軸、及びＸ軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像であるために、ユーザに対して、より違和感なく、一体的に楽譜とピアノロールとを意識させることができる。
Therefore, in the
Further, in the
In addition, the guide display image has a score image and a piano in a three-dimensional space constructed from the T axis, the Y axis, and the X axis as a time axis by matching the T axis of the score image and the T axis of the piano roll image. Since it is an image showing a state in which the roll image is arranged, the user can be made to be aware of the score and the piano roll in a unified manner without a sense of incongruity.
また、電子ピアノ１において、ＣＰＵ１５では、楽譜画像が設けられている２次元平面について、Ｙ軸とＴ軸とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
ＣＰＵ１５は、ピアノロール画像が設けられている２次元平面について、Ｘ軸とＴ軸とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
ＣＰＵ１５は、座標変換後の各々の楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、Ｔ軸、並びに座標変換後の各々のＹ軸及びＸ軸から構築される３次元空間に、楽譜側画像とピアノロール側画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
従って、電子ピアノ１においては、２次元平面の画像を用いて簡単に３次元空間に楽譜側画像とピアノロール側画像とを配置させた様子を示す画像を生成することができる。
In the
The
The
Therefore, the
また、電子ピアノ１において、ＣＰＵ１５では、楽譜画像に表示される楽音と、ピアノロール画像に表示される楽音とを対応付けて強調表示するガイド表示画像を生成する。
従って、電子ピアノ１においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
In the
Therefore, in the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
また、上述の実施形態では、ガイド表示画像の楽譜画像を楽音の背景となる五線譜等も含め生成し、ピアノロール画像を楽音の背景となる模式的に表示した鍵盤等も含めて表示するように生成したがこれに限られない。予め生成された背景部分の画像に楽音を合成したり重畳的に表示したりするように構成してもよい。 Further, in the above-described embodiment, the score image of the guide display image is generated including the staff notation that is the background of the musical tone, and the piano roll image is displayed including the keyboard that is schematically displayed as the background of the musical tone. Although it produced | generated, it is not restricted to this. You may comprise so that a musical sound may be synthesize | combined and displayed on an image of the background part produced | generated previously.
また、上述の実施形態では、ガイド表示画像は、生成の容易性を考慮して、画像の座標を変更するようにして３次元的な構図になるようにしたが、さらに、３次元的な構図を強調するために、遠近感が醸し出されるようにしてもよい。ガイド表示画像は、遠近感を醸し出すために、例えば、手前側の構図は大きく表示し、奥に行くに従って小さく表示するように構成してもよい。 In the above-described embodiment, the guide display image has a three-dimensional composition by changing the coordinates of the image in consideration of the ease of generation. In order to emphasize this, a sense of perspective may be created. In order to create a sense of perspective, the guide display image may be configured so that, for example, the composition on the near side is displayed larger and displayed smaller toward the back.
また、上述した実施形態においては、演奏機能と、ガイド表示画像生成機能と、ガイド表示画像表示機能とを有する演奏支援装置として電子ピアノ１を例として説明したが、これとは別に、例えば、パーソナルコンピュータ等のガイド表示画像生成機能のみを有する画像生成装置として構成してもよい。
In the above-described embodiment, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子ピアノ１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the above-described embodiment is merely an example, and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ１６（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１６や、図示しない記憶部に含まれるハードディスク等で構成される。
The recording medium including such a program is not only configured by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall device configured by a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
［付記２］
前記楽譜画像が設けられている２次元平面について、前記第１の軸と前記第２の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている２次元平面について、前記第３の軸と前記第４の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第２の軸及び前記第４の軸から構築される３次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記３次元演奏画像のデータとして生成する
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記３次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記３次元演奏画像を生成する
ことを特徴とする付記１又は２に記載の画像生成装置。
［付記４］
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
［付記５］
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
［付記６］
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
［付記７］
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
［付記８］
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generating means for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
An image generation apparatus comprising:
[Appendix 2]
For the two-dimensional plane on which the score image is provided, coordinate conversion is performed so as to change the angle between the first axis and the second axis, and the score image data after the coordinate conversion is converted to the score side. Musical score side image generating means for generating image data;
For the two-dimensional plane on which the piano roll image is provided, coordinate conversion is performed so as to change the angle between the third axis and the fourth axis, and the data of the piano roll image after coordinate conversion is Piano roll side image generating means for generating piano roll side image data;
The first axis and the third axis after coordinate conversion are matched to each other as the time axis, and the time axis and the second axis and the fourth axis after coordinate conversion are constructed. The image data showing a state in which the musical score side image and the piano roll side image are arranged in the three-dimensional space to be generated is generated as data of the three-dimensional performance image. Image generation device.
[Appendix 3]
The three-dimensional performance image generation means generates the three-dimensional performance image that highlights the musical sound displayed on the score image and the musical sound displayed on the piano roll image in association with each other. The image generating apparatus according to 1 or 2.
[Appendix 4]
In the image generation method executed by the image generation apparatus,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generation step for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation step for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. A three-dimensional performance image generation step for generating data of an image showing the arrangement of the piano roll image as data of a three-dimensional performance image;
An image generation method comprising:
[Appendix 5]
A computer for controlling the image generating device;
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch Musical score image generation means for generating data of a two-dimensional plane image to be constructed as musical score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data,
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
A program characterized by functioning as
[Appendix 6]
A performance support apparatus comprising a keyboard and display means for displaying an image,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generating means for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
Display control means for controlling the display means so as to display the three-dimensional performance image so that the third axis of the piano roll image and the arrangement direction of the keyboard coincide with each other;
A performance support apparatus comprising:
[Appendix 7]
In an image generation method executed by a performance support apparatus including a keyboard and display means for displaying an image,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generation step for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation step for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. A three-dimensional performance image generation step for generating data of an image showing the arrangement of the piano roll image as data of a three-dimensional performance image;
A display control step for controlling the display means so as to display the three-dimensional performance image so that the third axis of the piano roll image and the arrangement direction of the keyboard coincide with each other;
The performance support method characterized by including.
[Appendix 8]
In an image generation method executed by a performance support apparatus including a keyboard and display means for displaying an image,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch Musical score image generation means for generating data of a two-dimensional plane image to be constructed as musical score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data,
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
Display control means for controlling the display means so as to display the three-dimensional performance image so that the third axis of the piano roll image and the arrangement direction of the keyboard coincide with each other;
A program characterized by functioning as
１・・・電子ピアノ，１１・・・鍵盤，１２・・・スイッチ，１３・・・表示部，１４・・・音響，１５・・・ＣＰＵ，１６・・・ＲＯＭ，１７・・・ＲＡＭ，１８・・・音源，１９・・・ドライブ，２１・・・リムーバブルメディア
DESCRIPTION OF
Claims (8)
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。 An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generating means for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
An image generation apparatus comprising:
前記ピアノロール画像が設けられている２次元平面について、前記第３の軸と前記第４の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第２の軸及び前記第４の軸から構築される３次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記３次元演奏画像のデータとして生成する
ことを特徴とする請求項１に記載の画像生成装置。 For the two-dimensional plane on which the score image is provided, coordinate conversion is performed so as to change the angle between the first axis and the second axis, and the score image data after the coordinate conversion is converted to the score side. Musical score side image generating means for generating image data;
For the two-dimensional plane on which the piano roll image is provided, coordinate conversion is performed so as to change the angle between the third axis and the fourth axis, and the data of the piano roll image after coordinate conversion is Piano roll side image generating means for generating piano roll side image data;
The first axis and the third axis after coordinate conversion are matched to each other as the time axis, and the time axis and the second axis and the fourth axis after coordinate conversion are constructed. The image data showing a state in which the musical score side image and the piano roll side image are arranged in the three-dimensional space to be generated is generated as data of the three-dimensional performance image. Image generation device.
ことを特徴とする請求項１又は２に記載の画像生成装置。 The three-dimensional performance image generation means generates the three-dimensional performance image that highlights a musical sound displayed on the score image and a musical sound displayed on the piano roll image in association with each other. Item 3. The image generating device according to Item 1 or 2.
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。 In the image generation method executed by the image generation apparatus,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generation step for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation step for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. A three-dimensional performance image generation step for generating data of an image showing the arrangement of the piano roll image as data of a three-dimensional performance image;
An image generation method comprising:
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
として機能させることを特徴とするプログラム。 A computer for controlling the image generating device;
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch Musical score image generation means for generating data of a two-dimensional plane image to be constructed as musical score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data,
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
A program characterized by functioning as
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。 A performance support apparatus comprising a keyboard and display means for displaying an image,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generating means for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
Display control means for controlling the display means so as to display the three-dimensional performance image so that the third axis of the piano roll image and the arrangement direction of the keyboard coincide with each other;
A performance support apparatus comprising:
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。 In an image generation method executed by a performance support apparatus including a keyboard and display means for displaying an image,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch A score image generation step for generating data of a two-dimensional plane image to be constructed as score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation step for generating image data as piano roll image data;
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. A three-dimensional performance image generation step for generating data of an image showing the arrangement of the piano roll image as data of a three-dimensional performance image;
A display control step for controlling the display means so as to display the three-dimensional performance image so that the third axis of the piano roll image and the arrangement direction of the keyboard coincide with each other;
The performance support method characterized by including.
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。 In an image generation method executed by a performance support apparatus including a keyboard and display means for displaying an image,
An image representing the musical sound at a predetermined time point based on musical sound data capable of reproducing the musical sound of a predetermined music, from a first axis in the traveling direction of the music and a second axis representing the pitch of the pitch Musical score image generation means for generating data of a two-dimensional plane image to be constructed as musical score image data;
An image representing a piano roll at the predetermined time point based on the musical sound data, and a two-dimensional plane in which the music is constructed from a third axis in the traveling direction and a fourth axis representing the pitch of the pitch. Piano roll image generation means for generating image data as piano roll image data,
The musical score image and the three-dimensional space constructed from the time axis, the second axis, and the fourth axis as a time axis by matching the first axis and the third axis. 3D performance image generation means for generating data of an image showing a state where the piano roll image is arranged as data of a 3D performance image;
Display control means for controlling the display means so as to display the three-dimensional performance image so that the third axis of the piano roll image and the arrangement direction of the keyboard coincide with each other;
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011205073A JP2013068657A (en) | 2011-09-20 | 2011-09-20 | Image generation device, method and program for generating image, performance support apparatus, and method and program for supporting performance |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011205073A JP2013068657A (en) | 2011-09-20 | 2011-09-20 | Image generation device, method and program for generating image, performance support apparatus, and method and program for supporting performance |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013068657A true JP2013068657A (en) | 2013-04-18 |
Family
ID=48474458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011205073A Withdrawn JP2013068657A (en) | 2011-09-20 | 2011-09-20 | Image generation device, method and program for generating image, performance support apparatus, and method and program for supporting performance |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013068657A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015072399A (en) * | 2013-10-04 | 2015-04-16 | 和司 安田 | Musical score for keyboard instrument with keyboard drawing |
| JP2016206490A (en) * | 2015-04-24 | 2016-12-08 | ヤマハ株式会社 | Display control device, electronic musical instrument, and program |
| JP2019169949A (en) * | 2019-04-24 | 2019-10-03 | ヤマハ株式会社 | Speech processing system and speech processing method |
| US10691400B2 (en) | 2014-07-29 | 2020-06-23 | Yamaha Corporation | Information management system and information management method |
| US10733386B2 (en) | 2014-07-29 | 2020-08-04 | Yamaha Corporation | Terminal device, information providing system, information presentation method, and information providing method |
-
2011
- 2011-09-20 JP JP2011205073A patent/JP2013068657A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015072399A (en) * | 2013-10-04 | 2015-04-16 | 和司 安田 | Musical score for keyboard instrument with keyboard drawing |
| US10691400B2 (en) | 2014-07-29 | 2020-06-23 | Yamaha Corporation | Information management system and information management method |
| US10733386B2 (en) | 2014-07-29 | 2020-08-04 | Yamaha Corporation | Terminal device, information providing system, information presentation method, and information providing method |
| JP2016206490A (en) * | 2015-04-24 | 2016-12-08 | ヤマハ株式会社 | Display control device, electronic musical instrument, and program |
| JP2019169949A (en) * | 2019-04-24 | 2019-10-03 | ヤマハ株式会社 | Speech processing system and speech processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5895740B2 (en) | Apparatus and program for performing singing synthesis | |
| JP6344578B2 (en) | How to play an electronic musical instrument | |
| JP4752425B2 (en) | Ensemble system | |
| JP2006030692A (en) | Musical instrument performance training device and program therefor | |
| JP6699677B2 (en) | Information processing method, information processing apparatus, and program | |
| JP6878966B2 (en) | Electronic musical instruments, pronunciation control methods and programs | |
| JP3728942B2 (en) | Music and image generation device | |
| JP2013068657A (en) | Image generation device, method and program for generating image, performance support apparatus, and method and program for supporting performance | |
| JP4692189B2 (en) | Ensemble system | |
| US7504572B2 (en) | Sound generating method | |
| JP4748568B2 (en) | Singing practice system and singing practice system program | |
| JP4757704B2 (en) | Music playback program, music playback device, music playback method, and music playback system | |
| JP4131279B2 (en) | Ensemble parameter display device | |
| JP6154597B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| JP2006251697A (en) | Karaoke device | |
| JP5569543B2 (en) | Guitar chord display device and program | |
| JP6295597B2 (en) | Apparatus and system for realizing cooperative performance by multiple people | |
| JP2013073091A (en) | Lyric telop display device and program | |
| JP4720974B2 (en) | Audio generator and computer program therefor | |
| JP5399831B2 (en) | Music game system, computer program thereof, and method of generating sound effect data | |
| JP5750234B2 (en) | Sound output device, sound output program | |
| JP2015138160A (en) | Character musical performance image creation device, character musical performance image creation method, character musical performance system, and character musical performance method | |
| JP5195209B2 (en) | Performance data editing apparatus and program | |
| CN116457868A (en) | 2D user interface and computer-readable storage medium for musical instrument playing combined chord and melody sequence | |
| JP5011033B2 (en) | Electronic musical instruments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |