JP2013097089A - 演奏動作表示装置、方法及びプログラム - Google Patents
演奏動作表示装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2013097089A JP2013097089A JP2011238333A JP2011238333A JP2013097089A JP 2013097089 A JP2013097089 A JP 2013097089A JP 2011238333 A JP2011238333 A JP 2011238333A JP 2011238333 A JP2011238333 A JP 2011238333A JP 2013097089 A JP2013097089 A JP 2013097089A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- cpu
- display
- structure data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/001—Boards or like means for providing an indication of chords
- G09B15/002—Electrically operated systems
- G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/02—Boards or like means for providing an indication of notes
- G09B15/023—Electrically operated
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/08—Practice keyboards
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
- G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Auxiliary Devices For Music (AREA)
- Processing Or Creating Images (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【解決手段】演奏動作表示装置1は、RAM13に記憶された演奏情報、動作情報及び構造データに基づいて、表示部16に演奏動作画像を描画するCPU11を備える。CPU11は、RAM13に記憶されているフラグに基づいて演奏テクニック動作の表示を行うか否かを判定し、当該演奏テクニック動作の表示を行うと判定した場合に、当該演奏テクニック動作に対応する画像の表示態様を、当該演奏テクニック動作を表示しない場合に対応する画像の表示態様に比べて変化させる。
【選択図】図1
Description
演奏動作表示装置1は、例えば表示部を備えて構成される。
表示部16は、CPU11の制御に従って各種設定情報や演奏動作に係る情報等を表示する。
MIDIインターフェース17は、電子楽器2が接続されている。MIDIインターフェース17は、電子楽器2に対して模範演奏等に係る演奏データを送信する。
MIDIインターフェース21は、演奏動作表示装置1から模範演奏等に係る演奏データを受信し、この演奏データに対応する演奏信号を音源・サウンドシステムに出力する。また、鍵盤22から楽器の操作入力を受け付け、この操作入力に対応した演奏信号を音源・サウンドシステムに出力する。
音源・サウンドシステム23は、MIDIインターフェース21と接続され、MIDIインターフェースから出力された信号に基づいて、楽器等の音を出力する。
まず、表示部16に表示される画像を視野Pとする。この視野Pの中心位置を視野の中心という。また、視野の中心からレンダリングを行う場合における視点に向かって延びるベクトルを目線ベクトルという。また、視点に向かって視野の上端及び下端における幅方向の中心に向かって線を引いた場合の、当該線が交差する角度を高さ方向視野角という。
制御変数には、変数として、widthと、heightと、f0vyと、Center[3]と、Eye[3]と、EyeVector[3]と、NoteR[]と、StructR[]と、MotionR[]と、IndexRと、NoteL[]と、StructL[]と、MotionL[]と、IndexLと、が定義されている。
なお、構造を示す図において、末尾に添え字として[]が設けられている変数は、配列を示している。例えば、Center[3]は、3つの変数から構成される配列である。また、構造を示す図において、配列の要素数が空欄の配列は、演奏する曲によってそれぞれ異なることを示している。
heightは、表示部16に表示する画面の高さを示す変数である。
f0vyは、高さ方向視野角(図3参照)を示す変数である。
Center[3]は、表示部16に表示する画面における視界の中心座標を示す変数である。Center[3]には、それぞれの要素に対して、3次元座標系(x,y,z)における各座標値が含まれており、3次元座標系における位置を示している。
Eye[3]は、表示部16に表示する画面における視点を示す変数である。この変数Eyeも、Centerと同様に3次元座標系における位置を示している。
EyeVector[3]は、視線ベクトルを示す変数である。EyeVector[3]は、Eye[3]からCenter[3]を減算することで得られる。
StructR[]は、右手の構造データが格納される配列変数である。構造データとは、指、手及び腕の構造を示す図である。この構造データは、表示部16に表示する画面において、指、手及び腕をレンダリングする際に用いられる。
MotionR[]は、演奏時における右手の動作を示す動作情報が格納される配列変数である。
IndexRは、レンダリング対象の右手の動作情報のインデックスを示す変数である。
StructL[]は、左手の構造データが格納される配列変数である。StructL[]に格納される変数は、StructR[]と同一である。
MotionL[]は、演奏時における左手の動作を示す動作情報が格納される配列変数である。MotionL[]に格納される変数は、MotionR[]と同一である。
IndexLは、レンダリング対象の左手の動作情報のインデックスを示す変数である。
演奏情報は、上述したように、右手の演奏情報を示すNoteR[]と、左手の演奏情報を示すNoteL[]と、から構成される。
NoteR[]と、NoteL[]とは構成が同一であるため、図5では、これらNoteR[]と、NoteL[]とをまとめて、Note[]として説明する。
Gateは、発音を継続する時間を示す変数である。
Pitchは、発音される音の音高(周波数)を示す変数である。
構造データは、上述したように、右手の構造データを示すStructR[]と、左手の構造データを示すStructL[]と、から構成される。
StructR[]と、StructL[]とは構成が同一であるため、図6では、これらStructR[]と、StructL[]とをまとめて、Struct[]として説明する。
Parentは、親データとなる構造データのインデックスを示す変数である。例えば、Parentの値が2である場合には、インデックスが2である構造データが親データとなる。なお、Parentの値が−1である場合は、親データが無いことを示す。
Childrenは、親の構造に対して子となる構造物の数を示す変数である。
Vertices[][3]は、親の構造を示し、表示部16に表示されるポリゴンにおける各頂点の3次元座標を示す配列変数である。Vertices[][3]の[]は、ポリゴンにおける頂点の数に対応しており、この頂点の数だけが要素が定義される。また、Vertices[][3]の[3]は、それぞれの頂点の3次元座標に対応している。
Lengthは、親の構造の長さを示す変数である。
Phi[]は、親の構造のy軸回転角を示す変数であり、後述の動作情報の要素数と同数の要素が定義される。
Lambda[]は、親の構造のz軸回転角を示す変数であり、後述の動作情報の要素数と同数の要素が定義される。
鍵盤データとしてのKey[]は、表示部16に表示される鍵盤を構成する白鍵及び黒鍵のそれぞれの情報を格納している。Key[]には、最も低音の鍵から順に、それぞれの鍵の情報が格納されている。例えば、Key[0]は、最も左に位置する白鍵に対応しており、この白鍵より半音高い鍵がKey[1]に対応している。
isBlackは、黒鍵か白鍵かを示すフラグである。具体的には、isBlackは、0の場合に白鍵を示し、1の場合に黒鍵を示す。
Vertices[][3]は、鍵の構造データ(ポリゴンデータ)を示し、表示部16に表示されるポリゴンにおける各頂点の3次元座標を示す配列変数である。
Statusは、鍵の状態を示す変数である。例えば、Statusが0の場合に離鍵状態を示し、+の場合に押鍵状態を示し、−の場合に離鍵中を示す。
NoteOffは、発音されてから消音されるまでの時間である消音時間を示す変数である。
動作情報は、上述したように、右手の動作情報を示すMotionR[]と、左手の動作情報を示すMotionL[]と、から構成される。
MotionR[]と、MotionL[]とは構成が同一であるため、図8では、これらMotionR[]と、MotionL[]とをまとめて、Motion[]として説明する。
Timeは、演奏時における各フレームが開始される時間を示す変数である。
RootPos[3]は、表示部16に構造物を描画する際に起点となる構造物の3次元座標(起点関節の3次元座標)である。
図9は、演奏動作表示のメイン処理の流れを示すフローチャートである。このメイン処理は、通常演奏動作表示、拡大演奏動画表示、及び演奏テクニック表示において共通する。
ステップS1において、CPU11は、データ初期化/読込処理を実行する。
すなわち、CPU11は、RAM13に一時的に記憶されているデータの初期化を行うとともに、ROM12に記憶されている各種情報を読み込み、その後、入力部15を介してユーザからの指示を受け付ける。各種情報としては、制御変数、演奏情報、構造データ、鍵盤データ、動作情報が挙げられる。
ステップS5において、CPU11は、入力部15を介してユーザから再生の停止指示を受け付けたか否かを判定する。CPU11は、この判定がYESの場合、ステップS6に処理を移し、この判定がNOの場合、ステップS2に処理を移す。
ステップS6において、CPU11は、演奏されている楽曲の再生を終了する。CPU11は、ステップS6の処理が終了すると、ステップS2に処理を移す。
ステップS11において、CPU11は、初期化処理を実行する。
すなわち、CPU11は、再生処理が開始されたことに応じて、演奏情報の初期化を行う。演奏情報の初期化とは、制御変数、鍵盤データ、演奏情報、構造データ、動作情報をRAM13に記憶させることをいう。ここで、演奏情報、構造データ、及び動作情報は、図9のステップS3において再生指示された楽曲に対応しているものとする。また、CPU11は、初期化処理において、RAM13に再生終了フラグを記憶させる。この再生終了フラグの初期値は、OFFに設定されている。
ステップS13において、CPU11は、RAM13に記憶されている再生終了フラグの状態を判定する。CPU11は、再生終了フラグがONである場合、再生処理を終了する。CPU11は、再生終了フラグがOFFである場合、ステップS14に処理を移す。
ステップS15において、CPU11は、ステップS14において更新された現在時刻が、再生している楽曲の終了時刻を超過しているか否かを判定する。CPU11は、この判定がYESの場合、ステップS16に処理を移し、この判定がNOの場合、ステップS17に処理を移す。
ステップS18において、CPU11は、左手パートの動作情報の検索を行う処理である左手パート動作情報検索処理を実行する。左手パート動作情報検索処理の詳細は、図11で詳述する。
ステップS20において、CPU11は、左手パートの演奏情報の検索を行う処理である左手パート演奏情報検索処理を実行する。左手パート演奏情報検索処理の詳細は、図12で詳述する。
なお、CPU11は、右手パート動作情報検索処理を実行する場合には、MotionR[]を検索し、左手パート動作情報検索処理を実行する場合には、MotionL[]を検索するものとする。なお、本フローチャートにおいて説明するMotion[]は、右手パート動作情報検索処理を実行する場合、MotionR[]に置き換えるものとし、左手パート動作情報検索処理を実行する場合、MotionL[]に置き換えるものとする。
なお、本フローチャートにおいて説明するNote[]は、右手パート動作情報検索処理を実行する場合、NoteR[]に置き換えるものとし、左手パート動作情報検索処理を実行する場合、NoteL[]に置き換えるものとする。
ステップS51において、CPU11は、RAM13に記憶されている鍵盤データ(Key[])から、最初の鍵の情報を取得する。ここで、最初の鍵の情報とは、例えば、最も低音の鍵の情報(Key[0])である。
ステップS61において、CPU11は、視点設定処理を実行する。
すなわち、CPU11は、RAM13に記憶されている制御変数(handCtrl)に格納されている高さ方向の視野角(f0vy)、視界の中心座標(Center[3])、及び視点(Eye[3])に基づいて、表示部16に表示する画面における視点を設定する。
ステップS62において、CPU11は、鍵盤描画処理を実行する。鍵盤描画処理の詳細は、図15で詳述する。
ステップS64において、CPU11は、左腕描画処理を実行する。左腕描画処理の詳細は、図16で詳述する。
ステップS71において、CPU11は、鍵盤を描画するために、鍵の構造データを行列スタックにプッシュする。
ステップS72において、CPU11は、鍵盤を回転させる際の中心点を原点とする座標系に移動する。
ステップS73において、RAM13に記憶されている鍵盤データ(Key[])から、最初の鍵の構造データを取得する。ここで、最初の鍵の構造データとは、例えば、最も低音の鍵の情報(Key[0])に対応する構造データ(Vertices[][3])である。
ステップS79において、CPU11は、ステップS76においてプッシュされた鍵の構造データをポップ(クリア)する。
ステップS80において、CPU11は、行列スタックにプッシュされている鍵の構造データをポリゴン描画する。
ステップS82において、CPU11は、ステップS71においてプッシュされた鍵の構造データをポップ(クリア)する。
ステップS93において、CPU11は、肩位置から描画を行うために、肩位置を原点とする座標系に移動する。
ステップS95において、CPU11は、手指動画処理を実行する。手指動画処理の詳細は、図17で詳述する。
ステップS96において、CPU11は、行列スタックにプッシュされている構造物(右腕又は左腕)の構造データをポップする。
ステップS106において、CPU11は、行列スタックから、手構造データをポップする。
ステップS113において、CPU11は、ステップS112においてポリゴン描画が行われた構造データを行列スタックからポップする。
ステップS114において、CPU11は、次の指構造データを取得する。例えば、直前に親指の構造データが取得されている場合、CPU11は、人差し指に対応する構造データを取得する。また、例えば、直前に小指の構造データが取得されている場合、CPU11は、小指に対応する構造データを再取得する。
動作情報は、上述したように、右手の動作情報を示すMotionR[]と、左手の動作情報を示すMotionL[]と、から構成される。
MotionR[]と、MotionL[]とは構成が同一であるため、図18では、これらMotionR[]と、MotionL[]とをまとめて、Motion[]として説明する。
Timeは、演奏時における各フレームが開始される時間を示す変数である。
RootPos[3]は、表示部16に表示される構造物における起点の3次元座標(起点関節の3次元座標)である。
MaxHandPos[3]は、視点移動時において、最も右側となる手関節の3次元座標を示す変数である。
MinHandPos[3]は、視点移動時において、最も左側となる手関節の3次元座標を示す変数である。
WristPos[3]は、視点移動時における手首関節の3次元座標を示す変数である。
ステップS122において、CPU11は、視点設定処理を実行する。
すなわち、CPU11は、RAM13に記憶されている制御変数に格納されている高さ方向の視野角(f0vy)、視界の中心座標(Center[3])、及び視点(Eye[3])に基づいて、表示部16に表示する画面における視点を設定する。
ステップS124において、CPU11は、図16で詳述した右腕描画処理を実行する。
ステップS125において、CPU11は、図16で詳述した左腕描画処理を実行する。
ステップS131において、CPU11は、左右の描画対象の動画情報からx方向の最大値及び最小値を取得し、取得した最大値及び最小値の中間値を計算する。
ステップS132において、CPU11は、左右の構造データの最大幅、最小幅から、視界の中心と視点との距離を計算する。
ステップS134において、CPU11は、視界の中心となるx座標を中間値に設定する。
ステップS136において、ステップS131において取得したx方向の最大値及び最小値がステップS135において計算した視界の幅(視界内)に収まっているか否かを判定する。CPU11は、この判定がYESの場合、ステップS138に処理を移し、この判定がNOの場合、ステップS137に処理を移す。
ステップS138において、CPU11は、視界の幅を再計算する。
図21は、演奏テクニック表示を含む演奏動作表示を行う場合に参照される制御変数の構造を示す図である。なお、図21に示す制御変数を用いて演奏テクニック表示を含む演奏動作表示を行う場合、演奏途中において演奏テクニックを要するパートに差し掛かったときに、自動的に手指の詳細な動きが確認できるように手指が拡大され、斜視表示される。
Horizonal[3]は、視界の横(画面幅)方向のベクトルを示す変数である。
AutoAngleStatusは、視点移動状態を示す変数である。例えば、AutoAngleStatusが“0”の場合に視点移動が行われていない状態(停止)を示し、“+”の場合に移動中を示し、“−”の場合に復帰中を示す。
Startは、演奏テクニックの表示を開始する時刻である移動開始時刻を示す変数である。
Returnは、演奏テクニックが終了して通常の表示状態へ復帰する時刻である復帰開始時刻を示す変数である。
EyeVectorN[3]は、目線回転面の法線ベクトルを示す変数である。
EyeAngleは、目線回転角を示す変数である。
演奏情報は、上述したように、右手の演奏情報を示すNoteR[]と、左手の演奏情報を示すNoteL[]と、から構成される。
NoteR[]と、NoteL[]とは構成が同一であるため、図22では、これらNoteR[]と、NoteL[]とをまとめて、Note[]として説明する。
Gateは、発音を継続する時間を示す変数である。
Pitchは、発音される音の音高(周波数)を示す変数である。
Fingerは、指番号を示す変数である。指番号とは、演奏時において指を識別するための番号である。
FigTech[]は、演奏テクニックフラグを示す配列変数である。FigTech[]は、演奏テクニックにおいて定義されている動作ステップの数だけ要素数が設けられる。
なお、本フローチャートにおいて説明するNote[]は、右手パート動作情報検索処理を実行する場合、NoteR[]に置き換えるものとし、左手パート動作情報検索処理を実行する場合、NoteL[]に置き換えるものとする。
ステップS144において、CPU11は、ステップS44における処理と同様に、RAM13に記憶されている制御変数(handCtrl)に格納されている演奏情報を、次に発音する演奏情報に更新する。
ステップS146乃至ステップS148の処理は、図12において説明したステップS45乃至ステップS47の処理と同一であるので、説明を省略する。
ステップS153において、CPU11は、RAM13に記憶されている制御変数(handCtrl)から、Note[]を描画対象の演奏情報として取得する。
ステップS158において、CPU11は、演奏テクニック表示を開始する時刻(移動開始時刻)を発音時刻の所定時間前に設定する。すなわち、CPU11は、RAM13に記憶されている制御変数のStartを設定する。
ステップS159において、CPU11は、演奏テクニック表示から通常演奏動作表示又は拡大演奏動作表示に戻る時刻(復帰開始時刻)を所定時間後に設定する。CPU11は、この処理が終了すると、演奏テクニック検索処理を終了する。すなわち、CPU11は、RAM13に記憶されている制御変数のReturnを設定する。
ステップS162において、CPU11は、視点設定処理を実行する。
すなわち、CPU11は、RAM13に記憶されている制御変数に格納されている高さ方向の視野角(f0vy)、視界の中心座標(Center[3])、及び視点(Eye[3])に基づいて、表示部16に表示する画面における視点を設定する。
ステップS164において、CPU11は、図16で詳述した右腕描画処理を実行する。
ステップS165において、CPU11は、図16で詳述した左腕描画処理を実行する。
ステップS174において、CPU11は、RAM13に記憶された制御変数のStart(移動開始時刻)を消去する。
ステップS177において、CPU11は、RAM13に記憶された制御変数のReturn(復帰開始時刻)を消去する。
ステップS180において、CPU11は、視線ベクトルを回転面上で所定量だけ回転移動させる。具体的には、CPU11は、RAM13に記憶された制御変数のEyeVector[3]を、回転移動するように演算する。
ステップS181において、CPU11は、RAM13に記憶された状態変数の値をインクリメントする。CPU11は、ステップS181の処理が終了すると、視点変更処理を終了する。
ステップS185において、CPU11は、RAM13に記憶された状態変数の値をデクリメントする。CPU11は、ステップS185の処理が終了すると、視点変更処理を終了する。
これにより、演奏動作表示装置1は、演奏テクニックを表示する場合において、表示態様を変化させることにより、演奏者にとって視認しやすい演奏動作の表示をすることが可能になる。
これにより、演奏動作表示装置1は、演奏テクニックに対応する場面で手や指を拡大表示して、演奏テクニックの動作表示を演奏者にとってより認識しやすくすることができる。また、一連の演奏動作を再生する際に、視野を動作領域にあわせ可能な限り大きな表示にするため、より動作を視認しやすくすることが可能になる。
これにより、演奏動作表示装置1は、演奏テクニックに対応する場面で手や指を斜視表示して、真上や真横から演奏テクニックの動作表示をする場合に比べて演奏者にとって認識しやすくすることができる。例えば、演奏テクニックの動作表示に対してアングル等の表示状態を変更するため、特に初心者にとって困難な動作も、視認しやすく、理解しやすい表示をすることが可能になる。
例えば、本発明は、鍵盤と演奏動作表示機能とを有する電子楽器一般に適用することができる。具体的には、例えば、本発明は、電子ピアノ、電子オルガン等に適用可能である。
換言すると、図1の構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が演奏動作表示装置1に備えられていれば足り、この機能を実現するためにどのような構成を構築するのかは特に図1の例に限定されない。
このコンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
発音開始時間、発音継続時間、音高、使用する指、及び特定動作の表示を行うためのフラグを格納する演奏情報と、
複数の構造データと、当該構造データ同士の関連性を記憶する構造データと、
前記発音開始時間に対応して複数の前記構造データを表示させる場合の起点となる前記構造データの情報を示す動作情報と、を記憶する記憶手段と、
前記記憶手段に記憶された前記演奏情報、前記動作情報及び前記構造データに基づいて、表示手段に演奏動作画像を描画する描画手段と、を備え、
前記描画手段は、前記記憶手段に記憶されている前記演奏情報の前記フラグに基づいて前記特定動作の表示を行うか否かを判定し、当該特定動作の表示を行うと判定した場合に、当該特定動作に対応する画像の表示態様を、当該特定動作を表示しない場合に対応する画像の表示態様に比べて変化させる、
ことを特徴とする演奏動作表示装置。
[付記2]
前記描画手段は、前記特定動作を行う場合に前記表示手段に表示する構造データを拡大して描画する、
ことを特徴とする付記1記載の演奏動作表示装置。
[付記3]
前記描画手段は、前記特定動作を行う場合に前記表示手段に表示する構造データを斜視状態で描画する、
ことを特徴とする付記1又は2記載の演奏動作表示装置。
[付記4]
演奏動作表示装置が、演奏動作表示を行う方法であって、
前記演奏動作表示装置は、発音開始時間、発音継続時間、音高、使用する指、及び特定動作の表示を行うためのフラグを格納する演奏情報、複数の構造データと、当該構造データ同士の関連性を記憶する構造データ、及び前記発音開始時間に対応して複数の前記構造データを表示させる場合の起点となる前記構造データの情報を示す動作情報を記憶する記憶手段と、を備え、
前記演奏動作表示装置が、前記記憶手段に記憶された前記演奏情報、前記動作情報及び前記構造データに基づいて、表示手段に演奏動作画像を描画する描画ステップを含み、
前記描画ステップにおいて、演奏情報記憶手段に記憶されている前記フラグに基づいて前記特定動作の表示を行うか否かを判定し、当該特定動作の表示を行うと判定した場合に、当該特定動作に対応する画像の表示態様を、当該特定動作を表示しない場合に対応する画像の表示態様に比べて変化させる、
ことを特徴とする方法。
[付記5]
発音開始時間、発音継続時間、音高、使用する指、及び特定動作の表示を行うためのフラグを格納する演奏情報、複数の構造データの関連性を記憶する構造データ、及び前記発音開始時間に対応して複数の前記構造データを表示させる場合の起点となる前記構造データの情報を示す動作情報を記憶する記憶手段と、を備えるコンピュータを、
前記記憶手段に記憶された前記演奏情報、前記動作情報及び前記構造データに基づいて、表示手段に演奏動作画像を描画させる描画手段であって、演奏情報記憶手段に記憶されている前記フラグに基づいて前記特定動作の表示を行うか否かを判定し、当該特定動作の表示を行うと判定した場合に、当該特定動作に対応する画像の表示態様を、当該特定動作を表示しない場合に対応する画像の表示態様に比べて変化させる描画手段、
として機能させることを特徴とするプログラム。
Claims (5)
- 発音開始時間、発音継続時間、音高、使用する指、及び特定動作の表示を行うためのフラグを格納する演奏情報と、
複数の構造データと、当該構造データ同士の関連性を記憶する構造データと、
前記発音開始時間に対応して複数の前記構造データを表示させる場合の起点となる前記構造データの情報を示す動作情報と、を記憶する記憶手段と、
前記記憶手段に記憶された前記演奏情報、前記動作情報及び前記構造データに基づいて、表示手段に演奏動作画像を描画する描画手段と、を備え、
前記描画手段は、前記記憶手段に記憶されている前記演奏情報の前記フラグに基づいて前記特定動作の表示を行うか否かを判定し、当該特定動作の表示を行うと判定した場合に、当該特定動作に対応する画像の表示態様を、当該特定動作を表示しない場合に対応する画像の表示態様に比べて変化させる、
ことを特徴とする演奏動作表示装置。 - 前記描画手段は、前記特定動作を行う場合に前記表示手段に表示する構造データを拡大して描画する、
ことを特徴とする請求項1記載の演奏動作表示装置。 - 前記描画手段は、前記特定動作を行う場合に前記表示手段に表示する構造データを斜視状態で描画する、
ことを特徴とする請求項1又は2記載の演奏動作表示装置。 - 演奏動作表示装置が、演奏動作表示を行う方法であって、
前記演奏動作表示装置は、発音開始時間、発音継続時間、音高、使用する指、及び特定動作の表示を行うためのフラグを格納する演奏情報、複数の構造データと、当該構造データ同士の関連性を記憶する構造データ、及び前記発音開始時間に対応して複数の前記構造データを表示させる場合の起点となる前記構造データの情報を示す動作情報を記憶する記憶手段と、を備え、
前記演奏動作表示装置が、前記記憶手段に記憶された前記演奏情報、前記動作情報及び前記構造データに基づいて、表示手段に演奏動作画像を描画する描画ステップを含み、
前記描画ステップにおいて、演奏情報記憶手段に記憶されている前記フラグに基づいて前記特定動作の表示を行うか否かを判定し、当該特定動作の表示を行うと判定した場合に、当該特定動作に対応する画像の表示態様を、当該特定動作を表示しない場合に対応する画像の表示態様に比べて変化させる、
ことを特徴とする方法。 - 発音開始時間、発音継続時間、音高、使用する指、及び特定動作の表示を行うためのフラグを格納する演奏情報、複数の構造データの関連性を記憶する構造データ、及び前記発音開始時間に対応して複数の前記構造データを表示させる場合の起点となる前記構造データの情報を示す動作情報を記憶する記憶手段と、を備えるコンピュータを、
前記記憶手段に記憶された前記演奏情報、前記動作情報及び前記構造データに基づいて、表示手段に演奏動作画像を描画させる描画手段であって、演奏情報記憶手段に記憶されている前記フラグに基づいて前記特定動作の表示を行うか否かを判定し、当該特定動作の表示を行うと判定した場合に、当該特定動作に対応する画像の表示態様を、当該特定動作を表示しない場合に対応する画像の表示態様に比べて変化させる描画手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011238333A JP2013097089A (ja) | 2011-10-31 | 2011-10-31 | 演奏動作表示装置、方法及びプログラム |
US13/661,607 US8895829B2 (en) | 2011-10-31 | 2012-10-26 | Music playing movement display device, method and recording medium |
CN201210420953.4A CN103093745B (zh) | 2011-10-31 | 2012-10-29 | 演奏动作显示装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011238333A JP2013097089A (ja) | 2011-10-31 | 2011-10-31 | 演奏動作表示装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013097089A true JP2013097089A (ja) | 2013-05-20 |
JP2013097089A5 JP2013097089A5 (ja) | 2013-06-27 |
Family
ID=48171040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011238333A Pending JP2013097089A (ja) | 2011-10-31 | 2011-10-31 | 演奏動作表示装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8895829B2 (ja) |
JP (1) | JP2013097089A (ja) |
CN (1) | CN103093745B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8766077B2 (en) * | 2012-02-06 | 2014-07-01 | Casio Computer Co., Ltd. | Music playing movement display control device, music playing movement control method and computer readable medium |
JP6638674B2 (ja) * | 2017-03-03 | 2020-01-29 | ヤマハ株式会社 | 教習装置、教習プログラムおよび教習方法 |
JP2018146718A (ja) * | 2017-03-03 | 2018-09-20 | ヤマハ株式会社 | 教習装置、教習プログラムおよび教習方法 |
JP7035486B2 (ja) * | 2017-11-30 | 2022-03-15 | カシオ計算機株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及び、電子楽器 |
WO2019130755A1 (ja) * | 2017-12-27 | 2019-07-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN108281129B (zh) * | 2018-03-14 | 2021-11-16 | 河海大学常州校区 | 基于processing的midi键盘可视化方法 |
US10810984B2 (en) * | 2018-03-29 | 2020-10-20 | Kawai Musical Instruments Manufacturing Co., Ltd. | Fingering display device and fingering display program |
US11087636B2 (en) * | 2018-04-20 | 2021-08-10 | Xingxin Liu | Lights-guided piano learning and teaching apparatus, and method |
CN113674565B (zh) * | 2021-08-25 | 2024-04-26 | 桂林智神信息技术股份有限公司 | 一种用于钢琴教学的教学系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58192671U (ja) * | 1982-06-19 | 1983-12-21 | ヤマハ株式会社 | 運指表示装置 |
JPH03184076A (ja) * | 1989-12-14 | 1991-08-12 | Casio Comput Co Ltd | 演奏ナビゲート装置 |
JPH1195778A (ja) * | 1997-09-19 | 1999-04-09 | Pioneer Electron Corp | 同期映像生成方法およびそれを用いたカラオケ装置 |
JP2002099276A (ja) * | 2001-07-18 | 2002-04-05 | Casio Comput Co Ltd | 演奏動作表示装置、及び記録媒体 |
JP2003058157A (ja) * | 2001-08-13 | 2003-02-28 | Casio Comput Co Ltd | 演奏教習装置及び演奏教習処理のプログラム |
JP2004205791A (ja) * | 2002-12-25 | 2004-07-22 | Casio Comput Co Ltd | 運指指示装置及び運指指示処理プログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5585583A (en) * | 1993-10-14 | 1996-12-17 | Maestromedia, Inc. | Interactive musical instrument instruction system |
US5690496A (en) * | 1994-06-06 | 1997-11-25 | Red Ant, Inc. | Multimedia product for use in a computer for music instruction and use |
JP3513830B2 (ja) * | 1997-10-21 | 2004-03-31 | カシオ計算機株式会社 | 演奏運指装置 |
JP3743231B2 (ja) * | 1999-11-26 | 2006-02-08 | ヤマハ株式会社 | 曲データ表示制御装置及び方法 |
JP3968975B2 (ja) * | 2000-09-06 | 2007-08-29 | ヤマハ株式会社 | 運指生成表示方法、運指生成表示装置および記録媒体 |
US7009100B2 (en) * | 2002-08-20 | 2006-03-07 | Casio Computer Co., Ltd. | Performance instruction apparatus and performance instruction program used in the performance instruction apparatus |
US6982375B2 (en) * | 2003-06-06 | 2006-01-03 | Mcgregor Rob | Musical teaching device and method |
JP4506175B2 (ja) * | 2004-01-09 | 2010-07-21 | ヤマハ株式会社 | 運指表示装置及びそのプログラム |
US7288712B2 (en) * | 2004-01-09 | 2007-10-30 | Yamaha Corporation | Music station for producing visual images synchronously with music data codes |
JP2005265903A (ja) * | 2004-03-16 | 2005-09-29 | Yamaha Corp | 鍵盤楽器 |
US7767898B2 (en) * | 2006-04-10 | 2010-08-03 | Roland Corporation | Display equipment and display program for electronic musical instruments |
JP4803047B2 (ja) * | 2007-01-17 | 2011-10-26 | ヤマハ株式会社 | 演奏支援装置および鍵盤楽器 |
US7674965B2 (en) * | 2007-02-23 | 2010-03-09 | Victor Mataele | Method and system for music notation |
CN101630503A (zh) * | 2008-07-17 | 2010-01-20 | 褚晓帅 | 具有音圆标识的键盘乐器 |
US8461445B2 (en) * | 2008-09-12 | 2013-06-11 | Yamaha Corporation | Electronic percussion instrument having groupable playing pads |
US8338684B2 (en) * | 2010-04-23 | 2012-12-25 | Apple Inc. | Musical instruction and assessment systems |
US20130068086A1 (en) * | 2011-09-19 | 2013-03-21 | ION Audio, LLC | Piano learning system for tablet and touchscreen devices |
US8766077B2 (en) * | 2012-02-06 | 2014-07-01 | Casio Computer Co., Ltd. | Music playing movement display control device, music playing movement control method and computer readable medium |
-
2011
- 2011-10-31 JP JP2011238333A patent/JP2013097089A/ja active Pending
-
2012
- 2012-10-26 US US13/661,607 patent/US8895829B2/en active Active
- 2012-10-29 CN CN201210420953.4A patent/CN103093745B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58192671U (ja) * | 1982-06-19 | 1983-12-21 | ヤマハ株式会社 | 運指表示装置 |
JPH03184076A (ja) * | 1989-12-14 | 1991-08-12 | Casio Comput Co Ltd | 演奏ナビゲート装置 |
JPH1195778A (ja) * | 1997-09-19 | 1999-04-09 | Pioneer Electron Corp | 同期映像生成方法およびそれを用いたカラオケ装置 |
JP2002099276A (ja) * | 2001-07-18 | 2002-04-05 | Casio Comput Co Ltd | 演奏動作表示装置、及び記録媒体 |
JP2003058157A (ja) * | 2001-08-13 | 2003-02-28 | Casio Comput Co Ltd | 演奏教習装置及び演奏教習処理のプログラム |
JP2004205791A (ja) * | 2002-12-25 | 2004-07-22 | Casio Comput Co Ltd | 運指指示装置及び運指指示処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN103093745A (zh) | 2013-05-08 |
US8895829B2 (en) | 2014-11-25 |
US20130104724A1 (en) | 2013-05-02 |
CN103093745B (zh) | 2015-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013097089A (ja) | 演奏動作表示装置、方法及びプログラム | |
US8766077B2 (en) | Music playing movement display control device, music playing movement control method and computer readable medium | |
JP4557899B2 (ja) | サウンド処理プログラムおよびサウンド処理装置 | |
EP2772903B1 (en) | Electroacoustic signal emitter device and electroacoustic signal emitter method | |
JP5792131B2 (ja) | ゲーム機、それに用いる制御方法及びコンピュータプログラム | |
JP4356027B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JP2011182841A (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
JP2010049406A (ja) | 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体 | |
JP6209359B2 (ja) | ビデオゲーム処理装置、及びビデオゲーム処理プログラム | |
JP2007298786A (ja) | 音楽再生プログラムおよび音楽再生装置 | |
JP6069841B2 (ja) | 演奏動作表示装置、方法及びプログラム | |
JP6432966B2 (ja) | 楽譜表示・演奏プログラム及び楽譜表示・演奏装置 | |
JP5485641B2 (ja) | プログラムおよび情報記憶媒体 | |
JP5044503B2 (ja) | 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体 | |
JP5733228B2 (ja) | 演奏動作表示装置、方法及びプログラム | |
JP2014097266A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
JP2013003205A (ja) | 楽譜表示装置、楽譜表示プログラム及び楽譜 | |
JP2013160950A (ja) | 演奏動作表示装置、方法及びプログラム | |
JP2018156016A (ja) | 楽譜表示・演奏プログラム及び楽譜表示・演奏装置 | |
JP5399831B2 (ja) | 音楽ゲームシステム及びそのコンピュータプログラム並びに効果音データの生成方法 | |
JP6682954B2 (ja) | 楽譜表示方法、楽譜表示装置、楽譜表示プログラム | |
JP2005100131A (ja) | パラメータ設定装置およびパラメータ設定プログラム | |
JP5773956B2 (ja) | 楽曲演奏装置、楽曲演奏制御方法及びプログラム | |
JP7429062B2 (ja) | ゲームシステム、それに用いるコンピュータプログラム、及び制御方法 | |
JP5215899B2 (ja) | 音価変更装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130307 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140704 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150303 |