JP3826697B2 - Performance display device and performance display method - Google Patents

Performance display device and performance display method Download PDF

Info

Publication number
JP3826697B2
JP3826697B2 JP2000283431A JP2000283431A JP3826697B2 JP 3826697 B2 JP3826697 B2 JP 3826697B2 JP 2000283431 A JP2000283431 A JP 2000283431A JP 2000283431 A JP2000283431 A JP 2000283431A JP 3826697 B2 JP3826697 B2 JP 3826697B2
Authority
JP
Japan
Prior art keywords
performance
display
user
sound event
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000283431A
Other languages
Japanese (ja)
Other versions
JP2002091290A (en
Inventor
強 宮木
聡 関根
高広 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2000283431A priority Critical patent/JP3826697B2/en
Publication of JP2002091290A publication Critical patent/JP2002091290A/en
Application granted granted Critical
Publication of JP3826697B2 publication Critical patent/JP3826697B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ユーザが演奏しているときなどにおいて、ユーザ演奏と、手本となる演奏との相違を、ユーザに可視表示する演奏表示装置および演奏表示方法に関するものである。
【0002】
【従来の技術】
従来、演奏表示装置として、手本となる演奏を演奏の進行に伴って画面上に表示させるものが知られている。ユーザは、表示された手本に沿って演奏することができる。従来の演奏表示装置では、ユーザが演奏する発音のタイミングとその楽器種類あるいは音高などが、手本のものと異なったときに、この誤演奏に対応するお手本部分を、通常とは異なる色に変更することにより、ユーザに誤演奏を知らせていた。したがって、従来の演奏表示装置によれば、ユーザにとって、誤演奏を行った部分は理解できる。しかし、どのような間違い演奏をしたのかをユーザは確認できなかった。
【0003】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、ユーザの演奏と手本の演奏との差をわかりやすく伝えることができる演奏表示装置および演奏表示方法を提供することを目的とするものである。かつ、ユーザが演奏中でも、演奏の差を迅速に伝えることができる演奏表示装置および演奏表示方法を提供することを目的とするものである。
【0004】
【課題を解決するための手段】
請求項1に記載の発明においては、演奏表示装置において、手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力する基準演奏入力手段、および、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力するユーザ演奏入力手段、前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成手段を有するものである。
したがって、円形図形として表示される基準演奏表示図形およびユーザ演奏表示図形の中心位置の差により、ユーザの演奏操作による発音イベントの発生タイミングが、手本の演奏からどのようにずれているか、あるいは、間違っているかを、わかりやすく伝えることができる。
さらに、円形図形の大きさにより、ユーザ演奏と手本演奏とにおけるベロシティ、例えば、打撃の強さの違いを簡単に識別できるようになる。
打楽器演奏の場合、例えば、発音指示イベントのタイミング位置に演奏表示図形が表示される。
【0005】
請求項2に記載の発明においては、請求項1に記載の演奏表示装置において、前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、基準演奏表示図形およびユーザ演奏表示図形を異なる表示態様で表示されることにより、ユーザ演奏と手本演奏との違いを簡単に見分けることができる。
複数の打楽器演奏の場合、共通のタイミング軸は、例えば、各打楽器毎に設けられる。
【0006】
請求項3に記載の発明においては、請求項1に記載の演奏表示装置において、前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、基準演奏表示図形およびユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色を有する表示図形で表示することにより、基準演奏表示図形およびユーザ演奏表示図形が重なっても、ユーザ演奏と手本の演奏を簡単に識別することができるようになる。
【0008】
請求項に記載の発明においては、請求項1ないしのいずれか1項に記載の演奏表示装置において、前記ユーザ演奏入力手段は、前記ユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを、前記ユーザの演奏操作に応じて実時間で入力し、前記画像データ作成手段は、前記ユーザ演奏表示図形を、前記ユーザ演奏の発音イベントの前記発生タイミングに対応した位置を中心位置としてタイミング軸方向に、前記ユーザ演奏操作に応じて実時間で表示するための画像データを作成するものである。
したがって、ユーザは、演奏の進行に合わせて演奏の遅れや誤演奏の内容を確認できるから、以後は、演奏しながら間違いを正していくことができるようになる。簡単に確認できる表示であるため実時間での確認も苦にならず演奏進行の妨げにならない。
【0009】
請求項に記載の発明においては、演奏表示方法において、手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成ステップを有するものである。
したがって、演奏表示方法として、請求項1に記載の演奏表示装置と同様の作用を奏する。
【0010】
請求項に記載の発明においては、請求項5に記載の演奏表示方法において、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、演奏表示方法として、請求項2に記載の演奏表示装置と同様の作用を奏する。
【0011】
請求項に記載の発明においては、請求項5に記載の演奏表示方法において、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、演奏表示方法として、請求項3に記載の演奏表示装置と同様の作用を奏する。
【0013】
請求項に記載の発明においては、コンピュータ読み取り可能な記録媒体において、手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸に表示するための画像データを作成する画像データ作成ステップをコンピュータに実行させるための演奏表示プログラムを記録したものである。
したがって、請求項に記載の演奏表示方法を実現するプログラムを提供する。
【0014】
請求項に記載の発明においては、請求項8に記載のコンピュータ読み取り可能な記録媒体であって、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、請求項に記載の演奏表示方法を実現するプログラムを提供する。
【0015】
請求項10に記載の発明においては、請求項8に記載のコンピュータ読み取り可能な記録媒体であって、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するものである。
したがって、請求項に記載の演奏表示方法を実現するプログラムを提供する。
【0017】
【発明の実施の形態】
図1は、本発明の実施の一形態のブロック構成図である。
1はユーザ演奏入力部であって、ユーザ演奏操作子の操作入力に基づいてユーザ演奏を入力する。ユーザは、1または複数種類の演奏操作子を操作する。2は表示制御情報抽出部であって、ユーザ演奏入力部1から、例えば、発音イベントのベロシティ、ノートナンバ、および、発生タイミングを表示制御情報として抽出する。
3は手本演奏入力部であって、楽曲データ記憶部などから手本となる基準演奏(手本演奏)を含む楽曲データを読み出す。4は表示制御情報抽出部であって、手本演奏入力部3から、この楽曲データのユーザ演奏パートにおける、例えば、発音イベントのベロシティ、ノートナンバ、および、発生タイミングを表示制御情報として抽出する。
【0018】
5は画像データ作成部であり、ユーザ演奏と手本の演奏の発音イベントを、それぞれのノートナンバおよびベロシティに応じた表示図形として、それぞれのノートナンバおよび発生タイミングに応じた位置に表示するための画像データを作成する。また、ユーザ演奏操作に対してユーザ演奏を実時間で表示する。その結果、ユーザに対し、ユーザ演奏と手本演奏との相違をわかりやすくかつ迅速に伝えることができる。その内部構成として次に説明する複数のブロックを有する。
【0019】
6は表示図形選択部であって、表示制御情報抽出部2で抽出されたユーザ演奏の発音イベントに対し、例えば、そのノートナンバおよびベロシティに応じて表示図形を選択する。
7は表示位置計算部であって、同じく、ユーザ演奏の発音イベントに対し、例えば、ノートナンバおよび発生タイミングに応じて表示図形の表示位置を計算する。
8は背景画像作成および表示位置計算部であって、打楽器種類名の文字表示図形(フォント)や座標目盛線の図形などの背景画像、手本演奏の進行を示す白棒やタイミング数値のフォント図形などの作成および各図形の表示位置の計算を行う。
9は表示図形選択部であって、表示制御情報抽出部4で抽出された手本演奏の発音イベントに対し、例えば、そのノートナンバおよびベロシティに応じて表示図形を選択する。
10は表示位置計算部であって、同じく、手本演奏の発音イベントに対し、例えば、ノートナンバおよび発生タイミングに応じて表示図形の表示位置を計算する。
【0020】
11は画像データ合成部であって、表示図形選択部6,9、背景画像作成および表示位置計算部8、および、表示位置計算部7,10の出力する表示データを合成して演奏表示に関する画像データを作成する。
12は演奏表示画像メモリであって、画像データを合成処理するのに用いる。例えば、演奏表示画面に対応する画像メモリ領域を少なくとも3カ所用意しておく。
表示図形選択部6および表示位置計算部7により作成されるユーザ演奏の発音イベントの表示図形のみを含む1枚の表示画像、表示図形選択部9および表示位置計算部10により作成される手本演奏の発音イベントの表示図形のみを含む1枚の表示画像、および、背景画像作成および表示位置計算部8の出力する背景画像のみを含む1枚の表示画像を、それぞれの画像メモリ領域に一旦蓄積する。
【0021】
画像表示制御部13に表示画像データを出力するときに所望の画像となるように、各表示画像を合成して読み出すようにすれば、合成形態を自由に設定することができる。
なお、図2を参照して後述する白棒27の表示画像については、演奏の進行とともに移動するので、背景画像作成および表示位置計算部8で作成する代わりに、独立した表示画像を作成してもよい。
以上の、表示図形選択部6から演奏表示画像メモリ12までが画像データ作成部5の内部構成である。
【0022】
13は画像表示制御部であって、画像データ合成部11により合成された画像データに基づいて、ディスプレイの演奏表示画面を制御する。
ユーザ演奏の発音イベントを表す表示図形は、演奏の進行とともに順次表示される。
一方、手本演奏の発音イベントを表す表示図形は、演奏表示画面のページ切り換えのタイミングで、1ページ分に対応する演奏期間中に発生する発音イベントの表示位置の計算値を出力する。
14は楽音合成部であって、ユーザ演奏入力部1の出力、および、手本演奏入力部3から出力されるユーザ演奏パート以外の演奏パートの出力を入力して、楽音を合成する。15はサウンドシステムであって、楽音合成部14で合成された楽音に効果を付与し、増幅してスピーカに出力する。
【0023】
この実施の形態において、ユーザがリズム演奏パートを演奏する場合(リズム演奏パートをユーザ演奏パートに選択した場合)について説明する。
手本とする楽曲データ中のリズム演奏パート内には、複数種類の打楽器の演奏イベントが混在して記憶されている。楽曲データの記憶形式が、SMF(Standard MIDI File)であるときには、ノートナンバで打楽器種類が表される。したがって、表示位置計算部10は、ノートナンバを参照して、複数種類の打楽器の演奏表示図形がその種類に応じた行に分割して表示されるように、画像の縦軸方向の位置を計算する。
一方、ユーザが演奏に利用する複数の演奏操作子には、予め打楽器種類を表すノートナンバが割り当てられている。したがって、表示位置計算部7は、いずれの演奏操作子が操作されたかを検出し、そのノートナンバに応じた行に、ユーザ演奏の発音イベントを表す図形を表示ずる。表示は、ユーザ演奏と同時の実時間(リアルタイム)で行われる。
【0024】
手本演奏の発音イベントに応じた表示図形、および、ユーザ演奏の発音イベントに応じた表示図形を、ノートナンバ毎、この例では打楽器種類毎に、互いに識別可能な表示態様とする。表示位置計算部7,10は、両者を、共通のタイミング軸上において、各発音イベントの発生タイミング、すなわち、打撃タイミングに対応した位置に、重なりを許して表示する。
共通のタイミング軸上に表示する場合には特に、ユーザ演奏の発音イベントに応じた表示図形および手本演奏の発音イベントに応じた表示図形とを互いに識別可能とする必要がある。
表示図形選択部6,9は、表示図形の形状あるいは色、模様などを異ならせたり、特に、一方が透明色の部分を有するものにしたりして、表示図形の表示態様が異なるものを選択する。
また、手本演奏を表示する表示図形、ユーザ演奏を表示する表示図形の大きさは、それぞれの演奏のベロシティの大きさ(打撃力の強さ)に応じたものを選択する。その結果、ベロシティの大きさの差も一見しただけで知ることができる。
【0025】
図2は、図1に示した実施の形態におけるディスプレイの演奏表示画面の一例を示す図である。
図2(a)は演奏表示画面の切り換わり直後の状態を示す図である。図2(b)は演奏表示画面の切り換わり後の中途状態を示す図である。図2(c)は、演奏表示画面の他の例を示す図である。
図2(a)において、21は打楽器名の表示領域、22は曲データの小節番号による座標目盛値、23は座標目盛である。縦軸方向は打楽器の種類を表し、打楽器別の領域を複数行に並べている。横軸方向は演奏の時間経過をとっている。2小節およびその前後の部分を単位として手本が表示される。
【0026】
手本の発音イベントは、楽器種類毎の行において、手本の発音イベントの発生タイミングに対応する時間軸位置に、円形図形で表示される。なお、図面では、破線のハッチングによって色表示に代えている。
24は有色(有彩色に限らず無彩色を含む)の円形図形であって、楽器「シンバル」に関し、手本となる発音イベントの発生タイミングを表す。25も有色の円形図形であって、楽器「スネアドラム」に関し、手本となる発音イベントの発生タイミングを表す。26は有色の円形図形であって、楽器「ハイハット」に関し、手本となる発音イベントの発生タイミングを表す。
【0027】
円形図形24,25,26は同色でもよいが、楽器種類毎に異なるものとすれば見やすくなる。これら円形図形24,25,26の大きさは、手本となる発音イベントのベロシティ(打撃力)の大きさに応じて決められる。予め複数の大きさの円形図形をメモリに記憶させておき、ベロシティの大きさに応じたものを選択的に読み出す。
図中、27は白棒であって、演奏の現在位置を表し、演奏進行とともに右方向に移動する。
2小節分の演奏時間が経過する毎に、演奏表示画面がページ切り換えされる。このとき、手本の演奏の円形図形24,25,26および座標目盛値22の表示が、2小節後の期間に応じたものに切り換わる。白棒27は、再左端に移動して再び右方向に移動を始める。
【0028】
図2(b)において、28は、ユーザ演奏の発音イベントを表示する円形図形であって、打楽器毎の行において、発音イベントの発生タイミングに対応する位置に、上述した手本演奏の発音イベントを表示する円形図形24,25,26と識別が可能なような表示図形で表示される。円形図形28は、図形内の模様としてハッチングが施されている。輪郭線およびハッチング線は、円形図形24,25,26の色とは異なる色である。したがって、円形図形28と、円形図形24,25,26との両表示図形は、色および模様の相違で識別可能である。また、外形状を異ならせて、一方を円形、他方を三角形としてもよい。
その結果、ユーザ演奏の発音タイミングが、手本演奏の発音タイミングに比べて、全体的にずれているか、間違っているか、あるいは、演奏する打楽器を間違えているかなどを、一見しただけで知ることができる。
【0029】
図示の円形図形28は、さらに、図形内の模様の地部分を透明色としている。したがって、ユーザ演奏の発音イベントの発生タイミングと手本演奏の発音イベントの発生タイミングとが接近あるいは一致した場合でも、円形図形28の地部分を通して手本演奏の発音イベントの発生タイミングおよびベロシティを視認できる。
この透明色は、画像メモリ上において、重なり合う図形があるときに、重なり合う相手の図形を表示することにより実現される。
【0030】
図示の例では、ユーザの演奏した発音イベントには、その色、模様も含めて、楽器種類に係わらず同一の表示図形を使用している。しかし、輪郭線およびハッチング線を打楽器種類に応じて異なる色にしてもよい。ただし、円形図形24,25,26の色と同じでは識別できないときがあるので、楽器種類に応じた、それぞれの円形図形24,25,26の色と色相が同じで明度(強度)のみが異なるようにするとよい。
なお、ユーザ演奏を表示する円形図形28の方ではなく、手本演奏を表示する円形図形24,25,26の方の図形を透過型にしてもよい。要は、双方の表示図形が重なった場合にでも、双方の表示図形が視認できるものであればよい。
【0031】
より一般的には、ユーザ演奏を表示する表示図形および手本演奏を表示する表示図形は、いずれか一方を前面図形、他方を後面図形とする。
かつ、前面図形の色の明度(強度)に不透明度(0≦不透明度≦1)を設定し、前面図形の色は不透明度を乗算した明度で表示され、後面図形の色は、透明度(透明度+不透明度=1)を乗算した明度で表示されるようにする。その結果、前面図形は半透明色(Translucent Colour)となる。
図1を参照して説明したように、画像データ合成部11が、複数の表示画像を合成して1枚の表示画像を出力する場合には、上述した前面,後面,不透明度を自由に設定することができる。
【0032】
図示のリズムパート(リズム演奏パート)の演奏例では、ユーザ演奏や手本の表示として円形図形を用いることにより、発音イベントの発生タイミングである打撃時点をわかりやすくした。打楽器は複数のものが同時使用されるので、楽器種類別に表示行を縦軸方向に並べ、横軸方向に発音イベントの発生タイミングを割り当てた。
これに対し、メロディあるいはコードパートであれば、キーオンイベント(ノートオンに対応する発音指示イベント)の発生タイミングに加えて、音高(ノートナンバに対応する)、および、キーオフイベント(ノートオフに対応する発音停止指示イベント)の発生タイミングを表示する必要があるので、例えば、ピアノロール表示とする。
【0033】
すなわち、音高位置を縦方向に配列し、1つの発音のキーオンイベントからキーオフイベントまでの発音期間を1つの発音に関するイベントとして取り扱い、横の時間方向に、演奏表示図形として1本の棒状図形で表示する。
この場合、図1に示した表示図形選択部6,9は、表示図形の色や模様、基本形状(例えば、矩形の棒状、丸みを帯びた棒状)、および、ベロシティに応じた棒の幅を規定するデータのみを出力し、棒状表示の具体的な形状は、表示位置計算部7,10で作成する。
【0034】
鍵盤演奏ではなく、管楽器演奏の場合、音高の表示に代えて、指で押さえる穴の位置を表示するようにしてもよい。時間軸方向は、ピアノロール表示と同様でよい。
また、コード演奏に特化した表示形式としては、表示図形として、フォントで表示されるコードネームの表示を用いて、コード演奏位置に表示してもよい。
ギター演奏の場合、タブ表示やフレット表示でもよい。特に、フレット表示の場合、現在のコードのフレット位置を示すページと次のコードのフレット位置を示すページを左右に配置して表示してもよい。演奏の進行とともに、順にページが切り替わる。
より高度な演奏表示形式としては、音符を表示する楽譜形式であってもよい。要は、演奏すべき手本のイベントとユーザが演奏したイベントとが、視覚的に容易に認知できるものであればよい。
【0035】
なお、上述した説明では、フレット表示の場合以外は、手本となる演奏の表示を数小節のページ単位で更新し、ユーザ演奏の表示は、演奏の時間進行とともに逐次表示するものを説明した。これに代えて、手本となる演奏の表示も演奏の時間進行とともに、表示を逐次更新するようにしてもよい。
【0036】
図2(a),図2(b)において、ユーザ演奏表示図形および手本演奏表示図形とは、発音イベントの発生タイミングが同じであれば、タイミング軸方向の同じ位置に重なるように表示した。
しかし、図2(c)の円形表示図形24,25,26と円形表示図形28のように、ユーザ演奏表示図形と手本演奏表示図形とが重ならないように、表示位置を、隣接した異なる行に表示させてもよい。あるいは、行の区別をしない場合でも、タイミング軸に直交する方向に両図形の表示位置をずらせて表示させるか、擬似3次元表示をするために、タイミング軸と斜めに交叉する方向に両図形の表示位置をずらせて表示してもよい。
【0037】
ユーザ演奏や手本演奏の表示をどのような態様にするかは、演奏パートや操作子の種類、楽器の種類などに応じて自動的に選択したり、ユーザが自由に設定したりできるようにしてもよい。例えば、表示態様を円形図形から楽譜あるいはタブ譜に切り換えたり、表示図形の色や模様、形状を変更したりする。
図示の例では、ベロシティに応じて表示図形の大きさを異ならせたが、ベロシティの大きさに係わらず、同じ大きさの表示図形を選択して表示させてもよい。また、手本となる演奏を複数の打楽器について表示したが、練習しようとする1または複数の打楽器の種類に合わせて、表示する打楽器の数および種類を任意に設定してもよい。
【0038】
図3は、本発明の実施の一形態を実現するハードウエア構成図である。
本発明の演奏表示装置は、サウンドカードを増設するなどして、音源やD/A変換器が内蔵されたパーソナルコンピュータにおいて、オペレーティングシステムの上で演奏表示プログラムを実行することにより実現される。演奏表示プログラムは、単独のソフトウエアとしてインストールされるほか、楽器演奏教習ソフトウエアプログラム、あるいは、シーケンサソフトウエア等に含まれた形でインストールされる。
【0039】
図中、31はバス、32はROM(Read Only Memory)であって基本入出力システム(BIOS)プログラムなどが記憶されている。33はRAM(Random Access Memory)であって、CPU34が処理を遂行するのに必要なワーキングエリアが設けられている。34はCPU(Central Processing Unit)、35はプログラムの割込タイミング等を制御するタイマである。
36は外部記憶装置であって、FDD(Flexible Disk Drive),HDD(Hard Disk Drive),MO(Magneto Optical disk)ドライブ,CD−ROM(Compact Disc Read-Only Memory)ドライブ,DVD(Digital Versatile Disk)ドライブ等である。HDDには、オペレーティングシステムプログラムおよび演奏表示プログラムを含むアプリケーションプログラムがインストールされ、実行時にRAM33に読み出される。手本となる楽曲データあるいは自動演奏用の楽曲データも記憶される。CD−ROMドライブは、CD−ROMに記憶されているソフトウエアプログラムや上述した楽曲データを読み出しHDDに記憶する。
【0040】
37は電子楽器であって、鍵盤楽器タイプでは、演奏操作を入力する鍵盤を有し、打楽器演奏用のパッドを備える場合もある。電子楽器としては、電子打楽器、電子吹奏楽器、電子弦楽器などがあり、それぞれ固有の操作子を有する。
38はMIDIインタフェースであって、電子楽器37あるいはMIDI鍵盤などのMIDI機器をバス31に接続する。
39は操作子であって、パーソナルコンピュータに付属し、各種の設定を行うために用いるマウスやキーボードなどである。演奏表示形態を制御したり、手本となる楽曲データの記録再生、停止等の指示、楽音パラメータ等の設定入力をする。簡便にはこの操作子を、打楽器などの演奏入力操作子とすることも可能である。
【0041】
40は操作子39の操作状態を検出する検出回路、41はディスプレイであって、演奏表示を行うほか、設定メニュー等を可視表示する。42はディスプレイ41のための表示回路である。43は音源回路44で生成された楽音信号が入力され、増幅してスピーカ等に出力するサウンドシステム、44は音源回路であって、電子楽器37からバス31を介して入力された演奏データに応じて楽音信号を合成し、ディジタルアナログ変換器(DAC)によってアナログ波形信号に変換する。
DSP(Digital Signal Processor)を含んで、生成された楽音信号に残響効果を付す場合もある。PCM波形データを記憶するROMをサウンドカード上に備える場合もある。
45は通信ネットワークであって、LAN(Local Area Network)や有線の電話網あるいは無線の携帯電話網、インターネット等の通信ネットワークである。46は通信インタフェースであって、通信ネットワークとバスとの間のインタフェースであって、通信ネットワークを介して、サーバと接続する。
【0042】
CPU34は、電子楽器37から入力された演奏データ、操作子39からの制御データ等に対し、RAM33を用いて処理を行い、演奏表示プログラムを実行することにより演奏表示画像を作成するとともに、各種設定メニュー画面をディスプレイ41に表示するなどの、画像表示制御を行う。また、演奏データに応じて音源回路44を制御する。
外部記憶装置36が、記録再生可能な装置である場合には、ユーザの演奏データを楽曲データとして記録再生することができる。
また、音源回路44の機能は、A/D変換器を内蔵し、コーデック(CODEC)ドライバソフトウエアがインストールされていれば、CPU34とオペレーティングシステム(OS)の下で実現させることができる。
【0043】
演奏表示プログラムなどのアプリケーションプログラム、手本用あるいは自動演奏用の楽曲データは、通信インタフェース46を介して、通信ネットワーク45上の図示しないサーバから外部記憶装置36のHDDにダウンロードしてもよい。
クライアントとなるこのパーソナルコンピュータは、サーバにアプリケーションプログラムや楽曲データのダウンロード要求コマンドを送信する。サーバは、このコマンドを受信し、要求されたアプリケーションプログラムや各種楽曲データを、パーソナルコンピュータに配信し、外部記憶装置36のHDDに記憶させる。
図示を省略したが、IEEE1394(mLAN)端子、あるいはRS232C端子を備えて、外部の操作入力手段、手本用の楽曲データ入力手段、あるいは、外部の音源装置に接続してもよい。
上述した説明では、演奏表示装置をパーソナルコンピュータ上で実現する場合について説明したが、表示部を備えた専用の電子楽器で実現することもできる。あるいは、表示部および操作入力手段を備えた携帯電話機などにおいて実現することもできる。
【0044】
図4は、本発明の実施の一形態において、楽曲データファイルの一構成例の説明図である。
楽曲データは、例えば、設定情報部、および、メロディパート,コードパート,リズムパートなどの複数の演奏パートを有している。設定情報部は、楽曲データ全般の設定に関する各種の情報、例えば、再生テンポ、各演奏パートの音色(リズムパートは除く)、音量などの情報が記憶されている。メロディパートにはメロディに相当する演奏内容、コードパートには和音の演奏内容、リズムパートには複数の打楽器の演奏内容が記憶されている。
【0045】
各演奏データは、イベントの発生タイミングとそのイベント内容を1単位として、それぞれ演奏の時間順に記憶されている。
図2に示した、リズムパート演奏の例では、発音に関するイベントデータとして、発音させる打楽器種類を表すノートナンバとベロシティが含まれる。
メロディパートとコードパートには、発音に関するイベントとして、発音指示に対応するノートオンイベント、発音終了指示に対応するノートオフイベントがある。ノートオンイベントは、発音させる音高とベロシティのデータを持つ。ノートオフイベントには、消音させる音高が含まれる。ノートオフイベントを用いないで、ノートオンイベントに、発音長を表すゲートタイムのデータを持たせてもよい。
各演奏パートには、例えば、リズムパートについて図示するように、各イベントの発生タイミングがわかるタイミングデータとイベントデータの組が記憶されている。このタイミングデータは、直前のイベントからの時間間隔を表すデュレーションデータ、あるいは、イベントの発生時刻を表すタイミングデータが用いられる。
メロディパートの左手鍵盤領域のノートオンイベントは、その音高の発音そのものを指示しない場合がある。コード演奏モードによっては、押鍵の組み合わせによって特定の和音の発音を指定する。
なお、楽曲データの各演奏パートには、発音に関するイベント以外のイベントデータも含まれているので、図2に示す演奏表示画面の表示を行うときには、演奏表示に必要なイベントデータのみを抽出する。
【0046】
図5は、本発明の実施の一形態の動作を説明するための第1のフローチャートであり、メイン動作の処理を示すものである。
S61においては、演奏の練習を始めるか否かを判定し、練習開始を指示する操作がなされたときにはS62に処理を進め、練習開始を指示する操作がなされないときにはS64に処理を進める。
S62において、楽曲とその中の練習を行う演奏パートを、例えば、図4に示したメロディパート,コードパート,リズムパートの中から選択する。
【0047】
S63において、楽曲データの最初の読出位置を設定し、選択された練習パート(ユーザ演奏パート)のデータを用いて、演奏練習の最初の画面の表示がなされる。図6を参照して後述するタイマ割込処理は、このステップから開始される。最初の画面とは、例えば、演奏データの最初の2小節分、あるいは、その前後の部分を含む期間の表示画面である。
リズム演奏パートが選択された場合は、例えば、図2(a)に示したような演奏表示画面となる。ただし、小節番号は、図示のものとは異なり、一番最初の小節番号が表示される。楽曲データの練習パートから最初の2小節、あるいは、その前後の部分を含む期間において発生する発音に関するイベントが抽出される。発音に関するイベントの打楽器種類およびベロシティに応じた手本演奏表示図形が選択され、選択された手本演奏表示図形の中心が、操作子の打楽器種類(ノートコード)に対応する行における、イベントの発生タイミングに応じた位置に表示される。
【0048】
なお、練習パートとしてメロディパート(通常は鍵盤楽器の場合である)が選択されている場合には、右手演奏(メロディ演奏)と左手演奏(コードを指定する演奏)の両演奏の発音に関するイベントを別行で表示する。
一方、コードパートが選択されている場合には、コードパートに含まれている複数の楽器(例えば弦楽器や管楽器など)毎に、行を分けて演奏の発音に関するイベントのタイミングを表示する。
【0049】
S64においては、その他の処理として、演奏練習の停止、記録されたユーザ演奏データの再表示、楽曲データを用いての通常の自動演奏、楽曲データの編集、表示画面の各種の設定変更などの処理を行う。なお、後述するタイマ割込処理は、その他の処理が実行されると処理を終了する。
S65において、本メイン処理を終了するか否かを判定し、終了しないときにはS61に処理を戻し、終了するときには動作を停止する。
【0050】
図6は、本発明の実施の一形態の動作を説明するための第2のフローチャートであって、図5に示したS63において起動し、所定数のクロックタイミング毎に割込んで処理が行われるタイマ割込処理を示すものである。
本タイマ割込処理では、手本としての楽曲データを再生するとともに、手本の表示およびユーザの行う演奏の表示を、実時間処理として行う。
S71においては、図2に示した白棒27のような演奏位置表示図形を割込みタイミング毎に時間軸方向に移動させることにより、現在のタイミング位置を表示する。
S72において、現在のタイミングにおける各パートのイベントを処理する。具体的には、楽曲データ中、練習パートとして設定されていないパート(例えば、リズムパート以外のパート)において処理すべきイベントの処理を行う。例えば、メロディパートやコードパートの発音処理を行う。また、読み出されたイベントが楽曲データの最終位置を表すイベントであれば、演奏練習を停止させるために、発音中の全楽音を消音し、タイマ割込処理を禁止する処理を行う。
【0051】
S73においては、ユーザ演奏入力があるか否かを判定し、演奏入力があるときにはS74に処理を進め、ないときにはS82に処理を進める。ユーザによって電子楽器の鍵盤、ドラムパッドもしくはペダル、その他の専用の演奏操作子のいずれの操作子が操作されたか否かを検出する。それぞれの演奏操作子には予めノートコードがアサインされている。
S74において、ユーザ演奏入力の操作の強さを示すベロシティの大きさを抽出する。
S75において、ユーザによって操作された演奏操作子が、いずれの音高の鍵であるか、あるいは、いずれのドラムパッド、ペダルであるかを特定する(操作された操作子にアサインされているノートコード(コードナンバ)を検出する)。
S76において、現在のタイミングを、小節あるいはクロック数として抽出する。
【0052】
S77においては、ユーザ演奏表示図形を、ベロシティの値および演奏操作子の種類に応じて選択する。例えば、図1,図2に示した例では、予め、ベロシティに対応した大きさの異なる複数の円形図形が記憶されており、ユーザ演奏のベロシティに応じた大きさの円形図形を選択する。
S78においては、演奏操作子と現在タイミングに応じて表示位置を決定する。例えば、リズムパートの場合、操作された操作子の打楽器種類(ノートコード)に対応する行の、現在タイミングに対応する時間軸位置を、ユーザ演奏表示図形の表示位置として決定する。
S79においては、S77において選択されたユーザ演奏表示図形を、S78において決定された表示位置を中心位置として表示することにより、ユーザ演奏表示図形を、演奏操作子の現在タイミングに対応する手本上の位置に表示する。リズム演奏パートが選択されている場合は、例えば、図2(b),図2(c)に示したような演奏表示画面となる。
【0053】
S80においては、ユーザ演奏入力をユーザ演奏データとして記憶する。したがって、ユーザが行った演奏入力は楽曲データとして記録されるから、演奏終了後にも、ユーザ演奏を単独に、あるいは、再び手本と突き合わせて表示することができる。
その際、ユーザの演奏入力に応じたユーザ演奏表示図形と手本演奏表示図形の表示形態としては、ユーザ演奏時のリアルタイム演奏表示の場合と同じ表示形態をとるほか、ユーザ演奏表示図形も、手本演奏表示図形の表示に合わせて、2小節単位、または、その前後の部分を含む期間のページ単位で表示してもよい。
再生したユーザの演奏と手本となる演奏の演奏表示図形を、演奏の進行を途中で一時停止させた状態で表示してもよい。シーケンサソフトで実現されているように、ユーザの演奏表示図形や手本の演奏表示図形をマウスなどで移動させたり、変形させたりすることにより、ユーザの発音イベントの発生タイミングや楽器種類、音高、ベロシティ、発音指示期間などを、表示画面上で編集することができる。
【0054】
S81においては、ユーザ演奏を発音処理する。
S82においては、現在のタイミングが手本表示の切り換えタイミングになっているか否かを判定し、切り換えタイミングであるときには、S83に処理を進め、まだ切り換えタイミングでないときには、タイマ割込処理の1回の処理を終了する。
【0055】
図2に示した演奏表示画面の例では、2小節分の時間が経過するときを切り換えタイミングとしていた。S83においては、楽曲データに基づいて次の手本を表示する。すなわち、新たな2小節期間、または、その前後の部分を含む期間において発生する発音に関するイベントが抽出される。リズムパートの場合は、この発音に関するイベントの操作子に応じ、かつ、ベロシティに応じた大きさの手本演奏表示図形が選択され、選択された手本演奏表示図形の中心がイベントの発生タイミングに応じた位置になるように表示される。
【0056】
上述した説明では、ユーザが演奏入力するために利用する操作子として、電子楽器の鍵盤たドラムパッドを用いるものを主に説明したが、専用の操作子を用意して、専用の操作子の各スイッチにノートナンバをそれぞれアサインして利用することもできる。専用の操作子として、打楽器型、管楽器型、弦楽器型など、練習する演奏パートや楽器種類に対応させて種々のものを用いることができる。
パーソナルコンピュータのキーボードの各キーや、ゲーム機の操作スイッチに、それぞれノートナンバをアサインして利用したり、ディスプレイの表示画面上に表示されたスイッチ(ソフト操作子)にノートナンバをアサインして、マウスでソフトスイッチを操作するなど、演奏入力を指示できるものであればどのような操作子あるいは入力装置であってもよい。
【0057】
通信ネットワークを利用する態様として、サーバとパーソナルコンピュータとを接続してネットワーク教習を行うことができる。
サーバ側で、手本の楽曲データの転送と、手本演奏表示図形の画像表示制御を行う。既に説明したように、手本となる楽曲データをサーバからダウンロードして外部記憶装置に記憶する。このようなダウンロード形式に代えて、サーバは、少量ずつ部分的に、例えば、ページ切り換え表示用の2小節単位、または、その前後の部分を含む期間分ずつ、クライアント側パーソナルコンピュータに順次転送するとともに、ディスプレイ上に手本演奏表示図形を所定位置に表示させるようにしてもよい。
パーソナルコンピュータ側のユーザは、サーバから転送された手本演奏の表示を見ながら演奏を行う。パーソナルコンピュータは、このユーザ演奏に対応してユーザ演奏表示図形を所定位置に表示させる。
その結果、サーバとパーソナルコンピュータの両者が処理分担を行うことにより、ユーザ演奏表示図形と手本演奏表示図形とを同時に表示される。
【0058】
【発明の効果】
本発明は、上述した説明から明らかなように、ユーザ演奏と手本との相違をわかりやすく伝えることができるという効果がある。また、演奏中において迅速に伝えることができるという効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の一形態のブロック構成図である。
【図2】 図1に示した実施の形態におけるディスプレイの演奏表示画面の一例を示す図である。
【図3】 本発明の実施の一形態を実現するハードウエア構成図である。
【図4】 本発明の実施の一形態において、楽曲データファイルの一構成例の説明図である。
【図5】 本発明の実施の一形態の動作を説明するための第1のフローチャートであり、メイン動作の処理を示すものである。
【図6】 本発明の実施の一形態の動作を説明するための第2のフローチャートであって、タイマ割込処理を示すものである。
【符号の説明】
1…ユーザ演奏入力部、2,4…表示制御情報抽出部、3…手本演奏入力部、5…画像データ作成部、6,9…表示図形選択部、8…背景画像作成および表示位置計算部、7,10…表示位置計算部、11…画像データ合成部、12…演奏表示画像メモリ、13…画像表示制御部、21…打楽器名の表示領域、22…座標目盛値、23…座標目盛、24,25,26…手本となる演奏の発音イベントを示す円形図形、27…白棒、8…ユーザの演奏の発音イベントを示す円形図形。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a performance display apparatus and a performance display method for visually displaying a difference between a user performance and a performance as a model when the user is performing.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a performance display device that displays a model performance on a screen as the performance progresses is known. The user can perform along the displayed example. In the conventional performance display device, when the timing of the sound played by the user and the type or pitch of the musical instrument are different from those of the model, the sample part corresponding to the erroneous performance is changed to a color different from normal. By changing, the user was informed of the wrong performance. Therefore, according to the conventional performance display device, the user can understand the portion where the erroneous performance has been performed. However, the user could not confirm what mistaken performance was performed.
[0003]
[Problems to be solved by the invention]
The present invention has been made to solve the above-described problems, and it is an object of the present invention to provide a performance display device and a performance display method capable of clearly communicating the difference between a user's performance and a model performance. To do. And it aims at providing the performance display apparatus and performance display method which can tell the difference of performance quickly even if a user is performing.
[0004]
[Means for Solving the Problems]
  According to the first aspect of the present invention, in the performance display device, the reference performance input means for outputting the sound event of the standard performance as a model and the generation timing of the sound event, and the user performance according to the user's performance operation User performance input means for outputting the sounding event and the occurrence timing of the sounding event, both a reference performance display graphic representing the sounding event of the reference performance and a user performance display graphic representing the sounding event of the user performance,The reference performance display figure is a circular figure having a size corresponding to the velocity of the sounding event of the reference performance, and the user performance display figure is a size corresponding to the velocity of the sounding event of the user performance As a circular figure,The position corresponding to each occurrence timing as a center positionCommonTiming axisaboveImage data creating means for creating image data for display is provided.
  Therefore,Displayed as a circular shapeReference performance display figure and user performance display figurecenterDue to the difference in position, it is possible to tell in an easy-to-understand manner how the generation event generated by the user's performance operation deviates from the performance of the model or is incorrect.
  Further, the size of the circular figure makes it possible to easily identify the difference in velocity between the user performance and the model performance, for example, the strength of the hit.
  In the case of percussion instrument performance, for example, a performance display figure is displayed at the timing position of the sound generation instruction event.
[0005]
  In the invention described in claim 2,Claim 1In the performance display device,The image data creation means includesThe reference performance display graphic and the user performance display graphic are displayed differently from each other, and image data to be displayed on a common timing axis with a position corresponding to each occurrence timing as a central position is created.RumoIt is.
  Therefore, GroupBy displaying the semi-performance display graphic and the user performance display graphic in different display modes, the difference between the user performance and the model performance can be easily distinguished.
  In the case of a plurality of percussion instrument performances, a common timing axis is provided for each percussion instrument, for example.
[0006]
  In invention of Claim 3,Claim 1In the performance display device,The image data creation means includesTo display at least one of the reference performance display graphic and the user performance display graphic as a display graphic having a transparent or translucent color portion on a common timing axis with a position corresponding to each occurrence timing as a central position Create image data forRumoIt is.
  Therefore, GroupBy displaying at least one of the semi-performance display graphic and the user performance display graphic as a display graphic having a transparent or translucent color, even if the standard performance display graphic and the user performance display graphic overlap, the user performance and the sample performance Can be easily identified.
[0008]
  Claim4In the invention described in claim 1, claims 1 to3In the performance display device according to any one of the above, the user performance input means inputs the sounding event of the user performance and the generation timing of the sounding event in real time according to the performance operation of the user, The image data creation means displays the user performance display graphic in real time according to the user performance operation in a timing axis direction with a position corresponding to the generation timing of the sound event of the user performance as a central position. Image data is created.
  Accordingly, the user can check the performance delay and the content of the erroneous performance as the performance progresses, and thereafter, the user can correct the mistake while performing. Since it is a display that can be easily confirmed, confirmation in real time does not bother the performance of the performance.
[0009]
  Claim5In the performance display method, in the performance display method, the sounding event of the standard performance as a model and the generation timing of the sounding event are output, and the sounding event of the user performance and the sounding event of the sounding event are output according to the user's performance operation. A performance input step for outputting occurrence timing, a reference performance display graphic representing a sound event of the standard performance, and a user performance display graphic representing a sound event of the user performance,The reference performance display figure is a circular figure having a size corresponding to the velocity of the sounding event of the reference performance, and the user performance display figure is a size corresponding to the velocity of the sounding event of the user performance As a circular figure,The position corresponding to each occurrence timing as a center positionCommonTiming axisaboveIt has an image data creation step for creating image data for display.
  Therefore, the performance display method has the same effect as the performance display device according to claim 1.
[0010]
  Claim6In the invention described inClaim 5In the performance display method,The image data creation step includesThe reference performance display graphic and the user performance display graphic are displayed differently from each other, and image data to be displayed on a common timing axis with a position corresponding to each occurrence timing as a central position is created.RumoIt is.
  Therefore, the performance display method has the same effect as the performance display device according to claim 2.
[0011]
  Claim7In the invention described inClaim 5In the performance display method,The image data creation step includesTo display at least one of the reference performance display graphic and the user performance display graphic as a display graphic having a transparent or translucent color portion on a common timing axis with a position corresponding to each occurrence timing as a central position Create image data forRumoIt is.
  Therefore, the performance display method has the same effect as the performance display device according to claim 3.
[0013]
  Claim8In the invention described in the above, on the computer-readable recording medium, the sounding event of the standard performance as a model and the generation timing of the sounding event are output, and the sounding event of the user performance and the sounding event of the user performance according to the user's performance operation are output. A performance input step for outputting the generation timing of the sounding event, a reference performance display graphic representing the sounding event of the standard performance, and a user performance display graphic representing the sounding event of the user performance,The reference performance display figure is a circular figure having a size corresponding to the velocity of the sounding event of the reference performance, and the user performance display figure is a size corresponding to the velocity of the sounding event of the user performance As a circular figure,The position corresponding to each occurrence timing as a center positionCommonTiming axisUpA performance display program for causing a computer to execute an image data creation step for creating image data to be displayed is recorded.
  Therefore, the claims5The program which implement | achieves the performance display method of description is provided.
[0014]
  Claim9In the invention described inClaim 8A computer-readable recording medium,The image data creation step includesThe reference performance display graphic and the user performance display graphic are displayed differently from each other, and image data to be displayed on a common timing axis with a position corresponding to each occurrence timing as a central position is created.RumoIt is.
  Therefore, the claims6The program which implement | achieves the performance display method of description is provided.
[0015]
  Claim10In the invention described inClaim 8A computer-readable recording medium,The image data creation step includesAt least one of the reference performance display figure and the user performance display figure is displayed as a display figure having a transparent or translucent color portion on a common timing axis with a position corresponding to each occurrence timing as a central position.RumoIt is.
  Therefore, the claims7The program which implement | achieves the performance display method of description is provided.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram of an embodiment of the present invention.
Reference numeral 1 denotes a user performance input unit that inputs a user performance based on an operation input of a user performance operator. The user operates one or more types of performance operators. Reference numeral 2 denotes a display control information extraction unit which extracts, for example, the velocity, note number, and generation timing of a sound generation event as display control information from the user performance input unit 1.
Reference numeral 3 denotes a model performance input unit that reads music data including a standard performance (model performance) as a model from a music data storage unit or the like. Reference numeral 4 denotes a display control information extraction unit which extracts, for example, the velocity, note number, and generation timing of a sound generation event in the user performance part of the music data from the model performance input unit 3 as display control information.
[0018]
Reference numeral 5 denotes an image data creation unit for displaying sound events of user performance and model performance as display figures corresponding to the respective note numbers and velocities at positions corresponding to the respective note numbers and generation timings. Create image data. In addition, the user performance is displayed in real time in response to the user performance operation. As a result, the difference between the user performance and the model performance can be easily and easily transmitted to the user. The internal configuration includes a plurality of blocks described below.
[0019]
Reference numeral 6 denotes a display graphic selection unit, which selects a display graphic according to the note number and velocity, for example, for the sound event of the user performance extracted by the display control information extraction unit 2.
Reference numeral 7 denotes a display position calculation unit, which similarly calculates the display position of a display figure according to, for example, a note number and generation timing for a sound event of user performance.
8 is a background image creation and display position calculation unit, which is a background image such as a character display figure (font) of a percussion instrument type name or a coordinate scale line figure, a white bar indicating the progress of a sample performance, or a font figure of a timing value. Etc. and calculation of the display position of each figure.
Reference numeral 9 denotes a display graphic selection unit, which selects a display graphic in accordance with, for example, the note number and velocity for the pronunciation event of the model performance extracted by the display control information extraction unit 4.
Reference numeral 10 denotes a display position calculation unit, which similarly calculates the display position of a display figure in accordance with, for example, a note number and generation timing for a sound event of a model performance.
[0020]
An image data composition unit 11 synthesizes display data output from the display figure selection units 6 and 9, the background image creation and display position calculation unit 8, and the display position calculation units 7 and 10. Create data.
A performance display image memory 12 is used for synthesizing image data. For example, at least three image memory areas corresponding to the performance display screen are prepared.
One display image including only the display graphic of the pronunciation event of the user performance created by the display graphic selection unit 6 and the display position calculation unit 7, the sample performance created by the display graphic selection unit 9 and the display position calculation unit 10 One display image including only the display graphic of the sound generation event and one display image including only the background image output from the background image creation and display position calculation unit 8 are temporarily stored in the respective image memory areas. .
[0021]
If each display image is synthesized and read so as to be a desired image when the display image data is output to the image display control unit 13, the synthesis form can be freely set.
Since the display image of the white bar 27 described later with reference to FIG. 2 moves as the performance progresses, an independent display image is created instead of the background image creation and display position calculation unit 8. Also good.
From the display figure selection unit 6 to the performance display image memory 12 described above is the internal configuration of the image data creation unit 5.
[0022]
An image display control unit 13 controls a performance display screen on the display based on the image data synthesized by the image data synthesis unit 11.
The display graphic representing the sound event of the user performance is sequentially displayed as the performance progresses.
On the other hand, the display graphic representing the sound event of the model performance outputs a calculated value of the display position of the sound event that occurs during the performance period corresponding to one page at the page switching timing of the performance display screen.
Reference numeral 14 denotes a musical sound synthesizing unit which inputs the output of the user performance input unit 1 and the output of performance parts other than the user performance part output from the model performance input unit 3 to synthesize musical sounds. A sound system 15 gives an effect to the musical sound synthesized by the musical tone synthesizing unit 14, amplifies it, and outputs it to the speaker.
[0023]
In this embodiment, the case where the user plays a rhythm performance part (when the rhythm performance part is selected as the user performance part) will be described.
In the rhythm performance part in the music data used as a model, performance events of a plurality of types of percussion instruments are mixed and stored. When the music data storage format is SMF (Standard MIDI File), the note number indicates the percussion instrument type. Therefore, the display position calculation unit 10 refers to the note number and calculates the position in the vertical axis direction of the image so that the performance display figures of a plurality of types of percussion instruments are displayed divided into lines corresponding to the types. To do.
On the other hand, note numbers representing percussion instrument types are assigned in advance to a plurality of performance operators used by the user for performance. Therefore, the display position calculation unit 7 detects which performance operator has been operated, and displays a graphic representing the sound event of the user performance on the line corresponding to the note number. The display is performed in real time (real time) simultaneously with the user performance.
[0024]
The display figure corresponding to the pronunciation event of the model performance and the display figure corresponding to the pronunciation event of the user performance are set to display forms that can be distinguished from each other for each note number, in this example, for each percussion instrument type. The display position calculators 7 and 10 display both of them on the common timing axis at an occurrence timing of each sounding event, that is, a position corresponding to the hitting timing, with overlapping.
In particular, when displaying on a common timing axis, it is necessary to be able to distinguish between a display figure corresponding to a sound event of a user performance and a display figure corresponding to a sound event of a model performance.
The display graphic selection units 6 and 9 select different display graphic display modes by changing the shape, color, pattern, or the like of the display graphic, in particular, one having a transparent color portion. .
In addition, the size of the display graphic for displaying the model performance and the display graphic for displaying the user performance are selected in accordance with the velocity magnitude (strength of striking force) of each performance. As a result, the difference in velocity can be seen at a glance.
[0025]
FIG. 2 is a diagram showing an example of a performance display screen of the display in the embodiment shown in FIG.
FIG. 2A shows a state immediately after the performance display screen is switched. FIG. 2B is a diagram showing a halfway state after the performance display screen is switched. FIG. 2C is a diagram showing another example of the performance display screen.
In FIG. 2A, 21 is a percussion instrument name display area, 22 is a coordinate scale value based on the measure number of music data, and 23 is a coordinate scale. The vertical axis represents the type of percussion instrument, and the percussion instrument areas are arranged in a plurality of lines. The horizontal axis shows the elapsed time of performance. A model is displayed in units of two bars and its front and back.
[0026]
The model event is displayed as a circular figure at the time axis position corresponding to the timing of generation of the model sound event in the line for each instrument type. In the drawing, color display is replaced by broken line hatching.
Reference numeral 24 denotes a circular figure of colored (including not only chromatic colors but also achromatic colors), and represents the generation timing of a pronunciation event as a model for the musical instrument “cymbals”. Reference numeral 25 denotes a colored circular figure, which represents the generation timing of a sound event serving as a model for the musical instrument “snare drum”. Reference numeral 26 denotes a colored circular figure, which represents the generation timing of a sound event serving as a model for the musical instrument “hi-hat”.
[0027]
The circular figures 24, 25, and 26 may be the same color, but are easy to see if they are different for each instrument type. The sizes of the circular figures 24, 25, and 26 are determined in accordance with the magnitude of the velocity (striking force) of a sound generation event serving as a model. A circular figure having a plurality of sizes is stored in advance in a memory, and a figure corresponding to the magnitude of velocity is selectively read out.
In the figure, 27 is a white bar which represents the current position of the performance and moves to the right as the performance progresses.
Each time the performance time for two measures elapses, the performance display screen is page-switched. At this time, the display of the circular figures 24, 25, and 26 and the coordinate scale value 22 of the performance of the model is switched to one corresponding to the period after two measures. The white bar 27 moves to the left end again and starts moving in the right direction again.
[0028]
In FIG. 2 (b), 28 is a circular figure for displaying a user-generated sounding event, and the above-mentioned example-playing sounding event is placed at a position corresponding to the sounding event occurrence timing in a line for each percussion instrument. It is displayed in a display figure that can be distinguished from the circular figures 24, 25, and 26 to be displayed. The circular figure 28 is hatched as a pattern in the figure. The contour line and the hatching line are colors different from the colors of the circular figures 24, 25 and 26. Therefore, the display graphic of the circular graphic 28 and the circular graphic 24, 25, 26 can be identified by the difference in color and pattern. Further, the outer shapes may be different so that one is a circle and the other is a triangle.
As a result, it is possible to know at a glance whether the pronunciation timing of the user performance is totally deviated from the timing of the sample performance, whether it is wrong, or whether the percussion instrument to be played is wrong. it can.
[0029]
In the illustrated circular figure 28, the ground portion of the pattern in the figure is further transparent. Therefore, even when the generation timing of the user-generated sounding event and the generation time of the sounding event of the model performance approach or coincide with each other, the generation timing and velocity of the performance sound of the model performance can be visually recognized through the ground portion of the circular figure 28. .
This transparent color is realized by displaying an overlapping partner graphic when there is an overlapping graphic on the image memory.
[0030]
In the example shown in the figure, the same display graphic is used for the sounding event played by the user, including the color and pattern, regardless of the instrument type. However, the contour line and the hatching line may have different colors depending on the percussion instrument type. However, since the color of the circular graphics 24, 25, and 26 may not be identified in some cases, the color and hue of each of the circular graphics 24, 25, and 26 are the same and only the lightness (intensity) differs depending on the instrument type. It is good to do so.
Instead of the circular figure 28 that displays the user performance, the circular figures 24, 25, and 26 that display the model performance may be transparent. In short, what is necessary is just to be able to visually recognize both display graphics even when both display graphics overlap.
[0031]
More generally, one of the display graphic for displaying the user performance and the display graphic for displaying the model performance is the front graphic and the other graphic is the rear graphic.
In addition, opacity (0 ≤ opacity ≤ 1) is set for the brightness (intensity) of the color of the front figure, the color of the front figure is displayed with the brightness multiplied by the opacity, and the color of the rear figure is transparency (transparency) + Opacity = 1) Display with brightness multiplied by 1). As a result, the front figure becomes a translucent color.
As described with reference to FIG. 1, when the image data synthesis unit 11 synthesizes a plurality of display images and outputs one display image, the above-described front surface, rear surface, and opacity are freely set. can do.
[0032]
  In the performance example of the rhythm part (rhythm performance part) shown in the figure, a circular figure is used as a display for user performances and examples.ForThis makes it easier to understand when the sounding event occurs. Since a plurality of percussion instruments are used at the same time, the display lines are arranged in the vertical axis direction for each instrument type, and the generation event generation timing is assigned in the horizontal axis direction.
  On the other hand, in the case of a melody or chord part, in addition to the timing of the occurrence of a key-on event (pronunciation instruction event corresponding to note-on), pitch (corresponding to note number) and key-off event (corresponding to note-off) For example, a piano roll display is used.
[0033]
In other words, the pitch positions are arranged in the vertical direction, the sound generation period from one key-on event to one key-off event is handled as one sound-related event, and a single bar-shaped figure is displayed as a performance display figure in the horizontal time direction. indicate.
In this case, the display graphic selection units 6 and 9 shown in FIG. 1 set the color and pattern of the display graphic, the basic shape (for example, a rectangular bar shape, a rounded bar shape), and the bar width corresponding to the velocity. Only the prescribed data is output, and the specific shape of the bar display is created by the display position calculation units 7 and 10.
[0034]
In the case of wind instrument performance instead of keyboard performance, the position of the hole pressed by the finger may be displayed instead of the pitch display. The time axis direction may be the same as the piano roll display.
Further, as a display format specialized for chord performance, the chord performance position may be displayed by using a chord name displayed in font as a display figure.
When playing a guitar, tab display or fret display may be used. In particular, in the case of fret display, a page indicating the fret position of the current code and a page indicating the fret position of the next code may be arranged and displayed on the left and right. As the performance progresses, the pages change in order.
A more advanced performance display format may be a score format that displays notes. In short, it is only necessary that the model event to be performed and the event performed by the user can be easily recognized visually.
[0035]
In the above description, except for the case of the fret display, the display of the model performance is updated in units of several bars, and the display of the user performance is sequentially displayed as the performance progresses. Instead of this, the display of the performance as a model may be sequentially updated as the performance progresses.
[0036]
2A and 2B, the user performance display graphic and the model performance display graphic are displayed so as to overlap at the same position in the timing axis direction if the generation event generation timing is the same.
However, like the circular display figures 24, 25, and 26 and the circular display figure 28 in FIG. 2 (c), the display positions are arranged in adjacent rows so that the user performance display figure and the model performance display figure do not overlap. May be displayed. Alternatively, even if the lines are not distinguished, the display positions of both figures are shifted in the direction orthogonal to the timing axis, or in order to display the pseudo three-dimensional display, both figures are obliquely crossed with the timing axis. The display position may be shifted.
[0037]
The display format for the user performance and model performance can be automatically selected according to the performance part, the type of controls, the type of musical instrument, etc., and can be freely set by the user. May be. For example, the display mode is switched from a circular figure to a score or a tablature, or the color, pattern, or shape of the display figure is changed.
In the example shown in the figure, the size of the display graphic is varied according to the velocity, but a display graphic of the same size may be selected and displayed regardless of the velocity. In addition, although the performance as a model is displayed for a plurality of percussion instruments, the number and types of percussion instruments to be displayed may be arbitrarily set according to the type of one or more percussion instruments to be practiced.
[0038]
FIG. 3 is a hardware configuration diagram for realizing one embodiment of the present invention.
The performance display device of the present invention is realized by executing a performance display program on an operating system in a personal computer with a built-in sound source and D / A converter by adding a sound card. The performance display program is installed as a single software, or in a form included in a musical instrument performance learning software program or a sequencer software.
[0039]
In the figure, 31 is a bus and 32 is a ROM (Read Only Memory) in which a basic input / output system (BIOS) program and the like are stored. A RAM (Random Access Memory) 33 is provided with a working area necessary for the CPU 34 to perform processing. Reference numeral 34 is a CPU (Central Processing Unit), and 35 is a timer for controlling the interrupt timing of the program.
An external storage device 36 is an FDD (Flexible Disk Drive), HDD (Hard Disk Drive), MO (Magneto Optical Disk) drive, CD-ROM (Compact Disc Read-Only Memory) drive, DVD (Digital Versatile Disk). Drive etc. Application programs including an operating system program and a performance display program are installed in the HDD, and are read into the RAM 33 at the time of execution. Music data serving as a model or music data for automatic performance is also stored. The CD-ROM drive reads the software program stored in the CD-ROM and the music data described above and stores them in the HDD.
[0040]
Reference numeral 37 denotes an electronic musical instrument. The keyboard musical instrument type has a keyboard for inputting a performance operation, and may include a pad for percussion instrument performance. As electronic musical instruments, there are electronic percussion instruments, electronic wind instruments, electronic stringed instruments, and the like, each having its own operator.
Reference numeral 38 denotes a MIDI interface, which connects a MIDI device such as an electronic musical instrument 37 or a MIDI keyboard to the bus 31.
Reference numeral 39 denotes an operator which is attached to the personal computer and is a mouse or a keyboard used for performing various settings. The performance display form is controlled, recording / playback and stop of music data serving as a model, and setting input of musical sound parameters and the like. For convenience, this operator can be a performance input operator such as a percussion instrument.
[0041]
Reference numeral 40 denotes a detection circuit that detects the operation state of the operation element 39, and 41 denotes a display that displays a performance menu and displays a setting menu and the like. Reference numeral 42 denotes a display circuit for the display 41. Reference numeral 43 denotes a sound system in which the musical tone signal generated by the tone generator circuit 44 is input, and is amplified and output to a speaker or the like. Reference numeral 44 denotes a tone generator circuit, which corresponds to performance data input from the electronic musical instrument 37 via the bus 31. The musical sound signal is synthesized and converted into an analog waveform signal by a digital-analog converter (DAC).
In some cases, a reverberation effect is added to the generated tone signal including a DSP (Digital Signal Processor). A ROM that stores PCM waveform data may be provided on the sound card.
A communication network 45 is a communication network such as a LAN (Local Area Network), a wired telephone network, a wireless cellular phone network, or the Internet. A communication interface 46 is an interface between the communication network and the bus, and is connected to the server via the communication network.
[0042]
The CPU 34 uses the RAM 33 to process performance data input from the electronic musical instrument 37, control data from the operator 39, etc., and creates a performance display image by executing a performance display program, and various settings. Image display control such as displaying a menu screen on the display 41 is performed. Further, the tone generator circuit 44 is controlled in accordance with the performance data.
When the external storage device 36 is a device capable of recording and reproducing, the user performance data can be recorded and reproduced as music data.
The function of the tone generator circuit 44 can be realized under the CPU 34 and the operating system (OS) if an A / D converter is incorporated and codec (CODEC) driver software is installed.
[0043]
Application programs such as a performance display program, musical data for example or automatic performance may be downloaded from a server (not shown) on the communication network 45 to the HDD of the external storage device 36 via the communication interface 46.
This personal computer serving as a client transmits an application program and music data download request command to the server. The server receives this command, distributes the requested application program and various music data to the personal computer, and stores them in the HDD of the external storage device 36.
Although not shown, an IEEE 1394 (mLAN) terminal or an RS232C terminal may be provided and connected to an external operation input means, a sample music data input means, or an external sound source device.
In the above description, the performance display device is realized on a personal computer. However, the performance display device can be realized by a dedicated electronic musical instrument provided with a display unit. Alternatively, it can be realized in a mobile phone provided with a display unit and operation input means.
[0044]
FIG. 4 is an explanatory diagram of a configuration example of a music data file in the embodiment of the present invention.
The music data has, for example, a setting information section and a plurality of performance parts such as a melody part, chord part, and rhythm part. The setting information section stores various types of information related to overall music data settings, such as playback tempo, tone of each performance part (excluding rhythm parts), volume, and the like. The melody part stores performance contents corresponding to a melody, the chord part stores chord performance contents, and the rhythm part stores performance contents of a plurality of percussion instruments.
[0045]
Each piece of performance data is stored in the order of performance, with the event occurrence timing and the event content as one unit.
In the example of rhythm part performance shown in FIG. 2, note numbers and velocities representing percussion instrument types to be sounded are included as event data relating to sound generation.
In the melody part and the chord part, there are a note-on event corresponding to the pronunciation instruction and a note-off event corresponding to the pronunciation end instruction as events related to the pronunciation. Note-on events have pitch and velocity data to be sounded. The note-off event includes a pitch to be muted. Instead of using the note-off event, the note-on event may have gate time data representing the pronunciation length.
Each performance part stores, for example, a set of timing data and event data that indicates the occurrence timing of each event, as shown for the rhythm part. As this timing data, duration data representing a time interval from the immediately preceding event or timing data representing the occurrence time of the event is used.
The note-on event in the left hand keyboard area of the melody part may not indicate the pronunciation of the pitch itself. Depending on the chord playing mode, a specific chord is specified by a combination of key presses.
Since each performance part of the music data includes event data other than the event related to pronunciation, when displaying the performance display screen shown in FIG. 2, only event data necessary for performance display is extracted.
[0046]
FIG. 5 is a first flowchart for explaining the operation of the embodiment of the present invention, and shows the processing of the main operation.
In S61, it is determined whether or not to start practicing performance. When an operation for instructing to start practice is performed, the process proceeds to S62, and when an operation for instructing to start practice is not performed, the process proceeds to S64.
In S62, the musical piece and the performance part for performing the practice are selected from, for example, the melody part, chord part, and rhythm part shown in FIG.
[0047]
In S63, the first reading position of the music data is set, and the first screen of performance practice is displayed using the data of the selected practice part (user performance part). The timer interrupt process described later with reference to FIG. 6 is started from this step. The first screen is, for example, a display screen for a period including the first two measures of performance data, or a portion before and after the first two measures.
When the rhythm performance part is selected, for example, a performance display screen as shown in FIG. However, the bar number is different from that shown in the figure, and the first bar number is displayed. Events related to pronunciation that occur in the period including the first two measures or the parts before and after the first two measures are extracted from the practice part of the music data. The example performance display figure corresponding to the percussion instrument type and velocity of the event related to the pronunciation is selected, and the event occurs in the line corresponding to the percussion instrument type (note code) of the controller at the center of the selected example performance display figure It is displayed at a position according to the timing.
[0048]
If a melody part (usually a keyboard instrument) is selected as the practice part, events related to the pronunciation of both the right-hand performance (melody performance) and the left-hand performance (performance that specifies chords) will be displayed. Display in a separate line.
On the other hand, when a chord part is selected, a line is divided for each of a plurality of musical instruments (for example, a stringed instrument or a wind instrument) included in the chord part, and the event timing related to the sound of the performance is displayed.
[0049]
In S64, as other processing, such as stopping performance practice, redisplaying the recorded user performance data, normal automatic performance using music data, editing music data, changing various settings on the display screen, etc. I do. Note that the timer interrupt process described later ends when other processes are executed.
In S65, it is determined whether or not to end the main process. If the main process is not ended, the process returns to S61, and the operation is stopped when the main process is ended.
[0050]
FIG. 6 is a second flowchart for explaining the operation of the embodiment of the present invention, which starts in S63 shown in FIG. 5 and performs processing by interrupting at every predetermined number of clock timings. This shows the timer interrupt processing.
In this timer interruption process, the music data as a model is reproduced, and the display of the model and the performance performed by the user are performed as a real-time process.
In S71, the current timing position is displayed by moving a performance position display figure such as the white bar 27 shown in FIG. 2 in the time axis direction at every interruption timing.
In S72, the event of each part at the current timing is processed. Specifically, an event to be processed is performed in a part (for example, a part other than the rhythm part) that is not set as a practice part in the music data. For example, sound generation processing of a melody part or chord part is performed. Further, if the read event is an event representing the final position of the music data, in order to stop the performance practice, a process is performed in which all the musical tones being generated are muted and the timer interruption process is prohibited.
[0051]
In S73, it is determined whether or not there is a user performance input. If there is a performance input, the process proceeds to S74, and if not, the process proceeds to S82. It is detected whether the user has operated any of the keyboards, drum pads or pedals of the electronic musical instrument, or other dedicated performance operators. A note code is assigned in advance to each performance operator.
In S74, the velocity magnitude indicating the strength of the user performance input operation is extracted.
In S75, it is specified which pitch key, or which drum pad or pedal is the performance operator operated by the user (note code assigned to the operated operator) (Code number) is detected).
In S76, the current timing is extracted as a measure or the number of clocks.
[0052]
In S77, the user performance display figure is selected according to the velocity value and the type of performance operator. For example, in the example shown in FIGS. 1 and 2, a plurality of circular figures having different sizes corresponding to the velocity are stored in advance, and a circular figure having a size corresponding to the velocity of the user performance is selected.
In S78, the display position is determined according to the performance operator and the current timing. For example, in the case of a rhythm part, the time axis position corresponding to the current timing in the line corresponding to the percussion instrument type (note code) of the operated operator is determined as the display position of the user performance display figure.
In S79, the user performance display graphic selected in S77 is displayed with the display position determined in S78 as the center position, so that the user performance display graphic is displayed on the model corresponding to the current timing of the performance operator. Display in position. When the rhythm performance part is selected, for example, a performance display screen as shown in FIGS. 2B and 2C is displayed.
[0053]
In S80, the user performance input is stored as user performance data. Therefore, since the performance input performed by the user is recorded as music data, the user performance can be displayed alone or again after matching with the model even after the performance is completed.
At this time, the display form of the user performance display figure and the model performance display figure corresponding to the user's performance input is the same display form as that of the real-time performance display at the time of the user performance. In accordance with the display of the performance display figure, it may be displayed in units of two measures or in units of pages including a period before and after that.
You may display the performance display figure of the reproduction | regeneration of a user's performance and the performance which becomes a model in the state which stopped the progress of performance on the way. As realized by the sequencer software, the user's performance events, instrument types, pitches, etc. can be generated by moving or transforming the user's performance display figures and model performance display figures with the mouse. Velocity, pronunciation instruction period, etc. can be edited on the display screen.
[0054]
In S81, the user performance is subjected to sound generation processing.
In S82, it is determined whether or not the current timing is the switching timing of the model display. If it is the switching timing, the process proceeds to S83, and if it is not yet the switching timing, one timer interruption process is performed. The process ends.
[0055]
In the example of the performance display screen shown in FIG. 2, the switching timing is when the time of two measures elapses. In S83, the next example is displayed based on the music data. That is, an event related to sound generation that occurs in a new two-bar period or a period that includes the preceding and following parts is extracted. In the case of a rhythm part, a model performance display figure of a size corresponding to the event controller related to this sound generation is selected according to the velocity, and the center of the selected model performance display figure is the event generation timing. It is displayed so that it becomes the position corresponding.
[0056]
In the above description, the operation using the drum pad which is the keyboard of the electronic musical instrument is mainly described as the operation used for the user to input the performance. However, a dedicated operation is prepared and each operation of the dedicated operation is provided. Note numbers can be assigned to each switch. As a dedicated operator, various types such as a percussion instrument type, a wind instrument type, and a stringed instrument type can be used corresponding to the performance part and the type of instrument to be practiced.
Assign a note number to each key on a keyboard of a personal computer or an operation switch of a game machine, or assign a note number to a switch (soft operator) displayed on the display screen. Any operator or input device may be used as long as it can instruct performance input, such as operating a soft switch with a mouse.
[0057]
As a mode of using a communication network, network training can be performed by connecting a server and a personal computer.
On the server side, the music data of the model is transferred and the image display control of the model performance display figure is performed. As already explained, music data serving as a model is downloaded from the server and stored in the external storage device. Instead of such a download format, the server sequentially transfers a small amount, for example, a two-bar unit for page switching display or a period including a portion before and after it to the client-side personal computer. The model performance display figure may be displayed at a predetermined position on the display.
The user on the personal computer side performs while watching the display of the model performance transferred from the server. The personal computer displays a user performance display graphic at a predetermined position corresponding to the user performance.
As a result, both the server and the personal computer perform processing sharing, so that the user performance display graphic and the model performance display graphic are displayed simultaneously.
[0058]
【The invention's effect】
As is clear from the above description, the present invention has an effect that the difference between the user performance and the model can be easily communicated. In addition, there is an effect that it can be quickly transmitted during the performance.
[Brief description of the drawings]
FIG. 1 is a block diagram of an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a performance display screen of the display in the embodiment shown in FIG.
FIG. 3 is a hardware configuration diagram for realizing an embodiment of the present invention.
FIG. 4 is an explanatory diagram of a configuration example of a music data file in the embodiment of the present invention.
FIG. 5 is a first flowchart for explaining the operation of the embodiment of the present invention, and shows the processing of the main operation.
FIG. 6 is a second flowchart for explaining the operation of the embodiment of the present invention, and shows a timer interrupt process.
[Explanation of symbols]
  DESCRIPTION OF SYMBOLS 1 ... User performance input part, 2, 4 ... Display control information extraction part, 3 ... Model performance input part, 5 ... Image data creation part, 6, 9 ... Display figure selection part, 8 ... Background image creation and display position calculation , 7, 10 ... display position calculation unit, 11 ... image data synthesis unit, 12 ... performance display image memory, 13 ... image display control unit, 21 ... percussion instrument name display area, 22 ... coordinate scale value, 23 ... coordinate scale , 24, 25, 26 ... circular figures showing the sounding events of the model performance, 27 ... white bars,28: A circular figure indicating a sounding event of the user's performance.

Claims (10)

手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力する基準演奏入力手段、および、
ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力するユーザ演奏入力手段、
前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成手段、
を有することを特徴とする演奏表示装置。
A standard performance input means for outputting a sound event of a standard performance as a model and the generation timing of the sound event, and
A user performance input means for outputting a sound event of a user performance and a generation timing of the sound event in response to a user's performance operation;
A reference play display graphic representing the sound event of the reference performance, both the user's performance graphic display representing the sound event of the user's performance, the reference performance display view shape to the magnitude of the velocity of sound event of the reference performance as the size of the circular figure corresponding, and the user playing display diagram form as a circular shape magnitude corresponding to the magnitude of the velocity of sound event of the user's performance, the central position of the corresponding to each occurrence timing position Image data creation means for creating image data for display on a common timing axis as
A performance display device comprising:
前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項1に記載の演奏表示装置。 The image data creating means displays the reference performance display graphic and the user performance display graphic in different display modes, and displays image data for displaying on a common timing axis with a position corresponding to each generation timing as a central position. playing display device according to claim 1, wherein the benzalkonium create a. 前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項1に記載の演奏表示装置。 The image data creation means has at least one of the reference performance display figure and the user performance display figure as a display figure having a transparent or translucent color portion, and a position corresponding to each occurrence timing as a central position. playing display device according to claim 1, wherein the benzalkonium create image data for display on the timing shaft. 前記ユーザ演奏入力手段は、前記ユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを、前記ユーザの演奏操作に応じて実時間で入力し、
前記画像データ作成手段は、前記ユーザ演奏表示図形を、前記ユーザ演奏の発音イベントの前記発生タイミングに対応した位置を中心位置としてタイミング軸方向に、前記ユーザ演奏操作に応じて実時間で表示するための画像データを作成する、
ことを特徴とする請求項1ないしのいずれか1項に記載の演奏表示装置。
The user performance input means inputs the sound event of the user performance and the generation timing of the sound event in real time according to the performance operation of the user,
The image data creation means displays the user performance display graphic in real time according to the user performance operation in the timing axis direction with the position corresponding to the generation timing of the sound event of the user performance as a central position. Create image data for
The performance display device according to any one of claims 1 to 3 , wherein the performance display device is provided.
手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、
前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成ステップ、
を有することを特徴とする演奏表示方法。
A performance input step for outputting a sound event of a standard performance as a model and the occurrence timing of the sound event, and outputting a sound event of the user performance and the occurrence timing of the sound event in response to a user's performance operation,
A reference play display graphic representing the sound event of the reference performance, both the user's performance graphic display representing the sound event of the user's performance, the reference performance display view shape to the magnitude of the velocity of sound event of the reference performance as the size of the circular figure corresponding, and the user playing display diagram form as a circular shape magnitude corresponding to the magnitude of the velocity of sound event of the user's performance, the central position of the corresponding to each occurrence timing position An image data creation step for creating image data for display on a common timing axis as
A performance display method characterized by comprising:
前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項5に記載の演奏表示方法。 In the image data creation step, the reference performance display graphic and the user performance display graphic are displayed in different display modes, and image data for displaying on a common timing axis with a position corresponding to each generation timing as a central position. playing display method according to claim 5, wherein the benzalkonium create a. 前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項5に記載の演奏表示方法。 In the image data creation step, at least one of the reference performance display figure and the user performance display figure is a display figure having a transparent or translucent color portion, and a position corresponding to each occurrence timing is used as a central position. playing display method according to claim 5, wherein the benzalkonium create image data for display on the timing shaft. 手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、
前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸に表示するための画像データを作成する画像データ作成ステップ、
をコンピュータに実行させるための演奏表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
A performance input step for outputting a sound event of a standard performance as a model and the occurrence timing of the sound event, and outputting a sound event of the user performance and the occurrence timing of the sound event in response to a user's performance operation,
A reference play display graphic representing the sound event of the reference performance, both the user's performance graphic display representing the sound event of the user's performance, the reference performance display view shape to the magnitude of the velocity of sound event of the reference performance as the size of the circular figure corresponding, and the user playing display diagram form as a circular shape magnitude corresponding to the magnitude of the velocity of sound event of the user's performance, the central position of the corresponding to each occurrence timing position An image data creation step for creating image data for display on a common timing axis as
A computer-readable recording medium on which a performance display program for causing a computer to execute is recorded.
前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項8に記載の演奏表示プログラムを記録したコンピュータ読み取り可能な記録媒体。 In the image data creation step, the reference performance display graphic and the user performance display graphic are displayed in different display modes, and image data for displaying on a common timing axis with a position corresponding to each generation timing as a central position. 9. A computer-readable recording medium on which the performance display program according to claim 8 is recorded. 前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示することを特徴とする請求項8に記載の演奏表示プログラムを記録したコンピュータ読み取り可能な記録媒体。 In the image data creation step, at least one of the reference performance display figure and the user performance display figure is a display figure having a transparent or translucent color portion, and a position corresponding to each occurrence timing is used as a central position. 9. A computer-readable recording medium recording the performance display program according to claim 8, wherein the performance display program is displayed on a timing axis.
JP2000283431A 2000-09-19 2000-09-19 Performance display device and performance display method Expired - Fee Related JP3826697B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000283431A JP3826697B2 (en) 2000-09-19 2000-09-19 Performance display device and performance display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000283431A JP3826697B2 (en) 2000-09-19 2000-09-19 Performance display device and performance display method

Publications (2)

Publication Number Publication Date
JP2002091290A JP2002091290A (en) 2002-03-27
JP3826697B2 true JP3826697B2 (en) 2006-09-27

Family

ID=18767794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000283431A Expired - Fee Related JP3826697B2 (en) 2000-09-19 2000-09-19 Performance display device and performance display method

Country Status (1)

Country Link
JP (1) JP3826697B2 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4797523B2 (en) 2005-09-12 2011-10-19 ヤマハ株式会社 Ensemble system
JP4692189B2 (en) 2005-09-28 2011-06-01 ヤマハ株式会社 Ensemble system
JP4752425B2 (en) 2005-09-28 2011-08-17 ヤマハ株式会社 Ensemble system
JP4501874B2 (en) * 2006-02-28 2010-07-14 ヤマハ株式会社 Music practice device
JP4839967B2 (en) * 2006-06-02 2011-12-21 ヤマハ株式会社 Instruction device and program
JP5347854B2 (en) * 2009-09-09 2013-11-20 カシオ計算機株式会社 Performance learning apparatus and performance learning program
JP5783982B2 (en) * 2012-09-21 2015-09-24 株式会社コナミデジタルエンタテインメント Presentation device, program, and system
JP5847049B2 (en) * 2012-09-27 2016-01-20 株式会社エクシング Instrument sound output device
JP6102397B2 (en) * 2013-03-22 2017-03-29 カシオ計算機株式会社 Performance display device, performance display method and program
JP6217896B2 (en) * 2013-03-22 2017-10-25 カシオ計算機株式会社 Rhythm display device, electronic musical instrument, rhythm display method and program
JP6217275B2 (en) * 2013-09-20 2017-10-25 カシオ計算機株式会社 Song data display device, song data display method and program
JP6253186B2 (en) * 2013-09-30 2017-12-27 株式会社河合楽器製作所 Metronome program
JP6260176B2 (en) * 2013-09-30 2018-01-17 カシオ計算機株式会社 Performance practice apparatus, method, and program
JP6155458B1 (en) * 2015-10-23 2017-07-05 勇人 上岡 Beat chart number notation
US9852651B2 (en) 2016-02-16 2017-12-26 Panasonic Intellectual Property Corporation Of America Practice support device and practice support method for wind instrument performer
JP6720797B2 (en) 2016-09-21 2020-07-08 ヤマハ株式会社 Performance training device, performance training program, and performance training method
JP2019061006A (en) * 2017-09-26 2019-04-18 株式会社河合楽器製作所 Performance practice support device
JP7064509B2 (en) * 2017-12-29 2022-05-10 AlphaTheta株式会社 Audio equipment and programs for audio equipment
WO2023032319A1 (en) * 2021-08-31 2023-03-09 ソニーグループ株式会社 Information processing device, information processing method, and information processing system

Also Published As

Publication number Publication date
JP2002091290A (en) 2002-03-27

Similar Documents

Publication Publication Date Title
JP3826697B2 (en) Performance display device and performance display method
JP3719124B2 (en) Performance instruction apparatus and method, and storage medium
JP2004264392A (en) Device and program for performance practice
EP1302927B1 (en) Chord presenting apparatus and method
JP4265551B2 (en) Performance assist device and performance assist program
JPH03192299A (en) Automatic accompaniment device
JP2002301263A (en) Game system and computer readable storage medium for realizing the same
JP4085810B2 (en) Music game device, electronic music device, and program
JP2002372967A (en) Device for guiding keyboard playing
JPH11296168A (en) Performance information evaluating device, its method and recording medium
JP4379291B2 (en) Electronic music apparatus and program
JP2000214848A (en) Performance support device, performance support method, and recording medium with performance support program recorded therein
JP3815249B2 (en) Music score display device and music score display program
JP3267777B2 (en) Electronic musical instrument
JP3551014B2 (en) Performance practice device, performance practice method and recording medium
JP3722005B2 (en) Electronic music apparatus, control method therefor, and program
JP3821070B2 (en) Performance display device
JP2001022354A (en) Arpeggio generator and its recording medium
JP3705144B2 (en) Performance data change processing device
WO2018159829A1 (en) Playing support device and method
JP3873880B2 (en) Performance assist device and performance assist program
JP3620366B2 (en) Electronic keyboard instrument
JP7338669B2 (en) Information processing device, information processing method, performance data display system, and program
JP2002014670A (en) Device and method for displaying music information
JP2007072387A (en) Music performance assisting device and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050315

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060501

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060626

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees