JP2014066937A - ピアノロール型譜表示装置、ピアノロール型譜表示プログラム、及びピアノロール型譜表示方法 - Google Patents

Abstract

【課題】楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるピアノロール型譜表示装置を提供する。
【解決手段】楽譜情報に含まれる和音を抽出する和音抽出手段１１０と、和音抽出手段１１０により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段１１４と、和音を表すピアノロール型譜として、出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御手段１１６とを、含むものであることから、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。
【選択図】図３

Description

本発明は、楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示装置に関し、特に、その楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるための改良に関する。

楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロールを表示させる技術が知られている。典型的な態様としては、画面における一端部にピアノの鍵盤を模した映像を表示させ、その映像から各鍵盤が他端に向かって伸びるような表示領域を設定して、その表示領域における各鍵盤（すなわち音階）に対応する位置に、出力タイミング及び音長を示す帯映像を表示させるものがそれである。斯かるピアノロールによれば、前記楽譜情報に含まれる演奏音の音階及び出力タイミングを視覚的に分かり易く表示させることができる。

前記ピアノロールは、例えばＤＴＭ（Desk Top Music）分野におけるシーケンスソフトウェア（sequence software）等において好適に用いられるが、多数の楽曲データのうちから選択される楽曲データの演奏出力を行うと共にその楽曲の歌詞文字映像を表示させるカラオケ装置等にも応用される。そこで、カラオケ装置において用いられる楽曲データに対応して前記ピアノロールを作成する技術が提案されている。例えば、特許文献１に記載されたカラオケ装置がそれである。この技術によれば、カラオケ曲を演奏するための楽曲データ中に含まれるガイドメロディトラックのデータを用い、カラオケ曲の演奏と並行して歌唱旋律の音の高さを縦軸に展開し、音の長さを横軸に展開して帯状に音符を表示したピアノロールをモニタに表示させることで、歌唱者が楽譜を読めなくとも歌唱すべき旋律を分かり易くモニタ上に表示させることができるとされている。

特開２００４−２０５８１７号公報

ところで、前記カラオケ装置に用いられる楽曲データには、例えばエレキギターやベースギター等の撥弦楽器の演奏音が含まれることが多いが、前記従来の技術では、斯かる撥弦楽器の演奏音を好適なピアノロールとして表示させることができなかった。すなわち、撥弦楽器のように１回の演奏動作に対応して複数の演奏音が混じり合って奏でられる楽器に関しては、その１ストローク分の演奏（コード）に対応して、それぞれ出力開始時点が異なる複数の演奏音が前記楽曲データに定められるが、斯かる演奏音を従来のピアノロールとして表示させた場合、どのタイミングで演奏を行ったら良いのかわからず逆に分かり難いものになるおそれがあった。このような課題は、ピアノロール型譜表示装置の改良を意図して本発明者が鋭意研究を継続する過程において新たに見出したものである。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるピアノロール型譜表示装置、ピアノロール型譜表示プログラム、及びピアノロール型譜表示方法を提供することにある。

斯かる目的を達成するために、本第１発明の要旨とするところは、楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示装置であって、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段と、その和音抽出手段により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段と、前記和音を表すピアノロール型譜として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御手段とを、含むことを特徴とするものである。

前記目的を達成するために、本第２発明の要旨とするところは、楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示装置の制御装置を、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段、その和音抽出手段により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段、及び、前記和音を表すピアノロール型譜として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御手段として機能させることを特徴とするピアノロール型譜表示プログラムである。

前記目的を達成するために、本第３発明の要旨とするところは、楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示方法であって、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出過程と、その和音抽出過程において抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定過程と、前記和音を表すピアノロール型譜として、前記出力開始時点判定過程において判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御過程とを、含むことを特徴とするものである。

このように、前記第１発明によれば、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段と、その和音抽出手段により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段と、前記和音を表すピアノロール型譜として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御手段とを、含むものであることから、例えば撥弦楽器の演奏音等、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。すなわち、楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるピアノロール型譜表示装置を提供することができる。

ここで、前記第１発明において、好適には、前記和音抽出手段は、撥弦楽器の楽譜情報に含まれる、その撥弦楽器の１ストローク分の演奏に対応する和音を抽出するものである。このようにすれば、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる撥弦楽器の和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。

また、好適には、前記ピアノロール型譜表示制御手段は、前記和音抽出手段により抽出された複数の和音それぞれに対応するコードを１軸方向に配列し、その１軸方向と直交する方向を時間位置方向として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端とし且つ前記和音の音長に対応して前記時間位置方向に延伸する帯映像を表示させるものである。このようにすれば、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易く且つ実用的な態様のピアノロール型譜として表示させることができる。

また、好適には、前記ピアノロール型譜表示制御手段は、前記和音を表すピアノロール型譜と共に、その和音に対応する前記撥弦楽器における弦の押さえ方を表す映像を表示させるものである。このようにすれば、例えば撥弦楽器の練習に際して前記ピアノロール型譜を表示させる態様において、前記撥弦楽器の演奏法をそのピアノロール型譜に対応付けて視覚的に分かり易く表示させることができる。

また、好適には、前記出力開始時点判定手段は、前記和音において重畳して出力される複数の演奏音それぞれの出力開始時点の平均値に最も近い小節線をその和音の出力開始時点として判定するものである。このようにすれば、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音の出力開始時点を好適且つ実用的な態様で判定することができる。

また、好適には、前記撥弦楽器はエレキギターである。このようにすれば、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられるエレキギターの和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。

また、好適には、前記撥弦楽器はベースギターである。このようにすれば、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられるベースギターの和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。

また、前記第２発明によれば、前記ピアノロール型譜表示装置の制御装置を、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段、その和音抽出手段により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段、及び、前記和音を表すピアノロール型譜として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御手段として機能させることを特徴とするピアノロール型譜表示プログラムであることから、例えば撥弦楽器の演奏音等、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。すなわち、楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるピアノロール型譜表示プログラムを提供することができる。

また、前記第３発明によれば、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出過程と、その和音抽出過程において抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定過程と、前記和音を表すピアノロール型譜として、前記出力開始時点判定過程において判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させるピアノロール型譜表示制御過程とを、含むことから、例えば撥弦楽器の演奏音等、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。すなわち、楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるピアノロール型譜表示方法を提供することができる。

本発明が好適に用いられる通信カラオケシステムの構成を説明する図である。 本発明のピアノロール型譜表示装置の一実施例であるカラオケ装置の構成を例示するブロック線図である。 図２のカラオケ装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。 従来のピアノロールにおいてエレキギター等の撥弦楽器の楽譜情報に対応する表示を行う際の問題点について説明する図である。 図２のカラオケ装置によるピアノロール型譜表示制御に関して、複数の演奏音それぞれの出力開始時点の平均値に最も近い小節線をその和音の出力開始時点として判定する制御について説明する図である。 図２のカラオケ装置によるピアノロール型譜表示制御によりディスプレイに表示されるピアノロール型譜表示画面の一例を示す図である。 図２のカラオケ装置によるピアノロール型譜表示制御によりディスプレイに表示されるピアノロール型譜表示画面の他の一例を示す図である。 図２のカラオケ装置のＣＰＵによるピアノロール型譜表示制御及び演奏評価制御の一例の要部を説明するフローチャートである。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明が好適に用いられる通信カラオケシステム１０の構成を説明する図である。この図１に示す通信カラオケシステム１０においては、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）の本発明のピアノロール型譜表示装置の一実施例であるカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２２を介して通信回線２０に接続されており、同様にその通信回線２０に接続されたサーバ装置１８等との相互間でその通信回線２０を介して情報の通信が可能とされている。

また、前記通信カラオケシステム１０は、複数の電子早見本装置２８ａ、２８ｂ、２８ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２８と称する）を備えており、前記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台乃至数台ずつの前記電子早見本装置２８が貸与され、各個室１４において後述するように前記カラオケ装置１６との間で対応付け処理が行われることで、そのカラオケ装置１６の遠隔操作装置として用いられるようになっている。また、図１に示すように、前記店舗１２内には前記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、前記電子早見本装置２８からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。

前記通信回線２０は、例えば公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ（World Wide Web）等のインターネットに接続された広域情報通信網である。また、前記サーバ装置１８は、例えば、前記通信カラオケシステム１０を管理する情報配信サービス提供会社によって運営されるサーバであり、その通信カラオケシステム１０における楽曲データ（カラオケデータ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うセンタ装置として機能する。また、前記通信カラオケシステム１０を利用する各利用者毎の、前記カラオケ装置１６を用いたカラオケ演奏に関する情報を、その利用者の識別情報（ユーザＩＤ）と対応付けて記憶するＳＮＳ（Social Network Service）データベースを管理するデータベースサーバとして機能する。なお、本実施例においては、前記通信カラオケシステム１０のセンタ装置としての機能及びデータベースサーバとしての機能を兼ね備えた単一の前記サーバ装置１８を備えた構成について説明するが、それらセンタ装置及びデータベースサーバが個別のサーバ装置として構成されたものであってもよい。

図１に示すように、前記通信カラオケシステム１０は、前記通信回線２０を介して複数のシステム乃至通信端末装置との間で相互に情報の送受信が可能とされている。すなわち、通信端末装置であるパーソナルコンピュータ３０が前記通信回線２０に接続されると共に、携帯型情報通信端末としての携帯電話機３２及びタブレット３４等が中継基地局３６を介して前記通信回線２０に接続されており、それらパーソナルコンピュータ３０、携帯電話機３２、タブレット３４等と前記サーバ装置１８等との間で相互に情報の送受信が可能とされている。

図２は、前記通信カラオケシステム１０に備えられた、本発明のピアノロール型譜表示装置の一実施例であるカラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、本実施例のカラオケ装置１６は、中央演算処理装置であるＣＰＵ４０と、読出専用メモリであるＲＯＭ４２と、随時書込読出メモリであるＲＡＭ４４と、記憶装置であるハードディスク４６と、グラフィックスチップ（グラフィックスボード）等の映像処理部４８と、サウンドチップ（サウンドボード）等の音声処理部５０と、操作パネル５２と、表示制御部５４及び入力制御部５６を介して前記ＣＰＵ４０に接続されたタッチパネルディスプレイ５８と、通信インターフェイス６４と、ＬＡＮインターフェイス６６と、無線通信部６８と、ビデオ出力端子７０を介して前記映像処理部４８に接続された映像表示装置であるディスプレイ７２と、オーディオ入力端子７４を介して前記音声処理部５０に接続された音声入力装置であるマイクロフォン７６と、オーディオ出力端子７８を介して前記音声処理部５０に接続された音声増幅装置であるアンプ８０と、そのアンプ８０に備えられた音声出力装置であるスピーカ８２と、オーディオ入力端子８６を介して前記音声処理部５０に接続されたサウンドエフェクタ８８とを、備えて構成されている。

前記ＣＰＵ４０は、前記ＲＡＭ４４の一時記憶機能を利用しつつ前記ＲＯＭ４２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置１６における各種制御を実行する。すなわち、前記操作パネル５２、タッチパネルディスプレイ５８、或いは電子早見本装置２８等により所定の楽曲（カラオケ演奏曲）が選曲入力された場合、その選曲入力された楽曲を前記ＲＡＭ４４等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク４６から前記ＲＡＭ４４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報（楽曲データ）を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのＲＡＭ４４から前記音声処理部５０へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記ＲＡＭ４４に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部４８へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部４８を制御して所定の背景映像を再生させる背景映像出力制御、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御、及び前記通信回線２０を介した前記サーバ装置１８等との間の情報通信制御等の基本的な制御に加え、後述する本実施例のピアノロール型譜表示制御等の各種制御を実行する。

前記映像処理部４８は、前記ディスプレイ７２に表示される画面（映像）の描画に係る各種制御を行う。例えば、前記ＣＰＵ４０から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子７０を介して前記ディスプレイ７２に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置１６による楽曲の演奏出力（カラオケ演奏）に際して、前記ＣＰＵ４０において生成された歌詞文字映像等の文字映像（テロップ）を出力させたり、前記ハードディスク４６に記憶されたＭＰＥＧ（Moving Picture Experts Group）データ等の背景映像情報に基づいて所定の背景映像を再生（デコード）させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ７２に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。また、前記ＣＰＵ４０から供給されるデータに基づいて、後述する本実施例のピアノロール型譜表示制御を実行する。なお、本実施例においては、前記映像処理部４８により前記ディスプレイ７２の表示制御を行う一方、後述する表示制御部５４により前記タッチパネルディスプレイ５８（表示装置６０）の表示制御を行う態様について説明するが、前記映像処理部４８により前記タッチパネルディスプレイ５８の表示制御をも行う態様も考えられる。この態様において、前記表示制御部５４は必ずしも設けられなくともよい。

前記音声処理部５０は、ＦＭ音源やＰＣＭ音源等の各種音源を備え、前記カラオケ装置１６による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生するシンセサイザ（synthesizer）を備えている。このシンセサイザは、前記ハードディスク４６から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、ＭＩＤＩ（Musical Instrument Digital Interface）端子を備えたものであり、前記演奏情報は、例えばＭＩＤＩ形式のデータである。そのＭＩＤＩデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン７６から前記オーディオ入力端子７４を介して入力される利用者（演奏者）の歌声とミキシングされ、前記オーディオ出力端子７８を介して前記アンプ８０に供給されてそのアンプ８０により増幅されて前記スピーカ８２から出力される。また、後述するエレキギター９０等から前記サウンドエフェクタ８８を介して入力される音情報も、オーディオ出力端子８６を介して前記アンプ８０に供給され、そのアンプ８０により増幅されて前記スピーカ８２から出力される。

前記操作パネル５２は、前記カラオケ装置１６の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ５８は、画像（映像）を表示させると共に利用者の操作に応じて前記カラオケ装置１６への操作入力を行う装置であり、そのタッチパネルディスプレイ５８に所定の画像（映像）を表示させる表示装置６０と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ５８への接触により入力を行うタッチパネル６２とを、備えている。前記表示制御部５４は、前記ＣＰＵ４０から供給される情報に基づいて前記表示装置６０に表示される画面（映像）の描画を制御する映像処理部である。前記入力制御部５６は、前記タッチパネル６２により入力される操作入力情報を前記ＣＰＵ４０等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ５８は、前記ディスプレイ７２とは別に第２の映像表示装置として機能すると共に、前記カラオケ装置１６の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。

前記カラオケ装置１６は、前記通信インターフェイス６４及びネットワーク接続端子９２を介して前記通信回線２０に接続されており、同様にその通信回線２０に接続された前記サーバ装置１８等との相互間でその通信回線２０を介して情報の通信が可能とされている。前記カラオケ装置１６は、好適には、前記通信回線２０を介して前記サーバ装置１８に接続されており、そのサーバ装置１８から楽曲データ（カラオケデータ）、背景映像情報、及び曲間情報等のデジタルコンテンツ（Digital Contents）の配信を受け付けるものである。すなわち、前記カラオケ装置１６は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。

前記ＬＡＮインターフェイス６６は、前記カラオケ装置１６をＬＡＮ接続端子９４を介して前記ＬＡＮ２４に接続するための接続器であり、そのように前記ＬＡＮ２４に接続されることで、前記カラオケ装置１６は、同様に前記ＬＡＮ２４に接続された他のカラオケ装置１６や電子早見本装置２８等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６を介して受信される前記電子早見本装置２８からの選曲入力を受け付けて前記ＲＡＭ４４に設けられた予約曲テーブルに記憶したり、そのアクセスポイント２６を介して前記カラオケ装置１６から電子早見本装置２８へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２８との間における相互の情報のやりとりが実行される。また、前記通信回線２０を介しての前記電子早見本装置２８とサーバ装置１８等との間の通信も、このＬＡＮ２４乃至前記ルータ２２を備えたカラオケ装置１６を介して行われる。

前記無線通信部６８は、前記カラオケ装置１６と前記電子早見本装置２８等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置２８等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置１６と電子早見本装置２８との対応付け（くくりつけ）処理は、好適には、斯かるリモコン信号（赤外線信号）により前記無線通信部６８を介して行われる。すなわち、前記電子早見本装置２８は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号（例えば、下４桁）及び所定の接続コードを含む信号が接続通知として前記カラオケ装置１６へ送信され、前記無線通信部６８によりその接続信号を受信したカラオケ装置１６に対して前記電子早見本装置２８が対応付けられる。そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２８は、そのカラオケ装置１６の入力装置（遠隔操作装置）として機能し、その電子制御装置２８から送信される信号が前記ＣＰＵ４０に供給されることで、前記カラオケ装置１６の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置２８と前記カラオケ装置１６との間の通信は、前記ＬＡＮ２４及びアクセスポイント２６等を介したＬＡＮ通信により行われる。また、本実施例においては、前記カラオケ装置１６に対応付け処理の行われた電子早見本装置２８等の入力装置もそのカラオケ装置１６の一部を構成するものであるとして以下の説明を行う。

前記ハードディスク４６には、前記カラオケ装置１６により前記楽曲の演奏出力（カラオケ演奏）を行うための多数（例えば、数万曲）の楽曲データ（カラオケデータ）を記憶する楽曲データベース９６（図３を参照）をはじめとする各種データベースが設けられている。この楽曲データベース９６に記憶される楽曲データは、識別情報である選曲番号をインデックスとして、前記カラオケ装置１６において出力される各楽曲に対応して記憶されたものであり、例えば、メタデータ、演奏情報としてのＭＩＤＩデータ、及び歌詞情報としてのテロップデータを含んでいる。

前記メタデータは、例えば、各楽曲データの識別情報としての曲番号（選曲番号）、曲名、歌手名、登録日時等の情報を含んでいる。前記テロップデータは、前記映像処理部４８を介して各楽曲の歌詞文字映像表示制御を行うための情報であり、例えば、前記楽曲データに対応する楽曲（演奏曲）の歌詞を複数に区分した各区分に相当するブロックデータを含んでいる。前記ＭＩＤＩデータは、前記音声処理部５０を介して各楽曲の演奏出力制御を行うための情報であり、複数種類の楽器にそれぞれ対応する複数のトラック（チャンネル）を備え、各トラックにおいて対応する楽器の演奏音の出力タイミングが定められている。

前記ＭＩＤＩデータには、ヘッダ（ヘッダチャンク）が定められると共に、前記複数のトラック（トラックチャンク）としてコンダクタトラック、トラック１、トラック２、トラック３、・・・、トラックｎ（図３においてはｎ＝１６）が定められている。前記ヘッダには、データ長、フォーマット、トラック数、及び時間単位等の情報が記憶されている。この時間単位は、４分音符の長さを示すものであり、前記ＭＩＤＩデータの分解能に対応する。前記コンダクタトラックには、前記ＭＩＤＩデータのテンポが定められている。前記トラック１〜１６には、各トラックにそれぞれ対応して演奏出力に係る楽器（演奏音）の種類と、出力される演奏音の音階及び出力タイミング（出力開始時点及び音長）等を定める楽譜情報とが定められている。例えば、前記トラック２が「ピアノ」、トラック３が「エレキギター」、トラック４が「ベースギター」、・・・、というように、各トラック毎に対応する楽器（演奏音）の種類が定められており、その楽器の楽譜情報として出力タイミング（デルタタイム）、音階、音量（Volume）等の情報が各トラック毎に定められている。また、前記複数のトラックのうち所定のトラック（例えば、トラック１０）は、専らリズムを取るための楽器の楽譜情報を定めるリズムトラックに対応するものであり、演奏音の音階を設定し得ない打楽器である例えば「バスドラム」、「スネアドラム」、「ハイハット」等の楽器（演奏音）に対応して、その楽譜情報としての出力タイミングが前記リズムトラックに定められている。

前記サウンドエフェクタ８８は、外部装置である楽器に接続され、その楽器から入力される信号を前記オーディオ入力端子８６を介して前記音声処理部５０へ供給する楽器入力装置である。好適には、外部装置であるエレキギター９０やベースギター（図２においてはエレキギター９０を図示）等の楽器とシールドを介して接続され、そのエレキギター９０等から入力される信号（エレキギター９０の演奏に応じた演奏信号）を前記オーディオ入力端子８６を介して前記音声処理部５０へ供給する。このサウンドエフェクタ８８からの信号は、直接前記アンプ８０に入力されるものであってもよい。また、好適には、前記サウンドエフェクタ８８には、前記エレキギター９０等に対応して複数のサウンドエフェクトが予め記憶されて設定可能とされたものであり、前記エレキギター９０等から入力される信号に予め設定された複数のサウンドエフェクトを反映させて前記音声処理部５０へ供給する。また、前記ＭＩＤＩデータに基づくカラオケ演奏時に前記エレキギター９０等からの入力信号を受け付けることも可能である。斯かる態様において、前記ＭＩＤＩデータに基づいて前記シンセサイザにより生成された音楽信号は、前記サウンドエフェクタ８８から前記オーディオ入力端子８６を介して入力される前記エレキギター９０の演奏音とミキシングされ、前記オーディオ出力端子７８を介して前記アンプ８０に供給されてそのアンプ８０により増幅されて前記スピーカ８２から出力される。

図３は、前記カラオケ装置１６のＣＰＵ４０に備えられた制御機能の要部を説明する機能ブロック線図である。この図３に示す演奏制御手段１０２は、前記カラオケ装置１６による楽曲の出力（再生）を制御する。具体的には、前記楽曲データベース９６に記憶された楽曲データに基づくカラオケ演奏において、前記ＲＡＭ４４等の予約曲テーブルにおける上位の予約曲から順に（すなわち入力順に）、その予約曲テーブルに記憶された予約曲の選曲番号に対応する楽曲データを前記ハードディスク４６の楽曲データベース９６から読み出し、その楽曲データに含まれる演奏情報に基づいて演奏曲の出力を制御する。例えば、演奏情報としてのＭＩＤＩデータに基づいて、前記音声処理部５０に備えられたシンセサイザによりそのＭＩＤＩデータにおける楽譜情報としての各トラックに対応する楽器の演奏音（音楽情報）を出力させ、前記アンプ８０等を介して前記スピーカ８２から出力させる。また、楽曲データに含まれる歌詞情報（テロップデータ）に基づいて演奏曲に係る歌詞文字映像の出力を制御する。すなわち、歌詞情報に基づいて歌詞文字映像を生成し、前記映像処理部４８を介してその歌詞文字映像を前記ディスプレイ７２に表示させる。また、カラオケ演奏の進行に伴い、そのディスプレイ７２に表示された歌詞文字映像を切替表示させると共に、歌詞色替情報に基づいて歌詞文字映像を順次色替え表示させる。

外部入力受付手段１０６は、前記カラオケ装置１６に接続された外部装置からの音情報の入力を受け付ける。好適には、後述するピアノロール型譜表示制御手段１１６によるピアノロール型譜の表示対象となる楽器として、エレキギター或いはベースギター（本実施例においてはエレキギター９０）に対応する外部装置からの音情報の入力を受け付ける。例えば、前記サウンドエフェクタ８８及びオーディオ入力端子８６等を介して前記音声処理部５０に接続された外部装置としての前記エレキギター９０からその音声処理部５０への音情報（演奏信号）の入力を受け付ける。この外部入力受付手段１０６により受け付けられた音情報は、前記音声処理部５０から前記オーディオ出力端子７８を介して前記アンプ８０へ供給され、前述のようにそのアンプ８０により前記スピーカ８２から出力される。ここで、前記外部入力受付手段１０６は、前記サウンドエフェクタ８８に内蔵の制御部に備えられたものであってもよい。また、前記音声処理部５０が前記外部入力受付手段１０６として機能するものであっても構わない。

前記演奏制御手段１０２は、マイナスワン演奏制御手段１０４を含んでいる。このマイナスワン演奏制御手段１０４は、例えば前記外部入力受付手段１０６により前記外部装置からの音情報の入力が受け付けられる場合において、前記楽曲データに予め定められた前記複数種類の楽器にそれぞれ対応する楽譜情報のうち、規定の楽器に対応する楽譜情報に基づく演奏音の出力を行わず、余の楽器に対応する楽譜情報に基づく演奏音の出力を行うマイナスワン（Ｎ−１）演奏制御を実行する。ここで、好適には、前記外部入力受付手段１０６により音情報の入力が受け付けられる前記外部装置が、前記マイナスワン演奏制御手段１０４により出力対象から除外される前記規定の楽器に対応する。すなわち、前記マイナスワン演奏制御手段１０４は、例えば、前記外部入力受付手段１０６により前記エレキギター９０からの音情報の入力が受け付けられる場合において、前記楽曲データにおける複数のトラックにそれぞれ対応する楽器の演奏音のうち、前記エレキギター９０に対応するトラック（例えば、トラック３等）の演奏音を出力させず余のトラックに対応する楽器の演奏音を出力させる。換言すれば、前記エレキギター９０に対応するトラックが無いものとして前記楽曲データに基づく楽曲の出力を制御する。このマイナスワン演奏制御手段１０４による演奏制御時に、前記外部入力受付手段１０６により前記外部装置からの音情報の入力が受け付けられると、その外部装置から入力される音情報があたかも楽曲における１パート（外部装置に対応するパート）として、余のトラックに対応する楽器の演奏に合わせてバンド演奏を行っているかのようなカラオケ演奏を実現できる。また、前記マイナスワン演奏制御手段１０４は、前記操作パネル５２やタッチパネルディスプレイ５８等を介しての利用者の入力操作に応じて、演奏出力の対象から除外される楽器の種類の選択を受け付け、その選択された種類の楽器に対応する楽譜情報に基づく演奏音の出力を行わず、余の楽器に対応する楽譜情報に基づく演奏音の出力を行うマイナスワン演奏制御を実行するものであってもよい。

演奏評価制御手段１０８は、前記外部入力受付手段１０６により受け付けられる前記外部装置からの入力音声（入力信号）に対応する演奏の評価を行う。例えば、外部装置である前記エレキギター９０等から前記サウンドエフェクタ８８及びオーディオ入力端子８６等を介して前記音声処理部５０に入力された音情報と、前記楽曲データベース９６から読み出された楽曲データの演奏情報（ＭＩＤＩデータ）におけるそのエレキギター９０に対応するトラックの楽譜情報すなわち手本データとを比較し、その手本データにおける音階（音程）及び出力タイミング（出力開始時点及び音長等）と、前記外部入力受付手段１０６により受け付けられる音情報の音階及び入力タイミングとの相対的なずれ等を基準として評価を行う。例えば、その相対的なずれが小さいほど高評価となるように前記演奏評価を行う。前記演奏評価制御手段１０８は、好適には、前記マイナスワン演奏制御手段１０４によるマイナスワン演奏制御時に、そのマイナスワン演奏制御において演奏出力の対象から除外される前記規定の楽器に関して、前記外部入力受付手段１０６により受け付けられるその規定の楽器からの入力音声に対応する演奏の評価を行う。この評価の態様としては、例えば、千点満点中何点というように数値的に採点を行うものであってもよいし、５段階評定の何れに当てはまるかを判定するというように簡易なものであってもよい。また、好適には、対象となる楽曲が出力される間すなわち演奏開始から演奏終了までの間に所定のタイミングで複数回、例えばその楽曲における所定のフレーズ（楽句）毎に上記評価を行い、演奏終了時に最終的な評価を算出する。更に好適には、後述する和音抽出手段１１０により抽出される和音（コード）毎に、その和音に対応する演奏の評価を行う。

和音抽出手段１１０は、前記楽曲データに含まれる楽譜情報としてのＭＩＤＩデータに含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する。すなわち、前記ＭＩＤＩデータにおける所定のトラックに定められた、そのトラックに対応する楽器の演奏音の音階及び出力タイミングを定める楽譜情報から、それぞれ出力開始時点が異なり且つ少なくとも所定時間重畳（同期）して出力される複数の演奏音（それぞれ異なる音階に対応する演奏音）の協和音（或いは不協和音）に相当する部分の楽譜情報を抽出する。

前記和音抽出手段１１０は、好適には、前記マイナスワン演奏制御手段１０４によるマイナスワン演奏制御時に、そのマイナスワン演奏制御において演奏出力の対象から除外される前記規定の楽器に対応する楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する。すなわち、前記エレキギター９０やベースギター等の撥弦楽器の楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する。前記エレキギター９０のように、複数本の弦を連続的に掻き鳴らすことにより演奏を行う撥弦楽器では、１ストローク掻き鳴らす単位弾奏が行われた場合に、複数の音階の演奏音が混ざり合って和音として奏でられる。すなわち、前記エレキギター９０のような撥弦楽器の演奏は、複数本の弦を連続的に掻き鳴らすものである関係上、１ストローク掻き鳴らす単位弾奏が行われた場合に、それら複数本の弦それぞれが弾かれるタイミングが厳密には異なる。従って、前記楽曲データのＭＩＤＩデータにおける前記エレキギター９０等の撥弦楽器に対応する楽譜情報においては、その撥弦楽器の１ストローク分の演奏に対応して、比較的先に掻き鳴らされる弦（ダウンストローク演奏においては正面向かって左側の弦）に対応する演奏音と、比較的後に掻き鳴らされる弦（ダウンストローク演奏においては正面向かって右側の弦）に対応する演奏音とで、その出力開始時点にタイムラグがつけられる。すなわち、前記ＭＩＤＩデータにおける前記エレキギター９０等の撥弦楽器に対応する楽譜情報には、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音が含まれる。前記和音抽出手段１１０は、好適には、前記エレキギター９０等の撥弦楽器の楽譜情報に含まれる、その撥弦楽器の１ストローク分の演奏に対応する和音を抽出する。

コード判定手段１１２は、前記和音抽出手段１１０により抽出された和音に対応するコードを判定する。好適には、このコード判定手段１１２による判定を行うために、前記カラオケ装置１６のハードディスク４６にはコードデータベース９８（図３を参照）が記憶されている。このコードデータベース９８には、例えば前記エレキギター９０のコード（ギターコード）に関する各種情報が記憶されている。このコードとは、例えば前記エレキギター９０を演奏する際にそのエレキギター９０に備えられた６本の弦それぞれが弾かれて奏でられた音が重なった演奏音（和音）であり、それら６本の弦の押さえ方（弦を掻き鳴らす方とは逆側の手の指での弦の押さえ方）によって定まる。すなわち、前記エレキギター９０において、演奏者は一方の手の指で６本の弦（必ずしも６本全部を押さえるものではない）を押さえつつ、もう一方の手でそれら６本の弦を所定の方向に連続的に（一挙に）掻き鳴らすことで、１ストローク分の演奏音として所定のコードに相当する和音が奏でられる。換言すれば、前記エレキギター９０において同様の演奏の仕方をすれば同じ演奏音（コード）が奏でられる。前記コードデータベース９８には、少なくとも各コードと、そのコードを構成する複数の演奏音の音階との関係が記憶されている。前記コード判定手段１１２は、好適には、前記コードデータベース９８に記憶された関係から、前記和音抽出手段１１０により抽出された和音において重畳して出力される複数の演奏音の音階に基づいて、その和音に対応するコードを判定する。

図４は、従来のピアノロール１２０において前記エレキギター９０等の撥弦楽器の楽譜情報に対応する表示を行う際の問題点について説明する図である。この図４は、従来技術における典型的なピアノロールを例示するものであり、画面における一端部（図４においては紙面向かって左側の端部）にピアノの鍵盤を模した映像１２２が表示されると共に、その映像１２２から各鍵盤が他端に向かって伸びるようなスクロール表示領域１２４が設定されている。このスクロール表示領域１２４には、各鍵盤（すなわち音階）に対応する位置に、演奏対象となる楽譜情報に含まれるその音階の演奏音の出力タイミング及び音長を示す濃いグレーの帯映像１２６ａ、１２６ｂ、１２６ｃ（以下、特に区別しない場合には単に帯映像１２６という）が表示される。その楽譜情報に対応する楽曲の演奏出力においては、前記スクロール表示領域１２４が前記ピアノの鍵盤を模した映像１２２に向かって、あたかもその映像１２２における各鍵盤に引き込まれるようにスクロール表示させられる。そして、前記スクロール表示領域１２４がスクロールさせられることでそのスクロール表示領域１２４に表示された前記帯映像１２６がそのスクロール表示領域１２４と前記映像１２２との境界における演奏線１２８に接触することで、その帯映像１２６に対応する音階の演奏音が出力され、斯かる帯映像１２６が前記演奏線１２８を通過している間、その演奏音の出力が継続される。

図４においては、前記エレキギター９０の１ストローク分の演奏に対応する和音として、ギターコード「Ｃ」に対応する和音の帯映像１２６ａ、１２６ｂ、１２６ｃを例示している。すなわち、「Ｃ（ハ長調におけるド）」の演奏音に対応する帯映像１２６ａ、「Ｅ（ハ長調におけるミ）」の演奏音に対応する帯映像１２６ｂ、及び「Ｇ（ハ長調におけるソ）」の演奏音に対応する帯映像１２６ｃが表示されている。ここで、前述のように、前記楽曲データのＭＩＤＩデータにおける前記エレキギター９０に対応する楽譜情報においては、その１ストローク分の演奏に対応して、比較的先に掻き鳴らされる弦に対応する演奏音と、比較的後に掻き鳴らされる弦に対応する演奏音とで、その出力開始時点にタイムラグがつけられる。図４に示す例では、前記スクロール表示領域１２４において縦線で示される拍を表す小節線１３０をまたいで前記帯映像１２６ａ、１２６ｂ、１２６ｃそれぞれの出力開始時点が分散して（異なるものとされて）おり、帯映像１２６ａ、帯映像１２６ｂ、帯映像１２６ｃの順に対応する演奏音の出力が開始される。従って、特に演奏初心者等にとっては前記エレキギター９０を掻き鳴らすタイミングが分からず、ピアノロールは本来、楽譜情報を視覚的に分かり易く表示させるものであるにもかかわらず、図４に示す例では却って分かり難いものになっている。

図３に示す出力開始時点判定手段１１４は、前記和音抽出手段１１０により抽出された和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する。好適には、前記和音において重畳して出力される複数の演奏音それぞれの出力開始時点の平均値に最も近い小節線（例えば、４８音符単位の小節に対応するもの）をその和音の出力開始時点として判定（クオンタイズ；自動補正）する。例えば、前述した図４に示す例においては、前記帯映像１２６ａ、１２６ｂ、１２６ｃそれぞれの出力開始時点が小節線１３０をまたいで分散しており、この小節線１３０が前記帯映像１２６ａ、１２６ｂ、１２６ｃそれぞれの出力開始時点の平均値に最も近い小節線に相当する。従って、前記出力開始時点判定手段１１４は、前記和音抽出手段１１０により図４に示す帯映像１２６ａ、１２６ｂ、１２６ｃに対応する和音が抽出された場合、図５に示すように、それら帯映像１２６ａ、１２６ｂ、１２６ｃそれぞれの出力開始時点の平均値に最も近い小節線１３０をその和音に対応する帯映像１３２の出力開始時点として判定する。なお、一般に、ギターの演奏でストロークのタイミングが拍（小節）と一致する演奏は巧みなもの（上手である）とされるため、前記のように和音の出力開始時点を小節線に揃えることで、音楽的に好ましい出力タイミングを定めることができる。

図３に示すピアノロール型譜表示制御手段１１６は、前記和音を表すピアノロール型譜として、前記出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像を表示させる。例えば、前記エレキギター９０の楽譜情報に含まれる和音を表すピアノロール型譜として、前記和音抽出手段１１０により抽出された複数の和音それぞれに対応して、前記コード判定手段１１２により判定される複数のコードを１軸方向（例えば、縦軸方向）に配列し、その１軸方向と直交する方向を時間位置方向（例えば、横軸方向）として、前記出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端とし且つ前記和音の音長に対応して前記時間位置方向に延伸する帯映像１３２（図５を参照）を表示させる。すなわち、前記ピアノロール型譜表示制御手段１１６は、厳密には従来一般的であった図４に示すようなピアノロールを表示させるものではないが、斯かるピアノロールに類するピアノロール型譜として、後述する図６、図７等に示すごとき映像を、前記映像処理部４８等を介して前記ディスプレイ７２等に表示させる。

前記ピアノロール型譜表示制御手段１１６は、好適には、前記エレキギター９０等の撥弦楽器の楽譜情報に含まれる和音を表すピアノロール型譜の表示に際して、前記和音を表すピアノロール型譜と共に、その和音に対応する前記撥弦楽器における弦の押さえ方を表す映像を表示させる。好適には、斯かる表示制御を行うために、前記カラオケ装置１６のハードディスク４６には演奏方法データベース１００（図３を参照）が設けられている。この演奏方法データベース１００には、例えば前記エレキギター９０において演奏可能な複数のコード（ギターコード）と、各コードに対応する前記エレキギター９０における弦の押さえ方を表す映像（或いは、斯かる映像を表示させるための情報）とが対応付けられて記憶されている。前記ピアノロール型譜表示制御手段１１６は、例えば、前記エレキギター９０の楽譜情報に含まれる和音を表すピアノロール型譜の表示に際して、前記演奏方法データベース１００に記憶された情報に基づいて、その和音に対応する前記エレキギター９０における弦の押さえ方を表す映像を前記ピアノロール型譜と併せて表示させる。好適には、後述する図７に示すように、画面における一端部に各コードに対応する前記エレキギター９０における弦の押さえ方を表す映像すなわち各コードに対応する演奏法映像を表示させ、その映像から各コード（演奏法映像）に対応する範囲が他端に向かって伸びるような表示領域を設定して、その表示領域における各コード（すなわち和音）に対応する位置に、そのコードの出力タイミング及び音長を示す帯映像を表示させる。

前記ピアノロール型譜表示制御手段１１６は、好適には、前記エレキギター９０等の撥弦楽器の楽譜情報に含まれる和音を表すピアノロール型譜の表示において、１つの楽譜情報（例えば、１楽曲に対応する楽譜情報）から前記和音抽出手段１１０により抽出される全ての種類のコードを１軸方向（例えば、縦軸方向）に配列し、その１軸方向と直交する方向を時間位置方向（例えば、横軸方向）として、前記出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端とし且つ前記和音の音長に対応して前記時間位置方向に延伸する帯映像１３２を表示させる。例えば、前記エレキギター９０に対応する１つの楽譜情報に、コード「Ｃｍ」、「Ｃ♯」、「Ｄ」、「Ｄｍ」、「Ａｍ」、及び「Ｂ」が含まれる場合、それらのコードを１軸方向に配列して前記ピアノロール型譜の表示制御を行う。前記エレキギター９０により演奏可能なコードは比較的多い（例えば、１６８種類）ため、ピアノロール型譜においてその全ての演奏方法を示す映像を表示させるのは困難であるが、前述のように１つの楽譜情報から前記和音抽出手段１１０により抽出される全ての種類のコードを１軸方向に配列することで、ピアノロール型譜において必要十分なコードに対応する演奏方法を示す映像、及び各コードに対応する演奏音の音階及び出力タイミングを表す帯映像を表示させることができ、従来一般的であったピアノロールに類するピアノロール型譜を実現できる。

図６は、前記ピアノロール型譜表示制御手段１１６により前記映像処理部４８を介して前記ディスプレイ７２に表示されるピアノロール型譜表示画面の一例を示す図である。図６に示すピアノロール型譜表示画面１４０は、例えば、前記演奏制御手段１０２による所定の楽曲の演奏制御時に、その楽曲における演奏情報（ＭＩＤＩデータ）の楽譜情報から抽出される複数の和音毎に、各和音の出力タイミングを表す帯映像を表示させるものである。具体的には、前記マイナスワン演奏制御手段１０４によるマイナスワン演奏制御時に、そのマイナスワン演奏制御において演奏出力の対象から除外される前記エレキギター９０の楽譜情報から抽出される複数のコード（ギターコード）毎に、各コードの出力タイミングを表す帯映像を表示させるものであり、前記マイナスワン演奏制御手段１０４による楽曲演奏の進行に応じてその表示が以下に詳述するように順次変化させられるものである。

図６に示すように、前記ピアノロール型譜表示画面１４０においては、使用コード一覧表示エリア１４２と、ピアノロール型譜表示エリア１４４と、演奏方法表示エリア１４６と、テロップ表示エリア１４８とが定められている。前記使用コード一覧表示エリア１４２には、ピアノロール型譜の表示対象となる楽譜情報（楽曲データ）に含まれるコードが列挙される。すなわち、その楽譜情報から抽出される全ての種類の和音に対応するコードが前記使用コード一覧表示エリア１４２に表示される。前記ピアノロール型譜表示エリア１４４には、前記使用コード一覧表示エリア１４２に一覧表示された複数のコード毎に、各コードの出力タイミングを表す帯映像１５２ａ、１５２ｂ、１５２ｃ、１５２ｄ（以下、特に区別しない場合には単に帯映像１５２という）を表示させるピアノロール型譜１５０が表示される。前記演奏方法表示エリア１４６には、対応する帯映像１５２が前記ピアノロール型譜表示エリア１４４に表示されたコードに対応して、前記エレキギター９０における弦の押さえ方を表す演奏法映像１６０ａ、１６０ｂ、１６０ｃ、１６０ｄ（以下、特に区別しない場合には単に演奏法映像１６０という）が表示される。前記テロップ表示エリア１４８には、ピアノロール型譜の表示対象となる楽曲データに含まれるテロップデータに基づいて、その楽曲の歌詞文字映像（歌詞テロップ）１６２が表示される。

前記ピアノロール型譜表示画面１４０は、好適には、前記マイナスワン演奏制御において演奏出力の対象から除外される前記エレキギター９０の楽譜情報に対応して前記ピアノロール型譜１５０等を表示させるものである。すなわち、前記マイナスワン演奏制御における楽曲演奏の開始時に、演奏対象となるＭＩＤＩデータからそのＭＩＤＩデータにおける前記エレキギター９０の楽譜情報に含まれる全ての種類のコードが抽出され、前記使用コード一覧表示エリア１４２に列挙表示される。また、前記抽出された種類のコードに対応して、前記ピアノロール型譜表示エリア１４４に前記ピアノロール型譜１５０が表示される。このピアノロール型譜１５０においては、前記ピアノロール型譜表示エリア１４４における一端部（図６においては紙面向かって左側の端部）に、前記抽出された全ての種類のコードが項目として配置されると共に、各コードに対応する項目が他端に向かって伸びるようなスクロール表示領域１５４が設定されている。このスクロール表示領域１５４には、各コード（すなわち和音）に対応する位置に、演奏対象となる楽譜情報に含まれるそのコードの出力タイミング及び音長を示す濃いグレーの帯映像１５２が表示される。ここで、図５を用いて前述したように、好ましくは各コードにおいて重畳して出力される複数の演奏音それぞれの出力開始時点の平均値に最も近い小節線１５８がそのコードの出力開始時点として判定され、前記帯映像１５２の表示が行われる。前記楽譜情報に対応する楽曲の演奏出力においては、前記スクロール表示領域１５４が前記コードを表す一端部の映像に向かって、あたかもその映像における各コードを表す項目に引き込まれるようにスクロール表示させられる。そして、前記スクロール表示領域１５４がスクロールさせられることでそのスクロール表示領域１５４に表示された前記帯映像１５２がそのスクロール表示領域１５４と前記コードを表す映像との境界における演奏線１５６に接触することで、その帯映像１５２に対応するコードの演奏音が出力され、斯かる帯映像１５２が前記演奏線１５６を通過している間、そのコードの出力が継続される。

前記ピアノロール型譜表示画面１４０においては、前記ピアノロール型譜表示エリア１４４における前記ピアノロール型譜１５０のスクロール表示制御と同期して、前記演奏方法表示エリア１４６における前記演奏法映像１６０の表示制御が行われる。例えば、前記ピアノロール型譜１５０における前記スクロール表示領域１５４（そのスクロール表示領域１５４に表示された帯映像１５２）の推移に応じて、前記演奏方法表示エリア１４６に表示される前記演奏法映像１６０が順次更新される。すなわち、図６のピアノロール型譜１５０においては、コード「Ａｍ」に対応する帯映像１５２ａが前記演奏線１５８に接触しており、その帯映像１５２ａに対応するコード「Ａｍ」の和音が出力されるタイミングであることを示している。また、前記スクロール表示領域１５４が紙面向かって左方向へスクロールさせられることで、前記帯映像１５２ａに続いて、コード「Ｄｍ」に対応する帯映像１５２ｂ、コード「Ｃ＃」に対応する帯映像１５２ｃ、コード「Ａｍ」に対応する帯映像１５２ｄの順に前記演奏線１５６に接触し、各帯映像１５２に対応する演奏出力が行われることになる。これに対応して、前記演奏方法表示エリア１４６においては、コード「Ａｍ」に対応する弦の押さえ方を表す演奏法映像１６０ａ（帯映像１５２ａに対応）、コード「Ｄｍ」に対応する弦の押さえ方を表す演奏法映像１６０ｂ（帯映像１５２ｂに対応）、コード「Ｃ＃」に対応する弦の押さえ方を表す演奏法映像１６０ｃ（帯映像１５２ｃに対応）、コード「Ａｍ」に対応する弦の押さえ方を表す演奏法映像１６０ｄ（帯映像１５２ｄに対応）が紙面向かって上から順に矢印で示されて表示されている。すなわち、前記ピアノロール型譜１５０における表示に対応して、そのピアノロール型譜１５０に含まれる各帯映像１５２に対応するコードを演奏するための弦の押さえ方を表す演奏法映像１６０が前記演奏方法表示エリア１４６に表示されると共に、前記楽曲の演奏進行に応じて前記ピアノロール型譜１５０がスクロール表示されるのに伴い、その演奏方法表示エリア１４６における表示が更新される。すなわち、演奏が終わったコードに対応する演奏法映像１６０が前記演奏方法表示エリア１４６から消去されると共に、新たな演奏候補としてのコードに対応する演奏法映像１６０が前記演奏方法表示エリア１４６に新しく表示されてゆく。

また、前記ピアノロール型譜表示画面１４０においては、前記ピアノロール型譜表示エリア１４４における前記ピアノロール型譜１５０のスクロール表示制御と同期して、前記テロップ表示エリア１４８における歌詞文字映像（歌詞テロップ）１６２の表示制御が行われる。例えば、前記楽曲データに基づく演奏出力においては、その楽曲データに含まれるテロップデータに基づいて歌詞文字映像１６２が生成され、前記映像処理部４８を介してその歌詞文字映像１６２が前記テロップ表示エリア１４８に表示される。また、前記楽曲の演奏進行に伴い、前記テロップ表示エリア１４８に表示された前記歌詞文字映像１６２が順次切替表示されると共に、歌唱部分の推移（ガイドメロディの出力）に応じて前記歌詞文字映像１６２が順次色替え表示される。

また、前記マイナスワン演奏制御手段１０４による楽曲演奏に対応して、前記演奏評価手段１０８による前記エレキギター９０からの入力音声に対応する演奏の評価が行われる場合、前記ピアノロール型譜表示画面１４０においては、例えば前記演奏方法表示エリア１４６に、前記演奏評価手段１０８による評価結果を示す評価結果映像１６４が表示される。例えば、前記帯映像１５２ａに対応するコード（和音）の演奏に係る前記演奏評価手段１０８による評価結果を示す評価結果映像１６４が、その帯映像１５２ａに対応する演奏法映像１６０ａに付随して前記演奏方法表示エリア１４６に表示される。また、前記演奏評価手段１０８による評価結果が予め定められた閾値を所定回数連続して超えた場合には前記評価結果映像１６４を豪華なものとしたり、前記ピアノロール型譜１５０の表示態様を変化させる等、前記演奏評価手段１０８による評価結果に基づいて種々の表示制御を行うことが考えられる。

図７は、前記ピアノロール型譜表示制御手段１１６により前記映像処理部４８を介して前記ディスプレイ７２に表示されるピアノロール型譜表示画面の他の一例を示す図である。この図７に示すピアノロール型譜表示画面１７０において、図６を用いて前述したピアノロール型譜表示画面１４０と共通する部分については同一の符号を付してその説明を省略する。この図７に示すピアノロール型譜表示画面１７０に表示されるピアノロール型譜１７２においては、表示対象となる楽譜情報から前記和音抽出手段１１０により抽出された全ての種類の和音（コード）に対応して、画面における一端部に各コードに対応する前記エレキギター９０における弦の押さえ方を表す演奏法映像を含むコード定義映像１７４ａ〜１７４ｆ（以下、特に区別しない場合には単にコード定義映像１７４という）が紙面上下方向に列挙表示される。そして、前記複数のコード定義映像１７４から各コードに対応する範囲が他端（紙面向かって右方向）に向かって伸びるように前記スクロール表示領域１５４が設定される。斯かるピアノロール型譜１７２では、従来一般的であった図４に示すようなピアノロール１２０によく似た形態のピアノロール型譜を、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を含む楽譜情報に関して実現することができる。

図８は、前記カラオケ装置１６のＣＰＵ４０によるピアノロール型譜表示制御及び演奏評価制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）Ｓ１において、ギター練習モードが成立しているか否か、すなわち前記楽曲データにおける複数のトラックにそれぞれ対応する楽器の演奏音のうち、「エレキギター」に対応するトラックの演奏音を出力させず余のトラックに対応する楽器の演奏音を出力させるマイナスワン演奏モードが成立しているか否かが判断される。このＳ１の判断が否定される場合には、Ｓ２において、通常のカラオケ演奏処理すなわち前記楽曲データに定められた全てのトラックの演奏音を出力させる演奏制御が行われた後、本ルーチンが終了させられるが、Ｓ１の判断が肯定される場合には、Ｓ３において、所定の楽曲がカラオケ演奏に係る演奏順となったか否か、すなわち前記予約曲テーブルの最上位に記憶された楽曲の演奏順となる等して、所定の楽曲のカラオケ演奏が開始されるか否かが判断される。このＳ３の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ３の判断が肯定される場合には、Ｓ４以下の処理が実行される。

Ｓ４においては、演奏開始に係る楽曲に対応する楽曲データが前記楽曲データベース９６から読み出されて前記ＲＡＭ４４等に展開され、その展開された楽曲データに基づく楽曲の演奏出力（「エレキギター」に対応するトラックを除く）が開始される。次に、Ｓ５において、演奏開始に係る楽曲に対応する楽曲データ（ＭＩＤＩデータ）から、「エレキギター」に対応するトラックの楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される全ての種類の和音が抽出される。次に、Ｓ６において、前記コードデータベース９８に記憶された関係から、Ｓ５にて抽出された和音において重畳して出力される複数の演奏音の音階に基づいて、その和音に対応するコードが判定される。次に、Ｓ７において、Ｓ５にて抽出された和音（Ｓ６にて判定されたコード）の出力開始時点が、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定される。

次に、Ｓ８において、Ｓ５にて抽出された和音（Ｓ６にて判定されたコード）に対応するピアノロール型譜が、前記映像処理部４８等を介して前記ディスプレイ７２に表示される。すなわち、Ｓ６にて判定されたコードを表すピアノロール型譜として、Ｓ７にて判定された出力開始時点に相当する時間位置を一端として各コードを表す帯映像１５２が表示されると共に、楽曲の進行に伴いその表示が順次更新される。ここで、エレキギターにおけるソロ演奏部分等、楽譜情報に単音の演奏音が含まれる場合には、前記帯映像１５２の表示と併行してその単音に対応するピアノロールを表示させるものであってもよい。次に、Ｓ９において、前記サウンドエフェクタ８８等を介して前記エレキギター９０からの音声入力が受け付けられたか否かが判断される。このＳ９の判断が否定される場合には、Ｓ１２以下の処理が実行されるが、Ｓ９の判断が肯定される場合には、Ｓ１０において、前記エレキギター９０から入力された音情報と、演奏出力に係る楽曲データの演奏情報（ＭＩＤＩデータ）における「エレキギター」に対応するトラックの楽譜情報すなわち手本データとが比較され、前記エレキギター９０による演奏の評価が行われる。次に、Ｓ１１において、Ｓ１０の評価結果が前記Ｓ８にて表示されたピアノロール型譜と併せて表示される。次に、Ｓ１２において、楽曲が最後まで演奏される等してその演奏が終了させられるか否かが判断される。このＳ１２の判断が肯定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１２の判断が否定される場合には、Ｓ４以下の処理が実行される。

以上の制御において、Ｓ２〜Ｓ４、及びＳ１２が前記演奏制御手段１０２（マイナスワン演奏制御手段１０４）の動作に、Ｓ９が前記外部入力受付手段１０６の動作に、Ｓ１０が前記演奏評価手段１０８の動作に、Ｓ５が前記和音抽出手段１１０の動作或いは和音抽出過程に、Ｓ６が前記コード判定手段１１２の動作に、Ｓ７が前記出力開始時点判定手段１１４の動作或いは出力開始時点判定過程に、Ｓ８が前記ピアノロール型譜表示制御手段１１６の動作或いはピアノロール型譜表示制御過程に、それぞれ対応する。

このように、本実施例によれば、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段１１０（Ｓ５）と、その和音抽出手段１１０により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段１１４（Ｓ７）と、前記和音を表すピアノロール型譜１５０、１７２として、前記出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像１５２を表示させるピアノロール型譜表示制御手段１１６（Ｓ８）とを、含むものであることから、例えば撥弦楽器の演奏音等、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜１５０、１７２として表示させることができる。すなわち、楽譜情報に含まれる和音のピアノロール型譜１５０、１７２を好適に表示させるピアノロール型譜表示装置としてのカラオケ装置１６を提供することができる。

また、前記和音抽出手段１１０は、撥弦楽器である前記エレキギター９０等の楽譜情報に含まれる、その撥弦楽器の１ストローク分の演奏に対応する和音を抽出するものであるため、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる撥弦楽器の和音を、視覚的に分かり易いピアノロール型譜１５０、１７２として表示させることができる。

また、前記ピアノロール型譜表示制御手段１１６は、前記和音抽出手段１１０により抽出された複数の和音それぞれに対応するコードを１軸方向に配列し、その１軸方向と直交する方向を時間位置方向として、前記出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端とし且つ前記和音の音長に対応して前記時間位置方向に延伸する帯映像１５２を表示させるものであるため、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易く且つ実用的な態様のピアノロール型譜１５０、１７２として表示させることができる。

また、前記ピアノロール型譜表示制御手段１１６は、前記和音を表すピアノロール型譜１５０、１７２と共に、その和音に対応する撥弦楽器における弦の押さえ方を表す演奏法映像１６０を表示させるものであるため、例えば撥弦楽器の練習に際して前記ピアノロール型譜１５０、１７２を表示させる態様において、前記撥弦楽器の演奏法をそのピアノロール型譜１５０、１７２に対応付けて視覚的に分かり易く表示させることができる。

また、前記出力開始時点判定手段１１４は、前記和音において重畳して出力される複数の演奏音それぞれの出力開始時点の平均値に最も近い小節線１５８をその和音の出力開始時点として判定するものであるため、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音の出力開始時点を好適且つ実用的な態様で判定することができる。

また、前記撥弦楽器はエレキギター９０であるため、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられるエレキギター９０の和音を、視覚的に分かり易いピアノロール型譜１５０、１７２として表示させることができる。

また、本実施例によれば、前記カラオケ装置１６の制御装置におけるＣＰＵ４０を、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段１１０、その和音抽出手段１１０により抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段１１４、及び、前記和音を表すピアノロール型譜１５０、１７２として、前記出力開始時点判定手段１１４により判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像１５２を表示させるピアノロール型譜表示制御手段１１６として機能させるピアノロール型譜表示プログラムであることから、例えば撥弦楽器の演奏音等、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜１５０、１７２として表示させることができる。すなわち、楽譜情報に含まれる和音のピアノロール型譜１５０、１７２を好適に表示させるピアノロール型譜表示プログラムを提供することができる。

また、本実施例によれば、前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出過程（Ｓ５）と、その和音抽出過程において抽出される和音の出力開始時点を、その和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定過程（Ｓ７）と、前記和音を表すピアノロール型譜１５０、１７２として、前記出力開始時点判定過程において判定された出力開始時点に相当する時間位置を一端としてその和音を表す帯映像１５２を表示させるピアノロール型譜表示制御過程（Ｓ８）とを、含むことから、例えば撥弦楽器の演奏音等、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられる和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。すなわち、楽譜情報に含まれる和音のピアノロール型譜を好適に表示させるピアノロール型譜表示方法を提供することができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例では、ピアノロール型譜の一例として、撥弦楽器であるエレキギター９０に対応して楽曲データ（ＭＩＤＩデータ）の楽譜情報に含まれる和音（コード）を表す前記ピアノロール型譜１５０、１７２を表示させる制御について説明したが、本発明はこれに限定されるものではなく、例えば、撥弦楽器であるベースギターの楽譜情報に対応して、その楽譜情報に含まれる和音を表すピアノロール型譜を表示させるものであってもよい。このようにすれば、それぞれ出力開始時点が異なる複数の演奏音が混じり合って奏でられるベースギターの和音を、視覚的に分かり易いピアノロール型譜として表示させることができる。本発明は、その他、ウクレレ、マンドリン、バラライカ、三味線、琵琶、三線等、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器、或いはその他、複数の演奏音が重畳して出力される和音に対応する演奏を行い得る種々の楽器に対応する楽譜情報に含まれる和音を表すピアノロール型譜の表示に広く適用され得るものである。

また、前述の実施例において、前記ピアノロール型譜表示制御手段１１６は、前記ピアノロール型譜１５０、１７２を、前記映像処理部４８を介して前記ディスプレイ７２に表示させるものであったが、例えば、前記タッチパネルディスプレイ５８（表示装置６０）に前記ピアノロール型譜１５０、１７２を表示させるものであってもよい。このようにすれば、前記ディスプレイ７２には通常のカラオケ演奏に係る演奏画面（背景映像の前面側に歌詞文字映像が表示されたもの）を表示させると共に、第２の映像表示装置としての前記タッチパネルディスプレイ５８に前記ピアノロール型譜１５０、１７２を表示させることができる。また、前記カラオケ装置１６に対応付けられた前記電子早見本装置２８に前記ＬＡＮ２４を介して前記ピアノロール型譜１５０、１７２を表示させるための情報を送信し、その電子早見本装置２８のタッチパネルディスプレイに前記ピアノロール型譜１５０、１７２を表示させる等の態様も考えられる。

また、前述の実施例においては、楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示装置の一例として、多数の楽曲データのうちから選択される楽曲データの演奏出力を行うと共に、その楽曲の歌詞文字映像を映像表示装置に表示させるカラオケ装置１６に本発明が適用された例を説明したが、本発明はこれに限定されるものではなく、別の形態のピアノロール型譜表示装置も当然に考えられる。例えば、前記パーソナルコンピュータ３０、携帯電話機３２、或いはタブレット３４等の制御装置に本発明のピアノロール型譜表示プログラムがインストールされ、それらパーソナルコンピュータ３０、携帯電話機３２、或いはタブレット３４等の制御装置が前記和音抽出手段１１０、コード判定手段１１２、出力開始時点判定手段１１４、及びピアノロール型譜表示制御手段１１６等として機能させられるものであってもよい。或いは、ＤＴＭ（Desk Top Music）分野におけるシーケンスソフトウェア（sequence software）、専ら前記エレキギター９０等の楽器の演奏を練習するために用いられる楽器演奏練習装置、所謂音ゲー等のゲームを実行するコンシューマゲーム機等にも、本発明は好適に適用されるものである。また、通信回線を介して動画情報等の配信を行うサーバ装置に本発明が適用され、そのサーバ装置において作成された前記ピアノロール型譜が、前記通信回線を介して複数の通信端末装置へ配信されるものであってもよい。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１６：カラオケ装置（ピアノロール型譜表示装置）、９０：エレキギター（外部装置、撥弦楽器）、１１０：和音抽出手段、１１４：出力開始時点判定手段、１１６：ピアノロール型譜表示制御手段、１５０、１７２：ピアノロール型譜、１３２、１５２：帯映像、１５８：小節線、１６０：演奏法映像

Claims (7)

1. 楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示装置であって、
   前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段と、
   該和音抽出手段により抽出される和音の出力開始時点を、該和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段と、
   前記和音を表すピアノロール型譜として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端として該和音を表す帯映像を表示させるピアノロール型譜表示制御手段と
   を、含むものであることを特徴とするピアノロール型譜表示装置。
2. 前記和音抽出手段は、撥弦楽器の楽譜情報に含まれる、該撥弦楽器の１ストローク分の演奏に対応する和音を抽出するものである請求項１に記載のピアノロール型譜表示装置。
3. 前記ピアノロール型譜表示制御手段は、前記和音抽出手段により抽出された複数の和音それぞれに対応するコードを１軸方向に配列し、該１軸方向と直交する方向を時間位置方向として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端とし且つ前記和音の音長に対応して前記時間位置方向に延伸する帯映像を表示させるものである請求項１又は２に記載のピアノロール型譜表示装置。
4. 前記ピアノロール型譜表示制御手段は、前記和音を表すピアノロール型譜と共に、該和音に対応する前記撥弦楽器における弦の押さえ方を表す映像を表示させるものである請求項２又は３に記載のピアノロール型譜表示装置。
5. 前記出力開始時点判定手段は、前記和音において重畳して出力される複数の演奏音それぞれの出力開始時点の平均値に最も近い小節線を該和音の出力開始時点として判定するものである請求項１から４の何れか１項に記載のピアノロール型譜表示装置。
6. 楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示装置の制御装置を、
   前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出手段、
   該和音抽出手段により抽出される和音の出力開始時点を、該和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定手段、
   及び、前記和音を表すピアノロール型譜として、前記出力開始時点判定手段により判定された出力開始時点に相当する時間位置を一端として該和音を表す帯映像を表示させるピアノロール型譜表示制御手段
   として機能させることを特徴とするピアノロール型譜表示プログラム。
7. 楽譜情報に含まれる演奏音の音階及び出力タイミングを表すピアノロール型譜を表示させるピアノロール型譜表示方法であって、
   前記楽譜情報に含まれる、それぞれ出力開始時点が異なる複数の演奏音が重畳して出力される和音を抽出する和音抽出過程と、
   該和音抽出過程において抽出される和音の出力開始時点を、該和音において重畳して出力される複数の演奏音それぞれの出力開始時点のうち、少なくとも１つの演奏音の出力開始時点に基づいて判定する出力開始時点判定過程と、
   前記和音を表すピアノロール型譜として、前記出力開始時点判定過程において判定された出力開始時点に相当する時間位置を一端として該和音を表す帯映像を表示させるピアノロール型譜表示制御過程と
   を、含むことを特徴とするピアノロール型譜表示方法。