JP6287313B2 - コード画像表示装置、およびコード画像表示プログラム - Google Patents

Description

本発明は、コード画像表示装置に関する。

従来、楽器の演奏練習用に、楽曲の演奏の進行に応じて楽器の演奏操作子に対応する指の動きを指示する運指ガイド表示技術がある。例えば、特許文献１に記載されたコード画像表示装置がある。この装置は、お手本とする人物が演奏操作子を操作する演奏操作状態を撮像した画像を表示する。

更に、特許文献１に記載の装置は、楽曲の演奏の進行に従って、演奏操作のタイミングより先行して演奏操作に応じた操作イベントを示す運指ガイドを表示し、演奏操作子に対応する位置で運指ガイドをスクロール表示する。この運指ガイドのスクロール表示は、楽曲のテンポと同期して行われる。

特開２００５−１９６０７２号公報

ユーザにより楽器の演奏レベルは様々なので、例えば、一般的に演奏レベルの低いユーザは、演奏より先行して複数の運指ガイドを確認することを希望するものと考える。一方で、演奏レベルが高いユーザは、演奏直前の運指ガイドのみを確認して演奏することを希望するものと考える。しかしながら、特許文献１に記載の装置では、操作イベントを示す運指ガイドは楽曲の演奏と常に同期したテンポで表示されることから、以下のような問題が生ずる。ユーザの演奏レベルによる表示形態は考慮されていなかった。

本発明は、上述した事情に鑑みてなされたものであり、ユーザの演奏レベルに従って、表示形態でコード画像を表示するコード画像表示装置、および、コード画像表示プログラムを提供することを目的とする。

上記の目的を達成するために、請求項１に記載のコード画像表示装置は、楽器により楽曲を演奏した演奏音を録音した録音情報と、楽曲の識別情報と、を含む演奏情報を記憶する記憶手段と、前記録音情報より演奏コード、および演奏タイミングを含むコード情報を抽出する抽出手段と、前記コード情報に従ってコード画像を生成する生成手段と、前記識別情報に対応する楽曲の伴奏音を再生する再生手段と、前記コード画像を表示する所定領域を備える表示手段と、ユーザが楽器により楽曲を演奏したユーザ演奏音を外部から入力する入力手段と、前記演奏音と前記ユーザ演奏音とを比較して評価を行う評価手段と、前記伴奏音の再生テンポに同期して前記コード画像を前記所定領域に表示し、前記所定領域内に前記コード画像を表示する表示期間を前記評価手段の評価結果に基づいて変更する表示制御手段と、を備えることを特徴とするものである。

請求項１に記載のコード画像表示装置によれば、予め楽器により楽曲を演奏した演奏情報が記憶手段に記憶されている。抽出手段は、録音情報からコード情報を抽出し、生成手段は、画面に表示するための演奏コードを表すコード画像を生成する。再生手段は、伴奏音を再生し、表示手段には、伴奏音に合わせて生成手段によって生成されたコード画像が表示される。ユーザは伴奏音に合わせて楽器の演奏をし、入力手段が演奏音をコード画像表示装置に入力する。入力手段により入力された演奏音は、評価手段によってコード情報と比較されてユーザの演奏が評価される。評価手段の評価結果を演奏レベルとして、その演奏レベルに応じて、表示制御手段は表示期間を変更する。ユーザは、演奏レベルに応じた表示期間でコード画像を見ることができる。

また、請求項１に記載のコード画像表示装置の前記表示制御手段は、前記評価手段の評価が高い場合、前記コード画像の表示期間を短縮し、前記評価手段の評価が低い場合、前記コード画像の表示期間を延長することを特徴とするものである。

請求項１に記載のコード画像表示装置によれば、評価手段の評価結果を演奏レベルとして、演奏レベルが高い場合、コード画像の表示期間を短くする。演奏レベルが高いユーザは、演奏直前のコード画像のみを確認して演奏することを希望するものと考えられるため、表示制御手段は表示期間を短くすることで、ユーザは必要な情報だけを先行して見ることができる。一方、演奏レベルが低い場合、コード画像の表示期間を長くする。演奏レベルが低いユーザは、演奏タイミングより先行して複数のコード画像を確認することを希望するものと考えられるため、表示制御手段はコード画像の表示期間を長くすることで、ユーザは、より多くのコード画像を先行して見ることができる。ユーザは、演奏レベルに応じた表示期間でコード画像を見ることができる。

また、請求項２に記載のコード画像表示装置は、請求項１に記載のコード画像表示装置であって、前記評価手段は、演奏開始前にユーザが演奏したときの評価結果を抽出し、抽出された前記演奏履歴に基づく評価結果を前記評価結果の初期値と設定し、前記表示制御手段は、前記所定領域内に前記コード画像を表示する表示期間を前記評価手段の評価結果に基づいて変更することを特徴とするものである。

請求項２に記載のコード画像表示装置によれば、演奏開始前にコード画像の表示期間を決めるための評価結果をユーザの過去の演奏履歴から設定する。評価結果は演奏の経過とともに算出されるため演奏開始前には、任意の値を設定する必要がある。しかし、任意の値とすると、最初に表示されるコード画像は、任意の値に基づく表示期間となり、ユーザは希望する形態でコード画像を見ることができない。そのため、評価手段はユーザの演奏履歴から前回の評価結果を演奏開始前に評価結果として設定する。または、ユーザの演奏履歴の平均を算出し、演奏開始前に評価結果として設定する。ユーザは、設定された評価結果に従って、演奏レベルに応じた表示期間で演奏を開始することができる。ユーザは、演奏の初めから終わりまで、演奏レベルに応じた表示期間でコード画像を見ることができる。

また、請求項３に記載のコード画像表示装置は、請求項１または請求項２のいずれかに記載のコード画像表示装置であって、前記楽曲にあらかじめ対応付けられたお手本コード情報と前記コード情報とを比較する比較手段を有し、前記比較手段の比較結果に基づいてお手本コード情報とコード情報とが異なるコード情報を表すコード画像の表示を強調することを特徴とするものである。

請求項３に記載のコード画像表示装置によれば、抽出手段により抽出されたコード情報と、楽曲にあらかじめ対応付けられているお手本コード情報とが比較手段によって比較される。コード画像は比較結果に従って強調表示され、お手本コード情報とコード情報との違いが明らかにされる。演奏レベルの低いユーザは、お手本コード情報とコード情報の違いが表示されることで、ユーザは注意して演奏することができる。一方、演奏レベルの高いユーザは、録音情報のアレンジがより明確にみられるため、演奏レベルをより高めることができる。

本発明の一実施形態に係るコード画像表示装置を備えた通信カラオケシステムの機能ブロック図である。 ＨＤＤ１０３に保存された各種情報を説明する図である。 ＨＤＤ１０３に保存された解析結果のうちの投稿コード情報を説明する図である。 ＨＤＤ１０３に保存されたテーブルのうちの表示期間算出テーブルを説明する図である。 モニタ３４の表示領域を説明する図である。 制御部１００により実行されるメインルーチンの処理を表すフローチャートである。 制御部１００の別スレッドにより実行されるコード情報解析処理を表すフローチャートである。 制御部１００により実行される表示期間決定処理を表すサブルーチンのフローチャートである。 本実施形態において演奏レベルが標準の人についてコード画像が表示されるモニタの表示領域を説明する図である。 本実施形態において演奏レベルが高い人についてコード画像が表示されるモニタの表示領域を説明する図である。 本実施形態において演奏レベルが低い人についてコード画像が表示されるモニタの表示領域を説明する図である。 本実施形態において演奏レベルが標準の人、高い人、および低い人のコード記号の表示期間についてタイミング表示領域Ｖ１２の表示の違いから説明する図である。 本実施形態において音情報がＭＩＤＩ形式以外である場合の投稿コード情報の抽出方法について説明する図である。

本発明の一実施形態について図面を参照して説明する。なお、本実施形態ではコード画像表示装置としてカラオケ装置のコマンダを例に具体化しているが、本実施形態に発明が限定されるものではなく様々な態様において実施することが可能である。

［カラオケシステムの構成］
図１は、本実施形態のコマンダを備えた通信カラオケシステムの機能ブロック図である。通信カラオケシステムは、コマンダ１、および周辺機器を備える。周辺機器としては情報端末３１、歌唱用マイク３２Ａ、楽器３２Ｂ、スピーカー３３、モニタ３４、およびカラオケ用ホスト３５が設けられている。

コマンダ１は、制御部１００、ＲＯＭ１０１、ＲＡＭ１０２、ＨＤＤ１０３、音響用インターフェイス部１１１、音響制御部１１２、映像再生部１２１、映像制御部１２２、操作部１３１、および通信用インターフェイス部１４１を備える。制御部１００は、ＣＰＵを備える情報処理デバイスであり、コマンダ１の各種制御を行う。ＨＤＤ１０３はサービス提供のための情報を記憶する。ＲＯＭ１０１は制御部１００で行う各種制御のためのプログラムを記憶し、ＲＡＭ１０２はプログラム中の処理に必要なパラメータを一時的に記憶する。

ＲＯＭ１０１が記憶するプログラムは、たとえば、図６に示すメインルーチンの処理、図７に示すコード情報解析処理、および図８に示す表示期間決定処理をそれぞれ実現するプログラムである。制御部１００は、ＲＯＭ１０１およびＲＡＭ１０２などの記憶手段とともに、各種プログラムを実行するコンピュータを構成する。

ＨＤＤ１０３は、ハードディスクやソリッドステートドライブなどの大容量記憶装置である。カラオケ楽曲を再生するためのＭＩＤＩ形式の情報を多数記憶しており、その他サービス提供に当たり解析されたギターコードやユーザの採点結果などの情報を記憶する。さらに、ＨＤＤ１０３は、お手本として表示画面に表示するための画像およびテロップなどの情報を記憶している。

音響インターフェイス１１１は、歌唱用マイク３２Ａ、および楽器３２Ｂの入力を受け付ける音響用の入力制御装置である。たとえば、音響インターフェイス１１１は、ワイヤレスマイクの入力を受け付けるための赤外線受光部を備え、さらに有線マイク、およびギターの音を入力するための音入力用端子を備える。これらにより、音響インターフェイス１１１はユーザの演奏音および歌唱音の入力を受け付ける。

音響制御部１１２は、ＨＤＤ１０３に記憶されているカラオケ楽曲を再生する音声再生装置を備え、入力された歌唱音およびカラオケ楽曲の合成を行う音響信号合成装置、および入力音のＭＩＤＩ形式へのエンコードを行うエンコーダを備える。

映像再生部１２１は、圧縮形式の動画情報を再生するデコーダを備える。ＨＤＤ１０３に記憶されている画像情報を再生する映像再生装置を備え、再生した映像情報は映像制御部１２２に送られ、モニタ３４の表示領域に合わせて画面に表示される。

映像制御部１２２は、映像再生部１２１により再生された映像情報を映像としてモニタ３４に表示するためのグラフィックエンジンを備える。また、映像制御部１２２は、制御部１００から送られるテロップの情報、および表示すべき画像の情報を受け取り、映像情報と合成してモニタ３４にグラフィックを出力する。

操作部１３１は、タッチパネル、スイッチ、およびダイヤルを備える。ユーザによる操作部１３１の操作により入力された情報は制御部１００へ送られる。ユーザは操作部１３１を操作することで所望の楽曲の選択、またはコマンダ１のモードの選択などを行うことができる。コマンダ１はカラオケの歌唱用モードのほかに楽器演奏用モードを備えている。操作部１３１は、ユーザのモード選択操作に従って、制御部１００にモード選択操作を表す情報を送る。制御部１００は、操作部１３１から送られた情報に従って、ユーザの操作により選択されたモードを特定し、そのモードの実行を開始する。

通信用インターフェイス１４１は、情報端末３１と近距離通信を行うための赤外線通信用ポート、およびインターネット通信を行うためのＬＡＮポートなどを備える外部通信装置である。赤外線通信用ポートは、ユーザにより操作される情報端末３１から、モードおよび楽曲選択の操作の情報を受け付け、さらに制御部１００に操作の情報を送る。ＬＡＮポートは、インターネットに接続されており、ネットワークを介してカラオケ用ホスト３５との通信を行うことができる。

［ＨＤＤ１０３に記憶されるデータの構成］
次にＨＤＤ１０３に記憶される情報について図２を用いて説明する。ＨＤＤ１０３には、投稿情報、楽曲情報、解析結果、およびテーブルの内容が記憶されている。

以下に説明する投稿情報は、以前にユーザが楽器を演奏した時の演奏音、および映像を収録した動画などの情報で、演奏に用いたコマンダ（図示せず）からネットワークを通じてカラオケ用ホスト３５に投稿されて記憶されたものである。そして、ユーザによって指定された楽曲の投稿情報がカラオケ用ホスト３５からコマンダ１に送信される。

投稿情報は、投稿識別情報、音情報、画像情報、楽曲識別情報、演奏速度情報、キー情報、および楽器の種類を含む。投稿識別情報は、多数の投稿情報をそれぞれ識別するための情報である。音情報は、楽器による楽曲の演奏を録音した音の情報であり、本実施形態においてはＭＩＤＩ形式の情報である。画像情報は、演奏者の演奏状況などを記録した動画の情報であり、動画は、演奏開始からの時間の経過に対応付けされている画像である。楽曲識別情報は、楽曲を識別するための情報である。演奏速度情報は、楽器演奏時の演奏テンポを含む情報である。キー情報は、楽器演奏時の楽曲の調性を含む情報である。楽器の種類は、音情報に含まれる楽器名の情報である。

楽曲情報は、ユーザによる楽器３２Ｂの演奏の伴奏の情報である。楽曲情報は、楽曲の伴奏音である伴奏情報、お手本コード情報、および色変えタイミングなどを含むテロップ情報を含む。例えば、楽曲情報はカラオケ用ホスト３５の記憶部２０１からインターネットを介して配信され、コマンダ１のＨＤＤ１０３に記憶されたカラオケ用に用いる楽曲データである。伴奏情報は、ＭＩＤＩ形式の楽曲を伴奏音として再生するための情報である。お手本コード情報は、予め楽曲の伴奏情報のイベント情報から抽出されたギターコードの記号を表すコード記号を含む情報である。通常の楽器演奏ではお手本コード情報に対応するコード画像がお手本として表示されるが、本実施形態においては、後述の投稿コード情報に対応するコード画像が表示される。本実施形態では、音情報、および伴奏情報はＭＩＤＩ形式の情報である。演奏時には、テロップ情報を用いて、歌詞が表示され、色変えタイミングで歌詞の色が変えられる。

解析結果は、投稿コード情報、演奏コード情報、表示位置、および採点情報を含む。投稿コード情報は、音情報からギターコードを抽出した情報である。演奏コード情報は、ユーザによる楽器の演奏音からギターコードを抽出した情報である。表示位置は、投稿コード情報を画面に表示する位置を含む情報である。採点情報は、投稿コード情報と演奏コード情報との一致した度合（以下、一致度）を比較した結果を、評価として表す情報である。

抽出されたコード画像と、そのコード画像の表示期間との関係はテーブルを用いて記録される。そのテーブルには、コード画像テーブル、および表示期間算出テーブルを含む。コード画像テーブルは、各ギターコードに対応するコード画像を記憶する。コード画像テーブルについては後述するコード画像を抽出するステップにおいて述べる。表示期間算出テーブルについては、後述する図４の説明で述べる。

投稿コード情報は、図３に示すように、演奏順序、演奏タイミング、ギターコードの記号を表すコード記号、およびコード画像の背景色を決める背景色フラグを含む。演奏タイミング、コード記号、および背景色フラグは各ギターコードに対応付けられており、演奏する順番に並べられている。たとえば、特定の楽曲について、図３に示す１番目のギターコードは、演奏タイミング「６４８７（ｍＳ）」、コード記号「Ｃ＃ｍ」、および背景色フラグ「０」に対応付けされている。演奏タイミングの数値「６４８７（ｍＳ）」は、特定の楽曲の演奏開始時点からギターコードの演奏タイミングまでの経過時間を表す。背景色フラグの「０」は、画面に表示するコード画像の背景色を強調しないことを表し、背景色フラグの「１」は、コード画像の背景色を強調することを表す。

表示期間算出テーブルは、図４に示すように、点数（Ｐ）、表示期間変更割合、およびパラメータを対応付けて収録している。点数（Ｐ）は、ユーザの演奏レベルとしてお手本の演奏と、ユーザの演奏の一致度を０点から１００点までの間で評価した点数である。評価された点数は、図４のテーブル中で「Ｐ」と表記され、制御部１００は、「Ｐ」の値に従って５段階の演奏レベルで分類する。ユーザの演奏レベルが点数（Ｐ）により５段階で分類されると、次に制御部１００は、演奏レベルに応じた表示期間変更割合を決定する。

表示期間変更割合は、演奏レベルに応じてコード画像の表示期間を変更する割合を示す。パラメータは、表示期間変更割合に応じたパラメータを表し、コード画像の表示位置、および表示期間を決定するための情報である。たとえば、点数（Ｐ）が９０＜Ｐ≦１００の範囲にある場合、表示期間変更割合は「−２０％」で、対応するパラメータは表示期間変更割合を実数化した「−０．２」であり、この割合及びパラメータが点数（Ｐ）に対応付けられている。例えば、点数（Ｐ）が７０＜Ｐ≦８０の範囲にある場合、表示期間変更割合は「０％」で、対応するパラメータは表示期間変更割合を実数化した「０」であり、楽曲のテンポに合わせて表示期間が決められる。点数（Ｐ）が７０＜Ｐ≦８０の範囲にあり、楽曲のテンポに合わせて表示を行う場合を「標準」とする。パラメータを用いた表示期間の演算方法については後述するサブルーチンの処理の中で詳しく説明する。

［コマンダ１の主な制御］
次にコマンダ１の音響制御、表示制御、および通信制御に係る主な動作について説明をする。

コマンダ１の音響制御に係る音響用インターフェイス１１１、および音響制御部１１２の動作について説明する。音響用インターフェイス部１１１は、歌唱用マイク３２Ａからの音声、および楽器３２Ｂのからの演奏音を入力するための入力ポートを備え、入力した音を音響制御部１１２に出力する。音響制御部１１２は、制御部１００より送られた楽曲識別情報を含む再生要求に従い楽曲を再生する処理、および音響用インターフェイス部１１１から入力された音を伴奏音と合成する処理を行い、合成された音の情報である音響信号をスピーカー３３へ出力する。また、楽曲を再生するにあたり、ＨＤＤ１０３に記憶される演奏速度情報、およびキー情報に従って演奏のテンポ、および調性を変化させて再生する。音響制御部１１２は、楽曲の再生中に、演奏開始からの経過時間、および演奏音をＭＩＤＩ形式に変換して制御部１００へ送る。

コマンダ１の表示制御に係る映像再生部１２１、および映像制御部１２２の動作について説明する。映像再生部１２１は、制御部１００から表示すべき動画、および音響制御部１１２が再生する楽曲の経過時間を受け、動画と経過時間とを同期させた映像情報を作成する。映像制御部１２２は、映像再生部１２１により作成された映像情報を表示に適した情報に変換してモニタ３４に送る。モニタ３４は、映像情報に従って画像を画面に表示する。

さらに、映像制御部１２２は、表示すべきテロップなどを、表示位置、および色を表す情報とともに制御部１００から受け取る。映像制御部１２２は、制御部１００から受け取った表示すべき情報を映像情報と合成する処理を施し、その処理された情報をモニタ３４に送る。モニタ３４は、動画とテロップとが合成された映像を画面に表示する。

モニタ３４が表示する画面の構成について図５を用いて説明する。モニタ３４の画面は、画面右上部にコード記号表示領域Ｖ１１、コード記号表示領域Ｖ１１の下にタイミング表示領域Ｖ１２、画面左に運指表示領域Ｖ１３、および画面右下部にテロップ表示領域Ｖ１４を備える。さらに、タイミング表示領域Ｖ１２は、その内部に楽器を演奏するタイミングを示す演奏領域Ｖ１５を含む。コード記号表示領域Ｖ１１は、コード記号画像Ｍ３１を表示し、タイミング表示領域Ｖ１２はタイミングバーＭ３２を表示し、運指表示領域Ｖ１３は運指画像Ｍ３３を表示する。コード記号表示領域Ｖ１１と、運指表示領域Ｖ１３、およびタイミング表示領域Ｖ１２と、運指表示領域Ｖ１３とは互いに垂直に表示され、それぞれ演奏タイミングが近いものが交点に向かって表示位置を変化させる。

コード記号画像Ｍ３１は、四角い枠の中にコード記号を表す文字を表示する画像である。タイミングバーＭ３２は、演奏開始タイミングを示す縦長の棒状の画像であり、演奏開始以降も演奏があることを示す帯が表示される画像である。運指画像Ｍ３３は、ギターの弦を表す平行線上にギターコードを演奏する際に押さえる位置を示すマークが描画された画像である。さらに、運指画像Ｍ３３の下部にはコード記号が表示される。本実施形態において、コード記号画像Ｍ３１の四角い枠、タイミングバーＭ３２の帯、および運指画像Ｍ３３のコード記号が表示される枠は、それぞれ対応付けられて同じ色に表示される。コード記号表示領域Ｖ１１は、コード記号画像Ｍ３１を演奏順に領域左から並べて表示する。コード記号表示領域Ｖ１１は、点数（Ｐ）が０≦Ｐ≦６０の範囲にある場合に、コード記号画像Ｍ３１の表示個数が最大の個数（例えば、本実施形態であれば図９Ｃに示す６個）となるように水平軸方向に十分な大きさを有する。

タイミング表示領域Ｖ１２は、タイミングバーＭ３２の表示を領域右端から開始し、時間経過とともに領域内においてタイミングバーＭ３２を左へスクロールさせ、領域左端を通過すると通過した部分の表示を消す。タイミングバーＭ３２の帯が通過し終えると、タイミングバーＭ３２は演奏を終えたとして消される。運指表示領域Ｖ１３は、運指画像Ｍ３３を領域の上から演奏順に決められた個数以下となるように表示する。本実施形態では、コード記号画像Ｍ３１、もしくは運指画像Ｍ３３を示す場合、コード画像と記載する。

コマンダ１の通信制御に係る通信用インターフェイス部１４１の動作についてカラオケ用ホスト３５を含めて説明する。たとえば、情報端末３１がリモコン、およびカラオケナビのような外部操作装置である場合、操作部１３１に代えて情報端末３１を操作することで、ユーザはコマンダ１を操作することが可能である。さらに、通信用インターフェイス部１４１は、インターネットを介してカラオケ用ホスト３５と通信を行うことができる。たとえば、ユーザが希望する情報がＨＤＤ１０３に記憶されていない場合、制御部１００は通信インターフェイス部１４１に情報要求を送る。通信用インターフェイス部１４１は、制御部１００からの情報要求に基づいてカラオケ用ホスト３５をインターネット上から探し、情報要求をカラオケ用ホスト３５へ送信する。カラオケ用ホスト３５は、情報要求を受け取ると記憶部２０１から要求された情報を取り出し、コマンダ１の通信用インターフェイス部１４１へ送る。カラオケ用ホスト３５から送られた情報は通信用インターフェイス部１４１から制御部１００へ送られる。制御部１００は、カラオケ用ホスト３５から送られた情報を順次ＨＤＤ１０３に記憶する。サービス提供に不足した情報をカラオケ用ホスト３５からダウンロードすることでコマンダ１はサービスの提供を行っている。

［フローチャートの各処理の説明］
本実施形態の動作及び作用について、図６、図７、および図８を参照して説明する。図６〜図８に示すフローチャートの各ステップの処理は、制御部１００が実行する処理である。

（メインルーチンの処理）
ユーザが操作部１３１、もしくは情報端末３１を用いてモード選択操作を行い、投稿情報を用いた楽器演奏用モードを選択すると、図６に示すメインルーチンの処理が開始される。

ステップＳ１１１では、ユーザがお手本とする投稿情報が、ユーザの操作に従って選択される。具体的には、操作部１３１、または情報端末３１は、ユーザの操作に従って、楽曲識別情報と、楽器の種類とをコマンダ１へ送る。コマンダ１は、楽曲識別情報と楽器の種類とを含む投稿情報要求をカラオケ用ホスト３５に送る。カラオケ用ホスト３５は、コマンダ１からの投稿情報要求を受けて、記憶部２０１に記憶された多数の投稿情報の中から、楽曲識別情報、および楽器の種類に一致する投稿情報のすべてを抽出する。カラオケ用ホスト３５は、抽出された投稿情報の、投稿識別情報、画像情報の代表画像（詳細は後述する。）、演奏速度、およびキー情報をコマンダ１に送信する。代表画像は、抽出された投稿情報から、ユーザがお手本とする１つの投稿情報を選択するために、投稿情報をダウンロードする前に、投稿情報の一部をプレビュー画像としてモニタ３４に表示される画像である。たとえば、代表画像は、画像情報の中でも画像に対応する表示開始時間が演奏開始から一番早い画像を用いればよい。コマンダ１がカラオケ用ホスト３５から同じ楽曲の代表画像を受信すると、代表画像はＨＤＤ１０３に記憶され、記憶された代表画像がモニタ３４に表示される。ユーザは表示された代表画像を見ながら、操作部１１１もしくは情報端末３１を操作してお手本とする投稿情報を１つ指定する。ユーザの操作に従って、お手本とする投稿情報が選択される。その後、ステップＳ１１２に処理が移される。

ステップＳ１１２では、投稿情報がすでにＨＤＤ１０３に記憶されているか判断され（Ｓ１１２Ａ）、ユーザの操作に従って選択された投稿情報がＨＤＤ１０３にダウンロードされる（Ｓ１１２Ｂ）。選択された投稿情報がすでに利用されたりしてＨＤＤ１０３に記憶されているならば、ダウンロードせずにＨＤＤ１０３に記憶された投稿情報を利用する。そのため、選択された投稿情報がすでに記憶されている場合はステップＳ１１３へ処理が移される。選択された投稿情報がＨＤＤ１０３に記憶されていない場合は、選択された投稿情報がカラオケ用ホスト３５からＨＤＤ１０３にダウンロードされ、投稿情報としてＨＤＤ１０３への記憶が完了するとステップＳ１１３に処理が移される。

ステップＳ１１３では、投稿情報に含まれた、楽曲識別情報に対応した楽曲情報がすでにＨＤＤ１０３に記憶されているか判断され（Ｓ１１３Ａ）、選択された楽曲情報がＨＤＤ１０３にダウンロードされる（Ｓ１１３Ｂ）。楽曲識別情報に対応した楽曲情報がすでにＨＤＤ１０３に記憶されているならば、ダウンロードせずにＨＤＤ１０３に記憶された楽曲情報を利用する。そのため、選択された楽曲識別情報に対応する楽曲情報がＨＤＤ１０３に記憶されている場合はステップＳ１１４に処理が移される。楽曲識別情報に対応する楽曲情報がＨＤＤ１０３に記憶されていない場合は、楽曲識別情報に対応する楽曲情報がカラオケ用ホスト３５からＨＤＤ１０３にダウンロードされ、楽曲情報としてＨＤＤ１０３への記憶が完了するとステップＳ１１４に処理が移される。

ステップＳ１１４では、投稿情報中のギターコードを解析するサブルーチンの処理（図７参照）の開始が指令される。ステップＳ１１４により開始が指令されるサブルーチンの処理はメインルーチンの処理と並列に行われる。図７に示すサブルーチンのギターコード解析では、投稿情報から投稿コード情報が抽出され、抽出されたギターコードのコード記号に対応するコード画像が生成される。投稿コード情報とお手本コード情報とを比較し、お互いが一致したか否かに応じて背景色フラグが設定される。サブルーチンの詳細な処理については、図７のフローチャートを用いて後述する。

ステップＳ１１５では、ユーザの操作に従って伴奏音のマイナスワンの選択が行われる。具体的にはユーザは、演奏する楽器パート、および投稿情報の音情報の再生を行うか否かを操作部１３１、もしくは情報端末３１を操作して決定する。ユーザの操作に従ってマイナスワンの選択が行われると、ステップＳ１１６に処理が移される。

ステップＳ１１６では、ステップＳ１１４で開始が指令されたギターコード解析のサブルーチンの処理による一定区間のギターコード解析が完了しているか否かが判断される。一定区間の解析が完了している場合（Ｓ１１６：Ｙ）は、ステップＳ１２１に処理が移される。一方、一定区間の解析が完了していない場合（Ｓ１１６：Ｎ）は、一定区間の解析が完了するまでステップＳ１１６の処理が行われる。この処理は、投稿情報のすべての区間の解析が完了するまで行われる。

ステップＳ１１６において一定区間とは、例えば、最も評価が低い人のためにコード記号表示領域Ｖ１１に表示されるコード記号画像Ｍ３１の数と同じ数の投稿コード情報を投稿情報から抽出するための投稿情報の情報量を表す。本実施形態ではコード記号画像Ｍ３１の最大表示数は６個としている。このため、最も評価の低い人のために表示されるコード記号画像Ｍ３１は６個となる。よって、投稿情報から、６個のコード記号、および６個の演奏タイミングを含む投稿コード情報を抽出することができれば、一定区間の解析が完了していると判断される。

ステップＳ１２１では、採点情報の初期化が行われる。採点情報は表示期間を変更する割合を決めるため、初期化により演奏開始時のコード画像の表示期間が決められる。本実施形態では、表示期間を標準の表示期間にするために採点情報の初期点数を７５点とし、初期点数がＨＤＤ１０３に記憶される。採点情報の記憶が完了するとステップＳ１２２に処理が移される。

ステップＳ１２２では、映像再生部１２１に画像情報の再生を指示し、音響制御部１１２に伴奏情報の再生を指示する。具体的には、伴奏情報の再生するために音響制御部１１２へ再生要求が送られる。音響制御部１１２は制御部１００からの再生要求に従って伴奏情報を再生する。音響制御部１１２は、再生を開始すると制御部１００へ再生開始からの経過時間を送る。画像情報の再生のために、映像再生部１２１へ経過時間、および画像情報が送られる。映像再生部１２１は、制御部１００からの経過時間と画像情報とを対応付けた映像情報を生成し、映像情報を映像制御部１２２へ送る。また、再生開始からの経過時間に応じてテロップを表示するため、映像制御部１２２へ経過時間、およびテロップの情報が送られる。映像制御部１２２は、制御部１００からのテロップ、および映像情報の画像合成を行った後、表示に適した情報に変換してモニタ３４に送る。モニタ３４は、映像情報に従って画像を画面に表示する。

ステップＳ１３１では、ステップＳ１２２で再生が要求された楽曲の演奏が終了したか否かが判断される。伴奏情報、および画像情報の再生を終えている場合（Ｓ１３１：Ｙ）は、ステップＳ１４０に処理が移される。しかし、伴奏情報、および画像情報が再生を終えていない場合（Ｓ１３１：Ｎ）、ステップＳ１３２に処理が移される。

ステップＳ１３２では、コード画像の表示期間を決定するサブルーチンの処理の起動を指示する。このサブルーチンでは、採点情報の内容に従って、主にタイミングバーＭ３２の表示位置の移動速度を決める処理が行われる。それにより、コード画像の表示期間が決められる。さらに、コード画像の表示期間に対して演奏経過時間に対応した表示位置を決める処理がされる。本ステップＳ１３２で起動が指令されたサブルーチンの詳細な処理については、図８のフローチャートを用いて後述する。

ステップＳ１３３では、時間経過による表示の更新が行われる。ステップＳ１３３は、ステップＳ１３２で決められたタイミングバーＭ３２の表示位置の情報に従って、コード記号画像Ｍ３１、タイミングバーＭ３２、および運指画像Ｍ３３、が背景色フラグに対応する色でそれぞれ更新される。具体的には、ステップＳ１２２で再生要求された伴奏情報の再生開始からの経過時間が音響制御部１１２から送られる。経過時間に合わせて表示を行う、コード記号画像Ｍ３１と、タイミングバーＭ３２と、運指画像Ｍ３３と、表示位置と、背景色フラグに対応する色の情報とが制御部１００から映像制御部１２２へ送られる。

まず、映像制御部１２２は、タイミング表示領域Ｖ１２内の、ステップＳ１３２で決められた表示位置に、タイミングバーＭ３２を表示する。しかし、タイミングバーＭ３２の表示位置がタイミング表示領域Ｖ１２外である場合、または演奏タイミングを過ぎた場合、タイミングバーのＭ３２の画像および表示位置の情報は、制御部１００によって映像制御部１２２へ送られないため、モニタ３４に表示されない。

次に、タイミングバーＭ３２に対応するコード記号画像Ｍ３１がコード記号表示領域Ｖ１１に表示される。コード記号画像Ｍ３１は、演奏領域Ｖ１５に表示される１つを含めて、タイミングバーＭ３２と同じ個数だけ表示されるように、制御部１００によって映像制御部１２２へ送られる。コード記号表示領域Ｖ１１に表示されるコード記号画像Ｍ３１は、タイミングバーＭ３２に対応する演奏順に演奏領域Ｖ１５に表示される１つを除いて、領域左端から右端に向かってならべて表示される。また、タイミングバーＭ３２の表示が開始されたら対応するコード記号画像Ｍ３１の表示も開始され、タイミングバーＭ３２の表示が消されると対応するコード記号画像Ｍ３１の表示も消される。

たとえば、図５のように、タイミングバーＭ３２がタイミング表示領域Ｖ１２に４つ表示される場合、画面上に「Ｆ＃ｍ」、「Ｄ７」、「Ａ７」、および「Ｃ」の４つのコード記号画像Ｍ３１が表示されている。楽器を演奏するタイミングにおいて、コード記号画像Ｍ３１の表示領域は、コード記号表示領域Ｖ１１から演奏領域Ｖ１５に移動し、タイミングバーＭ３２も演奏領域Ｖ１５に移動する。演奏領域Ｖ１５おいてはコード記号画像Ｍ３１と、タイミングバーＭ３２の表示が重なる。楽器を演奏するタイミングを示す演奏領域Ｖ１５に表示されている「Ｆ＃ｍ」のコード記号画像Ｍ３１を除き、コード記号表示領域Ｖ１１には「Ｄ７」、「Ａ７」、および「Ｃ」の３つのコード記号画像Ｍ３１が表示される。演奏タイミングを過ぎ、「Ｆ＃ｍ」に対応するタイミングバーＭ３２がタイミング表示領域Ｖ１２から消されると、それに対応する「Ｆ＃ｍ」のコード記号画像Ｍ３１も同様に消される。「Ｆ＃ｍ」のコード記号画像Ｍ３１の表示が演奏領域Ｖ１５から消されると次の「Ｄ７」のコード記号画像Ｍ３１が演奏領域Ｖ１５に表示され、「Ａ７」、および「Ｃ」のコード記号画像Ｍ３１の表示位置は左へ１つ分移動される。

次に、運指画像Ｍ３３は、運指表示領域Ｖ１３に上から演奏順に決められた個数以下で表示される。運指画像Ｍ３３の表示については、タイミングバーＭ３２の表示が開始されると、対応する運指画像Ｍ３３の表示も開始される。また、タイミングバーＭ３２が消されると、対応する運指画像Ｍ３３も消され、上へ運指画像Ｍ３３の表示が移動される。運指画像Ｍ３３は、決められた個数以下になるように演奏順に表示されるため、運指表示領域Ｖ１３には、演奏タイミングを過ぎるごとに次の運指画像Ｍ３３が表示される。

たとえば、図５のように運指画像Ｍ３３を３つ表示すると決めると、タイミングバーＭ３２が４つ表示されているが、運指表示領域Ｖ１３には、「Ｆ＃ｍ」、および「Ｄ７」の２つの運指画像Ｍ３３が表示され、さらに「Ａ７」の運指画像Ｍ３３の一部分が表示されている。「Ｆ＃ｍ」の運指画像Ｍ３３に対応するタイミングバーＭ３２が消されると、「Ｆ＃ｍ」の運指画像Ｍ３３も消される。「Ｆ＃ｍ」の運指画像Ｍ３３が消されると、「Ｄ７」の運指画像Ｍ３３が「Ｆ＃ｍ」の運指画像Ｍ３３の表示されていた領域に表示され、「Ａ７」の運指画像Ｍ３３が「Ｄ７」の運指画像Ｍ３３の表示されていた領域に表示される。さらに「Ａ７」の運指画像Ｍ３３の次の「Ｃ」の運指画像Ｍ３３が「Ａ７」の運指画像Ｍ３３の表示されていた位置に表示される。

（背景色フラグによる表示制御）
また、コード記号画像Ｍ３１、タイミングバーＭ３２、および運指画像Ｍ３３の色は背景色フラグによって決められる。後述するギターコード解析のサブルーチンの処理において、背景色フラグが「０」の場合は、投稿コード情報とお手本コード情報が一致した時であって、通常表示を表す白色が背景色として制御部１００から映像制御部１２２へ送られる。背景色フラグが「１」の場合は、投稿コード情報とお手本コード情報が一致しなかった時であって、強調表示を表す青色が背景色として制御部１００から映像制御部１２２へ送られる。映像制御部１２２は、色の情報に従い、コード記号画像Ｍ３１の背景色、タイミングバーＭ３２の帯の色、および運指画像Ｍ３３下部のコード記号を表示する部分の背景色を変えてモニタ３４に表示させる。

ステップＳ１３４では、ユーザの演奏音のギターコード解析がされる。ユーザの楽器３２Ｂによる演奏音は、音響用インターフェイス１１１を介して音響制御部１１２へ送られる。音響制御部１１２は、ユーザの楽器３２Ｂによる楽曲の演奏音を伴奏音と合成して音響信号を生成し、スピーカー３３へ送る。さらに、音響制御部１１２は、入力された演奏音をＭＩＤＩ形式に変換し、制御部１００に送る。制御部１００により行われるギターコード解析では、ＭＩＤＩ形式に変換された演奏音から演奏タイミングとギターコードとが抽出され、演奏コード情報が生成される。生成された演奏コード情報は、ＨＤＤ１０３に記憶されるとともに、演奏時間の経過とともにさらに解析される演奏タイミング、およびギターコードが演奏コード情報に追加してＨＤＤ１０３に記憶されていく。

ステップＳ１３５では、演奏コード情報と、投稿コード情報との一致度を比較した比較結果（比較手順は後述）に従ってユーザの楽器による楽曲演奏の採点情報の算出が行われる。演奏コード情報の演奏タイミングおよびコード記号の情報が、投稿コード情報の演奏タイミングおよびコード記号の情報とそれぞれ比較され、演奏コード情報と投稿コード情報との一致度に応じて点数が算出される。具体的には、演奏コード情報、および投稿コード情報の各演奏タイミングにおいて、コード記号が異なる場合は０点とし、演奏タイミング、およびコード記号が一致する場合は１００点とする。そして、演奏コード情報、および投稿コード情報の各演奏タイミングにおいて、コード記号が一致し、演奏タイミングが異なる場合、演奏タイミングの時間差が大きくなるに従って減点される。さらに、採点を行った区間の中で一致しないコード記号の出現回数が増えるほど減点が大きくなるような算出方法で算出すればよい。例えば、演奏コード情報、および投稿コード情報の内、それぞれ６個のコード記号と演奏タイミングから採点を行う場合、６個のうち３個が１００点、２個が６０点、１個が０点とすると、｛６００−（１００−１００）×３−（１００−６０）×２−（１００−０）×１｝÷６＝７０となる。このとき、採点情報は、７０点となり、ＨＤＤ１０３に記憶される。ステップＳ１３５を終えるとステップＳ１３１へ処理が移される。

ステップＳ１３１では、再度楽曲の演奏が終了したか否かが判断される。楽曲の演奏が終わっていない場合（Ｓ１３１：Ｎ）は、ステップＳ１３２からステップＳ１３５までの処理が行われる。ステップＳ１３２からステップＳ１３５までの処理により、投稿コード情報、および採点情報が更新され、表示も更新される。更新された採点情報に従ってタイミングバーＭ３２の表示期間が算出され、演奏速度を維持したまま、お手本となる投稿コード情報を表示する時間の長さが変更される。楽曲の演奏が終わった場合（Ｓ１３１：Ｙ）は、ステップＳ１４０に処理が移される。

ステップＳ１４０では、ユーザの楽器による楽曲の演奏が評価される。ステップＳ１３５における採点情報の算出は、演奏途中の採点情報の算出であるが、ステップＳ１４０では楽曲一曲を通しての最終採点情報が算出される。最終採点情報は、画面に表示されてユーザに演奏レベルを定量的に知らせる。さらには、最終採点情報は、ユーザのユーザ識別情報に紐付けてカラオケ用ホスト３５に送られ、記憶部２０１に記憶されてもよい。ステップ１４０の処理を終えるとメインルーチンの処理は終了する。

（ギターコード解析のサブルーチンの処理）
次に、図６で示したステップＳ１１４で開始されるギターコード解析のサブルーチンの処理について図７を用いて説明する。図７に示すサブルーチンは、投稿情報のギターコード解析を行い、投稿コード情報、およびお手本として表示するコード画像を生成する。ステップＳ２０１では、投稿情報の音情報からギターコードが抽出される。本実施形態において音情報はＭＩＤＩ形式の情報であるため、ＭＩＤＩのイベント情報から、演奏タイミングとコード記号とが抽出される。ステップＳ２０１ではギターコードが抽出され、投稿コード情報としてＨＤＤ１０３に記憶される。投稿コード情報が記憶されるとＳ２０２に処理が移される。

ステップＳ２０２では、投稿コード情報とお手本コード情報とが比較される。投稿コード情報、およびお手本コード情報の各演奏タイミングにおけるコード記号が比較される。コード記号の比較結果により次のステップＳ２０３の処理は分岐する。

投稿コード情報のコード記号と、お手本コード情報のコード記号とが一致する場合（Ｓ２０３：Ｎ）、ステップＳ２０３からステップＳ２０４に処理が移される。ステップＳ２０４では投稿コード情報のコード記号と、お手本コード情報のコード記号とを比較した結果が一致したので、背景色フラグは通常表示を示す「０」に設定される。さらに、投稿コード情報内のコード記号に一致するコード記号画像Ｍ３１、タイミングバーＭ３２、および運指画像Ｍ３３がコード画像テーブルから抽出され、ＲＡＭ１０２に記憶される。

投稿コード情報のコード記号と、お手本コード情報のコード記号とが異なる場合（Ｓ２０３：Ｙ）、ステップＳ２０３からステップＳ２０５に処理が移される。ステップＳ２０５は投稿コード情報のコード記号と、お手本コード情報のコード記号とを比較した結果が異なっているので、背景色フラグは強調表示を示す「１」に設定される。さらに、投稿コード情報内のコード記号に一致するコード記号画像Ｍ３１、タイミングバーＭ３２、および運指画像Ｍ３３がコード画像テーブルから抽出され、ＲＡＭ１０２に記憶される。

ステップＳ２０４、またはステップＳ２０５の処理が終わると、ステップＳ２０６に処理が移される。ステップＳ２０６では、ステップＳ２０１からステップＳ２０４またはステップＳ２０５までの処理において楽曲一曲分のギターコード解析が完了しているか否かが判断される。楽曲一曲分の解析処理が完了していないと判断された場合（Ｓ２０６：Ｎ）は、ステップＳ２０１に処理が戻り、音情報のギターコード解析を終えていない部分が解析される。楽曲一曲分のギターコード解析が完了していると判断された場合（Ｓ２０６：Ｙ）は、ギターコード解析のサブルーチンの処理が終了する。ステップＳ２０６による判断の方法としては、音情報および投稿コード情報の最後の演奏タイミングを比較して演奏タイミングが一致している場合、楽曲一曲分のギターコード解析が完了したと判断される。Ｓ２０１〜Ｓ２０６の一連の処理の実行時間は、楽曲一曲分の演奏時間より充分に短いので、Ｓ２０１〜Ｓ２０６の一連の処理は、繰り返し実行される

（表示期間決定のサブルーチンの処理）
次に、図８を用いて表示期間決定のサブルーチンの処理（Ｓ１３２）について説明する。図８に示すサブルーチンは、採点情報を用いてタイミングバーＭ３２のスクロール速度、および表示位置を決める。ステップＳ３０１では、採点情報を読み出し、ＲＡＭ１０２に記憶する。採点情報は、ステップＳ１３５で算出されてＨＤＤ１０３に記憶された採点情報である。

ステップＳ３０２では、ステップＳ３０１でＲＡＭ１０３に記憶された採点情報に従って、表示期間算出テーブルからパラメータが抽出される。たとえば、採点情報としては、初めてステップＳ３０２が実行される場合、初期値である７５点が設定されている。点数７５点に対応するパラメータは「０」であり、「０」がパラメータとしてＲＡＭ１０２に記憶される。

ステップＳ３０３では、ステップＳ３０２でＲＡＭ１０２に記憶されたパラメータを用いてタイミングバーＭ３２のスクロール速度が算出される。
Ｖ０＝Ｘ１５／Ｔ ・・・（１）
Ｖ＝Ｖ０（１−Ｐ） ・・・（２）
上記式（１）および（２）において、Ｖ０はタイミングバーＭ３２の基準のスクロール速度である。Ｘ１５は演奏領域Ｖ１５に設定している範囲のＸ軸方向の画素数である。Ｔは楽曲中の演奏音のなかで演奏する時間の長さの平均を算出した平均演奏時間である。ＶはタイミングバーＭ３２のスクロール速度である。ＰはステップＳ３０２でＲＡＭ１０２に記憶されたパラメータである。例えば、初期値を与える記憶されたパラメータが「０」の場合、タイミングバーＭ３２のスクロール速度Ｖは、基準のスクロール速度Ｖ０となり、この時の表示期間が基準の表示期間となる。パラメータの範囲は、最高点数１００点の時には基準の表示期間に対して−２０％の表示期間としているので、パラメータは「−０．２」、最低点数０点の時には基準の表示期間に対して＋２０％の表示期間としているので、パラメータは「０．２」となる。

本実施形態では、標準の速度Ｖ０は、演算式(１)よりＸ軸方向の画素数Ｘ１５を、平均演奏時間Ｔで割った解とする。スクロール速度Ｖは、採点情報から決められたパラメータＰを値「１」から引いた差を標準の速度Ｖ０に掛けて算出される。Ｘ軸方向とは、図５の演奏領域Ｖ１５の水平軸方向である。

算出されたスクロール速度Ｖは、ＲＡＭ１０２に記憶され、次にステップＳ３０３が実行されるまで、タイミングバーＭ３２のスクロール速度として用いられる。

タイミング表示領域Ｖ１２のＸ軸方向の画素数をＸ１２とすると、画素数Ｘ１２をスクロール速度Ｖで割ると、その解がスクロール速度Ｖにおけるコード記号画像Ｍ３１、タイミングバーＭ３２、および運指画像Ｍ３３の表示期間となる。

ステップＳ３０４ではタイミングバーＭ３２の表示位置が算出される。
Ｘ＝Ｘ０＋Ｖ（ＴＯＮ−ＴＮＯＷ） ・・・（３）
上記式（３）において、ＸはタイミングバーＭ３２の表示位置である。Ｘ０は、モニタ３４の表示画面の左端からタイミング表示領域Ｖ１２の左端までのＸ軸方向の画素数である。ＶはステップＳ３０３で求められたスクロール速度である。ＴＯＮは投稿コード情報の演奏タイミングである。ＴＮＯＷは演奏開始から現時点までの経過時間である。

本実施形態では、タイミングバーＭ３２の表示位置Ｘは、表示画面の左端からタイミング表示領域Ｖ１２の左端の画素数を示すＸ０にタイミング表示領域Ｖ１２内のタイミングバーＭ３２の表示位置を加えて算出される。タイミング表示領域Ｖ１２内のタイミングバーＭ３２の表示位置は、タイミング表示領域Ｖ１２の左端を基準として決められた表示位置の座標を表し、演奏タイミングＴＯＮから経過時間ＴＮＯＷを引いた差をスクロール速度Ｖに掛けて算出される。

投稿コード情報の各演奏タイミングのコード記号に対応するタイミングバーＭ３２の表示位置がＨＤＤ１０３に記憶され、ステップＳ１３３に戻る。

［実施形態の具体例］
本実施形態のコード画像表示装置において、モニタ３４の表示状態は、ユーザの演奏レベルに応じて決められる。モニタ３４の表示状態について、ユーザの演奏レベルを「標準」、「高い」、「低い」の３段階に分類する。演奏開始からの経過時間が同じである図９Ａ〜図９Ｃを用いて、３段階の表示状態をそれぞれ説明する。

（演奏レベルが標準な人）
演奏レベルが標準な人は、採点情報が７０点より高く、８０点以下の範囲にある人を表す。たとえば、採点情報が７２点となる演奏レベルで演奏をしている人の場合、表示期間変更割合は０％なので、タイミングバーＭ３２のスクロール速度は、楽曲のテンポであって、標準の速度Ｖ０となり、画面の表示は図９Ａに示すように標準の速度Ｖ０で表示される。

（演奏レベルが高い人）
演奏レベルが高い人は、採点情報が８０点よりも高く、１００点以下の範囲にある人を表す。たとえば、採点情報が９０点で演奏をしている人の場合、表示期間変更割合は−２０％なので、タイミングバーＭ３２のスクロール速度は、標準の速度Ｖ０よりも２０％早くなる。つまり、画面の表示は図９Ｂのようになり、標準の場合である図９Ａよりもコード画像の表示期間が短くなり、先行して見ることのできるコード画像の個数が少なくなる。

（演奏レベルが低い人）
演奏レベルが低い人は、採点情報が７０点以下にある人を表す。たとえば、採点情報が５５点で演奏をしている人の場合、表示期間変更割合は２０％なので、タイミングバーＭ３２のスクロール速度は、標準の速度Ｖ０よりも２０％遅くなる。つまり、画面の表示は図９Ｃのようになり、標準の場合である図９Ａよりもコード画像の表示期間が長くなり、先行して見ることのできるコード画像の個数が多くなる。

３段階のユーザの演奏レベルに応じた、表示期間の変化がどのように異なるのかを図１０を用いて比較する。図１０は、「Ｆ＃ｍ」が演奏タイミングにあるときの３段階の演奏レベルに応じたタイミング表示領域Ｖ１２を抜き出したものである。図１０の（Ｂ）に示す演奏レベルが標準の場合、スクロール速度は、標準の速度Ｖ０なので、次の演奏タイミングのタイミングバーＭ３２が「Ｘ０（Ｔ）」の距離を演奏タイミングまでの期間Ｔの間に移動する。図１０の（Ａ）に示す演奏レベルが高い場合、標準の速度Ｖ０よりも２０％早く表示位置が移動するので、次の演奏タイミングのタイミングバーＭ３２が「Ｘ１（Ｔ）」の距離を演奏タイミングまでの期間Ｔの間に移動する。図１０の（Ｃ）に示す演奏レベルが低い場合、標準の速度Ｖ０よりも２０％遅く表示位置が移動するので、次の演奏タイミングのタイミングバーＭ３２が「Ｘ２（Ｔ）」の距離を演奏タイミングまでの期間Ｔの間に移動する。３段階の演奏レベルに応じたタイミングバーＭ３２の移動距離の関係は、「Ｘ１（Ｔ）＞Ｘ０（Ｔ）＞Ｘ２（Ｔ）」となる。３段階のどの状態もタイミング表示領域Ｖ１２の画素数Ｘ１２は同じなので、画素数Ｘ１２に対する期間Ｔの間に移動した距離の割合を比較すると、各タイミングバーＭ３２に対応する各コード記号画像Ｍ３１の表示期間の違いが分かる。画面上に表示される期間は演奏レベルが「低い人」は「標準の人」よりも長く、「高い人」は「標準の人」よりも短く表示される。これに応じて、コード記号画像Ｍ３１、および運指画像Ｍ３３の表示期間も変化する。

（採点情報が更新された場合の例）
楽曲の演奏が進むにつれて、採点情報も変動するため、それに従い画面の表示も変化する。たとえば、採点情報が７５点で演奏レベルが標準な人の表示形態にあるときに、採点情報が更新されて９０点まで点数が高くなった場合、モニタ３４の表示状態は、演奏レベルが高い人の表示形態に変更される。一方、採点情報の更新の際に６０点まで点数が低くなった場合、演奏レベルが普通の人の表示形態から、演奏レベルが低い人の表示形態へ変更される。採点情報の更新、およびスクロール速度の計算の処理により、スクロール速度が変更される度に、モニタ３４の表示状態は変化する。本実施形態において、６０点以下は、表示期間は変化しない。

［変形例］
（変形例１）
採点情報の初期化の処理（Ｓ１２１）は、ユーザが以前に演奏した楽曲の演奏履歴から採点情報を抽出し、その点数を採点情報としてＨＤＤ１０３に記憶してもよい。履歴で初期化を行うことにより、ユーザの演奏レベルに応じたコード画像の表示を演奏開始から提供することができる。
例えば、演奏履歴に基づく初期値としては、演奏履歴の評価の平均値、最高値、もしくは最低値などが考えられる。

(変形例２)
本実施形態のコード画像を表示する処理（Ｓ１３３）において、運指画像Ｍ３３の表示個数を３つに制限して表示を行ったが、３つでなくてもよい。コード画像は、表示期間が変えられる毎に表示個数を変える。例えば、運指画像Ｍ３３の最大表示個数は、運指表示領域Ｖ１３の縦方向の画素数と、運指画像Ｍ３３のあらかじめ定められている縦方向の画素数とを比較して、重ねることなく表示できる最大数を算出して、最大表示個数と定めればよい。

（変形例３）
本実施形態において強調表示を行う場合、投稿コード情報と、お手本コード情報とを比較し、一致していない場合を強調表示としたが、一致している場合を強調表示としてもよい。また、背景色を青色にすることで通常の白色に比べてユーザに対して強調して表示を行ったが、様々な色を用いてもよい。強調して表示することを目的とするため、コード画像の背景の色を変えるだけでなく、コード画像を点滅表示すること、コード画像の縁取りを行うこと、コード画像の文字を太字にすること、もしくはコード画像を変形すること、のいずれか、またはその組み合わせによる強調を行ってもよい。

（変形例４）
画像情報、および伴奏情報の再生処理（Ｓ１２２）は、投稿情報に含まれる演奏速度情報、およびキー情報に基づいて、演奏テンポ、および調性を投稿情報に合わせて再生してもよい。

演奏テンポを用いる場合、ステップＳ３０３の式（２）において演奏速度情報から演奏テンポが基準のテンポよりもどれだけ変化するかを示す、変化割合を算出する。ステップＳ３０４は、標準の速度Ｖ０の代わりに、算出された変化割合と標準の速度Ｖ０を掛け合わせた、速度Ｖ１を用いる。

調性を変える場合、キー情報から楽曲の調性をどれだけ変更したかを参照して、コード記号の変換を行う。たとえば、キー情報に従ってギターコードを変換するコード変換テーブルをＨＤＤ１０３に備え、コード変換テーブルは、キー情報に応じたギターコードの変換表を含む。コード変換テーブルの変換表に従い、投稿コード情報のコード記号は、キー情報に応じて変換され、ＨＤＤ１０３に記憶される。同様に、ステップＳ２０２において、お手本コード情報のコード記号がコード変換テーブルに従い変換され、投稿コード情報と変換されたお手本コード情報とが比較される。

（変形例５）
採点情報の算出（Ｓ１３５）の処理方法としては、演奏タイミングおよびコード記号の情報だけでなく、スタッカートなどの演奏技法の情報を含めて採点情報が算出されてもよい。本実施形態においては、演奏コード情報、および投稿コード情報のうち、演奏タイミング、ならびにコード記号の一致度が算出され、その一致度から採点情報が算出された。しかし、採点情報の算出方法として、演奏音から抽出されたギターコードだけでなく、演奏技法に応じた採点、または加点を行ってもよい。演奏技法を採点の項目に加えることで、採点情報は、演奏レベルを詳細に評価したものとなる。これを実現するために、投稿情報から演奏技法が抽出され、投稿コード情報に記憶される。さらに、コード画像から演奏技法が抽出され、演奏コード情報に記憶される。演奏レベルをより詳細に評価することで、より正しいユーザの演奏レベルに応じた表示形態を実現することができる。

（変形例６）
本実施形態では、コード記号表示領域Ｖ１１は、演奏レベルの低い人の場合、図９Ｃに示すように５つのコード記号画像Ｍ３１をコード記号「Ｆ＃ｍ」の演奏タイミングに先行して表示することができる水平軸方向の大きさを有するが、その表示個数は限定されない。演奏レベルの高い人、演奏レベルが標準な人、演奏レベルの低い人の順に、表示個数が多くなればよく、コード記号表示領域Ｖ１１は、この表示個数のコード記号画像を表示できる大きさであればよい。また、運指表示領域Ｖ１３の垂直方向の大きさも、コード記号表示領域Ｖ１１の大きさと同様に定めることができる。

（変形例７）
本実施形態において、音情報はＭＩＤＩ形式の情報であるとしたが、生音（たとえば、ＰＣＭ、またはＭＰＥＧオーディオなどの情報）であっても、以下の手順で投稿コード情報を抽出することができる。あらかじめ、演奏音の音量レベルの閾値を決め、閾値以上の演奏音の音量レベルを検出した場合には、演奏を行ったとして投稿コード情報の演奏タイミングが決まる。投稿コード情報の演奏タイミングから、演奏音のレベルが閾値以下になるまでを演奏期間として、演奏期間において周知の周波数解析を行い、投稿コード情報の演奏タイミングでの周波数成分が特定される。さらに、特定された周波数成分に対応するギターコードのコード記号が特定される。特定されたコード記号、および投稿コード情報の演奏タイミングが対応付けられ、投稿コード情報としてＨＤＤ１０３に記憶される。上記手順は、制御部１００が実行するプログラムとして、ＲＯＭ１０１に記憶されており、制御部１００が、上記手順を実行することにより、生音の音情報から、投稿コード情報を抽出することができる。

具体的には、図１１に示す、生音の音情報の電圧レベルの時間変化を示すグラフを用いて説明する。演奏されれば音情報が入力されるので、閾値以上の音情報が入力された場合には投稿コード情報の演奏タイミングと判断する。
演奏時間ｔ１において音情報の電圧レベルが閾値を超えるので、投稿コード情報の演奏タイミングはｔ１と決められる。演奏タイミングｔ１から閾値を下回るまでの期間を演奏期間として、演奏タイミングｔ１において周波数解析を行う。周波数解析は、一例として高速フーリエ変換を用いて周波数成分を特定する。特定された周波数成分により、和音が特定され、和音からギターコードを示すコード記号「Ｃ＃ｍ」が特定される。演奏タイミングｔ１は、コード記号「Ｃ＃ｍ」と対応付けられて、投稿コード情報として保存される。以下同様に、ｔ２、ｔ６の演奏タイミングにおいてもギターコードが特定される。ｔ１、ｔ２、およびｔ６は図３における投稿コード情報の演奏タイミング、「６４８７（ｍＳ）」、「１８３１８（ｍＳ）」、および「２５９２３（ｍＳ）」に相当する。

［特許請求の範囲記載の構成と本実施形態の対応］
本実施形態に記載の構成と、特許請求の範囲に記載の構成との対応関係は次の通りである。モニタ３４が、表示手段の一例である。制御部１００が、実行する処理のうちステップＳ１３２とステップＳ１３３とが表示制御手段の一例、ステップＳ１３５が評価手段の一例、ステップＳ２０１が抽出手段の一例、およびステップＳ２０４とステップＳ２０５とが生成手段の一例である。ＨＤＤ１０３が、記憶手段の一例である。音響インターフェイス１１１が、入力手段の一例である。音響制御部１１２が、再生手段の一例である。音情報が、録音情報の一例である。楽曲識別情報が、識別情報の一例である。投稿情報が、演奏情報の一例である。投稿コード情報が、コード情報の一例である。コード記号画像Ｍ３１、または運指画像Ｍ３３が、コード画像の一例である。伴奏情報が、伴奏音の一例である。演奏音が、ユーザの演奏音の一例である。コード記号表示領域Ｖ１１、および運指表示領域Ｖ１３が所定領域の一例である。ステップＳ１３５により算出された採点情報が、評価結果の一例である。

１…コマンダ、１００…制御部、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…ＨＤＤ、１１１…音響用インターフェイス、１１２…音響制御部、１２１…映像再生部、１２２…映像制御部、１３１…操作部、１４１…通信用インターフェイス

Claims (4)

1. 楽器により楽曲を演奏した演奏音を録音した録音情報と、前記楽曲の識別情報と、を含む演奏情報を記憶する記憶手段と、
   前記録音情報より演奏コード、および演奏タイミングを含むコード情報を抽出する抽出手段と、
   前記コード情報に従ってコード画像を生成する生成手段と、
   前記識別情報に対応する楽曲の伴奏音を再生する再生手段と、
   前記コード画像を表示する所定領域を備える表示手段と、
   ユーザが楽器により楽曲を演奏したユーザ演奏音を外部から入力する入力手段と、
   前記演奏音と前記ユーザ演奏音とを比較して評価を行う評価手段と、
   前記伴奏音の再生テンポに同期して前記コード画像を前記所定領域に表示し、前記所定領域内に前記コード画像を表示する表示期間を前記評価手段の評価結果に基づいて変更する表示制御手段と、
   を備え、
   前記表示制御手段は、
   前記評価手段の評価が高い場合、前記コード画像の表示期間を短縮し、
   前記評価手段の評価が低い場合、前記コード画像の表示期間を延長する
   ことを特徴とするコード画像表示装置。
2. 前記評価手段は、
   演奏開始前にユーザの演奏履歴から以前に演奏したときの評価結果を抽出し、
   抽出された前記演奏履歴に基づく評価結果を前記評価結果の初期値と設定し、前記表示制御手段は、前記所定領域内に前記コード画像を表示する表示期間を前記評価手段の評価結果に基づいて変更する
   ことを特徴とする請求項１に記載のコード画像表示装置。
3. 前記楽曲にあらかじめ対応付けられたお手本コード情報と前記コード情報とを比較する比較手段を有し、
   前記表示制御手段は、
   前記比較手段の比較結果に基づいてお手本コード情報とコード情報とが異なるコード情報を表すコード画像の表示を強調する
   ことを特徴とする請求項１または請求項２のいずれかに記載のコード画像表示装置。
4. 楽器により楽曲を演奏した演奏音を録音した録音情報と、楽曲の識別情報と、を含むコード画像を記憶する記憶手段と、画像を表示する表示手段と、を備えるコード画像表示装置のコンピュータに、
   前記録音情報より演奏コード、および演奏タイミングを含むコード情報を抽出する抽出ステップと、
   前記コード情報に従って、コード画像を生成する生成ステップと、
   前記識別情報に対応する楽曲の伴奏音を再生する再生ステップと、
   ユーザが楽器により楽曲を演奏したユーザ演奏音を外部から入力する入力ステップと、
   前記演奏音と前記ユーザ演奏音とを比較して評価を行う評価ステップと、
   前記伴奏音の再生テンポに同期して前記コード画像を所定領域に表示し、前記所定領域に前記コード画像を表示する表示期間を前記評価ステップの評価結果に基づいて変更する表示制御ステップと、
   を実行させ、
   前記表示制御ステップでは、
   前記評価ステップにおける評価が高い場合、前記コード画像の表示期間を短縮し、
   前記評価ステップにおける評価が低い場合、前記コード画像の表示期間を延長する
   ことを特徴とするコード画像表示プログラム。