JP2013024967A - 表示装置、表示装置の制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザーに対し楽曲の音情報を適切に提示することのできる表示装置、表示装置の制御方法およびプログラムを提供する。
【解決手段】表示部と、楽曲の音声信号を解析した解析結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報（現在コード情報４１）、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報（後続コード情報４２）を、表示部に表示させる表示制御部と、を備えた表示装置であって、表示制御部は、現在再生音情報として、現在再生位置における第１音候補から第Ｎ音候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じた異なる表示形態で表示させる。
【選択図】図５

Description

本発明は、楽曲の解析結果である音情報を表示する表示装置、表示装置の制御方法およびプログラムに関するものである。

従来、楽曲を楽器演奏する際の演奏タイミングおよび演奏方法を、楽曲の再生にあわせて表示する演奏支援装置が提案されている（特許文献１参照）。この演奏支援装置は、モニタに、楽曲のビートを表す複数のビート記号、当該ビートの位置におけるコードのコード名、および当該コードをギターで演奏するための演奏方法を示すタブ譜を表示する。そして、静止表示する基準位置(現在再生位置)に対し、各ビート記号、コード名およびタブ譜を移動表示させて、演奏タイミングをユーザーに提示する。一方、モニタに表示されるコードは、演奏支援装置が楽曲を解析した解析結果である。演奏支援装置は、任意のビート位置におけるコードの複数候補とその信頼度を算出し、最も信頼度の高いコードのコード名をモニタに表示する。

特開２００９−０４７８６０号公報

しかし、上記の演奏支援装置のように楽曲を解析して提示するコードを決定する場合、必ずしも正しい（適切な）コードを提示できるとは限らない。つまり、最も信頼度の高いコードを提示したとしても、次に信頼度の高いコードがより適切なコードである可能性がある。この場合、演奏支援装置は、ユーザーに対して誤ったコードを提示してしまうという問題がある。
一方、楽曲をユーザーなりにアレンジして演奏したいという要望がある。しかし、ユーザーが楽器演奏の初心者であったり、音楽理論に詳しくない場合、提示されているコード以外にどのようなコードが楽曲に適当であるかがわからず、楽曲をアレンジすることは難しい。

本発明は、上記の点に鑑み、ユーザーに対し楽曲の音情報を適切に提示することのできる表示装置、表示装置の制御方法およびプログラムを提供することを目的とする。

本発明の表示装置は、表示部と、楽曲の音声信号を解析した結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、表示部に表示させる表示制御部と、を備えた表示装置であって、表示制御部は、現在再生音情報として、現在再生位置における第１音候補から第Ｎ音候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする。

本発明の表示装置の制御方法は、楽曲の音声信号を解析した結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、表示部に表示する表示装置の制御方法であって、表示装置が、現在再生音情報として、現在再生位置における第１音候補から第Ｎ音候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする。

本発明のプログラムは、コンピューターに、上記の表示装置の制御方法を実行させることを特徴とする。

これらの構成によれば、現在再生位置における音候補を複数表示するため、例えば、表示される音候補に基づいて楽器を演奏するユーザーは、表示された複数の音候補の中から所望の音候補を選択して楽器を演奏することができる。これにより、ユーザーは、複数の音候補の中から楽曲に合った適切なコードを選択することができる。また、ユーザーは、複数の音候補の中からあえて楽曲と異なるコードを選択することによって、ユーザーなりに楽曲をアレンジして演奏することができる。また、各音候補は、信頼度に応じて異なる表示形態で表示されるため、ユーザーは、各音候補の信頼度を考慮して音候補を選択することができる。なお、「異なる表示形態で表示させる」とは、信頼度に応じて音候補を示す文字や画像の大きさ、形、色、および表示動作（点滅や動揺など）などを変化させることを意味する。なお、「異なる表示形態で表示させる」とは、音候補を示す文字や画像と共に信頼度を示す記号や文字を付加して表示することも含むものとする。

上記の表示装置において、表示制御部は、後続再生音情報として、後続再生位置における第１候補から第Ｎ候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じて異なる表示形態で表示させることが好ましい。

この構成によれば、現在再生位置に加えて後続再生位置における音候補を複数表示するため、ユーザーは、後続再生位置における所望の音候補を選択することができる。よって、例えば、表示される音候補に基づいて楽器を演奏する場合、ユーザーは、現在再生位置の音候補を演奏している間に、次の音候補を選択することができるため、演奏を中断することなく所望の音候補で演奏することができる。

上記の表示装置において、現在再生音情報の第１音候補および後続再生音情報の第１音候補は、異なる音候補を示し、表示制御部は、楽曲の現在再生位置における第１音候補が変化するタイミングで後続再生音情報を現在再生音情報として表示させることが好ましい。

この構成によれば、第１音候補が変化する際に音情報の表示が変化するため、ユーザーは、表示が変化するタイミングのみを注視すればいいので、表示される音候補に基づいて楽器を演奏する場合、利便性が良い。

この場合、表示制御部は、現在再生位置における第１音候補ないし第Ｎ音候補を列記した現在再生音情報、および後続再生位置における第１音候補ないし第Ｎ音候補を列記した後続再生音情報が２列となるように並列表示すると共に、後続再生音情報を楽曲の再生速度に応じて現在再生音情報に対して近づくように相対移動表示させることが好ましい。

この構成によれば、後続再生音情報が現在再生音情報に近づくため、ユーザーは、現在位置における音情報の切り替えタイミングを予め予測することができる。よって、表示される音候補に基づいて楽器を演奏する場合、ユーザーは、音情報が切り替わるまでに次の演奏準備を行うことができる。なお、後続再生情報の第１音候補ないし第Ｎ音候補は、各音候補の信頼度に応じて、現在再生音情報に近づく際の表示形態（表示動作）を変化させて表示することが望ましい。

上記の表示装置において、現在再生音情報および後続再生音情報は、楽曲の各再生位置における和音を示す和音情報であることが好ましい。

この構成によれば、楽曲の各再生位置における和音をユーザーに提示することができる。なお、和音情報は、楽曲のコードを示すコードネーム（例えば、「Ｃ」や「Ｃｍ７」など）、楽曲の調名および和音記号の併記（例えば、○○調の「１」「２」など（実際には、ローマ数字で表記する））、和音を示す音譜のいずれかであることが望ましい。

上記の表示装置において、現在再生音情報および後続再生音情報は、楽曲の各再生位置におけるベース音を示すベース音情報であることが好ましい。

この構成によれば、楽曲の各再生位置におけるベース音をユーザーに提示することができる。なお、ベース音情報は、ベース音を示すアルファベット（例えば、「Ｃ」や「Ｇ♯」など）、音譜のいずれかであることが望ましい。

上記の表示装置において、表示制御部は、楽曲の所定再生区間における解析結果であり、音候補を決定するための平均律の各音に対応する周波数成分の出力レベルを示す出力レベル情報をさらに表示することが好ましい。

この構成によれば、音候補の根拠となる平均律の各音の出力レベルをユーザーに提示することができる。これにより、ユーザーは、出力レベル情報を参考にして、他の音候補を自身で抽出することができる。なお、出力レベル情報が生成される楽曲の所定再生区間は、ユーザーの操作によって指定可能であることが望ましい。

上記の表示装置において、楽曲の音情報を、当該楽曲の楽曲特徴量に関連付けて記憶する音情報記憶部をさらに備え、表示制御部は、再生する楽曲の楽曲特徴量に応じて、音情報記憶部に記憶されている音情報を表示することが好ましい。

この場合、楽曲の音情報を編集するための編集手段をさらに備え、音情報記憶部は、編集手段の編集結果を、音情報として記憶することが好ましい。

この構成によれば、楽曲の音候補をユーザーの所望の音候補に編集することができる。また、編集結果を楽曲の楽曲特徴量に関連付けて音情報記憶部に記憶しておくため、再生する楽曲と記憶した楽曲特徴量に共通点があった場合、記憶した編集結果を反映した音候補を表示することができる。楽曲特徴量は、楽曲の曲名、ジャンル、アーティストなどのメタデータであってもよいし、楽曲のテンポや音量レベルを示す音声データであってもよい。

上記の表示装置において、楽曲を解析する解析処理部をさらに備え、表示制御部は、解析処理部の解析結果に応じて、表示制御を行うことが好ましい。

この構成によれば、解析処理を行うための他の装置を必要とすることなく、楽曲の音情報を表示することができる。

上記の表示装置において、楽曲を再生する再生処理部をさらに備え、表示制御部は、再生処理部の再生速度に応じて、表示部の表示制御を行うことが好ましい。

この構成によれば、再生処理を行うための他の装置を必要とすることなく、楽曲の再生と共に、楽曲の音情報を表示することができる。

本発明の第１実施形態に係る演奏支援装置の制御構成を示すブロック図である。 音声データの各音の出力レベルを示した図である。 音声データの０．２秒ごとのコード候補を示した図である。 音声データのコード候補、コード候補の切り替えタイミングおよび信頼度を示した図である。 演奏支援画面の一例を示した図である。 演奏支援画面におけるコード候補表示領域の画面遷移を示した図である。 小節ごとのコード候補およびベース音候補を示した図である。 演奏支援画面におけるコード候補およびベース音候補の画面遷移を示した図である。 演奏支援画面におけるコード候補およびベース音候補の画面遷移を示した図である。 第２実施形態に係る演奏支援装置の制御構成を示すブロック図である。 編集画面の一例を示した図である。 解析結果表示画面の一例を示した図である。 ベース音候補の他の表示例を示した図である。

［第１実施形態］
以下、添付の図面を参照して、本発明の各実施形態に係る表示装置、表示装置の制御方法およびプログラムについて説明する。なお、本実施形態では、本発明の表示装置として、接続された音楽プレーヤーから入力された音声データ（音声信号）を解析し、音声データの再生にあわせて表示部に楽曲のコード候補を表示して、ユーザーに対して演奏支援を行う演奏支援装置を例示する。

図１に示すように、演奏支援装置１Ａは、音声データ入力部１１、Ａ／Ｄコンバータ１２、バッファ１３、Ｄ／Ａコンバータ１４、スピーカー１５、解析処理部１６、一時記憶部１７、表示制御部１８、表示部１９、操作部２０を備えている。

音声データ入力部１１は、音楽プレーヤーから音声データを入力する。Ａ／Ｄコンバータ１２は、音声データをアナログ／デジタル変換（ＰＣＭ（Pulse Code Modultion）化）する。バッファ１３は、アナログ／デジタル変換された音声データを一時的に格納する。なお、本実施形態において、バッファ１３は、５秒間分の音声データを格納する。Ｄ／Ａコンバータ１４は、バッファ１３に格納された５秒間分の音声データをデジタル／アナログ変換する。スピーカー１５は、デジタル／アナログ変換された音声データを外部に出力する。すなわち、音楽プレーヤー２から入力された音声データは、入力の５秒後に演奏支援装置１Ａのスピーカー１５から出力されることになる。なお、請求項における「再生処理部」とは、Ｄ／Ａコンバータ１４およびスピーカー１５をさす。

解析処理部１６は、バッファ１３に格納された５秒間分の音声データについて解析し、コード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングを抽出する（音解析については、後に詳述する）。一時記憶部１７は、解析処理部１６の解析結果であるコード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングを一時的に記憶する。なお、請求項における「音候補」とは、コード候補を示す。

表示制御部１８は、後述の表示部１９の表示制御を行う。具体的には、一時記憶部１７に記憶されたコード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングに基づいて、演奏支援画面３（図５参照）におけるコード候補およびベース音候補の表示制御を行う。

表示部１９は、音声データの再生にあわせて楽曲のコード候補およびベース音候補を表示する演奏支援画面３（図５参照）を表示する。

操作部２０は、演奏支援装置１Ａの各種操作を行うために用いられる。なお、操作部２０は、装置に備えられた操作子、リモートコントローラー、表示部１９に重畳されたタッチパネルなどで構成可能である。

次に、図２ないし図４を参照し、解析処理部１６の音解析について説明する。なお、以下の説明では、主に、楽曲のコード候補を決定するための音解析について説明する。

先ず、解析処理部１６は、バッファ１３に格納されているＰＣＭ化された５秒間分の音声データを０．２秒毎に分割する。そして、分割した０．２秒間分の各音声データについて、１２平均律の各音（ド，ド♯，・・・，ラ♯，シ）に対応する周波数成分を抽出し、各周波数成分の出力レベルを解析する。図２は、音声データの０．２秒ごとの解析結果を示している。なお、同図において「時間（秒）」の欄に「０」と記載されている部分は、音声データの楽曲開始〜０．２秒後の区間の出力レベルを示し、「０．２」と記載されている部分は、楽曲開始０．２秒後〜０．４秒後の区間の出力レベルを示している。また、本実施形態において、１２平均律の各音に対応する周波数成分の出力レベルとは、音声データに含まれる複数のオクターブにおいて同音（例えば、高音の「ド」および低音の「ド」）の各周波数成分の出力レベルを合算したものとする。

続いて、解析処理部１６は、図２に示す各０．２秒区間における各周波数成分の出力レベルの分布に基づいて、各０．２秒区間における楽曲のコード候補を、信頼度の高い順に第１候補から第３候補まで決定する。図３は、音声データの各０．２秒区間におけるコード候補を示している。図示のように、０〜０．２秒の区間における楽曲のコード候補は、第１候補として「Ｃ」、第２候補として「Ｅｍ」、および第３候補として「Ａｍ」が決定されている。そして、解析処理部１６は、図３に示す各０．２秒区間におけるコード候補の分布に基づいて、コード候補（第１候補〜第３候補）の切り替えタイミングを決定する。すなわち、同一のコードを連続してコード候補とする楽曲の区間を決定する。そして、解析処理部１６は、各区間における第１候補〜第３候補の信頼度の絶対値を算出する。図４は、決定されたコード候補の切り替えタイミングおよび信頼度を示している。図示のように、楽曲開始〜１．２秒の区間において、コード候補の第１候補は「Ｃ」であり、その信頼度は「６０」である。同様に、第２候補は「Ｅｍ」であり、その信頼度は「５０」、第３候補は「Ａｍ」であり、その信頼度は「２０」である。

なお、上記のコード候補の種類、切り替えタイミング、信頼度の決定は、雑音成分や前後関係の考慮、音楽理論を踏まえた公知の解析手法を用いて、決定することが望ましい。

また、解析処理部１６は、バッファ１３に格納された音声データから所定の低周波数帯域を抽出し、当該低周波数帯域における１２平均律の各音に対応する各周波数成分の出力レベルを解析して、ベース音候補を決定する。その他、公知の解析手法を用いても良い。

次に、図５ないし図９を参照し、表示部１９に表示される演奏支援画面３について説明する。図５に示すように、演奏支援画面３は、解析処理部１６が解析したコード候補（和音情報）を表示するコード候補表示領域３１、およびベース音候補（ベース音情報）を表示するベース音候補表示領域３２を有し、さらに、各音の出力レベルを示す出力レベル情報３３および表示キー情報３４を表示する。

コード候補表示領域３１は、現在再生中のコード候補を示す現在コード情報４１（現在再生音情報）と、現在コード情報４１に後続するコード候補を示す後続コード情報４２（後続再生音情報）と、を表示する。現在コード情報４１は、現在コード表示位置４３に表示され、後続コード情報４２は、後続コード表示位置４４に表示される。現在コード情報４１および後続コード情報４２は、楽曲の各再生区間における第１コード候補（１ｓｔ）、第２コード候補（２ｎｄ）および第３コード候補（３ｒｄ）を、候補の順序にしたがって縦方向に列記表示して構成され、各コード情報における同順位のコード候補が横方向に並ぶように並列配置される。なお、後続コード情報４２は、現在コード表示位置４３に固定表示される現在コード情報４１に対して、楽曲の再生速度にあわせて後続コード表示位置４４から現在コード表示位置４３に近づくように移動する。また、現在コード情報４１の第１コード候補は、枠画像に囲まれて表示される。ユーザーは、枠画像に囲まれた第１コード候補およびその他の第２コード候補、第３コード候補を参考にして、演奏するコードを決定する。

各コード情報における第１コード候補、第２コード候補および第３コード候補は、各コード名を示すアルファベットと、各コード候補の信頼度の絶対値を示す数値と、で構成されている。そして、各コード名を示すアルファベットは、各コード候補の信頼度に応じたフォントサイズで表示される。すなわち、各コード候補は、第１コード候補、第２コード候補、第３コード候補の順に大きいフォントサイズで表示されるが、例えば、２つの第１コード候補同士、第２コード同士、第３コード同士が同一のフォントサイズで表示されるのではなく、その信頼度の絶対値に応じた絶対的なフォントサイズの違いで表示される。これにより、ユーザーは、直感的に各コード候補の信頼度を把握することができる。例えば、図５に示すように、現在コード情報４１において第１コード候補と第２コード候補は、信頼度に大差がないのに対し、後続コード情報４２において第１コード候補の信頼度が突出していることが、各コード候補のフォントサイズで直感的に把握することができる。

なお、請求項における「信頼度に応じた異なる表示形態」とは、各コード候補を信頼度に応じたフォントサイズで表示すること、および信頼度を示す数値を併記することを指す。なお、他の表示方法として、信頼度に応じてコード候補の表示色を変化させたり、表示動作（点滅や移動軌跡など）などを変化させてもよい。

このように、現在再生中のコード候補および後続するコード候補として、複数のコード候補（第１コード候補、第２コード候補および第３コード候補）を表示することによって、ユーザーは、表示される複数のコード候補の中から演奏するコードを選択することができる。さらに、コードの種類に加えて信頼度を表示するため、ユーザーは、各コード候補の信頼度の差を参考にして演奏するコードを適切に選択することができる。

ベース音候補表示領域３２は、現在再生中のベース音候補を示す現在ベース音情報５１、および後続するベース音候補を示す後続ベース音情報５２を表示する。これらの現在ベース音情報５１および後続ベース音情報５２は、各音名を示すアルファベットで表示される。現在ベース音情報５１は、現在ベース音表示位置５３に表示され、後続ベース音情報５２は、後続ベース音表示位置５４に表示される。そして、現在ベース音表示位置５３に固定表示される現在ベース音情報５１に対し、後続ベース音情報５２は、楽曲の再生速度にあわせて後続ベース音表示位置５４から現在ベース音表示位置５３に近づくように移動する。なお、現在ベース音情報５１は、枠画像に囲まれて表示される。このように、コード候補にあわせてベース音候補を表示することにより、ユーザーは、本演奏支援装置１Ａをベース音の演奏に活用することができる。また、本実施形態によれば、楽曲の音声データの解析結果に基づいたベース音候補を表示するため、コードから導き出すことが困難な楽曲特有のベース音をユーザーに提示することができる。なお、ベース音候補は、アルファベット表示の他、ベース音およびベース音の切り替わりタイミングを示す簡易音譜で表示しても良い（図１３参照）。

出力レベル情報３３は、音声データの各音の出力レベルを表示する。なお、出力レベル情報３３は、音声データの再生中の０．２秒区間における出力レベルを表示する。すなわち、出力レベル情報３３は、図２に示す解析結果を棒グラフ化したものである。よって、出力レベル情報３３は、楽曲の再生にあわせて０．２秒ごとに示す数値が変化する。なお、同一のコードがコード候補である再生区間における出力レベルを表示する構成としてもよい。

例えば、ギターでカポタストを利用する場合、実際の再生されている音声データのコードと演奏者の抑えるコードが異なる。こういったケースでも適用できるように、実際の音声データのコードからシフトさせたコードを表示させる。表示キー情報３４は、表示されているコード候補のコードと、実際に再生されている音声データのコードと、の差を表示する。例えば、実際の音声データのコードが「Ｄ」の場合に、現在コード情報４１の第1候補に「Ｃ」と表示するよう設定されている場合は、表示キー情報３４に「−２」と表示する。

次に、図６を参照して、コード候補の表示動作について説明する。同図は、楽曲再生中における演奏支援画面３の画面遷移図である。なお、説明のため、演奏支援画面３におけるコード候補表示領域３１のみを図示している。また、同図は、図４に示すコード候補の切り替わりタイミングに基づいた画面遷移を示す。

図６に示すように、楽曲再生開始時は、現在コード情報４１が現在コード表示位置４３に、後続コード情報４２ａが後続コード情報表示位置４４に、固定表示される。そして、楽曲開始から０．２秒後に、後続コード情報４２ａが、後続コード情報表示位置４４から現在コード表示位置４３に向かって移動を開始する。そして、後続コード情報４２ａの移動開始と共に、後続コード情報表示位置４４には、後続コード情報４２ａに後続する後続コード情報４２ｂが新たに表示される。そして、楽曲開始から１．２秒後に後続コード情報４２ａが現在コード表示位置４３に到達し、現在コード情報４１として、固定表示される。すなわち、後続コード情報４２は、現在再生中のコード候補が切り替わるタイミング（図６に示す例では楽曲開始から１．２秒後）の１秒前に移動を開始し、当該タイミングと同時に、現在コード情報４１に置き換わる。

なお、請求項における「現在再生位置」とは、楽曲における現在再生中の位置を示し、「後続再生位置」とは、現在再生位置における第１コード候補が異なるコードに切り替わるタイミングをさす。

次に、図７ないし図９を参照し、コード候補およびベース音候補の表示動作について説明する。図７は、楽曲の任意の再生区間における小節ごとのコード候補およびベース音候補を示している。図８および図９は、図７に示すコード候補およびベース音候補に基づいた演奏支援画面３の画面遷移を示している。なお、説明のため、両図において、コード候補表示領域３１およびベース音候補表示領域３２のみを図示し、各コード候補の信頼度の表示を省略している。

図８に示すように、１小節目開始時は、現在コード情報４１が現在コード表示位置４３に、後続コード情報４２ａが後続コード表示位置４４に、固定表示される。同様に、現在ベース音情報５１が現在ベース音表示位置５３に、後続ベース音情報５２ａが後続ベース音表示位置５４に表示される。そして、２小節目開始１秒前に、後続ベース音情報５２ａが、後続ベース音表示位置５４から現在ベース音表示位置５３に向かって移動を開始する。このとき、後続ベース音表示位置５４には、後続ベース音情報５２ａに後続する後続ベース音情報５２ｂが新たに表示される。そして、２小節目開始時に後続ベース音情報５２ａが現在ベース音表示位置５３に到達し、現在ベース音情報５１として、固定表示される。一方、１小節目および２小節目におけるコード候補が同一であるため、現在コード情報４１および後続コード情報４２の表示は変化しない。

続いて、図９に示すように、３小節目開始１秒前に、後続コード情報４２ａは、後続コード表示位置４４から現在コード表示位置４３に向かって移動を開始する。このとき、後続コード表示位置４４には、後続コード情報４２ａに後続する後続コード情報４２ｂが新たに表示される。そして、３小節目開始時に後続コード情報４２ａが現在コード表示位置４３に到達し、現在コード情報４１として、固定表示される。一方、２小節目および３小節目におけるベース音候補が同一であるため、現在ベース音情報５１および後続ベース音情報５２の表示は変化しない。

このように、現在コード表示位置４３に表示されるコード候補は、現在再生中の第１コード候補が異なるコードに切り替わるタイミングで変化する。すなわち、再生中の第１コード候補が異なるコードに変化しない限り、現在コード表示位置４３に表示されるコード候補は変化せず、後続コード情報４２も移動しない。ベース音候補についても同様である。これにより、楽器の演奏をしているユーザーは、後続コード情報４２または後続ベース音情報５２が現在コード表示位置４３または現在ベース音表示位置５３に向かって移動し、現在コード情報４１および現在ベース音情報５１に置き換わるタイミングのみを注視するだけでも演奏をすることができる。

［第２実施形態］
以下、図１０ないし図１２を参照し、本発明の第２実施形態に係る演奏支援装置１Ｂついて説明する。ただし、上記の実施形態と同様の構成については、同様の符号を付し、詳細な説明を省略する。第１実施形態では、外部からの楽曲の入力と同時にリアルタイムで楽曲の音声データを解析し、当該解析結果に基づくコード候補やベース音候補を表示する場合を例示したが、本実施形態に係る演奏支援装置１Ｂは、装置内に楽曲ＤＢを有し、任意の楽曲の再生に伴ってコード候補やベース音候補を表示する点で異なっている。なお、演奏支援装置１Ｂは、楽曲のコード候補を編集可能な編集機能、および編集結果を学習する学習機能を備えている。特に図示しないが、本実施形態の演奏支援装置は、音楽ＤＢを有するＰＣまたは携帯機器などにより構成される。

図１０は、本実施形態にかかる演奏支援装置１Ｂの制御構成を示したブロック図である。図示のように、演奏支援装置１Ｂは、楽曲ＤＢ１０１、スピーカー１５、表示部１９、操作部２０、音情報ＤＢ１０２（音情報記憶部）およびこれらを統括制御する制御部１０３を備えている。

楽曲ＤＢ１０１は、各楽曲の楽曲データを記憶している。楽曲データは、楽曲の音声データ、および楽曲の曲名、アーティスト名、ジャンル名を含むメタデータにより構成されている。なお、メタデータを音声データと関連付けて別々に格納してもよい。また、演奏支援装置１Ｂの外部から音声入力されたものを録音および格納してもよく、ＰＣやＵＳＢメモリといった外部記憶装置などに存在するファイル化された音声データを格納しても良い。

表示部１９は、上記の実施形態と同様の演奏支援画面３に加え、楽曲のコード候補をユーザーが編集するための編集画面４（図１１参照）と、解析結果を表示する解析結果表示画面５（図１２参照）と、を表示する。なお、本演奏支援装置１Ｂは、演奏支援画面３に、音情報ＤＢ１０２に記憶されている編集結果を考慮したコード候補を表示する。すなわち、本演奏支援装置１Ｂは、過去にコード候補を編集した編集内容を学習する学習機能を備えている。

操作部２０は、表示部１９に表示する画面の切り替えや、編集画面４におけるコード候補の編集を行うために用いられる。なお、操作部２０は、装置に備えられた操作子やタッチパネルでもよいし、パーソナルコンピューター等の外部装置を用いて、これらの各種操作を行い、その操作結果を演奏支援装置１Ｂに入力する構成としてもよい。

音情報ＤＢ１０２は、楽曲ＤＢ１０１に存在する楽曲の音情報（コード進行／ベース音情報など）を、メタデータ（曲名、アーティスト名、ジャンル名）と関連付けて格納する。なお、音情報ＤＢ１０２は、楽曲ＤＢ１０１に存在している楽曲の音声データを不図示の解析処理部により解析し、その解析結果である音情報を格納してもよい。また、音情報ＤＢ１０２は、外部機器から入力される音声を不図示の解析処理部により第１実施形態の方法でリアルタイムに解析し、この解析結果である音情報を格納してもよい。また、音情報ＤＢ１０２は、ＰＣやＵＳＢメモリといった外部記憶装置などに存在するファイル化された音情報データを格納してもよい。

制御部１０３は、主に、楽曲の再生処理、表示部１９の表示制御を行う。ユーザーが楽曲ＤＢ１０１内に存在する任意の楽曲を選択すると、スピーカー１５からその楽曲が再生される。制御部１０３は、再生中の楽曲に関連付けられた音情報を音情報ＤＢ１０２から取得し、表示部１９に現在再生されている楽曲の音情報を表示する。

次に、図１１および図１２を参照し、本演奏支援装置１Ｂのコード候補の編集機能について説明する。図１１は、表示部１９に表示される編集画面４の一例である。同図（ａ）に示すように、編集画面４には、楽曲の拍位置を示す複数の拍位置画像６１、各拍位置におけるコード候補情報６２、コード候補情報６２を編集するための編集用カーソル６３、が表示される。拍位置画像６１は、各拍位置を示す縦方向の線画像である。コード候補情報６２は、各拍位置画像６１上に配置された第１コード候補（１ｓｔ）、第２コード候補（２ｎｄ）および第３コード候補（３ｒｄ）で構成されている。また、コード候補情報６２は、上記した演奏支援画面３におけるコード情報と異なり、すべての拍位置における第１コード候補、第２コード候補および第３コード候補を表示する。編集用カーソル６３は、第１コード候補を選択および変更するために用いられ、ユーザーの操作に基づいて、任意の拍位置における第１コード候補上を移動する。なお、本実施形態では、編集用カーソル６３を左右に移動させることで、編集画面４における楽曲の表示区間をスクロールさせることができる。

ユーザーは、操作部２０を用いて編集用カーソル６３を操作し、各拍位置における第２コード候補および第３コード候補を参考に、第１コード候補を所望のコード名に変更する。同図（ｂ）は、編集後の編集画面４を示したものである。図示のように、第１コード候補の編集が終了すると、第２コード候補および第３コード候補は、消去される。

図１２は、表示部１９に表示される解析結果表示画面５の一例である。解析結果表示画面５には、解析対象区間を指定するための区間指定ボックス６４と、指定された解析対象区間における音声データの解析結果を示す解析結果画像６５と、が表示される。ユーザーは、区間指定ボックス６４に、所望の区間の始点および終点を入力する。なお、始点および終点は、拍位置を示す拍番号でも良いし、小節を示す小節番号でもよい。また、楽曲の任意の基準点を入力すると、当該基準点から前後所定の長さを含む区間を解析対象区間とする構成でも良い。解析結果画像６５は、指定された解析対象区間における音声データの各周波数成分の出力レベルがグラフ化されたものである。すなわち、図２に示す解析結果のうち、解析対象区間に含まれる出力結果を合算してグラフ化したものである。図１２に示す解析結果によれば、１２音のうち出力レベルの高い音に基づいて、当該解析対象区間におけるコード候補は、「Ｃｍ７^（♭５）」であると推測することができる。

このように、ユーザーは、コード候補の編集中に、表示部１９の画面を編集画面４から解析結果表示画面５に切り替え、所望の解析対象区間を指定することにより、実際の解析結果を参照して、適切にコード候補を編集することができる。なお、編集画面４において、各コード候補の信頼度を示す数値をコード名に併記しても良い。また、編集時は、音情報ＤＢ１０２に格納されている音情報を表示部１９（編集画面４）に表示し、編集後に、音情報ＤＢ１０２に格納されている音情報が編集結果に書き換えられる（上書き保存される）。これにより、次回編集済みの楽曲を再生した際に、自動的に編集した内容が反映された音情報が通常画面３に表示される。

なお、曲名、アーティスト名およびジャンル名（メタデータ）は、音情報（編集結果）がどの楽曲のものであるかを一意に特定するために用いられる。よって、楽曲を一意に特定できるデータであれは、楽曲のＩＤなどその他のデータを用いても良い。なお、再生する楽曲のメタデータ（楽曲特徴量）と記憶した音情報に紐付けられたメタデータ（楽曲特徴量）に共通点があった場合、記憶した編集結果を反映した音候補を表示してもよい。また、再生する楽曲および記憶した音情報を紐付けるための楽曲特徴量は、楽曲のジャンル、アーティストなどのメタデータであってもよいし、楽曲のテンポや音量レベルを示す音声データであってもよい。

これまで説明した演奏支援装置１Ａ，Ｂによれば、複数のコード候補をその信頼度に応じた表示形態で表示することにより、ユーザーは、各再生区間におけるコード候補の信頼度を直感的に把握することができる。よって、ユーザーは、解析結果に基づいて決定された第１コード候補が、実際の楽曲にマッチしない場合、すなわち実際の楽曲のコードとは異なるコードであった場合や、第１コード候補以外のコードで演奏したい場合などにおいて、ユーザーに対して、確からしいコードの選択を促すことができる。

なお、本実施形態において、解析処理部１６は、音声データに含まれる複数のオクターブにおける同音の出力レベルを合算して音解析を行ったが、所定の１オクターブにおける周波数成分の出力レベルを解析しても良い。また、複数のオクターブにおける各音の個別の出力レベルを解析してもよい。

また、演奏支援画面３におけるコード候補は、コード名を示すアルファベットの他、ギリシャ文字表示、楽曲の調名および和音記号の併記（例えば、○○調の「１」「２」など（実際には、ローマ数字で表記する））、コードを構成する和音を示す音譜、コードの演奏方法を示す画像（タブ譜や鍵盤画像など）で表示しても良い。また、コード候補に加えて、楽曲の拍位置を示す拍位置画像６１を共に表示しても良い。また、ギター等の運指情報を表示しても良い。

また、本実施形態において、演奏支援画面３の後続コード情報４２は、第１コード候補、第２コード候補および第３コード候補が同時に移動する構成としたが、コード候補ごとに移動タイミングを異ならせても良い。例えば、第１コード候補が同一であっても、第２コード候補および第３コード候補が変化する場合は、第２コード候補および第３コード候補のみを移動させても良い。また、現在コード情報４１および後続コード情報４２が相対的に近づく表示であればよく、現在コード情報４１を後続コード情報４２側に向かって移動表示させても良い。

また、コード候補に加えて、ベース音候補を編集可能としても良い。また、ベース音候補として複数の候補を表示しても良い。つまり、請求項における「音情報」としてベース音と表示しても良い。

また、マイクから入力された音声データを解析可能としても良い。また、その他、演奏支援装置１Ｂに、所定区間のリピート再生、テンポチェンジ、キー変更などの機能を備えても良い。

また、演奏支援装置１Ａ，Ｂに再生処理部（Ｄ／Ａコンバータ１４およびスピーカー１５）を設けず、表示部１９の表示のみで演奏支援を行う構成としてもよい。

また、クラウドコンピューティングとして本発明を利用する実施形態で、Ｗｅｂ上のサーバーや、ＬＡＮネットワーク上のサーバーに楽曲ＤＢ１０１および／もしくは音情報ＤＢ１０２を有している変形例でも良い。

なお、上記の各実施形態に示した、演奏支援装置１Ａ，Ｂの各構成要素をプログラムとして提供することも可能である。また、そのプログラムを記憶媒体（図示省略）に格納して提供することも可能である。記録媒体としては、ＣＤ−ＲＯＭ、フラッシュＲＯＭ、メモリカード（コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスクおよびフレキシブルディスク等を利用することができる。

また、上述した実施例によらず、演奏支援装置１Ａ，Ｂの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。

１Ａ，Ｂ：演奏支援装置 ２：音楽プレーヤー ３：演奏支援画面 ４：編集画面 ５：解析結果表示画面 １６：解析処理部 １８：表示制御部 １９：表示部 ３３：出力レベル情報 ４１：現在コード情報 ４２：後続コード情報 ５１：現在ベース音情報 ５２：後続ベース音情報 １０２：音情報ＤＢ

Claims (13)

1. 表示部と、
   楽曲の音声信号を解析した結果である音候補を示す音情報であり、前記楽曲の現在再生位置における音候補を示す現在再生音情報、および前記現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、前記表示部に表示させる表示制御部と、を備えた表示装置であって、
   前記表示制御部は、前記現在再生音情報として、前記現在再生位置における第１音候補から第Ｎ音候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする表示装置。
2. 前記表示制御部は、前記後続再生音情報として、前記後続再生位置における第１音候補から第Ｎ音候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする請求項１に記載の表示装置。
3. 前記現在再生音情報の第１音候補および前記後続再生音情報の第１音候補は、異なる音候補を示し、
   前記表示制御部は、前記楽曲の現在再生位置における第１音候補が変化するタイミングで前記後続再生音情報を前記現在再生音情報として表示させることを特徴とする請求項２に記載の表示装置。
4. 前記表示制御部は、前記現在再生位置における前記第１音候補ないし前記第Ｎ音候補を列記した前記現在再生音情報、および前記後続再生位置における前記第１音候補ないし前記第Ｎ音候補を列記した前記後続再生音情報が２列となるように並列表示すると共に、前記後続再生音情報を前記楽曲の再生速度に応じて前記現在再生音情報に対して近づくように相対移動表示させることを特徴とする請求項２に記載の表示装置。
5. 前記現在再生音情報および前記後続再生音情報は、前記楽曲の各再生位置における和音を示す和音情報であることを特徴とする請求項１に記載の表示装置。
6. 前記現在再生音情報および前記後続再生音情報は、前記楽曲の各再生位置におけるベース音を示すベース音情報であることを特徴とする請求項１に記載の表示装置。
7. 前記表示制御部は、前記楽曲の所定再生区間における解析結果であり、前記音候補を決定するための平均律の各音に対応する周波数成分の出力レベルを示す出力レベル情報をさらに表示することを特徴とする請求項１に記載の表示装置。
8. 前記楽曲の音情報を、当該楽曲の楽曲特徴量に関連付けて記憶する音情報記憶部をさらに備え、
   前記表示制御部は、再生する楽曲の楽曲特徴量に応じて、前記音情報記憶部に記憶されている前記音情報を表示することを特徴とする請求項１に記載の表示装置。
9. 前記楽曲の前記音情報を編集するための編集手段をさらに備え、
   前記音情報記憶部は、前記編集手段の編集結果を、前記音情報として記憶することを特徴とする請求項８に記載の表示装置。
10. 前記楽曲を解析する解析処理部をさらに備え、
    前記表示制御部は、前記解析処理部の解析結果に応じて、表示制御を行うことを特徴とする請求項１に記載の表示装置。
11. 前記楽曲を再生する再生処理部をさらに備え、
    前記表示制御部は、前記再生処理部の再生速度に応じて、前記表示部の表示制御を行うことを特徴とする請求項１に記載の表示装置。
12. 楽曲の音声信号を解析した結果である音候補を示す音情報であり、前記楽曲の現在再生位置における音候補を示す現在再生音情報、および前記現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を表示する表示装置の制御方法であって、
    前記表示装置が、
    前記現在再生音情報として、前記現在再生位置における第１音候補から第Ｎ音候補（但し、ＮはＮ≧２となる整数）までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする表示装置の制御方法。
13. コンピューターに、請求項１２に記載の表示装置の制御方法を実行させるためのプログラム。

Images