JP2008268368A - 評価装置 - Google Patents

Abstract

【課題】複数の歌唱パートを有する曲において、歌唱されているパートに対応して評価する技術を提供する。
【解決手段】歌唱者の歌唱音声がマイクロホン１５１，１５２によって収音され、歌唱音声データに変換される。カラオケ装置１の制御部１１は、歌唱音声データからピッチを検出し、歌唱ピッチデータを生成する。制御部１１は、歌唱ピッチデータを複数のリファレンスピッチデータのそれぞれとノート単位で比較し、比較結果に基づいてリファレンスピッチデータのいずれかを選択する。制御部１１は、予め定められた回数以上連続して同一のデータが選択された場合に、選択されたデータを評価用データとして採用する。制御部１１は、歌唱音声データと評価用データとを比較し、比較結果に応じて歌唱音声データを評価する。
【選択図】図１

Description

本発明は、歌唱（又は演奏）を評価する技術に関する。

カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。

ところで、カラオケ曲には、二人の歌唱者で歌唱するデュエット曲や複数の歌唱者で合唱する曲といったように、複数の歌唱パートを有する曲がある。このような複数の歌唱パートを有する曲において歌唱の採点を行う方法が特許文献２において提案されている。
特開２００５−１０７３３０号公報 特開２００４−１０９２６０号広報

しかしながら、特許文献２に記載の方法では、歌唱者がパート選択スイッチを用いて選択したパートについてしか採点することができなかった。このように歌唱するパートを選択する操作は歌唱者にとって煩雑であることが多い。これは、楽器の演奏についても同様である。
本発明は上述した背景の下になされたものであり、複数の歌唱（又は演奏）パートを有する曲において、歌唱（又は演奏）されているパートに対応した評価を行う技術を提供することを目的とする。

上記課題を解決するため、本発明の好適な態様である評価装置は、ノートの列から構成される各々異なる複数のリファレンスデータを記憶するリファレンスデータ記憶手段と、第１のオーディオ信号からピッチを検出する第１のピッチ検出手段と、前記第１のピッチ検出手段により検出されたピッチを前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータとノート毎に比較し、その差分に基づいて前記複数のリファレンスデータのうちのいずれかひとつをノート毎に選択する第１の選択手段と、前記第１の選択手段によって予め定められた回数以上連続して同一のリファレンスデータが選択された場合に、選択されたリファレンスデータを評価用データとして採用する一方、それ以外の場合には、直前に採用したリファレンスデータを継続して評価用データとして採用する第１の評価用データ採用手段と、前記第１の評価用データ採用手段によって採用された評価用データと前記第１のオーディオ信号とを比較し、比較結果に基づいて該第１のオーディオ信号を評価する第１の評価手段と、前記第１の評価手段による評価結果を示すデータを出力する出力手段とを具備することを特徴とする。

上述の態様において、前記第１の選択手段は、前記第１のピッチ検出手段により検出されたピッチを前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータとノート毎に比較し、その差分が最も小さいリファレンスデータをノート毎に選択してもよい。

上述の態様において、第２のオーディオ信号からピッチを検出する第２のピッチ検出手段と、前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータのうちの前記第１の評価用データ採用手段によって採用されていないデータのいずれかひとつを評価用データとして採用する第２の評価用データ採用手段と、前記第２の評価用データ採用手段によって採用された評価用データと前記第２のオーディオ信号とを比較し、比較結果に基づいて該第２のオーディオ信号を評価する第２の評価手段とを具備し、前記出力手段は、前記第１の評価手段による評価結果及び前記第２の評価手段による評価結果の少なくともいずれか一方を示すデータを出力してもよい。

また、上述の態様において、第２のオーディオ信号からピッチを検出する第２のピッチ検出手段と、前記第２のピッチ検出手段により検出されたピッチを前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータとノート毎に比較し、その差分に基づいて前記複数のリファレンスデータのうちのいずれかひとつをノート毎に選択する第２の選択手段と、前記第２の選択手段によって予め定められた回数以上連続して同一のリファレンスデータが選択された場合に、選択されたデータを評価用データとして採用する一方、それ以外の場合には、直前に採用したリファレンスデータを継続して評価用データとして採用する第２の評価用データ採用手段と、前記第２の評価用データ採用手段によって採用された評価用データと前記第２のオーディオ信号とを比較し、比較結果に基づいて該第２のオーディオ信号を評価する第２の評価手段とを具備し、前記出力手段は、前記第１の評価手段による評価結果及び前記第２の評価手段による評価結果の少なくともいずれか一方を示すデータを出力してもよい。

また、上述の態様において、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果とのいずれか一方を選択する評価結果選択手段を備え、前記出力手段は、前記評価結果選択手段によって選択された評価結果を示すデータを出力してもよい。
また、上述の態様において、前記評価結果選択手段は、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果のうち評価結果が高いほうを選択してもよい。

また、上述の態様において、前記出力手段は、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果との平均点を算出し、算出結果を示すデータを出力してもよい。
また、上述の態様において、前記評価結果選択手段は、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果とのいずれか一方をノート毎に選択し、前記出力手段は、前記評価結果選択手段によってノート毎に選択された評価結果を示すデータをノート単位で出力してもよい。
また、上述の態様において、前記第１のオーディオ信号から該オーディオ信号のパワーを検出する第１のパワー検出手段と、前記第２のオーディオ信号から該オーディオ信号のパワーを検出する第２のパワー検出手段とを備え、前記評価結果選択手段は、前記第１のパワー検出手段により検出されたパワーと前記第２の検出手段により検出されたパワーとを比較し、パワーがおおきい方のオーディオ信号の評価結果を選択してもよい。

本発明によれば、複数の歌唱（又は演奏）パートを有する曲において、歌唱（又は演奏）されているパートに対応した評価を行うことができる。

＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してカラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルを備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、カラオケ装置１の利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５１，１５２はそれぞれ、歌唱者の音声を収音し、収音した音声信号を表すアナログ信号を出力する収音手段である。音声処理部１６は、マイクロホン１５１，１５２が出力するアナログ信号をＡ／Ｄ変換してデジタルデータに変換する。また、音声処理部１６は、デジタルデータをＤ／Ａ変換してアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する放音手段である。

なお、この実施形態では、マイクロホン１５１，１５２とスピーカ１７とがカラオケ装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５１，１５２から音声処理部１６へ入力されるオーディオ信号及び音声処理部１６からスピーカ１７へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
なお、この実施形態では、２つのマイクロホン１５１，１５２を図示しているが、マイクロホンは２つに限らず、１つであってもよく、また、３つ以上であってもよい。

カラオケ装置１の記憶部１２は、図１に示すように、楽曲データ記憶領域１２１と、背景画データ記憶領域１２２と、評価結果データ記憶領域１２３とを有している。楽曲データ記憶領域１２１には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域１２２には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。評価結果データ記憶領域１２３には、歌唱者の歌唱音声の評価結果を示す評価結果データが記憶される。

ここで、楽曲データ記憶領域１２１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。楽曲データは、その楽曲が有する歌唱パートの数だけリファレンスデータトラックを有しており、それぞれのリファレンスデータトラックに各々歌唱パートのピッチの内容を表すリファレンスデータが記述されている。図２に示す例においては、楽曲データは２つのリファレンスデータトラックを有している。なお、歌唱パートが１つである楽曲の場合には楽曲データは１つのリファレンスデータトラックを有しており、また、歌唱パートが３つである楽曲の場合には楽曲データは３つのリファレンスデータトラックを有している。なお、楽曲データが複数のリファレンスデータトラックを有する場合には、それぞれのリファレンスデータトラックには各々異なるリファレンスデータが記述されている。楽曲データのヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。

次に、リファレンスデータトラックの各々に記述されているリファレンスデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。

第３列にはチャンネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。楽曲データに複数のリファレンスデータが含まれる場合には、それぞれのリファレンスデータのチャンネル番号として異なる番号が用いられる。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。

次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。

利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域１２１から読み出され、ＲＡＭに転送される。制御部１１がＲＡＭ内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部１１はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータを生成する。

一方、マイクロホン１５１，１５２に入力された歌唱者の音声は、音声信号となり、スピーカ１７より出力されるとともに、音声処理部１６に入力される。音声処理部１６がこれらの音声信号をＡ／Ｄ変換した後、制御部１１は、歌唱音声のピッチを抽出し、歌唱ピッチデータとして出力する。この場合、歌唱音声のピッチの抽出処理はフレーム（およそ１０ｍｓ）ごとに行われるようになっている。
なお、以下の説明においては、説明の便宜上、マイクロホン１５１から出力され、音声処理部でＡ／Ｄ変換されたデジタルデータを「歌唱音声データＳＡ１」と称し、マイクロホン１５２から出力され、音声処理部でＡ／Ｄ変換されたデジタルデータを「歌唱音声データＳＡ２」と称することとする。

＜Ｂ：動作＞
図４は、カラオケ装置１の制御部が行う処理の流れを示すフローチャートである。以下、図４を参照しつつ、この実施形態の動作について説明する。利用者が操作部１４を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域１２１からＲＡＭへ転送されるとともに、指定された楽曲に対応する背景画データが背景画データ記憶領域１２２からＲＡＭへ転送される。制御部１１は、ＲＡＭ内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行うとともに、ＲＡＭ内の楽曲データの歌詞データと背景画データを順次読み出すことにより歌詞と背景画の表示処理を実行する（ステップＳ１）。具体的には、制御部１１は、楽曲データの演奏トラックに記述されたイベントデータを音声処理部１６に出力する。音声処理部１６は、供給されるイベントデータに基づいて楽曲音声信号を生成する。生成された楽曲音声信号は、スピーカ１７より出力される。また、制御部１１は、背景画データと歌詞トラックの歌詞データとを表示部１３に出力する。この結果、カラオケ伴奏音がスピーカ１７から放音される一方、歌詞データの表す歌詞と背景画データの表す背景画とが表示部１３に表示される。

次いで、制御部１１は、楽曲の進行に応じて読み出したリファレンスデータのノートオンイベント（ＮｏｔｅＯｎ）のノートナンバ及びベロシティから、歌唱すべきピッチを示すリファレンスピッチデータを生成する（ステップＳ２）。このとき、楽曲データが複数のリファレンスデータトラックを有する場合には、制御部１１は、複数のリファレンスデータトラックに記述された複数のリファレンスデータのそれぞれについて、リファレンスピッチデータを生成する。

歌唱者は、スピーカ１７から放音される伴奏音にあわせて歌唱を行う。歌唱者が一人である場合には、歌唱者は、マイクロホン１５１又はマイクロホン１５２を把持して歌唱を行う。一方、歌唱者が２人である場合には、それぞれの歌唱者が、マイクロホン１５１，マイクロホン１５２をそれぞれ把持して歌唱を行う。歌唱者の歌唱音声はマイクロホン１５１，１５２から入力されアナログ信号が生成される。このアナログ信号は音声処理部１６でＡ／Ｄ変換されて、制御部１１は、音声処理部１６でＡ／Ｄ変換された歌唱音声データＳＡ１，ＳＡ２からそれぞれピッチを抽出し、歌唱ピッチデータＳＰ１，ＳＰ２として出力する（ステップＳ３）。その際、歌唱ピッチは１０ｍｓ毎に抽出される。そして後述するようにステップＳ４の比較処理ではリファレンスピッチとノート毎に比較する。そのために比較対象のノートの発音時間内に抽出された歌唱ピッチの平均値を算出して比較するようにしている。

次いで、制御部１１は、後述するステップＳ４〜ステップＳ７の処理を実行することによって、歌唱音声データＳＡ１と歌唱音声データＳＡ２のそれぞれについて、リファレンスデータと比較することによって評価を行う。このとき、制御部１１は、楽曲データが複数のリファレンスデータを有する場合には、複数のリファレンスデータからいずれか一つを選択し、選択したリファレンスデータと歌唱音声データとを比較することによって評価を行う。この評価処理は、歌唱音声データＳＡ１と歌唱音声データＳＡ２のそれぞれで同様の処理を行う。そのため、以下の説明においては、歌唱音声データＳＡ１について説明し、歌唱音声データＳＡ２に対する評価処理についてはその詳細な説明を省略する。

まず、制御部１１は、ステップＳ２で生成したリファレンスピッチデータとステップＳ３で生成した歌唱ピッチデータＳＰ１とをノート単位で比較し、比較結果を示す比較結果データをＲＡＭに格納する（ステップＳ４）。なお、楽曲データに複数のリファレンスデータが含まれている場合には、制御部１１は、歌唱ピッチデータＳＰ１を、複数のリファレンスピッチデータのそれぞれとノート毎に比較する。この実施形態では、制御部１１は、リファレンスピッチデータと歌唱ピッチデータＳＰ１とをノート単位で比較し、両者の差分が予め定められた閾値以上である場合には「ＮＧ」と判定する一方、それ以外の場合には「ＯＫ」と判定し、判定結果（「ＯＫ」又は「ＮＧ」）を示す比較結果データをＲＡＭに格納する。この実施形態では、ノート３つ分の比較結果データを格納する領域がＲＡＭに確保されており、カラオケ伴奏中においては、カラオケ装置１のＲＡＭには、過去３つ分のノートの比較結果を示すデータが常時格納されるようになっている。

次いで、制御部１１は、ＲＡＭに格納された比較結果データを参照して、評価用データとして採用するリファレンスデータを変更するか否かを判定する（ステップＳ５）。この判定方法について、図５に示す具体的な動作例を参照にしつつ以下に説明する。
図５は、或る歌唱者ｚが、パート１とパート２との２つパートを有する楽曲を歌唱した場合のピッチの変化の一例を示したものである。図において、横軸は時刻を示し、縦軸はピッチを示している。また、実線ｐｚは歌唱者ｚ歌唱音声のピッチを示し、鎖線ｐ１はパート１のピッチを示し、実線ｐ２はパート２のピッチを示す。図５に示す例においては、歌唱者ｚは楽曲の途中で、パート２からパート１に歌唱パートを変更している。

図において、評価結果データＤ１，Ｄ２，Ｄ３，…は、ノート毎の評価結果を示すデータであり、その上段にパート１に対する評価が示されており、下段にパート２に対する評価結果が示されている。なお、評価結果データＤ１，Ｄ２，Ｄ３，…において「Ｏ」は「ＯＫ」を示し、「Ｎ」はＮＧを示している。この実施形態では、上述したように、最近のノートに対しての評価結果に加えて、１つ前と２つ前のノートに対しての評価も履歴として記録している。この例のＤ１では、パート１に対しては、現在と過去２つのノート全てがＮＧで、パート２に対しては、現在のノートについてはＯＫ、過去２つのノートに対してはＮＧであることが示されている。

制御部１１は、パート１とパート２のそれぞれのリファレンスデータのノートオフのタイミングでそのノートに対する歌唱ピッチの評価をする。この評価は、上述のように、過去２つ前のノートの評価まで記録しておく。制御部１１は、パート１の評価結果とパート２の評価結果との対応関係に基づいて、評価用データとして採用するリファレンスデータを変更するか否かを判定する。この実施形態では、制御部１１は、パート１の評価結果とパート２の評価結果との組み合わせを、予め記憶部１２に記憶されたテーブルと照合して、評価用データとして採用するリファレンスデータを変更するか否かを判定する。

図６は、この判定処理において参照されるテーブルの内容の一例を示す図である。図６に示すテーブルの各データは、パート１とパート２との評価結果の組み合わせと、評価用データとして採用するリファレンスデータとの対応関係を示したものである。なお、このテーブルにおいて、「１」は、パート１のリファレンスデータを採用することを示し、「２」はパート２のリファレンスデータを採用することを示し、「−」は、現在採用しているリファレンスデータを継続して評価用データとして採用することを示す。この実施形態では、制御部１１は、過去３つ分のノートの評価結果データの組み合わせを図６に示すテーブルで照合し、評価用データとして採用するリファレンスデータを切り替えるか否かを判定する。

図５に示す例では、パート１の３つ目のノートで初めて、パート１に対しての評価がＯＫになったが、このパターンではまだ同じリファレンスデータを評価用データとして用いる。次のパート１の４つ目のノートで２回続けてパート１がＯＫ、パート２がＮＧとなったので、図６の「ＮＯＯ」−「ＯＮＮ」の項目を参照すると、“１”であるため、評価用データをパート１のリファレンスデータに変更する。

図４の説明に戻る。ステップＳ５の判定結果が肯定的である場合には（ステップＳ５；ＹＥＳ）、制御部１１は、前記テーブルの内容に基づいて評価用データを変更する（ステップＳ６）。一方、それ以外の場合には（ステップＳ５；ＮＯ）、制御部１１は、直前に採用したリファレンスデータを継続して評価用データとして採用する。なお、楽曲の冒頭部分においては直前に採用したリファレンスデータが存在しないから、この実施形態では、楽曲の冒頭部分においては、制御部１１は、予め定められたリファレンスデータ（例えば、メインパートのリファレンスデータ等）を評価用データとして採用する。なお、楽曲の冒頭部分における評価用データの採用方法はこれに限らず、例えば、各パートをノート毎に評価し、先に「ＯＫ」と評価されたほうのリファレンスデータを評価用データとして採用するようにしてもよい。

次いで、制御部１１は、ステップＳ６で変更された評価用データと歌唱音声データＳＡ１とを比較し、その比較結果に基づいて歌唱音声データＳＡ１を評価し、評価結果を示すデータを記憶部１２の評価結果データ記憶領域１２３に記憶する（ステップＳ７）。具体的には、例えば、制御部１１は、評価用データとして採用されたリファレンスデータと歌唱音声データＳＡ１のピッチをフレーム単位で比較し、その差分が小さいほど評価結果が高くなるように評価してもよい。なお、この評価処理は、ピッチの比較に限らず、それぞれのピッチ、パワー、スペクトルの少なくともいずれか一つを用いて評価を行うようにしてもよい。なお、この評価処理については、従来のカラオケ装置で行われている処理と同様であるため、ここではその詳細な説明を省略する。

なお、制御部１１は、歌唱音声データＳＡ２に対しても、上述した歌唱音声データＳＡ１と同様にステップＳ４からステップＳ７に示す処理を実行し、リファレンスデータの選択処理を行うとともに、選択したリファレンスデータと歌唱音声データＳＡ２とを比較することによって評価を行う。

次いで、制御部１１は、歌唱音声データＳＡ１に対する評価結果と歌唱音声データＳＡ２に対する評価結果とのいずれか一方を選択し、選択した評価結果を示す画像を表すデータを表示部１３に出力する（ステップＳ８）。この実施形態では、制御部１１は、歌唱音声データＳＡ１に対する評価結果と歌唱音声データＳＡ２に対する評価結果とを比較し、評価が高いほうの評価結果を示す画像データを表示部１３に出力する。表示部１３は、制御部１１から出力されるデータに基づいて、評価結果を示す画像を表示する。

図７は、表示部１３に表示される画面の一例を示す図である。図示のように、表示部１３には、歌詞テロップＷ１が表示されるとともに、評価結果を示す画像Ｇ１，Ｇ２，…が表示される。なお、図５に示す例においては、制御部１１は、評価用データと歌唱音声データとの差分が閾値以上であるノートとそれ以外のノートとが異なる色で表示されるような画像を表すデータを表示部１３に出力する。

ところで、一般的に、カラオケ装置１の表示画面はその大きさが限られているものが多いため、複数の歌唱者が同時に歌唱する場合においては、全員の歌唱の評価結果を表示すると画面が煩雑になる場合が多い。これに対しこの実施形態では、いずれか一方の評価結果を表示するから、画面が煩雑になるのを防ぐことができる。

図４の説明に戻る。制御部１１は、楽曲のカラオケ伴奏が終了していない場合には（ステップＳ９；ＮＯ）、ステップＳ２の処理に戻り、ノート毎のリファレンスデータの選択処理や評価処理を行う。このように、制御部１１は、指定された楽曲のカラオケ伴奏が終了する（ステップＳ９；ＹＥＳ）まで、ステップＳ２〜ステップＳ８の処理を繰り返し実行する。すなわち、この実施形態では、カラオケ伴奏の再生中において、ノート毎にリファレンスデータとの比較処理が行われ、比較結果に基づいて評価用データとしてリファレンスデータが採用される。

指定された楽曲のカラオケ伴奏が終了すると（ステップＳ９；ＹＥＳ）、制御部１１は、ステップＳ７におけるノート毎の評価結果を集計し、楽曲全体の評価結果を示すデータを生成する（ステップＳ１０）。制御部１１は、楽曲全体の評価結果を示すデータを表示部１３に出力し、評価結果を表示部１３に表示する（ステップＳ１１）。

ところで、複数パートを有する楽曲についてカラオケ歌唱の評価を行う場合には、ピッチが近いほうのパートを歌唱しているとみなして評価する方法が考えられる。しかしながら、このようにすると、本来のパートから音程がずれて他のパートの音程に偶然近くなった場合でも、評価結果が高くなってしまう。これに対しこの実施形態では、歌唱者の音程が歌唱中のパートの音程から一時的にずれた場合であっても、歌唱中のパートについて評価を行うことができ、これにより、より正確な評価を行うことができる。

また、従来のカラオケ装置においては、歌唱者が評価対象となる歌唱パートを選択する必要があり、評価対象となる歌唱パートを曲の途中で切り替えることはできなかった。これに対しこの実施形態では、歌唱者が歌唱パートを変更しても、評価対象となる歌唱パートを切り替えることができ、より正確な評価を行うことができる。また、評価対象となる歌唱パートを切り替えるためには、歌唱者は、歌唱するパートを変更するだけでよく、操作部を用いて歌唱パートを選択するといった煩雑な操作を行う必要がない。

このようにこの実施形態によれば、操作部を用いて評価するための歌唱パートを選択するといった煩雑な操作を歌唱者が行う必要がなく、歌唱者は、自身が選択したパートを歌唱するだけで、正確な評価を行うことができる。
また、この実施形態では、歌唱者が楽曲の途中で歌唱パートを変更した場合であっても、変更したパートに応じた評価を行うことができる。

＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態において、複数のパートを有する楽曲を複数の歌唱者が歌唱する場合には、制御部１１は、楽曲の冒頭部分の所定時間においては、予め定められたマイクとパートとの対応関係に従って、それぞれのマイクにおいて評価用データとして採用するリファレンスデータを特定するようにしてもよい。この場合、所定時間を過ぎると、制御部１１は、予め定められた対応関係ではなく、上述の実施形態で示した評価処理を行って、評価用データとして採用するリファレンスデータを変更するようにすればよい。
また、逆に、楽曲の冒頭部分だけ、上述の実施形態で示した評価処理を行ってマイクとパートの対応付けを行い、所定時間を過ぎると冒頭部分で決定したマイクとパートの組で評価するようにしてもよい。

（２）上述した実施形態では、歌唱音声データＳＡ１の評価結果と歌唱音声データＳＡ２の評価結果とを比較し、評価が高い方の評価結果を表示部１３に表示するようにした（図４のステップＳ８参照）。これに代えて、両方の評価結果を表示部１３に表示するようにしてもよい。また、例えば、直前のノートの評価結果が高い方の音声の評価結果を表示するようにしてもよい。
また、マイクロホン１５１で収音された歌唱音声のパワーを検出するとともにマイクロホン１５２で収音された歌唱音声のパワーを検出し、両者のパワーを比較して、パワーが大きい方の歌唱音声データの評価結果を示すデータを表示部１３に出力するようにしてもよい。特に、楽曲の冒頭部分においてはそれ以前の評価結果が存在しないからどの歌唱音声に対する評価結果を表示するかを選択できない。そのため、楽曲の冒頭部分においては、パワーが大きいほうの歌唱音声に対する評価結果を表示することで、表示タイミングが遅れるのを防ぐことができる。

（３）上述した実施形態では、歌唱音声データＳＡ１と歌唱音声データＳＡ２との両方の総合評価結果を表示部１３に表示した（図４のステップＳ１１参照）。これに代えて、２つの評価結果の平均を算出し、算出結果を総合評価として表示部１３に表示するようにしてもよい。また、例えば、総合得点の高いほうの評価結果を表示するといったように、いずれか一方の総合評価結果を表示部１３に表示するようにしてもよい。

（４）上述した実施形態では、評価結果を表示部１３に表示することによって歌唱者に報知したが、報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、評価結果を示す情報を電子メール形式で歌唱者のメール端末に送信するという形態であってもよい。また、評価結果を示す情報を記憶端末に出力して記憶させるようにしてもよく、この場合、歌唱者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それを参照することができる。また、評価結果を所定の用紙に印刷出力してもよい。要は歌唱者に対して何らかの手段でメッセージ乃至情報を伝えられるように、評価結果を示す情報を出力するものであればよい。
また、評価結果は、歌唱中にリアルタイムに報知してもよく、また、歌唱が終了した後で評価結果を報知するようにしてもよく、評価結果を報知するタイミングは任意である。

（５）上述した実施形態において、楽曲データに含まれる複数のリファレンスデータのうち、歌唱音声データＳＡ１の評価用データとして採用されていないリファレンスデータを、歌唱音声データＳＡ２の評価用データとして採用するようにしてもよい。

（６）上述の実施形態において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、例えば楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となる音を表すデータであればどのようなものであってもよい。

（７）上述した実施形態では、歌唱者の歌唱音声をリアルタイムで評価するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば記憶部に予め歌唱音声データを記憶しておき、記憶された歌唱音声データを評価するようにしてもよい。また、例えば、カラオケ装置１にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介して歌唱音声データを受信し、受信した歌唱音声データを評価するようにしてもよい。

（８）上述した実施形態では、音声の特徴として音声のピッチを用いて、リファレンスピッチデータと歌唱ピッチデータとを比較するようにしたが、音声の特徴はピッチに限定されるものではなく、例えば、音声の音量（パワー）やスペクトルを音声の特徴として用いるようにしてもよい。例えば、音声のパワーを用いる場合には、上述した実施形態と同様に、制御部１１が、リファレンスデータから音量を検出してリファレンス音量データを生成するとともに、歌唱音声データから音量を検出して歌唱音量データを生成し、リファレンス音量データと歌唱音量データとを所定単位で比較する。また、音声のピッチとパワーとを音声の特徴として用いるなど、複数の特徴を用いて比較処理を行うようにしてもよい。

（９）上述した実施形態では、制御部１１が、楽曲データ記憶領域１２１に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータを生成するようにしたが、これに代えて、模範となる音のピッチを表すリファレンスピッチデータを予め記憶部１２に記憶しておくようにしてもよい。

（１０）なお、上述した実施形態では、制御部１１が、リファレンスピッチデータと歌唱音声ピッチデータとをノート毎に比較するようにしたが、比較する単位はノート単位に限らず、例えば、フレーム単位で比較してもよく、また、例えば、小節毎に比較してもよく、要は所定単位毎に比較するようにすればよい。フレーム（約１０ｍｓ）毎に比較してリファレンスデータを選択するようにすれば、発音時間の長い音符で構成されたメロディの場合に音符の途中で歌唱するパートが変更されたとしても、それに応じた評価が行えるようになる。その場合、ステップＳ５、Ｓ６で評価用のリファレンスデータを切り替える条件は例えば１０回以上連続して選択された時点にすると効果的である。つまりノート毎に比較する場合より回数を多めに設定する。

（１１）上述の実施形態では、歌唱者の歌唱音声とリファレンスデータとを比較したが、歌唱者の歌唱音声に変えて、演奏者による楽器の演奏音とリファレンスデータとを比較してもよい。このように、本実施形態にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音が含まれる。

（１２）上述した実施形態では、歌唱ピッチデータを複数のリファレンスデータとノート毎に比較し、比較結果を予め定められたテーブルと照合することによって、評価用データを変更するか否かを判定した。これに代えて、例えば、いずれかのリファレンスにおいて「ＯＫ」が予め定められた回数以上連続した場合にそのリファレンスデータを評価用データとして採用するようにしてもよい。また、例えば、バッファされた３つ分のノートの評価結果を参照して、「ＯＫ」の数が多いほうのリファレンスデータを評価用データとして採用するようにしてもよい。要するに、歌唱ピッチデータを複数のリファレンスデータとノート毎に比較し、予め定められた個数分のノートの判定結果に基づいて、評価用データを変更するか否かを判定するようにすればよい。

また、評価用データの変更処理の他の例として、例えば、歌唱ピッチデータを複数のリファレンスピッチデータとノート毎に比較し、その差分に基づいて複数のリファレンスデータのうちのいずれか一つをノート毎に選択するようにし、予め定められた回数以上連続して同一のリファレンスデータが選択された場合に、選択されたリファレンスデータを評価用データとして採用する一方、それ以外の場合には、直前に採用したリファレンスデータを継続して評価用データとして採用するようにしてもよい。この具体例について以下に説明する。

図８は、歌唱者ｘの歌唱音声のピッチの一例を示す図である。図８を参照しつつ、歌唱者ｘの歌唱音声の評価処理について説明する。図８に示す例では、２種類の歌唱パート（以下「歌唱パートａ」，「歌唱パートｂ」）を有する楽曲Ｇを、二人の歌唱者（以下「歌唱者ｘ」，「歌唱者ｙ」）が歌唱した場合の動作の一例について説明する。まず、歌唱者ｘが歌唱パートａを歌唱し、一方、歌唱者ｙが歌唱パートｂを歌唱したとする。図８において、横軸は時刻を示し、縦軸はピッチを示す。図において、実線ｐａは歌唱パートａのピッチを示し、実線ｐｂは歌唱パートｂのピッチを示す。また、鎖線ｐｘは歌唱者ｘの歌唱音声のピッチを示す。

制御部１１は、歌唱者ｘの歌唱ピッチデータ（以下「歌唱ピッチデータＳＰｘ」）を、歌唱パートａのリファレンスピッチデータ（以下「リファレンスピッチデータＳＰａ」）及び歌唱パートｂのリファレンスピッチデータ（以下「リファレンスピッチデータＳＰｂ」）とノート毎に比較し、その比較結果に応じてノート毎にリファレンスピッチデータＳＰａとリファレンスピッチデータＳＰｂのいずれか一方を選択する。図８に示す例においては、「ＳＰａ」，「ＳＰａ」，「ＳＰａ」，「ＳＰｂ」，「ＳＰａ」…の順に選択される。

制御部１１は、３回以上連続して同一のリファレンスデータが選択された場合には選択されたリファレンスデータを評価用データとして採用する。この動作例では、先頭の３つのノートの選択結果により、歌唱パートａのリファレンスデータ（以下「リファレンスデータＲａ」）が評価用データとして採用される。その後、４つ目のノートにおいてはリファレンスピッチデータＳＰｂが選択されるが、リファレンスピッチデータＳＰｂは３回以上連続して選択されていないため、制御部１１は、歌唱パートａのリファレンスデータを継続して評価用データとして採用する。

次に、歌唱者ｘが歌唱パートａから歌唱パートｂに歌唱を切り替えたとする。これは例えば、歌唱者ｙが歌唱パートｂの音程が分からなくなって歌唱が途切れ、歌唱者ｘが歌唱者ｙの代わりに歌唱パートｂを歌唱する場面等が想定される。制御部１１は、歌唱者ｘの歌唱ピッチデータＳＰｘを、リファレンスピッチデータＳＰａ及びリファレンスピッチデータＳＰｂとノート毎に比較し、その比較結果に応じてノート毎にいずれか一方を選択する。そのため、この動作例では、制御部１１は、歌唱パートが切り替えられたときからリファレンスピッチデータＳＰｂを連続して選択することとなる。制御部１１は、３回以上連続してリファレンスピッチデータＳＰｂを選択した時点で、歌唱音声ｘに対する評価用データを、リファレンスデータＲａからリファレンスデータＲｂに切り替える。

（１３）上述の実施形態では、カラオケ装置１が本実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、リファレンスデータの選択処理、評価処理等を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声を歌唱音声データに変換してサーバ装置に送信し、サーバ装置が、受信した歌唱音声データを評価して評価結果を示す画像データを生成し、生成した画像データをコンピュータ装置に送信してもよい。

（１４）上述した実施形態におけるカラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。

（１５）上述した実施形態では、歌唱の評価結果を表示部１３に表示するようにしたが、これに加えて、歌唱の歌唱技法の巧拙を評価し、その評価結果も表示部１３に表示するようにしてもよい。この場合、例えば、評価の良いほうだけを表示する、といったように、表示する評価結果を間引くようにしてもよい。評価結果の間引き処理の他の例としては、例えば、歌唱技法の検出頻度が予め定められた値より大きい場合には、検出結果を間引くようにしてもよい。具体的には、例えば、表示する個数が予め定められた範囲内になるように、表示する歌唱技法のアイコンの数を調節するようにしてもよい。図９に画面の一例を示す。図９に例示する画面には、歌唱者が用いた歌唱技法を示すアイコンＩ１，Ｉ２，…が表示される。制御部１１は、歌唱者の歌唱音声を解析することによって、例えば「ビブラート」や「こぶし」などの歌唱技法を検出する。具体的には、例えば、制御部１１は、歌唱音声データから検出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を、「ビブラート」の歌唱技法が用いられている区間として検出するようにしてもよい。また、例えば、制御部１１は、短時間歌唱ピッチが上がる区間を「こぶし」の歌唱技法が用いられている区間として検出するようにしてもよい。制御部１１は、検出結果を示すアイコンＩ１，Ｉ２，…を表示部１３に表示する。

カラオケ装置のハードウェア構成の一例を示すブロック図である。 楽曲データの構造を示す図である。 楽曲データに含まれるリファレンスデータトラックの内容を示す図である。 カラオケ装置の制御部が行う処理の流れを示すフローチャートである。 歌唱者の歌唱音声のピッチの一例を示す図である。 評価用データの選択処理において参照されるテーブルの内容の一例を示す図である。 表示部に表示される画面の一例を示す図である。 歌唱者の歌唱音声のピッチの一例を示す図である。 表示部に表示される画面の一例を示す図である。

符号の説明

１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１６…音声処理部、１７…スピーカ、１２１…楽曲データ記憶領域、１２２…背景画データ記憶領域、１５１，１５２…マイクロホン。

Claims (9)

1. ノートの列から構成される各々異なる複数のリファレンスデータを記憶するリファレンスデータ記憶手段と、
   第１のオーディオ信号からピッチを検出する第１のピッチ検出手段と、
   前記第１のピッチ検出手段により検出されたピッチを前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータとノート毎に比較し、その差分に基づいて前記複数のリファレンスデータのうちのいずれかひとつをノート毎に選択する第１の選択手段と、
   前記第１の選択手段によって予め定められた回数以上連続して同一のリファレンスデータが選択された場合に、選択されたリファレンスデータを評価用データとして採用する一方、それ以外の場合には、直前に採用したリファレンスデータを継続して評価用データとして採用する第１の評価用データ採用手段と、
   前記第１の評価用データ採用手段によって採用された評価用データと前記第１のオーディオ信号とを比較し、比較結果に基づいて該第１のオーディオ信号を評価する第１の評価手段と、
   前記第１の評価手段による評価結果を示すデータを出力する出力手段と
   を具備することを特徴とする評価装置。
2. 前記第１の選択手段は、前記第１のピッチ検出手段により検出されたピッチを前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータとノート毎に比較し、その差分が最も小さいリファレンスデータをノート毎に選択する
   ことを特徴とする請求項１に記載の評価装置。
3. 第２のオーディオ信号からピッチを検出する第２のピッチ検出手段と、
   前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータのうちの前記第１の評価用データ採用手段によって採用されていないデータのいずれかひとつを評価用データとして採用する第２の評価用データ採用手段と、
   前記第２の評価用データ採用手段によって採用された評価用データと前記第２のオーディオ信号とを比較し、比較結果に基づいて該第２のオーディオ信号を評価する第２の評価手段と
   を具備し、
   前記出力手段は、前記第１の評価手段による評価結果及び前記第２の評価手段による評価結果の少なくともいずれか一方を示すデータを出力する
   ことを特徴とする請求項１又は２に記載の評価装置。
4. 第２のオーディオ信号からピッチを検出する第２のピッチ検出手段と、
   前記第２のピッチ検出手段により検出されたピッチを前記リファレンスデータ記憶手段に記憶された複数のリファレンスデータとノート毎に比較し、その差分に基づいて前記複数のリファレンスデータのうちのいずれかひとつをノート毎に選択する第２の選択手段と、
   前記第２の選択手段によって予め定められた回数以上連続して同一のリファレンスデータが選択された場合に、選択されたデータを評価用データとして採用する一方、それ以外の場合には、直前に採用したリファレンスデータを継続して評価用データとして採用する第２の評価用データ採用手段と、
   前記第２の評価用データ採用手段によって採用された評価用データと前記第２のオーディオ信号とを比較し、比較結果に基づいて該第２のオーディオ信号を評価する第２の評価手段と
   を備え、
   前記出力手段は、前記第１の評価手段による評価結果及び前記第２の評価手段による評価結果の少なくともいずれか一方を示すデータを出力する
   ことを特徴とする請求項１又は２に記載の評価装置。
5. 前記第１の評価手段による評価結果と前記第２の評価手段による評価結果とのいずれか一方を選択する評価結果選択手段を備え、
   前記出力手段は、前記評価結果選択手段によって選択された評価結果を示すデータを出力する
   ことを特徴とする請求項３又は４に記載の評価装置。
6. 前記評価結果選択手段は、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果のうち評価結果が高いほうを選択する
   ことを特徴とする請求項５に記載の評価装置。
7. 前記出力手段は、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果との平均点を算出し、算出結果を示すデータを出力する
   ことを特徴とする請求項３又は４に記載の評価装置。
8. 前記評価結果選択手段は、前記第１の評価手段による評価結果と前記第２の評価手段による評価結果とのいずれか一方をノート毎に選択し、
   前記出力手段は、前記評価結果選択手段によってノート毎に選択された評価結果を示すデータをノート単位で出力する
   ことを特徴とする請求項５に記載の評価装置。
9. 前記第１のオーディオ信号から該オーディオ信号のパワーを検出する第１のパワー検出手段と、
   前記第２のオーディオ信号から該オーディオ信号のパワーを検出する第２のパワー検出手段と
   を備え、
   前記評価結果選択手段は、前記第１のパワー検出手段により検出されたパワーと前記第２の検出手段により検出されたパワーとを比較し、パワーが大きい方のオーディオ信号の評価結果を選択する
   ことを特徴とする請求項５に記載の評価装置。

Images