JP2006251697A - カラオケ装置 - Google Patents

Abstract

【課題】 カラオケ演奏に伴って行われた歌唱の個性をユーザに的確に伝えることができるカラオケ装置を提供する。
【解決手段】 歌唱評価ユニット１９において、声質評価１３０では、歌唱音声のフォルマントデータを解析し、歌唱音声の声質を示す透明度データおよび響き度データを生成し、歌唱ベクトル生成処理１５０では、カラオケ曲全体を通じて声質パラメータを音域別に分類し、ユーザの音域の代表値、歌唱音声の透明度、響き度を成分とする歌唱ベクトルを生成する。
【選択図】 図２

Description

この発明は、歌唱を評価する機能を有するカラオケ装置に関する。

採点機能を備えたカラオケ装置が実用化されている。その採点機能は、たとえば、カラオケ曲の演奏にあわせて歌唱される歌唱者の歌唱音声を取り込み、歌唱音声の音高と基準となるリファレンスデータが示す音高との一致度によってその巧拙を採点するものである（例えば特許文献１参照）。
特開平１０−４９１８３号公報

さて、カラオケを楽しむユーザの中には、自分の歌唱がどのように聞こえるかについて関心を持っている者が多い。上述した従来のカラオケ装置における採点機能は、自分の歌唱が曲のメロディ通りに聞こえているかが分かるという点において、ある程度はユーザのニーズに応えるものであるといえる。しかし、歌唱には、音程の正確さ以外に、例えば声質などのように、良し悪しといった観点では計れない側面もある。自分の歌がどのように聞こえるかということは、いわば個性であり、このような採点機能による一元的な評価では計れない要素をも含む多くの要素により成り立っている事項なのである。従来、このような良し悪しという観点では捉えることができない歌唱の個性を把握し、ユーザに伝えるカラオケ装置はなかった。

この発明は、以上説明した事情に鑑みてなされたものであり、カラオケ演奏に伴って行われた歌唱の個性をユーザに的確に伝えることができるカラオケ装置を提供することを目的とする。

この発明は、曲データに従ってカラオケ演奏を行うカラオケ演奏手段と、歌唱音声を収音し、歌唱音声データを出力する収音手段と、前記歌唱音声データを異なった複数の観点から解析し、歌唱音声の特性を示す複数のパラメータを出力する歌唱評価手段と、前記歌唱評価手段によって出力される複数のパラメータをベクトルとして表現したベクトル表現情報を出力するベクトル出力手段とを具備することを特徴とするカラオケ装置を提供する。
かかるカラオケ装置によれば、ユーザの歌唱音声を複数の観点から評価することにより得られた複数のパラメータがベクトル表現されるため、ユーザは自分の歌唱の個性を的確に把握することができる。

以下、図面を参照し、本発明の実施の形態について説明する。
図１は、この発明の一実施形態であるカラオケ装置の構成を示すブロック図である。このカラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続されたハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、歌唱評価ユニット１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３などにより構成されている。

ハードディスク１１には、次のようなデータが記憶されている。まず、曲データ４０は、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。各トラックは、ＭＩＤＩフォーマットに従って記述され、イベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータまたは曲のスタート時刻からの絶対時間を示す絶対時間データにより構成することができるが、本実施形態では後者の絶対時間データがタイミングデータとして用いられる。楽音トラック、ガイドメロディトラックのイベントデータは、楽音の音高、音量、オン／オフなどを示すノートイベントデータなどにより構成される。カラオケ演奏では、このノートイベントデータが音源１３に入力されることにより、音源１３によりこのイベントデータに対応する楽音の発音や消音が行われる。背景映像データ４１は、ＭＰＥＧ２形式によりエンコードされている。歌唱ベクトルデータベース４２は、複数名の歌手について予め作成された歌唱ベクトルの集合体である。ここで、歌唱ベクトルとは、歌手の歌唱の個性を表すベクトルである。本実施形態では、歌手の音域の中央値、歌唱音声の透明度および響き度の各成分からなる３次元ベクトルが歌唱ベクトルとして用いられている。

操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に供給する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリアから読み出す。シーケンサ３０は、曲シーケンサおよび歌詞シーケンサからなっており、曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータにより音源１３を制御することによってカラオケ曲の演奏音を発生させるとともに、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データ４１を読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、背景映像データ４１をＮＴＳＣの映像信号にデコードして合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや種々のＯＳＤを合成する回路である。この合成された映像信号はモニタ２２に表示される。

音源１３は、ＣＰＵ１０が実行するシーケンサ３０の処理によって再生された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。この楽音信号はミキサ１４に入力される。ユーザの歌唱音声は、マイク１７により収音される。このマイク１７から出力される歌唱音声信号（アナログ信号）は、Ａ／Ｄコンバータ１８によりデジタル信号である歌唱音声データに変換される。ミキサ１４は、この歌唱音声データに対してエコーなどの効果を付与し、音源１３から出力された楽音信号と適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステムはＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。

Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声データは、歌唱評価ユニット１９にも入力される。この歌唱評価ユニット１９には、この歌唱音声データの他、リファレンスデータが与えられる。本実施形態の最大の特徴は、歌唱評価ユニット１９にある。

図２は歌唱評価ユニット１９の処理内容を示す図である。歌唱評価ユニット１９は、先入れ先出し式のバッファ１０１および１０２を有している。カラオケ演奏時、ハードディスク１１から再生されるリファレンスデータは、バッファ１０１に順次格納され、Ａ／Ｄコンバータ１８から出力される歌唱音声データは、バッファ１０２に格納される。歌唱評価ユニット１９では、バッファ１０１に格納されたリファレンスデータとバッファ１０２に格納された歌唱音声データとを用いて歌唱の評価が行われる。

評価区間特定処理１１１では、バッファ１０２内のリファレンスデータを参照することにより、カラオケ曲上、例えば同じ音高での発声を１秒以上継続する歌唱が行われる区間を評価区間として特定し、その評価区間に属するリファレンスデータ（ここでは、ノートナンバを含むノートイベントデータ）を取り込む。このような評価区間は、通常、１曲中に複数現れる。カラオケ演奏中、評価区間特定処理１１１では、それらの評価区間が順次特定される。以下に述べる各処理は、それらの評価区間の各々について実行される。評価区間特定処理１１１では、評価区間を特定すると、その評価区間を示す情報とその評価区間に属していたリファレンスデータをフォルマントデータ生成処理１１２に引き渡す。評価区間を示す情報は、曲の開始時刻を基準とした評価区間の開始点および終了点の時刻を示している。この情報は、リファレンスデータ中のタイミングデータを参照することにより求められる。

フォルマントデータ生成処理１１２では、評価区間特定処理１１１から引き渡される情報に基づき、測定区間を求める。この測定区間は、評価区間を中央に含み、かつ、評価区間より長い区間とされる。次にフォルマントデータ生成処理１１２では、測定区間内の歌唱音声データをバッファ１０２から取り込む。そして、この歌唱音声データを複数の小区間に分割し、各小区間の歌唱音声データに対するＦＦＴ（高速フーリエ変換）を実行し、小区間毎にフォルマントデータを生成する。このフォルマントデータは、歌唱音声データによって表される音声波形の周波数軸上でのスピクトルの包絡線を示すデータである。図３に示すように、フォルマントデータは、周波数軸方向に並んだ複数の山を呈する。これらのうち最も周波数の低い位置にある山は第１フォルマントと呼ばれ、その高域側にある各山は、周波数の低い順に第２フォルマント、第３フォルマント、〜と呼ばれる。第１フォルマントの周波数は、音声のピッチと対応している。フォルマントデータ生成処理１１２では、各小区間から得られたフォルマントデータから音声のピッチを各々求め、それらを評価区間特定処理１１１から引き渡されたリファレンスデータが示すピッチと比較する。そして、フォルマントデータ生成処理１１２では、リファレンスデータが示すピッチに最も近いピッチの得られたフォルマントデータを評価用のフォルマントデータとし、このフォルマントデータと評価区間に属するリファレンスデータとをひとかたまりにまとめた評価用データブロック１１３を生成する。
以上の処理が、評価区間特定処理１１１により特定された各評価区間について順次実行され、各評価区間に対応した評価用データブロック１１３が順次生成される。

フォルマントデータ生成処理１１２により生成される評価用データブロック１１３は、音程評価１２０に引き渡される。音程評価１２０では、評価用データブロック１１３内のリファレンスデータが示すピッチとフォルマントデータが示すピッチとの音高差を求め、音程評価データを生成する。ここで、音程評価データは、０点から１００点までの得点を示しており、音高差が小さくなるほど得点は大きくなるようになっている。この音程評価データは、採点処理１２５に引き渡される。採点処理１２５では、このようにして引き渡される音程評価データの曲全体としての平均値を求め、採点結果として出力する。一方、音程評価１２０では、フォルマントデータと、そのフォルマントデータから求めた歌唱音声のピッチを示す音高データとを含んだ評価用データブロック１２１を生成し、声質評価１３０に引き渡す。

声質評価１３０は、透明度評価１３１と響き度評価１３２とからなる。透明度評価１３１では、評価用データブロック１２１内のフォルマントデータに基づいて歌唱音声の透明度を示す透明度データを演算する。また、響き度評価１３２では、評価用データブロック１２１内のフォルマントデータに基づいて歌唱音声の響き度を示す響き度データを演算する。そして、声質評価１３０では、透明度データと響き度データと元の評価用データブロック１２１の音高データとを含んだ評価結果データブロック１３３を生成する。

歌唱音声の透明度および響き度を演算する手法として、各種のものが考えられるが、本実施形態では、本出願人による出願である特願２００４−３６３７３０号において提案されている手法を用いる。以下、透明度および響き度の演算方法を説明する。

まず、透明度評価１３１では、図３に示すように、フォルマントデータが示すフォルマント曲線２００において、各フォルマントのピーク点を繋ぐ包絡線２０１を求める。そして、第１フォルマントのピークよりも高域側において、この包絡線２０１とフォルマント曲線２００との差分の積分、すなわち、図４において破線によって示す領域２０２の総面積をピーク間減衰量として求める。このピーク間減衰量は、フォルマント曲線における各フォルマントのピークとそれらのピーク間に挟まれた谷の部分との間の減衰量、すなわち、歌唱音声における基本波およびその倍音成分のレベルとそれ以外のスペクトルのレベルとの差を反映した値となる。ここで、歌唱音声は、基本波成分および倍音成分が支配的である程、透明度が高く、基本波成分および倍音成分以外のスペクトルのレベルが高くなるに従って透明度が低下する。従って、ピーク間減衰量は、歌唱音声の透明度を反映するものであるといえる。そこで、本実施形態における透明度評価１３１では、以上のようにしてフォルマントデータからピーク間減衰量を算出し、このピーク間減衰量が大きくなるほど大きな値となる透明度データを生成している。

次に、響き度評価１３２では、フォルマント曲線において第１フォルマントにおけるピーク値２０３と、ｆ＝２ｋＨｚ〜３ｋＨｚの周波数範囲内における包絡線２０１の値の平均値２０４とを求め、これらの差分２０５を求める。ここで、ある歌唱音声から得られたフォルマント曲線において、この差分２０５が小さい場合、その歌唱音声には高次の倍音が豊富に含まれているということができる。そして、一般にそのような歌唱音声はよく響く。逆に、歌唱音声から得られたフォルマント曲線において差分２０５が小さい場合、その歌唱音声では高次の倍音が乏しいということができる。そして、一般にそのような歌唱音声は響かない。そこで、本実施形態における響き度評価１３２では、以上のようにしてフォルマントデータから差分２０５を算出し、この差分２０５が小さくなるほど大きな値となる響き度データを生成している。

図２において、評価データ分類用バッファ１４０は、本実施形態において取り扱い可能な歌唱音声の周波数帯域を分割した複数の音域に対応した複数のエリアを有している。評価結果データブロック１３３が生成された場合に、それに含まれる音高データが示すピッチの属する音域が判定され、評価結果データブロック１３３は、評価データ分類用バッファ１４０におけるその音域に対応したエリアに格納される。

歌唱ベクトル生成処理１５０では、１曲分のカラオケ演奏が終了した時点において、評価データ分類用バッファ１４０に格納された各評価結果データブロック１３３の透明度データおよび響き度データの各々を調べる。そして、周波数軸上において透明度データおよび響き度データの両方が安定している範囲を求め、この範囲をユーザの音域とし、かつ、このユーザの音域内における透明度データと響き度データの平均値を求める。歌唱ベクトル生成処理１５０では、このようにして求めた透明度データおよび響き度データの各平均値とユーザの音域の中央値とからなる３次元ベクトルを歌唱ベクトルとして出力するのである。

ここで、透明度データおよび響き度データの安定している範囲は、例えば次のようにして求める。まず、評価データ分類用バッファ１４０内において音域別に分類された透明度データおよび響き度データの各々について、音域毎に平均値と標準偏差を求める。そして、透明度データ（響き度データ）の標準偏差が比較的低く、かつ、音高の変化に対する透明度データ（響き度データ）の平均値の変化が緩やかな区間を透明度データ（響き度データ）の安定している範囲と判断する。図６はその例を示すものである。この例では、透明度データの安定な範囲と響き度データの安定な範囲がカラオケ演奏曲の音域、すなわち、カラオケ演奏曲における音高の最低値から最高値までの範囲の中に収まっている。そして、安定な範囲から外れた音域では、透明度データおよび響き度データの標準偏差が大きく、不安定な状態となっている。そこで、歌唱ベクトル生成処理１５０では、図示のようにユーザの音域を決定するのである。

なお、ユーザの音域よりもカラオケ演奏曲の音域が狭い場合には、カラオケ演奏曲の音域全体を通じて安定した透明度データおよび響き度データが得られることもある。そのような場合、歌唱ベクトル生成処理１５０では、ユーザの音域を求めるのを諦め、透明度データおよび響き度データの各平均値からなる２次元ベクトルを歌唱ベクトルとして出力する。

歌唱ベクトル生成処理１５０により得られた歌唱ベクトルは、上述した採点処理１２５により得られた採点結果とともにＣＰＵ１０に引き渡される。ＣＰＵ１０は、ハードディスク１１の歌唱ベクトルデータベース４２から複数名の歌手の歌唱ベクトルを読み出し、これらと歌唱ベクトル生成処理１５０から引き渡されたユーザの歌唱ベクトルのベクトル空間内における分布を示す画像データを作成する。

ユーザの歌唱ベクトルが２次元のベクトルである場合、この処理では、歌手の歌唱ベクトルの音域成分を無視し、透明度軸と響き度軸を持った２次元空間内における各歌唱ベクトルの分布を示す画像データを作成する。また、ユーザの歌唱ベクトルが３次元ベクトルである場合には、この処理では、各歌唱ベクトルの全成分を考慮し、音域軸と透明度軸からなる２次元空間内における各歌唱ベクトルの分布および音域軸と響き度軸からなる２次元空間内における各歌唱ベクトルの分布を示す画像データを作成する。

ＣＰＵ１０は、このようにして作成した歌唱ベクトルの分布を示す画像データを、採点結果を示す画像データとともに合成回路２１に供給する。この結果、図７（ａ）または（ｂ）に示すような歌唱ベクトルの分布図が採点結果とともにモニタ２２に表示される。これらの図に示すように、分布図上、各歌唱ベクトルに対応する位置に、その歌唱ベクトルの持ち主である歌手またはユーザの名前が表示される訳である。ユーザは、この表示により、自分の歌唱の個性、すなわち、透明度と響き度あるいはこれらに加えて音域がどのようなものであるか、そして、その個性がどの歌手に近いかを判断することができる。

＜他の実施形態＞
以上、この発明の実施形態を説明したが、これら以外にも、本発明には各種の実施形態が考えられる。例えば次の通りである。
（１）１曲の歌唱では、ユーザの音域が分からない場合を考慮し、複数曲に亙って透明度や響き度の評価データを音域別に蓄積し、ユーザの音域を求めるようにしてもよい。その際、１台のカラオケ装置を複数のユーザが使用し得ることを考慮し、ユーザには、選曲の際にそのユーザを特定するＩＤを入力させる。そして、歌唱評価ユニット１９では、選曲後に始まる歌唱について、評価を行い、このＩＤに対応付けて透明度や響き度の評価データを音域別に蓄積する。このようにして複数曲に亙って蓄積されるデータを用いて、そのユーザの音域を求めるようにすればよい。

（２）上記実施形態では、歌唱ベクトルの成分として、音域（正確にはその代表値）、透明度、響き度を採用した。しかし、歌唱ベクトルの構成は、これに限定されるものではない。歌唱の個性は、様々な角度から捉えることができるからである。様々なパラメータを上記の歌唱ベクトルの各成分の代わりに使用し、あるいは上記の各成分に加えて歌唱ベクトルを構成することができる。例えば、声の明暗、つやと粗さ、声の大小、一曲の歌唱の中で行うビブラートの頻度などを歌唱ベクトルの一成分としてもよい。

（３）図７（ａ）または（ｂ）のベクトル分布表示と選曲機能とを結合させてもよい。すなわち、図７（ａ）または（ｂ）のように歌手名が表示されている状態において、操作部２３の操作によりユーザに所望の歌手を選択させ、ＣＰＵ１０は、その歌手の曲名と曲番号のリストをモニタ２２に表示させるのである。この態様によれば、ユーザは、例えば自分の個性に近い歌手の曲を選択し、カラオケを楽しむことができる。操作部２３が例えばタッチパネルを有するリモコンを含み、かつ、そのリモコンがＣＰＵ１０との間で双方向の通信を行うことが可能であれば、ＣＰＵ１０が、ユーザによって選択された歌手の曲名と曲番号のリストをそのリモコンに送るようにしてもよい。この態様では、ユーザは、リモコンの操作によりリストの中から所望の曲の曲番号を選択し、カラオケ装置に送信する。

（４）歌唱ベクトルの分布の表示には次のように各種の態様が考えられる。
ａ．絶対的な音域軸、透明度軸、響き度軸を採用し、これらの軸により画定されるベクトル空間にユーザおよび歌手の歌唱ベクトルを分布させる。上記実施形態は、この方法を採用している。
ｂ．ユーザを原点とする音域軸、透明度軸、響き度軸を採用し、この原点を中心とした所定範囲内に属する歌手の歌唱ベクトルを歌唱ベクトルデータベース４２から読み出し、ベクトル空間内に分布させる。
ｃ．上記ａまたはｂにおいて、操作部２３の操作により、例えば性別、年齢層、歌のジャンルなどを指定させ、歌手ベクトルデータベース４２から歌唱ベクトルを読み出す歌手を指定された範囲内の歌手に限定する。

（５）上記実施形態に歌唱指導機能を追加してもよい。この態様では、図７（ａ）または（ｂ）のように歌手の名前が表示されている状態において、ユーザに操作部２３の操作により所望の歌手の歌唱ベクトルを選択させる。そして、ユーザの歌唱ベクトルとこの選択された歌手の歌唱ベクトルとの差分であるベクトルに基づき、ユーザが選択した歌手のように歌唱するために実施すべき事項を説明するアドバイス情報を生成し、例えばモニタ２２に表示するのである。例えば差分ベクトルを検討した結果、ユーザが所望の歌手のように歌唱するためには、低音域における響きを増加させる必要があることが分かった場合、そのような歌唱をするためにどういう姿勢で発声すればよいか、といったアドバイス情報がモニタ２２に表示される訳である。このようなサービスを可能にするための態様として、各種の差分ベクトルに対応付けてアドバイス情報をハードディスク１１に格納しておき、差分ベクトルが得られた場合にこれに対応したアドバイス情報を選択してユーザに提供する、といった態様が考えられる。なお、発声方法などの具体的なアドバイス情報をユーザに提供する代わりに、そのようなアドバイスを行う例えばインターネット上のサイトをユーザに紹介するようにしてもよい。

この発明の一実施形態であるカラオケ装置の構成を示すブロック図である。 同装置における歌唱評価ユニットの処理内容を示す図である。 同ユニットにおいて行われる声質評価の方法を示す図である。 同ユニットにおいて行われる声質評価の方法を示す図である。 同ユニットにおいて行われる声質評価の方法を示す図である。 同実施形態における透明度および響き度の安定している区間の判断方法を説明する図である。 同実施形態においてモニタに表示される歌唱ベクトルの分布を示す図である。

符号の説明

１９…歌唱評価ユニット、１２０…音程評価、１３０…声質評価、１５０…歌唱ベクトル生成処理。

Claims (2)

1. 曲データに従ってカラオケ演奏を行うカラオケ演奏手段と、
   歌唱音声を収音し、歌唱音声データを出力する収音手段と、
   前記歌唱音声データを異なった複数の観点から解析し、歌唱音声の特性を示す複数のパラメータを出力する歌唱評価手段と、
   前記歌唱評価手段によって出力される複数のパラメータをベクトルとして表現し、ベクトル空間内における当該ベクトルの分布を示す情報を出力するベクトル出力手段と
   を具備することを特徴とするカラオケ装置。
2. 前記ベクトル出力手段は、特定人物について取得したベクトルと前記歌唱評価手段により出力された複数のパラメータにより表されるベクトルを同一ベクトル空間内に分布させた状態を示す情報を出力することを特徴とする請求項１に記載のカラオケ装置。

Images