JP2002041068A - カラオケ装置における歌唱採点方法 - Google Patents

Abstract

(57)【要約】 【課題】 歌唱者独自のタイミングによる歌唱に対して
も適正に歌唱力を評価できる歌唱採点方法を提供する。 【解決手段】 カラオケ装置のマイクロホンで採取した
歌唱音声を音声認識手段により認識し文字化する。同時
に周波数分析手段により発音の音高を測定する。認識文
字と対応する発音音高を、カラオケデータのもつ楽譜デ
ータから取得した歌唱すべき歌詞文字・正解音高と比較
する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】この発明はカラオケ装置にお
ける歌唱採点方式に関し、より具体的には歌唱者の発声
タイミングに柔軟に対応して歌唱力を適正に評価できる
歌唱採点方法に関する。

【０００２】

【従来の技術】カラオケ装置の付帯機能として、歌唱採
点機能がよく知られている。代表的な歌唱採点方法で
は、マイクロホンから入力された歌唱者の音声信号をサ
ンプリングすることで歌唱者が発声した音高を抽出す
る。カラオケデータ中のカラオケ伴奏音楽の主旋律パー
トを採点の基準とし、主旋律パートの楽譜データから取
得した各音符を発すべき正解タイミングにおける正解音
高データと、正解タイミングに歌唱者の発声した音高と
を逐一比較する。そして、適宜な採点区間毎にその比較
結果に応じた得点を付与していく。歌唱すべき主旋律パ
ートが終了すると、この得点を集計して歌唱採点を算出
する。

【０００３】

【発明が解決しようとする課題】カラオケ初心者がうま
く歌うために楽譜どおりに歌うことを目標とするが、い
つまでも楽譜に忠実なだけでは、型にはまった音楽表現
しか望めない。歌唱力のある人ほど、わざと発声タイミ
ングを１テンポ遅らせたりしてアドリブを利かせること
がある。またカラオケ装置で歌唱採点の基準としている
模範歌唱も、過去の一時点での歌唱に過ぎず、たとえ同
じ歌手が歌っても、時代とともに発声タイミングを変え
ることは少なくない。

【０００４】ところが従来の歌唱採点方法では、歌唱者
の発声音高が、そのタイミングに対応するカラオケデー
タの正解音高データと一致するかを逐一比較する。この
ため、あるフレーズの歌い出しタイミングが少しでもず
れると、発声音高の推移が正解音高の推移と違わない場
合にも、正解タイミングでの発声音高が正解音高と異な
るため大幅に減点される。しかし現実には、音高の推移
が正確であれば、発声タイミングに多少のずれがあって
も音楽的に劣ることはなく、むしろ優れた歌唱表現と感
じとれる場合もある。それでも低得点しか獲得できない
のでは、適正な採点がされたとは言い難い。

【０００５】そこで本発明は、歌唱者の発声タイミング
に柔軟に対応して発声音高の推移を評価することによ
り、音楽的観点から歌唱力を適正に評価できる歌唱採点
方法を提供することを目的としている。

【０００６】

【課題を解決するための手段】この発明は、基本的に次
の事項（１）〜（７）により特定されるものである。 （１）電子楽譜形式のカラオケデータに基づいて生成し
たカラオケ伴奏音楽と、マイクロホンで採取した歌唱音
声とを音響出力するカラオケ装置において、歌唱の巧拙
を点数化する歌唱採点方法である。 （２）前記カラオケデータには歌唱すべき主旋律パート
の楽譜データが含まれているとともに、主旋律パートの
各音符データには各音符で発音すべき歌詞文字が対応づ
けられている。 （３）前記マイクロホンで採取した歌唱音声信号を音声
認識手段により処理し、認識した発音を逐次文字化する
ことで、歌唱にともなう認識文字列を生成して一時記憶
する。 （４）前記マイクロホンで採取した歌唱音声信号を周波
数分析手段により処理して各発音の音高データを生成
し、この音高データを、前記音声認識手段により生成さ
れる前記認識文字に対応付けて一時記憶する。 （５）前記カラオケ伴奏音楽と前記歌唱音声とを音響出
力するプロセスにおいて、前記音声認識手段により生成
された各認識文字が前記主旋律パートの各音符に対応付
けられているどの歌詞文字に該当するのかを逐次同定す
る。 （６）同定された歌詞文字が発音されるべき正解音高デ
ータを前記主旋律パートの楽譜データから取得するとと
もに、同定対象となった前記認識文字について前記周波
数分析手段により得られた前記音高データと比較し、両
者の近似度を表す音高適合得点を計算する。 （７）前記カラオケ伴奏音楽と前記歌唱音声の音響出力
プロセスにて逐次計算される前記音高適合得点を歌唱採
点に反映させる。

【０００７】この方法において望ましくは、つぎの発明
特定事項（21）〜（23）を加えることができる。 （21）前記音声認識手段は、各認識文字の発音持続時間
データも生成して、各認識文字に対応付けて一時記憶す
る。 （22）前記音声認識手段による認識文字が、前記主旋律
パートのある音符に対応付けられたある歌詞文字に同定
されたのを受けて、同定された歌詞文字が発音持続され
るべき正解符長データを前記主旋律パートの楽譜データ
から取得するとともに、同定対象となった前記認識文字
について前記音声認識手段により得られた前記発音持続
時間データと比較し、両者の近似度を表す符長適合得点
を計算する。 （23）前記カラオケ伴奏音楽と前記歌唱音声の音響出力
プロセスにて逐次計算される前記符長適合得点を前記歌
唱採点に反映させる。

【０００８】また望ましくは、つぎの発明特定事項（3
1）〜（33）を加えることができる。 （31）前記音声認識手段は、前記歌唱音声が途絶える区
間を所定の基準に従って弁別し、その無音区間のタイミ
ングを示すデータを生成する。 （32）前記カラオケデータの処理過程において、前記主
旋律パートに含まれる所定符長以上の休符が処理対象と
なったとき、前記音声認識手段による前記無音区間の弁
別結果と比較し、両者のタイミング適合性を表す休符適
合得点を計算する。 （33） 前記カラオケ伴奏音楽と前記歌唱音声の音響出
力プロセスにて逐次計算される前記休符適合得点を前記
歌唱採点に反映させる。

【０００９】

【発明の実施の形態】＝＝＝カラオケ装置の基本機能＝
＝＝ 図１はこの発明の実施例における歌唱採点方式を採用し
たカラオケ装置の構成例を示している。内部にCPU・RAM
・ROMを含む中央制御部１が制御バスを介して各周辺構
成部を制御・統括している。

【００１０】ハードディスク装置２はカラオケ楽曲の伴
奏音楽と歌唱採点に使用する歌詞文字データを含むカラ
オケデータを多数曲分蓄積している。中央制御部１は操
作制御部３を介してリクエストを受け取ると、リクエス
ト入力順に該当のカラオケデータを処理していく。すな
わち、リクエスト楽曲に対応するカラオケデータをハー
ドディスク装置２から取り出し、含まれるカラオケ伴奏
音楽パートの楽譜データをMIDI（Musical Instrument D
igital Interface）信号処理部４を介してシンセサイザ
５に転送することによりカラオケ伴奏音楽を生成させ
る。生成されたカラオケ伴奏音楽と、マイクロホン６よ
り採取した歌唱音声とをミキシングアンプ７にて混合し
スピーカ８に出力させる。ディスプレイ１２には、映像
制御部１３を介して入力された背景映像とともに、歌唱
すべき箇所の色変えをともなった歌詞画像が表示され
る。

【００１１】またカラオケ装置は、カラオケ楽曲に合わ
せて歌われマイクロホン６より採取された歌唱音声を、
音声認識処理部９・周波数分析処理部１０で処理し一時
的に記憶する。これを採点部１１に転送しカラオケデー
タのもつ正解データと比較・採点する。

【００１２】＝＝＝カラオケデータの構造＝＝＝ この発明にかかるカラオケ装置で使用するカラオケデー
タはMIDI規格に従う。すなわち、音高を表す最小単位は
半音（＝100セント）、符長を表す最小単位は32分音符
の量子化されたデータである。このカラオケデータに
は、シンセサイザ５で発生するカラオケ伴奏音楽を生成
するためのカラオケ伴奏音楽パートの楽譜データととも
に、歌唱すべき主旋律パートの楽譜データと、主旋律パ
ートの各音符データに対応して発音すべき歌詞文字デー
タとを含む。図２はこの発明にかかるカラオケ装置で使
用するカラオケデータにおける歌詞文字データ付きの主
旋律パートの一例を示している。

【００１３】＝＝＝音声認識手段＝＝＝ マイクロホン６から採取された歌唱音声信号はカラオケ
装置の音声認識処理部９および周波数分析処理部１０に
入力される。まず、音声認識処理部９ではある発音（第
一の発音とする）を認識すると、これを文字化しメモリ
に書き込む。同時に、周波数分析処理部１０では当該発
音の音高の測定を開始する。異なる発音（第二の発音と
する）を認識すると、音高の測定を開始してからその時
点までの第一の発音区間における音高の平均値を計算
し、メモリに書き込んだ認識文字に対応づけて第一の発
音区間の音高平均値を書き込む。並行して、第二の発音
を認識した時点でこれを文字化しメモリに書き込む。ま
た第一の発音の場合と同様の方法で第二の発音区間の音
高平均値を算出しメモリに書き込む。こうして異なる発
音を認識する毎に文字化・音高平均値算出の処理を繰り
返し、認識文字列に対する平均音高データ（１セント単
位とする）のテーブルをメモリ内に作成する。

【００１４】音高の測定開始と同時に、音声認識処理部
９では発音持続時間検出用のタイマを開始させ第一の発
音が持続する時間の測定を開始する。この場合、第二の
発音を認識するとタイマを停止させ、メモリに書き込ん
だ認識文字と音高平均値とに対応づけてタイマ値を書き
込む。こうして前記テーブルを拡張する。

【００１５】さらに周波数分析処理部１０では、発音が
途絶えていないかどうかを監視する。一定の間隔で、例
えばカラオケデータの符長の最小単位である32分音符相
当の時間毎に発音されているか否かを確認し、発音が途
絶えたことを認識するとメモリ内の無音フラグにビット
を立てる。次の発音を認識するまで、この例では32分音
符相当の時間毎に無音フラグにビットを立て続けること
になる。

【００１６】＝＝＝歌唱された歌詞文字の同定＝＝＝ 歌唱を採点するためにまずカラオケデータに含まれる歌
唱すべき歌詞文字とメモリ内の認識文字列とを対応づけ
る必要がある。前述の方法で認識文字がメモリに書き込
まれると、採点部１１では楽譜データに対応づけられた
歌詞文字とメモリ内の認識文字とを比較し、認識文字が
楽譜データのどの歌詞文字に該当するかを同定する。同
定したら当該歌詞文字が発音されるべき正解音高データ
をカラオケデータより取り出し、該当する認識文字に対
応づけてメモリに書き加える。

【００１７】また歌唱文字の発音持続時間を測定する
と、当該歌詞文字に対応づけられている音符の長さもカ
ラオケデータより取り出し、該当する認識文字に対応づ
けてメモリに書き加える。

【００１８】＝＝＝音高適合得点および符長適合得点＝
＝＝ 採点部１１ではメモリに書き込まれたテーブルを参照
し、各認識文字に対する音高平均値（１セント単位）と
正解音高データ（100セント単位）とを比較し、その一
致度（誤差）を算出する。例えば１セント異なっている
場合はマイナス１点とするなどのルールを予め決めてお
き、採点区間のすべての認識文字列についての一致度を
総合して音高適合得点とする。

【００１９】また各認識文字に対する発音持続時間と音
符の長さとを比較し、その一致度を算出する。例えば32
分音符に相当する時間を評価単位とし、1単位時間分の
誤差をマイナス１点とするなどのルールを予め決めてお
き、採点区間のすべての認識文字列についての一致度を
総合して符長適合得点とする。

【００２０】＝＝＝主旋律パートの休符に基づく処理＝
＝＝ カラオケデータの主旋律パートの楽譜データ上で一定の
長さ以上、例えば一拍以上の休符タイミングになると、
採点部１１では無音フラグにビットが立っているかを確
認する。当該休符が続く間、無音フラグの間隔と等しい
時間毎に（この例では32分音符相当の時間毎に）無音フ
ラグの確認を続け、休符タイミングの一致度を算出す
る。例えば一拍の休符の間に、すべて立っているはずの
無音フラグのビットが１つ立っていない場合にマイナス
１点とするなどのルールを予め決めておき、採点対象と
なるすべての休符についての一致度を総合して休符適合
得点とする。

【００２１】＝＝＝総合的な歌唱採点＝＝＝ 前述の音高適合得点と符長適合得点と休符適合得点を統
合した総合得点を歌唱に対する採点とする。音高・符長
・タイミングのどこに重点をおいて採点するかによっ
て、その統合の仕方は異なる。例えば音高＞符長＞タイ
ミングの順に重点をおく場合、一例として 総合得点＝３×音高適合得点＋２×符長適合得点＋休符
適合得点 という算出式を適用することが考えられる。ここで算出
した総合得点を適宜な形式で表現して、例えばディスプ
レイ１２に表示する。

【００２２】

【発明の効果】この発明にかかるカラオケ装置によれ
ば、歌唱の音高を歌唱タイミングとは切り離して評価す
ることにより、歌唱者独自の歌唱タイミングにも対応し
た適正な歌唱採点結果を得ることが可能となる。その上
で、各発音文字ごとの発音持続時間についての評価を加
味したり、また休符に対応する歌唱の無音区間について
の評価を加味することで、実際に歌を聴いている人が感
じる「歌のうまさ」と符合する音楽的評価値を算出する
ことができる。

【図面の簡単な説明】

【図１】この発明の一実施例に係るカラオケ装置の構成
例である。

【図２】この発明の一実施例に係るカラオケ装置で使用
するカラオケデータのうちの歌詞文字付き主旋律パート
の例である。

【符号の説明】

１ 中央制御部 ２ ハードディスク装置 ３ 操作制御部 ４ ＭＩＤＩ信号処理部 ５ シンセサイザ ６ マイクロホン ７ ミキシングアンプ ８ スピーカ ９ 音声認識処理部 １０ 周波数分析処理部 １１ 採点部 １２ ディスプレイ １３ 映像制御部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 つぎの事項（１）〜（７）により特定さ
   れる発明。 （１） 電子楽譜形式のカラオケデータに基づいて生成
   したカラオケ伴奏音楽と、マイクロホンで採取した歌唱
   音声とを音響出力するカラオケ装置において、歌唱の巧
   拙を点数化する歌唱採点方法である。 （２） 前記カラオケデータには歌唱すべき主旋律パー
   トの楽譜データが含まれているとともに、主旋律パート
   の各音符データには各音符で発音すべき歌詞文字が対応
   づけられている。 （３） 前記マイクロホンで採取した歌唱音声信号を音
   声認識手段により処理し、認識した発音を逐次文字化す
   ることで、歌唱にともなう認識文字列を生成して一時記
   憶する。 （４） 前記マイクロホンで採取した歌唱音声信号を周
   波数分析手段により処理して各発音の音高データを生成
   し、この音高データを、前記音声認識手段により生成さ
   れる前記認識文字に対応付けて一時記憶する。 （５） 前記カラオケ伴奏音楽と前記歌唱音声とを音響
   出力するプロセスにおいて、前記音声認識手段により生
   成された各認識文字が前記主旋律パートの各音符に対応
   付けられているどの歌詞文字に該当するのかを逐次同定
   する。 （６） 同定された歌詞文字が発音されるべき正解音高
   データを前記主旋律パートの楽譜データから取得すると
   ともに、同定対象となった前記認識文字について前記周
   波数分析手段により得られた前記音高データと比較し、
   両者の近似度を表す音高適合得点を計算する。 （７） 前記カラオケ伴奏音楽と前記歌唱音声の音響出
   力プロセスにて逐次計算される前記音高適合得点を歌唱
   採点に反映させる。
2. 【請求項２】 請求項１に記載のカラオケ装置における
   歌唱採点方法であって、次の特定事項（21）〜（23）を
   充足する。 （21） 前記音声認識手段は、各認識文字の発音持続時
   間データも生成して、各認識文字に対応付けて一時記憶
   する。 （22） 前記音声認識手段による認識文字が、前記主旋
   律パートのある音符に対応付けられたある歌詞文字に同
   定されたのを受けて、同定された歌詞文字が発音持続さ
   れるべき正解符長データを前記主旋律パートの楽譜デー
   タから取得するとともに、同定対象となった前記認識文
   字について前記音声認識手段により得られた前記発音持
   続時間データと比較し、両者の近似度を表す符長適合得
   点を計算する。 （23） 前記カラオケ伴奏音楽と前記歌唱音声の音響出
   力プロセスにて逐次計算される前記符長適合得点を前記
   歌唱採点に反映させる。
3. 【請求項３】 請求項１または請求項２に記載のカラオ
   ケ装置における歌唱採点方法であって、次の特定事項
   （31）〜（33）を充足する。 （31） 前記音声認識手段は、前記歌唱音声が途絶える
   区間を所定の基準に従って弁別し、その無音区間のタイ
   ミングを示すデータを生成する。 （32） 前記カラオケデータの処理過程において、前記
   主旋律パートに含まれる所定符長以上の休符が処理対象
   となったとき、前記音声認識手段による前記無音区間の
   弁別結果と比較し、両者のタイミング適合性を表す休符
   適合得点を計算する。 （33） 前記カラオケ伴奏音楽と前記歌唱音声の音響出
   力プロセスにて逐次計算される前記休符適合得点を前記
   歌唱採点に反映させる。