JP2010145838A - 歌唱評価装置およびプログラム - Google Patents

Abstract

【課題】歌唱技法の巧拙を精密に評価する技術を提供することを目的とする。
【解決手段】制御部１１は、練習者音声およびお手本音声からビブラート区間およびロングトーン区間を特定する。練習者音声の評価においては、ビブラート技法およびロングトーン技法についてそれぞれ評価を行うと共に、ロングトーン技法からビブラート技法へと連続的に移行する技法（組み合わせ技法）が用いられたことを検出した場合には、該組み合わせ技法に対して加点する。得点は、組み合わされたロングトーン区間の長さとビブラート区間の長さの割合に応じて決定される。
【選択図】図１

Description

本発明は、歌唱技法の巧拙を評価する技術に関する。

カラオケ装置においては、歌唱の巧拙を採点したり、歌唱の指導内容を表すメッセージを表示して指導を行ったりする装置が提案されている。このようなカラオケ装置において、例えばビブラート技法について採点や指導を行う場合には、まずお手本となる歌唱音声からビブラート技法が用いられている区間を特定し、該特定した区間の歌唱音声を解析することにより採点や指導を行う方法が考えられる。なお、ビブラート技法とは、音を伸ばしながらピッチをわずかに上下させ震えるような音色を出すことにより、音に豊かな響きを与える歌唱技法である。

歌唱音声からビブラート技法が用いられている区間を特定する方法として、特許文献１には、入力データのピッチが振動するビブラート区間を特定する方法が開示されている。また、特許文献２には、歌唱音声からビブラート技法を検出して歌唱評価に反映させる方法が開示されている。
特開２００６−３０６１０号公報 特開２００４−１０２１４６号公報

さて、熟練した歌唱者は、一定時間（例えば、５００ミリ秒）以上同じ音を伸ばす技法（以下、ロングトーン技法）を行った後にビブラート技法へ直接移行するという技法（以下、組み合わせ技法）を用いることがある。
特許文献１および２に記載のカラオケ装置を始めとする従来のカラオケ装置においては、ビブラート技法やロングトーン技法を検出しそれぞれ別個に評価する場合について記載されているが、上記の技法を組み合わせる組み合わせ技法について評価するといった精密な歌唱評価を行うことはできなかった。

本発明は上述した背景の下になされたものであり、歌唱技法の巧拙を精密に評価する技術を提供することを目的とする。

本発明に係る歌唱評価装置は、歌唱音声を表す歌唱音声データを受取る受取手段と、前記受取手段が受取った歌唱音声データのピッチを検出するピッチ検出手段と、前記ピッチ検出手段が検出したピッチの変動が所定の範囲内である状態が所定時間以上継続したか否かを検出し、前記所定時間以上の継続が検出された場合に、その検出区間をロングトーン区間として特定するロングトーン区間特定手段と、前記ピッチ検出手段が検出したピッチが所定幅を超えて周期的に変動したか否かを検出し、前記ピッチの周期的な変動が検出された場合に、その検出区間をビブラート区間として特定するビブラート区間特定手段と、前記ロングトーン区間特定手段によりロングトーン区間が検出され、前記ビブラート区間特定手段によりビブラート区間が特定された場合に、該ロングトーン区間の終了時刻と該ビブラート区間の開始時刻との差が所定の値以下であるかを判定し、該判定結果が肯定的であるロングトーン区間とビブラート区間の組み合わせを検出する検出手段と、前記検出手段の検出結果に基づいて前記歌唱音声の評価を算出する評価手段とを有することを特徴とする。

本発明に係る歌唱評価装置は、上記の構成において、前記検出手段が検出した組み合わせに対応するロングトーン区間とビブラート区間について、ロングトーン区間の時間長とビブラート区間の時間長との相対値を算出する相対値算出手段を有し、前記評価手段は、前記相対値算出手段により算出された相対値に基づいて前記歌唱音声の評価を算出しても良い。

本発明に係る歌唱評価装置は、上記の構成において、お手本となる歌唱音声を表すお手本音声データを受取る第２の受取手段と、前記第２の受取手段が受取ったお手本音声データのピッチを検出する第２のピッチ検出手段と、前記第２のピッチ検出手段が検出したピッチの変動が所定の範囲内である状態が所定時間以上継続したか否かを検出し、前記所定時間以上の継続が検出された場合に、その検出区間をロングトーン区間として特定する第２のロングトーン区間特定手段と、前記第２のピッチ検出手段が検出したピッチが所定幅を超えて周期的に変動したか否かを検出し、前記ピッチの周期的な変動が検出された場合に、その検出区間をビブラート区間として特定する第２のビブラート区間特定手段と、前記第２のロングトーン区間特定手段によりロングトーン区間が検出され、前記第２のビブラート区間特定手段によりビブラート区間が特定された場合に、該ロングトーン区間の終了時刻と該ビブラート区間の開始時刻との差が所定の値以下であるかを判定し、該判定結果が肯定的であるロングトーン区間とビブラート区間の組み合わせを検出する第２の検出手段と、前記第２の検出手段が検出した組み合わせに対応するロングトーン区間とビブラート区間について、ロングトーン区間の時間長とビブラート区間の時間長の相対値である第２の相対値を算出する第２の相対値算出手段を有し、前記評価手段は、前記相対値算出手段が算出した相対値と前記第２の相対値算出手段が算出した第２の相対値とを比較し、その比較結果に基づいて前記歌唱音声の評価を算出しても良い。

本発明に係るプログラムは、コンピュータを、歌唱音声を表す歌唱音声データを受取る受取手段と、前記受取手段が受取った歌唱音声データから、所定の範囲内のピッチで所定の時間以上継続して音を発音するロングトーン技法が用いられている区間であるロングトーン区間を特定するロングトーン区間特定手段と、前記受取手段が受取った歌唱音声データから、所定幅以上の振幅でピッチを周期的に振動させるビブラート技法が用いられている区間であるビブラート区間を特定するビブラート区間特定手段と、前記ロングトーン区間特定手段により特定されたロングトーン区間と前記ビブラート区間特定手段により特定されたビブラート区間とから、ロングトーン区間の終了時刻とビブラート区間の開始時刻との差が所定の値以下であるロングトーン区間とビブラート区間の組み合わせを検出する検出手段と、前記検出手段の検出結果に基づいて前記歌唱音声の評価を算出する評価手段として機能させる。

本発明によれば、歌唱技法の巧拙を精密に評価することができる。

本発明に係るカラオケ装置１は、お手本となる歌唱音声（以下、お手本音声）および歌唱を練習する者（以下、練習者）の歌唱音声（以下、練習者音声）において、ビブラート技法を用いて歌唱されている区間（以下、ビブラート区間）やロングトーン技法を用いて歌唱されている区間（以下、ロングトーン区間）を特定する機能を有する。そして、カラオケ装置１は、それらの音声において特定されたビブラート区間およびロングトーン区間に基づいて、それらの歌唱技法の巧拙を精密に評価する機能を有する。
以下、図面を参照して、本発明の実施形態について説明する。

（Ａ：構成）
図１は、本発明の一実施形態であるカラオケ装置１のハードウェア構成の一例を示すブロック図である。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を備え、上記ＲＯＭに記憶されている制御プログラムを読み出して実行することにより、カラオケ装置１の各部を制御する。
表示部１３は、液晶パネルなどの表示装置を備え、制御部１１による制御の下でカラオケの歌詞テロップなどの各種の画像を表示する。
操作部１４は各種の操作子を備え、操作者による操作内容を表す操作信号を制御部１１に出力する。
マイクロホン１５は、収音した音声を表すアナログの音声信号を出力する。
音声処理部１６は、Ａ／Ｄコンバータを有し、マイクロホン１５が出力したアナログの音声信号をデジタルの音声データに変換して制御部１１に出力する。また、音声処理部１６は、Ｄ／Ａコンバータを有し、制御部１１から受取ったデジタルの音声データをアナログの音声信号に変換してスピーカ１７に出力する。
スピーカ１７は、音声処理部１６から受取った音声信号に基づいて放音する。

記憶部１２は、例えばハードディスクドライブ(Hard Disk Drive)などの記憶手段であり、以下に説明する各種の記憶領域を備えている。
伴奏データ記憶領域１２１には、各楽曲の伴奏データが記憶されている。該伴奏データは、例えばＭＩＤＩ（Musical Instrument Digital Interface）形式などのデータ形式で、上記各楽曲の伴奏を行う各種楽器の音高（ピッチ）を示す情報が楽曲の進行に伴って記されている。また、この伴奏データには、楽曲のガイドメロディのノート（音符）毎のピッチ（音高）を示すメロディピッチデータが含まれている。
歌詞データ記憶領域１２２には、各楽曲の歌詞を示す歌詞データが記憶されている。歌詞データは、カラオケ伴奏の進行に伴い歌詞テロップとして表示部１３に表示される。
お手本音声データ記憶領域１２３には、各楽曲のお手本音声を表すデータ（以下、お手本音声データ）が記憶されている。お手本音声データは、例えば、ＷＡＶＥ形式やＭＰ３（MPEG1 Audio Layer-3）形式などの音声データである。
練習者音声データ記憶領域１２４には、各楽曲について、練習者の歌唱がマイクロホン１５によって収音されて音声処理部１６でデジタルデータに変換されることで生成された音声データ（以下、練習者音声データ）が記憶される。この練習者音声データも、ＷＡＶＥ形式やＭＰ３形式などの音声データである。
ビブラート区間データ記憶領域１２５には、各楽曲のお手本音声データおよび練習者音声データにおけるビブラート区間を示すデータ（以下、ビブラート区間データ）が記憶される。このビブラート区間データは、後述するように制御部１１によって生成されるデータである。
ロングトーン区間データ記憶領域１２６には、各楽曲のお手本音声データおよび練習者音声データにおけるロングトーン区間を示すデータ（以下、ロングトーン区間データ）が記憶される。このロングトーン区間データは、後述するように制御部１１によって生成されるデータである。
パラメータ記憶領域１２７には、各楽曲においてお手本音声データおよび練習者音声データから抽出されたピッチや、該ピッチから抽出された各種パラメータが記憶される。

（Ｂ：実施形態の動作）
次に、本発明に係るカラオケ装置１の動作について説明する。

（Ｂ−１；カラオケ伴奏処理）
まず、カラオケ伴奏処理について図２に示すフローチャートを参照して説明する。
練習者が、カラオケ装置１の操作部１４を操作して歌唱する楽曲を選択すると、選択された楽曲を特定する操作信号が操作部１４から制御部１１に出力される。

ステップＳＡ１００において、制御部１１は、カラオケ伴奏を行わせるとともに、歌詞テロップを表示部１３に表示させる。すなわち、制御部１１は、伴奏データ記憶領域１２１から、操作信号に応じた伴奏データを読み出して音声処理部１６に供給する。音声処理部１６は、伴奏データをアナログの音声信号に変換し、スピーカ１７に出力する。スピーカ１７は、音声処理部１６から受取った音声信号に基づいて放音する。
また、制御部１１は、歌詞データ記憶領域１２２から、操作信号に応じた歌詞データを読み出して表示部１３に供給する。表示部１３は、該歌詞データに基づいて歌詞テロップを表示する。

練習者は、表示部１３に表示された歌詞テロップを参照し、スピーカ１７から放音される音（カラオケ伴奏）にあわせて歌唱する。
練習者による歌唱音声はマイクロホン１５により収音され、該収音された歌唱音声に基づいて練習者音声データが生成される（ステップＳＡ１１０）。生成された練習者音声データは記憶部１２の練習者音声データ記憶領域１２４に書き込まれる。

制御部１１は、上記カラオケ伴奏の進行に伴い、上述のように練習者音声データを生成する処理と並行して、お手本音声データをお手本音声データ記憶領域１２３から読み出す。

制御部１１は、カラオケ伴奏の進行に伴って生成された練習者音声データおよび読み出されたお手本音声データから、所定時間長（例えば、１０msec）のフレーム単位でピッチ（音高）を抽出し、その絶対的なピッチを表す「絶対的お手本ピッチデータ」および「絶対的練習者ピッチデータ」を生成する（ステップＳＡ１２０）。なお、以下では、両者を区別しない場合には、「絶対的ピッチデータ」と総称する。
生成された絶対的ピッチデータは、パラメータ記憶領域１２７に書き込まれる。

次いで、制御部１１は、該生成された絶対的お手本ピッチデータおよび絶対的練習者ピッチデータからメロディピッチデータが表すピッチをゼロ基準値とした場合の相対値を算出し、それぞれ「相対的お手本ピッチデータ」および「相対的練習者ピッチデータ」を生成する（ステップＳＡ１３０）。なお、以下では、両者を区別しない場合には、相対的ピッチデータと総称する。
生成された相対的ピッチデータは、記憶部１２のパラメータ記憶領域１２７に書き込まれる。

図３には、上述のようにして生成された絶対的練習者ピッチデータが表すピッチの一例を、メロディピッチデータと併せて示す。図３において、横軸は時刻（楽曲が開始されてからの経過時間）を表す。また、縦軸には、各時刻における練習者音声のピッチが示されている。
また、図４には、図３に示された絶対的練習者ピッチデータから生成された相対的練習者ピッチデータを示す。図４において、縦軸は練習者音声のピッチとガイドメロディのピッチとの比（ピッチのずれ）を表す。なお、図中で、「セント」とは、２音間の周波数比を示す単位であり、例えば基準となるガイドメロディから＋１００セントずれて表示された場合、練習者音声とガイドメロディの音程は半音となることを示す。
ここでは練習者音声に関する絶対的ピッチデータおよび相対的ピッチデータを示したが、お手本音声においても同様のデータが生成される。

ステップＳＡ１４０において、制御部１１は、カラオケ伴奏が一曲分終了したか否かを判定する。ステップＳＡ１４０の判定結果が“Ｙｅｓ”である場合には、カラオケ伴奏処理を終了する。一方、ステップＳＡ１４０の判定結果が“Ｎｏ”である場合には、楽曲の残りの部分についてステップＳＡ１００ないしステップＳＡ１３０の処理が行われる。
このように、カラオケ伴奏の進行に伴い、お手本音声および練習者音声のピッチに関するデータが記憶部１２に順次書き込まれる。

（Ｂ−２；ビブラート区間の特定）
制御部１１は、カラオケ伴奏処理が終了すると、お手本音声および練習者音声においてビブラート区間を特定する。
なお、以下では、ビブラート区間を特定する方法の一例を簡単に説明するが、従来知られている他の方法によりビブラート区間を特定しても良い。

制御部１１は、お手本音声および練習者音声におけるビブラート区間を以下の条件に照らして特定する。まず、制御部１１は、上述したカラオケ伴奏処理において生成された相対的ピッチデータの表すピッチが、負から正又は正から負に変化する（ゼロクロスする）箇所をゼロクロス箇所として特定する。例えば、図４に示す例（相対的練習者ピッチデータ）においては、グラフがゼロクロスする時刻すなわち、時刻ｔ１〜ｔ５などが、ゼロクロス箇所として特定される。

次いで、制御部１１は、ゼロクロス箇所が現れる時間間隔を測定し、（１）測定された時間間隔が予め定められた範囲内であり、（２）ゼロクロス箇所が連続して所定回数以上検出され、（３）ピッチの振幅が所定の値（例えば２０セント）を越えている区間を、ビブラート区間として特定する。要は、「ピッチが所定幅を超えて周期的に変動した区間」を、ビブラート区間として特定する。
この処理によって、図４に示した例では、区間Ａがビブラート区間として特定される。なお、練習者音声データの他の楽曲部分においても、また、お手本音声データについても、同様にビブラート区間が特定される。
制御部１１は、特定したビブラート区間の各々について、開始時刻および終了時刻を特定し、ビブラート区間データ記憶領域１２５に書き込む。

（Ｂ−３；ロングトーン区間の特定）
制御部１１は、上述したビブラート区間の特定と並行して、ロングトーン区間の特定を行う。なお、以下では、ロングトーン区間を特定する方法の一例を簡単に説明するが、従来知られている他の方法によりロングトーン区間を特定しても良い。

図５は、ある練習者による絶対的練習者ピッチデータが示すピッチを、メロディピッチデータと併せて示している。
まず、制御部１１は、メロディピッチデータが示す各時刻のピッチを含むように所定幅を特定する。同図においては、メロディピッチデータの上下１０セントに対応するピッチを、所定幅としている。斜線で示した領域（検出領域）は、各時刻における上記所定幅の一例を示したものである。

制御部１１は、絶対的練習者ピッチデータが示す各時刻におけるピッチが上記所定幅に収まるか否かを判定し、所定の時間（例えば、図中ｋで示す時間幅）を越えて収まっている区間を「ロングトーン区間」とする。同図においては、時刻ｔ１ａからｔ１ｂの区間および時刻ｔ２ａからｔ２ｂの区間において絶対的練習者ピッチデータは上記所定幅に継続して収まっているが、上記所定の時間を越えて収まっているのは時刻ｔ１ａからｔ１ｂの区間の方のみであるため、この区間をロングトーン区間として特定する。要は、「ピッチの変動が所定の範囲内である状態が所定時間以上継続した区間」をロングトーン区間として特定する。

練習者音声データの他の楽曲部分においても、また、お手本音声データについても、同様にロングトーン区間が特定される。
制御部１１は、ロングトーン区間を特定すると、該区間の開始および終了時刻を特定し、ロングトーン区間データとして記憶部１２のロングトーン区間データ記憶領域１２６に書き込む。

（Ｂ−４；歌唱の評価）
次に、練習者音声の評価方法について説明する。カラオケ装置１においては、複数の観点による評価が行われる。以下では各評価の観点についてそれぞれ説明する。

（Ｂ−４−１；ピッチの正確さに基づく評価）
カラオケ装置１は、ピッチの正確さに基づく歌唱の評価を行う。本評価方法は、従来のカラオケ装置に用いられている評価方法と略同様であり、以下では簡単にその評価方法を説明する。
制御部１１は、練習者音声のピッチとガイドメロディのピッチとの差分の絶対値（相対的練習者ピッチデータの絶対値）を時間積分し、練習者音声におけるピッチの「ずれ」を、楽曲の全体に亘って積算する。該積算値が大きいほど、楽曲全体で練習者音声はガイドメロディからピッチがずれていることを表し、該積算値に応じて減点法により評価を行う。

（Ｂ−４−２；ビブラート技法の評価）
次に、練習者音声におけるビブラート技法の巧拙を評価する方法について、図６に示すフローチャートを参照して説明する。なお、本発明において、ビブラート技法の評価方法としては、従来知られている評価方法のいずれを用いても良く、以下では一例を取り上げて簡潔に説明する。

ステップＳＢ１１０において、制御部１１は、ビブラート区間データ記憶領域１２５から、練習者音声データに関するビブラート区間データを読出す。
制御部１１は、相対的練習者ピッチデータにおける各ビブラート区間において、以下に挙げるパラメータを抽出する（ステップＳＢ１２０）。なお、以下の説明において、例えば図４の区間Ａのようにピッチが周期的に変動している場合に、単位時間あたりのピッチの振動の回数を「ビブラートの振動数」と呼ぶ。

（１）ビブラートの振動数の標準偏差Ｄｆ
パラメータＤｆは、相対的練習者ピッチデータが横軸とゼロクロスする時間間隔の逆数の複数のデータにおけるばらつき（標準偏差）として算出される。
（２）ピッチ振動幅の標準偏差Ｄｐ
パラメータＤｐは、各ビブラート区間において見出された一連のピッチの振動において、各振動の振動幅のばらつき（標準偏差）を示す。

制御部は、ステップＳＢ１１０で読み出したビブラート区間ごとに以上に示した２つのパラメータを抽出し、抽出されたパラメータをパラメータ記憶領域１２７に書き込む。
ステップＳＢ１３０において、制御部１１は、パラメータ記憶領域１２７に書き込まれたパラメータに基づいて、該ビブラート区間におけるビブラート技法の巧拙を評価する。具体的には、以下の通りである。

制御部１１は、Ｄｆの値が小さいほど、高い評価（得点）を与える。なぜなら、Ｄｆはビブラートの振動数のばらつきを表し、Ｄｆの値が０に近いほど均一な振動数を示す、優れたビブラートであると考えられるからである。
また、制御部１１は、Ｄｐの値が小さいほど、高い評価（得点）を与える。Ｄｐは、ビブラート区間におけるピッチの変動幅のばらつきを意味し、Ｄｐの値が０に近いほど均一な変動幅でピッチが振動する、優れたビブラートであることを示すからである。
以下では、ビブラート技法について与えられる得点を、「ビブラート得点」と呼ぶ。

ビブラート技法においては、ピッチの変動の周期性が高いほど、すなわち振動数や振動幅が規則的であると、聴覚印象的に音の響きは豊かで望ましいものとなることが知られている。従って、ビブラートの振動数の均一性を反映するパラメータであるＤｆや、ピッチの振動幅の均一性を反映するパラメータであるＤｐに基づく評価をすることで、ビブラート技法の巧拙を適切に評価することが可能である。
なお、ビブラート区間においては、上述した「ピッチの正確さに基づく評価」は行われない。なぜなら、ビブラート技法は、練習者が意図的にメロディピッチデータのピッチから外れるように歌唱する技法であるためである。

（Ｂ−４−３；ロングトーン技法の評価）
次に、練習者音声におけるロングトーン技法の巧拙を評価する方法について説明する。なお、本発明において、ロングトーン技法の評価方法としては、従来知られている評価方法のいずれを用いても良く、以下では一例を取り上げて簡潔に説明する。

ロングトーン技法は、一回の息で同じ音高の音を長く発する技法であるため、発音の途中で音程が上下しないことや、途中で発音が途切れないことを評価の基準とする。

制御部１１は、ロングトーン区間データ記憶領域１２６から、練習者音声についてのロングトーン区間データを読出す。そして、制御部１１は、相対的練習者ピッチデータにおける各ロングトーン区間において、以下に挙げる条件に基づいて練習者音声におけるロングトーン技法の巧拙について評価する。

制御部１１は、相対的練習者ピッチデータにおける各ロングトーン区間について、相対的練習者ピッチデータの絶対値を時間積分し、練習者音声におけるピッチの「ずれ」を楽曲の全体の各ロングトーン区間に亘って積算する。
該積算値は、一般に優れたロングトーン技法が用いられたロングトーン区間においては小さな値となる。そこで、制御部１１は、該積算値に応じて得点を加点する。すなわち、該積算値が小さいほど、練習者音声はロングトーン区間の間継続してピッチを一定に保ったと考えられることから、高い得点を加算する。
また、ロングトーン区間の開始時刻および終了時刻からロングトーンの継続時間を算出し、該継続時間が長いほど高い得点を加算する。なぜなら、一般的にロングトーンは継続時間が長いほど難易度が高いが、美しい歌唱となるからである。
以下、上記ロングトーン技法について与えられる得点を、「ロングトーン得点」と呼ぶ。
なお、ロングトーン区間においても、上述した「ピッチの正確さに基づく評価」は行われない。なぜなら、ロングトーン技法の評価には、ピッチの正確さに基づく評価内容が実質的に含まれているからである。

（Ｂ−４−４；ロングトーンとビブラートの組み合わせに基づく評価）
制御部１１は、上述したようにビブラート技法とロングトーン技法の巧拙についてそれぞれ別個に評価を行うが、本発明に係るカラオケ装置１においては、更にビブラート技法とロングトーン技法とを組み合わせる技法（組み合わせ技法）を検出し、該組み合わせ技法の態様に基づいて以下のような歌唱の評価を行う。

ここで、「組み合わせ技法」の実例を示す。図７は、楽曲の一部分における絶対的お手本ピッチデータを、メロディピッチデータと併せて示している。同図において、絶対的お手本ピッチデータが示すピッチは、時刻ｔ１からｔ２までの区間において、メロディピッチデータのピッチから所定幅に継続して収まっており、ロングトーン区間と判定される。また、該ロングトーン区間の直後には、時刻ｔ３からｔ４までの区間においては、絶対的お手本ピッチデータが示すピッチは、メロディピッチデータのピッチを基準として振動しており、ビブラート区間であると判定される。
同図下部には、上記ロングトーン区間およびビブラート区間の時間的関係を、模式的に示している。横線の帯はロングトーン区間（図中ＬＴ）を表し、波線の帯はビブラート区間（図中ＶＴ）を表す。

図８は、練習者音声において特定されたビブラート区間およびロングトーン区間を、図７下部と同様の表示態様で示したものである。同図（ａ）〜（ｃ）に示すように、ビブラート区間とロングトーン区間の時間的配置には種々のパターンがある。

同図（ａ）に示されるように、ロングトーン区間の直後にビブラート区間が連続している場合、すなわちロングトーン区間の終了時刻とビブラート区間の開始時刻が一致する場合、ビブラート技法にロングトーン技法を組み合わせる技法が用いられたと判定され、歌唱評価に、後述する所定の得点（以下、組み合わせ得点）が加点される。

同図（ｂ）に示されるように、ロングトーン区間の直後にビブラート区間があるが、ロングトーン区間の終了時刻とビブラート区間の開始時刻に時間的ギャップ（同図においては、０．２秒）がある場合、該時間的ギャップが所定の時間（０．５秒間）未満である場合には、該ロングトーン区間とビブラート区間は連続しているものと判定され、（ａ）と同様に、組み合わせ得点が加点される。
なお、ロングトーン区間の終了時刻がビブラート区間の開始時刻より前にずれている場合のみならず後ろにずれている場合も同様に、上記時間的ギャップが所定の時間未満であれば、該ロングトーン区間とビブラート区間は連続しているものと判定される。
なお、以上の処理において、時間的ギャップが検出されたにもかかわらず両区間が連続していると判定するのは、該時間的ギャップは、ロングトーン区間およびビブラート区間をそれぞれ特定する際に生じた誤差に由来すると考えられるからである。
また、本動作例においては上記所定の時間を０．５秒間としているが、該値に限定されるものではなく適宜定められれば良い。例えば楽曲のテンポ等に応じて変化させてもよい。

さて、同図（ｃ）においては、ロングトーン区間とビブラート区間の時間的ギャップが１．５秒であるが、このように時間的ギャップが上記所定の時間（０．５秒間）を越えている場合には、該ロングトーン区間とビブラート区間は連続しているとは判定されない。なぜなら、時間的ギャップが上記所定の時間（０．５秒間）を越えている場合には、該ロングトーン区間とビブラート区間は楽曲における別個の部分に対して独立して用いられていると考えられるからである。この場合、組み合わせ得点が加点されることはない。

ここで、上述した「組み合わせ得点」の算出方法について説明する。本実施形態において、組み合わせ得点は、組み合わされたロングトーン区間とビブラート区間の時間長の割合に基づいて決定される。
例えば図１１に示されるように、８秒間同じ音高を歌唱することが指定されている楽曲部分において、練習者が同図（ａ）、（ｂ）、および（ｃ）のパターンで歌唱した場合について説明する。同図（ａ）においては、６秒間のロングトーン区間に続けて２秒間のビブラート区間が検出されている。この場合、ロングトーン区間とビブラート区間を合わせた区間（以下、組み合わせ区間）の後半２５％においてビブラート技法が用いられている。また、同図（ｂ）、（ｃ）においては、それぞれ組み合わせ区間の後半５０％、７５％にビブラート技法が用いられている。

この場合、制御部１１は、練習者音声における各組み合わせ区間と対応する組み合わせ区間をお手本音声において検出し、該お手本音声における組み合わせ区間についてビブラート区間の割合を算出しておく。そして、制御部１１は、練習者音声における各組み合わせ区間についてビブラート区間の割合を算出し、該算出された割合が上記お手本音声において算出されたビブラート区間の割合と近い値であるほど高い得点を加算する。
例えば、図１１に示された楽曲部分について、お手本音声においてビブラート区間の割合が３０％であった場合、練習者音声が同図（ａ）の態様であった場合に、最も高い組み合わせ得点を加算し、同図（ｂ）、（ｃ）の態様であった場合には、（ａ）の場合よりも低い組み合わせ得点を加算する。

（Ｂ−５；歌唱評価のまとめ）
上述した歌唱評価による評価内容について具体的に説明する。図９および１０は、絶対的練習者ピッチデータの例を、図３と同様に示したものである。以下では、それぞれの練習者音声に対する評価内容を説明する。

図９に示されるように、練習者がロングトーン技法のみを用いて上記楽曲部分を歌唱した場合には、評価内容は以下の通りである。すなわち、当該楽曲部分においてはロングトーン区間が検出され、該ロングトーン区間の継続時間が長いほど、および絶対的練習者ピッチデータとガイドメロディとのずれが小さいほど、高いロングトーン得点が加算される。なお、同図においてロングトーン区間以外の区間については、上述した「ピッチの正確さによる歌唱評価」がなされる。

また、図１０に示されるように、練習者がビブラート技法のみを用いて上記楽曲部分を歌唱した場合には、評価内容は以下の通りとなる。すなわち、当該楽曲部分においてビブラート区間が検出され、該ビブラート区間の継続時間が長いほど、およびピッチの振動の振動数や振幅が均一であるほど、高いビブラート得点が加算される。なお、同図においてビブラート区間以外の区間については、上述した「ピッチの正確さによる歌唱評価」がなされる。

また、図示は省略するが、練習者がビブラート技法とロングトーン技法のいずれも用いずに上記楽曲部分を歌唱した場合には、上述した「ピッチの正確さによる歌唱評価」のみによる評価がなされる。

以上のように、練習者がロングトーン技法またはビブラート技法のいずれか一方を用いて歌唱した場合には、それぞれの技法についての評価がなされ、得点が加算される。また、いずれの技法も用いられていない区間については、ピッチの正確さによる評価がなされる。

さて、図３にも示したように、練習者が上記と同じ楽曲の部分をロングトーン技法およびビブラート技法を組み合わせて歌唱した場合には、評価内容は以下の通りとなる。すなわち、まず検出されたロングトーン技法について単独で評価が行われ、ロングトーン得点が加算される。また、検出されたビブラート技法についても、ロングトーン技法とは独立して評価が行われ、ビブラート得点が加算される。これらの評価は、ロングトーン区間およびビブラート区間のそれぞれに対して実行される。

更には、ロングトーン技法とビブラート技法が連続して組み合わされて用いられたことに対して組み合わせ得点が加算される。すなわち、図３に示したように、ロングトーン技法からビブラート技法へと移行するように歌唱する組み合わせ技法が用いられていることが検出されると、ロングトーン区間とビブラート区間の時間長の割合に基づいて組み合わせ得点が算出され、歌唱評価に得点が加算される。

さて、ロングトーン技法単独またはビブラート技法単独で歌唱した場合（図９および図１０）に与えられるロングトーン得点またはビブラート得点と、両技法を組み合わせて歌唱した場合（図３）に与えられるロングトーン得点およびビブラート得点をそれぞれ比較した場合、それぞれの技法を単独で用いられた場合の得点の方が高い得点となる傾向がある。なぜなら、ロングトーン技法またはビブラート技法を単独で用いて歌唱する場合のロングトーン区間またはビブラート区間の継続時間は、両技法を組み合わせて歌唱する場合の各技法の継続時間より長く継続させることが可能だからである。例えば、図３におけるロングトーン区間およびビブラート区間の継続時間は、図９におけるロングトーン区間および図１０におけるビブラート区間の継続時間より短い。

しかし、図３の場合において加算される「組み合わせ得点」の点数には十分に高い値が設定されており、図３において加算される得点の和（ロングトーン得点＋ビブラート得点＋組み合わせ得点）は、図９における得点（ロングトーン得点のみ）、または図１０における得点（ビブラート得点）と比較した場合に高い値となる。

以上のように、ある楽音をロングトーン技法やビブラート技法を単独で用いて歌唱する場合よりも、ロングトーン技法とビブラート技法を組み合わせて歌唱した場合の方が評価は高くなる。
一般に、ロングトーン技法やビブラート技法を単独で用いた場合には、その歌唱方法に単調さや均質さを感じさせる傾向がある。一方、ロングトーン技法とビブラート技法とを組み合わせた場合には、楽曲における感情の盛り上がりなどが豊かに表現され、その歌唱は優れていると感じられる。従って、ロングトーン技法とビブラート技法とを組み合わせる「組み合わせ技法」を検出して該技法を高く評価するカラオケ装置１によれば、実際に歌唱を聴いた場合の感覚と良く一致する評価を行うことができる。

（Ｃ：変形例）
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。

（１）上述した実施形態においては、カラオケ伴奏処理の後に、お手本音声データおよび練習者音声データについてのビブラート区間およびロングトーン区間の特定を行う場合について説明した。しかし、該処理はカラオケ伴奏処理と並行して実行されるとしても良い。すなわち、練習者音声データを順次記憶すると共にお手本音声データを読み出し、カラオケの演奏が終了した楽曲部分において、お手本音声データおよび練習者音声データからピッチを抽出しそれぞれの歌唱音声からピッチデータを生成しても良い。
また、上述した実施形態においては、カラオケ伴奏処理の終了後に、練習者音声に関する評価を行う場合について説明した。しかし、該歌唱評価の処理は、カラオケ伴奏の進行に伴って評価に必要なデータが揃い次第順次行われるとしても良い。

（２）上述した実施形態においては、ビブラート技法またはロングトーン技法のそれぞれの評価においては、技法の巧拙を表す各種パラメータに応じて加点法により採点を行う場合について説明した。しかし、ビブラート技法またはロングトーン技法のそれぞれの評価において、それぞれの技法から抽出されたパラメータに基づいて、減点法により評価を行っても良い。例えば、ビブラート技法については、ピッチの振動数の標準偏差Ｄｆやピッチの振動幅の標準偏差Ｄｐなどのパラメータが大きいほど、大きく減点するなどしても良い。また、ロングトーン技法においては、ガイドメロディからのピッチのずれが大きいほど減点するなどしても良い。また、上記両技法について、お手本音声において両技法が検出されたにもかかわらず、練習者音声においては検出されなかった区間があった場合に、減点するなどしても良い。すなわち、ビブラート技法またはロングトーン技法を用いるべき箇所で用いられていないことに対して低い評価を行うようにしても良い。

（３）上記実施形態においては、組み合わせ得点は、練習者音声の各「組み合わせ区間」におけるビブラート区間の割合と、対応するお手本音声の区間におけるビブラート区間の割合に基づいて調整される場合について説明した。しかし、組み合わせ得点の調整法は上記の方法に限定されない。
例えば、組み合わせ得点は、練習者音声の各組み合わせ区間におけるビブラート区間の割合と、制御プログラムにおいて予め設定された値（例えば、３０％など）との差に基づいて調整されるとしても良い。
また、練習者音声の各組み合わせ区間におけるビブラート区間の割合を、楽曲のジャンルやテンポなどの楽曲の属性に基づく値と比較しても良い。例えば、カラオケ装置１の記憶手段には、「楽曲のジャンル」と「ビブラート区間の割合」とを対応付けるテーブルが格納されており、楽曲データにジャンルを表すデータが含まれている場合には、該データが表すジャンルに対応する「ビブラート区間の割合」を上記テーブルを参照して特定し、練習者音声の各組み合わせ区間におけるビブラート区間の割合と該特定された割合との差に基づいて、組み合わせ得点の調整を行っても良い。
また、組み合わせ得点は、組み合わせ技法１箇所につき所定の得点が加算されるとし、楽曲全体における組み合わせ得点は、該楽曲において検出された組み合わせ技法の数に比例するとしても良い。

（４）上述した実施形態においては、練習者音声データについて、ビブラート技法、ロングトーン技法、および組み合わせ技法の評価を行う場合について説明した。しかし、処理の対象となるデータは、歌唱音声を表すデータに限らない。例えばバイオリンやフルートなどの楽器の演奏音を表す音声データであってもよい。

（５）上述した実施形態においては、お手本音声から、各楽曲におけるビブラート区間およびロングトーン区間を特定し、該特定された両区間に基づいて歌唱を評価する場合について説明した。しかし、お手本音声における両区間を示すデータが別途得られる場合には、上記両区間の特定を行わなくても良い。両区間を示すデータが別途得られる場合とは、例えば、お手本音声データに両区間を示すデータが予め含まれている場合などである。そのような場合、上記両区間を示すデータを歌唱評価の際に読み出して用いれば良い。

（６）上述した実施形態においては、ビブラート区間の検出および技法の評価において、パラメータ種（Ｄｆ、Ｄｐ）を用いる場合について説明したが、これらのパラメータ種は一例であり、これらの他にビブラート技法の特徴を表す各種のパラメータを用いてビブラート技法を評価することが可能である。

（７）上述した実施形態におけるカラオケ装置１の制御部１１によって実行される制御プログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。

カラオケ装置１のハードウェア構成を示すブロック図である。 カラオケ伴奏処理の流れを示すフローチャートである。 絶対的練習者ピッチデータの一例を示す図である。 相対的練習者ピッチデータの一例を示す図である。 ロングトーン区間の特定方法を説明するための図である。 ビブラート区間特定処理の流れを示すフローチャートである。 絶対的お手本ピッチデータの一例を示す図である。 ロングトーン区間とビブラート区間の関係性を示す図である。 絶対的練習者ピッチデータの一例を示す図である。 絶対的練習者ピッチデータの一例を示す図である。 組み合わせ技法の態様を示した図である。

符号の説明

１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１２１…伴奏データ記憶領域、１２２…歌詞データ記憶領域、１２３…お手本音声データ記憶領域、１２４…練習者音声データ記憶領域、１２５…ビブラート区間データ記憶領域、１２６…ロングトーン区間データ記憶領域、１２７…パラメータ記憶領域

Claims (4)

1. 歌唱音声を表す歌唱音声データを受取る受取手段と、
   前記受取手段が受取った歌唱音声データのピッチを検出するピッチ検出手段と、
   前記ピッチ検出手段が検出したピッチの変動が所定の範囲内である状態が所定時間以上継続したか否かを検出し、前記所定時間以上の継続が検出された場合に、その検出区間をロングトーン区間として特定するロングトーン区間特定手段と、
   前記ピッチ検出手段が検出したピッチが所定幅を超えて周期的に変動したか否かを検出し、前記ピッチの周期的な変動が検出された場合に、その検出区間をビブラート区間として特定するビブラート区間特定手段と、
   前記ロングトーン区間特定手段によりロングトーン区間が検出され、前記ビブラート区間特定手段によりビブラート区間が特定された場合に、該ロングトーン区間の終了時刻と該ビブラート区間の開始時刻との差が所定の値以下であるかを判定し、該判定結果が肯定的であるロングトーン区間とビブラート区間の組み合わせを検出する検出手段と、
   前記検出手段の検出結果に基づいて前記歌唱音声の評価を算出する評価手段と
   を有することを特徴とする歌唱評価装置。
2. 前記検出手段が検出した組み合わせに対応するロングトーン区間とビブラート区間について、ロングトーン区間の時間長とビブラート区間の時間長との相対値を算出する相対値算出手段を有し、
   前記評価手段は、前記相対値算出手段により算出された相対値に基づいて前記歌唱音声の評価を算出する
   ことを特徴とする請求項１に記載の歌唱評価装置。
3. お手本となる歌唱音声を表すお手本音声データを受取る第２の受取手段と、
   前記第２の受取手段が受取ったお手本音声データのピッチを検出する第２のピッチ検出手段と、
   前記第２のピッチ検出手段が検出したピッチの変動が所定の範囲内である状態が所定時間以上継続したか否かを検出し、前記所定時間以上の継続が検出された場合に、その検出区間をロングトーン区間として特定する第２のロングトーン区間特定手段と、
   前記第２のピッチ検出手段が検出したピッチが所定幅を超えて周期的に変動したか否かを検出し、前記ピッチの周期的な変動が検出された場合に、その検出区間をビブラート区間として特定する第２のビブラート区間特定手段と、
   前記第２のロングトーン区間特定手段によりロングトーン区間が検出され、前記第２のビブラート区間特定手段によりビブラート区間が特定された場合に、該ロングトーン区間の終了時刻と該ビブラート区間の開始時刻との差が所定の値以下であるかを判定し、該判定結果が肯定的であるロングトーン区間とビブラート区間の組み合わせを検出する第２の検出手段と、
   前記第２の検出手段が検出した組み合わせに対応するロングトーン区間とビブラート区間について、ロングトーン区間の時間長とビブラート区間の時間長の相対値である第２の相対値を算出する第２の相対値算出手段
   を有し、
   前記評価手段は、前記相対値算出手段が算出した相対値と前記第２の相対値算出手段が算出した第２の相対値とを比較し、その比較結果に基づいて前記歌唱音声の評価を算出することを特徴とする請求項２に記載の歌唱評価装置。
4. コンピュータを、
   歌唱音声を表す歌唱音声データを受取る受取手段と、
   前記受取手段が受取った歌唱音声データから、所定の範囲内のピッチで所定の時間以上継続して音を発音するロングトーン技法が用いられている区間であるロングトーン区間を特定するロングトーン区間特定手段と、
   前記受取手段が受取った歌唱音声データから、所定幅以上の振幅でピッチを周期的に振動させるビブラート技法が用いられている区間であるビブラート区間を特定するビブラート区間特定手段と、
   前記ロングトーン区間特定手段により特定されたロングトーン区間と前記ビブラート区間特定手段により特定されたビブラート区間とから、ロングトーン区間の終了時刻とビブラート区間の開始時刻との差が所定の値以下であるロングトーン区間とビブラート区間の組み合わせを検出する検出手段と、
   前記検出手段の検出結果に基づいて前記歌唱音声の評価を算出する評価手段
   として機能させるためのプログラム。

Images