JP2005107331A - カラオケ装置 - Google Patents

Abstract

【課題】歌唱タイミングの検出を高精度に行うことにより、歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供する。
【解決手段】リファレンス周波数と歌唱周波数とを比較し、歌唱周波数がリファレンス周波数から所定範囲内に入ったとき、その音符の歌唱タイミングであるとする。また、前後のノートのリファレンス周波数波形と歌唱周波数波形との相互相関を求め相互相関が最大の位置を歌唱タイミングとする。これにより、レガート歌唱であっても正確に歌唱タイミングを検出することができ、タイミングによる採点を正確に行うことができる。
【選択図】 図４

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの（たとえば特許文献１）やこれに音量変化の評価を加味したもの（特許文献２）などがあった。

特開平１０−４９１８３号公報 特開平１０−１６１６７３号公報

しかし、従来の採点機能は、上記のように歌唱周波数をリファレンスの音高と比較する機能しか備えていなかったため、歌唱タイミングを正確に検出することができず、音量や音程については精度よく採点できても歌唱者の歌唱タイミングすなわちリズム感を正確に採点することができないという欠点があった。

この発明は、歌唱タイミングの検出を高精度に行うことにより、歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。

請求項１の発明は、カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高情報および各音符の区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力してその周波数を検出する歌唱音声入力手段と、前記歌唱音声周波数を各音符の音高周波数と比較し、歌唱音声周波数が各音符の音高周波数から所定の範囲内に接近したタイミングをその音符の歌唱タイミングとし、この歌唱タイミングを当該音符の開始タイミングと比較することにより、歌唱タイミングについて判定する採点手段と、を備えたことを特徴とする。

この発明では、音符の区切り情報に基づいて音符の発音タイミングを検出し、歌唱音声がその音符の音高から所定範囲内に接近したタイミングをその音符の歌唱タイミングとすることで正確に歌唱タイミングと発音タイミングのずれを検出することができ、タイミングの高精度な採点が可能になる。

請求項２の発明は、上記発明において、前記採点手段は、前記歌唱音声入力手段が、歌唱音声周波数の検出を開始したとき、この開始点をその周波数にかかわらず歌唱タイミングとすることを特徴とする。

フレーズの切れ目など歌の無い部分からのや歌いだし時に、歌唱が入力されて周波数の検出がスタートしたときを歌唱タイミングとする。これにより、歌唱者によっては歌いだしの音程が外れてしまう場合があるが、その場合でもタイミングの判定を正しくすることができる。

請求項３の発明は、カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高情報および各音符の区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力してその周波数を検出する歌唱音声入力手段と、各音符毎に前記歌唱音声の歌唱タイミングの前記リファレンスデータからのずれを採点する採点手段であって、採点対象音符を含む所定区間の歌唱音声周波数とリファレンスデータの周波数とを時間軸方向に相互にずらしてその相互相関が最大となる位置を割り出し、そのずれ量をその音符の歌唱タイミングずれとして採点する採点手段と、を備えたことを特徴とする。

いわゆる「しゃくり」などの歌唱法で歌唱したときには、周波数がなだらかに変化するため途中の音符の歌唱タイミングの判定が困難な場合がある。この場合でも、周波数変化の相関をとることによってリファレンスと歌唱とのずれを検出し、このずれを歌唱タイミングのずれとすることで、高精度に歌唱タイミングを判定することができる。

請求項４の発明は、上記発明において、前記歌唱旋律の音高情報、および、前記入力された歌唱音声の一方または両方をローパスフィルタ処理するフィルタ手段を備えたことを特徴とする。

この発明では、歌唱旋律の音高情報、歌唱音声の一方または両方をローパスフィルタ処理している。歌唱旋律の音高情報をＬＰＦ処理することにより、歌唱旋律の音高情報の不連続で機械的な音高変化がなだらかになり、実際の歌唱者の音高変化に近づけることがでる。また、歌唱音声をＬＰＦ処理することにより、ビブラートなどの細かい周波数変動を除去することができ、技巧を凝らした歌唱がかえって低い評価になってしまうことを防止することができる。

以上のようにこの発明によれば、歌唱者の歌唱を採点する場合に、歌唱とリファレンスとの周波数や音量の一致度に加えて正確な歌唱タイミングのずれを検出することができ、歌唱の巧拙をより精度よく判定することが可能になる。

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点し、曲の終了後に点数を算出して表示する採点動作を実行する。

図１は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、ボーカルアダプタ１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３が接続されている。ハードディスク１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。ＲＡＭ１２には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。

音源１３は、ＣＰＵ１０が実行する曲シーケンサ３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。

また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ１９にも入力される。ボーカルアダプタ１９は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、ＣＰＵ１０の曲シーケンサ３１から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて３０ｍｓ毎にＣＰＵ１０（採点モード処理３４）に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、Ｃ０からのセント値で表現される。

ＨＤＤ１１に記憶されている背景映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのＯＳＤを合成する回路である。この合成された映像信号はモニタディスプレイ２２に表示される。

操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に入力する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム３５はシステムプログラムに含まれるものである。

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリア４０から読み出す。シーケンサ３０は、曲シーケンサ３１および歌詞シーケンサ３２からなっており、歌詞シーケンサ３２は、文字パターン作成プログラム３２ａを含んでいる。曲シーケンサ３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ２０に入力する。

ここで、図２を参照してハードディスク１１に記憶されている曲データについて説明する。曲データは、同図（Ａ）に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音（ガイドメロディ）の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１３に入力することにより、音源１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。

通常モードのカラオケ曲の演奏では、シーケンサ３０により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム３４により、採点処理動作が実行される。

まず図３の機能ブロックを参照して、採点モード時の各部の処理について説明する。マイク１７から入力された歌唱音声信号は、Ａ／Ｄコンバータ１８でデジタル音声信号に変換されてボーカルアダプタ１９に入力される（同時にミキサ１４にも入力されるがここでは採点モードの動作のみについて説明する）。ボーカルアダプタ１９では、このデジタル音声信号を歌唱周波数検出部１０２に入力して歌唱周波数（セント値）を検出する。

一方、リファレンス周波数検出部１０１には、カラオケ曲の演奏に同期して、曲シーケンサ３１からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部１０１は、入力されたＭＩＤＩデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として出力する。

歌唱音声検出部１０２による歌唱周波数の検出およびリファレンス周波数検出部１０１によるリファレンス周波数の検出は、３０ｍｓ毎に同期して実行され、その検出結果が３０ｍｓ毎に採点モード処理プログラム３４に入力される。

また、リファレンス周波数検出部１０１は、曲シーケンサ３１からノートオン／オフイベントデータが入力されると、そのタイミングにノートオン情報、ノートオフ情報を採点モード処理プログラム３４に通知する。

採点モード処理プログラム３４では、歌唱周波数のリファレンスに対する周波数差やタイミング差を検出してこれに基づいて歌唱を採点し、最終得点を割り出し、モニタ２２に表示する。

採点処理はたとえば以下のようである。採点部１０７は、歌唱周波数とリファレンス周波数とを比較し、その差分（セント値）を算出し、この差分に基づいて各ノート（音符）毎に合格ノート、不合格ノートを判定する。各ノート（音符）毎にノートオン情報・ノートオフ情報が、リファレンス周波数検出部１０１から採点部１０７に入力される。採点部１０７は、そのノート区間に、歌唱周波数が所定（１〜複数）サンプル以上歌唱旋律の音高に合っていた（リファレンス周波数から許容範囲の周波数に入っていた）場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。

また、各ノート毎にリファレンスの発音タイミングと歌唱者の歌唱音声の歌唱タイミングとを比較してタイミング差を割り出し、このタイミング差が所定以上であれば、上記周波数の判定で「合格ノート」と判定されても「不合格ノート」に変更するようにしている。

図４を参照して歌唱タイミングの検出方式について説明する。歌唱者があるノート（音符）を歌唱しようとして発声を操作したタイミングが歌唱タイミングであり、歌いだしなどの歌の無い部分から歌唱を開始した場合には、同図（Ｂ）に示すように、歌唱周波数検出部１０２に歌唱音声が入力されて、周波数の検出を開始したタイミングｄを歌唱タイミングとする。この歌唱タイミングとリファレンスの発音タイミングＲとの時間差がタイミング差である。

一方レガート歌唱などで複数のノートが連続している場合には、同図（Ａ）のように歌唱周波数が発音タイミングＲの付近で所定範囲（許容範囲）以内に接近したタイミングａを歌唱タイミングとする。

また、歌唱者が前のノートからこのノートに移行しようとし始めたタイミングをとらえて歌唱タイミングとしてもよい。すなわち、同図（Ａ）において、許容範囲内に接近したタイミングａの直前で変化を開始したタイミングｂや変化の傾きが所定値以上になったタイミングｃなどを歌唱タイミングとするようにしてもよい。

なお、同図（Ａ）は音高の低いノートから高いノートへの変化（上昇）について説明しているが、音高の高いノートから低いノートへの変化（下降）についても上下が反転するのみで同様である。

また、同図（Ａ）の歌唱タイミングａは遅れ方向であり、歌唱タイミングｂ，ｃおよび同図（Ｂ）の歌唱タイミングｄは進み（突っ込み）方向であるが、タイミングの進み遅れはこれに限定されるものではない。

また、発音タイミングＲと歌唱タイミングａ，ｂ，ｃとのタイミング差を検出する範囲は、前のノートおよび後のノート（発音タイミングＲで発音するノート）の長さのそれぞれ１／２〜１／３程度までの範囲でよい。もし、それ以上離れたタイミングで歌唱周波数がこの条件に該当しても、これがこのノートの発音のための音高変化であると特定しえないためである。

そして、このタイミング差が所定範囲（たとえば、前記前後のノートの長さの１／４（４分音符の場合には１６分音符程度のずれの範囲）に納まっていた場合には、このノートの歌唱タイミングは合格であり、それ以上のタイミング差（ずれ）があった場合には、このノートの歌唱タイミングは不合格であり、周波数について「合格ノート」と判定されていても「不合格ノート」に変更する。

上記歌唱タイミングの検出方式は、歌唱周波数の変化を監視して歌唱タイミングを検出するものであったが、同図（Ｃ）に示す方式は、リファレンスの発音タイミングＲをはさむ２つのノート（前のノートおよび後のノート）のリファレンス周波数と歌唱周波数とを相互に時間軸方向に移動させて相互相関を求めてそれが最大の位置を割り出し、その相互相関が最大の位置ともとのデータ位置とのずれ量をタイミング差（ｅ）とする。この方式であれば、音高変化時の波形だけでなく、ノート全体の波形に基づいて歌唱タイミングを割り出すことができる。

上記の比較において、単に同じタイミングの歌唱周波数とリファレンス周波数とを比較するのではなく、リファレンス周波数を時間軸上で前後に移動させ、両サンプル列の相互相関が最大になる位置で対応する歌唱音声周波数とリファレンス周波数比較するようにしている。相互相関は、

の相互相関関数で求めてもよいが、ずらしたときに対応するサンプル同士の差分をとり、その差分の積算値が最小となる位置を最大相関点とするようにしてもよい。

上記のようにして、各ノート毎に合格ノート、不合格ノートが求められて曲が終了すると、最終得点を求める。
最終得点は、原則として、合格ノート数の楽曲の全ノート数に対するパーセント、すなわち合格ノート数を全ノート数で除算して１００を掛けたものであるが、この重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算するようにしている。そして、カラオケ装置におけるエンターテイメント機能であることを考慮して、これに５０を掛けた値に５０を加算して１００点満点とし、最低でも５０点が出るようにしている。
上記の例では、合格ノートのみを採点の対象にしているが不合格ノートの数やそのランクを採点の対象にしてもよい。

また、上記合格ノート、不合格ノートを判定するための周波数の比較に際して、歌唱周波数およびリファレンス周波数に対してローパスフィルタ（ＬＰＦ）処理（１０５，１０６）を施したのち、比較するようにしもよい。リファレンス周波数に対するＬＰＦ処理は、機械的な音高列であるリファレンス（図５（Ａ）参照）の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するＬＰＦ処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。

図５はＬＰＦ処理前後のリファレンス周波数波形および歌唱周波数波形の例を示す図である。
図５（Ａ）はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してＬＰＦ処理を行うことにより、同図（Ｂ）に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このＬＰＦ処理の対象外にする。これにより、音の無い区間のデータによりＬＰＦ処理が不自然な動きになってしまうことを防止することができる。

同図（Ｃ）は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符（音高）の変わり目でなだらかな音高の移行（いわゆる「しゃくり」）をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをＬＰＦ処理することにより、同図（Ｄ）に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。

なお、マイク１７から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部１０２は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がＬＰＦ処理部１０６に入力されると、その１サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、１５０セント以上の突然の音高変化があった場合には、そのデータを無視して（直前のサンプルデータをもう一度採用して）ＬＰＦ処理を行うことにより、ノイズによる悪影響を防止することができる。

歌唱周波数およびリファレンス周波数のデータ列は、３０ｍｓ毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するＬＰＦ処理部１０６は、カットオフ周波数５．５Ｈｚの２次フィルタを用い、リファレンス周波数に対するＬＰＦ処理部１０５は、カットオフ周波数５Ｈｚの２次フィルタを用いている。

なお、この歌唱周波数、リファレンス周波数に対するＬＰＦ処理は必須ではない。また、どちらか一方のみに対して行っても上記それぞれの効果を得ることができる。

また、周波数の判定だけでなく、図４（Ｃ）の相互相関を求めてタイミング差を求める処理においても、リファレンス周波数および歌唱周波数の両方または一方にＬＰＦ処理をしたのち相互相関を求めるようにしてもよい。

フローチャートを参照して採点モード処理プログラム３４の処理について説明する。
図６は採点モード処理プログラム３４の動作を示すフローチャートである。この動作ではボーカルアダプタ１９からの入力を監視し、入力されたデータに対応した処理を実行する。３０ｍｓ毎に入力バッファをチェックして歌唱周波数およびリファレンス周波数を取り込むとともにノートオン／オフ情報が入力されているかを確認する。歌唱周波数、リファレンス周波数を取り込むと（ｓ１）、タイミング差を検出するために生データをリストメモリ（図７参照）のタイミング検出用メモリに書き込む（ｓ５）。そして、その両方に対してＬＰＦ処理を実行し（ｓ６）、このＬＰＦ処理されたサンプルデータを周波数差（音程）を検出するためのリストメモリの音程検出用メモリに書き込む（ｓ７）。

ここで、リストメモリはハードディスク１１またはＲＡＭ１２に設定されるメモリエリアであり、図７に示すように、生のリファレンス周波数・歌唱周波数のサンプルデータ、ＬＰＦ処理されたリファレンス周波数・歌唱周波数およびノートオン、ノートオフのイベント情報を入力順に所定量順次記憶するように設定されている。ノートオフ時にこのメモリエリアに書き込まれたデータを用いて周波数差、タイミング差が検出され合格ノート／不合格ノートが判定される。

リファレンス周波数検出部１０１からノートオン情報が入力された場合には（ｓ２）、これを前記リストメモリのイベント情報メモリに書き込む（ｓ１０）。このノートオン情報が書き込まれた位置が図５に示すリファレンスの発音タイミングＲに相当する。

ノートオフ情報が送られてきた場合には（ｓ３）、これを前記イベント情報メモリに書き込み（ｓ１１）、音程検出用メモリに蓄積されたサンプルデータに基づいて採点対象ノートの合格／不合格を判定する（ｓ１２）。この判定は、音程（周波数差）に基づく合否の判定である。さらに、タイミング検出用メモリに蓄積されたサンプルデータに基づいてタイミング差を検出し、これに基づいて合格データ／不合格データを変更する（ｓ１３）。そして、この合否判定結果およびタイミング差を記憶する（ｓ１４）。

上記の処理をノート毎に繰り返して行い。曲が終了すると（ｓ４）、得点集計処理（ｓ１５）を実行する。

図８は得点集計処理を示すフローチャートである。この動作は、上記メインルーチンのｓ１５で実行される。まず、全ノート数および合格ノート数を集計する（ｓ３０）。次に合格ノート数を全ノート数で除算し、この点に５０を乗算し、次に５０を加算して得点を算出する（ｓ３１）。そして、タイミング差を集計する（ｓ３２）。このタイミング差の集計は、ずれ時間の大きさを横軸にしたヒストグラムで集計してもよく、進みノート数と遅れノート数をカウントするのみの集計でもよい。こののち、算出された得点、タイミング差の集計結果およびアドバイスをモニタ２２に表示する（ｓ２７）。

なお、図６の処理では、タイミング差に基づく合格ノート／不合格ノートの判定を行っているが、これに加えてタイミング差の集計結果が小さかった場合（ずれが少なかった場合）にはボーナス得点を設けてこれを得点に加算するようにしてもよい（ｓ３３，ｓ３４）。

上記タイミング差の集計結果の表示例を図９に示す。同図（Ａ）はタイミングの進み／遅れをヒストグラム表示した例である。この表示によると、歌唱者の歌唱の傾向を詳細に知ることができる。また、同図（Ｂ）は進みノート数と遅れノート数を縦軸／横軸に表示した例である。この表示によると、歌唱者の歌唱の傾向を一見して知ることができる。モニタ２２にはこの表示に加えて点数も一緒に表示される。
また、単純にタイミング差の平均値を求めて、これを表示するようにしてもよい。

この発明の実施形態であるカラオケ装置のブロック図 同カラオケ装置で用いられる曲データの構成例を示す図 同カラオケ装置の採点処理の機能ブロックを示す図 同カラオケ装置おけるタイミング差検出の方式を説明する図 同カラオケ装置におけるＬＰＦ処理を説明する図 同カラオケ装置の採点処理動作を示すフローチャート 同カラオケ装置のタイミング検出用メモリおよび音程検出用メモリを示す図 同カラオケ装置の得点集計処理を示すフローチャート 同カラオケ装置におけるタイミング差およびアドバイスの表示例を示す図

符号の説明

１０…ＣＰＵ、１１…ハードディスク、１２…ＲＡＭ、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…ボーカルアダプタ、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、２３…操作部、
３０…シーケンサ、３１…曲シーケンサ、３２…歌詞シーケンサ、３２ａ…文字パターン作成プログラム、３３…背景映像再生プログラム、３４…採点モード処理プログラム、３５…操作入力処理プログラム、
４０…曲データ記憶エリア、４１…背景映像記憶エリア、４３…採点ログ、
１０１…リファレンス周波数検出部、１０２…歌唱周波数検出部、１０５、１０６…ローパスフィルタ処理部、１０７…採点部

Claims (4)

1. カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高情報および各音符の区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
   歌唱音声を入力してその周波数を検出する歌唱音声入力手段と、
   前記歌唱音声周波数を各音符の音高周波数と比較し、歌唱音声周波数が各音符の音高周波数から所定の範囲内に接近したタイミングをその音符の歌唱タイミングとし、この歌唱タイミングを当該音符の開始タイミングと比較することにより、歌唱タイミングについて判定する採点手段と、
   を備えたカラオケ装置。
2. 前記採点手段は、前記歌唱音声入力手段が、歌唱音声周波数の検出を開始したとき、この開始点をその周波数にかかわらず歌唱タイミングとする請求項１に記載のカラオケ装置。
3. カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高情報および各音符の区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
   歌唱音声を入力してその周波数を検出する歌唱音声入力手段と、
   各音符毎に前記歌唱音声の歌唱タイミングの前記リファレンスデータからのずれを採点する採点手段であって、採点対象音符を含む所定区間の歌唱音声周波数とリファレンスデータの周波数とを時間軸方向に相互にずらしてその相互相関が最大となる位置を割り出し、そのずれ量をその音符の歌唱タイミングずれとして採点する採点手段と、
   を備えたカラオケ装置。
4. 前記歌唱旋律の音高情報、および、前記入力された歌唱音声の一方または両方をローパスフィルタ処理するフィルタ手段を備えた請求項３に記載のカラオケ装置。

Images