JP2008261923A - エコーキャンセル装置及びカラオケ装置 - Google Patents

Abstract

【課題】スピーカとマイクの位置関係が一定でない場合であっても、従来と比較してより好適にエコーの発生を防止することのできる技術を提供する。
【解決手段】カラオケ装置１の区間識別手段１１は、リファレンスデータを参照してカラオケ伴奏中の区間が歌唱区間であるか間奏区間であるかを識別する。また、歌唱有無判定手段１２は、マイク２から出力される入力オーディオ信号のピッチとリファレンスデータの示すピッチとを比較し、その差分が閾値を超えない場合には歌唱が行われていると判定する。伝達特性計算手段１４は、区間識別手段１１によって間奏区間であると判断され、かつ、歌唱有無判定手段１２によって歌唱が行われていないと判定された場合に、入力オーディオ信号と出力オーディオ信号とから伝達特性を算出する。伝達特性計算手段１４によって算出された伝達特性を用いてエコーが除去され、歌唱採点手段１７によって採点が行われる。
【選択図】図１

Description

本発明は、エコーキャンセルの技術に関する。

カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。
特開２００５−１０７３３０号公報

ところで、カラオケ歌唱を行う場合には、スピーカから放音されるカラオケ伴奏がマイクに回り込んで拾われてしまう場合がある。歌唱を採点する装置においては、このように伴奏音がマイクに回り込んだ場合に、回り込んだ伴奏音がノイズとして働いてしまい、歌唱の採点が正確に行われない場合がある。

そこで、エコーキャンセル技術を用いてマイクに回り込む伴奏音を除去することが考えられる。一般的に電話等で用いられているエコーキャンセル技術においては、スピーカとマイクとの位置関係は常に一定であるから、伝達特性の時間的な変動は少ない。そのため、一定の伝達特性に従った処理を行うことで、エコーの発生を防止することができる。これに対し、カラオケ歌唱においては、歌唱者がマイクを把持して歌唱するのが一般的であるから、スピーカとマイクの位置関係は変動することが多い。そのため、一般的に電話等で用いられているエコーキャンセル技術を用いたとしても、エコーの発生を好適に防止できない場合がある。
本発明は上述した背景の下になされたものであり、スピーカとマイクの位置関係が一定でない場合であっても、従来と比較してより好適にエコーの発生を防止することのできる技術を提供することを目的とする。

上記課題を解決するため、本発明の好適な態様であるエコーキャンセル装置は、楽曲の伴奏音を表す伴奏音データを記憶する伴奏音データ記憶装置から、前記伴奏音データを順次読み出して伴奏オーディオ信号を生成し、生成した伴奏オーディオ信号を放音装置に供給する伴奏音生成手段と、供給されるデータを解析することにより歌唱者によって歌唱が行われているか否かを推定する推定手段と、前記推定手段によって歌唱が行われていないと推定された場合に、収音する収音装置から出力される入力オーディオ信号と前記伴奏音生成手段により前記放音装置に供給される伴奏オーディオ信号とに基づいて、前記放音装置から前記収音装置へ回り込む音の伝達特性を算出する伝達特性計算手段と、前記伝達特性計算手段により算出された伝達特性を用いて、前記放音装置から放音されて前記収音装置へ回り込む伴奏音を表す回り込みオーディオ信号を、前記伴奏音生成手段によって前記放音装置に供給される伴奏オーディオ信号から生成する伝達特性実現手段と、前記収音装置から出力される入力オーディオ信号から、前記伝達特性実現手段により生成された回り込みオーディオ信号を差し引く打ち消し手段と、前記打ち消し手段により前記回り込みオーディオ信号が差し引かれた入力オーディオ信号を出力する出力手段とを具備することを特徴とする。

上述の態様において、前記推定手段は、前記収音装置から出力される入力オーディオ信号を解析することによって歌唱が行われているか否かを推定してもよい。
また、上述の態様において、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、前記推定手段は、前記収音装置から出力される入力オーディオ信号からピッチを検出し、検出したピッチと前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチとを比較し、両者の差分が予め定められた閾値を超える場合には歌唱が行われていないと推定する一方、前記差分が前記閾値を超えない場合には歌唱が行われていると推定してもよい。
また、上述の態様において、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、前記推定手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータを参照して、歌唱が行われる時間区間であるか歌唱が行われない時間区間であるかを判定し、歌唱が行われる時間区間であると判定した場合には歌唱が行われていると推定する一方、歌唱が行われない区間であると判定した場合には歌唱が行われていないと推定してもよい。

また、上述の態様において、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、前記収音装置から出力される入力オーディオ信号からピッチを検出し、検出したピッチと前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチとを比較し、両者の差分が予め定められた閾値を超えるか否かを判定する歌唱有無判定手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータを参照して、歌唱が行われる時間区間であるか歌唱が行われない時間区間であるかを判定する区間識別手段とを備え、前記推定手段は、前記歌唱有無判定手段によって前記差分が前記閾値を超えると判定されるとともに、前記区間識別手段によって歌唱が行われない時間区間であると判定された場合に、歌唱が行われていないと推定する一方、それ以外の場合には、歌唱が行われていると推定してもよい。

また、上述の態様において、前記収音装置から出力される入力オーディオ信号のレベルを検出するレベル検出手段を備え、前記伝達特性計算手段は、前記レベル検出手段により検出されたレベルが予め定められた閾値以上である場合であって、かつ、前記推定手段によって歌唱が行われていないと推定された場合に、前記収音装置から出力される入力オーディオ信号と前記伴奏音生成手段により前記放音装置に供給される伴奏オーディオ信号とに基づいて、前記放音装置から前記収音装置へ回り込む音の伝達特性を算出してもよい。

また、上述の態様において、前記伝達特性計算手段は、前記収音装置から出力される入力オーディオ信号にローパスフィルタ処理を施すとともに、前記放音装置に供給される伴奏オーディオ信号にローパスフィルタ処理を施し、ローパスフィルタ処理が施された入力オーディオ信号と伴奏オーディオ信号とに基づいて、前記放音装置から前記収音装置へ回り込む音の伝達特性を算出してもよい。
この態様において、前記伝達特性実現手段は、前記放音装置に供給される伴奏オーディオ信号にローパスフィルタ処理を施し、ローパスフィルタ処理を施した伴奏オーディオ信号から、前記伝達特性計算手段により算出された伝達特性を用いて前記回り込みオーディオ信号を生成してもよい。

また、本発明の好適な態様であるカラオケ装置は、前記出力手段から出力される入力オーディオ信号を解析して前記歌唱者の歌唱音声を採点する採点手段と、前記採点手段による採点結果を示す採点データを出力する採点データ出力手段とを具備することを特徴とする。

本発明によれば、スピーカとマイクの位置関係が一定でない場合であっても、従来と比較してより好適にエコーの発生を防止することができる。

＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１の構成を示すブロック図である。カラオケ装置１は、楽曲のカラオケ伴奏を再生する機能を有するとともに、歌唱者の歌唱の巧拙を採点する機能を有する。マイク２は、収音し、収音した音声を表すオーディオ信号（アナログ信号）を出力する収音装置である。スピーカ３は、供給されるオーディオ信号に応じた強度で放音する放音装置である。アンプ４は、カラオケ装置１から供給されるオーディオ信号を増幅してスピーカ３に供給する。スピーカ３から放音される伴奏音にあわせて歌唱者が歌唱を行うと、歌唱者の歌唱音声がマイク２によって収音され、収音された音声を表すオーディオ信号（以下「入力オーディオ信号」）がカラオケ装置１に供給される。カラオケ装置１は、マイク２から供給される入力オーディオ信号に基づいて歌唱の巧拙を採点する。

カラオケ歌唱が行われる際には、マイク２には、歌唱者の歌唱音声に加えて、スピーカ３から放音される伴奏音も併せて収音される場合がある。この実施形態では、以下に説明する構成をとることで、伴奏音の打ち消しを行う。なお、以下の説明においては、説明の便宜上、このように、スピーカ３から放音されてマイク２に回り込んで収音される伴奏音を、「回り込み音」と称して説明する。

記憶部５は、例えばハードディスク等の記憶手段であり、図示のように、楽曲データ記憶領域５１を有している。楽曲データ記憶領域５１には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。

ここで、楽曲データ記憶領域５１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。

次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。

第３列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。

次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。

図１の説明に戻る。図において、伴奏音生成手段１８は、楽曲データ記憶領域５１に記憶された楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行う。具体的には、伴奏音生成手段１８は、楽曲データの演奏トラックに記述されたイベントデータを読み出し、読み出したイベントデータに基づいて伴奏音を表す伴奏オーディオ信号を生成し、生成した伴奏オーディオ信号を加算器１８１に供給する。エコー付加トーンコン音量調整手段１９は、マイク２から出力される入力オーディオ信号にエコー等の所定のエフェクト効果を付与し、加算器１８１に供給する。加算器１８１においてエコー付加トーンコン音量調整手段１９から出力されるオーディオ信号と伴奏音生成手段１８から供給される伴奏オーディオ信号とが加算されたオーディオ信号（以下「出力オーディオ信号」）がアンプ４に供給される。アンプ４においてオーディオ信号が増幅され、スピーカ３において放音されることにより、スピーカ３からは、歌唱者の歌唱音声と伴奏音とが放音される。

区間識別手段１１は、伴奏音生成手段１８によってカラオケ伴奏の再生中の区間が、歌唱されることが想定された区間（以下「歌唱区間」という）であるか、歌唱されないことが想定された区間（以下「間奏区間」という）であるかを識別する機能を有する。なお、「間奏区間」とは、歌唱の始まる前や、１番と２番の間など、歌唱されない事を想定した区間を示す。より具体的には、区間識別手段１１は、楽曲データ記憶領域５１に記憶された楽曲データのうちの伴奏音生成手段１８によって読み出されている区間のリファレンスデータを参照して、ノートオン状態であるかノートオフ状態であるかを判定する。区間識別手段１１は、参照したリファレンスデータがノートオン状態である場合には歌唱区間であると識別する一方、ノートオフ状態であれば非歌唱区間であると識別する。

歌唱有無判定手段１２は、マイク２によって収音されている音が、歌唱者の歌唱音声を含んでいるか、それとも、回り込み音（伴奏音）のみであるかを判定する機能を有する。より具体的には、歌唱有無判定手段１２は、まず、楽曲の進行に応じて読み出したリファレンスデータのノートオンイベント（ＮｏｔｅＯｎ）のノートナンバ及びベロシティから、歌唱すべきピッチを示すリファレンスピッチデータＲＰを生成する。なお、この実施形態では、歌唱有無判定手段１２が、楽曲データ記憶領域５１に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータＲＰを生成するが、これに代えて、模範となるピッチを表すリファレンスピッチデータを予め記憶部５に記憶しておくようにしてもよい。
次いで、歌唱有無判定手段１２は、マイク２から出力される入力オーディオ信号からピッチを検出し、検出したピッチとリファレンスデータのピッチとを比較し、その差分が閾値以上であるか否かを判定する。歌唱有無判定手段１２は、所定時間長以上の間、差分が閾値未満である場合には、歌唱音声を含んでいると判定する。一方、それ以外の場合には、歌唱有無判定手段１２は、収音された音には歌唱音声が含まれていないと判定する。

マイクＳＷオフ検出手段１３は、マイク２のＯＮ／ＯＦＦ状態を判定する機能を有する。マイクＳＷオフ検出手段１３は、マイク２から出力される入力オーディオ信号のレベルが予め定められた閾値以下であるか否かを判定し、レベルが閾値以下である場合には、マイク２の電源がＯＦＦであると判定する一方、レベルが閾値以上である場合には、マイク２の電源がＯＮであると判定する。これは、マイク２の電源がＯＮである場合には、歌唱がなされていない場合であっても、少なくとも伴奏音（回り込み音）が収音されるから、入力オーディオ信号のレベルがゼロに近くなることはないためである。

次に、伝達特性計算手段１４は、区間識別手段１１、歌唱有無判定手段１２及びマイクＳＷオフ検出手段１３の判定結果を用いて、伝達特性を計算する機能を有する。この実施形態では、伝達特性計算手段１４は、区間識別手段１１の識別結果と歌唱有無判定手段１２の判定結果とを用いて、歌唱が行われているか否かを推定し、歌唱が行われていないと推定した場合には伝達特性を算出する一方、歌唱が行われていると推定した場合には伝達特性を算出せずに、前回算出した伝達特性を継続して用いる。より具体的には、伝達特性計算手段１４は、（１）区間識別手段１１によって間奏区間であると判断され、かつ、（２）歌唱有無判定手段１２によって歌唱が行われていないと判定され、更に、（３）マイクＳＷオフ検出手段１３によってマイクのＳＷがオンであると判定された場合に、すなわち、上述の（１）、（２）、（３）の全ての条件が揃った場合に、入力オーディオ信号と加算器１８から出力される出力オーディオ信号とを用いて、スピーカ３からマイク２へ回り込む音の伝達特性を求める。伝達特性計算手段１４は、求めた伝達特性を示す伝達特性実現パラメータを決定し、決定した伝達特性実現パラメータを伝達特性実現手段１５に供給する。一方、上述の（１）、（２）、（３）のうちの少なくとも一つの条件が満たされない場合には、伝達特性計算手段１４は、伝達特性実現パラメータを更新せず、前回に算出した値を伝達特性実現手段１５に供給する。

伝達特性実現手段１５は、伝達特性計算手段１４から供給される伝達特性実現パラメータを用いて、加算器１８１から出力される出力オーディオ信号から、回り込み音を表す回り込みオーディオ信号を生成する。

打ち消し手段１６は、マイク２から出力される入力オーディオ信号から、伝達特性実現手段１５により生成された回り込みオーディオ信号を差し引く機能を備える。打ち消し手段１６は、回り込みオーディオ信号を差し引いた入力オーディオ信号を、歌唱採点手段１７に供給する。

歌唱採点手段１７は、打ち消し手段１６から供給される入力オーディオ信号を用いて歌唱の巧拙を採点する。具体的には、例えば、歌唱採点手段１７は、入力オーディオ信号からピッチを検出し、検出したピッチと楽曲データ記憶領域５１に記憶された楽曲データに含まれるリファレンスデータのピッチとを比較し、その差分が大きいほど点数が悪くなるように採点を行う。なお、歌唱の巧拙の採点方法は、従来のカラオケ装置等で用いられている採点方法と同様であり、ここではその詳細な説明を省略する。

＜Ｂ：動作＞
次に、この実施形態の動作について説明する。利用者が操作部（図示略）を用いて楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域５１から読み出され、伴奏音生成手段１８が楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、区間識別手段１１がリファレンスデータのノートに応じて区間識別を行う。

歌唱者は、スピーカ３から放音される伴奏音に併せて歌唱を行う。歌唱者の歌唱音声はマイク２によってオーディオ信号に変換される。マイク２に入力された歌唱者の音声は、入力オーディオ信号となり、エコー付加トーンコン音量調整手段１９及びアンプ４を介してスピーカ３より出力されるとともに、歌唱有無判定手段１２、マイクＳＷオフ検出手段１３及び打ち消し手段１６に入力される。

また、このとき、歌唱有無判定手段１２は、マイク２から出力される入力オーディオ信号からピッチを検出し、検出したピッチとリファレンスデータのピッチを比較し、その比較結果に基づいて、歌唱が行われているか否かを判定する。また、マイクＳＷオフ検出手段１３は、入力オーディオ信号のレベルを検出し、レベルが閾値を超えるか否かを判定することによって、マイク２のＯＮ／ＯＦＦを検出する。

伝達特性計算手段１４は、区間識別手段１１、歌唱有無判定手段１２及びマイクＳＷオフ検出手段１３の判定結果に基づいて、伝達特性実現パラメータを伝達特性実現手段１５に供給する。伝達特性実現手段１５は、伝達特性計算手段１４から供給される伝達特性実現パラメータを用いて、回り込みオーディオ信号を生成する。打ち消し手段１６は、マイク２から出力される入力オーディオ信号から回り込みオーディオ信号を差し引いて歌唱採点手段１７に供給する。歌唱採点手段１７は、打ち消し手段１６から供給される入力オーディオ信号に対して採点処理を行う。

このように、この実施形態では、マイク２から出力される入力オーディオ信号から回り込みオーディオ信号（スピーカ３からマイク２に回り込んだ伴奏音を表すオーディオ信号）を差し引いたオーディオ信号に対して採点を行う。回り込みオーディオ信号が差し引かれた入力オーディオ信号は、マイク２で収音された歌唱音声と回り込み音（伴奏音）とが合わさった音声から回り込み音を差し引いた音声を表すものであるから、これにより、この実施形態では、伴奏音が除去された歌唱音声に対して採点処理を行うことができ、より正確に歌唱の採点を行うことができる。

また、この実施形態では、伝達特性計算手段１４が、区間識別手段１１の判定結果と歌唱有無判定手段の判定結果とを用いて歌唱が行われているか否かを推定し、歌唱が行われていないと推定されたときに伝達特性の算出を行う。すなわち、この実施形態では、歌唱が行われていないと推定されている時間区間においては、伝達特性実現パラメータが逐次更新されていき、更新されるパラメータを用いて回り込み音の打ち消し処理が行われる。一方、歌唱が行われていると推定された時間区間においては、直前に更新されたパラメータ（歌唱が行われていないと推定された時間区間において決定されたパラメータ）を用いて回り込み音の打ち消し処理が行われる。このようにこの実施形態では、ノイズ（伴奏音）のみが収音されている状態で伝達特性を測定することができ、これにより、伴奏音の回り込みに対する伝達特性の測定をより正確に行うことができる。

一般的に、カラオケ歌唱で用いられる楽曲は、前奏や間奏を含んでいることが多い。この実施形態では、このような前奏や間奏等の間奏区間において伝達特性を測定するから、それぞれの楽曲で歌唱者が移動する等によってマイク２とスピーカ３との位置関係が異なる場合であっても、それぞれの楽曲で伝達特性をより正確に測定することができる。更には、間奏で伝達特性を測定することにより、例えば、楽曲の１番と２番等で異なる歌唱者が歌唱する等した場合であっても、それぞれの部分に対応する伝達特性をより正確に測定することができ、これにより、それぞれの位置に適した伝達特性を用いてエコーキャンセルを行うことができる。すなわち、この実施形態では、マイク２とスピーカ３との位置関係が変動する場合であっても、その時々に適したより精度の高いエコーキャンセルを行うことができる。

また、この実施形態では、図１に示すように、入力オーディオ信号は、エコー、トーンコン、音量調整を経て伴奏音と混合される。このように、この実施形態では、出力オーディオ信号は、エコーキャンセル処理を施していない入力オーディオ信号と伴奏オーディオ信号とを混合したものが用いられる。エコーキャンセル処理は音質を悪化させる場合があるので、このようにすることで音質の悪化を防ぐことができる。なお、必ずしもエコーキャンセルを施していない入力オーディオ信号を出力する必要はなく、エコーキャンセル処理が施された入力オーディオ信号と伴奏オーディオ信号とを混合して出力オーディオ信号としてアンプ４に出力するようにしてもよい。

＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述した実施形態において、入力オーディオ信号又は出力オーディオ信号にローパスフィルタをかけて伝達特性を算出してもよい。この具体例について、図４を参照しつつ以下に説明する。図４に示すカラオケ装置１Ｂと図１に示すカラオケ装置１とが異なる点は、ローパスフィルタ１９１，１９２，１９３を備えている点であり、他の構成要素は上述した図１に示したカラオケ装置１のそれと同様である。そのため、以下の説明においては、カラオケ装置１との相違点について説明し、カラオケ装置１と同様の構成要素についてはその説明を省略する。

ローパスフィルタ１９１により、マイク２から出力される入力オーディオ信号にローパスフィルタ処理が施され、伝達特性計算手段１４に供給される。また、ローパスフィルタ１９２，ローパスフィルタ１９３により、伴奏音生成手段１８から供給される出力オーディオ信号にローパスフィルタ処理が施され、伝達特性計算手段１４、伝達特性実現手段１５にそれぞれ供給される。伝達特性計算手段１４は、ローパスフィルタ処理がそれぞれ施された入力オーディオ信号と出力オーディオ信号とから伝達特性を計算する。また、伝達特性実現手段１５は、伝達特性計算手段１４で計算された伝達特性を用いて、ローパスフィルタ処理が施された出力オーディオ信号から回り込みオーディオ信号を生成する。このように、この変形例では、低い周波数の成分についてのみ、エコーキャンセルが行われる。

なお、図４に示す例においては、入力オーディオ信号及び出力オーディオ信号にローパスフィルタをかけてその結果を用いて伝達特性を算出するようにしたが、これに限らず、例えば、所定範囲の周波数をとおすバンドパスフィルタをかけるようにしてもよく、要するに、周波数を分割し、その一部に対してのみエコーキャンセル処理を施し、他の部分に対してはエコーキャンセル処理を行わないようにしてもよい。

（２）上述の実施形態では、マイクＳＷオフ検出手段１３は、マイク２から出力される入力オーディオ信号のレベルが予め定められた閾値を超えるか否かを判定し、閾値を超える場合にはマイク２の電源がＯＮであると判定する一方、それ以外の場合には、マイク２の電源がＯＦＦであると判定した。マイク２のＯＮ／ＯＦＦを判定する方法はこれに限らず、例えば、マイク２に設けられた電源スイッチから出力される信号によってマイク２のＯＮ／ＯＦＦを判定するようにしてもよい。

（３）上述の実施形態では、伝達特性計算手段１４は、区間識別手段１１の識別結果と歌唱有無判定手段１２の判定結果とに基づいて歌唱が行われているかを推定したが、いずれか一方の判定結果に基づいて歌唱が行われているか否かを推定するようにしてもよい。具体的には、例えば、歌唱有無判定手段１２の判定結果のみを用いて歌唱の有無を判定してもよい。すなわち、入力オーディオ信号のピッチとリファレンスデータのピッチとを比較し、両者の差分が予め定められた閾値を超える場合には歌唱が行われていないと推定する一方、差分が閾値を超えない場合には歌唱が行われていないと推定するようにしてもよい。
また、他の例として、区間識別手段１１の識別結果のみを用いて歌唱の有無を推定するようにしてもよい。すなわち、リファレンスデータを参照して、歌唱が行われる時間区間であるか歌唱が行われない時間区間であるかを判定し、歌唱が行われる時間区間であると判定した場合には歌唱が行われていると推定する一方、歌唱が行われない時間区間であると判定した場合には歌唱が行われていないと推定するようにしてもよい。

また、上述の実施形態では、歌唱有無判定手段１２は、入力オーディオ信号のピッチとリファレンスデータのピッチとを比較し、その差分に応じて歌唱の有無を判定したが、歌唱の有無の判定方法はこれに限らず、例えば、入力オーディオ信号のレベルを検出し、レベルが予め定められた閾値を超える場合には歌唱が行われていると推定する一方、それ以外の場合には歌唱が行われていないと推定するようにしてもよい。
このように、歌唱が行われているか否かを推定する方法は様々であり、要するに、伝達特性計算手段１４が、供給されるデータを解析することにより歌唱者によって歌唱が行われているか否かを推定すればよい。

また、上述の実施形態では、伝達特性計算手段１４は、マイクＳＷオフ検出手段１３の検出結果がオンかオフかによって、伝達特性を算出するか否かを切り換えるようにしたが、マイクＳＷオフ検出手段１３の検出結果を参照しないようにしてもよい。

（４）歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、例えば、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となるデータであればどのようなものであってもよい。

（５）上述の実施形態では、カラオケ装置１が本実施形態に係る全ての処理を行うようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、伝達特性計算手段、伝達特性実現手段等を備えるコンピュータ装置と、採点処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、伝達特性を計算してエコーキャンセル処理を行い、エコーキャンセル処理が施されたオーディオ信号をサーバに送信し、サーバ装置が、コンピュータ装置から受信するオーディオ信号を用いて採点を行い、採点結果を示す採点データをコンピュータ装置に送信するようにしてもよい。

（６）上述した実施形態における図１に示すカラオケ装置１の各部は、ハードウェアとして構成されていてもよく、また、ＣＰＵ（Central Processing Unit）等がハードディスク等の記憶装置に記憶されたコンピュータプログラムを実行することによりソフトウェアとして実現されるようにしてもよい。カラオケ装置１の各部がソフトウェアとして実現される場合において、実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。

カラオケ装置のハードウェア構成の一例を示すブロック図である。 楽曲データの構造を示す図である。 楽曲データに含まれるリファレンスデータトラックの内容を示す図である。 カラオケ装置のハードウェア構成の他の一例を示すブロック図である。

符号の説明

１…カラオケ装置、２…マイク、３…スピーカ、４…アンプ、５…記憶部、１１…区間識別手段、１２…歌唱有無判定手段、１３…マイクＳＷオフ検出手段、１４…伝達特性計算手段、１５…伝達特性実現手段、１６…打ち消し手段、１７…歌唱採点手段、１８…伴奏音生成手段、１９…エコー付加トーンコン音量調整手段、５１…楽曲データ記憶領域、１８１…加算器、１９１，１９２，１９３…ローパスフィルタ。

Claims (9)

1. 楽曲の伴奏音を表す伴奏音データを記憶する伴奏音データ記憶装置から、前記伴奏音データを順次読み出して伴奏オーディオ信号を生成し、生成した伴奏オーディオ信号を放音装置に供給する伴奏音生成手段と、
   供給されるデータを解析することにより歌唱者によって歌唱が行われているか否かを推定する推定手段と、
   前記推定手段によって歌唱が行われていないと推定された場合に、収音する収音装置から出力される入力オーディオ信号と前記伴奏音生成手段により前記放音装置に供給される伴奏オーディオ信号とに基づいて、前記放音装置から前記収音装置へ回り込む音の伝達特性を算出する伝達特性計算手段と、
   前記伝達特性計算手段により算出された伝達特性を用いて、前記放音装置から放音されて前記収音装置へ回り込む伴奏音を表す回り込みオーディオ信号を、前記伴奏音生成手段によって前記放音装置に供給される伴奏オーディオ信号から生成する伝達特性実現手段と、
   前記収音装置から出力される入力オーディオ信号から、前記伝達特性実現手段により生成された回り込みオーディオ信号を差し引く打ち消し手段と、
   前記打ち消し手段により前記回り込みオーディオ信号が差し引かれた入力オーディオ信号を出力する出力手段と
   を具備することを特徴とするエコーキャンセル装置。
2. 請求項１に記載のエコーキャンセル装置において、
   前記推定手段は、前記収音装置から出力される入力オーディオ信号を解析することによって歌唱が行われているか否かを推定する
   ことを特徴とするエコーキャンセル装置。
3. 請求項２に記載のエコーキャンセル装置において、
   模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、
   前記推定手段は、前記収音装置から出力される入力オーディオ信号からピッチを検出し、検出したピッチと前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチとを比較し、両者の差分が予め定められた閾値を超える場合には歌唱が行われていないと推定する一方、前記差分が前記閾値を超えない場合には歌唱が行われていると推定する
   ことを特徴とするエコーキャンセル装置。
4. 請求項１に記載のエコーキャンセル装置において、
   模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、
   前記推定手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータを参照して、歌唱が行われる時間区間であるか歌唱が行われない時間区間であるかを判定し、歌唱が行われる時間区間であると判定した場合には歌唱が行われていると推定する一方、歌唱が行われない区間であると判定した場合には歌唱が行われていないと推定する
   ことを特徴とするエコーキャンセル装置。
5. 請求項１に記載のエコーキャンセル装置において、
   模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
   前記収音装置から出力される入力オーディオ信号からピッチを検出し、検出したピッチと前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチとを比較し、両者の差分が予め定められた閾値を超えるか否かを判定する歌唱有無判定手段と、
   前記リファレンスデータ記憶手段に記憶されたリファレンスデータを参照して、歌唱が行われる時間区間であるか歌唱が行われない時間区間であるかを判定する区間識別手段と
   を備え、
   前記推定手段は、前記歌唱有無判定手段によって前記差分が前記閾値を超えると判定されるとともに、前記区間識別手段によって歌唱が行われない時間区間であると判定された場合に、歌唱が行われていないと推定する一方、それ以外の場合には、歌唱が行われていると推定する
   ことを特徴とするエコーキャンセル装置。
6. 請求項１乃至５のいずれか１に記載のエコーキャンセル装置において、
   前記収音装置から出力される入力オーディオ信号のレベルを検出するレベル検出手段を備え、
   前記伝達特性計算手段は、前記レベル検出手段により検出されたレベルが予め定められた閾値以上である場合であって、かつ、前記推定手段によって歌唱が行われていないと推定された場合に、前記収音装置から出力される入力オーディオ信号と前記伴奏音生成手段により前記放音装置に供給される伴奏オーディオ信号とに基づいて、前記放音装置から前記収音装置へ回り込む音の伝達特性を算出する
   ことを特徴とするエコーキャンセル装置。
7. 請求項１乃至６のいずれか１に記載のエコーキャンセル装置において、
   前記伝達特性計算手段は、前記収音装置から出力される入力オーディオ信号にローパスフィルタ処理を施すとともに、前記放音装置に供給される伴奏オーディオ信号にローパスフィルタ処理を施し、ローパスフィルタ処理が施された入力オーディオ信号と伴奏オーディオ信号とに基づいて、前記放音装置から前記収音装置へ回り込む音の伝達特性を算出する
   ことを特徴とするエコーキャンセル装置。
8. 請求項７に記載のエコーキャンセル装置において、
   前記伝達特性実現手段は、前記放音装置に供給される伴奏オーディオ信号にローパスフィルタ処理を施し、ローパスフィルタ処理を施した伴奏オーディオ信号から、前記伝達特性計算手段により算出された伝達特性を用いて前記回り込みオーディオ信号を生成する
   ことを特徴とするエコーキャンセル装置。
9. 請求項１乃至８のいずれか１に記載のエコーキャンセル装置と、
   前記出力手段から出力される入力オーディオ信号を解析して前記歌唱者の歌唱音声を採点する採点手段と、
   前記採点手段による採点結果を示す採点データを出力する採点データ出力手段と
   を具備することを特徴とするカラオケ装置。

Images