JP2011175116A - 音声処理装置、音声処理方法、ならびに、プログラム - Google Patents

Abstract

【課題】マイクに入力された音声にエコーをかける際に、エコーの強さを調節するのに好適な音声処理装置等を提供する。
【解決手段】検知部２０１は、プレイヤが発する声を検知して第１の音声データ３０１とする。エコー処理部２０２は、第１の音声データ３０１にエコー処理を施す。出力部２０３は、エコー処理が施された第１の音声データ３０１と予め用意された第２の音声データ３０３とを混合した音声データを出力する。第２の音声データ３０３のうち出力部２０３により現在出力されている部分に、予めガイド音程３０４が対応付けられている場合、設定部２０４は、当該ガイド音程３０４と現在検知されている第１の音声データ３０１の音程との音程差に基づいて、エコーの強さを設定する。
【選択図】図２

Description

本発明は、マイクに入力された音声にエコーをかける際に、エコーの強さを調節するのに好適な音声処理装置、音声処理方法、ならびに、プログラムに関する。

従来から、マイクに入力された音声と、予め用意された歌唱部分のガイド音声及び伴奏音とをミキシングして出力するカラオケ装置が知られている（例えば、特許文献１）。一般的に、プレイヤは、ガイド音声に合わせて楽曲の主旋律を歌い、各自の趣向により、マイクに入力された歌声のボリュームや歌声にかけるエコーの強さを調節する。ここで、エコーとは、歌声の波形を所定の時間ずらした音声であり、エコーをかけるとは、元の歌声と所定時間ずらした音声とをミキシングすることをいう。エコーをかけることにより、元の歌声に響きを付与することができ、楽曲に慣れていないプレイヤは好んでエコーをかける傾向がある。

特開２００７−１０８７７９号公報

上記のようなカラオケ装置で再生される楽曲には、台詞を話す部分や、ラップを行う部分が含まれる場合もある。このような場合、マイクから入力される音声にエコーをかけるように設定しておくと、プレイヤが発声した台詞やラップにもエコーがかけられてしまい、台詞やラップの部分が聞き難いという問題があった。また、歌唱部分の再生中に、傍らにいる人に話しかける等した場合も、話しかけた内容が聞き難いという問題があった。

本発明は、上記のような課題を解決するもので、マイクに入力された音声にエコーをかける際に、エコーの強さを調節するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。

本発明の第１の観点に係る音声処理装置は、検知部と、エコー処理部と、出力部と、設定部と、を備え、以下のように構成する。
以下では、歌唱部分を含む楽曲が再生される場合において、プレイヤが楽曲の伴奏に合わせて歌う場合を例に説明する。

検知部は、プレイヤが発する声を検知して第１の音声データとする。

例えば、プレイヤがマイクに向かって歌うと、マイクは、プレイヤが発した歌声を検知する。以下、検知した歌声のデータを第１の音声データとする。

エコー処理部は、第１の音声データにエコー処理を施す。

すなわち、マイクが検知した歌声のデータにエコーをかける。

出力部は、エコー処理が施された第１の音声データと予め用意された第２の音声データとを混合した音声データを出力する。

例えば、第２の音声データとして楽曲の伴奏音のデータが予め用意されている場合、出力部は、エコー処理を施した歌声のデータと、伴奏のデータとをミキシングして、スピーカやヘッドホン等の外部装置に出力する。

設定部は、第２の音声データのうち出力部により現在出力されている部分に、予めガイド音程が対応付けられている場合、当該ガイド音程と現在検知されている第１の音声データの音程との音程差に基づいて、エコーの強さを設定する。

ここで、ガイド音程とは、歌唱部分を含む楽曲において、歌唱部分の主旋律の音程を示すものである。すなわち、ガイド音程は、楽曲の歌唱部分には対応付けられてデータとして予め用意されるが、イントロ部分や間奏部分等の主旋律の歌唱が行われない部分においてはガイド音程のデータは対応付けられない。一般的に、ガイド音程は、音声により楽曲の伴奏音と共に出力されたり、歌詞がディスプレイ画面に提示される場合では、歌詞に対応する音程が画像により示されたりする。プレイヤは、ガイド音程を頼りに歌うことにより、楽曲の主旋律を容易に歌うことができる。以下では、ガイド音程を示す音声（以下、「ガイド音」という）が伴奏と共に出力されるものとする。

すなわち、伴奏と共にガイド音程を示す音声がスピーカ等から出力されている（歌唱部分の再生が行われている）場合、設定部は、プレイヤの歌声の音程とガイド音程との音程差を求め、当該音程差に基づいて、歌声にかけるエコーの強さを設定する。例えば、プレイヤの歌声の音程とガイド音程との音程差が大きいほど、設定部は、エコーの強さを小さくするように設定する。

本発明によれば、プレイヤが発した音声とガイド音程との音程差に基づいて、当該音声にかけるエコーの強さを調節することができる。

また、音程差が第１の閾値を超える場合、設定部は、エコーの強さを抑制するように設定するようにしてもよい。

例えば、第１の閾値を、歌唱において生じる程度の音程のずれ（音程差）ではなく、歌声以外の音声が入力されたことによる生じる音程差を示す値とする。この場合、プレイヤの歌声の音程とガイド音程との音程差が第１の閾値より大きいということは、プレイヤはマイクに対し歌声以外の音声を入力したと見なすことができる。したがって、設定部は、プレイヤの歌声の音程とガイド音程との差が第１の閾値よりも大きい場合、歌声にかけるエコーの強さを、楽曲再生前にプレイヤにより設定されたエコーの強さの値（以下、「初期値」という）よりも小さく設定する。

本発明によれば、プレイヤが楽曲の歌唱部分の再生中に歌声ではなく歌声以外の音声をマイクに入力した場合に、歌声以外の音声にはエコーをかけないようにすることができる。

また、音程差が第２の閾値以下の場合、設定部は、当該音程差が大きいほどエコーの強さを強く設定するようにしてもよい。

例えば、第２の閾値を、歌唱において生じる程度の音程のずれ（音程差）の平均値とする。この場合、プレイヤの歌声の音程とガイド音程との音程差が第２の閾値より小さいということは、プレイヤはマイクに対し歌声を入力したと見なすことができる。一般的に、歌唱が得意でないプレイヤはエコーを強くかける傾向があるので、設定部は、プレイヤの歌声の音程とガイド音程との差が第２の閾値以下の場合、当該音程差が大きいほど歌声にかけるエコーの強さを大きく設定する。

本発明によれば、歌唱部分において音程が大きくはずれるほど、エコーが強くかけられるので、プレイヤの趣向に合ったエコー処理を自動的に施すことができる。

また、設定部は、第２の音声データのうち出力部により現在出力されている部分に、予めガイド音程が対応付けられていない場合、エコーの強さを抑制するように設定する。

ガイド音程は歌唱部分の主旋律の音程を示すものであるので、楽曲のイントロや間奏等の歌唱部分でない部分の伴奏が再生されている間は、ガイド音程を示す音声（ガイド音）は再生されない。つまり、ガイド音程が伴奏に対応付けられていない部分は、エコーをかける必要のない部分であると見なすことができる。したがって、設定部は、ガイド音程が伴奏に対応付けられていない場合、エコーの強さを、例えば“０”に設定する。

本発明によれば、歌唱部分にはエコーをかけ、歌唱部分の以外の、エコーをかける必要のない部分にはエコーをかけないようにすることができる。

また、設定部は、第２の音声データの速さを取得し、当該速さに基づいてエコーの強さの初期値を設定する。

例えば、設定部は、楽曲が再生される前に、伴奏の速さを取得する。そして、設定部は、当該速さに基づいて歌声にかけるエコーの強さを設定する。

一般的に、プレイヤは、楽曲のスピードが遅いほどエコーを強くかける傾向があるので、本発明によれば、プレイヤの趣向に合ったエコー処理を自動的に施すことができる。

本発明の第２の観点に係る音声処理方法は、検知部と、エコー処理部と、出力部と、設定部と、を備える音声処理装置が実行する音声処理方法であって、検知工程と、エコー処理工程と、出力工程と、設定工程と、を備え、以下のように構成する。

検知工程において、検知部が、プレイヤが発する声を検知して第１の音声データとする。

エコー処理工程において、エコー処理部が、第１の音声データにエコー処理を施す。

出力工程において、出力部が、エコー処理が施された第１の音声データと予め用意された第２の音声データとを混合した音声データを出力する。

設定工程において、設定部が、第２の音声データのうち出力部により現在出力されている部分に、予めガイド音程が対応付けられている場合、当該ガイド音程と現在検知されている第１の音声データの音程との音程差に基づいて、エコーの強さを設定する。

本発明のその他の観点に係るプログラムは、コンピュータを上記音声処理装置として機能させ、コンピュータに上記音声処理方法を実行させるように構成する。

また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。

本発明によれば、マイクに入力された音声にエコーをかける際に、エコーの強さを調節するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。

本発明の実施形態に係る音声処理装置が実現される典型的な情報処理装置の概要構成を示す模式図である。 本発明の実施形態に係る音声処理装置の概要構成を示す説明図である。 楽曲の構成と、伴奏音、マイク音、及びガイド音との関係を示す図である。 伴奏音の速さとエコーの強さの初期値との関係を示す図である。 音程差とエコーの強さの関係の一例を示す図である。 実施形態１に係る音声処理装置の各部が行うエコー調節処理を説明するためのフローチャートである。 音程差とエコーの強さの関係の一例を示す図である。 実施形態２に係る音声処理装置の各部が行うエコー調節処理を説明するためのフローチャートである。 音程差とエコーの強さの関係の一例を示す図である。

本発明の音声処理装置は、マイクから検出される音声の音程とガイド音程（歌唱部分の主旋律の音程）との音程差に基づいて、エコーの強さを調節するものである。エコーの強さを設定する手法は複数あり、各手法を採用した音声処理装置を実施形態１及び２として説明する。

実施形態１に係る音声処理装置は、ガイド音程からの音程差が大きくなるほど、エコーの強さを抑制する手法を採用する。
実施形態２に係る音声処理装置は、音程差と比較する基準値として第１及び第２の閾値を設け、音程差が第１の閾値よりも大きい場合、エコーの強さを抑制し、第２の閾値以下の場合、エコーの強さを音程差に従って強く設定する手法を採用する。

まず、本発明の実施形態に係る音声処理装置が実現される、典型的な情報処理装置について説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

図１は、プログラムを実行することにより、本発明の実施形態に係る音声処理装置の機能を果たす典型的な情報処理装置１００の概要構成を示す模式図である。以下、本図を参照して説明する。

情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、マイク１１１と、を備える。

ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。

ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、等の処理を行う。

インターフェース１０４を介して接続されたコントローラ１０５は、プレイヤがゲーム実行の際に行う操作入力を受け付ける。

インターフェース１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。プレイヤは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。

画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタへ出力される。これにより、各種の画像表示が可能となる。

ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。

また、画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。

また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。

さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報に従って、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。

ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格に従うものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。

音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。

ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩ（Musical Instrument Digital Interface）データである場合には、音声処理部１１０は、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭ（Pulse Code Modulation）データに変換する。また、ＡＤＰＣＭ（Adaptive Differential PCM）形式やＯｇｇ Ｖｏｒｂｉｓ形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。

また、情報処理装置１００には、インターフェース１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ（Analog/Digital）変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。

また、音声処理部１１０は、エコー回路を備え、マイク１１１から取得したデータやＤＶＤ−ＲＯＭから取り込んだ音源データに対してエコーをかけることができる。

例えば、情報処理装置１００をカラオケ装置として利用する場合には、ＤＶＤ−ＲＯＭから読み出した音声データ、もしくは、ＮＩＣ １０９を介してコンピュータ通信網から取得した音声データを楽曲データとし、マイクから入力された音声データを歌声データとして、楽曲データと歌声データを音声処理部１１０がミキシングし、スピーカから出力する。また、スピーカにかえて、ヘッドホン（図示せず） やイヤフォン（図示せず） を用いて、音声を出力させることもできる。

このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。

以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。

例えば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。

以下、上記情報処理装置１００において実現される実施形態に係る音声処理装置の機能について、図１乃至図９を参照して説明する。ゲーム用のプログラム及びデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、実施形態に係る音声処理装置が実現される。

（実施形態１）
実施形態に係る音声処理装置２００は、ガイド音程からの音程差が大きくなるほど、エコーの強さを抑制する。
音声処理装置２００は、図２に示すように、検知部２０１と、エコー処理部２０２と、出力部２０３と、設定部２０４と、を備える。以下、音声処理装置２００の構成について説明する。

まず、一般的な楽曲の構成と、当該楽曲の構成と音声処理装置２００が出力する音声との関係について、図３を参照して説明する。
一般的な楽曲は、イントロ部４０１、歌唱部４０２、４０４、間奏部４０３、及びエンディング部４０５、から構成される。
イントロ部４０１では、伴奏音５０１と、マイクに入力された音（マイク音５０２、例えば、曲紹介のナレーション）とが出力される。
歌唱部４０２、４０４では、伴奏音５０１と、マイク音５０３、５０５（例えば、プレイヤの歌声）と、ガイド音程３０４を示す音声（ガイド音５０７、５０８）とが出力される。ここで、ガイド音程３０４とは、歌唱部分を含む楽曲において、歌唱部分の主旋律の音程を示すものであり、ガイド音５０７、５０８とは、ガイド音程３０４を音声で示すものである。ガイド音５０７、５０８がプレイヤに提示されることにより、プレイヤは音程を完全に把握してない楽曲においても、容易に歌うことができる。
間奏部（ラップ部）４０３では、伴奏音５０１と、マイク音５０４（例えば、ラップ）とが出力される。
エンディング部４０５では、伴奏音５０１と、マイク音５０６（例えば、他のプレイヤに話しかける声）とが出力される。

検知部２０１は、プレイヤが発する声を検知する。以下、検知部２０１が検知した声を第１の音声データ３０１とする。例えば、検知部２０１はマイク１１１を有し、プレイヤがマイク１１１に向かって音声３０２を発したとすると、検知部２０１は、音声３０２を第１の音声データ３０１（マイク音５０２〜５０６）として検知する。ここで、第１の音声データ３０１は、ＰＣＭデータとする。ＰＣＭデータは、適当なサンプリング周波数でサンプリングされたアナログ信号を、所定の精度でディジタル化したデータの列である。典型的には、サンプリング周波数として、４４１００Ｈｚ、４８０００Ｈｚやこれを整数で割ったものが用いられる。精度としては１６ビットや２４ビット、３２ビットなどが用いられる。以下、第１の音声データ３０１のＰＣＭデータの列を楽曲の先頭から順に、
ｖ［０］、ｖ［１］、ｖ［２］、・・・ｖ［Ｎ］（Ｎ：任意）
と表わす。なお、検知部２０１がプレイヤが発した声を検知しない場合は、ｖ［ｎ］＝０（ｎ：任意）である。
したがって、ＣＰＵ １０１、インターフェース１０４、及びマイク１１１が協働して、検知部２０１として機能する。

エコー処理部２０２は、第１の音声データ３０１にエコー処理を施す。具体的には、エコー処理部２０２は、検知部２０１が検知した第１の音声データ３０１（ｖ［ｎ］（ｎ＝０〜Ｎ））に対応するエコー信号ｅ［ｎ］（ｎ＝０〜Ｎ）を生成し、設定部２０４によって設定されたエコーの強さａ［ｎ］（ｎ＝０〜Ｎ）でエコー信号ｅ［ｎ］（ｎ＝０〜Ｎ）を増幅する。そして、エコー処理部２０２は、第１の音声データｖ［ｎ］（ｎ＝０〜Ｎ）と増幅されたエコー信号ａ［ｎ］・ｅ［ｎ］（ｎ＝０〜Ｎ）を混合して出力部２０３へ出力する。すなわち、エコー処理が施された第１の音声データは、
ｖ［０］＋ａ［０］・ｅ［０］、ｖ［１］＋ａ［１］・ｅ［１］、・・・、ｖ［Ｎ］＋ａ［Ｎ］・ｅ［Ｎ］（Ｎ：任意）
と表わすことができる。
したがって、ＣＰＵ １０１及び音声処理部１１０が協働して、エコー処理部２０２として機能する。

出力部２０３は、エコー処理が施された第１の音声データと予め用意された第２の音声データ３０３とを混合した音声データ（以下、「混合音声データ」という。混合音声データ３０５）を出力する。ここで、予め用意された第２の音声データ３０３は、楽曲の伴奏音５０１のデータであり、ＭＩＤＩデータから変換されたＰＣＭデータであるとする。以下、第２の音声データ３０３（伴奏音５０１）のＰＣＭデータの列を楽曲の先頭から順に、
ｍ［０］、ｍ［１］、ｍ［２］、・・・ｍ［Ｎ］（Ｎ：任意）
とする。
また、本実施形態では、ガイド音程３０４を示す音声（ガイド音５０７、５０８）も出力される。以下、ガイド音５０７、５０８のＰＣＭデータの列を楽曲の先頭から順に、
ｇ［０］、ｇ［１］、ｇ［２］、・・・ｇ［Ｎ］（Ｎ：任意）
とする。なお、イントロ部４０１、間奏部４０３、及びエンディング部４０５におけるガイド音はｇ［ｎ］＝０（ｎ：任意）である。
すなわち、出力部２０３は、エコー処理が施された第１の音声データ（ｖ［ｎ］＋ａ［ｎ］・ｅ［ｎ］（ｎ＝０〜Ｎ））と予め用意された第２の音声データ３０３（ｍ［ｎ］（ｎ＝０〜Ｎ））と、ガイド音５０７、５０８（ｇ［ｎ］（ｎ＝０〜Ｎ））とを混合した音声データ（混合音声データ３０５）をスピーカ等に出力する。混合音声データ３０５のＰＣＭデータの列を楽曲の先頭から順に、
ｖ［０］＋ａ［０］・ｅ［０］＋ｍ［０］＋ｇ［０］、ｖ［１］＋ａ［１］・ｅ［１］＋ｍ［１］＋ｇ［１］、・・・、ｖ［Ｎ］＋ａ［Ｎ］・ｅ［Ｎ］＋ｍ［Ｎ］＋ｇ［Ｎ］（Ｎ：任意）
と表わすことができる。
したがって、ＣＰＵ １０１及び音声処理部１１０が協働して、出力部２０３として機能する。

設定部２０４は、楽曲再生前に、第２の音声データ３０３の速さに基づいてエコーの強さの初期値ａ［０］を設定し、楽曲再生中に、第１の音声データ３０１の音程とガイド音程３０４との音程差が大きいほど、エコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を抑制するように設定する。
したがって、ＣＰＵ １０１及び音声処理部１１０が協働して、設定部２０４として機能する。

具体的には、設定部２０４は、楽曲が再生される前に伴奏音５０１の速さを取得し、当該速さが遅いほど、エコーの強さの初期値ａ［０］を強く設定する。例えば、ＭＩＤＩデータにおいては、伴奏音５０１の速さを示す指標（例えば、ＢＰＭ：Bit Per Minute）が予め指定されているので、設定部２０４は、ＣＰＵ １０１がＤＶＤ−ＲＯＭからＲＡＭ １０３に読込んだＢＰＭのデータを参照して、当該楽曲の伴奏音５０１のＢＰＭの値を取得する。そして、例えば、図４に示すようなグラフに基づいて、エコーの強さの初期値ａ［０］を設定する。ＢＰＭが“１００”である場合、設定部２０４は、エコーの強さの初期値ａ［０］を“５”と設定する。
一般的に、プレイヤは遅い曲ほどエコーを強くかける傾向があるので、上記のように、伴奏音５０１の速さに合わせてエコーの強さの初期値を設定することにより、楽曲の初めからプレイヤの趣向に合ったエコーの強さで、歌声を出力することができる。

一方、楽曲が再生されると、設定部２０４は以下のようにエコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を設定する。

第２の音声データ３０３のうち出力部２０３により現在出力されている部分に、予めガイド音程３０４が対応付けられている場合、設定部２０４は、当該ガイド音程３０４と現在検知されている第１の音声データ３０１の音程との音程差に基づいて、エコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を設定する。すなわち、歌唱部４０２、４０４の再生が行われている場合、設定部２０４は、第１の音声データ３０１（マイク音５０３、５０５）の音程と、ガイド音５０７、５０８の音程との音程差を求める。以下、音程は周波数により求められることとする。

例えば、第１の音声データ３０１（ｖ［ｎ］（ｎ＝０〜Ｎ））に高速フーリエ変換を施すことにより、第１の音声データ３０１の音程ｆ［ｎ］（ｎ＝０〜Ｎ）を求める。一方、ＭＩＤＩデータにおいて、出力するデータの音程は予め指定されているので、当該データを参照して、ガイド音５０７、５０８（ｇ［ｎ］（ｎ＝０〜Ｎ））のガイド音程３０４（ｆ_ｇ［ｎ］（ｎ＝０〜Ｎ））を求める。
そして、設定部２０４は、例えば、図５に示すようなグラフに基づいて、エコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を設定する。図５のグラフでは、第１の音声データ３０１（マイク音５０３、５０５）の音程とガイド音程との差（｜ｆ［ｎ］−ｆ_ｇ［ｎ］｜（ｎ：任意）、音程差６０１、６０２）が大きいほど、エコーの強さの初期値ａ［０］＝ａ_０から、エコーの強さを小さくするように設定されることを示している。例えば、音程差ｆ［ｎ］−ｆ_ｇ［ｎ］＝０（ｎ：任意）の場合、すなわち、正確な音程で歌われている場合は、エコーの強さには初期値ａ_０が設定される。また、音程差ｆ［ｎ］−ｆ_ｇ［ｎ］＝ｘ（ｎ：任意）の場合、すなわち、プレイヤの歌声の音程が正確な音程からｘだけずれている場合、設定部２０４は、エコーの強さａ［ｎ］＝ａ_０−５（ｎ：任意）と設定する。

一方、第２の音声データ３０３のうち出力部２０３により現在出力されている部分に、予めガイド音程３０４が対応付けられていない場合、設定部２０４は、エコーの強さａ［ｎ］（ｎ：任意）を抑制するように設定する。すなわち、イントロ部４０１、間奏部４０３、及びエンディング部４０５にはガイド音程３０４は対応付けられていないので、設定部２０４は、これらの部分において検知部２０１が検知した第１の音声データ３０１（マイク音５０２、５０４、５０６）のエコーの強さａ［ｎ］（ｎ：任意）を、エコーの強さの初期値ａ_０よりも小さな値に設定する。例えば、設定部２０４は、ガイド音５０７、５０８が無い部分では、一律、エコーの強さをａ_０−５と設定する。

以下、実施形態２に係る音声処理装置２００の各部が行うエコー調節処理について説明する。音声処理装置２００に電源が投入され、プレイヤによって楽曲の再生指示がされると、ＣＰＵ １０１は、図６のフローチャートに示すエコー調節処理を開始する。

コントローラ１０５によりプレイヤから楽曲の再生の操作を受け付けると、ＣＰＵ １０１は伴奏音５０１のデータ（ｍ［ｎ］（ｎ＝０〜Ｎ））及びガイド音５０７、５０８のデータ（ｇ［ｎ］（ｎ＝０〜Ｎ））を読込む（ステップＳ１０１）。次に、設定部２０４は、読込んだ伴奏音５０１のデータに対応付けられている、曲の速さを表わす指標（例えば、ＢＰＭ）を取得し、当該速さの値に基づいて、エコーの強さの初期値ａ［０］を設定する（ステップＳ１０２）。

次に、検知部２０１は、プレイヤからの音声３０２を検知したか否か判断する（ステップＳ１０３）。検知部２０１が音声３０２を検知しない場合（ステップＳ１０３；Ｎｏ）、出力部２０３から出力される部分にガイド音程３０４（ｆ_ｇ［ｎ］（ｎ：任意））が対応付けられているか否か判断する（ステップＳ１０９）。ガイド音程３０４が対応付けられている場合（ステップＳ１０９；Ｙｅｓ）、出力部２０３は、混合音声データ３０５として、伴奏音５０１とガイド音５０７、５０８とを混合したデータ（ｍ［ｎ］＋ｇ［ｎ］（ｎ：任意））をスピーカ等に出力する（ステップＳ１１０）。ガイド音程３０４が対応付けられていない場合（ステップＳ１０９；Ｎｏ）、出力部２０３は、伴奏音５０１（ｍ［ｎ］（ｎ：任意））のみをスピーカ等に出力する（ステップＳ１１１）。出力後はステップＳ１０３に戻る。

一方、検知部２０１がプレイヤからの音声３０２を検知したとすると（ステップＳ１０３；Ｙｅｓ）、当該音声３０２のデータを第１の音声データ３０１（ｖ［ｎ］（ｎ：任意））に変換する。そして、出力部２０３から出力される部分にガイド音程３０４（ｆ_ｇ［ｎ］（ｎ：任意））が対応付けられているか否か判断する（ステップＳ１０４）。出力部２０３から出力される部分にガイド音程３０４が対応付けられている場合（ステップＳ１０４；Ｙｅｓ）、設定部２０４は、検知部２０１が検知した第１の音声データ３０１（マイク音５０３、５０５）の音程（ｆ［ｎ］（ｎ：任意））と、ガイド音５０７、５０８のガイド音程３０４との音程差（｜ｆ［ｎ］−ｆ_ｇ［ｎ］｜（ｎ：任意））を求める（ステップＳ１０５）。そして、設定部２０４は、求めた音程差に基づいて、エコーの強さａ［ｎ］を設定する（ステップＳ１０６）。例えば、設定部２０４が図５に示すグラフを参照してエコーの強さａ［ｎ］（ｎ：任意）を設定する場合、音程差がｘならば、設定部２０４はエコーの強さａ［ｎ］＝ａ_０−５（ｎ：任意）と設定する。

一方、出力部２０３から出力される部分にガイド音程３０４が対応付けられていない場合（ステップＳ１０４；Ｎｏ）、設定部２０４は、検知部２０１が検知した第１の音声データ３０１（マイク音５０２、５０４、５０６）のエコーの強さａ［ｎ］（ｎ：任意）を、エコーの強さの初期値ａ_０よりも小さな値に設定する（ステップＳ１１２）。例えば、設定部２０４は、ガイド音５０７、５０８が無い部分では、一律、エコーの強さａ［ｎ］＝ａ_０−５（ｎ：任意）と設定する。

ステップＳ１０６及びステップＳ１１２においてエコーの強さａ［ｎ］（ｎ：任意）が設定されると、エコー処理部２０２は、設定されたエコーの強さａ［ｎ］（ｎ：任意）を参照して、第１の音声データ３０１にエコー処理を施し（ステップＳ１０７、ステップＳ１１３）、エコー処理を施した音声データ（ｖ［ｎ］＋ａ［ｎ］・ｅ［ｎ］（ｎ：任意））を出力部２０３へ出力する。

そして、出力部２０３は、エコー処理を施した音声データと伴奏音５０１とガイド音５０７、５０８とを混合して、スピーカ等に出力する（ステップＳ１０８）。例えば、出力部２０３は、ｖ［ｎ］＋ａ［ｎ］・ｅ［ｎ］＋ｍ［ｎ］＋ｇ［ｎ］（ｎ：任意）を出力する。また、ガイド音程３０４が対応付けられていない場合、すなわち、ガイド音５０７、５０８が無い場合は（ステップＳ１０４；Ｎｏ）、出力部２０３は、エコー処理を施した音声データと伴奏音５０１とを混合して、スピーカ等に出力する（ステップＳ１１４）。例えば、出力部２０３は、ｖ［ｎ］＋ａ［ｎ］・ｅ［ｎ］＋ｍ［ｎ］（ｎ：任意）を出力する。ステップＳ１０８及びステップＳ１１４において、混合音声データ３０５が出力された後は、ステップＳ１０３に戻る。

本実施形態によれば、プレイヤが発した声とガイド音程との音程差に基づいてエコーの強さを設定することができる。また、歌唱部分にはエコーをかけ、歌唱部分の以外の、エコーをかける必要のない部分にはエコーをかけないようにすることができる。また、曲のスピードが遅いほどエコーを強くかけることにより、プレイヤの趣向に合ったエコー処理を自動的に施すことができる。

（実施形態２）
実施形態２に係る音声処理装置２００は、音程差と比較する基準値として第１及び第２の閾値を設け、音程差が第１の閾値よりも大きい場合、エコーの強さを抑制し、第２の閾値よりも小さい場合、エコーの強さを音程差に従って強く設定する。
実施形態２に係る音声処理装置２００は、実施形態１と同様の構成要素から構成されるが、本実施形態の設定部２０４は、実施形態１の設定部２０４と異なる処理を行う。以下、実施形態１と異なる機能を有する設定部２０４について説明する。

設定部２０４は、楽曲再生前において、第２の音声データ３０３（伴奏音５０１）の速さに基づいてエコーの強さの初期値ａ［０］を設定する。楽曲再生中において、第１の音声データ３０１の音程とガイド音程３０４との音程差が第１の閾値を超える場合、設定部２０４は、エコーの強さを抑制するように設定し、当該音程差が第２の閾値以下の場合、設定部２０４は、音程差が大きいほどエコーの強さを強く設定する。ここで、第１の閾値ｘ_１を歌唱において生じる程度の音程のずれ（音程差）ではなく、歌声以外の音声が入力されたことによる生じる音程差を示す値とする。一方、第２の閾値ｘ_２を、歌唱において生じる程度の音程のずれ（音程差）の平均値（例えば、半音）とする。一般的に、歌唱において生じる音程のずれよりも、歌声と話し声との音程差の方が大きいと考えられるので、第１の閾値は第２の閾値より大きい値をとるものとする（ｘ_１＞ｘ_２）。
したがって、ＣＰＵ １０１及び音声処理部１１０が協働して、設定部２０４として機能する。

本実施形態の設定部２０４が、第１の音声データ３０１の音程とガイド音程３０４との音程差を求める機能、及び、楽曲再生前に、伴奏音５０１の速さに基づいてエコーの強さの初期値ａ［０］を設定する機能については、実施形態１の場合と同様である。以下、楽曲再生中のエコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を設定する機能について説明する。

設定部２０４は、例えば、図７に示すグラフに基づいてエコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を設定する。図７のグラフでは、音程差が第１の閾値ｘ_１より大きい場合（音程差＞ｘ_１）、エコーの強さは、初期値より小さい値であり（ａ［ｎ］＜ａ_０（ｎ：任意））、当該音程差が大きいほどより小さな値をとる。音程差が第２の閾値ｘ_２以下の場合（音程差≦ｘ_２）、エコーの強さは、初期値より大きな値であり（ａ［ｎ］＞ａ_０（ｎ：任意））、当該音程差が大きいほどより大きな値をとる。そして、音程差が第２の閾値ｘ_２より大きく、第１の閾値ｘ_１以下の場合（ｘ_２＜音程差≦ｘ_１）は、エコーの強さは、音程差が大きいほど抑制される。第２の閾値ｘ_２を歌唱において生じる程度の音程のずれ（音程差）の平均値であるので、音程差ｘ_ｃは歌唱における音程差の可能性もある。したがって、本実施形態では、音程差が第２の閾値ｘ_２より大きく、第１の閾値ｘ_１以下の場合（ｘ_２＜音程差≦ｘ_１）は、エコーの強さが初期値ａ_０より弱くはならないようにしつつ、エコーの強さを抑制して、音程差が第１の閾値ｘ_１より大きい場合と緩やかに接続する。

すなわち、第１の音声データ３０１の音程とガイド音程３０４との音程差がｆ［ｎ］−ｆ_ｇ［ｎ］＝ｘ_ａ（ｎ：任意）の場合、当該音程差は第１の閾値を超えるので（ｘ_ａ＞ｘ_１）、設定部２０４は、エコーの強さを初期値ａ_０から抑制するように、ａ［ｎ］＝ａ_０−５（ｎ：任意）と設定する。一方、音程差ｆ［ｎ］−ｆ_ｇ［ｎ］＝ｘ_ｂ（ｎ：任意）の場合、当該音程差は第２の閾値以下なので（ｘ_ｂ≦ｘ_２）、設定部２０４は、音程差に基づいてエコーの強さをａ［ｎ］＝ａ_０＋５（ｎ：任意）と設定する。また、音程差ｆ［ｎ］−ｆ_ｇ［ｎ］＝ｘ_ｃ（ｎ：任意）の場合、当該音程差は第２の閾値より大きく、第１の閾値以下であるので（ｘ_２＜ｘ_ｃ≦ｘ_１）、ａ［ｎ］＝ａ_０＋３（ｎ：任意）と設定する。
一般的に、プレイヤは得意でない（音程がはずれやすい）楽曲を歌う場合、エコーを強くかける傾向があるので、上記のようにエコー処理を自動的に施すことにより、エコーをかける必要のない部分ではエコーの強さを抑制しつつ、プレイヤの趣向に合ったエコー調節を行うことができる。

以下、実施形態２に係る音声処理装置２００の各部が行うエコー調節処理について説明する。音声処理装置２００に電源が投入され、プレイヤによって楽曲の再生指示がされると、ＣＰＵ １０１は、図８のフローチャートに示すエコー調節処理を開始する。なお、図８のフローチャートにおいて、図６と同じステップ番号が付されているステップは、図６のフローチャートにおける処理と同様の処理を行う。なお、設定部２０４は、図７のグラフを参照してエコーの強さａ［ｎ］（ｎ＝１〜Ｎ）を設定するものとする。

設定部２０４は、第１の音声データ３０１の音程と、ガイド音５０７、５０８のガイド音程３０４との音程差（｜ｆ［ｎ］−ｆ_ｇ［ｎ］｜（ｎ：任意））を求めた後（ステップＳ１０５）、当該音程差が第１の閾値ｘ_１より大きいか否かを判断する（ステップＳ２０１）。音程差が第１の閾値ｘ_１より大きい場合（ステップＳ２０１；Ｙｅｓ）、設定部２０４は、エコーの強さａ［ｎ］（ｎ：任意）をエコーの強さの初期値ａ_０より小さく設定する（ステップＳ１１２）。例えば、音程差がｘ_ａの場合、設定部２０４はエコーのａ［ｎ］（ｎ：任意）をａ_０−５と設定する。設定後は、実施形態１の場合と同様に、ステップＳ１１３以降の処理が続く。一方、音程差が第１の閾値ｘ_１以下の場合（ステップＳ２０１；Ｎｏ）、設定部２０４は、音程差が第２の閾値ｘ_２以下であるか否かを判断する（ステップＳ２０２）。

音程差が第２の閾値ｘ_２以下の場合（ステップＳ２０２；Ｙｅｓ）、エコーの強さをａ［ｎ］（ｎ：任意）をエコーの強さの初期値ａ_０より大きく設定する（ステップＳ２０３）。例えば、音程差がｘ_ｂの場合、設定部２０４はエコーのａ［ｎ］（ｎ：任意）をａ_０＋５と設定する。一方、音程差が第２の閾値ｘ_２より大きい場合（ステップＳ２０２；Ｎｏ）、音程差に基づいてエコーの強さを設定する（ステップＳ２０４）。例えば、音程差がｘ_ｃの場合、設定部２０４はエコーの強さａ［ｎ］（ｎ：任意）をａ_０＋３と設定する。設定後は、実施形態１の場合と同様に、ステップＳ１０７以降の処理が続く。

本実施形態によれば、プレイヤが楽曲の歌唱部分の再生中に歌声ではなく話し声をマイクに入力したとしても、当該話し声にはエコーをかけないようにすることができる。また、一般的に、プレイヤは、歌唱が得意でない場合、すなわち、音程がはずれやすい場合はエコーを強くかける傾向があるので、本実施形態によれば、プレイヤの趣向に合ったエコー処理を自動的に施すことができる。

実施形態２では、第２の閾値ｘ_２を歌唱において生じる程度の音程のずれ（音程差）の平均値としたが、これに限らず、例えば、第２の閾値ｘ_２を歌唱において生じる程度の音程のずれ（音程差）の最大値とすることもできる。この場合、第２の閾値ｘ_２を超えると歌唱において生じる音程差ではなく、歌声以外の音声が入力されたことによる生じる音程差と見なすことができるので、ｘ_１＝ｘ_２である。このように第１及び第２の閾値を設ける場合、設定部２０４は、例えば、図９に示すようなグラフに基づいてエコーの強さａ［ｎ］（ｎ：任意）を設定することができる。

また、上記実施形態において、ガイド音５０７、５０８は、伴奏音５０１及びマイク音５０２〜５０６と共に出力されたが、ガイド音５０７、５０８は出力されないようにしてもよい。或いは、ガイド音程３０４はガイド音５０７、５０８により提示されるのではなく、ゲーム装置のモニタ上に、音符により提示されるようにしてもよい。

本発明によれば、マイクに入力された音声にエコーをかける際に、エコーの強さを調節するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。

１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ マイク
２００ 音声処理装置
２０１ 検知部
２０２ エコー処理部
２０３ 出力部
２０４ 設定部
３０１ 第１の音声データ
３０２ 音声
３０３ 第２の音声データ
３０４ ガイド音程
３０５ 混合音声データ
４０１ イントロ部
４０２、４０４ 歌唱部
４０３ 間奏部（ラップ部）
４０５ エンディング部
５０１ 伴奏音
５０２、５０３、５０４、５０５、５０６ マイク音
５０７、５０８ ガイド音
６０１、６０２ 音程差

Claims (7)

1. プレイヤが発する声を検知して第１の音声データとする検知部と、
   前記第１の音声データにエコー処理を施すエコー処理部と、
   前記エコー処理が施された第１の音声データと予め用意された第２の音声データとを混合した音声データを出力する出力部と、
   前記第２の音声データのうち前記出力部により現在出力されている部分に、予めガイド音程が対応付けられている場合、当該ガイド音程と現在検知されている前記第１の音声データの音程との音程差に基づいて、前記エコーの強さを設定する設定部と、
   を備えることを特徴とする音声処理装置。
2. 請求項１に記載の音声処理装置であって、
   前記音程差が第１の閾値を超える場合、前記設定部は、前記エコーの強さを抑制するように設定する
   ことを特徴とする音声処理装置。
3. 請求項２に記載の音声処理装置であって、
   前記音程差が第２の閾値以下の場合、前記設定部は、当該音程差が大きいほど前記エコーの強さを強く設定する
   ことを特徴とする音声処理装置。
4. 請求項１乃至３のいずれか１項に記載の音声処理装置であって、
   前記設定部は、前記第２の音声データのうち前記出力部により現在出力されている部分に、予めガイド音程が対応付けられていない場合、前記エコーの強さを抑制するように設定する
   ことを特徴とする音声処理装置。
5. 請求項１乃至４のいずれか１項に記載の音声処理装置であって、
   前記設定部は、前記第２の音声データの速さを取得し、当該速さに基づいて前記エコーの強さの初期値を設定する
   ことを特徴とする音声処理装置。
6. 検知部と、エコー処理部と、出力部と、設定部と、を備える音声処理装置が実行する音声処理方法であって、
   前記検知部が、プレイヤが発する声を検知して第１の音声データとする検知工程と、
   前記エコー処理部が、前記第１の音声データにエコー処理を施すエコー処理工程と、
   前記出力部が、前記エコー処理が施された第１の音声データと予め用意された第２の音声データとを混合した音声データを出力する出力工程と、
   前記設定部が、前記第２の音声データのうち前記出力部により現在出力されている部分に、予めガイド音程が対応付けられている場合、当該ガイド音程と現在検知されている前記第１の音声データの音程との音程差に基づいて、前記エコーの強さを設定する設定工程と、
   を備えることを特徴とする音声処理方法。
7. コンピュータを、
   プレイヤが発する声を検知して第１の音声データとする検知部、
   前記第１の音声データにエコー処理を施すエコー処理部、
   前記エコー処理が施された第１の音声データと予め用意された第２の音声データとを混合した音声データを出力する出力部、
   前記第２の音声データのうち前記出力部により現在出力されている部分に、予めガイド音程が対応付けられている場合、当該ガイド音程と現在検知されている前記第１の音声データの音程との音程差に基づいて、前記エコーの強さを設定する設定部、
   として機能させることを特徴とするプログラム。

Images