JP2000106700A - 立体音響生成方法および仮想現実実現システム - Google Patents

Abstract

(57)【要約】 【課題】 発話者の位置の変動に対して、良好な音響特
性を得ることができる立体音響生成方法、能動的に雑音
を除去できる立体音響生成方法、比較的簡単な計算で移
動する対象者に追従して能動的に雑音を除去できる立体
音響再生方法および仮想現実実現システムを提供するこ
と。 【解決手段】 複数の音声入力装置(マイクロフォンア
レイ102)と複数の音声出力装置(スピーカアレイ104)を
用いて、発話者の位置を推定し(1011)、それに応じて立
体音響の音場を最適に制御する(1012)。さらにマイクロ
フォンアレイの超指向性機能(音源と雑音の分離機能)を
用い、これを相殺する信号を生成することで、能動的に
不要な雑音を除去する。この構成により、聴取者の動き
の変動に対しても、最適に音場が制御でき、また再生場
に存在する有害な雑音も能動的に除去できる。またこの
方法を音声認識装置や仮想現実実現システムに利用す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マイコンなどの情
報処理装置を用いて、聴取者の発声を認識し、聴取者が
移動しても最適な立体音響を再現する立体音響生成方法
および仮想現実実現システムに関する。

【０００２】

【従来の技術】立体音響は、単に優れた音響再生システ
ムとして、カーステレオなどのオーディオシステムへの
応用のみならず、映画，ゲーム，ＶＲ（Ｖirtual Ｒeal
ity：仮想現実）など様々な応用に期待されている。立
体音響に関する従来技術としては次のようなものがあ
る。 （１）立体音響および音場制御法 立体音響および音場制御に関しては、例えば、ヘッドフ
ォンのような、二つのスピーカをそれぞれ左右の耳に近
接させる再生系を想定した場合（バイノーラル系；bina
ural系）と、複数（通常３個以上）のスピーカを用いる
場合（トランスオーラル系；transaural系）の二つの場
合がある（例えば、三好：音場を創る，日本音響学会
誌，Vol.52，No.6，pp.466-469 (1996) 参照）。図１５
は、従来の音場制御システムの例を示す図であり、同図
（ａ）はバイノーラル系のシステム構成例を、同図
（ｂ）はトランスオーラル系のシステム構成例を示して
いる。

【０００３】（１.１）バイノーラル系 バイノーラル系は、図１５（ａ）のような構成を有す
る。オーディオなどでは、最適な音像を得ることが目的
であるが、バイノーラル系では出力装置（ヘッドフォ
ン）が聴取者に伴って一体となって移動するために、聴
取者の位置の変動は考慮しなくてよい。この場合、各チ
ャンネルを独立に処理することが可能である。しかし、
ＶＲでは、聴取者の位置の変動に応じて音像を調整する
必要がある。このような場合に対応させようとすると、
結局２入力２出力の線形システムで表現される。

【０００４】（１.２） トランスオーラル系 トランスオーラル系は、図１５（ｂ）のように少々複雑
な系になる。トランスオーラル系のように複数の出力装
置から音場が再生される場合、それぞれの音が直接ある
いは反射して左右の耳に到達する。従って、線形システ
ムで表現するならば、Ｎ入力Ｍ出力の線形システムとし
て表現される。トランスオーラル系では、録音された時
には存在せず、再生時にのみ生じるような効果（例え
ば、再生空間での反響音など）を除去することが要望さ
れる。そのため、この前段に逆フィルタを挿入し、不要
な音場の音響的効果を相殺するような構成を採用するこ
ともある。

【０００５】（２）マイクロフォンアレイ マイクロフォンアレイとは、複数のマイクロフォンをア
レイ状に配置したものをいう。しかしながら、音源の推
定は必ずしもアレイ状でなくとも可能である。音源の推
定は、例えば、岡村らの方法（離散的マイクロフォン配
置における単一話者位置推定，信学技報，EA96-54 (199
6)）によって実現できる。図１６は、マイクロフォンア
レイシステムの模式図を示している。同図において、Ｍ
ｉはマイクロフォン、ｇｉは重み係数、τｉは遅延時間
を示している（ｉ＝０〜Ｎ）。話者とｉ番目（図の場合
はｉ＝１〜５）のマイクロフォンの距離は、

【数１】 のようになる。ここで、誤差を考えると、

【数２】 となる。

【０００６】今、話者からｉ番目のマイクロフォンとｋ
番目のマイクロフォンの音波の伝搬距離差を考えると、

【数３】 のようになる。これより、話者位置を求めるために、逐
次近似法を用いると、結局、誤差の修正量 ΔＸ＝（Δ
ｘ，Δｙ，Δｚ，Δｓ）Ｔ は、

【数４】 となり、これを反復計算することにより、逐次的に話者
の位置を推定できる。

【０００７】また、このようなマイクロフォンアレイを
用いれば、指向性を制御することも可能である（例え
ば、金田：アダプティブマイクロフォンアレイ，電子情
報通信学会論文誌B-II，Vol.J75-B-II，No.11，pp.742-
748 (1992) 参照）。指向性の制御方法は、多くの場合
線形系で扱われることが多いが、ニューラルネットワー
ク（ＮＮ：Ｎeural Ｎetwork）のような非線形手法が用
いられることもある（例えば、小畑：非線形超指向性マ
イクロフォンアレイ，日本音響学会誌，Vol.51，No.5，
pp.407-410 (1995) 参照）。

【０００８】（３）適応ノイズキャンセラ 適応ノイズキャンセラは、雑音を適応的に推定し、逆位
相の信号を生成し、相殺することで雑音を除去する方法
である。ここで、“適応”とは、システムの外部あるい
は内部の環境の変動に対して、自動的に最適な特性を持
つようにシステム特性を調整する機能を意味する。

【０００９】適応処理方法としては、線形フィルタにお
けるＬＭＳ（Ｌeast Ｍean Ｓquare）法とＲＬＳ（Ｒec
usive Ｌeast Ｓquare）法が代表的な方法として知られ
ている。適応ノイズキャンセラでは、以下のように、過
去のサンプル値と重み係数（通常、タップ係数と呼ばれ
る）の線形和で表現されるデジタルフィルタを考える。

【数５】

【００１０】このフィルタは、例えば音響管に衝撃音
（インパルス入力）を入れた時の残響（遅延）の特性を
表現し、また入力がフィードバックしないことから有限
インパルス応答（ＦＩＲ：Ｆinite Ｉmpulse Ｒespons
e）フィルタと呼ばれる。これに対して、入力がフィー
ドバックする無限インパルス応答（ＩＩＲ：Ｉnfinite
Ｉnpulse Ｒesponse）フィルタもある。

【００１１】ここで、数１で表現されるＦＩＲフィルタ
が、ある入力系列に対して所望の出力を得るようにする
ことを考える。このためには、誤差二乗関数を最小にす
るようにパラメータを修正すればよい。この誤差二乗関
数は、線形フィルタの場合、パラメータ空間における２
次曲面、すなわち単嶺性の関数として表現される。従っ
て、最小値は誤差二乗関数の極小値を求めればよい。こ
のことから、Ｙule-Ｗalker の方程式が導かれる。

【００１２】ＬＭＳ法は、これを直接解かずに、いわば
反復的に収束させることを考える。すなわち、各ステッ
プごとに、

【数６】 のように修正する。この方法は、要するに、最急降下法
に基づくアルゴリズムで、実現が容易かつ計算量が僅少
なため、現在広く用いられている方法である。しかし、
修正量（数６のμ（ステップゲイン））の調整によっ
て、大きく収束特性が変動するという特徴を有してい
る。

【００１３】これに対して、ＲＬＳ法は Ｙule-Ｗalker
方程式を再帰的に直接解く方法である。具体的には、
１ステップ前の共分散行列の逆行列を用いて、逆行列の
補助定理から、現在の共分散行列の逆行列を求める（共
分散行列の逆行列から、パラメータは簡単な計算で得ら
れる）。この方法は、収束特性は優れているが、計算量
が多く、また再帰的な計算のため、倍精度の浮動小数計
算が必要になる。

【００１４】（４）非線形手法 非線形手法としてニューラルネットワーク（ＮＮ）を用
いるものがある。ニューラルネットワーク（ＮＮ）と
は、図１７（ａ）のようなニューロン素子をネットワー
ク状に結合したものである。ニューロン素子の出力は、
一般に入力の総和に対する関数として表現される。例え
ば、

【数７】 のような、シグモイド関数で表現されることが多い。こ
れを、実システムに適用する場合、例えば図１７（ｂ）
のような階層型ネットワークを用いることができる（図
１７（ｂ）は３階層の場合を示す）。３階層型ネットワ
ークでは、左から入力層・中間層・出力層となってお
り、本実施例では、入力層の各ノードと分類を対応させ
（具体的には、分類の属性値を入力にする）、出力層に
重み係数を対応させている。そして、所望の入出力関係
が得られるように、結合係数を調整する。

【００１５】結合係数の調整は、一般的な誤差逆伝播法
（ＢＰ法）によって実行できる。これは、

【数８】 のように、パラメータを修正する（ちょうど、誤差が逆
方向＝出力層→入力層に伝わっていくイメージがあるた
め誤差逆伝播法と呼ばれる）。この計算を、収束するま
で繰り返し実行する。なお、ニューラルネットワーク
（ＮＮ）の計算は、次の

【数９】 によって、入力層のノードの値ｘｉから中間層のノード
の値ｙｍを、得られた中間層のノードの値ｙｍから出力
層のノードの値ｚｏを、というように順に計算すればよ
い。

【００１６】

【発明が解決しようとする課題】近年、音場の最適制御
が重要な課題になっているが、これらは、一般に聴取者
の位置が既知（不動すなわち固定）であることを想定し
ている場合が多い。しかし、仮想現実（ＶＲ）や音声認
識など、発話者の位置が変動することもあり、その場
合、最適性が失われることもある。本発明の目的は、こ
のような発話者の位置の変動に対して、良好な音響特性
を得ることができる立体音響生成方法、能動的に雑音を
除去できる立体音響生成方法、比較的簡単な計算で移動
する対象者に追従して能動的に雑音を除去できる立体音
響再生方法および仮想現実実現システムを提供すること
にある。

【００１７】

【課題を解決するための手段】本発明の立体音響生成方
法は、上記目的を達成するために、複数の音声入力装置
（マイクロフォンアレイ１０２）からの音声入力に基づ
いて対象者の位置を推定する第一の手順（図２の２０
４）と、該第一の手順により推定された対象者の位置に
基づいて音場を制御するパラメータ（逆フィルタの特
性）を調整する第二の手順（同２０５）と、該第二の手
順で調整したパラメータに基づいて立体音場を再生する
第三の手順（同２０６）を有する。また、複数の音声入
力装置からの音声入力に基づいて対象者の位置を推定す
る第一の手順（図５の２０４）と、該第一の手順により
推定された対象者の位置に基づいて音場を制御するパラ
メータを調整する第二の手順（同２０５）と、複数の音
声入力装置からの入力された音声に基づいて音源からの
音声と雑音とを分離する第三の手順（同５０３）と、該
第三の手順によって分離された雑音を相殺しうる信号を
生成する第四の手順（同５０４）と、第四の手順によっ
て得られた信号と第二の手順によって得られる音場を制
御するパラメータに付加して雑音除去音声を得る第五の
手順（同５０６）を有する。これらの構成により、発話
者の位置の変動に対して良好な音響特性を得ることがで
き、また、能動的に雑音を除去することができる。ま
た、これらによって得られた雑音除去信号を音声認識装
置の入力することにより良好な音声認識装置が得られ
る。

【００１８】また、音場を制御するパラメータを調整す
るための方法として、話者の存在しうる空間を有限個の
部分領域に分割し、その各々に最適に調整された音場を
生成しうる伝達特性に関するデータを具備し、対象者が
存在する部分領域を決定し、この部分領域に対応した伝
達特性の格納されているデータを選択して音場を調整す
る方法（部分領域による方法）、話者の存在しうる空間
を有限個の代表点を設定し、その各々に最適に調整され
た音場を生成しうる伝達特性に関するデータを具備し、
対象者が存在する位置と最も近い代表点を選択し、この
代表点に対応した伝達特性の格納されているデータを選
択して音場を調整する方法（代表点による方法）、話者
の存在しうる空間を有限個の代表点を設定し、その各々
に最適に調整された音場を生成しうる伝達特性に関する
データを具備し、対象者が存在する位置に近い３つの代
表点を選択し、その代表点に対応した伝達特性の格納さ
れているデータを選択し、対象者が存在する位置に近い
３つの代表点の位置関係から補正する係数を得、この係
数を用いて音場を調整する方法（３つの代表点による方
法）などがある。また、ヘッドフォン型の音響再生シス
テムと、位置を特定するセンサとを用い、該センサによ
り位置を決定し、その位置に合わせて音場を調整するこ
とにより、高性能な仮想現実実現システムが得られる。

【００１９】

【発明の実施の形態】（実施例１）本発明の実施例１を
図面を用いて詳細に説明する。図１は、実施例１の基本
的な概念を示す図である。本システムは、図１（ａ）に
示すように、マイコンなどの情報処理装置（以下、マイ
コン）１０１と、位置推定用のマイクロフォンアレイな
どの複数の音声入力装置（以下、マイクロフォンアレ
イ）１０２と、スピーカアレイなどの複数の音声出力装
置（以下、スピーカアレイ）１０４より構成される。図
１では、簡単化するために、位置推定用マイクロフォン
アレイ１０２とは別個に再生すべき音声の入力端子１０
３（Input）を設けたシステムを示している。このよう
なシステムにおいて、再生すべき音声が入力端子１０３
（Input）より入力され、マイコン１０１において一定
の処理が施された後、スピーカアレイ１０４に出力され
る。マイコン１０１は、位置推定装置１０１１、制御装
置１０１２、出力フィルタ１０１３から構成される。

【００２０】図１（ｂ）は、実施例１の原理を示す図で
ある。本実施例では、トランスオーラル系の処理を行っ
ている。すなわち、左側の録音系でサンプルされた音声
信号は、それぞれ各再生系の逆フィルタを通って、再生
される。本実施例では、マイクロフォンアレイ１０２か
らの入力によって聴取者の位置を推定し、この推定した
位置に応じて制御器を介して逆フィルタの特性を最適に
制御するようにしたものである。

【００２１】図２は、本実施例１の全体の処理手順を示
すフローチャートである。まず、ステップ２０１で処理
が開始されると、音声再生と逆フィルタの特性調整が開
始される。逆フィルタの特性調整は、ステップ２０３
で、マイクロフォンアレイ１０２より信号を入力する。
ステップ２０４の位置推定では、マイクロフォンアレイ
１０２から入力された信号に基づき、聴取者の位置を推
定する。そして、ステップ２０５のパラメータ制御によ
り逆フィルタの特性を調整する。一方、音声再生では、
ステップ２０２で再生信号を入力すると、前述のステッ
プ２０３〜２０５の処理が終了するのを待って、ステッ
プ２０５によって調整された逆フィルタの特性に従っ
て、ステップ２０６で音場の再生を行う。ここで生成さ
れた（フィルタリングされた）再生音声は、ステップ２
０７においてスピーカアレイより出力され、ステップ２
０８で処理は終了する。

【００２２】次に、図２のフローチャートのうち、ステ
ップ２０４（位置推定）および２０５（パラメータ制
御）をさらに詳細に説明する。図３は、ステップ２０４
における聴取者の位置の推定の詳細を説明するためのフ
ローチャートである。ここで、ステップ３０１〜３０８
は、具体的にはステップ２０４のサブルーチンに相当す
る。図３において、まず、ステップ３０１で処理が開始
されると、ステップ３０２において初期設定が行われ
る。ここでは、例えば聴取者の位置などを予め決められ
た適当な初期値に設定する。次のステップ３０３では、
数３に従って伝搬距離差を計算する。ステップ３０４で
は、ステップ３０２で初期設定した聴取者の位置を逐次
修正する。ステップ３０５では、ステップ３０４で修正
された値について、数４より誤差修正量を計算し、ステ
ップ３０６によって収束判定を行う。ここで収束しなけ
れば（ステップ３０６：Ｎ）、再びステップ３０４に戻
り、位置を再修正する。この処理を収束するまで繰り返
す。収束した場合（ステップ３０６：Ｙ）、ステップ３
０７で推定座標を決定し、ステップ３０８で処理を終了
する。

【００２３】図４は、ステップ２０５におけるパラメー
タ制御の詳細を説明するための図であり、同図（ａ）に
フローチャートを、同図（ｂ）に構成例を示す。本構成
例は、図４（ｂ）のように、フィルタバンクを用いてい
る。ここでは、再生空間を複数に分割し、各再生空間ご
とに最適に調整した逆フィルタを複数個用意する。そし
て、聴取者の推定位置に応じて適宜最適なフィルタに切
り替える方法を採用している。

【００２４】次に、図４（ａ）を用いて具体的な処理を
説明する。ステップ４０１〜４０５は、ステップ２０５
のサブルーチンに相当する。まず、ステップ４０１で処
理を開始すると、ステップ４０２において、前述のステ
ップ２０４で推定した聴取者の位置（ステップ３０７で
決定した位置）を入力する。ステップ４０３では、ステ
ップ４０２で入力した聴取者の位置に対応する存在領域
（部分空間）を決定し、この決定された領域に応じて次
のステップ４０４でフィルタバンクを切り替え、ステッ
プ４０５で終了する。なお、図２のステップ２０６にお
ける音場生成の処理は、通常のトランスオーラル系の処
理と全く同じであるので説明は省略する。

【００２５】（実施例２）上記原理をＶＲ実現に応用す
ることができる。ヘッドマウントディスプレー（ＨＭ
Ｄ）に付随したヘッドフォン型の音響再生システムと対
象者の位置を検出するセンサを設け、このセンサによっ
て対象者の位置を決定し、この決定した対象者の位置に
合わせて音場のパラメータを制御する。この構成によ
り、移動する対象者に対しても高性能なＶＲが実現でき
る。

【００２６】（実施例３）次に、本発明の実施例３を図
面を用いて詳細に説明する。実施例３は、マイクロフォ
ンアレイ１０２による超指向性効果を用いて音源信号と
雑音信号を分離し、この雑音信号を相殺するような信号
を付加することによって、再生音場において不要な雑音
を能動的に除去可能とした立体音響システムに関するも
のである。

【００２７】図５は、本実施例３の立体音響システムの
処理の全体のフローチャートである。同図において、図
２と同様の処理には同一のステップ番号を付与してあ
る。まず、実施例１の図２のフローチャートの場合と同
様に、ステップ２０２およびステップ２０３において、
それぞれ、入力端子１０３からの再生信号あるいはマイ
クロフォンアレイ１０２からの位置推定用の信号を入力
する。ステップ２０４の位置推定およびステップ２０５
のパラメータ制御では、それぞれ実施例１と同様に、聴
取者の位置を推定および逆フィルタの特性を制御して、
ステップ５０５で音場を生成する。ステップ５０３で
は、ステップ２０３で入力された信号より、音源からの
信号と雑音信号とを分離する（詳細は図６で説明）。

【００２８】ステップ５０４では、この再生音場におい
て観測雑音を除去できる雑音相殺信号を生成し（詳細は
図７で説明）、ステップ５０６において、ステップ５０
４で生成した雑音相殺信号をステップ５０５において生
成した音場を合成し、最終的な出力としてスピーカより
出力し、ステップ５０７で処理を終了する。

【００２９】図６は、図５のステップ５０３の詳細を示
すフローチャートである。ここでは、図１７（ｃ）のよ
うなニューラルネットワーク（ＮＮ）を用いた差分型の
システムを用いた例を示す。図１７（ｃ）のシステムで
は、予めニューラルネットワーク（ＮＮ）のパラメータ
を学習しておき、再生時に信号をニューラルネットワー
ク（ＮＮ）に通すことで、雑音と音源信号を分離する。

【００３０】図６（ａ）は、ニューラルネットワーク
（ＮＮ）の結合係数を学習する処理を示すフローチャー
トである。まず、ステップ６０１で処理が開始される
と、ステップ６０２で学習データが入力される。ステッ
プ６０３では、この学習データに対して出力が最適にな
るように（具体的には、誤差評価関数を最小にするよう
に）、例えば、数８を用いて結合係数を修正する。以上
の処理を収束するまで繰り返す（ステップ６０４）。収
束した場合に（ステップ６０４：Ｙ）、収束したときの
結合係数を出力した後、ステップ６０５で処理を終了す
る。このときの結合係数は必要に応じてファイルなどに
保存しておいてもよい。

【００３１】図６（ｂ）は、図５のステップ５０３にお
ける音声と雑音の分離処理の詳細を示すフローチャート
である。まず、ステップ６０６で処理が開始されると、
ステップ６０７によってマイクロフォンアレイ１０２か
ら位置推定用の信号が入力される。ステップ６０８で
は、リファレンスとの差が計算され、ステップ６０９に
よって図６（ａ）で決定された結合係数を用いたニュー
ラルネットワーク（ＮＮ）での値が計算される。ステッ
プ６１０では、ニューラルネットワーク（ＮＮ）の出力
層の出力から雑音成分を求め、それとの比較から音源信
号を分離する。これらを、別々に出力し、ステップ６１
１で処理を終了する。

【００３２】図７は、図５のステップ５０４における雑
音相殺信号の生成処理の詳細を説明するための図であ
る。図７（ａ）は、適応ノイズキャンセラの原理を示す
図である。ここで、雑音重畳信号Ｓｉ＋ｎ'ｉに相当す
るのは、再生系で聴取者に観測される音声であり、雑音
信号ｎｉには、分離された雑音信号が対応する。図７
（ａ）のＡＮＣ（Ａctive Ｎoise Ｃanceller）は、例
えば、雑音信号に適応型のＦＩＲディジタルフィルタ
（Ａdaptive filter）をかけて、音声中の雑音成分を推
定する。このＡdaptive filter のパラメータは、真の
雑音信号と推定雑音信号の差（誤差信号）を小さくする
ように、適宜修正される。この修正は、Ａdaptive Ｃon
trol部において、例えば、数６に従って行われる。

【００３３】ＡＮＣ−Ｃontrol部では、音声信号の有無
を判定し、ＡＮＣの適応を制御する。具体的には、音声
信号が存在する場合には、適応を実行（Ａdaptive filt
erのパラメータを更新・修正）する。音声信号が存在し
ない場合は、適応を停止（Ａdaptive filter パラメー
タを固定）するか、あるいはそれで性能劣化が生じる場
合、ＡＮＣそのものをＯＦＦ（Ａdaptive filter の出
力を０）にすることも可能である。なお、音声信号が存
在するか否かは、例えば、「信号の短時間パワーを分析
し、一定以上のパワー値になれば音声区間であると判定
する」などの方法がある。

【００３４】図７（ｂ）は、ステップ５０４の雑音相殺
信号の生成処理の詳細なフローチャートである。同図に
示すように、ステップ７０１で処理が開始されると、ス
テップ７０２で誤差評価を行い、ステップ７０３でパラ
メータの修正を行う。このパラメータの修正は、ＬＭＳ
を用いれば、例えば数６のように修正すればよい。この
修正されたパラメータに従って、次のステップ７０４
で、相殺信号を生成する。これは、数５によって計算で
きる。尚、再生系で聴取者に観測される音声は、聴取者
の位置情報とマイクロフォンアレイ１０２からの入力か
ら推定できる。

【００３５】（実施例４）実施例４は、上述した実施例
を利用して構成した音声認識システムである。図８は、
実施例４のシステム構成図である。ここでは、マイクロ
フォンアレイによって入力された信号から実施例３の方
法によって音源信号を分離した後、音声認識装置３００
に入力することで、雑音耐性の強い音声認識システムが
実現することができる。

【００３６】以下では、その他の実施例として、実施例
１でも触れた領域分割による高速な音場制御法を用いた
実施例について、より詳しく説明する。図９は、領域分
割による音場制御法の概念図である。本実施例において
は、図９（ａ）のように、マイクロフォンアレイ（音声
入力装置）とスピーカアレイ（音声出力装置）を用い
て、統合的かつ立体的な音声入出力インターフェースを
実現している。すなわち、聴取者の発声からその位置を
特定し、立体音場をその位置に追従させている。この場
合、聴取者の位置の変化に特性更新（追従）が追い付か
なければならないが、位置情報を得てから特性を計算す
ると、どうしても遅延が生ずることになる。この問題を
解決するため、以下の実施例では、聴取者が存在する
（動ける）領域を予め複数の部分領域に分割し、その部
分領域ごとに最適に調整された伝達特性を予め（オフラ
インで）設計し、そのパラメータのみを保有しておく。

【００３７】オンラインでは、話者の位置が与えられる
と、その話者が属す（存在する）部分領域を選択し、そ
の領域に対応した伝達特性を用いて立体音響を生成す
る。さらに、話者が連続的に動き回って、切り替えによ
る音場の不連続的変化を回避したいような場合を想定
し、補間による連続化（スムージング）法も同時に示
す。また、実施例１では、機械的にメッシュ型の領域を
想定したが、実システムでは、むしろべクトル量子化に
よるクラスタリングも有効である。また、存在頻度（確
率）によって領域の密度（細かさ）を調整する手法の実
施例も示す。

【００３８】（実施例５）実施例５は、補間によるスム
ージングに関するものである。上述の実施例１で示し
た、フイルタバンクを切り替える方法の場合、図９
（ｂ）のような領域分割を考え、各領域と対応したフィ
ルタバンクを選択するようにしたものである。これは、
例えぱ、領域をべクトル量子化によってクラスタリング
する場合も同様である。べクトル量子化とは、２次元以
上の空間において、予め空間上の代表点を決めておき、
任意の点を、空間上で最も近い代表点に対応させる手法
である。ある代表点に対応させられた空間上の点の集合
を領域とみなせるから、結局この方法は、空間を代表点
を用いて分割する方法ともいえる。例えば、図９（ｂ）
のような領域は、図１０（ａ）のように、各正方形領域
の中心（対角線の交点）を代表点としてべクトル量子化
したものと同義である。この場合、各フィルタバンクの
伝達関数は、代表点における伝達特性として表現すれば
良い。

【００３９】実施例５では、上記代表点を用いる方法を
採用し、さらに必要に応じて（＝データ・パラメータは
フィルタバンクの切り替えによる方法と同―のものを用
いて）補間できる方法を示す。ここでは、前提として、
領域がべクトル量子化によってクラスタリングされてお
り、各量子化べクトル（代表点）に対応して、フィルタ
バンクのパラメータ（伝達関数）が決定されているもの
とする。上記の処理系では、実施例１を用いて、フィル
タバンクの切り替えで処理可能である。これと全く同じ
データで、連続的に特性を変化させたい場合、図１０
（ｂ）のように、各量子化べクトル（代表点）を頂点と
する三角形領域を考える。この場合、三角形のパターン
は、予め決定しておく。

【００４０】図１１は、この三角形領域を用いた補間法
の考え方を説明するための図である。同図（ａ）のよう
に、三点（Ｐｌ，Ｐ２，Ｐ３）が既知である領域で、点
Ｐ（＝聴取者の位置）が与えられた場合、、点Ｐは三点
（Ｐｌ，Ｐ２，Ｐ３）の線形結合で与えられる（図１１
（ａ））。このパラメータα，β，γは、点Ｐと一意に
対応している。また、点Ｐが領域内に存在する場合、α
≧０，β≧０，γ≧０であり、α＋β＋γ＝１ とな
る。

【００４１】そこで、このパラメータα，β，γを用い
て補間する。具体的には、図１１（ｂ）のように、この
パラメータの関数（パラメータそのものを用いても良
い）を重みとし、フィルタを合成する。図中の、Ｈ１
（ｚ），Ｈ２（ｚ），Ｈ３（ｚ）は、各々既知の点Ｐ
１，Ｐ２，Ｐ３に対応した伝達特性である。この場合、
例えば、点ＰがＰ１上にいれば、α＝１，β＝０，γ＝
０となって、合成するフィルタの特性はＨ１（ｚ）その
ものとなる。他の点でも同様であり、整合性は保たれ
る。また、α≧０，β≧０，γ≧０であるから、例え
ば、重みが負になるなどの計算上の不都合は生じない。

【００４２】図１２は、本実施例５の処理手順を説明す
るためのフローチャートである。まず、ステップ１２０
１のＳＴＡＲＴによって処理が開始されると、ステップ
１２０２によって、話者（聴取者）の位置を推定する。
そして、ステップ１２０３で、ステップ１２０２で推定
した位置が存在する三角空間を選択する。ステップ１２
０４では、補間係数（図１１のα，β，γ）を計算し、
これに基づいてステップ１２０５で伝達特性の補間を行
う。

【００４３】（実施例６）次に、他の実施例として、実
施例１〜５を用いたシステムの設計方法の実施例を説明
する。ここでは、べクトル量子化法を用いた例を示す。
本実施例では、べクトル量子化によるクラスタリングを
行う。べクトル量子化は、通常、学習データに対して、
歪み（学習データと量子化べクトルの距離の総和）が最
小となるように行われる。しかし、このようなシステム
では、聴取者が高い確率で存在する場所で領域を細分化
する（密に制御する）戦略が有効なこともある。そこ
で、本実施例６では、学習データから求めた聴取者の位
置データから、聴取者の位置の存在確率の情報を加味し
た領域区分法を示す。基本的な考え方は、学習データか
ら代表べクトルを学習する際に、通常のクラスタリング
アルゴリズム（一般に、代表べクトルと学習データの距
離を最小にする）において、単に距離の総和を最小にす
るのではなく、存在確率を考慮した評価関数を用いる
（例えば、存在確率を距離の重みとした加重平均を用い
る等）。

【００４４】図１３は、設計（学習）システムの基本的
な概念図である。本装置では、同図（ａ）に示すよう
に、実際の使用条件を想定した環境の下で、移動する被
験者の発声をサンプルする。これは、音声認識システム
を構築する場合と同じである。同図（ｂ）は、被験者の
存在確立に基づいて割り当てた量子化ベクトルによるク
ラスタリングの一例を示す図である。

【００４５】図１４は、実施例６の処理手順を説明する
ためのフローチャートである。まず、ステップ１４０１
で処理が開始されると、ステップ１４０２で学習データ
の分割を行う。これは、録音した音声データを（アナロ
グであればＡＤ変換して）一定時間（フレーム）ごとに
分割する。ステップ１４０３では、上記で分割したフレ
ームごとに、話者位置の推定を行う。以上の処理を全て
のサンプルデータについて実行する（ステップ１４０
４）。

【００４６】ステップ１４０５では、存在確率の計算を
行う。これは、近似的には、例えば、図９（ｂ）のよう
なメッシュの領域を仮定し、そこに存在するフレームデ
ータの数をカウントすれば良い。メッシュ領域ごとの存
在確率は、当該領域に存在するデータ数／全データ数で
与えられる。そこで、近似的には、当該領域に存在する
フレームの全てに、当該領域における存在確率を量子化
べクトルの歪み評価における重みとして与えれば良い。
ステップ１４０６では、上記評価関数に基づいて代表べ
クトルを決定する。この代表べクトルは具体的には空間
上の代表点であるから、ステップ１４０７で、各々の代
表点に対応した伝達特性を計算し、ステップ１４０８で
処理を終了する。

【００４７】

【発明の効果】本発明によれば、移動する聴取者（発話
者）に対しても、比較簡単な計算でシステムを追従させ
ることが可能になり、能動的に雑音を除去した良好な音
響特性を得ることができる。また、これを利用すること
により、高性能な応用システム（例えば、音声認識，仮
想現実実現システム）が可能になる。

【図面の簡単な説明】

【図１】実施例１の基本的な概念を示す図である。

【図２】実施例１の処理（全体図）を示すフローチャー
トである。

【図３】実施例１の処理（ステップ５０４）を示すフロ
ーチャートである。

【図４】実施例１の処理（ステップ５０５）を示すフロ
ーチャートである。

【図５】実施例３の処理（全体図）を示すフローチャー
トである。

【図６】実施例３の処理（ステップ８０３）を示すフロ
ーチャートである。

【図７】実施例３の処理（ステップ８０４）を示すフロ
ーチャートである。

【図８】実施例４の応用システム（音声認識システム）
の構成例を示す図である。

【図９】領域分割による音場制御法の概念図である。

【図１０】実施例５の補間法を説明するための図である
（その１）。

【図１１】実施例５の補間法を説明するための図である
（その２）

【図１２】実施例５の処理方法を説明するためのフロー
チャートである。

【図１３】音場制御システムの設計方法を説明するため
の図である。

【図１４】実施例６の処理方法を説明するためのフロー
チャートである。

【図１５】従来の音場制御システムの例を示す図であ
る。

【図１６】マイクロフォンアレイシステムの模式図であ
る。

【図１７】ニューラルネットワーク（ＮＮ）システムの
例を示す図である。

【符号の説明】

１０１：情報処理装置（マイコン）、１０１１：位置推
定装置、１０１２：制御装置、１０１３：出力フィル
タ、１０２：複数の音声入力装置（マイクロフォンアレ
イ）、１０３：入力端子（音声入力）、１０４：複数の
音声出力装置（スピーカアレイ）。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 音場を制御するための複数の音声入力装
   置と、立体音響を再生するための複数の音声出力装置と
   を具備し立体音響を生成する立体音響生成方法であっ
   て、 前記複数の音声入力装置からの音声入力に基づいて対象
   者の位置を推定する第一の手順と、該第一の手順により
   推定された対象者の位置に基づいて音場を制御するパラ
   メータを調整する第二の手順と、該第二の手順で調整し
   たパラメータに基づいて立体音場を再生する第三の手順
   を有することを特徴とする立体音響生成方法。
2. 【請求項２】 音場を制御するための複数の音声入力装
   置と、立体音響を再生するための複数の音声出力装置と
   を具備し、音声を認識し立体音響を生成する立体音響生
   成方法であって、 前記複数の音声入力装置からの音声入力に基づいて対象
   者の位置を推定する第一の手順と、 該第一の手順により推定された対象者の位置に基づいて
   音場を制御するパラメータを調整する第二の手順と、 前記複数の音声入力装置からの入力された音声に基づい
   て音源からの音声と雑音とを分離する第三の手順と、 該第三の手順によって分離された雑音を相殺しうる信号
   を生成する第四の手順と、 第四の手順によって得られた信号と第二の手順によって
   得られる音場を制御するパラメータに付加して雑音除去
   音声を得る第五の手順を有することを特徴とする適応的
   能動雑音除去機能を持つ立体音響生成方法。
3. 【請求項３】 請求項２記載の立体音響生成方法におい
   て、 前記第五の手順によって得られる雑音除去音声に基づい
   て音声認識を行うようにしたことを特徴とする耐雑音型
   音声認識機能を有する立体音響生成方法。
4. 【請求項４】 請求項１〜３のいずれか１項に記載の立
   体音響生成方法において、 音場を制御するパラメータを調整する第二の手順は、 予め、話者の存在しうる空間を有限個の部分領域に分割
   し、その各々に最適に調整された音場を生成しうる伝達
   特性に関するデータを具備し、対象者が存在する部分領
   域を決定する第一のステップと、該第１のステップによ
   って決定された部分領域に対応した伝達特性の格納され
   ているデータを選択する第二のステップと、該第二のス
   テップにより得られたパラメータを用いて音場を調整す
   る第三のステップからなることを特徴とする立体音響生
   成方法。
5. 【請求項５】 請求項１〜３のいずれか１項に記載の立
   体音響生成方法において、 音場を制御するパラメータを調整する第二の手順は、 予め、話者の存在しうる空間を有限個の代表点を設定
   し、その各々に最適に調整された音場を生成しうる伝達
   特性に関するデータを具備し、対象者が存在する位置と
   最も近い代表点を選択する第一のステップと、該第一の
   ステップによって決定された代表点に対応した伝達特性
   の格納されているデータを選択する第二のステップと、
   該第二のステップにより得られたパラメータを用いて音
   場を調整する第三のステップからなることを特徴とする
   立体音響生成方法。
6. 【請求項６】 請求項１〜３のいずれか１項に記載の立
   体音響生成方法において、 音場を制御するパラメータを調整する第二の手順は、 予め、話者の存在しうる空間を有限個の代表点を設定
   し、その各々に最適に調整された音場を生成しうる伝達
   特性に関するデータを具備し、対象者が存在する位置に
   近い３つの代表点を選択する第一のステップと、該第一
   のステップによって決定された代表点に対応した伝達特
   性の格納されているデータを選択する第二のステップ
   と、対象者が存在する位置に近い３つの代表点の位置関
   係から補正する係数を決定する第三のステップと、前記
   第一のステップにより得られた伝達特性と前記第三のス
   テップにより得られた補正係数を用いて音場を調整する
   第四のステップからなることを特徴とする立体音響生成
   方法。
7. 【請求項７】 請求項４〜６のいずれか１項に記載の立
   体音響生成方法において、 音声データを提供する被検者から得たデータを一定時間
   の部分データに分割するステップと、該ステップで得ら
   れた部分データの全てに位置の推定を行うステップと、
   該ステップによって得られた位置データから、被検者が
   存在する確率分布を計算するステップと、該ステップに
   よって得られた確率分布を用いて、話者の存在しうる空
   間を有限個の部分領域あるいは話者の存在しうる空間を
   代表する有限個の代表点を決定するステップと、該ステ
   ップによって決定した部分領域あるいは代表点で最適に
   調整された音場を生成する伝達特性を決定するステップ
   を有することを特徴とする立体音響生成方法。
8. 【請求項８】 仮想現実感を実現するシステムにおい
   て、 ヘッドマウントディスプレー（ＨＭＤ）に付随したヘッ
   ドフォン型の音響再生システムと、位置を特定するセン
   サと、該センサにより位置を決定する第一の手段と、該
   第一の手段により決定した対象者の位置に合わせて音場
   を調整する第二の手段を具備する仮想現実実現システ
   ム。