JP2013223098A - 音声処理装置、音声処理方法および音声処理プログラム - Google Patents

Abstract

【課題】聴取者が自然な動作で所望の音源に対応する音声を聞き分けることを可能にする。
【解決手段】音声処理装置１は、聴取者１０の周囲に仮想的に配置された仮想音源２１〜２５にそれぞれ対応する音声信号の出力を制御する。状態判定部３は、聴取者１０の向きを示す聴取者方向Ｄの動きが静止状態になったかを判定する。出力制御部４は、聴取者１０から見て聴取者方向Ｄが中心になるように設定された聴取範囲３０に含まれる仮想音源に対応する音声信号の音量を、聴取範囲３０に含まれない仮想音源に対応する音声信号の音量より相対的に大きくするように制御する。そして、出力制御部４は、静止状態になったと判定されたとき、聴取範囲３０を縮小する。
【選択図】図１

Description

本発明は、音声処理装置、音声処理方法および音声処理プログラムに関する。

聴取者の周囲に多数の音源が存在する状況では、聴取者は、それらの音源のうち所望の音源からの音声を聞き分けることは難しい。そこで、聴取者にヘッドフォンを装着させ、複数の音源のうち選択された音源に対応する音声を、ヘッドフォンを通じて聴取者に提供することが考えられている。

例えば、聴取者の周囲に複数の仮想音源を配置し、聴取者の頭部の前面を特定の音源に向け、聴取者がうなずくなどの所定の動作を行うことにより、特定の音源からの音声を選択する技術がある。また、聴取者が向いている方向に配置された仮想音源の音量を大きくするように制御する技術もある。さらに、聴取者の向きに応じて音像の定位を変化させる技術もある。

特開平９−９０９６３号公報 特開２００８−９２１９３号公報 特開２００３−１１１１９７号公報

しかしながら、複数の仮想音源の中から所望の音源を選択するために、聴取者がうなずくなどの特定の動作を行う方法では、操作が煩雑であり、聴取者が自然な動作で所望の音源からの音声を聞くことができないという問題があった。

１つの側面では、本発明は、聴取者が自然な動作で所望の音源に対応する音声を聞き分けることが可能な音声処理装置、音声処理方法および音声処理プログラムを提供することを目的とする。

１つの案では、聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御する音声処理装置が提供される。この音声処理装置は、状態判定部と出力制御部とを有する。状態判定部は、聴取者の向きを示す聴取者方向の動きが静止状態になったかを判定する。出力制御部は、聴取者から見て聴取者方向が中心になるように設定された聴取範囲に含まれる仮想音源に対応する音声信号の音量を、聴取範囲に含まれない仮想音源に対応する音声信号の音量より相対的に大きくするように制御する。また、出力制御部は、静止状態になったと判定されたとき、聴取範囲を縮小する。

また、１つの案では、上記の音声処理装置と同様の処理が実行される音声処理方法が提供される。
さらに、１つの案では、上記の音声処理装置と同様の処理をコンピュータに実行させる音声処理プログラムが提供される。

１態様によれば、聴取者が自然な動作で所望の音源に対応する音声を聞き分けることができる。

第１の実施の形態に係る音声処理装置の構成例およびその動作例を示す図である。 第２の実施の形態に係る音声提供システムのシステム構成例を示す図である。 展示会場における各機器の配置例を示す図である。 音声処理装置のハードウェア構成例を示す図である。 ユーザ端末のハードウェア構成例を示す図である。 ユーザ端末および音声処理装置が備える処理機能の構成例を示すブロック図である。 仮想空間における音源の配置例を示す図である。 音源管理テーブルに登録される情報の例を示す図である。 注視状態の判定方法の例について説明するための図である。 聴取範囲について説明するための図である。 二次元の仮想空間における聴取範囲の変化について説明するための図である。 三次元の仮想空間における聴取範囲の変化について説明するための図である。 聴取範囲を変化させる方法の第１の例を示す図である。 聴取範囲を変化させる方法の第２の例を示す図である。 聴取範囲の角度が最小値になる前に注視状態が解消された場合の制御例を示す図である。 聴取範囲の角度が最大値になる前に再度注視状態になった場合の制御例を示す図である。 聴取範囲に含まれる各音源の音量制御の例を示す図である。 ユーザ管理テーブルに登録される情報の例を示す図である。 注視判定部の処理手順の例を示すフローチャートである。 聴取範囲制御部および音声出力処理部の処理手順の例を示すフローチャートである。 聴取範囲制御部および音声出力処理部の処理手順の例を示すフローチャートである。 注視状態にあるユーザが展示物に近づいたときの様子を示す図である。 展示物管理テーブルに登録される情報の例を示す図である。 聴取範囲制御部および音声出力処理部の処理手順の変形例を示すフローチャートである。 第３の実施の形態に係る音声提供システムの構成例を示す図である。 第３の実施の形態におけるユーザ端末および音声処理装置の処理機能の例を示すブロック図である。 第４の実施の形態に係る音声提供システムの構成例を示す図である。

以下、本発明の実施の形態を図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る音声処理装置の構成例およびその動作例を示す図である。

図１に示す音声処理装置１は、聴取者１０の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御するものである。各仮想音源の位置は、例えば、音源位置情報２に任意に登録されて、音声処理装置１の記憶装置に保持される。また、仮想音源に対応する音声信号は、例えば、あらかじめ記憶装置に用意されたものか、あるいは、マイクロフォンによって収音されて音声処理装置１に入力されるものである。後者の例としては、聴取者１０の周囲に実際に存在する人間が発する音声を、マイクロフォンによって収音することで得られた音声信号などがある。

この音声処理装置１は、状態判定部３および出力制御部４を備える。
状態判定部３は、聴取者１０の向きを示す聴取者方向Ｄの動きを監視し、聴取者方向Ｄの動きが静止状態になったかを判定する。例えば、聴取者１０の身体に方向センサを装着しておき、状態判定部３は、方向センサによる検出結果を基に聴取者方向Ｄの動きを監視する。なお、聴取者方向Ｄは、聴取者１０の顔が向いている方向、あるいは聴取者１０の視線の方向であることが望ましい。

また、上記の静止状態とは、聴取者１０の向きが変化しなくなったと判断される状態である。状態判定部３は、例えば、聴取者方向Ｄの変動量が所定時間だけ所定の変動幅に収まっている場合に、静止状態になったと判定する。

出力制御部４は、複数の仮想音源に対応する音声信号の出力音量を制御する。ここでは例として、出力制御部４は、各仮想音源に対応する音声信号を合成して所定チャネル数の合成音声信号を生成するものとする。合成音声信号は、例えば、聴取者１０が装着しているヘッドフォンやイヤフォンに出力されて、合成音声信号に基づく合成音声が聴取者１０に聴取される。あるいは、合成音声信号に基づく合成音声は、聴取者１０の周囲に配置された３つ以上のスピーカから出力される。

なお、他の例として、各仮想音源に対応する音声信号に基づく音声が、聴取者１０の周囲に仮想音源ごとに配置されたスピーカから出力されるようにしてもよい。
出力制御部４は、聴取者１０から見て聴取者方向Ｄが中心になるような聴取範囲３０を設定する。そして、出力制御部４は、設定した聴取範囲３０に含まれる仮想音源に対応する音声信号の音量を、聴取範囲３０に含まれない仮想音源に対応する音声信号の音量より相対的に大きくするように制御する。このような制御により、聴取者１０には、複数の音源のうち、聴取範囲３０に含まれる音源に対応する音声が強調して聞こえるようになる。

出力制御部４は、状態判定部３によって聴取者方向Ｄの動きが静止状態になったと判定されたとき、聴取範囲３０を縮小する。以下、図１の下側を参照して、静止状態になったと判定される前後の動作の例について説明する。

図１の下側では、聴取者１０の周囲には５つの仮想音源２１〜２５が配置されている。なお、出力制御部４によって設定される聴取範囲３０を、斜線のハッチングによって示す。

状態判定部３が静止状態になったと判定する前の状態では、出力制御部４は、図１の左下に示すように聴取範囲３０を設定する。この状態では、聴取範囲３０には仮想音源２１〜２５が含まれており、聴取者１０には、仮想音源２１〜２５のそれぞれに対応する音声が均等に聞こえる。このため、聴取者１０は、仮想音源２１〜２５のそれぞれに対応する音声を聞き分けることが難しい。図１の左下の状態は、聴取者１０の向きが一定方向に定まっていない状態であり、聴取者１０は仮想音源２１〜２５のうちのどの音源に対応する音声を聞くかを特定していない状態と考えることができる。

一方、状態判定部３が静止状態になったと判定すると、出力制御部４は、図１の右下に示すように、聴取範囲３０を縮小する。この状態では、聴取者方向Ｄに最も近い仮想音源２３が聴取範囲３０に含まれているが、仮想音源２１，２２，２４，２５は聴取範囲３０に含まれていない。このため、出力制御部４は、仮想音源２３に対応する音声信号の音量を、他の仮想音源２１，２２，２４，２５に対応する音声信号の音量よりも相対的に大きくする。これにより、聴取者１０は、仮想音源２３に対応する音声を聞き取りやすくなる。

上記のような制御により、聴取者１０は、所望の仮想音源の方向に向いて静止するだけで、特別な入力操作を意識的に行うことなく、その仮想音源に対応する音声を容易に聞き分けることができる。所望の仮想音源の方向に向いて静止するという動作は、複数の音源が存在する状況下で所望の音源に対応する音声を聞き取ろうとする際に、聴取者１０が無意識に行う動作である。このため、上記の制御により、聴取者１０は、自然な動作で所望の仮想音源に対応する音声を聞き取ることができるようになる。

〔第２の実施の形態〕
次に、第２の実施の形態として、展示会場において入場者に音声情報を提供するための音声提供システムについて説明する。まず、図２は、第２の実施の形態に係る音声提供システムのシステム構成例を示す図である。

音声提供システム１００は、展示会場に入場したユーザに音声情報を提供するための制御処理を行う音声処理装置２００を備える。音声処理装置２００には、複数のマイクロフォンによって収音された音声信号が入力される。マイクロフォンの数は任意であり、図２では例として、音声処理装置２００には４つのマイクロフォン３０１ａ〜３０１ｄのそれぞれから音声信号が入力される。各マイクロフォンは、展示物について説明する説明者が発する音声を収音するものである。

なお、各マイクロフォンから音声処理装置２００への音声信号の送信方法としては、種々の方法を用いることができる。例えば、各マイクロフォンによって収音された音声信号は、デジタル音声信号に変換された後、有線または無線によって音声処理装置２００に送信される。あるいは、各マイクロフォンによって収音された音声信号は、アナログ信号のまま音声処理装置２００に入力されて、音声処理装置２００内でデジタル化されてもよい。

また、音声処理装置２００には、無線信号を送受信するための複数のアクセスポイント１１０ａ〜１１０ｄが、ネットワーク１２０を介して接続されている。ネットワーク１２０は、例えばＬＡＮ（Local Area Network）である。この場合、アクセスポイント１１０ａ〜１１０ｄは、無線ＬＡＮアクセスポイントである。

一方、展示会場に入場したユーザは、ユーザ端末４００およびヘッドフォン５００を携帯する。ユーザ端末４００は、アクセスポイント１１０ａ〜１１０ｄとの間で無線通信することが可能になっている。また、ヘッドフォン５００は、ユーザ端末４００から出力されたアナログ音声信号を再生出力するドライバユニット（図示せず）を備える。

音声処理装置２００は、各マイクロフォンによって収音された音声信号を合成し、合成された音声信号を、アクセスポイント１１０ａ〜１１０ｄの少なくとも１つを通じて、ユーザ端末４００に送信する。ユーザ端末４００は、音声処理装置２００から受信した音声信号をアナログ変換し、変換したアナログ音声信号をヘッドフォン５００のドライバユニットに出力する。

また、音声処理装置２００は、展示会場におけるユーザ端末４００の位置を検出する機能を備える。本実施の形態では例として、音声処理装置２００は、ユーザ端末４００から送信された信号を、アクセスポイント１１０ａ〜１１０ｄから受信し、これらの受信信号に基づいてユーザ端末４００の位置を検出する。例えば、音声処理装置２００は、ユーザ端末４００から送信された信号をアクセスポイント１１０ａ〜１１０ｄを通じて受信し、それぞれのアクセスポイントにおける信号の受信時刻の差、あるいは受信電波強度の差に基づいて、三角法を用いてユーザ端末４００の位置を検出する。この方法が用いられる場合、位置検出に使用されるアクセスポイントは、少なくとも３つ設置される。

さらに、ヘッドフォン５００には、ユーザが向いている方向を検出するための方向センサ５１０が搭載されている。以下、方向センサ５１０によって検出される方向を「視線方向」と呼ぶ。

方向センサ５１０は、例えば、加速度センサ、ジャイロセンサおよび地磁気センサを備える。ユーザ端末４００は、方向センサ５１０による検出結果を基にユーザの視線方向を演算し、算出された視線方向を、アクセスポイント１１０ａ〜１１０ｄの少なくとも１つを通じて音声処理装置２００に送信する。

なお、方向センサ５１０は、ヘッドフォン５００とは別の位置に設けられてもよく、また、頭部以外の位置に設けられてもよい。ただし、方向センサ５１０の目的は、ユーザがどこを見ているかを検出することである。このため、方向センサ５１０は、ユーザの頭部に設けられることが望ましい。また、方向センサ５１０によって検出される方向は、水平面に沿った２次元方向であっても、あるいは鉛直方向を含めた３次元方向であってもよい。

図３は、展示会場における各機器の配置例を示す図である。
展示会場においては、例えば、展示物３１０ａ〜３１０ｃが展示されている。展示物３１０ａの前には説明者３０２ａが立ち、説明者３０２ａは展示物３１０ａの説明を行う。同様に、展示物３１０ｂの前には説明者３０２ｂが立ち、展示物３１０ｃの前には説明者３０２ｃが立っている。説明者３０２ａ〜３０２ｃは、それぞれマイクロフォン３０１ａ〜３０１ｃを持っている。そして、説明者３０２ａ〜３０２ｃがそれぞれ発する音声は、マイクロフォン３０１ａ〜３０１ｃによって収音され、収音された音声信号は音声処理装置２００に送信される。

音声処理装置２００は、受信した音声信号を合成し、合成した音声信号を、アクセスポイント１１０ａ〜１１０ｄを通じて、ユーザ４０１が携帯するユーザ端末４００に送信する。ユーザ４０１は、説明者３０２ａ〜３０２ｃに近づくことで説明者３０２ａ〜３０２ｃの声を直接聞くこともできるが、基本的には、説明者３０２ａ〜３０２ｃの声を、ヘッドフォン５００を介して聞く。

なお、展示会場に複数のユーザ４０１が入場した場合には、ユーザ４０１のそれぞれがユーザ端末４００およびヘッドフォン５００を携帯する。
ところで、展示会場に多くの展示物が展示され、展示物ごとに説明者が存在する場合、展示会場内には多くの音声が飛び交うことになる。展示会場に入場したユーザ４０１は、これら多くの音声から所望の展示物に対応する音声を聞き分ける必要があるが、例えば、所望の展示物の方向に視線を向けるだけでは、その展示物に対応する音声を聞くことは難しい。

そこで、音声処理装置２００は、ユーザ端末４００からユーザ４０１の視線方向を随時取得し、ユーザ４０１の視線方向の動きが静止したかを判断する。以下、ユーザ４０１の視線方向の動きが静止したと判断される状態を「注視状態」と呼ぶ。音声処理装置２００は、ユーザ４０１が注視状態になったと判断すると、ユーザ４０１の視線方向に存在する展示物に対応する音声が強調されて聞き取りやすくなるように、各マイクロフォンからの音声の合成バランスを調整して、調整後の合成音声信号をユーザ端末４００に送信する。

また、音声処理装置２００は、ユーザ４０１が注視状態になったと判断したとき、ユーザ４０１の視線方向に存在する展示物に対応する音声を急激に強調するのではなく、緩やかに強調するように制御する。これにより、ユーザ４０１が自然な感覚で所望の音声を聞き取ることができるようにする。

図４は、音声処理装置のハードウェア構成例を示す図である。
音声処理装置２００は、図４に示すようなコンピュータとして実現することができる。音声処理装置２００は、ＣＰＵ（Central Processing Unit）２０１によって装置全体が制御されている。ＣＰＵ２０１には、バス２０９を介して、ＲＡＭ（Random Access Memory）２０２と複数の周辺機器が接続されている。

ＲＡＭ２０２は、音声処理装置２００の主記憶装置として使用される。ＲＡＭ２０２には、ＣＰＵ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、ＣＰＵ２０１による処理に必要な各種データが格納される。

バス２０９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）２０３、グラフィックインタフェース２０４、入力インタフェース２０５、光学ドライブ装置２０６、ネットワークインタフェース２０７および通信インタフェース２０８がある。

ＨＤＤ２０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ２０３は、音声処理装置２００の二次記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの他の種類の不揮発性記憶装置を使用することもできる。

グラフィックインタフェース２０４には、モニタ２０４ａが接続されている。グラフィックインタフェース２０４は、ＣＰＵ２０１からの命令に従って、画像をモニタ２０４ａに表示させる。なお、モニタ２０４ａは、例えば、液晶ディスプレイである。

入力インタフェース２０５には、キーボード２０５ａ、マウス２０５ｂなどの入力装置接続されている。入力インタフェース２０５は、入力装置からの出力信号をＣＰＵ２０１に送信する。

光学ドライブ装置２０６は、レーザ光などを利用して、光ディスク２０６ａに記録されたデータの読み取りを行う。光ディスク２０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。

ネットワークインタフェース２０７は、ネットワーク１２０を通じて他の装置との間でデータを送受信する。通信インタフェース２０８は、各マイクロフォンによって収音されたデジタル音声信号を受信する。

図５は、ユーザ端末のハードウェア構成例を示す図である。
ユーザ端末４００は、図５に示すような情報端末装置として実現することができる。ユーザ端末４００は、ＣＰＵ４１１によって装置全体が制御されている。ＣＰＵ４１１には、バス４１９を介して、ＲＡＭ４１２と複数の周辺機器が接続されている。

ＲＡＭ４１２は、ユーザ端末４００の主記憶装置として使用される。ＲＡＭ４１２には、ＣＰＵ４１１に実行させるＯＳプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ４１２には、ＣＰＵ４１１による処理に必要な各種データが格納される。

バス４１９に接続されている周辺機器としては、フラッシュメモリ４１３、表示装置４１４、入力装置４１５、無線インタフェース４１６、通信インタフェース４１７およびオーディオインタフェース４１８がある。

フラッシュメモリ４１３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。フラッシュメモリ４１３は、ユーザ端末４００の二次記憶装置として使用される。フラッシュメモリ４１３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、ＨＤＤなどの他の種類の不揮発性記憶装置を使用することもできる。

表示装置４１４は、例えば液晶ディスプレイなどを含み、ＣＰＵ４１１からの命令に従って画像を表示する。入力装置４１５は、例えば、表示装置４１４の表示面に設置されたタッチパネルや、所定の操作キーなどを含む。入力装置４１５に対する操作に応じた信号がＣＰＵ４１１に送信される。

無線インタフェース４１６は、アクセスポイント１１０ａ〜１１０ｄとの間で無線通信する。通信インタフェース４１７は、方向センサ５１０による検出結果を受信する。オーディオインタフェース４１８は、ＣＰＵ４１１から送信されたデジタル音声信号をアナログ音声信号に変換し、アナログ音声信号を増幅してヘッドフォン５００に出力する。

図６は、ユーザ端末および音声処理装置が備える処理機能の構成例を示すブロック図である。
ユーザ端末４００は、視線方向検出部４２１および再生処理部４２２を有する。これらの各処理ブロックは、例えば、ユーザ端末４００のＣＰＵ４１１（図５参照）が所定のプログラムを実行することで実現される。

視線方向検出部４２１は、方向センサ５１０による検出結果を基に、ユーザ４０１の視線方向ρｔを演算する。視線方向検出部４２１は、算出した視線方向ρｔを音声処理装置２００に送信する。なお、視線方向ρｔは、例えば、ｘ軸、ｙ軸、ｚ軸のそれぞれの回りの回転角度（Ｒｔ，Ｐｔ，Ｙｔ）で表される。あるいは、視線方向ρｔは、例えば、ベクトルとして表されてもよい。

再生処理部４２２は、例えば、音声処理装置２００から受信した音声信号を所定の符号化方式に従って復号化し、オーディオインタフェース４１８（図５参照）に供給する。また、再生処理部４２２は、例えば、受信した音声信号に対して、擬似的な３Ｄ効果を与える処理などを施してもよい。

一方、音声処理装置２００は、ユーザ位置検出部２１１、音声入力部２１２、計時部２１３、注視判定部２１４、聴取範囲制御部２１５および音声出力処理部２１６を有する。これらの各処理ブロックの処理は、例えば、音声処理装置２００のＣＰＵ２０１（図４参照）が所定のプログラムを実行することで実現される。

また、音声処理装置２００の記憶装置には、音源管理テーブル２２０およびユーザ管理テーブル２３０が格納される。音源管理テーブル２２０には、各展示物に対応する音声に関する情報が登録される。また、ユーザ管理テーブル２３０には、各ユーザ４０１に関する情報が登録される。音源管理テーブル２２０およびユーザ管理テーブル２３０は、例えば、音声処理装置２００のＲＡＭ２０２（図４参照）に展開されて、音声処理装置の処理ブロックから読み書きされる。

ユーザ位置検出部２１１は、ユーザ端末４００から送信された信号をアクセスポイント１１０ａ〜１１０ｄを通じて受信し、これらの受信信号を基にユーザ端末４００の位置を検出する。ユーザ位置検出部２１１は、検出したユーザ端末４００の位置を、ユーザ位置Ｑｔとして、検出対象のユーザに対応するユーザ管理テーブル２３０に随時登録する。

音声入力部２１２は、複数の説明者がそれぞれ備えるマイクロフォンによって収音された音声信号を、音源として受信し、受信した音声信号を音声出力処理部２１６に供給する。

音源管理テーブル２２０には、音声入力部２１２が受信する各音源についての情報が登録される。後述するように、各音源は、展示会場に対応する仮想空間上の任意の位置に配置され、音源管理テーブル２２０には、仮想空間における各音源の位置情報などが登録される。

計時部２１３は、現在の時刻を注視判定部２１４および聴取範囲制御部２１５に供給する。計時部２１３からの時刻は、各種の経過時間を求める際に利用される。
注視判定部２１４は、ユーザ端末４００から受信した視線方向ρｔに基づいて、ユーザ４０１が注視状態にあるか否かを判定する。前述のように、注視状態とは、視線方向ρｔの動きが静止したと判断される状態である。注視判定部２１４は、注視状態にあるかの判定結果を聴取範囲制御部２１５に通知する。また、注視判定部２１４は、ユーザ端末４００から受信した視線方向ρｔを、検出対象のユーザ４０１に対応するユーザ管理テーブル２３０に随時登録する。

聴取範囲制御部２１５は、上記の仮想空間においてユーザ４０１ごとに設定される聴取範囲の大きさを制御する。聴取範囲とは、ユーザ４０１から見て視線方向ρｔを中心とした範囲であり、後述するように、視線方向ρｔとのなす角度によって聴取範囲が決定される。そして、仮想空間上に配置された音源のうち、聴取範囲に含まれる音源に対応する音声信号の音量が、聴取範囲に含まれない音源に対応する音声信号の音量より大きくなるように制御される。本実施の形態では例として、仮想空間上に配置された音源のうち、聴取範囲に含まれる音源からの音声のみがユーザ４０１に提供され、聴取範囲に含まれない音源からの音声はユーザ４０１に聞こえないように制御される。

聴取範囲制御部２１５は、注視判定部２１４によってユーザ４０１が注視状態にあると判定されると、聴取範囲を所定の最小の大きさになるまで徐々に狭めていく。このような制御により、聴取範囲制御部２１５は、ユーザ端末４００に送信される音声において、ユーザ４０１が向いている方向に配置された音源からの音声が徐々に聞き取りやすくなるようにする。

音声出力処理部２１６は、音声入力部２１２から入力される音声信号のうち、聴取範囲制御部２１５によって設定された聴取範囲に含まれる音源についての音声信号を選択して合成し、左右１チャネルずつの合成音声信号を生成する。音声出力処理部２１６は、生成した合成音声信号を、ユーザ端末４００に対して送信する。

次に、図７は、仮想空間における音源の配置例を示す図である。
仮想空間３２０は、ユーザ４０１や展示物３１０ａ〜３１０ｊが存在する展示会場を二次元または三次元の座標系によって表した空間である。図７では、仮想空間３２０をｘ軸、ｙ軸、ｚ軸による三次元座標系によって表した例を示している。ユーザ位置Ｑｔは、座標（Ｘｔ，Ｙｔ，Ｚｔ）によって表される。また、ユーザ４０１の視線方向ρｔは、例えば、各軸の回りの回転角度を用いて（Ｒｔ，Ｐｔ，Ｙｔ）と表される。

音源Ｐ１〜Ｐ１０は、展示物３１０ａ〜３１０ｊのそれぞれを説明する説明者の音声を収音した音声信号に対応する。そして、音源Ｐ１〜Ｐ１０は、仮想空間３２０における展示物３１０ａ〜３１０ｊのそれぞれの位置に配置される。例えば、音源Ｐ１は、展示物３１０ａを説明する説明者の音声信号に対応し、音源Ｐ２は、展示物３１０ｂを説明する説明者の音声信号に対応する。そして、音源Ｐ１は、展示物３１０ａの位置に仮想的に配置され、音源Ｐ２は、展示物３１０ｂの位置に仮想的に配置される。なお、音源の位置は、例えば、対応する展示物の中心など、対応する展示物を代表する位置に配置される。

仮想空間３２０における音源Ｐ１〜Ｐ１０のそれぞれの位置は、音源管理テーブル２２０に設定される。音声処理装置２００の管理者は、音声処理装置２００への入力操作により、各音源の位置を任意に設定することができる。

なお、図７では、仮想空間３２０における音源Ｐｎ（ｎは１以上の整数）の位置を示す座標を（Ｘｎ，Ｙｎ，Ｚｎ）と表記している。
また、本実施の形態では、展示物の説明者が発する音声を音源とするが、音源は、例えば、あらかじめ記憶装置に格納された音声信号に基づく再生音声であってもよい。この場合、例えば、音声処理装置２００のＨＤＤ２０３に、音源として使用する音声信号が格納され、音声入力部２１２は、ＨＤＤ２０３から読み出した音声信号を音声出力処理部２１６に供給する。

図８は、音源管理テーブルに登録される情報の例を示す図である。
音源管理テーブル２２０には、仮想空間に配置された音源ごとに、各音源を一意に識別するための音源ＩＤと、仮想空間において音源が配置された位置を示す音源座標とが、対応付けて登録されている。音声処理装置２００の管理者は、音源管理テーブル２２０に対して新たな音源の情報を追加する、音源座標を変更する、音源管理テーブル２２０から音源の情報を削除する、といった操作を行うことができる。

なお、図８では例として、音源ＩＤが示す音源に対応付けられた展示物を一意に識別するための展示物ＩＤが登録されている。音声処理装置２００の管理者は、例えば、１つの展示物に対して複数の音源を対応付ける、あるいは、複数の展示物に対して１つの音源を対応付けることも可能である。

次に、図９は、注視状態の判定方法の例について説明するための図である。
前述のように、注視状態とは、ユーザ４０１の視線方向ρｔの動きが静止したと判断される状態である。ただし、ユーザ４０１が特定の位置を注視している状態であっても、実際にはユーザ４０１の動きが完全に静止することは少ない。この点を鑑みて、音声処理装置２００の注視判定部２１４は、視線方向ρｔの値の変動量がある一定の閾値幅Ｗｔｈに所定時間だけ収まっている場合に、ユーザ４０１が注視状態になったと判定する。

図９の例では、視線方向ρｔの値（図９では角度Ｒｔ）の変動量が、時刻ｔ１から、あらかじめ決められた判定時間Ｔａが経過した時刻ｔ２までの期間において、閾値幅Ｗｔｈに収まっている。この場合、注視判定部２１４は、時刻ｔ２においてユーザ４０１が注視状態になったと判定する。また、その後の時刻ｔ３において視線方向ρｔの変動量が閾値幅Ｗｔｈから逸脱すると、注視判定部２１４は、注視状態が解消されたと判定する。

なお、ユーザ４０１が注視状態にあるか否かの判定は、実際には、視線方向ρｔを示す各軸方向の値（すなわち、Ｒｔ，Ｐｔ，Ｙｔ）の変動量が、すべて閾値幅Ｗｔｈに収まっているかによって行われる。

次に、図１０は、聴取範囲について説明するための図である。この図１０では例として、二次元の仮想空間における聴取範囲の例を示す。
聴取範囲は、ユーザ位置Ｑｔを中心として設定される。図１０のように仮想空間が二次元座標によって定義される場合、聴取範囲は、聴取範囲の境界が、水平面（ｘ−ｙ平面）においてユーザ４０１の視線方向ρｔとなす角度θｔによって定義される。ここで言う境界とは、２次元空間の場合、ユーザ位置Ｑｔから放射状に延びる２本の直線である。そして、一方の境界線と視線方向ρｔとの間の範囲と、他方の境界線と視線方向ρｔとの間の範囲とが、聴取範囲となる。

図１０（Ａ）の例では、聴取範囲は、ユーザ位置Ｑｔを中心として、視線方向ρｔから右回り方向および左回り方向に対してそれぞれθ１度の範囲を指す。聴取範囲の角度θｔの最大値は１８０度であり、本実施の形態では、聴取範囲の角度θｔの初期値は、最大値である１８０度であるものとする。また、聴取範囲の角度θｔの最小値は、０度より大きい所定の角度に設定される。

ここで、図１０に示すように、仮想空間において、ユーザ４０１の周囲の所定位置に音源Ｐ１〜Ｐ４，Ｐ９が配置されているものとする。音声処理装置２００は、ユーザ位置Ｑｔから見て聴取範囲に含まれる音源の音声信号を合成して、合成音声信号をユーザ端末４００に送信する。

図１０（Ａ）の例では、音源Ｐ１〜Ｐ４，Ｐ９が聴取範囲に含まれているので、音声処理装置２００は、音源Ｐ１〜Ｐ４，Ｐ９のそれぞれの音声信号を合成して、合成音声信号をユーザ端末４００に送信する。一方、図１０（Ｂ）の例では、聴取範囲の角度θｔは、θ１より小さいθ２に設定されており、図１０（Ａ）の場合より聴取範囲が狭められている。このとき、音源Ｐ１〜Ｐ３は聴取範囲に含まれているものの、音源Ｐ４，Ｐ９は聴取範囲に含まれていない。この状態では、音声処理装置２００は、音源Ｐ１〜Ｐ３のそれぞれの音声信号を合成して、合成音声信号をユーザ端末４００に送信する。従って、ユーザ４０１には音源Ｐ４，Ｐ９の各音声は聞こえない。

聴取範囲の角度θｔが狭められることで、ユーザ４０１には視線方向ρｔの近くに配置された音源の音声のみが聞こえるようになる。これによりユーザ４０１は、自分が向いている方向から発せられる音声を容易に聞き取ることができるようになる。

なお、音声処理装置２００は、聴取範囲に含まれる各音源の音像を、ユーザ位置Ｑｔと各音源の位置との相対関係に基づいて、視線方向ρｔを基準とした左右方向の対応する位置に定位させる。図１０の例では、音声処理装置２００は、音源Ｐ１の音声信号について、右チャネルの音量より左チャネルの音量を大きくし、音源Ｐ３の音声信号について、左チャネルの音量より右チャネルの音量を大きくする。

なお、本実施の形態では、音声処理装置２００は、聴取範囲に含まれない音源に対応する音声信号を、合成音声信号に合成しない。しかしながら、音声処理装置２００は、聴取範囲に含まれない音源に対応する音声信号についても、聴取範囲に含まれている音源に対応する音声信号より音量を低くして、合成音声信号に合成してもよい。

次に、図１１および図１２を用いて、視線方向ρｔの動きと聴取範囲の角度との関係について説明する。まず、図１１は、二次元の仮想空間における聴取範囲の変化について説明するための図である。

音声処理装置２００は、ユーザ４０１の視線方向ρｔの動きが静止していない状態（非注視状態）では、聴取範囲の角度θｔを、最大値θｍａｘ（＝１８０度）に設定する。この状態では、ユーザ４０１には、周囲に配置されたすべての音源の音声が聞こえる。そして、音声処理装置２００は、視線方向ρｔの動きが静止した「注視状態」になったと判定すると、聴取範囲の角度θｔを狭くする。このとき、音声処理装置２００は、聴取範囲の角度θｔをすぐに最小値θｍｉｎに変更するのではなく、時間経過に従って徐々に狭くしていく。図１１の例では、注視状態に遷移した後、聴取範囲の角度θｔはθｍａｘからθ１，θ２，θｍｉｎのように徐々に狭められている。

このように、ユーザ４０１が注視状態になると、聴取範囲の角度θｔが狭められていき、ユーザ４０１の周囲に配置された音源のうち、ユーザ４０１に聞こえる音源の音声の数が減っていく。そして、最終的には、ユーザ４０１が向いている方向の周囲のみの狭い範囲、すなわち角度θｍｉｎが設定された聴取範囲に含まれる音源の音声のみが、ユーザ４０１に聞こえるようになる。また、聴取範囲が徐々に狭められることで、ユーザ４０１は、自分が向いている方向から発せられる音声を自然な感覚で聞き取ることができる。

図１２は、三次元の仮想空間における聴取範囲の変化について説明するための図である。
仮想空間が三次元座標系によって定義される場合には、聴取範囲は、聴取範囲の境界が、水平方向において視線方向ρｔとなす角度θｔと、鉛直方向において視線方向ρｔとなす角度φｔとによって定義される。音声処理装置２００は、視線方向ρｔの動きが静止していない状態（非注視状態）では、聴取範囲の水平方向の角度θｔを最大値θｍａｘ（＝１８０度）に設定するとともに、聴取範囲の鉛直方向の角度φｔを最大値φｍａｘ（＝１８０度）に設定する。この状態では、ユーザ４０１には、周囲に配置されたすべての音源の音声が聞こえる。

そして、音声処理装置２００は、視線方向ρｔの動きが静止した「注視状態」になったと判定すると、聴取範囲の角度θｔ，φｔをともに徐々に狭くしていく。図１２の例では、注視状態に遷移した後、聴取範囲の水平方向の角度θｔはθｍａｘからθ１，θ２，θｍｉｎのように徐々に狭められていき、聴取範囲の鉛直方向の角度φｔはφｍａｘからφ１，φ２，φｍｉｎのように徐々に狭められていく。

次に、図１３および図１４を用いて、聴取範囲を変化させる方法の例について説明する。図１３は、聴取範囲を変化させる方法の第１の例を示す図である。
図１３の例では、時刻ｔｄから、判定時間Ｔａが経過した時刻ｔ０までの期間において、ユーザ４０１の視線方向ρｔの変動量が所定の閾値幅Ｗｔｈに収まっている。この場合、注視判定部２１４は、時刻ｔ０において、ユーザ４０１が注視状態になったと判定する。聴取範囲制御部２１５は、時刻ｔ０を起点として、次の式（１）に従って聴取範囲の角度θｔを減少させる。
θｔ＝（θｍａｘ−θｍｉｎ）／｛１＋ＥＸＰ［（（ｔｓ−ｔ０）−（Ｔｆ／２））×ａ］｝＋θｍｉｎ ・・・（１）
なお、式（１）において、ｔｓは現在時刻を示す。また、Ｔｆは、図１３に示すように、聴取範囲の角度θｔが最大値θｍａｘから最小値θｍｉｎになるまでの時間を示し、例えば、音声処理装置２００の管理者によって任意に設定可能である。また、ａは、任意に設定可能な定数であり、例えばａ＝１２／Ｔｆに設定される。

また、図１３の例では、注視判定部２１４は、ユーザ４０１が注視状態になった後、時刻ｔ０’において注視状態が解消したと判定する。聴取範囲制御部２１５は、時刻ｔ０’を起点として、次の式（２）に従って聴取範囲の角度θｔを増加させる。
θｔ＝（θｍａｘ−θｍｉｎ）／｛１＋ＥＸＰ［−（（ｔｓ−ｔ０’）−（Ｔｆ’／２））×ａ］｝＋θｍｉｎ ・・・（２）
なお、式（２）において、Ｔｆ’は、図１３に示すように、聴取範囲の角度θｔが最小値θｍｉｎから最大値θｍａｘになるまでの時間を示す。Ｔｆ’は、音声処理装置２００の管理者によって任意に設定可能であり、例えばＴｆと同じ値に設定される。

図１４は、聴取範囲を変化させる方法の第２の例を示す図である。
図１４の例でも、図１３の例と同様に、時刻ｔｄから、判定時間Ｔａが経過した時刻ｔ０までの期間において、ユーザ４０１の視線方向ρｔの変動量が所定の閾値幅Ｗｔｈに収まっている。注視判定部２１４は、時刻ｔ０において、ユーザ４０１が注視状態になったと判定する。聴取範囲制御部２１５は、時刻ｔ０を起点として、次の式（３）に従って聴取範囲の角度θｔを減少させる。
θｔ＝｛ｂ^{[(ts-t0)-Tf/2]}｝＋θｍｉｎ ・・・（３）
なお、式（３）において、ｂは任意に設定可能な定数である。

また、時刻ｔ０’において、注視判定部２１４が、注視状態が解消したと判定すると、聴取範囲制御部２１５は、時刻ｔ０’を起点として、次の式（４）に従って聴取範囲の角度θｔを増加させる。
θｔ＝｛ｃ×ｌｏｇ［（ｔｓ−ｔ０’）＋ｄ］＋θｍｉｎ ・・・（４）
なお、式（４）において、ｃ，ｄは任意に設定可能な定数である。

また、以上の図１３および図１４では聴取範囲の角度θｔについて説明したが、聴取範囲の角度φｔについても、上記の式（１）および式（２）、または、式（３）および式（４）に従って制御することができる。

図１５は、聴取範囲の角度が最小値になる前に注視状態が解消された場合の制御例を示す図である。
時刻ｔ０において、注視判定部２１４が、注視状態になったと判定すると、聴取範囲制御部２１５は、聴取範囲の角度θｔを徐々に減少させる。ところが、時刻ｔ０から時間Ｔｆが経過していない、すなわち聴取範囲の角度θｔが最小値θｍｉｎまで減少していない時刻ｔ１１において、注視判定部２１４が、注視状態が解消されたと判定したとする。この場合、聴取範囲制御部２１５は、例えば、聴取範囲の角度θｔを、最大値θｍａｘに達するまで徐々に増加させる。

図１６は、聴取範囲の角度が最大値になる前に再度注視状態になった場合の制御例を示す図である。
時刻ｔ０’において、注視判定部２１４が、注視状態が解消されたと判定すると、聴取範囲制御部２１５は、例えば、聴取範囲の角度θｔを徐々に増加させる。ところが、時刻ｔ０’から時間Ｔｆ’が経過していない、すなわち聴取範囲の角度θｔが最小値θｍａｘに達していない時刻ｔ１２において、注視判定部２１４が、再度注視状態になったと判定したとする。この場合、聴取範囲制御部２１５は、聴取範囲の角度θｔを、最小値θｍｉｎになるまで徐々に減少させる。

なお、以上の図１３〜図１６の例では、聴取範囲制御部２１５は、注視状態が解消された場合に、聴取範囲を時間経過に従って徐々に広げていくようにした。しかしながら、聴取範囲制御部２１５は、例えば、注視状態が解消された場合には、聴取範囲を即座に最大値θｍａｘに設定してもよい。あるいは、聴取範囲制御部２１５は、注視状態が解消された場合に、視線方向ρｔの変動の度合いに応じて、聴取範囲の角度θｔを増加させる速度を調整してもよい。

図１７は、聴取範囲に含まれる各音源の音量制御の例を示す図である。
音声処理装置２００の音声出力処理部２１６は、聴取範囲に含まれる複数の音源に対応する音声信号を合成する際に、例えば、ユーザ４０１から見て聴取範囲の中心に近い位置に配置された音源ほど、対応する音声信号の音量を大きくしてもよい。これにより、ユーザ４０１には、自分が向いている方向に近くにある音源ほど、大きな音で音声が聞こえるようになり、聞こえ方が自然になる。

音量の制御方法としては、例えば、次のような方法を用いることができる。
聴取範囲の角度θｔの範囲は、あらかじめ複数の範囲に区分される。そして、区分された範囲ごとに、範囲内に存在する音源に対応する音声信号に対して乗算するゲインの値が設定される。ゲインの値は、聴取範囲の中心に近いほど大きく設定される。

図１７の例では、聴取範囲の中心（角度が０度）から角度θｍａｘ（＝１８０度）までの範囲が、５つの範囲に区分されている。そして、聴取範囲の中心から角度θｍｉｎまでの範囲には、ゲイン「１」が設定される。聴取範囲の角度θｍｉｎから次の角度θ１分の範囲にはゲイン「０．８」が設定され、次の角度θ２分の範囲にはゲイン「０．６」が設定され、次のθ３分の範囲にはゲイン「０．４」が設定され、次の角度θ４分の範囲、すなわち角度θｍａｘまでの範囲にはゲイン「０．２」が設定される。

音声出力処理部２１６は、合成音声信号を生成する際に、各音源が上記の区分範囲のうちのどの範囲に存在するかを判定し、判定した範囲に対応するゲインを音源の音声信号のレベルに乗算し、ゲイン調整後の音声信号を合成する。

なお、図１７の例では、聴取範囲の角度に対して固定的にゲインを設定したが、例えば、聴取範囲の大きさの変化に応じて設定されるゲインが変化してもよい。この場合の例として、次のような制御方法を用いることができる。

聴取範囲の中心（角度が０度）から、聴取範囲制御部２１５によって現在設定されている角度θｔまでの範囲が、割合に応じて区分され、区分された範囲ごとにゲインが設定される。ただし、ユーザ４０１が所望する音源の位置はユーザ４０１の視線方向ρｔと完全に重なるとは限らないため、ゲイン「１」を設定する範囲は一定の大きさに維持されることが望ましい。

そこで、例えば、聴取範囲における０度から角度θｍｉｎまでの固定的な範囲に、ゲイン「１」が設定される。そして、聴取範囲における０度から角度θｔまでの範囲のうち、角度θｍｉｎから次のθ１／θｔの範囲にはゲイン「０．８」が設定され、次のθ２／θｔの範囲にはゲイン「０．６」が設定され、次のθ３／θｔの範囲にはゲイン「０．４」が設定され、次のθ４／θｔの範囲にはゲイン「０．２」が設定される。このようにゲインを割り当てると、ユーザ４０１から見て同じ方向に配置された音源（ただし、中心からθｍｉｎの範囲に配置された音源を除く）の音量は、聴取範囲が狭くなるのに連れて徐々に小さくなる。従って、ユーザ４０１にとって自然な感覚で、所望の音源の音声が強調されるようになる。

なお、上記のような音源に対するゲイン制御方法は、例えば、注視判定部２１４によって注視状態であると判定されている期間にのみ使用されてもよい。具体的には、注視状態でないと判定されている期間では、音声出力処理部２１６は、聴取範囲に含まれるすべての音源に対応する音声信号を、同じ音量比で（すなわち、すべてにゲイン「１」を乗算して）合成する。この状態では、ユーザ４０１には聴取範囲に含まれるすべての音源に対応する音声が均等に聞こえるが、ユーザ４０１は聞き取りたい音源をまだ特定していないと考えられるので、特に不自然にはならない。

そして、注視状態になったと判定されると、音声出力処理部２１６は、上記のように、聴取範囲に含まれる音源に対応する音声信号の音量を、聴取範囲の中心に近い音源ほど大きくするように制御する。ユーザ４０１は、注視状態になった時点で、視線方向ρｔに近接する音源に対応する音声を少し聞き取りやすくなる。そして、さらに聴取範囲が徐々に縮小されることで、ユーザ４０１には、視線方向ρｔに近接する音源に対応する音声がより明瞭に聞こえるようになる。

次に、図１８は、ユーザ管理テーブルに登録される情報の例を示す図である。
ユーザ管理テーブル２３０には、ユーザ４０１ごとにレコードが登録される。各レコードには、ユーザ４０１を識別するユーザＩＤに対応付けて、ユーザ座標、視線方向、静止時間、注視フラグ、有効音源ＩＤ、聴取範囲角度および非注視時間が登録される。

ユーザ座標は、前述のユーザ位置Ｑｔを示す、仮想空間上の座標であり、ユーザ位置検出部２１１によって随時更新される。
視線方向は、前述の視線方向ρｔに対応し、ここでは例として、各軸のまわりの回転角度（Ｒｔ，Ｐｔ，Ｙｔ）で表される。視線方向は、注視判定部２１４によって随時更新される。

静止時間は、注視判定部２１４が、視線方向ρｔが閾値幅Ｗｔｈ（図９参照）に収まっていると判断している時間である。例えば、静止時間は、図９における時刻ｔ１からの経過時間であり、図１２〜図１４における時刻ｔｄからの経過時間である。静止時間は、注視判定部２１４によって設定される。また、本実施の形態では、静止時間は１秒単位で登録されるものとする。

なお、静止時間は、聴取範囲の角度θｔ，φｔを減少させる際に聴取範囲制御部２１５によって参照される。ここで、注視判定部２１４が注視状態になったと判定してからの経過時間（式（１）および式（３）における（ｔｓ−ｔ０））は、静止時間から判定時間Ｔａ（図９、図１２〜図１４参照）を減算した値となる。

注視フラグは、注視状態であるか否かを示すフラグ情報であり、注視状態であるとき「１」に設定され、注視状態でないとき「０」に設定される。注視フラグは、注視判定部２１４によって設定される。

有効音源ＩＤは、聴取範囲に含まれている音源を示す音源ＩＤであり、聴取範囲制御部２１５によって設定される。なお、聴取範囲にいずれの音源も含まれていない場合、有効音源ＩＤには「０」が設定される。

聴取範囲角度は、前述の聴取範囲の角度θｔ，φｔであり、聴取範囲制御部２１５によって設定される。
非注視時間は、注視状態が解消されてからの経過時間を示す。例えば、非注視時間は、図１３，図１４における時刻ｔ’０からの経過時間である。非注視時間は、注視判定部２１４によって設定され、聴取範囲の角度θｔ，φｔを増加させる際に聴取範囲制御部２１５によって参照される。

次に、図１９は、注視判定部の処理手順の例を示すフローチャートである。図１９の処理は、ユーザ４０１ごとに実行される。また、注視判定部２１４は、図１９の処理の開始時に、ユーザ管理テーブル２３０に対して、初期値として静止時間「０」、非注視時間「０」、注視フラグ「０」を設定する。

［ステップＳ１１］注視判定部２１４は、ユーザ端末４００から受信した視線方向ρｔの検出結果を１秒分取り込む。なお、視線方向ρｔの検出結果は、１秒間に複数回、ユーザ端末４００から送信されるものとする。また、注視判定部２１４は、視線方向ρｔの検出結果を受信するたびに、受信した値をユーザ管理テーブル２３０の視線方向の欄に登録する。

［ステップＳ１２］注視判定部２１４は、取り込んだ１秒分の視線方向ρｔの各軸についての変動量が、すべて閾値幅Ｗｔｈに収まっているかを判定する。注視判定部２１４は、変動量が閾値幅Ｗｔｈに収まっている場合には、ステップＳ１３の処理を実行する。一方、注視判定部２１４は、各軸について変動量のうち少なくとも１つが閾値幅Ｗｔｈに収まっていない場合には、ステップＳ２１の処理を実行する。

［ステップＳ１３］注視判定部２１４は、ユーザ管理テーブル２３０における静止時間の値を「１」だけインクリメントする。
［ステップＳ１４］注視判定部２１４は、ユーザ端末４００から受信した視線方向ρｔの検出結果を１秒分取り込む。なお、ステップＳ１１と同様に、注視判定部２１４は、視線方向ρｔの検出結果を受信するたびに、受信した値をユーザ管理テーブル２３０の視線方向の欄に登録する。

［ステップＳ１５］注視判定部２１４は、ステップＳ１２で「Ｙｅｓ」と判定してから現在までの期間における視線方向ρｔの各軸についての変動量が、すべて閾値幅Ｗｔｈに収まっているかを判定する。注視判定部２１４は、変動量が閾値幅Ｗｔｈに収まっている場合には、ステップＳ１６の処理を実行する。一方、注視判定部２１４は、各軸について変動量のうち少なくとも１つが閾値幅Ｗｔｈに収まっていない場合には、ステップＳ２０の処理を実行する。

［ステップＳ１６］注視判定部２１４は、ユーザ管理テーブル２３０における静止時間の値を「１」だけインクリメントする。
［ステップＳ１７］注視判定部２１４は、ステップＳ１２で「Ｙｅｓ」と判定してからの経過時間が、判定時間Ｔａに達したかを判定する。ここで言う経過時間は、ユーザ管理テーブル２３０の静止時間の欄に登録された秒数である。注視判定部２１４は、経過時間が判定時間Ｔａに達した場合には、ステップＳ１９の処理を実行する。一方、注視判定部２１４は、経過時間が判定時間Ｔａに達していない場合、ステップＳ１８の処理を実行する。

［ステップＳ１８］ステップＳ１７で「Ｎｏ」と判定された状態とは、ユーザ４０１が注視状態になっていない状態（非注視状態）である。この場合、注視判定部２１４は、ユーザ管理テーブル２３０における非注視時間の値を「１」だけインクリメントする。この後、ステップＳ１４の処理が実行される。

［ステップＳ１９］ステップＳ１７で「Ｙｅｓ」と判定された状態とは、ユーザ４０１が注視状態になったと判断される状態である。この場合、注視判定部２１４は、ユーザ管理テーブル２３０における注視フラグの値を「１」に更新するとともに、非注視時間の値を「０」にリセットする。この後、ステップＳ１４の処理が実行される。

［ステップＳ２０］ステップＳ１５で「Ｎｏ」と判定された状態とは、ユーザ４０１の向きの動きが大きくなった状態である。この場合、注視判定部２１４は、ユーザ管理テーブル２３０における静止時間の値を「０」にリセットする。また、注視判定部２１４は、ユーザ管理テーブル２３０における注視フラグの値が「１」である場合には、この値を「０」に更新する。この後、ステップＳ２１の処理が実行される。

［ステップＳ２１］注視判定部２１４は、ユーザ管理テーブル２３０における非注視時間の値を「１」だけインクリメントする。この後、ステップＳ１１の処理が実行される。
図２０，図２１は、聴取範囲制御部および音声出力処理部の処理手順の例を示すフローチャートである。図２０，図２１の処理は、ユーザ４０１ごとに実行される。また、例えば、図２０のステップＳ３１の処理が１音声フレーム分の周期で実行されるように制御される。

［ステップＳ３１］聴取範囲制御部２１５は、ユーザ管理テーブル２３０における注視フラグの値をチェックする。聴取範囲制御部２１５は、注視フラグの値が「１」の場合には、ステップＳ３２の処理を実行する。一方、聴取範囲制御部２１５は、注視フラグの値が「０」の場合には、図２１のステップＳ５１の処理を実行する。

［ステップＳ３２］聴取範囲制御部２１５は、ユーザ管理テーブル２３０における静止時間の欄に登録された値に基づき、注視判定部２１４によって注視状態になったと判定されてからの経過時間を計算する。そして、聴取範囲制御部２１５は、経過時間が時間Ｔｆ未満かを判定する。聴取範囲制御部２１５は、経過時間が時間Ｔｆ未満である場合には、ステップＳ３３の処理を実行する。一方、聴取範囲制御部２１５は、経過時間が時間Ｔｆ以上である場合には、ステップＳ３４の処理を実行する。

［ステップＳ３３］ステップＳ３２で「Ｙｅｓ」と判定される状態とは、聴取範囲の角度θｔ，φｔを徐々に減少させている途中の状態である。この場合、聴取範囲制御部２１５は、ステップＳ３２で算出した経過時間に応じて、前述の式（１）または式（３）に従って、聴取範囲の角度θｔ，φｔを計算する。聴取範囲制御部２１５は、算出した角度θｔ，φｔを、ユーザ管理テーブル２３０における聴取範囲角度の欄に登録する。

［ステップＳ３４］聴取範囲制御部２１５は、聴取範囲の角度θｔ，φｔを所定の最小値に決定し、決定した値をユーザ管理テーブル２３０における聴取範囲角度の欄に登録する。

［ステップＳ３５］聴取範囲制御部２１５は、ユーザ管理テーブル２３０におけるユーザ座標、視線方向および聴取範囲角度の各欄の値と、音源管理テーブル２２０に登録された各音源の位置情報とに基づき、聴取範囲角度の値によって設定される聴取範囲に含まれる音源をチェックする。

［ステップＳ３６］聴取範囲制御部２１５は、聴取範囲に音源が１つ以上含まれているかを判定する。聴取範囲制御部２１５は、聴取範囲に音源が１つ以上含まれている場合には、ステップＳ３８の処理を実行する。一方、聴取範囲制御部２１５は、聴取範囲に音源が１つも含まれていない場合には、ステップＳ３７の処理を実行する。

［ステップＳ３７］聴取範囲制御部２１５は、ユーザ管理テーブル２３０における聴取範囲角度の欄に登録された角度θｔ，φｔを、それぞれ１段階大きくして補正する。この後、ステップＳ３５の処理が実行される。

［ステップＳ３８］聴取範囲制御部２１５は、聴取範囲に含まれている音源の音源ＩＤを、ユーザ管理テーブル２３０における有効音源ＩＤの欄に登録する。
［ステップＳ３９］音声出力処理部２１６は、ユーザ管理テーブル２３０におけるユーザ座標、視線方向および聴取範囲角度の各欄の値と、音源管理テーブル２２０に登録された各音源の位置情報とに基づき、ユーザ管理テーブル２３０における有効音源ＩＤの欄に登録された各音源について、合成音声信号に合成する際のゲインを決定する。

例えば、音声出力処理部２１６は、図１７で説明した処理手順に従って、聴取範囲の中心に近い音源ほど、対応する音声信号のゲインを大きく設定する。また、音声出力処理部２１６は、ユーザ位置Ｑｔと音源の位置とを結ぶ直線と、視線方向ρｔとのなす角度、および、聴取範囲の中心に対して音源が左右どちらに配置されているかに応じて、左チャネルおよび右チャネルのそれぞれにおける音量バランスを調整して、音源の音像を左右方向のいずれかの位置に定位させる。

［ステップＳ４０］音声出力処理部２１６は、ステップＳ３９で決定したゲインを適用して、合成音声信号を生成し、ユーザ端末４００に送信する。この後、ステップＳ３１に戻る。

［ステップＳ５１］聴取範囲制御部２１５は、ユーザ管理テーブル２３０における非注視時間の欄に登録された値に基づき、注視判定部２１４によって注視状態が解消されたと判定されてからの経過時間を計算する。そして、聴取範囲制御部２１５は、経過時間が時間Ｔｆ’未満かを判定する。聴取範囲制御部２１５は、経過時間が時間Ｔｆ’未満である場合には、ステップＳ５２の処理を実行する。一方、聴取範囲制御部２１５は、経過時間が時間Ｔｆ’以上である場合には、ステップＳ５３の処理を実行する。

［ステップＳ５２］ステップＳ５１で「Ｙｅｓ」と判定される状態とは、聴取範囲の角度θｔ，φｔを徐々に増加させている途中の状態である。この場合、聴取範囲制御部２１５は、ステップＳ５１で算出した経過時間に応じて、前述の式（２）または式（４）に従って、聴取範囲の角度θｔ，φｔを計算する。聴取範囲制御部２１５は、算出した角度θｔ，φｔを、ユーザ管理テーブル２３０における聴取範囲角度の欄に登録する。

［ステップＳ５３］聴取範囲制御部２１５は、聴取範囲の角度θｔ，φｔを所定の最大値に決定し、決定した値をユーザ管理テーブル２３０における聴取範囲角度の欄に登録する。

なお、聴取範囲制御部２１５は、上記のステップＳ５１の判定を行わずに、無条件でステップＳ５３の処理を実行してもよい。
［ステップＳ５４］ユーザ管理テーブル２３０におけるユーザ座標、視線方向および聴取範囲角度の各欄の値と、音源管理テーブル２２０に登録された各音源の位置情報とに基づき、聴取範囲角度の値によって設定される聴取範囲に含まれる音源をチェックする。聴取範囲制御部２１５は、聴取範囲に含まれている音源の音源ＩＤを、ユーザ管理テーブル２３０における有効音源ＩＤの欄に登録する。この後、ステップＳ３９の処理が実行される。

以上の図２０，図２１によれば、注視判定部２１４によって注視状態になったと判定されると、聴取範囲が徐々に縮小されていき、聴取範囲の中心付近の音源に対応する音声が徐々に強調されてユーザ４０１に聞こえるようになる。従って、ユーザ４０１は、自分が向いている方向に配置された音源に対応する音声を容易に聞き分けることができる。

また、上記の図２０のステップＳ３６，Ｓ３７では、聴取範囲制御部２１５は、注視状態になっているとき、聴取範囲内に必ず音源が存在するように聴取範囲の角度を調整する。ここで、図２２は、注視状態にあるユーザが展示物に近づいたときの様子を示す図である。

図２２における状態１では、ユーザ４０１は展示物３１０ａに向いた状態で注視状態になっている。ユーザ位置Ｑｔと展示物３１０ａとの距離はｄ１であり、聴取範囲の角度θｔは角度θ１である。そして、聴取範囲には、展示物３１０ａに対応する音源Ｐ１が含まれる。このためユーザ４０１は、音源Ｐ１に対応する音声を、ヘッドフォン５００を通じて聞くことができる。

ここで、状態２に示すように、注視状態が維持されたままユーザ４０１が展示物３１０ａに近づいたものとする。このとき、ユーザ位置Ｑｔと展示物３１０ａとの距離はｄ２になったとする。聴取範囲の角度θｔが角度θ１のままであった場合、状態２のように、展示物３１０ａに対応する音源Ｐ１が、聴取範囲に含まれなくなってしまう可能性がある。この場合、ユーザ４０１は、音源Ｐ１に対応する音声を聞くことができない。

上記の図２０のステップＳ３６，Ｓ３７によれば、聴取範囲を縮小したときに、聴取範囲に音源が１つも含まれなくなる場合には、音源が少なくとも１つ含まれるようになるまで聴取範囲が拡大される。このような処理により、図２２の状態２のように、ユーザ４０１が展示物３１０ａに近づくことで対応する音声を聞けなくなってしまうという事態を回避できる。

また、他の方法として、聴取範囲制御部２１５は、ユーザ位置Ｑｔと展示物との距離を検出し、距離が近くなるほど聴取範囲の角度を大きくするように補正してもよい。この方法により、例えば図２０の状態３に示すように、ユーザ位置Ｑｔと展示物３１０ａとの距離がｄ２まで近づいたときでも、聴取範囲に音源Ｐ１が含まれる可能性が高くなる。

ユーザ位置Ｑｔと展示物との距離に応じて聴取範囲の角度を補正する方法は、次のような制御によって実現可能である。音声処理装置２００の記憶装置には、次の図２３に示すような展示物管理テーブルが格納される。

図２３は、展示物管理テーブルに登録される情報の例を示す図である。
展示物管理テーブル２４０には、展示物ごとにレコードが登録され、各レコードには、展示物を識別するための展示物ＩＤに対して、展示物が配置された領域を示す情報が登録される。図２３の例では、展示物の配置領域を示す情報として、頂点数および頂点座標が登録されている。頂点数は、展示物の周縁部に存在する頂点の数を示す。頂点座標は、仮想空間における各頂点の座標を示す。

図２４は、聴取範囲制御部および音声出力処理部の処理手順の変形例を示すフローチャートである。この図２４では、図２０と同じ処理が実行される処理ステップには同じ符号を付して示しており、これらの処理ステップについての説明を省略する。

図２４に示す処理では、図２０におけるステップＳ３５〜Ｓ３７の代わりに、ステップＳ６１，Ｓ６２が実行される。
［ステップＳ６１］聴取範囲制御部２１５は、聴取範囲に含まれる音源に対応付けられた展示物との距離を計算する。具体的には、聴取範囲制御部２１５は、音源管理テーブル２２０を参照して、聴取範囲に含まれる音源に対応する展示物を特定する。聴取範囲制御部２１５は、特定した各展示物について、展示物管理テーブル２４０から頂点数および頂点座標を読み込み、各頂点とユーザ位置Ｑｔとの距離を計算する。聴取範囲制御部２１５は、特定したすべての展示物についてのすべての頂点と、ユーザ位置Ｑｔとの距離の算出結果のうち、最も小さい算出結果を、展示物との距離とする。

［ステップＳ６２］聴取範囲制御部２１５は、算出された展示物との距離に応じて、ユーザ管理テーブル２３０の聴取範囲角度に登録された角度θｔ，φｔを補正する。例えば、聴取範囲制御部２１５は、登録された角度θｔ，φｔに、展示物との距離に応じた補正係数を乗じることで補正を行う。聴取範囲制御部２１５は、例えば、展示物との距離が所定の下限値以上である場合には、補正係数を「１」とする。そして、聴取範囲制御部２１５は、展示物との距離が下限値未満である場合には、距離が短くなるほど補正係数を「１」より小さく設定する。

以上のステップＳ６１，Ｓ６２の処理により、ユーザ４０１が展示物に近づくほど聴取範囲が拡大されるため、ユーザ４０１が向かった先にある展示物に対応する音声をユーザ４０１が聞けなくなる、という事態が発生しにくくなる。

なお、以上の図２４の処理では、ユーザ位置Ｑｔと展示物との距離に応じて聴取範囲の角度を補正したが、他の例として、ユーザ位置Ｑｔと音源の位置との距離に応じて聴取範囲の角度を補正してもよい。

〔第３の実施の形態〕
図２５は、第３の実施の形態に係る音声提供システムの構成例を示す図である。なお、図２５では、図３に対応する構成要素には同じ符号を付して示し、それらの説明を省略する。以下、第３の実施の形態と第２の実施の形態との相違点について説明する。

第３の実施の形態に係る音声提供システムでは、ユーザ４０１は、ヘッドフォン５００から音声を聞く代わりに、展示会場内に設置された複数のスピーカから出力される音声を聞く。従って、ユーザ４０１はヘッドフォン５００を装着する必要はなく、方向センサ５１０とユーザ端末４００ａのみを装着する。ユーザ端末４００ａは、方向センサ５１０による検出結果を、音声処理装置２００ａに対して無線送信する。

なお、図２５では例として４つのスピーカ３３０ａ〜３３０ｄが設けられている。ユーザ４０１の左右方向および前後方向に音像を定位させるためには、スピーカは少なくとも３つ以上設けられる。

図２６は、第３の実施の形態におけるユーザ端末および音声処理装置の処理機能の例を示すブロック図である。なお、図２６では、図６に対応する構成要素には同じ符号を付して示し、それらの説明を省略する。

ユーザ端末４００ａは、視線方向検出部４２１を備えるが、図６の再生処理部４２２を備えていない。
音声処理装置２００ａは、次の点で図６の音声処理装置２００と異なる。

音声入力部２１２には、記憶装置２５０にあらかじめ格納された複数の音声信号２５１が入力される。複数の音声信号２５１は、それぞれ展示物に対応付けられた音源であり、音声入力部２１２は、音声信号２５１を記憶装置２５０から読み出して音声出力処理部２１６に供給する。記憶装置２５０は、音声処理装置２００ａの外部に設置された装置であってもよいし、あるいは記憶装置２５０の内部の装置（例えばＨＤＤ２０３）であってもよい。

また、音声出力処理部２１６は、合成音声信号を、ユーザ端末でなく、スピーカ３３０ａ〜３３０ｄに出力する。音声出力処理部２１６は、仮想空間における各音源の位置とユーザ位置Ｑｔとから、各音源に対応する音声信号２５１の出力チャネルごとの音量バランスを決定して、各音源の音像を空間上に定位させる。その上で、音声出力処理部２１６は、第２の実施の形態と同様の手順で、聴取範囲に含まれる音源に対応する音声信号２５１の音量を制御する。

以上の第３の実施の形態によれば、ユーザ４０１は、第２の実施の形態と同様に、自然な動作で所望の展示物に対応する音声を容易に聞き分けることができる。
〔第４の実施の形態〕
図２７は、第４の実施の形態に係る音声提供システムの構成例を示す図である。なお、図２７では、図２５に対応する構成要素には同じ符号を付して示し、それらの説明を省略する。以下、第４の実施の形態と第３の実施の形態との相違点について説明する。

第４の実施の形態に係る音声提供システムでは、ユーザ４０１は、展示会場内に設置された複数のスピーカから出力される音声を聞く。ただし、第４の実施の形態では、第３の実施の形態とは異なり、各スピーカは展示物に対応付けられ、対応する展示物に近接した位置に設置される。図２７の例では、スピーカ３４０ａ〜３４０ｃは、それぞれ展示物３１０ａ〜３１０ｃに近接する位置に設定されている。

音声処理装置２００ｂは、基本的には第３の実施の形態の音声処理装置２００ａと同様の処理機能を備えるが、次の点で第３の実施の形態の音声処理装置２００ａと異なる。音声処理装置２００ｂの音声出力処理部２１６は、それぞれ展示物に対応付けられたスピーカに音声信号を出力する。ここで、各展示物に音源が１つずつ対応付けられている場合、音声処理装置２００ｂの音声出力処理部２１６は、１つのスピーカへの出力チャネルに１つの音源に対応する音声信号を出力すればよく、出力チャネルごとの音量調整によって音像を定位させる必要がない。従って、音声出力処理部２１６は単に、第２の実施の形態と同様の手順で、聴取範囲に含まれる音源に対応する音声信号２５１の音量を制御すればよい。

以上の第４の実施の形態によれば、ユーザ４０１は、第２，第３の実施の形態と同様に、自然な動作で所望の展示物に対応する音声を容易に聞き分けることができる。
なお、上記の各実施の形態に示した音声処理装置の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御する音声処理装置において、
前記聴取者の向きを示す聴取者方向の動きが静止状態になったかを判定する状態判定部と、
前記聴取者から見て前記聴取者方向が中心になるように設定された聴取範囲に含まれる前記仮想音源に対応する音声信号の音量を、前記聴取範囲に含まれない前記仮想音源に対応する音声信号の音量より相対的に大きくするように制御する出力制御部であって、前記静止状態になったと判定されたとき、前記聴取範囲を縮小する出力制御部と、
を有することを特徴とする音声処理装置。

（付記２） 前記出力制御部は、前記静止状態になったと判定されたとき、前記聴取範囲を時間をかけて連続的または段階的に縮小することを特徴とする付記１記載の音声処理装置。

（付記３） 前記出力制御部は、前記静止状態になったと判定されたとき、前記聴取範囲に少なくとも１つの前記仮想音源が含まれるように前記聴取範囲を縮小することを特徴とすることを特徴とする付記１または２記載の音声処理装置。

（付記４） 前記各仮想音源の位置または前記各仮想音源に対応付けられた物体の位置と、前記聴取者の位置との距離を検出する距離検出部をさらに有し、
前記出力制御部は、前記聴取範囲を縮小する際に、前記聴取範囲に含まれる前記仮想音源の位置または当該仮想音源に対応付けられた物体の位置と、前記聴取者の位置の距離が近いほど前記聴取範囲が大きくなるように、前記聴取範囲の大きさを補正する、
ことを特徴とする付記１または２記載の音声処理装置。

（付記５） 前記出力制御部は、前記聴取範囲に含まれる前記仮想音源のうち、前記聴取者から見て前記聴取範囲の中心に近い位置に配置された前記仮想音源ほど、対応する音声信号の音量を大きくすることを特徴とする付記１〜４のいずれか１項に記載の音声処理装置。

（付記６） 前記状態判定部は、前記聴取者方向の変動量が所定時間だけ所定の変動幅に収まっている場合に、前記静止状態になったと判定することを特徴とする付記１〜５のいずれか１項に記載の音声処理装置。

（付記７） 前記出力制御部は、前記複数の仮想音源のそれぞれに対応する音声信号を合成して所定チャネル数の合成音声信号を生成し、前記合成音声信号を所定の音声出力機器に送信することを特徴とする付記１〜６のいずれか１項に記載の音声処理装置。

（付記８） 聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御する音声処理装置における音声処理方法であって、
前記聴取者から見て、前記聴取者の向きを示す聴取者方向が中心になるように設定された聴取範囲に含まれる前記仮想音源に対応する音声信号の音量を、前記聴取範囲に含まれない前記仮想音源に対応する音声信号の音量より相対的に大きくするように制御し、
前記聴取者方向の動きが静止状態になったと判定したとき、前記聴取範囲を縮小する、
ことを特徴とする音声処理方法。

（付記９） 前記静止状態になったと判定したとき、前記聴取範囲を時間をかけて連続的または段階的に縮小することを特徴とする付記８記載の音声処理方法。
（付記１０） 前記静止状態になったと判定したとき、前記聴取範囲に少なくとも１つの前記仮想音源が含まれるように前記聴取範囲を縮小することを特徴とすることを特徴とする付記８または９記載の音声処理方法。

（付記１１） 前記各仮想音源の位置または前記各仮想音源に対応付けられた物体の位置と、前記聴取者の位置との距離を検出する処理をさらに含み、
前記聴取範囲を縮小する処理では、前記聴取範囲に含まれる前記仮想音源の位置または当該仮想音源に対応付けられた物体の位置と、前記聴取者の位置の距離が近いほど前記聴取範囲が大きくなるように、前記聴取範囲の大きさを補正する、
ことを特徴とする付記８または９記載の音声処理方法。

（付記１２） 前記聴取範囲に含まれる前記仮想音源のうち、前記聴取者から見て前記聴取範囲の中心に近い位置に配置された前記仮想音源ほど、対応する音声信号の音量を大きくすることを特徴とする付記８〜１１のいずれか１項に記載の音声処理方法。

（付記１３） 前記聴取者方向の変動量が所定時間だけ所定の変動幅に収まっている場合に、前記静止状態になったと判定することを特徴とする付記８〜１２のいずれか１項に記載の音声処理方法。

（付記１４） 前記複数の仮想音源のそれぞれに対応する音声信号を合成して所定チャネル数の合成音声信号を生成し、前記合成音声信号を所定の音声出力機器に送信する処理をさらに含むことを特徴とする付記８〜１３のいずれか１項に記載の音声処理方法。

（付記１５） 聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御するための音声処理プログラムにおいて、
コンピュータに、
前記聴取者から見て、前記聴取者の向きを示す聴取者方向が中心になるように設定された聴取範囲に含まれる前記仮想音源に対応する音声信号の音量を、前記聴取範囲に含まれない前記仮想音源に対応する音声信号の音量より相対的に大きくするように制御し、
前記聴取者方向の動きが静止状態になったと判定したとき、前記聴取範囲を縮小する、
処理を実行させることを特徴とする音声処理プログラム。

（付記１６） 前記静止状態になったと判定したとき、前記聴取範囲を時間をかけて連続的または段階的に縮小することを特徴とする付記１５記載の音声処理プログラム。
（付記１７） 前記静止状態になったと判定したとき、前記聴取範囲に少なくとも１つの前記仮想音源が含まれるように前記聴取範囲を縮小することを特徴とすることを特徴とする付記１５または１６記載の音声処理プログラム。

（付記１８） 前記各仮想音源の位置または前記各仮想音源に対応付けられた物体の位置と、前記聴取者の位置との距離を検出する処理を、前記コンピュータにさらに実行させ、
前記聴取範囲を縮小する処理では、前記聴取範囲に含まれる前記仮想音源の位置または当該仮想音源に対応付けられた物体の位置と、前記聴取者の位置の距離が近いほど前記聴取範囲が大きくなるように、前記聴取範囲の大きさを補正する、
ことを特徴とする付記１５または１６記載の音声処理プログラム。

（付記１９） 前記聴取範囲に含まれる前記仮想音源のうち、前記聴取者から見て前記聴取範囲の中心に近い位置に配置された前記仮想音源ほど、対応する音声信号の音量を大きくすることを特徴とする付記１５〜１８のいずれか１項に記載の音声処理プログラム。

（付記２０） 前記聴取者方向の変動量が所定時間だけ所定の変動幅に収まっている場合に、前記静止状態になったと判定することを特徴とする付記１５〜１９のいずれか１項に記載の音声処理プログラム。

１ 音声処理装置
２ 音源位置情報
３ 状態判定部
４ 出力制御部
１０ 聴取者
２１〜２５ 仮想音源
３０ 聴取範囲

Claims (9)

1. 聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御する音声処理装置において、
   前記聴取者の向きを示す聴取者方向の動きが静止状態になったかを判定する状態判定部と、
   前記聴取者から見て前記聴取者方向が中心になるように設定された聴取範囲に含まれる前記仮想音源に対応する音声信号の音量を、前記聴取範囲に含まれない前記仮想音源に対応する音声信号の音量より相対的に大きくするように制御する出力制御部であって、前記静止状態になったと判定されたとき、前記聴取範囲を縮小する出力制御部と、
   を有することを特徴とする音声処理装置。
2. 前記出力制御部は、前記静止状態になったと判定されたとき、前記聴取範囲を時間をかけて連続的または段階的に縮小することを特徴とする請求項１記載の音声処理装置。
3. 前記出力制御部は、前記静止状態になったと判定されたとき、前記聴取範囲に少なくとも１つの前記仮想音源が含まれるように前記聴取範囲を縮小することを特徴とすることを特徴とする請求項１または２記載の音声処理装置。
4. 前記各仮想音源の位置または前記各仮想音源に対応付けられた物体の位置と、前記聴取者の位置との距離を検出する距離検出部をさらに有し、
   前記出力制御部は、前記聴取範囲を縮小する際に、前記聴取範囲に含まれる前記仮想音源の位置または当該仮想音源に対応付けられた物体の位置と、前記聴取者の位置の距離が近いほど前記聴取範囲が大きくなるように、前記聴取範囲の大きさを補正する、
   ことを特徴とする請求項１または２記載の音声処理装置。
5. 前記出力制御部は、前記聴取範囲に含まれる前記仮想音源のうち、前記聴取者から見て前記聴取範囲の中心に近い位置に配置された前記仮想音源ほど、対応する音声信号の音量を大きくすることを特徴とする請求項１〜４のいずれか１項に記載の音声処理装置。
6. 前記状態判定部は、前記聴取者方向の変動量が所定時間だけ所定の変動幅に収まっている場合に、前記静止状態になったと判定することを特徴とする請求項１〜５のいずれか１項に記載の音声処理装置。
7. 前記出力制御部は、前記複数の仮想音源のそれぞれに対応する音声信号を合成して所定チャネル数の合成音声信号を生成し、前記合成音声信号を所定の音声出力機器に送信することを特徴とする請求項１〜６のいずれか１項に記載の音声処理装置。
8. 聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御する音声処理装置における音声処理方法であって、
   前記聴取者から見て、前記聴取者の向きを示す聴取者方向が中心になるように設定された聴取範囲に含まれる前記仮想音源に対応する音声信号の音量を、前記聴取範囲に含まれない前記仮想音源に対応する音声信号の音量より相対的に大きくするように制御し、
   前記聴取者方向の動きが静止状態になったと判定したとき、前記聴取範囲を縮小する、
   ことを特徴とする音声処理方法。
9. 聴取者の周囲に仮想的に配置された複数の仮想音源にそれぞれ対応する音声信号の出力を制御するための音声処理プログラムにおいて、
   コンピュータに、
   前記聴取者から見て、前記聴取者の向きを示す聴取者方向が中心になるように設定された聴取範囲に含まれる前記仮想音源に対応する音声信号の音量を、前記聴取範囲に含まれない前記仮想音源に対応する音声信号の音量より相対的に大きくするように制御し、
   前記聴取者方向の動きが静止状態になったと判定したとき、前記聴取範囲を縮小する、
   処理を実行させることを特徴とする音声処理プログラム。

Images