JP2014140128A - 音声処理装置、音声処理方法および音声処理プログラム - Google Patents

Abstract

【課題】低負荷の処理により複数の仮想音源の音像の定位感を向上させる。
【解決手段】スピーカ配置部２は、聴取者４から見て円周７に沿った方向に隣り合う２つの仮想音源間の角度θ１，θ２，θ３，θ４を算出する。スピーカ配置部２は、円周７に沿った方向の範囲のうち、算出された角度がしきい値以上となる仮想音源同士に挟まれ、かつ聴取者４から見た当該各仮想音源の方向上の位置を含まない第１の範囲を、除く第２の範囲に、仮想スピーカ６ａ，６ｂ，６ｃを配置する。音声合成部３は、各仮想音源からの音声信号を仮想音源毎に選択される１以上の仮想スピーカに分配し、各仮想スピーカの位置に対応する頭部伝達関数を用いて左右２チャネルの音声信号を合成する。
【選択図】図１

Description

本発明は、音声処理装置、音声処理方法および音声処理プログラムに関する。

ヘッドホンやイヤホンなどの左右２チャネル出力の再生装置を用いて、聴取者の周囲の任意の位置に仮想音源の音像を定位させる技術がある。この技術では、仮想音源から出力される音声信号に、仮想音源の位置に対応する頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）を畳み込み演算することにより、音像定位が実現される。また、聴取者の周囲に複数の仮想音源を配置し、各仮想音源の音像を定位させることも可能である。

また、仮想音源に関する技術としては、次のようなものがある。例えば、演奏や音声を再生する場合、自然で躍動感や臨場感にあふれた再生を実現するために、スピーカアレイから出力される音波の波面合成により仮想音源を形成するとともに、上記仮想音源の位置をその近傍で変化させる技術が提案されている。

また、各チャネルの入力信号の重心から算出した重み係数を、仮想音像を作る信号に掛けることにより、重心位置に応じて仮想音像の定位感をより強調した高い包まれ感を得る技術が提案されている。

特開２００６−８６９２１号公報 特開２０１１−２１１３１２号公報

複数の仮想音源の音像を定位させる処理では、各仮想音源の位置に対応する頭部伝達関数を用いた畳み込み演算が仮想音源の数だけ実行される。このため、仮想音源の数が多いほど処理の負荷が大きくなるという問題がある。この点に関しては、複数の仮想音源それぞれに対応する音声信号を一定数の仮想スピーカに分配し、各仮想スピーカに対応するＨＲＴＦを用いて畳み込み演算することにより、畳み込み演算の処理量を常に仮想スピーカの数に固定できる。しかし、このように仮想スピーカを用いた方法では、仮想音源の位置とは異なる仮想スピーカの位置に対応するＨＲＴＦが用いられるため、仮想音源の音像の定位感が曖昧になる場合がある。

一側面では、低負荷の処理により複数の仮想音源の音像の定位感を向上できる音声処理装置、音声処理方法および音声処理プログラムを提供することを目的とする。

１つの案では、音声処理装置が提供される。音声処理装置は、スピーカ配置部と音声合成部を有する。スピーカ配置部は、聴取者から見て円周に沿った方向に隣り合う２つの仮想音源間の、聴取者を中心として円周に沿った方向の角度を算出する。スピーカ配置部は、聴取者を中心として円周に沿った方向の範囲のうち、算出された角度がしきい値以上となる仮想音源同士に挟まれ、かつ聴取者から見た当該各仮想音源の方向上の位置を含まない第１の範囲を、除く第２の範囲に、聴取者の周囲に配置された複数の仮想音源の数より少ない複数の仮想スピーカを配置する。音声合成部は、複数の仮想音源それぞれからの音声信号を複数の仮想スピーカのうち仮想音源毎に選択される１以上の仮想スピーカに分配する。音声合成部は、各仮想スピーカの位置に対応する頭部伝達関数を用いて、各仮想スピーカに分配された音声信号を左右２チャネルの音声信号に合成する。

また、１つの案では、上記音声処理装置によって実現される処理と同様の処理を実行する音声処理方法が提供される。
さらに、１つの案では、上記の音声処理装置と同様の処理をコンピュータに実行させる音声処理プログラムが提供される。

一側面では、低負荷の処理により複数の仮想音源の音像の定位感を向上できる。

第１の実施の形態の音声処理装置の例を示す図である。 第２の実施の形態の音声処理システムの例を示す図である。 音声処理装置のハードウェア構成例を示す図である。 ユーザ端末のハードウェア構成例を示す図である。 音声処理装置の機能例を示すブロック図である。 左右のチャネルの音声信号の生成例について示す図である。 音源と仮想スピーカとの位置関係の例を示す図である。 仮想スピーカの数が仮想音源の数以上である場合の仮想スピーカの配置方法の例を示す図である。 仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第１の図である。 仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第２の図である。 仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第３の図である。 仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第４の図である。 仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第５の図である。 ユーザ状態テーブルの例について示す図である。 音源管理テーブルの例について示す図である。 仮想スピーカ位置テーブルの例について示す図である。 配置情報の例について示す図である。 配置領域管理テーブルの例について示す図である。 仮想スピーカの配置処理の例を示すフローチャートである。 仮想スピーカの配置処理の例を示すフローチャート（続き）である。 仮想スピーカの配置の例を示す第１の図である。 仮想スピーカの配置の例を示す第２の図である。 仮想スピーカの配置の例を示す第３の図である。 仮想スピーカの配置の例を示す第４の図である。 仮想スピーカの配置の例を示す第５の図である。 配置領域に対する重みの設定方法の例を示す図である。 重みを考慮した仮想スピーカの配置の変形例を示す図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の音声処理装置の例を示す図である。音声処理装置１は、聴取者の周囲に配置された複数の仮想音源からの音声信号を左右２チャネルの音声信号に合成する。仮想音源とは、音声を表現するために聴取者の周囲の任意の位置に仮想的に配置される音源である。なお、各仮想音源の位置は、例えば、ユーザの入力操作によってあらかじめ設定される。

音声処理装置１は、スピーカ配置部２および音声合成部３を有する。スピーカ配置部２および音声合成部３の処理は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサ、あるいはＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのその他の電子回路、あるいはプロセッサと他の電子回路との組み合わせによって実現される。

スピーカ配置部２は、聴取者を中心とした所定の円周上に、仮想音源の数より少ない複数の仮想スピーカを動的に配置する。仮想スピーカとは、音場処理により実際には存在しないスピーカの配置位置から音が聞こえてくるようにするものをいう。なお、仮想スピーカも仮想音源の一種であるが、本実施の形態では、後述するように各仮想スピーカに分配される音声信号の発生源を「仮想音源」と呼び、スピーカ配置部２によって動的に配置される仮想音源を「仮想スピーカ」と呼ぶこととする。

音声合成部３は、複数の仮想音源それぞれからの音声信号を、複数の仮想スピーカのうち仮想音源毎に選択される１以上の仮想スピーカに分配する。音声合成部３は、各仮想スピーカの位置に対応するＨＲＴＦ（頭部伝達関数）を用いて、各仮想スピーカに分配された音声信号を左右２チャネルの音声信号に合成する。

この音声合成部３では、仮想スピーカ毎に、仮想スピーカに分配された音声信号と仮想スピーカの位置に対応するＨＲＴＦとを用いた畳み込み演算が行われる。これにより、仮想スピーカの位置に、この仮想スピーカに分配された音声の音像が定位される。ここで、仮想スピーカの数は仮想音源の数より少ないので、各仮想音源の位置に対応するＨＲＴＦを用いて畳み込み演算が行われる場合と比較して、演算の負荷が軽減される。また、例えば、仮想スピーカの数を仮想音源の数より少ない一定数とすることで、仮想音源の数によらず畳み込み演算の回数を一定に抑えることができる。

また、スピーカ配置部２は、次のような手順で複数の仮想スピーカを配置する。スピーカ配置部２は、聴取者から見て前述の円周に沿った方向に隣り合う２つの仮想音源間の、聴取者を中心としてこの円周に沿った方向の角度を算出する。スピーカ配置部２は、聴取者を中心としてこの円周に沿った方向の範囲から、算出された角度がしきい値以上となる仮想音源同士に挟まれ、かつこれら各仮想音源の方向上の位置を含まない第１の範囲を判別する。そして、スピーカ配置部２は、聴取者を中心として上記の円周に沿った方向の範囲のうち、第１の範囲を除く第２の範囲に上記の複数の仮想スピーカを配置し、第１の範囲には仮想スピーカを配置しない。

これにより、仮想スピーカと聴取者とを結ぶ直線と、上記の円周に沿った方向に対して仮想スピーカに隣り合う仮想音源と聴取者とを結ぶ直線との角度を減らすことができる。その結果、各仮想音源の音像の定位感を向上させることができる。

ここで、図１に示すように聴取者４の周囲に４つの仮想音源５ａ〜５ｄが配置された場合において、３つの仮想スピーカ６ａ〜６ｃを配置する例について説明する。
スピーカ配置部２は、聴取者４および仮想音源５ａ〜５ｄの各位置に基づいて、角度θ１〜θ４を算出する。なお、ここでは、スピーカ配置部２は、聴取者４を中心とした円周７に沿って右回り方向の角度を算出するものとする。角度θ１は、聴取者４および仮想音源５ａを結ぶ直線と、聴取者４および仮想音源５ｂを結ぶ直線との間の角度である。角度θ２は、聴取者４および仮想音源５ｂを結ぶ直線と、聴取者４および仮想音源５ｃを結ぶ直線との間の角度である。角度θ３は、聴取者４および仮想音源５ｃを結ぶ直線と、聴取者４および仮想音源５ｄを結ぶ直線との間の角度である。角度θ４は、聴取者４および仮想音源５ｄを結ぶ直線と、聴取者４および仮想音源５ａを結ぶ直線との間の角度である。

ここで、角度θ１，θ２，θ３は所定の角度未満であり、角度θ４は所定の角度以上であったとする。所定の角度は、例えば、３６０°を配置するスピーカの数で割った数である。

この場合、スピーカ配置部２は、円周７上において、角度θ４である角度の範囲において隣り合う仮想音源５ｄおよび仮想音源５ａに挟まれ、かつ聴取者４から見た仮想音源５ａ，５ｄの方向を含まない範囲を、前述の第１の範囲と判別する。この第１の範囲には、聴取者４と仮想音源５ａ，５ｄとをそれぞれ結ぶ線分が含まれない。スピーカ配置部２は、この第１の範囲には仮想スピーカを配置しない。一方、スピーカ配置部２は、円周７上において、第１の範囲を除く第２の範囲（すなわち、角度θ１，θ２，θ３の範囲）に仮想スピーカ６ａ，６ｂ，６ｃを配置する。この第２の範囲には、聴取者４と仮想音源５ａ，５ｄとをそれぞれ結ぶ線分が含まれる。

これにより、仮想スピーカと聴取者とを結ぶ直線と、円周７に沿った方向に対して仮想スピーカに隣り合う仮想音源と聴取者とを結ぶ直線との角度を減らすことができる。ここで、仮想音源が出力する音声信号を仮想スピーカに分配する際、仮想スピーカと聴取者とを結ぶ直線と、仮想スピーカに隣り合う仮想音源と聴取者とを結ぶ直線との角度が小さい方が、仮想音源の音像の定位感が向上する。これは、仮想音源の位置に対応する本来使用すべきＨＲＴＦと、仮想スピーカの位置に対応する実際の演算で使用されるＨＲＴＦとの誤差が小さくなるからである。よって、複数の仮想音源の音像の定位感を向上させることができる。

［第２の実施の形態］
図２は、第２の実施の形態の音声処理システムの例を示す図である。
図２に示す音声処理システムは、ユーザに音声情報を提供するための制御処理を行う音声処理装置１００を備える。音声処理装置１００には、無線信号を送受信するための複数のアクセスポイント２１ａ〜２１ｄが、ネットワーク１０を介して接続されている。ネットワーク１０は、例えばＬＡＮ（Local Area Network）である。この場合、アクセスポイント２１ａ〜２１ｄは、無線ＬＡＮアクセスポイントである。

一方、ユーザは、ユーザ端末２００およびヘッドホン１２を携帯する。ユーザ端末２００は、アクセスポイント２１ａ〜２１ｄとの間で無線通信することが可能になっている。
音声処理装置１００は、管理者などにより仮想的に配置された音源が出力する音声信号を合成し、合成された音声信号を、アクセスポイント２１ａ〜２１ｄの少なくとも１つを通じて、ユーザ端末２００に送信する。以下、「音源」とは、あらかじめユーザの周辺の環境に対応する仮想空間に配置された仮想音源を示すものとする。

また、音声処理装置１００は、ユーザ端末２００の位置を検出する機能を備える。本実施の形態では例として、音声処理装置１００は、ユーザ端末２００から送信された信号を、アクセスポイント２１ａ〜２１ｄから受信し、これらの受信信号に基づいてユーザ端末２００の位置を検出する。例えば、音声処理装置１００は、ユーザ端末２００から送信された信号をアクセスポイント２１ａ〜２１ｄを通じて受信し、それぞれのアクセスポイントにおける信号の受信時刻の差、あるいは受信電波強度の差に基づいて、三角法を用いてユーザ端末２００の位置を検出する。この方法が用いられる場合、位置検出に使用されるアクセスポイントは、少なくとも３つ設置される。

ヘッドホン１２は、アナログ音声信号を内蔵されているスピーカを用いて音波に変換する装置である。ヘッドホン１２は、ユーザ端末２００から出力されたアナログ音声信号を再生出力するドライバユニット（図示せず）を備える。また、ヘッドホン１２には、センサ１１が搭載されている。

センサ１１は、ユーザが向いている方向を検出する。以下、センサ１１によって検出される方向を“視線方向”と呼ぶ。センサ１１は、例えば、加速度センサ、ジャイロセンサおよび地磁気センサを備える。なお、センサ１１は、ヘッドホン１２とは別の位置に設けられてもよく、また、頭部以外の位置に設けられてもよい。ただし、センサ１１の目的は、ユーザがどこを見ているかを検出することである。このため、センサ１１は、ユーザの頭部に設けられることが望ましい。また、センサ１１によって検出される方向は、水平面に沿った２次元方向であっても、あるいは鉛直方向を含めた３次元方向であってもよい。

ユーザ端末２００は、音声処理装置１００から受信した音声信号をアナログ変換し、変換したアナログ音声信号をヘッドホン１２のドライバユニットに出力する。また、ユーザ端末２００は、センサ１１による検出結果を基にユーザの視線方向を演算し、算出された視線方向を、アクセスポイント２１ａ〜２１ｄの少なくとも１つを通じて音声処理装置１００に送信する。

図３は、音声処理装置のハードウェア構成例を示す図である。音声処理装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、画像信号処理部１０４、入力信号処理部１０５、ディスクドライブ１０６および通信インタフェース１０７を有する。上記ユニットは、音声処理装置１００内でバス１０８に接続されている。

プロセッサ１０１は、プログラムの命令を実行する演算器を含むプロセッサである。プロセッサ１０１は、ＨＤＤ１０３に記憶されているプログラムやデータの少なくとも一部をＲＡＭ１０２にロードしてプログラムを実行する。なお、プロセッサ１０１は複数のプロセッサコアを備えてもよい。また、音声処理装置１００は、複数のプロセッサを備えてもよい。また、音声処理装置１００は、複数のプロセッサまたは複数のプロセッサコアを用いて並列処理を行ってもよい。また、２以上のプロセッサの集合、ＦＰＧＡやＡＳＩＣなどの専用回路、２以上の専用回路の集合、プロセッサと専用回路の組み合わせなどを“プロセッサ”と呼んでもよい。

ＲＡＭ１０２は、プロセッサ１０１が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性メモリである。なお、音声処理装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個の揮発性メモリを備えてもよい。

ＨＤＤ１０３は、ＯＳ（Operating System）やファームウェアやアプリケーションソフトウェアなどのソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、音声処理装置１００は、フラッシュメモリなどの他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

画像信号処理部１０４は、プロセッサ１０１からの命令に従って、音声処理装置１００に接続されたディスプレイ１３に画像を出力する。ディスプレイ１３としては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどを用いることができる。

入力信号処理部１０５は、音声処理装置１００に接続された入力デバイス１４から入力信号を取得し、プロセッサ１０１に通知する。入力デバイス１４としては、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。

ディスクドライブ１０６は、記録媒体１５に記録されたプログラムやデータを読み取る駆動装置である。記録媒体１５として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ１０６は、プロセッサ１０１からの命令に従って、記録媒体１５から読み取ったプログラムやデータをＲＡＭ１０２またはＨＤＤ１０３に格納する。

通信インタフェース１０７は、ネットワーク１０を通じて他の装置（例えば、ユーザ端末２００）との間でデータを送受信する。通信インタフェース１０７は、受信信号の復調・復号や送信信号の符号化・変調などを行う。

なお、音声処理装置１００はディスクドライブ１０６を備えていなくてもよく、専ら他の情報処理装置からアクセスされる場合には、画像信号処理部１０４や入力信号処理部１０５を備えていなくてもよい。また、ディスプレイ１３や入力デバイス１４は、音声処理装置１００の筐体と一体に形成されていてもよい。

図４は、ユーザ端末のハードウェア構成例を示す図である。ユーザ端末２００は、プロセッサ２０１、ＲＡＭ２０２、フラッシュメモリ２０３、ディスプレイ２０４、入力部２０５、入力インタフェース２０６、出力インタフェース２０７および無線インタフェース２０８を有する。上記ユニットは、ユーザ端末２００内でバス２０９に接続されている。

プロセッサ２０１は、前述のプロセッサ１０１と同様に、プログラムの命令を実行する演算器を含むプロセッサである。ＲＡＭ２０２は、前述のＲＡＭ１０２と同様に、プロセッサ２０１が実行するプログラムやデータを一時的に記憶する揮発性メモリである。

フラッシュメモリ２０３は、ＯＳやファームウェアやアプリケーションソフトウェアなどのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、ユーザ端末２００は、ＨＤＤなどの他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

ディスプレイ２０４は、プロセッサ２０１からの命令に従って画像を表示する。ディスプレイ２０４としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどを用いることができる。

入力部２０５は、ユーザの入力操作を検出して入力信号としてプロセッサ２０１に通知する。入力操作には、タッチパネルをタッチペンなどのポインティングデバイスまたはユーザの指などで操作するタッチ操作や、複数の入力キーを押下する操作などがあり、いずれの操作を採用してもよい。

入力インタフェース２０６は、センサ１１と接続している。センサ１１は、ヘッドホン１２に固定されており、ユーザの視線方向を示す信号をデータに変換して入力インタフェース２０６へ出力するセンサデバイスである。入力インタフェース２０６との通信手段は、有線を用いてもよいし、無線を用いてもよい。入力インタフェース２０６は、センサ１１から取得した信号をプロセッサ２０１に通知する。

出力インタフェース２０７は、ヘッドホン１２に接続されており、同期フレームまたはデータフレームを含む所定チャネルの音声信号をアナログ音声信号に変換し、ヘッドホン１２に出力する。

無線インタフェース２０８は、アクセスポイント２１ａ〜２１ｄとの間で無線通信する。無線インタフェース２０８は、受信信号の復調・復号や送信信号の符号化・変調などを行う機能を有する。

図５は、音声処理装置の機能例を示すブロック図である。音声処理装置１００は、配置管理情報記憶部１１０、音源情報記憶部１２０、ＨＲＴＦ情報記憶部１３０、ユーザ情報取得部１４０、仮想スピーカ配置部１５０、音源分配部１６０および音声生成部１７０を有する。

配置管理情報記憶部１１０は、ユーザの状態、音源に関する情報、配置する仮想スピーカの位置に関する情報、仮想スピーカを配置する配置領域に関する情報など、仮想スピーカの配置を管理するための情報を一時的に記憶する。仮想スピーカとは、ユーザを中心とした所定の円周上に仮想的に配置される仮想音源である。以下、ユーザを中心とした所定の円周上を“所定の円周”と記載する場合がある。

音源情報記憶部１２０は、あらかじめユーザの周辺に仮想的に配置された各音源に関する情報が登録される。音源に関する情報は、各音源を識別する音源ＩＤ（Identity）、各音源の位置情報および各音源から出力される音声信号を含む。各音源に関する情報は、例えば、管理者などによる音声処理装置１００への入力操作により任意に設定することができる。

なお、上記の「仮想スピーカ」および「音源」のいずれも、ユーザの周囲に仮想的に配置される仮想音源である。以下の説明では、音源情報記憶部１２０に位置の情報があらかじめ設定される仮想音源を単に「音源」と呼び、仮想スピーカ配置部１５０によって動的に配置される仮想音源を「仮想スピーカ」と呼ぶ。

ＨＲＴＦ情報記憶部１３０は、仮想スピーカの位置に対応する左右のＨＲＴＦの一覧情報を記憶する。ＨＲＴＦとは、任意の位置を持つ音源から出る音波と耳の鼓膜に到達する音波間の伝達関数を意味し、聴取者から見た音源の方位や高度によってその値が異なる。音声処理装置１００は、音声信号を特定方向のＨＲＴＦを用いて畳み込み演算することで、音像をその特定方向に定位させることができる。

ユーザ情報取得部１４０は、ユーザ端末２００からユーザの視線方向を示す情報を随時取得する。また、ユーザ情報取得部１４０は、ユーザ端末２００から送信された信号をアクセスポイント２１ａ〜２１ｄを通じて受信し、これらの受信信号を基にユーザ端末２００の位置を検出する。ユーザ情報取得部１４０は、取得したユーザの視線方向および検出されたユーザ端末２００の位置情報などのユーザの状態を示す情報を一時的に配置管理情報記憶部１１０に記憶する。

仮想スピーカ配置部１５０は、配置管理情報記憶部１１０に記憶されたユーザの状態を示す情報および音源情報記憶部１２０に記憶された音源の位置情報に基づいて、一定数の仮想スピーカをユーザの周囲の所定の円周上に配置する。そして、仮想スピーカ配置部１５０は、配置した仮想スピーカの情報を配置管理情報記憶部１１０に記憶する。

音源分配部１６０は、配置管理情報記憶部１１０に記憶されたユーザの状態を示す情報および仮想スピーカの位置に関する情報に基づいて、音源情報記憶部１２０に記憶されている各音源に対応する音声信号を、仮想スピーカ配置部１５０により配置された各仮想スピーカに分配する。

音声生成部１７０は、仮想スピーカ配置部１５０により配置された仮想スピーカの位置に対応する左右のＨＲＴＦを、ＨＲＴＦ情報記憶部１３０に記憶されたＨＲＴＦの一覧情報を基に取得する。そして、音声生成部１７０は、音源分配部１６０により分配された音声信号と取得された左右のＨＲＴＦとに基づいて、左右のチャネルの音声信号を生成する。また、音声生成部１７０は、生成した左右のチャネルの音声信号をユーザ端末２００へ送信する。

一方、ユーザ端末２００は、ユーザ情報提供部２１０および音声出力部２２０を有する。
ユーザ情報提供部２１０は、センサ１１による検出結果を基にユーザの視線方向を算出し、視線方向を示す情報を音声処理装置１００へ送信する。ユーザの視線方向を示す情報は、センサ１１から検出結果が出力される毎に随時送信される。音声出力部２２０は、音声処理装置１００から受信した音声信号をアナログ化し、アナログ音声信号を増幅してヘッドホン１２へ送信する。

次に、音源および仮想スピーカが配置された状態で、音源から出力される音声信号から左右のチャネルの音声信号を生成する方法について説明する。なお、これ以降の説明では、鉛直方向（ｚ軸方向）の座標については無視し、ユーザの視線方向は水平方向（ｘ軸方向およびｙ軸方向）に平行であるとともに、音源および仮想スピーカの高さ（ｚ軸方向の座標）はユーザの頭部（正確には耳）の高さと同じであると考える。

図６は、左右のチャネルの音声信号の生成例について示す図である。ユーザ３０は、本実施の形態の音声処理システムを用いて音声を聞く者である。音源３１は、あらかじめユーザ３０の周りに配置されているｍ個（ｍは、１以上の整数）の音源に含まれる音源の１つである。仮想スピーカ３２，３３は、仮想スピーカ配置部１５０が配置したｎ個（ｎは、１以上かつｍより小さい整数）の仮想スピーカに含まれる仮想スピーカである。ユーザ３０を中心とした円周３４上において、仮想スピーカ３２（Ｖ０）はユーザ３０の視線方向３５から右回転方向にθｖ０°移動させた位置に配置され、仮想スピーカ３３（Ｖ１）はユーザ３０の視線方向３５から右回転方向にθｖ１°移動させた位置に配置されている。

音源分配部１６０は、音源それぞれの音声信号を、ユーザ３０から見て円周３４に沿った方向に対して各音源に近接する１または２の仮想スピーカに分配する。例えば、音源３１から出力される音声信号は、音源分配部１６０により、仮想スピーカ配置部１５０により配置された複数の仮想スピーカのうちユーザ３０から見て円周３４に沿った方向に対して音源３１に近接する仮想スピーカ３２，３３に分配される。

なお、音源の音声信号を２つの仮想スピーカに分配する場合には、ユーザと音源と２つの仮想スピーカとの位置関係に応じて重み付けされた音声信号が、各仮想スピーカに分配される。例えば、図６の例において、ユーザ３０と音源３１とを結ぶ直線と、ユーザ３０と仮想スピーカ３２（Ｖ０）とを結ぶ直線とがなす角をθｐとし、ユーザ３０と音源３１とを結ぶ直線と、ユーザ３０と仮想スピーカ３３（Ｖ１）とを結ぶ直線とがなす角をθｑとする。この場合、音源分配部１６０は、音源３１の音声信号に、重み係数｛θｑ／（θｐ＋θｑ）｝と、ユーザ３０と音源３１との距離に応じた重み係数とを乗じた音声信号を、仮想スピーカ３２（Ｖ０）に分配する。また、音源分配部１６０は、音源３１の音声信号に、重み係数｛θｐ／（θｐ＋θｑ）｝と、ユーザ３０と音源３１との距離に応じた重み係数とを乗じた音声信号を、仮想スピーカ３３（Ｖ１）に分配する。ここで、ユーザ３０と音源３１との距離に応じた重み係数は、距離が遠くなるほど小さく設定される。

図５に示した音声生成部１７０は、図６に示すように、右チャネルの音声信号を出力するための音声生成部１７１と、左チャネルの音声信号を出力するための音声生成部１７２とを有する。

音声生成部（右）１７１は、例えば、仮想スピーカ３２（Ｖ０）に分配された音声信号と、仮想スピーカ３２が配置された位置を示すθｖ０°に対応する右チャネルのＨＲＴＦとを畳み込み演算する。同様に、音声生成部（右）１７１は、仮想スピーカ３３（Ｖ１）に分配された音声信号と、仮想スピーカ３３（Ｖ１）が配置された位置を示すθｖ１°に対応する右チャネルのＨＲＴＦとを畳み込み演算する。そして、上記のように各音源について畳み込み演算された信号を合成することで右チャネルの音声信号を生成する。

同様に、音声生成部（左）１７２は、ｎ個の各仮想スピーカに分配された音声信号と各仮想スピーカの位置に対応する左チャネルのＨＲＴＦとを用いて合成することで左チャネルの音声信号を生成する。

このように、複数の音源それぞれからの音声信号をこれらの音源の数より少ない複数の仮想スピーカに分配後に、左右のチャネルの音声信号を生成することで、畳み込み演算の処理の回数を音源の数より少なくし、音声生成部１７０の処理負荷を軽減することができる。よって、左右チャネルの音声信号を迅速に生成でき、音声出力のリアルタイム性を維持できる。

しかしながら、上記のように音源の音声信号を音源より少ない数の仮想スピーカに分配する方法においては、音源と仮想スピーカの位置が異なるため、音源と仮想スピーカそれぞれに対応するＨＲＴＦも異なる。そのため、上記のように仮想スピーカに分配された音声信号を用いて生成される音声信号は、各音源の音像の定位感が減少する場合がある。例えば、図６の音源３１の音声信号は、音源３１の位置に対応するＨＲＴＦを用いて処理されずに、音源３１とは異なる位置にある仮想スピーカ３２（Ｖ０）および仮想スピーカ３３（Ｖ１）の各位置に対応するＨＲＴＦを用いて処理される。この場合、本来使用されるべきＨＲＴＦとは異なるＨＲＴＦを用いた演算が行われることから、ユーザ３０は、音源３１の音像を正しい方向に認識できない可能性がある。

そこで、図７〜図１３では、ユーザの周辺に配置されている各音源の音像の定位感が向上するように仮想スピーカを配置する方法について説明する。
図７は、音源と仮想スピーカとの位置関係の例を示す図である。ユーザ３０の周辺には、音源４１ａ，４１ｂを含む複数の音源が配置されている。音源４１ａは、仮想スピーカ４２ａおよび仮想スピーカ４２ｂと、円周３４に沿った方向に隣り合っており、音源４１ｂは、仮想スピーカ４２ｂおよび仮想スピーカ４２ｃと、円周３４に沿った方向に隣り合っている。

角度θａ１は、ユーザ３０から仮想スピーカ４２ａへの方向とユーザ３０から音源４１ａへの方向との間の角度であり、角度θａ２は、ユーザ３０から仮想スピーカ４２ｂへの方向とユーザ３０から音源４１ａへの方向との間の角度である。同様に、角度θｂ１は、ユーザ３０から仮想スピーカ４２ｂへの方向とユーザ３０から音源４１ｂへの方向との間の角度であり、角度θｂ２は、ユーザ３０から仮想スピーカ４２ｃへの方向とユーザ３０から音源４１ｂへの方向との間の角度である。

ここで、仮想スピーカを用いて音声信号を生成する際、ユーザ３０から見た仮想スピーカの方向と音源の方向との間の角度が小さいほど、音源の音像の定位感に近い音声信号を生成できる。そのため、仮想スピーカ４２ａ，４２ｂ，４２ｃを用いて音声信号を生成するとき、角度θａ１，θａ２，θｂ１，θｂ２の最大値が最小になるように各仮想スピーカを配置した場合に最も音源４１ａ，４１ｂの音像の定位感が向上する。

このように、仮想スピーカ配置部１５０は、隣り合う２つの仮想スピーカそれぞれと、ユーザ３０から見てこれら２つの仮想スピーカの間に位置する音源との円周３４に沿った方向の距離が小さくなるように、各仮想スピーカを配置する。これにより、本来使用されるべきＨＲＴＦと実施の演算で使用されるＨＲＴＦとの誤差が減少する。したがって、仮想スピーカから出力される音声信号を用いて生成した左右のチャネルの音声信号が生成された際、各音源の音像の定位感を向上できる。

なお、音源とユーザとの距離は、音源分配部１６０などで音源の音量により補間するため、音像の定位感に影響しない。
次に、まず、図８で、仮想スピーカの数が音源の数以上である場合の仮想スピーカの配置方法について説明する。

図８は、仮想スピーカの数が仮想音源の数以上である場合の仮想スピーカの配置方法の例を示す図である。ユーザ３０の周辺に音源４３ａ，４３ｂが配置されている。このとき、円周３４上に、仮想スピーカ５１，５２，５３，５４，５５，５６，５７，５８を配置する場合、まず、仮想スピーカ配置部１５０は、仮想スピーカ５１，５２，５３，５４，５５，５６，５７，５８を円周３４上に均等になるよう配置する。次に、仮想スピーカ配置部１５０は、ユーザ３０から見て音源との円周３４に沿った方向の距離が最も近い仮想スピーカをユーザ３０から当該音源への方向になるように円周３４上に沿って移動させる。

例えば、仮想スピーカ配置部１５０は、音源４３ａについて円周３４に沿った方向の距離が最も近い仮想スピーカ５２を、円周３４上において、ユーザ３０から音源４３ａへの方向になるように配置する。また、仮想スピーカ配置部１５０は、音源４３ｂについて円周３４に沿った方向の距離が最も近い仮想スピーカ５４を、円周３４上において、ユーザ３０から音源４３ｂへの方向になるように配置する。

これにより、仮想スピーカ５２のＨＲＴＦは音源４３ａと同じＨＲＴＦが適用され、仮想スピーカ５４のＨＲＴＦは音源４３ｂと同じＨＲＴＦが適用される。したがって、音声生成部１７０は、音源４３ａ，４３ｂの各音像がそれぞれの方向に正確に定位した音声信号を生成できる。

このように、仮想スピーカの数が音源の数以上の場合は、円周３４上において、ユーザ３０から各音源の方向に仮想スピーカを配置することで、各音源と同じＨＲＴＦを適用できるため、各音源の音像を各音源の方向に正確に定位させることができる。

なお、移動させた仮想スピーカ５２，５４以外の仮想スピーカについては、音源分配部１６０で音源４１，４２から出力される音声信号を分配しないようにしてもよい。また、仮想スピーカ配置部１５０により、移動させた仮想スピーカ５２，５４以外の仮想スピーカを配置しないようにしてもよい。

次に、図９〜図１３で、仮想スピーカの数が音源の数未満である場合の仮想スピーカの配置方法について説明する。
図９は、仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第１の図である。ユーザ３０の周辺には、音源６１（音源ＩＤ＝＃１）〜音源７６（音源ＩＤ＝＃１６）の１６個の音源が配置されている（以下の説明において、“音源ＩＤ＝”の記載は省略する）。この場合において、８個の仮想スピーカを配置する場合について説明する。以下、図１０〜図１３についても同様とする。

まず、仮想スピーカ配置部１５０は、ユーザ３０から見て円周３４に沿った方向に隣り合う２つの音源間の、ユーザ３０を中心として円周に沿った方向の角度を算出する。
以下、例えば、音源６１（＃１）と音源６２（＃２）間のユーザ３０を中心として円周３４に沿った方向の角度をＳθ１−２のように表すものとし、音源６２（＃２）と音源６３（＃３）間の当該角度をＳθ２−３のように表すものとする。他の２つの音源間のユーザ３０を中心として円周に沿った方向の角度についても同様に表すものとする。

図１０は、仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第２の図である。次に、仮想スピーカ配置部１５０は、円周３４に沿った方向の範囲のうち、図９で算出した各音源間の角度がしきい値以上である音源のペアを選択し、選択したペアに含まれる各音源を「両端音源」と特定する。この「両端音源」とは、ユーザ３０から見て後述する「配置領域」の候補となる領域の両端の方向に位置する音源であることを意味する。

しきい値は、例えば、３６０°を仮想スピーカの数“８”で除算した値（すなわち４５°）に設定される。例えば、角度Ｓθ４−５および角度Ｓθ８−９のみが４５°以上であったとすると、円周３４に沿った方向の範囲のうち、音源６４（＃４）、音源６５（＃５）、音源６８（＃８）および音源６９（＃９）が仮想スピーカ配置部１５０により両端音源として特定される。

なお、しきい値は、３６０°を仮想スピーカの数で除算した値より小さい値であってもよい。
次に、仮想スピーカ配置部１５０は、特定された各両端音源が位置する方向に、それぞれ仮想スピーカを配置する。図１０の場合、仮想スピーカ配置部１５０は、音源６４（＃４）の方向に仮想スピーカ８１を配置し、音源６５（＃５）の方向に仮想スピーカ８２を配置し、音源６８（＃８）の方向に仮想スピーカ８３を配置し、音源６９（＃９）の方向に仮想スピーカ８４を配置する。

次に、仮想スピーカ配置部１５０は、ユーザ３０から見て円周３４の方向に隣り合う両端音源に挟まれた領域のうち、両端音源以外の音源がさらに含まれている領域を、仮想スピーカをさらに配置するための「配置領域」として特定する。

図１０の場合、音源６５（＃５）および音源６８（＃８）に挟まれた領域Ｔθ５−８には音源６６（＃６）および音源６７（＃７）が含まれる。また、音源６９（＃９）および音源６４（＃４）に挟まれた領域Ｔθ９−４には音源６１（＃１）〜音源６３（＃３），音源７０（＃１０）〜音源７６（＃１６）が含まれる。したがって、領域Ｔθ５−８と領域Ｔθ９−４とが、配置領域として特定される。

図１１は、仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第３の図である。次に、仮想スピーカ配置部１５０は、特定された配置領域それぞれにおける、すでに配置された隣り合う２つの仮想スピーカ間の円周３４に沿った方向の角度を算出する。例えば、図１１の場合、領域Ｔθ５−８における、隣り合う２つの仮想スピーカ８２，８３間の円周３４に沿った方向の角度は角度Ｓθ５−８となる。また、領域Ｔθ９−４における、隣り合う２つの仮想スピーカ８４および仮想スピーカ８１との間の円周３４に沿った方向の角度は角度Ｓθ９−４となる。

次に、仮想スピーカ配置部１５０は、算出された仮想スピーカ間の角度が最大である配置領域に、仮想スピーカ間の間隔が均等になるように未配置の仮想スピーカを１つ配置する。図１１では、角度Ｓθ５−８＜角度Ｓθ９−４とすると、仮想スピーカ配置部１５０は、領域Ｔθ９−４に仮想スピーカ間の間隔が均等になるように仮想スピーカ８５を配置する。

図１２は、仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第４の図である。次に、仮想スピーカ配置部１５０は、図１１と同様に、特定された配置領域それぞれにおける、すでに配置された隣り合う２つの仮想スピーカ間の円周３４に沿った方向の角度を算出し、算出された角度が最大である配置領域に仮想スピーカを配置する。図１２では、領域Ｔθ５−８において角度Ｓθ５−８が算出され、領域Ｔθ９−４において（角度Ｓθ９−４）／２が算出される。そして、角度Ｓθ５−８＞（角度Ｓθ９−４）／２とすると、領域Ｔθ５−８に仮想スピーカ間の距離が均等になるように仮想スピーカ８６が配置される。

図１３は、仮想スピーカの数が仮想音源の数未満である場合の仮想スピーカの配置方法の例を示す第５の図である。次に、仮想スピーカ配置部１５０は、図１１、図１２と同様に、特定された配置領域それぞれにおける、すでに配置された隣り合う２つの仮想スピーカ間の円周３４に沿った方向の角度を算出し、算出された角度が最大である配置領域に仮想スピーカを配置する。図１３では、領域Ｔθ５−８において（角度Ｓθ５−８）／２が算出され、領域Ｔθ９−４において（角度Ｓθ９−４）／２が算出される。そして、（角度Ｓθ５−８）／２＜（角度Ｓθ９−４）／２とすると、領域Ｔθ９−４に仮想スピーカ間の距離が均等になるように仮想スピーカ８７が配置される。以下、未配置の仮想スピーカが無くなるまで図１３の処理を繰り返す。

図９〜図１３で示すように、仮想スピーカ配置部１５０は、まず、ユーザ３０から見て円周３４に沿った方向に隣り合う２つの音源間の、円周３４に沿った方向の角度に基づいて配置領域を特定する。そして、特定された配置領域それぞれにおける、隣り合う２つの仮想スピーカ間の円周３４に沿った方向の角度が最大である配置領域に仮想スピーカを配置することを、未配置の仮想スピーカが無くなるまで繰り返す。

これにより、隣り合う２つの仮想スピーカそれぞれと、ユーザ３０から見て当該２つの仮想スピーカの間に位置する音源との円周３４に沿った方向の距離が小さくなるように、各仮想スピーカを配置できる。したがって、本来使用されるべきＨＲＴＦと実施の演算で使用されるＨＲＴＦとの誤差を小さくすることができる。

次に、音声処理装置１００の処理において使用されるテーブル情報の例について説明する。
図１４は、ユーザ状態テーブルの例について示す図である。ユーザ状態テーブル１１１は、ユーザ情報取得部１４０が取得するユーザの状態を示す情報を一時的に格納するテーブルである。ユーザ状態テーブル１１１は、配置管理情報記憶部１１０に記憶される。ユーザ状態テーブル１１１は、ユーザ端末２００からユーザの視線方向を示す情報を受信したり、ユーザの位置情報を検出したりする毎に随時更新される。ユーザ状態テーブル１１１は、ユーザＩＤ、座標および頭部姿勢角度の項目を有する。

ユーザＩＤの項目には、ユーザを識別するための識別子が設定される。
座標の項目には、ユーザの頭部の位置の座標が設定される。なお、図１４において、本項目は３次元で設定されているが、２次元で設定されてもよい。以下で説明する座標についても同様である。

頭部姿勢角度の項目には、所定の基準方向（例えば、北方向）に対するユーザの視線方向の角度が設定される。なお、基準方向は水平方向に沿った方向であるものとする。
図１５は、音源管理テーブルの例について示す図である。音源管理テーブル１１２は、ユーザの周りに配置された音源に関する情報を格納するテーブルである。音源管理テーブル１１２には、ユーザの視線方向からユーザを中心とした円周に沿って所定の方向（例えば、右回転方向）に存在する順に音源に関する情報が一時的に記憶される。音源管理テーブル１１２は、配置管理情報記憶部１１０に記憶されている。音源管理テーブル１１２は、ユーザＩＤ、音源ＩＤ、音源位置および両端フラグの項目を有する。

ユーザＩＤの項目には、ユーザを識別するための識別子が設定される。
音源ＩＤの項目には、音源を識別するための識別子が設定される。
音源位置の項目には、音源の位置を示す情報が設定される。音源の位置を示す情報は、例えば、ユーザの位置および視線方向を基準とした音源の相対的な座標でもよいし、音源の緯度経度でもよい。また、音源の位置を示す情報は、ユーザの視線方向とユーザから見た音源の方向との間の角度でもよい。

両端フラグの項目には、音源が両端音源であるか否かを示す情報が設定される。例えば、音源が両端音源である場合は“ＴＲＵＥ”が設定され、音源が両端音源でない場合は“ＦＡＬＳＥ”が設定される。両端フラグの初期値は、“ＦＡＬＳＥ”である。

なお、図示しないが、音源情報記憶部１２０には、例えば管理者の設定操作により、各音源の位置情報が音源ＩＤに対応付けてあらかじめ登録されており、音源管理テーブル１１２の音源ＩＤおよび音源位置の各項目には、音源情報記憶部１２０に登録された各音源の音源ＩＤおよび位置情報が設定される。また、音源管理テーブル１１２における音源の登録順は、ユーザ情報取得部１４０により、対応するユーザの位置が移動する度に更新される。

図１６は、仮想スピーカ位置テーブルの例について示す図である。仮想スピーカ位置テーブル１１３は、仮想スピーカの位置に関する情報を格納するテーブルである。仮想スピーカ位置テーブル１１３は、配置管理情報記憶部１１０に一時的に記憶される。仮想スピーカ位置テーブル１１３は、ユーザＩＤ、仮想スピーカＩＤ、スピーカ位置および配置確定フラグの項目を有する。

ユーザＩＤの項目には、ユーザを識別するための識別子が設定される。
仮想スピーカＩＤの項目には、仮想スピーカを識別するための識別子が設定される。
スピーカ位置の項目には、仮想スピーカの位置を示す情報が設定される。仮想スピーカの位置を示す情報は、例えば、ユーザの位置および視線方向を基準とした仮想スピーカの相対的な座標でもよいし、仮想スピーカの絶対座標でもよい。また、スピーカの位置を示す情報は、ユーザの向きとユーザから見た仮想スピーカの方向との間の角度でもよい。

配置確定フラグの項目には、配置する仮想スピーカの位置が確定しているか否かを示す情報が設定される。例えば、仮想スピーカの位置が確定している場合は“ＴＲＵＥ”が設定され、仮想スピーカの位置が確定していない場合は“ＦＡＬＳＥ”が設定される。配置確定フラグの初期値は、“ＦＡＬＳＥ”である。

図１７は、配置情報の例について示す図である。配置情報１１４は、配置する仮想スピーカの数に関する情報である。配置情報１１４は、配置管理情報記憶部１１０に一時的に記憶される。配置情報１１４は、ユーザＩＤ，配置済み、未配置および合計の項目を有する。

ユーザＩＤの項目には、ユーザを識別するための識別子が設定される。
配置済みの項目には、配置済みの仮想スピーカの数が設定される。配置済みの初期値は“０”である。

未配置の項目には、未配置である仮想スピーカの数が設定される。未配置の初期値は合計の項目と同じ値である。
合計の項目には、配置する仮想スピーカ全体の数が設定される。すなわち、配置済みの仮想スピーカと未配置の仮想スピーカとの合計が設定される。

図１８は、配置領域管理テーブルの例について示す図である。配置領域管理テーブル１１５は、仮想スピーカを配置する配置領域に関する情報を格納するテーブルである。配置領域管理テーブル１１５は、配置管理情報記憶部１１０に一時的に記憶される。配置領域管理テーブル１１５は、ユーザＩＤ、領域ＩＤ、両端角度、探索フラグ、角度（分割後）および分割数の項目を有する。

ユーザＩＤの項目には、ユーザを識別するための識別子が設定される。
領域ＩＤの項目には、配置領域を識別するための識別子が設定される。
両端角度の項目には、配置領域の両端の間の、ユーザを中心として円周に沿った方向の角度が設定される。

探索フラグの項目には、仮想スピーカを１つ追加する配置領域か否かを示す情報が設定される。例えば、仮想スピーカを追加する配置領域である場合は“ＴＲＵＥ”が設定され、仮想スピーカを追加する配置領域でない場合は“ＦＡＬＳＥ”が設定される。仮想スピーカを追加する配置領域か否かは、配置領域毎に均等に配置された仮想スピーカ間の、ユーザを中心として円周に沿った方向の角度が他の配置領域と比べ最大であるか否かで判断される。

角度（分割後）の項目には、配置領域に均等に配置された仮想スピーカ間の、ユーザを中心として円周に沿った方向の角度が設定される。具体的には、角度（分割後）の項目には、両端角度の項目に設定された角度を分割数の項目に設定された値によって除算した数値が設定される。分割数の項目には、配置領域が、その両端を除く仮想スピーカによって分割された数が設定され、具体的には、配置領域に配置される仮想スピーカの数−１として算出された値が設定される。

領域ＩＤ、両端角度、探索フラグ、角度（分割後）および分割数の初期値は、空欄である。
次に、音声処理装置１００の処理についてフローチャートを用いて説明する。

図１９は、仮想スピーカの配置処理の例を示すフローチャートである。図１９の処理において、音源情報記憶部１２０に音源の位置情報および音源が出力する音声信号が記憶されているものとする。また、図１９の処理は、ユーザ毎に行われるものとする。したがって、図１９（および図２０）の処理においては、ユーザ状態テーブル１１１などユーザＩＤの項目を含む各テーブルとしては、処理対象のユーザに対応するユーザＩＤが登録されているテーブルが利用される。

（ステップＳ１１）ユーザ情報取得部１４０は、ユーザの状態を示す情報を取得する。ユーザの状態を示す情報には、ユーザの視線方向を示す情報およびユーザの位置情報が含まれる。

ユーザ情報取得部１４０は、ユーザ端末２００からユーザの視線方向を示す情報を受信する。また、ユーザ端末２００の位置を示す情報について、ユーザ情報取得部１４０は、アクセスポイント２１ａ〜２１ｄにおける信号の受信時刻の差、あるいは受信電波強度の差に基づいて、三角法を用いてユーザ端末２００の位置を検出する。

そして、ユーザ情報取得部１４０は、取得したユーザの状態を示す情報をユーザ状態テーブル１１１に一時的に格納する。この際、ユーザ情報取得部１４０は、座標の項目にユーザ端末２００の位置を示す情報を設定し、頭部姿勢角度の項目にユーザの視線方向と所定の基準方向（例えば、北方向）との間の角度を設定する。

（ステップＳ１２）仮想スピーカ配置部１５０は、音源情報記憶部１２０から、各音源に関する情報を読み出す。音源に関する情報には、音源を識別する音源ＩＤ、音源の位置情報および音源の出力する音声信号が含まれる。

（ステップＳ１３）仮想スピーカ配置部１５０は、ユーザ状態テーブル１１１に格納されたユーザの視線方向や位置を示す情報およびステップＳ１２で確認した各音源の位置情報に基づいて、音源に関する情報を音源管理テーブル１１２に格納する。

具体的には、まず、仮想スピーカ配置部１５０は、ユーザ状態テーブル１１１からユーザの状態を示す情報を読み出す。次に、仮想スピーカ配置部１５０は、読み出したユーザの情報とステップＳ１２で確認した音源の座標とに基づいて、ユーザの視線方向からユーザを中心とした円周（以下、所定の円周）に沿って右回転方向に存在する音源を順に判別して、その判別順に各音源に関する情報を音源管理テーブル１１２に登録する。その際、仮想スピーカ配置部１５０は、音源位置の項目にステップＳ１２で確認した音源の位置情報を設定し、両端音源フラグの項目に初期値として“ＦＡＬＳＥ”を設定する。

（ステップＳ１４）仮想スピーカ配置部１５０は、配置する仮想スピーカの数がステップＳ１３で格納した音源の数未満であるか判定する。配置する仮想スピーカの数が格納した音源の数未満の場合、処理をステップＳ２１へ進める。配置する仮想スピーカの数が格納した音源の数以上の場合、処理をステップＳ１５へ進める。

（ステップＳ１５）仮想スピーカ配置部１５０は、所定の円周上において、音源それぞれについてユーザと音源とを結ぶ直線上に仮想スピーカを配置する。このとき、仮想スピーカ配置部１５０は、配置した各仮想スピーカに関する情報を仮想スピーカ位置テーブル１１３に登録する。この際、仮想スピーカ配置部１５０は、スピーカ位置の項目に配置した仮想スピーカの位置情報を設定し、配置確定フラグの項目に“ＴＲＵＥ”を設定する。仮想スピーカの位置情報は、ステップＳ１１で取得したユーザの座標と所定の円周の半径とユーザから見て当該仮想スピーカと同じ方向に配置されている音源の座標との位置関係に基づいて算出される。

なお、所定の円周に関する情報（すなわち、ユーザと仮想スピーカとの距離）は、例えば、ＨＤＤ１０３などの記憶領域にあらかじめ記憶されている。
（ステップＳ１６）音源分配部１６０は、音源情報記憶部１２０に記憶された各音源から出力される音声信号を、所定の円周に沿って隣り合う２つの仮想スピーカに分配する。仮想スピーカに分配される音声信号は、具体的には、図６で説明したように、ユーザと音源と２つの仮想スピーカとの位置関係に応じて重み付けすることで生成される。

（ステップＳ１７）音声生成部１７０は、分配された音声信号を用いて左右チャネルの音声信号を生成する。
具体的には、まず、音声生成部１７０は、仮想スピーカ位置テーブル１１３に登録された各仮想スピーカのスピーカ位置に基づいて、ユーザの視線方向とユーザから仮想スピーカの配置された方向との間の角度を算出する。次に、音声生成部１７０は、算出した各角度と一致する左右のＨＲＴＦをＨＲＴＦ情報記憶部１３０から検索する。そして、音声生成部１７０は、音源分配部１６０により分配された音声信号と検索された左右のＨＲＴＦとを畳み込み演算した信号を合成し、左右のチャネルの音声信号を生成する。

畳み込み演算の例として、時刻τから時刻ｔまでの音声信号において、左右のチャネルの音声信号をｈ（ｔ）とし、分配された音声信号の関数をｆ（ｔ）とし、ＨＲＴＦをｇ（ｔ）とした場合、以下のような畳み込み積分を用いることができる。

そして、音声生成部１７０は、生成した左右のチャネルの音声信号をユーザ端末２００へ送信する。
その後、ユーザ端末２００の音声出力部２２０は、音声処理装置１００から左右のチャネルの音声信号を受信する。音声出力部２２０は、受信した音声信号をアナログ音声信号に変換し、変換されたアナログ音声信号をヘッドホン１２に出力する。

図２０は、仮想スピーカの配置処理の例を示すフローチャート（続き）である。
（ステップＳ２１）仮想スピーカ配置部１５０は、図９〜図１０で説明したように、両端音源を特定する。

具体的には、まず、仮想スピーカ配置部１５０は、音源管理テーブル１１２からユーザの周辺に配置された複数の音源に関する情報を取得する。次に、仮想スピーカ配置部１５０は、取得した音源それぞれの音源位置に基づいて、図９で説明したように、ユーザから見て所定の円周に沿った方向に隣り合う２つの音源間の、円周に沿った方向の角度を算出する。次に、図１０で説明したように、所定の円周に沿った方向の範囲のうち、算出した各音源間の角度がしきい値以上である音源のペアを特定する。そして、仮想スピーカ配置部１５０は、特定した音源のペアに含まれる音源を両端音源と特定し、音源管理テーブル１１２において、その音源の両端フラグの項目を“ＴＲＵＥ”に更新する。

（ステップＳ２２）仮想スピーカ配置部１５０は、図１０で説明したように、所定の円周上において、各両端音源が位置する方向にそれぞれ仮想スピーカを配置する。このとき、仮想スピーカ配置部１５０は、図１９のステップＳ１５と同様に、配置した各仮想スピーカに関する情報を仮想スピーカ位置テーブル１１３に格納する。

そして、仮想スピーカ配置部１５０は、配置情報１１４における配置済みの項目の値を、格納した仮想スピーカの数を加算した値に更新するとともに、未配置の項目の値を、格納した仮想スピーカの数を減算した値に更新する。

この後のステップＳ２３〜Ｓ２７では、初期配置によって配置されたものを除く残りの仮想スピーカを配置するための処理が行われる。
（ステップＳ２３）仮想スピーカ配置部１５０は、ステップＳ２２ですでに配置された仮想スピーカに挟まれた複数の範囲のうち、その両端以外の位置にも音源が存在している範囲を配置領域として特定する。

具体的には、仮想スピーカ配置部１５０は、音源管理テーブル１１２を参照して、両端フラグが“ＴＲＵＥ”である両端音源の間に、両端フラグが“ＦＡＬＳＥ”である音源のみが含まれている領域を配置領域として特定する。

次に、仮想スピーカ配置部１５０は、特定した配置領域に関する情報を配置領域管理テーブル１１５に登録する。この際、仮想スピーカ配置部１５０は、両端角度および角度（分割後）の項目にユーザから見た両端音源同士の各方向の間の角度を設定し、探索フラグの項目に“ＦＡＬＳＥ”を設定し、分割数に“１”を設定する。

（ステップＳ２４）仮想スピーカ配置部１５０は、図１１〜図１３で説明したように、ステップＳ２３で特定した配置領域から仮想スピーカを１つ追加する配置領域を選択する。

具体的には、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５から、角度（分割後）の値が最大である配置領域を選択する。そして、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５について、選択した配置領域の探索フラグを“ＴＲＵＥ”に更新する。

（ステップＳ２５）仮想スピーカ配置部１５０は、図１１〜図１３で説明したように、仮想スピーカを１つ配置する。
具体的には、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５について、探索フラグが“ＴＲＵＥ”である探索領域の分割数の項目を当該分割数に１加算した値に更新する。また、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５について、探索フラグが“ＴＲＵＥ”である配置領域の角度（分割後）の項目を、両端角度の項目に設定された値を更新後の分割数に設定された値によって除算した値に更新する。また、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５について、探索フラグが“ＴＲＵＥ”である配置領域の探索フラグの項目を“ＦＡＬＳＥ”に更新する。

そして、仮想スピーカ配置部１５０は、配置情報１１４の配置済みの項目を１加算した値に更新し、当該配置情報１１４の未配置の項目を１減算した値に更新する。
（ステップＳ２６）仮想スピーカ配置部１５０は、図１１〜図１３で説明したように、全ての仮想スピーカを配置済みか判定する。全ての仮想スピーカを配置済みの場合、処理をステップＳ２７へ進める。全ての仮想スピーカを配置済みでない場合、処理をステップＳ２４へ進める。全ての仮想スピーカを配置済みであるか否かは、例えば、配置情報１１４の未配置の項目が“０”であるかにより判定できる。

（ステップＳ２７）仮想スピーカ配置部１５０は、図１１〜図１３で説明したように、配置領域それぞれについて、隣り合う２つの仮想スピーカ間の、ユーザを中心とした角度が均等になるように、所定の円周上に配置された残りの仮想スピーカの座標を仮想スピーカ位置テーブル１１３に登録する。

具体的には、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５から配置領域を順次選択し、選択された配置領域のそれぞれについて次の処理を実行する。
まず、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５から選択された配置領域についての角度（分割後）を読み出す。仮想スピーカ配置部１５０は、所定の円周上において、選択された配置領域の一端から一方向（例えば右回り方向）に対し、読み出した角度（分割後）毎の位置に仮想スピーカを配置するよう、「選択した配置領域の分割数−１」分の仮想スピーカの位置情報（例えば、座標）を算出する。そして、仮想スピーカ配置部１５０は、仮想スピーカ位置テーブル１１３について、配置する仮想スピーカに関する情報を更新する。具体的には、仮想スピーカ配置部１５０は、配置決定フラグが“ＦＡＬＳＥ”である仮想スピーカについて、スピーカ位置の項目に算出された位置情報を登録し、配置決定フラグの項目を“ＴＲＵＥ”に更新する。

そして、仮想スピーカ配置部１５０は、処理をステップＳ１６へ進める。
次に、図２１〜図２５では、図２０のステップＳ２１〜ステップＳ２５のように仮想スピーカを配置した場合の処理の例を具体的に説明する。

図２１は、仮想スピーカの配置の例を示す第１の図である。図２０のステップＳ２１では、配置領域の両端に含まれる音源を特定する。ここでは、図１０の例のように、角度がしきい値以上となる音源のペアとして、音源ＩＤ＝＃４，＃５のペアと、音源ＩＤ＝＃８，＃９のペアとが抽出されたとする。その結果、両端音源として音源ＩＤ＝＃４，＃５，＃８，＃９である音源が特定される。

そのため、仮想スピーカ配置部１５０は、音源管理テーブル１１２ａのように、音源ＩＤが＃４，＃５，＃８および＃９である音源の両端フラグの項目を“ＴＲＵＥ”に更新する。

図２２は、仮想スピーカの配置の例を示す第２の図である。図２０のステップＳ２２では、仮想スピーカ配置部１５０は、所定の円周上において、ユーザ３０から見て図２０のステップＳ２１で特定された音源それぞれが位置する方向に、仮想スピーカＩＤ＝Ｖ１，Ｖ２，Ｖ３，Ｖ４である仮想スピーカを配置する。仮想スピーカ配置部１５０は、仮想スピーカ位置テーブル１１３ａのように、仮想スピーカＩＤ＝Ｖ１，Ｖ２，Ｖ３，Ｖ４にそれぞれ対応するスピーカ位置の項目に、音源ＩＤ＝＃４，＃５，＃８，＃９である音源の方向にそれぞれ配置する仮想スピーカの位置情報を登録し、対応する配置確定フラグの項目を“ＴＲＵＥ”に更新する。

また、図２０のステップＳ２３では、仮想スピーカ配置部１５０は、音源管理テーブル１１２ａに基づき、隣り合う両端音源に挟まれた領域のうち、その両端以外の位置にも音源が存在している領域を配置領域として特定する。その結果、領域ＩＤ＝Ｔθ５−８，Ｔθ９−４が配置領域として特定されたとする。この場合、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５ａのように、各配置領域の領域ＩＤ、両端角度、探索フラグ、角度（分割後）および分割数が登録される。

また、仮想スピーカ位置テーブル１１３ａが示すように、配置確定フラグが“ＴＲＵＥ”である仮想スピーカの数は４つである。そのため、図示していないが、配置情報１１４についても、配置済みの仮想スピーカが“０”から“４”に更新され、未配置の仮想スピーカが“８”から“４”に更新される。

図２３は、仮想スピーカの配置の例を示す第３の図である。図２０のステップＳ２４では、ステップＳ２３で特定した配置領域から仮想スピーカを１つ追加する配置領域が選択される。また、図２０のステップＳ２５では、選択した領域に仮想スピーカが１つ配置される。

具体的には、まず、図２０のステップＳ２４では、仮想スピーカ配置部１５０は、配置領域の角度（分割後）が最大である配置領域を選択する。配置領域管理テーブル１１５ａのように、領域ＩＤがＴθ９−４である配置領域の両端角度は８０°であり、領域ＩＤがＴθ５−８である配置領域の両端角度は３０°である。そのため、仮想スピーカ配置部１５０は、配置する仮想スピーカを１つ追加する領域として、領域ＩＤがＴθ９−４である配置領域を選択する。

次に、図２０のステップＳ２５では、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５ｂのように、選択された領域ＩＤがＴθ９−４である配置領域の探索フラグを“ＴＲＵＥ”に更新する。

そして、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５ｃのように、探索フラグが“ＴＲＵＥ”である配置領域において、分割数を１加算した値“２”に更新し、角度（分割後）の項目を両端角度の項目に設定された値を更新後の分割数に設定された値によって除算した値“４０”に更新し、探索フラグの項目を“ＦＡＬＳＥ”に更新する。そして、仮想スピーカ配置部１５０は、配置情報１１４ｂのように、配置済みの仮想スピーカを１加算した値“５”に更新し、未配置の仮想スピーカを１つ減算した値“３”に更新する。

図２４は、仮想スピーカの配置の例を示す第４の図である。次に、仮想スピーカ配置部１５０は、各配置領域において、図２３と同様の処理を実行する。配置領域管理テーブル１１５ｃが示すように、角度（分割後）が最大である配置領域の領域ＩＤはＴθ９−４である。

そのため、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５ｄのように、領域ＩＤがＴθ９−４である配置領域の分割数を１追加した値“３”に更新し、領域ＩＤがＴθ９−４である配置領域の角度（分割後）を両端角度／更新後の分割数“２６”に更新する。また、仮想スピーカ配置部１５０は、配置情報１１４ｃのように、配置済みの仮想スピーカを１加算した値“６”に更新し、未配値の仮想スピーカを１減算した値“２”に更新する。

次に、仮想スピーカ配置部１５０は、仮想スピーカを追加後の各配置領域について図２３と同様の処理を実行する。配置領域管理テーブル１１５ｄが示すように、角度（分割後）が最大である配置領域の領域ＩＤはＴθ５−８である。

そのため、仮想スピーカ配置部１５０は、配置領域管理テーブル１１５ｅのように、領域ＩＤがＴθ５−８である配置領域の分割数を１追加した値“２”に更新し、領域ＩＤがＴθ５−８である配置領域の角度（分割後）を両端角度／更新後の分割数“１５”に更新する。また、仮想スピーカ配置部１５０は、配置情報１１４ｄのように、配置済みの仮想スピーカを１加算した値“７”に更新し、未配値の仮想スピーカを１減算した値“１”に更新する。

図２５は、仮想スピーカの配置の例を示す第５の図である。未配値の仮想スピーカそれぞれについて、図２３〜図２４のように、配置する配置領域を算出した後、図２０のステップＳ２７において、仮想スピーカ配置部１５０は、配置領域それぞれについて、隣り合う２つの仮想スピーカ間の、ユーザ３０を中心とした角度が均等になるように、追加した仮想スピーカを所定の円周上に配置する。各配置領域に配置される仮想スピーカ間の角度は、配置領域管理テーブル１１５において各配置領域に対応付けられた角度（分割後）の値となる。

その結果、仮想スピーカ位置テーブル１１３ｂのように、図２３〜図２４で新たに配置された仮想スピーカＩＤ＝Ｖ５，Ｖ６，Ｖ７，Ｖ８である仮想スピーカの座標および配置確定フラグが更新される。

第２の実施の形態の音声処理システムによれば、音声処理装置１００は、ユーザ３０から見て所定の円周に沿った方向に隣り合う２つの音源間の、ユーザ３０を中心として所定の円周に沿った方向の角度を算出する。音声処理装置１００は、算出した角度がしきい値以上となる仮想音源を両端音源として特定する。

次に、ユーザ３０から見て、特定された各両端音源が位置する方向にそれぞれ仮想スピーカを配置する。そして、所定の円周上において、すでに配置された仮想スピーカに挟まれた領域（すなわち、両端音源に挟まれた領域）のうち、その両端以外の位置にも音源が存在している領域を配置領域と特定する。

そして、特定された配置領域それぞれにおける、隣り合う２つの仮想スピーカ間のユーザ３０を中心とした角度が最大である配置領域に仮想スピーカ間の間隔が均等になるように未配置の仮想スピーカを１つ配置する処理を、未配置の仮想スピーカが無くなるまで繰り返す。

これにより、仮想スピーカとユーザ３０とを結ぶ直線と、仮想スピーカに隣り合う音源とユーザ３０とを結ぶ直線との角度を減らすことができる。ここで、音源が出力する音声信号を仮想スピーカに分配する際、仮想スピーカとユーザ３０とを結ぶ直線と、仮想スピーカに隣り合う音源とユーザ３０とを結ぶ直線との角度が小さい方が、ＨＲＴＦの誤差が減少して、音像の定位感の減少を抑制できる。そのため、仮想スピーカとユーザ３０とを結ぶ直線と、仮想スピーカに隣り合う音源とユーザ３０とを結ぶ直線との角度を減らすことで、各音源の音像の定位感の減少を抑制できる。よって、複数の仮想音源の音像を定位させる処理の負荷を軽減しつつ、音像の定位感を向上できる。

［第２の実施の形態の変形例］
次に、第２の実施の形態の変形例について説明する。以下の変形例は、聴取者に対して所望の範囲の方向に存在する音源の方位感をより向上させるものである。例えば、聴取者の後方に存在する音源の方位感より、前方に存在する音源の方位感をより向上させたい場合がある。これは、人間の方位感が後方より前方の方が曖昧になりやすいからである。この場合、後方の範囲の方向より前方の範囲の方向に仮想スピーカを多く配置することで実現できる。そこで、図２６〜図２７では、各配置領域の位置によって重み付けをすることで、ユーザ３０の前方に存在する配置領域により仮想スピーカをより多く配置する例について説明する。図２６〜図２７において、第２の実施の形態と差異のある点を説明し、第２の実施の形態と同じ構成や処理については説明を省略する。

図２６は、配置領域に対する重みの設定方法の例を示す図である。円周３４は、領域Ｋ１，Ｋ２，Ｋ３，Ｋ４に分割される。領域Ｋ１はユーザ３０の前方に存在し、領域Ｋ２はユーザ３０の左側に存在し、領域Ｋ３はユーザ３０の右側に存在し、領域Ｋ４はユーザの後方に存在する。例えば、領域Ｋ１には１．０の重みが設定され、領域Ｋ２，Ｋ３には０．８の重みが設定され、領域Ｋ４には０．６の重みが設定されている。このように、ユーザ３０の後方よりも前方の方が重みの値が大きく設定される。

ここで、円周３４上に配置領域Ｔ１，Ｔ２が存在するものとする。配置領域Ｔ１における両端の方向の間の角度を２等分した方向３５ａは領域Ｋ１に含まれるため、配置領域Ｔ１の重みは１．０となる。また、配置領域Ｔ２における両端の方向の間の角度２等分した方向３５ｂは領域Ｋ４に含まれるため、配置領域Ｔ２の重みは０．６となる。

図２７は、重みを考慮した仮想スピーカの配置の変形例を示す図である。配置領域管理テーブル１１６ａ，１１６ｂは、配置領域管理テーブル１１５に角度（重み付け後）および重みの項目が追加されている。角度（重み付け後）の項目には、角度（分割後）の値に重みを乗じた値が設定される。重みの項目には、図２６で説明したように、配置領域の位置に応じた重みが設定される。

ここで、図２０のステップＳ２４〜ステップＳ２５で、仮想スピーカを追加する配置領域を特定し、仮想スピーカを配置する例について説明する。
まず、第２の実施の形態のシステムの変形例では、配置領域の角度（分割後）ではなく、角度（重み付け後）が最大である配置領域に仮想スピーカを追加するようにする。配置領域管理テーブル１１６ａの例では、領域ＩＤがＴθ９−４である配置領域が仮想スピーカを追加する領域として選択され、当該配置領域の探索フラグが“ＴＲＵＥ”に更新される。

そして、配置領域管理テーブル１１６ｂのように、領域ＩＤがＴθ９−４である配置領域の角度（分割後）、角度（重み付け後）および分割数が更新される。すなわち、領域ＩＤがＴθ９−４よりも後方に位置する、領域ＩＤがＴθ５−８である配置領域の角度が、重み付けによって本来よりも小さく補正されて演算に利用される。これにより、より前方に位置する領域ＩＤがＴθ９−４の配置領域の方に仮想スピーカが優先的に追加され、その結果、前方の方位感が向上するようになる。

なお、図２６で説明した領域の数を４つ以上に設定してもよい。また、領域Ｋ１，Ｋ２，Ｋ３，Ｋ４毎に配置できる仮想スピーカの最大数を設定できるようにしてもよい。
第２の実施の形態の変形例によれば、音声処理装置１００は、配置領域の位置に基づいて仮想スピーカ間の角度に重み付けをすることで、ユーザ３０の所望の方向に仮想スピーカを多く配置することができる。仮想スピーカを多く配置すればユーザ３０から見た音源の方向とユーザ３０から見た仮想スピーカの方向との間の角度を小さくできる。よって、ユーザ３０が所望する方向に配置された複数の音源の音像の定位感が向上する。

なお、前述のように、第１の実施の形態の情報処理は、音声処理装置１にプログラムを実行させることで実現でき、第２の実施の形態の情報処理は、音声処理装置１００やユーザ端末２００にプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体（例えば、記録媒体１５）に記録しておくことができる。記録媒体としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、ＦＤおよびＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤおよびＤＶＤ−Ｒ／ＲＷが含まれる。

プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。また、プログラムを他のコンピュータの記憶装置に格納しておき、ネットワーク１０経由でプログラムを配布することもできる。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置（例えば、ＨＤＤ１０３）に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよく、他のコンピュータからネットワーク１０を介して受信したプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することも可能である。

１ 音声処理装置
２ スピーカ配置部
３ 音声合成部
４ 聴取者
５ａ，５ｂ，５ｃ，５ｄ 仮想音源
６ａ，６ｂ，６ｃ 仮想スピーカ
７ 円周
θ１，θ２，θ３，θ４ 角度

Claims (9)

1. 聴取者を中心とした円周上に、前記聴取者の周囲に配置された複数の仮想音源の数より少ない複数の仮想スピーカを配置するスピーカ配置部と、
   前記複数の仮想音源それぞれからの音声信号を前記複数の仮想スピーカのうち仮想音源毎に選択される１以上の仮想スピーカに分配し、前記各仮想スピーカの位置に対応する頭部伝達関数を用いて、前記各仮想スピーカに分配された音声信号を左右２チャネルの音声信号に合成する音声合成部と、
   を有し、
   前記スピーカ配置部は、
   前記聴取者から見て前記円周に沿った方向に隣り合う２つの仮想音源間の、前記聴取者を中心として前記円周に沿った方向の角度を算出し、
   前記聴取者を中心として前記円周に沿った方向の範囲のうち、算出された角度がしきい値以上となる仮想音源同士に挟まれ、かつ前記聴取者から見た当該各仮想音源の方向上の位置を含まない第１の範囲を、除く第２の範囲に、前記複数の仮想スピーカを配置する、
   ことを特徴とする請求項１記載の音声処理装置。
2. 前記しきい値は、３６０°を前記仮想スピーカの数で除算した値であることを特徴とする請求項１記載の音声処理装置。
3. 前記スピーカ配置部は、算出された角度が前記しきい値以上となる仮想音源のペアを特定し、前記聴取者から見て前記ペアに含まれる各仮想音源が位置する方向にそれぞれ仮想スピーカを配置し、残りの仮想スピーカを前記第２の範囲に分散させて配置することを特徴とする請求項１または２記載の音声処理装置。
4. 前記スピーカ配置部は、前記第２の範囲において、隣り合う２つの仮想スピーカそれぞれと、前記聴取者から見て当該２つの仮想スピーカの間に位置する仮想音源との前記円周に沿った方向の距離が小さくなるように、前記残りの仮想スピーカを前記第２の範囲に配置することを特徴とする請求項３記載の音声処理装置。
5. 前記スピーカ配置部は、前記ペアが複数特定された場合、前記聴取者から見て、特定された複数の前記ペアのそれぞれに含まれる各仮想音源が位置する方向にそれぞれ仮想スピーカを配置し、隣接する配置済みの仮想スピーカに挟まれた複数の範囲のうち、その両端以外の位置にも仮想音源が存在している第３の範囲を１つ以上特定し、特定された前記第３の範囲に未配置の仮想スピーカを分散させて配置することを特徴とする請求項３または４記載の音声処理装置。
6. 前記スピーカ配置部は、前記第３の範囲が複数特定された場合、特定された複数の前記第３の範囲それぞれにおける、隣り合う２つの仮想スピーカ間の前記聴取者を中心とした角度を算出して、算出された角度が最大である第３の範囲に仮想スピーカ間の間隔が均等になるように未配置の仮想スピーカを１つ配置する処理を、未配置の仮想スピーカが無くなるまで繰り返すことを特徴とする請求項５記載の音声処理装置。
7. 前記音声合成部は、特定された複数の前記第３の範囲それぞれにおける、隣り合う２つの仮想スピーカ間の前記聴取者を中心とした角度を算出する際、算出された角度に対し、対応する第３の範囲の位置に応じた重み付けを行うことを特徴とする請求項６記載の音声処理装置。
8. 聴取者を中心とした円周上に、前記聴取者の周囲に配置された複数の仮想音源の数より少ない複数の仮想スピーカを配置し、
   前記複数の仮想音源それぞれからの音声信号を前記複数の仮想スピーカのうち仮想音源毎に選択される１以上の仮想スピーカに分配し、前記各仮想スピーカの位置に対応する頭部伝達関数を用いて、前記各仮想スピーカに分配された音声信号を左右２チャネルの音声信号に合成する、
   処理を含み、
   前記複数の仮想スピーカの配置では、
   前記聴取者から見て前記円周に沿った方向に隣り合う２つの仮想音源間の、前記聴取者を中心として前記円周に沿った方向の角度を算出し、
   前記聴取者を中心として前記円周に沿った方向の範囲のうち、算出された角度がしきい値以上となる仮想音源同士に挟まれ、かつ前記聴取者から見た当該各仮想音源の方向上の位置を含まない第１の範囲を、除く第２の範囲に、前記複数の仮想スピーカを配置する、
   ことを特徴とする音声処理方法。
9. コンピュータに、
   聴取者を中心とした円周上に、前記聴取者の周囲に配置された複数の仮想音源の数より少ない複数の仮想スピーカを配置し、
   前記複数の仮想音源それぞれからの音声信号を前記複数の仮想スピーカのうち仮想音源毎に選択される１以上の仮想スピーカに分配し、前記各仮想スピーカの位置に対応する頭部伝達関数を用いて、前記各仮想スピーカに分配された音声信号を左右２チャネルの音声信号に合成する、
   処理を実行させ、
   前記複数の仮想スピーカの配置では、
   前記聴取者から見て前記円周に沿った方向に隣り合う２つの仮想音源間の、前記聴取者を中心として前記円周に沿った方向の角度を算出し、
   前記聴取者を中心として前記円周に沿った方向の範囲のうち、算出された角度がしきい値以上となる仮想音源同士に挟まれ、かつ前記聴取者から見た当該各仮想音源の方向上の位置を含まない第１の範囲を、除く第２の範囲に、前記複数の仮想スピーカを配置する、
   ことを特徴とする音声処理プログラム。

Images