JP2015080119A

JP2015080119A - 音像定位装置

Info

Publication number: JP2015080119A
Application number: JP2013216814A
Authority: JP
Inventors: 昌賢金子; Masayoshi Kaneko; 太白木原; Futoshi Shirokibara
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2013-10-17
Filing date: 2013-10-17
Publication date: 2015-04-23
Anticipated expiration: 2033-10-17
Also published as: JP6187131B2

Abstract

【課題】モノラル入力信号を３つのスピーカに振り分けて与えることで３次元空間内の音像定位を実現する際のパン係数の算出自由度を従来よりも向上させる。
【解決手段】球面上に配置され、かつ少なくとも１つは同一平面上にはない４つ以上のスピーカのうちから、各々を頂点とする球面三角形と入力オーディオ信号に対応する音像の受聴位置からの方向とが交差するように３つのスピーカを選択する。これら３つのスピーカのうちの２つのパンニングにより生成される仮想スピーカと残りの１つとのパンニングにより音像定位を実現するパン係数を、予め定められた複数種のゲイン配分関数のうちの何れかを用い、かつパン係数の指数和が一定となるように算出する。
【選択図】図１

Description

この発明は、モノラル入力信号に基づいて音像の定位感を再現する技術に関し、特に３次元空間内の音像定位を再現する技術に関する。

ステレオスピーカ（すなわち、左右一対のスピーカ）の各々にモノラルオーディオ信号を振り分けて与えるパンニングにより、音像をこれら２つのスピーカの間の任意の位置に定位させる技術が一般に知られている（例えば、特許文献１参照）。これに対して、３次元空間内での立体的な音像定位をステレオスピーカで現実感を持たせて再現することは難しく、３つのスピーカを用いることが一般的である。例えば、非特許文献１に開示の技術では、球面に沿って配置された３つのスピーカの位置ベクトル（図９におけるベクトルｌ_１、ｌ_２、ｌ_３）の線形結合で音像の定位位置ｐを表現したときの各ベクトルの重み係数（或いは二乗和一定に正規化した値）がパン係数として用いられている。以下、非特許文献１に開示の３次元パンニング方式を「ＶＢＡＰ方式」と呼ぶ。

特許４９１４１２４号

"Virtual Sound SourcePositioning Using Vector Base Amplitude Panning"（Pulkkiet.al., JAES Volume 45 Issue 6 pp. 456-466; June 1997 ）

しかし、ＶＢＡＰ方式には、３次元空間内の音像移動を再現しようとする場合に、音像移動の滑らかさに欠ける場合がある、といった問題があった。音像移動の滑らかさを向上させるためにパン係数の微調整を行えると便利であるが、ＶＢＡＰ方式では３つのスピーカの各々の位置と音像の定位位置とからパン係数が一意的に計算されるため、このような微調整を行うことができない。このため、音像の定位位置を本来の位置から無理やり変えるなどして対処するしかなかった。

本発明は以上に説明した課題に鑑みて為されたものであり、モノラルオーディオ信号を３つのスピーカに振り分けることで３次元空間内の音像定位を実現する際のパン係数の算出自由度を従来よりも向上させることを可能にする技術を提供することを目的とする。

上記課題を解決するために本発明は、３つ以上のスピーカのうちから３つのスピーカを選択する手段であって、入力オーディオ信号に対応する音像の受聴位置からの方向と選択した３つのスピーカの各々を頂点とする球面三角形とが交差するように３つのスピーカを選択するスピーカ選択手段と、前記スピーカ選択手段により選択された３つのスピーカのうちの２つのパンニングにより生成される仮想スピーカと前記３つのスピーカのうちの残りの１つとのパンニングにより前記入力オーディオ信号に対応する音像が前記受聴位置から見て前記方向に定位するように各スピーカのパン係数を算出し、前記入力オーディオ信号を増幅して当該３つのスピーカの各々に与える増幅器に当該パン係数をゲインとして設定するパン係数算出手段と、を備え、前記パン係数算出手段は、予め定められた複数種のゲイン配分関数のうちの何れかを用い、かつパン係数の指数和が一定となるように前記スピーカ選択手段により選択された３つのスピーカの各々についてのパン係数を算出することを特徴とする音像定位装置、を提供する。

上記３つ以上のスピーカの具体例としては、少なくとも１つが同一直線上にはない３つのスピーカ或いは少なくとも１つが同一平面上にはない４つ以上のスピーカが挙げられる。本発明においてパン係数を算出する際のゲイン配分関数は予め定められた複数種のうちの何れであっても良く、ユーザは好みに応じて何れかのゲイン配分関数を選択することができる。このようにゲイン配分関数の選択が可能であるため、本発明によれば、パン係数の算出自由度が従来よりも向上する。ここで、上記複数種のゲイン配分関数の具体例としては、ｓｉｎ則に従うゲイン配分関数やｔａｎ則に従うゲイン配分関数、線形則に従うゲイン配分関数、距離則に従うゲイン配分関数などが挙げられる。これら各ゲイン配分関数の詳細については実施形態の説明において明らかにするが、ｓｉｎ則に従うゲイン配分関数を用いることでＶＢＡＰに比較して３次元空間内における音像移動をより滑らかに再現することが可能になる。なお、本発明の別の態様としては、ＣＰＵ（Central Processing Unit）などのコンピュータを上記各手段として機能させるプログラムを提供する態様が考えられる。また、このようなプログラムの具体的な提供態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。

より好ましい態様においては、前記パン係数算出手段は、前記仮想スピーカの生成に用いる２つのスピーカの選択の仕方に関する全ての組み合わせ（すなわち、各々異なる３つのものから２つを選択する際の全ての組み合わせ、すなわち、３通り組み合わせ）の各々について前記スピーカ選択手段により選択された３つのスピーカのパン係数を算出し、当該組み合わせ毎に算出された各パン係数をスピーカ毎に平均して各スピーカに対応する増幅器に与えるパン係数を算出することを特徴とする。上記３通りのパン係数は必ずしも一致せず、音像定位の再現性に優劣が生じる。このため、最も良好な定位感が得られるパン係数を選択することが最良であるが、何れが最良であるのか（換言すれば、最初にどのスピーカを選択して仮想スピーカを生成すれば良いか）を特定することが容易ではない場合があり、また、定位対象の音像が移動している場合には仮想スピーカの生成に好適なスピーカの組み合わせが時々刻々と変化する場合がある。本発明のように、３通りのパン係数をスピーカ毎に平均して各スピーカに与えるパン係数とするようにすれば、最良のパン係数を得られないかもしれないが、最悪のパン係数となってしまうことが回避され、ほぼ満足のゆく定位感を得られると考えられる。

さらに別の好ましい態様においては、前記入力オーディオ信号に対応付けて当該信号の表す音像の各時刻における位置を示す位置情報が入力された場合には、前記スピーカ選択手段は、前記受聴位置から見た当該音像の方向を当該位置情報に基づいて特定しその特定結果に応じて３つのスピーカを選択する処理を時刻毎に実行し、前記パン係数算出手段は前記スピーカ選択手段により３つのスピーカが選択される毎に各スピーカのパン係数を算出することを特徴とする。近年では、ある音源の音波形を表すモノラルオーディオ信号にその音源の位置（或いは受聴者から見た方向）を示す位置情報を対応付けてオブジェクト化することが提案されている。本態様によれば、オブジェクト化された音源に対応する音像の３次元空間内での定位（或いは移動）の実現に好適である。

さらに別の好ましい態様においては、前記パン係数算出手段は、前記スピーカ選択手段により選択された３つのスピーカの各々についてのパン係数を算出する際に用いるゲイン配分関数と前記指数和を算出する際のゲイン指数のうち少なくとも一方を前記入力オーディオ信号の表す音の質に応じて設定することを特徴とする。一般に、音源のオブジェクト化は音源毎に行われることが多く、この点において複数の音源の音を表すトラックベースのオーディオ信号とは異なる。このような態様によれば、オブジェクト化された音源に対応する音像をその音の質に応じた最適な定位感を再現することが可能になる。

さらに好ましい態様においては、前記パン係数算出手段は、音像の移動量が予め定められた閾値を超える場合にパン係数を算出し直すことを特徴とする。音像の移動量が予め定めた閾値以下の場合（すなわち、音像がほとんど移動していない場合）には、パン係数を再計算する必要はなく、このような態様によれば無駄な演算が行われることを回避することができる。

さらに別の好ましい態様においては、前記パン係数算出手段は、受聴位置から見た音像までの距離に応じて各スピーカのパン係数を補正することを特徴とする。このような態様によれば、音像からの距離感を再現しつつ３次元空間における音像定位（或いは音像移動）を実現することが可能になる。

本発明の第１実施形態の音像定位装置１Ａの構成例を示す図である。音像定位装置１Ａの制御部１０が実行する処理の流れを示すフローチャートである。ゲイン配分関数を説明するための図である。各ゲイン配分関数にしたがって算出されるパン係数の一例を示す図である。ＶＢＡＰを用いて算出されるパン係数の一例を示す図である。音像定位装置１Ａにより算出されるパン係数の一例を示す図である。本発明の第２実施形態の音像定位装置１Ｂの構成例を示す図である。音像定位装置１Ｂの制御部１０が実行する処理の流れを示すフローチャートである。ＶＢＡＰを説明するための図である。

以下、図面を参照しつつ、本発明の実施形態について説明する。
（Ａ：第１実施形態）
図１は本発明の第１実施形態の音像定位装置１Ａの構成例を示す図である。
この音像定位装置１Ａは、ある音源の音波形を表すモノラルオーディオ信号を受け取り、３次元空間内に配置されたスピーカＳＰ−ｎ（ｎ＝１〜Ｎ：Ｎは３以上の整数）に当該モノラルオーディオ信号を振り分けることで上記３次元空間内の音像定位を実現する装置である。ここで、スピーカＳＰ−ｎ（ｎ＝１〜Ｎ）の各々は、ある球面に沿って配置され、かつ少なくとも１つは同一平面上に位置しないように配置されている。例えば、Ｎ＝６の場合のスピーカＳＰ−ｎ（ｎ＝１〜Ｎ）の具体例としては、受聴者を中心とする半径Ｒ（以下、説明を簡単化するためＲ＝１とする）の円周に沿って配置される５つのスピーカ（受聴者の正面に配置されるセンタスピーカ、同受聴者から見て正面左側および右側に配置される左右のフロントスピーカ、同受聴者から見て後方左側および右側に配置される左右のサラウンドスピーカ）と同受聴者の頭上に高さＲ（＝１）の位置に配置される天井スピーカの各スピーカが挙げられる。この場合、天井スピーカが上記同一平面上にはないスピーカに該当する。

音像定位装置１Ａには、デジタル形式のモノラルオーディオ信号（すなわち、音源の音波形を所定のサンプリング周期でサンプリングして得られるサンプル列）が与えられるとともに各時刻における音源の位置を示す位置情報が与えられる。以下、位置情報とその位置情報により音源の位置が表されるモノラルオーディオ信号の対のことを「音源オブジェクト」と呼ぶ。ここで、位置情報の具体例としては、モノラルオーディオ信号を所定サンプル数ずつ区切って得られる各フレーム（或いは所定数フレームおきの各フレーム）の先頭からの通し番号（フレーム番号）とそのフレーム番号に対応する時刻（モノラルオーディオ信号の先頭を起算点とする時刻）における音源の位置を表す座標情報（本実施形態では上記受聴位置を原点とする座標情報）とを対応付けたものが挙げられる。

音像定位装置１Ａは、図１に示すように、制御部１０、記憶部２０、および増幅器３０−ｎ（ｎ＝１〜Ｎ）を含んでいる。音源オブジェクトに含まれるモノラルオーディオ信号は音像定位装置１Ａ内でＮ分流され、このようにして得られたＮ個のオーディオ信号の各々は増幅器３０−ｎ（ｎ＝１〜Ｎ）の各々による増幅を経てスピーカＳＰ−ｎに与えられる。音源オブジェクトに含まれる位置情報は制御部１０に与えられる。制御部１０は、例えばＣＰＵであり、音像定位装置１Ａの制御中枢として機能する。制御部１０は、位置情報の示す移動軌跡に沿って上記モノラルオーディオ信号に対応する音像が３次元空間内を移動するように、増幅器３０−ｎ（ｎ＝１〜Ｎ）のゲインを設定する処理（図１におけるスピーカ選択処理およびパン係数算出処理）を記憶部２０に記憶されている制御プログラム（図１では図示略）にしたがって実行する。スピーカ選択処理およびパン係数算出処理の処理内容の詳細については、重複を避けるため後に明らかにする。

記憶部２０は、例えばＲＡＭ（Random Access Memory）などにより構成された揮発性記憶部とフラッシュＲＯＭ（Read Only Memory）などにより構成された不揮発性記憶部とを含んでいる（図１では何れも図示略）。揮発性記憶部は、制御プログラムを実行する際のワークエリアとして制御部１０によって利用される。不揮発性記憶部には、前述した制御プログラム（図１では図示略）が記憶されている他、スピーカ位置情報、ゲイン配分関数情報およびゲイン指数情報が予め記憶されている。スピーカ位置情報とは、スピーカＳＰ−ｎ（ｎ＝１〜Ｎ）の各々の上記３次元空間における配置位置を示す座標情報（上記受聴位置を原点とする座標情報）である。ゲイン配分関数情報およびゲイン指数情報の詳細についても重複を避けるための後に明らかにする。
以上が音像定位装置１Ａの構成である。

図２は、制御プログラムにしたがって制御部１０が実行する処理の流れを示すフローチャートである。制御プログラムにしたがって作動している制御部１０は、音源オブジェクトに含まれるモノラルオーディオ信号の先頭フレームから順に処理対象フレームを１つずつ選択し、スピーカ選択処理（図２：ＳＡ１１０）およびパン係数算出処理（図２：ＳＡ１２０）を実行する。

スピーカ選択処理ＳＡ１１０は、処理対象フレームに対応する時刻において、音源オブジェクトに対応する音像を生成する際に好適な３つのスピーカをスピーカＳＰ−ｎ（ｎ＝１〜Ｎ）のうちから選択する処理である。
スピーカ選択処理ＳＡ１１０の処理内容は以下の通りである。

スピーカ選択処理ＳＡ１１０では、制御部１０は、まず、処理対象フレームに対応する時刻における音像の定位位置を音源オブジェクトに含まれる位置情報を参照して特定する。例えば、各フレームのフレーム番号とそのフレーム番号に対応する時刻における音源の位置を表す座標情報とを対応付けた位置情報が用いられている場合には、制御部１０は、処理対象フレームのフレーム番号に対応する座標情報の示す位置を音像の定位位置として特定する。また、所定数フレームおきの各フレームのフレーム番号とそのフレーム番号に対応する時刻における音源の位置を表す座標情報とを対応付けた位置情報が用いられている場合には、制御部１０は、座標情報を対応付けられたフレーム番号のうちで処理対象フレームのフレーム番号に最も近いものを特定し、このようにして特定されたフレーム番号に対応する座標情報の示す位置を処理対象フレームに対応する時刻における音像の定位位置として特定する。なお、処理対象フレームの前後に座標情報を対応付けられたフレームが有る場合には、処理対象フレームに対応する時刻における音像の定位位置を補間により求めても良い。

次いで、制御部１０は、上記の要領で特定した音像の定位位置とスピーカ位置情報の示す各スピーカの位置とから、受聴位置から見た音像の方向（以下、目標音像方向）と各々を頂点とする球面三角形（スピーカＳＰ−ｎが配置されている球面の一部）とが交差するように３つのスピーカを選択する。３つのスピーカの各々を頂点とする球面三角形と目標音像方向とが交差するか否かについては、例えば、Tomas Moellerの交差判定法等の既存技術を用いれば効率的に判定することができる。なお、上記球面の半径が充分に大きい場合には上記球面三角形を平面三角形で近似しても良い。
以上がスピーカ選択処理の処理内容である。

スピーカ選択処理ＳＡ１１０に後続して実行されるパン係数算出処理ＳＡ１２０では、制御部１０は、スピーカ選択処理ＳＡ１１０にて選択された３つのスピーカに与えるオーディオ信号のゲイン（すなわち、パン係数）を、音像の定位位置、スピーカ位置情報、ゲイン配分関数情報、およびゲイン指数情報に基づいて算出し、増幅器３０−ｎ（ｎ＝１〜Ｎ）のうちの該当するものに設定する。なお、スピーカＳＰ−ｎ（ｎ＝１〜Ｎ）のうちスピーカ選択処理ＳＡ１１０にて選択されなかったものに対応する増幅器３０−ｎに対しては、制御部１０はゲインとして０を設定する。例えば、スピーカ選択処理ＳＡ１１０において、スピーカＳＰ−１、ＳＰ−２およびＳＰ−３が選択された場合には、増幅器３０−ｎ（ｎ＝１〜３）の各々には、スピーカ位置情報等に基づいて算出されたパン係数ｇ_ｎがゲインとして設定され、増幅器３０−ｎ（ｎ＝４〜Ｎ）にはゲインとして０が設定されるといった具合である。以下、スピーカ位置情報等に基づいてパン係数を算出する処理の処理内容を詳細に説明する。

制御部１０は、まず、スピーカ選択処理ＳＡ１１０にて選択された３つのスピーカのうちの２つのパンニングにより生成される仮想スピーカと残りの１つのスピーカとのパンニングにより、音源オブジェクトに対応する音像の定位が実現されるように各スピーカのパン係数を算出する処理を、仮想スピーカの生成に用いる２つのスピーカについての全ての組み合わせの各々について実行する。例えば、スピーカ選択処理にてスピーカＳＰ−１、ＳＰ−２およびＳＰ−３が選択された場合には、制御部１０は、スピーカＳＰ−１とＳＰ−２により仮想スピーカを生成する場合、スピーカＳＰ−１とＳＰ−３により仮想スピーカを生成する場合、およびスピーカＳＰ−２とＳＰ−３により仮想スピーカを生成する場合の各々についてパン係数ｇ_ｎ（ｎ＝１〜３）を算出する。

上記３通りの組み合わせの各々について制御部１０が実行する処理の内容は次の通りである。例えば、仮想スピーカの生成に用いる２つのスピーカの組み合わせがスピーカＳＰ−１とＳＰ−２とである場合、制御部１０は、まず、スピーカＳＰ−１の位置とスピーカＳＰ−２の位置を通る円弧（スピーカＳＰ−ｎの各々が配置される球面に沿った円弧、以下、第１の円弧）と、スピーカＳＰ−３の位置と音像の定位位置を通る第２の円弧（スピーカＳＰ−ｎの各々が配置される球面に沿った円弧）との交点を仮想スピーカの位置とし、その位置を表す座標情報を算出する。なお、上記球面の半径が充分に大きい場合には上記第１および第２の円弧を直線で近似しても良い。

次いで、制御部１０、仮想スピーカ生成のためのパン係数ｇ_１とパン係数ｇ_２の比ｒ（例えば、ｒ＝ｇ_１／ｇ_２）を以下の数１にしたがって算出する。ここで、数１の左辺ｆ（ｐ_１、ｐ_２、ｐ）はゲイン配分関数情報の表すゲイン配分関数であり、ｐ_１はスピーカＳＰ−１の位置座標、ｐ_２はスピーカＳＰ−２の位置座標、ｐは仮想スピーカの位置座標である。

ゲイン配分関数ｆ（ｐ_１、ｐ_２、ｐ）としてどのようなものを用いるのかについては種々の態様が考えられる。例えば、スピーカ位置情報および仮想スピーカの位置から求まる図３における角度φおよびφ₀を用いて以下の数２にように定義されたゲイン配分関数を用いることが考えられる。図３を参照すれば明らかように、角度φ_０は受聴者から見てスピーカＳＰ−１とスピーカＳＰ−２の為す角度の半分の値であり、角度φは受聴者から見てスピーカＳＰ−１とスピーカＳＰ−２の為す角度を等分する方向を基準方向とした場合の仮想スピーカの方向を表す角度である。以下、数２に示すゲイン配分関数を「ｓｉｎ則のゲイン配分関数」と呼ぶ。

数２に示すｓｉｎ則のゲイン配分関数に代えて数３に示す「ｔａｎ則のゲイン配分関数」を用いても良く、また、数４に示す「線形則のゲイン配分関数」や、「数５に示す距離則のゲイン配分関数」を用いても良い。なお、数５右辺におけるｍは、ｐ_１とｐ_２を結ぶ線分上にｐを射影した点をｐ´とした場合の線分ｐ_１ｐ´と線分ｐ´ｐ_２の比（ｍ：１−ｍ）を表す値である。

本実施形態では、上記各種ゲイン配分関数のうちの「ｓｉｎ則のゲイン配分関数」の関数式を表す情報がゲイン配分関数情報として記憶部２０に予め格納されている。本実施形態においてｓｉｎ則のゲイン配分関数を採用した理由は以下の通りである。

図４は、ＶＢＡＰにより求まるパン係数、ｓｉｎ則のゲイン配分関数にしたがって算出されるパン係数、ｔａｎ則のゲイン配分関数にしたがって算出されるパン係数、線形則のゲイン配分関数にしたがって算出されるパン係数、および距離則のゲイン配分関数にしたがって算出されるパン係数の各々を時間の関数としてプロットした図である。なお、図４に示す各パン係数は、前述した６個のスピーカ（センタ、左右フロント、左右サラウンドおよび天井の各スピーカ）を受聴者からの距離を一定（例えば、１）として配置し、音像を高さ１かつ半径１の円周に沿って半時計回りに移動させたときの左サラウンドスピーカのパン係数である。

図４に示すように、各パン係数の時間変化を表すグラフ曲線は互いに異なっている。したがって、ｓｉｎ則、ｔａｎ則、線形則および距離則の何れのゲイン配分関数を採用したとしても本実施形態の音像定位装置１Ａにより算出されるパン係数はＶＢＡＰにより算出されるパン係数とは異なる。このことから、本願発明がＶＢＡＰとは異なる技術であることが判る。また、図４を参照すれば明らかなように、ｓｉｎ則によるものの立ち上がりが最も滑らかになっている。パン係数の立ち上がりが滑らかであるほど、音像が滑らかに移動する聴感が得られる。このため、本実施形態では、ｓｉｎ則のゲイン配分関数が採用されているのである。なお、上記各ゲイン配分関数の関数式を参照すれば明らかように、線形則のゲイン配分関数を採用すれば他のものより少ない演算量でパン係数（或いはパン係数比）を算出することができる。このため、演算量の少なさが優先される場合には、線形則によるものを採用すれば良い。

次いで、制御部１０は、スピーカ選択処理ＳＡ１１０にて選択された３つのスピーカのうちの残りの１つ（本動作例では、スピーカＳＰ−３）と上記仮想スピーカとのパンニングにより音源オブジェクトに対応する音像の定位が実現されるように当該残りのスピーカのパン係数ｇ_３と仮想スピーカのパン係数ｇ_ｖの比ｒ´（ｒ´＝ｇ_ｖ／ｇ_３）を前掲数１にしたがって算出する。具体的には、制御部１０は、数１におけるｐ_１を仮想スピーカの位置座標、ｐ_２をスピーカ位置情報の表すスピーカＳＰ−３の位置座標、およびｐを音像の位置座標として数１の左辺の演算を行い、その演算結果をパン係数比ｒ´とする。なお、本実施形態では、ｇ_ｖをｇ_１とｇ_２のｋ次の指数平均に等しい値（すなわち、ｇ_ｖ ^ｋ＝ｇ_１ ^ｋ＋ｇ_２ ^ｋを満たす値）とする。ここで、指数平均の次数ｋについては適宜実験等により好適な値を定めるようにすれば良い。

次いで、制御部１０は、以下の数６を満たすように各スピーカに与えるオーディオ信号のゲイン（パン係数）ｇ_ｎ（ｎ＝１〜３）を算出する。数６における左辺のＸがゲイン指数であり、前述したゲイン指数情報は当該ゲイン指数Ｘを表す情報である。なお、数６左辺のΣ記号は、スピーカ選択処理にて選択された３つのスピーカを対象としてゲインｇ_ｎの指数和を算出することを意味する。本実施形態では、ゲイン指数情報としてＸ＝２を表すデータが記憶部２０に予め格納されている。制御部１０は、ｇ_３＝ｒ´×ｇ_ｖおよびｇ_ｖ ^ｋ＝ｇ_１ ^ｋ＋ｇ_２ ^ｋの各関係式に基づいてｇ_１およびｇ_２を用いて表したｇ_３、およびｇ_２＝ｒ×ｇ_１を数６の左辺に代入してｇ１の値を算出する。そして、制御部１０は、このようにして算出したｇ_１に基づいてｇ_２およびｇ_３の各値を求める。なお、数６の右辺の値についても適宜実験等を行って好適な値に定めるようにすれば良い。

そして、制御部１０は、このようにして算出したパン係数ｇ_ｎ（ｎ＝１〜３）を記憶部２０の揮発性記憶部内の所定の記憶領域に書き込む。以上に説明した処理が上記３通りの組み合わせの各々について実行される。

上記の要領で各組み合わせについてのパン係数の算出が完了すると、制御部１０は、上記３通りの組み合わせの各々に対して算出されたパン係数ｇ_ｎ（ｎ＝１〜３）をスピーカ毎に平均し、その平均結果を各スピーカのパン係数ｇ_ｎとして増幅器３０−ｎに設定する。すなわち、制御部１０は、上記３通りの組み合わせの各々におけるパン係数ｇ_１の平均を増幅器３０−１に設定し、パン係数ｇ_２の平均を増幅器３０−２に設定し、パン係数ｇ_３の平均を増幅器３０−３に設定する。上記３通りの組み合わせの各々に対して算出されたパン係数ｇｎ（ｎ＝１〜３）のスピーカ毎の平均の仕方については相加平均や相乗平均などの種々の態様が考えられるが、本実施形態では前述したｋ次の指数平均が採用されている。

ここで注目すべき点は、音源オブジェクトに対応する音像の定位の実現には、仮想スピーカの生成に用いる２つのスピーカの組み合わせの各々に対して算出される３通りのパン係数のうちの何れかが最良であると考えられるものの、本実施形態では最良のものを探し出すことは行わず、これら３通りのパン係数をスピーカ毎に平均して各スピーカに与えるパン係数を決定する点である。このようにした理由は以下の通りである。音像定位の実現には上記の要領で算出される３通りのパン係数のうちの何れかが最良であるものの、何れが最良であるのか（換言すれば、最初にどのスピーカを選択して仮想スピーカを生成すれば良いか）を探し出すことは容易ではない場合があり、また、定位対象の音像が移動している場合には、仮想スピーカの生成に好適なスピーカの組み合わせは時々刻々と変化し得る。本実施形態のように、３通りのパン係数をスピーカ毎に平均して各スピーカに与えるパン係数とするようにすれば、最良のパン係数を得られないかもしれないが、最悪のパン係数となってしまうことが回避される。これが、３通りのパン係数をスピーカ毎に平均して各スピーカのパン係数を決定する理由である。
以上がパン係数算出処理ＳＡ１２０の内容である。

図２に示すように、パン係数算出処理ＳＡ１２０を完了すると、制御部１０は、後続フレームがあるか否かを判定し（ステップＳＡ１３０）、後続フレームがある場合（ステップＳＡ１３０：Ｙｅｓ）には、ステップＳＡ１１０以降の処理を再度実行する。一方、増幅器３０−ｎ（ｎ＝１〜Ｎ）の各々は、入力されたモノラルオーディオ信号をパン係数算出処理ＳＡ１２０にて設定されたパン係数に応じたゲインで増幅してスピーカＳＰ−ｎに出力し、スピーカＳＰ−ｎからは当該信号に応じた音が放射される。これにより、上記３次元空間内の音像の移動が実現される。

図５はＶＢＡＰを用いて算出されるパン係数の一例を示す図であり、図６は本実施形態の音像定位装置１Ａにより算出されるパン係数の一例を示す図である。図５および図６には、前述した６個のスピーカ（センタ、左右フロント、左右サラウンドおよび天井の各スピーカ）を受聴者からの距離を一定（例えば、１）として配置し、音像を高さ１かつ半径１の円周に沿って半時計回りに５周移動させたときの各スピーカのパン係数が図示されている。図６と図５における左右の各サラウンドスピーカのパン係数を対比すれば明らかなように、本実施形態によれば、ＶＢＡＰに比較して滑らかに立ち上がるパン係数が得られる。このため、本実施形態によれば、ＶＢＡＰに比較してより滑らかに音像を移動させることができる。また、本実施形態においてパン係数の算出の際に用いるゲイン配分関数はｓｉｎ則のものに限定される訳ではなく、音像定位装置１Ａのユーザが自由に設定することができる。前述したように、距離則のゲイン配分関数を採用すれば演算量を削減することができる。同様にゲイン指数Ｘは２に限定されるものではなく、１など他の値を用いる様にしても良い。

以上説明したように本実施形態によれば、モノラル入力信号を３つのスピーカに振り分けて与えることで３次元空間内の音像定位を実現する際のパン係数の算出自由度を従来よりも向上させることが可能になる。なお、本実施形態ではゲイン配分関数情報およびゲイン指数情報が予め記憶部２０に記憶されていたが、音像定位装置１Ａの操作部に対する操作によりユーザにこれら各種情報を入力させるようにしても良い。

（Ｂ：第２実施形態）
図７は本発明の第２実施形態の音像定位装置１Ｂの構成例を示す図である。図７では図１におけるものと同一の構成要素には同一の符号が付されている。図７と図１とを対比すれば明らかなように、音像定位装置１Ｂの構成は、以下の２つの点において音像定位装置１Ａの構成と異なる。一点目は、スピーカ選択処理およびパン係数算出処理に加えてゲイン指数決定処理を制御部１０に実行させる点である。そして、二点目は、音像定位装置１Ｂの記憶部２０には、ゲイン指数情報が記憶されていない点である。以下、上記第１実施形態との相違点を中心に説明する。

図８は、音像定位装置１Ｂの制御部１０が制御プログラムにしたがって実行する処理の流れを示すフローチャートである。図８に示すように、ゲイン指数決定処理は、スピーカ選択処理ＳＡ１１０に先立って実行される処理である（図８：ステップＳＡ１００）。なお、本実施形態ではゲイン指数決定処理をスピーカ選択処理ＳＡ１１０に先だって実行する場合について説明するが、スピーカ選択処理ＳＡ１１０と実行順を入れ替えても良く、また両者を並列に実行しても良い。要は、パン係数算出処理ＳＡ１２０に先だってゲイン指数決定処理が実行される態様であれば良い。

ゲイン指数決定処理ＳＡ１００では、制御部１０は、モノラルオーディオ信号を１フレームずつ解析し、当該フレームサイズ毎にその解析結果に応じて当該音源オブジェクトに対応する音像の定位させるためのパン係数の算出の際に使用するゲイン指数Ｘを決定する。例えば、上記モノラルオーディオ信号の表す音が純音のような自己相関の大きい信号であれば、前掲数６のゲイン指数Ｘに１をセットし、白色雑音のような自己相関の小さい信号であれば同ゲイン指数Ｘに２をセットとする、といった具合である。このようなことを実現するには、上記自己相関値についての閾値を予め定めておき、モノラルオーディオ信号から計算される自己相関値が当該閾値を上回っていた場合にはゲイン指数Ｘを１とし、当該閾値以下であった場合には、ゲイン指数Ｘを２とする処理を制御部１０に実行させるようにすれば良い。自己相関の大きい信号の場合にゲイン指数Ｘを１とし、逆に自己相関の小さい信号の場合にゲイン指数Ｘを２とするのは、このようにすることで良好な定位感を得られることが実験により確かめられたからである。なお、フレーム間でゲイン指数が滑らかに変化するように適宜補間を行うようにしても良い。

ゲイン指数決定処理ＳＡ１００の実行を完了すると、制御部１０は、図８に示すように、ステップＳＡ１１０以降の処理を実行し、ステップＳＡ１３０の判定結果がＹｅｓである場合には、ステップＳＡ１００以降の処理を再度実行する。このため、本実施形態によっても、前述した第１実施形態と同様の効果が得られる。加えて、本実施形態によれば、ゲイン指数を音声オブジェクトの音の質の違いに応じて切り替え、音の質に応じて最適な定位感を再現することが可能になる。なお、本実施形態では、定位対象の音像の音の質に応じてゲイン指数Ｘを切り換える場合について説明したが、ゲイン指数Ｘの切り替えに加えて（或いはゲイン指数Ｘの切り替えに代えて）ゲイン配分関数を定位対象の音像の音の質に応じて切り替えるようにしても良い。要は、純音性のような音の質に応じてゲイン指数Ｘとゲイン配分関数の少なくとも一方をセットする態様であれば良い。ここで、純音性とは、音の純音らしさをいい、純音とは、音波形が正弦波で表され、基本周波数以外の周波数成分を含まない音のことをいう。純音性は、音波形の自己相関によって表すことができ、自己相関が高いほど純音性は高い。前述したように、音波形の自己相関値が上記閾値を上回っている場合に純音と見做す、といった具合である。また、本実施形態では、モノラルオーディオ信号を解析してその信号の表す音の質を特定したが、モノラルオーディオ信号に音の質を表すラベル情報を対応付けておき、当該ラベル情報を参照してゲイン指数の切り替え（或いはゲイン配分関数の切り替え）を行っても良い。

（Ｃ：変形）
以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）上記各実施形態では、仮想スピーカの生成に用いる２つのスピーカの選択の仕方に関する全ての組み合わせの各々について算出されたパン係数をスピーカ毎に平均して増幅器３０−ｎに与えるパン係数を算出した。しかし、上記３通りのパン係数のうちの何れかをユーザに選択させ、ユーザにより選択されたパン係数を増幅器３０−ｎに与えるようにしても良く、この場合は上記平均の算出を省略可能である。また、スピーカ選択処理ＳＡ１１０において音像定位に好適な３つのスピーカが複数組存在する場合には、それらのうちで音像の定位位置が球面三角形の重心に最も近いものを選択し、定位位置と当該重心との距離が予め定められた閾値以下である場合（換言すれば、上記定位位置と重心とがほぼ重なっている場合）には、上記平均の算出を省略しても良い。音像の定位位置と球面三角形の重心とがほぼ重なっている場合には、前述した３通りの組み合わせについて略同じパン係数が算出されるからである。

（２）上記実施形態では、受聴位置から見た音像の方向に応じて当該音像の定位に用いる３つのスピーカを特定し、さらに各スピーカのパン係数を算出した。これに加えて、各時刻における受聴位置から音像までの距離に応じてパン係数を補正する処理をパン係数算出処理に含めておいても良い。このような態様によれば、受聴位置から音像までの距離感を再現することが可能になる。

（３）上記実施形態では、音像の移動量とは無関係にスピーカ選択処理ＳＡ１１０により３つのスピーカが選択される毎にパン係数を算出し直したが、音像の移動量（前回のパン係数算出時点での音像の定位位置と今回の定位位置との距離）が予め定められた閾値を超える場合にパン係数を算出し直すようにしても良い。なお、上記閾値については適宜実験を行って好適な値に定めるようにすれば良い。本態様によれば、音像がほとんど移動せず、パン係数の算出が不必要な場合にはその算出を省略し、演算量を大幅に削減することができる。

（４）上記第１実施形態では、制御部１０を、スピーカ選択処理ＳＡ１１０を実行するスピーカ選択手段およびパン係数算出処理ＳＡ１２０を実行するパン係数算出手段として機能させる制御プログラムが記憶部２０に予め記憶されていた。しかし、当該制御プログラムをＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより当該プログラムを配布しても良い。このようにして配布されるプログラムにしたがって一般的なコンピュータを作動させることで、当該コンピュータを音像定位装置１Ａとして機能させることが可能になるからである。なお、第２実施形態の制御プログラムについても上記の要領で配布しても良い。

また、上記スピーカ選択手段およびパン係数算出手段の各手段を電子回路などのハードウェアモジュールでこれら各手段を構成しても良い。第２実施形態についても同様に、同様に、スピーカ選択手段と、ゲイン指数決定処理およびパン係数算出処理を実行するパン係数算出手段とを電子回路などのハードウェアで構成しても良い。また、上記各実施形態では、オーディオ信号を増幅して各スピーカに与える増幅器が音像定位装置に含まれていたが、これら増幅器を音像定位装置とは別個のハードウェアとしても良い。同様に、記憶部２０の不揮発性記憶部を音像定位装置とは別個のハードウェア（例えば、音像定位装置の制御部がアクセス可能なネットワーク対応のハードディスクなど）としても良い。要は、本発明の音像定位装置は、上記スピーカ選択手段とパン係数算出手段とを有するものであれば良い。

（５）上記各実施形態では、音像定位装置１Ａ（或いは音像定位装置１Ｂ）に接続されるＮ個のスピーカが受聴位置を中心とする球面に沿って配置されている場合について説明した。しかし、上記Ｎ個のスピーカが同一球面に乗っていることは必ずしも必須ではない。音像定位装置１Ａ（或いは音像定位装置１Ｂ）に接続されるＮ個のスピーカは、少なくとも１つが同一直線上にはない３つのスピーカ或いは少なくとも１つが同一平面上にはない４つ以上のスピーカなど３つ以上のスピーカであれば良い。

音像定位装置１Ａ（或いは音像定位装置１Ｂ）に接続されるＮ個のスピーカが同一球面に乗っていない場合であっても、各スピーカに与えるオーディオ信号のディレイと音量レベルを受聴位置からスピーカまでの距離に応じてスピーカ毎に補正することで、各スピーカが同一球面に乗っていると見做して本発明による３次元パンニングを適用することが可能だからである。具体的には、各スピーカの位置を受聴位置を中心とする所定半径の球面に射影し、各スピーカに与えるオーディオ信号の音量レベルとディレイを当該球面上にスピーカが乗っている場合と等価になるように補正した上で本発明３次元パンニングを適用すれば良い。例えば、受聴位置から見てスピーカが上記球面よりも遠くにある場合（すなわち、球面の外側にある場合）には音量を上げてディレイを減らす（実際には他のスピーカのディレイを増やす）一方、逆に、球面の内側にある場合には音量を下げてディレイを増やす、といった具合である。

音像定位装置１Ａ（或いは音像定位装置１Ｂ）と上記Ｎ個のスピーカとを含むオーディオシステムをユーザのリビングなどに構築する場合、スペースの関係上、各スピーカを受聴位置を中心とする１つの球面上に配置することが難しい場合がある。このような場合であっても、本態様によれば、３次元空間内の音像定位を実現する際のパン係数の算出自由度を従来よりも向上させ、より自然な定位感の再現やより滑らかな音像移動を実現することが可能になる。なお、上記各実施形態のように、音像定位装置１Ａ（或いは音像定位装置１Ｂ）に接続されるＮ個のスピーカの各々を受聴位置を中心とする１つの球面上に配置する態様であれば、各スピーカに与えるオーディオ信号の音量レベルやディレイの補正を行う必要はなく、このような補正を行う態様に比較して少ない演算量で自然な定位感の再現やより滑らかな音像移動を実現することが可能になる。

１Ａ、１Ｂ…音像定位装置、１０…制御部、２０…記憶部、３０，３０−ｎ（ｎ＝１〜Ｎ）…増幅器。ＳＡ１００…ゲイン指数決定処理、ＳＡ１１０…スピーカ選択処理、ＳＡ１２０…パン係数算出処理。

Claims

３つ以上のスピーカのうちから３つのスピーカを選択する手段であって、入力オーディオ信号に対応する音像の受聴位置からの方向と選択した３つのスピーカの各々を頂点とする球面三角形とが交差するように３つのスピーカを選択するスピーカ選択手段と、
前記スピーカ選択手段により選択された３つのスピーカのうちの２つのパンニングにより生成される仮想スピーカと前記３つのスピーカのうちの残りの１つとのパンニングにより前記入力オーディオ信号に対応する音像が前記受聴位置から見て前記方向に定位するように各スピーカのパン係数を算出し、前記入力オーディオ信号を増幅して当該３つのスピーカの各々に与える増幅器に当該パン係数をゲインとして設定するパン係数算出手段と、
を備え、
前記パン係数算出手段は、予め定められた複数種のゲイン配分関数のうちの何れかを用い、かつパン係数の指数和が一定となるように前記スピーカ選択手段により選択された３つのスピーカの各々についてのパン係数を算出する
ことを特徴とする音像定位装置。
前記パン係数算出手段は、前記仮想スピーカの生成に用いる２つのスピーカの選択の仕方に関する全ての組み合わせの各々について前記スピーカ選択手段により選択された３つのスピーカのパン係数を算出し、当該組み合わせ毎に算出された各パン係数をスピーカ毎に平均して各スピーカのパン係数を算出することを特徴とする請求項１に記載の音像定位装置。
前記入力オーディオ信号に対応付けて当該信号の表す音像の各時刻における位置を示す位置情報が入力された場合には、前記スピーカ選択手段は、前記受聴位置から見た当該音像の方向を当該位置情報に基づいて特定しその特定結果に応じて３つのスピーカを選択する処理を時刻毎に実行し、前記パン係数算出手段は音像の移動量が予め定められた閾値を超える場合にパン係数を算出し直すことを特徴とする請求項１または請求項２に記載の音像定位装置。
前記パン係数算出手段は、前記スピーカ選択手段により選択された３つのスピーカの各々についてのパン係数を算出する際に用いるゲイン配分関数と前記指数和を算出する際のゲイン指数のうち少なくとも一方を前記入力オーディオ信号の表す音の質に応じて設定することを特徴とする請求項１〜３の何れか１項に記載の音像定位装置。
前記パン係数算出手段は、前記受聴位置から見た音像までの距離に応じて各スピーカのパン係数を補正することを特徴とする請求項１〜４の何れか１項に記載の音像定位装置。