JP2023122230A - 音響信号処理装置、および、プログラム - Google Patents

Abstract

【課題】音源または受聴点が任意に移動する音を周波数領域でレンダリングする。
【解決手段】球面調和スペクトル算出部は、受聴点を基準とする音源位置での球面調和展開の基底関数から原点を基準とする音源位置での基底関数への変換係数を算出し、各耳について、頭部伝達関数の球面調和スペクトル、前記変換係数、および、音源信号に基づいて音場の球面調和スペクトルを算出し、バイノーラル信号生成部は、各耳について、前記音場の球面調和スペクトルを用いて前記基底関数を線形結合して音圧スペクトルを算出し、前記音圧スペクトルを時間領域の音響信号に変換する。
【選択図】図１

Description

本発明は、音響信号処理装置、および、プログラム、特に、バイノーラル再生を実現するための技術に関する。

ＡＲ（Augmented Reality，拡張現実）／ＶＲ（Virtual Reality，仮想現実）コンテンツは、映像オブジェクトや視聴者の動きに合わせて音をレンダリングして制作または提示されることがある。音響レンダリングは、効果的な臨場感の演出に用いられる。ＡＲ／ＶＲコンテンツは、ヘッドホンまたはヘッドホン内蔵のヘッドマウンテッドディスプレイ（ＨＭＤ：Head Mounted Display）を頭部に装着して提示されることを前提に制作されることがある。ヘッドホンを用いて立体的な音響空間を仮想的に再現する技術としてバイノーラル再生技術が採用されることがある。

バイノーラル再生は、任意の位置に設置された音源から放射された音波が受聴者両耳の外耳道入口に到達して得られる音圧を再現して実現される。バイノーラル再生では、ヘッドホン、イヤホンなど、左右各耳に近接した再生音源を用いて音を直接提示する。音源から左右各耳までの音の伝達特性には、受聴者本人の頭部、耳介、胴体、など（以下、「頭部等」と総称する）における音波の反射、回折、減衰等の影響が含まれる。バイノーラル再生により、仮想的に設定された位置に設置されたかかる伝達特性が付加された音を提示して、受聴者に対して高い臨場感をもたらすことができる。

バイノーラル再生では、空間内の音源位置から聴取位置（受聴点）までの伝達特性を示す特徴量として、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）または頭部インパルス応答（ＨＲＩＲ：Head Related Impulse Response）が用いられる。ＨＲＴＦは周波数領域で表現されるのに対し、ＨＲＩＲはＨＲＴＦの時間領域表現に相当する。一般に、ＨＲＴＦまたはＨＲＩＲは、無響室などの特殊な音響環境下で測定される。測定において、受聴者の周囲に配置したスピーカから測定信号に基づく音を放射し、受聴者の外耳道入口に設置したマイクロホンを用いて収音する。収音により得られた収音信号と既知の測定信号を用いてＨＲＴＦまたはＨＲＩＲ（以下、「ＨＲＩＲ等」と総称する）が得られる。

バイノーラル信号は、入力される音響信号（以下、「入力信号」と呼ぶ）に左耳のＨＲＩＲを畳み込んで得られる左耳用の音響信号（以下、「左耳用信号」と呼ぶ）と、入力信号に右耳のＨＲＩＲを畳み込んで得られる右耳用信号を含む２チャネルの音響信号である。各耳用の音響信号（以下、「各耳用信号」と呼ぶ）ｙは、式（１）に例示されるように、入力信号にＨＲＩＲを畳み込み演算を行って得られる。式（１）において、ｙ（ｔ）、ｘ（ｔ）、ｈ（ｔ）は、それぞれ時刻ｔにおける各耳用信号、入力信号、ＨＲＩＲのサンプル値を示す。

各耳用信号ｙ（ｔ）は、式（２）に例示されるように入力信号のフーリエ変換Ｘ（ω）とＨＲＴＦ Ｈ（ω）との積Ｙ（ω）を算出し、積Ｙ（ω）を逆フーリエ変換して求めることもできる。式（２）において、ωは、周波数を示す。

上記のように、バイノーラル再生は、ヘッドホンを用いて各耳用信号に基づく音を、それぞれ対応する耳に提示して実現される。両耳の外耳道に提示される音の音圧は、ＨＲＩＲ等の測定時に用いた音源の音源位置から到来する音波による音圧と同等となる。そのため、受聴者は、その音源位置に仮想的な音像を知覚することができる。

近年では、三次元空間における音響表現技術として空間フーリエ級数展開に基づく音場の表記に注目されている。代表的な例として球面調和展開に基づく方法が知られている（例えば、非特許文献１）。この方法は、式（３）に示されるように三次元空間における音圧分布ｐ（ｒ，θ，φ，ω）は、球面調和展開の基底関数の線形結合で表現できることに基づく。言い換えれば、球面調和展開により、三次元空間における音圧分布が動径方向成分と角度方向成分に変数分離した形式で記述される。式（３）は、デカルト座標系で与えられる三次元の波動方程式を変数変換し、極座標系で与えられる三次元の波動方程式の一般解に相当する。式（３）において、（ｒ，θ，φ）は、極座標系で表された三次元座標を示す。ｈ_ｎ ^（２）は、ｎ次第二種球ハンケル関数を示す。第二種球ハンケル関数は、動径方向ｒ成分の直交基底を与える。Ｙ_ｎ ^ｍは、ｎ次ｍ位球面調和関数を示す。球面調和関数は角度方向の直交基底を与える。Ａ_ｎ ^ｍは、球面調和スペクトルを示す。球面調和スペクトルは、第二種球ハンケル関数と球面調和関数の積を球面調和展開の基底関数に対する重み係数に相当し、音源の指向性などの音場の空間分布を表現することができる。これまで、球面調和スペクトルの仮想音源の任意方向への回転、任意位置への音圧の補間などの音場制御への応用が提案されている。

この原理を用いた技術として、アンビソニックス（Ambisonics）（例えば、非特許文献２）が知られている。この技術は、次世代音声符号化方式であるＭＰＥＧ－Ｈ ３ＤＡ（非特許文献３）でも採用され、規格化されている。また、三次元空間において測定されたＨＲＴＦを用いて、アンビソニックスを応用してバイノーラル信号をエンコードする方法も提案されている（特許文献１）。

特許第６０６７９３４号公報

羽田陽一, "音の波数領域信号処理," 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, 11巻, 4号, pp. 243-255, 2017. D. H. Cooper, T. Shiga, Discrete-matrix multichannel stereo. Journal of Audio Engineering Society 20(5), pp.346-360, 1972. ISO/IEC 23008-3:2019 「Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio, Second edition」（2019） A. V. Oppenheim, R. W. Schafer, Digital signal processing, Englewood Cliffs, N.J.: Prentice-Hall, 1975. P. A. Martin, Multiple Scattering: Interaction of Time-Harmonic Waves with N obstacles, Cambridge university press, 2006.

ＨＲＩＲ等は、音響空間内の音源位置と受聴点の組に対して定まる。１組のＨＲＩＲ等を用いたバイノーラル再生によれば、その受聴点に所在していることを仮定して、その音源位置に静止した音像が知覚される。音像または受聴者の動きを表現するためには、音源位置と受聴点の位置関係の変化に応じて、ＨＲＩＲ等を切り替えることが一般的である。しかしながら、ＨＲＩＲの測定に係る音源位置と受聴点の組は有限個であるため、たとえ音源位置を固定しても表現できる音像の位置が限られる。ＨＲＩＲ等を切り替えるだけでは、任意の軌跡上で受聴点を移動させ、滑らかに移動する音像を受聴者に知覚させることは困難である。

ＨＲＴＦを用いたバイノーラル再生では、音源信号をバッファ単位でフーリエ変換し、周波数領域でＨＲＴＦとの積をとってレンダリングがなされる。バッファごとに音源位置または受聴点が異なるＨＲＴＦが用いられる。少なくとも２個のバッファからの出力信号をミキシングした音を提示することで、音像の音源位置または受聴点がバッファ間で直線近似される。滑らかに移動する音像を知覚させるには、時間サンプル単位でレンダリングを行うことが望ましい。また、異なるＨＲＴＦに基づく出力信号を時間領域でミキシングすると、音像定位の手がかりとなる個々のＨＲＴＦが有する周波数特性が乱されるおそれがある。

本発明は、音源または受聴点が任意に移動する音を周波数領域でレンダリングすることを一つの課題とする。

［１］本発明の一態様は、受聴点を基準とする音源位置での球面調和展開の基底関数から原点を基準とする音源位置での基底関数への変換係数を算出し、各耳について、頭部伝達関数の球面調和スペクトル、前記変換係数、および、音源信号に基づいて音場の球面調和スペクトルを算出する球面調和スペクトル算出部と、各耳について、前記音場の球面調和スペクトルを用いて前記基底関数を線形結合して音圧スペクトルを算出し、前記音圧スペクトルを時間領域の音響信号に変換するバイノーラル信号生成部と、を備える音響信号処理装置である。
［１］の構成によれば、各耳について周波数領域において頭部伝達関数の球面調和スペクトルを再計算せずに受聴点における音場を表す球面調和スペクトルが算出される。算出された球面調和スペクトルを用いて球面調和展開における基底関数を線形結合することで、音源または受聴点が任意に移動する音を周波数領域でレンダリングすることができる。レンダリングにより、音源位置または受聴点の滑らかな変動に応じて音の周波数特性が連続的に変動する。

［２］本発明の一態様は、上述の音響信号処理装置であって、前記受聴点は、頭部位置であり、前記頭部伝達関数の取得に係る基準点は、前記頭部位置であってもよい。
［２］の構成によれば、頭部位置が受聴点として用いられることで、各耳の位置が用いられる場合よりも、レンダリングに係る受聴点による操作を簡素にすることができる。また、頭部位置が頭部伝達関数の取得に係る基準点として用いられることで、左右各耳に係る頭部伝達関数の一括した取得および管理が容易になる。

［３］本発明の一態様は、上述の音響信号処理装置であって、前記受聴点は、各耳の位置であり、前記頭部伝達関数の取得に係る基準点は、各耳の位置であってもよい。
［３］の構成によれば、各耳の位置が受聴点として用いられることで、その位置が頭部伝達関数の球面調和展開の展開中心として用いられる。そのため、頭部位置が受聴点として用いられる場合よりも、算出される音圧スペクトルの推定精度を向上させることができる。

［４］本発明の一態様は、コンピュータに上述の音響信号処理装置として機能させるためのプログラムであってもよい。
［４］の構成によれば、各耳の位置が受聴点として用いられることで、その位置が頭部伝達関数の球面調和展開の展開中心として用いられる。そのため、頭部中心が受聴点として用いられる場合よりも、算出される音圧スペクトルの推定精度を向上させることができる。

本発明によれば、音源または受聴点が任意に移動する音を周波数領域でレンダリングすることができる。

第１の実施形態に係る音響信号処理装置の機能構成例を示す概略ブロック図である。 第１の実施形態に係るグローバル座標系とローカル座標系を例示する図である。 第１の実施形態に係る音響信号処理を例示するフローチャートである。 第２の実施形態に係るグローバル座標系とローカル座標系を例示する図である。 第２の実施形態に係る音響信号処理を例示するフローチャートである。

＜第１の実施形態＞
以下、図面を参照しながら本発明の実施形態について説明する。まず、第１の実施形態に係る音響信号処理装置１０の機能構成例について説明する。図１は、本実施形態に係る音響信号処理装置１０の機能構成例を示す概略ブロック図である。
音響信号処理装置１０には、左右各耳について、受聴点の座標と音源信号が入力される。音響信号処理装置１０は、受聴点を基準とする音源位置での球面調和展開の基底関数から原点を基準とする音源位置での基底関数への変換係数を算出する。音響信号処理装置１０は、各耳について、頭部伝達関数の球面調和スペクトル、変換係数、および、音源信号に基づいて音場の球面調和スペクトルを算出する。音響信号処理装置１０は、各耳について、音場の球面調和スペクトルを用いて基底関数を線形結合して音圧スペクトルを算出し、音圧スペクトルを時間領域の音響信号に変換する。

音響信号処理装置１０は、入力部１１０と、制御部１２０と、記憶部１３０と、出力部１４０と、を備える。
入力部１１０には、受聴点の座標を示す受聴点情報と、音源信号が入力される。入力部１１０は、受聴点情報と音源信号を制御部１２０に出力する。受聴点は、例えば、三次元空間における受聴者頭部の位置（以下、「頭部位置」と呼ぶ）である。頭部位置として、例えば、頭部の中心の位置が指示される。時刻ごとの受聴点の時系列は移動軌跡に相当する。入力部１１０は、時刻ごとに受聴点情報を入出力してもよいし、ある期間における移動軌跡を示す受聴点情報を入出力してもよい。入力部１１０は、時刻ごとに音源信号を取得してもよいし、その期間における音源信号を一括して取得してもよい。入力部１１０は、例えば、入力インタフェースである。

制御部１２０は、音響信号処理装置１０の機能を実現するための処理を実行する。制御部１２０は、球面調和スペクトル算出部１２２と、バイノーラル信号生成部１２４と、球面調和展開部１２６とを備える。

球面調和スペクトル算出部１２２は、各時刻τについて受聴点として頭部位置［ｒ_ｈ（τ）］におけるｎ次ｍ位の球面調和展開における基底関数から音源位置ｒにおけるν次μ位の基底関数への変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）またはＳ’_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）を周波数ごとに算出する。本文において［…］は、ベクトルを示す。但し、後述の数式では、ベクトルは太字で表される。頭部位置［ｒ_ｈ（τ）］は、三次元の球面座標［ｒ_ｈ（τ），θ_ｈ（τ），φ_ｈ（τ）］で表される。ｒ_ｈ（τ）、θ_ｈ（τ）、φ_ｈ（τ）は、それぞれ頭部位置の動径、極角、方位角を示す。変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）、Ｓ’_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）は、球ベッセル関数の加法定理を用いて（式（７）において後述）、頭部位置ｒ_ｈ（τ）におけるｎ次（ｎは、０以上Ｎ以下の整数、Ｎは予め定めた０以上の整数）球ベッセル関数ｊ_ｎ（ｋｒ_ｈ（τ））（ｋは、波数）とｎ次ｍ位（ｍは、‐ｎ以上ｎ以下の整数）球面調和関数Ｙ_ｎ ^ｍθ_ｈ（τ），φ_ｈ（τ））の積であるｎ次ｍ位の基底関数を、音場全体を網羅するグローバル座標系における音源位置ｒにおけるν次（νは、０以上Ｎ以下の整数）第二種球ハンケル関数ｈ_ν ^（２）（ｋｒ）と第ν次μ位（μは、‐ν以上ν以下の整数）球面調和関数Ｙ_ν ^μ（θ，φ）の積もしくはν次球ベッセル関数ｊ_ν（ｋｒ）とν次μ位球面調和関数Ｙ_ν ^μ（θ，φ）との積となる球面調和展開のν次μ位基底関数の次数ならびに位数間の加重和とが等しくなるように定まる重み係数に相当する。球面調和スペクトル算出部１２２は、ｒ＜ｒ_ｓ（τ）のとき変換係数Ｓ_ｎ ^ｍ _ν ^μを算出し、ｒ＞ｒ_ｓ（τ）のとき変換係数Ｓ’_ｎ ^ｍ _ν ^μを算出する。ｒ、ｒ_ｓは、それぞれグローバル座標系における音源位置の動径、受聴点を基準とするローカル座標系における音源位置の動径を示す。即ち、変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）、Ｓ’_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）は、受聴点［ｒ_ｈ（τ）］を基準とする音源位置［ｒ_ｓ］での球面調和展開のｎ次ｍ位基底関数から、原点を基準とする音源位置［ｒ］でのν次μ位基底関数の加重和への変換における、個々の基底関数の寄与の度合いを示す。

球面調和スペクトル算出部１２２は、入力部１１０から入力される音源信号ｓ（τ）に算出した変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）またはＳ’_ｎ ^ｍ _ν ^μ（［ｒ_ｈ（τ）］）を乗じて得られる変換音源信号ｚ（ｔ）（後述）に対してフーリエ変換を行い周波数領域の変換音源スペクトルＺ_ｎ ^ｍ _ν ^μ（ω）に変換する。
球面調和スペクトル算出部１２２は、記憶部１３０から左右各耳についてＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）を読み出し、読み出したＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）を変換音源スペクトルに乗じて音場の球面調和スペクトルＰ_ν ^μ（ω）を算出する。音場の球面調和スペクトルＰ_ν ^μ（ω）は、式（１３）（後述）を用いて算出される。球面調和スペクトル算出部１２２は、各耳について算出した音場の球面調和スペクトルＰ_ν ^μ（ω）をバイノーラル信号生成部１２４に出力する。

バイノーラル信号生成部１２４は、球面調和スペクトル算出部１２２から入力される音場の球面調和スペクトルＰ_ν ^μ（ω）を重み係数とし、球ベッセル関数ｊ_ν（ｋｒ）と球面調和関数Ｙ_ν ^μ（θ，φ）の積または第二種球ハンケル関数ｈ_ν ^（２）（ｋｒ）と球面調和関数Ｙ_ν ^μ（θ，φ）の積を基底関数とする加重和を音圧スペクトルＰ（ｒ，ω）として算出する。音圧スペクトルＰ（ｒ，ω）は、式（１２）（後述）を用いて算出される。バイノーラル信号生成部１２４は、各耳について算出した周波数領域の音圧スペクトルＰ（ｒ，ω）に対して逆フーリエ変換を行い時間領域の音響信号を各耳用信号として生成する。バイノーラル信号生成部１２４は、各耳用信号からなるバイノーラル信号を出力信号として出力部１４０を経由して出力する。

球面調和展開部１２６は、左右各耳に対し受聴点と音源位置の組ごとにＨＲＴＦを取得し、取得したＨＲＴＦに対して球面調和展開を行い、受聴点と音源位置の組に共通の球面調和スペクトルα_ｎ ^ｍ（ω）を予め算出しておく。個々のＨＲＴＦは、式（６）（後述）に示すように球面調和展開により、ｎ次第二種球ハンケル関数とｎ次ｍ位球面調和関数の積を基底関数とする線形結合で表現される。球面調和展開部１２６は、動径方向への依存性がｎ次第二種球ハンケル関数で説明され、角度方向への依存性がｎ次ｍ位球面調和関数で説明されるように、受聴点と音源位置の組間で共通の重み係数を球面調和スペクトルα_ｎ ^ｍ（ω）として算出することができる。球面調和展開部１２６は、算出した球面調和スペクトルα_ｎ ^ｍ（ω）を示すＨＲＴＦデータを記憶部１３０に記憶する。

記憶部１３０には、制御部１２０における処理に用いられるデータ、制御部１２０により取得されたデータが記憶される。記憶部１３０は、例えば、ＲＡＭ（Random Access memory）、ＲＯＭ（Read Only Memory）などの記憶媒体を含んで構成される。
出力部１４０は、バイノーラル信号生成部１２４から入力されるバイノーラル信号を外部に出力する。出力部１４０は、例えば、出力インタフェースである。出力部１４０は、入力部１１０と一体化し、入出力インタフェースとして構成されてもよい。

上記の手法によれば、ローカル座標系の原点である受聴点に基づくＨＲＴＦの球面調和スペクトルがグローバル座標系の原点に基づくＨＲＴＦの球面調和スペクトルに変換され、動径方向の成分と角度方向の成分に分離される。そして、ローカル座標系からグローバル座標系への基底関数の変換係数と音源信号から変換音源スペクトルが得られる。さらに、変換音源スペクトルと、音源位置と受聴点に共通のＨＲＴＦの球面調和スペクトルを用いて音圧スペクトルに変換される。そのため、ＨＲＴＦが畳み込まれた音源信号が、任意の受聴点、音源位置に対して周波数領域で補間される。音像定位の手がかりとなる音の周波数特性（スペクトラルキュー、spectral cue）が演算により乱されないので、受聴者に対し、より確実な音源位置への音像定位が期待される。これに対し、非特許文献４に記載の重複加算法では、異なる目標方向に係るバイノーラル信号が時間領域で加算される。個々のバイノーラル信号に含まれるＨＲＴＦの位相差のために両者に干渉が生じる。干渉による周波数特性の乱れのため、目標方向への音像定位が実現できないことがあった。本実施形態は、かかる課題の解決手段となりうる。

次に、本実施形態に係る音響信号処理について、より詳細に説明する。本実施形態は、三次元空間におけるＨＲＴＦの球面調和展開に基づく。ここで、再生音源と受聴者を含む音場全体を網羅するグローバル座標系と、受聴者の頭部位置を原点とするローカル座標系のそれぞれについて図２を用いて説明する。グローバル座標系における原点Ｏから任意の位置Ｓを表すベクトルを［ｒ］、任意の軌跡上を移動する頭部の時刻ｔにおける位置（以下、「頭部位置」と呼ぶことがある）Ｈを表すベクトルを［ｒ_ｈ（ｔ）］、頭部位置Ｈを原点とするローカル座標系における任意の位置Ｓを表すベクトルを［ｒ_ｓ（ｔ）］と表す。ベクトル［ｒ］、［ｒ_ｈ（ｔ）］、［ｒ_ｓ（ｔ）］は、それぞれ三次元の球座標［ｒ（ｔ），θ（ｔ），φ（ｔ）］、［ｒ_ｈ（ｔ），θ_ｈ（ｔ），φ_ｈ（ｔ）］、［ｒ_ｓ（ｔ），θ_ｓ（ｔ），φ_ｓ（ｔ）］と表される。

ＨＲＴＦの測定において位置Ｓが測定用のスピーカが設置される音源位置だと仮定すると、音源位置Ｓから頭部位置Ｈまでの音の周波数領域での伝達特性を示す伝達関数はＨＲＴＦ、その伝達特性を時間領域で表現したインパルス応答がＨＲＩＲに相当する。本実施形態では、ＨＲＴＦを球面調和関数で展開して得られる「球面調和スペクトルで表される指向性を有する頭部の移動」として、受聴点としての頭部位置Ｈの移動が記述される。なお、ＨＲＴＦは音源と頭部の相対的な位置関係によって決まるため、受聴点に代え、目標点の移動とみなされてもよい。目標点は、仮想的に音源が設置され、音像定位の目標となる位置を指す。

グローバル座標系において受聴点Ｈが任意の軌道上を移動し、音源位置Ｓから音が放音される場合を仮定する。このとき、音源位置Ｓ（座標［ｒ］）からの時刻τにおける受聴点Ｈ（座標［ｒ_ｈ（τ）］）までのインパルス応答ｇ（［ｒ］‐［ｒ_ｈ（τ）］）は時変インパルス応答となる。式（４）に示すように、時刻ｔにおけるバイノーラル信号ｐ（［ｒ］，ｔ）は、音源信号ｓ（ｔ）にインパルス応答ｇ（［ｒ］‐［ｒ_ｈ（τ）］）を用いて畳み込み演算を行って得られる。周波数領域でのバイノーラル信号のスペクトルは、式（５）に示すように、時間領域でのバイノーラル信号ｐ（［ｒ］，ｔ）をフーリエ変換して得られる。

ＨＲＴＦは、頭部に設置されたマイクロホンを用いて測定されるため、頭部位置を原点とするローカル座標系で球面調和展開を行うことで頭部周りの分布として表現される。ローカル座標系における音源位置Ｓ（座標［ｒ_ｓ］）から頭部位置Ｈ（座標［ｒ_ｈ］）での周波数領域における伝達関数、即ち、ＨＲＴＦは、Ｇ（［ｒ_ｓ］‐［ｒ_ｈ（τ）］，ω）と表される。球面調和展開によれば、式（６）に示すように、ＨＲＴＦは、ｎ次第二種球ハンケル関数とｎ次ｍ位球面調和関数の積を基底関数とする線形結合、つまり、次数と位数を跨いだ加重和に変換される。そのため、ＨＲＴＦは、個々の基底関数に対して乗じられる重み係数からなる球面調和スペクトルα_ｎ ^ｍ（ω）で表現される。ＨＲＴＦは、左耳と右耳とで別個に取得されるため、球面調和スペクトルα_ｎ ^ｍ（ω）も左耳と右耳とで異なる。

式（６）に示す球面調和展開によれば、展開中心とする頭部位置Ｈが時間経過に応じて変化する。そのため、直交基底関数である第二種球ハンケル関数と球面調和関数も頭部位置Ｈの移動の度に再計算する必要がある。そこで、本実施形態では、球ベッセル関数の加法定理を用いてグローバル座標系の原点に展開中心をシフトし、頭部位置Ｈに関わらず、固定の音源位置に係る直交基底関数を用いて音場を表す。球ベッセル関数の加法定理は、三次元座標［ｒ_１］（＝［ｒ_１、θ_１、φ_１］）、［ｒ_２］（＝［ｒ_２、θ_２、φ_２］）の間で［ｒ_２］＝［ｒ_１］＋［ｂ］（ｂは、三次元座標［ｒ_１］、［ｒ_２］間の座標）となるとき、式（７）に示す関係が成り立つことを指す。式（７）において、変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｂ］）、Ｓ’_ｎ ^ｍ _ν ^μ（［ｂ］）は、それぞれ式（８）、（９）により与えられる。

式（８）、（９）において、Ｙ^＊ _ｑ ^μ－ｍ（θ_ｂ，φ_ｂ）は、球面調和関数Ｙ_ｑ ^μ－ｍ（θ_ｂ，φ_ｂ）の複素共役を示す。Ｗ_１、Ｗ_２は、式（１０）のウィグナー（Wigner）の３ｊ記号を示す。

式（６）に示すＨＲＴＦに球ベッセル関数の加法定理を適用し、球面調和関数の展開中心をグローバル座標系の原点Ｏにシフトすることで、ＨＲＴＦはグローバル座標系での音源位置に係る基底関数の線形結合で表される。具体的には、式（７）の三次元座標［ｒ_１］、［ｂ］にそれぞれグローバル座標系における原点Ｏを基準とする音源位置の座標［ｒ］、頭部位置の座標［ｒ_ｈ（τ）］を代入して式（６）に適用することで、ＨＲＴＦは、式（１１）のように変形される。そして、式（１１）で表されるＨＲＴＦを式（５）に代入すると、音圧スペクトルＰ（［ｒ］，ω）が式（１２）に示すように与えられる。

式（１２）において、球ベッセル関数ｊ_ν（ｋｒ）と球面調和関数Ｙ_ν ^μ（θ，φ）との積となる基底関数に対して乗じられる音場の球面調和スペクトルＰ_ν ^μ（ω）は、式（１３）により与えられる。上記の変換音源信号ｚ（τ）は、式（１３）の音源信号ｓ（τ）と変換係数Ｓ_ｎ ^ｍ _ν ^μ（ｒ_ｈ（τ））との積に相当する。時間領域の変換音源信号ｚ（τ）は、周波数領域の変換音源スペクトルＺ_ｎ ^ｍ _ν ^μ（ω）に変換される。式（１３）に示すように変換音源スペクトルＺ_ｎ ^ｍ _ν ^μ（ω）は、さらにＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）に乗じられる。

音場の球面調和スペクトルＰ_ν ^μ（ω）は、グローバル座標系の原点Ｏを展開中心として与えられる。よって、球面調和スペクトル算出部１２２は、式（１３）を用いてグローバル座標系で与えられる音源位置の座標［ｒ］と受聴点の座標［ｒ_ｈ（τ）］に基づいて、逐次にＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）を算出せずに、音場の球面調和スペクトルＰ_ν ^μ（ω）を算出することができる。そして、バイノーラル信号生成部１２４は、式（１２）で与えられるバイノーラル信号のスペクトルを逆フーリエ変換することで出力信号としてバイノーラル信号を生成することができる。

次に、本実施形態に係る音響信号処理の例について説明する。図３は、本実施形態に係る音響信号処理を例示するフローチャートである。
（ステップＳ１０２）入力部１１０には、受聴点の座標と音源信号が入力される。
（ステップＳ１０４）球面調和スペクトル算出部１２２は、各時刻において、受聴点として頭部中心を基準とする音源位置での球面調和展開の基底関数から原点を展開中心として基準とする音源位置での基底関数への変換係数を周波数ごとに算出する。
（ステップＳ１０６）球面調和スペクトル算出部１２２は、各耳について、音源信号に変換係数を乗じて得られる変換音源信号を周波数領域の変換音源スペクトルに変換する。球面調和スペクトル算出部１２２は、式（１３）に従い、変換した変換音源スペクトルにＨＲＴＦの球面調和スペクトルを乗じて音場の球面調和スペクトルを算出する。

（ステップＳ１０８）バイノーラル信号生成部１２４は、各耳について、式（１２）に従い音場の球面調和スペクトルを用いて球面調和展開の基底関数を線形結合して音圧スペクトルを算出する。線形結合として、音場の球面調和スペクトルを重み係数とする球面調和展開の基底関数の加重和が音圧スペクトルとして得られる。
（ステップＳ１１０）バイノーラル信号生成部１２４は、各耳について、周波数領域の音圧スペクトルを時間領域の出力信号に変換し、変換した出力信号を出力部１４０に出力する。その後、図３に示す処理を終了する。

＜第２の実施形態＞
次に、第２の実施形態について説明する。以下の説明は、第１の実施形態との差異点を主とし、共通点については、第１の実施形態における説明を援用する。
球面調和展開によれば、展開中心に近接している位置ほど、高い精度で音場のスペクトルを推定することができる。通例、バイノーラル再生では、受聴者の頭部位置が受聴点として採用される。しかし、ＨＲＴＦの測定点として、左右各耳の外耳道入口が用いられる。外耳道入口は、頭部位置から７～１０ｃｍ程度離れた位置となる。この測定点の頭部位置からのずれは、音場スペクトルの精度の低下を招く原因になりうる。そこで、本実施形態では、球面調和展開の展開中心を各耳の位置とする。これにより、音場スペクトルの推定精度の向上が期待される。

図４は、本実施形態に係るグローバル座標系とローカル座標系の関係を示す。但し、左耳を例にする。
球面調和スペクトル算出部１２２には、入力部１１０を経由して頭部位置を示す受聴点情報が入力される。球面調和スペクトル算出部１２２は、例えば、頭部中心から所定距離離れ、所定の頭部方向に向かって左方の位置を左耳の位置として定めることができる。

ここで、頭部位置Ｈを基準とする左耳Ｅの位置を示すベクトルを［ｒ_ｅ］（＝［ｒ_ｅ，θ_ｅ，φ_ｅ］）、左耳Ｅを基準とする音源位置Ｓのベクトルを［ｒ’_ｓ（τ）］（＝［ｒ’_ｓ（τ），θ’_ｓ（τ），φ’_ｓ（τ）］）、グローバル座標系における原点Ｏを基準とする耳Ｅの位置のベクトルを［ｒ’_ｈ（τ）］（＝［ｒ’_ｈ（τ），θ’_ｈ（τ），φ’_ｈ（τ））と表す。球ベッセル関数の加法定理を用い、式（６）で表されるＨＲＴＦの球面調和展開において、展開中心を頭部位置Ｈから左耳Ｅにシフトすると、音源から左耳へのＨＲＴＦ Ｇ_Ｌ（［ｒ’_ｓ］‐［ｒ’_ｈ（τ）］，ω）が式（１４）に示すように与えられる。

式（１４）において、第二種球ハンケル関数ｊ_ν ^（２）（ｋｒ’_ｓ（τ））と球面調和関数Ｙ_ν ^μ（θ’_ｓ（τ），φ’_ｓ（τ））との積となる基底関数に乗じられる左耳の球面調和スペクトルβ_ν ^μ（ω）は、式（１５）により与えられる。
左耳Ｅの座標［ｒ_ｅ］は、頭部中心からの距離と方向により予め定めておいてもよい。その場合、球面調和展開部１２６は、頭部位置Ｈを基準とする左耳Ｅの座標［ｒ_ｅ］に対する変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｒ_ｅ］）を、式（８）を用いて算出し、算出した変換係数Ｓ_ｎ ^ｍ _ν ^μ（［ｒ_ｅ］）と左耳のＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）を球面調和スペクトルβ_ｎ ^ｍ（ω）に補正しておいてもよい。球面調和展開部１２６は、右耳についても同様の手法を用いて右耳のＨＲＴＦの球面調和スペクトルβ_ｎ ^ｍ（ω）を補正することができる。球面調和展開部１２６は、各耳について補正した球面調和スペクトルβ_ｎ ^ｍ（ω）を示すＨＲＴＦデータを予め記憶部１３０に記憶しておく。

式（１４）に式（１５）の球面調和スペクトルβ_ν ^μ（ω）を代入すると、左耳に係るＨＲＴＦ Ｇ_Ｌ（［ｒ’_ｓ］‐［ｒ’_ｈ（τ）］，ω）は、式（１６）に示すように変形される。変形されたＨＲＴＦは、式（６）におけるＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）に代え、補正された球面調和スペクトルβ_ν ^μ（ω）が用いられる点を除き、式（６）に示すＨＲＴＦと同様の形式を有する。この球面調和スペクトルの補正は、ＨＲＴＦの取得に係る基準点の頭部中心から左耳の位置へのシフトとみなすこともできる。

次に球面調和関数の加法定理を用い、式（１６）においてＨＲＴＦの球面調和展開における展開中心をグローバル座標系における原点Ｏにシフトする。式（７）の三次元座標［ｒ_１］、［ｂ］にそれぞれグローバル座標系における原点Ｏを基準とする音源位置の座標［ｒ］、左耳の位置の座標［ｒ’_ｈ（τ）」を代入して式（１６）に適用することで、ＨＲＴＦは式（１７）のように変形される。そして、式（１７）に表されるＨＲＴＦを式（５）に代入すると、式（１８）に示すように左耳用信号の音圧スペクトルＰ_Ｌ（［ｒ］，ω）が得られる。

式（１８）において、η次球ベッセル関数ｊ_η（ｋｒ）とη次ξ位球面調和関数Ｙ_η ^ξ（θ，φ）との積となるη次ξ位基底関数、または、η次第二種球ハンケル関数ｈ_η ^（２）（ｋｒ）とη次ξ位球面調和関数Ｙ_η ^ξ（θ，φ）との積となるη次ξ位基底関数に乗じて得られる音場の球面調和スペクトルＰ_Ｌη ^ξ（ω）は、式（１９）に表される。

よって、球面調和スペクトル算出部１２２は、グローバル座標系で与えられる音源位置Ｓの座標［ｒ］、受聴点としての左耳Ｅの座標［ｒ’_ｈ（τ）］、および、記憶部１３０から読み出した左耳Ｅの球面調和スペクトルβ_ν ^μ（ω）を用いて、音場の球面調和スペクトルＰ_Ｌη ^ξ（ω）を算出することができる。そして、バイノーラル信号生成部１２４は、式（１８）で与えられる左耳用のスペクトルを逆フーリエ変換することで左耳用信号を生成することができる。

球面調和スペクトル算出部１２２は、右耳についても、左耳と同様の手法を用いて球面調和スペクトルＰ_Ｒη ^ξ（ω）を算出することができる。バイノーラル信号生成部１２４も、右耳についても、左耳と同様な手法を用いて球面調和スペクトルＰ_Ｒη ^ξ（ω）と音源信号ｓ（τ）から右耳について音圧スペクトルを算出し、算出した音圧スペクトルを逆フーリエ変換することで右耳用信号を生成することができる。

次に、本実施形態に係る音響信号処理の例について説明する。図５は、本実施形態に係る音響信号処理を例示するフローチャートである。
（ステップＳ１２２）入力部１１０には、受聴点として頭部中心の座標と音源信号が入力される。
（ステップＳ１２４）球面調和スペクトル算出部１２２は、各時刻において、受聴点として各耳の位置を基準とする音源位置での球面調和展開の基底関数から原点を展開中心として基準とする音源位置での基底関数への変換係数を周波数ごとに算出する。
（ステップＳ１２６）球面調和スペクトル算出部１２２は、各耳について、音源信号に変換係数を乗じて得られる変換音源信号を周波数領域の変換音源スペクトルに変換する。球面調和スペクトル算出部１２２は、式（１９）を用いて変換した変換音源スペクトルに補正された球面調和スペクトルを乗じて音場の球面調和スペクトルを算出する。

（ステップＳ１２８）バイノーラル信号生成部１２４は、各耳について、式（１８）に従い音場の球面調和スペクトルを用いて球面調和展開の基底関数を線形結合して音圧スペクトルを算出する。
（ステップＳ１３０）バイノーラル信号生成部１２４は、各耳について、周波数領域の音圧スペクトルを時間領域の出力信号に変換し、変換した出力信号を出力部１４０に出力する。その後、図５に示す処理を終了する。

なお、上記の説明では、ＨＲＴＦの測定の基準とする受聴点として頭部位置を用い、個々の頭部中心の位置に左右１組のＨＲＴＦが関連付けられている場合を前提とした。ＨＲＴＦの測定の基準として、各耳について、その位置とその耳で測定されたＨＲＴＦが関連付けられる場合には、球面調和展開部１２６は、各耳について測定された音源位置ごとのＨＲＴＦに対して球面調和展開を行って、その耳に係るＨＲＴＦの球面調和スペクトルα_ｎ ^ｍ（ω）を算出してもよい。その場合、球面調和スペクトルα_ｎ ^ｍ（ω）は、その耳について補正された球面調和スペクトルβ_ν ^μ（ω）に相当する。従って、ステップＳ１２４、Ｓ１２６において、球面調和スペクトル算出部１２２は、算出される球面調和スペクトルα_ｎ ^ｍ（ω）を補正された球面調和スペクトルβ_ν ^μ（ω）に代えて用いればよい。また、バイノーラル信号生成部１２４も、ステップＳ１２８において算出される球面調和スペクトルα_ｎ ^ｍ（ω）を補正された球面調和スペクトルβ_ν ^μ（ω）に代えて用いればよい。

一般に、ＨＲＴＦは、音源位置と受聴点との相対的な位置関係により定まる。上記の説明では、受聴点が移動し、音源位置が静止している場合を例にしたが、これには限られない。本実施形態は、例えば、受聴点が静止し、音源位置が移動している場合にも適用することができる。

上記の説明では、球面調和スペクトル算出部１２２とバイノーラル信号生成部１２４が、１個の音源に対して１系統のバイノーラル信号を生成する場合を例にしたが、これには限られない。入力部１１０には、複数の音源のそれぞれについて、受聴点情報と音源信号を関連付けて入力されてもよい。入力部１１０には、さらに各音源の音源位置を示す音源位置情報を関連付けて入力されてもよい。そして、制御部１２０には個々の音源に対し音源位置が設定されてもよい。球面調和スペクトル算出部１２２とバイノーラル信号生成部１２４は、音源ごとに与えられる音源信号と音源位置に対してバイノーラル信号を生成し、生成したバイノーラル信号を音源間でミキシングして得られる音響信号を出力信号として出力部１４０を経由して出力してもよい。

制御部１２０は、外部機器から音源信号と受聴点情報を取得する際、入力部１１０を用いることに代え、予め記憶部１３０に記憶された音源信号と受聴点情報を読み出してもよい。また、制御部１２０は、出力信号を外部機器に出力部１４０を用いて出力することに代え、記憶部１３０に記憶してもよいし、音響信号処理装置１０に設置または接続された再生部（スピーカ）に出力し、放音させてもよい。
音響信号処理装置１０では、球面調和展開部１２６が省略されてもよい。記憶部１３０には、外部機器から取得したＨＲＴＦデータが予め記憶されてもよい。

以上に説明したように、本実施形態に係る音響信号処理装置１０は、球面調和スペクトル算出部１２２とバイノーラル信号生成部１２４を備える。球面調和スペクトル算出部１２２は、受聴点を基準とする音源位置での球面調和展開の基底関数から原点を基準とする音源位置での基底関数への変換係数を算出し、各耳について、頭部伝達関数の球面調和スペクトル、変換係数、および、音源信号に基づいて音場の球面調和スペクトルを算出する。バイノーラル信号生成部１２４は、各耳について、音場の球面調和スペクトルを用いて基底関数を線形結合して出力信号の音圧スペクトルを算出し、音圧スペクトルを時間領域の出力信号に変換する。
この構成によれば、各耳について周波数領域において頭部伝達関数の球面調和スペクトルを再計算せずに受聴点における音場を表す球面調和スペクトルが算出される。算出された球面調和スペクトルを用いて球面調和展開における基底関数を線形結合することで、音源または受聴点が任意に移動する音を周波数領域でレンダリングすることができる。レンダリングにより、音源位置または受聴点の滑らかな変動に応じて音の周波数特性が連続的に変動する。また、時間領域における頭部伝達関数または頭部伝達関数を畳み込んだ音源信号の加算を伴わないため、音像定位の手がかりとなる周波数特性を乱さずに受聴点における音場の音圧スペクトルが推定される。そのため、その音源位置への音像定位が阻害されない。

また、受聴点と頭部伝達関数の取得に係る基準点は、それぞれ頭部位置であってもよい。
頭部位置が受聴点として用いられることで、各耳の位置が用いられる場合よりも、レンダリングに係る受聴点による操作を簡素にすることができる。また、頭部位置が頭部伝達関数の取得に係る基準点として用いられることで、左右各耳に係る頭部伝達関数の一括した取得および管理が容易になる。

また、受聴点と頭部伝達関数の取得に係る基準点は、それぞれ各耳の位置であってもよい。
各耳の位置が受聴点として用いられることで、その位置が頭部伝達関数の球面調和展開の展開中心として用いられる。そのため、頭部中心が受聴点として用いられる場合よりも、算出される音圧スペクトルの推定精度を向上させることができる。

なお、音響信号処理装置１０は、専用の音響信号処理装置として実現されてもよいし、パーソナルコンピュータ、タブレット端末装置、などの情報端末装置のように、音響信号の処理を主機能としない装置として実現されてもよい。音響信号処理装置１０は、各種のコンテンツの制作、編集、配信（放送を含む）に係る機器（例えば、ミキシングコンソールなど）の一部として実現されてもよい。

なお、上述の音響信号処理装置１０の一部または全部は、専用の部材（集積回路など）を用いて構成されてもよいし、コンピュータで実現するようにしてもよい。例えば、球面調和スペクトル算出部１２２とバイノーラル信号生成部１２４のいずれか、または、それらの組み合わせは、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置がＲＯＭ（Read Only Memory）などの記憶媒体から読み出された所定のプログラムに記述された指令で指示される処理を実行して、その機能を実現してもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０…音響信号処理装置、１１０…入力部、１２０…制御部、１２２…球面調和スペクトル算出部、１２４…バイノーラル信号生成部、１２６…球面調和展開部、１３０…記憶部、１４０…出力部

Claims (4)

1. 受聴点を基準とする音源位置での球面調和展開の基底関数から原点を基準とする音源位置での基底関数への変換係数を算出し、
   各耳について、頭部伝達関数の球面調和スペクトル、前記変換係数、および、音源信号に基づいて音場の球面調和スペクトルを算出する球面調和スペクトル算出部と、
   各耳について、前記音場の球面調和スペクトルを用いて前記基底関数を線形結合して音圧スペクトルを算出し、
   前記音圧スペクトルを時間領域の音響信号に変換するバイノーラル信号生成部と、を備える
   音響信号処理装置。
2. 前記受聴点は、頭部位置であり、
   前記頭部伝達関数の取得に係る基準点は、前記頭部位置である
   請求項１に記載の音響信号処理装置。
3. 前記受聴点は、各耳の位置であり、
   前記頭部伝達関数の取得に係る基準点は、各耳の位置である
   請求項１に記載の音響信号処理装置。
4. コンピュータに請求項１から請求項３のいずれか一項に記載の音響信号処理装置として機能させるためのプログラム。

Images