JP2015515185A

JP2015515185A - 頭部伝達関数の線形混合による頭部伝達関数の生成のための方法およびシステム

Info

Publication number: JP2015515185A
Application number: JP2014561191A
Authority: JP
Inventors: エスマクグラス，デイヴィッド
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2012-03-23
Filing date: 2013-03-21
Publication date: 2015-05-21
Anticipated expiration: 2033-03-21
Also published as: AU2013235068B2; EP2829082B8; KR101651419B1; RU2014137116A; KR20140132741A; BR112014022438A2; US20160044430A1; HK1205396A1; AU2013235068A1; CA2866309C; CN104205878A; JP5960851B2; EP2829082B1; BR112014022438B1; MX2014011213A; MX336855B; US9622006B2; CA2866309A1; EP2829082A1; WO2013142653A1

Abstract

結合頭部伝達関数（HRTF）に対して線形混合を実行して、ある範囲（たとえば平面内の少なくとも60度にまたがる範囲または平面内の360度の全範囲）内の任意の指定された到達方向について補間されたHRTFを決定するための方法であって、前記結合HRTFは、それに対して（補間されたHRTFを生成するよう）線形混合が有意な櫛形フィルタリング歪みを導入することなく実行できるような属性をもつようあらかじめ決定されている、方法。いくつかの実施形態では、本方法は、指定された到達方向を示す信号に応答して、結合HRTF集合の結合HRTFを示すデータに対して線形混合を実行して指定された到達方向についてのHRTFを決定する段階と；指定された到達方向についての前記HRTFを使ってオーディオ入力信号に対してHRTFフィルタリングを実行する段階とを含む。

Description

関連出願への相互参照
本願は2012年3月23日に出願された米国特許仮出願第61/614,610号の優先権を主張するものである。同出願の内容はここに参照によりその全体において組み込まれる。
１．発明の分野
本発明は、頭部伝達関数（HRTF）に対して補間を実行して補間されたHRTFを生成する方法およびシステムに関する。より詳細には、本発明は、結合HRTFに対して（すなわち、結合HRTFを決定する値に対して）線形混合を実行して補間されたHRTFを決定すること、補間されたHRTFを用いてフィルタリングを実行すること、および補間が特に望ましい仕方で（線形混合によって）実行できるような属性をもつよう結合HRTFをあらかじめ決定しておくことのための方法およびシステムに関する。

請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する（たとえば信号またはデータをフィルタリング、スケーリングまたは変換する）という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して（たとえば、その動作の実行に先立つ予備的なフィルタリングを受けた当該信号のバージョンに対して）その動作を実行することを表わす広義で使われている。

請求項を含む本開示を通じて、値（たとえば、頭部伝達関数を決定する係数）の「線形混合」という表現は、値の線形結合を決定することを表わす。本稿では、頭部伝達関数（HRTF）に対して「線形補間」を実行して補間されたHRTFを決定することは、HRTFを決定する値の線形混合を実行して（そのような値の線形結合を決定して）補間されたHRTFを決定する値を決定することを表わす。

請求項を含む本開示を通じて、「システム」という表現は装置、システムまたはサブシステムを表わす広義で使われている。たとえば、マッピングを実装するサブシステムがマッピング・システム（またはマッピング器）と称されることがあり、そのようなサブシステムを含むシステム（たとえば、オーディオ入力に対してさまざまな型の処理を実行するシステムであって、そのサブシステムが処理動作の一つにおいて使うための伝達関数を決定するもの）もマッピング・システム（またはマッピング器）と称されることがある。

請求項を含む本開示を通じて、「レンダリングする」という用語は、オーディオ信号（たとえば多チャネル・オーディオ信号）を一つまたは複数のスピーカー・フィードに変換するプロセス（ここで、各スピーカー・フィードは、ラウドスピーカーに直接、あるいは直列に増幅器およびラウドスピーカーに加えられるオーディオ信号である）あるいはオーディオ信号を一つまたは複数のスピーカー・フィードに変換し、一つまたは複数のラウドスピーカーを使って該スピーカー・フィードを音に変換するプロセスを表わす。後者の場合、レンダリングは本稿では時にラウドスピーカー「による」レンダリングと称される。

請求項を含む本開示を通じて、「スピーカー」および「ラウドスピーカー」という用語は、音を発するトランスデューサを表わすものとして同義に使われる。この定義は、複数のトランスデューサ（たとえばウーファーおよびツイーター）として実装されるラウドスピーカーを含む。

請求項を含む本開示を通じて、動詞「含む」は、「……であるまたは……を含む」ことを表わす広義で使われ、動詞「含む」の他の形も同じ広義で使われる。たとえば、「フィードバック・フィルタを含むフィルタ」という表現は本稿では、フィードバック・フィルタである（すなわち、フィードフォワード・フィルタは含まない）フィルタまたはフィードバック・フィルタ（および少なくとも一つの他のフィルタ）を含むフィルタのいずれを表わすこともある。

請求項を含む本開示を通じて、「仮想化器」（または「仮想化器システム」）という用語は、（一組の源位置からの音を示す）N個の入力オーディオ信号を受領し、源位置とは異なる出力位置に位置された一組のM個の物理的なスピーカー（たとえばヘッドホンまたはラウドスピーカー）による再生のためのM個の出力オーディオ信号を生成するよう結合され、構成されているシステムを表わす。ここで、NおよびMのそれぞれは1より大きい数である。NはMと等しくても異なっていてもよい。仮想化器は、再生されたときに聴取者が再生された信号を、物理的なスピーカーの出力位置ではなく源位置から放出されているものとして知覚するよう出力オーディオ信号を生成する（または生成しようとする）。（源位置および出力位置は聴取者に対する位置である。）たとえば、M＝2およびN＝1の場合、仮想化器は入力信号を上方混合〔アップミキシング〕してステレオ再生（またはヘッドホンによる再生）のための左および右の出力信号を生成する。もう一つの例として、M＝2およびN＞3の場合、仮想化器はN個の入力信号をステレオ再生のために下方混合〔ダウンミキシング〕する。N＝M＝2であるもう一つの例では、入力信号は二つの後方源位置（聴取者の頭部の背後）からの音を示し、仮想化器は、聴取者が再生された信号を、（聴取者の頭部の前方の）ラウドスピーカーからではなく（聴取者の頭部の背後の）源位置から放出されているものとして知覚するよう、聴取者の前方に位置されたステレオ・ラウドスピーカーによる再生のための二つの出力オーディオ信号を生成する。

頭部伝達関数（「HRTF」）は、自由空間の音が人間の被験者の両耳まで伝搬する仕方を表わすフィルタ特性である（インパルス応答または周波数応答として表わされる）。HRTFは個人によって変わり、また音響波の到達の角度に依存しても変わる。音信号x(t)に右耳HRTFフィルタを適用する（すなわち、右耳HRTFインパルス応答をもつフィルタを適用する）と、源から聴取者の右耳まである特定の到達方向で伝搬したあと聴取者によって知覚されるであろう音信号を示す、HRTFフィルタリングされた信号x_R(t)が生じる。音信号x(t)に左耳HRTFフィルタを適用する（すなわち、左耳HRTFインパルス応答をもつフィルタを適用する）と、源から聴取者の左耳まである特定の到達方向で伝搬したあと聴取者によって知覚されるであろう音信号を示す、HRTFフィルタリングされた信号x_L(t)が生じる。

HRTFは本稿ではしばしば「インパルス応答」と称されるが、そのようなHRTFのそれぞれは、「伝達関数」、「周波数応答」および「フィルタ応答」を含む他の表現によって言及することもできる。一つのHRTFが、時間領域ではインパルス応答として、あるいは周波数領域では周波数応答として表現できる。

到達方向を、方位角（azimuth）および仰角（elevation）の角度（Az,El）を用いて、あるいは(x,y,z)単位ベクトルを用いて定義してもよい。たとえば、図１では、（聴取者１の耳への）音の到達方向が(x,y,z)単位ベクトルを用いて定義されうる。ここで、x軸およびy軸が図示されており、z軸は図１の紙面に垂直である。音の到達方向は、（たとえば仰角Elは0に等しいとして）図示した方位角Azを用いても定義されうる。

図２は、位置L（たとえば聴取者の耳の位置）における（源位置Sから発された）音の到達方向を(x,y,z)単位ベクトルを用いておよび方位角Azおよび仰角Elを用いて定義したものを示している。ここで、x軸、y軸、z軸が図示されている。

種々の方向から音を発し、聴取者の耳における応答を捕捉することによって、個人についてのHRTFの測定を行なうことが一般的である。測定は、聴取者の鼓膜の近くでまたは塞いだ外耳道入口で、あるいは当技術分野でよく知られている他の方法によって行なわれうる。測定されたHRTF応答は、測定において使われたラウドスピーカーの等化を補償するため、また聴取者に対するバイノーラル素材においてのちに使われるヘッドホンの等化を補償するために（やはり当技術分野でよく知られている）いくつもの仕方で修正されてもよい。

HRTFの典型的な用途は、ヘッドホンを装着した聴取者のために3D音の幻影を作り出すよう意図された信号処理のためのフィルタ応答としてである。HRTFについての他の典型的な用途は、ラウドスピーカーを通じたオーディオ信号の改善された再生の生成を含む。たとえば、出力オーディオ信号がスピーカーによって再生されるときに、物理的なスピーカーの位置ではなく源位置から発しているように知覚されるよう、（一組の源位置からの音を示す入力オーディオ信号に応答して）出力オーディオ信号を生成する仮想化器を実装するためにHRTFを使うことが一般的である。（ここで、源位置および出力位置は聴取者に対する位置である。）仮想化器は、ステレオ・ラウドスピーカーを含むまたはステレオ・ラウドスピーカーもしくはヘッドホンと一緒に使うことが意図されている、幅広い多様なマルチメディア・デバイス（テレビジョン、PC、iPodドック）において実装されることができる。

仮想サラウンドサウンドは、物理的なスピーカー（たとえばヘッドホンまたはラウドスピーカー）よりも多くの音源があるという知覚を作り出す助けとなりうる。典型的には、通常の聴取者が再生された音を、あたかも複数の音源から発しているかのように知覚するには、少なくとも二つのスピーカーが必要とされる。仮想サラウンド・システムについて、聴取者の前方に位置された物理的なスピーカー（たとえば一対の物理的なスピーカー）によって再生されたときに、聴取者の鼓膜において、（聴取者の後方の位置を含む）幅広い多様な位置の任意のところにあるラウドスピーカーからの音として知覚されるオーディオ信号を生成するためにHRTFを使うことが一般的である。

HRTFの一般的な用途の大半または全部が本発明の実施形態から恩恵を受けるであろう。

あるクラスの実施形態では、本発明は、結合HRTFに対して（すなわち、結合HRTFを決定する値に対して）線形混合を実行して、ある範囲（たとえば平面内の少なくとも60度にまたがる範囲または平面内の360度の全範囲）内の任意の指定された到達方向について補間されたHRTFを決定するための方法であって、前記結合HRTFは、それに対して線形混合が有意な櫛形フィルタリング歪み（comb filtering distortion）を導入することなく（そのような線形混合によって決定される各補間されたHRTFが有意な櫛形フィルタリング歪みを示さない大きさ応答をもつという意味）実行できるような属性をもつようあらかじめ決定されている、方法である。

典型的には、線形混合は、あらかじめ決定された「結合HRTF集合」の値に対して実行される。ここで、結合HRTF集合は、結合HRTFの集合を決定する値を含み、結合HRTFのそれぞれは少なくとも二つの到達方向の集合の一つに対応する。典型的には、結合HRTF集合は、少数の結合HRTFを含み、各HRTFは空間（平面または平面の一部）内の少数の到達方向のうちの異なるものについてのHRTFである。前記集合内の結合HRTFに対して実行される線形補間は、前記空間内の任意の指定された到達方向についてHRTFを決定する。典型的には、結合HRTF集合は、ある空間（たとえば水平面）にまたがり、特定の角度分解能に量子化されている少数の到達方向のそれぞれについて一対の結合HRTF（左耳結合HRTFおよび右耳結合HRTF）を含む。たとえば、結合HRTFの集合は、30度の角度分解能をもって360度の円のまわりの12個の到達角度（たとえば0、30、60、……、300および330度の角度）のそれぞれについての結合HRTF対からなるのでもよい。

いくつかの実施形態では、本発明の方法は、HRTF基底集合を使い（たとえば、HRTF基底集合を決定し、使用する段階を含む）、該HRTF基底集合が結合HRTF集合を決定する。たとえば、HRTF基底集合は、HRTF基底集合が十分な（あらかじめ決定された）精度の範囲内まで結合HRTF集合を決定するよう、（あらかじめ決定された結合HRTF集合から）最小平均二乗当てはめまたは他の当てはめプロセスを実行してHRTF基底集合の係数を決定することによって決定されてもよい。HRTF基底集合が結合HRTF集合を「決定する」というのは、（指定された到達方向に応答した）HRTF基底集合の値（たとえば係数）の線形結合が、同じ到達方向に応答した結合HRTF集合における結合HRTFの線形結合によって決定される（十分な精度まで）同じHRTFを決定するという意味においてである。

本発明の典型的な実施形態において生成されるまたは用いられる結合HRTFは、（ある結合周波数より上の）高周波数において著しく低減した両耳間群遅延をもちつつ、それでいて（前記結合周波数より下の）低周波数においてよくマッチした両耳間位相応答を提供する（左耳および右耳の通常のHRTFの対によって与えられるのと比較して）ことによって、通常のHRTF（たとえば物理的に測定されたHRTF）と異なる。結合周波数は700Hzより大きく、典型的には4kHzより小さい。本発明の典型的な実施形態において生成される（または用いられる）結合HRTF集合の結合HRTFは、典型的には、（同じ到達方向についての）通常のHRTFから、結合周波数より上の各通常のHRTFの位相応答を（対応する結合HRTFを生成するよう）意図的に変更することによって決定される。これは、集合内のすべての結合HRTFフィルタの位相応答が結合周波数より上で結合されるようになされる。（すなわち、各左耳結合HRTFと各右耳結合HRTFの間の差が、周波数の関数として、結合周波数より実質的に上のすべての周波数について、少なくとも実質的に一定であるように、また好ましくは、集合内の各結合HRTFの位相応答が周波数の関数として、結合周波数より実質的に上のすべての周波数について、少なくとも実質的に一定であるようになされる。）
典型的な実施形態では、本発明の方法は：
（ａ）指定された到達方向を示す信号（たとえば、指定された到達方向を示すデータ）に応答して、結合HRTF集合の結合HRTFを示すデータに対して線形混合を実行して（ここで、結合HRTF集合は結合HRTFの集合を決定する値を含み、結合HRTFのそれぞれは少なくとも二つの到達方向の集合の少なくとも一つに対応する）指定された到達方向についてのHRTFを決定する段階と；
（ｂ）オーディオ入力信号（たとえば、一つまたは複数のオーディオ・チャネルを示す周波数領域オーディオ・データまたは一つまたは複数のオーディオ・チャネルを示す時間領域オーディオ・データ）に対して、指定された到達方向についてのHRTFを使ってHRTFフィルタリングを実行する段階とを含む。いくつかの実施形態では、段階（ａ）は、HRTF基底集合の係数に対して線形混合を実行して、指定された到達方向についてのHRTFを決定する段階を含む。ここで、HRTF基底集合が結合HRTF集合を決定する。

いくつかの実施形態では、本発明は、結合HRTF集合の結合HRTFに対する線形補間（すなわち、該結合HRTFの線形混合）を実行して、ある範囲（たとえば、平面内の少なくとも60度にまたがる範囲または平面内の360度の全範囲またさらには三次元での到達角度の全範囲）内の任意の指定された到達方向についてのHRTFを決定するよう構成されたHRTFマッピング器（およびそのようなHRTFマッピング器によって実装されるマッピング方法）である。いくつかの実施形態では、HRTFマッピング器は、HRTF基底集合（これが結合HRTF集合を決定する）のフィルタ係数の線形混合を実行して、ある範囲（たとえば、平面内の少なくとも60度にまたがる範囲または平面内の360度の全範囲またさらには三次元での到達角度の全範囲）内の任意の指定された到達方向についてのHRTFを決定するよう構成されている。

あるクラスの実施形態では、本発明は、オーディオ入力信号（たとえば、一つまたは複数のオーディオ・チャネルを示す周波数領域オーディオ・データまたは一つまたは複数のオーディオ・チャネルを示す時間領域オーディオ・データ）に対してHRTFフィルタリングを実行する方法およびシステムである。本システムは、（到達方向を示す信号、たとえばデータを受領するよう結合された）HRTFマッピング器と、前記オーディオ入力信号を受領するよう結合されており、前記到達方向に応答して前記HRTFマッピング器によって決定されるHRTFを使って前記オーディオ入力信号をフィルタリングするよう構成されているHRTFフィルタ・サブシステム（たとえば段〔ステージ〕）を含む。たとえば、マッピング器は、HRTF基底集合（これが結合HRTF集合を決定する）を決定するデータを記憶していてもよく（あるいはそれにアクセスするよう構成されていてもよい）、到達方向（たとえば、HRTFフィルタ・サブシステムに呈される入力オーディオ・データの集合に対応する、角度としてまたは単位ベクトルとして指定される到達方向）によって決定される仕方でHRTF基底集合の係数の線形結合を実行して、その到達方向についてのHRTF対（すなわち、左耳HRTFおよび右耳HRTF）を決定するよう構成されていてもよい。HRTFフィルタ・サブシステムは、それに対して呈される入力オーディオ・データの集合を、入力オーディオ・データに対応する到達方向についての前記マッピング器によって決定されるHRTF対を用いてフィルタリングするよう構成されていてもよい。いくつかの実施形態では、HRTFフィルタ・サブシステムは仮想化器、たとえばモノフォニック入力オーディオ信号を示すデータを処理して左および右のオーディオ出力チャネルを（たとえばヘッドホンを通じて呈示して聴取者に指定された到達方向にある源から発した音の印象を与えるために）生成するよう構成された仮想化器を実装する。いくつかの実施形態では、仮想化器は、（固定した源からの音を示す入力オーディオに応答して、）結合HRTFの集合によって張られる空間内の到達角度の間でなめらかにパンされる源からの音を示す出力オーディオを（有意な櫛形フィルタリング歪みを導入することなく）生成するよう構成される。

本発明のあるクラスの実施形態に基づいて決定される結合HRTF集合を使って、有意な櫛形フィルタリング歪みを導入することなく、入力オーディオは、該結合HRTF集合によって張られる空間における、前記集合に含まれる結合HRTFに厳密に対応しない角度も含めた任意の角度から到達するように感じられるように処理されうる。

本発明の典型的な実施形態は、次の三つの基準（本稿では時に便宜上「黄金律」と称される）を満たす結合HRTFの集合を決定する（または決定して使用する）。

１．（線形混合のプロセスによって）結合HRTFの集合から生成されるHRTFフィルタの各対（すなわち、指定された到達方向について生成されるそれぞれの左耳HRTFおよび右耳HRTF）の両耳間位相応答が、結合周波数より下のすべての周波数について、20%未満の位相誤差で（あるいはより好ましくは5%未満の位相誤差で）左耳および右耳の通常のHRTFの対応する対の両耳間位相応答にマッチする。結合周波数は700Hzより大きく、典型的には4kHzより小さい。換言すれば、前記集合から生成される左耳HRTFの位相と前記集合から生成される対応する右耳HRTFの位相との間の差の絶対値が、対応する左耳の通常のHRTFの位相と対応する右耳の通常のHRTFの位相との間の差の絶対値から、結合周波数より下の各周波数において、20%未満だけ（あるいはより好ましくは5%未満だけ）異なる。結合周波数より上の周波数では、（線形混合のプロセスによって）前記集合から生成されるHRTFフィルタの位相応答は、通常のHRTFの挙動から乖離し、（そのような高周波数での）両耳間群遅延は通常のHRTFに比べて有意に低下する。

２．ある到達方向について（線形混合のプロセスによって）前記集合から生成される各HRTFフィルタの大きさ応答は、その到達方向についての通常のHRTFについて期待される範囲内である（たとえば、その到達方向について典型的な通常のHRTFフィルタの大きさ応答に比して有意な櫛形フィルタリング歪みを示さないという意味で）。

３．（前記集合中の結合HRTFを線形混合するプロセスによって当該範囲内の各到達角度についてのHRTF対を生成するための）混合プロセスによって張られることのできる到達角度の範囲は少なくとも60度である（好ましくは360度である）。

本発明のある側面は、本発明の方法の任意の実施形態を実行するよう構成されたシステムである。いくつかの実施形態では、本発明のシステムは、本発明の方法の実施形態を実行するようソフトウェア（ファームウェア）をもってプログラムされたまたは他の仕方で構成された、汎用または専用プロセッサ（たとえばオーディオ・デジタル信号プロセッサ）であるまたはそれを含む。いくつかの実施形態では、本発明のシステムは、構成可能なオーディオ・デジタル信号プロセッサ（DSP）を適切に構成する（たとえばプログラムする）ことによって実装される。オーディオDSPは、入力オーディオに対して多様な動作の任意のものを実行するよう、また本発明の実施形態を実行するよう構成可能な（たとえば適切なソフトウェアまたはファームウェアによってプログラム可能なまたは他の仕方で制御データに応答して構成可能な）通常のオーディオDSPであることができる。動作では、本発明に基づく本発明の方法の実施形態を実行するよう構成されたオーディオDSPは、少なくとも一つのオーディオ信号と、到達方向を示す少なくとも一つの信号を受領するよう結合され、該DSPは典型的には、本発明の方法の前記実施形態に基づいて前記各オーディオ信号に対してHRTFフィルタリングを実行することに加えて、前記各オーディオ信号に対して多様な動作を実行する。

本発明の他の側面は、結合HRTFの集合（たとえば、本稿に記載される黄金律を満たすもの）を生成する方法、本発明の方法の任意の実施形態を実行するようプロセッサまたは他のシステムをプログラムするためのコードを（有体な形で）記憶しているコンピュータ可読媒体（たとえばディスク）および本発明の実施形態に基づいて（たとえば本稿に記載される黄金律を満たすよう）決定された結合HRTFの集合を決定するデータを（有体な形で）記憶するコンピュータ可読媒体（たとえばディスク）である。

（聴取者１の耳における）音の到達方向の、(x,y,z)単位ベクトルを用いた（z軸は図１の紙面に垂直）および方位角Azを用いた（仰角Elは0に等しい）定義を示す図である。 (x,y,z)単位ベクトルを用いたおよび方位角Azおよび仰角Elを用いた、位置Lにおける（源位置Sから発された）音の到達方向の定義を示す図である。 35度および55度の方位角についての通常の仕方で決定されたHRTFインパルス応答の対（記号HRTF_L(35,0)とHRTF_R(35,0)およびHRTF_L(55,0)とHRTF_R(55,0)）、45度の方位角についての通常の仕方で決定（測定）されたHRTFインパルス応答の対（記号HRTF_L(45,0)とHRTF_R(45,0)）および35度および55度の方位角についての通常HRTFインパルス応答を線形混合することによって生成された45度の方位角についての合成されたHRTFインパルス応答の対（記号(HRTF_L(35,0)＋HRTF_L(55,0))/2および(HRTF_R(35,0)＋HRTF_R(55,0))/2）の一組のプロット（大きさ対時間）である。図３の合成された右耳HRTF（(HRTF_R(35,0)＋HRTF_R(55,0))/2）の周波数応答および図３の45度の方位角（(HRTF_R(45,0)）についての真の右耳HRTFの周波数応答のグラフである。図３の合成されたのでない35度、45度および55度の右耳HRTF_Rの周波数応答（大きさ対周波数）のプロットである。図３の合成されたのでない35度、45度および55度の右耳HRTF_Rの位相応答（位相対周波数）のプロットである。 35度および55度の方位角についての（本発明の実施形態に基づいて生成された）右耳結合HRTFの位相応答のプロットである。 35度および55度の方位角についての（本発明の別の実施形態に基づいて生成された）右耳結合HRTFの位相応答のプロットである。 45度の方位角についての通常の仕方で決定された右耳HRTF（記号HRTF_R(45,0)）の周波数応答（大きさ対周波数）のプロットおよび35度および55度の方位角についての（やはり本発明の実施形態に基づいて決定された）結合HRTFを線形混合することによって本発明の実施形態に基づいて決定された右耳HRTF（記号(HRTF^Z _R(35,0)＋HRTF^Z _R(55,0))/2）の周波数応答のプロットである。結合HRTFを決定するために本発明のいくつかの実施形態において用いられる重み付け関数W(k)のグラフである（大きさ対周波数をプロットしており、周波数はFFTビン・インデックスkの単位で表わされている）。本発明のシステムのある実施形態のブロック図である。 HRTFマッピング器１０およびオーディオ・プロセッサ２０を含み、指定された方位角Azに位置する音の印象を聴取者に与えるようヘッドホンを通じた呈示のためにモノフォニック・オーディオ信号を処理するよう構成されている本発明のシステムのある実施形態のブロック図である。混合器３０およびHRTFマッピング器４０を含む本発明のシステムのもう一つの実施形態のブロック図である。本発明のシステムのもう一つの実施形態のブロック図である。本発明のシステムのもう一つの実施形態のブロック図である。

本発明の多くの実施形態は、技術的に可能である。本開示から、当業者には、それらをいかにして実装するかは明白であろう。本発明のシステム、媒体および方法の実施形態について、図３〜図１３を参照して述べる。

本稿において、HRTFの「集合」は、複数の到達方向に対応するHRTFの集まりを表わす。ルックアップテーブルがHRTFの集合を記憶していてもよく、（到達方向を示す入力に応答して）その到達方向に対応する（その集合に含まれる）左耳および右耳HRTFの対を出力してもよい。典型的には、（各到達方向に対応する）左耳HRTFおよび右耳HRTFが集合に含まれる。

（最も一般的な実装のように）有限長のインパルス応答として実装される左耳および右耳HRTFは、本稿では時にそれぞれHRTF_L(x,y,z,n)およびHRTF_R(x,y,z,n)と称される。ここで、(x,y,z)は対応する到達方向を定義する単位ベクトルを同定し（あるいはまた、本発明のいくつかの実装では、HRTFは位置座標x,y,zの代わりに方位角および仰角AzおよびElを参照して定義される）、0≦n≦Nであり、NはFIRフィルタの次数であり、nはインパルス応答サンプル数である。インパルス応答サンプル数nへの言及を省いても混乱が生じないときは、時に、簡単のため、構成するインパルス応答サンプルに言及することなくそのようなフィルタに言及する（たとえば、フィルタはHRTF_L(x,y,z)またはHRTF_L(Az,El)として言及される）。

本稿において、「通常のHRTF」という表現は、現実の人間の被験者の頭部伝達関数によく似たフィルタ応答を表わす。通常のHRTFは、当技術分野でよく知られている多様な方法の任意のもので生成されうる。本発明のある側面は、記述される具体的な仕方において通常のHRTFと異なる新たな型のHRTF（本稿では結合HRTF（coupled HRTF〔結合されたHRTF〕）と称する）である。

本稿において、「HRTF基底集合（HRTF basis set）」という表現は、さまざまな到達方向についてのHRTF（HRTF係数）を生成するために一緒に線形結合されうるフィルタ応答（一般にFIRフィルタ係数）の集まりを表わす。一般に主成分解析と称される方法を含め、フィルタ係数の縮小されたサイズの集合を生成するための多くの方法が当技術分野において知られている。

本稿において、「HRTFマッピング器」という表現は、指定された到達方向（たとえば、角度または単位ベクトルとして指定された方向）に応答してHRTFインパルス応答（左耳応答および右耳応答）の対を決定する方法またはシステムを表わす。HRTFマッピング器は、HRTFの集合を使うことによって動作してもよく、対応する到達方向が指定された到達方向に最も近い前記集合中のHRTFを選ぶことによって指定された方向についてのHRTF対を決定してもよい。あるいはまた、HRTFマッピング器は、前記集合内のHRTFの間を補間することによって要求された方向についての各HRTFを決定してもよい。ここで、補間は、前記集合内の、要求された方向に近い対応する到達方向をもつHRTFの間である。これらの技法（最近接マッチおよび補間）のいずれも当技術分野においてはよく知られている。

たとえば、HRTF集合は、水平面（El＝0）内のいくつかの方向を含む複数の到達方向についてのHRTFを表わすインパルス応答係数の集まりを含んでいてもよい。前記集合が(Az＝35°,EL＝0°)および(Az＝55°,EL＝0°)についてのエントリーを含むならば、HRTFマッピング器は、何らかの形の混合：
HRTF_L(45,0)＝mix(HRTF_L(35,0), HRTF_L(55,0))
HRTF_R(45,0)＝mix(HRTF_R(35,0), HRTF_R(55,0)) (1.1)
によって(Az＝45°,EL＝0°)についての推定HRTFを生成することができる。

あるいはまた、HRTFマッピング器は、HRTF基底集合からのフィルタ係数を一緒に線形混合することによって特定の到達角度についてのHRTFフィルタを生成してもよい。この例のより詳細な解説は、下記のBフォーマット結合HRTFに関する記述において与えられる。

式(1.1)の各混合演算をインパルス応答の単純な平均、たとえば
HRTF_L(45,0,n)＝(HRTF_L(35,0,n)＋HRTF_L(55,0,n))／2
HRTF_R(45,0,n)＝(HRTF_R(35,0,n)＋HRTF_R(55,0,n))／2 (1.2)
のようにして実行したくなる。だが、通常の仕方で生成されるHRTF混合への単純な線形補間アプローチ（たとえば式(1.2)に示されるような）は、混合される応答（たとえば、式(1.2)における通常の仕方で決定された応答HRTF_R(35,0)およびHRTF_R(55,0)）間の有意な群遅延差の存在のため、問題が生じる。

図３は、35度および55度の方位角についての典型的な通常のHRTFインパルス応答（図３では記号HRTF_L(35,0)とHRTF_R(35,0)で表わされる応答および記号HRTF_L(55,0)とHRTF_R(55,0)で表わされる応答）を、真の（測定された）45度の方位角のHRTF（図３では記号HRTF_L(45,0)とHRTF_R(45,0)）の対とともに示している。図３はまた、式(1.2)に示す仕方で35度および55度の応答を平均することによって生成された合成された45度HRTF（図３では記号(HRTF_L(35,0)＋HRTF_L(55,0))/2および(HRTF_R(35,0)＋HRTF_R(55,0))/2）の対をも示している。図４は、45°方位角について、平均（「(HRTF_R(35,0)＋HRTF_R(55,0))/2」）対真の（「HRTF_R(45,0)」）右耳HRTFの周波数応答を示している。

図５（ａ）では、（図３の）真の35度、45度および55度のHRTF_Rフィルタの周波数応答（大きさ対周波数）がプロットされている。図５（ｂ）では、（図３の）真の35度、45度および55度のHRTF_Rフィルタの位相応答（位相対周波数）がプロットされている。

図３から明らかなように、HRTF_R(35,0)およびHRTF_R(55,0)インパルス応答は有意に異なる遅延を示す（これらのインパルス応答のそれぞれの始まりにおけるほぼ0の係数のシーケンスによって示されるように）。これらの立ち上がり遅延は、音が遠いほうの耳まで伝搬するのにかかる時間によって引き起こされる（35度、45度および55度の方位角は音が左耳に先に到達することを含意し、よって右耳への遅延があり、この遅延は方位角が35度から55度まで増すにつれて増大する）。図３からはまた、HRTF_R(45,0)フィルタは、（期待されるであろうように）35度と55度の応答の遅延の間のどこかにある立ち上がり遅延をもつことが明らかである。しかしながら、35度と55度のインパルス応答を平均することによって生成される応答は、真の45度インパルス応答（HRTF_R(45,0)）とは非常に異なったものに見える。図３のインパルス応答プロットにおいてよく目立つこの相違は、図４の周波数応答プロットでは一層明白になる。

たとえば、図４では、35度と55度のHRTFを平均することによって作り出されたフィルタ応答の約3.5kHzのところに、深い落ち込みが見えている。「正しい」45度HRTF（図４では記号「HRTF_R(45,0)」）は約3.5kHzのところに落ち込みはない。このように、平均された応答「(HRTF_R(35,0)＋HRTF_R(55,0))/2」を生成するよう実行される混合動作は、望ましくないことに、落ち込みを導入してしまった。これは、一般に「櫛形フィルタリング（comb filtering）」と称されるアーチファクト導入の例である。図４では落ち込み（櫛形フィルタリング・アーチファクト）が（35度と55度のHRTFを平均することによって生成された）合成フィルタ応答において10kHzおよび17kHzにも現われていることを注意しておく。

この櫛形フィルタリング（コーミング）の原因は、図５（ｂ）に示されるHRTF_Rフィルタの位相応答を調べることによって観察できる。図５（ｂ）から、3.5kHzにおいて、右耳についての35度HRTFが−600度の位相シフトをもち、一方右耳についての55度HRTFは−780度の位相シフトをもつことが明らかである。35度と55度のフィルタの間の180度の位相差は、これらのフィルタの（それらが平均されるときに行なわれるような）いかなる合計も、3.5kHzにおける応答の部分的な打ち消しに（よって図４に示した深い落ち込みに）つながるということを意味する。

HRTFマッピング器を実装するために（上記の平均法のような）線形補間技法を使うことは望ましい一方、記載した型の櫛形フィルタリング（ノッチ生成）問題は有意な困難を呈する。結果として生じる落ち込み〔ノッチ〕がHRTFマッピング器などで生成されたHRTFにおける可聴アーチファクトにつながるからである。（たとえばより細かいスケールの格子上でなされる測定によるより大きな集合を使うことによって）HRTF集合の空間分解能が高められても、ノッチ形成問題は典型的にはいまだ存在する（ただし、補間された応答における落ち込みはより高い周波数に現われることがある）。

あるクラスの実施形態では、本発明は、特別に生成されたHRTFの小さなライブラリ（集合）（たとえば50個未満のHRTFの集合）のHRTFの重み付けされた和を形成することによって、任意の到達方向についてのHRTFの対（HRTF_LおよびHRTF_R）を決定することができるHRTFマッピング器である。集合がL個のエントリー（d＝1,……,L）を含む場合、マッピング器は

を計算することができる。ここで、WLおよびWRの値は（それぞれx,y,zおよび集合インデックスdによって決定される特定の到達方向についての）重み付け係数の集合であり、IR_d(n)係数は前記集合内のインパルス応答である。

本発明のHRTFの集合（本稿では「結合HRTF集合（coupled HRTF set）」と称される）中の特別に生成されたHRTF（本稿では「結合HRTF（coupled HRTF）」または「結合HRTFフィルタ（coupled HRTF filters）」と称される）は、前記集合中の応答が任意の到達方向についてのHRTFを生成するよう式(1.3)により線形混合できるよう、人為的に（たとえば「通常の」HRTFを修正することによって）生成される。結合HRTFの集合は典型的には、所与の空間（たとえば水平面）にまたがり、特定の角度分解能に量子化されているいくつかの到達角度のそれぞれについて結合HRTFの対（左耳HRTFおよび右耳HRTF）を含む。（たとえば、結合HRTFの集合は360度の円のまわりの30度の角度分解能での到達角度0、30、60、……、300、330度を表わす。）集合中の結合HRTFは、集合中の到達角度についての「通常の」（真の、たとえば測定された）HRTFとは異なるよう決定される。特に、各通常のHRTFの位相応答が、特定の結合周波数より上では、意図的に変更される（それにより対応する結合HRTFが生成される）点において異なる。より具体的には、各通常のHRTFの位相応答が、集合内のすべての結合HRTFフィルタの位相応答が結合周波数より上では結合されるように意図的に変更される。（すなわち、それにより各左耳結合HRTFおよび各右耳結合HRTFの位相の間の両耳間位相差が、結合周波数より実質的に上のすべての周波数について周波数の関数として少なくとも実質的に一定になり、好ましくは、集合内の各結合HRTFの位相応答が、結合周波数より実質的に上のすべての周波数について周波数の関数として少なくとも実質的に一定になる。）
諸結合HRTF集合の生成は、レイリー卿によって提案された「音像定位の二元説」を利用する。二元説によれば、低周波（約1000Hzないし約1500Hzの範囲の周波数まで）では人間の聴取者にとってHRTFの時間遅延の差が重要な手がかりを与え、より高い周波数では人間の聴取者にとって振幅差が重要な手がかりを与える。二元説は、より高い周波数でHRTFの位相または遅延属性が全く重要でないというわけではなく、単に、高周波では振幅差がより重要であり、位相または遅延属性は相対的に重要性が低いことをいうものである。

結合HRTF集合を決定するために、まず「結合周波数」（F_C）を選択することから始める。結合周波数は、それより下ではある到達方向についての結合HRTFの各対（すなわち、その到達方向についての左耳および右耳結合HRTF）が、同じ到達方向についての対応する左右の「通常の」HRTFの両耳間位相応答によくマッチする両耳間位相応答（周波数の関数としての、左耳と右耳のフィルタの間の相対位相）をもつような周波数である。好ましい実施形態では、両耳間位相応答がよくマッチするというのは、結合周波数より下の周波数について、各結合HRTFの位相が、対応する「通常の」HRTFの位相の20%以内（あるいはより好ましくは5%以内）であるという意味においてである。

両耳間位相応答の間の上記の「よいマッチ」という概念を理解するために、図６（ａ）および図６（ｂ）に示されるような35度および55度の結合HRTF_R（HRTF^Z _R(35,0)、HRTF^Z _R(55,0)、HRTF^C _R(35,0)、HRTF^C _R(55,0)、）の位相応答を考える。これらの結合HRTFの大きさ応答（図６（ａ）および図６（ｂ）にはプロットしていない）は、それらを決定するもとになった対応する「通常の」HRTF（すなわち、図５（ａ）および図５（ｂ）のHRTF_R(35,0)およびHRTF_R(55,0)）の大きさ応答と同じである（よって、大きさ応答は図５（ａ）にプロットしたものと同じである）。結合HRTF_Rのそれぞれを対応する通常のHRTFから決定するために、位相応答のみが（対応する通常のHRTFの位相応答に対して）変更され、それも結合周波数（今の例ではF_C＝1000Hz）より上においてのみである。この位相応答修正の結果、結合HRTFは、望ましくない櫛形フィルタ・アーチファクトを引き起こすことなく一緒に線形混合されることができる（櫛形フィルタ・アーチファクトを引き起こすことなくというのは、そのような線形結合によって決定される各補間HRTFが有意な櫛形フィルタリング歪みを示さない大きさ応答をもつという意味においてである）。

このように、図６（ａ）のHRTF^Z _R(35,0)の位相応答は、結合周波数（F_C＝1000Hz）より下では図５（ｂ）の通常のHRTF_R(35,0)の位相応答によくマッチし、図６（ａ）のHRTF^Z _R(55,0)の位相応答は、結合周波数（F_C＝1000Hz）より下では図５（ｂ）の通常のHRTF_R(55,0)の位相応答によくマッチし、図６（ｂ）のHRTF^C _R(35,0)の位相応答は、結合周波数（F_C＝1000Hz）より下では図５（ｂ）の通常のHRTF_R(35,0)の位相応答によくマッチし、図６（ｂ）のHRTF^C _R(55,0)の位相応答は、結合周波数（F_C＝1000Hz）より下では図５（ｂ）の通常のHRTF_R(35,0)の位相応答によくマッチする。図６（ａ）のHRTF^Z _R(35,0)およびHRTF^Z _R(55,0)の位相応答は、結合周波数より上では図５（ｂ）の通常のHRTF_R(35,0)および通常のHRTF_R(55,0)の位相応答とは実質的に異なり、図６（ｂ）のHRTF^C _R(35,0)およびHRTF^C _R(55,0)の位相応答は、結合周波数より上では図５（ｂ）の通常のHRTF_R(35,0)および通常のHRTF_R(55,0)の位相応答とは実質的に異なる。

図６（ａ）のHRTF^Z _R(35,0)およびHRTF^Z _R(55,0)の位相応答は、結合周波数より上の周波数では結合される（よって、それらおよび対応する左耳のHRTF^Z _L(35,0)およびHRTF^Z _L(55,0)から決定される両耳間位相応答が結合周波数より実質的に上の周波数ではマッチするまたはほぼマッチする）。同様に、図６（ｂ）のHRTF^C _R(35,0)およびHRTF^C _R(55,0)の位相応答は、結合周波数より上での周波数では結合される（よって、それらおよび対応する左耳のHRTF^C _L(35,0)およびHRTF^C _L(55,0)から決定される両耳間位相応答が結合周波数より実質的に上の周波数ではマッチするまたはほぼマッチする）。図６（ｂ）に示されるように、HRTF^C _R(35,0)およびHRTF^C _R(55,0)についてプロットされた位相応答は90度より大きくは互いから乖離しておらず、我々はこれを位相応答のよい「マッチ」と考える。このマッチは、これらの結合されたフィルタが有意なコーミングを引き起こすことなく線形混合できることを保証するからである。

図７は、図５（ｂ）の通常の仕方で決定された（通常の）右耳HRTF_R(45,0)の周波数応答（大きさ対周波数）のプロットおよび図６（ａ）のHRTF^Z _R(35,0)およびHRTF^Z _R(55,0)を線形混合することによって本発明の実施形態に基づいて決定された右耳HRTF（記号(HRTF^Z _R(35,0)＋HRTF^Z _R(55,0))/2）の周波数応答のプロットである。線形混合は、HRTF^Z _R(35,0)とHRTF^Z _R(55,0)を足してその和を2で割ることによって実行される。図７から明らかなように、本発明の右耳HRTF（(HRTF^Z _R(35,0)＋HRTF^Z _R(55,0))/2）には櫛形フィルタ・アーチファクトがない。

図６（ａ）では、HRTF^Z _R(35,0)およびHRTF^Z _R(55,0)位相プロットは、これらの結合HRTFの「0拡張された（zero-extended）」位相応答を示している。同様に、図６（ｂ）はHRTF^C _R(35,0)およびHRTF^C _R(55,0)フィルタの位相を示しており、（1kHzの結合周波数より上の）位相は（結合周波数より実質的に高い諸周波数では）ある一定の位相になめらかにクロスフェードするよう修正されている。

結合HRTFは、本発明に基づき、多様な方法によって生成されうる。ある好ましい方法は、通常のHRTF対（すなわち、ダミーヘッドまたは本物の被験者から測定されたまたは好適なHRTFを生成するための任意の通常の方法から生成された左／右耳HRTF）を取り、それらの通常のHRTFの位相応答を（結合周波数より上の）高周波数のところで修正することによって機能する。

次に、本発明に基づき、通常の左耳および右耳HRTFの対から左耳および右耳の結合HRTFの対を生成するための方法の例を述べる。

これらの例示的な方法を実装する際、通常のHRTFの位相応答の修正は、それぞれのもとの（通常の）HRTFの位相応答に作用する周波数領域の重み付け関数（時に重み付けベクトルとも称される）W(k)を使うことによって達成されてもよい。ここで、kは周波数を示すインデックス（たとえばFFTビン・インデックス）である。重み付け関数W(k)は、たとえば図８に示した型の、なめらかな曲線であるべきである。通常のHRTFが長さKの高速フーリエ変換（FFT）を使って処理される典型的な場合には、FFTビン・インデックスkが周波数に対応する：f＝k×F_S/K。ここで、F_Sはデジタル信号のサンプリング周波数である。重み付け関数の図８の例では、周波数ビン・インデックスk₁およびk₂は1kHzおよび2kHzの周波数に対応し、結合周波数F_CはF_C＝1kHzであり、k₁〜1000×K/F_Sであり、k₂〜2000×K/F_Sである。

通常のHRTF（すなわち、到達方向の集合中の到達方向のそれぞれについて左耳および右耳の通常のHRTFの対）に応答して結合HRTF集合の結合HRTF（到達方向の前記集合における各到達方向についての左耳および右耳の結合HRTFの対）を決定するための本発明の方法のあるクラスの実施形態では、方法は以下の段階を含む。

１．長さKの高速フーリエ変換を使って、通常のHRTFであるHRTF_L(x,y,z,n)およびHRTF_R(x,y,z,n)の各対を周波数応答FR_L(k)およびFR_R(k)の対に変換する。ここで、kは、周波数f＝k×F_S/Kを中心とする周波数ビンの整数インデックスである（−N/2≦k≦N/2であり、F_Sはサンプリング・レート）。

２．次いで、FR_L(k)＝M_L(k)exp(jP_L(k))およびFR_R(k)＝M_R(k)exp(jP_R(k))となるよう大きさ（magnitude）および位相（phase）成分（M_L,M_R,P_L,P_R）を決定する。ここで、位相成分（P_L,P_R）はアンラッピングされる（よって、たとえば通常のMatlabの「unwrap」〔位相復元〕関数を使うことによって、πより大きな不連続があれば、ベクトルのサンプルに2πの整数倍を加えることによって除去される）。

３．通常のHRTF対が左半球にある到達方向に対応する（よってy＞0）ならば、FR'_LおよびFR'_Rを計算するために以下のステップを実行する：
（ａ）修正された位相ベクトルを計算する：P'(k)＝(P_R(k)−P_L(k))×W(k)。ここで、W(k)は上記で定義した重み付け関数である；
（ｂ）次いで、FR'_LおよびFR'_Rを：
FR'_L(k)＝M_L(k)exp(jP_L(k))
FR'_R(k)＝M_R(k)exp(j(P_L(k)+P'(k)))
のように計算する。

４．通常のHRTF対が右半球にある到達方向に対応する（よってy＜0）ならば、以下のステップを実行する：
（ａ）修正された位相ベクトルを計算する：P'(k)＝(P_L(k)−P_R(k))×W(k)；
（ｂ）次いで、FR'_LおよびFR'_Rを：
FR'_L(k)＝M_L(k)exp(j(P_R(k)+P'(k)))
FR'_R(k)＝M_R(k)exp(j(P_R(k))
のように計算する。

５．通常のHRTF対が中央面にある到達方向に対応する（よってy＝0）ならば、遠いほうの耳の応答の位相を変更する必要はなく、単に
FR'_L(k)＝M_L(k)exp(jP_L(k))
FR'_R(k)＝M_R(k)exp(jP_R(k))
を計算する。

６．最後に、
HRTF^Z _L(x,y,z,n)＝IFFT{FR'_L(k)×exp(−2πjgk/K)}
HRTF^Z _R(x,y,z,n)＝IFFT{FR'_R(k)×exp(−2πjgk/K)}
のように、結合HRTFを計算するために逆フーリエ変換を使う（そして両方の結合HRTFにg個のサンプルの追加的なバルク遅延を加える）。

ステップ３（またはステップ４）において位相応答に対してなされる修正は、しばしば最終的なインパルス応答の何らかの時間ぼかしにつながり、そのためもともと因果的であったHRTF FIRフィルタが非因果的なFIRフィルタに変換されることがある。この時間ぼかしに対する保護として、ステップ６において実装されているように、左耳および右耳の結合HRTFフィルタの両方において、追加されるバルク遅延が必要とされうる。gの典型的な値はg＝48であろう。

ステップ１〜６を参照して上記したプロセスは、通常のHRTF_LおよびHRTF_Rフィルタの各対について繰り返して、結合HRTF集合におけるそれぞれの結合HRTF^Z _Lフィルタおよびそれぞれの結合HRTF^Z _Rフィルタを生成しなければならない。記載されたプロセスに変形がなされてもよい。

たとえば、上記のステップ３（ｂ）は、右チャネル応答が、左の位相に修正された右−左位相差を加えたものを使って生成される一方、もとの左チャネルの位相応答が保存されることを示している。代替として、ステップ３（ｂ）の式は次のよう修正できる。

FR'_L(k)＝M_L(k)
FR'_R(k)＝M_R(k)exp(jP'(k)) (1.4)
この場合、もとの左耳HRTFの位相応答は完全に無視され、新たな右耳HRTFは修正された右−左位相差を付与される。

記載された方法に対するさらにもう一つの変形は、左耳および右耳のHRTF両方の（逆向きの位相シフトによる）位相シフトを含む。

FR'_L(k)＝M_L(k)exp(−jP'(k)/2)
FR'_R(k)＝M_R(k)exp(jP'(k)/2) (1.5)
むろん、代替的な式(1.4)または(1.5)が上記のステップ３（ｂ）で代用される場合、（HRTF到達方向が右半球にある場合を考慮する）ステップ４（ｂ）では対応する相補的な式が適用されるべきである。

式(1.5)が含意する対称性は、通常のHRTF（すなわち、到達方向の集合中の各到達方向についての左耳および右耳の通常のHRTFの対）に応答して結合HRTF集合の結合HRTF（すなわち、到達方向の前記集合中の各到達方向についての左耳および右耳の結合HRTFの対）を決定する本発明の方法のもう一つのクラスの実施形態において用いられる。これらの実施形態では、本方法は以下のステップを含む。

３．修正された位相ベクトルを計算する：P'(k)＝(P_R(k)−P_L(k))×W(k)。

４．次いで、FR'_LおよびFR'_Rを：
FR'_L(k)＝M_L(k)exp(−jP'(k)/2)
FR'_R(k)＝M_R(k)exp(jP'(k)/2)
のように計算する。

５．最後に、
HRTF^Z _L(x,y,z,n)＝IFFT{FR'_L(k)×exp(−2πjgk/K)}
HRTF^Z _R(x,y,z,n)＝IFFT{FR'_R(k)×exp(−2πjgk/K)}
のように、結合HRTFを計算するために逆フーリエ変換を使う（そして両方の結合HRTFにgサンプルぶんの追加的なバルク遅延を加える）。

代替的な方法（本稿では時に「一定位相拡張法」と称される）が、上記のステップ３の代わりに次のステップ３ａを用いて実装されうる：
３ａ．修正された位相ベクトルを計算する：P'(k)＝(P_R(k)−P_L(k))×W(k)＋(P_R(k₁)−P_L(k₁))×(1−W(k))。
代替ステップ３ａに記載されるこの修正された式には、図６（ｂ）の例に示されたように、高周波数での位相（P'(k)）を強制的に結合周波数での位相に等しくする効果がある。

次に、HRTF基底集合によって結合HRTF集合が決定される、本発明のもう一つのクラスの実施形態について述べる。

典型的なHRTF集合（たとえば結合HRTF集合）は、インパルス応答対（左耳および右耳のHRTF）の集まりからなる。ここで、各対は特定の到達方向に対応する。この場合、HRTFマッピング器の仕事は、指定された到達方向（たとえば到達方向ベクトル(x,y,z)によって決定される）を取り、あるHRTF集合（たとえば結合HRTF集合）中で、指定された到達方向に近いHRTFを見出し、前記集合中のHRTFに対して何らかの補間を実行することによって、指定された到達方向に対応するHRTF_LとHRTF_Rフィルタの対を決定することである。

HRTF集合が本発明に基づいて結合HRTF（そのような結合HRTFは、上記のように、高周波数において「結合」されている）を含むように生成されている場合、補間は線形補間であることができる。線形補間（線形混合）が使われるので、これは結合HRTF集合がHRTF基底集合によって決定できることを含意する。関心のある一つの好ましいHRTF基底集合は、球面調和基底である（時にBフォーマットと称される）。

最小平均二乗当てはめのよく知られたプロセス（または他の当てはめプロセス）が、結合HRTF集合を、球面調和関数に基づくHRTF基底集合を使って表現するために使用できる。例として、一次球面調和基底集合（H_W,H_X,H_y,H_z）は、（任意の特定の到達方向x,y,zまたは少なくとも60度にまたがる範囲内の任意の特定の到達方向x,y,zについての）任意の左耳（または右耳）HRTFが
HRTF_L(x,y,z,n)＝H_W(n)＋xH_X(n)＋yH_Y(n)＋zH_Z(n)
HRTF_R(x,y,z,n)＝H_W(n)＋xH_X(n)−yH_Y(n)＋zH_Z(n) (1.6)
として生成されうるよう決定されてもよい。ここで、結合HRTFの集合に対する最小平均二乗の最良当てはめを提供するために、HRTF基底集合のFIRフィルタ係数の四つの集合（H_W,H_X,H_Y,H_Z）が決定される。式(1.6)を実装することによって、四つのFIRフィルタ（H_W,H_X,H_Y,H_Z）の係数の表が、任意の指定された到達方向についての左耳（および右耳）HRTFを決定するために十分であり、よって四つのFIRフィルタ（H_W,H_X,H_Y,H_Z）が結合HRTF集合を決定する。

より高次の球面調和関数表現がさらなる精度を提供する。たとえば、HRTF基底集合の二次表現（H_W,H_X,H_Y,H_Z,H_X2,H_Y2,H_z2,H_XY,H_YZ）が定義されてもよい。それにより、（特定の到達方向x,y,zまたは少なくとも60度にまたがる範囲内の任意の特定の到達方向x,y,zについての）任意の左耳（または右耳）HRTFが
HRTF_L(x,y,z,n)＝H_W(n)＋xH_X(n)＋yH_Y(n)＋zH_Z(n)＋(x²−y²)H_X2(n)
＋2xyH_Y2(n)＋2xzH_XZ(n)＋2yzH_YZ(n)＋(2z²−x²−y²)H_Z2(n)
HRTF_R(x,y,z,n)＝H_W(n)＋xH_X(n)−yH_Y(n)＋zH_Z(n)＋(x²−y²)H_X2(n)
−2xyH_Y2(n)＋2xzH_XZ(n)−2yzH_YZ(n)＋(2z²−x²−y²)H_Z2(n)
(1.7)
として生成されうる。ここで、結合HRTFの集合に対する最小平均二乗の最良当てはめを提供するために、HRTF基底集合のFIRフィルタ係数の九つの集合（H_W,H_X,H_Y,H_Z,H_X2,H_Y2,H_XZ,H_YZ,H_Z2）が決定される。式(1.7)を実装することによって、九つのFIRフィルタの係数の表が、任意の指定された到達方向についての左耳（および右耳）HRTFを決定するために十分であり、よって九つのFIRフィルタが結合HRTF集合を決定する。

（一般に所望されうるように）到達角度が水平面に限定されるならば、単純化された式が得られる。この場合、球面調和関数集合のz成分のすべては破棄でき、よって二次の式(1.7)は簡略化されて次のようになる。

HRTF_L(x,y,z,n)＝H_W(n)＋xH_X(n)＋yH_Y(n)＋(x²−y²)H_X2(n)＋2xyH_Y2(n)
HRTF_R(x,y,z,n)＝H_W(n)＋xH_X(n)−yH_Y(n)＋(x²−y²)H_X2(n)−2xyH_Y2(n)
(1.8)
式(1.8)はあるいはまた、方位角Azを使って
HRTF_L(Az,n)＝H_W(n)＋cos(Az)H_X(n)＋sin(Az)H_Y(n)
＋cos(2Az)H_X2(n)＋sin(2Az)H_Y2(n)
HRTF_R(Az,n)＝H_W(n)＋cos(Az)H_X(n)−sin(Az)H_Y(n)
＋cos(2Az)H_X2(n)−sin(2Az)H_Y2(n)
(1.9)
のように書いてもよい。

ある好ましい実施形態では、三次の水平HRTFマッピング器は、任意の特定の到達方向について任意の左耳（または右耳）HRTFが
HRTF_L(Az,n)＝H_W(n)＋cos(Az)H_X(n)＋sin(Az)H_Y(n)
＋cos(2Az)H_X2(n)＋sin(2Az)H_Y2(n)
＋cos(3Az)H_X3(n)＋sin(3Az)H_Y3(n)
HRTF_R(Az,n)＝H_W(n)＋cos(Az)H_X(n)−sin(Az)H_Y(n)
＋cos(2Az)H_X2(n)−sin(2Az)H_Y2(n)
＋cos(3Az)H_X3(n)−sin(3Az)H_Y3(n)
(1.10)
として生成されるよう定義された基底集合の三次表現を使って動作する。ここで、結合HRTFの集合に対する最小平均二乗の最良当てはめを提供するために、HRTF基底集合のFIRフィルタ係数の七つの集合（H_W,H_X,H_Y,H_X2,H_Y2,H_X3,H_Y3）が決定される。こうして、七つのFIRフィルタが結合HRTF集合を決定する。このようにして定義されたHRTF基底集合を用いるHRTFマッピング器は本願の好ましい実施形態である。というのも、結合周波数までの（たとえば1000Hzまたはそれ以上までの）周波数について高い度合いの位相精度をもって、水平面内の任意の到達方向について左耳（および右耳）HRTFフィルタを生成するために、たった七個のフィルタ（H_W(n),H_x(n),H_y(n),H_x2(n),H_y2(n),H_x3(n),H_y3(n)）が使用されることを許容するからである。

次に、本発明の実施形態に基づく信号混合のために小さなHRTF基底集合（そのそれぞれが結合HRTF集合を決定する）を使うことを述べる。

HRTFマッピング器を、結合HRTF集合を決定するための（式(1.10)を参照して定義した型の）小さなHRTF基底集合を用いる装置として実装し、本発明の実施形態に基づくそのような装置を使って信号混合を実行することが可能である。

図１０のHRTFマッピング器１０は、結合HRTF集合を決定するための、式(1.10)を参照して定義した小さなHRTF基底集合を用いるそのようなHRTFマッピング器の例である。図１０の装置は、モノフォニック・オーディオ信号（「Sig」）を処理して、指定された方位角Azに位置する音の印象を聴取者に与えるようヘッドホンを通じた呈示のために左および右のオーディオ出力チャネル（Out_LおよびOut_R）を生成する（仮想化器である）オーディオ・プロセッサ２０をも含んでいる。

図１０のシステムでは、単一のオーディオ入力チャネル（Sig）が、プロセッサ２０によって実装される二つのFIRフィルタ２１および２２（それぞれ畳み込み演算子でラベル付けされている）によって処理されて、それぞれ左耳および右耳の信号Out_LおよびOut_Rを（ヘッドホンを通じた呈示のために）生成する。左耳FIRフィルタ２１のためのフィルタ係数は、マッピング器１０において、HRTF基底集合（式(1.10)のH_W,H_X,H_Y,H_X2,H_Y2,H_X3,H_Y3）から、HRTF基底集合係数のそれぞれに方位角Azの正弦のおよび余弦関数の対応するもの（式(1.10)に示してある）によって重み付けし（すなわち、H_W(n)は重み付けされない、H_X(n)はcos(Az)を乗算される、H_Y(n)はsin(Az)を乗算される、など）、加算段１３においてnの各値について七つの重み付けされた係数（H_W(n)も含む）を総和することによって決定される。右耳FIRフィルタ２２のためのフィルタ係数は、マッピング器１０において、HRTF基底集合（式(1.10)のH_W,H_X,H_Y,H_X2,H_Y2,H_X3,H_Y3）から、HRTF基底集合係数のそれぞれに方位角Azの正弦のおよび余弦関数の対応するもの（式(1.10)に示してある）によって重み付けし（すなわち、H_W(n)は重み付けされない、H_X(n)はcos(Az)を乗算される、H_Y(n)はsin(Az)を乗算される、など）、係数H_Y(n)、H_Y2(n)およびH_Y3(n)の重み付けされたバージョンのそれぞれにマイナス1を乗算し（乗算要素１１において）、結果として得られる七つの重み付けされた係数を加算段１２において総和することによって決定される。

このように、図１０のシステムは、処理を二つの主要なコンポーネントに分解する。第一に、HRTFマッピング器１０を使って、フィルタ２１および２２によって適用されるFIRフィルタ係数HRTF_L(Az,n)およびHRTF_R(Az,n)を計算する。第二に、（プロセッサ２０の）フィルタ２１および２２が、HRTFマッピング器によって計算されたFIRフィルタ係数をもって構成され、次いで構成されたフィルタ２１および２２がオーディオ入力を処理してヘッドホン出力信号を生成する。

混合システムは、同じ入力オーディオ信号および指定された到達方向（方位角）に応答して（図１０のシステムによって生成されるのと）同じ結果を生成するよう、（図１１に示されるような）非常に異なる方法で構成されることができる。（仮想化器を実装する）図１１の装置は、モノフォニック・オーディオ信号（「InSig」）を処理して、指定された到達方向（方位角Az）に位置する音の印象を聴取者に与えるようヘッドホンを通じて呈示されうる左および右の（バイノーラル）オーディオ出力チャネル（Out_LおよびOut_R）を生成するよう構成されている。

図１１では、信号パン段（パニング器）３０が次式：
W＝InSig
X＝InSig×cos(Az)
Y＝InSig×sin(Az)
X2＝InSig×cos(2Az)
Y2＝InSig×sin(2Az)
X3＝InSig×cos(3Az)
Y3＝InSig×sin(3Az)
のように、入力信号（「InSig」）に応答して七つの中間信号の集合を生成する。ここで、Azは指定された方位角である。

次いで、七つの中間信号のそれぞれが、HRTFフィルタ段４０において、HRTF基底集合の対応するFIRフィルタのFIRフィルタ係数と（段４４において）畳み込みすることによって、フィルタリングされる。（すなわち、InSigは係数H_Wと畳み込みされ、InSig・cos(Az)は式(1.10)の係数H_Xと畳み込みされ、InSig・sin(Az)は式(1.10)の係数H_Yと畳み込みされ、InSig・cos(2Az)は式(1.10)の係数H_X2と畳み込みされ、InSig・sin(2Az)は式(1.10)の係数H_Y2と畳み込みされ、InSig・cos(3Az)は式(1.10)の係数H_X3と畳み込みされ、InSig・sin(3Az)は式(1.10)の係数H_Y3と畳み込みされる。）次いで、畳み込み段４４の出力が（加算段４１において）加算され、左チャネル出力信号Out_Lを生成する。畳み込み段４４の出力の一部は乗算要素４２においてマイナス1を乗算される（すなわち、係数H_Yと畳み込みされるsin(Az)、係数H_Y2と畳み込みされるInSig・sin(2Az)、係数H_Y3と畳み込みされるInSig・sin(3Az)のそれぞれは要素４２においてマイナス1を乗算される）。乗算要素４２の出力は、（加算段４３において）畳み込み段の他の出力に加えられ、右チャネル出力信号Out_Rを生成する。畳み込み段４４において適用されるフィルタ係数は、式(1.10)のHRTF基底集合H_W,H_X,H_Y,H_X2,H_Y2,H_X3,H_Y3のものである。

M個の入力信号の集合InSig_mがバイノーラル再生のために処理される場合には、M個の入力信号全部が存在する、中間信号の単一の集合がパニング器３０において生成されてもよい。

ひとたびこれらの中間的な信号が生成されたら、それらは次のように畳み込み段４４においてフィルタリングされる。

そして左耳および右耳の出力信号は次のように導出される。

よって、式(1.12)、(1.13)および(1.14)の組み合わされた動作は、（それぞれ対応する方位角Az_mをもつ）M個の入力信号の集合{InSig_m: 1≦m≦M}が、七つだけのFIRフィルタを使ってバイノーラルにレンダリングされることができるようにする。各入力信号について異なる方位角Az_mがあってもよい。これは、図１１のシステムによって実装されるプロセスを図１２に示されるように複数の入力信号に適用することによって、HRTF基底集合中の少数のFIRフィルタ集合が、多数の入力信号をバイノーラルにレンダリングするための効率的な方法を可能にするということを意味する。

図１２では、ブロック３０_iのそれぞれはi番目の入力信号の処理の際の図１１のパニング器３０を表わし（ここで、インデックスiは1からMまで走る）、加算段３１は、ブロック３０_i〜３０_Mにおいて生成された出力を加算して式(1.12)に記載される七つの中間信号を生成するよう結合され、構成される。

M個の入力信号InSig_mを処理するための本発明のシステムおよび方法のもう一つの実施形態について図１３を参照して述べる。この実施形態では、中間信号フォーマットが上方混合によって修正されてもよいという事実を使って、M個の入力信号がバイノーラル再生のために処理される。このコンテキストにおいて、「上方混合」は、より低い分解能の中間信号（より少数のチャネルから構成される信号）が処理されてより高い分解能の中間信号（より多数の中間信号から構成される）を生成するプロセスをいう。そのような中間信号を上方混合するためには多くの方法が当技術分野において知られている。それには、たとえば本発明者に対する米国特許第8,103,006号に記述される方法が含まれる。上方混合プロセスは、図１３に示されるようにHRTFフィルタリングの前に上方混合を行なうことによって、より低い分解能の中間信号が使用されることを許容する。

図１３では、ブロック１３０_iのそれぞれは、i番目の入力信号InSig_iの処理の際の同じパニング器（図１３のパニング器と称される）を表わし（ここで、インデックスiは1からMまでの範囲）、加算段１３１は、ブロック１３０_i〜１３０_Mにおいて生成された出力を加算して中間信号を生成するよう結合され、構成される。これらの中間信号が上方混合段１３２において上方混合される。段４０（これは図１１の段４０と同一）は段１３２の出力をフィルタリングする。

図１３のパニング器は、現在の入力信号（「InSig_i」）を段１３１にそのまま渡す。図１３のパニング器は、段３４および３５を含み、これらはそれぞれ現在の方位角Az_iに応答して値cos(Az_i)およびsin(Az_i)を生成する。図１３のパニング器は乗算段３６および３７をも含む。これらは現在の入力信号InSig_iおよび段３４および３５の出力に応答して、それぞれ値InSig_i・cos(Az_i)およびInSig_i・sin(Az_i)を生成する。

加算段１３１は、ブロック１３０_i〜１３０_Mにおいて生成された出力を加算して中間信号を生成することを次のように行なうよう結合され、構成されている。段１３１はM個の出力「InSig_i」を加算して一つの中間信号を生成し；段１３１はM個の値InSig_i・cos(Az_i)を加算して第二の中間信号を生成し；段１３１はM個の値InSig_i・sin(Az_i)を加算して第三の中間信号を生成する。上記三つの中間信号のそれぞれが異なるチャネルに対応する。上方混合段１３２は段１３１からの上記三つの中間信号を（たとえば通常の仕方で）上方混合して、それぞれ七つのチャネルの異なるものに対応する、七つの上方混合された中間信号を生成する。段４０は、これらの七つの上方混合された信号を、図１１の段４０が図１１の段３０によってそれに呈される七つの信号をフィルタリングするのと同じ仕方で、フィルタリングする。

（図１１、図１２および図１３を参照して）上記した中間信号の具体的な形は、修正されて、HRTF基底集合分解のための代替的な諸基底集合を形成してもよい。当業者はこのことを理解するであろう。本発明のそのようなすべての実施形態において、（図１２または図１３のシステムにおけるような）オーディオ処理を単純化するためのHRTF基底集合の使用は、該HRTF基底集合が、線形混合によって（たとえば、図１３の要素３４、３５、３６、３７、１３１および１３２によってまたは図１０に示した段１０の諸要素によって）HRTFフィルタが生成されうるように構築されている場合にのみ可能である。基底集合が本発明の結合HRTFフィルタの集合を決定する場合、「結合」され線形結合によりなじむように修正されたHRTFフィルタが生成されうる。

１．（線形混合のプロセスによって）結合HRTFの集合から生成されるHRTFフィルタの各対（すなわち、指定された到達方向について生成されるそれぞれの左耳HRTFおよび右耳HRTF）の両耳間位相応答が、結合周波数より下のすべての周波数について、20%未満の位相誤差で（あるいはより好ましくは5%未満の位相誤差で）左耳および右耳の通常のHRTFの対応する対の両耳間位相応答にマッチする。換言すれば、前記集合から生成される左耳HRTFの位相と前記集合から生成される対応する右耳HRTFの位相との間の差の絶対値が、対応する左耳の通常のHRTFの位相と対応する右耳の通常のHRTFの位相との間の差の絶対値から、結合周波数より下の各周波数において、20%未満だけ（あるいはより好ましくは5%未満だけ）異なる。結合周波数は700Hzより大きく、典型的には4kHz未満である。結合周波数より上の周波数では、（線形混合のプロセスによって）前記集合から生成されるHRTFフィルタの位相応答は、通常のHRTFの挙動から乖離し、（そのような高周波数での）両耳間群遅延は通常のHRTFに比べて有意に低下する。

３．（前記集合中の結合HRTFを線形混合するプロセスによって当該範囲内の各到達角度についてのHRTF対を生成するための）混合プロセスがまたがることのできる到達角度の範囲は少なくとも60度である（好ましくは360度である）。

本発明の方法がHRTF基底集合を決定し、そのHRTF基底集合が結合HRTF集合を決定する（たとえば、最小平均二乗当てはめまたは他の当てはめプロセスを実行してHRTF基底集合の係数を決定して、HRTF基底集合が十分な精度の範囲内まで結合HRTF集合を決定するようにすることによって）、あるいはそのようなHRTF基底集合を使って到達方向に応答して一対のHRTFを決定する実施形態では、結合HRTF集合は好ましくは黄金律を満たす。

典型的には、黄金律を満たす結合HRTF集合は、到達角度のある範囲にまたがる諸到達角度について、左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含む。前記範囲内の任意の到達角度について（本発明の実施形態に基づく線形混合によって）決定された左耳HRTFおよび前記到達角度について（本発明の実施形態に基づく線形混合によって）決定された右耳HRTFの両耳間位相応答は、結合周波数より下のすべての周波数について、前記到達角度についての典型的な左耳の通常のHRTFの、前記到達角度についての典型的な右耳の通常のHRTFに比しての両耳間位相応答に、20%未満（好ましくは5%未満）の位相誤差でマッチする（ここで、結合周波数は700Hzより大きく、典型的には4kHzより小さい）。

前記範囲内の任意の到達角度について（本発明の前記実施形態に基づく線形混合によって）決定された前記左耳HRTFの大きさ応答は、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さず、前記範囲内の任意の到達角度について（本発明の前記実施形態に基づく線形混合によって）決定された前記右耳HRTFの大きさ応答は、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さず、
到達角度の前記範囲は少なくとも60度である（好ましくは、到達角度の前記範囲は360度である）。

（たとえば本発明者に対する米国特許第6,021,206号において記載されるような）球面調和関数基底集合を介してHRTFライブラリを単純化することが提案されているが、球面調和基底を使うことによるそのような以前の試みはみな、本稿に記載される型の著しいコーミング問題があった。よって、従来の仕方で決定される球面調和HRTFライブラリは、上記の黄金律の第二の基準を満たさなかった。

また、アナログ回路要素によってバイノーラル化フィルタを作り出そうとするいくつかの初期の試みは、アナログ回路技法の限界の偶然の副作用として黄金律の第二の基準を満たすHRTFフィルタを生じた。たとえば、そのようなHRTFフィルタがBauerによるStereophonic Earphones and Binaural Loudspeakersと題する論文（Journal of the Audio Engineering Society, April 1961, Volume 9, No. 2）に記載されているが、そのようなHRTFは黄金律の第一の基準を満たさなかった。

本発明の典型的な実施形態は、所与の空間（たとえば水平面）にまたがる種々の到達角度を表わし、特定の角度分解能に量子化されている結合HRTFの集合（たとえば、30度の角度分解能をもって360度の円のまわりの到達角度0、30、60、……、300および330度を表わす結合HRTFの集合）を生成する方法である。前記集合内の結合HRTFは、前記集合内の諸到達角度についての真の（すなわち測定された）HRTFとは異なるよう構築されている（0度および180度の方位角を除く。これらのHRTF角度は典型的には両耳間位相が0であり、よって黄金律に従わせるために何ら特別な処理を必要としないからである）。具体的には、これらのHRTFは、これらのHRTFの位相応答が特定の結合周波数より上で意図的に変更されているという意味で異なる。より具体的には、前記集合内のHRTFの位相応答が結合周波数より上では結合される（すなわち、同じまたはほぼ同じになる）よう、それらの位相が変更される。典型的には、それより上で位相応答が結合される結合周波数は、前記集合に含まれるHRTFの角度分解能に依存して選ばれる。好ましくは、前記集合の角度分解能が増すにつれて（すなわち、より多くの結合HRTFが前記集合に加えられるにつれて）結合周波数も増すよう、カットオフ周波数が選ばれる。

代替的な実施形態では、本発明に従って適用される各HRTF（またはHRTFの部分集合のそれぞれ）は、周波数領域で定義され、適用される（たとえば、そのようなHRTFに基づいて変換される各信号は時間領域から周波数領域への変換を受け、次いで結果として得られる周波数成分にHRTFが適用され、次いで変換された成分が周波数領域から時間領域への変換を受ける）。

いくつかの実施形態では、本発明のシステムは、少なくとも一つのオーディオ入力チャネルを示す入力データを受領または生成するよう結合され、本発明の方法の実施形態を含む前記入力データに対する多様な動作の任意のものを実行するようソフトウェア（またはファームウェア）をもってプログラムされたおよび／または（たとえば制御データに応答して）他の仕方で構成された、汎用プロセッサであるまたはそれを含む。そのような汎用プロセッサは典型的には入力装置（たとえばマウスおよび／またはキーボード）、メモリおよび表示装置に結合されるであろう。たとえば、図９、図１０、図１１、図１２または図１３のシステムは、本発明の方法の実施形態を含む入力データに対する多様な動作の任意のものを実行してオーディオ出力データを生成するようプログラムされたおよび／または他の仕方で構成された汎用プロセッサとして実装できる。通常のデジタル‐アナログ変換器（DAC）が前記オーディオ出力データに作用して、物理的なスピーカーによる再生のために出力オーディオ信号のアナログ・バージョンを生成することができる。

図９は、本発明の方法のある実施形態を実行するよう構成された（プログラム可能なオーディオDSPとして実装できる）システムのブロック図である。本システムは、オーディオ入力信号（たとえば、音を示す周波数領域オーディオ・データまたは音を示す時間領域オーディオ・データ）を受領するよう結合されたHRTFフィルタ段９と、HRTFマッピング段７とを含む。HRTFマッピング段７は、結合HRTFの集合を決定するデータ（たとえば、結合HRTF集合を決定するHRTF基底集合を決定するデータ）を記憶するメモリ８を含み、段９に呈された入力オーディオ・データの集合に応答する到達方向（たとえば角度としてまたは単位ベクトルとして指定される）を示すデータ（「到達方向」）を受領するよう結合されている。典型的な実装では、マッピング器７は、到達方向データに応答してメモリ８から、該到達方向についてのHRTF対（左耳HRTFおよび右耳HRTF）を決定するために線形混合を実行するのに十分なデータを取り出すよう構成されたルックアップテーブルを実装する。

マッピング器７は任意的に、結合HRTFの集合を決定するデータを（そして任意的に本発明の方法の実施形態を実行するようマッピング器７および／または段９をプログラムするコードも）記憶する外部のコンピュータ可読媒体８ａに結合されており、マッピング器７は、結合HRTFの集合を示すデータ（たとえば、前記集合の結合HRTFのうち選択されたものを示すデータ）に（媒体８ａから）アクセスするよう構成されている。マッピング器７が外部の媒体８ａにアクセスするよう構成されている場合には、マッピング器７は任意的に、メモリ８を含まない。結合HRTFの前記集合を決定するデータ（メモリ８に記憶されているまたは外部媒体からマッピング器７によってアクセスされる）は、結合HRTFの集合を決定するHRTF基底集合の係数であることができる。

マッピング器７は、指定された到達方向（たとえば、入力オーディオ・データの集合に対応する、角度または単位ベクトルとして指定される到達方向）に応答して一対のHRTFインパルス応答（左耳応答および右耳応答）を決定するよう構成されている。マッピング器７は、前記集合内の結合HRTFに対して線形補間を実行することによって（結合HRTFを決定する値に対して線形混合を実行することによって）指定された方向についての各HRTFを決定するよう構成されている。典型的には、補間は、前記集合中の、指定された方向に近い対応する到達方向をもつ結合HRTFの間である。あるいはまた、マッピング器７は、（結合HRTFの集合を決定する）HRTF基底集合の係数にアクセスし、指定された方向について各HRTFを決定するようそれらの係数に対して線形混合を実行するよう構成されている。

（仮想化器である）段９は、モノフォニック入力オーディオ（「入力オーディオ」）を示すデータを、それにHRTF対（マッピング器７によって決定される）を適用することによることも含め処理して、左および右のチャネル出力オーディオ信号（出力Lおよび出力R）を生成するよう構成されている。たとえば、出力オーディオ信号は、指定された到達方向にある源から発する音の印象を聴取者に与えるよう、ヘッドホンを通じたレンダリングのために好適であってもよい。（入力オーディオ・データの集合について）到達方向のシーケンスを示すデータが図９のシステムに呈される場合、段９は、（到達方向データに応答してマッピング器７によって決定されたHRTF対のシーケンスを使って）HRTFフィルタリングを実行して、到達方向のシーケンスを通じてパンする源から発する音の印象を聴取者に与えるようレンダリングできる左右のチャネルの出力オーディオ信号のシーケンスを生成してもよい。

動作では、本発明に基づくサラウンドサウンド仮想化を実行するよう構成されたオーディオDSP（たとえば図９の仮想化器システムまたは図１０、図１１、図１２または図１３のいずれかのシステム）は、少なくとも一つのオーディオ信号を受領するよう結合され、該DSPは典型的には、HRTFによってフィルタリングすることに加えて（することのほか）、入力オーディオ信号に対して多様な動作を実行する。本発明のさまざまな実施形態によれば、オーディオDSPは、入力オーディオ信号（単数または複数）に対して本方法を実行することによって各入力オーディオ信号に応答して少なくとも一つの出力オーディオ信号を生成するよう、結合HRTF集合（たとえば結合HRTF集合を決定するHRTF基底集合）を用いるよう構成された（たとえばプログラムされた）のちに、本発明の方法の実施形態を実行するよう動作可能である。

本発明の他の側面は、本発明の方法の任意の実施形態を実行するようプロセッサまたは他のシステムをプログラムするためのコードを（有体な形で）記憶しているコンピュータ可読媒体（たとえばディスク）および本発明の実施形態に基づいて（たとえば本稿に記載される黄金律を満たすよう）決定された結合HRTFの集合を決定するデータを（有体な形で）記憶するコンピュータ可読媒体（たとえばディスク）である。そのような媒体の例は、図９のコンピュータ可読媒体８ａである。

本発明の個別的な実施形態および本発明の応用が本稿で述べられているが、当業者には、本願において記述され特許請求される発明の範囲から逸脱することなく本願に記載されている実施形態および応用に対する多くの変形が可能であることは明白であろう。本発明のある種の形が図示され、記述されたが、本発明が記述され図示された特定の実施形態または記述された特定の方法に限定されないことは理解しておくべきである。

Claims

頭部伝達関数（HRTF）フィルタリング方法であって：
（ａ）到達方向を示す信号に応答して、結合HRTF集合のデータを使って線形混合を実行して前記到達方向についてのHRTFを決定する段階であって、前記結合HRTF集合は結合HRTFの集合を決定するデータ値を含む、段階と；
（ｂ）オーディオ入力信号（たとえば、一つまたは複数のオーディオ・チャネルを示す周波数領域オーディオ・データまたは一つまたは複数のオーディオ・チャネルを示す時間領域オーディオ・データ）に対して、前記到達方向について段階（ａ）で決定されたHRTFを使ってHRTFフィルタリングを実行する段階とを含む、
方法。
前記結合HRTF集合は、結合HRTFの前記集合を決定する係数を含むHRTF基底集合であり、段階（ａ）は、前記HRTF基底集合の係数を使って線形混合を実行して前記到達方向についてのHRTFを決定することを含む、請求項１記載の方法。
段階（ａ）が、前記結合HRTF集合によって決定される結合HRTFを示すデータおよび前記到達方向を示すデータに対して線形混合を実行することを含み、前記到達方向について決定されるHRTFが、有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ結合HRTFの補間されたバージョンである、請求項１記載の方法。
前記到達方向について段階（ａ）で決定されるHRTFが、有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ結合HRTFの補間されたバージョンである、請求項１記載の方法。
前記オーディオ入力信号が、少なくとも一つのオーディオ・チャネルを示す周波数領域オーディオ・データである、請求項１記載の方法。
前記オーディオ入力信号が、少なくとも一つのオーディオ・チャネルを示す時間領域オーディオ・データである、請求項１記載の方法。
段階（ａ）が、前記結合HRTF集合の前記データに対して線形混合を実行して前記到達方向についての左耳HRTFおよび前記到達方向についての右耳HRTFを決定する段階を含む、請求項１記載の方法。
前記結合HRTF集合は、ある範囲の到達角度にまたがる諸到達角度について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記範囲内の任意の到達角度について段階（ａ）で決定された前記左耳HRTFおよび前記到達角度について段階（ａ）で決定された前記右耳HRTFは、前記到達角度についての典型的な左耳の通常のHRTFおよび前記到達角度についての典型的な右耳の通常のHRTFの両耳間位相応答に、結合周波数より下のすべての周波数について20%未満の位相誤差でマッチする両耳間位相応答をもち、前記結合周波数は700Hzより大きく、
前記範囲内の任意の到達角度について段階（ａ）で決定された前記左耳HRTFは、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、前記範囲内の任意の到達角度について段階（ａ）で決定された前記右耳HRTFは、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、
到達角度の前記範囲は少なくとも60度である、
請求項７記載の方法。
到達角度の前記範囲は少なくとも360度である、請求項８記載の方法。
前記範囲内の任意の到達角度について段階（ａ）で決定された前記左耳HRTFおよび前記到達角度について段階（ａ）で決定された前記右耳HRTFは、前記到達角度についての前記典型的な左耳の通常のHRTFおよび前記到達角度についての前記典型的な右耳の通常のHRTFの前記両耳間位相応答に、結合周波数より下のすべての周波数について5%未満の位相誤差でマッチする、請求項８記載の方法。
補間された頭部伝達関数（HRTF）を決定する方法であって：
（ａ）到達方向を示す信号を呈する段階と；
（ｂ）前記信号に応答して、結合HRTF集合の結合HRTFを決定する値に対して線形混合を実行して、前記到達方向について、補間されたHRTFを決定する段階であって、前記結合HRTF集合は、ある範囲の到達方向にまたがる諸到達方向について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記到達方向は前記範囲内の到達方向のうち任意のものである、
方法。
前記補間されたHRTFが、有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ、請求項１１記載の方法。
前記範囲内の到達方向が平面内の少なくとも60度またがる、請求項１１記載の方法。
前記範囲内の到達方向が平面内の360度の全範囲にまたがる、請求項１１記載の方法。
段階（ｂ）が、前記到達方向について前記補間されたHRTFを決定するためにHRTF基底集合の係数に対して線形混合を実行する段階を含み、前記HRTF基底集合は前記結合HRTF集合を決定する、請求項１１記載の方法。
段階（ｂ）が、前記到達方向についての左耳HRTFおよび前記到達方向についての右耳HRTFを決定するために線形混合を実行する段階を含む、請求項１１記載の方法。
前記結合HRTF集合は、ある範囲の到達角度にまたがる諸到達角度について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記範囲内の任意の到達角度について段階（ｂ）で決定された前記左耳HRTFおよび前記到達角度について段階（ｂ）で決定された前記右耳HRTFは、前記到達角度についての典型的な左耳の通常のHRTFおよび前記到達角度についての典型的な右耳の通常のHRTFの両耳間位相応答に、結合周波数より下のすべての周波数について20%未満の位相誤差でマッチする両耳間位相応答をもち、前記結合周波数は700Hzより大きく、
前記範囲内の任意の到達角度について段階（ｂ）で決定された前記左耳HRTFは、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、前記範囲内の任意の到達角度について段階（ｂ）で決定された前記右耳HRTFは、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ、
到達角度の前記範囲は少なくとも60度である、
請求項１６記載の方法。
到達角度の前記範囲が360度である、請求項１７記載の方法。
前記範囲内の任意の到達角度について段階（ｂ）で決定された前記左耳HRTFおよび前記到達角度について段階（ｂ）で決定された前記右耳HRTFは、前記到達角度についての前記典型的な左耳の通常のHRTFおよび前記到達角度についての前記典型的な右耳の通常のHRTFの前記両耳間位相応答に、結合周波数より下のすべての周波数について5%未満の位相誤差でマッチする、請求項１７記載の方法。
到達方向を示す信号を受領するよう結合され、結合HRTF集合の結合HRTFを決定する値の線形混合を実行して前記到達方向についての補間されたHRTFを決定するデータを生成するよう構成されている、頭部伝達関数（HRTF）マッピング器であって、前記結合HRTF集合は、ある範囲の到達方向にまたがる諸到達方向について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記到達方向は前記範囲内の到達方向のうちの任意のものである、マッピング器。
前記値がHRTF基底集合の係数であり、前記HRTF基底集合が前記結合HRTF集合を決定する、請求項２０記載のマッピング器。
前記補間されたHRTFが、有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ、請求項２０記載のマッピング器。
前記範囲内の到達方向が平面内の少なくとも60度またがる、請求項２０記載のマッピング器。
前記範囲内の到達方向が平面内の360度の全範囲にまたがる、請求項２０記載のマッピング器。
前記到達方向についての左耳HRTFおよび前記到達方向についての右耳HRTFを決定するデータを生成するために結合HRTF集合の結合HRTFを決定する前記値の線形混合を実行するよう構成されている、請求項２０記載のマッピング器。
前記結合HRTF集合は、ある範囲の到達角度にまたがる諸到達角度について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、当該マッピング器は、前記範囲内の任意の到達角度について前記左耳HRTFを決定するデータおよび前記到達角度について前記右耳HRTFを決定するデータを、前記到達角度についての前記左耳HRTFおよび前記右耳HRTFが、前記到達角度についての典型的な左耳の通常のHRTFおよび前記到達角度についての典型的な右耳の通常のHRTFの両耳間位相応答に、結合周波数より下のすべての周波数について20%未満の位相誤差でマッチする両耳間位相応答をもつよう生成するよう構成されており、前記結合周波数は700Hzより大きく、
当該マッピング器は、前記範囲内の任意の到達角度について前記左耳HRTFを決定する前記データおよび前記到達角度についての前記右耳HRTFを決定する前記データを、前記到達角度についての前記左耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、前記到達角度についての前記右耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもつよう生成するよう構成されており、
到達角度の前記範囲は少なくとも60度である、
請求項２５記載のマッピング器。
到達角度の前記範囲が360である、請求項２６記載のマッピング器。
プログラムされた汎用プロセッサである、請求項２０記載のマッピング器。
オーディオ・デジタル信号プロセッサである、請求項２０記載のマッピング器。
オーディオ入力信号に対して頭部伝達関数（HRTF）フィルタリングを実行するシステムであって：
到達方向を示す信号を受領するよう結合され、該信号に応答して、結合HRTF集合の結合HRTFを決定する値の線形混合を実行して前記到達方向についての補間されたHRTFを決定するよう構成されている、HRTFマッピング器であって、前記結合HRTF集合は、ある範囲の到達方向にまたがる諸到達方向について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記到達方向は前記範囲内の到達方向のうちの任意のものである、マッピング器と；
前記補間されたHRTFを示すデータを受領するよう前記HRTFマッピング器に結合されたHRTFフィルタ・サブシステムであって、前記HRTFフィルタ・サブシステムは、前記オーディオ入力信号を受領するよう結合されており、前記補間されたHRTFを示す前記データに応答して、前記補間されたHRTFを前記オーディオ入力信号に適用することによって前記オーディオ入力信号をフィルタリングするよう構成されている、HRTFフィルタ・サブシステムとを有する、
システム。
結合HRTFを決定する前記値はHRTF基底集合の係数であり、前記HRTF基底集合は前記HRTF集合を決定する、請求項３０記載のシステム。
前記HRTFマッピング器は、前記到達方向によって決定される仕方で前記HRTF基底集合の係数の線形結合を実行して、前記到達方向についての左耳補間HRTFおよび右耳補間HRTFを決定するよう構成されている、請求項３１記載のシステム。
前記HRTFフィルタ・サブシステムが仮想化器を実装する、請求項３０記載のシステム。
前記オーディオ入力信号がモノフォニック・オーディオ・データであり、前記仮想化器が、前記モノフォニック・オーディオ・データに応答して、前記補間されたHRTFを前記モノフォニック・オーディオ・データに適用することによることも含め、左および右チャネルの出力オーディオ信号を生成するよう構成されている、請求項３３記載のシステム。
当該システムが、プログラムされた汎用プロセッサである、請求項３０記載のシステム。
当該システムが、オーディオ・デジタル信号プロセッサである、請求項３０記載のシステム。
前記補間されたHRTFが、有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ、請求項３０記載のシステム。
前記範囲内の到達方向が平面内の少なくとも60度またがる、請求項３０記載のシステム。
前記範囲内の到達方向が平面内の360度の全範囲にまたがる、請求項３０記載のシステム。
前記HRTFマッピング器が、結合HRTF集合の結合HRTFを決定する前記値の線形混合を実行して、前記到達方向についての左耳HRTFおよび前記到達方向についての右耳HRTFを決定するデータを生成するよう構成されている、請求項３０記載のシステム。
前記結合HRTF集合は、ある範囲の到達角度にまたがる諸到達角度について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記マッピング器は、前記範囲内の任意の到達角度について前記左耳HRTFを決定するデータおよび前記到達角度について前記右耳HRTFを決定するデータを、前記到達角度についての前記左耳HRTFおよび前記右耳HRTFが、前記到達角度についての典型的な左耳の通常のHRTFおよび前記到達角度についての典型的な右耳の通常のHRTFの両耳間位相応答に、結合周波数より下のすべての周波数について20%未満の位相誤差でマッチする両耳間位相応答をもつよう生成するよう構成されており、前記結合周波数は700Hzより大きく、
前記マッピング器は、前記範囲内の任意の到達角度について前記左耳HRTFを決定する前記データおよび前記到達角度についての前記右耳HRTFを決定する前記データを、前記到達角度についての前記左耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、前記到達角度についての前記右耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもつよう生成するよう構成されており、
到達角度の前記範囲は少なくとも60度である、
請求項４０記載のシステム。
到達角度の前記範囲が360である、請求項４１記載のシステム。
ある範囲の到達角度にまたがる諸到達角度の集合について結合頭部伝達関数（HRTF）の集合を決定する方法であって、前記結合HRTFは前記集合中の到達角度のそれぞれについて左耳結合HRTFおよび右耳結合HRTFを含み、当該方法は：
到達角度の前記集合中の各到達角度について、通常の左耳HRTFの集合および通常の右耳HRTFの集合を示すデータを処理して、結合HRTFデータを生成する段階を含み、前記結合HRTFデータは、前記集合中の各到達角度について左耳結合HRTFおよび右耳結合HRTFを示し、前記範囲内の任意の到達角度を示すデータに応答しての前記結合HRTFデータの値の線形混合が、前記範囲内の前記任意の到達角度について、有意な櫛形フィルタリング歪みを示さない大きさ応答をもつ補間されたHRTFを決定する、
方法。
前記結合HRTFデータが、前記範囲内の任意の到達角度を示すデータに応答しての前記結合HRTFデータの値の線形混合が、前記到達角度についての左耳HRFTおよび前記到達角度についての右耳HRFTを決定するよう生成され、前記到達角度についての前記左耳HRTFおよび前記右耳HRTFが、前記到達角度についての典型的な左耳の通常のHRTFおよび前記到達角度についての典型的な右耳の通常のHRTFの両耳間位相応答に、結合周波数より下のすべての周波数について20%未満の位相誤差でマッチする両耳間位相応答をもち、前記結合周波数は700Hzより大きく、
前記到達角度についての前記左耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、前記到達角度についての前記右耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、
到達角度の前記範囲は少なくとも60度である、
請求項４３記載の方法。
到達角度の前記範囲が360である、請求項４４記載の方法。
前記HRTF基底集合が所定の精度の範囲内まで前記結合HRTF集合を決定するよう、前記HRTF基底集合の値を決定するよう当てはめプロセスを実行することによることを含め、前記結合HRTFデータを処理してHRTF基底集合を生成する段階をさらに含む、請求項４３記載の方法。
結合頭部伝達関数（HRTF）集合を決定するデータを有体な形で記憶しているコンピュータ可読媒体であって、前記結合HRTF集合は、ある範囲の到達角度にまたがる諸到達角度の集合について左耳結合HRTFの集合および右耳結合HRTFの集合を決定するデータ値を含み、前記範囲内の任意の到達角度を示すデータに応答しての前記結合HRTF集合の値の線形混合が、前記到達角度についての左耳HRFTおよび前記到達角度についての右耳HRFTを決定し、前記範囲内の任意の到達角度についての前記左耳HRTFおよび前記到達角度についての前記右耳HRTFが、前記到達角度についての典型的な左耳の通常のHRTFおよび前記到達角度についての典型的な右耳の通常のHRTFの両耳間位相応答に、結合周波数より下のすべての周波数について20%未満の位相誤差でマッチする両耳間位相応答をもち、前記結合周波数は700Hzより大きく、
前記範囲内の任意の到達角度についての前記左耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、前記範囲内の任意の到達角度についての前記右耳HRTFが、前記到達角度についての前記典型的な左耳の通常のHRTFの大きさ応答に比して有意な櫛形フィルタリング歪みを示さない大きさ応答をもち、到達角度の前記範囲は少なくとも60度である、
媒体。
到達角度の前記範囲が360である、請求項４７記載の媒体。
前記結合周波数が4kHz未満である、請求項４７記載の媒体。