JP2020092409A - ヘッドフォンを介した空間音響レンダリングのための室内特性を修正するシステムおよび方法 - Google Patents

Abstract

【課題】ユーザのニーズに適した音響レンダリングシステムを提供すること。【解決手段】音響入力信号に対してバイノーラル室内インパルス応答（ＢＲＩＲ）を適用して、ＢＲＩＲが記録された室内のスピーカ位置で再生されているかのように音を聞かせる音響レンダリングシステム２００において、修正ＢＲＩＲを生成することによりＢＲＩＲの再測定の必要なく、異なる室内に置き換えるか、または選択された室内の特性を修正することを可能とする。ＢＲＩＲを修正するモジュールのプロセッサ２０１において、ブロック２０３は、受信入力ＢＲＩＲ２０２を、直接領域、頭部・胴体影響領域、初期反射領域、および後期残響領域のうちの１つまたは複数を含む領域に分割する。ブロック２０８、２１２は、これらの領域のうちの１つまたは複数に対する抽出および修正演算を実行し、修正ＢＲＩＲ２１４を生成する。【選択図】図２

Description

（関連出願の相互参照）
本願は、２０１８年１月７日に出願された米国仮特許出願第６２／６１４，４８２号「ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＣＵＳＴＯＭＩＺＥＤ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＷＩＴＨ ＨＥＡＤ ＴＲＡＣＫＩＮＧ」を援用する、２０１８年１０月２５日に出願された米国仮特許出願第６２／７５０，７１９号「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＭＯＤＩＦＹＩＮＧ ＲＯＯＭ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ ＦＯＲ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＲＥＮＤＥＲＩＮＧ ＯＶＥＲ ＨＥＡＤＰＨＯＮＥＳ」の優先権の利益を主張するものであり、それぞれのすべての内容を本明細書に援用する。また、本願は、２０１８年９月１９日に出願され、２０１９年８月２０日に発行された米国特許第１０，３９０，１７１号「ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＣＵＳＴＯＭＩＺＥＤ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＷＩＴＨ ＨＥＡＤ ＴＲＡＣＫＩＮＧ」を援用するものであり、そのすべての内容を本明細書に援用する。

本発明は、ヘッドフォンを介して音響をレンダリングする方法およびシステムに関する。より詳細には、本発明は、室内インパルス応答情報を有する個人化された空間音響伝達関数のデータベースを用いて、よりリアルな音響レンダリングを生成することに関する。

バイノーラル室内インパルス応答（ＢＲＩＲ）処理の実行がよく知られている。既知の方法によれば、実在の室内のいくつかのスピーカ位置それぞれについて、ステレオインパルス応答（ＩＲ）を記録するのに、本物のまたはダミーの頭部およびバイノーラルマイクが用いられる。すなわち、片耳に１つずつ、一対のインパルス応答が生成される。そして、これらのＩＲを用いて音楽トラックの畳み込み（フィルタリング）を行うとともに、結果をミキシングして、ヘッドフォンを介して再生することができる。正しいイコライゼーションが適用された場合は、ＩＲが記録された室内のスピーカ位置で再生されているかのように、音楽のチャネルが聞こえることになる。

ＢＲＩＲおよびその関連するバイノーラル室内伝達関数（ＢＲＴＦ）は、スピーカからの音波と受聴者の耳、頭部および胴体、さらには室内の壁および他の物体との相互作用をシミュレートする。室内の壁の音響反射および吸収の特性と同様に、室内サイズが音響に影響を及ぼす。スピーカは通常、設計および組成が音響の品質に影響する筐体に収容されている。ＢＲＴＦが入力音響信号に適用され、ヘッドフォンの別個のチャネルに与えられた場合は、実在の室内のスピーカと同じ位置の実在の音源から聞こえる音をシミュレートする方向的および空間的印象キューのほか、スピーカの音品質属性によって、自然音が再生される。

実際のＢＲＩＲ測定は通常、個人を室内に座らせ、インイヤーマイクでスピーカからのインパルス応答を測定することにより行われる。この測定は、非常に時間の掛かるプロセスであり、受聴者の頭部の位置に対する異なるスピーカ位置について大量の測定結果が取得されるため、受聴者の忍耐強い協力が必要となる。これらは通常、受聴者の周囲の水平面において、少なくとも３°または６°の方位角ごとに取得されるが、その数は少なくなる可能性もあれば多くなる可能性もあり、また、受聴者に関する仰角位置のほか、異なる頭部傾斜に関する測定結果を包含する可能性がある。これらの測定がすべて完了したら、当該個人のＢＲＩＲデータセットが生成され、通常は対応する周波数領域形態（ＢＲＴＦ）での音響信号への適用に利用可能となって、前述の方向的および空間的印象キューが与えられる。

多くの用途において、代表的なＢＲＩＲデータセットは、受聴者のニーズに適していない。通常、ＢＲＩＲ測定は、受聴者の頭部からおよそ１．５ｍのスピーカにより行われる。ただし、受聴者は、スピーカがより遠くまたは近くの距離に配置されているものと認識することを好むかもしれない。たとえば、音楽の再生においては、ステレオ信号が自身から３メートル以上に配置されているように感じられることを受聴者が好むかもしれない。ビデオゲームの状況においては、ＢＲＴＦによって、音響物体が適正な方向で配置され得るかもしれないものの、利用可能な単一のＢＲＴＦデータセットと関連付けられた距離により表される物体の距離は、不正確である。どれだけ信号を減衰させて、測定される受聴者の頭部からスピーカ位置までの距離が増大した感覚を伝えようとしても、距離の認識は曖昧である。受聴者の頭部からスピーカまでの異なる距離に対してカスタマイズされたＢＲＩＲを利用可能とするのが有用と考えられる。さらに、測定上の制約により、ＢＲＩＲ測定プロセスに用いられるスピーカは、サイズおよび／または品質が制限され得る一方、受聴者は、高品質のスピーカによってＢＲＩＲデータセットが記録されることを好むと考えられる。これらの状況は、場合により環境を変化させて個人を再測定することにより取り扱い可能となるが、これはコストが高く、時間の掛かる手法と考えられる。個人のＢＲＩＲの選択部分を修正することにより、ＢＲＩＲの再測定を行うことなく、スピーカ−室内−受聴者の距離変化または他の属性を表し得るのが望ましいと考えられる。

上記を実現するため、本発明は、様々な実施形態において、現実感を音響トラックに与える室内インパルス応答を含むようにバイノーラル信号をヘッドフォンに与えるように構成されたプロセッサを提供する。１つまたは複数の技術をＢＲＩＲの１つまたは複数の分割領域に適用することによって、ＢＲＩＲの修正がもたらされる。その結果、個人の再測定の必要なく、スピーカ−室内−受聴者の特性のうちの１つまたは複数が修正される。

本発明の一実施形態に係る、処理対象のＢＲＩＲの異なる領域をグラフで示した図である。 本発明の実施形態に係る、インイヤー測定結果の追加の必要なくＢＲＩＲを修正するモジュールを示したブロック図である。 本発明のいくつかの実施形態に係る、ＢＲＩＲの１つまたは複数の領域の処理によるＢＲＩＲの修正の対象となり得るスピーカおよび室内特性を示した室内の図である。 本発明の実施形態に係る、カスタマイズ用のＢＲＩＲを生成し、カスタマイズ用の受聴者特性を取得し、受聴者のカスタマイズＢＲＩＲを選択し、ＢＲＩＲにより修正された音響をレンダリングするシステムの図である。 本発明の実施形態に係る、ＢＲＩＲの修正において、インイヤー測定結果の追加の必要なく、異なる室内に置き換えるか、または選択された室内の特性を修正するステップを示した図である。

以下、本発明の好適な実施形態を詳しく参照する。好適な実施形態の例を添付の図面に示す。本発明をこれら好適な実施形態に関連して説明するが、本発明をこのような好適な実施形態に限定する意図ではないことが了解される。むしろ、添付の特許請求の範囲により規定される本発明の主旨および範囲に含むことができる代替、改良、および同等物をカバーすることが意図される。以下の説明において、多くの具体的詳細は、本発明の十分な理解を可能にするために示している。本発明は、これら具体的詳細の一部または全部を伴わずに実施することができる。他の例では、本発明を無用に分かりにくくすることのないように、周知のメカニズムを詳細には説明していない。

本明細書においては、さまざまな図面の全体にわたって、同じ番号が同じ部分を表すことに留意するものとする。本明細書において図示および説明するさまざまな図面は、本発明のさまざまな特徴を示すのに用いている。特定の特徴がある図面において示され、別の図面では示されていない限り、別段の指定または当該特徴の構造上の本質的な組み込み禁止がある場合を除いて、これらの特徴は、十分に図示されているかの如くその他の図に表された実施形態に含まれるように適応できることが了解されるものとする。別段の指定のない限り、図面は必ずしも原寸に比例していない。図面上の如何なる寸法も、本発明の範囲を制限することを意図したものではなく、ほんの一例に過ぎない。

室内には、音響再生すなわち受聴者に聞こえる内容に実質的な影響を及ぼす多くの特性がある。特に、壁の質感、壁の組成、音の吸収、および物体の有無が挙げられる。さらに、室内およびスピーカと室内の寸法および構成ならびに他の環境特性との関係も、室内または他の環境において受聴者が聞く音に影響を及ぼす。したがって、室内が変化したり、室内／スピーカの特性が変化したりすれば、ヘッドフォンを介して受聴者が知覚する空間音響において、これらの変化した特性を複製することが必要となる。ある方法では、変化した条件下すなわち新たな室内で、新たなＢＲＩＲデータセットに対して受聴者を再測定することを含むことが考えられる。しかしながら、特定の特性が変化した新たな室内にいる認識を受聴者に与えたいが、時間の掛かるＢＲＩＲデータセットのインイヤー測定技術が利用不可能である場合、このような「新たな」室内を利用することができない。個人化されたＢＲＩＲデータセットを提供するためのインイヤーＢＲＩＲ測定結果を取得することにより提示される制約を所与として、サイズ変更された室内、１つまたは複数の室内特性が修正された室内、または完全に異なる室内（室内スワッピング）にて測定結果が取得された場合に起こる修正をシミュレートすることによりプロセスを短縮する別の効率的な方法が提供される。決定されたＢＲＩＲの複数の異なる部分（領域）のいずれかを修正することにより、異なる空間音響体験が受聴者に提示される。

上記を実現するため、本発明は、様々な実施形態において、現実感を音響トラックに与える室内インパルス応答を含むようにバイノーラル信号をヘッドフォンに与えるように構成されたプロセッサを提供する。ＢＲＩＲの修正によって、室内／スピーカ特性の変化を模倣するように受聴者が異なる様態で音響を知覚できるようにするには、一般的に、（１）ＢＲＩＲを領域に分割することと、（２）領域のうちの選択された１つまたは複数に対してデジタル信号処理（ＤＳＰ）演算（技術）を実行することと、（３）修正後の領域（いくつかの実施形態においては、他の室内／スピーカから抜粋されたＢＲＩＲまたはＢＲＩＲ領域を含む）を再度組み合わせることと、が必要となる。修正後のＢＲＩＲの領域間の滑らかな移行を確実なものとして不要な音アーチファクトの生成を回避するには、再組み合わせ時の注意が必要である。

１つまたは複数の処理技術をＢＲＩＲの１つまたは複数の分割領域に適用することによって、空間音響位置決定の変化が生成される。選択技術の組み合わせは、修正する所望の室内特性の関数である。その結果、個人の再測定の必要なく、スピーカ−室内−受聴者の特性間の相互作用に関連するＢＲＩＲ領域のうちの１つまたは複数が修正される。

図１は、本発明のいくつかの実施形態に係る、処理対象のＢＲＩＲの異なる領域（時間領域）をグラフで示した図である。図１においては、ＢＲＩＲ１００をグラフで示しており、４つの異なる領域を図示している。直接領域１０２、頭部・胴体影響領域１０４、および初期反射領域１０６が後期残響領域１０８に先行する。受聴者は最初、時間Ｔ₀後に直接経路信号を受け取る。この時点において、受聴者の耳には反射が到達していない。次に、受聴者は、当該受聴者の頭部および胴体の影響を受けた信号を知覚するが、これについては、頭部・胴体影響領域１０４として識別される場所に大略示している。次に、初期反射領域１０６における残響応答の初期期間中に一連の初期反射が受信される。最後に、受聴者の耳で後期残響が受信されるが、これを後期残響領域１０８により示している。最初の直接経路信号ならびに初期反射および後期残響の到着からの遅延の大きさは通常、室内のサイズならびに室内の音源および受聴者の位置によって決まる。残響は、測定可能な基準によって特徴付けられることができ、その１つがＲＴ６０である。これは、残響時間−６０ｄＢ（Ｒｅｖｅｒｂｅｒａｔｉｏｎ Ｔｉｍｅ −６０ｄＢ）の略語である。ＲＴ６０は、客観的な残響時間測定結果を提供する。これは、音圧レベルが６０ｄＢだけ低下するのに要する時間として規定され、残響が有効に感知できなくなるのに要する時間の尺度である。通常、後期残響領域１０８は、インパルス応答の開始のおよそ５０ｍｓ後に始まるが、この数値は、室内特性に応じて室内ごとに変化し得る。好適な実施形態においては、選択された１つまたは複数のパラメータの修正に必要なＢＲＩＲの部分のみを識別して修正するように設計された分割演算と併せて、この領域（および、その他の分離領域）の開始および終了の時間の識別が実行される。

図２は、本発明の実施形態に係る、室内特性の変化に従って、インイヤー測定結果の追加の必要なくＢＲＩＲを修正するモジュールを示したブロック図である。選択された所望のＢＲＩＲ領域修正ごとに、システム２００は、ＢＲＩＲ領域の選択、適当なＤＳＰ技術の選択、および必要に応じた他の音源からのＢＲＩＲデータの組み合わせ等の演算の組み合わせをさらに含む。本発明のいくつかの実施形態に係る、プロセッサ２０１のブロック２０８において実行可能なＢＲＩＲ領域修正の例を以下にまとめる。ＢＲＩＲ領域の直接的な修正によって変更可能な、室内物体に対する室内およびスピーカ寸法の非限定的なサンプリングおよび他の音に影響を与える特性は、スピーカの変更、室内壁に関するスピーカ位置の変更、および受聴者に対するスピーカ距離の変更を含む。また、本発明の範囲を限定することなく、本発明のいくつかの実施形態に係るＢＲＩＲ領域修正によって、ＲＴ６０残響時間、室内サイズ／寸法、室内構成の特徴、ならびに（追加または削除による）室内備え付け物品および位置の変化を模倣することができる。

本発明のいくつかの実施形態は、別のＢＲＩＲデータベースからの既に修正されたＢＲＩＲパラメータのライブラリまたは集合において利用することができるＢＲＩＲの修正されたパラメータと共に、個人のカスタマイズＢＲＩＲに由来する分割領域のいずれかと、任意の適切なＤＳＰ技術の組み合わせをカバーする。たとえば、高品質スピーカに対してＢＲＩＲが生成され、記憶されることができ、この場合は、少なくとも直接領域１０２において、より高い周波数範囲の成分を有する可能性がある。当該ＢＲＩＲの領域は、現下の個人のカスタマイズされた（個人化された）ＢＲＩＲの領域と組み合わせるために分離されることができる。

これらの修正技術は、場合によってはインパルス応答の４つの識別領域（図１参照）のうちの１つのみに対して、他の場合にはこれら領域のうちの２つ以上に対して、必ず実行することができる。インパルス応答の複数の異なる４領域のうちの少なくとも１つにＤＳＰ技術が適用される場合は、ブロック２０３において受信入力ＢＲＩＲ２０２の分割が発生する。インパルス応答の異なる領域への分割は、任意の適切な方法により実行することができる。たとえば、５０ｍｓにおける後期残響領域の開始時間および５０ｍｓ以降における当該領域から分離されたインパルス応答に対して、時間推定値を得ることができる。５０ｍｓという値は、残響の開始の概算／代表時間に過ぎない。実際の値は、室内の寸法および他の物理的因子によって決まることになる。インパルス応答領域を識別して分離する他の技術としては、エコー密度推定または両耳間コヒーレンスの計量が挙げられる。

修正するＢＲＩＲパラメータの選択および実際の修正には一般的に、付加的な入力データが必要となる。たとえば、元のＢＲＩＲ決定において使用されたスピーカからスピーカを変更するのが望ましい場合、ブロック２１０における他の音源からのＢＲＩＲデータは、当該「新たな」スピーカのスピーカインパルス応答測定結果を含む。１つのサンプルの実施形態において、プロセッサ２０１は、ＢＲＩＲまたはＨＲＩＲの解析によるＢＲＩＲ中の直接音のオンセットおよびオフセットの両者の推定によって、直接部分を（好ましくは過去に取得された）異なるスピーカのインパルス応答で置き換えることに関与する。いくつかの実施形態において、プロセッサ２０１は、ブロック２０３におけるＢＲＩＲ／ＨＲＩＲの直接部分からの測定スピーカ応答の抽出（逆畳み込み）により結果として生じるＢＲＩＲを合成することと、対象スピーカのインパルス応答と逆畳み込み結果を畳み込みにより組み合わせることと、に関与する。

あるいは、ブロック２０６を介して、付加的な入力データまたは他の入力データがプロセッサ２０１に与えられる。１つまたは複数の実施形態によれば、望ましいこととして、受聴者（被験者）とスピーカとの間の距離を変更することができる。このような変更に必要な入力データ２０６としては、元のＢＲＩＲについての距離および合成ＢＲＩＲについての距離が挙げられる。また、ブロック２１０を介して、ＢＲＩＲデータが与えられる。ここでは、１つまたは複数の異なる距離で測定されたインパルス応答のＢＲＩＲデータベースである（補間が望ましい場合は、複数のデータベースが必要となる）。本実施態様においては、少なくとも直接領域、初期反射領域、および後期残響領域が関与する。本実施態様において、プロセッサ２０１は、関与する３つの領域を最初に識別することによって、分割演算を実行する。プロセッサは、たとえばエコー密度推定または他の適切な技術によって後期残響時間を推定するのが好ましい。また、初期反射時間も推定される。最後に、直接音（直接領域１０２参照）のオンセットおよびオフセットが実行される。さらに、プロセッサ２０１のプロセッサモジュール２０８は、元のＢＲＩＲと合成ＢＲＩＲとの間の相対距離に基づいて、直接音を減衰させることにより、新たなＢＲＩＲを合成する。さらに、１つまたは複数の技術によって初期反射が修正される。たとえば、元のＢＲＩＲは、時間伸長することもできるし、２つの異なるＢＲＩＲ間で補間することもできる。あるいは、フィルタリングまたはレイトレーシング（非限定的な一実施形態においては、簡易レイトレーシングを含む）の使用により、反射のタイミングを決定することもできる。レイトレーシングには一般的に、音源から放出される新たな音線ごとの考え得る経路の決定、反射ごとに方向を変えるベクトルとしての音線の考慮（伝播経路に含まれる空気および壁の音吸収の結果としてエネルギーが低下する）を伴う。

他の好適な実施態様においては、スピーカと室内特性との間の相互作用が修正される。これらについては、音楽、映画、およびゲーム用途を説明する以下の項でより詳しく論じる。ただし一般的には、（１）スピーカ位置、（２）室内サイズ、寸法、および形状、（３）備え付け物品、ならびに（４）室内構成が挙げられる。スピーカ位置の変化に関する入力データとしては、元のスピーカ位置、新たなスピーカ位置、および室内寸法が挙げられる。プロセッサ２０１は、処理ブロック２０３および２０８を介して、室内形状推定を実行する。これは、室内境界の位置および吸収をインパルス応答から識別しようとする信号処理の分野である。いくつかの実施形態においては、音響学的に有意な物体を識別するのに使用することも可能である。他のいくつかの実施形態においては、室内形状が既知であり、レイトレーシングまたは他の手段によって、その音響特性を演算することができる。室内形状推定は、演算を導くためにも実行することができるし、十分なデータがある場合は省略することもできる。

プロセッサ２０１は、壁に対する近接性に従って初期反射領域を修正することによる新たなＢＲＩＲの合成と、逆二乗の法則の使用による新旧位置でのエネルギーの検証と、にさらに関与する。結果の微調節に利用可能な補間により方位角および仰角を変更することによって、スピーカの回転を変更可能である。スピーカ−受聴者間距離は、ＢＲＩＲデータセットを参照して、新たな距離に対応するデータを見出すことにより修正可能である。距離は主として、音の直接部分の減衰に影響を及ぼす。ただし、初期反射も変化することになる。距離の変化は必然的に、スピーカの位置の変化を意味し、壁および他の物体までの距離も変化することになる。これらの変化は、インパルス応答の初期反射部分に影響を及ぼすことになる。

同様に、室内備え付け物品および室内構成の推定についても、プロセッサ２０１は、上述の室内形状推定の実行によって、インパルス応答を解析する。これらの場合は、付加的な入力データとして、対象の備え付け物品（室内備え付け物品の実施態様の場合）および対象の室内構成（室内構成の修正の場合）を含む必要がある。

図２に示すシステムは、如何なるＢＲＩＲとも制限なく併用できることに留意するものとする。すなわち、図２のシステムにより示すような本発明のＢＲＩＲパラメータ修正技術は、どのように取得されたものであれ、あらゆる種類のＢＲＩＲに適用することができる。たとえば、図２のシステムにより示すような本発明のＢＲＩＲパラメータ修正技術は、（１）個人のカスタマイズインイヤー測定（ＢＲＩＲ）、（２）個人の画像ベースの特性および／もしくは測定結果の抽出ならびに特性が相関するＢＲＩＲの候補データベースからの適切なＢＲＩＲの決定（別の非限定的な例では、人工知能法（ＡＩ）または他の画像ベースの特性マッチング法を用いて決定される）により導出されたセミカスタムＢＲＩＲ、（３）人体模型または集団の「平均的」な個人の耳に配置されたインイヤーマイクまたは他の研究結果に基づくデータセットを含む市販のＢＲＩＲデータセットのいずれかに作用することになる。

図３は、本発明のいくつかの実施形態に係る、ＢＲＩＲの１つまたは複数の領域の処理によるＢＲＩＲの修正の対象となり得るスピーカおよび室内特性を示した室内の図である。図示の室内３００には、受聴者３０４からある距離３０８に配置されたスピーカ３０２を備える。室内幅３１０等の室内寸法は、室内壁からのスピーカの距離３０６により表されるようなスピーカ配置と同様に、室内音響に大きな影響を及ぼす。壁構成に用いられる材料等の室内壁構成３１２は、室内音響に多大な影響を及ぼす。たとえば、硬質の壁、床、および天井からの反射は、石膏乾式壁等のより吸収性の高い材料で構成された表面からの反射とは異なる影響を室内音響に及ぼすことになる。室内備え付け物品３１４の追加または削除およびそれぞれの場所も同様に、室内音響に影響を及ぼす。上述の通り、ＲＴ６０（参照番号３１６で示す）は、客観的な反響時間測定結果を提供する。この測定基準は、映画再生およびゲームに対して室内を最適化する場合に、さまざまなジャンルの音楽に対する室内の適性の重要な尺度である。

ＢＲＩＲの１つまたは複数の領域を合成または修正して変化の改善または最適化を識別するため、本発明の方法およびシステムに対して、用途の理解を考慮する。３つの顕著な用途として、（１）音楽、（２）映画、および（３）ゲーム／仮想現実が挙げられる。

音楽用途の場合、聞く体験に最も影響する室内／スピーカ特性としては、スピーカの選択、室内壁に関するスピーカ位置、室内ＲＴ６０、ならびに室内サイズ、寸法、および形状が挙げられる。当然のことながら、スピーカの変更が最も影響することになる。音楽愛好家は、好みに応じて、特定の音楽ジャンルの再生にさまざまなスピーカをマッチさせることができる。現実世界の室内では、二者択一的に選択可能なスピーカおよびスイッチングネットワークで室内を満たす必要があると考えられる。その代わりに、本発明のいくつかの実施形態によれば、個人のＢＲＩＲのスピーカ関連領域を修正することによって、これを容易に実現可能である。これは、最初にＨＲＩＲ中の直接音のオンセットおよびオフセットを推定して、代替スピーカにより生成されたインパルス応答でインパルス応答を置き換えることにより行われる。捕捉スピーカの直接領域が取得されたら、ＨＲＩＲの直接領域から、測定スピーカインパルス応答が逆畳み込みされる。一実施形態によれば、元のスピーカは、ＢＲＩＲの直接領域から逆畳み込みされる。別の実施形態において、元のスピーカは、ＢＲＩＲ全体から逆畳み込みされる。第１の例示的な実施形態において、演算は、新たなスピーカを応答の直接領域と畳み込むことによって逆転される。第２の実施形態において、逆演算は、新たなスピーカを応答全体と畳み込むことによって実行される。全逆畳み込みがより正確な方法ではあるものの、スピーカが室内反射に及ぼす影響が潜在的に小さい場合は、直接領域のみの逆畳み込みが十分な結果を与えると考えられる。他の実施形態においては、他のＢＲＩＲからの対応する直接領域によって、直接領域を置き換える。

高いレベルからは、個人化されたインパルス応答に対して、測定スピーカの最も顕著な影響が取り除かれるとともに、対象スピーカからの当該顕著な領域が個人の測定インパルス応答に代入される。

一般的に、新たな室内に移動した場合には、スピーカが異なって聞こえる。これは、室内の初期反射および後期残響効果により生じる。新たなスピーカの特性に置き換えるために、対象スピーカのインパルス応答は、室内応答ではない。すなわち、対象スピーカは、無響条件下で測定されることにより、入力データモジュール２１０を通じてインパルス応答データをプロセッサ２０１に与えるのが好ましい。あるいは、対象スピーカの直接領域は、記憶されたＢＲＩＲあるいは利用可能なＢＲＩＲから抽出して入力することができる。後者の場合、入力２１１を介して与えられるような完全ＢＲＩＲは、分割によって、当該完全ＢＲＩＲから直接領域を生成する必要があると考えられる。

前述の通り、ＲＴ６０室内パラメータは、室内残響減衰特性を評価する測定基準であり、音楽コンテキストにおいて有用である。特定の音楽ジャンルが最も好ましいと感じられるのは、マッチしたＲＴ６０値を有する室内にマッチしている場合である。たとえば、ジャズ音楽が最も好ましいと感じられるのは、ＲＴ６０値が４００ｍｓ前後の室内である。新たなＲＴ６０値すなわち新たな対象残響時間への変化を認識するため、いくつかの実施形態においては、逆積分によって、インパルスのエネルギー減衰曲線が推定される。そして、線形回帰技術の適用により、減衰曲線の傾きひいては残響時間を推定する。目標値とマッチさせるため、時間領域またはワープ周波数領域において振幅包絡線が適用される。

さらに、スピーカ位置を変更することができる。これらの変更には、元のスピーカ位置、新たなスピーカ位置、および室内寸法に関して、ブロック２０６を通じて与えられるような入力情報が必要となる。プロセッサ２０１において実行される解析段階には、いくつかの実施形態において、室内形状推定を含む。室内形状推定は、室内境界の位置および吸収をインパルス応答から識別しようとする信号処理の分野である。音響学的に有意な物体を識別するのに使用することも可能である。音楽的環境においては、低音の存在が支配的とならないように、スピーカの配置を壁に近づけ過ぎないのが一般的には好まれる。いくつかの実施形態においては、方位角および／または仰角の変更によって、プロセッサ２０１によりスピーカの回転が実行される。さらに詳しくは、フィルタリングの適用によって方位角および仰角を回転させるとともに、補間の適用によって結果を微調節する。また、受聴者−スピーカ間距離を修正する場合に適用可能な同じ技術を適用することにより、スピーカ距離を修正することができる。より詳細には、いくつかの実施形態においては、元のＢＲＩＲおよび合成ＢＲＩＲの距離設定間の相対距離に基づいて、直接音を減衰させる。そして、壁に対する近接性に従って初期反射を修正する。ここでは、複数の異なる技術を適用することも可能である。たとえば、いくつかの実施形態においては、２つの異なるＢＲＩＲ間での補間、元のＢＲＩＲの時間伸長、フィルタリング、またはレイトレーシングによる反射のタイミングの決定から選択がなされる。一実施形態においては、簡易レイトレーシングが用いられる。入力データには、補間を目的として異なる距離で測定されたインパルス応答のＢＲＩＲデータベースを含むことも可能である。

ＢＲＩＲ修正に関して音楽分野で対象となり得る他の室内特性としては、室内サイズ、寸法、および形状が挙げられる。これらは、初期反射領域および後期残響領域に焦点を当てることによって、最も簡単に修正可能である。一実施形態において、ＢＲＩＲの解析においては、最初の反射を推定することにより残響を取り除く。必要な入力としては、対象室内寸法あるいは室内インパルス応答も挙げられる（入力２１１を通じて与えられ分割されるか、または、入力２１０を通じて予め分割される）。選択された新たな室内の新たな残響の合成においては、複数の方法によってＢＲＩＲ後期残響領域の残響を生成可能であり、（１）フィードバック遅延ネットワーク、（２）全域通過フィルタ、遅延線、および雑音生成器の組み合わせ、（３）レイトレーシング、または（４）実際のＢＲＩＲ測定が挙げられるが、これらに限定されない。そして、いくつかの実施形態によれば、頭部インパルス応答（ＨＲＩＲ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）に従って、室内残響をフィルタリングすることができる。被験者のＨＲＴＦ／ＨＲＩＲによって室内反射が修正されることになるため、新たな被験者の残響に適応するには、残響の類似処理を実行する必要がある。これには、時間変動フィルタの適用またはＳＴＦＴを介した適用も可能である。

本発明の実施形態において識別される方法およびシステムは、映画用途にも好適に適用可能である。映画館／シネマは、音響フォーマットおよび広く分布したシート配置による制約を所与として、一般的に空間品質を最大化するように構成された音システムを有する。一様にバランスの取れた音を送達する方法として、映画館の複数の場所に分布した複数のスピーカの使用がある。この用途のため、修正に焦点を当てた最も有用な室内／スピーカ特性としては、（１）スピーカ−受聴者間距離、（２）スピーカ位置、（３）室内ＲＴ６０、（４）室内サイズ、寸法、および形状、ならびに（５）室内備え付け物品が挙げられる。最初の４つの特性を修正する解析および合成に関与する特定のデジタル信号処理ステップについては、音楽用途において説明済みであるため、ここでは要約形式のみで説明する。室内備え付け物品の修正は、（ホームシアター等を含む）映画館に大きな影響を及ぼすことになる。入力データ２０６には、対象の備え付け物品を含む。室内境界の位置および関連する吸収をインパルス応答から識別するとともに、音響学的に有意な物体を識別するため、室内形状推定が実行される。（備え付け物品の変化によって）吸収／反射が変化した室内の室内反射には、受聴者のＨＲＴＦによる修正が必要となるため、残響領域に類似処理を実行して、新たな備え付け物品ベースの残響を受聴者に適応させる。これには、時間変動フィルタの適用またはＳＴＦＴを介した適用が好ましい。

映画用途の場合は特に重要ではないが、室内構成も変更可能である。たとえば、壁／被覆に用いられる任意の材料、任意の付加的な音吸収、天井材料および構造が挙げられるが、これらに限定されない。室内構成を解析する具体的な方法は、室内備え付け物品の変更に適用可能な方法と類似する。すなわち、最初に室内形状推定を実行することにより、室内境界の位置および吸収をインパルス応答から識別する。対象の室内構成が入力されたら、室内形状推定に基づいて、室内残響が生成される。そして、ＳＴＦＴ（周波数）領域における合成室内残響のフィルタリングによって、残響を受聴者のＨＲＴＦに適応させる。これには、時間変動フィルタの適用またはＳＴＦＴを介した適用も可能である。室内構成の修正は、ゲームおよび仮想現実（ＶＲ）用途の音響環境の修正に有用である。

上述の解析および合成技術のほとんどは、ゲーム／ＶＲの実施態様に適用可能である。この一般論の例外として、スピーカのスワッピングが挙げられる。当事者が室内または環境をすぐに変更することができるため、動的な変化が修正に影響を及ぼす。たとえば、受聴者は、洞窟から森、宇宙に移動することができる。３Ｄ設計空間において合成されることが多い環境をモデル化することが重要である。室内または環境の特性を識別するには、レイトレーシングが特に重要な技術である。要するに、ゲーム／ＶＲ分野における室内／スピーカの最も重要な修正としては、（１）スピーカ−受聴者間距離、（２）室内ＲＴ６０、（３）室内サイズ、寸法、および形状、（４）室内備え付け物品、（５）非室内環境、（６）流体特性変動、（７）受聴者の身体サイズ、ならびに（８）音響モーフィングが挙げられる。最初の４つの解析合成技術については、音楽および映画用途に関して上述した通りである。

非室内環境を生成するため、いくつかの実施形態においては、既存のＢＲＩＲの分割により、後期残響領域および初期反射領域を識別して取り除く。これは、最初の反射を推定することにより可能である。対象環境に関する情報が入力され、対応する残響がレイトレーシングにより生成される。そして、合成残響が元のＢＲＩＲに結合される。これらの技術は、屋外、または一般的には、任意の非室内環境に重要となり得る。また、上述の技術は、流体特性を変動させるのに適用可能である。これらの特性としては、温度、湿度、および密度が挙げられる。これらの特性は、時間および／またはピッチのシフト／伸長によって変更可能である。当然のことながら、実行ステップは、対象環境に関して引き出された情報による影響を受けることになる。

ゲーム／ＶＲ用途では、身体サイズの変化を要するとともに、音響学的変化が生成される可能性もある。ヘッドフォンを介して新たな環境を正確に合成するため、現在の身体サイズの推定およびフィルタリングの実行によって、対象の身体サイズに関する音響を生成する。

音響モーフィングによれば、ゲーム分野のＢＲＩＲ修正に別の問題が生じる。これらの問題は、音源の移動、壁の移動等の動的な室内特性、または異なる音響空間の間の移動から生じる。本発明の実施形態において、これらは、発生している音源または環境の変化に関する入力情報を受け入れることによって取り扱われる。これらは、音楽、映画、またはゲーム用途において上述した特性または他の特性のいずれにも適用可能である。これらの動的な変化への対応では、コンテキストに従って、インパルス応答のうちの１つまたは複数を混合する。上述のＢＲＩＲ修正の多くでは、受聴者が残った状態の室内応答の１つまたは複数の領域に変化の焦点が当てられる。個々の受聴者を室内から除去して他の場所で使用すること、または、現在の室内に配置する新たな個人の測定（捕捉）ＨＲＴＦを生じさせることが必要となる例が多い。これは最初に、図１の領域１０２等の直接音領域のオンセットおよびオフセットを推定することにより実行される。個人の直接領域と、別の実施形態では頭部・胴体領域も併せて、これらは周波数ワープにより抽出される。別の実施形態においては、単純な切り捨ても用いられる。別の被験者が現在の室内に置き換えられる場合は、現在の被験者のＢＲＩＲの対応する領域によって対応する領域を置き換えるため、新たな被験者の直接領域インパルス応答が用いられ、別の実施形態においては、直接領域および頭部・胴体影響領域が用いられる。新たな被験者のＨＲＴＦが残響の室内反射処理を修正することになるため、これを新たな被験者の残響に適応させる必要がある。これは、好適な実施形態において、時間変動フィルタまたはＳＴＦＴによって行われる。

さらなる明瞭化のため、ＢＲＩＲ領域を分割するとともにＤＳＰ演算を実行する別の例を以下に示す。図５は、本発明の実施形態に係る、個人化された空間音響伝達関数の修正において、インイヤー測定結果の追加の必要なく、異なる室内に置き換えるか、または選択された室内の特性を修正するステップを示した図である。まず、プロセスはステップ５０２で開始となり、直接ＨＲＴＦ機能および室内応答機能の両者を有するＢＲＩＲまたは個人化された空間音響伝達関数が受信される。ＢＲＩＲを参照して、本発明の実施形態によれば、ＢＲＩＲデータセットからのＢＲＩＲを３次元空間の単一点と関連付けることができる。より好ましくは、個人に対して選択または決定された一組の伝達関数全体が修正される。これらは、５．１マルチチャネル配置の場合等の複数のＢＲＩＲとすることも可能であるし、受聴者の頭部周りの指向性空間を完全に表すインパルス応答の全球グリッドを含むことも可能である。次のステップ５０４においては、ＢＲＩＲが別個の領域に分割される。図１に関して示した通り、これらの領域には、（１）直接領域、（２）頭部・胴体影響領域、（３）初期反射、および（４）後期残響を含むのが好ましい。望ましい室内修正またはスワッピングの種類によって、選択領域および実行演算の種類の両者が決まることになる。非限定的な一例として、室内のサイズを変える開始点は、初期反射のタイミングの修正中である（初期反射は、大きな室内では遅れて到着することになる）。後期残響のタイミングおよび継続時間は、室内のサイズおよびその境界の吸収率の積である。

次のステップ５０６においては、第１の領域に第１の演算の焦点が当てられる。利用可能な修正演算としては、切り捨て、減衰率の傾きの変更、ウィンドウイング、スムージング、ランピング、および完全室内スワッピングが挙げられるが、これらに限定されない。たとえば、室内の残響を修正したい場合は、インパルス応答の後期残響に焦点を当てて、減衰率を変更することができる。これは、残響に対して同じ初期位置を使用する一方、終了位置を短縮することにより実行可能である。エネルギーまたは振幅を元の終了点で測定した後、（時間的により短い）新たに選択された終了点まで残響信号を減衰させるのが好ましく、これにより、室内雑音として知られる小さな値までより急速に減衰する新たな傾きが得られる。これは、より小さな室内にいる感覚を受聴者に与える。さらに別の実施形態においては、より簡単な演算として、切り捨てが挙げられる。これは、より小さな室内にいる別の感覚を受聴者に与えるように作用する一方で、元の室内の様子が依然として存在する印象を残す傾向にある。この中間点補間の滑らかさに耐えられるのが好ましい。室内のサイズ変更演算において室内応答をより正確に模倣する一実施形態においては、第２の領域が処理される。これには、初期反射領域を含むのが好ましい。

また、これらのステップは、インパルス応答の別の領域の分離に適用することも可能である。上述の例においては、初期反射領域に焦点を当てることを含み得る。初期反射は、後期残響から分離されるのが理想的である。初期反響は、初期反射領域に存在するものの、通常は初期反射によりマスクされている。一般的に、初期反射は、反響とは異なる減衰となる。すなわち、反響の減衰は、初期反射の傾きと比べて、緩やかな（ゆっくりとした）傾斜となる。「エコー密度推定」を含めて、初期反射を分離する方法は多数存在する。初期反射は、エコー密度が低い領域において発生する。この第２の領域が分離されると、インパルス応答のこの分離領域に対して、ＤＳＰ演算が実行される。本例においては、サイズ変更された室内がこのインパルス応答の領域でどのように応答するかについての推定に最もマッチする演算を含むのが好ましい。

以上、第２の（異なる）領域に第２の演算を実行するものとして本例を説明したが、本発明はこれに限定されない。本発明の範囲は、同じ領域に対する複数の演算のほか、異なる領域に対して順次実行する（同一または異なる）演算をカバーすることが意図される。

さらに別のサンプルの実施形態においては、組み合わせられたＨＲＴＦ／室内インパルス応答（ＢＲＩＲ）からＨＲＴＦを抽出するのに周波数ワーピングが適用される。ＦＦＴ分解能が時間の関数であるため、低周波数領域（たとえば、５００Ｈｚ未満）における分解能の損失を回避するには、周波数ワーピングを最初に実行するのが好ましい。結果として、すべての関連する周波数ビンを捕捉した周波数応答が生成され、声の音調が保存される。本質的には、ＨＲＴＦのＢＲＩＲからの抽出に周波数ワーピングが適用される。

（複数のさまざまな考え得るステップのいずれかにより）抽出ＨＲＴＦが生成されたら、組み合わせステップ５０８において、新たな室内の室内インパルス応答のテンプレートと抽出ＨＲＴＦを組み合わせることにより、新たに抽出されたＨＲＴＦが異なる室内に置かれる。これに換えて、抽出ＨＲＴＦを同じ室内に置くことができ、本明細書において上述した室内演算が適用される。このプロセスは、ステップ５１０で終了となる。

ＨＲＴＦの抽出により、ビデオゲームの明瞭化において、重要な改良がもたらされ得る。このようなゲームにおいては、室内残響が矛盾する方向情報または曖昧な方向情報を与えるため、音響中で提供されるキューから方向感覚を狂わせ得る。１つの解決手段として、室内を除去（室内をゼロに低減）した後、ＨＲＴＦを抽出する。そして、導出されたＨＲＴＦを用いてゲームを処理することにより、過大な残響によって引き起こされる曖昧な方向情報なく、より良好な方向が提供される。

上述のＢＲＩＲ領域を修正するシステムおよび方法は、直接的なインイヤーマイク測定あるいはインイヤーマイク測定が用いられない場合の個人化されたＢＲＩＲデータセットによりＢＲＩＲが受聴者に対して個別化される場合に最も良く作用する。本発明の好適な実施形態によれば、ＢＲＩＲを生成する「セミカスタム」法が用いられるが、これは、図４により大略示すように、画像ベースの特性のユーザからの抽出およびＢＲＩＲ候補群からの適切なＢＲＩＲの決定を含む。より詳細には、図４は、本発明の実施形態に係る、カスタマイズ用のＨＲＴＦを生成し、カスタマイズ用の受聴者特性を取得し、受聴者のカスタマイズＨＲＴＦを選択し、相対的なユーザ頭部の移動で正しく機能するように適応された回転フィルタを提供し、ＢＲＩＲにより修正された音響をレンダリングするシステムを示している。抽出デバイス７０２は、受聴者の音響関連物理的特性を識別して抽出するように構成されたデバイスである。好適な実施形態においては、これらの特性（たとえば、耳の高さ）を直接測定するようにブロック７０２を構成可能であるが、適切な測定結果は、少なくともユーザの片耳または両耳を含むように取得されたユーザの画像から抽出される。これらの特性の抽出に必要な処理は、抽出デバイス７０２において行われるのが好ましいものの、他の場所で行われてもよい。非限定的な一例として、これらの特性は、画像センサ７０４からの画像の受信後に、リモートサーバ７１０のプロセッサにより抽出することも可能である。いくつかの実施形態においては、頭部および上半身の画像を利用して、頭部のサイズおよび胴体のサイズに関する付加的な特徴ならびに他の頭部もしくは胴体関連特徴を抽出することに留意が必要である。

好適な一実施形態においては、画像センサ７０４がユーザの耳の画像を取得し、プロセッサ７０６は、ユーザの適切な特性を抽出してリモートサーバ７１０に送信するように構成されている。たとえば、一実施形態においては、動的形状モデルの使用により、耳介画像中のランドマークを識別するとともに、これらのランドマーク、それぞれの幾何学的関係、および直線距離を用いて、ＢＲＩＲデータセットの集合すなわちＢＲＩＲデータセットの候補プールからのＢＲＩＲの選択に関連するユーザの特性を識別することができる。他の実施形態においては、ＲＧＴモデル（回帰ツリーモデル）の使用により、特性を抽出する。さらに他の実施形態においては、ニューラルネットワーク等の機械学習および他の形態の人工知能（ＡＩ）の使用により、特性を抽出する。ニューラルネットワークの一例は、畳み込みニューラルネットワークである。新たな受聴者の一意の物理的特性を識別する複数の方法の詳細については、２０１６年１２月２８日に出願された国際出願第ＰＣＴ／ＳＧ２０１６／０５０６２１号「Ａ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＣＵＳＴＯＭＩＺＥＤ／ＰＥＲＳＯＮＡＬＩＺＥＤ ＨＥＡＤ ＲＥＬＡＴＥＤ ＴＲＡＮＳＦＥＲ ＦＵＮＣＴＩＯＮ」に記載されており、そのすべての開示内容を本明細書に援用する。

リモートサーバ７１０は、インターネット等のネットワークを介してアクセス可能であることが好ましい。リモートサーバは、メモリ７１４にアクセスし、抽出デバイス７０２において抽出された物理的特性または他の画像関連特性を用いて、最もマッチするＢＲＩＲデータセットを決定する選択プロセッサ７１０を具備するのが好ましい。選択プロセッサ７１２は、複数のＢＲＩＲデータセットを有するメモリ７１４にアクセスするのが好ましい。すなわち、方位角および仰角と、おそらくは頭部傾斜についても、好ましくは適当な角度の点ごとに、各データセットがＢＲＩＲ対を有することになる。たとえば、方位角および仰角の３°ごとの測定結果の取得により、ＢＲＩＲ候補群を構成する、サンプリングされた個人のＢＲＩＲデータセットを生成することができる。

上述の通り、これらは、中規模（すなわち、１００人超）の集団に対するインイヤーマイクを用いた測定により導出されるのが好ましいものの、より小さな個人群でも正しく機能し得るとともに、各ＢＲＩＲセットと関連付けられた類似の画像関連特性とともに記憶される。これらは、一部が直接測定により生成され、一部が補間により生成されて、ＢＲＩＲ対の球面グリッドを構成することができる。部分的に測定され／部分的に補間されたグリッドであっても、適切な方位角および仰角値を用いて、ＢＲＩＲデータセットからの点の適切なＢＲＩＲ対が識別されたら、グリッド線上に位置しない別の点についても補間可能となる。たとえば、任意の適切な補間法を使用することができ、好ましくは周波数領域において、隣接線形補間、双線形補間、および球面三角補間が挙げられるが、これらに限定されない。

一実施形態において、メモリ７１４に記憶されたＢＲＩＲデータセットはそれぞれ、少なくとも受聴者の全球グリッドを含む。このような場合は、音源の配置に関して、方位角（受聴者の周りの水平面上、すなわち耳の高さ）または仰角の如何なる角度をも選択することができる。他の実施形態においては、ＢＲＩＲデータセットがより限定されており、一例においては、従来のステレオ配置にマッチする、室内におけるスピーカ配置（すなわち、まっすぐ前のゼロポジションに対して＋３０°および−３０°、または、全球グリッドの別の部分集合において、５．１システムもしくは７．１システム等に限定されないマルチチャネル配置のためのスピーカ配置）の生成に必要なＢＲＩＲ対に限定されている。

ＨＲＩＲは、頭部インパルス応答である。これは、無響条件下における時間領域での音源から受信者までの音の伝播を完全に記述する。これに含まれる情報のほとんどは、測定対象の人物の生理機能および人体測定に関する。ＨＲＴＦは、頭部伝達関数である。これは、周波数領域における記述である点を除いて、ＨＲＩＲと同じである。ＢＲＩＲは、バイノーラル室内インパルス応答である。これは、室内で測定されるため、捕捉された具体的構成の室内応答を付加的に包含する点を除いて、ＨＲＩＲと同じである。ＢＲＴＦは、ＢＲＩＲの周波数領域版である。本明細書においては、ＢＲＩＲをＢＲＴＦで容易に置き換え可能であり、同様に、ＨＲＩＲをＨＲＴＦで容易に置き換え可能であるため、これらを具体的に記載していなくても、本発明の実施形態がこれら容易に置き換え可能なステップをカバーする意図であることが了解されるものとする。このため、たとえば記載内容が別のＢＲＩＲデータセットへのアクセスを表している場合は、別のＢＲＴＦへのアクセスがカバーされていることが了解されるものとする。

図４は、メモリに記憶されたデータについて、サンプルの論理関係をさらに示している。メモリは、列７１６に複数の個人のＢＲＩＲデータセット（たとえば、ＨＲＴＦ ＤＳ１Ａ、ＨＲＴＦ ＤＳ２Ａ等）を含むものとして示している。これらは、各ＢＲＩＲデータセットと関連付けられた特性、好ましくは画像関連特性によりインデックス付けされ、アクセスされる。列７１５に示される関連特性は、新たな受聴者の特性と、測定され列７１６、７１７、および７１８に記憶されたＢＲＩＲと関連付けられた特性をマッチングすることができる。すなわち、これらの列に示すＢＲＩＲデータセットの候補プールのインデックスとして作用する。列７１７は、基準位置ゼロにおいて記憶されたＢＲＩＲを表し、ＢＲＩＲデータセットのその他と関連付けられており、受聴者の頭部回転のモニタリングおよびその対応に際して回転フィルタと組み合わせることにより、効率的な記憶および処理が可能となる。この選択肢の詳細については、２０１８年１月７日に出願された米国仮特許出願第６２／６１４，４８２号「ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＣＵＳＴＯＭＩＺＥＤ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＷＩＴＨ ＨＥＡＤ ＴＲＡＣＫＩＮＧ」に詳しく記載されている。

本発明のいくつかの実施形態においては、２つ以上の距離球面が記憶される。これは、受聴者から２つの異なる距離に対して生成された球面グリッドを表す。一実施形態においては、２つ以上の異なる球面グリッド距離球面に対して、１つの基準位置ＢＲＩＲが記憶されるとともに関連付けられる。他の実施形態においては、各球面グリッドがそれ自体の基準ＢＲＩＲを有し、適用可能な回転フィルタと併用することになる。選択プロセッサ７１２は、新たな受聴者に関して抽出デバイス７０２から受信された抽出特性に対してメモリ７１４中の特性をマッチングさせるのに用いられる。正しいＢＲＩＲデータセットが選択され得るように、さまざまな方法の使用によって、関連特性をマッチングさせる。これらには、マルチプルマッチ（Ｍｕｌｔｉｐｌｅ−ｍａｔｃｈ）ベース処理方法、マルチプルレコグナイザ（Ｍｕｌｔｉｐｌｅ ｒｅｃｏｇｎｉｚｅｒ）処理方法、クラスタ（Ｃｌｕｓｔｅｒ）ベース処理方法によるバイオメトリックデータの比較を含むほか、２０１８年５月２日に出願された米国特許出願第１５／９６９，７６７号「ＳＹＳＴＥＭ ＡＮＤ Ａ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＦＯＲ ＣＵＳＴＯＭＩＺＩＮＧ ＡＵＤＩＯ ＥＸＰＥＲＩＥＮＣＥ」に記載の方法もあり、そのすべての開示内容を本明細書に援用する。列７１８は、第２の距離で測定された個人のＢＲＩＲデータセットの組を表す。すなわち、この列は、測定された個人について記録された第２の距離でのＢＲＩＲデータセットを示す。別の例として、列７１６の第１のＢＲＩＲデータセットは、１．０ｍ〜１．５ｍで取得することができる一方、列７１８のＢＲＩＲデータセットは、受聴者から５ｍで測定されたデータセットを表すことができる。ＢＲＩＲデータセットは、全球グリッドを構成するのが理想的ではあるものの、本発明の実施形態は、従来のステレオセット、５．１マルチチャネル配置、７．１マルチチャネル配置のＢＲＩＲ対を含む部分集合、ならびに、方位角および仰角の両者において３°以下ごとのＢＲＩＲ対のほか、密度が不規則な球面グリッドを含むその他すべての球面グリッドの変形を含むが、これらに限定されないその他すべての球面グリッドの変形および部分集合を含む、全球グリッドのありとあらゆる部分集合に当てはまる。たとえば、受聴者の後方位置よりも前方位置でグリッド点の密度がはるかに高い球面グリッドを含む可能性もある。さらに、列７１６および７１８の内容の構成は、測定および補間に由来して記憶されたＢＲＩＲ対のみならず、前者から回転フィルタを含むＢＲＩＲへの変換を反映したＢＲＩＲデータセットを生成することによりさらに改良されたＢＲＩＲ対にも当てはまる。

１つまたは複数のマッチングするＢＲＩＲデータセットの選択後、これらのデータセットが音響レンダリングデバイス７３０に送信され、新たな受聴者に関して上述したマッチングもしくは他の技術によって決定されるＢＲＩＲデータセット全体、またはいくつかの実施形態においては、選択された立体化された(spatialized)音響位置に対応する部分集合が記憶される。次いで、音響レンダリングデバイスは、一実施形態において、所望の方位角または仰角の位置のＢＲＩＲ対を選択し、これらを入力音響信号に適用して、立体化された音響をヘッドフォン７３５に提供する。他の実施形態において、選択されたＢＲＩＲデータセットは、音響レンダリングデバイス７３０および／またはヘッドフォン７３５に結合された別個のモジュールに記憶される。他の実施形態において、レンダリングデバイスの利用可能な容量が限られている場合、レンダリングデバイスは、受聴者に最もマッチする関連特性データの識別情報または最もマッチするＢＲＩＲデータセットの識別情報のみを記憶し、リモートサーバ７１０から必要に応じて、（選択された方位角および仰角の）所望のＢＲＩＲ対を実時間でダウンロードする。上述の通り、これらのＢＲＩＲ対は、中規模（すなわち、１００人超）の集団に対するインイヤーマイクを用いた測定により導出され、各ＢＲＩＲデータセットと関連付けられた類似の画像関連特性とともに記憶されるのが好ましい。水平面上の方位角の３°ごとに測定結果を取得し、さらに拡張して、上半球について、対応する３°の仰角点を含める場合は、約７２００個の測定点が必要となる。これらは、７２００個すべての点を取得するのではなく、一部が直接測定により生成され、一部が補間により生成されて、ＢＲＩＲ対の球面グリッドを構成することができる。部分的に測定され／部分的に補間されたグリッドであっても、適切な方位角および仰角値を用いて、ＢＲＩＲデータセットからの点の適切なＢＲＩＲ対が識別されたら、グリッド線上に位置しない別の点についても補間可能となる。

以上、典型的に、室内サイズ、壁材料等の室内の側面を含むＢＲＩＲパラメータの少なくとも一部が修正されて、本発明の様々な実施形態が説明されてきた。本発明は、屋内の室内パラメータを含む修正パラメータに限定されないことに留意するものとする。本発明の範囲は、「室内」を、都市部の建物間の共用空間、屋外競技場、あるいは開放地等の屋外環境と考える環境をさらにカバーすることが意図される。

１００ ＢＲＩＲ
１０２ 直接領域
１０４ 頭部・胴体影響領域
１０６ 初期反射領域
１０８ 後期残響領域
２００ システム
２０１ プロセッサ
２０２ 受信入力ＢＲＩＲ
２０３ 分割モジュール
２０４ ＤＳＰ技術の選択
２０６ 他の入力データ
２０８ ＢＲＩＲパラメータ修正モジュール
２１０ 他の音源からの事前分割ＢＲＩＲデータ
２１１ 他の音源からのＢＲＩＲ（生）データ
２１２ 領域組み合わせモジュール
２１４ 出力
３００ 室内
３０２ スピーカ
３０４ 受聴者
３０６ 室内壁−スピーカ間距離
３０８ 受聴者−スピーカ間距離
３１０ 室内幅
３１２ 室内壁構成
３１４ 室内備え付け物品
３１６ ＲＴ６０
７０２ 抽出デバイス
７０４ 画像センサ
７０６ プロセッサ
７１０ リモートサーバ
７１２ 選択プロセッサ
７１４ メモリ
７１５ 列
７１６ 列
７１７ 列
７１８ 列
７２０ ＢＲＩＲ生成
７３０ 音響レンダリングデバイス
７３２ メモリ
７３５ ヘッドフォン

Claims (19)

1. 修正バイノーラル室内インパルス応答（ＢＲＩＲ）を生成する方法であって、
   第１のＢＲＩＲを少なくとも２つの領域に分割することと、
   前記少なくとも２つの領域の少なくとも１つにデジタル信号処理演算を実行して、少なくとも１つの修正領域を生成することと、
   前記少なくとも１つの修正領域と、処理演算が実行されていない任意の未修正領域とを組み合わせて、修正ＢＲＩＲを構成すること、
   を含み、
   前記少なくとも１つの修正領域が、スピーカ−室内−受聴者間相互関係の変化する音属性に対応すると、方法。
2. 前記第１のＢＲＩＲが、直接領域、初期反射領域、頭部・胴体影響領域、および後期残響領域を含む４つの領域のうちの少なくとも２つに分割される、請求項１に記載の方法。
3. 前記４つの領域のうちの２つ以上にデジタル信号処理演算が実行される、請求項２に記載の方法。
4. 前記修正ＢＲＩＲが、前記第１のＢＲＩＲに用いられる第１のスピーカと異なる対象スピーカにより実行される音響処理を模倣するように意図され、少なくとも１つの修正領域が、対象スピーカのインパルス応答から抜粋された対応する領域から生成される、請求項２に記載の方法。
5. 分割することが、前記第１のＢＲＩＲの前記直接領域を決定することを含み、
   逆畳み込みを前記第１のＢＲＩＲの前記直接領域に適用することによって、前記第１のスピーカを前記直接領域から除去することと、前記第１のＢＲＩＲの前記逆畳み込み直接領域で前記対象スピーカの応答を畳み込むことと、をさらに含む、請求項４に記載の方法。
6. 前記第１のスピーカは、前記ＢＲＩＲ全体から逆畳み込みされ、
   前記第１のスピーカの逆畳み込みされたＢＲＩＲ応答全体で前記対象スピーカの応答を畳み込むことをさらに含む、請求項４に記載の方法。
7. 前記第１のスピーカの前記ＢＲＩＲの前記直接領域が、前記対象スピーカの前記ＢＲＩＲの対応する直接領域で置き換えられる、請求項４に記載の方法。
8. 前記修正ＢＲＩＲが、前記第１のＢＲＩＲについて用いられた対象室内と異なる対象室内において実行される音響処理を模倣するように意図され、少なくとも１つの修正領域が、前記対象室内の前記インパルス応答から抜粋された対応する領域から生成される、請求項１に記載の方法。
9. 前記修正ステップが、映画用途に対して最適化され、スピーカ−受聴者間距離、スピーカ位置、室内ＲＴ６０、室内サイズ、寸法、および形状、ならびに室内備え付け物品のうちの少なくとも１つの変化に由来するスピーカ−室内−受聴者間相互関係の音属性の変化を模倣するように意図される、請求項１に記載の方法。
10. 前記修正ステップが、ゲーム用途に対して最適化され、スピーカ−受聴者間距離、室内ＲＴ６０、室内サイズ、寸法、および形状、室内備え付け物品、非室内環境、流体特性変動、受聴者の身体サイズ、ならびに音響モーフィングのうちの少なくとも１つの変化に由来するスピーカ−室内−受聴者間相互関係の音属性の変化を模倣するように意図される、請求項１に記載の方法。
11. 前記修正ステップが、音楽用途に対して最適化され、スピーカの選択、室内ＲＴ６０、室内サイズ、寸法、および形状、ならびに室内壁に対するスピーカ位置のうちの少なくとも１つの変化に由来するスピーカ−室内−受聴者間相互関係の音属性の変化を模倣するように意図される、請求項１に記載の方法。
12. 室内音響特性が、ＲＴ６０室内パラメータ値の選択によって、前記音楽のジャンルにマッチされる、請求項１１に記載の方法。
13. 前記領域の分割が、選択された領域領域の開始および停止時間の時間推定値、エコー密度推定、および両耳間コヒーレンスの計量のうちの１つまたは複数に基づく、請求項１に記載の方法。
14. 前記修正ＢＲＩＲが、スピーカ−室内壁間距離、スピーカ−受聴者間距離、室内サイズおよび／または寸法、室内構成、ならびに室内備え付け物品のうちの少なくとも１つの変化に由来するスピーカ−室内−受聴者間相互関係の音属性の変化を模倣するように意図される、請求項１に記載の方法。
15. 修正バイノーラル室内インパルス応答（ＢＲＩＲ）を生成する方法であって、
    第１のＢＲＩＲを少なくとも２つの領域に分割することと、
    前記少なくとも２つの領域の少なくとも１つに修正演算を実行して、少なくとも１つの修正領域を生成することと、
    前記少なくとも１つの修正領域と、処理演算が実行されていない任意の未修正領域とを組み合わせて、修正ＢＲＩＲを構成することと、
    を含み、
    前記少なくとも１つの修正領域が、スピーカ−室内−受聴者間相互関係の変化する音属性に対応する、方法。
16. 前記修正演算が、切り捨て、レイトレーシング、減衰率の傾きの変更、ウィンドウイング、スムージング、ランピング、および完全室内スワッピングのうちの少なくとも１つを含む、請求項１５に記載の方法。
17. ヘッドフォンを介した空間音響レンダリングのための室内またはスピーカ特性を修正するシステムであって、
    第１の室内の第１のスピーカに対応する第１のバイノーラル室内インパルス応答（ＢＲＩＲ）を受信することと、
    前記第１のＢＲＩＲを少なくとも２つの領域に分割することと、
    前記少なくとも２つの領域の少なくとも１つにデジタル信号処理演算を実行して、少なくとも１つの修正領域を生成することと、
    前記少なくとも１つの修正領域と未修正領域とを組み合わせて、修正ＢＲＩＲを構成することと、
    を含むみ、
    前記少なくとも１つの修正領域が、スピーカ−室内−受聴者間相互関係の変化する音属性に対応する、システム。
18. 前記修正ＢＲＩＲが、スピーカの選択、スピーカ−室内壁間距離、スピーカ−受聴者間距離、室内サイズおよび／または寸法、室内構成、ならびに室内備え付け物品のうちの少なくとも１つの変化に由来するスピーカ−室内−受聴者間相互関係の音属性の変化を模倣するように意図される、請求項１７に記載のシステム。
19. 前記修正ＢＲＩＲが、非室内環境をシミュレートするように合成され、
    プロセッサを用いて、直接領域、初期反射領域、頭部・胴体影響領域、および後期残響領域を含む領域へと前記第１のＢＲＩＲを分割することと、
    前記後期残響領域および前記初期反射領域を識別して取り除くことと、
    レイトレーシングを用いて、前記非室内環境に対応する新たな残響を合成することと、
    をさらに含む、請求項１７に記載のシステム。