JP2018509864A - ヘッドフォン仮想化のための残響生成 - Google Patents

ヘッドフォン仮想化のための残響生成 Download PDF

Info

Publication number
JP2018509864A
JP2018509864A JP2017560487A JP2017560487A JP2018509864A JP 2018509864 A JP2018509864 A JP 2018509864A JP 2017560487 A JP2017560487 A JP 2017560487A JP 2017560487 A JP2017560487 A JP 2017560487A JP 2018509864 A JP2018509864 A JP 2018509864A
Authority
JP
Japan
Prior art keywords
reflection
audio
signal
hrtf
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017560487A
Other languages
English (en)
Inventor
ディー． フィールダー，ルイス
ディー． フィールダー，ルイス
シュアン，ズーウェイ
エイ． デヴィッドソン，グラント
エイ． デヴィッドソン，グラント
ジェン，シーグアン
エス． ヴィントン，マーク
エス． ヴィントン，マーク
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510077020.3A external-priority patent/CN105992119A/zh
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2018509864A publication Critical patent/JP2018509864A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Headphones And Earphones (AREA)

Abstract

本開示はヘッドフォン仮想化のための残響生成に関する。ヘッドフォン仮想化のためのバイノーラル室内インパルス応答（BRIR）の一つまたは複数の成分を生成する方法が記述される。本方法では、方向制御された反射が生成される。ここで、方向制御された反射は所望される知覚的手がかりを、音源位置に対応するオーディオ入力信号に付与する。次いで、少なくとも該生成された反射が組み合わされて、前記BRIRの前記一つまたは複数の成分が得られる。対応するシステムおよびコンピュータ・プログラム・プロダクトも記載される。

Description

関連出願への相互参照
本願は2015年2月12日に出願された中国特許出願第201510077020.3号、2015年2月17日に出願された米国仮特許出願第62/117,206号および2016年2月5日に出願された中国特許出願第2016100812817号の優先権を主張するものである。これらの内容はここに参照によってその全体において組み込まれる。
技術分野
本開示の実施形態は概括的にはオーディオ信号処理に、より詳細には、ヘッドフォン仮想化のための残響生成に関する。
より没入的なオーディオ経験を作り出すために、ヘッドフォンを通じて呈示されたときに2チャネル・ステレオおよびマルチチャネル・オーディオ・プログラムに空間の感覚を付与するよう、バイノーラル・オーディオ・レンダリングが使われることができる。一般に、空間の感覚は、適切に設計されたバイノーラル室内インパルス応答（BRIR: Binaural Room Impulse Response）をプログラム中の各オーディオ・チャネルまたはオブジェクトと畳み込みすることによって作り出すことができる。ここで、BRIRは、特定の音響環境における空間内の特定の点から聴取者の耳へのオーディオ信号の変換を特徴付ける。その処理はコンテンツ・クリエーターによって、あるいは消費者再生装置によって適用されることができる。
仮想化器設計の一つのアプローチは、BRIRの全部または一部を、物理的な部屋／頭部測定または部屋／頭部モデル・シミュレーションから導出するというものである。典型的には、ヘッドフォン仮想化器が実際の部屋の説得力のある聴取経験を再現できることをねらいとして、非常に望ましい音響属性をもつ部屋または部屋モデルが選択される。部屋モデルが選択された聴取室の音響特性を正確に具現するという想定のもとで、このアプローチは、空間的なオーディオ知覚にとって本質的な聴覚手がかりを本来的に適用する仮想化されたBRIRを生成する。聴覚手がかりはたとえば、両耳時間差（ITD: interaural time difference）、両耳レベル差（ILD: interaural level difference）、両耳相互相関（IACC: interaural crosscorrelation）、残響時間（たとえば周波数の関数としてT60）、直接音対残響音（DR: direct-to-reverberant）エネルギー比、個別的なスペクトル・ピークおよびノッチ、エコー密度などを含みうる。理想的なBRIR測定およびヘッドフォン聴取条件のもとで、物理的な部屋BRIRに基づくマルチチャネル・オーディオ・ファイルのバイノーラル・オーディオ・レンダリングは、事実上、同じ部屋でのラウドスピーカー呈示と区別できない聞こえ方をすることができる。
しかしながら、このアプローチの欠点は、物理的な部屋BRIRが、レンダリングされるべき信号を、望まれない仕方で修正することがあるということである。BRIRが部屋音響の法則に従って設計されるとき、スペクトル・コーミング（spectral combing）および長いT60時間のような頭外定位の感覚につながる知覚的な手がかりのいくつかは、音の色づけ（sound coloration）および時間ぼかし（time smearing）のような副作用をも引き起こす。実のところ、最高品質の聴取室でさえ、ヘッドフォン再生のために望ましくないいくらかの副作用を、レンダリングされた出力信号に付与する。さらに、実際の測定室においてバイノーラル・コンテンツを聴いている間に達成できる説得力のある聴取経験が、他の環境（部屋）で同じコンテンツを聴いている間に達成されることはめったにない。
国際公開第2015/103024号、2015年7月9日公開
上記に鑑み、本開示はヘッドフォン仮想化のための残響生成のための解決策を提供する。
ある側面では、本開示の例示的実施形態は、ヘッドフォン仮想化のためのバイノーラル室内インパルス応答（BRIR）の一つまたは複数の成分を生成する方法を提供する。本方法では、方向制御された反射が生成される。ここで、前記方向制御された反射は所望される知覚的手がかりを、音源位置に対応するオーディオ入力信号に付与する。次いで、少なくとも該生成された反射が組み合わされて、前記BRIRの前記一つまたは複数の成分が得られる。
もう一つの側面では、本開示のもう一つの例示的実施形態は、ヘッドフォン仮想化のためのバイノーラル室内インパルス応答（BRIR）の一つまたは複数の成分を生成するシステムを提供する。本システムは反射生成ユニットおよび組み合わせユニットを含む。反射生成ユニットは、所望される知覚的手がかりを、音源位置に対応するオーディオ入力信号に付与する方向制御された反射を生成するよう構成される。組み合わせユニットは、少なくとも該生成された反射を組み合わされて、前記BRIRの前記一つまたは複数の成分を得るよう構成される。
以下の記述を通じて、本開示の例示的実施形態によれば、空間内の所与の位置にある仮想音源の印象を高めるよう選択される諸方向からの複数の合成部屋反射を組み合わせることによってBRIR後期応答が生成されることが理解されるであろう。反射方向の変化は、シミュレートされた後期応答に、時間および周波数の関数として変動するIACCを付与する。IACCは主として、音源頭外定位および広がりの人間の知覚に影響する。当業者には、本稿に開示される例示的実施形態では、ある種の方向性反射パターンが、従来技術の方法に比して、オーディオ忠実度を保持しつつ頭外定位の自然な感覚を伝達できることが理解できる。たとえば、方向性パターンは、振動する（揺動する）形であってもよい。加えて、方向角および仰角の所定の範囲内の拡散的な方向性成分を導入することによって、ある程度のランダム性が反射に付与され、これは自然さの感覚を高めることができる。このようにして、本方法は、物理的な部屋の本質を、部屋の限界なしに捕捉することをねらいとする。
完全な仮想化器は、各仮想化音源（固定したスピーカーまたはオーディオ・オブジェクト）について一つある複数のBRIRを組み合わせることによって実現できる。上記の第一の例によれば、各音源は音源位置を補強する方向性属性をもつ一意的な後期応答をもつ。このアプローチの主たる利点は、従来の合成残響方法と同じ頭外定位の感覚を達成するために、より高い直接音対残響音（DR）比を利用できるということである。より高いDR比を使うと、スペクトル色づけおよび時間的ぼかしのようなレンダリングされたバイノーラル信号における可聴なアーチファクトが少なくなる。
付属の図面を参照しての以下の詳細な説明を通じて、本開示の実施形態の上記および他の目的、特徴および利点がより把握できるようになるであろう。図面では、本開示のいくつかの例示的実施形態が例において、限定しない仕方で示される。
本開示のある例示的実施形態に基づく、ヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のある例示的実施形態に基づく、所定の方向性パターンの図である。 ＡおよびＢは、それぞれ左チャネルおよび右チャネルのスピーカーについての、頭外定位が良好なBRIR対と貧弱なBRIRの対についての時間を追った短時間の見かけの方向変化の図である。 本開示のもう一つの例示的実施形態に基づく、所定の方向性パターンの図である。 本開示のある例示的実施形態に基づく、所与の生起時点における反射を生成するための方法を示す図である。 一般的なフィードバック遅延ネットワーク（FDN: feedback delay network）のブロック図である。 本開示のもう一つの例示的実施形態に基づく、FDN環境におけるヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のさらなる例示的実施形態に基づく、FDN環境におけるヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のさらなる例示的実施形態に基づく、FDN環境におけるヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のある例示的実施形態に基づく、FDN環境における複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のもう一つの例示的実施形態に基づく、FDN環境における複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のさらなる例示的実施形態に基づく、FDN環境における複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のさらなる例示的実施形態に基づく、FDN環境における複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化のための残響生成のシステムのブロック図である。 本開示のある例示的実施形態に基づく、BRIRの一つまたは複数の成分を生成する方法のフローチャートである。 本開示の例示的実施形態を実装するのに好適な例示的なコンピュータ・システムのブロック図である。 図面を通じて、同じまたは対応する参照符号は同じまたは対応する部分を指す。
本開示の原理についてこれから図面に示されるさまざまな例示的実施形態を参照して述べる。これらの実施形態の描出は、当業者が本開示をよりよく理解し、さらに実装できるようにするためだけであり、いかなる仕方であれ本開示の範囲を限定することは意図されていない。
付属の図面において、本開示のさまざまな実施形態がブロック図、フローチャートおよび他の図において示されている。フローチャートまたはブロックにおける各ブロックは、特定の論理機能を実行するための一つまたは複数の実行可能命令を含むモジュール、プログラムまたはコードの一部を表わしうる。これらのブロックは方法の段階を実行するための特定のシーケンスで示されるが、これらのブロックは必ずしも厳密に示されたシーケンスで実行されなくてもよい。たとえば、それぞれの動作に依存して、逆順または同時に実行されてもよい。ブロック図および／またはフローチャートにおける各ブロックおよびその組み合わせは、指定された機能／動作を実行するための専用のハードウェア・ベースのシステムによって、あるいは専用のハードウェアおよびコンピュータ命令の組み合わせによって実装されてもよいことをも注意しておくべきである。
本稿での用法では、用語「含む」およびその変形は、「含むがそれに限られない」を意味するオープンな用語として読まれるものである。用語「または」は、文脈がそうでないことを明確に示すのでない限り、「および／または」と読まれるべきである。用語「…に基づいて」は「少なくとも部分的には…に基づいて」と読まれるべきである。用語「一つの例示的実施形態」および「ある例示的実施形態」は「少なくとも一つの例示的実施形態」と読まれるべきである。用語「もう一つの実施形態」は「少なくとも一つの他の実施形態」と読まれるべきである。
本稿での用法では、用語「オーディオ・オブジェクト」または「オブジェクト」は、音場においてある定義された継続時間にわたって存在する個別のオーディオ要素をいう。オーディオ・オブジェクトは動的または静的でありうる。たとえば、オーディオ・オブジェクトは人間、動物または音場における音源のはたらきをしうる他の任意のオブジェクトでありうる。オーディオ・オブジェクトは、オーディオ・オブジェクトの位置、速度、軌跡、高さ、大きさおよび／または他の何らかの側面を記述する関連するメタデータを有していてもよい。本稿での用法では、用語「オーディオ・ベッド」または「ベッド」は、あらかじめ定義された固定された位置において再生されることが意図されている一つまたは複数のオーディオ・チャネルをいう。本稿での用法では、用語「BRIR」は、特定の音響環境における空間内の特定の点から聴取者の耳へのオーディオ信号の変換を特徴付ける、各オーディオ・チャネルまたはオブジェクトに関するバイノーラル室内インパルス応答（BRIR）をいう。一般に、BRIRは三つの領域に分離できる。第一の領域は直接応答と称され、これは無響空間におけるある点から外耳道の入口までのインパルス応答を表わす。この直接応答は典型的には約5ms未満の継続時間であり、より一般には、頭部伝達関数（HRTF: Head-Related Transfer Function）と称される。第二の領域は早期反射と称され、これは音源および聴取者に最も近いオブジェクト（たとえば床、部屋の壁、家具）からの音の反射を含む。第三の領域は、後期応答と呼ばれ、これは異なる強度をもち、多様な方向からの高次の反射の混合を含む。この第三の領域はしばしば、その複雑な構造のため、ピーク密度、モデル密度、エネルギー減衰時間などといった統計的パラメータによって記述される。人間の聴覚係は、三つすべての領域において伝達される知覚的手がかりに応答するよう進化した。早期反射は、源の知覚される方向に対して控えめな効果をもつが、知覚される音色および源の距離に対してはより強い影響をもつ。一方、後期応答は音源が位置する環境の知覚に影響する。明示的なおよび暗黙的な他の定義が下記に含まれることもある。
先述したように、部屋または部屋モデルから導出された仮想化器設計では、BRIRは、音響の法則に従って決定される属性をもち、よってそれから生成されるバイノーラル・レンダーは多様な知覚的手がかりを含む。そのようなBRIRはヘッドフォンを通じてレンダリングされる信号を、望ましい仕方および望ましくない仕方の両方で修正することがある。これに鑑み、本開示の実施形態では、物理的な部屋または部屋モデルによって課される制約条件の一部を除くことによって、ヘッドフォン仮想化のための残響生成の新たな解決策が提供される。提案される解決策の一つのねらいは、所望される知覚的手がかりのみを、合成の早期および後期応答に制御された仕方で付与するということである。所望される知覚的手がかりは、最小限の可聴損傷（副作用）で位置および広がりの説得力のある印象を聴取者に伝えるものである。たとえば、聴取者の頭から特定の位置にある仮想音源への距離の印象は、音源に対して方位角／仰角の限られた範囲からの到来方向をもつ後期応答の早期部分における部屋反射を含めることによって向上されうる。これは、スペクトル色づけおよび時間ぼかしを最小にしつつ空間の自然な感覚につながる特定のIACC特性を付与する。本発明は、実質的にもとのサウンドミキサーの芸術的意図を保存しつつ自然な空間の感覚を加えることによって従来のステレオよりも説得力のある聴取者経験を提供することをねらいとしている。
以下では、本開示のいくつかの例示的実施形態を記述するために図１ないし図９が参照される。しかしながら、これらの記述が単に例解目的のためになされているだけであって、本開示はそれに限定されないことは理解されるべきである。
まず図１を参照する。これは、本開示のある例示的実施形態に基づくヘッドフォン仮想化のための一チャネル・システム１００のブロック図を示している。図のように、システム１００は、反射生成ユニット１１０および組み合わせユニット１２０を含む。生成ユニット１１０はたとえば、フィルタリング・ユニット１１０によって実装されてもよい。
フィルタリング・ユニット１１０は、所望される知覚的手がかりを付与する方向制御された反射を含むBRIRを、音源位置に対応するオーディオ入力信号と畳み込みするよう構成される。出力は、左耳および右耳中間信号の組である。組み合わせユニット１２０は、フィルタリング・ユニット１１０から左耳および右耳中間信号を受け取って、両者を組み合わせてバイノーラル出力信号を形成する。
上述したように、本開示の実施形態は、自然さを保存しつつスペクトル色づけおよび時間ぼかしを低減するよう、BRIR応答、特に早期反射および後期応答をシミュレートすることができる。本開示の実施形態では、これは、方向性手がかりをBRIR応答、特に早期反射および後期応答に、制御された仕方で付与することによって達成できる。換言すれば、方向制御がこれらの反射に適用できる。具体的には、反射は、所望される方向性パターンをもつような仕方で生成されることができる。所望される方向性パターンにおいては、到来方向が時間の関数として所望される変化をもつ。
本稿に開示される例示的実施形態は、望ましいBRIR応答が、反射方向を制御するための所定の方向性パターンを使って生成できることを提供する。具体的には、所定の方向性パターンは、空間内の所与の位置にある仮想音源の印象を高める知覚的手がかりを付与するよう選択されることができる。一例として、所定の方向性パターンは揺動〔ウォブル〕（wobble）関数のパターンであることができる。所与の時点における反射について、揺動関数は到来方向（方位角および／または仰角）を完全にまたは部分的に決定する。反射方向の変化は、時間と周波数の関数として変動するIACCをもつシミュレートされたBRIR応答を作り出す。ITD、ILD、DRエネルギー比および残響時間に加えて、IACCも、音源の頭外定位および空間広がりの聴取者印象に影響する主要な知覚的手がかりの一つである。しかしながら、IACCの、時間および周波数を通じたどの特定の発展するパターンが、サウンドミキサーの芸術的意図をできるだけ保存しつつ三次元空間の感覚を伝えるために最も効果的であるかは、当技術分野においてよくわかっていない。本稿に記載される例示的実施形態は、反射の揺動形状のような特定の方向性の反射パターンが、従来の方法に比してオーディオ忠実度を保存しつつ頭外定位の自然な感覚を伝えることができることを提供する。
図２は、本開示のある例示的実施形態に基づく所定の方向性パターンを示している。図２では、合成された反射の揺動軌跡が示されている。ここで、各点は関連する方位角方向をもつ反射成分を表わし、最初の到来信号の音方向は時間原点の黒い四角によって示されている。図２から、反射方向が最初の到来信号の方向から離れるように変化してそのまわりに振動し、一方、反射密度は一般に時間とともに増大することが明らかである。
良好な頭外定位をもって室内で測定されたBRIRでは、強く、よく定義された方向性揺動が良好な頭外定位に関連している。これは図３のＡおよびＢから見て取れる。これは良好なおよび貧弱な頭外定位をもつBRIRからの4msの諸セグメントがヘッドフォン聴取によって視聴されたときの見かけの方向変化の例を示している。
図３のＡおよびＢから、良好な頭外定位が強い方向性揺動と関連していることがはっきりと見て取れる。短期の方向性揺動は、方位角平面内のみならず、中央面（medial plane）内にも存在する。これは、通常の6表面の部屋における反射は単なる二次元現象ではなく三次元現象であるためである。したがって、10〜50msの時間区間における反射は仰角における短期の方向性揺動をも生じうる。したがって、BRIR対にこれらの揺動を含めることは、頭外定位を増すために使用できる。
音響環境におけるすべての可能な源方向について短期の方向性揺動を実際上適用することは、良好な頭外定位をもつBRIR対の生成のために使う有限個の方向性揺動を介して達成できる。これはたとえば、第一到来音方向についてのすべての垂直および水平方向の球を有限個の領域に分割することによってできる。特定の領域からくる音源は、良好な頭外定位をもつBRIR対を生成するために、その領域についての二つ以上の短期の方向性揺動と関連付けられる。すなわち、揺動は、仮想音源の方向に基づいて選択されることができる。
部屋測定の解析に基づいて、音反射は典型的には最初は方向において揺動するが、すぐに等方的になり、それにより拡散音場を生じることが見て取れる。したがって、自然な音をもつ良好な頭外定位するBRIR対を生成する際に、拡散性または確率的な成分を含めることが有用である。拡散性の付加は、自然な音、頭外定位およびフォーカスされた源サイズの間のトレードオフである。拡散性が大きすぎると、非常に幅広く、方向的に貧弱に定義された音源を作り出すことがある。他方、拡散性が少なすぎると、音源からくる不自然なエコーを生じることがある。結果として、源方向におけるランダム性の中程度の成長が望ましい。これは、ランダム性がある度合いに制御されることを意味する。本開示のある実施形態では、方向範囲は、もとの源方向のまわりのある領域をカバーするため所定の方位角範囲内に制限される。これは自然さ、源幅および音方向の間の良好なトレードオフにつながりうる。
図４は、本開示のもう一つの例示的実施形態に基づく所定の方向性パターンをさらに示している。具体的には、図４では、時間の関数としての反射方向、たとえば方位角の短期的な方向揺動および付加された拡散成分が中央チャネルについて示されている。反射到来方向は初期には、音源に比して方位角および仰角の小さな範囲から発し、次いで時間とともにより幅広く拡大する。図４に示されるように、図２からのゆっくり変化する方向揺動が、増大する確率的（ランダム）方向成分と組み合わされて拡散性を作り出している。図４に示される拡散成分は80msにおける±45度まで線形に増大し、六面直方体部屋における±180度に比べ、方位角の全範囲は音源に対して±60度でしかない。所定の方向性パターンは、水平面より下からの到来方向をもつ反射の部分をも含んでいてもよい。そのような特徴は、前方水平音源を正しい仰角に定位するために人間の聴覚系にとって重要な地上反射をシミュレートするために有用である。
拡散成分の付加がさらなる拡散性を導入するという事実に鑑み、結果的に生じる反射および図４に示されるBRIR対についての関連する方向は、よりよい頭外定位を達成できる。実のところ、揺動と同様に、拡散成分も、仮想音源の方向に基づいて選択されることができる。このようにして、音源位置の聴取者感覚および頭外定位を向上させる知覚的効果を付与する合成BRIRを生成することが可能である。
これらの短期の方向性揺動は通例、反射が先述したように等方的であり方向的に一様になる前の時間区間（たとえば10〜50ms）において、それぞの耳の音に、周波数依存IACCの実部をもち、強い系統的な変動をもつようにさせる。BRIRは時間的に後には発展するので、約800Hzより上のIACC実数値は、音場の増大した拡散性のため、低下する。このように、左耳および右耳の応答から導出されたIACCの実部は周波数および時間の関数として変動する。周波数依存の実部の使用は、相関および逆相関特性を明らかにし、仮想化についての有用なメトリックであるという利点をもつ。
実のところ、強い頭外定位を作り出すIACCの実部における多くの特性があるが、時間区間（たとえば10ないし50ms）にわたる時間変化する相関特性の持続は良好な頭外定位を示しうる。本稿に開示される例示的実施形態では、それは、より高い値、つまり物理的な部屋において生じるであろうよりも高い、相関の持続（800Hzより上で、90msまで延びる）をもつIACCの実部を生じうる。このように、本稿に開示される例示的実施形態では、それはよりよい仮想化器を得ることがありうる。
本開示のある実施形態では、フィルタリング・ユニット１１０の係数は、上記の遷移特性をもつ早期反射および後期応答を得るために確率的エコー生成器を使って生成されることができる。図１に示されるように、フィルタリング・ユニット１１０は、遅延器１１１−１、…、１１１−ｉ、…、１１１−ｋ（以下ではまとめて１１１として参照される）およびフィルタ１１２−０、１１２−１、…、１１２−ｉ、…、１１２−ｋ（以下ではまとめて１１２として参照される）を含むことができる。遅延器１１１はZ-niによって表わされることができる。ここで、i＝0からkである。フィルタ１１２についての係数はたとえば、HRTFデータ・セットから導出されてもよく、ここで、各フィルタは、左耳および右耳両方のために、ある所定の方向からの一つの反射に対応する知覚的手がかりを提供する。図１に示されるように、それぞれの信号線において、遅延器とフィルタの対があり、これが所定の時間における既知の方向からの一つの中間信号（たとえば反射）を生成することができる。組み合わせユニット１２０はたとえば、左加算器１２１−Lおよび右加算器１２１−Rを含む。すべての左耳中間信号が左加算器１２１−Lにおいて混合されて左バイノーラル信号を生成する。同様に、すべての右耳中間信号が右加算器１２１−Rにおいて混合されて右バイノーラル信号を生成する。そのようにして、所定の方向性パターンをもつ生成された反射から残響が生成されることができ、フィルタ１１２−０によって生成された直接応答と一緒になって左および右のバイノーラル出力信号を生成する。
本開示のある例示的実施形態では、確率的エコー生成器の動作は次のように実装できる。まず、確率的エコー生成器が時間軸に沿って進行する際の各時点において、その所与に時点において反射が生成されるべきかどうかを決定する独立な確率的二分決定がまずなされる。すなわち、反射の生起時点が確率的に決定できる。だが同時に、その決定は、所望の分布を達成するよう、所定のエコー密度分布制約条件内でなされる。その決定の出力は、反射の生起時点（エコー位置とも呼ばれる）のシーケンスn1,n2,…,nkである。これらは図１に示される遅延器１１１の遅延時間に応答する。次いで、ある時点について、反射が生成されると決定される場合、所望の方向に従って左耳および右耳についてインパルス応答対が生成される。この方向は、到来方向を時間の関数、たとえば揺動関数として表わす所定の関数に基づいて決定されることができる。反射の振幅は、さらなる制御がない確率的な値であることができる。このインパルス応答の対が、その時点における生成されたBRIRと考えられる。特許文献１は確率的エコー生成器を詳細に記載している。同文献はここに参照によってその全体において組み込まれる。
例解目的のために、当業者が本開示における提案される解決策を十全に理解し、さらに実装できるようにするよう、所与の生起時点において反射を生成するための例示的プロセスを次に図５を参照して述べる。
図５は、本開示の例示的実施形態に基づく所与の生起時点において反射を生成する方法（５００）を示している。図５に示されるように、段階５１０において方法５００にはいり、反射の方向dDIRが、所定の方向パターン（たとえば方向パターン関数）および前記所与の生起時点に基づいて決定される。次いで、段階５２０において、反射の振幅dAMPが決定される。これは確率的な値であることができる。次に、所望される方向をもつHRTFのようなフィルタが段階５３０において得られる。たとえば、HRTFLおよびHRTFRがそれぞれ左耳および右耳について得られてもよい。特に、HRTFは、特定の諸方向についての測定されたHRTFデータ・セットから取得されることができる。測定されたHRTFデータ・セットは、特定の諸測定方向についてオフラインでHRTF応答を測定することによって形成されることができる。そのようにして、反射を生成する際に、諸HRTFのデータ・セットから所望される方向をもつHRTFを選択することが可能である。選択されたHRTFは、図１に示されるようにそれぞれの信号線におけるフィルタ１１２に対応する。
段階５４０では、左耳および右耳についてのHRTFの最大平均振幅が決定されることができる。特に、左耳および右耳の取得されたHRTFの平均振幅がまずそれぞれ計算されることができ、次いで左耳および右耳のHRTFの平均振幅の大きいほうがさらに決定される。このことは、これに限られないが次のように表現できる。
Figure 2018509864
 次に、段階５５０において、左耳および右耳についてのHRTFが修正される。特に、左耳および右耳両方についてのHRTFの最大平均振幅が決定された振幅dAMPに従って修正される。本開示のある例示的実施形態では、それはこれに限られないが次のように修正できる。
Figure 2018509864
 結果として、所与の時点において、それぞれ左耳および右耳についての所望される方向性成分をもつ二つの反射が得られ、これらは図１に示したようにそれぞれのフィルタから出力される。結果として得られるHRTFLMは左耳についての反射として左耳BRIRに混合され、HRTFRMは右耳についての反射として右耳BRIRに混合される。反射を生成しBRIRに混合して合成残響を生成するプロセスは、所望されるBRIR長さに達するまで続けられる。最終的なBRIRは、左耳および右耳についての直接応答と、それに続く合成残響を含む。
上記に開示される本開示の実施形態において、HRTF応答は、特定の諸測定方向についてオフラインで測定され、それによりHRTFデータ・セットを形成することができる。こうして、反射の生成の間、HRTF応答は、所望される方向に従って、測定されたHRTFデータ・セットから選択されることができる。HRTFデータ・セットにおけるHRTF応答は、単位インパルス信号についてのHRTF応答を表わすので、決定された振幅について好適な応答を得るために、選択されたHRTFは決定された振幅dAMPによって修正される。したがって、本開示のこの実施形態では、所望される方向および決定された振幅をもつ反射は、諸HRTFデータ・セットから所望される方向に基づいて好適な諸HRTFを選択し、それらのHRTFを反射の振幅に従って修正することによって、生成される。
しかしながら、本開示のもう一つの実施形態では、左耳および右耳についてのHRTFであるHRTFLおよびHRTFRは、測定されたHRTFデータ・セットから選択するのではなく、球面頭部モデルに基づいて決定できる。すなわち、HRTFは、決定された振幅および所定の頭部モデルに基づいて決定できる。そのようにして、測定努力が著しく節約できる。
本開示のあるさらなる実施形態では、左耳および右耳についてのHRTFであるHRTFLおよびHRTFRは、同様の聴覚手がかり（たとえば、両耳時間差（ITD）および両耳レベル差（ILD）聴覚手がかり）をもつインパルス対によって置き換えられることができる。すなわち、二つの耳についてのインパルス応答は、所与の生起時点における所望される方向および決定された振幅ならびに所定の球面頭部モデルのブロードバンドITDおよびILDに基づいて生成されることができる。インパルス応答対の間のITDおよびILDはたとえば、HRTFLおよびHRTFRに基づいて直接、計算されることができる。あるいは代替的に、インパルス応答対の間のITDおよびILDは、所定の球面頭部モデルに基づいて計算されることができる。一般に、全域通過フィルタ、特に多段全域通過フィルタ（APF: all-pass filter）の対が、エコー生成器の最終動作として、生成される合成残響の左および右チャネルに適用されてもよい。そのようにして、反射に対して制御された拡散および脱相関効果を導入し、それにより仮想化器によって生成されるバイノーラル・レンダーの自然さを改善することが可能である。
所与の時点における反射を生成するための具体的な方法が記述されているが、本開示がそれに限定されないことは理解されるべきである。代わりに、同様の遷移挙動を作り出すために他の適切な方法の任意のものが可能である。もう一つの例として、たとえばイメージ・モデルによって所望される方向をもつ反射を生成することも可能である。
時間軸に沿って進行することにより、反射生成器は、時間の関数としての制御された到来方向をもつBRIRについて反射を生成しうる。
本開示のもう一つの実施形態では、複数の候補BRIRを生成するよう、フィルタリング・ユニット１１０のための係数の複数のセットが生成されることができ、次いで、たとえば好適に定義された目的関数に基づいて、知覚に基づく性能評価がなされることができる（たとえば、スペクトル平坦性、所定の部屋特性との一致度など）。最適な特性をもつBRIRからの反射が、フィルタリング・ユニット１１０における使用のために選択される。たとえば、さまざまなBRIR性能属性の間の最適なトレードオフを表わす早期反射および後期応答特性をもつ反射が最終的な反射として選択されることができる。一方、本開示のもう一つの実施形態では、望ましい知覚的手がかりが付与されるまで、フィルタリング・ユニット１１０のための係数の複数のセットが生成されることができる。すなわち、所望される知覚的メトリックが事前に設定され、それが満たされれば、確率的エコー生成器はその動作を停止し、結果として得られる反射を出力する。
したがって、本開示の実施形態では、ヘッドフォン仮想化のための残響のための新たな解決策、特に、ヘッドフォン仮想化器におけるバイノーラル室内インパルス応答（BRIR）の早期反射および残響部分を設計するための新たな解決策が提供される。各音源について、一意的な、方向依存の後期応答が使われ、早期反射および後期応答は、時間の関数としての方向制御された到来方向をもつ複数の合成部屋反射を組み合わせることによって生成される。物理的な部屋または球面頭部モデルに基づいて測定された反射を使う代わりに反射に対する方向制御を適用することによって、副作用を最小にしつつ所望される知覚的手がかりを付与するBRIR応答をシミュレートすることが可能である。本開示のいくつかの実施形態では、空間内の所与の位置における仮想音源の印象が向上されるように、所定の方向性パターンが選択される。具体的には、所定の方向性パターンは、所定の方位角範囲内の追加的な拡散成分をもつ揺動形状であることができる。反射方向の変化は、時間変化するICAAを付与し、これがさらなる主要な知覚的手がかりを提供し、それによりオーディオ忠実度を保存しつつ頭外定位の自然な感覚を伝える。このようにして、本解決策は、物理的な部屋の本質を、部屋の制限なしに捕捉することができる。
さらに、本稿で提案される解決策は、直接畳み込みまたはより計算効率のよい方法を使ってチャネル・ベースおよびオーディオ・ベース両方のオーディオ・プログラム素材のバイノーラル仮想化をサポートする。固定した音源についてのBRIRは、単に関連する直接応答を方向依存の後期応答と組み合わせることによって、オフラインで設計できる。オーディオ・オブジェクトについてのBRIRは、時間変化する直接応答を、空間内の近くの時間不変な諸位置からの複数の後期応答を補間することによって導出された早期反射および後期応答と組み合わせることによって、ヘッドフォン・レンダリングの間にオンザフライで構築されることができる。
さらに、提案される解決策を計算効率のよい仕方で実装するために、提案される解決策は、フィードバック遅延ネットワーク（FDN）において実現されることも可能である。これについては図６ないし図８を参照して以下に述べる。
先述したように、従来のヘッドフォン仮想化器では、BRIRの残響は普通、早期反射および後期応答という二つの部分に分割される。BRIRのそのような分離は、BRIRの各部分についての特性を専用のモデルがシミュレートすることを許容する。早期反射は疎であり、方向性であり、一方、後期応答は密であり拡散性であることが知られている。そのような場合、早期反射は、遅延線のバンクであって、各遅延線には関連する反射に対応するHRTF対との畳み込みが後続するものを使って、オーディオ信号に適用されうる。一方、後期応答は、一つまたは複数のフィードバック遅延ネットワーク（FDN）をもって実装されることができる。FDNは、フィードバック・マトリクスをもつフィードバック・ループによって相互接続された複数の遅延線を使って実装できる。これは、イメージ・モデルのような決定論的な方法に比べ、計算的に、より効率的であり、よって後期応答を導出するために普通に用いられる。例解目的のために、図６は、従来技術における一般的なフィードバック遅延ネットワークのブロック図を示している。
図６に示されるように、仮想化器６００はフィードバック・マトリクス６１２によって相互接続された、６１１によって概括的に示される三つの遅延線をもつFDNを含む。各遅延線６１１は入力信号の時間遅延されたバージョンを出力することができる。遅延線６１１の出力は、出力信号を形成するために混合マトリクス６２１に送られ、同時に、フィードバック・マトリクス６１２にも入力され、フィードバック・マトリクス６１２からのフィードバック信号出力は加算器６１３−１ないし６１３−３において入力信号の次のフレームと混合される。早期および後期応答のみがFDNに送られて三つの遅延線を通過し、直接応答はFDNにではなく直接、混合マトリクスに送られ、よってFDNの一部ではないことを注意しておく。
しかしながら、早期‐後期応答の欠点の一つは、早期応答から後期応答への突然の遷移にある。すなわち、BRIRは早期応答においては方向性であるが、突然に密で拡散性の後期応答に変化する。これは、本物のBRIRとはたしかに異なり、バイノーラル仮想化の知覚的品質に影響するであろう。よってそれは、本開示において提案される発想が、ヘッドフォン仮想化器において後期応答をシミュレートするための一般的な構造であるFDNにおいて具現できる場合には、望ましい。したがって、下記ではもう一つの解決策が提供される。それは、フィードバック遅延ネットワーク（FDN）の前に並列なHRTFフィルタのバンクを加えることによって実現される。各HRTFフィルタは、一つの部屋反射に対応する左耳および右耳応答を生成する。詳細な記述が図７を参照してなされる。
図７は、本開示のある実施形態に基づく、FDNに基づくヘッドフォン仮想化器を示している。図６とは異なり、仮想化器７００では、HRTFフィルタ７１４−０、７１４−１、…７１４−i、…７１４−kのようなフィルタおよび遅延線７１５−０、７１５−１、７１５−i、…７１５−kのようなフィルタおよび遅延線がさらに配置されている。こうして、入力信号は遅延線７１５−０、７１５−１、７１５−i、…７１５−kを通じて遅延され、入力信号の異なる時間遅延されたバージョンを出力し、次いでこれらはHRTFフィルタ７１４−０、７１４−１、…７１４−i、…７１４−kのようなフィルタによって前処理されてから、混合マトリクス７２０またはFDNにはいる、特に、少なくとも一つのフィードバック・マトリクスを通してフィードバックされた信号が加えられる。本開示のいくつかの実施形態では、遅延線７１５−０についての遅延値d0(n)はメモリ記憶を節約するために0であることができる。本開示の他の実施形態では、遅延値d0(n)は、オブジェクトと聴取者との間の時間遅延を制御するよう、0でない値に設定されることができる。
図７では、各遅延線の遅延時間および対応するHRTFフィルタは、本稿に記載される方法に基づいて決定できる。さらに、より少数のフィルタ（たとえば4、5、6、7または8）が要求され、後期応答の一部がFDN構造を通じて生成される。そのようにして、反射は、計算的に、より効率的な仕方で生成できる。同時に、以下のことが保証されうる。
・後期応答の早期部分は方向性手がかりを含む。
・FDN構造へのすべての入力は方向性であり、このことはFDNの出力が方向性をもって拡散性であることを許容する。FDNの出力は今や方向性反射の和によって生成されるので、それはより、現実世界のBRIR生成に類似する。つまり、方向性反射、よって拡散性反射からのなめらかな遷移が保証される。
・後期応答の早期部分の方向は所定の到来方向をもつよう制御できる。イメージ・モデルによって生成される早期反射とは異なり、後期応答の早期部分の方向は、後期応答の早期部分の特性を表わす種々の所定の方向性関数によって決定されうる。一例として、上述した揺動関数が、HRTF対（hi(n)、0≦i≦k）の選択プロセスを案内するためにここで用いられてもよい。
このように、図７に示した解決策では、所定の到来方向をもつよう後期応答の早期部分の方向を制御することによって、方向性手がかりがオーディオ入力信号に付与される。よって、一般的FDNにおける反射の方向性から拡散性へのハードな遷移の代わりに、完全に方向性の反射（先に論じたモデルによって処理される早期反射）から半方向性の反射（方向性と拡散性の間の二面性をもつ後期応答の早期部分）へ、そして最終的には完全に拡散性の反射（後期応答の残りの部分）に発展するソフトな遷移が達成される。
遅延線７１５−０、７１５−１、７１５−i、…７１５−kは、実装の効率のためにFDNに組み込まれることもできることは理解される。あるいはまた、これらの遅延線は、より少ないメモリ記憶で図７に示したのと同じ機能を達成するタップ付き遅延線（複数の遅延ユニットのカスケードであって、各遅延ユニットの出力にHRTFフィルタがあるもの）であることもできる。
さらに、図８は、本開示のもう一つの例示的実施形態に基づく、FDNに基づくヘッドフォン仮想化器８００をさらに示している。図７に示したヘッドフォン仮想化器との相違は、一つのフィードバック・マトリクス７１２の代わりに二つのフィードバック・マトリクス８１２Lおよび８１２Rがそれぞれ左耳および右耳のために使われるということである。そのようにして、より計算的効率がよくなれる。遅延線のバンク８１１および加算器８１３−１Lないし８１３−kL、８１３−１Rないし８１３−kR、８１４−０ないし８１４−kに関し、これらのコンポーネントは機能的に遅延線のバンク７１１および加算器７１３−１Lないし７１３−kL、７１３−１Rないし７１３kR、７１４−０ないし７１４−kと機能的に同様である。すなわち、これらのコンポーネントは、図７および図８にそれぞれ示されるように入力信号の次のフレームと混合するような仕方で機能する。よって、簡単のため、詳細な記述は割愛する。加えて、遅延線８１５−０、８１５−１、８１５−i、…、８１５−kも遅延線７１５−０、７１５−１、７１５−i、…７１５−kと同様の仕方で機能し、よってここでは割愛される。
図９は、本開示のさらなる例示的実施形態に基づく、FDNに基づくヘッドフォン仮想化器９００をさらに示している。図７に示したヘッドフォン仮想化器とは異なり、図９では、遅延線９１５−０、９１５−１、９１５−i、…９１５−kおよびHRTFフィルタ９１４−０、９１４−１、…９１４−i、…９１４−kはFDNと直列に接続されておらず、FDNと並列に接続されている。すなわち、入力信号は、遅延線９１５−０、９１５−１、９１５−i、…９１５−kを通じて遅延され、HRTFフィルタ９１４−０、９１４−１、…９１４−i、…９１４−kによって前処理され、次いで混合マトリクスに送られ、そこで前処理された信号がFDNを通ってくる信号と混合される。こうして、HRTFフィルタによって前処理された入力信号は、FDNネットワークには送られず、混合マトリクスに直接送られる。
図７ないし図９に示した構造は、チャネル・ベースのオーディオおよびオブジェクト・ベースのオーディオを含むがそれに限られない多彩なオーディオ入力フォーマットと完全に互換であることを注意しておくべきである。実のところ、入力信号はマルチチャネル・オーディオ信号の単一のチャネル、マルチチャネル信号の混合、オブジェクト・ベースのオーディオ信号の単一のオーディオ・オブジェクト、オブジェクト・ベースのオーディオ信号の混合またはそれらの任意の可能な組み合わせのうちの任意のものであってもよい。
複数のオーディオ・チャネルまたはオブジェクトの場合、各チャネルまたは各オブジェクトが、入力信号を処理するための専用の仮想化器と一緒に配列されることができる。図１０は、本開示のある例示的実施形態に基づく、複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化システム１０００を示す。図１０に示されるように、各オーディオ・チャネルまたはオブジェクトからの入力信号が、仮想化器７００、８００または９００のような別個の仮想化器によって処理される。各仮想化器からの左出力信号は加算されて、最終的な左出力信号を形成することができ、各仮想化器からの右出力信号は加算されて、最終的な右出力信号を形成することができる。
ヘッドフォン仮想化システム１０００は、十分な計算資源があるときに特に使われることができる。しかしながら、限られた計算資源をもつ用途については、別の解決策を必要とする。システム１０００によって要求される計算資源はこれらの用途のためには受け入れられないからである。そのような場合、複数のオーディオ・チャネルまたはオブジェクトの、その対応する反射との混合を、FDNより前に、あるいはFDNと並列に、得ることが可能である。換言すれば、対応する反射をもつオーディオ・チャネルまたはオブジェクトが処理され、単一のオーディオ・チャネルまたはオブジェクト信号に変換されることができる。
図１１は、本開示のもう一つの例示的実施形態に基づく、複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化システム１１００を示している。図７に示されるものとは異なり、システム１１００では、m個の反射遅延およびフィルタ・ネットワーク１１１５−１ないし１１１５−mが、m個のオーディオ・チャネルまたはオブジェクトについて、設けられる。各反射遅延およびフィルタ・ネットワーク１１１５−１…または１１１５−mは、k＋1個の遅延線およびk＋1個のHRTFフィルタを含み、ここで、一つの遅延線および一つのHRTFフィルタが直接応答のために使われ、他の遅延線および他のHRTFフィルタが早期応答および後期応答のために使われる。図示したように、オーディオ・チャネルまたはオブジェクト１については、入力信号は第一の反射遅延およびフィルタ・ネットワーク１１１５−１を通過する。すなわち、入力信号はまず遅延線１１１５−１，０、１１１５−１，１、１１１５−１，ｉ、…、１１１５−１，ｋを通じて遅延され、次いでHRTFフィルタ１１１４−１，０、１１１４−１，１、…、１１１４−１，i…１１１４−１，ｋによってフィルタリングされる；オーディオ・チャネルまたはオブジェクトmについては、入力信号はm番目の反射遅延およびフィルタ・ネットワーク１１１５−mを通過する。すなわち、入力信号はまず遅延線１１１５−ｍ，０、１１１５−ｍ，１、１１１５−ｍ，ｉ、…、１１１５−ｍ，ｋを通じて遅延され、次いでHRTFフィルタ１１１４−ｍ，０、１１１４−ｍ，１、…、１１１４−ｍ，i…１１１４−ｍ，ｋによってフィルタリングされる。反射遅延およびフィルタ・ネットワーク１１１５−１におけるHRTFフィルタ１１１４−１，１、…、１１１４−１，i…１１１４−１，ｋおよび１１１４−１，０のそれぞれからの左出力信号は、他の反射遅延およびフィルタ・ネットワーク１１１５−２ないし１１１５−mにおける対応するHRTFフィルタからの左出力信号と組み合わされ、早期応答および後期応答についての得られた左出力信号はFDN内の諸加算器に送られ、直接応答についての左出力信号は混合マトリクスに直接送られる。同様に、反射遅延およびフィルタ・ネットワーク１１１５−１におけるHRTFフィルタ１１１４−１，１、…、１１１４−１，i…１１１４−１，ｋおよび１１１４−１，０のそれぞれからの右出力信号は、他の反射遅延およびフィルタ・ネットワーク１１１５−２ないし１１１５−mにおける対応するHRTFフィルタからの右出力信号と組み合わされ、早期応答および後期応答についての得られた右出力信号はFDN内の諸加算器に送られ、直接応答としての右出力信号は混合マトリクスに直接送られる。
図１２は、本開示のさらなる例示的実施形態に基づく、マルチチャネルまたはマルチオブジェクトについてのヘッドフォン仮想化システム１２００を示している。図１１とは異なり、システム１２００は図９に示されたシステム９００の構造に基づいて構築されている。システム１２００でも、m個の反射遅延およびフィルタ・ネットワーク１２１５−１ないし１２１５−mが、m個のオーディオ・チャネルまたはオブジェクトについて、設けられる。反射遅延およびフィルタ・ネットワーク１２１５−１…または１２１５−mは、図１１に示したものと同様であり、違いは、反射遅延およびフィルタ・ネットワーク１２１５−１ないし１２１５−mからのk＋1個の加算された左出力信号およびk＋1個の加算された右出力信号が混合マトリクス１２２１に直接送られるのであり、そのいずれもFDNには送られないということである。同時に、m個のオーディオ・チャネルまたはオブジェクトからの入力信号が加算されて、ダウンミックスされたオーディオ信号が得られ、これがFDNに与えられ、さらに混合マトリクス１２２１に送られる。こうして、システム１２００では、それぞれのオーディオ・チャネルまたはオブジェクトについて別個の反射遅延およびフィルタ・ネットワークが設けられ、遅延およびフィルタ・ネットワークの出力は加算され、次いでFDNからのものと混合される。そのような場合、各早期反射は最終BRIRにおいて一度現われ、左／右出力信号にはさらなる影響をもたず、FDNは純粋に拡散性出力を提供する。
さらに、図１２では、反射遅延およびフィルタ・ネットワーク１２１５−１ないし１２１５−mと混合マトリクスとの間の加算器も除去できる。すなわち、遅延およびフィルタ・ネットワークの出力は、合計してFDNからの出力と混合することなしに、混合マトリクス１２２１に直接提供されることができる。
本開示のさらなる実施形態では、オーディオ・チャネルまたはオブジェクトは、ドメイン源方向をもつダウンミックスされた混合信号を形成してもよく、そのような場合、混合信号は、単一の信号として、システム７００、８００または９００に直接入力されることができる。次に、図１３を参照してこの実施形態について述べる。ここで、図１３は、本開示のさらなる例示的実施形態に基づく、複数のオーディオ・チャネルまたはオブジェクトについてのヘッドフォン仮想化システム１３００を示している。
図１３に示されるように、オーディオ・チャネルまたはオブジェクト1ないしmはまずダウンミックスおよび優勢源方向解析モジュール１３１６に送られる。ダウンミックスおよび優勢源方向解析モジュール１３１６では、オーディオ・チャネルまたはオブジェクト1ないしmは、たとえば加算を通じて、さらにオーディオ混合信号にダウンミックスされ、オーディオ・チャネルまたはオブジェクト1ないしmに対して優勢源方向がさらに解析されて、オーディオ・チャネルまたはオブジェクト1ないしmの優勢源方向を得ることができる。そのようにして、たとえば方位角および仰角における源方向をもつ単一チャネルのオーディオ混合信号を得ることが可能である。結果として得られる単一チャネルのオーディオ混合信号は、単一のオーディオ・チャネルまたはオブジェクトとして、システム７００、８００または９００に入力されることができる。
優勢〔ドミナント〕源方向は時間領域〔ドメイン〕で、あるいは時間‐周波数領域で、既存の源方向解析方法においてすでに使われている仕方のような任意の好適な仕方によって解析されることができる。以下では、例解の目的のため、例示的解析方法は時間‐周波数領域で記述される。
一例として、時間‐周波数領域では、ai番目のオーディオ・チャネルまたはオブジェクトの音源は、方位角μi、仰角ηiおよび利得変数giの関数である音源ベクトルai(n,k)によって表現でき、次式によって与えられることができる。
Figure 2018509864
 ここで、kおよびnはそれぞれ周波数および時間フレーム・インデックスであり；gi(n,k)はこのチャネルまたはオブジェクトについての利得を表わし；[θi εi ξi]Tはチャネルまたはオブジェクト位置を表わす単位ベクトルである。スピーカー全部によって寄与される全体的な源レベルgs(n,k)は次式によって与えられることができる。
Figure 2018509864
 単一チャネルのダウンミックスされた信号は、位相整合性を維持するために最高の振幅をもつチャネルから選ばれた位相情報eφを適用することによって生成されることができ、これは次式によって与えられてもよい。
Figure 2018509864
 すると、方位角θ(n,k)および仰角φ(n,k)によって呈示されるダウンミックスされた信号の方向は次式によって与えられることができる。
Figure 2018509864
 そのようにして、オーディオ混合信号についてのドメイン源方向が決定されることができる。しかしながら、本開示は上記の例示的解析方法に限定されず、たとえば時間周波数でのものなど他の任意の好適な方法も可能である。
混合マトリクスにおける早期反射についての混合係数は恒等行列であることができることは理解される。混合マトリクスは、左出力と右出力との間の相関を制御する。これらの実施形態のすべては、時間領域および周波数領域の両方で実装できることは理解される。周波数領域での実装については、入力は各帯域についてのパラメータであることができ、出力はその帯域についての処理されたパラメータであることができる。
さらに、本稿で提案される解決策は、いかなる構造的な修正の必要もなく既存のバイノーラル仮想化器の性能改善を容易にすることもできる。これは、本稿に提案される解決策によって生成されるBRIRに基づいてヘッドフォン仮想化器についてのパラメータの最適なセットを得ることによって達成できる。パラメータは最適なプロセスによって得ることができる。たとえば、（たとえば図１ないし図５に関して）本稿で提案される解決策によって生成されるBRIRは、目標BRIRを設定することができ、次いで、関心対象のヘッドフォン仮想化器がBRIRを生成するために使われる。目標BRIRと生成されるBRIRとの差が計算される。BRIRの生成および差の計算は、パラメータのすべての可能な組み合わせがカバーされるまで繰り返される。最後に、関心対象のヘッドフォン仮想化器についてのパラメータの最適なセットが選択され、それが目標BRIRと生成されたBRIRとの間の差を最小化できる。二つのBRIRの間の類似性または差の測定は、それらのBRIRから知覚的手がかりを抽出することによって達成されることができる。たとえば、左右のチャネルの間の振幅比が、揺動効果の測度として用いられてもよい。そのようにして、パラメータの最適なセットを用いて、既存のバイノーラル仮想化器であっても、いかなる構造的な修正もなしに、よりよい仮想化性能を達成しうる。
図１４は、本開示のある例示的実施形態に基づく、BRIRの一つまたは複数の成分を生成する方法をさらに示している。
図１４に示されるように、段階１４１０で方法１４００にはいり、方向制御された反射が生成される。ここで、方向制御された反射は、音源位置に対応するオーディオ入力信号に所望される知覚的手がかりを付与することができる。次いで、段階１４２０において、少なくとも生成された反射が、BRIRの一つまたは複数の成分を得るために組み合わされる。本開示の諸実施形態において、特定の物理的な部屋または部屋モデルの制限を避けるために、方向制御が反射に適用されることができる。所定の到来方向は、空間内の所与の位置における仮想音源の印象を高めるよう選択されることができる。具体的には、所定の到来方向は揺動（wobble）形状であることができる。揺動形状では、反射方向はゆっくりと仮想音源から離れるように発展し、行ったり来たりの振動をする。反射方向の変化は、時間と周波数の関数として変動するシミュレートされた応答に、時間変化するIACCを付与する。これはオーディオ忠実度を保ちつつ自然な空間感覚をもたらす。特に、所定の到来方向はさらに、所定の方位角範囲内での確率的な拡散成分を含んでいてもよい。結果として拡散性がさらに導入され、これはよりよい頭外定位を提供する。さらに、揺動形状および／または確率的拡散成分は、頭外定位がさらに改善できるよう、仮想音源の方向に基づいて選択されることができる。
本開示のある実施形態では、反射を生成する間に、反射のそれぞれの生起時点が、所定のエコー密度分布制約条件の範囲内で、確率的に決定される。次いで、反射の所望される方向が、それぞれの生起時点および所定の方向性パターンに基づいて決定され、それぞれの生起時点における反射の振幅が確率的に決定される。次いで、決定された値に基づいて、それぞれの生起時点における所望される方向および決定された振幅をもつ反射が生成される。本開示は上記のような動作の順序に限定されないことを注意しておくべきである。たとえば、所望される方向を決定し、反射の振幅を決定する動作は逆のシーケンスで実行されたり、あるいは同時に実行されたりすることができる。
本開示のもう一つの実施形態では、それぞれの生起時点における反射は、特定の諸方向について測定された頭部伝達関数（HRTF）データ・セットから、それぞれの生起時点における所望の方向に基づいてHRTFを選択し、次いで、それぞれの生起時点における反射の振幅に基づいてそれらのHRTFを修正することによって生成されてもよい。
本開示の代替的な実施形態では、反射の生成は、それぞれの生起時点における所望される方向および所望される球面頭部モデルに基づいてHRTFを決定し、それらのHRTFをあとでそれぞれの生起時点における反射の振幅に基づいて修正してそれぞれの生起時点における反射を得ることによって実装されてもよい。
本開示のもう一つの代替的な実施形態では、反射の生成は、それぞれの生起時点における所望される方向および決定された振幅ならびに所定の球面頭部モデルのブロードバンド両耳時間差および両耳レベル差に基づいて、二つの耳についてのインパルス応答を生成することを含んでいてもよい。さらに、二つの耳についての生成されたインパルス応答は、さらなる拡散および脱相関を得るために、全域通過フィルタを通じてさらにフィルタリングされてもよい。
本開示のさらなる実施形態では、本方法はフィードバック遅延ネットワークにおいて機能させられてもよい。そのような場合、入力信号は、所定の方向性パターンを満たすよう少なくとも後期応答の早期部分の方向を制御するよう、HRTFを通じてフィルタリングされる。そのようにして、本解決策をより計算的に効率的な仕方で実装することが可能である。
加えて、最適プロセスが実行される。たとえば、反射の生成は、複数の群の反射を得るために繰り返されてもよく、次いで、反射の複数の群のうち最適な反射特性をもつ一つの群が、入力信号のための諸反射として選択されてもよい。あるいは代替的に、反射の生成は、所定の反射特性が得られるまで繰り返されてもよい。そのようにして、望ましい反射特性をもつ反射が得られることをさらに保証することが可能である。
簡単のため、図１４に示される方法は手短かに記述されていることは理解できる。それぞれの動作の詳細な記述については、図１ないし図１３を参照した対応する記述に見出すことができる。
本開示の個別的な実施形態が本稿に記載されているが、それらの実施形態は単に例解目的のために与えられているのであって、本開示がそれに限定されないことは理解できる。たとえば、所定の方向性パターンは、揺動形状以外のいかなる適切なパターンであってもよく、あるいは複数の方向性パターンであることもできる。フィルタはHRTFの代わりに他のいかなる型のフィルタであることもできる。反射を生成する際、得られたHRTFは、図２のＡおよびＢに示した以外のいかなる仕方で決定された振幅に従って修正されることもできる。図１に示される加算器１２１−Lおよび１２１−Rは、二つの加算器の代わりに単一の一般的加算器において実装されることができる。さらに、遅延器とフィルタの対の配置は逆に変更することができる。つまり、左耳および右耳それぞれについて遅延器を必要としてもよい。さらに、図７および図８において示される混合マトリクスは可能性としてはそれぞれ左耳および右耳についての二つの別個の混合マトリクスによっても実装される。
さらに、システム１００、７００、８００、９００、１０００、１１００、１２００および１３００の任意のもののコンポーネントは、ハードウェア・モジュールまたはソフトウェア・モジュールであってもよい。たとえば、いくつかの例示的実施形態では、システムは、部分的にまたは完全に、たとえばコンピュータ可読媒体において具現されたコンピュータ・プログラム・プロダクトとして実装されるソフトウェアおよび／またはファームウェアとして実装されてもよい。代替的または追加的に、システムは部分的または完全に、たとえば集積回路（IC）、特定用途向け集積回路（ASIC）、システムオンチップ（SOC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）などのようなハードウェアに基づいて実装されてもよい。
図１５は、本開示の例示的実施形態を実装するために好適な例示的なコンピュータ・システム１５００のブロック図を示している。図のように、コンピュータ・システム１５００は、読み出し専用メモリ（ROM）１５０２に記憶されたプログラムまたは記憶部１５０８から確率的アクセス・メモリ（RAM）１５０３にロードされたプログラムに従ってさまざまなプロセスを実行することのできる中央処理ユニット（CPU）１５０１を含む。RAM １５０３では、CPU １５０１がさまざまなプロセスを実行するときに必要とされるデータなども必要に応じて記憶される。CPU １５０１、ROM １５０２およびRAM １５０３はバス１５０４を介して互いに接続される。入出力（I/O）インターフェース１５０５もバス１５０４に接続される。
以下のコンポーネントがI/Oインターフェース１５０５に接続される：キーボード、マウスなどを含む入力部１５０６；陰極線管（CRT）、液晶ディスプレイ（LCD）などのようなディスプレイおよびスピーカーなどを含む出力部１５０７；ハードディスクなどを含む記憶部１５０８；およびLANカード、モデムなどのようなネットワーク・インターフェース・カードを含む通信部１５０９である。通信部１５０９は、インターネットのようなネットワークを介して通信プロセスを実行する。ドライブ１５１０も必要に応じてI/Oインターフェース１５０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのような着脱可能な媒体１５１１が必要に応じてドライブ１５１０にマウントされ、それにより必要に応じて、そこから読まれたコンピュータ・プログラムが記憶部１５０８にインストールされる。
特に、本開示の例示的実施形態によれば、上記した諸プロセスがコンピュータ・ソフトウェア・プログラムとして実装されてもよい。たとえば、本開示の実施形態は、諸方法を実行するためのプログラム・コードを含む、機械可読媒体上に有体に具現されたコンピュータ・プログラムを含むコンピュータ・プログラム・プロダクトを含む。そのような実施形態では、コンピュータ・プログラムは、通信部１５０９を介してネットワークからダウンロードおよびマウントされ、および／または着脱可能な媒体１５１１からインストールされてもよい。
一般に、本開示のさまざまな例示的実施形態はハードウェアまたは特殊目的回路、ソフトウェア、論理またはそれらの任意の組み合わせにおいて実装されうる。いくつかの側面はハードウェアにおいて実装されてもよく、一方で他の側面がコントローラ、マイクロプロセッサまたは他のコンピューティング装置によって実行されうるファームウェアまたはソフトウェアにおいて実装されてもよい。本開示の例示的実施形態のさまざまな側面がブロック図、フローチャートとしてまたは他の何らかの絵的表現を使って図示され、記述されているが、本稿に記載されるブロック、装置、システム、技法または方法は、限定しない例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路または論理、汎用ハードウェアまたはコントローラまたは他のコンピューティング装置またはそれらの何らかの組み合わせにおいて実装されてもよいことは理解されるであろう。
さらに、フローチャートに示されるさまざまなブロックを方法ステップとしておよび／またはコンピュータ・プログラム・コードの動作から帰結する動作としておよび／または関連する機能（単数または複数）を実行するよう構築された複数の結合された論理回路要素として見ることができる。たとえば、本開示の実施形態は、機械可読媒体上に有体に具現されたコンピュータ・プログラムを含むコンピュータ・プログラム・プロダクトを含み、該コンピュータ・プログラムは、上記で述べた諸方法を実行するために構成されたプログラム・コードを含む。
本開示のコンテキストにおいて、機械可読媒体は、命令実行システム、装置またはデバイスによってまたはそれとの関連で使うためのプログラムを含むまたは記憶することができるいかなる有体の媒体であってもよい。機械可読媒体は機械可読信号媒体または機械可読記憶媒体でありうる。機械可読媒体は、電子式、磁気式、光学式、電磁式、赤外線または半導体のシステム、装置またはデバイスまたは上記の任意の好適な組み合わせを含みうるが、それに限られなくてもよい。機械可読記憶媒体のより具体的な例は、一つまたは複数のワイヤを有する電気接続、ポータブルなコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、消去可能なプログラム可能型読み出し専用メモリ（EPROMまたはフラッシュ・メモリ）、光ファイバー、ポータブルなコンパクト・ディスク読み出し専用メモリ（CD-ROM）、光記憶デバイス、磁気記憶デバイスまたは上記の任意の好適な組み合わせを含む。
本開示の方法を実行するためのコンピュータ・プログラム・コードは、一つまたは複数のプログラミング言語の任意の組み合わせにおいて書かれうる。これらのコンピュータ・プログラム・コードは、汎用コンピュータ、特殊目的コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供されてもよく、それにより該プログラム・コードは、該コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されたとき、フローチャートおよび／またはブロック図において規定された機能／動作を実装させる。プログラム・コードは完全にコンピュータ上で、部分的にコンピュータ上で、スタンドアローンのソフトウェア・パッケージとして、部分的にはコンピュータ上で部分的にはリモート・コンピュータ上で、あるいは完全にリモート・コンピュータまたはサーバー上で実行されてもよく、一つまたは複数のリモート・コンピュータおよび／またはサーバーに分散されていてもよい。
さらに、動作は特定の順序で描かれているが、これは、そのような動作が示される特定の順序で、あるいは逐次順に実行されること、あるいは望ましい結果を達成するために示されているすべての動作が実行されることを要求するものと理解されるべきではない。ある種の状況では、マルチタスクおよび並列処理が有利であることがある。同様に、いくつかの個別的な実装詳細が上記の議論に含まれるものの、これらはいずれかの発明または特許請求されうるものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に固有でありうる事項の記述と解釈されるべきである。別個の実施形態のコンテキストにおいて本明細書に記載されるある種の特徴は、単一の実施形態において組み合わせて実装されてもよい。逆に、単一の実施形態のコンテキストにおいて記述されているさまざまな特徴が、複数の実施形態において別個にまたは任意の好適なサブコンビネーションにおいて実装されることもできる。
付属の図面との関連で読まれるときの上記の記述に鑑み、本発明上記の例示的実施形態へのさまざまな修正、適応が当業者に明白となることがありうる。任意の、あらゆる修正がそれでも、本発明の限定しない、例示的な実施形態の範囲内にはいる。さらに、本稿に記載される発明の他の実施形態が、上記の記述および図面に呈示される教示の恩恵をもつ当業者には思いつくであろう。
本開示は、本稿に記載される形のうちの任意のもので具現されうる。たとえば、以下の付番実施例（EEE: enumerated example embodiment）は、本開示のいくつかの側面のいくつかの構造、特徴および機能を記述するものである。
〔ＥＥＥ１〕
ヘッドフォン仮想化のためのバイノーラル室内インパルス応答（BRIR）の一つまたは複数の成分を生成する方法であって： 所望される知覚的手がかりを、音源位置に対応するオーディオ入力信号に付与する方向制御された反射を生成する段階と； 少なくとも該生成された反射を組み合わせて、前記BRIRの前記一つまたは複数の成分を得る段階とを含む、方法。
〔ＥＥＥ２〕
前記所望される知覚的手がかりは、最小の副作用をもつ自然な空間感覚につながる、ＥＥＥ１記載の方法。
〔ＥＥＥ３〕
前記方向制御された反射は、空間における所与の位置にある仮想音源の印象が向上される所定の到来方向をもつ、ＥＥＥ１記載の方法。
〔ＥＥＥ４〕
前記方向パターンは、反射方向が仮想音源から離れるように変化し、そのまわりで行ったり来たり振動する揺動形状になっている、ＥＥＥ３記載の方法。
〔ＥＥＥ５〕
前記方向パターンはさらに、所定の方位角範囲内の確率的な拡散成分を含み、前記揺動形状または前記確率的な拡散成分の少なくとも一方は、前記仮想音源の方向に基づいて選択される、ＥＥＥ３記載の方法。
〔ＥＥＥ６〕
方向制御された反射を生成する段階が： 所定のエコー密度分布制約条件のもとで確率的に前記反射のそれぞれの生起時点を決定し； 前記それぞれの生起時点および前記所定の方向パターンに基づいて前記反射の所望される方向を決定し； 前記それぞれの生起時点における前記反射の振幅を確率的に決定し； 前記それぞれの生起時点において前記所望される方向および前記決定された振幅をもつ前記反射を作り出すことを含む、ＥＥＥ１記載の方法。
〔ＥＥＥ７〕
前記反射を作り出すことが：
前記それぞれの生起時点における前記所望される方向に基づいて、特定の諸方向について測定された頭部伝達関数（HRTF）データ・セットから諸HRTFを選択し； 前記それぞれの生起時点における前記反射の振幅に基づいてそれらのHRTFを修正して、前記それぞれの生起時点における前記反射を得ることを含む、ＥＥＥ６記載の方法。
〔ＥＥＥ８〕
前記反射を作り出すことが： 前記それぞれの生起時点における前記所望される方向および所定の球面頭部モデルに基づいて、諸HRTFを決定し； 前記それぞれの生起時点における前記反射の振幅に基づいてそれらのHRTFを修正して、前記それぞれの生起時点における前記反射を得ることを含む、ＥＥＥ６記載の方法。
〔ＥＥＥ９〕
前記反射を作り出すことが： 前記それぞれの生起時点における前記所望される方向および決定された振幅に基づいて、かつ所定の球面頭部モデルのブロードバンド両耳時間差および両耳レベル差に基づいて、二つの耳についてのインパルス応答を生成することを含む、ＥＥＥ５記載の方法。
〔ＥＥＥ１０〕
前記反射を作り出すことがさらに： 二つの耳についての生成されたインパルス応答を全域通過フィルタを通じてフィルタリングして、拡散および脱相関を得ることを含む、
ＥＥＥ９記載の方法。
〔ＥＥＥ１１〕
当該方法がフィードバック遅延ネットワークにおいて機能させられ、反射を生成する段階が、前記入力信号に対して所望される知覚的手がかりを付与するよう、少なくとも後期応答の早期部分の方向を制御するよう、前記オーディオ入力信号をHRTFを通じてフィルタリングすることを含む、ＥＥＥ１記載の方法。
〔ＥＥＥ１２〕
前記オーディオ入力信号が、前記HRTFによってフィルタリングされる前に遅延線によって遅延させられる、ＥＥＥ１１記載の方法。
〔ＥＥＥ１３〕
少なくとも一つのフィードバック・マトリクスを通じてフィードバックされた諸信号が加算される前に前記オーディオ入力信号がフィルタリングされる、ＥＥＥ１１記載の方法。
〔ＥＥＥ１４〕
前記オーディオ入力信号が前記フィードバック遅延ネットワークに入力されるのと並列に前記オーディオ入力信号が前記HRTFによってフィルタリングされ、前記フィードバック遅延ネットワークからの出力信号と前記HRTFからの出力信号が混合されて、ヘッドフォン仮想化のための残響を得る、ＥＥＥ１１記載の方法。
〔ＥＥＥ１５〕
複数のオーディオ・チャネルまたはオブジェクトについて、該複数のオーディオ・チャネルまたはオブジェクトのそれぞれについての入力オーディオ信号が別個に前記HRTFによってフィルタリングされる、ＥＥＥ１１記載の方法。
〔ＥＥＥ１６〕
複数のオーディオ・チャネルまたはオブジェクトについて、該複数のオーディオ・チャネルまたはオブジェクトについての入力オーディオ信号がダウンミックスされ、解析されて、優勢源方向とともにオーディオ混合信号が得られ、それが前記入力信号として取られる、ＥＥＥ１１記載の方法。
〔ＥＥＥ１７〕
複数の群の反射を得るために前記反射を生成する段階を繰り返し、反射の前記複数の群のうち最適な反射特性をもつ一つの群を、前記入力信号のための諸反射として選択すること；あるいは 前記反射を生成する段階を、所定の反射特性が得られるまで繰り返すことによって、最適プロセスを実行することをさらに含む、ＥＥＥ１記載の方法。
〔ＥＥＥ１８〕
前記反射を生成する段階が、少なくとも部分的には、確率的モードに基づいて生成されるランダム変数の少なくともいくつかによって駆動される、ＥＥＥ１７記載の方法。
本発明の実施形態は上記で論じた特定の実施形態に限定されないこと、修正および他の実施形態が付属の請求項の範囲内に含まれることが意図されることは理解されるであろう。本稿では個別的な用語が使われているが、それは一般的な記述の意味において使われているのであって、限定の目的ではない。

Claims (38)

  1. ヘッドフォン仮想化のためのバイノーラル室内インパルス応答（BRIR）の一つまたは複数の成分を生成する方法であって：
    所望される知覚的手がかりを、音源位置に対応するオーディオ入力信号に付与する方向制御された反射を生成する段階と；
    少なくとも該生成された反射を組み合わせて、前記BRIRの前記一つまたは複数の成分を得る段階とを含む、
    方法。
  2. 前記所望される知覚的手がかりは、最小の可聴損傷をもつ自然な空間感覚につながる、請求項１記載の方法。
  3. 前記方向制御された反射は、空間における所与の位置にある仮想音源の印象が向上される所定の到来方向をもつ、請求項１記載の方法。
  4. 前記所定の到来方向は、反射方向が仮想音源から離れるように変化し、そのまわりで行ったり来たり振動する揺動形状になっている、請求項３記載の方法。
  5. 前記所定の到来方向はさらに、所定の方位角範囲内の確率的な拡散成分を含み、前記揺動形状または前記確率的な拡散成分の少なくとも一方は、前記仮想音源の方向に基づいて選択される、請求項３記載の方法。
  6. 方向制御された反射を生成する段階が：
    所定のエコー密度分布制約条件のもとで確率的に前記反射のそれぞれの生起時点を決定し；
    前記それぞれの生起時点および前記所定の方向パターンに基づいて前記反射の所望される方向を決定し；
    前記それぞれの生起時点における前記反射の振幅を確率的に決定し；
    前記それぞれの生起時点において前記所望される方向および前記決定された振幅をもつ前記反射を作り出すことを含む、
    請求項１記載の方法。
  7. 前記方向制御された反射を作り出すことが：
    前記それぞれの生起時点における前記所望される方向に基づいて、特定の諸方向について測定された頭部伝達関数（HRTF）データ・セットから諸HRTFを選択し；
    前記それぞれの生起時点における前記反射の振幅に基づいてそれらのHRTFを修正して、前記それぞれの生起時点における前記反射を得ることを含む、
    請求項６記載の方法。
  8. 前記方向制御された反射を作り出すことが：
    前記それぞれの生起時点における前記所望される方向および所定の球面頭部モデルに基づいて、諸HRTFを決定し；
    前記それぞれの生起時点における前記反射の振幅に基づいてそれらのHRTFを修正して、前記それぞれの生起時点における前記反射を得ることを含む、
    請求項６記載の方法。
  9. 前記方向制御された反射を作り出すことが：
    前記それぞれの生起時点における前記所望される方向および決定された振幅に基づいて、かつ所定の球面頭部モデルのブロードバンド両耳時間差および両耳レベル差に基づいて、二つの耳についてのインパルス応答を生成することを含む、
    請求項５記載の方法。
  10. 前記方向制御された反射を作り出すことがさらに：
    二つの耳についての生成されたインパルス応答を全域通過フィルタを通じてフィルタリングして、拡散および脱相関を得ることを含む、
    請求項９記載の方法。
  11. 当該方法がフィードバック遅延ネットワークにおいて機能させられ、反射を生成する段階が、前記オーディオ入力信号に対して所望される知覚的手がかりを付与するよう、少なくとも後期応答の早期部分の方向を制御するよう、前記オーディオ入力信号をHRTFを通じてフィルタリングすることを含む、請求項１記載の方法。
  12. 前記オーディオ入力信号が、前記HRTFによってフィルタリングされる前に遅延線によって遅延させられる、請求項１１記載の方法。
  13. 少なくとも一つのフィードバック・マトリクスを通じてフィードバックされた諸信号が加算される前に前記オーディオ入力信号がフィルタリングされる、請求項１１記載の方法。
  14. 前記オーディオ入力信号が前記フィードバック遅延ネットワークに入力されるのと並列に前記オーディオ入力信号が前記HRTFによってフィルタリングされ、前記フィードバック遅延ネットワークからの出力信号と前記HRTFからの出力信号が混合されて、ヘッドフォン仮想化のための残響を得る、請求項１１記載の方法。
  15. 複数のオーディオ・チャネルまたはオブジェクトについて、該複数のオーディオ・チャネルまたはオブジェクトのそれぞれについての入力オーディオ信号が別個に前記HRTFによってフィルタリングされる、請求項１１記載の方法。
  16. 複数のオーディオ・チャネルまたはオブジェクトについて、該複数のオーディオ・チャネルまたはオブジェクトについての入力オーディオ信号がダウンミックスされ、解析されて、優勢源方向とともにオーディオ混合信号が得られ、それが前記オーディオ入力信号として取られる、請求項１１記載の方法。
  17. 複数の群の反射を得るために前記反射を生成する段階を繰り返し、反射の前記複数の群のうち最適な反射特性をもつ一つの群を、前記オーディオ入力信号のための諸反射として選択すること；あるいは
    前記反射を生成する段階を、所定の反射特性が得られるまで繰り返すことによって、
    最適プロセスを実行することをさらに含む、請求項１記載の方法。
  18. 前記反射を生成する段階が、少なくとも部分的には、確率的モードに基づいて生成されるランダム変数の少なくともいくつかによって駆動される、請求項１７記載の方法。
  19. ヘッドフォン仮想化のためのバイノーラル室内インパルス応答（BRIR）の一つまたは複数の成分を生成するシステムであって：
    所望される知覚的手がかりを、音源位置に対応するオーディオ入力信号に付与する方向制御された反射を生成するよう構成された反射生成ユニットと；
    少なくとも該生成された反射を組み合わせて、前記BRIRの前記一つまたは複数の成分を得るよう構成された混合ユニットとを有する、
    システム。
  20. 前記所望される知覚的手がかりは、最小の可聴損傷をもつ自然な空間感覚につながる、請求項１９記載のシステム。
  21. 前記方向制御された反射は、空間における所与の位置にある仮想音源の印象が向上される所定の到来方向をもつ、請求項２０記載のシステム。
  22. 前記所定の到来方向は、反射方向が仮想音源から離れるように変化し、そのまわりで行ったり来たり振動する揺動形状になっている、請求項２１記載のシステム。
  23. 前記所定の到来方向はさらに、所定の方位角範囲内の確率的な拡散成分を含み、前記揺動形状および／または前記確率的な拡散成分は、前記仮想音源の方向に基づいて選択される、請求項２１記載のシステム。
  24. 前記反射生成ユニットが：
    所定のエコー密度分布制約条件の範囲内で確率的に決定される、前記反射のそれぞれの生起時点を決定し；
    前記それぞれの生起時点および前記所定の方向パターンに基づいて前記反射の所望される方向を決定し；
    前記それぞれの生起時点における前記反射の振幅を確率的に決定し；
    前記それぞれの生起時点において前記所望される方向および前記決定された振幅をもつ前記反射を作り出すよう構成されている、
    請求項１９記載のシステム。
  25. 前記反射生成ユニットが、前記反射を作り出すことを：
    前記それぞれの生起時点における前記所望される方向に基づいて、特定の諸方向について測定された頭部伝達関数（HRTF）データ・セットから諸HRTFを選択し；
    前記それぞれの生起時点における前記反射の振幅に基づいてそれらのHRTFを修正して、前記それぞれの生起時点における前記反射を得ることによって行なうよう構成されている、
    請求項２４記載のシステム。
  26. 前記反射生成ユニットが、前記反射を作り出すことを：
    前記それぞれの生起時点における前記所望される方向および所定の球面頭部モデルに基づいて、諸HRTFを決定し；
    前記それぞれの生起時点における前記反射の振幅に基づいてそれらのHRTFを修正して、前記それぞれの生起時点における前記反射を得ることによって行なうよう構成されている、
    請求項２４記載のシステム。
  27. 前記反射生成ユニットが、前記反射を作り出すことを：
    前記それぞれの生起時点における前記所望される方向および決定された振幅ならびに所定の球面頭部モデルのブロードバンド両耳時間差および両耳レベル差に基づいて、二つの耳についてのインパルス応答を生成することによって行なうよう構成されている、
    請求項２４記載のシステム。
  28. 前記反射生成ユニットが、前記反射を作り出すことをさらに：
    二つの耳についての生成されたインパルス応答を全域通過フィルタを通じてフィルタリングして、拡散および脱相関を得ることを含む、
    請求項２７記載のシステム。
  29. 当該システムがフィードバック遅延ネットワークにおいて実装され、前記反射生成ユニットが、前記入力信号に対して所望される知覚的手がかりを付与するよう、少なくとも後期応答の早期部分の方向を制御するよう、前記オーディオ入力信号をHRTFを通じてフィルタリングするよう構成されている、請求項１９記載のシステム。
  30. 前記反射生成ユニットが、前記オーディオ入力信号を、前記HRTFによってフィルタリングされる前に遅延線によって遅延させるよう構成されている、請求項２９記載のシステム。
  31. 前記反射生成ユニットが、少なくとも一つのフィードバック・マトリクスを通じてフィードバックされた諸信号が加算される前に前記オーディオ入力信号をフィルタリングするよう構成されている、請求項２９記載のシステム。
  32. 前記反射生成ユニットが、前記オーディオ入力信号が前記フィードバック遅延ネットワークに入力されるのと並列に前記オーディオ入力信号を前記HRTFによってフィルタリングするよう構成されており、前記フィードバック遅延ネットワークからの出力信号と前記HRTFからの出力信号が混合されて、ヘッドフォン仮想化のための残響を得る、請求項２９記載のシステム。
  33. 前記反射生成ユニットが、複数のオーディオ・チャネルまたはオブジェクトについて、該複数のオーディオ・チャネルまたはオブジェクトのそれぞれについての入力オーディオ信号を別個に前記HRTFによってフィルタリングするよう構成されている、請求項２９記載のシステム。
  34. 前記反射生成ユニットが、複数のオーディオ・チャネルまたはオブジェクトについて、該複数のオーディオ・チャネルまたはオブジェクトについての入力オーディオ信号をダウンミックスし、解析して、優勢源方向とともにオーディオ混合信号を得て、該混合オーディオ信号を前記オーディオ入力信号としてフィルタリングするよう構成されている、請求項２９記載のシステム。
  35. 前記反射生成ユニットが最適プロセスにおいて動作させられ、該最適プロセスにおいては、
    前記反射生成ユニットが、複数の群の反射を得るために繰り返し動作させられ、反射の前記複数の群のうち最適な反射特性をもつ一つの群が、前記入力オーディオ信号のための諸反射として選択される、あるいは
    前記反射生成ユニットが、所定の反射特性が得られるまで繰り返し動作させられる、
    請求項１９記載のシステム。
  36. 前記反射生成ユニットが、少なくとも部分的には、確率的モードに基づいて生成されるランダム変数の少なくともいくつかによって駆動される、請求項３５記載のシステム。
  37. ヘッドフォン呈示のために一つまたは複数のオーディオ入力信号から左耳および右耳バイノーラル信号を生成する方法であって：
    前記一つまたは複数のオーディオ入力信号のそれぞれに対応する音源位置を決定する段階と；
    前記一つまたは複数のオーディオ入力信号のそれぞれを、前記音源位置に対応するBRIRの一つまたは複数の成分と畳み込みして、左耳および右耳中間信号を得る段階であって、前記BRIRの前記成分のうちの少なくとも一つは、それぞれ所望される知覚的手がかりを、前記一つまたは複数のオーディオ入力信号に付与する方向制御された反射を含む、段階と；
    前記左耳中間信号を組み合わせて前記左耳バイノーラル信号を生じ、前記右耳中間信号を組み合わせて前記右耳バイノーラル信号を生じる段階とを含む、
    方法。
  38. ヘッドフォン仮想化のための残響生成のコンピュータ・プログラム・プロダクトであって、当該コンピュータ・プログラム・プロダクトは非一時的なコンピュータ可読媒体上に有体に記憶されており、実行されたときに請求項１ないし１８のうちいずれか一項記載の方法の段階を機械に実行させる機械実行可能命令を有する、コンピュータ・プログラム・プロダクト。
JP2017560487A 2015-02-12 2016-02-11 ヘッドフォン仮想化のための残響生成 Pending JP2018509864A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN201510077020.3A CN105992119A (zh) 2015-02-12 2015-02-12 用于耳机虚拟化的混响生成
CN201510077020.3 2015-02-12
US201562117206P 2015-02-17 2015-02-17
US62/117,206 2015-02-17
CN201610081281 2016-02-05
CN201610081281.7 2016-02-05
PCT/US2016/017594 WO2016130834A1 (en) 2015-02-12 2016-02-11 Reverberation generation for headphone virtualization

Publications (1)

Publication Number Publication Date
JP2018509864A true JP2018509864A (ja) 2018-04-05

Family

ID=56615717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017560487A Pending JP2018509864A (ja) 2015-02-12 2016-02-11 ヘッドフォン仮想化のための残響生成

Country Status (9)

Country Link
US (6) US10149082B2 (ja)
EP (4) EP4447494A2 (ja)
JP (1) JP2018509864A (ja)
CN (2) CN107258091B (ja)
DK (1) DK3550859T3 (ja)
ES (1) ES2898951T3 (ja)
HU (1) HUE056176T2 (ja)
PL (1) PL3550859T3 (ja)
WO (1) WO2016130834A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190084883A (ko) * 2018-01-07 2019-07-17 크리에이티브 테크놀로지 엘티디 머리 추적 기능이 있는 맞춤형 공간 오디오 생성 방법
WO2021125599A1 (ko) * 2019-12-17 2021-06-24 주식회사 라온에이엔씨 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치
WO2023199815A1 (ja) * 2022-04-14 2023-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響処理方法、プログラム、及び音響処理システム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509864A (ja) * 2015-02-12 2018-04-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ヘッドフォン仮想化のための残響生成
US10932078B2 (en) 2015-07-29 2021-02-23 Dolby Laboratories Licensing Corporation System and method for spatial processing of soundfield signals
CN114302315B (zh) * 2015-07-29 2023-10-31 杜比实验室特许公司 用于声场信号的空间处理的系统和方法
AU2016311335B2 (en) 2015-08-25 2021-02-18 Dolby International Ab Audio encoding and decoding using presentation transform parameters
GB2546504B (en) * 2016-01-19 2020-03-25 Facebook Inc Audio system and method
JP7047383B2 (ja) * 2016-02-01 2022-04-05 ソニーグループ株式会社 音響出力装置、音響出力方法、プログラム
WO2017192972A1 (en) 2016-05-06 2017-11-09 Dts, Inc. Immersive audio reproduction systems
US10187740B2 (en) * 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
GB2558281A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Audio processing
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10397724B2 (en) 2017-03-27 2019-08-27 Samsung Electronics Co., Ltd. Modifying an apparent elevation of a sound source utilizing second-order filter sections
WO2018182274A1 (ko) * 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN107231599A (zh) * 2017-06-08 2017-10-03 北京奇艺世纪科技有限公司 一种3d声场构建方法和vr装置
US10652686B2 (en) * 2018-02-06 2020-05-12 Sony Interactive Entertainment Inc. Method of improving localization of surround sound
US10602298B2 (en) * 2018-05-15 2020-03-24 Microsoft Technology Licensing, Llc Directional propagation
US10390170B1 (en) * 2018-05-18 2019-08-20 Nokia Technologies Oy Methods and apparatuses for implementing a head tracking headset
US11503419B2 (en) 2018-07-18 2022-11-15 Sphereo Sound Ltd. Detection of audio panning and synthesis of 3D audio from limited-channel surround sound
CN109327795B (zh) * 2018-11-13 2021-09-14 Oppo广东移动通信有限公司 音效处理方法及相关产品
US10887467B2 (en) * 2018-11-20 2021-01-05 Shure Acquisition Holdings, Inc. System and method for distributed call processing and audio reinforcement in conferencing environments
EP3949446A1 (en) * 2019-03-29 2022-02-09 Sony Group Corporation Apparatus, method, sound system
US10932081B1 (en) 2019-08-22 2021-02-23 Microsoft Technology Licensing, Llc Bidirectional propagation of sound
GB2593170A (en) * 2020-03-16 2021-09-22 Nokia Technologies Oy Rendering reverberation
NL2026361B1 (en) 2020-08-28 2022-04-29 Liquid Oxigen Lox B V Method for generating a reverberation audio signal
CN115250412A (zh) * 2021-04-26 2022-10-28 Oppo广东移动通信有限公司 音频处理方法、装置、无线耳机及计算机可读介质
CN113518286B (zh) * 2021-06-29 2023-07-14 广州酷狗计算机科技有限公司 音频信号的混响处理方法、装置、电子设备及存储介质
CN113488019B (zh) * 2021-08-18 2023-09-08 百果园技术(新加坡)有限公司 基于语音房的混音系统、方法、服务器和存储介质
WO2023059838A1 (en) * 2021-10-08 2023-04-13 Dolby Laboratories Licensing Corporation Headtracking adjusted binaural audio
US11877143B2 (en) 2021-12-03 2024-01-16 Microsoft Technology Licensing, Llc Parameterized modeling of coherent and incoherent sound
GB202206430D0 (en) * 2022-05-03 2022-06-15 Nokia Technologies Oy Apparatus, methods and computer programs for spatial rendering of reverberation
CN116055983B (zh) * 2022-08-30 2023-11-07 荣耀终端有限公司 一种音频信号处理方法及电子设备
US20240276172A1 (en) * 2023-02-15 2024-08-15 Microsoft Technology Licensing, Llc Efficient multi-emitter soundfield reverberation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334176A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 残響音生成装置
JP2012065264A (ja) * 2010-09-17 2012-03-29 Denso Corp 立体音場生成装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742689A (en) 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6188769B1 (en) 1998-11-13 2001-02-13 Creative Technology Ltd. Environmental reverberation processor
US20020067836A1 (en) 2000-10-24 2002-06-06 Paranjpe Shreyas Anand Method and device for artificial reverberation
US7099482B1 (en) 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
FR2865096B1 (fr) * 2004-01-13 2007-12-28 Cabasse Systeme acoustique pour vehicule et dispositif correspondant
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
DE102005003431B4 (de) 2005-01-25 2009-01-15 Institut für Rundfunktechnik GmbH Anordnung zum Wiedergeben von binauralen Signalen (Kunstkopfsignalen) durch mehrere Lautsprecher
CN101263742B (zh) * 2005-09-13 2014-12-17 皇家飞利浦电子股份有限公司 音频编码
US8712061B2 (en) * 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US7876903B2 (en) 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
GB2467668B (en) * 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
RU2443075C2 (ru) 2007-10-09 2012-02-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для генерации бинаурального аудиосигнала
US8126172B2 (en) 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
US8885834B2 (en) * 2008-03-07 2014-11-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
AU2009275418B9 (en) * 2008-07-31 2014-01-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Signal generation for binaural signals
CN101661746B (zh) * 2008-08-29 2013-08-21 三星电子株式会社 数字音频混响器和数字音频混响方法
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
WO2010054360A1 (en) 2008-11-10 2010-05-14 Rensselaer Polytechnic Institute Spatially enveloping reverberation in sound fixing, processing, and room-acoustic simulations using coded sequences
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
US9552840B2 (en) * 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
WO2012093352A1 (en) 2011-01-05 2012-07-12 Koninklijke Philips Electronics N.V. An audio system and method of operation therefor
CN102665156B (zh) * 2012-03-27 2014-07-02 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
JP5879199B2 (ja) 2012-05-22 2016-03-08 日本放送協会 残響応答生成装置およびそのプログラム
US9264812B2 (en) 2012-06-15 2016-02-16 Kabushiki Kaisha Toshiba Apparatus and method for localizing a sound image, and a non-transitory computer readable medium
US9826328B2 (en) * 2012-08-31 2017-11-21 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
WO2014085510A1 (en) 2012-11-30 2014-06-05 Dts, Inc. Method and apparatus for personalized audio virtualization
US9860663B2 (en) 2013-01-15 2018-01-02 Koninklijke Philips N.V. Binaural audio processing
MX346825B (es) * 2013-01-17 2017-04-03 Koninklijke Philips Nv Procesamiento de audio biaural.
US9369818B2 (en) * 2013-05-29 2016-06-14 Qualcomm Incorporated Filtering with binaural room impulse responses with content analysis and weighting
EP2840811A1 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
EP2830043A3 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer
EP3090576B1 (en) 2014-01-03 2017-10-18 Dolby Laboratories Licensing Corporation Methods and systems for designing and applying numerically optimized binaural room impulse responses
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
US9584938B2 (en) * 2015-01-19 2017-02-28 Sennheiser Electronic Gmbh & Co. Kg Method of determining acoustical characteristics of a room or venue having n sound sources
JP2018509864A (ja) * 2015-02-12 2018-04-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ヘッドフォン仮想化のための残響生成
CN114302315B (zh) 2015-07-29 2023-10-31 杜比实验室特许公司 用于声场信号的空间处理的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334176A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 残響音生成装置
JP2012065264A (ja) * 2010-09-17 2012-03-29 Denso Corp 立体音場生成装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190084883A (ko) * 2018-01-07 2019-07-17 크리에이티브 테크놀로지 엘티디 머리 추적 기능이 있는 맞춤형 공간 오디오 생성 방법
JP2019146160A (ja) * 2018-01-07 2019-08-29 クリエイティブ テクノロジー リミテッドＣｒｅａｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ Ｌｔｄ 頭部追跡をともなうカスタマイズされた空間音声を生成するための方法
JP7071297B2 (ja) 2018-01-07 2022-05-18 クリエイティブ テクノロジー リミテッド 頭部追跡をともなうカスタマイズされた空間音声を生成するための方法
KR102574082B1 (ko) 2018-01-07 2023-09-01 크리에이티브 테크놀로지 엘티디 머리 추적 기능이 있는 맞춤형 공간 오디오 생성 방법
US11785412B2 (en) 2018-01-07 2023-10-10 Creative Technology Ltd. Method for generating customized spatial audio with head tracking
US12022277B2 (en) 2018-01-07 2024-06-25 Creative Technology Ltd Method for generating customized spatial audio with head tracking
WO2021125599A1 (ko) * 2019-12-17 2021-06-24 주식회사 라온에이엔씨 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치
KR20210077169A (ko) * 2019-12-17 2021-06-25 주식회사 라온에이엔씨 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치
KR102283964B1 (ko) * 2019-12-17 2021-07-30 주식회사 라온에이엔씨 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치
WO2023199815A1 (ja) * 2022-04-14 2023-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響処理方法、プログラム、及び音響処理システム

Also Published As

Publication number Publication date
HUE056176T2 (hu) 2022-02-28
EP3550859A1 (en) 2019-10-09
US20180035233A1 (en) 2018-02-01
US20230328469A1 (en) 2023-10-12
US11671779B2 (en) 2023-06-06
EP3257268A1 (en) 2017-12-20
US20200367003A1 (en) 2020-11-19
CN107258091A (zh) 2017-10-17
US10382875B2 (en) 2019-08-13
US10750306B2 (en) 2020-08-18
EP3550859B1 (en) 2021-09-15
PL3550859T3 (pl) 2022-01-10
US10149082B2 (en) 2018-12-04
CN110809227A (zh) 2020-02-18
EP4002888A1 (en) 2022-05-25
EP4002888B1 (en) 2024-09-25
US20190052989A1 (en) 2019-02-14
US11140501B2 (en) 2021-10-05
WO2016130834A1 (en) 2016-08-18
EP3257268B1 (en) 2019-04-24
DK3550859T3 (da) 2021-11-01
ES2898951T3 (es) 2022-03-09
EP4447494A2 (en) 2024-10-16
US20190342685A1 (en) 2019-11-07
US20220103959A1 (en) 2022-03-31
CN107258091B (zh) 2019-11-26
CN110809227B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
US11671779B2 (en) Reverberation generation for headphone virtualization
JP6818841B2 (ja) 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
JP6950014B2 (ja) ２ｄセットアップを使用したオーディオ再生のためのアンビソニックス・オーディオ音場表現を復号する方法および装置
EP3090576B1 (en) Methods and systems for designing and applying numerically optimized binaural room impulse responses
JP5955862B2 (ja) 没入型オーディオ・レンダリング・システム
US11277707B2 (en) Spatial audio signal manipulation
KR20180135973A (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
EP2920982A1 (en) Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
US11750994B2 (en) Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
US20240284132A1 (en) Apparatus, Method or Computer Program for Synthesizing a Spatially Extended Sound Source Using Variance or Covariance Data
US20240267696A1 (en) Apparatus, Method and Computer Program for Synthesizing a Spatially Extended Sound Source Using Elementary Spatial Sectors
US20240298135A1 (en) Apparatus, Method or Computer Program for Synthesizing a Spatially Extended Sound Source Using Modification Data on a Potentially Modifying Object

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190319