JP2016523466A - コンテンツ解析および重み付けを用いたバイノーラル室内インパルス応答によるフィルタリング - Google Patents
コンテンツ解析および重み付けを用いたバイノーラル室内インパルス応答によるフィルタリング Download PDFInfo
- Publication number
- JP2016523466A JP2016523466A JP2016516799A JP2016516799A JP2016523466A JP 2016523466 A JP2016523466 A JP 2016523466A JP 2016516799 A JP2016516799 A JP 2016516799A JP 2016516799 A JP2016516799 A JP 2016516799A JP 2016523466 A JP2016523466 A JP 2016523466A
- Authority
- JP
- Japan
- Prior art keywords
- impulse response
- binaural
- room impulse
- audio signal
- binaural room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 484
- 238000001914 filtration Methods 0.000 title description 10
- 238000004458 analytical method Methods 0.000 title description 8
- 230000005236 sound signal Effects 0.000 claims abstract description 336
- 230000001419 dependent effect Effects 0.000 claims description 207
- 238000000034 method Methods 0.000 claims description 168
- 230000002194 synthesizing effect Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 21
- 238000009877 rendering Methods 0.000 description 84
- 239000011159 matrix material Substances 0.000 description 61
- 230000000875 corresponding effect Effects 0.000 description 44
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 26
- 230000009467 reduction Effects 0.000 description 22
- 238000002156 mixing Methods 0.000 description 19
- 238000012546 transfer Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 18
- 230000003044 adaptive effect Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000002592 echocardiography Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007417 hierarchical cluster analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S1/005—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
１つまたは複数のプロセッサを備えるデバイスは、音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを音声信号の複数のチャンネルに適用するように構成される。プロセッサは、結合された信号を生成するために、音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するようにさらに構成される。プロセッサは、バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを結合された信号に適用するようにさらに構成される。
Description
優先権主張
[0001]本出願は、２０１３年５月２９日に出願された米国仮特許出願第６１／８２８，６２０号、２０１３年７月１７日に出願された米国仮特許出願第６１／８４７，５４３号、２０１３年１０月３日に出願された米国仮出願第６１／８８６，５９３号、および２０１３年１０月３日に出願された米国仮出願第６１／８８６，６２０号の利益を主張する。
[0001]本出願は、２０１３年５月２９日に出願された米国仮特許出願第６１／８２８，６２０号、２０１３年７月１７日に出願された米国仮特許出願第６１／８４７，５４３号、２０１３年１０月３日に出願された米国仮出願第６１／８８６，５９３号、および２０１３年１０月３日に出願された米国仮出願第６１／８８６，６２０号の利益を主張する。
[0002]本開示は、音声レンダリングに関し、より詳細には、音声データのバイノーラルレンダリング（binaural rendering）に関する。
[0003]概して、音声ストリームの源をたどるために、バイノーラル室内インパルス応答（binaural room impulse response）（ＢＲＩＲ）フィルタの適用によるバイノーラル音声レンダリングに関する技法を説明する。
[0004]一例として、音声信号をバイノーラル化する方法は、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用することと、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用することと、を備える。
[0005]別の例として、デバイスは、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用することと、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用することと、を行うように構成された１つまたは複数のプロセッサを備える。
[0006]別の例として、装置は、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用するための手段と、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用するための手段と、を備える。
[0007]別の例として、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用することと、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用することと、を行わせる命令をその上に記憶している。
[0008]技法の１つまたは複数の態様の詳細は、添付の図面および以下の説明に記載される。これらの技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から、明らかになろう。
[0025]同様の参照符号は、図面およびテキスト全体を通して同じ要素を示す。
[0026]サラウンドサウンドの発展は、現今では娯楽のための多くの出力フォーマットを利用可能にしている。そのようなサラウンドサウンドフォーマットの例は、一般的な５．１フォーマット（これは、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果（ＬＦＥ）という、６つのチャンネルを含む）、発展中の７．１フォーマット、および今後来る２２．２フォーマット（たとえば、超高精細テレビ規格で使用するための）を含む。空間音声フォーマットの別の例は、球面調和係数（高次アンビソニックス（Higher Order Ambisonics）としても知られている）である。
[0027]将来規格化される音声エンコーダ（ＰＣＭ音声表現をビットストリームに変換するデバイス−時間サンプルごとに必要なビット数を保存する）への入力は、随意に、３つの可能なフォーマット、（ｉ）あらかじめ指定された位置でラウドスピーカーによって再生されることを意味する、従来のチャンネルベース音声、（ｉｉ）（様々な情報の中でも）位置座標を含む関連付けられたメタデータを有する単一音声オブジェクトのための離散的なパルス符号変調（ＰＣＭ）データを含むオブジェクトベース音声、および（ｉｉｉ）球面調和係数（ＳＨＣ）を使用して音場を表すことを含むシーンベース音声−ここで、係数は球面調和基底関数の線形和の「重み」を表す、のうちの１つとすることができる。この文脈では、ＳＨＣは、高次アンビソニックス（ＨｏＡ）モデルによるＨｏＡ信号を含み得る。球面調和係数は、代替または追加として、平面モデルと球面モデルとを含み得る。
[0028]市場には様々な「サラウンドサウンド」フォーマットがある。これらのフォーマットは、たとえば、５．１ホームシアターシステム（リビングルームへの進出を行うという点でステレオ以上に最も成功した）からＮＨＫ（Ｎｉｐｐｏｎ Ｈｏｓｏ Ｋｙｏｋａｉすなわち日本放送協会）によって開発された２２．２システムに及ぶ。コンテンツ作成者（たとえば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、各々のスピーカー構成のためにサウンドトラックをリミックスする努力を行うことを望まない。最近では、標準化委員会が、標準化されたビットストリームへの符号化と、スピーカーの幾何学的配置およびレンダラの位置における音響条件に適合可能でありそれらに依存しない後続の復号とを提供するための方法を考えている。
[0029]コンテンツ作成者にそのようなフレキシビリティを提供するために、要素の階層的なセットが音場を表すために使用され得る。要素の階層的なセットは、より低次の要素の基本セットがモデル化された音場の完全な表現を提供するように要素が順序付けられている、要素のセットを指し得る。このセットはより高次の要素を含むように拡張されるので、表現はより詳細なものになる。
[0030]要素の階層的なセットの一例は、球面調和係数（ＳＨＣ）のセットである。次の式は、ＳＨＣを使用した音場の記述または表現を示す。
この式は、任意の点｛ｒr，θr，φr｝（これは、この例において音場を取り込むマイクロフォンに対する球面座標で表される）における音場の圧力ｐiが、
によって一意に表され得ることを示す。ここで、
、ｃは音の速さ（約３４３ｍ／ｓ）であり、｛ｒr，θr，φr｝は基準の点（または観測点）であり、ｊｎ（・）は次数ｎの球ベッセル関数であり、および
は次数ｎおよび副次数ｍの球面調和基底関数である。角括弧内の項は、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換などの様々な時間周波数変換によって近似され得る信号の周波数領域表現（すなわち、Ｓ（ω，ｒr，θr，φr）である）ことが認識できよう。階層的なセットの他の例は、ウェーブレット変換の係数のセットと、多重解像度の基底関数の係数の他のセットとを含む。
[0031]図１は、ゼロ次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す図である。理解できるように、各次数に対して、説明を簡単にするために図示されているが図１の例では明示的に示されていない副次数ｍの拡張が存在する。
[0032]図２は、ゼロ次（ｎ＝０）から第４次（ｎ＝４）までの球面調和基底関数を示す別の図である。図２では、球面調和ベースの関数は、示される次数と副次数の両方を伴う３次元座標空間において示される。
[0033]いずれにしても、
は、様々なマイクロフォンアレイ構成によって物理的に取得（たとえば、記録）されることが可能であり、または代替的に、音場のチャンネルベースの記述もしくはオブジェクトベースの記述から導出されることが可能である。ＳＨＣは、シーンに基づく音声を表す。たとえば、４次のＳＨＣの表現は、時間サンプルごとに（１＋４）2＝２５個の係数を伴う。
[0034]これらのＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを例示するために、次の式を考える。個々の音声オブジェクトに対応する音場に関する係数
は、
として表され得、ここで、ｉは
であり、ｈn (2)（・）は次数ｎの（第２の種類の）球ハンケル関数であり、｛ｒs，θs，φs｝はオブジェクトの位置である。周波数の関数としての音源のエネルギーｇ（ω）を知ること（たとえば、ＰＣＭストリームに高速フーリエ変換を行うなどの、時間・周波数解析技法を使用して）は、我々が各ＰＣＭオブジェクトとその位置とを
に変換することを可能にする。さらに、各オブジェクトに関する
係数は、（上式は線形であり直交方向の分解であるので）加法的であることが示され得る。このようにして、多数のＰＣＭオブジェクトが
係数によって（たとえば、個々のオブジェクトに関する係数ベクトルの和として）表され得る。本質的に、これらの係数は、音場に関する情報（３Ｄ座標の関数としての圧力）を含んでおり、上記は、観測点｛ｒr，θr，φr｝の近傍における、音場全体の表現への個々のオブジェクトからの変換を表す。
[0035]ＳＨＣはまた、マイクロフォンアレイの記録から次のように導出され得る。
ただし、
は
（ＳＨＣ）の時間領域の等価物であり、＊は畳み込み演算を表し、＜，＞は内積を表し、ｂn（ｒi，ｔ）はｒiに依存する時間領域のフィルタ関数を表し、ｍi（ｔ）はｉ番目のマイクロフォンの信号であり、ｉ番目のマイクロフォントランスデューサ（microphone transducer）は、半径ｒi、仰角θi、および方位角φiに位置する。したがって、マイクロフォンアレイの中に３２個のトランスデューサがあり、各マイクロフォンが、ｒi＝ａが定数となるように球面上に配置される（ｍｈＡｃｏｕｓｔｉｃｓのＥｉｇｅｎｍｉｋｅ ＥＭ３２デバイス上のマイクロフォンのように）場合、２５個のＳＨＣが、行列演算を使用して次のように導出され得る。
上記の式中の行列は、より一般的にはＥs（θ，φ）と呼ばれることがあり、ここで、下付き文字ｓは、この行列がある特定の変換器幾何学的配置セットｓに関することを示すことができる。上記の式中の畳み込み（＊によって示される）は、行と行に基づき、したがって、たとえば、出力
はｂ0（ａ，ｔ）と、Ｅs（θ，φ）行列の第１の行とマイクロフォン信号の列（これは時間の関数として変化する−ベクトル乗算の結果が時系列であるという事実の理由である）とのベクトル乗算から生じる時系列と、の間の畳み込みの結果である。算出は、マイクロフォンアレイの変換器位置が、いわゆるＴ字形設計幾何学的配置（Ｅｉｇｅｎｍｉｋｅ変換器幾何学的配置に極めて近い）にあるとき、最も正確であり得る。Ｔ字形設計幾何学的配置の１つの特徴は、幾何学的配置から生じるＥs（θ，φ）行列は行儀の非常によい（very well behaved）逆行列（または擬似逆行列）を有すること、さらに、この逆行列は行列Ｅs（θ，φ）の転置によって極めてよく近似され得ることが多いことであり得る。仮にｂn（ａ，ｔ）を用いたフィルタリング動作が無視される場合、この性質は、ＳＨＣからのマイクロフォン信号の復元（すなわち、この例では、［ｍi（ｔ）］＝［Ｅs（θ，φ）］-1［ＳＨＣ］）を可能にする。残りの数字は、以下でオブジェクトベース音声コーディングおよびＳＨＣベース音声コーディングの文脈で説明される。
[0036]図３は、音声信号情報をより効率的にレンダリングするために本開示で説明する技法を実行し得るシステム２０を示す図である。図３の例に示すように、システム２０は、コンテンツ作成者２２と、コンテンツ消費者２４とを含む。コンテンツ作成者２２およびコンテンツ消費者２４の文脈で説明するが、本技法は、音場の階層的表示を規定するＳＨＣまたは任意の他の階層要素を利用する任意の文脈において実施され得る。
[0037]コンテンツ作成者２２は、コンテンツ消費者２４などのコンテンツ消費者による消費のためのマルチチャンネル音声コンテンツを生成し得る映画撮影所または他のエンティティを表すことができる。多くの場合、このコンテンツ作成者は、ビデオコンテンツとともに、音声コンテンツを生成する。コンテンツ消費者２４は、音声再生システムを所有するまたはそれにアクセスできる個人を表し得、その音声再生システムはマルチチャンネル音声コンテンツを再生する能力がある音声再生システムの任意の形を指し得る。図３の例では、コンテンツ消費者２４は、音場の階層的表示を規定する階層要素をレンダリングするための音声再生システム３２を所有するかまたはそれへのアクセスを有する。
[0038]コンテンツ作成者２２は、音声レンダラ２８と音声編集システム３０とを含む。音声レンダラ２８は、スピーカーフィード（「ラウドスピーカーフィード」、「スピーカー信号」、または「ラウドスピーカー信号」と呼ばれることもある）をレンダリングするかまたはさもなければ生成する音声処理ユニットを表し得る。各スピーカーフィードは、マルチチャンネル音声システムの特定のチャンネルに対する音を再生するスピーカーフィード、またはスピーカー位置に適合する頭部伝達関数（ＨＲＴＦ）フィルタとの畳み込みについて意図される仮想ラウドスピーカーフィードに対応することができる。各スピーカーフィードは、球面調和係数のチャンネル（ここで、チャンネルは、球面調和係数が対応する関連付けられた球面基底関数の次数および／または副次数によって示され得る）に対応し得、指向性音場を表すためにＳＨＣの多数のチャンネルを使用する。
[0039]図３の例では、音声レンダラ２８は、従来の５．１、７．１、または２２．２のサラウンドサウンドフォーマットのためのスピーカーフィードをレンダリングし、５．１、７．１、または２２．２のサラウンドサウンドスピーカーシステムにおいて、５個、７個、または２２個のスピーカーの各々に関するスピーカーフィードを生成することができる。代替的に、音声レンダラ２８は、上記で検討した音源の球面調和係数の性質が与えられれば、任意の数のスピーカーを有する任意のスピーカー構成のための音源の球面調和係数からスピーカーフィードをレンダリングするように構成され得る。音声レンダラ２８は、このようにして、図３ではスピーカーフィード２９と示されているいくつかのスピーカーフィードを生成し得る。
[0040]コンテンツ作成者は、編集プロセス中に、球面調和係数２７（「ＳＨＣ２７」）をレンダリングし、高い忠実度を持たないまたは説得力のあるサラウンドサウンド経験を提供しない音場の様相を識別する試みにおけるレンダリングされたスピーカーフィードをリッスンすることができる。次いで、コンテンツ作成者２２は、（多くの場合、上記の様式で音源の球面調和係数が導出され得る異なるオブジェクトの操作を通じて、間接的に）音源の球面調和係数を編集することができる。コンテンツ作成者２２は、球面調和係数２７を編集するために音声編集システム３０を用いることができる。音声編集システム３０は、音声データを編集し、この音声データを１つまたは複数の音源の球面調和係数として出力することが可能な任意のシステムを表す。
[0041]編集プロセスが完了すると、コンテンツ作成者２２は、球面調和係数２７に基づいてビットストリーム３１を生成することができる。すなわち、コンテンツ作成者２２は、ビットストリーム生成デバイス３６を含み、それは、ビットストリーム３１を生成する能力がある任意のデバイスを表し得る。場合によっては、ビットストリーム生成デバイス３６は、球面調和係数２７を帯域幅圧縮し（一例として、エントロピー符号化を通じて）、ビットストリーム３１を形成するために認められたフォーマットで球面調和係数２７のエントロピー符号化バージョンを配置するエンコーダを表し得る。他の例では、ビットストリーム生成デバイス３６は、一例としてマルチチャンネル音声コンテンツまたはその派生物を圧縮するために従来の音声サラウンドサウンド符号化プロセスのプロセスに類似したプロセスを使用してマルチチャンネル音声コンテンツ２９を符号化する音声エンコーダ（おそらく、ＭＰＥＧサラウンドなどの知られている音声コーディング規格またはその派生物に適合する音声エンコーダ）を表すことができる。圧縮されたマルチチャンネル音声コンテンツ２９は次いで、コンテンツ２９を帯域幅圧縮するためにエントロピー符号化されまたはある他の方法でコーディングされ、ビットストリーム３１を形成するために合意したフォーマットに従って配置されてもよい。ビットストリーム３１を形成するために直接圧縮されようと、レンダリングされ、次いでビットストリーム３１を形成するために圧縮されようと、コンテンツ作成者２２は、コンテンツ消費者２４にビットストリーム３１を送信することができる。
[0042]図３ではコンテンツ消費者２４に直接送信されるとして示されるが、コンテンツ作成者２２は、コンテンツ作成者２２とコンテンツ消費者２４との間に位置付けられる中間デバイスにビットストリーム３１を出力し得る。この中間デバイスは、このビットストリームを要求し得るコンテンツ消費者２４への後の配送のためにビットストリーム３１を記憶し得る。中間デバイスは、ファイルサーバ、ウェブサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルフォン、スマートフォン、または音声デコーダによる後の取出しのためにビットストリーム３１を記憶する能力がある任意の他のデバイスを備え得る。この中間デバイスは、ビットストリーム３１を要求するコンテンツ消費者２４などの加入者にビットストリーム３１を（おそらくは対応するビデオデータビットストリームを送信するとともに）ストリーミングすることが可能なコンテンツ配信ネットワークに存在し得る。代替的に、コンテンツ作成者２２は、コンパクトディスク、デジタルビデオディスク、高精細度ビデオディスク、または他の記憶媒体などの記憶媒体にビットストリーム３１を格納することができ、記憶媒体の大部分はコンピュータによって読み取り可能であり、したがって、コンピュータ可読記憶媒体または非一時的コンピュータ可読記憶媒体と呼ばれ得る。この文脈において、送信チャンネルは、これらの媒体に格納されたコンテンツが送信されるチャンネルを指し得る（および、小売店と他の店舗ベースの配信機構とを含み得る）。したがって、いずれにしても、本開示の技法は、この点に関して図３の例に限定されるべきではない。
[0043]図３の例にさらに示すように、コンテンツ消費者２４は、音声再生システム３２を所有するかまたはそれへのアクセスを有する。音声再生システム３２は、マルチチャンネル音声データを再生することが可能な任意の音声再生システムを表すことができる。音声再生システム３２は、バイノーラルスピーカーフィード３５Ａ〜３５Ｂ（総称して「スピーカーフィード３５」）としての出力に関するＳＨＣ２７’をレンダリングするバイノーラル音声レンダラ３４を含む。バイノーラル音声レンダラ３４は、ベクトルベース振幅パニング（ＶＢＡＰ：vector-base amplitude panning）を実施する様々な方法のうちの１つまたは複数、および／または音場合成を実施する様々な方法のうちの１つまたは複数など、異なる形態のレンダリングを提供し得る。本明細書で使用するＡ「および／または」Ｂは、Ａ、Ｂ、またはＡとＢとの結合を指すことができる。
[0044]音声再生システム３２は、抽出デバイス３８をさらに含むことができる。抽出デバイス３８は、一般にビットストリーム生成デバイス３６のプロセスに相反し得るプロセスによって球面調和係数２７’（球面調和係数２７の修正された形態または複製物を表すことができる「ＳＨＣ２７’」）を抽出することが可能な任意のデバイスを表すことができる。いずれにしても、音声再生システム３２は、球面調和係数２７’を受信し、球面調和係数２７’をレンダリングするためにバイノーラル音声レンダラ３４を使用し、それによって（音声再生システム３２に電気的にまたはおそらくワイヤレスに結合されるラウドスピーカーの数に対応する、このことは例示を容易にするために図３の例には示さない）スピーカーフィード３５を生成し得る。スピーカーフィード３５の数は２であり得、音声再生システムは、２つの対応するラウドスピーカーを含む一対のヘッドフォンにワイヤレスに結合し得る。しかしながら、様々な例では、バイノーラル音声レンダラ３４は、図３に関して図示され、最初に説明されたものより多数または少数のスピーカーフィードを出力することがある。
[0045]インパルス位置において生成されたインパルスに関する位置における応答をそれぞれ表す音声再生システムのバイナリ室内インパルス応答（ＢＲＩＲ）フィルタ３７。ＢＲＩＲフィルタ３７は、それらがそれぞれ、その位置において人間の耳によって経験されるであろうインパルス応答を表すように生成されるという点において「バイノーラル」である。したがって、インパルスに関するＢＲＩＲフィルタは、対のうちの１つの要素が左耳用であり別の要素が右耳用である、対を成すサウンドレンダリングのために生成され、使用されることが多い。図示の例では、バイノーラル音声レンダラ３４は、それぞれのバイノーラル音声出力３５Ａおよび３５Ｂをレンダリングするために、左ＢＲＩＲフィルタ３３Ａと右ＢＲＩＲフィルタ３３Ｂとを使用する。
[0046]たとえば、ＢＲＩＲフィルタ３７は、音源信号と、インパルス応答（ＩＲ）として測定された頭部伝達関数（ＨＲＴＦ）とを畳み込むことによって生成され得る。ＢＲＩＲフィルタ３７の各々に対応するインパルス位置は、仮想空間中の仮想ラウドスピーカーの位置を表し得る。いくつかの例では、バイノーラル音声レンダラ３４は、ＳＨＣ２７’と、仮想ラウドスピーカーに対応するＢＲＩＲフィルタ３７とを畳み込み、次いで、スピーカーフィード３５としての出力に対してＳＨＣ２７’によって規定される音場をレンダリングするために、得られる畳み込みを累積する（すなわち、合計する）。本明細書で説明するように、バイノーラル音声レンダラ３４は、スピーカーフィード３５としてＳＨＣ２７’をレンダリングしながら、ＢＲＩＲフィルタ３７を操作することによってレンダリング計算を削減するための技法を適用し得る。
[0047]いくつかの例では、本技法は、ＢＲＩＲフィルタ３７を、室内の一位置における一インパルス応答の異なる段階を表すいくつかのセグメントにセグメント化することを含む。これらのセグメントは、音場の任意の点における圧力（または圧力の欠如）を生成する異なる物理現象に対応する。たとえば、ＢＲＩＲフィルタ３７の各々はインパルスと同時に計時されるので、第１のセグメントまたは「初期」セグメントは、インパルスの位置からの圧力波がインパルス応答が測定される位置に到達するまでの時間を表し得る。タイミング情報を別として、それぞれの初期セグメントに関するＢＲＩＲフィルタ３７の値は重要ではなく、音場を記述する階層要素との畳み込みから除外されてよい。同様に、ＢＲＩＲフィルタ３７の各々は、たとえば、人間の聴覚のダイナミックレンジより低く減衰された、または指定されたしきい値より低く減衰されたインパルス応答信号を含む最終または「末尾」セグメントを含み得る。それぞれの末尾セグメントに関するＢＲＩＲフィルタ３７の値もまた重要ではなく、音場を記述する階層要素との畳み込みから除外されてよい。いくつかの例では、本技法は、指定されたしきい値を用いてシュレーダの後方積分（Schroeder backward integration）を実施すること、および後方積分が指定されたしきい値を超える場合に末尾セグメントから要素を除くことによって末尾セグメントを決定することを含むことがある。いくつかの例では、指定されたしきい値は、残響時間ＲＴ60に関して−６０ｄＢである。
[0048]ＢＲＩＲフィルタ３７の各々の追加のセグメントは、室からのエコー効果を含まない、インパルスで生じた圧力波に起因するインパルス応答を表し得る。これらのセグメントは、ＢＲＩＲフィルタ３７に関する頭部伝達関数（ＨＲＴＦ）として表され、説明され得、ここで、ＨＲＴＦは、圧力波が鼓膜まで進むにつれて頭、肩／胴、および外耳の周りの圧力波の回折および反射によるインパルス応答を取り込む。ＨＲＴＦインパルス応答は、線形時不変系（ＬＴＩ：linear and time-invariant system）の結果であり、最小位相フィルタとしてモデル化され得る。いくつかの例では、レンダリングの間のＨＲＴＦセグメント計算を削減するための技法は、最小位相再構成を含み、元の有限インパルス応答（ＦＩＲ）フィルタ（たとえば、ＨＲＴＦフィルタセグメント）の次数を削減するために、無限インパルス応答（ＩＩＲ）フィルタを使用することができる。
[0049]ＩＩＲフィルタとして実装される最小位相フィルタは、削減されたフィルタ次数を有するＢＲＩＲフィルタ３７に関するＨＲＴＦフィルタを近似するために使用され得る。次数を削減することは、周波数領域において時間ステップに関する計算の数が付随して削減することをもたらす。加えて、最小位相フィルタの構築に起因する残余／余剰フィルタが、音の圧力波が音源から各耳まで進む距離によって引き起こされる時間距離または位相距離を表す両耳間時間差（ＩＴＤ：interaural time difference）を推定するために使用され得る。次いで、ＩＴＤは、１つまたは複数のＢＲＩＲフィルタ３７と、音場を記述する（すなわち、バイノーラル化を決定する）階層要素との畳み込みを計算した後、片耳または両耳に関する音の定位をモデル化するために使用され得る。
[0050]またさらに、ＢＲＩＲフィルタ３７の各々のセグメントがＨＲＴＦセグメントに後続し、インパルス応答に関する室内の効果を説明し得る。この室内セグメントは、早期エコー（または「早期反射」）セグメントと後期残響セグメントとにさらに分解され得る（すなわち、早期エコーおよび後期残響が、それぞれ、ＢＲＩＲフィルタ３７の各々の別個のセグメントによって表され得る）。ＨＲＴＦデータがＢＲＩＲフィルタ３７に関して利用可能である場合、早期エコーセグメントの開始は、ＨＲＴＦセグメントを識別するためにＢＲＩＲフィルタ３７とＨＲＴＦとの逆畳み込みを行うことによって識別され得る。早期エコーセグメントが、ＨＲＴＦセグメントに後続する。残余室内応答とは異なり、ＨＲＴＦセグメントおよび早期エコーセグメントは、対応する仮想スピーカーの位置が重要な点における信号を決定するという点において方向依存性である。
[0051]いくつかの例では、バイノーラル音声レンダラ３４は、音場を記述する階層要素に関する球面調和領域（θ、φ）または他の領域のために準備されたＢＲＩＲフィルタ３７を使用する。すなわち、ＢＲＩＲフィルタ３７は、バイノーラル音声レンダラ３４が、ＢＲＩＲフィルタ３７の（たとえば、左／右の）対称性およびＳＨＣ２７’の対称性を含む、データセットのいくつかの特性を利用しながら高速畳み込みを実施することを可能にするために、球面調和領域（ＳＨＤ）において、変換されたＢＲＩＲフィルタ３７として規定され得る。そのような例では、変換されたＢＲＩＲフィルタ３７は、ＳＨＣレンダリング行列と元のＢＲＩＲフィルタとを乗算する（または時間領域において畳み込みを行う）ことによって生成され得る。数学的に、これは、下式（１）〜（５）
に従って表現され得る。
[0052]ここで、（３）は、（１）または（２）のいずれかを、４次の球面調和係数に関する行列形式で示す（これは、４次以下の球面基底関数と関連付けられた球面調和係数の行列形式を表すための代替方法であり得る）。式（３）は、当然ながら、より高次またはより低次の球面調和係数に関して修正され得る。式（４）〜式（５）は、合計されたＳＨＣ−バイノーラルレンダリング行列（ＢＲＩＲ’’）を生成するために、変換された左および右のＢＲＩＲフィルタ３７をラウドスピーカー次元Ｌにわたって合計することを示す。相まって、合計されたＳＨＣ−バイノーラルレンダリング行列は、次元［（Ｎ＋１）2、Ｌｅｎｇｔｈ、２］を有し、ここで、Ｌｅｎｇｔｈは、式（１）〜式（５）の任意の結合が適用され得るインパルス応答ベクトルの長さである。式（１）および式（２）のいくつかの例では、レンダリング行列ＳＨＣは、式（１）が、ＢＲＩＲ’(N+1)2,L,left＝ＳＨＣ(N+1)2,L,left＊ＢＲＩＲL,leftに修正され、式（２）が、ＢＲＩＲ’(N+1)2,L,right＝ＳＨＣ(N+1)2,L＊ＢＲＩＲL,rightに修正され得るように、バイノーラル化され得る。
[0053]上式（１）〜（３）において提示される行列をレンダリングするＳＨＣ、ＳＨＣは、ＳＨＣ２７’の次数／副次数の結合の各々に関する要素を含み、それは、別個のＳＨＣチャンネルを効率的に規定し、ここで、要素の値は、球面調和領域内のスピーカーＬの位置に関するセットである。ＢＲＩＲL,leftは、左耳、またはスピーカーＬに関する位置で生成されたインパルスに関する位置におけるＢＲＩＲ応答を表し、｛ｉ｜ｉ∈［０，Ｌ］｝に関するインパルス応答ベクトルＢiを使用して(3)で表される。ＢＲＩＲ’(N+1)2,L,leftは、「ＳＨＣ−バイノーラルレンダリング行列」の半分、すなわち、球面調和領域に変換された、左耳またはスピーカーＬに関する位置で生成されたインパルスに関する位置におけるＳＨＣ−バイノーラルレンダリング行列を表す。ＢＲＩＲ’(N+1)2,L,rightは、ＳＨＣ−バイノーラルレンダリング行列の他方の半分を表す。
[0054]いくつかの例では、本技法は、変換されたＢＲＩＲフィルタ３７とＳＨＣ−バイノーラルレンダリング行列とを生成するために、それぞれの元のＢＲＩＲフィルタ３７のＨＲＴＦおよび早期反射セグメントだけにＳＨＣレンダリング行列を適用することを含み得る。これは、ＳＨＣ２７’との畳み込みの長さを削減し得る。
[0055]いくつかの例では、式（４）〜（５）に表されるように、球面調和領域における様々なラウドスピーカーを組入れる次元を有するＳＨＣ−バイノーラルレンダリング行列は、ＳＨＣレンダリングとＢＲＩＲレンダリング／ミキシングとを結合する（Ｎ＋１）2＊Ｌｅｎｇｔｈ＊２のフィルタ行列を生成するように合計され得る。すなわち、Ｌ個のラウドスピーカーの各々に関するＳＨＣ−バイノーラルレンダリング行列は、たとえば、係数をＬ次元にわたって合計することによって結合され得る。長さＬｅｎｇｔｈのＳＨＣ−バイノーラルレンダリング行列に関して、これは、信号をバイノーラル化するために球面調和係数の音声信号に適用され得る（Ｎ＋１）2＊Ｌｅｎｇｔｈ＊２の合計された、ＳＨＣ−バイノーラルレンダリング行列を作成する。Ｌｅｎｇｔｈは、本明細書で説明する技法に従ってセグメント化されたＢＲＩＲフィルタのセグメントの長さであり得る。
[0056]モデル節減のための技法はまた、変更されたレンダリングフィルタに適用され得、それは、ＳＨＣ２７’（たとえば、ＳＨＣコンテンツ）が新しいフィルタ行列（合計されたＳＨＣ−バイノーラルレンダリング行列）で直接フィルタリングされることを可能にする。次いで、バイノーラル音声レンダラ３４は、バイノーラル出力信号３５Ａ、３５Ｂを取得するためにフィルタリングされたアレイを合計することによってバイノーラル音声に変換し得る。
[0057]いくつかの例では、音声再生システム３２のＢＲＩＲフィルタ３７は、上記で説明した技法のうちの任意の１つまたは複数に従って以前に計算された球面調和領域における変換されたＢＲＩＲフィルタを表す。いくつかの例では、元のＢＲＩＲフィルタ３７の変換は、実行時に実施され得る。
[0058]いくつかの例では、ＢＲＩＲフィルタ３７は一般的に対称であるので、本技法は、左または右のいずれかの耳に関するＳＨＣ−バイノーラルレンダリング行列だけを使用することによって、バイノーラル出力３５Ａ、３５Ｂの計算のさらなる節減を促進することができる。フィルタ行列によってフィルタリングされたＳＨＣ２７’を合計するとき、バイノーラル音声レンダラ３４は、最終出力をレンダリングするとき、第２のチャンネルとしての出力信号３５Ａ、３５Ｂのいずれかに関して、条件付き決定を行うことができる。本明細書で説明するように、左または右のいずれかの耳に対して記述された、処理コンテンツまたは修正レンダリング行列に対する言及は、他方の耳に同様に適用可能であるものと理解されるべきである。
[0059]このようにして、本技法は、除外されたＢＲＩＲフィルタサンプルと複数のチャンネルとの直接の畳み込みを潜在的に回避するために、ＢＲＩＲフィルタ３７の長さを削減するための複数の手法を提供し得る。その結果、バイノーラル音声レンダラ３４は、ＳＨＣ２７’からのバイノーラル出力信号３５Ａ、３５Ｂの効率的なレンダリングを提供し得る。
[0060]図４は、例示的なバイノーラル室内インパルス応答（ＢＲＩＲ）を示すブロック図である。ＢＲＩＲ４０は、５つのセグメント４２Ａ〜４２Ｅを示す。初期セグメント４２Ａおよび末尾セグメント４２Ｅは共に、いずれも、重要でなく、レンダリング計算から除外されてよい静止サンプルを含む。頭部伝達関数（ＨＲＴＦ）セグメント４２Ｂは、頭部伝達によるインパルス応答を含み、本明細書で説明する技法を使用して識別され得る。早期エコー（代替として「早期反射」）セグメント４２Ｃおよび後期室内残響セグメント４２Ｄは、ＨＲＴＦと室内効果とを結合する、すなわち、早期エコーセグメント４２Ｃのインパルス応答は、室内の早期エコーおよび後期残響によってフィルタリングされたＢＲＩＲ４０に関するＨＲＴＦのインパルス応答に匹敵する。しかしながら、早期エコーセグメント４２Ｃは、後期室内残響セグメント４２Ｄと比較して、より離散的なエコーを含むことがある。ミキシング時間は、早期エコーセグメント４２Ｃと後期室内残響セグメント４２Ｄとの間の時間であり、早期エコーが密な残響になる時間を示す。ミキシング時間は、ＨＲＴＦの中に約１．５×１０4サンプルにおいて、またはＨＲＴＦセグメント４２Ｂの開始から約７．０×１０4サンプルにおいて発生するように図示されている。いくつかの例では、本技法は、統計データと室内容積からの推定とを使用してミキシング時間を計算することを含む。いくつかの例では、５０％の内部信頼ｔmp50を有する知覚のミキシング時間は約３６ミリ秒（ｍｓ）であり、９５％信頼区間ｔmp95を有する知覚のミキシング時間は約８０ｍｓである。いくつかの例では、ＢＲＩＲ４０に対応するフィルタの後期室内残響セグメント４２Ｄは、コヒーレンス整合された雑音末尾（coherence-matched noise tail）を使用して合成され得る。
[0061]図５は、室内で図４のＢＲＩＲ４０などのＢＲＩＲを作成するための例示的なシステムモデル５０を示すブロック図である。このモデルは、ここでは室内５２ＡおよびＨＲＴＦ５２Ｂの、カスケード接続されたシステムを含む。ＨＲＴＦ５２Ｂがインパルスに対して適用された後、インパルス応答は、室内５２Ａの早期エコーによってフィルタリングされたＨＲＴＦのインパルス応答に匹敵する。
[0062]図６は、室内で図４のＢＲＩＲ４０などのＢＲＩＲを作成するための、より詳細なシステムモデル６０を示すブロック図である。このモデル６０はまた、ここではＨＲＴＦ６２Ａ、早期エコー６２Ｂ、および残余室内６２Ｃ（これはＨＲＴＦと室内エコーとを結合する）の、カスケード接続されたシステムを含む。モデル６０は、室内５２Ａを早期エコー６２Ｂおよび残余室内６２Ｃに分解することを示し、各システム６２Ａ、６２Ｂ、６２Ｃを線形時不変として取り扱う。
[0063]早期エコー６２Ｂは、残余室内６２Ｃより離散的なエコーを含む。したがって、早期エコー６２Ｂは仮想スピーカーチャンネルごとに変化し得、一方、より長い末尾を有する残余室内６２Ｃは、単一のステレオコピーとして合成され得る。ＢＲＩＲを取得するために使用されるいくつかの測定用マネキンに関して、ＨＲＴＦデータが、無響室内で測定されるなど入手可能である。早期エコー（「反射」と呼ばれることがある）の位置を識別するために、早期エコー６２Ｂが、ＢＲＩＲおよびＨＲＴＦのデータを逆畳み込みを行うことによって決定され得る。いくつかの例では、ＨＲＴＦデータはすぐに入手可能ではなく、早期エコー６２Ｂを識別するための技法はブラインド推定を含む。しかしながら、単純な手法は、最初の数ミリ秒（たとえば、最初の５、１０、１５、または２０ｍｓ）を、ＨＲＴＦによってフィルタリングされた直接インパルスと見なすことを含み得る。上記のように、本技法は、統計データと室内容積からの推定とを使用してミキシング時間を計算することを含み得る。
[0064]いくつかの例では、本技法は、残余室内６２Ｃに関して１つまたは複数のＢＲＩＲフィルタを合成することを含み得る。ミキシング時間の後、ＢＲＩＲ残響の末尾（図６にシステムの残余室内６２Ｃとして表される）は、いくつかの例では、知覚の代償なしに交換され得る。さらに、ＢＲＩＲ残響の末尾は、エネルギーディケイレリーフ（ＥＤＲ：Energy Decay Relief）と周波数依存性両耳間コヒーレンス（ＦＤＩＣ：Frequency-Dependent Interaural Coherence）とに適合するガウスノイズで合成され得る。いくつかの例では、共通の合成ＢＲＩＲ残響の末尾が、複数のＢＲＩＲフィルタに関して生成され得る。いくつかの例では、共通のＥＤＲは、すべてのスピーカーのＥＤＲの平均であり得、または平均エネルギーに匹敵するエネルギーを有するフロントゼロ度ＥＤＲ（front zero degree EDR）であり得る。いくつかの例では、ＦＤＩＣは、すべてのスピーカーにわたる平均ＦＤＩＣであり得、または広い空間に関する最大限に相関のない測定に関する、すべてのスピーカーにわたった最小値であってよい。いくつかの例では、残響の末尾はまた、フィードバック遅延ネットワーク（ＦＤＮ：Feedback Delay Network）による人工的残響を用いてシミュレーションされ得る。
[0065]共通の残響の末尾によって、対応するＢＲＩＲフィルタの後ろの部分は、各スピーカーフィードとの個別の畳み込みから除外され得るが、代わりに、一度、すべてのスピーカーフィードのミックスに適用され得る。上記のように、および以下でさらに詳細に説明するように、すべてのスピーカーフィードのミキシングは、球面調和係数信号レンダリングを用いてさらに簡素化され得る。
[0066]図７は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。単一のデバイス、すなわち図７の例における音声再生デバイス１００として示されているが、技法は、１つまたは複数のデバイスによって実施され得る。したがって、本技法はこの点において限定されるべきではない。
[0067]図７の例に示すように、音声再生デバイス１００は、抽出ユニット１０４とバイノーラルレンダリングユニット１０２とを含み得る。抽出ユニット１０４は、ビットストリーム１２０から符号化音声データを抽出するように構成されたユニットを表し得る。抽出ユニット１０４は、球面調和係数（ＳＨＣ）１２２（これは、ＳＨＣ１２２が、１より大きい次数と関連付けられた少なくとも１つの係数を含み得るという点において高次アンビソニックス（ＨＯＡ：higher order ambisonics）と呼ばれることもある）の形態の抽出された符号化音声データをバイノーラルレンダリングユニット１４６に転送し得る。
[0068]いくつかの例では、音声再生デバイス１００は、ＳＨＣ１２２を生成するために符号化音声データを復号するように構成された音声復号ユニットを含む。音声復号ユニットは、いくつかの態様においてＳＨＣ１２２を符号化するために使用される音声符号化プロセスと相反する音声復号プロセスを実施し得る。音声復号ユニットは、符号化音声データのＳＨＣを時間領域から周波数領域に変換するように構成された時間周波数解析ユニットを含み得、それによってＳＨＣ１２２を生成する。すなわち、符号化音声データが、時間領域から周波数領域に変換されていない、ＳＨＣ１２２の圧縮形態を表すとき、音声復号ユニットは、ＳＨＣ１２２（周波数領域で指定される）を生成するように、ＳＨＣを時間領域から周波数領域に変換するために時間周波数解析ユニットを起動し得る。時間周波数解析ユニットは、ＳＨＣを時間領域から周波数領域におけるＳＨＣ１２２に変換するために、数例を提示すると、高速フーリエ変換（ＦＦＴ）と、離散コサイン変換（ＤＣＴ）と、修正離散コサイン変換（ＭＤＣＴ）と、離散サイン変換（ＤＳＴ）とを含む、フーリエベースの変換の任意の形式を適用し得る。いくつかの例では、ＳＨＣ１２２は、すでに、ビットストリーム１２０において周波数領域内で指定され得る。これらの例では、時間周波数解析ユニットは、変換を適用することなく、またはさもなければ受信されたＳＨＣ１２２を変換することなく、ＳＨＣ１２２をバイノーラルレンダリングユニット１０２に送ることができる。周波数領域で指定されたＳＨＣ１２２に関して説明したが、本技法は、時間領域で指定されたＳＨＣ１２２に関して実施され得る。
[0069]バイノーラルレンダリングユニット１０２は、ＳＨＣ１２２をバイノーラル化するように構成されたユニットを表す。言い換えれば、バイノーラルレンダリングユニット１０２は、ＳＨＣ１２２を左および右のチャンネルにレンダリングするように構成されたユニットを表し、そのユニットは、ＳＨＣ１２２が記録された室内において、左および右のチャンネルがリスナーによってどのように聞こえうるかのモデル化する空間化の機能を備え得る。バイノーラルレンダリングユニット１０２は、ヘッドフォンなどのヘッドセットを介する再生に好適な左チャンネル１３６Ａと右チャンネル１３６Ｂ（これらは「チャンネル１３６」と総称されることがある）とを生成するためにＳＨＣ１２２をレンダリングし得る。図７の例に示すように、バイノーラルレンダリングユニット１０２は、ＢＲＩＲフィルタ１０８と、ＢＲＩＲ調整ユニット１０６と、残余室内応答ユニット１１０と、ＢＲＩＲ ＳＨＣ−領域変換ユニット１１２と、畳み込みユニット１１４と、結合ユニット１１６とを含む。
[0070]ＢＲＩＲフィルタ１０８は、１つまたは複数のＢＲＩＲフィルタを含み、図３のＢＲＩＲフィルタ３７の一例を表し得る。ＢＲＩＲフィルタ１０８は、左および右のＨＲＴＦがそれぞれのＢＲＩＲに与える影響を表す、個別のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを含み得る。
[0071]ＢＲＩＲ調整ユニット１０６は、仮想のラウドスピーカーＬの各々ごとの、それぞれ長さＮを有するＢＲＩＲフィルタ１２６Ａ、１２６Ｂの、Ｌ個のインスタンスを受信する。ＢＲＩＲフィルタ１２６Ａ、１２６Ｂは、すでに、静止サンプルを除去するために調整されていることがある。ＢＲＩＲ調整ユニット１０６は、それぞれのＨＲＴＦと、早期反射と、残余室内セグメントとを識別するためにＢＲＩＲフィルタ１２６Ａ、１２６Ｂをセグメント化するために、上記の技法を適用し得る。ＢＲＩＲ調整ユニット１０６は、ＢＲＩＲ ＳＨＣ−領域変換ユニット１１２にＨＲＴＦと早期反射セグメントとを、サイズ［ａ，Ｌ］の左および右の行列を表す行列１２９Ａ、１２９Ｂとして与え、ここで、ａはＨＲＴＦと早期反射セグメントとの連結の長さであり、Ｌは（仮想または実在の）ラウドスピーカーの数である。ＢＲＩＲ調整ユニット１０６は、残余室内応答ユニット１１０にＢＲＩＲフィルタ１２６Ａ、１２６Ｂの残余室内セグメントを、サイズ［ｂ，Ｌ］の左および右の残余室内行列１２８Ａ、１２８Ｂとして与え、ここで、ｂは残余室内セグメントの長さであり、Ｌは（仮想または実在の）ラウドスピーカーの数である。
[0072]残余室内応答ユニット１１０は、ＳＨＣ１２２によって図７に表すように、音場を記述する階層要素（たとえば、球面調和係数）の少なくとも幾分かの部分との畳み込みのために、左および右の共通の残余室内応答セグメントを計算またはさもなければ決定するために、上記の技法を適用し得る。すなわち、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８Ｂを受信し、左および右の共通の残余室内応答セグメントを生成するために左および右それぞれの残余室内行列１２８Ａ、１２８ＢをＬ個にわたって結合することができる。いくつかの例では、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８ＢをＬ個にわたって平均化することによって結合を実施し得る。
[0073]次いで、残余室内応答ユニット１１０は、左および右の共通の残余室内応答セグメントと、チャンネル１２４Ｂとして図７に示すＳＨＣ１２２の少なくとも１つのチャンネルとの高速畳み込みを計算し得る。いくつかの例では、左および右の共通の残余室内応答セグメントは周囲を取り巻く無指向性の音を表すので、チャンネル１２４Ｂは、ＳＨＣ１２２のＷチャンネル（すなわち、０次）であり、それは、音場の無指向性部分を符号化する。そのような例では、長さＬｅｎｇｔｈのＷチャンネルサンプルに関して、残余室内応答ユニット１１０による左および右の共通の残余室内応答セグメントとの高速畳み込みは、長さＬｅｎｇｔｈの左および右の出力信号１３４Ａ、１３４Ｂを生成する。
[0074]本明細書で使用する「高速畳み込み」および「畳み込み」という用語は、時間領域における畳み込み演算、ならびに周波数領域における点毎の（point-wise）乗算演算を指すことがある。言い換えれば、信号処理の当業者によく知られているように、時間領域における畳み込みは、周波数領域における点毎の乗算と等価であり、ここで時間領域および周波数領域は、互いの変換である。出力変換は、入力変換と伝達関数との点毎の積である。したがって、畳み込みおよび点毎の乗算（または単に「乗算」）は、それぞれの領域（ここでは時間および周波数）に関して行われる概念的に同様の演算を指すことができる。畳み込みユニット１１４、２１４、２３０；残余室内応答ユニット２１０、３５４；フィルタ３８４および残響３８６は、代替として、周波数領域における乗算を適用し得、ここでこれらの成分への入力は、時間領域ではなく周波数領域において与えられる。「高速畳み込み」または「畳み込み」として本明細書で説明する他の演算は、同様に、周波数領域における乗算と呼ばれることもあり、ここで、これらの演算への入力は、時間領域ではなく周波数領域で与えられる。
[0075]いくつかの例では、残余室内応答ユニット１１０は、共通の残余室内応答セグメントの開始時間に関する値をＢＲＩＲ調整ユニット１０６から受信し得る。残余室内応答ユニット１１０は、ＢＲＩＲフィルタ１０８に関するより早いセグメントとの結合を見越して、出力信号１３４Ａ、１３４Ｂをゼロパディングするかまたはさもなければ遅延させ得る。
[0076]ＢＲＩＲ ＳＨＣ−領域変換ユニット１１２（以後、「領域変換ユニット１１２」）は、左および右のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを球面調和領域に潜在的に変換し、次いでそのフィルタをＬ個にわたって潜在的に合計するために、ＳＨＣレンダリング行列をＢＲＩＲ行列に適用する。領域変換ユニット１１２は、変換結果を、それぞれ、左および右のＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂとして出力する。行列１２９Ａ、１２９Ｂが［ａ，Ｌ］のサイズである場合、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂの各々は、フィルタをＬ個にわたって合計した後、［（Ｎ＋１）2，ａ］のサイズになる（たとえば、式（４）〜（５）参照）。いくつかの例では、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂは、実行時または準備時間において計算されるのではなく、音声再生デバイス１００の中で構成される。いくつかの例では、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂの複数のインスタンスは、音声再生デバイス１００の中で構成され、音声再生デバイス１００は、ＳＨＣ１２４Ａに適用するために、左および右一対の複数のインスタンスを選択する。
[0077]畳み込みユニット１１４は、左および右のバイノーラルレンダリング行列１３０Ａ、１３０ＢとＳＨＣ１２４Ａとを畳み込み、ＳＨＣ１２４Ａは、いくつかの例では、ＳＨＣ１２２の次数から次数を削減することができる。周波数（たとえば、ＳＨＣ）領域におけるＳＨＣ１２４Ａに関して、畳み込みユニット１１４は、ＳＨＣ１２４Ａと左および右のバイノーラルレンダリング行列１３０Ａ、１３０Ｂとのそれぞれの点毎の乗算を計算し得る。長さＬｅｎｇｔｈのＳＨＣ信号に関して、畳み込みは、［Ｌｅｎｇｔｈ，（Ｎ＋１）2］のサイズの左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂをもたらし、一般的に、球面調和領域の次数／副次数の結合の各々に関して各出力信号行列に関する行が存在する。
[0078]結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを作成するために、左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂと出力信号１３４Ａ、１３４Ｂとを結合することができる。次いで、結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを生成するために左および右のバイノーラル出力信号と左および右の出力信号１３４Ａ、１３４Ｂとを結合する前に、ＨＲＴＦに関する左および右のバイノーラル出力信号と早期エコー（反射）セグメントとを生成するために、左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂの各々をＬ個にわたって別々に合計することができる。
[0079]図８は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。音声再生デバイス２００は、音声再生デバイスの例示的な例を表し得、図７の１００はさらなる詳細である。
[0080]音声再生デバイス２００は、ＳＨＣ２４２の次数を削減するために、ビットストリーム２４０から入ってくるＳＨＣ２４２を処理する随意のＳＨＣ次数削減ユニット２０４を含み得る。随意のＳＨＣ次数削減は、ＳＨＣ２４２（たとえば、Ｗチャンネル）の最高次数（たとえば、０次）のチャンネル２６２を残余室内応答ユニット２１０に与え、削減された次数のＳＨＣ２４２を畳み込みユニット２３０に与える。ＳＨＣ次数削減ユニット２０４がＳＨＣ２４２の次数を削減しない例では、畳み込みユニット２３０は、ＳＨＣ２４２と同等のＳＨＣ２７２を受信する。いずれにせよ、ＳＨＣ２７２は、［Ｌｅｎｇｔｈ，（Ｎ＋１）2］の次元を有し、ここでＮはＳＨＣ２７２の次数である。
[0081]ＢＲＩＲ調整ユニット２０６およびＢＲＩＲフィルタ２０８は、図７のＢＲＩＲ調整ユニット１０６およびＢＲＩＲフィルタ１０８の例示的な例を表し得る。残余応答ユニット２１４の畳み込みユニット２１４は、上記で説明した技法を使用してＢＲＩＲ調整ユニット２０６によって調整された共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂを受信し、畳み込みユニット２１４は、左および右の残余室内信号２６２Ａ、２６２Ｂを生成するために共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂと最高次数のチャンネル２６２とを畳み込む。遅延ユニット２１６は、左および右の残余室内出力信号２６８Ａ、２６８Ｂを生成するために、共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂに対するサンプルの開始の数で左および右の残余室内信号２６２Ａ、２６２Ｂをゼロパディングすることができる。
[0082]ＢＲＩＲ ＳＨＣ−領域変換ユニット２２０（以後、領域変換ユニット２２０）は、図７の領域変換ユニット１１２の例示的な例を表し得る。図示の例では、変換ユニット２２２は、［ａ，Ｌ］のサイズの左および右の行列を表す行列２４８Ａ、２４８Ｂに（Ｎ＋１）2次元のＳＨＣレンダリング行列２２４を適用し、ここでａはＨＲＴＦと早期反射セグメントとの連結の長さであり、Ｌはラウドスピーカー（たとえば、仮想のラウドスピーカー）の数である。変換ユニット２２２は、次元［（Ｎ＋１）2，ａ，Ｌ］を有するＳＨＣ−領域における左および右の行列２５２Ａ、２５２Ｂを出力する。合計ユニット２２６は、次元［（Ｎ＋１）2，ａ］を有する左および右の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂを作成するために、左および右の行列２５２Ａ、２５２Ｂの各々をＬ個にわたって合計し得る。削減ユニット２２８は、最小位相低減など、ＳＨＣ２７２にＳＨＣ−レンダリング行列を適用すること、および最小位相低減を適用されている中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂのそれぞれの最小位相部分の周波数応答を近似するようにＩＩＲフィルタを設計するために平衡型モデル打切り法（Balanced Model Truncation method）を使用すること、についての計算の複雑さをさらに削減するために、上記で説明した技法を適用し得る。削減ユニット２２８は、左および右のＳＨＣ−レンダリング行列２５６Ａ、２５６Ｂを出力する。
[0083]畳み込みユニット２３０は、中間信号２５８Ａ、２５８Ｂを生成するためにＳＨＣ２７２の形態のＳＨＣコンテンツをフィルタリングし、合計ユニット２３２は、左および右の信号２６０Ａ、２６０Ｂを作成するために中間信号２５８Ａ、２５８Ｂを合計する。結合ユニット２３４は、左および右のバイノーラル出力信号２７０Ａ、２７０Ｂを生成するために左および右の残余室内出力信号２６８Ａ、２６８Ｂと左および右の信号２６０Ａ、２６０Ｂとを結合する。
[0084]いくつかの例では、バイノーラルレンダリングユニット２０２は、変換ユニット２２２によって生成されたＳＨＣ−バイノーラルレンダリング行列２５２Ａ、２５２Ｂのうちの１つだけを使用することによって計算のさらなる削減を実施し得る。その結果、畳み込みユニット２３０は、左または右の信号の一方だけについて演算し、畳み込み演算を半分に削減することができる。そのような例では、合計ユニット２３２は、出力２６０Ａ、２６０Ｂをレンダリングするときに、第２のチャンネルに関する条件付き決定を行う。
[0085]図９は、本開示で説明する技法による球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する例示的な演算のモードを示すフローチャートである。例示のために、例示的な演算のモードについて、図７の音声再生デバイス２００に関して説明する。バイノーラル室内インパルス応答（ＢＲＩＲ）調整ユニット２０６は、ＢＲＩＲフィルタ２４６Ａ、２４６Ｂから方向依存性成分／セグメント、特に頭部伝達関数および早期エコーセグメントを抽出することによって、左および右それぞれのＢＲＩＲフィルタ２４６Ａ、２４６Ｂを調整する（３００）。左および右のＢＲＩＲフィルタ１２６Ａ、１２６Ｂの各々は、１つまたは複数の対応するラウドスピーカーに関するＢＲＩＲフィルタを含み得る。ＢＲＩＲ調整ユニット１０６は、抽出された頭部伝達関数と早期エコーセグメントとの連結を、左および右の行列２４８Ａ、２４８ＢとしてＢＲＩＲ ＳＨＣ−領域変換ユニット２２０に与える。
[0086]ＢＲＩＲ ＳＨＣ−領域変換ユニット２２０は、球面調和（たとえば、ＨＯＡ）領域内の左および右のフィルタ行列２５２Ａ、２５２Ｂを生成するために、抽出された頭部伝達関数と早期エコーセグメントとを含む左および右のフィルタ行列２４８Ａ、２４８Ｂを変換するためにＨＯＡレンダリング行列２２４を適用する（３０２）。いくつかの例では、音声再生デバイス２００は、左および右のフィルタ行列２５２Ａ、２５２Ｂを用いて構成され得る。いくつかの例では、音声再生デバイス２００は、ビットストリーム２４０の帯域外または帯域内の信号においてＢＲＩＲフィルタ２０８を受信し、その場合、音声再生デバイス２００は、左および右のフィルタ行列２５２Ａ、２５２Ｂを生成する。合計ユニット２２６は、左および右の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂを含むＳＨＣ領域内のバイノーラルレンダリング行列を生成するために、それぞれの左および右のフィルタ行列２５２Ａ、２５２Ｂをラウドスピーカーの次元にわたって合計する（３０４）。削減ユニット２２８は、左および右のＳＨＣ−レンダリング行列２５６Ａ、２５６Ｂを生成するために、中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂをさらに削減し得る。
[0087]バイノーラルレンダリングユニット２０２の畳み込みユニット２３０は、左および右のフィルタリングされたＳＨＣ（たとえば、ＨＯＡ）チャンネル２５８Ａ、２５８Ｂを作成するために、左および右の中間ＳＨＣ−レンダリング行列２５６Ａ、２５６ＢをＳＨＣコンテンツ（球面調和係数２７２など）に適用する（３０６）。
[0088]合計ユニット２３２は、方向依存性セグメントに関する左および右の信号２６０Ａ、２６０Ｂを作成するために、左および右のフィルタリングされたＳＨＣチャンネル２５８Ａ、２５８Ｂの各々をＳＨＣ次元（Ｎ＋１）2にわたって合計する（３０８）。次いで、結合ユニット１１６は、左および右のバイノーラル出力信号２７０Ａ、２７０Ｂを含むバイノーラル出力信号を生成するために、左および右の信号２６０Ａ、２６０Ｂと左および右の残余室内出力信号２６８Ａ、２６８Ｂとを結合し得る。
[0089]図１０Ａは、本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る例示的な演算のモード３１０を示す図である。演算のモード３１０は、図８の音声再生デバイス２００に関して、後で本明細書で説明される。音声再生デバイス２００のバイノーラルレンダリングユニット２０２は、ＢＲＩＲデータ３１２、これはＢＲＩＲフィルタ２０８の例示的な例であり得ると、ＨＯＡレンダリング行列３１４、これはＨＯＡレンダリング行列２２４の例示的な例であり得る、とを用いて構成され得る。音声再生デバイス２００は、帯域内または帯域外のシグナリングチャンネル内のＢＲＩＲデータ３１２とＨＯＡレンダリング行列３１４とをビットストリーム２４０と相対して受信し得る。この例におけるＢＲＩＲデータ３１２は、たとえば、Ｌ個の実在または仮想のラウドスピーカーを表すＬ個のフィルタを有し、Ｌ個のフィルタの各々は長さＫである。Ｌ個のフィルタの各々は、左および右の成分を含み得る（「ｘ２」）。いくつかの場合には、Ｌ個のフィルタの各々は、左または右に関する単一の成分を含むことがあり、その成分は、右または左のその相手の成分と対称である。これは、高速畳み込みのコストを削減し得る。
[0090]音声再生デバイス２００のＢＲＩＲ調整ユニット２０６は、セグメント化演算と結合演算とを適用することによってＢＲＩＲデータ３１２を調整し得る。具体的には、例示的な演算のモード３１０において、ＢＲＩＲ調整ユニット２０６は、本明細書で説明する技法によるＬ個のフィルタの各々を、行列３１５（次元［ａ，２，Ｌ］）を作成するための結合の長さａのＨＲＴＦプラス早期エコーセグメントと、残余行列３３９（次元［ｂ，２，Ｌ］）を作成するための残余室内応答セグメントとにセグメント化する（３２４）。ＢＲＩＲデータ３１２のＬ個のフィルタの長さＫは、ほぼ、ａとｂとの合計である。変換ユニット２２２は、次元［（Ｎ＋１）2，ａ，２，Ｌ］の行列３１７（これは左および右の行列２５２Ａ、２５２Ｂの結合の例示的な例であり得る）を作成するために、（Ｎ＋１）2次元のＨＯＡ／ＳＨＣレンダリング行列３１４を行列３１５のＬ個のフィルタに適用し得る。合計ユニット２２６は、次元［（Ｎ＋１）2，ａ，２］を有する中間ＳＨＣ−レンダリング行列３３５を作成するために、左および右の行列２５２Ａ、２５２Ｂの各々をＬ個にわたって合計し得る（値２を有する第３の次元は左および右の成分を表し、中間ＳＨＣ−レンダリング行列３３５は、左および右の両方の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂの例示的な例として表すことができる）（３２６）。いくつかの例では、音声再生デバイス２００は、ＨＯＡコンテンツ３１６（またはそれの削減されたバージョン、たとえばＨＯＡコンテンツ３２１）に適用するための中間ＳＨＣ−レンダリング行列３３５を用いて構成され得る。いくつかの例では、削減ユニット２２８は、行列３１７の左または右の成分の一方だけを使用することによって、さらなる削減を計算に適用し得る（３２８）。
[0091]音声再生デバイス２００は、次数ＮIおよび長さＬｅｎｇｔｈのＨＯＡコンテンツ３１６を受信し、いくつかの態様では、その中の球面調和係数（ＳＨＣ）の次数をＮに削減するために次数削減演算を適用する（３３０）。ＮIは、入力（（Ｉ）ｎｐｕｔ）ＨＯＡコンテンツ３２１の次数を示す。次数削減演算（３３０）のＨＯＡコンテンツ３２１は、ＨＯＡコンテンツ３１６と同様に、ＳＨＣ領域内にある。随意の次数削減演算はまた、最高次数（たとえば、０次）の信号３１９を生成し、高速畳み込み演算のために残余応答ユニット２１０に与える（３３８）。ＨＯＡ次数削減ユニット２０４がＨＯＡコンテンツ３１６の次数を削減しない例では、高速畳み込み適用演算（apply fast convolution operation）（３３２）は、削減された次数を持たない入力に対して演算する。いずれにしても、高速畳み込み演算（３３２）に入力されるＨＯＡコンテンツ３２１は、次元［Ｌｅｎｇｔｈ，（Ｎ＋１）2］を有し、ここでＮは次数である。
[0092]音声再生デバイス２００は、左および右の成分、したがって次元［Ｌｅｎｇｔｈ，（Ｎ＋１）2，２］を有するＨＯＡ信号３２３を作成するために、ＨＯＡコンテンツ３２１と行列３３５との高速畳み込みを適用し得る（３３２）。ここでも、高速畳み込みは、周波数領域におけるＨＯＡコンテンツ３２１と行列３３５との点毎の乗算、または時間領域における畳み込みを指すことができる。音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する合計された信号３２５を作成するために、ＨＯＡ信号３２３を（Ｎ＋１）2にわたってさらに合計することができる（３３４）。
[0093]次に、残余行列３３９に戻ると、音声再生デバイス２００は、次元「ｂ，２」を有する共通の残余室内応答行列３２７を生成するために、本明細書で説明する技法に従ってＬ個の残余室内応答セグメントを結合することができる（３３６）。音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する室内応答信号３２９を作成するために、０次のＨＯＡ信号３１９と共通の残余室内応答行列３２７との高速畳み込みを適用し得る（３３８）。残余行列３３９のＬ個の残余応答室内応答セグメントを生成するために、音声再生デバイス２００は、ＢＲＩＲデータ３１２のＬ個のフィルタのうちの（ａ＋１）番目のサンプルにおいて開始する残余応答室内応答セグメントを取得したので、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する室内応答信号３１１を生成するためにａ個のサンプルを遅延（たとえば、パディング）することによって初期のａ個のサンプルを構成する（ａｃｃｏｕｎｔ ｆｏｒ）（３４０）。
[0094]音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する出力信号３１８を作成するために、合計された信号３２５と室内応答信号３１１とを、要素を加算することによって結合する（３４２）。このようにして、音声再生デバイスは、Ｌ個の残余室内応答セグメントの各々に関して高速畳み込みを適用することを回避し得る。バイノーラル音声出力信号に変換するために入力される２２チャンネルに関して、これは、残余室内応答を生成するための高速畳み込みの数を、２２から２に削減し得る。
[0095]図１０Ｂは、本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る例示的な演算のモード３５０を示す図である。演算のモード３５０は、図８の音声再生デバイス２００に関して、後で本明細書で説明され、演算のモード３１０と同様である。しかしながら、演算のモード３５０は、最初に、ＨＯＡコンテンツを、Ｌ個の実在または仮想のラウドスピーカーに関して時間領域内のマルチチャンネルスピーカー信号にレンダリングすることと、次いで、本明細書で説明する技法に従ってスピーカーフィードの各々に効率的なＢＲＩＲフィルタリングを適用することと、を含む。そのために、音声再生デバイス２００は、ＨＯＡコンテンツ３２１を、次元［Ｌｅｎｇｔｈ，Ｌ］を有するマルチチャンネル音声信号３３３に変換する（３４４）。加えて、音声再生デバイスは、ＢＲＩＲデータ３１２をＳＨＣ領域に変換しない。したがって、音声再生デバイス２００による削減を信号３１４に適用することは、次元［ａ，２，Ｌ］を有する行列３３７を生成する（３２８）。
[0096]次いで、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，Ｌ，２］（左および右の成分を有する）を有するマルチチャンネル音声信号３４１を作成するために、マルチチャンネル音声信号３３３と行列３３７との高速畳み込み３３２を適用する（３４８）。次いで、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する信号３２５を作成するために、Ｌ個のチャンネル／スピーカーによるマルチチャンネル音声信号３４１を合計し得る（３４６）。
[0097]図１１は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイス３５０の一例を示すブロック図である。単一のデバイス、すなわち図１１の例における音声再生デバイス３５０として示されているが、本技法は、１つまたは複数のデバイスによって実施されてよい。したがって、本技法はこの点において限定されるべきではない。
[0098]その上、概して、図１〜図１０Ｂの例に関して球面調和領域において適用されるとして上記で説明されているが、本技法はまた、５．１サラウンドサウンドフォーマット、７．１サラウンドサウンドフォーマット、および／または２２．２サラウンドサウンドフォーマットなど、上記のサラウンドサウンドフォーマットに適合するチャンネルベースの信号を含む、任意の形態の音声信号に関して実施され得る。したがって、本技法はまた、球面調和領域内で指定された音声信号に限定されるべきではなく、任意の形態の音声信号に対して適用され得る。
[0099]図１１の例に示すように、音声再生デバイス３５０は、図７の例に示す音声再生デバイス１００に類似し得る。しかしながら、音声再生デバイス３５０は、一例として２２．２サラウンドサウンドフォーマットに適合する一般的なチャンネルベースの音声信号に関する技法を演算またはさもなければ実施することができる。抽出ユニット１０４は、音声チャンネル３５２を抽出し得、ここで音声チャンネル３５２は、一般に「ｎ」チャンネルを含み得、この例では、２２．２サラウンドサウンドフォーマットに適合する２２チャンネルを含むものと仮定される。これらのチャンネル３５２は、バイノーラルレンダリングユニット３５１の残余室内応答ユニット３５４とチャンネルごとの打切りフィルタユニット３５６の両方に与えられる。
[0100]上記で説明したように、ＢＲＩＲフィルタ１０８は、１つまたは複数のＢＲＩＲフィルタを含み、図３のＢＲＩＲフィルタ３７の一例を表し得る。ＢＲＩＲフィルタ１０８は、左および右のＨＲＴＦがそれぞれのＢＲＩＲに与える影響を表す、個別のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを含み得る。
[0101]ＢＲＩＲ調整ユニット１０６は、ＢＲＩＲフィルタ１２６Ａ、１２６Ｂのｎ個のインスタンスを受信し、各チャンネルｎそれぞれに関して、各ＢＲＩＲフィルタは長さＮを有する。ＢＲＩＲフィルタ１２６Ａ、１２６Ｂは、すでに、静止サンプルを除去するために調整されていることがある。ＢＲＩＲ調整ユニット１０６は、それぞれのＨＲＴＦと、早期反射と、残余室内セグメントとを識別するためにＢＲＩＲフィルタ１２６Ａ、１２６Ｂをセグメント化するために、上記で説明した技法を適用し得る。ＢＲＩＲ調整ユニット１０６は、チャンネルごとの打切りフィルタユニット３５６にＨＲＴＦと早期反射セグメントとを、サイズ［ａ，Ｌ］の左および右の行列を表す行列１２９Ａ、１２９Ｂとして与え、ここで、ａはＨＲＴＦと早期反射セグメントとの連結の長さであり、ｎは（仮想または実在の）ラウドスピーカーの数である。ＢＲＩＲ調整ユニット１０６は、残余室内応答ユニット３５４にＢＲＩＲフィルタ１２６Ａ、１２６Ｂの残余室内セグメントを、サイズ［ｂ，Ｌ］の左および右の残余室内行列１２８Ａ、１２８Ｂとして与え、ここで、ｂは残余室内セグメントの長さであり、ｎは（仮想または実在の）ラウドスピーカーの数である。
[0102]残余室内応答ユニット３５４は、音声チャンネル３５２との畳み込みのための左および右の共通の残余室内応答セグメントを計算またはさもなければ決定するために、上記で説明する技法を適用し得る。すなわち、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８Ｂを受信し、左および右の共通の残余室内応答セグメントを生成するために左および右それぞれの残余室内行列１２８Ａ、１２８Ｂをｎ個にわたって結合することができる。いくつかの例では、残余室内応答ユニット３５４は、左および右の残余室内行列１２８Ａ、１２８Ｂをｎ個にわたって平均化することによって結合を実施し得る。
[0103]次いで、残余室内応答ユニット３５４は、左および右の共通の残余室内応答セグメントと、音声チャンネル３５２のうちの少なくとも１つのチャンネルとの高速畳み込みを計算し得る。いくつかの例では、残余室内応答ユニット３５２は、共通の残余室内応答セグメントの開始時間に関する値をＢＲＩＲ調整ユニット１０６から受信し得る。残余室内応答ユニット３５４は、ＢＲＩＲフィルタ１０８に関する、より早いセグメントとの結合を見越して、出力信号１３４Ａ、１３４Ｂをゼロパディングするかまたはさもなければ遅延させ得る。出力信号１３４Ａは左音声信号を表す一方で、出力信号１３４Ｂは右音声信号を表すことができる。
[0104]チャンネルごとの打切りフィルタユニット３５６（以後、「打切りフィルタユニット３５６」）は、ＨＲＴＦとＢＲＩＲフィルタの早期反射セグメントとをチャンネル３５２に適用し得る。より具体的には、チャンネルごとの打切りフィルタユニット３５６は、ＨＲＴＦとＢＲＩＲフィルタの早期反射セグメントとを表す行列１２９Ａ、１２９Ｂをチャンネル３５２のそれぞれのチャンネルに適用し得る。いくつかの例では、行列１２９Ａ、１２９Ｂは、単一の行列１２９を形成するように結合され得る。その上、一般的に、ＨＲＴＦならびに早期反射行列１２９Ａおよび１２９Ｂの各々のうちの左の１つと、ＨＲＴＦならびに早期反射行列１２９Ａおよび１２９Ｂの各々のうちの右の１つとが存在する。すなわち、一般的に、左耳および右耳に関するＨＲＴＦと早期反射行列とが存在する。チャンネルごとの方向ユニット３５６は、左および右のフィルタリングされたチャンネル３５８Ａおよび３５８Ｂを出力するために、左および右の行列１２９Ａ、１２９Ｂの各々を適用し得る。結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを作成するために、左のフィルタリングされたチャンネル３５８Ａと出力信号１３４Ａとを結合する（または、言い換えればミックスする）一方で、右のフィルタリングされたチャンネル３５８Ｂと出力信号１３４Ｂとを結合する（または、言い換えればミックスする）ことができる。バイノーラル出力信号１３６Ａは左の音声チャンネルに対応し、バイノーラル出力信号１３６Ｂは右の音声チャンネルに対応することができる。
[0105]いくつかの例では、バイノーラルレンダリングユニット３５１は、残余室内応答ユニット３５４が、チャンネルごとの打切りフィルタユニット３５６の演算と同時に演算するように、残余室内応答ユニット３５４とチャンネルごとの打切りフィルタユニット３５６とを互いに同時に起動し得る。すなわち、いくつかの例では、残余室内応答ユニット３５４は、バイノーラル出力信号１３６Ａ、１３６Ｂが生成され得る速度を改善するために、チャンネルごとの打切りフィルタユニット３５６と並列に（しかし、同時でないことが多い）演算することが多い。潜在的にカスケード接続方式で演算するように様々な上記の図において示しているが、本技法は、別段に具体的に規定されていない限り、本開示で説明する説明するユニットまたはモジュールのいずれもの同時演算または並列演算を提供し得る。
[0106]図１２は、本開示で説明する技法の様々な態様による、図１１の音声再生デバイス３５０によって実施され得るプロセス３８０を示す図である。プロセス３８０は、各ＢＲＩＲを２つの部分：（ａ）左フィルタ３８４ＡL〜３８４ＮLおよび右フィルタ３８４ＡR〜３８４ＮR（総称して「フィルタ３８４」）によって表されるＨＲＴＦおよび早期反射の効果を組み込む、より小さい構成要素、および（ｂ）元のＢＲＩＲのすべての末尾の特性から生成され、左残響フィルタ３８６Ｌおよび右残響フィルタ３８６Ｒ（総称して「共通のフィルタ３８６」）によって表される共通の「残響の末尾」に分解することを達成する。プロセス３８０に示すチャンネルごとのフィルタ３８４は、上記の部分（ａ）を表す一方で、プロセス３８０に示す共通のフィルタ３８６は、上記の部分（ｂ）を表すことができる。
[0107]プロセス３８０は、不可聴成分を除去し、ＨＲＴＦ／早期反射を備える成分と後期反射／拡散による成分とを決定するためにＢＲＩＲを解析することによってこの分解を実施する。これは、部分（ａ）に関する、一例として２７０４タップ（tap）の長さのＦＩＲフィルタと、部分（ｂ）に関する、別の例として１５２３２タップの長さのＦＩＲフィルタとをもたらす。プロセス３８０によれば、音声再生デバイス３５０は、より短いＦＩＲフィルタだけを、個別のｎチャンネルの各々に適用し得、ｎは、演算３９６において例示のために２２であると仮定されている。この演算の複雑性は、以下で再生される式（８）における第１の部分の計算（４０９６点のＦＦＴを使用する）において表され得る。プロセス３８０では、音声再生デバイス３５０は、共通の「残響の末尾」を、２２チャンネルの各々にではなく、演算３９８においてそれらすべての加法的なミックスに適用し得る。この複雑性は、式（８）における複雑性の計算の第２の半分において表され、繰り返すが、これは、添付したアペンディクス（Appendix）において示される。
[0108]この点において、プロセス３８０は、複数のＮチャンネルからの音声コンテンツをミックスすることに基づいて、合成音声信号を生成するバイノーラル音声レンダリングの方法を表し得る。加えて、プロセス３８０は、さらに、合成音声信号を、遅延によってＮチャンネルフィルタの出力と整列させ得、各チャンネルフィルタは、打切りＢＲＩＲフィルタを含む。その上、プロセス３８０では、音声再生デバイス３５０は、次いで、演算３９８において共通の合成残余室内インパルス応答を用いて整列合成音声信号をフィルタリングし、バイノーラル音声出力の左成分３８８Ｌおよび右成分３８８Ｒのために、演算３９０Ｌおよび３９０Ｒにおいて、各チャンネルフィルタの出力とフィルタリングされた整列合成音声信号とをミックスすることができる。
[0109]いくつかの例では、打切りＢＲＩＲフィルタおよび共通の合成残余インパルス応答は、メモリにプリロードされる。
[0110]いくつかの例では、整列合成音声信号のフィルタリングは、時間周波数領域内で実施される。
[0111]いくつかの例では、整列合成音声信号のフィルタリングは、畳み込みを介して時間領域内で実施される。
[0112]いくつかの例では、打切りＢＲＩＲフィルタおよび共通の合成残余インパルス応答は、分解分析法に基づく。
[0113]いくつかの例では、分解分析法は、Ｎ個の室内インパルス応答の各々に対して実施され、Ｎ個の打切り室内インパルス応答とＮ個の残余インパルス応答とをもたらす（ここでＮは、ｎまたはｎ超として示されることがある）。
[0114]いくつかの例では、打切りインパルス応答は、各室内インパルス応答の全長さの４０パーセント未満を表す。
[0115]いくつかの例では、打切りインパルス応答は、１１１と１７，８３０との間のタップ範囲を含む。
[0116]いくつかの例では、Ｎ個の残余インパルス応答の各々は、複雑性を削減する共通の合成残余室内応答内に結合される。
[0117]いくつかの例では、各チャンネルフィルタの出力と、フィルタリングされた整列合成音声信号とをミックスすることは、左のスピーカー出力に関するミキシングの第１のセットと右のスピーカー出力に関するミキシングの第２のセットとを含む。
[0118]様々な例では、上記で説明したプロセス３８０の様々な例またはそれらの任意の結合の方法は、メモリおよび１つまたは複数のプロセッサを備えるデバイスと、本方法の各ステップを実施するための手段を備えた装置と、非一時的コンピュータ可読記憶媒体上に記憶された命令を実行することによって本方法の各ステップを実施する１つまたは複数のプロセッサとによって実施され得る。
[0119]その上、上記で説明した例のいずれにも記載される特定の特徴のいずれも、説明した技法の有益な例の中に組み合わされ得る。すなわち、特定の特徴のいずれも、一般に、本技法のすべての例に適用可能である。本技法の様々な例について説明した。
[0120]本開示で説明した技法は、ある場合には、可聴のＢＲＩＲセットにわたってサンプル１１１〜１７８３０だけを識別することができる。例示的な室内の容積からミキシング時間Ｔmp95を計算し、本技法は、次いで、５３．６ｍｓの後、すべてのＢＲＩＲに共通の残響の末尾を共有させることができ、１５２３２のサンプル長の共通の残響の末尾と、残留する２７０４サンプルのＨＲＴＦ＋反射インパルスとをもたらし、３ｍｓのクロスフェードがそれらの間に存在する。計算コスト削減（break down）に関して、以下の項目が到達され得る。
（ａ）共通の残響の末尾：１０×６×ｌｏｇ2（２×１５２３２／１０）。
（ｂ）残留するインパルス：２２×６×ｌｏｇ2（２×４０９６）、１フレーム内でそれを行うために４０９６のＦＦＴを使用する。
（ｃ）追加の２２の加算。
[0121]その結果、最終の性能指数は、したがって、ほぼＣmod＝ｍａｘ（１００×（Ｃconv−Ｃ）／Ｃconv，０）＝８８．０に等しく、ここで
ここでＣconvは最適化されていない実装（implementation）：
の推定であり、
Ｃは何らかの態様であり、２つの付加的な要素：
によって決定され得る。
Ｃは何らかの態様であり、２つの付加的な要素：
[0122]したがって、いくつかの態様では、性能指数は、Ｃmod＝８７．３５。
[0123]Ｂn（ｚ）として示されるＢＲＩＲフィルタは、２つの関数ＢＴn（ｚ）とＢＲn（ｚ）とに分解され得、それらはそれぞれ、打切りＢＲＩＲフィルタと残響ＢＲＩＲフィルタとを示す。上記の部分（ａ）はこの打切りＢＲＩＲフィルタを指す一方で、上記の部分（ｂ）は残響ＢＲＩＲフィルタを指し得る。次いで、Ｂn（ｚ）はＢＴn（ｚ）＋（ｚ-m＊ＢＲn（ｚ））に等しくし得、ここでｍは遅延を示す。したがって、出力信号Ｙ（ｚ）は、
として計算され得る。
[0124]プロセス３８０は、共通の合成の残響の末尾のセグメントを導出するためにＢＲn（ｚ）を解析し得、ここでこの共通のＢＲ（ｚ）は、チャンネル固有のＢＲn（ｚ）の代わりに適用され得る。この共通の（またはチャンネル全般の）合成ＢＲ（ｚ）が使用されるとき、Ｙ（ｚ）は、
として計算され得る。
[0125]図１３は、例示的なバイノーラル室内インパルス応答フィルタ（ＢＲＩＲ）４００の図である。ＢＲＩＲ４００は、５つのセグメント４０２Ａ〜４０２Ｃを示す。頭部伝達関数（ＨＲＴＦ）セグメント４０２Ａは、頭部伝達によるインパルス応答を含み、本明細書で説明する技法を使用して識別され得る。ＨＲＴＦは、無響室内でインパルス応答を測定することと等価である。部屋の第１の反射は、通常、ＨＲＴＦより長い遅延を有するので、ＢＲＩＲの最初の部分がＨＲＴＦインパルス応答であると仮定される。反射セグメント４０２Ｂは、ＨＲＴＦに室内効果を結合する、すなわち、反射セグメント４０２Ｂのインパルス応答は、残響セグメント４０２Ｃと比較において早期の離散的なエコーによってフィルタリングされたＢＲＩＲ４００に関するＨＲＴＦセグメント４０２Ａのインパルス応答と一致する。ミキシング時間は、反射セグメント４０２Ｂと残響セグメント４０２Ｃとの間の時間であり、早期エコーが密な残響になる時間を示す。残響セグメント４０２Ｃは、ガウス雑音のように挙動し、離散的なエコーは、それ以上分離されない。
[0126]近く発表されるＭＰＥＧ−Ｈ規格化において、高解像度と高チャンネルカウントとを有するマルチチャンネル音声が考慮されている。レンダリングをポータブルにするために、ヘッドフォン表現が必要である。これは、すべてのスピーカーフィード／チャンネルを１つのステレオヘッドセット内に仮想化することを伴う。ヘッドフォン表現へレンダリングするために、インパルス応答のうちの１つまたは複数のペアのセットが、マルチチャンネル音声に適用され得る。ＢＲＩＲ４００は、そのようなインパルス応答のうちの１つのペアを表し得る。標準的なブロック高速フーリエ変換（ＦＦＴ）を使用してＢＲＩＲ４００フィルタをマルチチャンネル音声のチャンネルに適用することは、計算の負荷が高くなり得る。インパルス応答のペアのセット全体をマルチチャンネル音声の対応するチャンネルに適用することは、いっそう計算の負荷を高くする。以下で説明する技法は、標準的なフィルタリング（たとえば、ブロックＦＦＴ）の結果の品質を著しく犠牲にすることなく、効率的なバイノーラルフィルタリングを提供する。
[0127]図１４は、バイノーラル室内インパルス応答をマルチチャンネル音声信号に適用することによって生成されるバイノーラル出力信号の計算のためのシステム４１０を示すブロック図である。入力４１２Ａ〜４１２Ｎの各々は、全マルチチャンネル音声信号のうちの単一のチャンネルを表す。ＢＲＩＲ４１４Ａ〜４１４Ｎの各々は、左右の構成要素を有するバイノーラルインパルス室内応答フィルタのうちの１つのペアを表す。動作中、計算手順は、単一のチャンネル入力に関するバイノーラル音声信号を、適用されるＢＲＩＲによるロケーション表現（represents）においてレンダリングされるように生成するために、入力４１２Ａ〜４１２Ｎの各々に対して、ＢＲＩＲ４１４Ａ〜４１４Ｎのうちの対応する１つのＢＲＩＲを単一のチャンネル（モノ）入力に適用する。次いで、Ｎ個のバイノーラル音声信号が、ステレオヘッドフォン信号または全バイノーラル音声信号を作成するために、アキュムレータ４１６によって累積され、出力４１８としてシステム４１０によって出力される。
[0128]図１５は、本明細書で説明する技法に従って、バイノーラル室内インパルス応答をマルチチャンネル音声信号に適用することによって生成されるバイノーラル出力信号を計算するための音声再生デバイス５００の構成要素を示すブロック図である。音声再生デバイス５００は、本開示の様々な計算削減方法を組み合わせて実施するための複数の構成要素を含む。音声再生デバイス５００のいくつかの態様は、様々な計算削減方法のうちの任意の数の任意の組合せを含み得る。音声再生デバイス５００は、音声再生システム３２、音声再生デバイス１００、音声再生デバイス２００、および音声再生デバイス３５０のうちのいずれもの一例を表し、本開示の様々な計算削減方法を実施するために上記で列挙されたデバイスのうちのいずれもと同様の構成要素を含むことができる。
[0129]計算削減方法は、以下の部分の任意の組合せを含み得る：
[0130]ａ部（ＨＲＴＦセグメント４０２ＡおよびＨＲＴＦユニット５０４に対応する）：通常は位置特定のために数ミリ秒、両耳間遅延（ＩＴＤ）および最小位相フィルタに変換することによって計算を削減され得、一例としてＩＩＲフィルタを使用してさらに削減され得る。
[0130]ａ部（ＨＲＴＦセグメント４０２ＡおよびＨＲＴＦユニット５０４に対応する）：通常は位置特定のために数ミリ秒、両耳間遅延（ＩＴＤ）および最小位相フィルタに変換することによって計算を削減され得、一例としてＩＩＲフィルタを使用してさらに削減され得る。
[0131]ｂ部（反射セグメント４０２Ｂおよび反射ユニット５０２に対応する）：長さは空間によって変わることがあり、一般的に通常数十ミリ秒続く。各チャンネルについて別々に行われると計算の負荷は高いが、本明細書で説明する技法は、これらのチャンネルのサブグループについて生成されたそれぞれの共通のフィルタを適用することができる。
[0132]ｃ部（残響セグメント４０２Ｃおよび残響ユニット５０６に対応する）：共通のフィルタが、すべてのチャンネル（たとえば、２２．２フォーマットについて２２チャンネル）に関して計算される。周波数領域のエネルギーディケイレリーフ（Energy Decay Relief）（ＥＤＲ）曲線にわたる直接的な平均に基づいて新しい残響の末尾を再合成するのではなく、残響ユニット５０６は、入力信号コンテンツによって変化する調整する重みによって随意に改良される平均に、異なる重み付け方式を適用する。
[0133]図１４のシステム４１０と同様の方式で、音声再生デバイス５００は、マルチチャンネル音声信号のＮ個の単一のチャンネル入力４１２Ａ〜４１２Ｎ（総称して「入力４１２」）を受信し、ステレオヘッドフォン信号または全バイノーラル音声信号を生成して出力するために、バイノーラル室内インパルス応答（ＢＲＩＲ）フィルタのセグメントを適用する。図１５に示すように、反射ユニットは、（たとえば、適応的重み付け要素５２０Ａ1〜K〜５２０Ｍ1〜J、５２２Ａ〜５２２Ｎを使用して重み付けられた）重み付けられた合計を使用して離散した入力４１２を異なるグループ内に結合する。共通の残響（たとえば、図１３の残響セクション４０２Ｃによって示される）に関して、残響ユニット５０６は、入力４１２を、それぞれの適応的重み付け要素（たとえば、ステレオで、入力ごとに左／右に関する異なる重みの５２２Ａ〜５２２Ｎ）と一緒に組み合わせ、次いで、（遅延５２６を適用した後で）ＦＦＴフィルタリングを使用して適用される共通の残響フィルタ５２４（ステレオのインパルス応答フィルタ）を使用して、結合された入力を処理する。
[0134]反射ユニット５０２は、共通の残響フィルタ５２４に似た平均反射フィルタ５１２Ａ〜５１２Ｍを、適応的重み付け要素（５２０Ａ1〜K〜５２０Ｍ1〜J）を用いてサブグループ内に一緒に結合された入力４１２の異なるサブグループに適用する。ＨＲＴＦユニット５０４は、この例示的なデバイスでは、両耳間時間遅延（ＩＴＤ）５３０Ａ〜５３０Ｎに変換されている頭部伝達関数（ＨＲＴＦ）フィルタ４１４Ａ〜４１４Ｎ（総称して「ＨＲＴＦフィルタ４１４」）と最小位相フィルタ（これらは多状態無限インパルス応答（ＩＩＲ）フィルタを用いてさらに近似され得る）とを適用する。本明細書で使用する「適応的」は、適応的重み付け要素が適用される入力信号の品質に応じた、重み付け要素に関する調整を指す。いくつかの態様では、様々な適応的重み付け要素は、適応的でないことがある。
[0135]入力４１２の各々に対してＢＲＩＲに関するミキシング時間を計算するために、１つのウィンドウの標準偏差の外にあるインパルス応答タップの割合（fraction of impulse response tap）を１０２４のスライディングウィンドウにわたって測定するエコー密度プロファイル（Echo Density Profile）が計算される。その値が最初に１に到達したとき、これは、インパルス応答がガウス雑音を近似し始め、残響の開始を指示することを示す。個別のＨＲＴＦフィルタ４１４の各々について、異なる計算が存在してよく、測定による最終値（ミリ秒）は、Ｎチャンネルにわたって平均することによって決定される。
[0136]空間容積に基づくミキシング時間計算のための理論式も存在する。３００立方メートルの大きさの室内に関して、たとえば、容積による式によれば、
[0137]上記のように、ＨＲＴＦユニット５０４は、両耳間時間遅延（ＩＴＤ）５３０Ａ〜５３０Ｎと最小位相フィルタとに変換されている頭部伝達関数（ＨＲＴＦ）フィルタ４１４を適用する。最小位相フィルタは、元のフィルタのケプストラム（Cepstrum）に窓を適用することによって得られ得、遅延は、位相の５００〜４０００Ｈｚの周波数領域での線形回帰によって推定され得、ＩＩＲ近似に関して、バランスド・モデル・トランケイション（Balanced Model Truncation）（ＢＭＴ）法が、周波数ワープフィルタ（frequency warped filter）上の振幅応答の最重要成分を抽出するために使用され得る。
[0138]残響ユニット５０６に関して、ミキシング時間の後、インパルス応答の末尾（たとえば、残響セグメント４０２Ｃ）は、理論的に、大した知覚的な差なしに交換可能である。したがって、残響ユニット５０６は、入力４１２に対応するそれぞれのＢＲＩＲの各応答の末尾を置き換えるために、共通の残響フィルタ５２４を適用する。音声再生デバイス５００の残響ユニット５０６における適用のために共通の残響フィルタ５２４を取得するための例示的な方法が存在する：
（１）各フィルタをそのエネルギー（たとえば、インパルス応答におけるすべてのサンプルの二乗値の合計）によって正規化し、次いで、すべての正規化されたフィルタにわたって平均する。
（１）各フィルタをそのエネルギー（たとえば、インパルス応答におけるすべてのサンプルの二乗値の合計）によって正規化し、次いで、すべての正規化されたフィルタにわたって平均する。
（２）すべてのフィルタを直接平均する、たとえば、単純平均を計算する。
（３）エネルギーの包絡線（envelope）およびコヒーレンス制御によって制御された白色雑音を用いて平均化フィルタを再合成する。
[0139]第１の方法（１）は、元のフィルタの各々の特性／形状を同等に取る。いくつかのフィルタは、非常に低いエネルギーを有することがある（たとえば、２２．２セットアップにおける上中央のチャンネル）けれども、共通のフィルタ５２４において同等の「票」を有する。
[0140]第２の方法（２）は、当然ながら、そのエネルギーレベルに従って各フィルタを重み付けするので、より高エネルギーの、または「より声の大きい」フィルタが、共通のフィルタ５２４内でより多くの票を得る。この直接の平均はまた、フィルタ間に大した相関がないことを仮定しており、これは、少なくとも、良好なリスニングルーム内で個別に取得されたＢＲＩＲに関して当てはまり得る。
[0141]第３の方法（３）は、周波数依存性両耳間コヒーレンス（ＦＤＩＣ）がＢＲＩＲの残響の末尾を再合成するために使用される技法に基づく。各ＢＲＩＲは、最初に、短時間フーリエ変換（ＳＴＦＴ：short-term Fourier transform）を完了し、そのＦＤＩＣは、
として計算される。上式で、ｉは周波数のインデックスであり、ｋは時間のインデックスである。Ｒ（．）は実部を示す。ＨLおよびＨRは、左右のインパルス応答の短時間フーリエ変換（ＳＴＦＴ：Short-time Fourier Transform）である。
[0142]一定のＦＤＩＣおよびＥＤＲを用いて、インパルス応答が、ガウス雑音を使用して
のように合成され得る。ここで、
である。
[0143]ここで、Ｈ〜LおよびＨ〜Rはフィルタの合成されたＳＴＦＴであり、Ｎ1およびＮ2は単独で生成されたガウス雑音のＳＴＦＴであり、ｃおよびｄは周波数および時間によってインデックスを付けられたＥＤＲであり、Ｐｓは雑音信号の時間平滑化された短時間パワースペクトル推定値である。
[0144]平均ＦＤＩＣを取得するために、本技法は、
・元のフィルタのＦＤＩＣのうちの１つ、たとえば、前中央のチャンネルを使用する、
・すべてのＦＤＩＣにわたって直接平均する、
・すべてのＦＤＩＣの最小を使用する、これは、最大限に広範な平均化フィルタを生成することになるが、必ずしも元のフィルタミクスチャに近いとは限らない、
・ＦＤＩＣを、ＥＤＲのそれらの相対的なエネルギーで重み付けし、次いで一緒に合計する、
を含み得る。
最後の方法（重み付けられたＦＤＩＣ）について、各フィルタは、そのエネルギーに応じて共通のＦＤＩＣにおいてで「票」を有する。したがって、より声の大きいフィルタは、共通のフィルタ５２４においてにより多くのそれらのＦＤＩＣ画像を得る。
・元のフィルタのＦＤＩＣのうちの１つ、たとえば、前中央のチャンネルを使用する、
・すべてのＦＤＩＣにわたって直接平均する、
・すべてのＦＤＩＣの最小を使用する、これは、最大限に広範な平均化フィルタを生成することになるが、必ずしも元のフィルタミクスチャに近いとは限らない、
・ＦＤＩＣを、ＥＤＲのそれらの相対的なエネルギーで重み付けし、次いで一緒に合計する、
を含み得る。
最後の方法（重み付けられたＦＤＩＣ）について、各フィルタは、そのエネルギーに応じて共通のＦＤＩＣにおいてで「票」を有する。したがって、より声の大きいフィルタは、共通のフィルタ５２４においてにより多くのそれらのＦＤＩＣ画像を得る。
[0145]さらに、入力信号のレパートリーを検査することによって、追加のパターンが発見され得、コンテンツのエネルギー分布から追加の重みをもたらす。たとえば、２２．２セットアップ内の上部チャンネルは、一般的に、低エネルギーＢＲＩＲを有し、コンテンツ作成者は、その位置におけるコンテンツ（たとえば、時折の飛行機の接近飛行）を著すことはほとんどない。したがって、共通の残響フィルタ５２４生成技法は、共通のフィルタ５２４を合成するときに上部チャンネルに関して正確さをトレードオフする一方で、主たる前中央、左および右のチャンネルが多くの強調を得ることができる。一般式で表現されると、複数の重みを用いて計算された共通または平均のＦＤＩＣは、
として計算され、上式で、ＦＤＩＣiはｉ番目のＢＲＩＲチャンネルのＦＤＩＣであり、ｗji（＞０）はＢＲＩＲチャンネルｉに関する規準ｊの重み要素である。ここで言及されるｊ番目の規準のうちの１つはＢＲＩＲエネルギーであり得、一方で、別のものは信号コンテンツのエネルギーであり得る。分母の合計（ｄｅｎｏｍｉｎａｔｏｒ ｓｕｍ）は、結合された重みが最終的に合計１になるように正規化する。重みがすべて１に等しくなると、式は単純平均に置き換えられる。同様に、共通のＥＤＲ（前の式のｃおよびｄ）は、
として計算され得、ここで、重みは、必ずしもＦＤＩＣの重みと同じであるとは限らない。
[0146]共通の残響フィルタ５２４を生成することに関して説明した上記の方法のうちのいずれもまた、反射フィルタ５１２Ａ〜５１２Ｍを合成するために使用され得る。すなわち、チャンネルの反射のサブグループは、同様に合成され得るが、反射によって作成された信号はあまり雑音に似ていないので、エラーは一般的により大きくなる。しかしながら、チャンネルフォーマット（たとえば、２２．２）に従って、中央チャンネルの反射のすべては同様のコヒーレンス評価とエネルギー減衰とを共有し、左横チャンネルの反射のすべては適切な重み付けと結合され得、代替として、左前のチャンネルは１つのグループを形成し得、左後ろおよび高さのチャンネルは別のグループを形成し得る、等々。これは、計算を削減するために、反射セグメント（たとえば、反射セグメント４０２Ｂ）をそれぞれ有するＮ個のチャンネルをＭ（たとえば、３〜５）個のサブグループに削減することができる。同様のコンテンツベースの重み付けは、残響フィルタ５２４を合成することに関して上記で説明したように、反射結合されたフィルタ５１２Ａ〜５１２Ｍにも適用され得る。反射チャンネルは、任意の組合せでグループ化され得る。インパルス応答の反射セグメントの間の相関を検査することによって、比較的高い相関性があるチャンネルが、サブグループの共通の反射フィルタ５１２の合成のために一緒にグループ化され得る。
[0147]図示の例では、反射ユニット５０２は、少なくとも、入力４１２Ａおよび４１２Ｎを１つのサブグループにグループ化する。反射フィルタ５１２Ａは、このサブグループについて生成された共通のフィルタを表し、反射ユニット５０２は、反射フィルタ５１２Ａを、図示の例では少なくとも入力４１２Ａと入力４１２Ｎとをやはり含むサブグループの入力の結合に適用する。
[0148]一例として、ＢＲＩＲフィルタのセットのそれぞれの反射部分に関する相関行列が検査される。ＢＲＩＲフィルタのセットは、ＢＲＩＲフィルタの現在のセットを表すことができる。相関行列は、非類似度行列（dissimilarity matrix）を取得するために、（１−ｃｏｒｒ）／２によって調整され、それは、クラスタ分析に関する完全な連結を導くために使用される。
[0149]図１６に示すように、階層的クラスタ分析は、それらの時間の包絡線での相関に従う２２．２チャンネルのＢＲＩＲのセットの反射部分で実行され得る。理解されるように、０．６のカットオフスコアを設定することによって、説得力のある類似性を伴う、左チャンネルは４つのサブグループにグループ化され、右チャンネルは３つのサブグループにグループ化され得る。２２．２セットアップにおけるスピーカーロケーションを検査することによって、クラスタ分析の結果は、２２．２チャンネルのセットアップの常識的な機能性および形状（geometry）と一致する。
[0150]次に図１５に戻ると、共通のフィルタ（たとえば、反射フィルタ５１２Ａ〜５１２Ｍおよび共通の残響フィルタ５２４）のうちのいずれに関するインパルス応答も、２列ベクトル
であり得る。
[0151]共通のフィルタが計算されると、オンラインの処理において、反射ユニット５０２および／または残響ユニット５０６は、最初に入力４１２をフィルタに関する特定のグループの中にミックスし、次いで共通のフィルタを適用する。たとえば、残響ユニット５０６は、すべての４１２を中にミックスし、次いで共通の残響フィルタ５２４を適用する。共通のフィルタ合成の前の元のフィルタは変化するエネルギーを有するので、等しくミックスされた入力４１２は、元の条件に適合しない。フィルタインパルス応答ｈのエネルギーが、
として計算され、上式で、ｎはサンプルのインデックスであり、各ｈ［ｎ］は左／右インパルス応答に関するステレオサンプルである場合）、入力信号に関する初期の重みは、
として計算され得、上式で、ｈiは、共通のフィルタ合成前のチャンネルｉに関する元のフィルタである。
[0152]共通のフィルタを使用することによって、
の元のフィルタリングプロセスは
となり、上式で、ｉｎiは入力信号に関する入力サンプルである。ここで、
は畳み込みを示し、各ｈフィルタはステレオインパルス応答であり、したがって、左右のチャンネルは、これらのプロセスを個別に搬送する。もう少し効率的な処理のために、ステレオの重み
のうちのいずれもが、左／右の重みを平均することによって単一の値の重みに変換され得、次いで共通のフィルタの適用時のステレオ入力ミックスが、代わりにモノミックスになる。反射ユニット５０２に関する適応的重み要素５２０Ａ1〜K〜５２０Ｍ1〜Jおよび残響ユニット５０６に関する適応的重み要素５２２Ａ〜５２２Ｎは、重み
のうちのいずれをも表し得る。
[0153]入力信号で
を使用することによって、基本的な仮定は、入力チャンネルは相関されないことであり、したがって、各入力は前と同じエネルギーでフィルタを通過し、合計された信号のエネルギーは、すべての重み付けられた信号のエネルギーの合計とほぼ同じである。実際には、より強い「残響の」音が知覚されることが多く、より高いエネルギーレベルの再合成バージョンが観測される。これは、入力チャンネルが、しばしば相関付けられるという事実に起因する。たとえば、モノ音源をパニングし、それらをあちこち移動させることによって生成されたマルチチャンネルミックスについて、パニングアルゴリズムは、通常、異なるチャンネルにわたって高度に相関付けられた成分を生成する。そして、相関付けられたチャンネルに関して、エネルギーは、初期の重み
を使用してより高くなる。
[0154]したがって、ミックスされた入力信号を
として計算する代わりに、時間で変わるエネルギー正規化の重みが適用され得、新しい入力信号ミックスは、したがって、
として計算されるべきであり、
上式で、ｎは離散時間のインデックスであり、正規化ｗnormは、信号フレームのうちの１つのセグメントにわたる、重み付けられた信号の合計されたエネルギーと重み付けられた合計された信号のエネルギーとの間のエネルギーの比：
に従う。式中、信号のインデックスは右辺の中に書かれていない。右辺におけるこの平均エネルギー推定は、合計されたエネルギーのエネルギーおよび合計された信号のエネルギーに対する１次の平滑化フィルタを用いて時間領域において達成され得る。したがって、滑らかなエネルギー曲線が、除算について取得され得る。または、音声再生デバイス５００は、すでに、フィルタリングに対してＦＦＴオーバーラップ加算を適用し得るので、各ＦＦＴフレームについて、音声再生デバイス５００は１つの正規化重みを推定し得、オーバーラップ加算方式は、すでに、時間にわたる平滑化効果を処理することになる。
上式で、ｎは離散時間のインデックスであり、正規化ｗnormは、信号フレームのうちの１つのセグメントにわたる、重み付けられた信号の合計されたエネルギーと重み付けられた合計された信号のエネルギーとの間のエネルギーの比：
[0155]ＨＲＴＦセグメントと、反射および残響の末尾（または残響）セグメントとの間で、コサインカーブ・クロスフェードが、それらの間を滑らかに移行するために（たとえば、０．２ｍｓまたは１０サンプルの持続時間で）適用される。たとえば、ＨＲＴＦが２５６サンプル長である場合、反射は２０４８サンプル長であり、残響は４０９６サンプル長であり、レンダラの全等価フィルタ長さは、２５６＋２０４８＋４０９６−２×１０＝６３８０サンプルとなる。
[0156]結合ステップ５１０は、反射ユニット５０２、ＨＲＴＦユニット５０４、および残響ユニット５０６によって生成されたフィルタリングされた信号のすべてを結合する。いくつかの例では、反射ユニット５０２および残響ユニット５０６のうちの少なくとも一方は、適応的重み要素を適用することを含まない。音声再生デバイス５００のいくつかの例では、ＨＲＴＦユニット５０４は、入力４１２に関するＢＲＩＲフィルタのＨＲＴＦ部分と反射部分の両方を適用し、すなわち、そのような例における音声再生デバイス５００は、入力４１２Ｎを、共通の反射フィルタ５１２Ａ〜５１２Ｍが適用されるＭ個のサブグループにグループ化しない。
[0157]図１７は、本開示で説明する技法による、音声再生デバイスの動作の例示的なモードを示すフローチャートである。例示的な演算のモードについて、図１５の音声再生デバイス５００に関して説明する。
[0158]音声再生デバイス５００は、単一の入力チャンネルを受信し、適応的に決定された重みをそのチャンネルに適用する（６００）。音声再生デバイス５００は、結合された音声信号を生成するために、これらの適応的に重み付けられたチャンネルを結合する（６０２）。音声再生デバイス５００は、さらに、バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを結合された音声信号に適用する（６０４）。バイノーラル室内インパルス応答フィルタは、たとえば、上記で説明した技法のうちのいずれに従って生成された、結合された反射フィルタまたは残響フィルタであってよい。音声再生デバイス５００は、ステップ６０４において生成されたバイノーラル音声信号から少なくとも部分的に生成された出力音声信号／全音声信号を出力する（６０６）。全音声信号は、１つまたは複数の、結合されたまたはフィルタリングされた反射サブグループ、結合されたまたはフィルタリングされた残響グループ、および音声信号のチャンネルの各々に関するフィルタリングされたそれぞれのＨＲＴＦ信号に関する、複数のバイノーラル音声信号の結合であり得る。音声再生デバイス５００は、全出力バイノーラル音声信号を作成するために結合のための信号を整列させるために、必要に応じて、フィルタリングされた信号に遅延を適用する。
[0159]上記の追加または代替として、以下の例を説明する。以下の例のうちのいずれにおいて説明する特徴は、本明細書で説明する他の例のうちのいずれとともに利用され得る。
[0160]一例は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを取得することと、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用することと、を備える、音声信号をバイノーラル化する方法を対象とする。
[0161]いくつかの例では、合計音声信号は、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号の複数のチャンネルのサブグループの結合を備える。
[0162]いくつかの例では、方法は、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の複数のチャンネルのうちの対応するチャンネルに適用することと、出力バイノーラル音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、をさらに備える。
[0163]いくつかの例では、共通のフィルタを取得することは、共通のフィルタとして、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算することを備える。
[0164]いくつかの例では、方法は、合計音声信号を生成するために、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号のチャンネルのサブグループを結合することをさらに備える。
[0165]いくつかの例では、共通のフィルタは第１の共通のフィルタであり、サブグループは第１のサブグループであり、合計音声信号は第１の合計音声信号であり、変換された合計音声信号は第１の変換された合計音声信号であり、方法は、複数のバイノーラル室内インパルス応答フィルタの第２のサブグループの平均を計算することによって複数のバイノーラル室内インパルス応答フィルタの第２の異なるサブグループに関する第２の共通のフィルタを生成することと、第２の合計音声信号を生成するために複数のバイノーラル室内インパルス応答フィルタの第２のサブグループに対応する音声信号のチャンネルの第２のサブグループを結合することと、第２の変換された合計音声信号を生成するために第２の共通のフィルタを第２の合計音声信号に適用することと、をさらに備え、出力音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合することは、出力音声信号を生成するために、第１の変換された合計音声信号と、第２の変換された合計音声信号と、音声信号の変換されたチャンネルとを結合することを備える。
[0166]いくつかの例では、共通のフィルタを取得することは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの加重平均を計算することを備える。
[0167]いくつかの例では、共通のフィルタを取得することは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算することを備える。
[0168]いくつかの例では、共通のフィルタを取得することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの直接平均を計算することを備える。
[0169]いくつかの例では、共通のフィルタを取得することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
[0170]いくつかの例では、共通のフィルタを取得することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
[0171]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0172]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0173]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
[0174]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0175]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0176]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
[0177]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0178]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0179]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0180]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0181]別の例では、方法は、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成することを備える。
[0182]いくつかの例では、共通のフィルタを生成することは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントの加重平均を計算することを備える。
[0183]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのうちのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの平均を計算することを備える。
[0184]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの直接平均を計算することを備える。
[0185]いくつかの例では、共通のフィルタを生成することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
[0186]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
[0187]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0188]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0189]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
[0190]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0191]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのうちのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0192]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
[0193]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0194]別の例では、方法は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成することを備える。
[0195]いくつかの例では、共通のフィルタを生成することは、バイノーラル室内インパルス応答フィルタのサブグループのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの加重平均を計算することを備える。
[0196]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの平均を計算することを備える。
[0197]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの直接平均を計算することを備える。
[0198]いくつかの例では、共通のフィルタを生成することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
[0199]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
[0200]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0201]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0202]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
[0203]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0204]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0205]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
[0206]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0207]別の例では、音声信号をバイノーラル化する方法は、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用することと、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用することと、を備える。
[0208]いくつかの例では、音声信号のチャンネルに関する初期の適応的に決定された重みは、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って計算される。
[0209]いくつかの例では、方法は、複数のバイノーラル室内インパルス応答フィルタに関する共通のフィルタを取得することをさらに備え、ｉ番目のチャンネルに関するｉ番目の初期の適応的に決定された重み
は、
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
は共通のフィルタであり、
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
[0210]いくつかの例では、方法は、
を計算することによって、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することをさらに備え、
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0211]いくつかの例では、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合することは、
を計算することを備え、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0212]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0213]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0214]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0215]別の例では、方法は、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の対応するチャンネルに適用することと、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することと、合計音声信号を生成するために音声信号のチャンネルを結合することと、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することと、出力音声信号を生成するために変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、を備える。
[0216]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのうちのいずれをも正規化することなしに複数のバイノーラル室内インパルス応答フィルタの平均を計算することを備える。
[0217]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの直接平均を計算することを備える。
[0218]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
[0219]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
[0220]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0221]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
[0222]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
[0223]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0224]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0225]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
[0226]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0227]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0228]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0229]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0230]別の例では、方法は、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の対応するチャンネルに適用することと、複数のバイノーラル室内インパルス応答フィルタの平均を計算することによって共通のフィルタを生成することと、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合することと、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することと、出力音声信号を生成するために変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、を備える。
[0231]いくつかの例では、音声信号のチャンネルに関する初期の適応的重み要素は、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って計算される。
[0232]いくつかの例では、ｉ番目のチャンネルに関するｉ番目の初期の適応的重み要素
は、
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
は共通のフィルタであり、
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
[0233]いくつかの例では、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することは、
を計算することを備え、
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0234]いくつかの例では、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合することは、
を計算することを備え、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0235]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0236]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0237]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0238]いくつかの例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを記憶するように構成されたメモリと、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用するように構成されたプロセッサとを備える。
[0239]いくつかの例では、合計音声信号は、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号の複数のチャンネルのサブグループの結合を備える。
[0240]いくつかの例では、プロセッサは、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の複数のチャンネルのうちの対応するチャンネルに適用することと、出力バイノーラル音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、を行うようにさらに構成される。
[0241]いくつかの例では、共通のフィルタは、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を備える。
[0242]いくつかの例では、プロセッサは、合計音声信号を生成するために、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号のチャンネルのサブグループを結合するようにさらに構成される。
[0243]いくつかの例では、共通のフィルタは第１の共通のフィルタであり、サブグループは第１のサブグループであり、合計音声信号は第１の合計音声信号であり、変換された合計音声信号は第１の変換された合計音声信号であり、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの第２のサブグループの平均を計算することによって複数のバイノーラル室内インパルス応答フィルタの第２の異なるサブグループに関する第２の共通のフィルタを生成することと、第２の合計音声信号を生成するために複数のバイノーラル室内インパルス応答フィルタの第２のサブグループに対応する音声信号のチャンネルの第２のサブグループを結合することと、第２の変換された合計音声信号を生成するために第２の共通のフィルタを第２の合計音声信号に適用することと、を行うようにさらに構成され、出力音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合するために、プロセッサは、出力音声信号を生成するために、第１の変換された合計音声信号と、第２の変換された合計音声信号と、音声信号の変換されたチャンネルとを結合するようにさらに構成される。
[0244]いくつかの例では、共通のフィルタは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの加重平均を備える。
[0245]いくつかの例では、共通のフィルタは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を備える。
[0246]いくつかの例では、共通のフィルタは、複数のバイノーラル室内インパルス応答フィルタのサブグループの直接平均を備える。
[0247]いくつかの例では、共通のフィルタは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して生成され、再合成された共通のフィルタを備える。
[0248]いくつかの実施形態では、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を行うようにさらに構成される。
[0249]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、直接平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
[0250]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
[0251]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を行うようにさらに構成される。
[0252]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、
を計算するようにさらに構成され、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0253]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0254]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するために、プロセッサは、
を計算するようにさらに構成され、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
[0255]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0256]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0257]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0258]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0259]別の例では、デバイスは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成するように構成されたプロセッサを備える。
[0260]いくつかの例では、共通のフィルタを生成するために、プロセッサは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントの加重平均を計算するようにさらに構成される。
[0261]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのうちのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの平均を計算するようにさらに構成される。
[0262]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの直接平均を計算するようにさらに構成される。
[0263]いくつかの例では、共通のフィルタを生成するために、プロセッサは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するようにさらに構成される。
[0264]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を行うようにさらに構成される。
[0265]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、直接平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
[0266]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
[0267]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を行うようにさらに構成される。
[0268]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、
を計算するようにさらに構成され、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0269]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのうちのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0270]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するために、プロセッサは、
を計算するようにさらに構成され、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
[0271]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0272]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成するように構成されたプロセッサを備える。
[0273]いくつかの例では、共通のフィルタを生成するために、プロセッサは、バイノーラル室内インパルス応答フィルタのサブグループのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの加重平均を計算するようにさらに構成される。
[0274]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの平均を計算するようにさらに構成される。
[0275]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの直接平均を計算するようにさらに構成される。
[0276]いくつかの例では、共通のフィルタを生成するために、プロセッサは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するようにさらに構成される。
[0277]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を行うようにさらに構成される。
[0278]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、直接平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
[0279]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
[0280]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするようにさらに構成され、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積している。
[0281]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、
を計算するようにさらに構成され、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0282]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0283]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するために、プロセッサは、
を計算するようにさらに構成され、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
[0284]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0285]いくつかの例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用することと、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用することと、を行うように構成されたプロセッサを備える。
[0286]いくつかの例では、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って、音声信号のチャンネルに関する初期の適応的に決定された重みを計算する。
[0287]いくつかの例では、プロセッサは、複数のバイノーラル室内インパルス応答フィルタに関する共通のフィルタを取得するようにさらに構成され、ｉ番目のチャンネルに関するｉ番目の初期の適応的に決定された重み
は、
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
は共通のフィルタであり、
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
[0288]いくつかの例では、プロセッサは、
を計算することによって、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用するようにさらに構成され、
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0289]いくつかの例では、プロセッサは、
を計算することによってそれぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合するようにさらに構成され、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0290]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0291]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0292]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0293]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを取得するための手段と、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用するための手段と、を備える。
[0294]いくつかの例では、合計音声信号は、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号の複数のチャンネルのサブグループの結合を備える。
[0295]いくつかの例では、デバイスは、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の複数のチャンネルのうちの対応するチャンネルに適用するための手段と、出力バイノーラル音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合するための手段と、をさらに備える。
[0296]いくつかの例では、共通のフィルタを取得するための手段は、共通のフィルタとして、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算するための手段を備える。
[0297]いくつかの例では、デバイスは、合計音声信号を生成するために、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号のチャンネルのサブグループを結合するための手段をさらに備える。
[0298]いくつかの例では、共通のフィルタは第１の共通のフィルタであり、サブグループは第１のサブグループであり、合計音声信号は第１の合計音声信号であり、変換された合計音声信号は第１の変換された合計音声信号であり、デバイスは、複数のバイノーラル室内インパルス応答フィルタの第２のサブグループの平均を計算することによって複数のバイノーラル室内インパルス応答フィルタ第２の異なるサブグループに関する第２の共通のフィルタを生成するための手段と、第２の合計音声信号を生成するために複数のバイノーラル室内インパルス応答フィルタの第２のサブグループに対応する音声信号のチャンネルの第２のサブグループを結合するための手段と、第２の変換された合計音声信号を生成するために第２の共通のフィルタを第２の合計音声信号に適用するための手段と、をさらに備え、出力音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合するための手段が、出力音声信号を生成するために、第１の変換された合計音声信号と、第２の変換された合計音声信号と、音声信号の変換されたチャンネルとを結合するための手段を備える。
[0299]いくつかの例では、共通のフィルタを取得するための手段は、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの加重平均を計算するための手段を備える。
[0300]いくつかの例では、共通のフィルタを取得するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算するための手段を備える。
[0301]いくつかの例では、共通のフィルタを取得するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの直接平均を計算するための手段を備える。
[0302]いくつかの例では、共通のフィルタを取得するための手段は、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するための手段を備える。
[0303]いくつかの例では、共通のフィルタを取得するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算するための手段と、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段と、を備える。
[0304]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、直接平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
[0305]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
[0306]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするための手段と、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積するための手段と、を備える。
[0307]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、
を計算するための手段を備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0308]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0309]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段は、
を計算するための手段を備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
[0310]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0311]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0312]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0313]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0314]別の例では、デバイスは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成するための手段を備える。
[0315]いくつかの例では、共通のフィルタを生成するための手段は、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントの加重平均を計算するための手段を備える。
[0316]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのうちのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの平均を計算するための手段を備える。
[0317]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの直接平均を計算するための手段を備える。
[0318]いくつかの例では、共通のフィルタを生成するための手段は、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するための手段を備える。
[0319]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算するための手段と、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段と、を備える。
[0320]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、直接平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
[0321]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
[0322]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするための手段と、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積するための手段と、を備える。
[0323]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、
を計算するための手段を備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0324]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのうちのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0325]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段は、
を計算するための手段を備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
[0326]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0327]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成するための手段を備える。
[0328]いくつかの例では、共通のフィルタを生成するための手段は、バイノーラル室内インパルス応答フィルタのサブグループのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの加重平均を計算するための手段を備える。
[0329]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの平均を計算するための手段を備える。
[0330]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの直接平均を計算するための手段を備える。
[0331]いくつかの例では、共通のフィルタを生成するための手段は、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するための手段を備える。
[0332]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算するための手段と、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段と、を備える。
[0333]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、直接平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
[0334]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
[0335]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするための手段と、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積するための手段と、を備える。
[0336]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、
を計算するための手段を備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
[0337]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0338]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段は、
を計算するための手段を備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
[0339]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
[0340]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用するための手段と、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用するための手段と、を備える。
[0341]いくつかの例では、音声信号のチャンネルに関する初期の適応的に決定された重みは、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って計算される。
[0342]いくつかの例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタに関する共通のフィルタを取得するための手段をさらに備え、ｉ番目のチャンネルに関するｉ番目の初期の適応的に決定された重み
は、
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
は共通のフィルタであり、
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
[0343]いくつかの例では、デバイスは、
を計算することによって、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用するための手段をさらに備え、
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0344]いくつかの例では、デバイスは、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合するための手段をさらに備え、
を計算することを備え、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
[0345]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
[0346]いくつかの例では、複数の階層要素は、球面調和係数を備える。
[0347]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
[0348]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを取得することと、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用することと、を行わせる命令をその上に記憶している。
[0349]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成させる命令をその上に記憶している。
[0350]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成させる命令をその上に記憶している。
[0351]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用することと、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用することと、を行わせる命令をその上に記憶している。
[0352]別の例では、デバイスは、任意の組合せを実施するように構成されたプロセッサを備え、例の任意の組合せの方法が上記を説明した。
[0353]別の例では、デバイスは、上記で説明した例のうちの任意の結合結合の方法の各ステップを実施するための手段を備える。
[0354]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、上記で説明した例のうちの任意の結合の方法を実施させる命令をその上に記憶している。
[0355]例に応じて、本明細書で説明された方法のいずれのある行為またはイベントは、異なる順序で実行可能であり、追加されてもよいし、マージされてもよいし、全体的に除外されてもよい（たとえば、すべての説明された行為またはイベントが方法の実施に必要とは限らない）ことを理解されたい。その上、ある例では、行為またはイベントは、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサによって、順次ではなく、同時に実行されることがある。さらに、本開示のある態様は、わかりやすいように、単一のデバイス、モジュール、またはユニットによって実行されると説明されているが、本開示の技法は、デバイス、ユニット、またはモジュールの組合せによって実行されてよいことを理解されたい。
[0356]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施されてよい。ソフトウェアで実施される場合、これらの機能は、コンピュータ可読媒体上に１つまたは複数の命令またはコードとして記憶または送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。
[0357]このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体または（２）信号もしくはキャリア波などの通信媒体に相当し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
[0358]例として、それに限定されず、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセス可能な他の任意の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
[0359]ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびｂｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上述の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0360]命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の統合された、もしくは個別の論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、「プロセッサ」という用語は、本明細書において、前述の構造のうちの任意のものまたは本明細書に記載される技法の実施のために適当な任意の他の構造を参照し得る。加えて、いくつかの態様では、本明細書に記載される機能性は、符号化および復号のために構成され、または組み合わされたコーデックに組み込まれる、専用のハードウェア内および／またはソフトウェアモジュール内で提供され得る。また、技法は、１つまたは複数の回路または論理素子内で完全に実施されてよい。
[0361]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実行するように構成されるデバイスの機能上の態様を強調するために、本開示に記載されるが、必ずしも異なるハードウェアユニットによる実現を求めるとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わされ、または、上記で説明した１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアと一緒に相互作用するハードウェアユニットの集合によって提供され得る。
[0362]本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
[0362]本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
音声信号をバイノーラル化する方法であって、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。
［Ｃ２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ１に記載の方法。
［Ｃ３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２に記載の方法。
［Ｃ４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ１に記載の方法。
［Ｃ５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ４に記載の方法。
［Ｃ６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、をさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、Ｃ１に記載の方法。
［Ｃ８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ１に記載の方法。
［Ｃ１０］
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、Ｃ１に記載の方法。
［Ｃ１１］
１つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。
［Ｃ１２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ１２に記載のデバイス。
［Ｃ１４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ１４に記載のデバイス。
［Ｃ１６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ１１に記載のデバイス。
［Ｃ２０］
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、Ｃ１１に記載のデバイス。
［Ｃ２１］
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。
［Ｃ２２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ２１に記載の装置。
［Ｃ２３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２２に記載の装置。
［Ｃ２４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ２１に記載の装置。
［Ｃ２５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２４に記載の装置。
［Ｃ２６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合するための手段と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、Ｃ２１に記載の装置。
［Ｃ２８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ２１に記載の装置。
［Ｃ３０］
実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
音声信号をバイノーラル化する方法であって、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。
［Ｃ２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ１に記載の方法。
［Ｃ３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２に記載の方法。
［Ｃ４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ１に記載の方法。
［Ｃ５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ４に記載の方法。
［Ｃ６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、をさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、Ｃ１に記載の方法。
［Ｃ８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ１に記載の方法。
［Ｃ１０］
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、Ｃ１に記載の方法。
［Ｃ１１］
１つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。
［Ｃ１２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ１２に記載のデバイス。
［Ｃ１４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ１４に記載のデバイス。
［Ｃ１６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ１１に記載のデバイス。
［Ｃ２０］
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、Ｃ１１に記載のデバイス。
［Ｃ２１］
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。
［Ｃ２２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ２１に記載の装置。
［Ｃ２３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２２に記載の装置。
［Ｃ２４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ２１に記載の装置。
［Ｃ２５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２４に記載の装置。
［Ｃ２６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合するための手段と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、Ｃ２１に記載の装置。
［Ｃ２８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ２１に記載の装置。
［Ｃ３０］
実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
Claims (30)
- 音声信号をバイノーラル化する方法であって、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
- 前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２に記載の方法。
- 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
- 前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項４に記載の方法。
- 前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、をさらに備える、請求項１に記載の方法。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、請求項１に記載の方法。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、請求項１に記載の方法。 - 前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１に記載の方法。
- 前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１に記載の方法。
- １つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
- 前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項１２に記載のデバイス。
- 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
- 前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項１４に記載のデバイス。
- 前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、請求項１１に記載のデバイス。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。 - 前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１１に記載のデバイス。
- 前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１１に記載のデバイス。
- 音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
- 前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２２に記載の装置。
- 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
- 前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２４に記載の装置。
- 前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合するための手段と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、請求項２１に記載の装置。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、請求項２１に記載の装置。 - 前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、請求項２１に記載の装置。 - 前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項２１に記載の装置。
- 実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361828620P | 2013-05-29 | 2013-05-29 | |
| US61/828,620 | 2013-05-29 | ||
| US201361847543P | 2013-07-17 | 2013-07-17 | |
| US61/847,543 | 2013-07-17 | ||
| US201361886593P | 2013-10-03 | 2013-10-03 | |
| US201361886620P | 2013-10-03 | 2013-10-03 | |
| US61/886,620 | 2013-10-03 | ||
| US61/886,593 | 2013-10-03 | ||
| US14/288,277 US9369818B2 (en) | 2013-05-29 | 2014-05-27 | Filtering with binaural room impulse responses with content analysis and weighting |
| US14/288,277 | 2014-05-27 | ||
| PCT/US2014/039864 WO2014194005A1 (en) | 2013-05-29 | 2014-05-28 | Filtering with binaural room impulse responses with content analysis and weighting |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016523466A true JP2016523466A (ja) | 2016-08-08 |
| JP2016523466A5 JP2016523466A5 (ja) | 2016-09-15 |
| JP6100441B2 JP6100441B2 (ja) | 2017-03-22 |
Family
ID=51985133
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016516795A Expired - Fee Related JP6227764B2 (ja) | 2013-05-29 | 2014-05-28 | バイノーラル室内インパルス応答を用いたフィルタリング |
| JP2016516798A Expired - Fee Related JP6067934B2 (ja) | 2013-05-29 | 2014-05-28 | 球面調和係数のバイノーラルレンダリング |
| JP2016516799A Expired - Fee Related JP6100441B2 (ja) | 2013-05-29 | 2014-05-28 | コンテンツ解析および重み付けを用いたバイノーラル室内インパルス応答によるフィルタリング |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016516795A Expired - Fee Related JP6227764B2 (ja) | 2013-05-29 | 2014-05-28 | バイノーラル室内インパルス応答を用いたフィルタリング |
| JP2016516798A Expired - Fee Related JP6067934B2 (ja) | 2013-05-29 | 2014-05-28 | 球面調和係数のバイノーラルレンダリング |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US9369818B2 (ja) |
| EP (3) | EP3005733B1 (ja) |
| JP (3) | JP6227764B2 (ja) |
| KR (3) | KR101719094B1 (ja) |
| CN (3) | CN105432097B (ja) |
| TW (1) | TWI615042B (ja) |
| WO (3) | WO2014194005A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019532579A (ja) * | 2016-10-28 | 2019-11-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 複数のオーディオソースの再生のためのバイノーラルレンダリング装置および方法 |
| WO2023085186A1 (ja) * | 2021-11-09 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Families Citing this family (131)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
| US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
| US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
| US8923997B2 (en) | 2010-10-13 | 2014-12-30 | Sonos, Inc | Method and apparatus for adjusting a speaker system |
| US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
| US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
| US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
| US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
| US8811630B2 (en) | 2011-12-21 | 2014-08-19 | Sonos, Inc. | Systems, methods, and apparatus to filter audio |
| US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
| US9131305B2 (en) * | 2012-01-17 | 2015-09-08 | LI Creative Technologies, Inc. | Configurable three-dimensional sound system |
| US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
| US9524098B2 (en) | 2012-05-08 | 2016-12-20 | Sonos, Inc. | Methods and systems for subwoofer calibration |
| USD721352S1 (en) | 2012-06-19 | 2015-01-20 | Sonos, Inc. | Playback device |
| US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
| US9668049B2 (en) | 2012-06-28 | 2017-05-30 | Sonos, Inc. | Playback device calibration user interfaces |
| US9690271B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration |
| US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
| US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
| US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
| US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
| US8965033B2 (en) | 2012-08-31 | 2015-02-24 | Sonos, Inc. | Acoustic optimization |
| US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
| USD721061S1 (en) | 2013-02-25 | 2015-01-13 | Sonos, Inc. | Playback device |
| CN108806704B (zh) | 2013-04-19 | 2023-06-06 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| CN104982042B (zh) | 2013-04-19 | 2018-06-08 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| US9369818B2 (en) | 2013-05-29 | 2016-06-14 | Qualcomm Incorporated | Filtering with binaural room impulse responses with content analysis and weighting |
| US9384741B2 (en) * | 2013-05-29 | 2016-07-05 | Qualcomm Incorporated | Binauralization of rotated higher order ambisonics |
| EP2840811A1 (en) * | 2013-07-22 | 2015-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder |
| EP2830043A3 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer |
| US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| EP3767970B1 (en) | 2013-09-17 | 2022-09-28 | Wilus Institute of Standards and Technology Inc. | Method and apparatus for processing multimedia signals |
| WO2015060654A1 (ko) * | 2013-10-22 | 2015-04-30 | 한국전자통신연구원 | 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치 |
| DE102013223201B3 (de) * | 2013-11-14 | 2015-05-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes |
| WO2015099429A1 (ko) | 2013-12-23 | 2015-07-02 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치 |
| US10382880B2 (en) * | 2014-01-03 | 2019-08-13 | Dolby Laboratories Licensing Corporation | Methods and systems for designing and applying numerically optimized binaural room impulse responses |
| US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
| EP3122073B1 (en) | 2014-03-19 | 2023-12-20 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and apparatus |
| JP6442037B2 (ja) * | 2014-03-21 | 2018-12-19 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | 室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する装置および方法、ならびに対応するコンピュータプログラム |
| KR101856540B1 (ko) | 2014-04-02 | 2018-05-11 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
| USD883956S1 (en) | 2014-08-13 | 2020-05-12 | Sonos, Inc. | Playback device |
| US10349197B2 (en) | 2014-08-13 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and device for generating and playing back audio signal |
| US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
| US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
| US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
| US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
| US9774974B2 (en) * | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
| US9560464B2 (en) * | 2014-11-25 | 2017-01-31 | The Trustees Of Princeton University | System and method for producing head-externalized 3D audio through headphones |
| US9973851B2 (en) | 2014-12-01 | 2018-05-15 | Sonos, Inc. | Multi-channel playback of audio content |
| WO2016130834A1 (en) | 2015-02-12 | 2016-08-18 | Dolby Laboratories Licensing Corporation | Reverberation generation for headphone virtualization |
| US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
| WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
| USD886765S1 (en) | 2017-03-13 | 2020-06-09 | Sonos, Inc. | Media playback device |
| US20170085972A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Media Player and Media Player Design |
| USD768602S1 (en) | 2015-04-25 | 2016-10-11 | Sonos, Inc. | Playback device |
| USD920278S1 (en) | 2017-03-13 | 2021-05-25 | Sonos, Inc. | Media playback device with lights |
| USD906278S1 (en) | 2015-04-25 | 2020-12-29 | Sonos, Inc. | Media player device |
| US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
| US9729118B2 (en) | 2015-07-24 | 2017-08-08 | Sonos, Inc. | Loudness matching |
| US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
| US10932078B2 (en) | 2015-07-29 | 2021-02-23 | Dolby Laboratories Licensing Corporation | System and method for spatial processing of soundfield signals |
| US9736610B2 (en) | 2015-08-21 | 2017-08-15 | Sonos, Inc. | Manipulation of playback device response using signal processing |
| US9712912B2 (en) | 2015-08-21 | 2017-07-18 | Sonos, Inc. | Manipulation of playback device response using an acoustic filter |
| US10978079B2 (en) * | 2015-08-25 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Audio encoding and decoding using presentation transform parameters |
| AU2016312404B2 (en) | 2015-08-25 | 2020-11-26 | Dolby International Ab | Audio decoder and decoding method |
| US10262677B2 (en) * | 2015-09-02 | 2019-04-16 | The University Of Rochester | Systems and methods for removing reverberation from audio signals |
| USD1043613S1 (en) | 2015-09-17 | 2024-09-24 | Sonos, Inc. | Media player |
| US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
| JP6437695B2 (ja) | 2015-09-17 | 2018-12-12 | ソノズ インコーポレイテッド | オーディオ再生デバイスのキャリブレーションを容易にする方法 |
| EP3402221B1 (en) * | 2016-01-08 | 2020-04-08 | Sony Corporation | Audio processing device and method, and program |
| US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
| US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
| US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
| US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
| US10142755B2 (en) * | 2016-02-18 | 2018-11-27 | Google Llc | Signal processing methods and systems for rendering audio on virtual loudspeaker arrays |
| US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
| US9881619B2 (en) | 2016-03-25 | 2018-01-30 | Qualcomm Incorporated | Audio processing for an acoustical environment |
| WO2017165968A1 (en) * | 2016-03-29 | 2017-10-05 | Rising Sun Productions Limited | A system and method for creating three-dimensional binaural audio from stereo, mono and multichannel sound sources |
| US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
| US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
| US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
| JP6821699B2 (ja) * | 2016-04-20 | 2021-01-27 | ジェネレック・オーワイＧｅｎｅｌｅｃ Ｏｙ | アクティブモニタリングヘッドホンとそれの反転を正則化する方法 |
| CN105792090B (zh) * | 2016-04-27 | 2018-06-26 | 华为技术有限公司 | 一种增加混响的方法与装置 |
| EP3472832A4 (en) * | 2016-06-17 | 2020-03-11 | DTS, Inc. | DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING |
| US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
| US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
| US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
| US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
| CN106412793B (zh) * | 2016-09-05 | 2018-06-12 | 中国科学院自动化研究所 | 基于球谐函数的头相关传输函数的稀疏建模方法和系统 |
| EP3293987B1 (en) | 2016-09-13 | 2020-10-21 | Nokia Technologies Oy | Audio processing |
| US10412473B2 (en) | 2016-09-30 | 2019-09-10 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
| USD827671S1 (en) | 2016-09-30 | 2018-09-04 | Sonos, Inc. | Media playback device |
| USD851057S1 (en) | 2016-09-30 | 2019-06-11 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
| US10492018B1 (en) | 2016-10-11 | 2019-11-26 | Google Llc | Symmetric binaural rendering for high-order ambisonics |
| US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
| WO2018073759A1 (en) * | 2016-10-19 | 2018-04-26 | Audible Reality Inc. | System for and method of generating an audio image |
| EP3312833A1 (en) * | 2016-10-19 | 2018-04-25 | Holosbase GmbH | Decoding and encoding apparatus and corresponding methods |
| US9992602B1 (en) | 2017-01-12 | 2018-06-05 | Google Llc | Decoupled binaural rendering |
| US10009704B1 (en) | 2017-01-30 | 2018-06-26 | Google Llc | Symmetric spherical harmonic HRTF rendering |
| US10158963B2 (en) * | 2017-01-30 | 2018-12-18 | Google Llc | Ambisonic audio with non-head tracked stereo based on head position and time |
| JP7038725B2 (ja) * | 2017-02-10 | 2022-03-18 | ガウディオ・ラボ・インコーポレイテッド | オーディオ信号処理方法及び装置 |
| DE102017102988B4 (de) | 2017-02-15 | 2018-12-20 | Sennheiser Electronic Gmbh & Co. Kg | Verfahren und Vorrichtung zur Verarbeitung eines digitalen Audiosignals für binaurale Wiedergabe |
| US11200906B2 (en) * | 2017-09-15 | 2021-12-14 | Lg Electronics, Inc. | Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information |
| US10388268B2 (en) * | 2017-12-08 | 2019-08-20 | Nokia Technologies Oy | Apparatus and method for processing volumetric audio |
| US10523171B2 (en) | 2018-02-06 | 2019-12-31 | Sony Interactive Entertainment Inc. | Method for dynamic sound equalization |
| US10652686B2 (en) | 2018-02-06 | 2020-05-12 | Sony Interactive Entertainment Inc. | Method of improving localization of surround sound |
| US11929091B2 (en) | 2018-04-27 | 2024-03-12 | Dolby Laboratories Licensing Corporation | Blind detection of binauralized stereo content |
| EP4093057A1 (en) | 2018-04-27 | 2022-11-23 | Dolby Laboratories Licensing Corp. | Blind detection of binauralized stereo content |
| US10872602B2 (en) | 2018-05-24 | 2020-12-22 | Dolby Laboratories Licensing Corporation | Training of acoustic models for far-field vocalization processing systems |
| WO2020014506A1 (en) * | 2018-07-12 | 2020-01-16 | Sony Interactive Entertainment Inc. | Method for acoustically rendering the size of a sound source |
| US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
| US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
| US11272310B2 (en) * | 2018-08-29 | 2022-03-08 | Dolby Laboratories Licensing Corporation | Scalable binaural audio stream generation |
| WO2020044244A1 (en) | 2018-08-29 | 2020-03-05 | Audible Reality Inc. | System for and method of controlling a three-dimensional audio engine |
| US11503423B2 (en) * | 2018-10-25 | 2022-11-15 | Creative Technology Ltd | Systems and methods for modifying room characteristics for spatial audio rendering over headphones |
| US11304021B2 (en) | 2018-11-29 | 2022-04-12 | Sony Interactive Entertainment Inc. | Deferred audio rendering |
| CN109801643B (zh) * | 2019-01-30 | 2020-12-04 | 龙马智芯（珠海横琴）科技有限公司 | 混响抑制的处理方法和装置 |
| US11076257B1 (en) * | 2019-06-14 | 2021-07-27 | EmbodyVR, Inc. | Converting ambisonic audio to binaural audio |
| US11341952B2 (en) * | 2019-08-06 | 2022-05-24 | Insoundz, Ltd. | System and method for generating audio featuring spatial representations of sound sources |
| US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
| CN112578434A (zh) * | 2019-09-27 | 2021-03-30 | 中国石油化工股份有限公司 | 一种最小相位无限脉冲响应滤波方法及滤波系统 |
| US11967329B2 (en) * | 2020-02-20 | 2024-04-23 | Qualcomm Incorporated | Signaling for rendering tools |
| JP7147804B2 (ja) * | 2020-03-25 | 2022-10-05 | カシオ計算機株式会社 | 効果付与装置、方法、およびプログラム |
| FR3113993B1 (fr) * | 2020-09-09 | 2023-02-24 | Arkamys | Procédé de spatialisation sonore |
| WO2022108494A1 (en) * | 2020-11-17 | 2022-05-27 | Dirac Research Ab | Improved modeling and/or determination of binaural room impulse responses for audio applications |
| CN116189698A (zh) * | 2021-11-25 | 2023-05-30 | 广州视源电子科技股份有限公司 | 语音增强模型的训练方法及装置、存储介质及设备 |
| WO2024089034A2 (en) * | 2022-10-24 | 2024-05-02 | Brandenburg Labs Gmbh | Audio signal processor and related method and computer program for generating a two-channel audio signal using a specific separation and combination processing |
| WO2024163721A1 (en) * | 2023-02-01 | 2024-08-08 | Qualcomm Incorporated | Artificial reverberation in spatial audio |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292544A1 (en) * | 2006-07-07 | 2009-11-26 | France Telecom | Binaural spatialization of compression-encoded sound data |
| JP2010508545A (ja) * | 2007-02-14 | 2010-03-18 | エルジー エレクトロニクス インコーポレイティド | オブジェクトベースのオーディオ信号の符号化及び復号化方法並びにその装置 |
| JP2011066868A (ja) * | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5371799A (en) * | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
| DE4328620C1 (de) | 1993-08-26 | 1995-01-19 | Akg Akustische Kino Geraete | Verfahren zur Simulation eines Raum- und/oder Klangeindrucks |
| US5955992A (en) * | 1998-02-12 | 1999-09-21 | Shattil; Steve J. | Frequency-shifted feedback cavity used as a phased array antenna controller and carrier interference multiple access spread-spectrum transmitter |
| ATE501606T1 (de) | 1998-03-25 | 2011-03-15 | Dolby Lab Licensing Corp | Verfahren und vorrichtung zur verarbeitung von audiosignalen |
| FR2836571B1 (fr) * | 2002-02-28 | 2004-07-09 | Remy Henri Denis Bruno | Procede et dispositif de pilotage d'un ensemble de restitution d'un champ acoustique |
| FR2847376B1 (fr) | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
| FI118247B (fi) * | 2003-02-26 | 2007-08-31 | Fraunhofer Ges Forschung | Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa |
| US8027479B2 (en) | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
| CN103716748A (zh) * | 2007-03-01 | 2014-04-09 | 杰里·马哈布比 | 音频空间化及环境模拟 |
| US20080273708A1 (en) * | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
| WO2009046223A2 (en) | 2007-10-03 | 2009-04-09 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| WO2010070016A1 (en) | 2008-12-19 | 2010-06-24 | Dolby Sweden Ab | Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters |
| GB2478834B (en) * | 2009-02-04 | 2012-03-07 | Richard Furse | Sound system |
| NZ587483A (en) | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
| EP2423702A1 (en) | 2010-08-27 | 2012-02-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for resolving ambiguity from a direction of arrival estimate |
| US9641951B2 (en) | 2011-08-10 | 2017-05-02 | The Johns Hopkins University | System and method for fast binaural rendering of complex acoustic scenes |
| US9369818B2 (en) | 2013-05-29 | 2016-06-14 | Qualcomm Incorporated | Filtering with binaural room impulse responses with content analysis and weighting |
| JP6458738B2 (ja) | 2013-11-19 | 2019-01-30 | ソニー株式会社 | 音場再現装置および方法、並びにプログラム |
| DE112014005332T5 (de) | 2013-11-22 | 2016-08-04 | Jtekt Corporation | Kegelrollenlager und Kraftübertragungsvorrichtung |
-
2014
- 2014-05-27 US US14/288,277 patent/US9369818B2/en not_active Expired - Fee Related
- 2014-05-27 US US14/288,293 patent/US9674632B2/en active Active
- 2014-05-27 US US14/288,276 patent/US9420393B2/en active Active
- 2014-05-28 JP JP2016516795A patent/JP6227764B2/ja not_active Expired - Fee Related
- 2014-05-28 WO PCT/US2014/039864 patent/WO2014194005A1/en active Application Filing
- 2014-05-28 JP JP2016516798A patent/JP6067934B2/ja not_active Expired - Fee Related
- 2014-05-28 WO PCT/US2014/039848 patent/WO2014193993A1/en active Application Filing
- 2014-05-28 CN CN201480042431.2A patent/CN105432097B/zh active Active
- 2014-05-28 CN CN201480035798.1A patent/CN105325013B/zh active Active
- 2014-05-28 CN CN201480035597.1A patent/CN105340298B/zh active Active
- 2014-05-28 EP EP14733454.4A patent/EP3005733B1/en active Active
- 2014-05-28 EP EP14733859.4A patent/EP3005735B1/en active Active
- 2014-05-28 JP JP2016516799A patent/JP6100441B2/ja not_active Expired - Fee Related
- 2014-05-28 KR KR1020157036270A patent/KR101719094B1/ko active IP Right Grant
- 2014-05-28 WO PCT/US2014/039863 patent/WO2014194004A1/en active Application Filing
- 2014-05-28 KR KR1020157036321A patent/KR101788954B1/ko active IP Right Grant
- 2014-05-28 KR KR1020157036325A patent/KR101728274B1/ko active IP Right Grant
- 2014-05-28 EP EP14733457.7A patent/EP3005734B1/en active Active
- 2014-05-29 TW TW103118865A patent/TWI615042B/zh not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292544A1 (en) * | 2006-07-07 | 2009-11-26 | France Telecom | Binaural spatialization of compression-encoded sound data |
| JP2010508545A (ja) * | 2007-02-14 | 2010-03-18 | エルジー エレクトロニクス インコーポレイティド | オブジェクトベースのオーディオ信号の符号化及び復号化方法並びにその装置 |
| JP2011066868A (ja) * | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019532579A (ja) * | 2016-10-28 | 2019-11-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 複数のオーディオソースの再生のためのバイノーラルレンダリング装置および方法 |
| WO2023085186A1 (ja) * | 2021-11-09 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6100441B2 (ja) | コンテンツ解析および重み付けを用いたバイノーラル室内インパルス応答によるフィルタリング | |
| US20210337335A1 (en) | Method and apparatus for processing multimedia signals | |
| US9384741B2 (en) | Binauralization of rotated higher order ambisonics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160728 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160728 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160728 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6100441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |