JP2015506653A - オーディオ処理 - Google Patents

オーディオ処理 Download PDF

Info

Publication number
JP2015506653A
JP2015506653A JP2014556112A JP2014556112A JP2015506653A JP 2015506653 A JP2015506653 A JP 2015506653A JP 2014556112 A JP2014556112 A JP 2014556112A JP 2014556112 A JP2014556112 A JP 2014556112A JP 2015506653 A JP2015506653 A JP 2015506653A
Authority
JP
Japan
Prior art keywords
signal
channel
downmix
processing system
audio processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014556112A
Other languages
English (en)
Other versions
JP6049762B2 (ja
Inventor
クヨーリング,クリストファー
プルンハーゲン,ヘイコ
ヨナス ローエデン,カール
ヨナス ローエデン,カール
セルストロム,レイフ
ヴィレモーズ,ラーシュ
Original Assignee
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2015506653A publication Critical patent/JP2015506653A/ja
Application granted granted Critical
Publication of JP6049762B2 publication Critical patent/JP6049762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

空間的合成のためのオーディオ処理システム(100)が、デコードされたmチャネル・ダウンミックス信号(X)を受領し、それに基づいて、nチャネル・アップミックス信号(Y)を出力するアップミックス段(110)を有しており、2≰m<nである。前記アップミックス段は、前記mチャネル・ダウンミックス信号を受領し、前記ダウンミックス信号のクロスミックスおよび非線形処理によって得られる修正されたダウンミックス信号(d1,d2)を出力するダウンミックス修正処理器(120)を有し、前記ダウンミックス信号および前記修正されたダウンミックス信号を受領し、前記ダウンミックス信号チャネルおよび修正されたダウンミックス信号チャネルのみのnチャネル線形結合を形成し、これを前記nチャネル・アップミックス信号として出力する第一の混合行列(130)をさらに有する。ある実施形態では、第一の混合行列は、第一の混合行列によって実行される線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(g,α1,…)を受け容れる。利得は、次数≰2の多項式である。

Description

関連出願への相互参照
本願は2012年2月24日に出願された米国仮特許出願第61/603,001号および2012年5月11日に出願された米国仮特許出願第61/645,809号の優先権を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。
技術分野
本稿に開示される発明は、概括的には多チャネル・オーディオ符号化に、より詳細にはパラメトリック多チャネル・オーディオ・エンコードおよびデコードのための技法に関する。
パラメトリック・ステレオおよび多チャネル符号化方法は、聴取品質の点でスケーラブルかつ効率的であることが知られており、そのため低ビットレート・アプリケーションにおいて特に魅力的なものとなっている。パラメトリック符号化方法は典型的には、優れた符号化効率をもたらすが、時に大量の計算または実装時の高度な構造上の複雑さ(中間バッファなど)を伴うことがある。そのような方法の例については、特許文献1を参照。
欧州特許第1410687号明細書 欧州特許第1616461号明細書
既存のステレオ符号化方法は、帯域幅効率、計算効率および/または堅牢さの観点から改善されうる。ダウンミックス信号における欠陥に対する堅牢さは、一時的に信号を歪めることがあるコア符号化器に依拠するアプリケーションでは特に重要である。しかしながら、いくつかの従来技術のシステムでは、ダウンミックス信号における誤りは伝搬し、増加しうる。最も限られた処理パワーをもちうる多機能ポータブル消費者装置を含む幅広い範囲の装置のために意図された符号化方法は、瞬間的な処理能力に関してもバッテリー放電サイクルにわたっての全エネルギー使用に関しても、所与の装置において利用可能な資源の不相応な分け前を要求することがないよう、計算上簡素であるべきでもある。ある魅力的な符号化方法は、ハードウェアにおいて少なくとも一つの簡単かつ効率的な実装をも可能にしうる。そのような符号化方法が、利用可能な計算、記憶および帯域幅の資源を、どのようにして知覚される聴取品質に最も効率的に貢献するところで費消するかについての判断は、些細ではないタスクであり、時間のかかる聴取試験を必要とすることがある。
本発明の実施形態について、これから付属の図面を参照しつつ述べる。
空間的合成を実行するためのオーディオ処理システムの一般化されたブロック図である。 図1のシステムの詳細を示す図である。 図1と同様に、空間的合成を実行するオーディオ処理システムを示す図である。 空間的分解を実行するオーディオ処理システムを示す図である。 すべての図面は概略的であり、一般に、本発明を明快にするために必要な部分を示すのみである。一方で、他の部分は省略したり、示唆するにとどめていることがある。特に断わりのない限り、同様の参照符号は異なる図面において同様の部分を指す。
I.概観
本発明のある例示的な実施形態は、パラメトリック符号化された多チャネル・オーディオの分解および合成を可能にする方法および装置を提案する。本発明のある例示的な実施形態は、独立請求項に記載される特徴をもつ、空間的合成方法、空間的分解方法およびそれらの方法を実行するための装置およびコンピュータ・プログラム・プロダクトを提供する。
本発明の第一の例示的な実施形態は、空間的合成を実行するためのオーディオ処理システムを提供する。本システムは、デコードされたmチャネル・ダウンミックス信号Xを受領し、それに基づいて、nチャネル・アップミックス信号Yを出力するよう適応されたアップミックス段を有する。ここで、2≦m<nである。アップミックス段は:
・前記mチャネル・ダウンミックス信号を受領し、前記ダウンミックス信号のクロスミックスおよび非線形処理によって得られる修正されたダウンミックス信号Dを出力するダウンミックス修正処理器と;
・前記ダウンミックス信号および前記修正されたダウンミックス信号を受領し、前記ダウンミックス信号チャネルおよび前記修正されたダウンミックス信号チャネルのみのnチャネル線形結合を形成し、これを前記nチャネル・アップミックス信号として出力する第一の混合行列とを有する。
本発明によれば、前記ダウンミックス信号および前記修正されたダウンミックス信号以外の信号は前記アップミックス信号に寄与しない。可能性としては中間的な非線形演算(たとえば脱相関に関係した処理)を含む複数の縦続した混合行列をもつ代わりに、前記混合行列は前記ダウンミックス信号に対して直接作用する。本システムのこの構造および下記で述べるパラメータ化により、エンコーダにおける、並列の事前定義されたダウンミックスが提供できる。たとえば、前記ダウンミックス信号は、必ずしも、フレームごとの信号適応ダウンミックスが使われる場合に典型的にそうであるように、縦続した(そして可能性としては木構造の)パラメータ抽出を通じて得られるのではない。その代わり、本発明の実施形態によれば、ダウンミックスおよびパラメータ抽出は、いかなる情報も交換する必要がない、および/または同期される必要がない並列な独立したプロセスとして実行されてもよい。さらに、出力チャネルが中間の推定されるチャネルから演繹される従来技術のパラメータ化方式に比べ、以下で述べるパラメータ化は、ダウンミックス信号における欠陥に対してより堅牢である。もう一つの利点として、このパラメータ化は、安価な(たとえば中間的な値のための限られた量のバッファ空間をもつ)ハードウェアで実装されうる。
第二の例示的な実施形態は、空間的分解を実行するための、たとえば前記合成システムによってデコードされるエンコードされたオーディオ・データをブロードキャスト、ストリーミング、転送または記憶することによって前記第一の例示的な実施形態と協働するよう適応されたオーディオ処理システムを提供する。本システムは、ダウンミックス段およびパラメータ抽出器を含む。本発明によれば、ダウンミックス段およびパラメータ抽出器は、独立して動作する。たとえば、たとえパラメータ抽出器が周波数変化する混合パラメータを生成するとしても、ダウンミックス段はオーディオ信号の時間領域表現に対して作用してもよい。これが可能なのは、ダウンミックス段が事前定義された型のダウンミックス処理を実行し、該事前定義された型はパラメータ抽出器に知られているまたは通信されるからである。ダウンミックス段は信号を時間領域で処理するので、実質的にアルゴリズム的遅延なしに動作しうる。これは、ダウンミックス段がエネルギー保存などを要求する条件を適用しない場合に特にそうである。さもなければそうした条件がブロック指向の実装を必要とし、その場合、ダウンミックス信号は0でない長さのセグメントとして生成され、そのようなセグメントに対して前記条件が課される。しかしながら、時間領域ダウンミックスを適用する実施形態では、(nチャネル)入力と(mチャネル)出力との間の遅延があったとしてもそれは、十分な処理資源を割り当てることによって実質的に0に低下させられうる。
ある例示的な実施形態では、ダウンミックス信号は2チャネル・ステレオ信号であり、アップミックス信号は5.1チャネル信号(n=6)である。
ある例示的な実施形態では、アップミックス信号における空間的に左および右のチャネル(これらのチャネルはアップミックス信号中のチャネルのセットと見なしてもよい;該セットはアップミックス信号におけるチャネルの真部分集合であってもよい)を得るために適用されるすべての利得は、混合パラメータの一つまたは複数の多項式である。ここで、各多項式の次数は2以下である。これは、混合パラメータに基づく混合行列要素の安価な計算を提供する。この点に関する改善は、いくつかの行列要素が有限回の演算で厳密に計算できない(たとえば行列要素が混合パラメータの三角関数である)パラメータ方式との比較で特に顕著である。チャネルのこのセットについて低次多項式である利得を使うことのもう一つの利点は、それらの利得が、それぞれ高々二つの混合パラメータの積である項を含むということである。これは、利得が三つ以上の混合パラメータの積である項を含んでいた場合よりも、誤り伝搬のリスクが低いことを含意する。また、たとえば三つの混合パラメータの積でパラメータすべてがその厳密な値より大きい場合のように、三つ以上の誤った混合パラメータが建設的に協働してしまう項をもつリスクについても含意する。実際、本例示的実施形態によれば、異なる符号をもった誤りが打ち消し合う可能性が高まる。この例に対するある個別的な変形では、アップミックス信号におけるチャネルを得るために適用される利得は高々次数2の多項式である。
ある例示的な実施形態では、ダウンミックス信号内のチャネルに適用される利得は、修正されたダウンミックス信号内のチャネルに適用される利得とは異なる仕方でエンコードされる。この例示的な実施形態では、ダウンミックス信号内のチャネルに適用される利得は、混合パラメータの次数2の多項式であり、修正されたダウンミックス信号内のチャネルに適用される利得は混合パラメータの次数0または1の多項式である。この手法により、修正されたダウンミックス信号に適用される利得はそれほど制御可能ではないが、場合次第で、消費する帯域幅または記憶スペースも小さくなる。逆に、欠陥(たとえば誤り、アーチファクト)が最も可聴でありうるチャネルからの寄与は、単一の混合パラメータをもつ項に加えて二つの混合パラメータの積である項を含む利得によって制御される。これは、粒度の細かい制御可能性および高度な統計的モデル化を許容する。よって、帯域幅はより効率的に使用される。
上記の例示的実施形態のあるさらなる発展では、修正されたダウンミックス信号内のチャネルに適用される利得の一部をなす混合パラメータは一様量子化される。
ある例示的な実施形態では、ダウンミックス信号内およびアップミックス信号内の空間的に対応するチャネルの間には直接的な関係がある。空間的に対応するチャネルの例は:(1)ダウンミックス信号における左チャネルとアップミックスにおけるすべての左のチャネル(通常の左、前方左、中央の左、左上、左サラウンド、直接左サラウンド、後方左サラウンド、左ワイド);(2)ダウンミックス信号における中央チャネルとアップミックスにおける中央チャネルである。直接的な関係は、ダウンミックス信号内のチャネルの変動は、アップミックス信号内の空間的に対応するチャネル(単数または複数)に対して独立に制御可能な影響をもつことを含意しうる。より精密には、ダウンミックス信号内のあるチャネルからの、アップミックス信号内の空間的に対応するチャネルへの寄与は、独立な混合パラメータgを、次の例示的な式のようにして変えることによって、個々に制御可能である。
Figure 2015506653
ここで、左辺はアップミックス信号を表わし、この例ではp≧1個の左型チャネルおよびp≧1個の右型チャネルおよび「*」によって表わされる、左型の性質も右型の性質ももたない任意の数のさらなるチャネルを含んでいる。右辺の第一項の最後の因子はダウンミックス信号を表わし、fはダウンミックス信号Xおよび修正されたダウンミックス信号D内のチャネルのn次元線形結合である(ここで、関数fはさらに、可能性としてはパラメータg自身を含む、さらなる混合パラメータに依存していてもよい)。上記の例示的実施形態の効果と同様に、パラメータ化のこの特定の側面は、アップミックス信号の本発明者が最も可聴であることを見出した諸側面が高度の制御可能性を関連付けられることを達成するという目的をもった、利用可能な帯域幅を費消する意識的な仕方を表わしている。逆に、それほど知覚可能でないと判明したところではより大きな(潜在的な)不正確さが受け容れられる。この例示的実施形態のあるさらなる発展では、ダウンミックス信号内のチャネルに対する空間的対応があるチャネルは、利得に応じてダウンミックス信号Xおよび修正されたダウンミックス信号Dからの寄与を受ける。ただし、その利得は一様に量子化されたパラメータのみによって制御可能である。さらに好ましくは、上記の式に現われる混合パラメータgは非一様量子化される。その代わり、平均量子化誤差を低減するために洗練された分解能が使われる。たとえば、混合パラメータgは、対数または指数関数的な間隔のきざみに関して量子化されてもよい。アップミックス信号は、ダウンミックス信号Xおよび/または修正されたダウンミックス信号Dからの寄与を受けるさらなる信号を含んでいてもよい。これらのさらなる信号、たとえば低域効果(low frequency effects)または中央チャネルは、ダウンミックス内の信号に空間的に無関係であってもよい。
ある例示的な実施形態では、ビットストリーム中にエンコードされた混合パラメータの一つは、利得パラメータと称される二つの数k1、k2を制御する。さらに、第一の行列によって実行される線形結合における一つまたは複数の利得は、これらの利得パラメータの一つに線形に依存する。すなわち、各利得の大きさは利得パラメータの一つに比例する。好ましくは、関連する一つまたは複数の利得は、左型または右型のチャネルではなく、横方向に特徴付けられないチャネル、たとえば中央、低域効果、高さなどを得るために適用される。上記二つの利得パラメータは独立に制御可能ではないので、それらのパラメータを、一つの混合パラメータによってエンコードすることが十分である。これは帯域幅の節約になる。本発明者は、この帯域幅の節約が、知覚される音質に対して悪影響をもたないことを認識するに至った。
ある例示的な実施形態では、混合パラメータは周波数依存である。より精密には、システムによって処理されるオーディオ信号は共通の時間/周波数タイリングを共有し、混合パラメータは共通の時間/周波数タイリングを共有する。周波数に関して、信号およびパラメータは周波数サブバンドに分割される。オーディオ信号のサブバンドは、これらのサブバンド内のスペクトル内容を表わす。一方、混合パラメータのサブバンドは、第一の混合行列によって実行される線形結合においてオーディオ信号の周波数サブバンドに適用されるべき利得を制御する。所与の時間フレームについて、すべての信号は一つの共通のサブバンド構成をもち、すべての混合パラメータは一つの共通のサブバンド構成をもつ。信号のサブバンド構成は、混合パラメータのサブバンド構成より細かくてもよい。たとえば、一つの混合パラメータ・サブバンドが二つ以上の信号サブバンドの利得を制御する。二つのサブバンド構成の間によく定義されたマッピングが存在していてもよい。サブバンド構成は、一つの幅がすべての帯域に適用されるよう一様であっても、あるいは非一様であって、音響心理学的により敏感な周波数範囲ではより細かい周波数分解能が選ばれてもよい。
上記のような周波数依存の混合パラメータを含むある例示的な実施形態では、すべての周波数サブバンドが一様な分解能(たとえば、離散的な値スケール、離散的な等距離の値スケールまたは離散的なインデックスに関連付けられているルックアップテーブル)に関して量子化される少なくとも一つの混合パラメータがある。これは、混合パラメータに基づいて第一の混合行列に値を入れる処理を簡単にする。特に、一様な分解能は、この混合パラメータのすべての周波数サブバンドに共通であることがある。一般に、エンコード方式の選択は空間的効率(たとえば、必要とされる伝送される帯域幅に対するビットレートの比)およびデータ転送フォーマットの他の性能指数に対して影響がある。
ある例示的実施形態では、本システムは、すべての周波数サブバンドに対して質的に一様な仕方でアップミックス信号を生成するよう構成されている。特に、第一の混合行列の同じパラメータ化がすべての周波数サブバンドに対して使われる。本発明者は、本システムが質的な扱いに関して異なる周波数範囲(たとえばサブバンドのセット)の間の区別をしないとしても本システムによって生成される経験される出力品質は競争力があることを認識するに至った。にもかかわらず、混合パラメータ値が変わりうる限り、周波数サブバンド間には定量的な変動がある。
ある例示的実施形態では、本オーディオ処理システムまたは少なくとも前記ダウンミックス修正処理器および前記第一の混合行列は、ダウンミックスおよびアップミックス信号の部分的に複素な周波数領域表現に対して作用する。帯域幅を節約するために音響心理学的にそれほど敏感でない周波数範囲においては臨界サンプリング(実データのみ)が使用されうるものの、可聴なエイリアシング関係のアーチファクトを防ぐよう、他所では過臨界表現(完全に複素なデータ)が使われる。この目的のため、オーディオ処理システムは実から複素への変換段を含んでいてもよい。
ある例示的実施形態では、ダウンミックス修正処理器は、中間信号Zを生成する第二の混合行列および脱相関器を有する。脱相関器は、無限インパルス応答フィルタまたはこの型の接続された諸フィルタの配置であってもよい。脱相関器はアーチファクト減衰器を含む。該アーチファクト減衰器は、中間信号における音の終わり(sound endings)を検出し、音の終わりの検出された諸位置に基づいて脱相関された信号Dにおける望ましくないアーチファクトを減衰させる。特に、脱相関器が残響ユニットを含む場合、望まれない残響尾部はこのようにして除去されるまたは聞こえないようにされることができる。アーチファクト減衰器に関するさらなる詳細は、たとえば特許文献1の0016段および特許文献2の0051段に見出されうる。ダウンミックス修正処理器は非線形動作を実行するので、第一および第二の行列は、信号自身に関して定数である要素をもつ単一の行列として表現することはできない。
空間的分解を実行するためのオーディオ処理システムとしての本発明のある例示的実施形態では、ダウンミックス段はITU-R BS.775勧告において規定されているようなダウンミックス利得を適用する。
ある例示的実施形態では、本発明は、オーディオ信号の記憶または伝送のためのデータ構造を提供する。本構造は、mチャネル・ダウンミックス信号Xおよび一つまたは複数の混合パラメータα1、α2、α3、β1、β2、β3、g、k1、k2を含み、前記ダウンミックス信号チャネルおよび修正されたダウンミックス信号チャネルのみのnチャネル線形結合を形成し、これをnチャネル・アップミックス信号として出力することによるデコードを受けられる。ここで、2≦m<nであり、前記修正されたダウンミックス信号は、前記ダウンミックス信号のクロスミックスおよび非線形処理によって得られ、前記一つまたは複数の制御パラメータは前記線形結合における少なくとも一つの利得を制御する。特に、本発明は、上記のデータ構造によって構成される情報を記憶するコンピュータ可読媒体を提供する。
従属請求項は本発明のさらなる例示的実施形態を定義する。本発明は、異なる請求項に記載されていたとしても、諸特徴のあらゆる組み合わせに関する。
II.例示的実施形態
図1は、オーディオ処理システム100としての本発明のある例示的実施形態をブロック図の形で示している。ビットストリームPから、オーディオ・デコーダ140はダウンミックス信号X=[l0 r0]Tおよび混合パラメータα1、α2、α3、β1、β2、β3、g、k1、k2を抽出する。これらの混合パラメータは、ビットストリームP中のそれぞれの混合パラメータ・データ・フィールドにおいて量子化された形で含まれる。本開示のいくつかの事例では、いくつかの接続線は、多チャネル信号を伝送するよう適応されていることが明示的に示されている。その場合、これらの線はそれぞれのチャネル数に隣接して横断線を付されている。図1に示したシステムでは、ダウンミックス信号Xは二つのチャネルを含み、下記で定義するアップミックス信号Yは六つのチャネルを含む。よって、m=2、n=6である。混合パラメータにパラメトリックに依存する動作をするアップミックス段110は、ダウンミックス信号を受領する。ダウンミックス修正処理器120が前記ダウンミックス信号を、非線形処理によっておよび前記ダウンミックス信号の線形結合を形成することによって修正し、それにより修正されたダウンミックス信号D=[d1 d2]Tを得る。第一の混合行列130はダウンミックス信号Xおよび修正されたダウンミックス信号Dを受領して、次の線形結合を形成することによって、アップミックス信号Y=[lf ls rf rs c lfe]Tを出力する。
Figure 2015506653
上記の線形結合において、混合パラメータα3はダウンミックス信号から形成される中央型信号(l0+r0に比例)の、アップミックス信号中の全チャネルへの寄与を制御する。混合パラメータβ3は、横型信号(l0−r0に比例)の、アップミックス信号中の全チャネルへの寄与を制御する。よって、ある使用事例において、混合パラメータα3およびβ3が異なる統計的属性をもつことが合理的に期待されうる。これがより効率的な符号化を可能にする。(比較として、独立な混合パラメータα′、β′がダウンミックス信号からのそれぞれの左チャネルおよび右チャネルの、アップミックス信号中の空間的に左および右のチャネルへの寄与を制御する参照パラメータ化を考えると、そのような混合パラメータα′、β′の統計的観測可能量は顕著に異ならないことがあることがわかる。)
上記の式に示される線形結合に戻ると、さらに、利得パラメータk1、k2はビットストリームP中の共通の単一の混合パラメータに依存しうることがわかる。
先述したように、修正されたダウンミックス信号からの、アップミックス信号中の空間的に左および右のチャネルへの寄与は、パラメータβ1(第一の修正されたチャネルの左チャネルへの寄与)およびβ2(第二の修正されたチャネルの右チャネルへの寄与)によって別個に制御される。さらに、ダウンミックス信号中の各チャネルからの、アップミックス信号中のその対応するチャネルへの寄与は、独立な混合パラメータgを変えることによって個別に制御可能である。好ましくは、gは、大きな量子化誤差を避けるよう、非一様に量子化される。
ここでさらに図2を参照するに、ダウンミックス修正処理器120は、第二の混合行列121において、ダウンミックス・チャネルの次の線形結合(これはクロスミックスである)を実行する。
Figure 2015506653
明らかに、第二の混合行列にはいっている利得は、ビットストリームPにおいてエンコードされている混合パラメータのいくつかにパラメトリックに依存する。第二の混合行列121によって実行される処理の結果、中間信号Z=(z1,z2)が生じ、これは脱相関器122に供給される。図1は、脱相関器122が二つのサブ脱相関器123、124を有する実施形態を示している。二つのサブ脱相関器は同一の構成であっても(すなわち、同一の出力に応答して同一の出力を与える)または異なる構成であってもよい。これへの代替として、図2は、すべての脱相関に関係した動作が、予備的な修正されたダウンミックス信号D′を出力する一つのユニット122によって実行される実施形態を示している。図2のダウンミックス修正処理器120はさらに、アーチファクト減衰器125を含んでいる。上記で概説したある例示的実施形態では、アーチファクト減衰器125は、中間信号Zにおける音の終わりを検出し、音の終わりの検出された位置に基づいて、この信号における望ましくないアーチファクトを減衰させることによって是正動作を行なうよう構成されている。この減衰によって、修正されたダウンミックス信号Dが生じ、これがダウンミックス修正処理器120から出力される。
図3は、図1に示したのと同様の型の第一の混合行列130およびその関連する変換段301、302および逆変換段311、312、313、314、315、316を示している。よって、変換段301、302の上流に位置する信号は、逆変換段311、312、313、314、315、316の下流に位置する信号と同様に、時間領域における表現である。他の信号は周波数領域表現である。他の信号の時間依存性はたとえば、離散的な値としてまたは信号がセグメント分割された時間ブロックに関係する値のブロックとして表現されうる。図3は、上記の行列の式と比べ代替的な記法を使っていることを注意しておく。たとえば、XL0〜l0、XR0〜r0、YL〜lf、YLs〜lsなどといった対応をもつことができる。さらに、図3の記法は、信号の時間領域表現XL0(t)と、同じ信号の周波数領域表現XL0(f)との区別を強調している。周波数領域表現は時間フレームにセグメント分割されており、よって時間および周波数変数両方の関数であることは理解される。
図4は、ダウンミックス信号Xと、アップミックス段110によって適用される利得を制御するパラメータとを生成するためのオーディオ処理システム400を示している。このオーディオ処理システム400は典型的には、エンコーダ側に、たとえば放送またはレコーディング設備に位置する。一方、図1に示したシステム100は典型的にはデコーダ側で、たとえば再生設備において展開される。ダウンミックス段410は、nチャネル信号Yに基づいてmチャネル信号を生成する。好ましくは、ダウンミックス段410はこれらの信号の時間領域表現に対して作用する。パラメータ抽出器420は、nチャネル信号Yを分解し、ダウンミックス段の定量的および定性的属性を考慮に入れることによって、混合パラメータα1、α2、α3、β1、β2、β3、g、k1、k2の値を生成する。混合パラメータは、図4の記法が示唆するように、周波数ブロック値のベクトルであり、さらに時間ブロックにセグメント分割される。当業者は、技術常識および公に入手可能な技術情報を適用して、混合パラメータの所与の構成に(または所与のエンコード方式に)従って、そのようなパラメータ抽出を実装することができるであろう。ある例示的実施形態では、ダウンミックス段410は時間不変および/または周波数不変である。時間不変性および/または周波数不変性のおかげで、ダウンミックス段410とパラメータ抽出器420との間の通信上の接続は必要なく、パラメータ抽出は独立して進行しうる。これは、実装のための大幅な自由度を与える。これはまた、いくつかの処理段階が並列に実行されうるので、システムの全遅延を短縮する可能性を与える。一例として、ドルビー・デジタル・プラス・フォーマット(またはエンハンストAC-3)が、ダウンミックス信号Xを符号化するために使用されてもよい。
パラメータ抽出器420は、ダウンミックス指定にアクセスすることによってダウンミックス段410の定量的および/または定性的な属性の知識をもちうる。ダウンミックス指定は:利得値のセット、利得が事前定義されている事前定義されたダウンミックス・モードを特定するインデックスなどの一つを指定しうる。ダウンミックス指定は、ダウンミックス段410およびパラメータ抽出器420のそれぞれにおけるメモリに事前ロードされたデータ・レコードであってもよい。あるいはまた、ダウンミックス指定は、ダウンミックス段410からパラメータ抽出器420に、これらのユニットをつなぐ通信線を通じて伝送されてもよい。さらなる代替として、ダウンミックス段410からパラメータ抽出器420へのそれぞれが、オーディオ処理システム内のメモリ(図示せず)のような共通のデータ源からの、あるいはまたは入力信号Yに関連するメタデータ・ストリーム内のダウンミックス指定にアクセスしてもよい。
III.等価物、拡張、代替、その他
本発明のさらなる実施形態が、上記の記述を吟味したあとでは、当業者に明白となるであろう。たとえ本稿および図面が実施形態および例を開示しているとしても、本発明はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本発明の範囲から外れることなく数多くの修正および変形ができる。請求項に参照符号があったとしても、その範囲を限定するものと理解されることはない。
上記で開示したシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されてもよい。ハードウェア実装では、上記の記述で言及される機能ユニットの間のタスクの分割は、必ずしも物理的なユニットへの分割に対応するものではない。逆に、一つの物理的なコンポーネントが複数の機能を有していてもよく、一つのタスクが協働するいくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントが、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてもしくは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体(または非一時的媒体)および通信媒体(または一時的媒体)を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータといった情報の記憶のための任意の方法または技術で実装された、揮発性および不揮発性、リムーバブルおよび非リムーバブルの両方の媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは所望される情報を記憶するために使用されることができコンピュータによってアクセスされることができる他の任意の媒体を含むがこれに限られない。さらに、当業者には、通信媒体が典型的には、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことはよく知られている。
上記で開示したシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されてもよい。ハードウェア実装では、上記の記述で言及される機能ユニットの間のタスクの分割は、必ずしも物理的なユニットへの分割に対応するものではない。逆に、一つの物理的なコンポーネントが複数の機能を有していてもよく、一つのタスクが協働するいくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントが、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてもしくは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体(または非一時的媒体)および通信媒体(または一時的媒体)を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータといった情報の記憶のための任意の方法または技術で実装された、揮発性および不揮発性、リムーバブルおよび非リムーバブルの両方の媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは所望される情報を記憶するために使用されることができコンピュータによってアクセスされることができる他の任意の媒体を含むがこれに限られない。さらに、当業者には、通信媒体が典型的には、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことはよく知られている。
いくつかの実施例を記載しておく。
〔付番実施例1〕
空間的合成を実行するためのオーディオ処理システム(100)であって、
当該システムは、デコードされたmチャネル・ダウンミックス信号(X)を受領し、それに基づいて、nチャネル・アップミックス信号(Y)を出力するアップミックス段(110)を有しており、2≦m<nであり、前記アップミックス段は:
前記mチャネル・ダウンミックス信号を受領し、前記ダウンミックス信号のクロスミックスおよび非線形処理によって得られる修正されたダウンミックス信号(d 1 ,d 2 ;D)を出力するダウンミックス修正処理器(120)と;
前記ダウンミックス信号および前記修正されたダウンミックス信号を受領し、前記ダウンミックス信号チャネルおよび修正されたダウンミックス信号チャネルのみのnチャネル線形結合を形成し、これを前記nチャネル・アップミックス信号として出力する第一の混合行列(130)とを有する、
オーディオ処理システム。
〔付番実施例2〕
前記第一の混合行列が、前記第一の混合行列によって実行される前記線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(α 1 、α 2 、α 3 、β 1 、β 2 、β 3 、g、k 1 、k 2 )を受け容れる、付番実施例1記載のオーディオ処理システム。
〔付番実施例3〕
付番実施例2記載のオーディオ処理システムであって;
前記第一の混合行列が量子化されたフォーマットで前記混合パラメータを受け容れ;
前記nチャネル・アップミックス信号は、前記ダウンミックス信号および前記修正されたダウンミックス信号両方の線形結合として得られるチャネルのセットを含み;
前記第一の混合行列によって実行される前記線形結合において、チャネルの前記セットを得るために適用されるすべての利得は前記混合パラメータのうち一つまたは複数の混合パラメータの多項式であり、各多項式の次数は2以下である、
オーディオ処理システム。
〔付番実施例4〕
付番実施例2記載のオーディオ処理システムであって;
前記第一の混合行列が量子化されたフォーマットで前記混合パラメータを受け容れ;
前記第一の混合行列によって実行される前記線形結合において、前記ダウンミックス信号中のチャネルに適用されるすべての利得は前記混合パラメータのうち一つまたは複数の混合パラメータの多項式であり、各多項式の次数は2に等しい、
オーディオ処理システム。
〔付番実施例5〕
付番実施例2ないし4のうちいずれか一項記載のオーディオ処理システムであって;
前記第一の混合行列が量子化されたフォーマットで前記混合パラメータを受け容れ;
前記修正されたダウンミックス信号中のチャネルに適用されるすべての利得は前記混合パラメータのうち一つまたは複数の混合パラメータの多項式であり、各多項式の次数は1以下である、
オーディオ処理システム。
〔付番実施例6〕
付番実施例2記載のオーディオ処理システムであって、前記ダウンミックス信号中のあるチャネルからの、前記アップミックス信号中の空間的に対応するチャネルへの寄与は、混合パラメータ(g)によって個々に制御可能であり、前記ダウンミックス信号中の同じチャネルへの他の任意の寄与は一様に量子化された混合パラメータ(α 1 、α 2 、α 3 、β 1 、β 2 、β 3 )によって制御可能である、オーディオ処理システム。
〔付番実施例7〕
付番実施例2ないし6のうちいずれか一項記載のオーディオ処理システムであって、
前記混合パラメータの一つは二つの利得パラメータ(k 1 、k 2 )をエンコードし;
前記第一の混合行列によって実行される前記線形結合における一つまたは複数の利得は、これら二つの利得パラメータの一つに線形に依存する、
オーディオ処理システム。
〔付番実施例8〕
付番実施例2ないし7のうちいずれか一項記載のオーディオ処理システムであって、
前記アップミックス段は、ダウンミックスおよびアップミックス信号の周波数領域表現に対して作用するよう構成されており、
各信号および各混合パラメータは時間フレームにセグメント分割され、複数の周波数サブバンドを含み、すべての信号は、各時間フレームについて、第一の単一のサブバンド構成を共有し、すべての混合パラメータは、各時間フレームについて、第二の単一のサブバンド構成を共有し、
前記第二のサブバンド構成は、前記第一の混合行列によって実行される前記線形結合において前記信号の関連する周波数サブバンドに適用される利得を制御する前記混合パラメータの周波数サブバンドを定義する、
オーディオ処理システム。
〔付番実施例9〕
前記混合パラメータのうち少なくとも一つの混合パラメータのすべての周波数サブバンドが一様な分解能に関して量子化される、付番実施例8記載のオーディオ処理システム。
〔付番実施例10〕
前記一様な分解能が、前記混合パラメータのすべての周波数サブバンドに共通である、付番実施例9記載のオーディオ処理システム。
〔付番実施例11〕
前記第一の混合行列によって、前記アップミックス信号を、すべての周波数サブバンドについて定性的に一様な仕方で生成するよう構成されている、付番実施例8ないし10のうちいずれか一項記載のオーディオ処理システム。
〔付番実施例12〕
付番実施例8ないし11のうちいずれか一項記載のオーディオ処理システムであって、前記ダウンミックスおよびアップミックス信号の部分的に複素な周波数領域表現に対して作用するよう構成されており、前記部分的に複素な周波数領域表現のそれぞれは、
・上周波数範囲においては、多次元空間の第一の部分空間において表現された対応する信号のスペクトル内容を表わす第一のスペクトル成分を、
・下周波数範囲においては、前記第一のスペクトル成分に加えて、前記多次元空間の、前記第一の部分空間には含まれない部分を含む前記多次元空間の第二の部分空間おいて表現された対応する信号のスペクトル内容を表わす第二のスペクトル成分を含む、
オーディオ処理システム。
〔付番実施例13〕
前記部分的に複素な周波数領域表現のそれぞれは:前記上周波数範囲において臨界サンプリングされる、付番実施例12記載のオーディオ処理システム。
〔付番実施例14〕
付番実施例2ないし13のうちいずれか一項記載のオーディオ処理システムであって、前記ダウンミックス修正処理器は:
前記mチャネル・ダウンミックス信号を受領し、前記ダウンミックス信号チャネルの線形結合を形成し、これをmチャネル中間信号(Z)として出力する第二の混合行列(121)と;
前記mチャネル中間信号を受領し、m個の脱相関されたチャネルを含む前記修正されたダウンミックス信号を出力する脱相関器(122)とを有しており、
前記第二の混合行列は、前記一つまたは複数の混合パラメータの少なくとも一つを受け容れるよう構成されており、前記少なくとも一つの混合パラメータは、前記第二の混合行列によって実行される前記線形結合における少なくとも一つの係数を制御する、
オーディオ処理システム。
〔付番実施例15〕
前記脱相関器が、それぞれが対応する信号チャネルに関連付けられたm個の同一の構成のサブ脱相関器(123、124)を含む、付番実施例14記載のオーディオ処理システム。
〔付番実施例16〕
前記脱相関器が、実数値の係数をもつ少なくとも一つ無限インパルス応答ラティス・フィルタを含み、前記無限インパルス応答ラティス・フィルタは前記中間信号のチャネルを受領し、前記修正されたダウンミックス信号のチャネルの一つを出力する、付番実施例14または15記載のオーディオ処理システム。
〔付番実施例17〕
前記脱相関器は、前記中間信号における音の終わりを検出し、それに応答して是正動作を行なうよう構成されたアーチファクト減衰器(125)を有する、付番実施例14ないし16のうちいずれか一項記載のオーディオ処理システム。
〔付番実施例18〕
前記ダウンミックス信号をエンコードするビットストリーム(P)を受領し、それに基づいて前記デコードされたmチャネル・ダウンミックス信号を出力するオーディオ・デコーダ(140)をさらに有する、付番実施例1ないし17のうちいずれか一項記載のオーディオ処理システム。
〔付番実施例19〕
空間的合成方法であって、
ダウンミックス修正処理器において、mチャネル・ダウンミックス信号(X)を、前記ダウンミックス信号のクロスミックスおよび非線形処理によって修正して、修正されたダウンミックス信号を得る段階と;
第一の混合行列において、前記ダウンミックス信号および前記修正されたダウンミックス信号のnチャネル線形結合を形成し、これをnチャネル・アップミックス信号(Y)として出力する段階とを含み、2≦m<nである、
方法。
〔付番実施例20〕
空間的分解を実行するオーディオ処理システム(400)であって:
nチャネル入力信号(Y)を受領し、前記nチャネル信号中のチャネルのmチャネル線形結合を形成し、これをmチャネル出力信号(X)として出力するダウンミックス段(410)であって、2≦m<nである、ダウンミックス段と;
前記nチャネル入力信号(Y)を受領し、空間的合成オーディオ処理システムによって実行される線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(α 1 、α 2 、α 3 、β 1 、β 2 、β 3 、g、k 1 、k 2 )を出力するパラメータ抽出器(420)であって、前記線形結合は少なくとも前記mチャネル出力信号および前記mチャネル出力信号の非線形処理から帰結する信号を含む、パラメータ抽出器とを有しており、
前記ダウンミックス段および前記パラメータ抽出器は独立に動作する、
オーディオ処理システム。
〔付番実施例21〕
前記ダウンミックス段および前記パラメータ抽出器がいずれも、前記ダウンミックス段における前記mチャネル線形結合の形成を定量的に制御するダウンミックス指定へのアクセスをもつ、付番実施例20記載のオーディオ処理システム。
〔付番実施例22〕
前記ダウンミックス段は前記信号の時間領域表現に対して作用するよう構成されている、付番実施例20または21記載のオーディオ処理システム。
〔付番実施例23〕
空間的分解方法であって:
ダウンミックス段において、nチャネル入力信号(Y)中のチャネルのmチャネル線形結合を形成して、mチャネル出力信号(X)を得る段階であって、2≦m<nである、段階と;
前記ダウンミックス段とは独立に動作するパラメータ抽出器において、空間的合成の際に実行される線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(α 1 、α 2 、α 3 、β 1 、β 2 、β 3 、g、k 1 、k 2 )を抽出する段階であって、前記線形結合は少なくとも前記mチャネル出力信号および前記mチャネル出力信号の非線形処理から帰結する信号を含む、段階とを含む、
方法。
〔付番実施例24〕
付番実施例19または23記載の方法を実行するためのコンピュータ可読命令をもつコンピュータ可読媒体を含むコンピュータ・プログラム・プロダクト。
〔付番実施例25〕
m=2かつn=6である、付番実施例1ないし24のうちいずれか一項記載の方法または装置。

Claims (25)

  1. 空間的合成を実行するためのオーディオ処理システム(100)であって、
    当該システムは、デコードされたmチャネル・ダウンミックス信号(X)を受領し、それに基づいて、nチャネル・アップミックス信号(Y)を出力するアップミックス段(110)を有しており、2≦m<nであり、前記アップミックス段は:
    前記mチャネル・ダウンミックス信号を受領し、前記ダウンミックス信号のクロスミックスおよび非線形処理によって得られる修正されたダウンミックス信号(d1,d2;D)を出力するダウンミックス修正処理器(120)と;
    前記ダウンミックス信号および前記修正されたダウンミックス信号を受領し、前記ダウンミックス信号チャネルおよび修正されたダウンミックス信号チャネルのみのnチャネル線形結合を形成し、これを前記nチャネル・アップミックス信号として出力する第一の混合行列(130)とを有する、
    オーディオ処理システム。
  2. 前記第一の混合行列が、前記第一の混合行列によって実行される前記線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(α1、α2、α3、β1、β2、β3、g、k1、k2)を受け容れる、請求項1記載のオーディオ処理システム。
  3. 請求項2記載のオーディオ処理システムであって;
    前記第一の混合行列が量子化されたフォーマットで前記混合パラメータを受け容れ;
    前記nチャネル・アップミックス信号は、前記ダウンミックス信号および前記修正されたダウンミックス信号両方の線形結合として得られるチャネルのセットを含み;
    前記第一の混合行列によって実行される前記線形結合において、チャネルの前記セットを得るために適用されるすべての利得は前記混合パラメータのうち一つまたは複数の混合パラメータの多項式であり、各多項式の次数は2以下である、
    オーディオ処理システム。
  4. 請求項2記載のオーディオ処理システムであって;
    前記第一の混合行列が量子化されたフォーマットで前記混合パラメータを受け容れ;
    前記第一の混合行列によって実行される前記線形結合において、前記ダウンミックス信号中のチャネルに適用されるすべての利得は前記混合パラメータのうち一つまたは複数の混合パラメータの多項式であり、各多項式の次数は2に等しい、
    オーディオ処理システム。
  5. 請求項2ないし4のうちいずれか一項記載のオーディオ処理システムであって;
    前記第一の混合行列が量子化されたフォーマットで前記混合パラメータを受け容れ;
    前記修正されたダウンミックス信号中のチャネルに適用されるすべての利得は前記混合パラメータのうち一つまたは複数の混合パラメータの多項式であり、各多項式の次数は1以下である、
    オーディオ処理システム。
  6. 請求項2記載のオーディオ処理システムであって、前記ダウンミックス信号中のあるチャネルからの、前記アップミックス信号中の空間的に対応するチャネルへの寄与は、混合パラメータ(g)によって個々に制御可能であり、前記ダウンミックス信号中の同じチャネルへの他の任意の寄与は一様に量子化された混合パラメータ(α1、α2、α3、β1、β2、β3)によって制御可能である、オーディオ処理システム。
  7. 請求項2ないし6のうちいずれか一項記載のオーディオ処理システムであって、
    前記混合パラメータの一つは二つの利得パラメータ(k1、k2)をエンコードし;
    前記第一の混合行列によって実行される前記線形結合における一つまたは複数の利得は、これら二つの利得パラメータの一つに線形に依存する、
    オーディオ処理システム。
  8. 請求項2ないし7のうちいずれか一項記載のオーディオ処理システムであって、
    前記アップミックス段は、ダウンミックスおよびアップミックス信号の周波数領域表現に対して作用するよう構成されており、
    各信号および各混合パラメータは時間フレームにセグメント分割され、複数の周波数サブバンドを含み、すべての信号は、各時間フレームについて、第一の単一のサブバンド構成を共有し、すべての混合パラメータは、各時間フレームについて、第二の単一のサブバンド構成を共有し、
    前記第二のサブバンド構成は、前記第一の混合行列によって実行される前記線形結合において前記信号の関連する周波数サブバンドに適用される利得を制御する前記混合パラメータの周波数サブバンドを定義する、
    オーディオ処理システム。
  9. 前記混合パラメータのうち少なくとも一つの混合パラメータのすべての周波数サブバンドが一様な分解能に関して量子化される、請求項8記載のオーディオ処理システム。
  10. 前記一様な分解能が、前記混合パラメータのすべての周波数サブバンドに共通である、請求項9記載のオーディオ処理システム。
  11. 前記第一の混合行列によって、前記アップミックス信号を、すべての周波数サブバンドについて定性的に一様な仕方で生成するよう構成されている、請求項8ないし10のうちいずれか一項記載のオーディオ処理システム。
  12. 請求項8ないし11のうちいずれか一項記載のオーディオ処理システムであって、前記ダウンミックスおよびアップミックス信号の部分的に複素な周波数領域表現に対して作用するよう構成されており、前記部分的に複素な周波数領域表現のそれぞれは、
    ・上周波数範囲においては、多次元空間の第一の部分空間において表現された対応する信号のスペクトル内容を表わす第一のスペクトル成分を、
    ・下周波数範囲においては、前記第一のスペクトル成分に加えて、前記多次元空間の、前記第一の部分空間には含まれない部分を含む前記多次元空間の第二の部分空間おいて表現された対応する信号のスペクトル内容を表わす第二のスペクトル成分を含む、
    オーディオ処理システム。
  13. 前記部分的に複素な周波数領域表現のそれぞれは:前記上周波数範囲において臨界サンプリングされる、請求項12記載のオーディオ処理システム。
  14. 請求項2ないし13のうちいずれか一項記載のオーディオ処理システムであって、前記ダウンミックス修正処理器は:
    前記mチャネル・ダウンミックス信号を受領し、前記ダウンミックス信号チャネルの線形結合を形成し、これをmチャネル中間信号(Z)として出力する第二の混合行列(121)と;
    前記mチャネル中間信号を受領し、m個の脱相関されたチャネルを含む前記修正されたダウンミックス信号を出力する脱相関器(122)とを有しており、
    前記第二の混合行列は、前記一つまたは複数の混合パラメータの少なくとも一つを受け容れるよう構成されており、前記少なくとも一つの混合パラメータは、前記第二の混合行列によって実行される前記線形結合における少なくとも一つの係数を制御する、
    オーディオ処理システム。
  15. 前記脱相関器が、それぞれが対応する信号チャネルに関連付けられたm個の同一の構成のサブ脱相関器(123、124)を含む、請求項14記載のオーディオ処理システム。
  16. 前記脱相関器が、実数値の係数をもつ少なくとも一つ無限インパルス応答ラティス・フィルタを含み、前記無限インパルス応答ラティス・フィルタは前記中間信号のチャネルを受領し、前記修正されたダウンミックス信号のチャネルの一つを出力する、請求項14または15記載のオーディオ処理システム。
  17. 前記脱相関器は、前記中間信号における音の終わりを検出し、それに応答して是正動作を行なうよう構成されたアーチファクト減衰器(125)を有する、請求項14ないし16のうちいずれか一項記載のオーディオ処理システム。
  18. 前記ダウンミックス信号をエンコードするビットストリーム(P)を受領し、それに基づいて前記デコードされたmチャネル・ダウンミックス信号を出力するオーディオ・デコーダ(140)をさらに有する、請求項1ないし17のうちいずれか一項記載のオーディオ処理システム。
  19. 空間的合成方法であって、
    ダウンミックス修正処理器において、mチャネル・ダウンミックス信号(X)を、前記ダウンミックス信号のクロスミックスおよび非線形処理によって修正して、修正されたダウンミックス信号を得る段階と;
    第一の混合行列において、前記ダウンミックス信号および前記修正されたダウンミックス信号のnチャネル線形結合を形成し、これをnチャネル・アップミックス信号(Y)として出力する段階とを含み、2≦m<nである、
    方法。
  20. 空間的分解を実行するオーディオ処理システム(400)であって:
    nチャネル入力信号(Y)を受領し、前記nチャネル信号中のチャネルのmチャネル線形結合を形成し、これをmチャネル出力信号(X)として出力するダウンミックス段(410)であって、2≦m<nである、ダウンミックス段と;
    前記nチャネル入力信号(Y)を受領し、空間的合成オーディオ処理システムによって実行される線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(α1、α2、α3、β1、β2、β3、g、k1、k2)を出力するパラメータ抽出器(420)であって、前記線形結合は少なくとも前記mチャネル出力信号および前記mチャネル出力信号の非線形処理から帰結する信号を含む、パラメータ抽出器とを有しており、
    前記ダウンミックス段および前記パラメータ抽出器は独立に動作する、
    オーディオ処理システム。
  21. 前記ダウンミックス段および前記パラメータ抽出器がいずれも、前記ダウンミックス段における前記mチャネル線形結合の形成を定量的に制御するダウンミックス指定へのアクセスをもつ、請求項20記載のオーディオ処理システム。
  22. 前記ダウンミックス段は前記信号の時間領域表現に対して作用するよう構成されている、請求項20または21記載のオーディオ処理システム。
  23. 空間的分解方法であって:
    ダウンミックス段において、nチャネル入力信号(Y)中のチャネルのmチャネル線形結合を形成して、mチャネル出力信号(X)を得る段階であって、2≦m<nである、段階と;
    前記ダウンミックス段とは独立に動作するパラメータ抽出器において、空間的合成の際に実行される線形結合における少なくとも一つの利得を制御する一つまたは複数の混合パラメータ(α1、α2、α3、β1、β2、β3、g、k1、k2)を抽出する段階であって、前記線形結合は少なくとも前記mチャネル出力信号および前記mチャネル出力信号の非線形処理から帰結する信号を含む、段階とを含む、
    方法。
  24. 請求項19または23記載の方法を実行するためのコンピュータ可読命令をもつコンピュータ可読媒体を含むコンピュータ・プログラム・プロダクト。
  25. m=2かつn=6である、請求項1ないし24のうちいずれか一項記載の方法または装置。
JP2014556112A 2012-02-24 2013-02-22 オーディオ処理 Active JP6049762B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261603001P 2012-02-24 2012-02-24
US61/603,001 2012-02-24
US201261645809P 2012-05-11 2012-05-11
US61/645,809 2012-05-11
PCT/EP2013/053610 WO2013124446A1 (en) 2012-02-24 2013-02-22 Audio processing

Publications (2)

Publication Number Publication Date
JP2015506653A true JP2015506653A (ja) 2015-03-02
JP6049762B2 JP6049762B2 (ja) 2016-12-21

Family

ID=47754490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014556112A Active JP6049762B2 (ja) 2012-02-24 2013-02-22 オーディオ処理

Country Status (5)

Country Link
US (1) US9728194B2 (ja)
EP (1) EP2817802B1 (ja)
JP (1) JP6049762B2 (ja)
CN (1) CN104160442B (ja)
WO (1) WO2013124446A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016536646A (ja) * 2013-09-12 2016-11-24 ドルビー・インターナショナル・アーベー オーディオ・デコード・システムおよびオーディオ・エンコード・システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014339065B2 (en) 2013-10-21 2017-04-20 Dolby International Ab Decorrelator structure for parametric reconstruction of audio signals
EP3540732B1 (en) * 2014-10-31 2023-07-26 Dolby International AB Parametric decoding of multichannel audio signals
RU2685041C2 (ru) 2015-02-18 2019-04-16 Хуавэй Текнолоджиз Ко., Лтд. Устройство обработки аудиосигнала и способ фильтрации аудиосигнала
EP3271918B1 (en) 2015-04-30 2019-03-13 Huawei Technologies Co., Ltd. Audio signal processing apparatuses and methods
US10115403B2 (en) * 2015-12-18 2018-10-30 Qualcomm Incorporated Encoding of multiple audio signals
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
EP3622509B1 (en) * 2017-05-09 2021-03-24 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203906A (ja) * 2005-01-20 2006-08-03 Stmicroelectronics Asia Pacific Pte Ltd マルチスピーカープレイバックを拡張するためのシステム及び方法
JP2006325162A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
WO2007043388A1 (ja) * 2005-10-07 2007-04-19 Matsushita Electric Industrial Co., Ltd. 音響信号処理装置および音響信号処理方法
JP2008514098A (ja) * 2004-09-22 2008-05-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネルオーディオ制御
WO2008131903A1 (en) * 2007-04-26 2008-11-06 Dolby Sweden Ab Apparatus and method for synthesizing an output signal
WO2009131066A1 (ja) * 2008-04-21 2009-10-29 日本電気株式会社 信号分析制御及び信号制御のシステム、装置、方法及びプログラム
JP2011528129A (ja) * 2008-07-17 2011-11-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 切り換え可能なバイパスを有するオーディオ符号化/復号化方式

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1214690C (zh) * 1997-09-05 2005-08-10 雷克西康公司 5-2-5矩阵编码器和解码器系统
US6768979B1 (en) * 1998-10-22 2004-07-27 Sony Corporation Apparatus and method for noise attenuation in a speech recognition system
US6282631B1 (en) * 1998-12-23 2001-08-28 National Semiconductor Corporation Programmable RISC-DSP architecture
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
SE0301273D0 (sv) 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
CN102163429B (zh) * 2005-04-15 2013-04-10 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
ATE450983T1 (de) * 2005-04-29 2009-12-15 Harman Becker Automotive Sys Kompensation des echos und der rückkopplung
CN101410891A (zh) * 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
JP5919683B2 (ja) * 2011-08-29 2016-05-18 ティアック株式会社 マルチトラックレコーダ装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008514098A (ja) * 2004-09-22 2008-05-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネルオーディオ制御
JP2006203906A (ja) * 2005-01-20 2006-08-03 Stmicroelectronics Asia Pacific Pte Ltd マルチスピーカープレイバックを拡張するためのシステム及び方法
JP2006325162A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
WO2007043388A1 (ja) * 2005-10-07 2007-04-19 Matsushita Electric Industrial Co., Ltd. 音響信号処理装置および音響信号処理方法
US20090240503A1 (en) * 2005-10-07 2009-09-24 Shuji Miyasaka Acoustic signal processing apparatus and acoustic signal processing method
WO2008131903A1 (en) * 2007-04-26 2008-11-06 Dolby Sweden Ab Apparatus and method for synthesizing an output signal
JP2010525403A (ja) * 2007-04-26 2010-07-22 ドルビー インターナショナル アクチボラゲット 出力信号の合成装置及び合成方法
WO2009131066A1 (ja) * 2008-04-21 2009-10-29 日本電気株式会社 信号分析制御及び信号制御のシステム、装置、方法及びプログラム
JP2011528129A (ja) * 2008-07-17 2011-11-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 切り換え可能なバイパスを有するオーディオ符号化/復号化方式

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016536646A (ja) * 2013-09-12 2016-11-24 ドルビー・インターナショナル・アーベー オーディオ・デコード・システムおよびオーディオ・エンコード・システム

Also Published As

Publication number Publication date
EP2817802A1 (en) 2014-12-31
CN104160442B (zh) 2016-10-12
US9728194B2 (en) 2017-08-08
WO2013124446A1 (en) 2013-08-29
US20160019899A1 (en) 2016-01-21
CN104160442A (zh) 2014-11-19
EP2817802B1 (en) 2016-12-07
JP6049762B2 (ja) 2016-12-21

Similar Documents

Publication Publication Date Title
JP6049762B2 (ja) オーディオ処理
US11894003B2 (en) Reconstruction of audio scenes from a downmix
KR100885192B1 (ko) 개선된 성능의 예측 기반의 멀티 채널 복원 방법, 장치 및 그 구성 요소
RU2628898C1 (ru) Неравномерное квантование параметров для усовершенствованной связи
CN105518775B (zh) 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除
KR102486365B1 (ko) 오디오 신호들의 파라메트릭 재구성
JP6732739B2 (ja) オーディオ・エンコーダおよびデコーダ
CN106796804B (zh) 用于对话增强的解码方法和解码器
JP6201047B2 (ja) オーディオ信号のパラメトリック再構成のための脱相関器構造
JP6248186B2 (ja) オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161122

R150 Certificate of patent or registration of utility model

Ref document number: 6049762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250