JP2008519491A - 音響空間環境エンジン - Google Patents

音響空間環境エンジン Download PDF

Info

Publication number
JP2008519491A
JP2008519491A JP2007539174A JP2007539174A JP2008519491A JP 2008519491 A JP2008519491 A JP 2008519491A JP 2007539174 A JP2007539174 A JP 2007539174A JP 2007539174 A JP2007539174 A JP 2007539174A JP 2008519491 A JP2008519491 A JP 2008519491A
Authority
JP
Japan
Prior art keywords
audio data
channel
channels
subbands
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007539174A
Other languages
English (en)
Other versions
JP2008519491A5 (ja
JP4917039B2 (ja
Inventor
ダブリュ． リームズ，ロバート
ケイ． トンプソン，ジェフリー
ワーナー，アーロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neural Audio Corp
Original Assignee
Neural Audio Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/975,841 external-priority patent/US7929708B2/en
Application filed by Neural Audio Corp filed Critical Neural Audio Corp
Publication of JP2008519491A publication Critical patent/JP2008519491A/ja
Publication of JP2008519491A5 publication Critical patent/JP2008519491A5/ja
Application granted granted Critical
Publication of JP4917039B2 publication Critical patent/JP4917039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

【解決手段】フォーマットが異なるオーディオデータの間で変換を行う音響空間環境エンジンに関する。音響空間環境エンジン100は、Ｎ−チャンネルデータとＭ−チャンネルデータの間における柔軟な変換と、Ｍ−チャンネルデータからＮ'−チャンネルデータに戻す変換とを可能にする。ここで、Ｎ、Ｍ、及びＮ'は整数であって、Ｎは、Ｎ'と必ずしも等しくなくともよい。例えば、このようなシステムは、ステレオサウンドデータ向けに設計されたネットワーク又はインフラストラクチャに渡ってサラウンドサウンドデータを伝送又は格納する用途に使用される。音響空間環境エンジンは、進化した動的ダウンミキシングユニット102と、高分解能周波数帯域アップミキシングユニット104とによって、異なる空間環境間の改善された柔軟な変換を与える。動的ダウンミキシングユニットは、多くのダウンミキシング方法に共通するスペクトルの誤り、時間的誤り及び空間的誤りを補正するインテリジェント解析・補正ループ108,110を含んでいる。アップミキシングユニットは、高分解能周波数帯域に渡った重要なチャンネル間空間キューの抽出及び解析を利用して、様々な周波数要素の空間的な配置を得る。ダウンミキシンクユニット及びアップミキシングユニットは、別個に又は１つのシステムとして使用される場合、音質と空間的な差の改善をもたらす。
【選択図】図１

Description

関連出願：本出願は、米国特許に関係している。本出願は、２００４年の１０月２８日に出願された米国仮出願第６０/６２２,９２２号「２−Ｎレンダリング」、２００４年の１０月２８日に出願された米国特許第１０/９７５,８４１号「音響空間環境エンジン」、同時に出願された米国特許出願１１/２６１,１００号「音響空間環境ダウンミキサ」(代理人整理番号１３６４６.００１４)、同時に出願された米国特許出願１１/２６２,０２９号「音響空間環境アップミキサ」(代理人整理番号１３６４６.００１２)の優先権を主張する。これら出願は共通して所有されており、あらゆる目的について、引用を以て本明細書の一部となる。
本発明は、オーディオデータ処理の分野に関しており、より詳細には、フォーマットが異なるオーディオデータの間で変換を行うシステム及び方法に関する。
オーディオデータを処理するシステム及び方法は、当該技術分野において公知である。このようなシステム及び方法の大半は、２チャンネルステレオ環境、４チャンネル方式の環境、５チャンネルサラウンドサウンド環境(５.１チャンネル環境としても知られている)、又は、その他の適当なフォーマット若しくは環境のような、公知のオーディオ環境についてオーディオデータを処理する。
フォーマット又は環境の数が増えることで起こる問題は、第１環境で最適な音質のために処理されたオーディオデータを、大抵の場合、異なるオーディオ環境では、容易に使用できないことである。この問題の一例としては、ステレオサウンドデータ用に設計されたネットワーク又はインフラストラクチャに渡って、サラウンドサウンドデータを伝送又は格納することがある。ステレオの２チャンネル伝送又は格納用のインフラストラクチャは、サラウンドサウンドフォーマットにおけるオーディオデータの増加したチャンネルをサポートしなくてよいので、現存するインフラストラクチャを用いてサラウンドサウンドフォーマットデータを伝送又は使用することは、困難又は不可能であった。
本発明によれば、異なる音響空間環境の間で変換を行うことで従来の問題を解決する音響空間環境エンジンのシステム及び方法が与えられる。
特に、本発明により与えられる音響空間環境エンジンのシステム及び方法は、Ｎ−チャンネルデータとＭ−チャンネルデータの間の変換と、Ｍ−チャンネルデータからＮ'−チャンネルデータに戻す変換とを可能にする。ここで、Ｎ、Ｍ、及びＮ'は、整数であってＮは、Ｎ'と必ずしも等しくなくともよい。
本発明の典型的な実施例では、ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換し、Ｎ'チャンネルオーディオシステムに戻す音響空間環境エンジンが与えられる。ここで、Ｎ、Ｍ、及びＮ'は整数であって、Ｎは、Ｎ'と必ずしも等しくなくともよい。その音響空間環境エンジンは、Ｎ個のオーディオデータのチャンネルを受信して、それらＮ個のオーディオデータのチャンネルをＭ個のオーディオデータのチャンネルに変換する動的ダウンミキサを含んでいる。音響空間環境エンジンはまた、Ｍ個のオーディオデータのチャンネルを受信して、それらＭ個のオーディオデータのチャンネルをＮ'個のオーディオデータのチャンネルに変換するアップミキサを含んでいる。ここで、Ｎは、Ｎ'と必ずしも等しくなくともよい。このシステムの典型的な用途の１つは、ステレオサウンドデータ向けに設計されたネットワーク又はインフラストラクチャに渡って、サラウンドサウンドデータを伝送又は格納することである。動的ダウンミキシングユニットは、サラウンドサウンドデータを、伝送又は格納するステレオサウンドデータに変換し、アップミキシングユニットは、ステレオサウンドデータを、再生、処理、又はその他のある適切な用途のためにサラウンドサウンドデータに戻す。
本発明は、多くの重要な技術的利点を与える。本発明の重要な技術的利点の１つは、進化した動的ダウンミキシングユニットと、高分解能周波数帯域アップミキシングユニットとによって、異なる空間環境間で改善された柔軟な変換を与えるシステムである。動的ダウンミキシングユニットは、多くのダウンミキシング方法に共通するスペクトルの誤り、時間的誤り及び空間的誤りを補正するインテリジェント解析・補正ループを含んでいる。アップミキシングユニットは、高分解能周波数帯域に渡って重要なチャンネル間空間キュー(inter-channel spatial cues)の抽出及び解析を利用して、様々な周波数要素の空間的な配置を導く。ダウンミキシンクユニット及びアップミキシングユニットは、別個に又は１つのシステムとして使用される場合、音質と空間的な差(spatial distinction)の改善をもたらす。
当該技術分野における通常の知識を有する者は、図面と共に以下の詳細な説明を読むことで、その他の重要な特徴と共に本発明の利点と優れた特徴とをさらに理解するであろう。
以下の説明では、明細書及び図面を通じて、類似した部分について、同じ参照符号を付する。作図の縮尺は一定ではなく、幾つかの構成要素は、一般化されて、若しくは模式的な形態で示されており、明瞭性と簡潔さを目的として、商業的な表示で特定される。
図１は、本発明の典型的な実施例であって、解析・補正ループを伴っており、Ｎ−チャンネルオーディオフォーマットからＭ−チャンネルオーディオフォーマットに動的なダウンミキシングをするシステム(100)の図である。システム(100)は、５.１チャンネルサウンド(即ち、Ｎ＝５)を用いており、５.１チャンネルサウンドをステレオサウンド(即ち、Ｍ＝２)に変換するが、その他の適当な数の入出力チャンネルが、さらに又は代わりに使用される。
システム(100)の動的ダウンミックスプロセスは、リファレンスダウンミックス(102)、リファレンスアップミックス(104)、サブバンドベクトル計算システム(106)(108)、及びサブバンド補正システム(110)を用いて実施されている。解析・補正ループは、アップミックスプロセスをシミュレートするリファレンスアップミックス(104)と、シミュレートされたアップミックス信号とオリジナル信号について周波数帯域ごとにエネルギと位置ベクトルを計算するサブバンドベクトル計算システム(106)(108)と、シミュレートされたアップミックス信号とオリジナル信号のエネルギと位置ベクトルを比較して、ダウンミックス信号のチャンネル間空間キューを変更し、任意の不一致(inconsistencies)を補正するサブバンド補正システム(110)とを用いて実現される。
システム(100)は、受信したＮ−チャンネルオーディオをＭ−チャンネルオーディオに変換する静的リファレンスダウンミックス(102)を含んでいる。静的リファレンスダウンミックス(102)は、５.１サウンドチャンネルであるレフトＬ(Ｔ)、ライトＲ(Ｔ)、センターＣ(Ｔ)、レフトサラウンドＬＳ(Ｔ)及びライトサラウンドＲＳ(Ｔ)を受信し、ステレオチャンネル信号であるレフトウォーターマーク(left watermark)ＬＷ'(Ｔ)及びライトウォーターマーク(right watermark)ＲＷ'(Ｔ)に変換する。
レフトウォーターマークＬＷ'(Ｔ)及びライトウォーターマークＲＷ'(Ｔ)のステレオチャンネル信号は、その後、リファレンスアップミックス(104)に与えられる。リファレンスアップミックス(104)は、ステレオサウンドチャンネルを５.１サウンドチャンネルに変換する。リファレンスアップミックス(104)は、５.１サウンドチャンネルであるレフトＬ'(Ｔ)、ライトＲ'(Ｔ)、センターＣ'(Ｔ)、レフトサラウンドＬＳ'(Ｔ)及びライトサラウンドＲＳ'(Ｔ)を出力する。
アップミックスされた５.１チャンネルサウンド信号は、リファレンスアップミックス(104)から出力されて、その後、サブバンドベクトル計算システム(106)に与えられる。サブバンドベクトル計算システム(106)の出力は、アップミックスされた５.１チャンネル信号であるレフトＬ'(Ｔ)、ライトＲ'(Ｔ)、センターＣ'(Ｔ)、レフトサラウンドＬＳ'(Ｔ)及びライトサラウンドＲＳ'(Ｔ)に関した複数の周波数帯のアップミックスされたエネルギ・像位置データである。同様に、オリジナルの５.１チャンネルサウンド信号が、サブバンドベクトル計算システム(108)に与えられる。サブバンドベクトル計算システム(108)の出力は、オリジナルの５.１サウンドチャンネルであるレフトＬ(Ｔ)、ライトＲ(Ｔ)、センターＣ(Ｔ)、レフトサラウンドＬＳ(Ｔ)及びライトサラウンドＲＳ(Ｔ)に関した複数の周波数帯のソースエネルギ・像位置データである。サブバンドベクトル計算システム(106)(108)で計算されるエネルギ及び位置ベクトルは、周波数帯ごとの全エネルギ測定値及び２次元ベクトルとからなり、理想的な聴取状態下における聴取者に関して、所定の周波数要素の感知強度及びソース位置示す。例えば、オーディオ信号は、適切なフィルタバンクを用いて、タイムドメインから周波数ドメインに変換される。このようなフィルタバンクには、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクがある。フィルタバンクの出力はさらに処理されて、周波数帯当たりの全エネルギと、周波数帯当たりの規格化された像位置ベクトルとを決定する。
サブバンドベクトル計算システム(106)(108)から出力されたエネルギ及び位置ベクトルの値は、サブバンド補正システム(110)に与えられる。サブバンド補正システム(110)は、５.１チャンネルサウンドがレフトウォーターマークＬＷ'(Ｔ)及びライトウォーターマークＲＷ'(Ｔ)のステレオチャンネル信号から生成されると、その５.１チャンネルサウンドのアップミックスされたエネルギ及び位置を用いて、オリジナルの５.１チャンネルサウンドについてソースのエネルギ及び位置を解析する。ソースとアップミックスについてエネルギ及び位置ベクトルの差が特定され、レフトウォーターマークＬＷ'(Ｔ)及びライトウォーターマークＲＷ'(Ｔ)がサブバンドごとに補正されて、ＬＷ(Ｔ)及びＲＷ(Ｔ)が生成される。これにより、より正確にダウンミックスされたステレオチャンネル信号が得られ、ステレオチャンネル信号がその後アップミックスされる場合に、より正確な５.１表現が得られる。補正されたレフトウォーターマークＬＷ信号(Ｔ)及びライトウォーターマークＲＷ信号(Ｔ)が出力されて、転送され、ステレオ受信機で受信され、アップミックス機能を有する受信機で受信され、又は、その他の適切な利用がなされる。
動作中、システム(100)は、ダウンミックス/アップミックスシステム全体のシミュレーション、解析及び補正をするインテリジェント解析・補正ループを用いて、５.１チャンネルサウンドをステレオサウンドに動的にダウンミックスする。この手法は、静的なレフトウォーターマーク信号ＬＷ'(Ｔ)及びライトウォーターマーク信号ＲＷ'(Ｔ)を生成し、その後にアップミックスされた信号Ｌ'(Ｔ)、Ｒ'(Ｔ)、Ｃ'(Ｔ)、ＬＳ'(Ｔ)及びＲＳ'(Ｔ)をシミュレートし、それら信号を、オリジナルの５.１チャンネル信号を用いて解析して、サブバンド単位でエネルギ又は位置ベクトルの任意の差異を特定及び補正することで達成される。差異は、レフトウォーターマークステレオ信号ＬＷ'(Ｔ)及びライトウォーターマークステレオ信号ＲＷ'(Ｔ)に、又は、その後のアップミックスされたサラウンドチャンネル信号に影響を与え得る。サブバンド補正処理は、レフトウォーターマークステレオ信号ＬＷ(Ｔ)及びライトウォーターマークステレオ信号ＲＷ(Ｔ)を生成し、ＬＷ(Ｔ)及びＲＷ(Ｔ)がアップミックスされる場合に、結果として生じる５.１チャンネルサウンドがオリジナルの入力された５.１チャンネルサウンドと整合する精度が、改善されるように実行される。同様に、更なる処理が実行されて、任意の適当な数の入力チャンネルが、適当な数のウォーターマークされた出力信号に変換されてよい。例えば、７.１チャンネルステレオがウォーターマークされたステレオに、７.１チャンネルサウンドがウォーターマークされた５.１チャンネルステレオに、(車両用サウンドシステム又はシアターのような)カスタムサウンドチャンネルがステレオに変換され、又はその他の適当な変換がなされてもよい。
図２は、本発明の典型的な実施例である、静的なリファレンスダウンミックス(200)の図である。静的なリファレンスダウンミックス(200)は、図１のリファレンスダウンミックス(102)として、又はその他の適当な方法で使用される。リファレンスダウンミックス(200)は、ＮチャンネルオーディオをＭチャンネルオーディオに変換する。ここで、Ｎ及びＭは整数であって、ＮはＭよりも大きい。リファレンスダウンミックス(200)は、入力信号Ｘ1(Ｔ)、Ｘ2(Ｔ)乃至ＸN(Ｔ)を受信する。各入力チャンネルｉについて、入力信号Ｘi(Ｔ)は、信号の位相を９０度シフトさせるヒルベルト変換ユニット(202)乃至(206)に与えられる。９０度の位相シフトが得られるヒルベルトフィルタやオールパスフィルタネットワークのようなその他の処理が、そのヒルベルト変換ユニットに加えて、又はその代わりに使用され得る。各入力チャンネルｉについて、ヒルベルト変換された信号とオリジナルの信号とには、その後、所定のスケーリング定数Ｃil1とＣil2とが夫々、第１ステージの乗算器(208)乃至(218)にて掛け合わされる。ここで、第１の添字は、入力チャンネル番号ｉであり、第２の添字は、加算器の第１ステージを示し、第３の添字は、ステージ当たりの乗算器の数を示す。乗算器(208)乃至(218)の出力は、その後、加算器(220)乃至(224)で足し合わされ、加算器(220)乃至(224)から出力される分数次(fractional)ヒルベルト信号Ｘ'i(Ｔ)は、対応する入力信号Ｘi(Ｔ)に対して可変な位相シフトを受けている。位相のシフト量は、スケーリング定数Ｃil1及びＣil2に依存する。０度の位相シフトは、Ｃil1＝０及びＣil2＝１で可能であり、±９０度の位相シフトは、Ｃil1＝±１及びＣil2＝１で可能である。それらの中間の位相シフトは、Ｃil1及びＣil2の適切な値を用いて可能である。
各入力チャンネルｉに関する各信号Ｘ'i(Ｔ)について、その後、所定のスケーリング定数Ｃi2jが、第２ステージの乗算器(226)乃至(242)で掛けられる。ここで、第１の添字は、入力チャンネル番号ｉであり、第２の添字は、加算器の第２ステージを示し、第３の添字は、出力チャンネル番号ｊを示す。乗算器(226)乃至(242)の出力は、その後、加算器(244)乃至(248)で適切に足し合わされて、各出力チャンネルｊについて、対応する出力信号Ｙj(Ｔ)が生成される。各入力チャンネルｉと各出力チャンネルｊのスケーリング定数Ｃi2jは、各入力チャンネルｉと各出力チャンネルｊの空間的配置によって決定される。例えば、レフト入力チャンネルｉとライト出力チャンネルｊのスケーリング定数Ｃi2jがゼロ近くに設定されると、空間的な差異が保たれる。同様に、フロント入力チャンネルｉとフロント出力チャンネルｊのスケーリング定数Ｃi2jが１近くに設定されると、空間的な配置が保たれる。
動作中、リファレンスダウンミックス(200)は、出力信号が受信機で受信される場合に、入力信号間の空間的な関係が適宜に管理及び抽出されるような方法で、Ｎ個のサウンドチャンネルをＭ個のサウンドチャンネルに合成する。さらに、開示したようなＮチャンネルサウンドの組合せにより、Ｍチャンネルオーディオ環境にて聴取する聴取者が許容できる音質のＭチャンネルサウンドが生成される。従って、リファレンスダウンミックス(200)を用いることで、Ｎチャンネルサウンドが、Ｍチャンネル受信機で、適当なアップミキサを有するＮチャンネル受信機で、又はその他の適当な受信機で使用されるＭチャンネルサウンドに変換される。
図３は、本発明の典型的な実施例である、静的なリファレンスダウンミックス(300)の図である。図３に示すように、静的なリファレンスダウンミックス(300)は、図２の静的なリファレンスダウンミックス(200)の具体例であって、５.１チャンネルの時間ドメインデータを、ステレオチャンネルの時間ドメインデータに変換する。静的リファレンスダウンミックス(300)は、図１のリファレンスダウンミックス(102)として、又はその他の適当な方法で使用される。
リファレンスダウンミックス(300)は、ソースの５.１チャンネルサウンドのレフトチャンネル信号Ｌ(Ｔ)を受信するヒルベルト変換部(302)含んでおり、その時間信号にヒルベルト変換を施す。ヒルベルト変換は、信号の９０度の位相シフトをもたらし、その後、所定のスケーリング定数ＣL1が乗算器(310)にて掛けられる。９０度の位相シフトが得られるヒルベルトフィルタやオールパスフィルタネットワークのようなその他の処理が、このヒルベルト変換ユニットに加えて、又はその代わりに使用され得る。オリジナルのレフトチャンネル信号Ｌ(Ｔ)には、所定のスケーリング定数ＣL2が乗算器(312)にて掛けられる。乗算器(310)(312)の出力は、加算器(320)で足し合わされて、分数次ヒルベルト信号Ｌ'(Ｔ)が生成される。同様にして、ソースの５.１チャンネルサウンドのライトチャンネル信号Ｒ(Ｔ)がヒルベルト変換部(304)で処理されて、所定のスケーリング定数ＣR1が乗算器(314)にて掛けられる。オリジナルのライトチャンネル信号Ｒ(Ｔ)には、所定のスケーリング定数ＣL2が乗算器(316)にて掛けられる。乗算器(320)(322)の出力は、加算器(322)で足し合わされて、分数次ヒルベルト信号Ｒ'(Ｔ)が生成される。加算器(320)(322)から出力された分数次ヒルベルト信号Ｌ'(Ｔ)及びＲ'(Ｔ)の位相は、対応する入力信号Ｌ(Ｔ)及びＲ(Ｔ)の位相に対して夫々可変量でシフトしている。位相のシフト量は、ＣL1、ＣL2、ＣR1及びＣR2のスケーリング定数に依存しており、０度の位相シフトは、ＣL1＝０、ＣL2＝１、ＣR1＝０及びＣR2＝１で可能となる。±９０度の位相シフトは、ＣL1＝±１、ＣL2＝１、ＣR1＝±１及びＣR2＝１で可能となる。それらの中間の位相シフトは、ＣL1、ＣL2、ＣR1及びＣR2の適切な値で可能である。５.１チャンネルサウンドのセンターチャンネル入力は、分数次ヒルベルト信号Ｃ'(Ｔ)として乗算器(318)に与えられる。位相シフトは、センターチャンネル入力信号には施されない。乗算器(318)は、３デジベルで減衰するように、所定のスケーリング定数Ｃ３をＣ'(Ｔ)に掛ける。加算器(320)(322)と乗算器(318)の出力は、適切に足し合わされて、レフトウォーターマークチャンネルＬＷ'(Ｔ)及びライトウォーターマークチャンネルＲＷ'(Ｔ)になる。
ソースの５.１チャンネルサウンドのレフトサラウンドチャンネルＬＳ(Ｔ)は、ヒルベルト変換部(306)に与えられ、ソースの５.１チャンネルサウンドのライトサラウンドチャンネルＲＳ(Ｔ)は、ヒルベルト変換部(308)に与えられる。ヒルベルト変換部(306)(308)の出力は、分数次ヒルベルト信号ＬＳ'(Ｔ)及びＲＳ'(Ｔ)であって、ＬＳ(Ｔ)とＬＳ'(Ｔ)の信号対の間と、ＲＳ(Ｔ)とＲＳ'(Ｔ)の信号対の間とには、全９０度の位相シフトがある。そして、ＬＳ'(Ｔ)には、所定のスケーリング定数ＣLS1及びＣLS2が乗算器(324)及び乗算器(326)にて夫々掛けられる。同様に、ＲＳ'(Ｔ)には、所定のスケーリング定数ＣRS1及びＣRS2が乗算器(328)及び乗算器(330)にて夫々掛けられる。乗算器(324)乃至(330)の出力は、レフトウォーターマークチャンネルＬＷ'(Ｔ)及びライトウォーターマークチャンネルＲＷ'(Ｔ)に適切に与えられる。
加算器(332)は、加算器(320)のレフトチャンネル出力と、乗算器(318)のセンターチャンネル出力と、乗算器(324)のレフトサラウンドチャンネル出力と、乗算器(328)のライトサラウンドチャンネル出力とを受信し、これら信号を足し合わせて、レフトウォーターマークチャンネルＬＷ'(Ｔ)を作る。同様に、加算器(334)は、加算器(318)のセンターチャンネル出力と、乗算器(322)のライトチャンネル出力と、乗算器(326)のレフトサラウンドチャンネル出力と、乗算器(330)のライトサラウンドチャンネル出力とを受信し、これら信号を足し合わせて、ライトウォーターマークチャンネルＲＷ'(Ｔ)を作る。
動作中、リファレンスダウンミックス(300)は、ライトウォーターマークチャンネル及びレフトウォーターマークチャンネルのステレオ信号が受信機で受信される場合に、５.１入力チャンネル間の空間的な関係が管理及び抽出されるような方法で、ソースの５.１サウンドチャンネルを合成する。さらに、開示したような５.１チャンネルサウンドの組合せにより、サラウンドサウンドのアップミックスを行えないステレオ受信機を用いる聴取者が許容できる音質のステレオサウンドが生成される。従って、リファレンスダウンミックス(300)を用いることで、５.１チャンネルサウンドが、ステレオ受信機、適当なアップミキサを有する５.１チャンネル受信機、適当なアップミキサを有する７.１チャンネル受信機、又はその他の適当な受信機で使用されるステレオサウンドに変換される。
図４は、本発明の典型的な実施例であるサブバンドベクトル計算システム(400)の図である。サブバンドベクトル計算システム(400)によって、複数の周波数帯について、エネルギ及び位置ベクトルのデータが得られる。サブバンドベクトル計算システム(400)は、図１のサブバンドベクトル計算システム(106)(108)として使用され得る。
サブバンドベクトル計算システム(400)は、時間−周波数解析ユニット(402)乃至(410)を含んでいる。５.１時間ドメインサウンドチャンネルであるＬ(Ｔ)、Ｒ(Ｔ)、Ｃ(Ｔ)、ＬＳ(Ｔ)及びＲＳ(Ｔ)が、時間−周波数解析ユニット(402)乃至(410)に夫々与えられて、時間ドメイン信号から周波数ドメイン信号に変換される。これら時間−周波数解析ユニットとしては、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクを使用できる。Ｌ(Ｔ)、Ｒ(Ｔ)、Ｃ(Ｔ)、ＬＳ(Ｔ)及びＲＳ(Ｔ)について、周波数帯ごとの大きさ又はエネルギ値が、時間−周波数解析ユニット(402)乃至(410)から出力される。これらの大きさ/エネルギ値は、対応する各チャンネルの各周波数帯成分に関した大きさ/エネルギの測定値である。大きさ/エネルギの測定値は、加算器(412)で足し合わされる。加算器(412)は、周波数帯当たりの入力信号の全エネルギであるＴ(Ｆ)を出力する。この値は、チャンネルの大きさ/エネルギの各々に分けられて、除算ユニット(414)乃至(422)によって、対応する規格化されたチャンネル間レベル差(ＩＣＬＤ)信号であるＭL(Ｆ)、ＭR(Ｆ)、ＭC(Ｆ)、ＭLS(Ｆ)及びＭRS(Ｆ)が生成される。これらＩＣＬＤ信号は、各チャンネルに関するサブバンドエネルキの規格化された推定値(estimates)と考えられる。
５.１チャンネルサウンドは、横軸と深さ軸とで構成された２次元面上の典型的な場所として示されるような、規格化された位置ベクトルにマップされる。図示したように、(ＸLS，ＹLS)に関する場所の値は、原点に割り当てられ、(ＸRS，ＹRS)に関する場所の値は、(０、１)に割り当てられ、(ＸL，ＹL)に関する場所の値は、(０、１−Ｃ)に割り当てられる。ここで、Ｃは、１と０の間の値であって、部屋の後部からレフト及びライトスピーカまでの後退距離(setback distance)を表す。同様に、(ＸR，ＹR)の値は、(１、１−Ｃ)である。最後に、(ＸC，ＹC)の値は、(０.５、１)である。これらの座標は典型的なものであって、お互いに対する規格化された実際のスピーカ配置又は構成を反映するように変更され得る。スピーカ座標は、部屋の大きさ、部屋の形状又はその他の因子に応じて異なる。例えば、７.１サウンド又はその他の適当なサウンドチャンネル構成が使用される場合、さらなる座標値が与えられて、部屋の周囲のスピーカの配置を反映する。同様に、このようなスピーカ配置は、自動車、部屋、講堂、体育館又は適当なその他におけるスピーカの実際の分布に応じてカスタマイズされる。
推定された像位置ベクトルＰ(Ｆ)は、ベクトル式：Ｐ(Ｆ)＝ＭL(Ｆ)＊(ＸL，ＹL)＋ＭR(Ｆ)＊(ＸR，ＹR)＋ＭC(Ｆ)＊(ＸC，ＹC)＋ｉ．ＭLS(Ｆ)＊(ＸLS，ＹLS)＋ＭRS(Ｆ)＊(ＸRS，ＹRS)に基づいて、サブバンド毎に計算される。
このように、各周波数帯について、全エネルギＴ(Ｆ)及び位置ベクトルＰ(Ｆ)が得られて、その周波数帯に関して、見掛けの(apparent)周波数ソースの検知強度及び位置を定義するのに使用される。この方法によって、サブバンド補正システム(110)での使用、又はその他の適当な目的の使用において、周波数成分の空間像が限定される(localized)。
図５は、本発明の典型的な実施例であるサブバンド補正システムの図である。サブバンド補正システムは、図１のサブバンド補正システム(110)として、又はその他の適当な用途に使用できる。サブバンド補正システムは、レフトウォーターマークステレオチャンネル信号ＬＷ'(Ｔ)及びライトウォーターマークステレオチャンネル信号ＲＷ'(Ｔ)を受信して、これらウォーターマークステレオ信号についてエネルギ及び像の補正を実行し、リファレンスダウンミキシング又はその他の適当な方法の結果として生じ得る各周波数帯の信号の誤りを補正する。サブバンド補正システムは、各サブバンドについて、ソースの全エネルギ信号ＴSOURCE(Ｆ)と、生じたアップミックス信号の全エネルギ信号ＴUMIX(Ｆ)と、ソースの位置ベクトルＰSOURCE(Ｆ)と、生じたアップミックス信号の位置ベクトルＰUMIX(Ｆ)とを受信して、使用する。これら信号は、図１のサブバンドベクトル計算システム(106)(108)で生成される。全エネルギ信号及び位置ベクトルが用いられて、実行される適切な補正及び補償が決定される。
サブバンド補正システムは、位置補正システム(500)と、スペクトルエネルギ補正システム(502)と含んでいる。位置補正システム(500)は、レフトウォーターマークステレオチャンネルＬＷ'(Ｔ)及びライトウォーターマークステレオチャンネルＲＷ'(Ｔ)の時間ドメイン信号を受信し、それらステレオチャンネルは、夫々、時間−周波数解析ユニット(504)(506)にて、時間ドメインから周波数ドメインに変換される。これら時間−周波数解析ユニットとしては、適当なフィルタバンク、例えば、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクを使用できる。
時間−周波数解析ユニット(504)(506)の出力は、周波数ドメインサブバンド信号ＬＷ'(Ｆ)及びＲＷ'(Ｆ)である。チャンネル間レベル差(ＩＣＬＤ)及びチャンネル間コヒーレンス(ＩＣＣ)の関連する空間キューは、信号ＬＷ'(Ｆ)及びＲＷ'(Ｆ)においてサブバンドごとに修正される。例えば、これらキューは、ＬＷ'(Ｆ)及びＲＷ'(Ｆ)の絶対値のような、ＬＷ'(Ｆ)及びＲＷ'(Ｆ)の大きさ又はエネルギと、ＬＷ'(Ｆ)及びＲＷ'(Ｆ)の位相とを操作することで変更され得る。ＩＣＬＤの補正は、式：[ＸMAX−Ｐx,SOURCE(Ｆ)]/[ＸMAX−Ｐx,UMIX(Ｆ)]による値を、乗算器(508)にて、ＬＷ'(Ｆ)の大きさ/エネルギ値に掛けることで実行される。ここで、ＸMAX＝Ｘ座標境界の最大値、Ｐx,SOURCE(Ｆ)＝ソースベクトルからのサブバンドＸ位置座標の推定値、Ｐx,UMIX(Ｆ)＝生じたアップミックスベクトルからのサブバンドＸ位置座標の推定値である。同様に、式：[Ｐx,SOURCE(Ｆ)−ＸMIN]/[Ｐx,UMIX(Ｆ)−ＸMIN]による値が、乗算器(510)にて、ＲＷ'(Ｆ)の大きさ/エネルギ値に掛けられる。ここで、ＸMIN＝Ｘ座標境界の最小値である。
ＩＣＣの補正は、加算器(512)を用いて、式：＋/−Π＊[ＰY,SOURCE(Ｆ)−ＰY,UMIX(Ｆ)]/[ＹMAX−ＹMIN]で生成される値をＬＷ'(Ｆ)の位相に加えることで実行される。ここで、ＰY,SOURCE(Ｆ)＝ソースベクトルからのサブバンドＹ位置座標の推定値、ＰY,UMIX(Ｆ)＝生じたアップミックスベクトルからのサブバンドＹ位置座標の推定値、ＹMAX＝Ｙ座標境界の最大値、ＹMIN＝Ｙ座標境界の最小値である。
同様に、ＲＷ'(Ｆ)の位相には、加算器(514)を用いて、式：−/＋Π＊[ＰY,SOURCE(Ｆ)−ＰY,UMIX(Ｆ)]/[ＹMAX−ＹMIN]で生成される値が加えられる。ＬＷ'(Ｆ)及びＲＷ'(Ｆ)に加えられる角度要素の値は等しいが、それらの極性は逆である。得られた極性は、ＬＷ'(Ｆ)とＲＷ'(Ｆ)の間の進み位相角度(leading phase angle)によって決定される。
補正されたＬＷ'(Ｆ)の大きさ/エネルギと補正されたＬＷ'(Ｆ)の位相は、加算器(516)で再結合されて、各サブバンドについて複素数のＬＷ(Ｆ)が生成され、その後、周波数−時間シンセシス(synthesis)ユニット(520)によって、レフトウォータマークの時間ドメイン信号ＬＷ(Ｔ)に変換される。同様に、補正されたＲＷ'(Ｆ)の大きさ/エネルギと補正されたＲＷ'(Ｆ)の位相は、加算器(518)にて再結合されて、各サブバンドについて複素数のＲＷ(Ｆ)が生成され、その後、周波数−時間シンセシスユニット(522)によって、ライトウォータマークの時間ドメイン信号ＲＷ(Ｔ)に変換される。周波数−時間シンセシスユニット(520)(522)には、周波数ドメイン信号を時間ドメイン信号に戻すことができる適当なシンセシスフィルタバンクが使用される。
この典型的な実施例に示されるように、レフト及びライトのウォータマークチャンネル信号の各スペクトル要素のチャンネル間空間キューは、位置補正部(500)を用いて補正される。位置補正部(500)は、ＩＣＬＤ及びＩＣＣ空間キューを適切に変更する。
スペクトルエネルギ補正システム(502)が用いられることで、ダウンミックス信号の全スペクトルバランスが、オリジナルの５.１信号の全スペクトルバランスと一致することが確実になり、その結果、例えば、合成フィルタリング(comb filtering)で起こるスペクトルのずれが補償される。レフトウォーターマーク時間ドメイン信号ＬＷ'(Ｔ)は、時間−周波数解析ユニット(524)を用いて、ライトウォーターマーク時間ドメイン信号ＲＷ'(Ｔ)は、時間−周波数解析ユニット(526)を用いて、時間ドメインから周波数ドメインに変換される。これらの時間−周波数解析ユニットには、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクが使用され得る。時間−周波数解析ユニット(524)及び同ユニット(526)の出力は、ＬＷ'(Ｆ)及びＲＷ'(Ｆ)の周波数サブバンド信号であって、それらには、乗算器(528)及び乗算器(530)にて、ＴSOURCE(Ｆ)/ＴUMIX(Ｆ)が掛けられる。ここで、ＴSOURCE(Ｆ)＝｜Ｌ(Ｆ)｜＋｜Ｒ(Ｆ)｜＋｜Ｃ(Ｆ)｜＋｜ＬＳ(Ｆ)｜＋｜ＬＲ(Ｆ)｜であり、ＴUMIX(Ｆ)＝｜ＬUMIX(Ｆ)｜＋｜ＲUMIX(Ｆ)｜＋｜ＣUMIX(Ｆ)｜＋｜ＬＳUMIX(Ｆ)｜＋｜ＬＲUMIX(Ｆ)｜である。
乗算器(528)及び乗算器(530)の出力は、その後、周波数−時間シンセシスユニット(532)及び同ユニット(534)で、周波数ドメインから時間ドメインに変換されて、ＬＷ(Ｔ)及びＲＷ(Ｔ)が生成される。周波数−時間シンセシスユニットには、周波数ドメイン信号を時間ドメイン信号に戻すことができる適当なシンセシスフィルタバンクが使用される。この方法では、位置及びエネルギの補正が、ダウンミックスされたステレオチャンネル信号ＬＷ'(Ｔ)及びＲＷ'(Ｔ)に与えられて、オリジナルの５.１信号に忠実なレフトウォーターマークステレオチャンネル信号ＬＷ(Ｔ)及びＲＷ(Ｔ)が生成される。ＬＷ(Ｔ)及びＲＷ(Ｔ)は、オリジナルの５.１チャンネルサウンドにある任意の内容要素(content elements)のスペクトル成分の位置又はエネルギを大きく変化させることなく、ステレオで再生され、又は、アップミックスされて５.１チャンネル又は適当な数のチャンネルに戻される。
図６は、本発明の典型的な実施例であって、ＭチャンネルからＮチャンネルにデータをアップミキシングするシステム(600)の図である。システム(600)は、ステレオ時間ドメインデータをＮチャンネル時間ドメインデータに変換する。
システム(600)は、時間−周波数解析ユニット(602)、同ユニット(604)、フィルタ生成ユニット(606)、平滑化ユニット(608)、周波数−時間シンセシスユニット(634)乃至(638)を含んでいる。システム(600)によって、スケーラブル周波数ドメインアーキテクチャとフィルタ生成方法とを用いて、アップミックスプロセスにて空間的差異及び安定性が改善される。スケーラブル周波数ドメインアーキテクチャは、高分解能の周波数帯処理を可能とし、フィルタ生成方法は、主要なチャンネル間キューを周波数帯ごとに抽出及び解析し、アップミックスされたＮチャンネル信号における周波数要素の空間配置を導出する。
システム(600)は、時間−周波数解析ユニット(602)(604)で、レフトチャンネルステレオ信号Ｌ(Ｔ)とライトチャンネルステレオ信号Ｒ(Ｔ)を受信する。これら時間−周波数解析ユニット(602)(604)は、時間ドメイン信号を周波数ドメイン信号に変換する。これら時間−周波数解析ユニット(602)(604)には、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクが使用される。時間−周波数解析ユニット(602)(604)の出力は、例えば、０乃至２０ｋＨｚの周波数範囲のような、人間の聴覚システムの周波数範囲を十分にカバーする一組の周波数ドメイン値である。解析フィルタバンクのサブバンド帯域幅は、ほぼ心理音響臨界帯域(psycho-acoustic critical band)へと、等価矩形帯域幅へと、又はその他の知覚的特徴へと処理される。同様に、その他の適切な数の周波数帯及び範囲も採用できる。
時間−周波数解析ユニット(602)(604)の出力は、フィルタ生成ユニット(606)に与えられる。典型的なある実施例では、フィルタ生成ユニット(606)は、所定の環境に出力されるべきチャンネルの数について、外部からの選択を受信する。例えば、２個のフロントスピーカ及び２個のリアスピーカがある４.１サウンドチャンネルが選択でき、２個のフロントスピーカ、２個のリアスピーカ及び１個のフロントセンタースピーカがある５.１サウンドチャンネルが選択でき、２個のフロントスピーカ、２個のサイドスピーカ、２個のリアスピーカ及び１個のフロントセンタースピーカがある７.１サウンドチャンネルが選択でき、又はその他の適当なサウンドシステムが選択できる。フィルタ生成ユニット(606)は、周波数帯毎に、チャンネル間レベル差(ＩＣＬＤ)及びチャンネル間コヒーレンス(ＩＣＣ)のようなチャンネル間空間キューを抽出及び解析する。その後、それら関連空間キューがパラメータとして使用されて、アップミックスされたサウンドフィールドにおいて周波数帯要素の空間配置を制御する適応チャンネルフィルタが生成される。チャンネルフィルタが非常に急激に変動すると、フィルタの変動性が迷惑な変動効果を起こすが、チャンネルフィルタは、時間及び周波数の両方に渡って、平滑化ユニット(608)で平滑化されて、フィルタの変動性は制限される。図６に示す典型的実施例では、レフトチャンネルの周波数ドメイン信号Ｌ(Ｆ)とライトチャンネルの周波数ドメイン信号Ｒ(Ｆ)が、フィルタ生成ユニット(606)に与えられて、平滑化ユニット(608)に与えられるＮチャンネルフィルタ信号Ｈ1(Ｆ)、Ｈ2(Ｆ)乃至ＨN(Ｆ)が生成される。
平滑化ユニット(608)は、時間次元及び周波数次元の両方に渡って、Ｎチャンネルフィルタの各チャンネルについて、周波数ドメイン成分を平均化する。時間及び周波数に渡る平滑化は、チャンネルフィルタ信号における急激な変動の制御に役立ち、その結果として、聴取者に迷惑になり得るジッターの影響(artifacts)や不安定性が低減される。典型的なある実施例では、時間の平滑化は、現在のフレームの周波数帯と過去のフレームの対応する周波数帯の各々について、一次のローパスフィルタを適用することで実現される。これは、フレームからフレームへの各周波数帯の変動を低減する効果がある。典型的な別の実施例では、空間の平滑化は、人間の聴覚システムの臨界帯域間隔(critical band spacing)を近似するようにモデル化された周波数ビン(bins)のグループに渡って実行される。例えば、均一に配置された周波数ビンを伴う解析フィルタバンクが用いられる場合、様々な数の周波数ビンが、周波数スペクトルの様々な区分について、グループ化及び平均化される。例えば、０から５ｋＨｚについて５つの周波数ビンが平均化され、５から１０ｋＨｚについて７つの周波数ビンが平均化され、１０ｋＨｚから２０ｋＨｚについて９つの周波数ビンが平均化される。又は、その他の適切な数の周波数ビンと帯域幅領域とが選択されてもよい。Ｈ1(Ｆ)、Ｈ2(Ｆ)乃至ＨN(Ｆ)の平滑化された値は、平滑化ユニット(608)から出力される。
Ｎ個の出力チャンネルの各々に関するソース信号Ｘ1(Ｆ)、Ｘ2(Ｆ)乃至ＸN(Ｆ)が、Ｍ個の入力チャンネルの適応的組合せ(adaptive combination)として生成される。図６に示す典型的な例では、特定の出力チャンネルｉについて、加算器(614)(620)(626)から出力されるチャンネルソース信号Ｘi(Ｆ)は、適応スケーリング信号Ｇi(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−Ｇi(Ｆ)が掛けられたＲ(Ｆ)との和として生成される。乗算器(610)(612)(616)(618)(622)(624)で用いられる適応スケーリング信号Ｇi(Ｆ)は、出力チャンネルｉの予定の空間位置(intended spatial position)と、周波数帯当たりのＬ(Ｆ)及びＲ(Ｆ)の動的なチャンネル間コヒーレンスの推定値とで決定される。同様に、加算器(614)(620)(626)に与えられる信号の極性は、出力チャンネルｉの予定の空間位置で決定される。例えば、加算器(614)(620)(626)における適合スケーリング信号Ｇi(Ｆ)とそれらの極性とは、従来のマトリックスアップミキシング方法において良く知られているように、フロントセンターチャンネルのＬ(Ｆ)+Ｒ(Ｆ)の組合せ、レフトチャンネルのＬ(Ｆ)、ライトチャンネルのＲ(Ｆ)、リアチャンネルのＬ(Ｆ)−Ｒ(Ｆ)の組合せを与えるように決められる。さらに、適応スケーリング信号Ｇi(Ｆ)は、出力チャンネル対の間の相関を、出力チャンネル対が横又は深さ方向の(depth-wise)チャンネル対であろうと、動的に調整する方法を与える。
チャンネルソース信号Ｘ1(Ｆ)、Ｘ2(Ｆ)乃至ＸN(Ｆ)は夫々、乗算器(628)乃至乗算器(632)によって、平滑化されたチャンネルフィルタＨ1(Ｆ)、Ｈ2(Ｆ)乃至ＨN(Ｆ)と掛けられる。
乗算器(628)乃(632)の出力は、その後、周波数−時間シンセシスユニット(634)乃至(638)によって、周波数ドメインから時間ドメインに変換され、出力チャンネルＹ1(Ｔ)、Ｙ2(Ｔ)乃至ＹN(Ｔ)が生成される。この方法では、レフト及びライトのステレオ信号がＮチャンネル信号にアップミックスされる。もともと存在しているチャンネル間空間キューを、又は、例えば、図１のダウンミキシングウォータマーク処理、若しくはその他の適当な処理によって、レフト及びライトのステレオ信号に意図的にエンコードされるチャンネル間空間キューを用いて、システム(600)で生成されるＮチャンネルサウンドフィールド内の周波数要素の空間配置が制御される。同様に、例えば、ステレオから７.１サウンド、５.１サウンドから７.１サウンド、又はその他の適当な組合せのような、入力及び出力のその他の適当な組合せも採用できる。
図７は、本発明の典型的な実施例であって、ＭチャンネルからＮチャンネルにデータをアップミキシングするシステム(700)の図である。システム(700)は、ステレオの時間ドメインデータを５.１チャンネルの時間ドメインデータに変換する。
システム(700)は、時間−周波数解析ユニット(702)、同ユニット(704)、フィルタ生成ユニット(706)、平滑化ユニット(708)、周波数−時間シンセシスユニット(738)乃至(746)を含んでいる。システム(700)は、スケーラブル周波数ドメインアーキテクチャとフィルタ生成方法とを用いて、アップミックスプロセスにて空間的差異及び安定性を改善する。スケーラブル周波数ドメインアーキテクチャは、高分解能の周波数帯処理を可能とし、フィルタ生成方法は、主要なチャンネル間キューを周波数帯ごとに抽出及び解析することで、アップミックスされた５.１チャンネル信号における周波数要素の空間配置を導出する。
システム(700)は、時間−周波数解析ユニット(702)(704)で、レフトチャンネルステレオ信号Ｌ(Ｔ)及びライトチャンネルステレオ信号Ｒ(Ｔ)を受信する。これら時間−周波数解析ユニット(702)(704)は、時間ドメイン信号を周波数ドメイン信号に変換する。これら時間−周波数解析ユニット(702)(704)には、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクが使用される。時間−周波数解析ユニット(702)(704)の出力は、例えば、０乃至２０ｋＨｚの周波数範囲のような、人間の聴覚システムの周波数範囲を十分にカバーする一組の周波数ドメインの値である。解析フィルタバンクのサブバンド帯域幅は、ほぼ心理音響臨界帯域へと、等価矩形帯域幅へと、又はその他のある知覚的特徴へと処理される。同様に、その他の適切な数の周波数帯及び範囲も採用できる。
時間−周波数解析ユニット(702)(704)の出力は、フィルタ生成ユニット(706)に与えられる。典型的なある実施例では、フィルタ生成ユニット(706)は、所定の環境に出力されるチャンネルの数について、外部からの選択を受信する。例えば、２個のフロントスピーカ及び２個のリアスピーカがある４.１サウンドチャンネルが選択でき、２個のフロントスピーカ、２個のリアスピーカ及び１個のフロントセンタースピーカがある５.１サウンドシステムが選択でき、２個のフロントスピーカ、２個のフロントスピーカ及び１個のフロントセンタースピーカがある３.１サウンドシステムが選択でき、又はその他の適当なサウンドシステムが選択できる。フィルタ生成ユニット(706)は、周波数帯ごとに、チャンネル間レベル差(ＩＣＬＤ)及びチャンネル間コヒーレンス(ＩＣＣ)のようなチャンネル間空間キューを抽出及び解析する。それら関連空間キューをパラメータとして使用して、その後、アップミックスされたサウンドフィールドにおける周波数帯要素の空間配置を制御する適応チャンネルフィルタが生成される。チャンネルフィルタが非常に急激に変動すると、フィルタの変動性が迷惑な変動効果を起こすが、チャンネルフィルタは、時間及び周波数の両方に渡って平滑化ユニット(708)で平滑化されて、フィルタの変動性は制限される。図７に示す典型的実施例では、レフトチャンネルの周波数ドメイン信号Ｌ(Ｆ)とライトチャンネルの周波数ドメイン信号Ｒ(Ｆ)がフィルタ生成ユニット(706)に与えられて、平滑化ユニット(708)に与えられる５.１チャンネルフィルタ信号ＨL(Ｆ)、ＨR(Ｆ)、ＨC(Ｆ)、ＨLS(Ｆ)及びＨRS(Ｆ)が生成される。
平滑化ユニット(708)は、時間次元及び周波数次元の両方に渡って、５.１チャンネルフィルタの各チャンネルについて、周波数ドメイン成分を平均化する。時間及び周波数に渡る平滑化は、チャンネルフィルタ信号における急激な変動の制御に役立ち、その結果として、聴取者に迷惑になり得るジッターの影響や不安定性が低減される。典型的なある実施例では、時間の平滑化は、現在のフレームの周波数帯と過去のフレームの対応する周波数帯の各々について、一次のローパスフィルタを適用することで実現される。これは、フレームからフレームへの各周波数帯の変動を低減する効果がある。典型的な別の実施例では、空間の平滑化は、人間の聴覚システムの臨界帯域間隔を近似するようにモデル化された周波数ビンのグループに渡って実行される。例えば、均一に配置された周波数ビンを伴った解析フィルタバンクが用いられる場合、様々な数の周波数ビンが、周波数スペクトルの様々な区分について、グループ化及び平均化される。この実施例では、例えば、０から５ｋＨｚについて５つの周波数ビンが平均化され、５から７ｋＨｚについて７つの周波数ビンが平均化され、１０ｋＨｚから２０ｋＨｚについて９つの周波数ビンが平均化される。又は、その他の適切な数の周波数ビンと帯域幅領域が選択されてもよい。ＨL(Ｆ)、ＨR(Ｆ)、ＨC(Ｆ)、ＨLS(Ｆ)及びＨRS(Ｆ)の平滑化された値は、平滑化ユニット(708)から出力される。
５.１出力チャンネルの各々に関するソース信号ＸL(Ｆ)、ＸR(Ｆ)、ＸC(Ｆ)、ＸLS(Ｆ)及びＸRS(Ｆ)が、ステレオ入力チャンネルの適応的組合せとして生成される。図７に示す典型的な例では、ＸL(Ｆ)は、単にＬ(Ｆ)で与えられており、全ての周波数帯についてＧL(Ｆ)＝１である。同様に、ＸR(Ｆ)は、単にＲ(Ｆ)で与えられており、全ての周波数帯についてＧR(Ｆ)＝０である。加算器(714)の出力であるＸｃ(Ｆ)は、適応スケーリング信号ＧC(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧC(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。加算器(720)の出力であるＸLS(Ｆ)は、適応スケーリング信号ＧLS(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧLS(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。同様に、加算器(726)の出力であるＸRS(Ｆ)は、適応スケーリング信号ＧRS(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧRS(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。全ての周波数帯についてＧC(Ｆ)＝０.５、ＧLS(Ｆ)＝０.５、及びＧRS(Ｆ)＝０.５である場合、従来のマトリックスアップミキシング方法において良く知られているようにフロントセンターチャンネルは、Ｌ(Ｆ)＋Ｒ(Ｆ)の組合せから供給され、サラウンドチャンネルは、スケーリングされたＬ(Ｆ)−Ｒ(Ｆ)の組合せから供給されることに留意のこと。適応スケーリング信号ＧC(Ｆ)、ＧLS(Ｆ)及びＧRS(Ｆ)は、さらに、隣接する出力チャンネル対の間の相関を、出力チャンネル対が横又は深さ方向のチャンネル対であろうと、動的に調整する方法を与える。チャンネルソース信号ＸL(Ｆ)、ＸR(Ｆ)、ＸC(Ｆ)、ＸLS(Ｆ)及びＸRS(Ｆ)には、乗算器(728)乃(736)によって、平滑化されたチャンネルフィルタＨL(Ｆ)、ＨR(Ｆ)、ＨC(Ｆ)、ＨLS(Ｆ)及びＨRS(Ｆ)が夫々掛けられる。
乗算器(728)乃至乗算器(736)の出力は、その後、周波数−時間シンセシスユニット(738)乃至(746)によって、周波数ドメインから時間ドメインに変換され、出力チャンネルＹL(Ｔ)、ＹR(Ｔ)、ＹC(Ｔ)、ＹLS(Ｔ)及びＹRS(Ｔ)が生成される。この方法では、レフト及びライトのステレオ信号が５.１チャンネル信号にアップミックスされる。もともと存在しているチャンネル間空間キューを、又は、例えば、図１のダウンミキシングウォータマーク処理、若しくはその他の適当な処理によって、レフト及びライトのステレオ信号に意図的にエンコードされるチャンネル間空間キューを用いて、システム(700)で生成される５.１チャンネルサウンドフィールド内の周波数要素の空間配置が制御される。同様に、例えば、ステレオから４.１サウンド、４.１サウンドから５.１サウンド、又はその他の適当な組合せのような、入力及び出力のその他の適当な組合せも採用できる。
図８は、ＭチャンネルからＮチャンネルにデータをアップミキシングするシステム(800)の図である。システム(800)は、ステレオの時間ドメインデータを７.１チャンネルの時間ドメインデータに変換する。
システム(800)は、時間−周波数解析ユニット(802)、同ユニット(804)、フィルタ生成ユニット(806)、平滑化ユニット(808)、周波数−時間シンセシスユニット(854)乃至(866)を含んでいる。システム(800)によって、スケーラブル周波数ドメインアーキテクチャとフィルタ生成方法を用いて、アップミックスプロセスにて空間的差異と安定性とが改善される。スケーラブル周波数ドメインアーキテクチャは、高分解能の周波数帯処理を可能とし、フィルタ生成方法は、主要なチャンネル間キューを周波数帯ごとに抽出及び解析して、アップミックスされた７.１チャンネル信号における周波数要素の空間配置を導出する。
システム(800)は、時間−周波数解析ユニット(802)(804)で、レフトチャンネルステレオ信号Ｌ(Ｔ)とライトチャンネルステレオ信号Ｒ(Ｔ)を受信する。これら時間−周波数解析ユニット(802)(804)は、時間ドメイン信号を周波数ドメイン信号に変換する。これら時間−周波数解析ユニット(802)(804)には、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(ＦＩＲ)フィルタバンク、直交ミラーフィルタ(ＱＭＦ)バンク、離散フーリエ変換(ＤＦＴ)、タイムドメインエリアシングキャンセル(ＴＤＡＣ)フィルタバンク、又はその他の適当なフィルタバンクが使用される。時間−周波数解析ユニット(802)(804)の出力は、例えば、０乃至２０ｋＨｚの周波数範囲のような、人間の聴覚システムの周波数範囲を十分にカバーする一組の周波数ドメイン値である。解析フィルタバンクのサブバンド帯域幅は、ほぼ心理音響臨界帯域へと、等価矩形帯域幅へと、又はその他の知覚的特徴へと処理される。同様に、その他の適切な数の周波数帯及び範囲も採用できる。
時間−周波数解析ユニット(802)(804)の出力は、フィルタ生成ユニット(806)に与えられる。典型的なある実施例では、フィルタ生成ユニット(806)は、所定の環境に出力されるチャンネルの数について、外部からの選択を受信する。例えば、２個のフロントスピーカ及び２個のリアスピーカがある４.１サウンドチャンネルが選択でき、２個のフロントスピーカ、２個のリアスピーカ及び１個のフロントセンタースピーカがある５.１サウンドシステムが選択でき、２個のフロントスピーカ、２個のサイドスピーカ、２個のリアスピーカ及び１個のフロントセンタースピーカがある７.１サウンドチャンネルが選択でき、又はその他の適当なサウンドシステムが選択できる。フィルタ生成ユニット(806)は、周波数帯ごとに、チャンネル間レベル差(ＩＣＬＤ)及びチャンネル間コヒーレンス(ＩＣＣ)のようなチャンネル間空間キューを抽出及び解析する。その後、それら関連空間キューがパラメータとして使用されて、アップミックスされたサウンドフィールドにおける周波数帯要素の空間配置を制御する適応チャンネルフィルタが生成される。チャンネルフィルタが非常に急激に変動すると、フィルタの変動性が迷惑な変動効果を起こすが、チャンネルフィルタは、時間及び周波数の両方に渡って平滑化ユニット(808)で平滑化されて、フィルタの変動性は制限される。図８に示す典型的実施例では、レフトチャンネルの周波数ドメイン信号Ｌ(Ｆ)とライトチャンネルの周波数ドメイン信号Ｒ(Ｆ)が、フィルタ生成ユニット(806)に与えられて、平滑化ユニット(808)に与えられる７.１チャンネルフィルタ信号ＨL(Ｆ)、ＨR(Ｆ)、ＨC(Ｆ)、ＨLS(Ｆ)、ＨRS(Ｆ)、ＨLB(Ｆ)及びＨRB(Ｆ)が生成される。
平滑化ユニット(808)は、時間次元及び周波数次元の両方に渡って、７.１チャンネルフィルタの各チャンネルについて、周波数ドメイン成分を平均化する。時間及び周波数に渡る平滑化は、チャンネルフィルタ信号における急激な変動の制御に役立ち、その結果として、聴取者に迷惑になり得るジッターの影響や不安定性が低減される。典型的なある実施例では、時間の平滑化は、現在のフレームの周波数帯と過去のフレームの対応する周波数帯の各々について、一次のローパスフィルタを適用することで実現される。これは、フレームからフレームへの各周波数帯の変動を低減する効果がある。典型的なある実施例では、空間の平滑化は、人間の聴覚システムの臨界帯域間隔を近似するようにモデル化された周波数ビンのグループに渡って実行される。例えば、均一に配置された周波数ビンを伴った解析フィルタバンクが用いられる場合、様々数の周波数ビンが、周波数スペクトルの様々な区分について、グループ化及び平均化される。この実施例では、例えば、０から５ｋＨｚについて５つの周波数ビンが平均化され、５から１０ｋＨｚについて７つの周波数ビンが平均化され、１０ｋＨｚから２０ｋＨｚについて９つの５つの周波数ビンが平均化される。又は、その他の適切な数の周波数ビンと帯域幅領域が選択されてもよい。ＨL(Ｆ)、ＨR(Ｆ)、ＨC(Ｆ)、ＨLS(Ｆ)、ＨRS(Ｆ)、ＨLB(Ｆ)及びＨRB(Ｆ)の平滑化された値は、平滑化ユニット(808)から出力される。
７.１出力チャンネルの各々に関するソース信号ＸL(Ｆ)、ＸR(Ｆ)、ＸC(Ｆ)、ＸLS(Ｆ)、ＸRS(Ｆ)、ＸLB(Ｆ)及びＸRB(Ｆ)が、ステレオ入力チャンネルの適応的組合せとして生成される。図８に示す典型的な例では、ＸL(Ｆ)は、単にＬ(Ｆ)で与えられており、全ての周波数帯についてＧL(Ｆ)＝１である。同様に、ＸR(Ｆ)は、単にＲ(Ｆ)で与えられており、全ての周波数帯についてＧR(Ｆ)＝０である。加算器(814)の出力であるＸｃ(Ｆ)は、適応スケーリング信号ＧC(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧC(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。加算器(820)の出力であるＸLS(Ｆ)は、適応スケーリング信号ＧLS(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧLS(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。同様に、加算器(826)の出力であるＸRS(Ｆ)は、適応スケーリング信号ＧRS(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧRS(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。同様に、加算器(832)の出力であるＸLB(Ｆ)は、適応スケーリング信号ＧLB(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧLB(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。同様に、加算器(838)の出力であるＸRB(Ｆ)は、適応スケーリング信号ＧRB(Ｆ)が掛けられたＬ(Ｆ)と、適応スケーリング信号１−ＧRB(Ｆ)が掛けられたＲ(Ｆ)との和として計算される。全ての周波数帯についてＧC(Ｆ)＝０.５、ＧLS(Ｆ)＝０.５、ＧRS(Ｆ)＝０.５，ＧLB(Ｆ)＝０.５及びＧRB(Ｆ)＝０.５である場合、従来のマトリックスアップミキシング方法において良く知られているように、フロントセンターチャンネルは、Ｌ(Ｆ)＋Ｒ(Ｆ)の組合せから供給され、サイドチャンネル及びバックチャンネルは、スケーリングされたＬ(Ｆ)−Ｒ(Ｆ)の組合せから供給されることに留意のこと。更に、適応スケーリング信号ＧC(Ｆ)、ＧLS(Ｆ)、ＧRS(Ｆ)、ＧLB(Ｆ)及びＧRB(Ｆ)は、隣接する出力チャンネル対の間の相関を、出力チャンネル対が横又は深さ方向のチャンネル対であろうと、動的に調整する方法を与える。チャンネルソース信号ＸL(Ｆ)、ＸR(Ｆ)、ＸC(Ｆ)、ＸLS(Ｆ)、ＸRS(Ｆ)、ＸLB(Ｆ)及びＸRB(Ｆ)には、乗算器(840)乃至乗算器(852)によって、平滑化されたチャンネルフィルタＨL(Ｆ)、ＨR(Ｆ)、ＨC(Ｆ)、ＨLS(Ｆ)、ＨRS(Ｆ)、ＨLB(Ｆ)及びＨRB(Ｆ)が夫々掛けられる。
乗算器(840)乃至乗算器(852)の出力は、その後、周波数−時間シンセシスユニット(854)乃至(852)によって、周波数ドメインから時間ドメインに変換され、出力チャンネルＹL(Ｔ)、ＹR(Ｔ)、ＹC(Ｔ)、ＹLS(Ｔ)、ＹRS(Ｔ)、ＹLB(Ｔ)及びＹRB(Ｔ)が生成される。この方法では、レフト及びライトのステレオ信号が７.１チャンネル信号にアップミックスされる。もともと存在しているチャンネル間空間キューを、又は、例えば、図１のダウンミキシングウォータマーク処理、若しくはその他の適当な処理によって、レフト及びライトのステレオ信号に意図的にエンコードされるチャンネル間空間キューを用いて、システム(800)で生成される７.１チャンネルサウンドフィールド内の周波数要素の空間配置が制御される。同様に、例えば、ステレオから５.１サウンド、５.１サウンドから７.１サウンド、又はその他の適当な組合せのような、入力及び出力のその他の適当な組合せも採用できる。
図９は、本発明の典型的な実施例であって、周波数ドメイン用途のフィルタを生成するシステム(900)である。フィルタの生成プロセスとしては、Ｍチャンネル入力信号の周波数ドメイン解析及び処理がなされる。関連チャンネル間空間キューが、Ｍチャンネル入力信号の各周波数帯について抽出されて、空間位置ベクトルが、各周波数帯について生成される。この空間位置ベクトルは、その周波数帯について、理想的な聴取条件下の聴取者が感知した場所と解釈される。そして、アップミックスされたＮチャンネルアウトプット信号におけるその周波数要素の最終的な空間位置が、チャンネル間キューで常に再現されるように、各チャンネルフィルタが生成される。チャンネル間のレベル差(ＩＣＬＤ'ｓ)とチャンネル間コヒーレンス(ＩＣＣ)の推定値が、チャンネル間キューとして使用されて、空間位置ベクトルが生成される。
システム(900)に示す典型的な実施例では、サブバンドの大きさ又はエネルギ成分を用いて、チャンネル間レベル差が推定され、サブバンドの位相の角度を用いて、チャンネル間コヒーレンスが推定される。レフトの周波数ドメイン入力Ｌ(Ｆ)と、ライトの周波数ドメイン入力Ｒ(Ｆ)は、大きさ又はエネルギ成分と位相角度成分に変換される。大きさ/エネルギ成分は、加算器(902)に与えられる。加算器(902)により、全エネルギ信号Ｔ(Ｆ)が計算される。その後、全エネルギ信号Ｔ(Ｆ)が用いられて、除算器(904)及び除算器(906)にて、各周波数帯についてレフトチャンネルＭL(Ｆ)及びライトチャンネルＭR(Ｆ)の規格化が夫々行われる。その後、規格化された横座標信号ＬＡＴ(Ｆ)が、ＭL(Ｆ)及びＭR(Ｆ)から計算される。ここで、周波数帯の規格化された横座標は、ＬＡＴ(Ｆ)＝ＭL(Ｆ)＊ＸMIN＋ＭR(Ｆ)＊ＸMAXで計算される。
同様に、規格化された深さ座標は、入力の位相角度成分を用いて、ＤＥＦ(Ｆ)＝ＹMAX−０.５＊(ＹMAX−ＹMIN)*ｓｑｒｔ([ＣＯＳ(∠Ｌ(Ｆ))−ＣＯＳ(∠Ｒ(Ｆ))]＾２＋[ＳＩＮ(∠Ｌ(Ｆ))−ＳＩＮ(∠Ｒ(Ｆ))]＾２)として計算される。
規格化された深さ座標は、位相角度成分∠Ｌ(Ｆ)と∠Ｒ(Ｆ)の間のスケーリング及びシフトされた間隔の測定値から基本的に計算される。位相角度∠Ｌ(Ｆ)と∠Ｒ(Ｆ)が単位円上で一方に近づくにつれて、ＤＥＦ(Ｆ)の値は１に近づく。位相角度∠Ｌ(Ｆ)と∠Ｒ(Ｆ)が単位円上で反対側になるにつれて、ＤＥＦ(Ｆ)の値は０に近づく。各周波数帯について、規格化された横座標と深さ座標は、２次元ベクトル(ＬＡＦ(Ｆ)、ＤＥＦ(Ｆ))を構成する。このベクトルは、図１０Ａ乃至図１０Ｅに示すような２次元チャンネルマップに入力されて、各チャンネルｉについてフィルタ値Ｈｉ(Ｆ)を生成する。各チャンネルｉに関ｓしたこれらチャンネルフィルタＨｉ(Ｆ)は、図６のフィルタ生成ユニット(606)、図７のフィルタ生成ユニット(706)及び図８のフィルタ生成ユニット(806)のようなフィルタ生成ユニットから出力される。
図１０Ａは、本発明の典型的な実施例におけるレフトフロント信号のフィルタマップの図である。図１０Ａでは、フィルタマップ(1000)は、０から１までの範囲の規格化された横座標と、０から１までの範囲の規格化された深さ座標と受け入れて、０から１までの範囲の規格化されたフィルタ値を出力する。最大値１から最小値０までの大きさの変化を示すためにグレーの陰影が使用されており、フィルタマップ(1000)の右側にスケールが示されている。典型的なこのレフトフロントフィルタマップ(1000)において、規格化された横座標及び深さ座標が(０、１)に至ると、１.０に至った最も大きなフィルタ値が出力される。約(０.６、Ｙ)から(１.０、Ｙ)までの範囲の座標(Ｙは、０と１の間の値)は、基本的に０であるフィルタ値を出力する。
図１０Ｂは、典型的なライトフロントフィルタマップ(1002)の図である。フィルタマップ(1002)は、フィルタマップ(1000)と同様に規格化された横座標と深さ座標と受け入れるが、出力されるフィルタの値は、規格化されたレイアウトの右上部分を好む。
図１０Ｃは、典型的なセンターフィルタマップ(1004)の図である。この実施例では、センターフィルタマップ(1004)の最大フィルタ値は、規格化されたレイアウトの中央で起こり、レイアウトの上中央から下に座標が動くにつれて、フィルタ値は顕著に低下する。
図１０Ｄは、典型的なレフトサラウンドフィルタマップ(1006)の図である。この実施例では、レフトサラウンドフィルタマップ(1006)の最大フィルタ値は、規格化されたレイアウトの左下の座標近くで起こり、レイアウトの右上に座標が動くにつれて、フィルタ値は顕著に低下する。
図１０Ｅは、典型的なライトサラウンドフィルタマップ(1008)の図である。この実施例では、ライトサラウンドフィルタマップ(1008)の最大フィルタ値は、規格化されたレイアウトの右下の座標近くで起こり、レイアウトの左上に座標が動くにつれて、フィルタ値は顕著に低下する。
同様にして、その他のスピーカ配置又は構成が採用される場合には、現行のフィルタマップは変更され、新たなスピーカ配置に対応した新たなフィルタマップが生成されて、新たな聴取環境における変化を反映する。典型的なある実施例では、７.１システムが、２つのフィルタマップを更に含んでおり、レフトサラウンドとライトサラウンドは、深さ座標次元で上方に移動し、レフトバックロケーションとライトバックロケーションは、夫々、フィルタマップ(1006)とフィルタマップ(1008)と似たフィルタマップを有している。フィルタファクタが下がるレートは、様々なスピーカ数に対処するために変更されてよい。
本発明のシステム及び方法の典型的な実施例が、本明細書において詳細に説明されたが、当該技術分野における通常の技術を有する者は、添付の特許請求の範囲の技術的範囲と製品から逸脱することなく、様々な置換と変更が本発明のシステム及び方法に行えることを認めることができる。
本発明の典型的な実施例であって、解析・補正ループを伴った動的ダウンミキングをするシステムの図である。 本発明の典型的な実施例であって、Ｎ個のチャンネルからＭ個のチャンネルにデータをダウンミキシングするシステムの図である。 本発明の典型的な実施例であって、５個のチャンネルから２個のチャンネルにデータをダウンミキシングするシステムの図である。 本発明の典型的な実施例であって、サブバンドベクトル計算システムの図である。 本発明の典型的な実施例であって、サブバンド補正システムの図である。 本発明の典型的な実施例であって、Ｍ個のチャンネルからＮ個のチャンネルにデータをアップミキシングするシステムの図である。 本発明の典型的な実施例であって、２個のチャンネルから５個のチャンネルにデータをアップミキシングするシステムの図である。 本発明の典型的な実施例であって、２個のチャンネルから７個のチャンネルにデータをアップミキシングするシステムの図である。 本発明の典型的な実施例であって、チャンネル間空間キューを抽出して、周波数ドメイン用途に空間チャンネルフィルタを生成するシステムの図である。 本発明の典型的な実施例であって、典型的なレフトフロントチャンネルフィルタマップの図である。 典型的なライトフロントチャンネルフィルタマップの図である。 典型的なセンターチャンネルフィルタマップの図である。 典型的なレフトサラウンドチャンネルフィルタマップの図である。 典型的なライトサラウンドチャンネルフィルタマップの図である。

Claims (57)

  1. ＮチャンネルオーディオシステムをＭチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    オーディオデータのＮ個のチャンネルを受信して、オーディオデータのＮ個のチャンネルをオーディオデータのＭ個のチャンネルに変換するリファレンスダウンミキサと、
    オーディオデータのＭ個のチャンネルを受信して、オーディオデータのＭ個のチャンネルをオーディオデータのＮ'個のチャンネルに変換するリファレンスアップミキサと、
    オーディオデータのＭ個のチャンネル、オーディオデータのＮ個のチャンネル、及びオーディオデータのＮ'個のチャンネルを受信して、オーディオデータのＮ個のチャンネルとオーディオデータのＮ'個のチャンネルの間の差に基づいて、オーディオデータのＭ個のチャンネルを補正する補正システムとを備える音響空間環境エンジン。
  2. 補正システムは、
    オーディオデータのＮ個のチャンネルを受信して、音響空間像データの第１の複数のサブバンドを生成する第１サブバンドベクトル較正ユニットと、
    オーディオデータのＮ'個のチャンネルを受信して、音響空間像データの第２の複数のサブバンドを生成する第２サブバンドベクトル較正ユニットとを備えており、
    音響空間像データの第１の複数のサブバンドと、音響空間像データの第２の複数のサブバンドとを受信して、音響空間像データの第１の複数のサブバンドと音響空間像データの第２の複数のサブバンドの間の差に基づいて、オーディオデータのＭ個のチャンネルを補正する、請求項１に記載のシステム。
  3. 音響空間像データの第１の複数のサブバンドと音響空間像データの第２のサブバンドの各々は、エネルギの値及び位置の値を有する、請求項２に記載のシステム。
  4. 複数の位置の値の各々は、関連する音響空間像データのサブバンドについて、２次元空間における中心の見掛けの位置(apparent location)を示し、
    中心の座標は、Ｎ個のスピーカの各々のエネルギの値と、Ｎ個のスピーカの各々の座標とのベクトル和で決定される、請求項３に記載のシステム。
  5. リファレンスダウンミキサは、複数の分数次ヒルベルトステージを備えており、
    複数の分数次ヒルベルトステージの各々は、オーディオデータのＮ個のチャンネルの１つを受信して、そのオーディオデータのチャンネルに、所定の位相シフトを施す、請求項１に記載のシステム。
  6. リファレンスダウンミキサは、複数の分数次ヒルベルトステージと結合すると共に、複数の分数次ヒルベルトステージの出力を所定の方法で組み合わせてオーディオデータのＭ個のチャンネルを生成する複数の加算ステージを更に備えている、請求項５に記載のシステム。
  7. リファレンスアップミキサは、
    オーディオデータのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換ステージと、
    音響空間像データの複数のサブバンドのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドのＮ'個のチャンネルを生成するフィルタジェネレータと、
    音響空間像データの複数のサブバンドのＮ'個のチャンネルを受信して、各サブバンドを１又は２以上の隣接するサブバンドを用いて平均化する平滑化ステージと、
    平滑化ステージと結合すると共に、音響空間像データの複数のサブバンドのＭ個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたＮ'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する加算ステージと、
    音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを受信して、オーディオデータのＮ'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換ステージとを備える、請求項１に記載のシステム。
  8. 補正システムは、第１サブバンドベクトル較正ステージを備えており、
    第１サブバンドベクトル較正ステージは、
    オーディオデータのＮ個のチャンネルを受信し、音響空間像データの第１の複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換ステージと、
    音響空間像データの第１の複数のサブバンドを受信して、各サブバンドについて第１のエネルギの値を生成する第１サブバンドエネルギステージと、
    音響空間像データの第１の複数のサブバンドを受信して、各サブバンドについて第１の位置ベクトルの値を生成する第１サブバンド位置ステージとを備える、請求項１に記載のシステム。
  9. 補正システムは、第２サブバンドベクトル較正ステージを更に備えており、
    第２サブバンドベクトル較正ステージは、
    音響空間像データの第２の複数のサブバンドを受信して、各サブバンドについて第２のエネルギの値を生成する第２サブバンドエネルギステージと、
    音響空間像データの第２の複数のサブバンドを受信して、各サブバンドについて第２の位置ベクトルの値を生成する第２サブバンド位置ステージとを備える、請求項８に記載のシステム。
  10. ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換する方法において、
    Ｎ及びＭは整数であって、ＮはＭよりも大きく、
    オーディオデータのＮ個のチャンネルをオーディオデータのＭ個のチャンネルに変換する工程と、
    オーディオデータのＭ個のチャンネルをオーディオデータのＮ'個のチャンネルに変換する工程と、
    オーディオデータのＮ個のチャンネルとオーディオデータのＮ'個のチャンネルの間の差に基づいて、オーディオデータのＭ個のチャンネルを補正する工程と、を含む方法。
  11. オーディオデータのＮ個のチャンネルをオーディオデータのＭ個のチャンネルに変換する工程は、
    オーディオデータのＮ個のチャンネルの１又は２以上を分数次ヒルベルト関数を用いて処理し、そのオーディオデータのチャンネルに所定の位相シフトを与える工程と、
    分数次ヒルベルト関数を用いた処理後に、オーディオデータのＭ個のチャンネルの各々におけるオーディオデータのＮ個のチャンネルの１又は２以上の組合せが所定の位相関係を有するように、オーディオデータのＮ個のチャンネルの１又は２以上を合成して、オーディオデータのＭ個のチャンネルを生成する工程とを含む、請求項１０に記載の方法。
  12. オーディオデータのＭ個のチャンネルをオーディオデータのＮ'個のチャンネルに変換する工程は、
    オーディオデータのＭ個のチャンネルを、時間ドメインから、周波数ドメインにおける複数のサブバンドに変換する工程と、
    Ｍ個のチャンネルの複数のサブバンドをフィルタリングして、Ｎ個のチャンネルの複数のサブバンドを生成する工程と、
    各サブバンドを１又は２以上の隣接するバンドで平均化することで、Ｎ個のチャンネルの複数のサブバンドを平滑化する工程と、
    Ｎ個のチャンネルの複数のサブバンドの各々に、Ｍ個のチャンネルの対応するサブバンドの１又は２以上を掛ける工程と、
    Ｎ個のチャンネルの複数のサブバンドを、周波数ドメインから時間ドメインに変換する工程とを含む、請求項１０に記載の方法。
  13. オーディオデータのＮ個のチャンネルとオーディオデータのＮ'個のチャンネルの間の差に基づいて、オーディオデータのＭ個のチャンネルを補正する工程は、
    オーディオデータのＮ個のチャンネルの複数のサブバンドの各々について、エネルギ及び位置ベクトルを決定する工程と、
    オーディオデータのＮ'個のチャンネルの複数のサブバンドの各々について、エネルギ及び位置ベクトルを決定する工程と、
    オーディオデータのＮ個のチャンネル及びオーディオデータのＮ'個のチャンネルの対応するサブバンドについて、エネルギ及び位置ベクトルにおける差が許容差を超える場合に、オーディオデータのＭ個のチャンネルの１又は２以上のサブバンドを補正する工程とを含む、請求項１０に記載の方法。
  14. オーディオデータのＭ個のチャンネルの１又は２以上を補正する工程は、
    オーディオデータのＭ個のチャンネルの複数のサブバンドについて、エネルギ及び位置ベクトルを調整する工程を含んでおり、
    オーディオデータのＭ個のチャンネルの調整された複数のサブバンドは、１又は２以上のサブバンドのエネルギ及び位置ベクトルを有するオーディオデータの調整されたＮ'個のチャンネルに変換され、
    １又は２以上のサブバンドのエネルギ及び位置ベクトルは、オーディオデータのＮ'個のチャンネルの複数のサブバンドの各々に関した調整されていないエネルギ及び位置ベクトルよりも、オーディオデータのＮ個のチャンネルの複数のサブバンドのエネルギ及び位置ベクトルに近い、請求項１３に記載の方法。
  15. ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    オーディオデータのＮ個のチャンネルを受信して、オーディオデータのＮ個のチャンネルをオーディオデータのＭ個のチャンネルに変換するダウンミキサ手段と、
    オーディオデータのＭ個のチャンネルを受信して、オーディオデータのＭ個のチャンネルをオーディオデータのＮ'個のチャンネルに変換するアップミキサ手段と、
    オーディオデータのＭ個のチャンネル、オーディオデータのＮ個のチャンネル、及びオーディオデータのＮ'個のチャンネルを受信して、オーディオデータのＮ個のチャンネルとオーディオデータのＮ'個のチャンネルの間の差に基づいて、オーディオデータのＭ個のチャンネルを補正する補正手段とを備える音響空間環境エンジン。
  16. 補正手段は、
    オーディオデータのＮ個のチャンネルを受信して、音響空間像データの第１の複数のサブバンドを生成する第１サブバンドベクトル較正手段と、
    オーディオデータのＮ'個のチャンネルを受信して、音響空間像データの第２の複数のサブバンドを生成する第２サブバンドベクトル較正手段とを備えており、
    音響空間像データの第１の複数のサブバンドと、音響空間像データの第２の複数のサブバンドとを受信して、音響空間像データの第１の複数のサブバンドと音響空間像データの第２の複数のサブバンドの間の差に基づいて、オーディオデータのＭ個のチャンネルを補正する、請求項１５に記載のシステム。
  17. ダウンミキサ手段は、オーディオデータのＮ個のチャンネルの１つを受信すると共に、そのオーディオデータのチャンネルに所定の位相シフトを施す複数の分数次ヒルベルト手段を備えている、請求項１５に記載のシステム。
  18. アップミキサ手段は、
    オーディオデータのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換手段と、
    音響空間像データの複数のサブバンドのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドのＮ'個のチャンネルを生成するフィルタジェネレータと、
    音響空間像データの複数のサブバンドのＮ'個のチャンネルを受信して、各サブバンドを１又は２以上の隣接するサブバンドを用いて平均化する平滑化手段と、
    音響空間像データの複数のサブバンドのＭ個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたＮ'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する加算手段と、
    音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを受信して、オーディオデータのＮ'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換手段とを備える、請求項１５に記載のシステム。
  19. ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    １又は２以上のヒルベルト変換ステージであって、各々が、Ｎ個のオーディオデータのチャンネルの１つを受信して、そのオーディオデータのチャンネルに所定の位相シフトを与える１又は２以上のヒルベルト変換ステージと、
    １又は２以上の定数乗算ステージであって、各々が、ヒルベルト変換されたオーディオデータのチャンネルの１つを受信して、ヒルベルト変換及びスケーリングされたオーディオデータのチャンネルを生成する１又は２以上の定数乗算ステージと、
    １又は２以上の第１加算ステージであって、各々が、オーディオデータのＮ個のチャンネルの１つと、オーディオデータのヒルベルト変換及びスケーリングされたチャンネルとを受信して、オーディオデータの分数次ヒルベルトチャンネルを生成する１又は２以上の第１加算ステージと、
    Ｍ個の第２加算ステージであって、各々が、オーディオデータの複数の分数次ヒルベルトチャンネルの１又は２以上と、オーディオデータのＮ個のチャンネルの１又は２以上とを受信し、オーディオデータの複数の分数次ヒルベルトチャンネルの１又は２以上及びオーディオデータのＮ個のチャンネルの１又は２以上の各々を組み合わせて、オーディオデータのＭ個のチャンネルの１つを生成し、オーディオデータのＭ個のチャンネルの１つは、オーディオデータの複数の分数次ヒルベルトチャンネルの１又は２以上及びオーディオデータのＮ個のチャンネルの１又は２以上の各々の間における所定の位相関係を有する、Ｍ個の第２加算ステージとを備える音響空間環境エンジン。
  20. オーディオデータのレフトチャンネルを受信するヒルベルト変換ステージを備えており、
    オーディオデータのヒルベルト変換されたレフトチャンネルが、定数を掛けられて、オーディオデータのレフトチャンネルに加えられることで、所定の位相シフトを有するオーディオデータのレフトチャンネルが生成され、オーディオデータの位相シフトしたレフトチャンネルが、定数を掛けられて、Ｍ個の第２加算ステージの１又は２以上に与えられる、請求項１９に記載の音響空間環境エンジン。
  21. オーディオデータのライトチャンネルを受信するヒルベルト変換ステージを備えており、
    オーディオデータのヒルベルト変換されたライトチャンネルが、定数を掛けられて、オーディオデータのライトチャンネルに加えられることで、所定の位相シフトを有するオーディオデータのライトチャンネルが生成され、オーディオデータの位相シフトしたライトチャンネルが、定数を掛けられて、Ｍ個の第２加算ステージの１又は２以上に与えられる、請求項１９に記載の音響空間環境エンジン。
  22. オーディオデータのレフトサラウンドチャンネルを受信するヒルベルト変換ステージと、オーディオデータのライトサラウンドチャンネルを受信するヒルベルト変換ステージとを備えており、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルが、定数を掛けられて、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えられることで、オーディオデータのレフト−ライトサラウンドチャンネルが生成され、オーディオデータの位相シフトしたレフト−ライトサラウンドチャンネルが、Ｍ個の第２加算ステージの１又は２以上に与えられる、請求項１９に記載の音響空間環境エンジン。
  23. オーディオデータのレフトサラウンドチャンネルを受信するヒルベルト変換ステージと、オーディオデータのライトサラウンドチャンネルを受信するヒルベルト変換ステージとを備えており、
    ヒルベルト変換されたオーディオデータのライトサラウンドチャンネルが、定数を掛けられて、ヒルベルト変換されたオーディオデータのレフトサラウンドチャンネルに加えられることで、オーディオデータのライト−レフトサラウンドチャンネルが生成され、オーディオデータの位相シフトしたライト−レフトサラウンドチャンネルが、Ｍ個の第２加算ステージの１又は２以上に与えられる、請求項１９に記載の音響空間環境エンジン。
  24. オーディオデータのレフトチャンネルを受信するヒルベルト変換ステージと、
    オーディオデータのライトチャンネルを受信するヒルベルト変換ステージと、
    オーディオデータのレフトサラウンドチャンネルを受信するヒルベルト変換ステージと、
    オーディオデータのライトサラウンドチャンネルを受信するヒルベルト変換ステージとを備えており、
    オーディオデータのヒルベルト変換されたレフトチャンネルが、定数を掛けられて、オーディオデータのレフトチャンネルに加えられることで、所定の位相シフトを有するオーディオデータのレフトチャンネルが生成され、オーディオデータの位相シフトしたレフトチャンネルが定数を掛けられて、オーディオデータのスケーリングされたレフトチャンネルが生成され、
    オーディオデータのヒルベルト変換されたライトチャンネルが、定数を掛けられて、オーディオデータのライトチャンネルから引かれることで、所定の位相シフトを有するオーディオデータのライトチャンネルが生成され、オーディオデータの位相シフトしたレフトチャンネルが定数を掛けられて、オーディオデータのスケーリングされたライトチャンネルが生成され、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルが、定数を掛けられて、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えられることで、オーディオデータのレフト−ライトサラウンドチャンネルが生成され、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルが、定数を掛けられて、オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに加えられることで、オーディオデータのライト−レフトサラウンドチャンネルが生成される、請求項１９に記載の音響空間環境エンジン。
  25. オーディオデータのスケーリングされたレフトチャンネル、オーディオデータのライト−レフトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを受信し、オーディオデータのスケーリングされたレフトチャンネル、オーディオデータのライト−レフトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを加えて、オーディオデータのレフトウォーターマークチャンネルを作成する第１のＭ個の第２加算ステージと、
    オーディオデータのスケーリングされたライトチャンネル、オーディオデータのレフト−ライトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを受信し、オーディオデータのスケーリングされたライトチャンネル及びオーディオデータのスケーリングされたセンターチャンネルを加えて、オーディオデータのレフト−ライトチャンネルをその和から引いて、オーディオデータのライトウォーターマークチャンネルを作成する第２のＭ個の第２加算ステージとを備える、請求項２４に記載の音響空間環境エンジン。
  26. ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換する方法において、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    分数次ヒルベルト関数を用いて、オーディオデータのＮ個のチャンネルの１又は２以上を処理して、そのオーディオデータのチャンネルに所定の位相シフトを与える工程と、
    分数次ヒルベルト関数を用いた処理後に、オーディオデータのＭ個のチャンネルの各々におけるオーディオデータのＮ個のチャンネルの１又は２以上の組合せが所定の位相関係を有するように、オーディオデータのＮ個のチャンネルの１又は２以上を合成して、オーディオデータのＭ個のチャンネルを生成する工程とを含む方法。
  27. 分数次ヒルベルト関数を用いてオーディオデータのＮ個のチャンネルの１又は２以上を処理する工程は、
    オーディオデータのレフトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトチャンネルに、オーディオデータのレフトチャンネルを加えて、所定の位相シフトを有するオーディオデータのレフトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたレフトチャンネルに定数を掛ける工程とを含む、請求項２６に記載の方法。
  28. 分数次ヒルベルト関数を用いてオーディオデータのＮ個のチャンネルの１又は２以上を処理する工程は、
    オーディオデータのライトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトチャンネルを、オーディオデータのライトチャンネルから引いて、所定の位相シフトを有するオーディオデータのライトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたライトチャンネルに定数を掛ける工程とを含む、請求項２６に記載の方法。
  29. 分数次ヒルベルト関数を用いてオーディオデータのＮ個のチャンネルの１又は２以上を処理する工程は、
    オーディオデータのレフトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのライトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフト−ライトチャンネルを生成する工程とを含む、請求項２６に記載の方法。
  30. 分数次ヒルベルト関数を用いてオーディオデータのＮ個のチャンネルの１又は２以上を処理する工程は、
    オーディオデータのレフトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのライトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに加えて、所定の位相シフトを有するオーディオデータのライト−レフトチャンネルを生成する工程とを含む、請求項２６に記載の方法。
  31. オーディオデータのレフトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトチャンネルを、オーディオデータのレフトチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたレフトチャンネルに定数を掛ける工程と、
    オーディオデータのライトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトチャンネルを、オーディオデータのライトチャンネルから引いて、所定の位相シフトを有するオーディオデータのライトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたライトチャンネルに定数を掛ける工程と、
    オーディオデータのレフトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのライトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたライトチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフト−ライトチャンネルを生成する工程と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたレフトチャンネルに加えて、所定の位相シフトを有するオーディオデータのライト−レフトチャンネルを生成する工程とを含む、請求項２６に記載の方法。
  32. オーディオデータのスケーリングされたレフトチャンネル、オーディオデータのライト−レフトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを足し合わせて、オーディオデータのレフトウォーターマークチャンネルを作成する工程と、
    オーディオデータのスケーリングされたチャンネル及びオーディオデータのスケーリングされたセンターチャンネルを足し合わせて、オーディオデータのレフト−ライトチャンネルをその和から引いて、オーディオデータのライトウォーターマークチャンネルを作成する工程とを含む、請求項３１に記載の方法。
  33. ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    オーディオデータのＮ個のチャンネルの１つを受信して、そのオーディオデータのチャンネルに所定の位相シフトを与えるヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたチャンネルの１つを受信して、オーディオデータのヒルベルト変換及びスケーリングされたチャンネルを生成する定数乗算手段と、
    オーディオデータのＮ個のチャンネルの１つと、オーディオデータのヒルベルト変換及びスケーリングされたチャンネルとを受信して、オーディオデータの分数次ヒルベルトチャンネルを生成する第１加算手段と、
    Ｍ個の第２乗算手段であって、オーディオデータの複数の分数次ヒルベルトチャンネルの１又は２以上と、オーディオデータのＮ個のチャンネルの１又は２以上とを受信し、オーディオデータの複数の分数次ヒルベルトチャンネルの１又は２以上及びオーディオデータのＮ個のチャンネルの１又は２以上の各々を組み合わせて、オーディオデータのＭ個のチャンネルの１つを生成し、オーディオデータのＭ個のチャンネルの１つは、オーディオデータの複数の分数次ヒルベルトチャンネルの１又は２以上とオーディオデータのＮ個のチャンネルの１又は２以上の間の各々における所定の位相関係を有する、Ｍ個の第２加算手段とを備える音響空間環境エンジン。
  34. オーディオデータのレフトチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたレフトチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトチャンネルをオーディオデータのレフトチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフトチャンネルを生成する加算手段と、
    オーディオデータの位相シフトしたレフトチャンネルに定数を掛ける乗算手段とを備えており、
    オーディオデータの位相シフトし、スケーリングされたレフトチャンネルが、Ｍ個の第２加算手段の１又は２以上に与えられる、請求項３３に記載の音響空間環境エンジン。
  35. オーディオデータのライトチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトチャンネルをオーディオデータのライトチャンネルに加えて、所定の位相シフトを有するオーディオデータのライトチャンネルを生成する加算手段と、
    オーディオデータの位相シフトしたライトチャンネルに定数を掛ける乗算手段とを備えており、
    オーディオデータの位相シフトし、スケーリングされたライトチャンネルが、Ｍ個の第２加算手段の１又は２以上に与えられる、請求項３３に記載の音響空間環境エンジン。
  36. オーディオデータのレフトサラウンドチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのライトサラウンドチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトサラウンドチャンネルをオーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えて、オーディオデータのレフト−ライトチャンネルを生成する加算手段とを備えており、
    オーディオデータのレフト−ライトチャンネルが、Ｍ個の第２加算手段の１又は２以上に与えられる、請求項３３に記載の音響空間環境エンジン。
  37. オーディオデータのレフトサラウンドチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのライトサラウンドチャンネルを処理するヒルベルト変換手段と、
    ヒルベルト変換されたオーディオデータのライトサラウンドチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトサラウンドチャンネルをヒルベルト変換されたオーディオデータのレフトサラウンドチャンネルに加えて、オーディオデータのライト−レフトチャンネルを生成する加算手段とを備えており、
    オーディオデータのライト−レフトチャンネルが、Ｍ個の第２加算手段の１又は２以上に与えられる、請求項３３に記載の音響空間環境エンジン。
  38. ＮチャンネルオーディオシステムからＭチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    オーディオデータのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換ステージと、
    音響空間像データの複数のサブバンドのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドのＮ'個のチャンネルを生成するフィルタジェネレータと、
    フィルタジェネレータと結合すると共に、音響空間像データの複数のサブバンドのＭ個のチャンネルと、音響空間像データの複数のサブバンドのＮ'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する加算ステージとを備える音響空間環境エンジン。
  39. 音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを受信して、オーディオデータのＮ'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換ステージを更に備える、請求項３８に記載の音響空間環境エンジン。
  40. フィルタジェネレータに結合すると共に、音響空間像データの複数のサブバンドのＮ'個のチャンネルを受信して、各サブバンドを１又は２以上の隣接するサブバンドを用いて平均化する平滑化ステージを更に備えており、
    加算ステージは、平滑化ステージと結合しており、音響空間像データの複数のサブバンドのＭ個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたＮ'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する、請求項３８に記載の音響空間環境エンジン。
  41. 加算ステージは、レフトチャンネル加算ステージを備えており、
    レフトチャンネル加算ステージは、レフトチャンネルのＭチャンネルの複数のサブバンドの各々と、Ｎ'チャンネルのレフトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛け合わせる、請求項３８に記載の音響空間環境エンジン。
  42. 加算ステージは、ライトチャンネル加算ステージを備えており、
    ライトチャンネル加算ステージは、Ｍチャンネルのライトチャンネルの複数のサブバンドの各々と、Ｎ'チャンネルのライトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛け合わせる、請求項３８に記載の音響空間環境エンジン。
  43. 加算ステージは、センターチャンネル加算ステージを備えており、
    センターチャンネル加算ステージは、各サブバンドについて、式（Ｇc(ｆ)＊Ｌ(ｆ)＋((１−Ｇc(ｆ))＊Ｒ(ｆ))＊Ｈc(ｆ)を満たしており、
    ここで、Ｇc(ｆ)＝センターチャンネルサブバンドスケーリング因子、Ｌ(ｆ)＝Ｍ個のチャンネルのレフトチャンネルサブバンド、Ｒ(ｆ)＝Ｍ個のチャンネルのライトチャンネルサブバンド、Ｈc(ｆ)＝Ｎ'個のチャンネルのフィルタリングされたセンターチャンネルサブバンドである、請求項３８に記載の音響空間環境エンジン。
  44. 加算ステージは、レフトサラウンドチャンネル加算ステージを備えており、
    レフトサラウンドチャンネル加算ステージは、各サブバンドについて、式（ＧLS(ｆ)＊Ｌ(ｆ)−((１−ＧLS(ｆ))＊Ｒ(ｆ))＊ＨLS(ｆ)を満たしており、
    ここで、ＧLS(ｆ)＝レフトサラウンドチャンネルサブバンドスケーリング因子、Ｌ(ｆ)＝Ｍ個のチャンネルのレフトチャンネルサブバンド、Ｒ(ｆ)＝Ｍ個のチャンネルのライトチャンネルサブバンド、ＨLS(ｆ)＝Ｎ'個のチャンネルのフィルタリングされたレフトサラウンドチャンネルサブバンドである、請求項３８に記載の音響空間環境エンジン。
  45. 加算ステージは、ライトサラウンドチャンネル加算ステージを備えており、
    ライトサラウンドチャンネル加算ステージは、各サブバンドについて、式（(１−ＧRS(ｆ))＊Ｒ(ｆ))＋(ＧRS(ｆ))＊Ｌ(ｆ))＊ＨRS(ｆ)を満たしており、
    ここで、ＧRS(ｆ)＝ライトサラウンドチャンネルサブバンドスケーリング因子、Ｌ(ｆ)＝Ｍ個のチャンネルのレフトチャンネルサブバンド、Ｒ(ｆ)＝Ｍ個のチャンネルのライトチャンネルサブバンド、ＨRS(ｆ)＝Ｎ'個のチャンネルのフィルタリングされたライトサラウンドチャンネルサブバンドである、請求項３８に記載の音響空間環境エンジン。
  46. ＭチャンネルオーディオシステムからＮチャンネルオーディオシステムに変換する方法において、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    オーディオデータのＭ個のチャンネルを受信する工程と、
    Ｍ個のチャンネルの各チャンネルについて、音響空間像データの複数のサブバンドを生成する工程と、
    音響空間像データの複数のサブバンドのＭ個のチャンネルをフィルタリングして、音響空間像データの複数のサブバンドのＮ'個のチャンネルを生成する工程と、
    音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛けて、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する工程とを含む方法。
  47. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、
    音響空間像データの複数のサブバンドのＭ個のチャンネルの１又は２以上に、サブバンドスケーリング因子を掛ける工程と、
    音響空間像データの複数のサブバンドのスケーリングされたＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程とを含む、請求項４６に記載の方法。
  48. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、Ｍ個のチャンネルの複数のサブバンドの各々に、Ｎ'個のチャンネルの音響空間像データの対応する複数のサブバンドの各々を掛ける工程を含む、請求項４６に記載の方法。
  49. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、Ｍ個のチャンネルのレフトチャンネルの複数のサブバンドの各々と、Ｎ'個のチャンネルのレフトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛ける工程を含む、請求項４６に記載の方法。
  50. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、Ｍ個のチャンネルのライトチャンネルの複数のサブバンドの各々と、Ｎ'個のチャンネルのライトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛ける工程を含む、請求項４６に記載の方法。
  51. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、各サブバンドについて、式（Ｇc(ｆ)＊Ｌ(ｆ)＋((１−Ｇc(ｆ))＊Ｒ(ｆ))＊Ｈc(ｆ)を満たしており、
    ここで、Ｇc(ｆ)＝センターチャンネルサブバンドスケーリング因子、Ｌ(ｆ)＝Ｍ個のチャンネルのレフトチャンネルサブバンド、Ｒ(ｆ)＝Ｍ個のチャンネルのライトチャンネルサブバンド、Ｈc(ｆ)＝Ｎ'個のチャンネルのフィルタリングされたセンターチャンネルサブバンドである、請求項４６に記載の方法。
  52. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、各サブバンドについて、式（ＧLS(ｆ)＊Ｌ(ｆ)−((１−ＧLS(ｆ))＊Ｒ(ｆ))＊ＨLS(ｆ)を満たしており、
    ここで、ＧLS(ｆ)＝レフトサラウンドチャンネルサブバンドスケーリング因子、Ｌ(ｆ)＝Ｍ個のチャンネルのレフトチャンネルサブバンド、Ｒ(ｆ)＝Ｍ個のチャンネルのライトチャンネルサブバンド、ＨLS(ｆ)＝Ｎ'個のチャンネルのフィルタリングされたレフトサラウンドチャンネルサブバンドである、請求項４６に記載の方法。
  53. 音響空間像データの複数のサブバンドのＭ個のチャンネルに、音響空間像データの複数のサブバンドのＮ'個のチャンネルを掛ける工程は、各サブバンドについて、式（(１−ＧRS(ｆ))＊Ｒ(ｆ))＋(ＧRS(ｆ))＊Ｌ(ｆ))＊ＨRS(ｆ)を満たしており、
    ここで、ＧRS(ｆ)＝ライトサラウンドチャンネルサブバンドスケーリング因子、Ｌ(ｆ)＝Ｍ個のチャンネルのレフトチャンネルサブバンド、Ｒ(ｆ)＝Ｍ個のチャンネルのライトチャンネルサブバンド、ＨRS(ｆ)＝Ｎ'個のチャンネルのフィルタリングされたライトサラウンドチャンネルサブバンドである、請求項４６に記載の方法。
  54. ＭチャンネルオーディオシステムからＮチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    Ｍ及びＮは整数であって、ＮはＭより大きく、
    Ｍ個のオーディオデータのチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換手段と、
    音響空間像データの複数のサブバンドのＭ個のチャンネルを受信して、音響空間像データの複数のサブバンドのＮ'個のチャンネルを生成するフィルタジェネレータ手段と、
    音響空間像データの複数のサブバンドのＭ個のチャンネルと、音響空間像データの複数のサブバンドのＮ'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する加算ステージ手段とを備える音響空間環境エンジン。
  55. 音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを受信して、オーディオデータのＮ'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換手段を更に備える、請求項５４に記載の音響空間環境エンジン。
  56. 音響空間像データの複数のサブバンドのＮ'個のチャンネルを受信して、各サブバンドを１又は２以上の隣接するサブバンドを用いて平均化する平滑化ステージ手段を更に備えており、
    加算ステージ手段は、音響空間像データの複数のサブバンドのＭ個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたＮ'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたＮ'個のチャンネルを生成する、請求項５４に記載の音響空間環境エンジン。
  57. 加算ステージ手段は、レフトチャンネル加算ステージ手段を備えており、
    レフトチャンネル加算ステージ手段は、Ｍチャンネルのレフトチャンネルの複数のサブバンドの各々と、Ｎ'チャンネルのレフトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛け合わせる、請求項５４に記載の音響空間環境エンジン。
JP2007539174A 2004-10-28 2005-10-28 音響空間環境エンジン Active JP4917039B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US62292204P 2004-10-28 2004-10-28
US60/622,922 2004-10-28
US10/975,841 US7929708B2 (en) 2004-01-12 2004-10-28 Audio spatial environment engine
US10/975,841 2004-10-28
PCT/US2005/038961 WO2006050112A2 (en) 2004-10-28 2005-10-28 Audio spatial environment engine

Publications (3)

Publication Number Publication Date
JP2008519491A true JP2008519491A (ja) 2008-06-05
JP2008519491A5 JP2008519491A5 (ja) 2008-12-11
JP4917039B2 JP4917039B2 (ja) 2012-04-18

Family

ID=36090916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007539174A Active JP4917039B2 (ja) 2004-10-28 2005-10-28 音響空間環境エンジン

Country Status (8)

Country Link
US (1) US20070297519A1 (ja)
EP (1) EP1810280B1 (ja)
JP (1) JP4917039B2 (ja)
KR (3) KR101283741B1 (ja)
CN (3) CN102833665B (ja)
HK (1) HK1158805A1 (ja)
PL (1) PL1810280T3 (ja)
WO (1) WO2006050112A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503615A (ja) * 2005-08-02 2009-01-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP2010514904A (ja) * 2006-12-29 2010-05-06 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニー 導電性ポリマーの高仕事関数および高導電率組成物
JP2011013560A (ja) * 2009-07-03 2011-01-20 Fujitsu Ltd オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
JP2011509429A (ja) * 2008-01-01 2011-03-24 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
JP2012500532A (ja) * 2008-08-14 2012-01-05 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号変換
JP2016072973A (ja) * 2014-09-24 2016-05-09 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2020522146A (ja) * 2017-02-06 2020-07-27 サバント システムズ エルエルシーSavant Systems LLC オーディオダウンミキシング送信機ａ／ｖエンドポイント及び分散チャネル増幅を含むａ／ｖ相互接続アーキテクチャ
JP2021526334A (ja) * 2018-06-01 2021-09-30 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366291B1 (ko) * 2006-01-19 2014-02-21 엘지전자 주식회사 신호 디코딩 방법 및 장치
US8107631B2 (en) * 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2011039413A1 (en) * 2009-09-30 2011-04-07 Nokia Corporation An apparatus
EP2510709A4 (en) 2009-12-10 2015-04-08 Reality Ip Pty Ltd IMPROVED MATRIX DECODER FOR SURROUND SOUND
WO2011072729A1 (en) * 2009-12-16 2011-06-23 Nokia Corporation Multi-channel audio processing
EP2464145A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a downmixer
CN103000180A (zh) * 2012-11-20 2013-03-27 上海中科高等研究院 环绕声矩阵编解码系统及其实现方法
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
US9560449B2 (en) 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9369801B2 (en) 2014-01-24 2016-06-14 Sony Corporation Wireless speaker system with noise cancelation
US9402145B2 (en) 2014-01-24 2016-07-26 Sony Corporation Wireless speaker system with distributed low (bass) frequency
US9426551B2 (en) 2014-01-24 2016-08-23 Sony Corporation Distributed wireless speaker system with light show
US9232335B2 (en) 2014-03-06 2016-01-05 Sony Corporation Networked speaker system with follow me
WO2015186535A1 (ja) * 2014-06-06 2015-12-10 ソニー株式会社 オーディオ信号処理装置および方法、符号化装置および方法、並びにプログラム
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
US9875756B2 (en) * 2014-12-16 2018-01-23 Psyx Research, Inc. System and method for artifact masking
US20160294484A1 (en) * 2015-03-31 2016-10-06 Qualcomm Technologies International, Ltd. Embedding codes in an audio signal
CN105101039B (zh) * 2015-08-31 2018-12-18 广州酷狗计算机科技有限公司 立体声还原方法及装置
US9693168B1 (en) 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
US9826332B2 (en) 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10616684B2 (en) 2018-05-15 2020-04-07 Sony Corporation Environmental sensing for a unique portable speaker listening experience
US10292000B1 (en) 2018-07-02 2019-05-14 Sony Corporation Frequency sweep for a unique portable speaker listening experience
US10567871B1 (en) 2018-09-06 2020-02-18 Sony Corporation Automatically movable speaker to track listener or optimize sound performance
US10623859B1 (en) 2018-10-23 2020-04-14 Sony Corporation Networked speaker system with combined power over Ethernet and audio delivery
US11599329B2 (en) 2018-10-30 2023-03-07 Sony Corporation Capacitive environmental sensing for a unique portable speaker listening experience
KR20220013630A (ko) * 2020-07-27 2022-02-04 삼성전자주식회사 오디오의 채널의 수를 변환하는 전자 장치 및 전자 장치의 동작 방법
KR102529400B1 (ko) * 2021-02-19 2023-05-10 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505193A (ja) * 1994-03-18 1997-05-20 フラウンホーファー・ゲゼルシャフト ツア フェルデルンク デル アンゲワンテン フォルシュンク アインゲトラーゲナー フェライン 複数のオーディオ信号を符号化する方法
WO2003007656A1 (en) * 2001-07-10 2003-01-23 Coding Technologies Ab Efficient and scalable parametric stereo coding for low bitrate applications
WO2003094369A2 (en) * 2002-05-03 2003-11-13 Harman International Industries, Incorporated Multi-channel downmixing device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3732370A (en) * 1971-02-24 1973-05-08 United Recording Electronic In Equalizer utilizing a comb of spectral frequencies as the test signal
US4458362A (en) * 1982-05-13 1984-07-03 Teledyne Industries, Inc. Automatic time domain equalization of audio signals
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
US4866774A (en) * 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
US5434948A (en) * 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
US5481615A (en) * 1993-04-01 1996-01-02 Noise Cancellation Technologies, Inc. Audio reproduction system
CN1064773C (zh) * 1993-06-30 2001-04-18 索尼公司 数字信号的编码方法和解码方法
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation
DE19632734A1 (de) * 1996-08-14 1998-02-19 Thomson Brandt Gmbh Verfahren und Vorrichtung zum Generieren eines Mehrton-Signals aus einem Mono-Signal
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
TW390104B (en) * 1998-08-10 2000-05-11 Acer Labs Inc Method and device for down mixing of multi-sound-track compression audio frequency bit stream
TW510143B (en) * 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US7382888B2 (en) * 2000-12-12 2008-06-03 Bose Corporation Phase shifting audio signal combining
KR100904985B1 (ko) * 2001-02-07 2009-06-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 채널 변환
US6839675B2 (en) * 2001-02-27 2005-01-04 Euphonix, Inc. Real-time monitoring system for codec-effect sampling during digital processing of a sound source
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
US20040105550A1 (en) * 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505193A (ja) * 1994-03-18 1997-05-20 フラウンホーファー・ゲゼルシャフト ツア フェルデルンク デル アンゲワンテン フォルシュンク アインゲトラーゲナー フェライン 複数のオーディオ信号を符号化する方法
WO2003007656A1 (en) * 2001-07-10 2003-01-23 Coding Technologies Ab Efficient and scalable parametric stereo coding for low bitrate applications
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
WO2003094369A2 (en) * 2002-05-03 2003-11-13 Harman International Industries, Incorporated Multi-channel downmixing device
JP2005523672A (ja) * 2002-05-03 2005-08-04 ハーマン インターナショナル インダストリーズ インコーポレイテッド マルチチャネル・ダウンミキシング装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503615A (ja) * 2005-08-02 2009-01-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP2010514904A (ja) * 2006-12-29 2010-05-06 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニー 導電性ポリマーの高仕事関数および高導電率組成物
JP2011509429A (ja) * 2008-01-01 2011-03-24 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
US8483411B2 (en) 2008-01-01 2013-07-09 Lg Electronics Inc. Method and an apparatus for processing a signal
JP2012500532A (ja) * 2008-08-14 2012-01-05 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号変換
JP2011013560A (ja) * 2009-07-03 2011-01-20 Fujitsu Ltd オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
JP2016072973A (ja) * 2014-09-24 2016-05-09 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2020092439A (ja) * 2014-09-24 2020-06-11 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2020522146A (ja) * 2017-02-06 2020-07-27 サバント システムズ エルエルシーSavant Systems LLC オーディオダウンミキシング送信機ａ／ｖエンドポイント及び分散チャネル増幅を含むａ／ｖ相互接続アーキテクチャ
JP7144429B2 (ja) 2017-02-06 2022-09-29 サバント システムズ インコーポレイテッド オーディオダウンミキシング送信機ａ／ｖエンドポイント及び分散チャネル増幅を含むａ／ｖ相互接続アーキテクチャ
JP2021526334A (ja) * 2018-06-01 2021-09-30 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング
JP7036234B2 (ja) 2018-06-01 2022-03-15 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング

Also Published As

Publication number Publication date
EP1810280B1 (en) 2017-08-02
PL1810280T3 (pl) 2018-01-31
KR20070084552A (ko) 2007-08-24
KR20120064134A (ko) 2012-06-18
KR101283741B1 (ko) 2013-07-08
HK1158805A1 (en) 2012-07-20
CN102117617A (zh) 2011-07-06
KR101210797B1 (ko) 2012-12-10
WO2006050112A8 (en) 2006-12-21
CN102117617B (zh) 2013-01-30
WO2006050112A9 (en) 2006-11-09
CN102833665A (zh) 2012-12-19
EP1810280A2 (en) 2007-07-25
JP4917039B2 (ja) 2012-04-18
CN101065797A (zh) 2007-10-31
US20070297519A1 (en) 2007-12-27
WO2006050112A2 (en) 2006-05-11
CN102833665B (zh) 2015-03-04
KR101177677B1 (ko) 2012-08-27
KR20120062027A (ko) 2012-06-13
WO2006050112A3 (en) 2006-07-27
CN101065797B (zh) 2011-07-27

Similar Documents

Publication Publication Date Title
JP4917039B2 (ja) 音響空間環境エンジン
US7853022B2 (en) Audio spatial environment engine
US20060106620A1 (en) Audio spatial environment down-mixer
US10412525B2 (en) Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US9930468B2 (en) Audio system phase equalization
TWI352971B (en) Apparatus and method for generating an ambient sig
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
EP2258120B1 (en) Methods and devices for reproducing surround audio signals via headphones
US8180062B2 (en) Spatial sound zooming
JP6198800B2 (ja) 少なくとも２つの出力チャネルを有する出力信号を生成するための装置および方法
JP5769967B2 (ja) ヘッドホン再生に関する方法、ヘッドホン再生システム、コンピュータプログラム
US20070223740A1 (en) Audio spatial environment engine using a single fine structure
KR20170110739A (ko) 오디오 신호 처리 방법 및 장치
US20060093164A1 (en) Audio spatial environment engine
Kinoshita et al. Blind upmix of stereo music signals using multi-step linear prediction based reverberation extraction
AU2015255287B2 (en) Apparatus and method for generating an output signal employing a decomposer

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081022

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110405

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110408

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4917039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250