JP2008519491A - 音響空間環境エンジン - Google Patents

音響空間環境エンジン Download PDF

Info

Publication number
JP2008519491A
JP2008519491A JP2007539174A JP2007539174A JP2008519491A JP 2008519491 A JP2008519491 A JP 2008519491A JP 2007539174 A JP2007539174 A JP 2007539174A JP 2007539174 A JP2007539174 A JP 2007539174A JP 2008519491 A JP2008519491 A JP 2008519491A
Authority
JP
Japan
Prior art keywords
audio data
channel
channels
subbands
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007539174A
Other languages
English (en)
Other versions
JP2008519491A5 (ja
JP4917039B2 (ja
Inventor
ダブリュ. リームズ,ロバート
ケイ. トンプソン,ジェフリー
ワーナー,アーロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neural Audio Corp
Original Assignee
Neural Audio Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/975,841 external-priority patent/US7929708B2/en
Application filed by Neural Audio Corp filed Critical Neural Audio Corp
Publication of JP2008519491A publication Critical patent/JP2008519491A/ja
Publication of JP2008519491A5 publication Critical patent/JP2008519491A5/ja
Application granted granted Critical
Publication of JP4917039B2 publication Critical patent/JP4917039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

【解決手段】フォーマットが異なるオーディオデータの間で変換を行う音響空間環境エンジンに関する。音響空間環境エンジン100は、N−チャンネルデータとM−チャンネルデータの間における柔軟な変換と、M−チャンネルデータからN'−チャンネルデータに戻す変換とを可能にする。ここで、N、M、及びN'は整数であって、Nは、N'と必ずしも等しくなくともよい。例えば、このようなシステムは、ステレオサウンドデータ向けに設計されたネットワーク又はインフラストラクチャに渡ってサラウンドサウンドデータを伝送又は格納する用途に使用される。音響空間環境エンジンは、進化した動的ダウンミキシングユニット102と、高分解能周波数帯域アップミキシングユニット104とによって、異なる空間環境間の改善された柔軟な変換を与える。動的ダウンミキシングユニットは、多くのダウンミキシング方法に共通するスペクトルの誤り、時間的誤り及び空間的誤りを補正するインテリジェント解析・補正ループ108,110を含んでいる。アップミキシングユニットは、高分解能周波数帯域に渡った重要なチャンネル間空間キューの抽出及び解析を利用して、様々な周波数要素の空間的な配置を得る。ダウンミキシンクユニット及びアップミキシングユニットは、別個に又は1つのシステムとして使用される場合、音質と空間的な差の改善をもたらす。
【選択図】図1

Description

関連出願:本出願は、米国特許に関係している。本出願は、2004年の10月28日に出願された米国仮出願第60/622,922号「2−Nレンダリング」、2004年の10月28日に出願された米国特許第10/975,841号「音響空間環境エンジン」、同時に出願された米国特許出願11/261,100号「音響空間環境ダウンミキサ」(代理人整理番号13646.0014)、同時に出願された米国特許出願11/262,029号「音響空間環境アップミキサ」(代理人整理番号13646.0012)の優先権を主張する。これら出願は共通して所有されており、あらゆる目的について、引用を以て本明細書の一部となる。
本発明は、オーディオデータ処理の分野に関しており、より詳細には、フォーマットが異なるオーディオデータの間で変換を行うシステム及び方法に関する。
オーディオデータを処理するシステム及び方法は、当該技術分野において公知である。このようなシステム及び方法の大半は、2チャンネルステレオ環境、4チャンネル方式の環境、5チャンネルサラウンドサウンド環境(5.1チャンネル環境としても知られている)、又は、その他の適当なフォーマット若しくは環境のような、公知のオーディオ環境についてオーディオデータを処理する。
フォーマット又は環境の数が増えることで起こる問題は、第1環境で最適な音質のために処理されたオーディオデータを、大抵の場合、異なるオーディオ環境では、容易に使用できないことである。この問題の一例としては、ステレオサウンドデータ用に設計されたネットワーク又はインフラストラクチャに渡って、サラウンドサウンドデータを伝送又は格納することがある。ステレオの2チャンネル伝送又は格納用のインフラストラクチャは、サラウンドサウンドフォーマットにおけるオーディオデータの増加したチャンネルをサポートしなくてよいので、現存するインフラストラクチャを用いてサラウンドサウンドフォーマットデータを伝送又は使用することは、困難又は不可能であった。
本発明によれば、異なる音響空間環境の間で変換を行うことで従来の問題を解決する音響空間環境エンジンのシステム及び方法が与えられる。
特に、本発明により与えられる音響空間環境エンジンのシステム及び方法は、N−チャンネルデータとM−チャンネルデータの間の変換と、M−チャンネルデータからN'−チャンネルデータに戻す変換とを可能にする。ここで、N、M、及びN'は、整数であってNは、N'と必ずしも等しくなくともよい。
本発明の典型的な実施例では、NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換し、N'チャンネルオーディオシステムに戻す音響空間環境エンジンが与えられる。ここで、N、M、及びN'は整数であって、Nは、N'と必ずしも等しくなくともよい。その音響空間環境エンジンは、N個のオーディオデータのチャンネルを受信して、それらN個のオーディオデータのチャンネルをM個のオーディオデータのチャンネルに変換する動的ダウンミキサを含んでいる。音響空間環境エンジンはまた、M個のオーディオデータのチャンネルを受信して、それらM個のオーディオデータのチャンネルをN'個のオーディオデータのチャンネルに変換するアップミキサを含んでいる。ここで、Nは、N'と必ずしも等しくなくともよい。このシステムの典型的な用途の1つは、ステレオサウンドデータ向けに設計されたネットワーク又はインフラストラクチャに渡って、サラウンドサウンドデータを伝送又は格納することである。動的ダウンミキシングユニットは、サラウンドサウンドデータを、伝送又は格納するステレオサウンドデータに変換し、アップミキシングユニットは、ステレオサウンドデータを、再生、処理、又はその他のある適切な用途のためにサラウンドサウンドデータに戻す。
本発明は、多くの重要な技術的利点を与える。本発明の重要な技術的利点の1つは、進化した動的ダウンミキシングユニットと、高分解能周波数帯域アップミキシングユニットとによって、異なる空間環境間で改善された柔軟な変換を与えるシステムである。動的ダウンミキシングユニットは、多くのダウンミキシング方法に共通するスペクトルの誤り、時間的誤り及び空間的誤りを補正するインテリジェント解析・補正ループを含んでいる。アップミキシングユニットは、高分解能周波数帯域に渡って重要なチャンネル間空間キュー(inter-channel spatial cues)の抽出及び解析を利用して、様々な周波数要素の空間的な配置を導く。ダウンミキシンクユニット及びアップミキシングユニットは、別個に又は1つのシステムとして使用される場合、音質と空間的な差(spatial distinction)の改善をもたらす。
当該技術分野における通常の知識を有する者は、図面と共に以下の詳細な説明を読むことで、その他の重要な特徴と共に本発明の利点と優れた特徴とをさらに理解するであろう。
以下の説明では、明細書及び図面を通じて、類似した部分について、同じ参照符号を付する。作図の縮尺は一定ではなく、幾つかの構成要素は、一般化されて、若しくは模式的な形態で示されており、明瞭性と簡潔さを目的として、商業的な表示で特定される。
図1は、本発明の典型的な実施例であって、解析・補正ループを伴っており、N−チャンネルオーディオフォーマットからM−チャンネルオーディオフォーマットに動的なダウンミキシングをするシステム(100)の図である。システム(100)は、5.1チャンネルサウンド(即ち、N=5)を用いており、5.1チャンネルサウンドをステレオサウンド(即ち、M=2)に変換するが、その他の適当な数の入出力チャンネルが、さらに又は代わりに使用される。
システム(100)の動的ダウンミックスプロセスは、リファレンスダウンミックス(102)、リファレンスアップミックス(104)、サブバンドベクトル計算システム(106)(108)、及びサブバンド補正システム(110)を用いて実施されている。解析・補正ループは、アップミックスプロセスをシミュレートするリファレンスアップミックス(104)と、シミュレートされたアップミックス信号とオリジナル信号について周波数帯域ごとにエネルギと位置ベクトルを計算するサブバンドベクトル計算システム(106)(108)と、シミュレートされたアップミックス信号とオリジナル信号のエネルギと位置ベクトルを比較して、ダウンミックス信号のチャンネル間空間キューを変更し、任意の不一致(inconsistencies)を補正するサブバンド補正システム(110)とを用いて実現される。
システム(100)は、受信したN−チャンネルオーディオをM−チャンネルオーディオに変換する静的リファレンスダウンミックス(102)を含んでいる。静的リファレンスダウンミックス(102)は、5.1サウンドチャンネルであるレフトL(T)、ライトR(T)、センターC(T)、レフトサラウンドLS(T)及びライトサラウンドRS(T)を受信し、ステレオチャンネル信号であるレフトウォーターマーク(left watermark)LW'(T)及びライトウォーターマーク(right watermark)RW'(T)に変換する。
レフトウォーターマークLW'(T)及びライトウォーターマークRW'(T)のステレオチャンネル信号は、その後、リファレンスアップミックス(104)に与えられる。リファレンスアップミックス(104)は、ステレオサウンドチャンネルを5.1サウンドチャンネルに変換する。リファレンスアップミックス(104)は、5.1サウンドチャンネルであるレフトL'(T)、ライトR'(T)、センターC'(T)、レフトサラウンドLS'(T)及びライトサラウンドRS'(T)を出力する。
アップミックスされた5.1チャンネルサウンド信号は、リファレンスアップミックス(104)から出力されて、その後、サブバンドベクトル計算システム(106)に与えられる。サブバンドベクトル計算システム(106)の出力は、アップミックスされた5.1チャンネル信号であるレフトL'(T)、ライトR'(T)、センターC'(T)、レフトサラウンドLS'(T)及びライトサラウンドRS'(T)に関した複数の周波数帯のアップミックスされたエネルギ・像位置データである。同様に、オリジナルの5.1チャンネルサウンド信号が、サブバンドベクトル計算システム(108)に与えられる。サブバンドベクトル計算システム(108)の出力は、オリジナルの5.1サウンドチャンネルであるレフトL(T)、ライトR(T)、センターC(T)、レフトサラウンドLS(T)及びライトサラウンドRS(T)に関した複数の周波数帯のソースエネルギ・像位置データである。サブバンドベクトル計算システム(106)(108)で計算されるエネルギ及び位置ベクトルは、周波数帯ごとの全エネルギ測定値及び2次元ベクトルとからなり、理想的な聴取状態下における聴取者に関して、所定の周波数要素の感知強度及びソース位置示す。例えば、オーディオ信号は、適切なフィルタバンクを用いて、タイムドメインから周波数ドメインに変換される。このようなフィルタバンクには、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクがある。フィルタバンクの出力はさらに処理されて、周波数帯当たりの全エネルギと、周波数帯当たりの規格化された像位置ベクトルとを決定する。
サブバンドベクトル計算システム(106)(108)から出力されたエネルギ及び位置ベクトルの値は、サブバンド補正システム(110)に与えられる。サブバンド補正システム(110)は、5.1チャンネルサウンドがレフトウォーターマークLW'(T)及びライトウォーターマークRW'(T)のステレオチャンネル信号から生成されると、その5.1チャンネルサウンドのアップミックスされたエネルギ及び位置を用いて、オリジナルの5.1チャンネルサウンドについてソースのエネルギ及び位置を解析する。ソースとアップミックスについてエネルギ及び位置ベクトルの差が特定され、レフトウォーターマークLW'(T)及びライトウォーターマークRW'(T)がサブバンドごとに補正されて、LW(T)及びRW(T)が生成される。これにより、より正確にダウンミックスされたステレオチャンネル信号が得られ、ステレオチャンネル信号がその後アップミックスされる場合に、より正確な5.1表現が得られる。補正されたレフトウォーターマークLW信号(T)及びライトウォーターマークRW信号(T)が出力されて、転送され、ステレオ受信機で受信され、アップミックス機能を有する受信機で受信され、又は、その他の適切な利用がなされる。
動作中、システム(100)は、ダウンミックス/アップミックスシステム全体のシミュレーション、解析及び補正をするインテリジェント解析・補正ループを用いて、5.1チャンネルサウンドをステレオサウンドに動的にダウンミックスする。この手法は、静的なレフトウォーターマーク信号LW'(T)及びライトウォーターマーク信号RW'(T)を生成し、その後にアップミックスされた信号L'(T)、R'(T)、C'(T)、LS'(T)及びRS'(T)をシミュレートし、それら信号を、オリジナルの5.1チャンネル信号を用いて解析して、サブバンド単位でエネルギ又は位置ベクトルの任意の差異を特定及び補正することで達成される。差異は、レフトウォーターマークステレオ信号LW'(T)及びライトウォーターマークステレオ信号RW'(T)に、又は、その後のアップミックスされたサラウンドチャンネル信号に影響を与え得る。サブバンド補正処理は、レフトウォーターマークステレオ信号LW(T)及びライトウォーターマークステレオ信号RW(T)を生成し、LW(T)及びRW(T)がアップミックスされる場合に、結果として生じる5.1チャンネルサウンドがオリジナルの入力された5.1チャンネルサウンドと整合する精度が、改善されるように実行される。同様に、更なる処理が実行されて、任意の適当な数の入力チャンネルが、適当な数のウォーターマークされた出力信号に変換されてよい。例えば、7.1チャンネルステレオがウォーターマークされたステレオに、7.1チャンネルサウンドがウォーターマークされた5.1チャンネルステレオに、(車両用サウンドシステム又はシアターのような)カスタムサウンドチャンネルがステレオに変換され、又はその他の適当な変換がなされてもよい。
図2は、本発明の典型的な実施例である、静的なリファレンスダウンミックス(200)の図である。静的なリファレンスダウンミックス(200)は、図1のリファレンスダウンミックス(102)として、又はその他の適当な方法で使用される。リファレンスダウンミックス(200)は、NチャンネルオーディオをMチャンネルオーディオに変換する。ここで、N及びMは整数であって、NはMよりも大きい。リファレンスダウンミックス(200)は、入力信号X1(T)、X2(T)乃至XN(T)を受信する。各入力チャンネルiについて、入力信号Xi(T)は、信号の位相を90度シフトさせるヒルベルト変換ユニット(202)乃至(206)に与えられる。90度の位相シフトが得られるヒルベルトフィルタやオールパスフィルタネットワークのようなその他の処理が、そのヒルベルト変換ユニットに加えて、又はその代わりに使用され得る。各入力チャンネルiについて、ヒルベルト変換された信号とオリジナルの信号とには、その後、所定のスケーリング定数Cil1とCil2とが夫々、第1ステージの乗算器(208)乃至(218)にて掛け合わされる。ここで、第1の添字は、入力チャンネル番号iであり、第2の添字は、加算器の第1ステージを示し、第3の添字は、ステージ当たりの乗算器の数を示す。乗算器(208)乃至(218)の出力は、その後、加算器(220)乃至(224)で足し合わされ、加算器(220)乃至(224)から出力される分数次(fractional)ヒルベルト信号X'i(T)は、対応する入力信号Xi(T)に対して可変な位相シフトを受けている。位相のシフト量は、スケーリング定数Cil1及びCil2に依存する。0度の位相シフトは、Cil1=0及びCil2=1で可能であり、±90度の位相シフトは、Cil1=±1及びCil2=1で可能である。それらの中間の位相シフトは、Cil1及びCil2の適切な値を用いて可能である。
各入力チャンネルiに関する各信号X'i(T)について、その後、所定のスケーリング定数Ci2jが、第2ステージの乗算器(226)乃至(242)で掛けられる。ここで、第1の添字は、入力チャンネル番号iであり、第2の添字は、加算器の第2ステージを示し、第3の添字は、出力チャンネル番号jを示す。乗算器(226)乃至(242)の出力は、その後、加算器(244)乃至(248)で適切に足し合わされて、各出力チャンネルjについて、対応する出力信号Yj(T)が生成される。各入力チャンネルiと各出力チャンネルjのスケーリング定数Ci2jは、各入力チャンネルiと各出力チャンネルjの空間的配置によって決定される。例えば、レフト入力チャンネルiとライト出力チャンネルjのスケーリング定数Ci2jがゼロ近くに設定されると、空間的な差異が保たれる。同様に、フロント入力チャンネルiとフロント出力チャンネルjのスケーリング定数Ci2jが1近くに設定されると、空間的な配置が保たれる。
動作中、リファレンスダウンミックス(200)は、出力信号が受信機で受信される場合に、入力信号間の空間的な関係が適宜に管理及び抽出されるような方法で、N個のサウンドチャンネルをM個のサウンドチャンネルに合成する。さらに、開示したようなNチャンネルサウンドの組合せにより、Mチャンネルオーディオ環境にて聴取する聴取者が許容できる音質のMチャンネルサウンドが生成される。従って、リファレンスダウンミックス(200)を用いることで、Nチャンネルサウンドが、Mチャンネル受信機で、適当なアップミキサを有するNチャンネル受信機で、又はその他の適当な受信機で使用されるMチャンネルサウンドに変換される。
図3は、本発明の典型的な実施例である、静的なリファレンスダウンミックス(300)の図である。図3に示すように、静的なリファレンスダウンミックス(300)は、図2の静的なリファレンスダウンミックス(200)の具体例であって、5.1チャンネルの時間ドメインデータを、ステレオチャンネルの時間ドメインデータに変換する。静的リファレンスダウンミックス(300)は、図1のリファレンスダウンミックス(102)として、又はその他の適当な方法で使用される。
リファレンスダウンミックス(300)は、ソースの5.1チャンネルサウンドのレフトチャンネル信号L(T)を受信するヒルベルト変換部(302)含んでおり、その時間信号にヒルベルト変換を施す。ヒルベルト変換は、信号の90度の位相シフトをもたらし、その後、所定のスケーリング定数CL1が乗算器(310)にて掛けられる。90度の位相シフトが得られるヒルベルトフィルタやオールパスフィルタネットワークのようなその他の処理が、このヒルベルト変換ユニットに加えて、又はその代わりに使用され得る。オリジナルのレフトチャンネル信号L(T)には、所定のスケーリング定数CL2が乗算器(312)にて掛けられる。乗算器(310)(312)の出力は、加算器(320)で足し合わされて、分数次ヒルベルト信号L'(T)が生成される。同様にして、ソースの5.1チャンネルサウンドのライトチャンネル信号R(T)がヒルベルト変換部(304)で処理されて、所定のスケーリング定数CR1が乗算器(314)にて掛けられる。オリジナルのライトチャンネル信号R(T)には、所定のスケーリング定数CL2が乗算器(316)にて掛けられる。乗算器(320)(322)の出力は、加算器(322)で足し合わされて、分数次ヒルベルト信号R'(T)が生成される。加算器(320)(322)から出力された分数次ヒルベルト信号L'(T)及びR'(T)の位相は、対応する入力信号L(T)及びR(T)の位相に対して夫々可変量でシフトしている。位相のシフト量は、CL1、CL2、CR1及びCR2のスケーリング定数に依存しており、0度の位相シフトは、CL1=0、CL2=1、CR1=0及びCR2=1で可能となる。±90度の位相シフトは、CL1=±1、CL2=1、CR1=±1及びCR2=1で可能となる。それらの中間の位相シフトは、CL1、CL2、CR1及びCR2の適切な値で可能である。5.1チャンネルサウンドのセンターチャンネル入力は、分数次ヒルベルト信号C'(T)として乗算器(318)に与えられる。位相シフトは、センターチャンネル入力信号には施されない。乗算器(318)は、3デジベルで減衰するように、所定のスケーリング定数C3をC'(T)に掛ける。加算器(320)(322)と乗算器(318)の出力は、適切に足し合わされて、レフトウォーターマークチャンネルLW'(T)及びライトウォーターマークチャンネルRW'(T)になる。
ソースの5.1チャンネルサウンドのレフトサラウンドチャンネルLS(T)は、ヒルベルト変換部(306)に与えられ、ソースの5.1チャンネルサウンドのライトサラウンドチャンネルRS(T)は、ヒルベルト変換部(308)に与えられる。ヒルベルト変換部(306)(308)の出力は、分数次ヒルベルト信号LS'(T)及びRS'(T)であって、LS(T)とLS'(T)の信号対の間と、RS(T)とRS'(T)の信号対の間とには、全90度の位相シフトがある。そして、LS'(T)には、所定のスケーリング定数CLS1及びCLS2が乗算器(324)及び乗算器(326)にて夫々掛けられる。同様に、RS'(T)には、所定のスケーリング定数CRS1及びCRS2が乗算器(328)及び乗算器(330)にて夫々掛けられる。乗算器(324)乃至(330)の出力は、レフトウォーターマークチャンネルLW'(T)及びライトウォーターマークチャンネルRW'(T)に適切に与えられる。
加算器(332)は、加算器(320)のレフトチャンネル出力と、乗算器(318)のセンターチャンネル出力と、乗算器(324)のレフトサラウンドチャンネル出力と、乗算器(328)のライトサラウンドチャンネル出力とを受信し、これら信号を足し合わせて、レフトウォーターマークチャンネルLW'(T)を作る。同様に、加算器(334)は、加算器(318)のセンターチャンネル出力と、乗算器(322)のライトチャンネル出力と、乗算器(326)のレフトサラウンドチャンネル出力と、乗算器(330)のライトサラウンドチャンネル出力とを受信し、これら信号を足し合わせて、ライトウォーターマークチャンネルRW'(T)を作る。
動作中、リファレンスダウンミックス(300)は、ライトウォーターマークチャンネル及びレフトウォーターマークチャンネルのステレオ信号が受信機で受信される場合に、5.1入力チャンネル間の空間的な関係が管理及び抽出されるような方法で、ソースの5.1サウンドチャンネルを合成する。さらに、開示したような5.1チャンネルサウンドの組合せにより、サラウンドサウンドのアップミックスを行えないステレオ受信機を用いる聴取者が許容できる音質のステレオサウンドが生成される。従って、リファレンスダウンミックス(300)を用いることで、5.1チャンネルサウンドが、ステレオ受信機、適当なアップミキサを有する5.1チャンネル受信機、適当なアップミキサを有する7.1チャンネル受信機、又はその他の適当な受信機で使用されるステレオサウンドに変換される。
図4は、本発明の典型的な実施例であるサブバンドベクトル計算システム(400)の図である。サブバンドベクトル計算システム(400)によって、複数の周波数帯について、エネルギ及び位置ベクトルのデータが得られる。サブバンドベクトル計算システム(400)は、図1のサブバンドベクトル計算システム(106)(108)として使用され得る。
サブバンドベクトル計算システム(400)は、時間−周波数解析ユニット(402)乃至(410)を含んでいる。5.1時間ドメインサウンドチャンネルであるL(T)、R(T)、C(T)、LS(T)及びRS(T)が、時間−周波数解析ユニット(402)乃至(410)に夫々与えられて、時間ドメイン信号から周波数ドメイン信号に変換される。これら時間−周波数解析ユニットとしては、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクを使用できる。L(T)、R(T)、C(T)、LS(T)及びRS(T)について、周波数帯ごとの大きさ又はエネルギ値が、時間−周波数解析ユニット(402)乃至(410)から出力される。これらの大きさ/エネルギ値は、対応する各チャンネルの各周波数帯成分に関した大きさ/エネルギの測定値である。大きさ/エネルギの測定値は、加算器(412)で足し合わされる。加算器(412)は、周波数帯当たりの入力信号の全エネルギであるT(F)を出力する。この値は、チャンネルの大きさ/エネルギの各々に分けられて、除算ユニット(414)乃至(422)によって、対応する規格化されたチャンネル間レベル差(ICLD)信号であるML(F)、MR(F)、MC(F)、MLS(F)及びMRS(F)が生成される。これらICLD信号は、各チャンネルに関するサブバンドエネルキの規格化された推定値(estimates)と考えられる。
5.1チャンネルサウンドは、横軸と深さ軸とで構成された2次元面上の典型的な場所として示されるような、規格化された位置ベクトルにマップされる。図示したように、(XLS,YLS)に関する場所の値は、原点に割り当てられ、(XRS,YRS)に関する場所の値は、(0、1)に割り当てられ、(XL,YL)に関する場所の値は、(0、1−C)に割り当てられる。ここで、Cは、1と0の間の値であって、部屋の後部からレフト及びライトスピーカまでの後退距離(setback distance)を表す。同様に、(XR,YR)の値は、(1、1−C)である。最後に、(XC,YC)の値は、(0.5、1)である。これらの座標は典型的なものであって、お互いに対する規格化された実際のスピーカ配置又は構成を反映するように変更され得る。スピーカ座標は、部屋の大きさ、部屋の形状又はその他の因子に応じて異なる。例えば、7.1サウンド又はその他の適当なサウンドチャンネル構成が使用される場合、さらなる座標値が与えられて、部屋の周囲のスピーカの配置を反映する。同様に、このようなスピーカ配置は、自動車、部屋、講堂、体育館又は適当なその他におけるスピーカの実際の分布に応じてカスタマイズされる。
推定された像位置ベクトルP(F)は、ベクトル式:P(F)=ML(F)*(XL,YL)+MR(F)*(XR,YR)+MC(F)*(XC,YC)+i.MLS(F)*(XLS,YLS)+MRS(F)*(XRS,YRS)に基づいて、サブバンド毎に計算される。
このように、各周波数帯について、全エネルギT(F)及び位置ベクトルP(F)が得られて、その周波数帯に関して、見掛けの(apparent)周波数ソースの検知強度及び位置を定義するのに使用される。この方法によって、サブバンド補正システム(110)での使用、又はその他の適当な目的の使用において、周波数成分の空間像が限定される(localized)。
図5は、本発明の典型的な実施例であるサブバンド補正システムの図である。サブバンド補正システムは、図1のサブバンド補正システム(110)として、又はその他の適当な用途に使用できる。サブバンド補正システムは、レフトウォーターマークステレオチャンネル信号LW'(T)及びライトウォーターマークステレオチャンネル信号RW'(T)を受信して、これらウォーターマークステレオ信号についてエネルギ及び像の補正を実行し、リファレンスダウンミキシング又はその他の適当な方法の結果として生じ得る各周波数帯の信号の誤りを補正する。サブバンド補正システムは、各サブバンドについて、ソースの全エネルギ信号TSOURCE(F)と、生じたアップミックス信号の全エネルギ信号TUMIX(F)と、ソースの位置ベクトルPSOURCE(F)と、生じたアップミックス信号の位置ベクトルPUMIX(F)とを受信して、使用する。これら信号は、図1のサブバンドベクトル計算システム(106)(108)で生成される。全エネルギ信号及び位置ベクトルが用いられて、実行される適切な補正及び補償が決定される。
サブバンド補正システムは、位置補正システム(500)と、スペクトルエネルギ補正システム(502)と含んでいる。位置補正システム(500)は、レフトウォーターマークステレオチャンネルLW'(T)及びライトウォーターマークステレオチャンネルRW'(T)の時間ドメイン信号を受信し、それらステレオチャンネルは、夫々、時間−周波数解析ユニット(504)(506)にて、時間ドメインから周波数ドメインに変換される。これら時間−周波数解析ユニットとしては、適当なフィルタバンク、例えば、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクを使用できる。
時間−周波数解析ユニット(504)(506)の出力は、周波数ドメインサブバンド信号LW'(F)及びRW'(F)である。チャンネル間レベル差(ICLD)及びチャンネル間コヒーレンス(ICC)の関連する空間キューは、信号LW'(F)及びRW'(F)においてサブバンドごとに修正される。例えば、これらキューは、LW'(F)及びRW'(F)の絶対値のような、LW'(F)及びRW'(F)の大きさ又はエネルギと、LW'(F)及びRW'(F)の位相とを操作することで変更され得る。ICLDの補正は、式:[XMAX−Px,SOURCE(F)]/[XMAX−Px,UMIX(F)]による値を、乗算器(508)にて、LW'(F)の大きさ/エネルギ値に掛けることで実行される。ここで、XMAX=X座標境界の最大値、Px,SOURCE(F)=ソースベクトルからのサブバンドX位置座標の推定値、Px,UMIX(F)=生じたアップミックスベクトルからのサブバンドX位置座標の推定値である。同様に、式:[Px,SOURCE(F)−XMIN]/[Px,UMIX(F)−XMIN]による値が、乗算器(510)にて、RW'(F)の大きさ/エネルギ値に掛けられる。ここで、XMIN=X座標境界の最小値である。
ICCの補正は、加算器(512)を用いて、式:+/−Π*[PY,SOURCE(F)−PY,UMIX(F)]/[YMAX−YMIN]で生成される値をLW'(F)の位相に加えることで実行される。ここで、PY,SOURCE(F)=ソースベクトルからのサブバンドY位置座標の推定値、PY,UMIX(F)=生じたアップミックスベクトルからのサブバンドY位置座標の推定値、YMAX=Y座標境界の最大値、YMIN=Y座標境界の最小値である。
同様に、RW'(F)の位相には、加算器(514)を用いて、式:−/+Π*[PY,SOURCE(F)−PY,UMIX(F)]/[YMAX−YMIN]で生成される値が加えられる。LW'(F)及びRW'(F)に加えられる角度要素の値は等しいが、それらの極性は逆である。得られた極性は、LW'(F)とRW'(F)の間の進み位相角度(leading phase angle)によって決定される。
補正されたLW'(F)の大きさ/エネルギと補正されたLW'(F)の位相は、加算器(516)で再結合されて、各サブバンドについて複素数のLW(F)が生成され、その後、周波数−時間シンセシス(synthesis)ユニット(520)によって、レフトウォータマークの時間ドメイン信号LW(T)に変換される。同様に、補正されたRW'(F)の大きさ/エネルギと補正されたRW'(F)の位相は、加算器(518)にて再結合されて、各サブバンドについて複素数のRW(F)が生成され、その後、周波数−時間シンセシスユニット(522)によって、ライトウォータマークの時間ドメイン信号RW(T)に変換される。周波数−時間シンセシスユニット(520)(522)には、周波数ドメイン信号を時間ドメイン信号に戻すことができる適当なシンセシスフィルタバンクが使用される。
この典型的な実施例に示されるように、レフト及びライトのウォータマークチャンネル信号の各スペクトル要素のチャンネル間空間キューは、位置補正部(500)を用いて補正される。位置補正部(500)は、ICLD及びICC空間キューを適切に変更する。
スペクトルエネルギ補正システム(502)が用いられることで、ダウンミックス信号の全スペクトルバランスが、オリジナルの5.1信号の全スペクトルバランスと一致することが確実になり、その結果、例えば、合成フィルタリング(comb filtering)で起こるスペクトルのずれが補償される。レフトウォーターマーク時間ドメイン信号LW'(T)は、時間−周波数解析ユニット(524)を用いて、ライトウォーターマーク時間ドメイン信号RW'(T)は、時間−周波数解析ユニット(526)を用いて、時間ドメインから周波数ドメインに変換される。これらの時間−周波数解析ユニットには、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクが使用され得る。時間−周波数解析ユニット(524)及び同ユニット(526)の出力は、LW'(F)及びRW'(F)の周波数サブバンド信号であって、それらには、乗算器(528)及び乗算器(530)にて、TSOURCE(F)/TUMIX(F)が掛けられる。ここで、TSOURCE(F)=|L(F)|+|R(F)|+|C(F)|+|LS(F)|+|LR(F)|であり、TUMIX(F)=|LUMIX(F)|+|RUMIX(F)|+|CUMIX(F)|+|LSUMIX(F)|+|LRUMIX(F)|である。
乗算器(528)及び乗算器(530)の出力は、その後、周波数−時間シンセシスユニット(532)及び同ユニット(534)で、周波数ドメインから時間ドメインに変換されて、LW(T)及びRW(T)が生成される。周波数−時間シンセシスユニットには、周波数ドメイン信号を時間ドメイン信号に戻すことができる適当なシンセシスフィルタバンクが使用される。この方法では、位置及びエネルギの補正が、ダウンミックスされたステレオチャンネル信号LW'(T)及びRW'(T)に与えられて、オリジナルの5.1信号に忠実なレフトウォーターマークステレオチャンネル信号LW(T)及びRW(T)が生成される。LW(T)及びRW(T)は、オリジナルの5.1チャンネルサウンドにある任意の内容要素(content elements)のスペクトル成分の位置又はエネルギを大きく変化させることなく、ステレオで再生され、又は、アップミックスされて5.1チャンネル又は適当な数のチャンネルに戻される。
図6は、本発明の典型的な実施例であって、MチャンネルからNチャンネルにデータをアップミキシングするシステム(600)の図である。システム(600)は、ステレオ時間ドメインデータをNチャンネル時間ドメインデータに変換する。
システム(600)は、時間−周波数解析ユニット(602)、同ユニット(604)、フィルタ生成ユニット(606)、平滑化ユニット(608)、周波数−時間シンセシスユニット(634)乃至(638)を含んでいる。システム(600)によって、スケーラブル周波数ドメインアーキテクチャとフィルタ生成方法とを用いて、アップミックスプロセスにて空間的差異及び安定性が改善される。スケーラブル周波数ドメインアーキテクチャは、高分解能の周波数帯処理を可能とし、フィルタ生成方法は、主要なチャンネル間キューを周波数帯ごとに抽出及び解析し、アップミックスされたNチャンネル信号における周波数要素の空間配置を導出する。
システム(600)は、時間−周波数解析ユニット(602)(604)で、レフトチャンネルステレオ信号L(T)とライトチャンネルステレオ信号R(T)を受信する。これら時間−周波数解析ユニット(602)(604)は、時間ドメイン信号を周波数ドメイン信号に変換する。これら時間−周波数解析ユニット(602)(604)には、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクが使用される。時間−周波数解析ユニット(602)(604)の出力は、例えば、0乃至20kHzの周波数範囲のような、人間の聴覚システムの周波数範囲を十分にカバーする一組の周波数ドメイン値である。解析フィルタバンクのサブバンド帯域幅は、ほぼ心理音響臨界帯域(psycho-acoustic critical band)へと、等価矩形帯域幅へと、又はその他の知覚的特徴へと処理される。同様に、その他の適切な数の周波数帯及び範囲も採用できる。
時間−周波数解析ユニット(602)(604)の出力は、フィルタ生成ユニット(606)に与えられる。典型的なある実施例では、フィルタ生成ユニット(606)は、所定の環境に出力されるべきチャンネルの数について、外部からの選択を受信する。例えば、2個のフロントスピーカ及び2個のリアスピーカがある4.1サウンドチャンネルが選択でき、2個のフロントスピーカ、2個のリアスピーカ及び1個のフロントセンタースピーカがある5.1サウンドチャンネルが選択でき、2個のフロントスピーカ、2個のサイドスピーカ、2個のリアスピーカ及び1個のフロントセンタースピーカがある7.1サウンドチャンネルが選択でき、又はその他の適当なサウンドシステムが選択できる。フィルタ生成ユニット(606)は、周波数帯毎に、チャンネル間レベル差(ICLD)及びチャンネル間コヒーレンス(ICC)のようなチャンネル間空間キューを抽出及び解析する。その後、それら関連空間キューがパラメータとして使用されて、アップミックスされたサウンドフィールドにおいて周波数帯要素の空間配置を制御する適応チャンネルフィルタが生成される。チャンネルフィルタが非常に急激に変動すると、フィルタの変動性が迷惑な変動効果を起こすが、チャンネルフィルタは、時間及び周波数の両方に渡って、平滑化ユニット(608)で平滑化されて、フィルタの変動性は制限される。図6に示す典型的実施例では、レフトチャンネルの周波数ドメイン信号L(F)とライトチャンネルの周波数ドメイン信号R(F)が、フィルタ生成ユニット(606)に与えられて、平滑化ユニット(608)に与えられるNチャンネルフィルタ信号H1(F)、H2(F)乃至HN(F)が生成される。
平滑化ユニット(608)は、時間次元及び周波数次元の両方に渡って、Nチャンネルフィルタの各チャンネルについて、周波数ドメイン成分を平均化する。時間及び周波数に渡る平滑化は、チャンネルフィルタ信号における急激な変動の制御に役立ち、その結果として、聴取者に迷惑になり得るジッターの影響(artifacts)や不安定性が低減される。典型的なある実施例では、時間の平滑化は、現在のフレームの周波数帯と過去のフレームの対応する周波数帯の各々について、一次のローパスフィルタを適用することで実現される。これは、フレームからフレームへの各周波数帯の変動を低減する効果がある。典型的な別の実施例では、空間の平滑化は、人間の聴覚システムの臨界帯域間隔(critical band spacing)を近似するようにモデル化された周波数ビン(bins)のグループに渡って実行される。例えば、均一に配置された周波数ビンを伴う解析フィルタバンクが用いられる場合、様々な数の周波数ビンが、周波数スペクトルの様々な区分について、グループ化及び平均化される。例えば、0から5kHzについて5つの周波数ビンが平均化され、5から10kHzについて7つの周波数ビンが平均化され、10kHzから20kHzについて9つの周波数ビンが平均化される。又は、その他の適切な数の周波数ビンと帯域幅領域とが選択されてもよい。H1(F)、H2(F)乃至HN(F)の平滑化された値は、平滑化ユニット(608)から出力される。
N個の出力チャンネルの各々に関するソース信号X1(F)、X2(F)乃至XN(F)が、M個の入力チャンネルの適応的組合せ(adaptive combination)として生成される。図6に示す典型的な例では、特定の出力チャンネルiについて、加算器(614)(620)(626)から出力されるチャンネルソース信号Xi(F)は、適応スケーリング信号Gi(F)が掛けられたL(F)と、適応スケーリング信号1−Gi(F)が掛けられたR(F)との和として生成される。乗算器(610)(612)(616)(618)(622)(624)で用いられる適応スケーリング信号Gi(F)は、出力チャンネルiの予定の空間位置(intended spatial position)と、周波数帯当たりのL(F)及びR(F)の動的なチャンネル間コヒーレンスの推定値とで決定される。同様に、加算器(614)(620)(626)に与えられる信号の極性は、出力チャンネルiの予定の空間位置で決定される。例えば、加算器(614)(620)(626)における適合スケーリング信号Gi(F)とそれらの極性とは、従来のマトリックスアップミキシング方法において良く知られているように、フロントセンターチャンネルのL(F)+R(F)の組合せ、レフトチャンネルのL(F)、ライトチャンネルのR(F)、リアチャンネルのL(F)−R(F)の組合せを与えるように決められる。さらに、適応スケーリング信号Gi(F)は、出力チャンネル対の間の相関を、出力チャンネル対が横又は深さ方向の(depth-wise)チャンネル対であろうと、動的に調整する方法を与える。
チャンネルソース信号X1(F)、X2(F)乃至XN(F)は夫々、乗算器(628)乃至乗算器(632)によって、平滑化されたチャンネルフィルタH1(F)、H2(F)乃至HN(F)と掛けられる。
乗算器(628)乃(632)の出力は、その後、周波数−時間シンセシスユニット(634)乃至(638)によって、周波数ドメインから時間ドメインに変換され、出力チャンネルY1(T)、Y2(T)乃至YN(T)が生成される。この方法では、レフト及びライトのステレオ信号がNチャンネル信号にアップミックスされる。もともと存在しているチャンネル間空間キューを、又は、例えば、図1のダウンミキシングウォータマーク処理、若しくはその他の適当な処理によって、レフト及びライトのステレオ信号に意図的にエンコードされるチャンネル間空間キューを用いて、システム(600)で生成されるNチャンネルサウンドフィールド内の周波数要素の空間配置が制御される。同様に、例えば、ステレオから7.1サウンド、5.1サウンドから7.1サウンド、又はその他の適当な組合せのような、入力及び出力のその他の適当な組合せも採用できる。
図7は、本発明の典型的な実施例であって、MチャンネルからNチャンネルにデータをアップミキシングするシステム(700)の図である。システム(700)は、ステレオの時間ドメインデータを5.1チャンネルの時間ドメインデータに変換する。
システム(700)は、時間−周波数解析ユニット(702)、同ユニット(704)、フィルタ生成ユニット(706)、平滑化ユニット(708)、周波数−時間シンセシスユニット(738)乃至(746)を含んでいる。システム(700)は、スケーラブル周波数ドメインアーキテクチャとフィルタ生成方法とを用いて、アップミックスプロセスにて空間的差異及び安定性を改善する。スケーラブル周波数ドメインアーキテクチャは、高分解能の周波数帯処理を可能とし、フィルタ生成方法は、主要なチャンネル間キューを周波数帯ごとに抽出及び解析することで、アップミックスされた5.1チャンネル信号における周波数要素の空間配置を導出する。
システム(700)は、時間−周波数解析ユニット(702)(704)で、レフトチャンネルステレオ信号L(T)及びライトチャンネルステレオ信号R(T)を受信する。これら時間−周波数解析ユニット(702)(704)は、時間ドメイン信号を周波数ドメイン信号に変換する。これら時間−周波数解析ユニット(702)(704)には、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクが使用される。時間−周波数解析ユニット(702)(704)の出力は、例えば、0乃至20kHzの周波数範囲のような、人間の聴覚システムの周波数範囲を十分にカバーする一組の周波数ドメインの値である。解析フィルタバンクのサブバンド帯域幅は、ほぼ心理音響臨界帯域へと、等価矩形帯域幅へと、又はその他のある知覚的特徴へと処理される。同様に、その他の適切な数の周波数帯及び範囲も採用できる。
時間−周波数解析ユニット(702)(704)の出力は、フィルタ生成ユニット(706)に与えられる。典型的なある実施例では、フィルタ生成ユニット(706)は、所定の環境に出力されるチャンネルの数について、外部からの選択を受信する。例えば、2個のフロントスピーカ及び2個のリアスピーカがある4.1サウンドチャンネルが選択でき、2個のフロントスピーカ、2個のリアスピーカ及び1個のフロントセンタースピーカがある5.1サウンドシステムが選択でき、2個のフロントスピーカ、2個のフロントスピーカ及び1個のフロントセンタースピーカがある3.1サウンドシステムが選択でき、又はその他の適当なサウンドシステムが選択できる。フィルタ生成ユニット(706)は、周波数帯ごとに、チャンネル間レベル差(ICLD)及びチャンネル間コヒーレンス(ICC)のようなチャンネル間空間キューを抽出及び解析する。それら関連空間キューをパラメータとして使用して、その後、アップミックスされたサウンドフィールドにおける周波数帯要素の空間配置を制御する適応チャンネルフィルタが生成される。チャンネルフィルタが非常に急激に変動すると、フィルタの変動性が迷惑な変動効果を起こすが、チャンネルフィルタは、時間及び周波数の両方に渡って平滑化ユニット(708)で平滑化されて、フィルタの変動性は制限される。図7に示す典型的実施例では、レフトチャンネルの周波数ドメイン信号L(F)とライトチャンネルの周波数ドメイン信号R(F)がフィルタ生成ユニット(706)に与えられて、平滑化ユニット(708)に与えられる5.1チャンネルフィルタ信号HL(F)、HR(F)、HC(F)、HLS(F)及びHRS(F)が生成される。
平滑化ユニット(708)は、時間次元及び周波数次元の両方に渡って、5.1チャンネルフィルタの各チャンネルについて、周波数ドメイン成分を平均化する。時間及び周波数に渡る平滑化は、チャンネルフィルタ信号における急激な変動の制御に役立ち、その結果として、聴取者に迷惑になり得るジッターの影響や不安定性が低減される。典型的なある実施例では、時間の平滑化は、現在のフレームの周波数帯と過去のフレームの対応する周波数帯の各々について、一次のローパスフィルタを適用することで実現される。これは、フレームからフレームへの各周波数帯の変動を低減する効果がある。典型的な別の実施例では、空間の平滑化は、人間の聴覚システムの臨界帯域間隔を近似するようにモデル化された周波数ビンのグループに渡って実行される。例えば、均一に配置された周波数ビンを伴った解析フィルタバンクが用いられる場合、様々な数の周波数ビンが、周波数スペクトルの様々な区分について、グループ化及び平均化される。この実施例では、例えば、0から5kHzについて5つの周波数ビンが平均化され、5から7kHzについて7つの周波数ビンが平均化され、10kHzから20kHzについて9つの周波数ビンが平均化される。又は、その他の適切な数の周波数ビンと帯域幅領域が選択されてもよい。HL(F)、HR(F)、HC(F)、HLS(F)及びHRS(F)の平滑化された値は、平滑化ユニット(708)から出力される。
5.1出力チャンネルの各々に関するソース信号XL(F)、XR(F)、XC(F)、XLS(F)及びXRS(F)が、ステレオ入力チャンネルの適応的組合せとして生成される。図7に示す典型的な例では、XL(F)は、単にL(F)で与えられており、全ての周波数帯についてGL(F)=1である。同様に、XR(F)は、単にR(F)で与えられており、全ての周波数帯についてGR(F)=0である。加算器(714)の出力であるXc(F)は、適応スケーリング信号GC(F)が掛けられたL(F)と、適応スケーリング信号1−GC(F)が掛けられたR(F)との和として計算される。加算器(720)の出力であるXLS(F)は、適応スケーリング信号GLS(F)が掛けられたL(F)と、適応スケーリング信号1−GLS(F)が掛けられたR(F)との和として計算される。同様に、加算器(726)の出力であるXRS(F)は、適応スケーリング信号GRS(F)が掛けられたL(F)と、適応スケーリング信号1−GRS(F)が掛けられたR(F)との和として計算される。全ての周波数帯についてGC(F)=0.5、GLS(F)=0.5、及びGRS(F)=0.5である場合、従来のマトリックスアップミキシング方法において良く知られているようにフロントセンターチャンネルは、L(F)+R(F)の組合せから供給され、サラウンドチャンネルは、スケーリングされたL(F)−R(F)の組合せから供給されることに留意のこと。適応スケーリング信号GC(F)、GLS(F)及びGRS(F)は、さらに、隣接する出力チャンネル対の間の相関を、出力チャンネル対が横又は深さ方向のチャンネル対であろうと、動的に調整する方法を与える。チャンネルソース信号XL(F)、XR(F)、XC(F)、XLS(F)及びXRS(F)には、乗算器(728)乃(736)によって、平滑化されたチャンネルフィルタHL(F)、HR(F)、HC(F)、HLS(F)及びHRS(F)が夫々掛けられる。
乗算器(728)乃至乗算器(736)の出力は、その後、周波数−時間シンセシスユニット(738)乃至(746)によって、周波数ドメインから時間ドメインに変換され、出力チャンネルYL(T)、YR(T)、YC(T)、YLS(T)及びYRS(T)が生成される。この方法では、レフト及びライトのステレオ信号が5.1チャンネル信号にアップミックスされる。もともと存在しているチャンネル間空間キューを、又は、例えば、図1のダウンミキシングウォータマーク処理、若しくはその他の適当な処理によって、レフト及びライトのステレオ信号に意図的にエンコードされるチャンネル間空間キューを用いて、システム(700)で生成される5.1チャンネルサウンドフィールド内の周波数要素の空間配置が制御される。同様に、例えば、ステレオから4.1サウンド、4.1サウンドから5.1サウンド、又はその他の適当な組合せのような、入力及び出力のその他の適当な組合せも採用できる。
図8は、MチャンネルからNチャンネルにデータをアップミキシングするシステム(800)の図である。システム(800)は、ステレオの時間ドメインデータを7.1チャンネルの時間ドメインデータに変換する。
システム(800)は、時間−周波数解析ユニット(802)、同ユニット(804)、フィルタ生成ユニット(806)、平滑化ユニット(808)、周波数−時間シンセシスユニット(854)乃至(866)を含んでいる。システム(800)によって、スケーラブル周波数ドメインアーキテクチャとフィルタ生成方法を用いて、アップミックスプロセスにて空間的差異と安定性とが改善される。スケーラブル周波数ドメインアーキテクチャは、高分解能の周波数帯処理を可能とし、フィルタ生成方法は、主要なチャンネル間キューを周波数帯ごとに抽出及び解析して、アップミックスされた7.1チャンネル信号における周波数要素の空間配置を導出する。
システム(800)は、時間−周波数解析ユニット(802)(804)で、レフトチャンネルステレオ信号L(T)とライトチャンネルステレオ信号R(T)を受信する。これら時間−周波数解析ユニット(802)(804)は、時間ドメイン信号を周波数ドメイン信号に変換する。これら時間−周波数解析ユニット(802)(804)には、適当なフィルタバンクが使用でき、例えば、有限インパルス応答(FIR)フィルタバンク、直交ミラーフィルタ(QMF)バンク、離散フーリエ変換(DFT)、タイムドメインエリアシングキャンセル(TDAC)フィルタバンク、又はその他の適当なフィルタバンクが使用される。時間−周波数解析ユニット(802)(804)の出力は、例えば、0乃至20kHzの周波数範囲のような、人間の聴覚システムの周波数範囲を十分にカバーする一組の周波数ドメイン値である。解析フィルタバンクのサブバンド帯域幅は、ほぼ心理音響臨界帯域へと、等価矩形帯域幅へと、又はその他の知覚的特徴へと処理される。同様に、その他の適切な数の周波数帯及び範囲も採用できる。
時間−周波数解析ユニット(802)(804)の出力は、フィルタ生成ユニット(806)に与えられる。典型的なある実施例では、フィルタ生成ユニット(806)は、所定の環境に出力されるチャンネルの数について、外部からの選択を受信する。例えば、2個のフロントスピーカ及び2個のリアスピーカがある4.1サウンドチャンネルが選択でき、2個のフロントスピーカ、2個のリアスピーカ及び1個のフロントセンタースピーカがある5.1サウンドシステムが選択でき、2個のフロントスピーカ、2個のサイドスピーカ、2個のリアスピーカ及び1個のフロントセンタースピーカがある7.1サウンドチャンネルが選択でき、又はその他の適当なサウンドシステムが選択できる。フィルタ生成ユニット(806)は、周波数帯ごとに、チャンネル間レベル差(ICLD)及びチャンネル間コヒーレンス(ICC)のようなチャンネル間空間キューを抽出及び解析する。その後、それら関連空間キューがパラメータとして使用されて、アップミックスされたサウンドフィールドにおける周波数帯要素の空間配置を制御する適応チャンネルフィルタが生成される。チャンネルフィルタが非常に急激に変動すると、フィルタの変動性が迷惑な変動効果を起こすが、チャンネルフィルタは、時間及び周波数の両方に渡って平滑化ユニット(808)で平滑化されて、フィルタの変動性は制限される。図8に示す典型的実施例では、レフトチャンネルの周波数ドメイン信号L(F)とライトチャンネルの周波数ドメイン信号R(F)が、フィルタ生成ユニット(806)に与えられて、平滑化ユニット(808)に与えられる7.1チャンネルフィルタ信号HL(F)、HR(F)、HC(F)、HLS(F)、HRS(F)、HLB(F)及びHRB(F)が生成される。
平滑化ユニット(808)は、時間次元及び周波数次元の両方に渡って、7.1チャンネルフィルタの各チャンネルについて、周波数ドメイン成分を平均化する。時間及び周波数に渡る平滑化は、チャンネルフィルタ信号における急激な変動の制御に役立ち、その結果として、聴取者に迷惑になり得るジッターの影響や不安定性が低減される。典型的なある実施例では、時間の平滑化は、現在のフレームの周波数帯と過去のフレームの対応する周波数帯の各々について、一次のローパスフィルタを適用することで実現される。これは、フレームからフレームへの各周波数帯の変動を低減する効果がある。典型的なある実施例では、空間の平滑化は、人間の聴覚システムの臨界帯域間隔を近似するようにモデル化された周波数ビンのグループに渡って実行される。例えば、均一に配置された周波数ビンを伴った解析フィルタバンクが用いられる場合、様々数の周波数ビンが、周波数スペクトルの様々な区分について、グループ化及び平均化される。この実施例では、例えば、0から5kHzについて5つの周波数ビンが平均化され、5から10kHzについて7つの周波数ビンが平均化され、10kHzから20kHzについて9つの5つの周波数ビンが平均化される。又は、その他の適切な数の周波数ビンと帯域幅領域が選択されてもよい。HL(F)、HR(F)、HC(F)、HLS(F)、HRS(F)、HLB(F)及びHRB(F)の平滑化された値は、平滑化ユニット(808)から出力される。
7.1出力チャンネルの各々に関するソース信号XL(F)、XR(F)、XC(F)、XLS(F)、XRS(F)、XLB(F)及びXRB(F)が、ステレオ入力チャンネルの適応的組合せとして生成される。図8に示す典型的な例では、XL(F)は、単にL(F)で与えられており、全ての周波数帯についてGL(F)=1である。同様に、XR(F)は、単にR(F)で与えられており、全ての周波数帯についてGR(F)=0である。加算器(814)の出力であるXc(F)は、適応スケーリング信号GC(F)が掛けられたL(F)と、適応スケーリング信号1−GC(F)が掛けられたR(F)との和として計算される。加算器(820)の出力であるXLS(F)は、適応スケーリング信号GLS(F)が掛けられたL(F)と、適応スケーリング信号1−GLS(F)が掛けられたR(F)との和として計算される。同様に、加算器(826)の出力であるXRS(F)は、適応スケーリング信号GRS(F)が掛けられたL(F)と、適応スケーリング信号1−GRS(F)が掛けられたR(F)との和として計算される。同様に、加算器(832)の出力であるXLB(F)は、適応スケーリング信号GLB(F)が掛けられたL(F)と、適応スケーリング信号1−GLB(F)が掛けられたR(F)との和として計算される。同様に、加算器(838)の出力であるXRB(F)は、適応スケーリング信号GRB(F)が掛けられたL(F)と、適応スケーリング信号1−GRB(F)が掛けられたR(F)との和として計算される。全ての周波数帯についてGC(F)=0.5、GLS(F)=0.5、GRS(F)=0.5,GLB(F)=0.5及びGRB(F)=0.5である場合、従来のマトリックスアップミキシング方法において良く知られているように、フロントセンターチャンネルは、L(F)+R(F)の組合せから供給され、サイドチャンネル及びバックチャンネルは、スケーリングされたL(F)−R(F)の組合せから供給されることに留意のこと。更に、適応スケーリング信号GC(F)、GLS(F)、GRS(F)、GLB(F)及びGRB(F)は、隣接する出力チャンネル対の間の相関を、出力チャンネル対が横又は深さ方向のチャンネル対であろうと、動的に調整する方法を与える。チャンネルソース信号XL(F)、XR(F)、XC(F)、XLS(F)、XRS(F)、XLB(F)及びXRB(F)には、乗算器(840)乃至乗算器(852)によって、平滑化されたチャンネルフィルタHL(F)、HR(F)、HC(F)、HLS(F)、HRS(F)、HLB(F)及びHRB(F)が夫々掛けられる。
乗算器(840)乃至乗算器(852)の出力は、その後、周波数−時間シンセシスユニット(854)乃至(852)によって、周波数ドメインから時間ドメインに変換され、出力チャンネルYL(T)、YR(T)、YC(T)、YLS(T)、YRS(T)、YLB(T)及びYRB(T)が生成される。この方法では、レフト及びライトのステレオ信号が7.1チャンネル信号にアップミックスされる。もともと存在しているチャンネル間空間キューを、又は、例えば、図1のダウンミキシングウォータマーク処理、若しくはその他の適当な処理によって、レフト及びライトのステレオ信号に意図的にエンコードされるチャンネル間空間キューを用いて、システム(800)で生成される7.1チャンネルサウンドフィールド内の周波数要素の空間配置が制御される。同様に、例えば、ステレオから5.1サウンド、5.1サウンドから7.1サウンド、又はその他の適当な組合せのような、入力及び出力のその他の適当な組合せも採用できる。
図9は、本発明の典型的な実施例であって、周波数ドメイン用途のフィルタを生成するシステム(900)である。フィルタの生成プロセスとしては、Mチャンネル入力信号の周波数ドメイン解析及び処理がなされる。関連チャンネル間空間キューが、Mチャンネル入力信号の各周波数帯について抽出されて、空間位置ベクトルが、各周波数帯について生成される。この空間位置ベクトルは、その周波数帯について、理想的な聴取条件下の聴取者が感知した場所と解釈される。そして、アップミックスされたNチャンネルアウトプット信号におけるその周波数要素の最終的な空間位置が、チャンネル間キューで常に再現されるように、各チャンネルフィルタが生成される。チャンネル間のレベル差(ICLD's)とチャンネル間コヒーレンス(ICC)の推定値が、チャンネル間キューとして使用されて、空間位置ベクトルが生成される。
システム(900)に示す典型的な実施例では、サブバンドの大きさ又はエネルギ成分を用いて、チャンネル間レベル差が推定され、サブバンドの位相の角度を用いて、チャンネル間コヒーレンスが推定される。レフトの周波数ドメイン入力L(F)と、ライトの周波数ドメイン入力R(F)は、大きさ又はエネルギ成分と位相角度成分に変換される。大きさ/エネルギ成分は、加算器(902)に与えられる。加算器(902)により、全エネルギ信号T(F)が計算される。その後、全エネルギ信号T(F)が用いられて、除算器(904)及び除算器(906)にて、各周波数帯についてレフトチャンネルML(F)及びライトチャンネルMR(F)の規格化が夫々行われる。その後、規格化された横座標信号LAT(F)が、ML(F)及びMR(F)から計算される。ここで、周波数帯の規格化された横座標は、LAT(F)=ML(F)*XMIN+MR(F)*XMAXで計算される。
同様に、規格化された深さ座標は、入力の位相角度成分を用いて、DEF(F)=YMAX−0.5*(YMAX−YMIN)*sqrt([COS(∠L(F))−COS(∠R(F))]^2+[SIN(∠L(F))−SIN(∠R(F))]^2)として計算される。
規格化された深さ座標は、位相角度成分∠L(F)と∠R(F)の間のスケーリング及びシフトされた間隔の測定値から基本的に計算される。位相角度∠L(F)と∠R(F)が単位円上で一方に近づくにつれて、DEF(F)の値は1に近づく。位相角度∠L(F)と∠R(F)が単位円上で反対側になるにつれて、DEF(F)の値は0に近づく。各周波数帯について、規格化された横座標と深さ座標は、2次元ベクトル(LAF(F)、DEF(F))を構成する。このベクトルは、図10A乃至図10Eに示すような2次元チャンネルマップに入力されて、各チャンネルiについてフィルタ値Hi(F)を生成する。各チャンネルiに関sしたこれらチャンネルフィルタHi(F)は、図6のフィルタ生成ユニット(606)、図7のフィルタ生成ユニット(706)及び図8のフィルタ生成ユニット(806)のようなフィルタ生成ユニットから出力される。
図10Aは、本発明の典型的な実施例におけるレフトフロント信号のフィルタマップの図である。図10Aでは、フィルタマップ(1000)は、0から1までの範囲の規格化された横座標と、0から1までの範囲の規格化された深さ座標と受け入れて、0から1までの範囲の規格化されたフィルタ値を出力する。最大値1から最小値0までの大きさの変化を示すためにグレーの陰影が使用されており、フィルタマップ(1000)の右側にスケールが示されている。典型的なこのレフトフロントフィルタマップ(1000)において、規格化された横座標及び深さ座標が(0、1)に至ると、1.0に至った最も大きなフィルタ値が出力される。約(0.6、Y)から(1.0、Y)までの範囲の座標(Yは、0と1の間の値)は、基本的に0であるフィルタ値を出力する。
図10Bは、典型的なライトフロントフィルタマップ(1002)の図である。フィルタマップ(1002)は、フィルタマップ(1000)と同様に規格化された横座標と深さ座標と受け入れるが、出力されるフィルタの値は、規格化されたレイアウトの右上部分を好む。
図10Cは、典型的なセンターフィルタマップ(1004)の図である。この実施例では、センターフィルタマップ(1004)の最大フィルタ値は、規格化されたレイアウトの中央で起こり、レイアウトの上中央から下に座標が動くにつれて、フィルタ値は顕著に低下する。
図10Dは、典型的なレフトサラウンドフィルタマップ(1006)の図である。この実施例では、レフトサラウンドフィルタマップ(1006)の最大フィルタ値は、規格化されたレイアウトの左下の座標近くで起こり、レイアウトの右上に座標が動くにつれて、フィルタ値は顕著に低下する。
図10Eは、典型的なライトサラウンドフィルタマップ(1008)の図である。この実施例では、ライトサラウンドフィルタマップ(1008)の最大フィルタ値は、規格化されたレイアウトの右下の座標近くで起こり、レイアウトの左上に座標が動くにつれて、フィルタ値は顕著に低下する。
同様にして、その他のスピーカ配置又は構成が採用される場合には、現行のフィルタマップは変更され、新たなスピーカ配置に対応した新たなフィルタマップが生成されて、新たな聴取環境における変化を反映する。典型的なある実施例では、7.1システムが、2つのフィルタマップを更に含んでおり、レフトサラウンドとライトサラウンドは、深さ座標次元で上方に移動し、レフトバックロケーションとライトバックロケーションは、夫々、フィルタマップ(1006)とフィルタマップ(1008)と似たフィルタマップを有している。フィルタファクタが下がるレートは、様々なスピーカ数に対処するために変更されてよい。
本発明のシステム及び方法の典型的な実施例が、本明細書において詳細に説明されたが、当該技術分野における通常の技術を有する者は、添付の特許請求の範囲の技術的範囲と製品から逸脱することなく、様々な置換と変更が本発明のシステム及び方法に行えることを認めることができる。
本発明の典型的な実施例であって、解析・補正ループを伴った動的ダウンミキングをするシステムの図である。 本発明の典型的な実施例であって、N個のチャンネルからM個のチャンネルにデータをダウンミキシングするシステムの図である。 本発明の典型的な実施例であって、5個のチャンネルから2個のチャンネルにデータをダウンミキシングするシステムの図である。 本発明の典型的な実施例であって、サブバンドベクトル計算システムの図である。 本発明の典型的な実施例であって、サブバンド補正システムの図である。 本発明の典型的な実施例であって、M個のチャンネルからN個のチャンネルにデータをアップミキシングするシステムの図である。 本発明の典型的な実施例であって、2個のチャンネルから5個のチャンネルにデータをアップミキシングするシステムの図である。 本発明の典型的な実施例であって、2個のチャンネルから7個のチャンネルにデータをアップミキシングするシステムの図である。 本発明の典型的な実施例であって、チャンネル間空間キューを抽出して、周波数ドメイン用途に空間チャンネルフィルタを生成するシステムの図である。 本発明の典型的な実施例であって、典型的なレフトフロントチャンネルフィルタマップの図である。 典型的なライトフロントチャンネルフィルタマップの図である。 典型的なセンターチャンネルフィルタマップの図である。 典型的なレフトサラウンドチャンネルフィルタマップの図である。 典型的なライトサラウンドチャンネルフィルタマップの図である。

Claims (57)

  1. NチャンネルオーディオシステムをMチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    M及びNは整数であって、NはMより大きく、
    オーディオデータのN個のチャンネルを受信して、オーディオデータのN個のチャンネルをオーディオデータのM個のチャンネルに変換するリファレンスダウンミキサと、
    オーディオデータのM個のチャンネルを受信して、オーディオデータのM個のチャンネルをオーディオデータのN'個のチャンネルに変換するリファレンスアップミキサと、
    オーディオデータのM個のチャンネル、オーディオデータのN個のチャンネル、及びオーディオデータのN'個のチャンネルを受信して、オーディオデータのN個のチャンネルとオーディオデータのN'個のチャンネルの間の差に基づいて、オーディオデータのM個のチャンネルを補正する補正システムとを備える音響空間環境エンジン。
  2. 補正システムは、
    オーディオデータのN個のチャンネルを受信して、音響空間像データの第1の複数のサブバンドを生成する第1サブバンドベクトル較正ユニットと、
    オーディオデータのN'個のチャンネルを受信して、音響空間像データの第2の複数のサブバンドを生成する第2サブバンドベクトル較正ユニットとを備えており、
    音響空間像データの第1の複数のサブバンドと、音響空間像データの第2の複数のサブバンドとを受信して、音響空間像データの第1の複数のサブバンドと音響空間像データの第2の複数のサブバンドの間の差に基づいて、オーディオデータのM個のチャンネルを補正する、請求項1に記載のシステム。
  3. 音響空間像データの第1の複数のサブバンドと音響空間像データの第2のサブバンドの各々は、エネルギの値及び位置の値を有する、請求項2に記載のシステム。
  4. 複数の位置の値の各々は、関連する音響空間像データのサブバンドについて、2次元空間における中心の見掛けの位置(apparent location)を示し、
    中心の座標は、N個のスピーカの各々のエネルギの値と、N個のスピーカの各々の座標とのベクトル和で決定される、請求項3に記載のシステム。
  5. リファレンスダウンミキサは、複数の分数次ヒルベルトステージを備えており、
    複数の分数次ヒルベルトステージの各々は、オーディオデータのN個のチャンネルの1つを受信して、そのオーディオデータのチャンネルに、所定の位相シフトを施す、請求項1に記載のシステム。
  6. リファレンスダウンミキサは、複数の分数次ヒルベルトステージと結合すると共に、複数の分数次ヒルベルトステージの出力を所定の方法で組み合わせてオーディオデータのM個のチャンネルを生成する複数の加算ステージを更に備えている、請求項5に記載のシステム。
  7. リファレンスアップミキサは、
    オーディオデータのM個のチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換ステージと、
    音響空間像データの複数のサブバンドのM個のチャンネルを受信して、音響空間像データの複数のサブバンドのN'個のチャンネルを生成するフィルタジェネレータと、
    音響空間像データの複数のサブバンドのN'個のチャンネルを受信して、各サブバンドを1又は2以上の隣接するサブバンドを用いて平均化する平滑化ステージと、
    平滑化ステージと結合すると共に、音響空間像データの複数のサブバンドのM個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたN'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する加算ステージと、
    音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを受信して、オーディオデータのN'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換ステージとを備える、請求項1に記載のシステム。
  8. 補正システムは、第1サブバンドベクトル較正ステージを備えており、
    第1サブバンドベクトル較正ステージは、
    オーディオデータのN個のチャンネルを受信し、音響空間像データの第1の複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換ステージと、
    音響空間像データの第1の複数のサブバンドを受信して、各サブバンドについて第1のエネルギの値を生成する第1サブバンドエネルギステージと、
    音響空間像データの第1の複数のサブバンドを受信して、各サブバンドについて第1の位置ベクトルの値を生成する第1サブバンド位置ステージとを備える、請求項1に記載のシステム。
  9. 補正システムは、第2サブバンドベクトル較正ステージを更に備えており、
    第2サブバンドベクトル較正ステージは、
    音響空間像データの第2の複数のサブバンドを受信して、各サブバンドについて第2のエネルギの値を生成する第2サブバンドエネルギステージと、
    音響空間像データの第2の複数のサブバンドを受信して、各サブバンドについて第2の位置ベクトルの値を生成する第2サブバンド位置ステージとを備える、請求項8に記載のシステム。
  10. NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換する方法において、
    N及びMは整数であって、NはMよりも大きく、
    オーディオデータのN個のチャンネルをオーディオデータのM個のチャンネルに変換する工程と、
    オーディオデータのM個のチャンネルをオーディオデータのN'個のチャンネルに変換する工程と、
    オーディオデータのN個のチャンネルとオーディオデータのN'個のチャンネルの間の差に基づいて、オーディオデータのM個のチャンネルを補正する工程と、を含む方法。
  11. オーディオデータのN個のチャンネルをオーディオデータのM個のチャンネルに変換する工程は、
    オーディオデータのN個のチャンネルの1又は2以上を分数次ヒルベルト関数を用いて処理し、そのオーディオデータのチャンネルに所定の位相シフトを与える工程と、
    分数次ヒルベルト関数を用いた処理後に、オーディオデータのM個のチャンネルの各々におけるオーディオデータのN個のチャンネルの1又は2以上の組合せが所定の位相関係を有するように、オーディオデータのN個のチャンネルの1又は2以上を合成して、オーディオデータのM個のチャンネルを生成する工程とを含む、請求項10に記載の方法。
  12. オーディオデータのM個のチャンネルをオーディオデータのN'個のチャンネルに変換する工程は、
    オーディオデータのM個のチャンネルを、時間ドメインから、周波数ドメインにおける複数のサブバンドに変換する工程と、
    M個のチャンネルの複数のサブバンドをフィルタリングして、N個のチャンネルの複数のサブバンドを生成する工程と、
    各サブバンドを1又は2以上の隣接するバンドで平均化することで、N個のチャンネルの複数のサブバンドを平滑化する工程と、
    N個のチャンネルの複数のサブバンドの各々に、M個のチャンネルの対応するサブバンドの1又は2以上を掛ける工程と、
    N個のチャンネルの複数のサブバンドを、周波数ドメインから時間ドメインに変換する工程とを含む、請求項10に記載の方法。
  13. オーディオデータのN個のチャンネルとオーディオデータのN'個のチャンネルの間の差に基づいて、オーディオデータのM個のチャンネルを補正する工程は、
    オーディオデータのN個のチャンネルの複数のサブバンドの各々について、エネルギ及び位置ベクトルを決定する工程と、
    オーディオデータのN'個のチャンネルの複数のサブバンドの各々について、エネルギ及び位置ベクトルを決定する工程と、
    オーディオデータのN個のチャンネル及びオーディオデータのN'個のチャンネルの対応するサブバンドについて、エネルギ及び位置ベクトルにおける差が許容差を超える場合に、オーディオデータのM個のチャンネルの1又は2以上のサブバンドを補正する工程とを含む、請求項10に記載の方法。
  14. オーディオデータのM個のチャンネルの1又は2以上を補正する工程は、
    オーディオデータのM個のチャンネルの複数のサブバンドについて、エネルギ及び位置ベクトルを調整する工程を含んでおり、
    オーディオデータのM個のチャンネルの調整された複数のサブバンドは、1又は2以上のサブバンドのエネルギ及び位置ベクトルを有するオーディオデータの調整されたN'個のチャンネルに変換され、
    1又は2以上のサブバンドのエネルギ及び位置ベクトルは、オーディオデータのN'個のチャンネルの複数のサブバンドの各々に関した調整されていないエネルギ及び位置ベクトルよりも、オーディオデータのN個のチャンネルの複数のサブバンドのエネルギ及び位置ベクトルに近い、請求項13に記載の方法。
  15. NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    M及びNは整数であって、NはMより大きく、
    オーディオデータのN個のチャンネルを受信して、オーディオデータのN個のチャンネルをオーディオデータのM個のチャンネルに変換するダウンミキサ手段と、
    オーディオデータのM個のチャンネルを受信して、オーディオデータのM個のチャンネルをオーディオデータのN'個のチャンネルに変換するアップミキサ手段と、
    オーディオデータのM個のチャンネル、オーディオデータのN個のチャンネル、及びオーディオデータのN'個のチャンネルを受信して、オーディオデータのN個のチャンネルとオーディオデータのN'個のチャンネルの間の差に基づいて、オーディオデータのM個のチャンネルを補正する補正手段とを備える音響空間環境エンジン。
  16. 補正手段は、
    オーディオデータのN個のチャンネルを受信して、音響空間像データの第1の複数のサブバンドを生成する第1サブバンドベクトル較正手段と、
    オーディオデータのN'個のチャンネルを受信して、音響空間像データの第2の複数のサブバンドを生成する第2サブバンドベクトル較正手段とを備えており、
    音響空間像データの第1の複数のサブバンドと、音響空間像データの第2の複数のサブバンドとを受信して、音響空間像データの第1の複数のサブバンドと音響空間像データの第2の複数のサブバンドの間の差に基づいて、オーディオデータのM個のチャンネルを補正する、請求項15に記載のシステム。
  17. ダウンミキサ手段は、オーディオデータのN個のチャンネルの1つを受信すると共に、そのオーディオデータのチャンネルに所定の位相シフトを施す複数の分数次ヒルベルト手段を備えている、請求項15に記載のシステム。
  18. アップミキサ手段は、
    オーディオデータのM個のチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換手段と、
    音響空間像データの複数のサブバンドのM個のチャンネルを受信して、音響空間像データの複数のサブバンドのN'個のチャンネルを生成するフィルタジェネレータと、
    音響空間像データの複数のサブバンドのN'個のチャンネルを受信して、各サブバンドを1又は2以上の隣接するサブバンドを用いて平均化する平滑化手段と、
    音響空間像データの複数のサブバンドのM個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたN'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する加算手段と、
    音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを受信して、オーディオデータのN'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換手段とを備える、請求項15に記載のシステム。
  19. NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    M及びNは整数であって、NはMより大きく、
    1又は2以上のヒルベルト変換ステージであって、各々が、N個のオーディオデータのチャンネルの1つを受信して、そのオーディオデータのチャンネルに所定の位相シフトを与える1又は2以上のヒルベルト変換ステージと、
    1又は2以上の定数乗算ステージであって、各々が、ヒルベルト変換されたオーディオデータのチャンネルの1つを受信して、ヒルベルト変換及びスケーリングされたオーディオデータのチャンネルを生成する1又は2以上の定数乗算ステージと、
    1又は2以上の第1加算ステージであって、各々が、オーディオデータのN個のチャンネルの1つと、オーディオデータのヒルベルト変換及びスケーリングされたチャンネルとを受信して、オーディオデータの分数次ヒルベルトチャンネルを生成する1又は2以上の第1加算ステージと、
    M個の第2加算ステージであって、各々が、オーディオデータの複数の分数次ヒルベルトチャンネルの1又は2以上と、オーディオデータのN個のチャンネルの1又は2以上とを受信し、オーディオデータの複数の分数次ヒルベルトチャンネルの1又は2以上及びオーディオデータのN個のチャンネルの1又は2以上の各々を組み合わせて、オーディオデータのM個のチャンネルの1つを生成し、オーディオデータのM個のチャンネルの1つは、オーディオデータの複数の分数次ヒルベルトチャンネルの1又は2以上及びオーディオデータのN個のチャンネルの1又は2以上の各々の間における所定の位相関係を有する、M個の第2加算ステージとを備える音響空間環境エンジン。
  20. オーディオデータのレフトチャンネルを受信するヒルベルト変換ステージを備えており、
    オーディオデータのヒルベルト変換されたレフトチャンネルが、定数を掛けられて、オーディオデータのレフトチャンネルに加えられることで、所定の位相シフトを有するオーディオデータのレフトチャンネルが生成され、オーディオデータの位相シフトしたレフトチャンネルが、定数を掛けられて、M個の第2加算ステージの1又は2以上に与えられる、請求項19に記載の音響空間環境エンジン。
  21. オーディオデータのライトチャンネルを受信するヒルベルト変換ステージを備えており、
    オーディオデータのヒルベルト変換されたライトチャンネルが、定数を掛けられて、オーディオデータのライトチャンネルに加えられることで、所定の位相シフトを有するオーディオデータのライトチャンネルが生成され、オーディオデータの位相シフトしたライトチャンネルが、定数を掛けられて、M個の第2加算ステージの1又は2以上に与えられる、請求項19に記載の音響空間環境エンジン。
  22. オーディオデータのレフトサラウンドチャンネルを受信するヒルベルト変換ステージと、オーディオデータのライトサラウンドチャンネルを受信するヒルベルト変換ステージとを備えており、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルが、定数を掛けられて、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えられることで、オーディオデータのレフト−ライトサラウンドチャンネルが生成され、オーディオデータの位相シフトしたレフト−ライトサラウンドチャンネルが、M個の第2加算ステージの1又は2以上に与えられる、請求項19に記載の音響空間環境エンジン。
  23. オーディオデータのレフトサラウンドチャンネルを受信するヒルベルト変換ステージと、オーディオデータのライトサラウンドチャンネルを受信するヒルベルト変換ステージとを備えており、
    ヒルベルト変換されたオーディオデータのライトサラウンドチャンネルが、定数を掛けられて、ヒルベルト変換されたオーディオデータのレフトサラウンドチャンネルに加えられることで、オーディオデータのライト−レフトサラウンドチャンネルが生成され、オーディオデータの位相シフトしたライト−レフトサラウンドチャンネルが、M個の第2加算ステージの1又は2以上に与えられる、請求項19に記載の音響空間環境エンジン。
  24. オーディオデータのレフトチャンネルを受信するヒルベルト変換ステージと、
    オーディオデータのライトチャンネルを受信するヒルベルト変換ステージと、
    オーディオデータのレフトサラウンドチャンネルを受信するヒルベルト変換ステージと、
    オーディオデータのライトサラウンドチャンネルを受信するヒルベルト変換ステージとを備えており、
    オーディオデータのヒルベルト変換されたレフトチャンネルが、定数を掛けられて、オーディオデータのレフトチャンネルに加えられることで、所定の位相シフトを有するオーディオデータのレフトチャンネルが生成され、オーディオデータの位相シフトしたレフトチャンネルが定数を掛けられて、オーディオデータのスケーリングされたレフトチャンネルが生成され、
    オーディオデータのヒルベルト変換されたライトチャンネルが、定数を掛けられて、オーディオデータのライトチャンネルから引かれることで、所定の位相シフトを有するオーディオデータのライトチャンネルが生成され、オーディオデータの位相シフトしたレフトチャンネルが定数を掛けられて、オーディオデータのスケーリングされたライトチャンネルが生成され、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルが、定数を掛けられて、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えられることで、オーディオデータのレフト−ライトサラウンドチャンネルが生成され、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルが、定数を掛けられて、オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに加えられることで、オーディオデータのライト−レフトサラウンドチャンネルが生成される、請求項19に記載の音響空間環境エンジン。
  25. オーディオデータのスケーリングされたレフトチャンネル、オーディオデータのライト−レフトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを受信し、オーディオデータのスケーリングされたレフトチャンネル、オーディオデータのライト−レフトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを加えて、オーディオデータのレフトウォーターマークチャンネルを作成する第1のM個の第2加算ステージと、
    オーディオデータのスケーリングされたライトチャンネル、オーディオデータのレフト−ライトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを受信し、オーディオデータのスケーリングされたライトチャンネル及びオーディオデータのスケーリングされたセンターチャンネルを加えて、オーディオデータのレフト−ライトチャンネルをその和から引いて、オーディオデータのライトウォーターマークチャンネルを作成する第2のM個の第2加算ステージとを備える、請求項24に記載の音響空間環境エンジン。
  26. NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換する方法において、
    M及びNは整数であって、NはMより大きく、
    分数次ヒルベルト関数を用いて、オーディオデータのN個のチャンネルの1又は2以上を処理して、そのオーディオデータのチャンネルに所定の位相シフトを与える工程と、
    分数次ヒルベルト関数を用いた処理後に、オーディオデータのM個のチャンネルの各々におけるオーディオデータのN個のチャンネルの1又は2以上の組合せが所定の位相関係を有するように、オーディオデータのN個のチャンネルの1又は2以上を合成して、オーディオデータのM個のチャンネルを生成する工程とを含む方法。
  27. 分数次ヒルベルト関数を用いてオーディオデータのN個のチャンネルの1又は2以上を処理する工程は、
    オーディオデータのレフトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトチャンネルに、オーディオデータのレフトチャンネルを加えて、所定の位相シフトを有するオーディオデータのレフトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたレフトチャンネルに定数を掛ける工程とを含む、請求項26に記載の方法。
  28. 分数次ヒルベルト関数を用いてオーディオデータのN個のチャンネルの1又は2以上を処理する工程は、
    オーディオデータのライトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトチャンネルを、オーディオデータのライトチャンネルから引いて、所定の位相シフトを有するオーディオデータのライトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたライトチャンネルに定数を掛ける工程とを含む、請求項26に記載の方法。
  29. 分数次ヒルベルト関数を用いてオーディオデータのN個のチャンネルの1又は2以上を処理する工程は、
    オーディオデータのレフトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのライトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフト−ライトチャンネルを生成する工程とを含む、請求項26に記載の方法。
  30. 分数次ヒルベルト関数を用いてオーディオデータのN個のチャンネルの1又は2以上を処理する工程は、
    オーディオデータのレフトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのライトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたライトサラウンドチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに加えて、所定の位相シフトを有するオーディオデータのライト−レフトチャンネルを生成する工程とを含む、請求項26に記載の方法。
  31. オーディオデータのレフトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトチャンネルを、オーディオデータのレフトチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたレフトチャンネルに定数を掛ける工程と、
    オーディオデータのライトチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトチャンネルを、オーディオデータのライトチャンネルから引いて、所定の位相シフトを有するオーディオデータのライトチャンネルを生成する工程と、
    オーディオデータの位相シフトしたライトチャンネルに定数を掛ける工程と、
    オーディオデータのレフトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのライトサラウンドチャンネルにヒルベルト変換を実行する工程と、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたライトチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフト−ライトチャンネルを生成する工程と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける工程と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトサラウンドチャンネルを、オーディオデータのヒルベルト変換されたレフトチャンネルに加えて、所定の位相シフトを有するオーディオデータのライト−レフトチャンネルを生成する工程とを含む、請求項26に記載の方法。
  32. オーディオデータのスケーリングされたレフトチャンネル、オーディオデータのライト−レフトチャンネル、及びオーディオデータのスケーリングされたセンターチャンネルを足し合わせて、オーディオデータのレフトウォーターマークチャンネルを作成する工程と、
    オーディオデータのスケーリングされたチャンネル及びオーディオデータのスケーリングされたセンターチャンネルを足し合わせて、オーディオデータのレフト−ライトチャンネルをその和から引いて、オーディオデータのライトウォーターマークチャンネルを作成する工程とを含む、請求項31に記載の方法。
  33. NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    M及びNは整数であって、NはMより大きく、
    オーディオデータのN個のチャンネルの1つを受信して、そのオーディオデータのチャンネルに所定の位相シフトを与えるヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたチャンネルの1つを受信して、オーディオデータのヒルベルト変換及びスケーリングされたチャンネルを生成する定数乗算手段と、
    オーディオデータのN個のチャンネルの1つと、オーディオデータのヒルベルト変換及びスケーリングされたチャンネルとを受信して、オーディオデータの分数次ヒルベルトチャンネルを生成する第1加算手段と、
    M個の第2乗算手段であって、オーディオデータの複数の分数次ヒルベルトチャンネルの1又は2以上と、オーディオデータのN個のチャンネルの1又は2以上とを受信し、オーディオデータの複数の分数次ヒルベルトチャンネルの1又は2以上及びオーディオデータのN個のチャンネルの1又は2以上の各々を組み合わせて、オーディオデータのM個のチャンネルの1つを生成し、オーディオデータのM個のチャンネルの1つは、オーディオデータの複数の分数次ヒルベルトチャンネルの1又は2以上とオーディオデータのN個のチャンネルの1又は2以上の間の各々における所定の位相関係を有する、M個の第2加算手段とを備える音響空間環境エンジン。
  34. オーディオデータのレフトチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたレフトチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトチャンネルをオーディオデータのレフトチャンネルに加えて、所定の位相シフトを有するオーディオデータのレフトチャンネルを生成する加算手段と、
    オーディオデータの位相シフトしたレフトチャンネルに定数を掛ける乗算手段とを備えており、
    オーディオデータの位相シフトし、スケーリングされたレフトチャンネルが、M個の第2加算手段の1又は2以上に与えられる、請求項33に記載の音響空間環境エンジン。
  35. オーディオデータのライトチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたライトチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトチャンネルをオーディオデータのライトチャンネルに加えて、所定の位相シフトを有するオーディオデータのライトチャンネルを生成する加算手段と、
    オーディオデータの位相シフトしたライトチャンネルに定数を掛ける乗算手段とを備えており、
    オーディオデータの位相シフトし、スケーリングされたライトチャンネルが、M個の第2加算手段の1又は2以上に与えられる、請求項33に記載の音響空間環境エンジン。
  36. オーディオデータのレフトサラウンドチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのライトサラウンドチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのヒルベルト変換されたレフトサラウンドチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたレフトサラウンドチャンネルをオーディオデータのヒルベルト変換されたライトサラウンドチャンネルに加えて、オーディオデータのレフト−ライトチャンネルを生成する加算手段とを備えており、
    オーディオデータのレフト−ライトチャンネルが、M個の第2加算手段の1又は2以上に与えられる、請求項33に記載の音響空間環境エンジン。
  37. オーディオデータのレフトサラウンドチャンネルを処理するヒルベルト変換手段と、
    オーディオデータのライトサラウンドチャンネルを処理するヒルベルト変換手段と、
    ヒルベルト変換されたオーディオデータのライトサラウンドチャンネルに定数を掛ける乗算手段と、
    オーディオデータのヒルベルト変換及びスケーリングされたライトサラウンドチャンネルをヒルベルト変換されたオーディオデータのレフトサラウンドチャンネルに加えて、オーディオデータのライト−レフトチャンネルを生成する加算手段とを備えており、
    オーディオデータのライト−レフトチャンネルが、M個の第2加算手段の1又は2以上に与えられる、請求項33に記載の音響空間環境エンジン。
  38. NチャンネルオーディオシステムからMチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    M及びNは整数であって、NはMより大きく、
    オーディオデータのM個のチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換ステージと、
    音響空間像データの複数のサブバンドのM個のチャンネルを受信して、音響空間像データの複数のサブバンドのN'個のチャンネルを生成するフィルタジェネレータと、
    フィルタジェネレータと結合すると共に、音響空間像データの複数のサブバンドのM個のチャンネルと、音響空間像データの複数のサブバンドのN'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する加算ステージとを備える音響空間環境エンジン。
  39. 音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを受信して、オーディオデータのN'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換ステージを更に備える、請求項38に記載の音響空間環境エンジン。
  40. フィルタジェネレータに結合すると共に、音響空間像データの複数のサブバンドのN'個のチャンネルを受信して、各サブバンドを1又は2以上の隣接するサブバンドを用いて平均化する平滑化ステージを更に備えており、
    加算ステージは、平滑化ステージと結合しており、音響空間像データの複数のサブバンドのM個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたN'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する、請求項38に記載の音響空間環境エンジン。
  41. 加算ステージは、レフトチャンネル加算ステージを備えており、
    レフトチャンネル加算ステージは、レフトチャンネルのMチャンネルの複数のサブバンドの各々と、N'チャンネルのレフトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛け合わせる、請求項38に記載の音響空間環境エンジン。
  42. 加算ステージは、ライトチャンネル加算ステージを備えており、
    ライトチャンネル加算ステージは、Mチャンネルのライトチャンネルの複数のサブバンドの各々と、N'チャンネルのライトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛け合わせる、請求項38に記載の音響空間環境エンジン。
  43. 加算ステージは、センターチャンネル加算ステージを備えており、
    センターチャンネル加算ステージは、各サブバンドについて、式(Gc(f)*L(f)+((1−Gc(f))*R(f))*Hc(f)を満たしており、
    ここで、Gc(f)=センターチャンネルサブバンドスケーリング因子、L(f)=M個のチャンネルのレフトチャンネルサブバンド、R(f)=M個のチャンネルのライトチャンネルサブバンド、Hc(f)=N'個のチャンネルのフィルタリングされたセンターチャンネルサブバンドである、請求項38に記載の音響空間環境エンジン。
  44. 加算ステージは、レフトサラウンドチャンネル加算ステージを備えており、
    レフトサラウンドチャンネル加算ステージは、各サブバンドについて、式(GLS(f)*L(f)−((1−GLS(f))*R(f))*HLS(f)を満たしており、
    ここで、GLS(f)=レフトサラウンドチャンネルサブバンドスケーリング因子、L(f)=M個のチャンネルのレフトチャンネルサブバンド、R(f)=M個のチャンネルのライトチャンネルサブバンド、HLS(f)=N'個のチャンネルのフィルタリングされたレフトサラウンドチャンネルサブバンドである、請求項38に記載の音響空間環境エンジン。
  45. 加算ステージは、ライトサラウンドチャンネル加算ステージを備えており、
    ライトサラウンドチャンネル加算ステージは、各サブバンドについて、式((1−GRS(f))*R(f))+(GRS(f))*L(f))*HRS(f)を満たしており、
    ここで、GRS(f)=ライトサラウンドチャンネルサブバンドスケーリング因子、L(f)=M個のチャンネルのレフトチャンネルサブバンド、R(f)=M個のチャンネルのライトチャンネルサブバンド、HRS(f)=N'個のチャンネルのフィルタリングされたライトサラウンドチャンネルサブバンドである、請求項38に記載の音響空間環境エンジン。
  46. MチャンネルオーディオシステムからNチャンネルオーディオシステムに変換する方法において、
    M及びNは整数であって、NはMより大きく、
    オーディオデータのM個のチャンネルを受信する工程と、
    M個のチャンネルの各チャンネルについて、音響空間像データの複数のサブバンドを生成する工程と、
    音響空間像データの複数のサブバンドのM個のチャンネルをフィルタリングして、音響空間像データの複数のサブバンドのN'個のチャンネルを生成する工程と、
    音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛けて、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する工程とを含む方法。
  47. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、
    音響空間像データの複数のサブバンドのM個のチャンネルの1又は2以上に、サブバンドスケーリング因子を掛ける工程と、
    音響空間像データの複数のサブバンドのスケーリングされたM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程とを含む、請求項46に記載の方法。
  48. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、M個のチャンネルの複数のサブバンドの各々に、N'個のチャンネルの音響空間像データの対応する複数のサブバンドの各々を掛ける工程を含む、請求項46に記載の方法。
  49. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、M個のチャンネルのレフトチャンネルの複数のサブバンドの各々と、N'個のチャンネルのレフトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛ける工程を含む、請求項46に記載の方法。
  50. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、M個のチャンネルのライトチャンネルの複数のサブバンドの各々と、N'個のチャンネルのライトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛ける工程を含む、請求項46に記載の方法。
  51. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、各サブバンドについて、式(Gc(f)*L(f)+((1−Gc(f))*R(f))*Hc(f)を満たしており、
    ここで、Gc(f)=センターチャンネルサブバンドスケーリング因子、L(f)=M個のチャンネルのレフトチャンネルサブバンド、R(f)=M個のチャンネルのライトチャンネルサブバンド、Hc(f)=N'個のチャンネルのフィルタリングされたセンターチャンネルサブバンドである、請求項46に記載の方法。
  52. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、各サブバンドについて、式(GLS(f)*L(f)−((1−GLS(f))*R(f))*HLS(f)を満たしており、
    ここで、GLS(f)=レフトサラウンドチャンネルサブバンドスケーリング因子、L(f)=M個のチャンネルのレフトチャンネルサブバンド、R(f)=M個のチャンネルのライトチャンネルサブバンド、HLS(f)=N'個のチャンネルのフィルタリングされたレフトサラウンドチャンネルサブバンドである、請求項46に記載の方法。
  53. 音響空間像データの複数のサブバンドのM個のチャンネルに、音響空間像データの複数のサブバンドのN'個のチャンネルを掛ける工程は、各サブバンドについて、式((1−GRS(f))*R(f))+(GRS(f))*L(f))*HRS(f)を満たしており、
    ここで、GRS(f)=ライトサラウンドチャンネルサブバンドスケーリング因子、L(f)=M個のチャンネルのレフトチャンネルサブバンド、R(f)=M個のチャンネルのライトチャンネルサブバンド、HRS(f)=N'個のチャンネルのフィルタリングされたライトサラウンドチャンネルサブバンドである、請求項46に記載の方法。
  54. MチャンネルオーディオシステムからNチャンネルオーディオシステムに変換する音響空間環境エンジンにおいて、
    M及びNは整数であって、NはMより大きく、
    M個のオーディオデータのチャンネルを受信して、音響空間像データの複数のサブバンドを生成する時間ドメイン−周波数ドメイン変換手段と、
    音響空間像データの複数のサブバンドのM個のチャンネルを受信して、音響空間像データの複数のサブバンドのN'個のチャンネルを生成するフィルタジェネレータ手段と、
    音響空間像データの複数のサブバンドのM個のチャンネルと、音響空間像データの複数のサブバンドのN'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する加算ステージ手段とを備える音響空間環境エンジン。
  55. 音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを受信して、オーディオデータのN'個のチャンネルを生成する周波数ドメイン−時間ドメイン変換手段を更に備える、請求項54に記載の音響空間環境エンジン。
  56. 音響空間像データの複数のサブバンドのN'個のチャンネルを受信して、各サブバンドを1又は2以上の隣接するサブバンドを用いて平均化する平滑化ステージ手段を更に備えており、
    加算ステージ手段は、音響空間像データの複数のサブバンドのM個のチャンネルと、音響空間像データの複数のサブバンドの平滑化されたN'個のチャンネルとを受信し、音響空間像データの複数のサブバンドのスケーリングされたN'個のチャンネルを生成する、請求項54に記載の音響空間環境エンジン。
  57. 加算ステージ手段は、レフトチャンネル加算ステージ手段を備えており、
    レフトチャンネル加算ステージ手段は、Mチャンネルのレフトチャンネルの複数のサブバンドの各々と、N'チャンネルのレフトチャンネルの音響空間像データの対応する複数のサブバンドの各々とを掛け合わせる、請求項54に記載の音響空間環境エンジン。
JP2007539174A 2004-10-28 2005-10-28 音響空間環境エンジン Active JP4917039B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US62292204P 2004-10-28 2004-10-28
US60/622,922 2004-10-28
US10/975,841 US7929708B2 (en) 2004-01-12 2004-10-28 Audio spatial environment engine
US10/975,841 2004-10-28
PCT/US2005/038961 WO2006050112A2 (en) 2004-10-28 2005-10-28 Audio spatial environment engine

Publications (3)

Publication Number Publication Date
JP2008519491A true JP2008519491A (ja) 2008-06-05
JP2008519491A5 JP2008519491A5 (ja) 2008-12-11
JP4917039B2 JP4917039B2 (ja) 2012-04-18

Family

ID=36090916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007539174A Active JP4917039B2 (ja) 2004-10-28 2005-10-28 音響空間環境エンジン

Country Status (8)

Country Link
US (1) US20070297519A1 (ja)
EP (1) EP1810280B1 (ja)
JP (1) JP4917039B2 (ja)
KR (3) KR101283741B1 (ja)
CN (3) CN102833665B (ja)
HK (1) HK1158805A1 (ja)
PL (1) PL1810280T3 (ja)
WO (1) WO2006050112A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503615A (ja) * 2005-08-02 2009-01-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP2010514904A (ja) * 2006-12-29 2010-05-06 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニー 導電性ポリマーの高仕事関数および高導電率組成物
JP2011013560A (ja) * 2009-07-03 2011-01-20 Fujitsu Ltd オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
JP2011509429A (ja) * 2008-01-01 2011-03-24 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
JP2012500532A (ja) * 2008-08-14 2012-01-05 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号変換
JP2016072973A (ja) * 2014-09-24 2016-05-09 韓國電子通信研究院Electronics and Telecommunications Research Institute 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2020522146A (ja) * 2017-02-06 2020-07-27 サバント システムズ エルエルシーSavant Systems LLC オーディオダウンミキシング送信機a/vエンドポイント及び分散チャネル増幅を含むa/v相互接続アーキテクチャ
JP2021526334A (ja) * 2018-06-01 2021-09-30 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366291B1 (ko) * 2006-01-19 2014-02-21 엘지전자 주식회사 신호 디코딩 방법 및 장치
US8107631B2 (en) * 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2011039413A1 (en) * 2009-09-30 2011-04-07 Nokia Corporation An apparatus
EP2510709A4 (en) 2009-12-10 2015-04-08 Reality Ip Pty Ltd IMPROVED MATRIX DECODER FOR SURROUND SOUND
WO2011072729A1 (en) * 2009-12-16 2011-06-23 Nokia Corporation Multi-channel audio processing
EP2464145A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a downmixer
CN103000180A (zh) * 2012-11-20 2013-03-27 上海中科高等研究院 环绕声矩阵编解码系统及其实现方法
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
US9560449B2 (en) 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9369801B2 (en) 2014-01-24 2016-06-14 Sony Corporation Wireless speaker system with noise cancelation
US9402145B2 (en) 2014-01-24 2016-07-26 Sony Corporation Wireless speaker system with distributed low (bass) frequency
US9426551B2 (en) 2014-01-24 2016-08-23 Sony Corporation Distributed wireless speaker system with light show
US9232335B2 (en) 2014-03-06 2016-01-05 Sony Corporation Networked speaker system with follow me
WO2015186535A1 (ja) * 2014-06-06 2015-12-10 ソニー株式会社 オーディオ信号処理装置および方法、符号化装置および方法、並びにプログラム
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
US9875756B2 (en) * 2014-12-16 2018-01-23 Psyx Research, Inc. System and method for artifact masking
US20160294484A1 (en) * 2015-03-31 2016-10-06 Qualcomm Technologies International, Ltd. Embedding codes in an audio signal
CN105101039B (zh) * 2015-08-31 2018-12-18 广州酷狗计算机科技有限公司 立体声还原方法及装置
US9693168B1 (en) 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
US9826332B2 (en) 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10616684B2 (en) 2018-05-15 2020-04-07 Sony Corporation Environmental sensing for a unique portable speaker listening experience
US10292000B1 (en) 2018-07-02 2019-05-14 Sony Corporation Frequency sweep for a unique portable speaker listening experience
US10567871B1 (en) 2018-09-06 2020-02-18 Sony Corporation Automatically movable speaker to track listener or optimize sound performance
US10623859B1 (en) 2018-10-23 2020-04-14 Sony Corporation Networked speaker system with combined power over Ethernet and audio delivery
US11599329B2 (en) 2018-10-30 2023-03-07 Sony Corporation Capacitive environmental sensing for a unique portable speaker listening experience
KR20220013630A (ko) * 2020-07-27 2022-02-04 삼성전자주식회사 오디오의 채널의 수를 변환하는 전자 장치 및 전자 장치의 동작 방법
KR102529400B1 (ko) * 2021-02-19 2023-05-10 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505193A (ja) * 1994-03-18 1997-05-20 フラウンホーファー・ゲゼルシャフト ツア フェルデルンク デル アンゲワンテン フォルシュンク アインゲトラーゲナー フェライン 複数のオーディオ信号を符号化する方法
WO2003007656A1 (en) * 2001-07-10 2003-01-23 Coding Technologies Ab Efficient and scalable parametric stereo coding for low bitrate applications
WO2003094369A2 (en) * 2002-05-03 2003-11-13 Harman International Industries, Incorporated Multi-channel downmixing device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3732370A (en) * 1971-02-24 1973-05-08 United Recording Electronic In Equalizer utilizing a comb of spectral frequencies as the test signal
US4458362A (en) * 1982-05-13 1984-07-03 Teledyne Industries, Inc. Automatic time domain equalization of audio signals
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
US4866774A (en) * 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
US5434948A (en) * 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
US5481615A (en) * 1993-04-01 1996-01-02 Noise Cancellation Technologies, Inc. Audio reproduction system
CN1064773C (zh) * 1993-06-30 2001-04-18 索尼公司 数字信号的编码方法和解码方法
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation
DE19632734A1 (de) * 1996-08-14 1998-02-19 Thomson Brandt Gmbh Verfahren und Vorrichtung zum Generieren eines Mehrton-Signals aus einem Mono-Signal
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
TW390104B (en) * 1998-08-10 2000-05-11 Acer Labs Inc Method and device for down mixing of multi-sound-track compression audio frequency bit stream
TW510143B (en) * 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US7382888B2 (en) * 2000-12-12 2008-06-03 Bose Corporation Phase shifting audio signal combining
KR100904985B1 (ko) * 2001-02-07 2009-06-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 채널 변환
US6839675B2 (en) * 2001-02-27 2005-01-04 Euphonix, Inc. Real-time monitoring system for codec-effect sampling during digital processing of a sound source
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
US20040105550A1 (en) * 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505193A (ja) * 1994-03-18 1997-05-20 フラウンホーファー・ゲゼルシャフト ツア フェルデルンク デル アンゲワンテン フォルシュンク アインゲトラーゲナー フェライン 複数のオーディオ信号を符号化する方法
WO2003007656A1 (en) * 2001-07-10 2003-01-23 Coding Technologies Ab Efficient and scalable parametric stereo coding for low bitrate applications
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
WO2003094369A2 (en) * 2002-05-03 2003-11-13 Harman International Industries, Incorporated Multi-channel downmixing device
JP2005523672A (ja) * 2002-05-03 2005-08-04 ハーマン インターナショナル インダストリーズ インコーポレイテッド マルチチャネル・ダウンミキシング装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503615A (ja) * 2005-08-02 2009-01-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP2010514904A (ja) * 2006-12-29 2010-05-06 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニー 導電性ポリマーの高仕事関数および高導電率組成物
JP2011509429A (ja) * 2008-01-01 2011-03-24 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
US8483411B2 (en) 2008-01-01 2013-07-09 Lg Electronics Inc. Method and an apparatus for processing a signal
JP2012500532A (ja) * 2008-08-14 2012-01-05 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号変換
JP2011013560A (ja) * 2009-07-03 2011-01-20 Fujitsu Ltd オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
JP2016072973A (ja) * 2014-09-24 2016-05-09 韓國電子通信研究院Electronics and Telecommunications Research Institute 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2020092439A (ja) * 2014-09-24 2020-06-11 韓國電子通信研究院Electronics and Telecommunications Research Institute 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2020522146A (ja) * 2017-02-06 2020-07-27 サバント システムズ エルエルシーSavant Systems LLC オーディオダウンミキシング送信機a/vエンドポイント及び分散チャネル増幅を含むa/v相互接続アーキテクチャ
JP7144429B2 (ja) 2017-02-06 2022-09-29 サバント システムズ インコーポレイテッド オーディオダウンミキシング送信機a/vエンドポイント及び分散チャネル増幅を含むa/v相互接続アーキテクチャ
JP2021526334A (ja) * 2018-06-01 2021-09-30 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング
JP7036234B2 (ja) 2018-06-01 2022-03-15 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング

Also Published As

Publication number Publication date
EP1810280B1 (en) 2017-08-02
PL1810280T3 (pl) 2018-01-31
KR20070084552A (ko) 2007-08-24
KR20120064134A (ko) 2012-06-18
KR101283741B1 (ko) 2013-07-08
HK1158805A1 (en) 2012-07-20
CN102117617A (zh) 2011-07-06
KR101210797B1 (ko) 2012-12-10
WO2006050112A8 (en) 2006-12-21
CN102117617B (zh) 2013-01-30
WO2006050112A9 (en) 2006-11-09
CN102833665A (zh) 2012-12-19
EP1810280A2 (en) 2007-07-25
JP4917039B2 (ja) 2012-04-18
CN101065797A (zh) 2007-10-31
US20070297519A1 (en) 2007-12-27
WO2006050112A2 (en) 2006-05-11
CN102833665B (zh) 2015-03-04
KR101177677B1 (ko) 2012-08-27
KR20120062027A (ko) 2012-06-13
WO2006050112A3 (en) 2006-07-27
CN101065797B (zh) 2011-07-27

Similar Documents

Publication Publication Date Title
JP4917039B2 (ja) 音響空間環境エンジン
US7853022B2 (en) Audio spatial environment engine
US20060106620A1 (en) Audio spatial environment down-mixer
US10412525B2 (en) Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US9930468B2 (en) Audio system phase equalization
TWI352971B (en) Apparatus and method for generating an ambient sig
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
EP2258120B1 (en) Methods and devices for reproducing surround audio signals via headphones
US8180062B2 (en) Spatial sound zooming
JP6198800B2 (ja) 少なくとも2つの出力チャネルを有する出力信号を生成するための装置および方法
JP5769967B2 (ja) ヘッドホン再生に関する方法、ヘッドホン再生システム、コンピュータプログラム
US20070223740A1 (en) Audio spatial environment engine using a single fine structure
KR20170110739A (ko) 오디오 신호 처리 방법 및 장치
US20060093164A1 (en) Audio spatial environment engine
Kinoshita et al. Blind upmix of stereo music signals using multi-step linear prediction based reverberation extraction
AU2015255287B2 (en) Apparatus and method for generating an output signal employing a decomposer

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081022

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110405

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110408

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4917039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250