JP2005535266A - オーディオチャンネルの空間的変換 - Google Patents

オーディオチャンネルの空間的変換 Download PDF

Info

Publication number
JP2005535266A
JP2005535266A JP2004530877A JP2004530877A JP2005535266A JP 2005535266 A JP2005535266 A JP 2005535266A JP 2004530877 A JP2004530877 A JP 2004530877A JP 2004530877 A JP2004530877 A JP 2004530877A JP 2005535266 A JP2005535266 A JP 2005535266A
Authority
JP
Japan
Prior art keywords
input
output
variable
scale factor
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004530877A
Other languages
English (en)
Other versions
JP2005535266A5 (ja
JP4434951B2 (ja
Inventor
デイビス、マーク・フランクリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority claimed from PCT/US2003/024570 external-priority patent/WO2004019656A2/en
Publication of JP2005535266A publication Critical patent/JP2005535266A/ja
Publication of JP2005535266A5 publication Critical patent/JP2005535266A5/ja
Application granted granted Critical
Publication of JP4434951B2 publication Critical patent/JP4434951B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Abstract

M:Nの変数マトリックスを用い、おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換するものであって、NはMより大きく、Mは2以上でありNは3以上の正の整数である。前記変数マトリックスは、(1)入力信号の相対値と、(2)入力信号の相関値との測定値に応答して、前記入力信号に高い相関関係があるとき、前記出力信号により生成される音場は入力信号の現行の名目上主要な方向にコンパクトな音場を持ち、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、おのおの入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように制御される。

Description

本発明は、音響シグナルの処理方法に関する。具体的には、音響空間を表現するM個のオーディオ入力チャンネルを同じ音響空間を表現するN個のオーディオ出力チャンネルに変換するものであって、各チャンネルは一方向からの音を代表するひとつの音響の流れであり、MとNは正の整数であり、そしてMは少なくとも2以上であり、Nは少なくとも3以上であり、NはMより大きい。一般に、NがMより大きい空間的変換は「デコーダ」の特性を持つ。
人間は2つの耳しか持たないが、頭部伝達関数(HRTFs)や頭の動きなど、いくつかの位置測定のための手がかりにより、我々は音を3次元の存在として聞いている。したがって、完全に忠実な音の再現のためには、完全な3次元の音響空間を再現し維持すること、あるいは、少なくともそのための知覚的手がかりを必要とする。残念ながら、音響記録技術は3次元音響空間を捕捉する方向にも、2次元音響平面を捕捉する方向にも、1次元の音響直線を捕捉する方向にさえも向かっていない。現在の音響記録技術は、ゼロ次元の個別の音響チャンネルを厳密に捕捉し、保存しそして表現することを目指している。
エジソンの最初の蓄音機の発明以来、忠実度を向上させるための努力のほとんどは、彼が創作したアナログ変調のための溝がある円筒/円盤状の媒体の不完全性の改良に焦点が当てられていた。これらの不完全性には、制限され均一でない周波数応答、雑音、ワウ・フラッター、回転精度、磨耗、塵及び複写時に発生する損失が含まれていた。電子アンプ、テープレコーダ、ノイズリダクション、及び車数台分よりも高価なレコードプレーヤーを含む、個別的な改良のためのいくつかの断片的な試みにもかかわらず、伝統的な個別のチャンネルの質的な問題は、一般的にディジタルレコーディングの目覚しい発展があるまで、具体的には、オーディオコンパクトディスクの導入があるまで、最終的に解決することがなかったのは確かだった。それ以来、ディジタルレコーディングの質をさらに24Bit/96kHzサンプリングへと向上させようとするいくつかの努力は別として、音響を再現するための研究において、主要な取り組みは、主として、知覚的なコーダを使うことにより、各チャンネルの質を維持するために必要とするデータの量を減らすこと、及び、空間的な忠実度を上げることに焦点が当てられている。後者の問題が、この出願における(解決すべき)課題である。
空間的な忠実度を上げることの取り組みは、全空間における知覚的手がかりを伝達する試みと、実際に元の音響空間を近似させるような情報を伝達する試みとの2つの方向に沿って推進されている。前者のアプローチを採用するシステムの例は、両耳性の録音と2台のスピーカーに基づく仮想的な環境システムが含まれる。このようなシステムは、残念ながらいくつかの不完全さが示している。特に、音がある方向からに確実に局所化されること、および、ヘッドホンを使うこと、またはリスナーの位置が動かず一人であることが要求されている。
複数のリスナーに空間的な音を提供するために実現可能な選択肢は、居間であろうと、映画館のように営利目的で使用する会場であろうと、そこに実際に元の音響空間を近似させる試みであった。個々に独立した音声チャンネルの本質的な録音特性が与えられているので、古くからの多くの取り組みが、音声表現チャンネルの数を増加するという保守的と称される方法に関係していることは驚くにあたらない。音声表現システムには、50年代始めの3スピーカーサウンドトラック、従来からのステレオサウンド、60年代のquadraphonicシステム、70mmフィルムにおける5チャンネル・ディスクリート・マグネティック・サウンドトラック、90年代のAC-3 5.1チャンネル・サウンド、及び最近の、Surround-EX6.1チャンネル・サウンドが含まれる。"Dolby"、"Pro Logic"及び"Surround EX"はDolby Laboratories Licensing Corporationの商標である。ある程度までは、これらのシステムは、単一音源による音声表現より空間的な再現性を高めるものであった。しかしながら、多数の音声チャンネルを混ぜることは、製作者に時間的コスト的不利益の増大を招き、概して連続体としての音響空間というより、個別の散らばった音声チャンネルのひとつとして認識される結果となった。Dolby Pro Logic デコーディングの特徴はU.S Patent 4,799,260に記載されており、この特許はここで言及することにより全体として組み入れられている。AC-3の詳細は"Digital Audio Compression Standard (AC-3)," Advanced Television System Committee (ATSC), Document A/52, December 20, 1995にて公表されている。(インターネットワールド・ワイド・ウェブのwww.atsc.org/Standards/A52/a_52.docにて参照可能)。また、the Errata sheet of July 22, 1999(ワールド・ワイド・ウェブのwww.dolby.com/tech/ATSC_err.pdfにて参照可能)。
音響空間の特性が明らかにされると、原理的に、デコーダにとってどの出力スピーカーに対しても最適な出力を導き出すことが可能となる。このようなデコーダに供給するチャンネルは、ここでは「主要」チャンネル、「伝送」チャンネルあるいは「入力」チャンネルというようにさまざまに称される。そして、主要チャンネルのひとつの位置に対応していない位置にあるどの出力チャンネルも「中間」チャンネルと称される。主要入力チャンネルの位置と一致して出力チャンネルが配置されることがある。
本発明の第1の特徴によれば、おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換する方法であって、NはMより大きく、Mは2以上でありNは3以上の正の整数であり、M:Nの変数マトリックスを定めるステップと、該変数マトリックスにM個のオーディオ入力信号を適用するステップと、該変数マトリックスからN個のオーディオ出力信号を導き出すステップと、前記入力信号に高い相関関係があるとき、前記出力信号により生成される音場は入力信号の現行の名目上主要な方向にコンパクトな音場を持ち、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、おのおの入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように、入力信号に応答して前記変数マトリックスを制御するステップとを具備する。
本発明の第1の特徴によれば、(1)入力信号の相対レベルと(2)入力信号の相関値との測定値に応答して、前記変数マトリックスを制御することができる。この場合、最大値と基準値との間で定められた第1の範囲を持つ入力信号の相関係数の測定値に対して、前記音場は、相関係数の測定値が最大値の場合はコンパクトな音場を持ち、相関係数の測定値が基準値の場合は、広角に広がった音場を持ってもよく、基準値と最小値との間で定められた第2の範囲を持つ入力信号の相関係数の測定値に対して、前記音場は、相関係数の測定値が基準値の場合は、広角に広がった音場を持ち、相関係数の測定値が最小値の場合はおのおの入力方向と関連付けられた方向の複数のコンパクトな音場を持ってもよい。
本発明の更なる特徴によれば、おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換する方法であって、NはMより大きく、Mは3以上であり、mがMのサブセットでありnがNのサブセットであるm:nの変数マトリックスを定めるステップと、該変数マトリックスにM個のオーディオ入力信号を適用するステップと、該変数マトリックスの各々からN個のオーディオ出力信号のそれぞれのサブスセットを導き出すステップと、該変数マトリックスから導き出された出力信号のそれぞれのサブステップにより生成された音場は、前記入力信号に高い相関関係があるとき音場に適用された入力信号のサブセットの現行の名目上主要な方向にコンパクトな音場を持ち、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、前記変数マトリックスに適用する入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように、前記変数マトリックスに適用する入力信号のサブセットに応答して前記変数マトリックスの各々を制御するステップと、N個の出力チャンネルのサブセットからN個のオーディオ出力信号を導き出すステップとからなる。
本発明のこの更なる特徴によれば、同じ入力信号を受け取る1以上の他の変数マトリックスの効果を補正する情報に応答して、前記変数マトリックスを制御することもできる。さらに、N個のオーディオ出力チャンネルのサブセットからN個のオーディオ出力信号を導き出すステップには、同じ出力信号を生成する複数の変数マトリックスを補正するステップも含まれる。本発明のこのような更なる特徴によれば、変数マトリックスの各々は、(a)変数マトリックスに適用される入力信号の相対レベルと(b)該入力信号の相関係数とに応答して制御することもできる。
本発明のまた更なる特徴によれば、おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換する方法であって、NはMより大きく、Mは3以上であり、マトリックス係数又はマトリックス出力をコントロールするスケールファクターに対応するM:N変数マトリックスを定めるステップと、該変数マトリックスにM個のオーディオ入力信号を適用するステップと、mがMのサブセットであり、nがNのサブセットである複数のm:n変数マトリックススケールファクター生成系を定めるステップと、M個のオーディオ入力信号のそれぞれのサブセットを各変数マトリックススケールファクター生成系に適用するステップと、該変数マトリックススケールファクター生成系の各々からN個のオーディオ出力信号のそれぞれのサブセットに対する一組の変数マトリックススケールファクターを導き出すステップと、変数マトリックススケールファクター生成系により生成されたスケールファクターをM:N変数マトリックスに適用した時、このような入力信号が高い相関関係があるとき生成された出力信号のそれぞれのサブセットにより生成された音場がスケールファクターを適用することにより生成された入力信号のサブセットの現行の名目上主要な方向にコンパクトな音場を持つように、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、おのおのスケールファクターを適用することにより生成された入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように、変数マトリックスに適用した入力信号のサブセットに応答して変数マトリックススケールファクター生成系の各々を制御するステップと、前記変数マトリックスからN個のオーディオ出力を導き出すステップとからなる。
本発明のこのまた更なる特徴によれば、同じ入力信号を受け取る1以上の他の変数マトリックススケールファクター生成系の効果を補正する情報に応答して、前記変数マトリックススケールファクター生成系を制御することもできる。さらに、変数マトリックスからN個のオーディオ出力信号を導き出すステップには、同じ出力信号のスケールファクターを生成する複数の変数マトリックススケールファクター生成系を補正するステップも含まれる。本発明のこのようなまた更なる特徴によれば、各変数マトリックススケールファクター生成系は、(a)変数マトリックスに適用される入力信号の相対レベルと(b)該入力信号の相関係数とに応答して制御することもできる。
本発明によれば、音場を表現するM個のオーディオ入力信号は、同じ音場を表現するN個の出力信号に変換され、各チャンネルは1つの方向から到達したオーディオを表現する単一のオーディオストリームであり、MとNは正の整数であり、そしてMは少なくとも2以上であり、Nは少なくとも3以上であり、NはMより大きい。各入力チャンネルと出力チャンネルは、関連する方向を持ち(例えば、方位角、仰角、及び任意的に、実際又は投影されたチャンネルに近づけたり遠ざけたりすることができる距離)。1以上の出力チャンネルの組が生成され、各組は1以上の出力チャンネルを持つ。各セットは通常2以上の空間的に隣り合う入力チャンネルと関係付けられていて、各出力チャンネルは、2以上の入力チャンネルの相関係数の測定と2以上の入力チャンネルの相互関係のレベルの測定により生成される。相関係数の測定は時間補正ゼロの相関係数であることが好ましく、これは入力信号エネルギーレベルの幾何平均に対する共通のエネルギーレベルの割合である。共通のエネルギーレベルは、平準化された又は平均化された共通エネルギーレベルであることが好ましく、入力信号エネルギーレベルは平準化された又は平均化された入力信号エネルギーレベルであることが好ましい。
本発明のひとつの特徴によれば、複数の出力チャンネルの組が2以上の入力チャンネルと関係付けることができ、処理工程により、入力チャンネルの相関係数を決めることができ、この相関係数により、各出力チャンネルが関連付けられた入力チャンネルの数に応じて最も多くの入力チャンネルを持つものが最高位になるように順位付けられる階層的な順序に従って、各出力チャンネルが関連付けられ、この処理工程により、階層的な順序に従って出力チャンネルの組の処理が行われる。本発明の特徴によればさらに、高い順位の組の処理結果を考慮に入れる。
本発明の生成又は録音の特徴は、付加的な側鎖情報なしで(側鎖又は補助情報の使用は任意である)、ある方向から入力していることを表現するM個のオーディオ入力チャンネルがパッシブ・マトリックスで直近の各音源の振幅をパンするエンコーディングにより生成されたとみなし(すなわち、音源の方向は直近の入力チャンネルと最初は位置づける)、既存の混合技術、コンソール、及びフォーマットと互換性を持たせるものである。このような音源信号が、パッシブ・コーディング・マトリックスの採用により生成されることが明確にされているにもかかわらず、多くの一般的な録音技術は本質的にこのような音源信号を使う(このように「効果的なエンコーディング・マトリックス」を構成する)。本発明の再生録音の特徴によれば、いくらかの時間遅れを許容すれば中間的な方向から到来するサウンドは直近のマイクロフォンに(水平配置では、具体的には直近のマイクロフォンのペアに)位置づけられる傾向にあるので、5個の実方向を向いたマイクロフォンにより作られる自然な録音源の信号と広範囲で互換性がある。
本発明の特徴によるデコーダ又はデコーディング処理は、格子状に結合された処理モジュール又はモジュール機能(以下「モジュール」又は「デコーディング・モジュール」)に組み込まれ、各々は、一般に、2以上の位置的に最も近くにあるデコーディング・モジュールに関連付けられた入力チャンネルから1以上の出力チャンネルを生成することに用いられる(又は、その代わり1以上の出力チャンネルの生成に制御信号を用いることができる)。この出力チャンネルは一般に、特定のデコーディング・モジュールと空間的に直近の関連付けられた入力チャンネルのオーディオ信号と相対的な比例関係を表現する。さらに詳細を以下に説明するが、デコーディング・モジュールは、モジュールが入力を共有しデコーディング・モジュールの階層構造が存在するという意味で、相互に緩やかに結合している。モジュールは、関連する入力チャンネルの数に従い階層的に順位付けられる(関連する入力チャンネルの数が最も大きいモジュールが最高位に順位付けられる)。共通入力がモジュール間で平等に分配され、順位の高いモジュールが低い順位のモジュールの出力に影響を与えるよう、モジュールが管理者又は管理機能により統括される。
各デコーダ・モジュールには、事実上、直接出力信号を生成するようなマトリックス、又は、他のデコーダ・モジュールにより生成された制御信号と共に、すべての出力信号を生成するために、変数マトリックスの係数を変化させ、又は、固定マトリックスからの入力又は出力係数を変化させるために用いられる入力各デコーダ・モジュールが、せいぎょ信号を生成するようなマトリックスが含まれる。
デコーダ・モジュールは、知覚的に忠実に再現できるように人間の耳をエミュレートする。デコーダ・モジュール及びモジュール機能が直面する本発明に係る信号変換は、広帯域信号又は複数帯域処理の各周波数帯域に適用され、実行形態により、サンプル毎に1度又はサンプルのブロック毎に1度実行される。複数帯域の実施形態では、離散クリティカル帯域フィルターバンク又はそれに対応するデコーダと互換性のある帯域構成のフィルターバンクのようなフィルターバンク、又は、FFT(高速フーリエ変換)又はMDCT(変形離散コサイン変換)リニア・フィルターバンクのような変換構成が採用される。
本発明の他の特徴によれば、N出力チャンネルから受信したスピーカーの数を、ラウドスピーカが位置する所とは別の空間位置に知覚できる音像を作る仮想的な音像に慎重に対応した実際的な数に減らすことができる。仮想的な音像の最も一般的な使用形態には2つのスピーカー間に分けた像を生成するステレオ再生であるが、チャンネル間でモノラル信号をパニングすることにより、本発明の特徴を検討すれば、部屋の壁の向うに又は壁の内側にあるように感じる聴覚的印象を与える幻の音像を表現する仮想的な音像を表現することが含まれる。2つのスピーカーからリスナーが等距離又はほぼ等距離にあることが必要とされるため、仮想的な音像はわずかなチャンネル数で集団に対して表現する実行可能な技術ではないと考えられている。映画館において、例えば、左右前方のスピーカーが離れすぎているので観客の多くにたいして中央にうまく音像を浮かび上がらせることができない。そこで、多くの対話部分の音源として中央チャンネルが重要なので、物理的な中央チャンネルがその代わり使われる。
スピーカーの密集度が上がるにつれて、多くの観衆に対してどの対のスピーカー間においても実行可能な仮想的な音像が、少なくともパンがスムーズに行われる範囲にまで広がり、十分なスピーカーにより、スピーカー間の空間が存在するようには感じられなくなる。
信号分配
上述のとおり、相関係数の計測により、モジュール中のノンドミナント(共通信号でない成分)に対するドミナント(共通信号成分)のエネルギー比と、モジュールの出力チャンネル間でのノンドミナント信号成分の広がり具合を決定する。2入力の場合における異なった信号条件においてモジュールの出力チャンネルの信号配分を考慮すること下よく理解することができる。他に注記がない限り、この原理は高い順位のモジュールにも直接拡張できる。
信号分配における問題は、しばしば情報が少なすぎて、信号それ自身よりもはるかにもとの信号の振幅分布を復元することが難しいことである。役に立つ基本情報は、各モジュールの入力における信号レベルと、入力信号の平均化された外積である、共通エネルギーレベルである。時間補正ゼロの相関係数は、入力信号エネルギーレベルの幾何平均の点では共通エネルギーレベルの比である。
相関係数の重要性は、それがすべての入力についての共通信号成分の正味の振幅を計測する機能を持つ点である。もし、モジュールの入力間のどこでもパンする単一の信号(「内部」信号又は「中間」信号)があるとすると、振幅が異なる可能性があるにもかかわらず、すべての入力は同じ波形を持ち、このような状況では相関は1.0となるであろう。他の極端な条件、もし、すべての入力信号が独立であれば、共通の信号成分がないことを意味し、相関はゼロとなるだろう。0と1.0との中間にある相関値は、入力に共通信号成分と独立信号成分とがある、ある信号の中間的な均衡点に対応すると考えることができる。従って、あらゆる入力信号条件において、共通信号すなわち「ドミナント」信号と、「残りすべて」の信号成分(「ノンドミナント」又は残留信号エネルギー)からなる、共通信号の寄与分を差し引いた残りの入力信号成分とに分けることができる。上記のように、共通すなわち「ドミナント」信号の振幅は必ずしも残留信号すなわちノンドミナント信号レベルより大きくなくてもよい。
例えば、元の5個のチャンネルを復元することが求められる単一のLt/Rt(左トータル、右トータル)対に位置づけられた、円弧状の5個のチャンネル(L(左)、MidL(中間−左)、C(中央)、MidR(中間−右)、R(右))を考える。もし5個のチャンネルが同じ振幅の独立した信号を持つなら、LtとRtは同じ振幅を持ち、ゼロと1の間の中間的な相関値に対応する共通エネルギーの中間値を持つだろう。MidLとMidRと空の信号なしに適当にLとCとRのレベルを選定することによって、同程度のものが達成できるだろう。このように、2入力、5出力のモジュールが、ドミナント方向(この場合はC)に対応する出力チャンネルと、MidLとMidRの出力チャンネルに信号を与えないで、LtとRtの入力からCのエネルギーを除去した後の残余の入力(L、R)に対応する出力チャンネルとを出力することができよう。信号状態の小さな外乱により「オフ」チャンネルのオンとオフが切り替わることで、特に、「オフ」チャンネルが孤立して聞こえるときに、耳障りなチャタリング音(「チャタリング」とはチャンネルが高速でオンとオフを繰り返すこと)が発生するので、このような結果は好ましくない。つまり、不要なチャンネルを停止することは、普通は悪い選択となる。
従って、所定の入力信号値のモジュールの組に対して複数の出力信号配分が可能であるとき、個々のチャンネルの音質から見た従来の方法では、信号状態と整合を取って、モジュールの出力チャンネル間でできるだけ均一にノンドミナント信号成分を配分する。本発明のひとつの特徴によれば、信号状態に従って、「ドミナント」対「その他」の2ウエイ分割よりむしろ3ウエイ分割に従って、利用可能な信号エネルギーを均一に配分する。3ウエイ分割は、ドミナント(共通)信号成分、調合(均一配分)信号成分、及び残りの入力信号成分に分けることが好ましい。残念ながら、2ウエイ分割(ドミナント信号成分と他のすべての信号成分)に十分なだけの情報しかない。3ウエイ分割の一つの適切な方法が個々に記載されており、相関係数が特定の値以上の場合は、2ウエイ分割はドミナント信号成分と、広がりのあるノンドミナント信号成分とを採用し、相関係数が特定の値以下の場合は、2ウエイ分割は広がりのあるノンドミナント信号成分と残りの信号成分とを採用する。共通信号エネルギーは「ドミナント」と「均一配分」とに分割される。「均一配分」成分は「共通」信号成分と「残留」信号成分の両方に含まれる。従って、「配分」は、共通(相関関係のある)信号成分と残留(相関関係のない)信号成分との混合を伴う。
処理する前に、所定のモジュールの所定の入出力チャンネルに対して、同じ信号強度で受信したすべての出力チャンネルに対応する相関値が計算される。この相関値は「random_xcor」値として参照することができる。単一の中央から抽出される中間的な出力チャンネルと2入力チャンネルに対して、 random_xcor値は0.483というように計算される。このような時間値は十分な結果を与えることがわかるが、これらは決定的ではない。
例えば、約0.3と0.5の値は、それぞれ利用可能である。言い換えれば、M個の入力とN個の出力に対して、すべてのN個の出力と同等のエネルギーを表現すると考えられるM個の入力の特定の相関の程度がある。これは、M個のマトリックスが同じエネルギーを持つN個の独立した信号を受信するN対Mパッシブ・マトリックスを用いて導き出せるかのようにM個の入力を考えればこの結論に達することができる。この相関の敷居値は「random_xcor」値であり、これは操作における2つの状態間を分割する線を表す。
次に、処理中に、もしモジュールの相関係数値がrandom_xcor値と同じか大きい場合は、それは1.0から0の値に縮小拡大される。すなわち、
scaled_xcor = (correlation − random_xcor) / (1 − random_xcor)
scaled_xcor値は、均一配分レベルを超えるドミナント信号の量を表現する。のこんなtものはすべてモジュールの他の出力チャンネルに均一に配分される。
しかし、考慮に入れなければならない要素がある。すなわち、もし、すべての出力チャンネルが均一に保たれ、又は、任意的にではあるが、配分エネルギーの量が保持されるが出力チャンネルへ分配されるエネルギーが、ドミナントエネルギーの「中央からのずれ」、言い換えれば出力チャンネルに沿ってエネルギーに勾配がついたエネルギーに応じて減ってゆくならば、現行の名目上の主要な方向の入力信号が徐々に中心からずれていくので、配分エネルギーの量が徐々に減ってゆく。後者の場合は、出力パワーを入力パワーに等しく保つために、複雑な追加的処理工程が必要となる。
一方、現行の相関値がrandom_xcor値より小さい場合は、ドミナントエネルギーはゼロとみなわれ、均一に配分されるエネルギーは徐々に減って行き、残留信号は、残ったものすべて入力に集中される。相関値=ゼロにおいて、出力チャンネルに直接割り付けられる独立の入力信号である内部信号がない。
本発明のこの特性における動作は、さらに以下のように説明される。
a)実際の相関がrandom_xcorよりも大きい場合、2つの隣り合う出力間で方向が変わる(パンされる)ドミナント信号があると考えるために十分な共通エネルギーがある(又は、もちろん、その方向がたまたま1つの出力と同じであれば1つの出力を出す)。それに割り付けられるエネルギーは入力から減算され、出力全体に(好ましくは一様に)配分する残留値を与える。
b)実際の相関が正確にrandom_xcorである場合、入力エネルギー(これはすべて残留値と考えてもよい)はすべての出力に均一に配分される(これがrandom_xcorの定義である)。
c)実際の相関がrandom_xcorよりも小さい場合、ドミナント信号に対して十分な共通エネルギーがないので、入力エネルギーは、どれがどれだけ小さいかに比例して出力の間で配分される。これは、相関がある部分をあたかもすべての出力間で均一に配分すべき残留部として扱うようでもあり、相関がない部分はむしろ入力の方向に応じて、たくさんの出力信号を出力するようでもある。相関がゼロの極端な場合は、各入力は1つの出力位置にのみ送られる(一般に出力の1つ、しかしそれらの2つの間でパンすることができる)。
このようにして、入力の相対的エンジンにより2つの入力間で1つの信号がパンする禅相関から、すべての出力間で均一に配分されるrandom_xcorを通って、M個の入力がM個の出力位置まで独立に出力されるゼロ相関になるまで連続性がある。
相互作用の補正
上述の通り、本発明の一つの特徴に従うチャンネル変換は「モジュール」の格子を用いると考えられる。多くのモジュールで所定の入力チャンネルを共有するので、相互作用がモジュール間で起こる可能性があり、その補正を行わなければ性能が劣化する。一緒に動作したモジュールにより入力信号を分離する事は一般に難しいが、接続された各モジュールに用いられた入力信号量を推定することで、相関と方向の推定を改善することができ、全体の性能を向上させることができる。
上述の通り、2つのタイプのモジュール間の相互作用がある。すなわち、「ネイバース(neighbors)」と呼ばれる共通階層レベルまたは低階層レベルでのモジュールで起こるものと、「高次ネイバース(higher-order neighbors)」と呼ばれる所定のモジュールより高い階層レベル(より多くの入力を持つ)であるが1以上の共通入力を持つもので起こるものとがある。
共通階層レベルにおける最初のネイバー補正について考える。ネイバー相互作用により引き起こされる問題を理解するために、特定の分離したL/R(左と右)入力信号Aの2入力モジュールを考える。これは入力間を半分行ったところの単独のドミナント(共通)信号に対応する。この共通のエネルギーはAであり相関係数は1.0である。、そのL/R入力において、共通エネルギーBの共通信号Bを持つ2番目の2入力モジュールを仮定する。2個のモジュールが共通の入力で接続されたとすると、そこに入力する信号はA+Bである。信号AとBとが独立であると仮定すると、積ABの平均はゼロとなり、最初のモジュールの共通エネルギーはA(A+B)=A+AB=Aとなり、2番目のモジュールの共通エネルギーはB(A+B)=B+AB=Bとなる。従って、独立の信号を処理している限り、共通エネルギーは隣接するモジュールに影響されない。これは一般に有効な仮定である。もし信号が独立でなく、あるいは、少なくとも共通の信号成分を共有していたなら、システムは人間の耳の反応と同じように反応するであろう。すなわち、共通入力が大きくなりその結果音像が共通入力に引き出されるだろう。この場合、共通入力が他の入力より大きい信号強度(A+B)を持ち、それにより方向が共通入力方向にバイアスされると推定されるので各モジュールのL/R入力強度比にずれが生じる。このような場合、双方の入力対における信号波形が異なるので、両方のモジュールの相関値は1.0以下のある値になる。相関値が非共通信号成分の広がり具合と、ノンドミナント(非共通信号成分)に対するドミナント(共通信号成分)の比を決定するので、補正されていない共通入力信号が、各モジュールの非共通信号配分の広がりを定める。
これを補正するために、各モジュールの各入力に起因する「共通入力レベル」の計測値を推定し、各モジュール入力における同じ階層の隣接するレベルのこのような共通入力レベルエネルギーの総量に関して情報が各モジュールに送られる。モジュールの各入力に起因する共通入力レベルの計測値を計算する2つの方法を以下に説明する。1つは、このモジュールへの入力の共通エネルギーの基づくものであり(次の段落で一般的な説明がなされる)、もう1つは、さらに正確であるがコンピュータのリソースをより必要とするもので、モジュールの内部出力エネルギーの総量に基づくものである(図6Aの構成と関連して以下に説明する)。
モジュールの各入力に起因する共通入力レベルの計測値を計算する第1の方法によれば、モジュールの入力信号の分析では、直接各入力の共通入力レベルを算出することができず、共通入力エネルギーレベルの幾何平均である全体的な共通エネルギーの比率のみを算出する。各入力において共通入力エネルギーレベルは、計測され知られたその入力におけるエネルギーレベルの総量を超えることができないので、以下の制限を付して、全体の共通エネルギーは観測された入力レベルに比例する推定共通入力レベルに分解される。格子におけるすべてのモジュールに対して共通入力レベルの集合が計算されると(共通入力レベルの計測が第1の計算方法に基づくものであろうと第2の計算方法に基づくものであろうと)、各モジュールは、その入力にけるモジュールの「ネイバーレベル(neighbor level)」と呼ばれる各入力におけるすべての近接するモジュールの共通入力レベルのすべての情報を受ける。次いでモジュールは、相関係数及び方向(現行の入力信号の主要な名目上の方向)の計算に用いる補正された入力レベルを導き出すために、その各入力において入力レベルからネイバーレベルを減算する。
上記の例では、ネイバーレベルは初期値がゼロであり、共通入力は両端の入力より多くの信号を持つので、第1のモジュールは、その入力におけるAを超える共通入力パワーレベルを要求し、第2のモジュールは、同じ入力においてBを超える共通入力パワーレベルを要求する。要求の総計は、利用可能なエネルギーより大きいから、それぞれ要求は約AとBに制限される。共通入力に接続される他のモジュールが存在しないので、各共通入力レベルは、他のモジュールのネイバーレベルに合致する。したがって、第1のモジュールに見られる補正された入力パワーレベルは、
(A+B)−B=A
そして、第1のモジュールに見られる補正された入力パワーレベルは、
(A+B)−A=B
しかしながら、これらはモジュールが孤立している状態で見られるものである。したがって、期待通り、算出された相関値は1.0であり、主要方向は中心となり適当な振幅を持つ。それにもかかわらず、復元された信号自身は完全に孤立していない。すなわち、第1のモジュールの出力はB信号成分を持ち、逆もまたしかりである。しかし、これはマトリックスシステムの制限であり、処理が複数帯域に基づき行われたなら、混合信号成分は、幾分抽象的なそれらの区別を表現する、似た周波数となるであろう。もっと複雑な状況においては、補正は通常それほど正確になされないが、このシステムの経験から、実際の補正では、近隣のモジュール間での相互干渉による影響を和らげる。
ネイバーレベル補正に用いる原理と信号が確立されると、高い階層でのネイバーレベル補正はかなり簡単である。これは、異なった階層レベルの2以上のモジュールが2以上チャンネルを共有するような状況に適用される。例えば、2入力モジュールの2個の入力を共有する3入力モジュールとがあってもよい。すべての3個の入力に対して共通の信号は3入力モジュールの両方の入力に対しても共通であり、補正を行うことなく、各モジュールにより異なった位置を表現するであろう。普通はさらに、3個の入力すべてに共通の信号成分と、2入力モジュールのみに共通する第2の成分とがあってもよく、出力音場を適切に表現するためにそれらの効果はできるだけ分離することが要求される。したがって、3入力の共通信号が、上述の共通入力レベルに適用されたとき、2入力計算が適切になされる前に入力から3入力の共通信号を減算すべきである。実際は、低いレベルでの計算を行う前に、高い順位の共通信号成分は、低いレベルのモジュールの入力レベルからのみならず観測され計測された共通エネルギーレベルからもまた減算されるべきである。これは、近隣のモジュールの共通エネルギーレベルの計測に影響を与えないレベルと同じ階層のモジュールの共通入力レベルの影響とは別である。したがって、同じ順位のネイバーレベルとは別に、より高い順位のネイバーレベルを明らかにし、適用すべきである。同時に、上述の通り、低いレベルのモジュールが高いレベルのモジュールの通常のネイバーのように振舞うので、高い順位のネイバーレベルは階層の低いモジュールに下げられ、残りの低いレベルのモジュールの共通レベル階層の高い方向に持ち上げられる。ある数は相互依存し、同時に計算することは難しい。複雑で同時に解を見つける情報資源の集積した計算を行うことを避けるため、先に計算した値を関連のあるモジュールに送ってもよい。異なった階層レベルの共通入力レベルのモジュールにおける潜在的な相互依存の問題は、最高順位の階層レベルから最低の階層レベルまで、上述した先の値を用いること又は、繰り返して計算(すなわち、ループ計算)することにより解決することができる。あるいは、計算上の無視できない間接経費を必要とするかもしれないが、同時に方程式を解くこともまた可能である。
ここに記載した相互干渉補正技術は、複雑な信号配分に対する近似的に正しい値を提供するのみであるが、モジュール間の相互干渉をうまく考慮することできない格子状配置に対して改善することができたと考える。
本発明の特徴をテストするために、我々は、水平方向の配置として4面の壁を有する部屋の各壁に5台のスピーカーを(各コーナーに1台、コーナー間に3台)置き、コーナーのスピーカーを共通とすることにより合計16台のスピーカーとした。さらに、中央に位置する聴衆の頭上に垂直角で45度に6台のスピーカーをリング状に置き、真上に1つスピーカーを置いて、合計23台とし、さらに、サブウーハー/LFEチャンネルを加えて24台とし、すべて24チャンネル再生用にセットしたパーソナルコンピュータから信号が送られることとした。最近の業界用語に従えば、このシステムは、23.1チャンネルシステムとして良いかもしれないが、ここでは、簡単に24チャンネルシステムと称することにする。
図1は、テスト配置として先に説明したような、デコーダーの理想化された配置を示す概略平面図である。5台のワイドレンジの水平主要チャンネルは、外側の円の正方形1’,3’,5’,9’及び13’で示される。5台のワイドレンジの水平主要チャンネル間の相互関係あるいは発生した反響音から導き出されるか、又は(図2に示すように)個別に供給された垂直チャンネル、中心に破線で示す正方形23’で示される。23台のワイドレンジの出力チャンネルは、1−23の番号が記入された円で示される。16台の出力チャンネルがある外側の円は水平面上にあり、内側の円の6台の出力チャンネルは、水平面の上部に45度に置かれている。出力チャンネル23は、一人以上のリスナーの上部に置かれる。5台の2入力デコーディングモジュールは、外側の円に描いた矢印24−28で表示され、水平面上の主要チャンネル上の各ペア毎に接続されている。5台の追加された2入力デコーディングモジュールは、ブラケット29−33で表示され、垂直チャンネルを各水平主要チャンネルに接続している。出力チャンネル21は、中央後部チャンネルを強調したものであるが、出力チャンネル21と主要チャンネル9,13及び23との間で矢印で描かれた3入力デコーディングモジュール34により導き出される。このように、3入力デコーディングモジュール34は、2入力の低い階層レベルにある近隣のモジュール27,32,及び33より1段階高いレベルにある。本例では、各モジュールは、空間的に隣り合う入力チャンネルの各々のペア又はトリオと結び付けられている。本例におけるすべてのモジュールは同じレベルで少なくとも3つのネイバーを持っている。例えば、モジュール25,28,及び29はモジュール24のネイバーである。
図1に示されるデコーディングモジュールは3台,4台又は5台の出力チャンネルを持つが、デコーディングモジュールは、常識的な範囲でどんな数量出力チャンネルを持って良い。出力チャンネルは1台以上の入力チャンネルの間、又は入力チャンネルと同じ位置に置いても良い。したがって、例えば図1においては、各入力チャンネルの位置が出力チャンネルの位置でもある。2台又は3台のデコーディングモジュールは各入力チャンネルを共有している。
図1の配置では、部屋の4面の壁の周りの位置を表現する16個の水平出力(1〜16)を導き出すために5個のモジュール(24〜28)(各々2個の入力を持つ)と5個の入力(1’,3’,5’,9’,及び13’)を採用するが、同様の結果が、最低3個の入力と3個のモジュール(各々2個の入力を持ち、各モジュールは他のモジュールと1個の入力を共有する)から得られる。
各モジュールが円弧又は直線上に(図1及び2の例のように)出力チャンネルを持つ複数モジュールを採用することにより、ゼロ以下の相関では後ろ方向を示すものとしてデコードされていた従来のデコーダーにあったデコーディングにおけるあいまい性は避けられるであろう。
入力チャンネルと出力チャンネルとは、物理的な位置又は少なくともその方向により特徴付けられるが、マトリックスによる特徴付けにより明確な信号関係が得られるので、マトリックスによる特徴付けは有用である。各マトリックス要素(行i、列j)は、入力チャンネルiと出力チャンネルjとを関係付ける伝達関数である。各マトリックス要素は、一般に乗算係数を表すが、位相又は時間遅れ(一般に、フィルター)を含めてもよく、周波数の関数(離散周波数項において、各周波数で異なったマトリックス)であっても良い。ダイナミックスケールファクターが固定されたマトリックスの出力に適用された場合は直接的であるが、ダイナミックスケールファクターは、各マトリックス要素に異なったスケールファクターを持たせること又は、単純なスカラーのスケールファクターよりさらに精巧なマトリックス要素を持たせることにより、例えば可変時間遅れのようにマトリックス要素自身が可変な可変マトリックスとも結びつく。
マトリックス要素の物理的位置を定める上でフレキシビリティがあり、原則として、本発明の特徴による実施の形態では、1つの入力チャンネルはどんな数の出力チャンネルと関係付けることができ、その逆もできる。しかし、多くの場合、指数を保存し、二乗和が1.0である単純なスカラーファクタにより最も近い出力チャンネルにのみマッピングられた信号であるとみなされる。このようなマッピングは、サイン/コサイン・パンニング機能によりなされる。
例えば、2個の入力チャンネルと3個の出力チャンネルがこれら結ぶ直線上にあり、入力位置と同時性のある2個の両端の出力チャンネルとがある(すなわち、Mが2でNが5のM:Nモジュール)場合に、その範囲が円弧上で90度(サイン又はコサインが0から1まで又はその逆の範囲)を表すとみなすことができ、各チャンネルは90度/4間隔=22.5度離れ、マトリックス係数が(cos(角度)、sin(角度))であるチャンネルマトリックスを与える。
Lout coeffs=cos(0),sin(0)=(1,0)
Mid Lout coeffs=cos(22.5),sin(22.5)=(.92,.38)
Cout coeffs=cos(45),sin(45)=(.71,.71)
Mid Rout coeffs=cos(67.5),sin(67.5)=(.38,.92)
Rout coeffs=cos(90),sin(90)=(0,1)
従って、固定係数と各マトリックスの出力でスケールファクターにより制御される可変ゲインとを持つマトリックスの場合は、5個の出力チャンネルの各々での信号出力は(ここで“SF”は添え字で特定された特定の出力に対するスケールファクターである)、
Lout =Lt(SFL
Mid Lout =((.92)Lt+(.38)Rt)(SFMidL
Cout =((.45)Lt+(.45)Rt)(SFC
Mid Rout =((.38)Lt+(.92)Rt)(SFMidR
Rout =Rt(SFR
一般に、入力チャンネルの配列が与えられると、理論的には潜在的なデコーダーモジュールを表現する直近の入力と直線で結び付けられる。(「潜在的な」としたのは、モジュールから導き出すべき出力チャンネルがない場合、そのモジュールは必要でないからである。)典型的な構成においては、2個の入力チャンネル間のどんな出力チャンネルも、2入力モジュールから導き出される(もし源となるチャンネルと伝達チャンネルが同一平面にあるならば、どの源もせいぜい2個のチャンネルに現れるだけであり、この場合は3以上の入力を採用する利点はない)。入力チャンネルと同じ位置にある出力チャンネルは終点チャンネルであり、おそらく2以上のモジュールである。入力と同じ直線に又は同じ場所にない(例えば3個の入力チャンネルにより形成される三角形の内側又は外側にある)出力チャンネルは、3個以上の入力を有するモジュールを必要とする。
共通信号が3個以上の入力チャンネルを占有する場合は、3個以上の入力を持つデコードモジュールが有効である。これは、例えば、源となるチャンネルと入力チャンネルが1つの平面にない場合に起こる。すなわち、源となるチャンネルは3個以上の入力チャンネルにマッピングすることができる。図1の例で、24個のチャンネル(水平円環にある16個のチャンネル、上部円環にある6個のチャンネル、1個の垂直チャンネル、及びLFE)を6.1チャンネル(合成垂直チャンネルを含む)にマッピングしたとき起こる。この場合、上部円環にある中央後部チャンネルは源のチャンネルの内の2個間の直線上にはなく、Ls(13)、Rs(9),及びtop(23)により形成される三角形の中にあるので、3入力モジュールがこのチャンネルを導き出すために必要である。上部チャンネルを水平配列にマッピングるひとつの方法は、これらの各々を3以上の入力チャンネルにマッピングすることである。これにより、図1の例における24個のチャンネルが従来の5.1チャンネル配列にマッピングされる。この選択肢において、複数の3入力モジュールが上部チャンネルで復元され、残りの信号成分が主要な水平円環のチャンネルで復元させるために2入力モジュールによって処理される。
一般に、入力チャンネル間で信号の共通化を可能なすべての組み合わせで検討することは必要ではない。平面的な配列では(例えば、水平的に配列された方向を表現するチャンネルでは)、空間的に隣り合うチャンネルをペア毎に相似性を比較することが一般に適切である。天蓋又は球の表面に配置されたチャンネルに対して、信号の共通化は4個以上のチャンネルに拡張される。信号の共通化を見つけ用いることは、追加の信号情報を伝送するために用いることでもある。例えば、垂直信号成分は、水平の5チャンネル配置のすべての5個の全レンジチャンネルをマッピングすることにより表現することができる。
既定の入力/出力のマッピング・マトリックスについて、共通化の分析のための入力チャンネルの組み合わせについて判断することは、変換器又は変換機能の構成において、入力/出力チャンネル変換器又は変換機能毎に一度だけ行う必要がある。「初期マッピング」は、チャンネルの空間的な方向に対する入力/出力チャンネル構成に関するパッシブ「マスター」マトリックスを(処理を行う前に)導き出す。ひとつの選択肢として、本発明の処理装置又は処理機能により、単純なパッシブ・マトリックスであったはずの出力信号レベル又はマトリックス要素自身を補正する時間可変スケールファクターが、チャンネルごとに1つ生成される。一方以下に説明するように、スケールファクターは、(a)ドミナント、(b)均等分配(Fill)、及び(c)残留(エンドポイント)信号から導き出される。
マスターマトリックスは、図1の例で示し、図2と共に以下に説明するようなモジュールの配置を構成する上で有用である。マスターマトリックスを調べることによって、例えば、どれだけの数のデコーダーモジュールが必要なのか、どのように接続されるのか、各々どれだけの入出力チャンネルを持つのか、及び各モジュールの入出力に関するマトリックス係数を演繹的に求めることができる。これらの係数は、マスターマトリックスから得ることができ、入力チャンネルが出力チャンネルでもある場合(すなわちエンドポイントである場合)を除いてゼロでない値だけが必要である。
各モジュールは、特定のモジュールに適用可能な、マスターマトリックスの一部である「ローカル」マトリックスを持つことが好ましい。図1及び図2の例のような、複数モジュール配置の場合、図2及び図4A〜4Cに関連して以下に説明するように、マスターマトリックスを制御するためのスケールファクター(又はマトリックス要素)を生成するために、又は、図2に関連して説明する監視装置のような中央処理により組み立てられる信号を出力する、出力信号の部分集合を生成するために、モジュールはローカルマトリックスを用いることができる。後者の場合に、このような監視装置は、図2の監視装置201が、出力チャンネルの仮のスケールファクターを生成するモジュールにより生成された仮のスケールファクターを置き換える最終のスケールファクターを決定する方法に類似する方法で、共通出力信号を持つモジュールにより生成された同じ出力信号の複数の値を補正する。
出力信号よりむしろスケールファクターを生成する複数のモジュールの場合、このようなモジュールは、ローカルマトリックスを持つよりむしろ、監視装置を介してマスターマトリックスから自分自身に関するマトリックス情報を連続的に得るようにしても良い。しかし、モジュールが自身のローカルマトリックスを持つほうが、コンピュータの諸経費が少なくて済む。単一の、単独モジュールの場合、モジュールはローカルマトリックスを持ち、それが唯一必要なマトリックスであり(事実上、ローカルマトリックスがマスター・マトリックスである)、このローカルマトリックスが出力信号を生成するために用いられる。
他に記載ない限り、複数モジュールを持つ本発明の実施の形態の説明は、モジュールがスケールファクターを生成する案に関する。
モジュールのローカルマトリックス中にゼロでない係数(係数の2乗和は1.0であるから、この係数は1.0である)のみを持つすべてのデコードモジュール出力チャンネルはエンドポイントチャンネルである。2以上のゼロでない係数を持つ出力チャンネルは、内部出力チャンネルである。簡単な例を考える。もし出力チャンネルO1とO2が両方とも入力チャンネルI1とI2(しかし異なる係数値を持つ)とから導き出されたとすると、ことによると、O1とO2を出力するI1とI2間に接続された2入力モジュールを他から必要とする。もっと複雑な場合では、もし5個の入力と16個の出力があり、デコーダーモジュールの1つが入力I1及びI2を持ち、以下のような出力O1及びO2を出すとすると、
O1=AI1+BI2+0I3+0I4+0I5
(注、入力チャンネルI3,I4,又はI5からの寄与分は無し)
O2=CI1+DI2+0I3+0I4+0I5
(注、入力チャンネルI3,I4,又はI5からの寄与分は無し)
デコーダーは2個の入力(I1とI2)を持ち、2個の出力を持ち、これらに関するスケールファクターは、
O1=AI1+BI2、であり
O2=CI1+DI2、である。
マスターマトリックスであろうとローカルマトリックスであろうと、単独モジュールは、乗算器以上の働きをするマトリックス要素を持つことができる。例えば、先に述べたように、マトリックス要素には、位相又は時間遅れのようなフィルターを含めてもよく、及び/又は、周波数の関数であるフィルターを含めてもよい。適用されるフィルターの一例は、音像を投影した幻像を表現することができる純粋な時間遅れのマトリックスである。実際には、このようなマスターマトリックス又はローカルマトリックスは、例えば、1番目は出力チャンネルを導き出すための係数を採用し、2番目はフィルター機能を適用する2つの機能に分割される。
図2は、図1の例に用いられた複数帯域変換の実施の形態を概観する機能ブロック図である。PCMオーディオ入力は、例えば複数のインターリーブされたオーディオ信号チャンネルを持ち、インターリーブされた入力から持ってきた6個の各オーディオ信号チャンネル(1’,3’,5’,9’,13’,及び23’)から別々の流れを復元し、各々に時間領域から周波数領域に変換する、変換機能(以後、「順変換」と称す)を適用するデ・インターリーバーを含む監視装置又は監視機能に入力される。あるいは、オーディオチャンネルを別の流れで受信してもよく、この場合はデ・インターリーバーを必要としない。
上述したように、本発明による信号変換を、限界帯域フィルターバンク又は関連するデコーダーと互換性のある構造の帯域を持つフィルターバンクのようなフィルターバンク又は、FFT(高速フーリエ変換)又はDMCT(修正離散コサイン変換)リニアー・フィルターバンクのような変換構成のどちらかを採用することのできる広帯域信号又は複数大域プロセッサの各周波数に適用することができる。図2、図4A〜4C、及び他の図では、複数帯域変換構成により説明している。
任意的なLFE入力チャンネル(図1及び図2における潜在的な7番目のチャンネル)と出力チャンネル(図1及び図2における24番目の出力)は、単純にするため図1及び図2に示されていない。一般にLFEチャンネルは他の入力チャンネル及び出力チャンネルと同様に扱ってもよい。ソースチャンネルにはLFEがないが、出力チャンネルにはLFEがある場合(例えば、2:5.1upmixの場合)、LFEチャンネルは、チャンネルの総和に適用されたローパスフィルター(例えば120Hzのコーナー周波数を持つバターワースフィルター)を用いることにより導き出すことできる。あるいは、チャンネルの追加のキャンセルを避けるために、チャンネルの位相修正総和を採用してもよい。入力がLFEチャンネルを持つが、出力を持たない場合、LFEチャンネルに1以上の出力チャンネルを加えてもよい。
図2の説明を続けると、モジュール24〜34は図1に示した方法で、6個の入力のうちの適切な1つを受信する。各モジュールは、図1に示すように、関連するオーディオ出力チャンネルの各々に対して仮のスケールファクター(「PSF」)出力を生成する。従って、例えば、モジュール24は入力1’及び3’を受信し、仮のスケールファクター出力PFS1,PFS2,及びPFS3を出力する。あるいは、上述したように、各モジュールは、関連するオーディオ出力の各々に対して仮のオーディオ出力の組を生成することもできる。さらに以下に説明するように、各モジュールは監視装置201と通信するようにしてもよい。監視装置201から種々のモジュールに送信される情報には、もしあれば、近隣レベル情報及び上位の近隣レベル情報を含めてもよい。各モジュールから監視装置に送信される情報には、各モジュールの入力に寄与しうる内部出力の推定エネルギーの総和を含めてもよい。モジュールは図2の全体システムにおける制御信号生成部分の一部であると考えてもよい。
図2の監視装置201のような監視装置は、多くの多様な機能を実行することができる。監視装置は例えば、2以上のモジュールが使用されているかどうかを決定し、もしそうでない場合は、監視装置は近隣レベルに関するどんな機能も実行する必要はない。初期化の過程において、監視装置はそのモジュール又は各モジュールに入力と出力の数、関連するマトリックス係数、及び信号のサンプリングレートを伝えることができる。すでに説明したように、監視装置はインターリーブされたPCMサンプルのブロックを読み込み、デ・インターリーブして別のチャンネルに送る。監視装置は時間領域において、例えば、ソース信号は振幅が制限されていること及びその制限の程度を示す付加的な情報に応答して、様々な動作を行う。もしシステムが複数帯域モードで動作しているなら、(実質的に処理の間接経費を増大する重複する変換を複数のモジュールが行わないようにするために)窓化とフィルターバンク(例えば、FFT,DMCT,その他)を各チャンネルに適用し、処理のため変換値の流れを各モジュールに送ってもよい。各モジュールは監視装置にスケールファクターの2次元配列を送り返す。すなわち、各出力チャンネルの各サブ帯域のすべての変換ビンに対する1つのスケールファクター(複数変換構成の場合、それ以外の場合は、出力チャンネル毎に1つのスケールファクター)又は、任意的に、出力信号の2次元配列と、各出力チャンネルの各サブ帯域に対する複合変換ビンの集合である(複数変換構成の場合、それ以外の場合は、出力チャンネル毎に1つの出力信号)。監視装置は、出力チャンネルの複合スペクトルを(複数帯域変換構成において)出力するために、スケールファクターを平滑化して信号経路マトリックス(以下に説明するマトリックス203)に適用してもよい。あるいは、モジュールが出力信号を生成するときに、監視装置が出力チャンネル(複数帯域変換構成において、出力チャンネル複合スペクトル)を導き出し、同じ出力を出すローカルマトリックスを補正してもよい。次いで、逆変換と窓化を行い重複加算して、DMCTの場合は、各出力チャンネルに対して、合成した複数チャンネル出力の流れを形成するために出力サンプルをインターリーブし(又は任意的に複数の出力の流れを形成するためにインターリーブ工程を省略してもよい)、出力ファイル、サウンドカード、又は他の最終目的に送ることができる。
ここに説明したように1つの監視装置、又は複数の監視装置により、様々な機能が実行されるが、当業者なら、これらの機能の内の様々な機能又はすべての機能は、すべてのモジュールに対する監視装置又はモジュールの一部に対する監視装置によらないで、モジュール自身により実施することも可能であることがわかるであろう。例えば、単一の、孤立したモジュールがあるとすると、モジュール機能と監視機能との区別をする必要はない。複数モジュールの場合、共通監視装置が、重複する処理を削除又は減らすことにより必要とする全体の処理パワーを減らすかもしれないが、共通監視装置の削除又は単純化により、モジュールは、例えば、出力チャンネル数をお互いに増やすなどのグレードアップを簡単に許してしまう。
図2の説明に戻って、6個の入力1’,3’,5’,9’,13’,及び23’は、又、可変マトリックス又は可変マトリックス機能203(以降「マトリックス203」と称す)に入力する。マトリックス203は図2のシステムの信号経路の一部と考えてもよい。マトリックス203は、また、図1の例における23の出力チャンネルの各々に対し、監視装置201からの入力として最終スケールファクターの組SF1からSF3までを受信する。最終スケールファクターは、図2のシステムにおける制御信号部の出力であると考えてもよい。さらに以下に説明するように、マトリックスに対する最終スケールファクターとして、監視装置201は仮のスケールファクターをすべての「内部」出力チャンネルに送ることが好ましいが、監視装置はモジュールから受信した情報に応じてすべてのエンドポイントの出力チャンネルに対する最終スケールファクターを決定する。「内部」出力チャンネルは、各モジュールの2以上の「エンドポイント」出力チャンネルの中間にある。あるいは、スケールファクターではなくて出力信号を生成するならば、マトリックス203は必要でない。すなわち監視装置自身が出力信号を生成する。
図1の例では、後に説明するように、必ずしも一致している必要はないが、エンドポイントの出力チャンネルは入力チャンネルの位置の一致していると仮定している。従って、出力チャンネル、2,4,6〜8,10〜12,14〜16,17,18,19,20,21,及び22は内部出力チャンネルである。内部出力チャンネル21は、(入力チャンネル9’,13’,及び23’の)3個の入力チャンネルの媒介であり、あるいは3個の入力により支えられる一方、他の入力チャンネルは各々2個の入力チャンネルの媒体である(又は、2個の入力チャンネルにより支えられている)。モジュール間で共有されるエンドポイント出力チャンネル(すなわち、1’,3’,5’,9’,13’,及び23’)に対する複数の仮のスケールファクターがあるので、監視装置201は、スケールファクターSF1からSF23までの間から最終的なエンドポイントスケールファクター(SF1,SF3,等)を決定する。最終内部出力スケールファクター(SF2,SF4,SF6,等)は仮のスケールファクターと同じである。
図3は、図2の監視装置201のような監視装置がエンドポイントスケールファクターを決定する方法を理解するために有用な機能ブロック図である。監視装置は、エンドポイントスケールファクターを得るために入力を共有するすべての出力の合計を計算するわけではない。その代わりに、図2のモジュール26及び27により共有される、入力9’のような、入力を共有する各モジュールからの入力の総内部エネルギーの推定値が、追加的に、混合器301の中で混合される。この総和は、接続されたすべてのモジュールの内部出力により要求される入力における全エネルギーレベルを表す。次に、この総和は、混合器303の中で、入力を共有するすべてのモジュール(本例ではモジュール26又は27)の入力(すなわち、以下に説明する図4Bの平滑器425又は427の出力)における平滑化された入力エネルギーレベルから減算される。モジュールはお互いに独立にその時定数を各々調整するのでモジュールとモジュールとでそのレベルがほんの少し異なるけれども、共通入力におけるモジュールの平滑化された入力のいつのどの1つを選んでも問題ない。混合器303の出力となる差は、その入力における好ましい出力信号のエネルギーレベルであり、このエネルギーレベルはゼロ以下になることは許されない。この好ましい出力信号レベルを入力において、除算器305により、平滑化された入力レベルで除算し、ブロック307により、開平演算がなされ、その出力に対する最終スケールファクター(本例では、SF9)が得られる。モジュールの各入力に帰属する内部出力の推定エネルギーの総和を決定するための構成については、図6Aに関連させて以下に説明する。
レベルはエネルギーレベル(2次量)であり、振幅(1次量)に対抗するので、除算演算の後、最終スケールファクター(スケールファクターは1次量である)を得るために開平演算がなされる。異なるモジュール内部の内部出力は独立(相関関係がない)と仮定されるので、内部レベルの加算と全入力レベルからの減算はすべて純粋なエネルギー量として行われる。もしこの仮定が通常でない状態で正しくなければ、この計算により入力における残余信号が本来の量より多く生み出され、再生された音場に多少の空間的歪みをもたらすが(例えば、他の近隣の音像を入力方向に引き寄せる)、同じ状態において人の耳は同じように反応する。モジュール26におけるPSF6からPSF8までのような内部出力チャンネルスケールファクターは、監視装置により最終スケールファクターとして送られる。わかりやすくするため、図3は、エンドポイント最終スケールファクターの1つの生成についてのみを示している。他のエンドポイント最終スケールファクター同様の方法で導き出すことができる。
図2の説明に戻って、上述したように、可変マトリックスにおいて、可変性は複雑であるか(すべての係数が可変である)又は単純である(固定マトリックスの入力又は出力に適用されるように、係数がグループで変化する)。どちらの方法も、実質的に同じ結果を生み出すために採用されるが、単純な方法の1つ、すなわち、各出力に可変ゲインが続く固定マトリックスが満足できる結果を生み出すことがわかったので以降に記載する実施の形態において採用する。各マトリックス係数が可変な可変マトリックスは有用であるが、多くの変数を有し処理パワーを必要とするという欠点がある。
監視装置201は又、可変マトリックス203に最終スケールファクターを適用する前に任意的に時間領域での最終スケールファクターの平滑化を行う。可変マトリックスシステムにおいて、出力チャンネルは決して「ターンオフ」されず、係数はある信号を強化し、他の信号をキャンセルするよう構成される。しかしながら、固定マトリックス、可変ゲインシステムは、本発明の実施の形態として記載されている通り、しかしながら、チャンネルをオン及びオフし、好ましくない「チャタリング」アーティファクトの影響を受けやすい。これは、以下に記載された2ステージ平滑化を行っても起こることがある。例えば、「微小」から「無し」に変化し、そして戻るのにほんの少しの変化しか必要ではないので、スケールファクターがゼロに近い時、ゼロへのあるいはゼロからの過渡状態で可聴のチャタリングが起こる。
監視装置201により実行される任意的な平滑化により、新しく導き出されたスケールファクター値と実行中の平滑化されたスケールファクター値との差の絶対値(「abs−diff」)の大きさに依る可変時定数を持つ出力スケールファクターを平滑化することが好ましい。例えば、abs−diffが0.4より大きい(そして、もちろん、<=1.0)ならば、少ししか又はまったく平滑化を適用する必要はない。abs−diffが0.2から0.4の間の場合は、少しの付加的な平滑量を加え、0.2以下の場合は、時定数は連続的にabs−diffの逆関数となる。これらの値は決定的なものではないが、可聴なチャタリング・アーティファクトを減少するものであることがわかっている。任意的に、モジュールの複数帯域形態において、以下に説明する図4Aの周波数平滑器413,415,及び417による方法で、時間のみならず周波数の時定数も縮小・拡大してよい。
上述の通り、可変マトリックス203は、マトリックスの出力において可変スケールファクター(ゲイン)を有する固定デコードマトリックスが好ましい。マトリックスの各出力チャンネルは、(離散値エンコーダの必要性をなくすダウンミックス配列に直接接続されたミキシング・ソース・チャンネルの代わりに)離散値入力のエンコーダを持つチャンネルに対してエンコード・ダウンミックス係数である(固定)マトリックス係数を持つことができる。係数は、各出力チャンネルに対して2乗和が1.0であることが好ましい。(「マスター」マトリックスに関して上述したように)出力チャンネルがどこにあるのかが一度分かるとマトリックス係数は固定される一方、各チャンネルの出力ゲインを制御するスケールファクターは変化する。
図2のモジュール24〜34に適用される周波数領域変換ビンを構成する入力は、以下にさらに説明するように、エネルギー及び共通エネルギーの初期量がビンレベルで計算された後、各モジュールにより周波数サブ帯域にグループ分けされる。従って、すべての周波数サブ帯域に仮のスケールファクター(図2のPSF)と最終のスケールファクター(図2のSF)とがある。マトリックス203により生成された周波数領域出力チャンネル1〜23は各々変換ビンを構成する(サブ帯域の大きさの変換ビンのグループは、緒の時スケールファクターにより扱われる)。一組の周波数領域変換ビンは、監視装置201の機能かもしれないが分かりやすくするために別に示した周波数領域から時間領域への変換又は変換機能205(以降「逆変換」と称す)により、それぞれ、一組のPCM出力チャンネル1〜23に変換される。監視装置201は、変換結果のPCMチャンネル1〜23をインターリーブし出力の流れにインターリーブされたPCMを送るか又は、PCM出力チャンネルを別の流れとする。
図4A〜4Cは、本発明の一形態によるモジュールの機能ブロック図である。このモジュールは、図2の監視装置201のような制御装置から2以上の出力信号流れを受信する。各入力は、複素数で表された周波数領域の変換ビンの集合により構成される。各入力1〜mは、各変換ビンの実数値と虚数値の2乗和である各ビンにおけるエネルギーの計算(図を単純化するため、2個の入力1とmに対する経路のみ示している)を行う機能又は装置(入力1に対しては機能又は装置401、入力mに対しては機能又は装置403のように)に入力する。各入力は、モジュールの入力チャンネルのいたるところで各ビンの共通エネルギーを計算する機能又は装置405に入力される。FFTの実施形態においては、入力サンプルの外積を行うことで計算することができる(例えば2個の入力RとLの場合、Lビンの複素数値とRビンの共役複素数値の積の実部)。実数値を用いる実施の形態では各入力に対する実部の交差積のみを必要とする。3入力以上の場合は、以下に記載の交差積の技法を採用してもよい、すなわち、もしすべての符号が同じであれば、その積には正の符号が与えられそれ以外の場合は負の符号が与えられ、正の結果になった数と負の結果になった数(常に2つ、すべて正か負である)との比により倍率が決められる。
ペア単位での共有エネルギーの計算
たとえば、互いに独立な信号Y及びZに加え共通の信号Xを含む主要チャンネルのペアA/Bを仮定する。
A = 0.707X+Y
B = 0.707Y+Z
ここで、スケールファクター0.707=√0.5は、隣接する主要チャンネルに対する関数を保持するための乗数を与える。
Figure 2005535266
XとYは相関関係がないから
Figure 2005535266
従って、
Figure 2005535266
これは、XとYは相関関係がなく、主要チャンネルAのトータルエネルギーは信号XとYのエネルギーの和だからである。
同様に、
Figure 2005535266
X,Y及びZは互いに相関関係はないので、AとBの外積は、
Figure 2005535266
従って、独立で相関関係のない信号を含むことのある2つの隣接する入力チャンネルで同等に共有された出力信号の場合について言うと、信号の外積値を平均したものは、各チャンネルにおける共通信号成分のエネルギーに等しい。もし、共通信号が等しく共有されていない場合は、すなわち、入力チャンネルの一方に偏っていた場合は、外積値を平均したものは、A及びBにおける共通成分のエネルギーの幾何平均となる。A及びBから、そのチャンネルの増幅係数を2乗平均により正規化することで、各チャンネルにおける共通成分の推定値を得る。実際の時間平均は、以下に説明するように次の平滑か段階で計算される。
共通エネルギーの高次数での計算
3以上の入力をもつデコーディングモジュールの共通エネルギーを導き出すには、すべての入力信号の外積値の平均値を計算することが必要である。単純に入力のペア毎に計算を進めたのでは、入力の各ペアと全体の共通信号との間での別々の出力信号を区別することができなくなる。
例えば、互いに相関のない信号W,Y,Zと、共通する信号Xからなる3個の入力チャンネル、A,B及びCを考えてみる。
A = X + W
B = X + Y
C = X + Z
平均外積値を計算すると、W,Y及びZの組み合わせとなる項はキャンセルされ、2次の計算により、Xの平均値が残る。
Figure 2005535266
しかしながら、期待した通り、もしXの時間平均がゼロならば、その3乗平均もゼロになる。ゼロ以外のXの値の場合はすべて正となるXを平均する場合とは異なり、XはXと同じ符号を持つので、正と負の寄与分はキャンセルされてしまう。モジュールの入力数が奇数の場合に対応して、Xが奇数乗となる場合はすべてこのことが当てはまるのは、明らかである。しかし指数が2以上の場合でも、間違った結果を導き出す。例えば、成分が(X,X,−X,−X)となる4入力の場合は、平均外積値は(X,X,X,X)の場合と同じとなる。
この問題は、積の平均値を算出する手法に変更を加えることにより解決されている。平均化する前に、積の絶対値を採用することにより各積の符号を捨て去る。積の各項の符号は調べられる。もし、すべての符号が同じであれば、その積の絶対値を平均演算に用いる。もし、いずれかの符号が他と違っていた場合、積の絶対値の負の値を平均する。同じ符合の組みあわせが起こり得る数と、違う符合が起こり得る数とが違っているので、その補正のため、同じ符号の組み合わせの数に対する違う符合の組み合わせの数の比からなる重み係数を、積の絶対値を無効にするため適用する。例えば、3入力のモジュールは同じ符号となる組み合わせが、8通りの組み合わせから、6通りの違う符合の組み合わせを引くと、2通りあり、その結果、スケールファクターは2/6=1/3となる。この補正は、デコーディングモジュールのすべての入力に共通入力信号成分がある場合にのみ、積算または加算された積を正の方向に増大させる結果となる。
しかしながら、違った系列のモジュールの平均値を比較可能なものとするため、それらはすべて、同じ次数を持たなければならない。従来の2次の相関は2入力の積つまりエネルギーまたはパワーの次元を持つ量を生じる。従って、より高次の相関において平均化する項目は、パワーの次元を持つよう修正されなければならない。従って、kthの次数の相関に対しては、平均化する前に各積の絶対値は2/kのパワーに次数を上げておかなくてはならない。
もちろん、次数を考えないで、必要ならモジュールの各入力ノードのエネルギーを対応するノードの信号の2乗平均として計算することもできる。そうすれば、最初にkthパワーに次数を上げ、続いて2次の値に下げる必要はない。
図4Aの説明に戻って、ブロックの各変換ビン出力はそれぞれ機能又は装置407,409,および411によりサブ帯域にグループ化してもよい。このサブ帯域は例えば人間の耳の限界帯域に近似させてもよい。図4A〜4Cのモジュールの実施形態における残った部分は別に各サブ帯域とは独立に動作する。図面を単純にするために、1つのサブ帯域の動作についてのみ示されている。
ブロック装置407,409,および411からの各サブ帯域はそれぞれ周波数平滑器又は周波数平滑機能413,415,および417(以降「周波数平滑器」と称す)に適用される。周波数平滑器の目的は以下に説明する。周波数平滑器からの周波数が平滑化されたサブ帯域はそれぞれ、時間領域での平滑化を行う、任意的な「高速」平滑器又は平滑機能419,421,および423(以降「高速平滑器」と称す)に適用される。あることが好ましいが、入力ビンを生成する順変換(例えば図2の監視装置201における順変換)のブロック長の時間に平滑器の時定数が近い場合は、高速平滑器は省略してもよい。高速平滑器は、高速平滑器の各出力をそれぞれ受信する「低速」可変平滑器又は平滑機能425,427,および429(以降「低速平滑器」と称す)と比較して「高速」である。高速と低速平滑器の時定数値の例を以下に示す。
従って、高速平滑が、順変換に本来備わっている機能により行われようと高速平滑器により行われようと、第2の低速で可変の段階がある2段階平滑動作が好ましい。しかしながら、単一段階の平滑化も許容できる結果をもたらす。
低速平滑器の時定数はモジュール内でお互いに同期性を持たせることが好ましい。これは、例えば、同じ制御情報を各低速平滑器に用い、各低速平滑器がこの制御情報に同じように応答するように構成することにより達成できる。低速平滑器を制御する情報の算出については以下に説明する。
図4Aと4Bに示したように対419/425,対421/427,及び対423/429のように、対になった各平滑器は直列接続であることが好ましく、ここでは、高速平滑器が低速平滑器に信号を送る。直列構成は、第2段階で入力点における短い急峻な信号スパイクに抵抗力があるという利点がある。しかしながら、同様の効果は、並列に接続した1対の平滑器を個性することによっても得られる。例えば、直列構成の第2段階における短い急峻な信号スパイクに対する抵抗力は、並列構成において、時定数制御ロジックにより処理される。
2段階平滑器は、単極ローパスフィルター(「リーキーインテグレーター(leaky integrator)」)、RCローパスフィルター(アナログの実施形態)、又は、等価な、一次ローパスフィルター(デジタルの実施形態)により実行することができる。例えば、デジタルの実施の形態において、一次ローパスフィルターは、「biquad」フィルター、すなわち、フィルター一次フィルターとして機能するように係数のうちのいくつかをゼロに設定した一般的な2次IIRフィルター、として実現することができる。あるいは、第1段階(固定)とは別になっていた場合第2段階(可変)の係数を計算することは簡単であるが、2個の平滑器を単一の2次biquadフィルターに組み込んでもよい。
図4A,4B,及び4Cの実施の形態において、振幅が平方根をとることを必要とする限り、すべての信号レベルはエネルギーレベル(2乗値)を表現する。平滑器を平均センシングではなくRMSセンシングにすることにより、平滑処理は、信号のエネルギーレベルに適用される。平滑器に適用される信号が2乗レベルなので、平滑器は、信号レベルにおける突然の増加に対して、増加が2乗機能により増幅されるので、平均平滑器より早く応答する。このようにして、2段階平滑器は、各入力チャンネルのエネルギーの各サブ帯域に対する時間平均を出力し(1番目のチャンネルは低速平滑器425により出力され、m番目のチャンネルは低速平滑器427により出力される)、各入力チャンネルの共通エネルギーの各サブ帯域に対する時間平均を出力する(低速平滑器429により出力される)。
低速平滑器(425,427,429)のエネルギー出力は混合器431,433,及び435に入力され、それぞれ、(1)(例えば図2の監視装置201からの)ネイバーエネルギーレベル(もしあれば)が各入力チャンネルの平滑化されたエネルギーレベルから減算され、(2)(例えば図2の監視装置201からの)高次ネイバーエネルギーレベル(もしあれば)が各低速平滑器の平均エネルギー出力から減算される。例えば、入力3’(図1と図2)を受信する各モジュールは2個の隣接モジュールを持ち、これらの2個の隣接モジュールの効果を補正するネイバーエネルギーレベル情報を受け取る。しかしながら、これらのどのモジュールも「高次」モジュールではない(すなわち、入力チャンネル3’を共有するすべてのモジュールは2入力モジュールである)。一方、モジュール28(図1と図2)は出力の1つを共有する高次モジュールを持つモジュールの例である。このように、例えば、モジュール28において、入力13’への低速平滑器からの平均エネルギー出力は高次ネイバーレベル補正を受け取る。
モジュールの各入力の各サブ帯域に対する、結果的に「ネイバー補正された」エネルギーレベルは、これらのエネルギーレベルの現行の名目上の方向を計算する機能又は装置437に適用される。方向の表示は、エネルギーで重み付けられた入力のベクトル和として算出される。2入力モジュールに対しては、これは、平滑化されネイバー補正された入力のエネルギーレベルの左/右比に単純化することができる。
例えば、2入力の場合、チャンネルの位置がx,y座標を表現する2つの数値として与えられる平面的なサラウンド配置を想定できる。中央にいるリスナーは例えば(0,0)と仮定される。正規化された空間座標において、正面左のチャンネルは(1,1)である。正面右のチャンネルは(−1,1)である。もし左の入力振幅(Lt)が4で右の入力振幅(Rt)が3なら、これらの振幅を重み付け関数として使って、名目上の現行の主要な方向は、
(4*(1,1)+3*(−1,1))/(4+3)=(0.143,1)
すなわち、左と右につながる水平直線の中央より少し左である。
あるいは、一旦マスターマトリックスが定義されると、空間的な方向は、物理的な係数よりむしろマトリックス係数により表現することができる。この場合、2乗和が1になるよう正規化された入力振幅は、方向を表す実効マトリックスの係数である。上述の例では、左と右のレベルは4と3であり、正規化すると0.8と0.6になる。従って、「方向」は(0.8,0.6)となる。言い換えると、現行の正規化された主要な方向は、ネイバー補正された平滑化されたエネルギーレベルの開平演算したものを、1に正規化された2乗和にしたものである。ブロック437は、モジュールに入力があったとき(この例では2入力)、空間方向を示す同じ数の出力を生成する。
方向決定機能又は装置437に入力されるモジュールの入力の各々に対する各サブ帯域の、ネイバー補正され平滑化されたエネルギーレベルは又、ネイバー補正された相関係数を計算する機能又は装置439(「neighbor-compensated_xcor」)にも入力される。ブロック439は又、もしあれば、低速可変平滑器429から入力として各サブ帯域へのモジュールの入力の共通エネルギーも受信する。この入力は、高次ネイバーエネルギーレベルにより混合器435において補正されている。ネイバー補正された相関係数は、1.0〜−1.0のレンジを持つ真の数学的相関値を導き出すためにモジュールの入力チャンネルの各々に対するネイバー補正され平滑化されたエネルギーレベルの計算結果のM乗根で除算した、ここでMは入力の数である、高次補正がなされた平滑化された共通エネルギーとして計算される。0〜1.0の値はゼロであると解釈することが好ましい。neighbor-compensated_xcorは、他のモジュールがない時に存在する相関係数の推定値である。
次に、ブロック439からのこのneighbor-compensated_xcorは、方向重み付けがなされたネイバー補正された相関係数(「direction-weited_xcor」)を算出するために、neighbor-compensated_xcorをネイバー補正された方向情報で重み付けする重み付け装置又は機能441に入力される。この重み付けは、現行の名目上の主要な方向が中央から離れてゆくにつれて増加する。言い換えれば、不釣合いな入力振幅(従って、エネルギー)により、不釣合いに比例してdirection-weited_xcorが増加する。このように、従って、例えば左Lと右Rの入力を持つ2入力モジュールの場合、方向が中央から左又は右にずれるに従って重み付けが増加する(すなわち、どの方向であろうと中央からずれる角度が同じであれば重み付けは同じである)。例えば、2入力モジュールの場合、neighbor-compensated_xcorの値は、信号が不釣合いな場合にはdirection-weited_xcorが1.0に近づくような具合に、左/右比又は右/左比により重み付けられる。このような2入力モジュールに対して、
R>=Lのとき
direction-weited_xcor=(1−((1−neighbor-compensated_xcor)*(L/R)
R<Lのとき
direction-weited_xcor=(1−((1−neighbor-compensated_xcor)*(R/L)
3個以上の入力を持つモジュールに対しては、neighbor-compensated_xcorからdirection-weited_xcorを計算するに当たっては、上式のL/R又はR/Lを、1.0~0.の間で変化する「均一性」指標で置き換える。例えば、どの入力に対しても均一性指標を計算するために、入力パワーの総計によりその入力パワーを正規化し、(2乗された)エネルギーの和が1.0になるような正規化された入力レベルにする。各正規化された入力レベルを、配列の中心に向いた信号の同様に正規化した入力レベルで除算する。最小の比が均等な指標となる。従って、例えば、1個の入力がゼロレベルである3入力モジュールにおいて、均一性指標はゼロとなり、direction-weited_xcorは1となる。(この場合、信号はこの3入力モジュールの境界、すなわち入力における2入力の間の直線にあり、2入力モジュール(階層としては低い)は現行の名目上の主要な方向が直線上のどこにあるか、及び、その直線に沿って入力信号がどの程度広がるのかを決定する。)
図4Bの説明に戻って、direction-weited_xcorは、さらに、「effective_xcor」を生成するために「random_xcor」の重み付けを行う機能又は装置443に適用されるアプリケーションにより重み付けがなされる。effective_xcorは、入力信号の配分形態の推定値を算出する。
random_xcorは、平均入力エネルギー平方根で除算した入力の振幅の平均外積である。random_xcorの値は、出力チャンネルが元の入力チャンネルであるかのように推定し、独立ではあるが同じレベルの信号を持つこれらのすべてのチャンネルから得られるxcorの値を計算し、受動的にダウンミックスすることで計算される。この方法によれば、2入力で3出力のモジュールの場合、random_xcorは0.333と計算され、2入力で5出力のモジュール(3個は内部出力)の場合は、random_xcorは0.483と計算される。random_xcorは各モジュールについて一度計算するのに必要なだけである。このようなrandom_xcorが満足できる結果をもたらすことが分かったとしても、この値は決定的なものではなくシステム設計者の権限で他の値を採用してもよい。random_xcorの値を変えることによって、以下に示すように、信号分配システムの2つの運転体制を分割する線が影響を与ける。分割する線の正確な位置は決定的ではない。
機能又は装置443により実行されたrandom_xcorの重み付けは、effective_xcorが以下のように得られるようなdirection-weited_xcorの値の再正規化であると考えてもよい。
もしdirection-weited_xcor>=random_xcorの場合
effective_xcor=(direction-weited_xcor−random_xcor)/(1−random_xcor)、
それ以外の場合 effective_xcor=0
random_xcorの重み付けは、direction-weited_xcorがrandom_xcorと等しくなるとき、effective_xcorの値がゼロになるように、direction-weited_xcorが1.0以下に減少してゆくにつれて、direction-weited_xcorの減少を加速する。モジュールの出力は円弧又は直線に沿う方法を意味するので、ゼロ以下のeffective_xcorの値はゼロと等しいとして取り扱う。
低速平滑器425,427,及び429を制御するための情報は、ネイバー補正されていない低速及び高速で平滑された入力チャンネルのエネルギーから及び、低速及び高速で平滑された入力チャンネルの共通エネルギーから導き出される。特に、機能又は装置445は、高速で平滑された入力チャンネルのエネルギーと高速で平滑された入力チャンネルの共通エネルギーとに応答して高速でネイバー補正がなされていない相関係数を計算する。機能又は装置447は、高速で平滑された入力チャンネルのエネルギーに応答して、高速でネイバー補正がなされていない方向(ブロック437の説明に関連した上述した、比又はベクトル)の計算を行う。機能又は装置449は、低速で平滑された入力チャンネルのエネルギーと低速で平滑された入力チャンネルの共通エネルギーとに応答して低速でネイバー補正がなされていない相関係数を計算する。機能又は装置451は、低速で平滑された入力チャンネルのエネルギーに応答して、低速でネイバー補正がなされていない方向(上述した、比又はベクトル)の計算を行う。高速でネイバー補正がなされていない相関係数、高速でネイバー補正がなされていない方向、低速でネイバー補正がなされていない相関係数及び低速でネイバー補正がなされていない方向は、ブロック441からのdirection-weited_xcorと共に、時定数を調整するために(以降「時定数の調整」と称す)可変低速平滑器425,427,及び429を制御するための情報を与える機能又は装置453に入力される。同じ制御情報は各可変低速平滑器に入力されることが好ましい。高速の指標と低速の指標とを比較する時定数選択ボックスに他の数値が入力されるのとは違って、direction-weited_xcorは、高速値と比較することなく用いられることが好ましく、もしdirection-weited_xcorの絶対値が閾値より大きい場合は、時定数453により早い時定数を選択するよう調整させる。「時定数の調整」の操作基準は以下の通りである。
一般に、ダイナミックなオーディオシステムにおいて、オーディオ信号中に「新事象」が起こらない限り、ゼロ入力値に止まり再生された音場での音の中断が最小限になるよう可能な限り低速の時定数を用いることが好ましい。オーディオ信号中に「新事象」が起こった場合は、制御信号が新たなゼロ入力値に早急に変化することが好ましく、そうすればその値が次の「新事象」が起こるまで保持される。一般に、オーディオ処理システムでは振幅において「新事象」と同等の変化が起こる。しかしながら、外積又は相関係数を扱うとき、新しいことと振幅とは常に同じとはならない。新事象は相関係数を下げるかもしれない。モジュールの動作に関するパラメータ、すなわち相関係数及び方向の変化を検出することによって、モジュールの時定数の速度が上げられ、好ましい新たな制御状態が推定される。
不適切なダイナミックな振る舞いの帰結として、イメージワンダリング、チャタリング(チャンネルが急速にオンとオフを繰り返すこと)、ポンピング(自然にレベルが変化すること)、及び、複数帯域の実施形態においては、チャーピング(帯域間でのチャタリングとポンピング)が含まれる。これらの効果のうちのいくつかは、孤立したチャンネルにおける音質において決定的なものとなる。
図1及び2のような実施の形態において、格子上に配列したデコーディングモジュールを採用する。このような構成において、内部デュナーミックとイントラ・デュナーミックの2つのデュナーミックの問題が起こる。さらに、オーディオ処理を実行するいくつかの方法(例えば、広帯域、FFT又はMDCT線形フィルターバンクを用いた複数帯域、又は離散フィルターバンク、クリティカル帯域その他)において、各々が独特の動作の最適化を必要とする。
各モジュール内の基本的なデコーディング処理は、入力信号のエネルギー比の指標と、入力信号の相関係数の指標(特に上述の図4Bにおけるブロック441の出力である、方向に重み付けが行われた相関(direction-weited_xcor))とに依り、これらは一緒になって、モジュールの出力間での信号の配分を制御する。このような基本的な数値の導出には、これらの数値の瞬時値を時間で重み付けを行った時間領域での平均計算を必要とする、平滑化が必要となる。必要な時定数の範囲は非常に広い。すなわち、信号状態の過渡的な変化に対しては非常に短く(例えば1msec)、相関の小さいものに対しては非常に長く(例えば150msec)、ここで瞬間的な変化は真の平均値よりはるかに大きい。
可変時定数の動作を実行させる共通の方法は、アナログ用語で、「スピードアップ」ダイオードを用いることである。瞬時値が閾値分だけ平均値を超えたとき、このダイオードはより短い実行時定数をもたらす。この技法の欠点は、本来定常状態である入力での瞬間的なピークにより、平滑化されたレベルで大きな変化をもたらす。そして、この変化は非常にゆっくり減衰するので、本来ほとんど聞こえないところに不自然な孤立したピークが目立つこととなる。
図4A〜4Cの実施形態に関連して説明した相関計算では、スピードアップダイオード(又は等価なDSP)の使用を問題の多いものにしている。例えば、特定のモジュール内のすべての平滑器は、平滑化されたレベルが比較できるように、同期した時定数を持つことが好ましい。従って、グローバルな(連動型の)時定数切り替え機構が好ましい。加えて、信号状態の急激な変化は、共通エネルギーレベルの増加と必ずしも関連付ける必要はない。このレベルでスピードアップダイオードを用いることはバイアスがかかった不正確な相関の推定を行う可能性が高い。従って、本発明の特徴による実施の形態では、ダイオードと等価なスピードアップを用いることなく2段階平滑を用いることが好ましい。相関と方向の推定は、第2段階の時定数を設定するために、少なくとも第1段階と第2段階の平滑器との両方から導き出すことができる。各平滑器の組(例えば419/425)において、第1の段階、固定高速段階では、時定数は1msecのような固定値に設定される。第2段階、可変低速段階では、時定数は、例えば10msec(速い)、30msec(中程度)、150msec(遅い)の中から選択できる。このような時定数が満足できる結果をもたらすことが分かったとしても、この値は決定的なものではなくシステム設計者の権限で他の値を採用してもよい。さらに、第2段階の時定数値は、離散値よりむしろ連続的に可変であってもよい。時定数の選択は、上述の信号状態に基づくのみならず、一旦真の高速過渡信号が発生したときに、中間的な時定数の使用を排し、信号状態が低速時定数の再使用が可能になるまでシステムが高速モードになることを確実にするために用いられる「高速フラグ」を用いるヒステリシス機構に基づいてもよい。これにより、新しい信号状態への高速な変化を確実なものにすることができる。
第2段階での3つの時定数の内のどれを使うべきかの選択は、2個の入力の場合は、以下の規則に従って、「時定数の調整」453により実行される。
もし、direction-weited_xcorが第1の参照値(例えば、0.5)より小さく、高速のnon-neighbor-compensated_xcorと低速のnon-neighbor-compensated_xcorとの差の絶対値が同じ第1の参照値より小さく、高速と低速の方向参照値(各々+1から−1の範囲にある)の差の絶対値が同じ第1の参照値より小さい場合は、低速の第2段階の時定数を用い、高速フラグを真に設定し、続く中間的時定数の選択を可能とさせる。
そうでない場合、もし高速フラグが真ならば、高速と低速のnon-neighbor-compensated_xcorの差の絶対値が第1の参照値より大きいが第2の参照値(例えば0.75)より小さく、高速と低速の仮のL/R比の差の絶対値が第1の参照値より大きいが第2の参照値より小さく、direction-weited_xcorの絶対値が第1の参照値より大きいが第2の参照値より小さい場合は、中間的な第2段階の時定数が選択される。
さもなければ、高速の第2段階の時定数が用いられ、高速フラグが偽に設定され、低速の時定数が再び選択されるまで次の中間的な時定数の使用ができなくなる。
言い換えれば、すべての3つの状態が第1の参照値より小さいときは低速の時定数が選択され、すべて状態が第1の参照値と第2の参照値との間にあり以前の状態が低速の時定数である時に中間的な時定数が選択され、どの状態も第2の参照値より大きい場合は高速の時定数が選択される。
ここで説明した規則や参照値によって満足できる結果をもたらすことが分かったとしてもこれらの値は決定的なものではなく、変形した規則や低速と高速の相関係数及び高速と低速の方向を考慮するように変更した他の規則をシステム設計者の権限で採用してもよい。さらに、他の変形を行うこともできる。例えば、ダイオード・スピードアップ型の処理を用いることにより簡単に同様の効果が得られるが、モジュール中のどの平滑器が高速モードになっても、他のすべての平滑器もまた高速モードに切り替わる連動型の動作となる。時定数を決めるための平滑器が固定時定数を維持し、信号配分用時定数のみが変化する、時定数を決めるため及び信号分配のための別の平滑器を持つこともまた好ましいかもしれない。
高速モードであっても、平滑化された信号レベルでは馴染ませるために数ミリセカンド必要であり、制御信号を信号経路に送る前に制御信号を馴染ませるために時間遅れをシステムに組み込んでおいてもよい。広帯域での実施の形態では、この時間遅れは信号経路における離散的時間遅れ(例えば5msec)として実現することができる。複数帯域(変換)形式においては、ブロック処理の自然な帰結として時間遅れが存在し、このブロックのマトリックスでの信号処理の前にブロックを分析するならば、明示的な時間遅れは必要ないかもしれない。
本発明の特徴による複数帯域の実施形態においては、平滑器で用いる係数を適切に調整するために、平滑器のサンプリングレートは信号サンプリングレートをブロックサイズ(例えばブロックレート)で除算することで設定する点を除いて、広帯域の実施形態と同じ時定数と規則を用いてもよい。
400Hz以下の周波数に対して、複数帯域の実施形態において、時定数は周波数に逆比例させる。広帯域の実施形態において、異なった周波数において別の平滑器を置くことはできないので、中間周波数及び中間上部周波数を強調するために、部分的な補正として、穏やかな帯域通過フィルター/プリエンファシスフィルターを制御経路の入力信号に適用してもよい。このフィルターは、例えば、200Hzのコーナー周波数を持つ2ポール・ハイパス特性と、8000Hzのコーナー周波数を持つローパス特性と、6dBのブースとを400Hzから800Hzに適用し、さらに6dBを1600Hzから3200Hzに適用する特性を持たせてもよい。このようなフィルターが適切であることが分かっているとしても、このフィルター特性が決定的なものではなく、システム設計者の権限により他の係数を採用してもよい。
時間領域での平滑化に加え、本発明の複数帯域の実施形態において、図4Aに関連して上述したような周波数領域での平滑化もまた採用することが好ましい。各ブロックに対して、上述した次の時間領域での処理を適用する前に、約1/3オクターブの(限界帯域の)帯域幅に調整したスライディング周波数窓でネイバー補正されていないエネルギーレベルを平均化してもよい。変換に基づくフィルターバンクは本質的に線形の周波数分解能を持っているので、窓の幅(変換係数の数)は周波数が増えるにつれて増大し、通常は低周波数(約400Hz以下)で唯一の変換係数となる。従って、複数帯域の処理に適用する平滑化の合計は低周波数における時間領域の平滑化、及び、高い周波数における周波数領域の平滑化に依存し、時には高速の時間応答が必要となると思われる。
図4Gの説明に戻って、最終的にはドミナント/フィル/エンドポイント信号分配に影響する仮のスケールファクター(図2で「PSFs」で示されている)は、「ドミナント」スケールファクター成分、「フィル」スケールファクター成分、及び「過剰エンドポイントエネルギー」スケールファクター成分をそれぞれ計算する装置又は機能455,457,及び459と、それぞれの正規化装置又は正規化機能461,463,及び465と、ドミナントとフィルスケールファクター成分及び/又は付加的なフィルと過剰エンドポイントエネルギースケールファクター成分の最大値を取る装置又は機能467との組み合わせにより生成される。もしモジュールが複数のモジュールのうちの1つであるならば、仮のスケールファクターを図2の監視装置201のような監視装置に送ることができる。仮のスケールファクターは各々ゼロから1の範囲を持つことができる。
ドミナントスケールファクター成分
effective_xcorに加えて装置又は機能455(「ドミナントスケールファクター成分を計算する」)は、正規化された現行の第1の座標を生み出すために重み付けられた和に適用することができ、ドミナントな座標を生み出すために「第1の」スケールファクター成分をこれらに適用するN個の近隣出力チャンネル(ここでN=入力数)を決定するためにネイバー補正された方向情報をブロック437から、ローカルマトリックス係数に関する情報をローカルマトリックス469から受信する。ブロック455の出力は、正規化された現行の主要な方向が出力方向と一致した場合は1つのスケールファクター成分、さもなければ、正規化された現行の主要な方向を支える複数のスケールファクター成分(サブ帯域毎の複数の入力毎に1つ)のどちらかであり、ドミナント信号をパワーを保持する意味で正しい実際上の位置に移行又は位置づけるために適切な比率が適用される(すなわち、N=2に対して、2つの関連するドミナントチャンネルスケールファクター成分はeffective_xcorの2乗和である)。
2入力モジュールに対しては、すべての出力チャンネルが直線上又は円弧上にあるので、自然な順序があり(「左」から「右」へ)、お互いにどちらが次のチャンネルであるのかが明らかである。以上に説明した仮想的なケースでは2個の入力チャンネルと図示のsin/cos係数を持つ5個の出力チャンネルとを用い、名目上の現行の主要な方向は、左中間MLチャンネル(0.92,0.38)と中央Cチャンネル(0.71,0,71)の中間にある(0.8,0.6)であると仮定する。これは、L係数が名目上の現行の主要な方向Lの座標より大きく、その右側のチャンネルが主要なL座標より小さいL係数を持つことで達成できる。
主要なスケールファクター成分は一定の出力方向で2つの直近チャンネルに分配される。これのために、2個の式と2個の未知数の方程式が解かれ、未知数は主要な方向(SFL)の左のチャンネルの主要成分スケールファクター成分、と名目上の現行の主要な方向(SFR)の右側の対応するスケールファクター成分である(これらの方程式によりSFLとSFRが求められる)。
First_dominant_coord = SFL * lift-channel matrix value 1 + SFL * lift-channel Matrix value 1
Second_dominant_coord = SFL * lift-channel matrix value 2 + SFL * lift-channel Matrix value 2
left-channel及びright-channelは、名目上の現行の主要な方向を支えるものを意味し、モジュールへのLとRの入力チャンネルを意味しない。
解法は、各々他のチャンネルの2乗和を1.0とし、主要な分配スケールファクター成分(SFL,SFR)として用いて各チャンネルのアンチドミナント成分を計算することである。言い換えれば、座標C,Dの信号に対する係数A,Bを持つ出力チャンネルのアンチドミナント値はAD−BCの絶対値である。数値例を考えると、
Antidom (ML channel) = abs (.92 * .6 − .38 * .8) = .248
Antidom (C channel) = abs (.71 * .6 − .71 * .8) = .142
(ここで、「abs」は絶対値を取ることを意味する)
2乗和が1.0になるよう後者の2個の数を正規化することで0.8678と0.4969が出てくる。このようにこれらの値を反対のチャンネルに切り替えることで、主要なスケールファクターは(主要スケールファクターの値は、方向の重み付けがなされる前の、effective_xcorの平行根であることに注意すべきである)、
ML dom sf = .4969 * sqrt (effective_xcor)
C dom sf = .8678 * sqrt (effective_xcor)
(主要な信号はMidLoutよりCoutに近い)
正規化されたAntidom成分を、他のチャンネルのドミナントスケールファクター成分として用いることは、名目上の現行の主要な方向が選択された2つのうちの1つの点にたまたま該当するものであると考えると分かりやすい。1つのチャンネルの係数が[A,B]で、他のチャンネルの係数が[C,D]、名目上の現行の主要な方向の座標が[A,B]とする(第1のチャンネルを向いている)と仮定すると、
Antidom (first chan) = abs (AB − BA )
Antidom (second chan) = abs (AB − BA)
第1のantidom値はゼロであることに注意のこと。2つのantidom信号が2乗和が1.0になるよう正規化されたとき、第2のantidomは1.0となる。切り替えられたとき、1.0の第1のチャンネルはドミナントスケールファクター成分を受け取り、第2のチャンネルは、要求通りに0.0を受け取る。この方法が3個以上の入力を持つモジュールに拡張されると、チャンネルが直線又は円弧状にあるときもはや自然な順序では起こらない。再び、図4Bのブロック437は、例えば、ネイバー補正の後入力振幅を受け取り、2乗和を1に正規化することで名目上の現行の主要な方向を計算する。図4Bのブロック455は、例えば、次に、主要な係数を算出するために重み付けられた和に適用することのできるN個(ここでN=入力数)の直近チャンネルを定める。(距離又は接近度は、(x,y,z)の空間座標を持っているかのように、座標の差の2乗和により計算することができることに注意のこと)。従って、名目上の現行の主要な方向を生成するために重み付けした和を持つので必ずしもN個の直近チャンネルを選び出すとは限らない。
例えば、図5のLs,Rs,及びTopの三角形のチャンネルから入ってくる3入力モジュールを想定する。三関係の底辺に、接近してモジュール位置マトリックス係数[0.71,0.69,0.01],[0.70,0.70,0.01],及び[0.69,0.71,0.01]を持つ3個の内部出力チャンネルが接近して存在していると仮定する。名目上の現行の主要な方向が三角形の中心より少し下にあり、座標が[0.6,0.6,0.53]であると仮定する。(三角形の中心は座標[0.5,0.5,0.707]を持つ。)名目上の現行の主要な方向の直近にある3個のチャンネルは底にあるこれらの3個の内部チャンネルであるが、0から1のスケールファクターを用いて主要座標になるよう加算を行っていない。その代わり、底から2個を選択し上部のエンドポイントチャンネルを主要信号として分配し、そして、ドミナントの計算を完成させフィルとエンドポイントの計算を進めるために、3個の重み付け要素について3個の方程式を解く。
図1と2の例において、計算を単純化するために、ただ1個の3入力モジュールがあり、これはただ1つの内部チャンネルを導き出すために用いる。
フィルスケールファクター成分
effective_xcorに加えて、装置又は機能457(「フィルスケールファクター成分の計算」)は、randam_xcor、ブロック441からのdirection-weited_xcor、「EQUIAMPL」(「EQUIAMPL」は以下に定義し説明する)、及びローカルマトリックスからのローカルマトリックス係数(以下に図14Bに関連して説明するように、同じフィルスケールファクター成分をすべてのスケールファクター成分に適用できない場合)を受信する。
以上に説明したように、effective_xcorは、direction-weited_xcorがrandam_xcor以下である場合はゼロである。direction-weited_xcor>=randam_xcorのとき、すべての出力チャンネルに対するフィルスケールファクター成分は、
fill scale factor component = sqrt (1 − effective_xcor) * EQUIAMPLE
従って、direction-weited_xcor=randam_xcorのとき、effective_xcorはゼロとなり、従って(1−effective_xcor)はゼロ、従って、フィル振幅スケールファクター成分はEQUIAMPLに等しくなる(確保した出力パワー=その状態での入力パワー)。この点がフィルスケールファクターが到達する最大値となる。
weighted_xcorがrandam_xcorより小さいとき、ドミナントスケールファクター成分はゼロとなり、direction-weited_xcorがゼロに近づくのでフィルスケールファクター成分はゼロに減少する。
fill scale factor component = sqrt (direction-weited_xcor / randam_xcor) * EQUIAMPLE
従って、direction-weited_xcor=randam_xcorとなる境界で、仮のスケールファクター成分は再びEQUIAMPLに等しくなり、direction-weited_xcorがrandam_xcorより大きい場合に上記式の連続性を確保する。
各デコーダーモジュールがrandam_xcorの値であるだけでなく、もし信号がパワーを保存するよう分配される場合はすべてのスケールファクターがその値となるべきスケールファクターの値である「EQUIAMPL」の値でもあることに関連させると、すなわち、
EQUIAMPLE = square_root_of (デコーダーモジュール入力数/デコーダーモジュール出力チャンネル数)
例えば、
EQUIAMPLE = sqrt (2/3) = .8165
ここで「sqrt ( )」は「square_root_of ( )」を意味する。
4個の出力を持つ2入力モジュールに対して、
EQUIAMPLE = sqrt (2/4) = .7071
5個の出力を持つ2入力モジュールに対して、
EQUIAMPLE = sqrt (2/5) = .6325
このようなEQUIAMPLの値が満足できる結果をもたらすことが分かったとしても、この値は決定的なものではなく、他の値をシステム設計者の権限で採用してもよい。EQUIAMPLの値の変化は、「ドミナント」状態(入力信号と最大の相関がある)と「全エンドポイント」状態(入力信号と最小の相関がある)での出力チャンネルのレベルに関連して、「フィル」状態(入力信号と中間的な相関関がある)の出力チャンネルのレベルに影響する。
エンドポイントスケールファクター成分
non-neighbor-compensated_xcor(図4Bのブロック439からの)に加え、装置又は機能459(「過剰エンドポイントエネルギースケールファクターの計算」)は、(ブロック425及び427から)各々1番目の入力からm番目の入力までの平滑化されたネイバー補正のなされていないエネルギーと、任意的に、ローカルマトリックスからローカルマトリックス係数に関する情報を受け取る(モジュールのエンドポイント出力の両方又は片方が入力と一致しないで、モジュールが入力方向に最も近接した方向を持つ出力に過剰エンドポイントエネルギーを適用した場合は、さらに以下に説明するようになる)。ブロック459の出力は、もし方向が入力の方向と一致する場合は各エンドポイント出力のスケールファクター成分となり、それ以外の場合は、以下に説明する通り、それぞれエンドポイントに最も近い出力の各々に対する2つのスケールファクター成分となる。
しかし、ブロック459から生成される過剰エンドポイントエネルギースケールファクター成分は「エンドポイント」スケールファクター成分のみではない。3個の他のエンドポイントスケールファクター成分の発生源がある(単独の孤立したモジュールの場合は2個)。
1番目は、特定のモジュールの仮のスケールファクター計算におけるもので、エンドポイントはブロック455(及び正規化装置461)におけるドミナント信号スケールファクター成分の候補となりえる。
2番目は、図4Cのブロック457(及び正規化装置461)の「フィル」計算におけるもので、エンドポイントは、他の内部チャンネルと共に可能な限りフィル候補として扱う。エンドポイントであっても選択したドミナント出力であっても、ゼロでないどんなフィルスケールファクターもすべての出力に適用してもよい。
3番目は、もし、複数モジュールの格子があったとしたら、(図2の例の、監視装置201のような)監視装置が最後の作業を行い、4番目は、図2と3に関連して上述したように「エンドポイント」チャンネルの作業を行う。
ブロック459が「過剰エンドポイントエネルギー」スケールファクター成分を計算できるように、内部出力のエネルギーにどれだけ各入力が寄与しているかを推定するために、neighbor-compensated_xcorに基づき、すべての内部出力における全エネルギーがモジュールの入力に反映され、このエネルギーが、入力と一致する各モジュールの出力(すなわちエンドポイント)でのスケールファクター成分の過剰エンドポイントエネルギーを計算するために用いられる。
ネイバーレベルより高い順位のネイバーレベルの計算のために、図2の監視装置201のような監視装置に必要とされる情報を流すために、内部エネルギーを入力に反映させることも必要である。モジュールの各入力での内部エネルギーの寄与を計算するため、及び、各エンドポイント出力の過剰エンドポイントスケールファクター成分を決定するための1つの方法は図6Aと6Bに示されている。
図6Aと6Bは、各々、図2のモジュール24〜34のいずれか1つのようなモジュールにおいて、(1)各入力1からmの総エネルギーに応答して、1からmまでのモジュールの各入力への推定内部総エネルギーを生成するために、及び(2)neighbor-compensated_xcor(図4Bのブロック439参照)に応答して、各モジュールのエンドポイントへの過剰エンドポイントエネルギースケールファクター成分を生成するために、適切な1つの構成を示す機能ブロック図である。モジュールの各入力に対する総内部エネルギーの推定値は(図6A)、複数モジュール構成の場合に監視装置により必要とされ、どんな構成の場合でも、過剰エンドポイントエネルギースケールファクター成分を生成するために、モジュール自身により必要とされる。
図4Cのブロック455及び457から導き出されたスケールファクター成分及び他の情報を用いて、図6Aの構成により、内部出力での総エネルギーの推定値を計算する。内部出力エネルギーレベルの計算値を用いて、その出力の各入力に関するマトリックス係数を各出力レベルに乗算し[「m」個の入力に対して「m」個の乗算器]、それによりその出力に対するその入力のエネルギーの寄与度を算出する。各入力に対して、その入力の内部エネルギーへの寄与度を得るために、すべての内部出力のエネルギー寄与度を総計する。各入力における内部エネルギー寄与度の総計は、監視装置に報告され、各エンドポイント出力について過剰エンドポイントエネルギースケールファクター成分を計算するためにモジュールにより用いられる。
詳細に図6Aを参照すると、各モジュール入力に対して平滑化された総エネルギーレベル(ネイバー補正されていないことが好ましい)が、モジュールの内部出力の各々に1個の乗算器がある1組の乗算器に入力される。分かりやすくするために、図6Aでは2個の入力「1」と「m」、及び、2個の内部出力「X」と「Z」が示されている。各モジュール入力に対する平滑化された総エネルギーレベルは、モジュールの内部出力の1つに対する特定の入力に関する(モジュールのローカルマトリックスの)マトリックス係数により乗算される(マトリックス係数の2乗和は1だからマトリックス係数は自身の逆数となることに注意すべきである)。これは入力のすべての組合と内部出力に対して行われる。従って、図6Aに示すように、入力1における平滑化された総エネルギーレベル(これは、例えば図4Bの低速平滑器425の出力にて得られる)は、入力1に対する内部出力Xに関するマトリックス係数をそのエネルギーレベルに乗算する乗算器601に入力され、倍率をかけた出力エネルギーレベル成分Xを出力Xにもたらす。同様に、乗算器603,605,及び607により、倍率をかけたエネルギーレベル成分X,Z及びZがもたらされる。
各内部出力(例えば、XとX、ZとZ)のエネルギー成分は混合器611と613で、neighbor-compensated_xcorに従い、振幅/パワーが加算される。ネイバー重み付けされた相関係数が1.0で示されるような、混合器への入力が同位相である場合は、それらの線形振幅が加算される。ネイバー重み付けされた相関係数がゼロで示されるような、相互相関がない場合は、それらのエネルギーレベルが加算される。もし相互相関が1とゼロの間の値である場合は、その和は一部が振幅の和で一部がパワーの和となる。入力を適切に各混合器に加算するために、振幅の和とパワーの和とを計算し、neighbor-compensated_xcorと(1−neighbor-weighted_xcor)により重み付けがなされる。重み付けがなされた和を得るために、等価な振幅を得るためにパワーの和の平方根を求めるか、又は、重み付けられた和を計算する前にパワーレベルを得るために線形振幅の和の平方根をとるかのどちらかがなされる。例えば、後者の方法(重み付けられたパワーの和)をとる場合は、もし振幅レベルが3と4でneighbor-weighted_xcorであるなら、振幅の和は3+4=7、すなわちパワーレベルでは49、パワーエネルギーの和は=9+16=25となる。従って、重み付けのなされた和は0.7*49+(1−0.7)*25=41.8(パワーエネルギーレベル)又は、その平方根をとって6.47となる。
乗算器613及び615により加算結果(X+X、Z+Z)には出力X及びZの各々にスケールファクター成分が乗算され、X’及びZ’で表示される各内部出力における総エネルギーレベルが計算される。内部出力の各々のスケールファクター成分はブロック467(図4C)で計算される。ブロック459(図4C)からの「過剰エンドポイントエネルギースケールファクター成分」内部出力に関係せず、図6Aの構成によりなされる計算には使われることがないことに注意すべきである。
各内部出力X’及びZ’での総エネルギーレベルは、モジュールの入力の各々に対する特定の出力に関する(ローカルマトリックスモジュールの)マトリックス係数を各々に積算することにより、それぞれの出力に反映される。これは内部出力と入力の各組み合わせに対してなされる。従って、図6Aに示すように、内部出力Xにおける総エネルギーレベルX’は、入力1に対する内部出力Xに関するマトリックス係数(先に注記したように、逆数と同じである)をエネルギーレベルに乗算する乗算器617に入力され、入力1での倍率をかけたエネルギー成分X’が出力される。
総エネルギーレベルX’のような2次の値がマトリックス係数のような1次の値で重み付けられるときは、2次の重みが必要であることに注意しなければならない。これは、振幅を得るためにエネルギーの平方根をとることと等価であり、マトリックス係数を振幅に乗算し、計算結果を2乗することでエネルギー値に戻す。
同様に、乗算器619,621,及び623は倍率をかけたエネルギーレベルX’,Z’及びZ’を計算する。各出力(例えばX’とZ’,X’とZ’)に関するエネルギー成分は、混合器625及び627にて、neighbor-compensated_xcorに従い、混合器611及び613に関連して上述したとおり、振幅/パワーが加算される。混合器625及び627の出力は、それぞれ、入力1及びmに対する推定内部エネルギーの総計を表す。複数のモジュール格子の場合は、図2の監視装置201のような監視装置に個の情報が送られるので、監視装置はネイバーレベルを計算することができる。監視装置はその入力につながるすべてのモジュールからの各入力の全内部エネルギーの寄与分をすべて請求し、次に、その入力に接続されているすべての他のモジュールからの全内部エネルギーの寄与分の総計はいくらなのかを、その入力の各々について、各モジュールに連絡する。結果はモジュールのその入力に対するネイバーレベルとなる。ネイバーレベル情報の生成についてはさらに以下に説明する。
入力1及びmに対する全内部エネルギーの寄与分の総計は、各エンドポイント入力に対する過剰エンドポイントエネルギースケールファクター成分を計算するためにモジュールからも必要とされる。図6Bはそのようなスケールファクター成分がどのように計算されるかを示している。分かりやすくするために、1個のエンドポイントに対するスケールファクター成分の計算のみが示されているが、同様の計算が各エンドポイント出力についてなされることが分かる。入力1のような入力に対する全内部エネルギーの寄与分の総計が、混合器又は混合機能629において、同じ入力、この場合は入力1(例えば、乗算器601に入力される図4Bにおける低速平滑器425の出力で得られる入力1における同じ平滑化された全エネルギーレベル)、への平滑化された全入力エネルギーから減算される。減算した結果は、除算器又は除算機能631により同じ入力1への平滑化された全エネルギーレベルにより除算される。除算された結果の平方根は、開平演算器又は開平演算機能633によりなされる。除算器又は除算機能631(及びこの明細書に記載の他の除算器)の動作においてゼロ分母検査を含まなければならないことに注意すべきである。この場合、商はゼロとすることができる。
単独の孤立したモジュールがある場合、このように、ドミナント、フィル、及び過剰エンドポイントエネルギースケールファクター成分を計算することによりエンドポイントの仮のスケールファクター成分を計算する。従って、エンドポイントを含むすべてのチャンネルは割り当てられたスケールファクターを持ち、これらを信号経路のマトリックスを計算するために用いることができる。しかし、複数のモジュールが格子状にある場合、各々はそれに入力される各入力に対するエンドポイントスケールファクターに対する割り当てを持つので、接続された2以上の入力の各々は、各々に接続されたモジュールからの複数のスケールファクターの割付を有する。この場合、図2及び3に関連して上述したように、(図2の監視装置201のような)監視装置が、「エンドポイント」チャンネルの最後の、4番目の、仕事を行い、監視装置は、エンドポイントスケールファクターとして各モジュールによりなされたすべてのスケールファクターの割り当てより優位に立つ採集のエンドポイントスケールファクターを決定する。特定の構成においては、このようなことがしばしば生じるのであるが、エンドポイント位置に対応する現実の出力チャンネル方向が定まらない。もし、物理的なエンドポイントチャンネルがないが、エンドポイントの向こうに少なくとも1つの物理的なチャンネルがあるのなら、それがドミナントな信号成分であるかのように、エンドポイントのエネルギーはエンドに最も近い物理的チャンネルに移行する。水平配列において、これは、エンドポイント位置に最も近い2個のチャンネルであるが、定エネルギー分配を用いることが好ましい(2個のスケールファクターの2乗和は1.0である)。言い換えると、サウンドの方向が真のサウンドチャンネルの位置に対応しない場合は、その方向がエンドポイント信号であったとしても、もしサウンドがゆっくり動いたとき、1つの出力チャンネルから別のチャンネルに突然飛び移ってしまうので、最も近い実際に使用可能なチャンネルの対にそれを移行することが好ましい。従って、物理的なエンドポイントサウンドチャンネルがないとき、エンドポイントの向こうに物理的なチャンネルがない限りエンドポイントの位置に最も近いサウンドチャンネルにエンドポイント信号を移行することは適切ではなく、このような場合は、エンドポイント位置に近接した1つのサウンドチャンネルに移行するしか選択の余地はない。
このような移行を実行するもうひとつの方法は、図2の監視装置201のような監視装置に各入力は又対応する出力チャンネルを持つという前提に基づいて「最終的な」スケールファクターを生成させることである。そうすれば、図2の可変マトリックス203のような出力マトリックスにより、入力チャンネルに直接対応する実際の出力がない場合に、1以上の適切な出力チャンネルに出力チャンネルを位置づけることができる。
上述の通り、「スケールファクター成分計算」装置又は機能455,457,及び459の各出力は、それぞれ正規化装置又は機能461,463,及び465に入力する。最終的な信号経路マトリックスは(複数モジュールではマスターマトリックスにおいて、孤立モジュールではローカルマトリックスにおいて)ネイバー補正がなされていないレベルで行うのに対し(マトリックスに入力する信号がネイバー補正されていない)、ブロック455,457,及び459により計算されるスケールファクター成分はネイバー補正がなされたレベルに基づくので、このような正規化装置が好ましいのである。一般に、スケールファクター成分は正規化装置により減少する。
正規化装置を実行させる適切な方法の1つは以下の通りである。各正規化装置は、(混合器431及び433からとして)モジュールの入力へのネイバー補正された平滑化された入力エネルギーと、(ブロック425及び427からとして)モジュールの入力へのネイバー補正されていない平滑化された入力エネルギーと、ローカルマトリックスからのローカルマトリックス係数情報と、ブロック455,457,及び459からのそれぞれの出力とを受信する。各正規化装置は、各出力チャンネルに対して好ましい出力を計算し、スケールファクターを1.0と仮定して、各出力チャンネルに対する実際の出力レベルを計算する。次に、各正規化装置は、各出力チャンネルに対する好ましい出力を各出力チャンネルに対する実際に計算した出力レベルで除算し、その商の平行根を算出して「合計又は最大値」467へ入力する可能性のある仮のスケールファクターを得る。以下の例を考えてみる。
2個の入力モジュールのネイバー補正されていない平滑化された入力エネルギーレベルが6と8であると仮定し、対応するネイバー補正されたエネルギーレベルが3と4であると仮定する。また、マトリックス係数=(0.71,0.71)、すなわち(0.5,0.5)の平方根、を有する中央の内部出力チャンネルを仮定する。もしモジュールがこのチャンネルに対する初期スケールファクターとして(ネイバー補正されたレベルに基づき)0.5、すなわち0.25の平方根、を選定したとすると、このチャンネルの好ましい出力レベルは(分かりやすくするため純粋なエネルギー和を仮定しネイバー補正されたレベルを用いて)、
.25 * (3 * .5 + 4 * .5) = 0.875
実際の入力レベルは6と8なので、上記スケールファクター0.25(の平方根)は最終的な信号経路マトリックスに用いられ、その出力は、0.875の好ましい出力レベルに代わって、
.25 * (6 * .5 + 8 * .5) = 1.75
正規化装置は、ネイバー補正されていないレベルが用いられているとき好ましい出力レベルを得るためにスケールファクターを調整する。
実際の出力は、SF = 1と仮定して、= (6 * .5 + 8 * .5) = 7.
(好ましい出力レベル)/(SF = 1と仮定した実際の出力)= 0.875 / 7.0 = 0.125 = 開平演算された最終スケールファクター
初期の計算値0.5に代わって、出力チャンネルに対する最終のスケールファクター= sqrt(0.125) = 0.354となる。
「合計及び/又は最大値」467は、サブ帯域毎の各出力チャンネルに対応するフィルスケールファクター成分とエンドポイントスケールファクター成分とを合計し、サブ帯域毎の各出力チャンネルに対応するフィルスケールファクター成分とエンドポイントスケールファクター成分の内の大きいほうを選択することが好ましい。好ましい形式における「合計及び/又は最大値」ブロック467の機能は図7に示すように特徴づけられる。すなわち、ドミナントスケールファクター成分とフィルスケールファクター成分とは、各出力へのスケールファクター成分の大きいほうを選択して(大きいほう701)、それらを各出力への過剰エンドポイントスケールファクターに大きいほう701のスケールファクター成分を加える付加的な混合器又は混合機能703に入力する装置又は機能701に入力する。あるいは、「合計及び/又は最大値」467が、(1)領域1と領域2の両方において加算する、(2)領域1と領域2のどちらか大きいほうを取る、又は(3)領域1と領域2の合計のうちの最大値を選択するとき、満足できる結果を得ることができる。
図8は、本発明の特徴により相関係数の測定に応答してスケールファクター成分をどのように生成するかを理想化して示したものである。この図は図9Aと9Bから図16Aと16Bまでの例を参照するときに特に有用である。上述のように、スケールファクター成分を生成することにより動作における2つの領域又は形態を持つと考えられる。すなわち、有用なスケールファクター成分がドミナントスケールファクター成分とフィルスケールファクター成分との混合となっている、「全部ドミナント」と「等しくフィル」とで囲まれた領域である最初の領域、領域1と、有用なスケールファクター成分がフィルスケールファクター成分と過剰エンドポイントエネルギースケールファクター成分との混合となっている、「等しくフィル」と「全部エンドポイント」とで囲まれた領域である2番目の領域、領域2である。direction-weighted_xcorがゼロのとき「全部ドミナント」の境界的状態が発生する。領域1(ドミナントとフィル)はdirection-weighted_xcorがrandom_xcorと等しくなる点、「等しくフィル」状態、まで延びている。direction-weighted_xcorがゼロのとき「全部エンドポイント」の境界的状態が発生する。領域2(フィルとエンドポイント)は「等しくフィル」の境界的状態から「全部エンドポイント」の境界的状態まで延びている。「等しくフィル」の境界点は、領域1にも領域2にもあると考えることができる。以下に説明するように、厳密な境界点は重要ではない。
図8に示すように、ドミナントスケールファクター成分の値が減衰するにつれて、フィルスケールファクター成分の値は増加しドミナントスケールファクター成分がゼロの値に到達したとき最大値となり、この点で、フィルスケールファクター成分の値が減少するにつれて、過剰エンドポイントエネルギースケールファクター成分の値が増大する。入力モジュールの入力信号を受け取る適切なマトリックスに適用されたとき、その結果は、入力信号が高い相関を持つときコンパクトな音像をもたらし、相関が下がってゆくにつれて音像がコンパクトな状態から広くなってゆき、相関がさらに高い非相関にまで下がり続けてゆくにつれて、広い状態から、各エンドポイントでの複数の音像へ徐々に分裂または湾曲してゆく出力信号配分となる。
完全な相関があるとき空間的にコンパクトな音場が(入力信号の公称の現行の主要な方向に)あることが好ましく、完全に非相関のときは空間的にコンパクトな複数の音場が(各々エンドポイントに)あることが好ましいが、これらの極端な場合の間で空間的に広がる音場が、図8で示したような方法とは違った方法で達成される。例えば、フィルスケールファクター成分の値がrandom_xcor=direction-weighted_xcorのときに最大値に達し、あるいはこれらの3個のスケールファクター成分の値が図に示すように直線的に変化することは重要ではない。高い相関から高い非相関までの相関係数の計測値に対応して、コンパクトなドミナント信号配分から広く分裂したコンパクトなエンドポイント信号配分までを生成することができる、相関係数の適切な計測とスケールファクター値との、図8に示す関係(及び図に下線を引いて示した等式)及び他の関係の修正について、本発明でも考慮している。例えば、上述したような、2つの領域を採用する方法により、コンパクトなドミナント信号配分から広く分裂したコンパクトなエンドポイント信号配分までを得る代わりに、擬似逆行列に基づく解法のような数学的方法により同様の結果を得ることができる。
出力スケールファクターの例
図9Aと9Bから図16Aと16Bまでに、理想化された実施形態として、入力信号状態の様々な例に対するモジュールの出力スケールファクターが描かれている。分かりやすくするために、単独の独立したモジュールが仮定されているので、可変マトリックスに対してモジュールにより生成されるスケールファクターは最終的なものとなる。このモジュールと対応する可変マトリックスは、(左Lと右Rのような)2個のエンドポイント出力チャンネルと符合する(同じく左Lと右Rのような)2個の入力チャンネルを持っている。この一連の例では、(左中央Lm,中央C,及び右中央Rmのような)3個の内部出力チャンネルがある。
「全部ドミナント」、「ドミナントとフィルの混合」、「等しくフィル」、「フィルとエンドポイントの混合」、及び「全部エンドポイント」の意味は、図9Aと9Bから図16Aと16Bまでの例でさらに示される。図(例えば9Aと9B)の各組において、「A」の値は2つの入力、左Lと右Rのエネルギーレベルを示し、「B」の値は五個の出力、左L,左中央LM,中央C,右中央RM,及び右Rのスケールファクター成分を示す。この図は実際の数値を示すものではない。
図9Aにおいて、2つの垂直の矢印で示した入力エネルギーレベルは等しい。さらに、両方のdirection-weighted_xcor(及びeffective_xcor)は1.0である。この例において、中央の内部チャンネルC出力に適用され、空間的にコンパクトなドミナント信号となる、C点での単一の垂直の矢として図9Bに示した唯一のゼロでないスケールファクターが存在する。この例では、出力は中央に集中し(L/R=1)、従って、偶然中央内部出力チャンネルCと符合する。もし符合する出力チャンネルがない場合は、ドミナント信号がその間の適切な仮想的位置に移行するように、ドミナント信号は最も近い出力チャンネルに適切な比で分配され利用される。もし、例えば、中央出力チャンネルCがなかった場合は、左中央LMの出力チャンネルと右中央RMの出力チャンネルがゼロでないスケールファクターを持ち、LM出力とRM出力にドミナント信号を平等に適用するであろう。このような完全な相関(全てドミナント信号)の場合、フィル信号成分もエンドポイント信号成分も存在しない。従って、ブロック467(図4C)で生成される仮のスケールファクターはブロック461で生成される正規化されたドミナントスケールファクター成分と同じである。図10Aでは、入力エネルギーレベルは等しいが、direction-weighted_xcorは、1より小さくrandom_xcorより大きい。従って、スケールファクター成分は領域1すなわち、ドミナントスケールファクター成分とフィルスケールファクター成分の混合となる。(ブロック461からの)大きな正規化されたドミナントスケールファクター成分と(ブロック467からの)正規化されたフィルスケールファクター成分とは、(ブロック467により)各出力チャンネルに出力され、ドミナントスケールファクターは図10Bにおいて同じであるが小さく中央出力チャンネルCに位置づけられ、フィルスケールファクターは他の出力チャンネル、L,LM,RM,及びR(エンドポイントL及びRを含む)の各々に現れる。
図11Aでは、入力エネルギーレベルは等しいが、direction-weighted_xcor=random_xcorである。従って、図11Bのスケールファクターは、領域1と領域2の境界における値、すなわち、ドミナントスケールファクターもエンドポイントスケールファクターもなく、各出力において同じ長さの矢印で示した、各出力で同じ値を持つフィルスケールファクターだけがある、等しくフィルされた状態となる。フィルスケールファクターのレベルは本例において最大値に達する。以下に説明するように、フィルスケールファクターは、入力信号状態に応じて傾きを持たせたりするような、一様でない出力となることがある。
図12Aでは、入力エネルギーレベルは等しいが、direction-weighted_xcorがrandom_xcorより小さくゼロより大きい(領域2)。従って、図12Bに示すように、フィルスケールファクトーとエンドポイントスケールファクターは存在するが、ドミナントスケールファクターは存在しない。
図13Aでは、入力エネルギーレベルは等しいが、direction-weighted_xcorがゼロである。従って、図13Bに示すように、スケールファクターは全てエンドポイント境界状態になる。内部に出力スケールファクターはなく,エンドポイントスケールファクターのみとなる。
図9A/9Bから図16A/16Bまでの例において、2個の入力のエネルギーレベルが等しいので、(図4Bのブロック441から生成されたような)direction-weighted_xcorは(図4Bのブロック439から生成されたような)neighbor-compensated_xcorと同じである。しかしながら、図14Aにおいて、入力エネルギーレベルは等しくない(LはRより大きい)。この例でneighbor-weighted_xcorはrandom_xcorに等しいが、図14Bに示すスケールファクターは、図11Aと11Bの例のようにフィルスケールファクターは平等に全てのチャンネルに出力されてはいない。その代わり、一様でない入力エネルギーレベルにより、direction-weighted_xcorにおいて、neighbor-compensated_xcorより大きくなし、従って、(図8に示すように)スケールファクターが全てのドミナントに対して重み付けるように比例的に(公称の現行の主要な方向が中央位置から離れる程度に比例して)増大させている。強くL又はRに重み付けられた信号は広い幅を持つべきではなく、L又はRチャンネルのエンドポイントの近くにコンパクトな幅を持つべきだから、これは好ましい結果である。図14Bに示す結果としての出力は、R出力よりL出力に近い位置にある(ネイバー補正された方向情報は、この場合、たまたま左中央LMに、ちょうどドミナント成分が位置している)ゼロでない、スケールファクターの振幅を小さくし、エンドポイントスケールファクターのないドミナントスケールファクターである(方向重み付けにより運転状態を図8の(ドミナントとフィルとが混在する)領域1に押し込んでいる)。
図14Bのスケールファクターに対応する5個の出力について、出力は以下のように表現できる。
Lout = Lt (SFL)
MidLout = ((.92) Lt + (.38) Rt )) (SFMidL)
Cout = ((.45) Lt + (.45) Rt )) (SFC)
MidRout = ((.38) Lt + (.92) Rt )) (SFMidR)
Rout = Rt (SFR)
従って、図14Bの例において、MidLout以外の4個の出力に対する各々のスケールファクター(SF)が等しくても(フィル)、LtがRtより大きく(左方向に多くの信号が出力される)、MidLeftにおけるドミナント出力がスケールファクターの指示値より大きいので、対応する信号出力は等しくならない。公称の現行の主要な方向がMidLeft出力チャンネルと符合するので、Rtに対するLtの比がMidLeft種強くチャンネルのマトリックス係数と同じ、すなわち0.92と0.38になる。これらは実際のLtとRtの振幅であると仮定する。出力レベルを計算するために、これらのレベルに対応するマトリックス係数を乗算し、加算し、それぞれのスケールファクターで倍率を掛ける。
出力振幅(output_channel_sub_I)=
sf (i) * (Lt_Coeff (i) * Lt + Rt_Coeff (i) * Rt
振幅と追加エネルギーを混合する(図6Aに関連する計算のように)ことを考慮することが好ましいとしても、この例では相関係数がかなり高く(ドミナントスケールファクターが大きい)、通常の加算が以下のようになされる。
Lout = 0.1 * (1 * 0.92 + 0 * 0.38) = 0.092
MidLout = 0.9 * (0.92 * 0.92 + 0.38 * 0.38) = 0.900
Cout = 0.1 * (0.71 * 0.92 + 0.71 * 0.38) = 0.092
MidRout = 0.1 * (0.38 * 0.92 + 0.92 * 0.38) = 0.070
Rout = 0.1 * (0 * 0.92 + 1 * 0.38) = 0.038
このように本例では、これらの出力に対するスケールファクターが等しいにもかかわらずLtがRtより大きいので、Lout,Cout,MidRout,及びRoutにおける信号出力が等しくならないことを示している。
図10B,11B,12B,及び14Bに示すようにフィルスケールファクターは出力チャンネルに平等に分配してもよい。あるいは、フィルスケールファクター成分を、一様にするよりむしろ、(相関のある)ドミナント入力信号成分及び/又は(相関のない)エンドポイント入力信号成分の関数(又は、等価的に、direction-weighted_xcor値の関数)のような方法で、位置を変化させてもよい。例えば、適度に高いdirection-weighted_xcorの値に対して、公称の現行の主要な方向に近い出力チャンネルが遠いチャンネルより多くの信号を受け取るように、フィルスケールファクター成分を凸状に曲げてもよい。direction-weighted_xcor=random_xcorの場合は、フィルスケールファクター成分を、平等な分配とするために平らにし、direction-weighted_xcor<random_xcorの場合は、振幅を凹状に曲げて、エンドポイント方向のチャンネルに有利に働くようにしてもよい。
このように曲線状にしたフィルスケールファクターの振幅の例は、図15Bと図16Bに示されている。図15Bは、上述の図10Aと同じ入力(図15A)から得られた結果を出力したものである。図16Bは、上述の図12Bと同じ入力(図16A)から得られた結果を出力したものである。
ネイバーレベルと順位の高いネイバーレベルとに関するモジュールと監視装置との通信
図1及び2の例のような複数モジュール構成における各モジュールは、各モジュールと図2の監視装置201のような監視装置との間の通信をサポートするために以下の2つの機構を必要とする。
(a)1つは、監視装置がネイバーレベルと順位の高いネイバーレベル(もしあれば)を計算するために必要な情報を選択して報告することである。監視装置により必要とされる情報は、例えば図6Aの構成により生成されたモジュールの各入力に帰属する推定内部エネルギーの総計である。
(b)他の1つは、監視装置からネイバーレベル(もしあれば)と順位の高いネイバーレベル(もしあれば)を受信して適用することである。図4Bの例では、混合器431及び433のそれぞれにおいて、各入力における平滑化されたエネルギーレベルからネイバーレベルを減算し、混合器431,433,及び435のそれぞれにおいて、各入力における平滑化されたエネルギーレベル及びチャンネル間にまたがる共通エネルギーからネイバーレベルを減算する。
一旦監視装置が各モジュールにおける各入力の推定内部エネルギー寄与度の総計が分かると、
(1)各入力の推定内部エネルギー寄与度の総計がその入力における利用可能な信号レベルを超えているかどうかを決定する。もし総計が利用可能な総量を超えている場合は、監視装置は、総計を計算するためにその入力に接続された各モジュールから報告された各内部エネルギーに倍率を掛ける。
(2)各入力におけるネイバーレベルを、その入力について他の全てのエネルギー寄与度の総計として各モジュールに通知する。
高順位(HO)ネイバーレベルとは低順位のモジュールと入力を共有するそれより1段階以上高い順位のネイバーレベルである。ネイバーレベルの上記計算は、全ての3入力モジュール(もしあれば)、続いて全ての2入力モジュールというように、同じ階層の特定の入力におけるモジュールにのみに関係する。モジュールのOHネイバーレベルとは、その入力におけるより高順位の全てのモジュールのネイバーレベルの総計である。(すなわち、2入力モジュールの入力におけるHOネイバーレベルとは、2入力モジュールのノードを共有する3番目、4番目、及びもしあれば、それ以上の階層のモジュールの総計である)。一旦モジュールの入力における特定のHOネイバーレベルが求まると、モジュールは、同じ階層レベルのネイバーレベルと共に、その入力エネルギーレベルから減算しその入力ノードにおけるネイバー補正されたレベルを算出する。これは図4Bに示されており、ここでは、入力1と入力mのネイバーレベルは混合器431及び433において可変低速平滑器425及び427の出力から減算され、入力1と入力mと共通エネルギーとに対する高順位のネイバーレベルは混合器431,433,及び435において、可変低速平滑器425,427,及び429の出力からそれぞれ減算される。補正のためのネイバーレベルの使用とHOネイバーレベルの使用との1つの差異は、HOネイバーレベルは複数の入力チャンネルにまたがる共通エネルギーの補正にも使える点である(例えば、HOネイバーレベルでの減算が混合器435でなされる)。この差異の理論的根拠は、モジュールの共通レベルは同じ階層の隣接するモジュールの影響を受けず、モジュールの全ての入力を共有するより高い階層のモジュールの影響を受ける可能性があるからである。
例えば、入力チャンネルLs(左サラウンド),Rs(右サラウンド),及び上部に内部出力チャンネルがこれらが形成する三角形の中央部(上部の集団後部)にあり、それに加えて、内部出力チャンネルがLsとRsのなす直線上(水平集団後部)にある状態を仮定すると、前者の出力チャンネルは3個の入力全部の共通信号を復元するためには3入力モジュールを必要とする。また、後者の出力チャンネルは2個の入力(LsとRs)の間の直線上にあるので、2入力モジュールを必要とする。しかしながら、2入力モジュールにより観測される共通信号レベルの総量には、後者の出力チャンネルに属さない3入力モジュールの共通要素が含まれているので、どれだけの量の共通エネルギーが内部チャンネル(既述の後者)に起因するものであるかを決定するために2入力モジュールの共通エネルギーから一対をなすHOネイバーレベルの平方根を減算する。従って、図4Bにおいて、neighbor-compensated_xcorを(ブロック439にて)計算するためにモジュールで用いるネイバー補正された共通エネルギーレベルを(混合器435)から出力させるために、(ブロック429からの)平滑化された共通エネルギーレベルは、そこから、導き出されたHO共通レベルが減算される。
本発明及びその種々の形態は、アナログ回路として、あるいは、さらに高い可能性で、ディジタルシグナルプロセッサ、プログラムを組み込んだ汎用ディジタルコンピュータ及び/又は特殊用途のディジタルコンピュータにより形成されたソフトウエアファンクションとして実現される。アナログ信号とデジタル信号との信号の流れのインターフェースは、それに適したハードウェア及び/又はソフトウエアにおける機能及び/又はファームウエアで実行される。本発明及びその種々の形態では、アナログ信号又はデジタル信号を用いるが、ほとんどの又は全ての処理機能における実際の応用においては、オーディオ信号がサンプリングされて存在するデジタル信号の流れにおけるデジタル領域において実行されるであろう。
本発明及びその種々の形態の変更又は修正による他の実施形態は、当業者にとって明らかであり、本発明は具体的に記載された実施の形態に限定されないことは了解されるべきである。従って、本質的に内在するここに開示され請求された精神と範囲に含まれる全ての修正、変更、又は均等物は本発明の技術範囲内にあると考えられる。
部屋の壁の周りに水平に配列した16のチャンネル配列と、該水平配列上部の円周に置かれた6個のチャンネル配列と単一のチャンネルを採用した試験的に構成したデコーダーの理想化された配置を示す概略平面図である。 図1の例で実施された中央監視装置と共に動作する複数のモジュールの複数帯域変換の実施形態を表す機能ブロック図である。 図1の例で実施された中央監視装置と共に動作する複数のモジュールの複数帯域変換の実施形態を表す機能ブロック図である。 図2の監視装置201のような監視装置によりスケールファクターの終点を決定する方法を理解するために有効な機能ブロック図である。 本発明の一形態によるモジュールの機能ブロック図である。 本発明の一形態によるモジュールの機能ブロック図である。 本発明の一形態によるモジュールの機能ブロック図である。 三角形となす入力チャンネル、内側の3個の出力チャンネル、及び主要な方向から成る3入力モジュールの仮想的な構成を示す概略図である。 (1)各入力におけるエネルギーの総計に応じてモジュールの各入力における推定エネルギーの総計を生成するため、及び(2)入力信号の相関計算の結果に応じて、モジュールの各終点における過剰終点エネルギースケールファクター成分を生成するために最適な構成を示す機能ブロック図である。 (1)各入力におけるエネルギーの総計に応じてモジュールの各入力における推定エネルギーの総計を生成するため、及び(2)入力信号の相関計算の結果に応じて、モジュールの各終点における過剰終点エネルギースケールファクター成分を生成するために最適な構成を示す機能ブロック図である。 図4Cの「総和及び/又は大きな」ブロック467の好ましい機能を示した機能ブロック図である。 本発明の機能により相関計算に応答してスケールファクター成分を生成する方法を理想化して示したものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。 様々な入力信号状態の例から得られるモジュールの出力スケールファクターを理想化して描いたものである。

Claims (32)

  1. おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換する方法であって、NはMより大きく、Mは2以上でありNは3以上の正の整数であり、
    M:Nの変数マトリックスを定めるステップと、
    該変数マトリックスにM個のオーディオ入力信号を適用するステップと、
    該変数マトリックスからN個のオーディオ出力信号を導き出すステップと、
    前記入力信号に高い相関関係があるとき、前記出力信号により生成される音場は入力信号の現行の名目上主要な方向にコンパクトな音場を持ち、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、おのおの入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように、入力信号に応答して前記変数マトリックスを制御するステップと、
    を具備するM個のオーディオ入力信号をN個のオーディオ出力に変換する方法。
  2. 上記M:Nの変数マトリックスは、可変係数を持つ変数マトリックス又は固定係数と可変出力を持つ変数マトリックスであり、該変数マトリックスは、該可変係数を変化させることにより又は該可変出力を変化させることにより制御される、請求項1に記載の方法。
  3. 前記変数マトリックスは、
    (1)入力信号の相対値と
    (2)入力信号の相関値と
    の測定値に応答して制御される請求項1に記載の方法。
  4. 最大値と基準値との間で定められた第1の範囲を持つ入力信号の相関係数の測定値に対して、前記音場は、相関係数の測定値が最大値の場合はコンパクトな音場を持ち、相関係数の測定値が基準値の場合は広角に広がった音場を持ち、基準値と最小値との間で定められた第2の範囲を持つ入力信号の相関係数の測定値に対して、前記音場は、相関係数の測定値が基準値の場合は広角に広がった音場を持ち、相関係数の測定値が最小値の場合はおのおの入力方向と関連付けられた方向の複数のコンパクトな音場を持つ、請求項3に記載の方法。
  5. 前記基準値は、前記各出力のエネルギーが等しいときの入力信号の相関係数の測定値にほぼ等しい、請求項4に記載の方法。
  6. 前記入力信号の相対レベルの測定値は、各入力信号の平滑化されたエネルギーレベルに応じたものである請求項3に記載の方法。
  7. 前記入力信号の相関値の測定値は、入力信号の現行の名目上主要な方向である請求項3又は請求項6に記載の方法。
  8. Mは入力数であって、前記入力信号の相関値の測定値は、各入力信号の平滑化されたエネルギーレベルの計算値のM乗根で除算した平滑化された入力信号の共通エネルギーに応じたものである請求項3に記載の方法。
  9. 各入力信号の前記平滑化されたエネルギーレベルは、可変時定数時間領域平滑化により得られる請求項6乃至請求項8のいずれか1項に記載の方法。
  10. 各入力信号の前記平滑化されたエネルギーレベルは、周波数領域平滑化と可変時定数時間領域平滑化により得られる請求項6乃至請求項8のいずれか1項に記載の方法。
  11. 前記入力信号の前記共通エネルギーは、入力振幅レベルの交差積により得られる請求項8に記載の方法。
  12. 前記入力信号の前記平滑化された共通エネルギーレベルは、前記入力信号の前記共通エネルギーを可変時定数時間領域平滑化することにより得られる請求項11に記載の方法。
  13. 各入力信号の前記平滑化されたエネルギーレベルは、可変時定数時間領域平滑化により得られる請求項12に記載の方法。
  14. 前記入力信号の前記平滑化された共通エネルギーレベルは、前記入力信号の前記共通エネルギーを周波数領域平滑化と可変時定数時間領域平滑化することにより得られる請求項11に記載の方法。
  15. 各入力信号の前記平滑化されたエネルギーレベルは、周波数領域平滑化と可変時定数時間領域平滑化により得られる請求項14に記載の方法。
  16. 前記可変時定数時間領域平滑化は、固定時定数と可変時定数の両方を持つ平滑化により実行される請求項9、請求項10、請求項12、請求項13、請求項14、及び請求項15のいずれか1項に記載の方法。
  17. 前記可変時定数時間領域平滑化は、可変時定数のみを持つ平滑化により実行される請求項9、請求項10、請求項12、請求項13、請求項14、及び請求項15のいずれか1項に記載の方法。
  18. 前記可変時定数は、段階的に変化する請求項16又は請求項17に記載の方法。
  19. 前記可変時定数は、連続的に変化する請求項16又は請求項17に記載の方法。
  20. 前記可変時定数は、前記入力信号の相対レベルの測定値とそれらの相関係数の測定値とに応じて制御される請求項16又は請求項17に記載の方法。
  21. 各入力信号の前記平滑化されたエネルギーレベルは、実質的に同じ時定数を持つ各入力信号のエネルギーレベルを可変時定数時間領域平滑化することにより得られる請求項6に記載の方法。
  22. 前記入力信号の相対レベルの測定値とそれらの相関係数の測定値とは、各平滑化において同じ時定数を適用する可変時定数時間領域平滑化により得られる請求項3に記載の方法。
  23. 前記相関係数の測定値は前記入力信号の相関係数の最初の測定値であり、方向重み付けがなされた相関係数を算出するために相関係数の前記最初の測定値に前記入力信号の相対レベルによる指標を適用することにより追加の相関係数の測定値が得られる請求項8に記載の方法。
  24. 前記入力信号の追加の相関係数の測定値は、前記各出力のエネルギーが等しいときの入力信号の相関係数の測定値にほぼ等しいスケールファクターを適用することにより得られる請求項23に記載の方法。
  25. おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換する方法であって、NはMより大きく、Mは3以上であり、
    mがMのサブセットでありnがNのサブセットであるm:nの変数マトリックスを定めるステップと、
    該変数マトリックスにM個のオーディオ入力信号を適用するステップと、
    該変数マトリックスの各々からN個のオーディオ出力信号のそれぞれのサブセットを導き出すステップと、
    該変数マトリックスから導き出された出力信号のそれぞれのサブステップにより生成された音場は、前記入力信号に高い相関関係があるとき音場に適用された入力信号のサブセットの現行の名目上主要な方向にコンパクトな音場を持ち、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、前記変数マトリックスに適用する入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように、前記変数マトリックスに適用する入力信号のサブセットに応答して前記変数マトリックスの各々を制御するステップと、
    N個の出力チャンネルのサブセットからN個のオーディオ出力信号を導き出すステップと、
    を具備するM個のオーディオ入力信号をN個のオーディオ出力に変換する方法。
  26. 前記変数マトリックスは、同じ入力信号を受け取る1以上の他の変数マトリックスの効果を補正する情報に応答して制御される請求項25に記載の方法。
  27. N個の出力チャンネルのサブセットからN個のオーディオ出力信号を導き出すステップには、同じ出力信号を生成する複数の変数マトリックスを補正するステップが含まれる請求項25又は請求項26に記載の方法。
  28. 前記変数マトリックスの各々は、
    (a)該変数マトリックスに適用される前記入力信号の相対レベルと、
    (b)該入力信号の相関係数と、
    に応答して制御される請求項25乃至請求項27のいずれか1項に記載の方法。
  29. おのおの方向と関連付けられたM個のオーディオ入力信号を、おのおの方向と関連付けられたN個のオーディオ出力に変換する方法であって、NはMより大きく、Mは3以上であり、
    マトリックス係数又はマトリックス出力をコントロールするスケールファクターに対応するM:N変数マトリックスを定めるステップと、
    該変数マトリックスにM個のオーディオ入力信号を適用するステップと、
    mがMのサブセットであり、nがNのサブセットである複数のm:n変数マトリックススケールファクター生成系を定めるステップと、
    M個のオーディオ入力信号のそれぞれのサブセットを各変数マトリックススケールファクター生成系に適用するステップと、
    該変数マトリックススケールファクター生成系の各々からN個のオーディオ出力信号のそれぞれのサブセットに対する一組の変数マトリックススケールファクターを導き出すステップと、
    変数マトリックススケールファクター生成系により生成されたスケールファクターをM:N変数マトリックスに適用した時、このような入力信号が高い相関関係があるとき生成された出力信号のそれぞれのサブセットにより生成された音場がスケールファクターを適用することにより生成された入力信号のサブセットの現行の名目上主要な方向にコンパクトな音場を持つように、前記相関関係が下がるにつれて前記音場がコンパクトから広角へと広がり、前記相関関係が高い非相関状態になるまで下がり続けるにつれて、おのおのスケールファクターを適用することにより生成された入力方向と関連付けられた方向の複数のコンパクトな音場に徐々に分かれるように、変数マトリックスに適用した入力信号のサブセットに応答して変数マトリックススケールファクター生成系の各々を制御するステップと、
    前記変数マトリックスからN個のオーディオ出力を導き出すステップと、
    を具備するM個のオーディオ入力信号をN個のオーディオ出力に変換する方法。
  30. 前記変数マトリックススケールファクター生成系は、同じ入力信号を受け取る1以上の他の変数マトリックススケールファクター生成系の効果を補正する情報に応答して制御される請求項29に記載の方法。
  31. 変数マトリックスからN個のオーディオ出力信号を導き出すステップには、同じ出力信号のスケールファクターを生成する複数の変数マトリックススケールファクター生成系を補正するステップが含まれる請求項29又は請求項30に記載の方法。
  32. 前記各変数マトリックススケールファクター生成系は、
    (a)前記変数マトリックスに適用される入力信号の相対レベルと、
    (b)該入力信号の相関係数と、
    に応答して制御する請求項29乃至請求項31のいずれか1項に記載の方法。
JP2004530877A 2002-08-07 2003-08-06 オーディオチャンネルの空間的変換 Expired - Lifetime JP4434951B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40198302P 2002-08-07 2002-08-07
PCT/US2003/024570 WO2004019656A2 (en) 2001-02-07 2003-08-06 Audio channel spatial translation

Publications (3)

Publication Number Publication Date
JP2005535266A true JP2005535266A (ja) 2005-11-17
JP2005535266A5 JP2005535266A5 (ja) 2009-11-12
JP4434951B2 JP4434951B2 (ja) 2010-03-17

Family

ID=33489220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004530877A Expired - Lifetime JP4434951B2 (ja) 2002-08-07 2003-08-06 オーディオチャンネルの空間的変換

Country Status (17)

Country Link
EP (1) EP1527655B1 (ja)
JP (1) JP4434951B2 (ja)
KR (1) KR100988293B1 (ja)
CN (1) CN1672464B (ja)
AT (1) ATE341923T1 (ja)
AU (1) AU2003278704B2 (ja)
BR (2) BR0305746A (ja)
CA (1) CA2494454C (ja)
DE (1) DE60308876T2 (ja)
DK (1) DK1527655T3 (ja)
ES (1) ES2271654T3 (ja)
HK (1) HK1073963A1 (ja)
IL (1) IL165941A (ja)
MX (1) MXPA05001413A (ja)
MY (1) MY139849A (ja)
PL (1) PL373120A1 (ja)
TW (1) TWI315828B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509600A (ja) * 2004-08-03 2008-03-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚の情景分析を用いたオーディオ信号の結合
JP2008521046A (ja) * 2004-11-23 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声データ処理装置及び方法、コンピュータプログラム要素並びにコンピュータ可読媒体
JP5314129B2 (ja) * 2009-03-31 2013-10-16 パナソニック株式会社 音響再生装置及び音響再生方法
JP5323210B2 (ja) * 2010-09-30 2013-10-23 パナソニック株式会社 音響再生装置および音響再生方法
JP2016527805A (ja) * 2013-07-22 2016-09-08 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法
JP2016530788A (ja) * 2013-07-22 2016-09-29 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090120B2 (en) 2004-10-26 2012-01-03 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
TWI397901B (zh) * 2004-12-21 2013-06-01 Dolby Lab Licensing Corp 控制音訊信號比響度特性之方法及其相關裝置與電腦程式
US8214220B2 (en) 2005-05-26 2012-07-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
WO2007004833A2 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
JP2009500657A (ja) 2005-06-30 2009-01-08 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
EP1946294A2 (en) 2005-06-30 2008-07-23 LG Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US7765104B2 (en) 2005-08-30 2010-07-27 Lg Electronics Inc. Slot position coding of residual signals of spatial audio coding application
KR20080049735A (ko) 2005-08-30 2008-06-04 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
US7788107B2 (en) 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
US8577483B2 (en) 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
US7672379B2 (en) 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
US7696907B2 (en) 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7646319B2 (en) 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR100857120B1 (ko) 2005-10-05 2008-09-05 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
US7751485B2 (en) 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
WO2007040365A1 (en) 2005-10-05 2007-04-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7716043B2 (en) 2005-10-24 2010-05-11 Lg Electronics Inc. Removing time delays in signal paths
US7752053B2 (en) 2006-01-13 2010-07-06 Lg Electronics Inc. Audio signal processing using pilot based coding
US7965848B2 (en) 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
US8583424B2 (en) * 2008-06-26 2013-11-12 France Telecom Spatial synthesis of multichannel audio signals
US9628934B2 (en) 2008-12-18 2017-04-18 Dolby Laboratories Licensing Corporation Audio channel spatial translation
CN101527874B (zh) * 2009-04-28 2011-03-23 张勤 一种动声声场系统
TWI444989B (zh) * 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
WO2013141768A1 (en) * 2012-03-22 2013-09-26 Dirac Research Ab Audio precompensation controller design using a variable set of support loudspeakers
JP6962192B2 (ja) * 2015-06-24 2021-11-05 ソニーグループ株式会社 音声処理装置および方法、並びにプログラム
CN106604199B (zh) * 2016-12-23 2018-09-18 湖南国科微电子股份有限公司 一种数字音频信号的矩阵处理方法及装置
US11019449B2 (en) * 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
CN117809663A (zh) * 2018-12-07 2024-04-02 弗劳恩霍夫应用研究促进协会 从包括至少两个声道的信号产生声场描述的装置、方法
TWI740206B (zh) * 2019-09-16 2021-09-21 宏碁股份有限公司 訊號量測的校正系統及其校正方法
CN114327040A (zh) * 2021-11-25 2022-04-12 歌尔股份有限公司 振动信号生成方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659619A (en) * 1994-05-11 1997-08-19 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US6009179A (en) * 1997-01-24 1999-12-28 Sony Corporation Method and apparatus for electronically embedding directional cues in two channels of sound
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
AUPP271598A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
EP1054575A3 (en) * 1999-05-17 2002-09-18 Bose Corporation Directional decoding

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509600A (ja) * 2004-08-03 2008-03-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚の情景分析を用いたオーディオ信号の結合
JP4740242B2 (ja) * 2004-08-03 2011-08-03 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚の情景分析を用いたオーディオ信号の結合
JP2008521046A (ja) * 2004-11-23 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声データ処理装置及び方法、コンピュータプログラム要素並びにコンピュータ可読媒体
JP5314129B2 (ja) * 2009-03-31 2013-10-16 パナソニック株式会社 音響再生装置及び音響再生方法
JP5323210B2 (ja) * 2010-09-30 2013-10-23 パナソニック株式会社 音響再生装置および音響再生方法
JP2016530788A (ja) * 2013-07-22 2016-09-29 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム
JP2016527805A (ja) * 2013-07-22 2016-09-08 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法
US9936327B2 (en) 2013-07-22 2018-04-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
US10154362B2 (en) 2013-07-22 2018-12-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for mapping first and second input channels to at least one output channel
US10701507B2 (en) 2013-07-22 2020-06-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for mapping first and second input channels to at least one output channel
US10798512B2 (en) 2013-07-22 2020-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
US11272309B2 (en) 2013-07-22 2022-03-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for mapping first and second input channels to at least one output channel
US11877141B2 (en) 2013-07-22 2024-01-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration

Also Published As

Publication number Publication date
EP1527655A2 (en) 2005-05-04
CA2494454C (en) 2013-10-01
DE60308876T2 (de) 2007-03-01
BRPI0305746B1 (pt) 2018-03-20
MXPA05001413A (es) 2005-06-06
TW200404222A (en) 2004-03-16
PL373120A1 (en) 2005-08-08
MY139849A (en) 2009-11-30
HK1073963A1 (en) 2005-10-21
DK1527655T3 (da) 2007-01-29
KR20050035878A (ko) 2005-04-19
BR0305746A (pt) 2004-12-07
AU2003278704B2 (en) 2009-04-23
CN1672464A (zh) 2005-09-21
KR100988293B1 (ko) 2010-10-18
CA2494454A1 (en) 2004-03-04
JP4434951B2 (ja) 2010-03-17
TWI315828B (en) 2009-10-11
CN1672464B (zh) 2010-07-28
IL165941A (en) 2010-06-30
EP1527655B1 (en) 2006-10-04
IL165941A0 (en) 2006-01-15
ES2271654T3 (es) 2007-04-16
DE60308876D1 (de) 2006-11-16
ATE341923T1 (de) 2006-10-15
AU2003278704A1 (en) 2004-03-11

Similar Documents

Publication Publication Date Title
JP4434951B2 (ja) オーディオチャンネルの空間的変換
US11805379B2 (en) Audio channel spatial translation
US7660424B2 (en) Audio channel spatial translation
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
TWI451772B (zh) 中央聲道音訊呈現技術
US9197977B2 (en) Audio spatialization and environment simulation
JP2021061631A (ja) 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
WO2004019656A2 (en) Audio channel spatial translation
JP2004526355A (ja) オーディオチャンネル変換方法
AU2018203746A1 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
CN112019993B (zh) 用于音频处理的设备和方法
JP2022502872A (ja) 低音マネジメントのための方法及び装置
US7330552B1 (en) Multiple positional channels from a conventional stereo signal pair
JP2018029306A (ja) チャンネル数変換装置およびそのプログラム
JP2017163458A (ja) アップミックス装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090721

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090728

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20090917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091222

R150 Certificate of patent or registration of utility model

Ref document number: 4434951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term