JP2011518342A - 入力データストリームのミキシング及びそこからの出力データストリームの生成 - Google Patents

Abstract

複数の入力データストリーム（５１０）をミキシングするための装置（５００）が説明される。入力データストリーム（５１０）の各々が、スペクトル領域のオーディオデータのフレーム（５４０）を含んでおり、入力データストリーム（５１０）のフレーム（５４０）が、複数のスペクトル成分についてのスペクトル情報を含んでいる。この発明の装置は、複数の入力データストリーム（５１０）のフレーム（５４０）を比較するように構成された処理ユニット（５２０）を備えている。処理ユニット（５２０）は、比較結果に基づいて、出力データストリーム（５３０）の出力フレーム（５５０）のスペクトル成分について、複数の入力データストリーム（５１０）のうちの正確に１つの入力データストリーム（５１０）を決定するようにさらに構成されている。処理ユニット（５２０）は、決定された入力データストリーム（５１０）のフレーム（５４０）の対応するスペクトル成分の情報の少なくとも一部分をコピーして出力データストリーム（５３０）の出力フレーム（５５０）のスペクトル成分を記述することによって出力データストリーム（５３０）を生成するようにさらに構成されている。これに加え、あるいはこれに代えて、第１の入力データストリーム（５１０−１）及び第２の入力データストリーム（５１０−２）のフレーム（５４０）の制御値を比較して比較結果をもたらすことができ、比較結果が肯定である場合に、出力フレーム（５５０）を含む出力データストリーム（５３０）を、出力フレーム（５５０）が第１及び第２の入力データストリーム（５１０）の制御値に等しい制御値と、オーディオデータをスペクトル領域において処理することによって第１及び第２の入力データストリームのフレームのペイロードデータから導出されたペイロードデータとを含むように生成することができる。
【選択図】 図８

Description

本発明による実施の形態は、出力データストリームを得るための複数の入力データストリームのミキシング、ならびに第１及び第２の入力データストリームをミキシングすることによる出力データストリームの生成に関する。出力データストリームを、例えばビデオ会議システム及びテレビ会議システムなどの会議システムの分野において使用することができる。

多くの用途において、２つ以上のオーディオ信号が、複数のオーディオ信号から１つの信号又は少なくともより少ない数の信号が生成されるような方法で処理される。これは、多くの場合、「ミキシング」と称される。したがって、オーディオ信号のミキシングの処理を、いくつかの個別のオーディオ信号を結果としての信号へと束ねるものと称することができる。このプロセスは、例えば、コンパクトディスクのために楽曲を生成する場合に使用される（「合成録音」）。この場合、典型的には、種々の楽器からの種々のオーディオ信号が、声楽演奏（歌唱）を含む１つ以上のオーディオ信号と一緒に歌曲へとミックスされる。

ミキシングが重要な役割を果たすさらなる応用の分野は、ビデオ会議システム及びテレビ会議システムである。そのようなシステムは、典型的には、登録済みの参加者から到来するビデオ及びオーディオデータを適切にミックスし、得られた信号を各々の参加者へ返送する中央サーバを使用することによって、何人かの空間的に離れた会議の参加者を接続することができる。この得られた信号又は出力信号は他のすべての会議参加者のオーディオ信号を含んでいる。

現代のデジタル会議システムにおいては、いくつかの部分的に相反する目標及び態様が互いに競合する。さまざまな種類のオーディオ信号（例えば、一般的なオーディオ信号及び音楽信号と比べたスピーチ信号）について、再生されるオーディオ信号の品質、ならびにいくつかのコーディング及びデコーディングの技法の適用可能性及び有用可能性を考慮しなければならない。会議システムの設計及び実施の際に考慮が必要であると考えられるさらなる局面は、利用可能な帯域幅及び遅延の問題である。

例えば、品質と帯域幅とをバランスさせるとき、多くの場合に妥協は避けられない。しかしながら、ＡＡＣ−ＥＬＤ技法（ＡＡＣ＝アドバンスト・オーディオ・コーディング；ＥＬＤ＝エンハンスト・ロー・ディレイ）などの最新のコーディング及びデコーディング技法を実施することによって、品質に関する改善を達成することが可能である。しかしながら、達成できる品質は、そのような最新の技法を使用するシステムにおいて、より基本的な問題及び見地による悪影響を受ける。

達成すべき課題を１つだけ挙げると、すべてのデジタル信号伝送は、量子化が必要であるという問題に直面する。そのような量子化は、少なくとも原理的には、ノイズのないアナログシステムにおいて理想的な環境のもとでは回避することができる。量子化プロセスによって、或る量の量子化ノイズが処理対象の信号へ持ち込まれることは避けられない。生じうる可聴なひずみに対処するために、量子化のレベル数を増やし、すなわち量子化の分解能を高めることが考えられる。しかしながら、そのようにすることで、伝送すべき信号値の数が多くなり、伝送すべきデータの量が多くなる。換言すると、量子化ノイズによって持ち込まれる可能性があるひずみを少なくすることによって品質を高めることは、特定の環境下では、伝送されるデータの量を増加させ、伝送システムに課された帯域幅の制約に最終的に違反する可能性がある。

会議システムの場合には、典型的に２つ以上の入力オーディオ信号を処理しなければならないという事実によって、品質、利用可能な帯域幅及び他のパラメータの間のトレードオフを改善するという課題がさらに複雑になる可能性がある。すなわち、会議システムによって生成される出力信号又は得られる信号を生成するときに、２つ以上のオーディオ信号によって課される境界条件を考慮しなければならない可能性がある。

特に、会議の参加者間の直接的なやり取りを、参加者が容認できないと考えるかもしれない実質的な遅延を持ち込むことなく可能にするために、遅延が充分に少ない会議システムを実現するというさらなる課題に照らすと、課題はさらに大きくなる。

遅延の少ない会議システムの実現においては、遅延の原因が、典型的には、それらの数に関して限定され、これが、他方では、オーディオ信号のミキシングをそれぞれの信号の重畳又は加算によって達成できる時間領域の外部でのデータの処理という課題につながりうる。

一般的に言うと、リアルタイムでのミキシングのための諸経費の処理をこなし、必要なハードウェアの量を少なくし、ハードウェア及び伝送の諸経費に関するコストをオーディオの品質を損なうことなく妥当に保つためには、会議システムに適する品質、利用可能な帯域幅及び他のパラメータの間のトレードオフを注意深く選択することが好ましい。

伝送されるデータの量を少なくするために、最新のオーディオコーデックは、それぞれのオーディオ信号のスペクトル成分に関するスペクトル情報を記述するために、高度に洗練されたツールを使用することが多い。心理音響的現象及び調査結果に基づくそのようなツールを利用することによって、伝送データから再現されるオーディオ信号の品質、計算の複雑さ、ビットレート、及びさらなるパラメータなど、部分的に矛盾するパラメータ及び境界条件の間のトレードオフの改善を達成することができる。

そのようなツールの例は、いくつか挙げるならば、例えば聴覚雑音置換（ＰＮＳ）、時間雑音整形（ＴＮＳ）、及びスペクトル帯域複製（ＳＢＲ）である。これらの技法はすべて、スペクトル情報の少なくとも一部分をより少数のビットで記述することで、これらのツールを使用しない場合のデータストリームと比べて、より多くのビットをスペクトルのうちのスペクトル的に重要な部分へと割り当てることができるようにすることに基づいている。結果として、このようなツールを使用することによって、ビットレートをそのままにしつつ、知覚される品質レベルを改善することができる。当然ながら、別のトレードオフも選択可能であり、すなわち全体としてのオーディオの印象を維持しながら、オーディオデータのフレーム毎の伝送ビット数を減らすこともできる。これら２つの極端の間にある種々のトレードオフも、同様に良好に実現することができる。

これらのツールを、電気通信の用途においても使用することができる。しかしながら、そのような通信の状況に３名以上の参加者が存在する場合、３名以上の参加者の２つ以上のビットストリームをミキシングするための会議システムを使用することがきわめて好都合となりうる。このような状況は、純粋にオーディオベースの状況又は電気通信会議の状況とビデオ会議の状況との両方において生じる。

周波数領域で動作する会議システムが、例えばＵＳ２００８／００９７７６４Ａ１に記載されており、そこでは実際のミキシングを周波数領域で実行することで、到来するオーディオ信号の時間領域への再変換を省略している。

しかしながら、そこに記載されている会議システムは、少なくとも１つのスペクトル成分のスペクトル情報をより凝縮された様相で記述できるようにする上述のようなツールの可能性を考慮していない。結果として、そのような会議システムは、会議システムへもたらされるオーディオ信号を少なくともそれぞれのオーディオ信号が周波数領域で存在する程度にまで再現するためのさらなる変換工程を必要とする。さらに、得られるミックス後のオーディオ信号を、上述の追加のツールに基づいて再変換する必要がある。しかしながら、これらの再変換及び変換の工程は、複雑なアルゴリズムの適用を必要とし、結果として計算の複雑さが増す可能性があり、例えば携帯のエネルギーに関して厳しい用途において、エネルギー消費の増大につながり、動作時間が限られる可能性がある。

したがって、本発明による実施の形態が解決しようとする課題は、会議システムに適した品質、利用可能な帯域幅及び他のパラメータの間のトレードオフの改善を可能にし、又は上述のような会議システムにおいて必要な計算の複雑さの軽減を可能にすることにある。

この目的は、請求項１もしくは１２に記載の装置、複数入力データストリームをミキシングするための請求項１０もしくは２６に記載の方法、又は請求項１１もしくは２７に記載のコンピュータープログラムによって達成される。

第１の局面によれば、本発明による実施の形態は、複数の入力データストリームをミキシングする際に、比較に基づいて入力データストリームを決定し、決定された入力データストリームからのスペクトル情報を少なくとも部分的に出力データストリームへコピーすることによって、上述のパラメータ及び目標の間のトレードオフの改善が達成できるという発見に基づいている。１つの入力データストリームから少なくとも部分的にスペクトル情報をコピーすることによって、再量子化を省略することができ、したがって再量子化に関係する再量子化ノイズをなくすことができる。支配的な入力ストリームを決定することができないスペクトル情報の場合には、周波数領域における対応するスペクトル情報のミキシングを、本発明による実施の形態によって実行することができる。

比較は、例えば、心理音響モデルに基づくことができる。さらに、比較は、少なくとも２つの異なる入力データストリームからの共通のスペクトル成分（例えば、周波数又は周波数帯域）に対応するスペクトル情報に関することができる。したがって、チャネル間の比較であってよい。したがって、比較が心理音響モデルに基づく場合に、比較を、チャネル間マスキングを考慮するものと表現することができる。

第２の局面によれば、本発明による実施の形態は、第１の入力データストリームと第２の入力データストリームとをミキシングして出力データストリームを生成する際に実行される作業の複雑さを、それぞれの入力データストリームのペイロードデータに関連付けられた制御値（ペイロードデータが、それぞれのオーディオ信号の対応するスペクトル情報又はスペクトル領域の少なくとも一部をどのように表現しているかを知らせている。）を考慮することによって、軽減できるという発見に基づいている。２つの入力データストリームの制御値が等しい場合には、出力データストリームの該当のフレームにおけるスペクトル領域の方法についての新たな決定を省略でき、代わりに、出力ストリームの生成は、入力データストリームのエンコーダによってすでに調和的に決定された決定に頼ることができ、すなわち入力データストリームからの制御値を採用することができる。制御値によって示される方法に応じて、それぞれのペイロードデータを、時間／スペクトルサンプルにつき１つのスペクトル値を有する通常又は平易な方法などといったスペクトル領域の別の表現方法へと再変換することを回避することさえ可能であり、そのようにすることが好ましい。後者の場合、出力データストリームの対応するペイロードデータと第１及び第２の入力データストリームの制御値に等しい制御値とをもたらすためのペイロードデータの直接的な処理を、ＰＮＳ又はさらに詳しく後述される同様のオーディオの特徴によるなど、「スペクトル領域の表現方法を変更しない」ことを意味する「指向性」によって生成することができる。

本発明の実施の形態による態様においては、制御値は少なくとも１つのスペクトル成分のみに関係する。さらに、本発明による実施の形態においては、そのような作業を、第１の入力データストリーム及び第２の入力データストリームのフレームが、２つの入力データストリームのフレームの適切な並びに関する共通の時間インデックスに対応する場合に、実行することができる。

第１及び第２のデータストリームの制御値が等しくない場合、本発明による実施の形態は、第１及び第２の入力データストリームの一方の１つのフレームのペイロードデータを変換し、他方の入力データストリームのフレームのペイロードデータの表現を得る工程を実行することができる。次いで、出力データストリームのペイロードデータを、変換のペイロードデータ及び他の２つのストリームのペイロードデータに基づいて生成することができる。いくつかの場合には、一方の入力データストリームのフレームのペイロードデータを他方の入力データストリームのフレームのペイロードデータの表現へと変換する本発明による実施の形態を、それぞれのオーディオ信号を平易な周波数領域へと再変換することなく直接的に実行することができる。

本発明による実施の形態を、以下の図面を参照しつつ、以下で説明する。

会議システムのブロック図を示している。 一般的なオーディオコーデックに基づく会議システムのブロック図を示している。 ビットストリームミキシング技術を使用して周波数領域で動作する会議システムのブロック図を示している。 複数のフレームを含んでいるデータストリームの概略図を示している。 スペクトル成分ならびにスペクトルデータ又は情報の異なる形態を示している。 複数の入力データストリームをミキシングするための本発明の実施の形態による装置をさらに詳しく示している。 本発明の実施の形態による図６の装置の動作の態様を示している。 会議システムの文脈において、複数の入力データストリームをミキシングするための本発明のさらなる実施の形態による装置のブロック図を示している。 出力データストリームを生成するための本発明の実施の形態による装置の簡単なブロック図を示している。 出力データストリームを生成するための本発明の実施の形態による装置のさらに詳細なブロック図を示している。 会議システムの文脈において、複数の入力データストリームから出力データストリームを生成するための本発明のさらなる実施の形態による装置のブロック図を示している。 ＰＮＳの実施例について、本発明の実施の形態による出力データストリーム生成装置の動作を示している。 ＳＢＲの実施例について、本発明の実施の形態による出力データストリーム生成装置の動作を示している。 Ｍ／Ｓの実施例について、本発明の実施の形態による出力データストリーム生成装置の動作を示している。

図４から１２Ｃに関して、本発明による種々の実施の形態を、さらに詳しく説明する。しかしながら、これらの実施の形態をさらに詳しく説明する前に、最初に図１から３に関して、会議システムの枠組みにおいて重要になるであろう課題及び要望に照らして、簡単な序論を提示する。

図１は、多地点制御ユニット（ＭＣＵ）とも称することができる会議システム１００のブロック図を示している。その機能に関する説明から明らかになるとおり、図１に示されているような会議システム１００は、時間領域において機能するシステムである。

図１に示されているような会議システム１００は、適切な数の入力１１０−１、１１０−２、１１０−３、・・・（図１には、そのうちの３つだけが示されている。）を介して複数の入力データストリームを受け取るように構成されている。入力１１０の各々は、それぞれのデコーダ１２０へと接続されている。より正確には、第１の入力データストリームのための入力１１０−１が第１のデコーダ１２０−１へ接続され、第２の入力１１０−２が第２のデコーダ１２０−２へ接続され、第３の入力１１０−３が第３のデコーダ１２０−３へ接続されている。

さらに、会議システム１００は、適切な数の加算器１３０−１、１３０−２、１３０−３、・・・（図１には、やはりそのうちの３つだけが示されている。）を備えている。各々の加算器が、会議システム１００の入力１１０のうちの１つに組み合わせられている。例えば、第１の加算器１３０−１が、第１の入力１１０−１及び対応するデコーダ１２０−１に組み合わせられている。

各々の加算器１３０は入力１１０が接続されているデコーダ１２０を除くすべてのデコーダ１２０の出力へ接続されている。換言すると、第１の加算器１３０−１は第１のデコーダ１２０−１を除くすべてのデコーダ１２０へと接続されている。したがって、第２の加算器１３０−２は第２のデコーダ１２０−２を除くすべてのデコーダ１２０へ接続されている。

さらに、各々の加算器１３０はそれぞれ１つのエンコーダ１４０へ接続された出力を備えている。すなわち、第１の加算器１３０−１の出力は第１のエンコーダ１４０−１へ接続されている。したがって、第２の加算器１３０−２及び第３の加算器１３０−３もそれぞれ第２のエンコーダ１４０−２及び第３のエンコーダ１４０−３へ接続されている。

次いで、各々のエンコーダ１４０はそれぞれの出力１５０へ接続されている。換言すると、例えば第１のエンコーダは、例えば第１の出力１５０−１へ接続されている。第２のエンコーダ１４０−２及び第３のエンコーダ１４０−３もそれぞれ第２の出力１５０−２及び第３の出力１５０−３へ接続されている。

図１に示されているような会議システム１００の動作をさらに詳しく説明できるよう、図１は第１の参加者の会議端末１６０をさらに示している。会議端末１６０は、例えばデジタル電話（例えば、ＩＳＤＮ電話（ＩＳＤＮ＝総合デジタル通信網））、ボイスオーバーＩＰインフラストラクチャーを備えているシステム、又は同様の端末とすることができる。

会議端末１６０は会議システム１００の第１の入力１１０−１へ接続されたエンコーダ１７０を備えている。さらに、会議端末１６０は、会議システム１００の第１の出力１５０−１へ接続されたデコーダ１８０を備えている。

同様の会議端末１６０が、さらなる参加者の場所にも存在することができる。それらの会議端末は、単に簡素化のために、図１には示されていない。また、会議システム１００と会議端末１６０は、決して互いに物理的に近くに存在する必要がないことに注意すべきである。会議端末１６０と会議システム１００を、例えばＷＡＮ技術（ＷＡＮ＝広域ネットワーク）によってのみ接続することができる異なる場所に配置することができる。

人間であるユーザとのより分かり易い方法でのオーディオ信号の交換を可能にするために、さらに会議端末１６０は、マイクロホン、増幅器、及びスピーカー又はヘッドホンなど、追加の部品を備えることができ、又はこのような追加の部品へ接続することができる。それらは、単に簡素化のために、図１には示されていない。

すでに示したように、図１に示した会議システム１００は、時間領域において機能するシステムである。例えば、第１の参加者がマイクロホン（図１には示されていない）に話しかけるとき、会議端末１６０のエンコーダ１７０がそれぞれのオーディオ信号を対応するビットストリームへとエンコードし、このビットストリームを会議システム１００の第１の入力１１０−１へ伝達する。

会議システム１００の内部において、ビットストリームが第１のデコーダ１２０−１によってデコードされ、再び時間領域へ変換される。第１のデコーダ１２０−１が第２のミキサー１３０−１及び第３のミキサー１３０−３へ接続されているため、第１の参加者によって生成されたとおりのオーディオ信号は、その再現されたオーディオ信号を第２及び第３の参加者のそれぞれからのさらなる再現オーディオ信号と単純に加えることによって、時間領域においてミックスすることができる。

このことは、第２の参加者及び第３の参加者によってもたらされ、それぞれ第２の入力１１０−２及び第３の入力１１０−３によって受信され、第２のデコーダ１２０−２及び第３のデコーダ１２０−３によって処理されるオーディオ信号にも当てはまる。次いで、第２の参加者及び第３の参加者のこれらの再現オーディオ信号が第１のミキサー１３０−１へもたらされ、第１のミキサー１３０−１は時間領域の合計のオーディオ信号を第１のエンコーダ１４０−１へもたらす。エンコーダ１４０−１は、合計のオーディオ信号を再びエンコードしてビットストリームを形成し、このビットストリームを第１の出力１５０−１において第１の参加者の会議端末１６０へもたらす。

同様に、第２のエンコーダ１４０−２及び第３のエンコーダ１４０−３も、それぞれ第２の加算器１３０−２及び第３の加算器１３０−３から受信される時間領域の合計のオーディオ信号をエンコードし、エンコード済みのデータを第２の出力１５０−２及び第３の出力１５０−３をそれぞれ介してそれぞれの参加者へと送り返す。

実際のミキシングを実行するために、オーディオ信号が完全にデコードされ、非圧縮の形態で合計される。その後に、クリッピング作用（すなわち、許容される値の範囲の超過）を防止するために、それぞれの出力信号を圧縮することによってレベル調節を任意に実行することができる。クリッピングは、単独のサンプル値が許される値の範囲を過ぎて上昇又は下降し、該当の値が切り落とされる（クリップされる）場合に生じうる。例えばＣＤの場合に使用されているような１６ビットの量子化の場合には、サンプル値ごとに、−３２７６８から３２７６７の間の整数値の範囲が利用可能である。

信号について生じうるオーバーステアリング又はアンダーステアリングに対処するために、圧縮アルゴリズムが使用される。これらのアルゴリズムは、サンプル値を許容可能な値の範囲に保つために、特定のしきい値を超える展開又は特定のしきい値を下回る展開を制限する。

図１に示したような会議システム１００などの会議システムにおいて、オーディオデータのコーディングを行う場合に、最も容易に実現できる方法にて非エンコード状態でミキシングを実行するために、いくつかの欠点が容認される。さらに、エンコード後のオーディオ信号のデータレートは、送信される周波数のより狭い範囲へとさらに制限される。なぜならば、ナイキスト−シャノンのサンプリング定理によれば、帯域幅が狭いほど、可能なサンプリング周波数が低くなり、したがって少ないデータしか許されないからである。ナイキスト−シャノンのサンプリング定理によれば、サンプリング周波数が、標本化される信号の帯域幅に依存して決まり、帯域幅の（少なくとも）２倍の大きさでなければならない。

国際電気通信連合（ＩＴＵ）及びその電気通信標準化部門（ＩＴＵ−Ｔ）が、マルチメディア会議システムのためのいくつかの規格を開発済みである。Ｈ．３２０が、ＩＳＤＮ用の標準の会議プロトコルである。Ｈ．３２３は、パケットベースのネットワーク（ＴＣＰ／ＩＰ）用の標準の会議システムを定めている。Ｈ．３２４は、アナログ電話網及び無線電気通信システムのための会議システムを定めている。

これらの規格においては、信号の送信だけでなく、オーディオ信号のエンコード及び処理も定められている。会議の運営は、１つ以上のサーバ（いわゆるＨ．２３１規格による多地点制御ユニット（ＭＣＵ））によって担当される。多地点制御ユニットは、複数の参加者のビデオ及びオーディオデータの処理及び配布も担当する。

これを達成するために、多地点制御ユニットは、各々の参加者へと、他のすべての参加者のオーディオデータを含んでいるミックス後の出力信号又は得られた信号を送信し、その信号をそれぞれの参加者へもたらす。図１は、会議システム１００のブロック図だけでなく、そのような会議の状況における信号の流れも示している。

Ｈ．３２３及びＨ．３２０規格の枠組みにおいては、クラスＧ．７ｘｘのオーディオコーデックがそれぞれの会議システムにおいて機能するように定義されている。規格Ｇ．７１１は、ケーブルでつながれた電話システムにおけるＩＳＤＮ伝送に使用される。８ｋＨｚのサンプリング周波数において、Ｇ．７１１規格は、３００から３４００Ｈｚの間のオーディオ帯域幅をカバーし、８ビットの（量子化）深度において６４ｋｂｉｔ／ｓのビットレートを必要とする。このコーディングは、わずか０．１２５ｍｓというきわめて短い遅延しか生じないオ−Ｌａｗ又はＡ−Ｌａｗと呼ばれる単純な対数コーディングによって形成される。

Ｇ．７２２規格は、より広い５０から７０００Ｈｚのオーディオ帯域幅を１６ｋＨｚのサンプリング周波数でエンコードする。結果として、このコーデックは、４８、５６、又は６４ｋｂｉｔ／ｓのビットレートのより狭帯域のＧ．７ｘｘオーディオコーデックと比べ、より良好な品質を、１．５ｍｓという遅延で実現する。さらに、より低いビットレートでも同等なスピーチ品質を提供する２つのさらなる発展、すなわちＧ．７２２．１及びＧ．７２２．２が存在する。Ｇ．７２２．２は、２５ｍｓの遅延において、６．６ｋｂｉｔ／ｓから２３．８５ｋｂｉｔ／ｓの間のビットレートの選択を可能にしている。

ボイスオーバーＩＰ通信（ＶｏＩＰ）とも称されるＩＰ電話通信の場合においては、Ｇ．７２９規格が典型的に使用される。このコーデックは、スピーチに最適化されており、後の合成のための分析済みのスピーチパラメータの組をエラー信号とともに送信する。結果として、Ｇ．７２９は、Ｇ．７１１規格と比べた場合に、同等のサンプルレート及びオーディオ帯域幅において約８ｋｂｉｔ／ｓの大幅に良好なコーディングを実現する。しかしながら、より複雑なアルゴリズムゆえ、約１５ｍｓの遅延が生じる。

欠点として、Ｇ．７．ｘｘコーデックは、スピーチのエンコードに最適化されており、狭い周波数帯域幅の他に、スピーチ付きの音楽又は純粋な音楽のコーディング時に大きな問題を示す。

したがって、図１に示したような会議システム１００は、スピーチ信号を伝送及び処理する場合には容認できる品質のために使用することができるが、スピーチに最適化された遅延の少ないコーデックを使用した場合、一般的なオーディオ信号を満足には処理できない。

換言すると、例えば音楽を有するオーディオ信号などの一般的なオーディオ信号を処理するために、スピーチ信号のコーディング及びデコーディングのためのコーデックを使用すると、品質に関して満足できる結果はもたらされない。図１に示したような会議システム１００の枠組みにおいて、一般的なオーディオ信号をエンコード及びデコードするためのオーディオコーデックを使用することで、品質を改善することが可能である。しかしながら、図２による文脈においてさらに詳しく概説されるように、そのような会議システムにおいて一般的なオーディオコーデックを使用することは、１つだけ挙げるのであれば遅延の増加など、さらなる望ましくない影響につながりかねない。

しかしながら、図２をさらに詳しく説明する前に、本明細書において、それぞれの対象が、或る実施の形態もしくは図において又は複数の実施の形態もしくは図において、２回以上現れ現れる場合に、そのような対象が同じ又は類似の参照符号で指し示されることに注意すべきである。同じ又は類似の参照符号によって指し示された対象は、そのようでないと明示的又は黙示的に示されない限りは、例えばそれらの回路、プログラミング、特徴、又は他のパラメータに関して、同様又は同一の方法で実施することが可能である。したがって、図面のいくつかの実施の形態に現れ、同じ又は類似の参照符号によって指し示されている対象は、同じ仕様、パラメータ、及び特徴を有するように実施することが可能である。当然ながら、例えば、境界条件もしくはパラメータが、図から図へと変化し、又は実施の形態から実施の形態へと変化する場合には、別の符号を使用したりそれに適応した符号を使用したりすることも可能である。

さらに、以下においては、対象のグループ又は種類（個々の対象ではなくて）を指し示すために、集約的な参照符号が使用される。図１の枠組みにおいて、これがすでに行われており、例えば、第１の入力を入力１１０−１と称し、第２の入力を入力１１０−２と称し、第３の入力を入力１１０−３と称する一方で、これらの入力が、集約的な参照符号１１０のみで述べられている。換言すると、そのようでないと明示的に示されない限りは、集約的な参照符号によって指し示される対象について述べている明細書の部分は、そのような集約的な参照符号に対応する個別の参照符号を有している他の対象にも関係しうる。

これは、同じ又は類似の参照符号で指し示された対象についても当てはまるため、両方の処置が、明細書の短縮ならびに明細書に開示の実施の形態のより明確かつ簡潔な様相での説明に役立つ。

図２は、さらなる会議システム１００のブロック図を会議端末１６０とともに示しており、どちらも図１に示した会議システム及び会議端末に類似している。図２に示した会議システム１００も、図１に示した会議システム１００と比べて同じように相互接続された入力１１０、デコーダ１２０、加算器１３０、エンコーダ１４０及び出力１５０を備えている。図２に示した会議端末１６０も、やはりエンコーダ１７０及びデコーダ１８０を備えている。したがって、図１に示した会議システム１００の説明が参照される。

しかしながら、図２に示した会議システム１００及び図２に示した会議端末１６０は、一般的なオーディオコーデック（コーダ−デコーダ）を使用するように構成されている。結果として、各々のエンコーダ１４０、１７０が、時間／周波数変換器１９０を量子化器／コーダー２００の手前に接続してなる直列接続を備えている。時間／周波数変換器１９０は図２では「Ｔ／Ｆ」としても示されており、量子化器／コーダー２００は図２では「Ｑ／Ｃ」と標記されている。

各々のデコーダ１２０、１８０は、図２では「Ｑ／Ｃ^-1」と称されているデコーダ／逆量子化器２１０を、図２では「Ｔ／Ｆ^-1」と称されている周波数／時間変換器２２０に直列に接続して備えている。単に簡潔さの目的のために、時間／周波数変換器１９０、量子化器／コーダー２００、デコーダ／逆量子化器２１０及び周波数／時間変換器２２０が、エンコーダ１４０−３及びデコーダ１２０−３の場合においてのみ、そのように標記されている。しかしながら、以下の説明は、他のそのような構成要素にも関する。

説明をエンコーダ１４０又はエンコーダ１７０などのエンコーダから始めると、時間／周波数変換器１９０へともたらされたオーディオ信号が、変換器１９０によって時間領域から周波数領域又は周波数関連の領域へと変換される。その後、変換後のオーディオデータが、時間／周波数変換器１９０によって生成されたスペクトル表現にて、ビットストリームを形成すべく量子化及びエンコードされ、次いでこのビットストリームが、例えばエンコーダ１４０の場合には、会議システム１００の出力１５０へもたらされる。

デコーダ１２０又はデコーダ１８０などのデコーダに関しては、デコーダへもたらされたビットストリームが、最初にオーディオ信号の少なくとも一部分のスペクトル表現を形成すべくデコード及び逆量子化され、次いでこれが、周波数／時間変換器２２０によって再び時間領域へ変換される。

したがって、時間／周波数変換器１９０ならびに逆要素である周波数／時間変換器２２０はそれぞれ、もたらされたオーディオ信号の少なくとも一部分のスペクトル表現を生成するように構成され、かつ、そのスペクトル表現を時間領域のオーディオ信号の該当部分へと再び変換するように構成されている。

オーディオ信号を時間領域から周波数領域へ変換し、再び周波数領域から時間領域へと変換するプロセスにおいて、ずれが生じる可能性があり、すなわち再建、再現、又はデコードされたオーディオ信号が元のオーディオ信号又は原始オーディオ信号から相違する可能性がある。量子化エンコーダ２００及び再コーダー２１０の枠組みにおいて実行される量子化及び逆量子化の追加の工程によって、さらなるアーチファクトが加えられる可能性がある。換言すると、元のオーディオ信号と再生されたオーディオ信号が互いに相違する可能性がある。

時間／周波数変換器１９０及び周波数／時間変換器２２０を、例えば、ＭＤＣＴ（修正離散余弦変換）、ＭＤＳＴ（修正離散正弦変換）、ＦＦＴベースの変換器（ＦＦＴ＝高速フーリエ変換）、又は他のフーリエベースの変換器に基づいて実現することができる。量子化器／コーダー２００及びデコーダ／逆量子化器２１０の枠組みにおける量子化及び逆量子化を、例えば直線量子化、対数量子化、又は他のより複雑な量子化アルゴリズム（例えば、人間の聴覚の特性をより具体的に考慮するなど）に基づいて実現することができる。量子化器／コーダー２００及びデコーダ／逆量子化器２１０のエンコーダ及びデコーダ部分は、例えば、ハフマンコーディング又はハフマンデコーディングの仕組みを使用することによって機能することができる。

しかしながら、より複雑な時間／周波数１９０及び周波数／時間変換器２２０、ならびにより複雑な量子化器／コーダー２００及びデコーダ／逆量子化器２１０も、ここに記載されるような種々の実施の形態及びシステムにおいて、例えばエンコーダ１４０、１７０としてのＡＡＣ−ＥＬＤエンコーダ及びデコーダ１２０、１８０としてのＡＡＣ−ＥＬＤデコーダの一部として使用することができ、又はそのようなエンコーダ及びデコーダを形成するものとして使用することができる。

言うまでもないが、会議システム１００及び会議端末１６０の枠組みにおいて、エンコーダ１７０、１４０及びデコーダ１８０、１２０を同一又は少なくとも互換性のあるものとして実現することを推奨できる。

一般的なオーディオ信号のコーディング及びデコーディングの仕組みに基づく図２に示したような会議システム１００も、オーディオ信号の実際のミキシングを時間領域において実行する。加算器１３０に、再現された時間領域のオーディオ信号がもたらされ、重畳が実行されて、時間領域のミックス信号が次のエンコーダ１４０の時間／周波数変換器１９０へともたらされる。したがって、この会議システムも、やはりデコーダ１２０及びエンコーダ１４０の直列接続を備えており、したがって図１及び２に示したような会議システム１００は、典型的に「タンデム・コーディング・システム」と称される。

タンデム・コーディング・システムは、高度な複雑さという欠点を示すことがしばしばである。ミキシングの複雑さは、使用されるデコーダ及びエンコーダの複雑さに強く依存し、いくつかのオーディオ入力及びオーディオ出力信号の場合に大幅に増大しうる。さらに、エンコーディング及びデコーディングの仕組みの大部分がロスのないものではないという事実によって、図１及び２に示した会議システム１００に使用されるようなタンデムコーディングの仕組みは、典型的には、品質への悪影響につながる。

さらなる欠点として、デコーディング及びエンコーディングの繰り返しの工程が、会議システム１００の入力１１０と出力１５０との間のエンドツーエンド遅延とも称される全体としての遅延も拡大する。使用されるデコーダ及びエンコーダの初期の遅延に応じて、会議システム１００そのものが、会議システムの枠組みにおける使用を不安にさせないまでも魅力のないものにし、さらには不可能にさせかねないレベルにまで、遅延を増大させる可能性がある。多くの場合、約５０ｍｓの遅延が、参加者が会話において容認できる最大の遅延であると考えられる。

遅延の主たる原因として、時間／周波数変換器１９０及び周波数／時間変換器２２０が会議システム１００のエンドツーエンド遅延の原因であり、さらなる遅延が会議端末１６０によって加わる。さらなる構成要素、すなわち量子化器／コーダー２００及びデコーダ／逆量子化器２１０によって引き起こされる遅延は、これらの部品が時間／周波数変換器１９０及び周波数／時間変換器２２０と比べてはるかに高い周波数で動作できるため、あまり重要でない。時間／周波数変換器１９０及び周波数／時間変換器２２０の大部分はブロック動作又はフレーム動作であり、すなわち多くの場合に、ブロックのフレーム長を有するバッファ又はメモリを満たすために必要な時間に等しい時間量としての最小遅延を考慮に入れなければならない。しかしながら、この時間が、典型的には数ｋＨｚから数十ｋＨｚの範囲にあるサンプリング周波数によって大きく左右される一方で、量子化器／コーダー２００及びデコーダ／逆量子化器２１０の動作速度は、主として下層のシステムのクロック周波数によって決定される。これは、典型的には、少なくとも２、３又は４桁以上大きい。

したがって、一般的なオーディオ信号コーデックを使用する会議システムにおいては、いわゆるビットストリームミキシング技術が導入されている。ビットストリームミキシング法は、例えば、上述の欠点の少なくとも一部を回避可能にし、タンデムコーディングによって導入されるＭＰＥＧ−４ ＡＡＣ−ＥＬＤコーデックに基づいて実現される。

しかしながら、原理的に、図２に示したような会議システム１００を、Ｇ．７ｘｘコーデック系列の上述したスピーチベースのコードと比べて同様のビットレート及び大幅に広い周波数帯域幅を有するＭＰＥＧ−４ ＡＡＣ−ＥＬＤコーデックに基づいて実現してもよいことに、注意すべきである。これは、すべての信号種について大幅に良好なオーディオ品質を、大幅に高いビットレートという犠牲を払って達成可能であることも、ただちに意味する。ＭＰＥＧ−４ ＡＡＣ−ＥＬＤは、Ｇ．７ｘｘコーデックの遅延の範囲にある遅延を提供するが、これを図２に示したような会議システムの枠組みにおいて実施することは、現実的な会議システム１００をもたらさない可能性がある。以下で、図３に関して、上述のいわゆるビットストリームミキシングに基づくより現実的なシステムを概説する。

単に簡潔さの目的のために、以下では主としてＭＰＥＧ−４ ＡＡＣ−ＥＬＤコーデックならびにそのデータストリーム及びビットストリームにのみ注目することに注意すべきである。しかしながら、他のエンコーダ及びデコーダも、図３に例示及び図示されるような会議システム１００の環境において使用することができる。

図３は、図２の文脈において説明したように、ビットストリームミキシングの原理に従って動作する会議システム１００を会議端末１６０とともに示したブロック図である。会議システム１００そのものは、図２に示した会議システム１００の簡略版である。より正確には、図２の会議システム１００のデコーダ１２０が、図３に示されているように、デコーダ／逆量子化器２２０−１、２２０−２、２１０−３、・・・によって置き換えられている。換言すると、図２及び３に示した会議システム１００を比べたとき、デコーダ１２０の周波数／時間変換器１２０が取り除かれている。同様に、図２の会議システム１００のエンコーダ１４０が、量子化器／コーダー２００−１、２００−２、２００−３によって置き換えられている。したがって、図２及び３に示した会議システム１００を比べたとき、エンコーダ１４０の時間／周波数変換器１９０が取り除かれている。

結果として、加算器１３０は、もはや時間領域で動作するのではなく、周波数／時間変換器２２０及び時間／周波数変換器１９０がないため、周波数又は周波数関連の領域で動作する。

例えば、ＭＰＥＧ−４ ＡＡＣ−ＥＬＤコーデックの場合には、会議端末１６０にのみ存在する時間／周波数変換器１９０及び周波数／時間変換器２２０がＭＤＣＴ変換に基づいている。したがって、会議システム１００の内部において、ミキサー１３０が直接的にＭＤＣＴ周波数表現のオーディオ信号の処理に寄与する。

図２に示した会議システム１００の場合に、変換器１９０、２２０が遅延の主たる原因を呈するため、これらの変換器１９０、２２０を取り除くことによって、遅延が大幅に少なくなる。さらに、会議システム１００の内部の２つの変換器１９０、２２０によって持ち込まれる複雑さも、大幅に軽減される。例えば、ＭＰＥＧ−２ ＡＡＣデコーダの場合には、周波数／時間変換器２２０の枠組みにおいて実行される逆ＭＤＣＴ変換が、全体としての複雑さの約２０％の原因である。ＭＰＥＧ−４変換器も同様の変換に基づいているため、周波数／時間変換器２２０だけを会議システム１００から取り除くことによって、全体としての複雑さへの無視できぬ寄与を取り除くことが可能である。

ＭＤＣＴ領域又は他の周波数領域におけるオーディオ信号のミキシングは、ＭＤＣＴ変換の場合又は同様のフーリエベースの変換の場合に、これらの変換が線形変換であるがゆえに可能である。したがって、変換が、数学的な加算性という特性を有しており、すなわち

であり、数学的な同次性という性質を有しており、すなわち

であり、ここでｆ（ｘ）は変換関数であり、ｘ及びｙはその適切な引数であり、ａは実数値又は虚数値の定数である。

ＭＤＣＴ変換又は他のフーリエベースの変換の両方の特徴が、時間領域におけるミキシングと同様のそれぞれの周波数領域におけるミキシングを可能にしている。したがって、すべての計算を、スペクトル値に基づいて同様に上手く実行することができる。時間領域へのデータの変換は不要である。

いくつかの状況においては、さらなる条件が満たされなければならないかもしれない。すべての関連のスペクトルデータが、すべての関連のスペクトル成分についてのミキシングプロセスの際に、それらの時間インデックスに関して同じでなければならない。これが、変換の際にいわゆるブロックスイッチング技法が使用され、したがって会議端末１６０のエンコーダが特定の条件に応じて種々のブロック長の間で自由に切り換わることができる場合には、最終的に満たされない可能性がある。ブロックスイッチングは、ミックスされるべきデータが同じウインドウで処理されている場合を除き、異なるブロック長及び対応するＭＤＣＴウインドウ長の間の切り替えゆえに、時間領域において個々のスペクトル値をサンプルへと一意に割り当てることをできなくする可能性がある。分散した会議端末１６０を有する一般的なシステムにおいては、これが最終的に保証されない可能性があるため、複雑な補間が必要となり、結果としてさらなる遅延及び複雑さが生じる可能性がある。結果として、最終的に、ブロック長の切り替えに基づくビットストリームのミキシングプロセスを実施しないことが推奨されるかもしれない。

対照的に、ＡＡＣ−ＥＬＤコーデックは、ただ１つのブロック長に基づいており、したがって、ミキシングをより容易に実現できるよう、周波数データの上述の割り当て又は同期をより容易に保証することができる。図３に示した会議システム１００は、換言すると、ミキシングを変換領域又は周波数領域において実行することができるシステムである。

上述のように、図２に示した会議システム１００において変換器１９０、２００によって持ち込まれる追加の遅延を除くために、会議端末１６０において使用されるコーデックは、固定の長さ及び形状のウインドウを使用する。これは、上述のミキシングプロセスを、オーディオストリームを時間領域へ再変換することなく直接的に実施できるようにする。この手法は、追加で持ち込まれるアルゴリズム的な遅延の大きさを抑えることを可能にする。さらに、デコーダにおける逆変換の工程及びエンコーダにおける順変換の工程が存在しないため、複雑さも低下する。

しかしながら、図３に示したような会議システム１００の枠組みにおいても、加算器１３０によるミキシングの後で、オーディオデータの逆量子化が必要になる可能性があり、これがさらなる量子化ノイズを持ち込む可能性がある。この追加の量子化ノイズは、例えば、会議システム１００へもたらされる種々のオーディオ信号の種々の量子化工程に起因して生じうる。結果として、例えば量子化の段階の数がすでに制限されているきわめて低いビットレートの伝送の場合に、周波数領域又は変換領域における２つのオーディオ信号のミキシングのプロセスが、生成される信号に望ましくない追加の量のノイズ又は他のひずみを引き起こす可能性がある。

複数の入力データストリームのミキシングのための装置の形態の本発明による第１の実施の形態を説明する前に、図４に関して、データストリーム又はビットストリームを、そこに含まれるデータとともに簡単に説明する。

図４は、スペクトル領域のオーディオデータの少なくとも１つ（多くの場合、２つ以上）のフレーム２６０を含んでいるビットストリーム又はデータストリーム２５０を概略的に示している。より正確には、図４が、スペクトル領域のオーディオデータの３つのフレーム２６０−１、２６０−２及び２６０−３を示している。さらに、データストリーム２５０は、例えばオーディオデータのエンコードの方法を知らせる制御値、他の制御値、又は時間インデックスもしくは他の関連データに関する情報など、付加的情報又は付加的情報のブロック２７０を含むことができる。当然ながら、図４に示したようなデータストリーム２５０はさらなるフレームをさらに含むことができ、又はフレーム２６０が、２チャネル以上のオーディオデータを含んでもよい。例えば、ステレオオーディオ信号の場合に、各々のフレーム２６０が、例えば左チャネルからのオーディオデータ、右チャネルからのオーディオデータ、右及び左チャネルの両方から導出されたオーディオデータ、又は上述のデータの任意の組み合わせを含むことができる。

したがって、図４は、データストリーム２５０が、スペクトル領域のオーディオデータのフレームだけでなく、追加の制御情報、制御値、ステータス値、ステータス情報、プロトコル関連の値（例えば、チェックサム）なども含んでよいことを示している。

図１から３の文脈において説明したような会議システムの具体的な実施に応じ、又は後述されるような本発明の実施の形態（特に、図９から１２Ｃに関して説明される本発明の実施の形態）による装置の具体的な実施に応じて、フレームの関連のペイロードデータがオーディオ信号のスペクトル領域又はスペクトル情報の少なくとも一部を表わす方法を示している制御値は、同様に良好に、フレーム２６０そのもの又は追加の情報の関連のブロック２７０に含まれることができる。制御値がスペクトル成分に関する場合には、その制御値をフレーム２６０そのものへエンコードすることができる。しかしながら、もし、制御値がフレーム全体に関する場合には、追加の情報のブロック２７０に同様に良好に含まれることができる。しかしながら、上述のように、制御値が含まれる上述の場所は、決してフレーム２６０又は追加のブロックのブロック２７０に含まれる必要はない。制御値がただ１つ又は少数のスペクトル成分にしか関係していない場合に、ブロック２７０に含ませることも同様に可能である。他方で、フレーム２６０の全体に関する制御値を、フレーム２６０に含ませることも可能である。

図５は、例えばデータストリーム２５０のフレーム２６０に含まれているようなスペクトル成分に関する（スペクトル）情報を概略的に示している。より正確には、図５は、フレーム２６０のただ１つのチャネルのスペクトル領域の情報の簡単な図を示している。スペクトル領域において、オーディオデータのフレームを、例えば周波数ｆの関数としての強度値Ｉに関して記述することができる。例えばデジタルシステムなどの離散的なシステムにおいては、周波数分解能も離散的であり、したがってスペクトル情報は、典型的には、個々の周波数、狭い帯域又はサブ帯域など、特定のスペクトル成分についてのみ存在する。サブ帯域だけでなく、個々の周波数又は狭い帯域もスペクトル成分と称される。

図５は、６個の別々の周波数３００−１、・・・、３００−６、及び周波数帯域又はサブ帯域３１０（図５に示した事例では、４つの別々の周波数を含んでいる。）について、強度分布を概略的に示している。個々の周波数又はこれらの周波数に対応する狭い帯域３００と、サブ帯域又は周波数帯３１０との両方が、スペクトル成分を形成しており、このスペクトル成分に関して、フレームがスペクトル領域のオーディオデータに関する情報を含んでいる。

サブ帯域３１０に関する情報は、例えば、全体としての強度又は平均強度値であってよい。振幅、それぞれのスペクトル成分そのもののエネルギー、又はエネルギーもしくは振幅から導出される他の値など、強度又は他のエネルギー関連の値のほかに、位相情報及び他の情報もフレームに含まれることができ、したがって、これらの情報もスペクトル成分に関する情報と考えることができる。

会議システムに関する問題のいくつか及び会議システムの或る程度の背景を説明したので、本発明の第１の局面による実施の形態を説明する。そのような実施の形態によれば、入力データストリームが比較に基づいて決定され、決定された入力データストリームから出力データストリームへスペクトル情報が少なくとも部分的にコピーされることで、逆量子化を省略でき、したがって逆量子化に関係する逆量子化ノイズをなくすことができる。

図６は、複数の入力データストリーム５１０（そのうちの２つ（５１０−１、５１０−２）が示されている。）をミキシングするための装置５００のブロック図を示している。装置５００は、データストリーム５１０を受信して、出力データストリーム５３０を生成するように構成された処理ユニット５２０を備えている。入力データストリーム５１０−１、５１０−２の各々は、図５の文脈において図４に示したフレーム２６０と同様にスペクトル領域でのオーディオデータを含んでいるフレーム５４０−１、５４０−２それぞれを含んでいる。これが、図６に示した座標系によって再び示されており、座標系の横座標に周波数ｆが、座標系の縦座標に強度Ｉが示されている。出力データストリーム５３０も、スペクトル領域でのオーディオデータを含んで対応する座標系によって示されている出力フレーム５５０を含んでいる。

処理ユニット５２０は、複数の入力データストリーム５１０のフレーム５４０−１、５４０−２を比較するように構成されている。さらに詳しくは後述されるとおり、この比較は、例えば、マスキング効果及び人間の聴覚の特徴の他の特性を考慮する心理音響モデルに基づくことができる。この比較結果にもとづき、処理ユニット５２０は、少なくとも１つのスペクトル成分（例えば、両方のフレーム５４０−１、５４０−２に存在する図６に示したスペクトル成分５６０）について、複数のデータストリーム５１０のうちの正確に１つのデータストリームを決定するようにさらに構成されている。次いで、処理ユニット５２０は、スペクトル成分５６０を該当の入力データストリーム５１０の前記決定されたフレーム５４０からコピーして出力フレーム５５０を含む出力データストリーム５３０を生成するように構成することができる。

より正確には、処理ユニット５２０は、複数の入力データストリーム５１０のフレーム５４０の比較を、２つの異なる入力データストリーム５１０のフレーム５４０の同じスペクトル成分５６０に対応する少なくとも２つの情報、すなわち関連のエネルギー値である強度値に基づいて行うように構成される。

これをさらに説明するために、図７は、スペクトル成分５６０に対応する情報（強度Ｉ）が、ここでは第１の入力データストリーム５１０−１のフレーム５４０−１の周波数又は狭い周波数帯域であると仮定される場合を概略的に示している。これが、第２の入力データストリーム５１０−２のフレーム５４０−２のスペクトル成分５６０に関する情報である対応する強度値Ｉと比較される。比較は、例えば、一部の入力ストリームだけを含むミックス信号と完全なミックス信号との間のエネルギー比の評価に基づいて行うことができる。これを、例えば、

及び

に従って達成でき、比ｒ（ｎ）が、

に従って計算され、ここでｎは、入力データストリームの添え字であり、Ｎは、全入力データストリーム又は関連の入力データストリームの数である。比ｒ（ｎ）が充分に大きい場合、入力データストリーム５１０のあまり支配的でないチャネル又はあまり支配的でないフレームが支配的なチャネル又はフレームによってマスクされていると考えることができる。したがって、無関係の削減を処理することができ、すなわち、ストリームのうちのとにかく顕著なスペクトル成分だけが含められる一方で、他のストリームは破棄される。

式（３）から（５）の枠組みにおいて考慮すべきエネルギー値を、例えば、それぞれの強度値の平方を計算することによって、強度値から導出することができる。スペクトル成分に関する情報が他の値を含んでもよい場合には、同様の計算を、フレームに含まれた情報の形態に応じて実行することができる。例えば、複素値情報の場合には、スペクトル成分に関する情報を構成している個々の値の実数部分及び虚数部分の絶対値の計算を、実行しなければならないかもしれない。

個々の周波数とは別に、式（３）から（５）による心理音響モジュールの適用のために、式（３）及び（４）における合計は、２つ以上の周波数を含むことができる。換言すると、式（３）及び（４）において、それぞれのエネルギー値Ｅｎを、複数の個々の周波数に対応する全体としてのエネルギー値、すなわち周波数帯のエネルギーによって置き換えることができ、より一般的な言葉にすれば、１つ以上のスペクトル成分に関する１つ又は複数のスペクトル情報で置き換えることができる。

例えば、ＡＡＣ−ＥＬＤは、人間の聴覚系が同時に取り扱う周波数のグループと同様に、帯域ごとの方法でスペクトル線に作用するため、無関係さの推定又は心理音響モデルを同様の方法で実行することができる。この方法で心理音響モデルを適用することによって、必要であればただ１つの周波数帯域だけの信号の一部分を除去又は置換することができる。

心理音響的調査が示しているように、信号を他の信号によりマスキングすることは、それぞれの信号の種類に依存する。無関係さの判断のための最小しきい値として、最悪の場合の筋書きを適用することができる。例えば、ノイズを正弦曲線又は他の別個かつ明確な音によってマスキングするためには、２１から２８ｄＢの差が典型的には必要である。約２８．５ｄＢのしきい値が良好な置換結果をもたらすことが、試験によって示されている。この値を、検討対象の実際の周波数帯も考慮に入れて、最終的に改善することができる。

したがって、式（５）による値ｒ（ｎ）が−２８．５ｄＢよりも大きいことを、検討対象の１つ以上のスペクトル成分に基づく心理音響的評価及び無関係性の評価に関して無関係であると考えることができる。異なるスペクトル成分について異なる値を使用することができる。検討対象のフレームに関する入力データストリームの心理音響的無関係性の指標として、１０ｄＢから４０ｄＢ、２０ｄＢから３０ｄＢ、あるいは２５ｄＢから３０ｄＢのしきい値を使用することが、有用であると考えられる。

図７に示した状況において、このことは、スペクトル成分５６０に関して、第１の入力データストリーム５１０−１が決定される一方で、第２の入力データストリーム５１０−２がスペクトル成分５６０に関して捨てられることを意味している。結果として、スペクトル成分５６０に関する情報が、少なくとも部分的に第１の入力データストリーム５１０−１のフレーム５４０−１から出力データストリーム５３０の出力フレーム５５０へコピーされる。これが、図７においては、矢印５７０によって示されている。同時に、残りの入力データストリーム５１０のフレーム５４０（すなわち、図７においては、入力データストリーム５１０−２のフレーム５４０−２）のスペクトル成分５６０に関する情報は、途切れた線５８０によって示されるように捨てられる。

さらに換言すると、例えばＭＣＵ又は会議システム１００として使用することができる装置５００が、出力データストリーム５３０及びその出力フレーム５５０を、対応するスペクトル成分の情報が前記決定された入力データストリーム５１０−１のフレーム５４０−１のみからコピーされ、出力データストリーム５３０の出力フレーム５５０のスペクトル成分５６０を記述するように生成されるように構成されている。当然ながら、装置５００を、２つ以上のスペクトル成分に関する情報が入力データストリームからコピーされ、他の入力データストリームが少なくともこれらのスペクトル成分に関して破棄されるように、構成することも可能である。さらに、装置５００又はその処理ユニット５２０を、異なるスペクトル成分について異なる入力データストリーム５１０が決定されるように構成することが可能である。出力データストリーム５３０の同じ出力フレーム５５０は、異なる入力データストリーム５１０からの異なるスペクトル成分に関するコピーされたスペクトル情報を含むことができる。

当然ながら、入力データストリーム５１０のフレーム５４０がフレーム列の場合に、類似又は同じ時間インデックスに対応するフレーム５４０だけが比較及び決定において考慮されるように装置５００を実施することが望ましいかもしれない。

換言すると、図７は、実施の形態に従って上述のように複数の入力データストリームをミキシングするための装置の動作原理を示している。すでに述べたように、ミキシングが、到来するすべてのストリームが信号の時間領域への逆変換、ミキシング及び再エンコーディングを含むデコードを受けるという意味での単刀直入な方法で行われるわけではない。

図６から８の実施の形態は、それぞれのコーデックの周波数領域で行われるミキシングに基づいている。考えられるコーデックは、ＡＡＣ−ＥＬＤコーデック又は一様な変換ウインドウを有する任意の他のコーデックであってよい。そのような場合、それぞれのデータをミックスできるようにするための時間／周波数変換は不要である。本発明の実施の形態による態様は、量子化の刻みのサイズ及び他のパラメータなどのすべてのビットストリームパラメータへのアクセスが可能であり、これらのパラメータをミックス済みの出力ビットストリームの生成に使用することができるという事実を利用する。

図６から８実施の形態は、スペクトル成分に関するスペクトル線又はスペクトル情報のミキシングを、ソースとなる原始スペクトル線又は原始スペクトル情報の重み付け和によって実行できるという事実を利用する。重み付け係数は、ゼロもしくは１であってよく、又は原理的には、両者の間の任意の値であってよい。ゼロという値は、ソースが無関係として取り扱われ、まったく使用されないことを意味する。帯域又はスケール係数帯域などの線のグループが、同じ重み付け係数を使用することができる。しかしながら、すでに示したように、重み付け係数（例えば、ゼロ及び１の分布）を、１つの入力データストリーム５１０の１つのフレーム５４０の複数のスペクトル成分について変化させることができる。さらに、スペクトル情報のミキシング時にゼロ又は１の重み付け係数をもっぱら使用する必要はない。いくつかの状況下では、入力データストリーム５１０のフレーム５４０のただ１つではなくて複数の全体的なスペクトル情報について、それぞれの重み付け係数が、ゼロ又は１とは異なっているようにすることができる。

１つの特定の事例は、１つのソース（入力データストリーム５１０）のすべての帯域又はスペクトル成分が１という係数に設定され、他のソースの係数がすべてゼロに設定される事例である。この場合、１人の参加者の完全な入力ビットストリームが、ミキシング後の最終的なビットストリームとして同一にコピーされる。重み付け係数を、フレーム毎の方法で計算することができるが、フレームの長い方のグループ又は並びに基づいて計算又は決定することも可能である。当然ながら、そのようなフレームの並びの内部又は単一のフレームの内部でも、上述のように、異なるスペクトル成分について重み付け係数を変えてもよい。重み付け係数を、心理音響モデルの結果に従って計算又は決定することができる。

心理音響モデルの例は、式（３）、（４）及び（５）の文脈においてすでに上述した。心理音響モデル又は該当のモジュールが、一部の入力ストリームのみが含まれてエネルギー値Ｅｆをもたらしているミックス信号と、エネルギー値Ｅｃを有する完全なミックス信号との間のエネルギー比ｒ（ｎ）を計算する。次いで、エネルギー比ｒ（ｎ）が、式（５）に従って、Ｅｃによって除算されたＥｆの対数の２０倍として計算される。

この比が充分に大きい場合、あまり支配的でないチャネルが、支配的なチャネルによってマスクされていると考えることができる。したがって、無関係の削減が処理され、すなわち、まったく顕著でなく、１という重み付け係数に属するストリームだけが含められ、他のすべてのストリーム（１つのスペクトル成分の少なくとも１つのスペクトル情報）が破棄される。換言すると、これらは、ゼロという重み付け係数に属している。

逆量子化の工程の数が少なくなるがゆえに、タンデムコーディングの影響があまり生じず、あるいはまったく生じないという利点を導くことができる。各々の量子化段階が、追加の量子化ノイズの軽減について大きな障害となるため、複数の入力データストリームをミキシングするための上述の実施の形態のいずれかを使用することによって、オーディオ信号の全体としての品質を改善することができる。これは、装置５００の処理ユニット５２０が、例えば図６に示したように、出力データストリーム５３０を、決定された入力ストリーム又はその一部のフレームの量子化レベルの分布と比べた量子化レベルの分布が維持されるように生成するように構成される場合に当てはまるであろう。換言すると、スペクトル情報を再エンコードせずに、それぞれのデータをコピーし、すなわち再使用することによって、追加の量子化ノイズの導入をなくすことができる。

さらに、図６から８に関して上述した実施の形態のいずれかを使用する例えば３名以上の参加者を有する電気通信／ビデオ会議システムなど会議システムは、時間−周波数変換の工程及び再エンコーディングの工程を省略できるため、時間領域のミキシングに比べて複雑さが少ないという利点を提供することができる。さらに、フィルターバンク遅延が存在しないため、時間領域におけるミキシングに比べて、これらの構成要素によって引き起こされるさらなる遅延が存在しない。

要約すると、上述の実施の形態を、例えば、完全に１つのソースから取られるスペクトル成分に対応する帯域又はスペクトル情報を逆量子化しないように構成することができる。したがって、ミックスされる帯域又はスペクトル情報だけが逆量子化され、したがって追加の量子化ノイズが少なくなる。

しかしながら、上述の実施の形態を、聴覚雑音置換（ＰＮＳ）、時間雑音整形（ＴＮＳ）、スペクトル帯域複製（ＳＮＲ）及びステレオコーディングの態様など、種々の用途においても使用することができる。ＰＮＳパラメータ、ＴＮＳパラメータ、ＳＢＲパラメータ又はステレオコーディングのパラメータの少なくとも１つを処理することができる装置の動作を説明する前に、実施の形態を、図８を参照してさらに詳しく説明する。

図８は、処理ユニット５２０を備えている複数の入力データストリームのミキシングのための装置５００の概略のブロック図である。より正確には、図８は、入力データストリーム（ビットストリーム）にエンコードされたきわめてさまざまなオーディオ信号を処理することができるきわめて柔軟な装置５００を示している。したがって、後述される構成要素のうちの一部は、すべての環境において実施される必要は必ずしもない随意による構成要素である。

処理ユニット５２０は、処理ユニット５２０によって処理されるべき入力データストリーム又はコード済みのオーディオビットストリームの各々について、ビットストリームデコーダ７００を備えている。単に簡素化のために、図８には、２つのビットストリームデコーダ７００−１、７００−２だけが図示されている。当然ながら、処理すべき入力データストリームの数に応じて、より多数のビットストリームデコーダ７００を実装することができ、あるいは例えばビットストリームデコーダ７００が２つ以上の入力データストリームを順に処理できる場合には、より少数のビットストリームデコーダ７００を実装することができる。

ビットストリームデコーダ７００−１ならびに他のビットストリームデコーダ７００−２、・・・の各々は、信号を受信し、受信した信号を処理し、ビットストリームに含まれるデータを分離及び抽出するように構成されたビットストリーム読み取り部７１０を備えている。例えば、ビットストリーム読み取り部７１０を、到着するデータを内部クロックに同期させるように構成でき、到着するビットストリームを適切なフレームへと分けるようにさらに構成することができる。

さらに、ビットストリームデコーダ７００は、ビットストリーム読み取り部７１０の出力へ接続されてビットストリーム読み取り部７１０から分離済みのデータを受信するハフマンデコーダ７２０を備えている。ハフマンデコーダ７２０の出力が、逆量子化器とも称されるデクオンタイザー７３０へ接続されている。ハフマンデコーダ７２０の後方に接続されたデクオンタイザー７３０に、スケーラー７４０が続いている。ハフマンデコーダ７２０、デクオンタイザー７３０及びスケーラー７４０が第１のユニット７５０を形成しており、第１のユニット７５０の出力において、それぞれの入力データストリームのオーディオ信号の少なくとも一部が、参加者（図８には図示されていない）のエンコーダが機能する周波数領域又は周波数関連領域において入手可能である。

さらに、ビットストリームデコーダ７００は、データに関して第１のユニット７５０の後ろに接続された第２のユニット７６０を備えている。第２のユニット７６０はステレオデコーダ７７０（Ｍ／Ｓモジュール）を備えており、ステレオデコーダ７７０の後ろにＰＮＳデコーダが接続されている。ＴＮＳデコーダ７９０が、データに関してＰＮＳデコーダ７８０に後続しており、ＰＮＳデコーダ７８０及びステレオデコーダ７７０とともに第２のユニット７６０を形成する。

オーディオデータの上述の流れとは別に、ビットストリームデコーダ７００は、制御データに関する種々のモジュール間の複数の接続をさらに備えている。より正確には、ビットストリーム読み取り部７１０が、適切な制御データを受け取るためにハフマンデコーダ７２０にも接続されている。さらに、ハフマンデコーダ７２０は、スケーラー７４０へスケーリング情報を伝えるために、スケーラー７４０へ直接に接続されている。ステレオデコーダ７７０、ＰＮＳデコーダ７８０及びＴＮＳデコーダ７９０も、それぞれ適切な制御データを受け取るためにビットストリーム読み取り部７１０へ接続されている。

処理ユニット５２０は、ミキシングユニット８００をさらに備えており、次いでミキシングユニット８００が、入力に関してビットストリームデコーダ７００へ接続されたスペクトルミキサー８１０を備えている。スペクトルミキサー８１０は、例えば、周波数領域において実際のミキシングを実行するための１つ以上の加算器を備えることができる。さらに、スペクトルミキサー８１０は、ビットストリームデコーダ７００によってもたらされるスペクトル情報の任意の線形結合を可能にするための乗算器をさらに備えることができる。

さらに、ミキシングユニット８００は、データに関してスペクトルミキサー８１０の出力へ接続された最適化モジュール８２０を備えている。しかしながら、最適化モジュール８２０は、スペクトルミキサー８１０に制御情報をもたらすために、スペクトルミキサー８１０にも接続されている。データに関して、最適化モジュール８２０は、ミキシングユニット８００の出力を呈している。

ミキシングユニット８００は、種々のビットストリームデコーダ７００のビットストリーム読み取り部７１０の出力へ直接に接続されたＳＢＲミキサー８３０をさらに備えている。ＳＢＲミキサー８３０の出力がミキシングユニット８００のもう１つの出力を形成している。

さらに処理ユニット５２０は、ミキシングユニット８００へ接続されたビットストリームエンコーダ８５０を備えている。ビットストリームエンコーダ８５０は、ＴＮＳエンコーダ８７０、ＰＮＳエンコーダ８８０及びステレオエンコーダ８９０をこの順に直列接続して備えている第３のユニット８６０を備えている。したがって、第３のユニット８６０は、ビットストリームデコーダ７００の第１のユニット７５０の逆のユニットを形成している。

ビットストリームエンコーダ８５０は、第４のユニット９００をさらに備えており、第４のユニット９００は、第４のユニットの入力と出力との間で直列接続を形成しているスケーラー９１０、クオンタイザー９２０及びハフマンコーダー９３０を備えている。従って、第４のユニット９００は、第１のユニット７５０の逆のモジュールを形成している。したがって、スケーラー９１０は、ハフマンコーダー９３０に該当の制御データをもたらすために、ハフマンコーダー９３０にも直接に接続されている。

また、ビットストリームエンコーダ８５０は、ハフマンコーダー９３０の出力へ接続されたビットストリームライタ９４０を備えている。さらに、ビットストリームライタ９４０は、ＴＮＳエンコーダ８７０、ＰＮＳエンコーダ８８０、ステレオエンコーダ８９０及びハフマンコーダー９３０から制御データ及び情報を受信するために、これらのモジュールにも接続されている。ビットストリームライタ９４０の出力が処理ユニット５２０及び装置５００の出力を形成している。

さらに、ビットストリームエンコーダ８５０は、ミキシングユニット８００の出力へ接続された心理音響モジュール９５０を備えている。ビットストリームエンコーダ８５０は、第３のユニット８６０のモジュールへ、例えば第３のユニット８６０のユニットの枠組みにおいてミキシングユニット８００によって出力されるオーディオ信号をエンコードするためにどれを使用できるのかを知らせる適切な制御情報を供給するように構成されている。

したがって、原理的には、第３のユニット８６０の入力までの第２のユニット７６０の出力において、送信側に使用されるエンコーダによって定められるとおり、スペクトル領域のオーディオ信号の処理が可能である。しかしながら、すでに示したように、完全なデコーディング、逆量子化、デスケーリング及びさらなる処理工程は、例えば１つの入力データストリームのフレームのスペクトル情報が支配的である場合に、最終的には必要でないかもしれない。次いで、それぞれのスペクトル成分のスペクトル情報の少なくとも一部が、出力データストリームの該当のフレームのスペクトル成分へコピーされる。

そのような処理を可能にするために、装置５００及び処理ユニット５２０は、最適化されたデータ交換のためのさらなる信号線を備えている。図８に示した実施の形態においてそのような処理を可能にするために、ハフマンデコーダ７２０の出力、ならびにスケーラー７４０、ステレオデコーダ７７０及びＰＮＳデコーダ７８０の出力が、他のビットストリーム読み取り部７１０のそれぞれの構成要素とともに、それぞれの処理のためにミキシングユニット８００の最適化モジュール８２０へと接続されている。

それぞれの処理の後のビットストリームエンコーダ８５０の内部の対応するデータの流れを容易にするために、最適化されたデータの流れのための対応するデータ線も実装されている。より正確には、最適化モジュール８２０の出力が、ＰＮＳエンコーダ７８０の入力、ステレオエンコーダ８９０、第４のユニット９００及びスケーラー９１０の入力、ならびにハフマンコーダ９３０への入力へ接続されている。さらに、最適化モジュール８２０の出力がビットストリームライタ９４０へも直接に接続されている。

すでに示したように、上述のようなモジュールのほぼすべてが、必ずしも実施する必要がない随意によるモジュールである。例えば、ただ１つのチャネルしか含んでいないオーディオデータストリームの場合には、ステレオコーディングユニット８９０及びステレオデコーディングユニット７７０を省略することができる。したがって、ＰＮＳベースでない信号を処理すべき場合には、該当のＰＮＳデコーダ７８０及びＰＮＳエンコーダ８８０を省略することができる。ＴＮＳモジュール７９０、８７０も、処理される信号及び出力される信号がＴＮＳデータにもとづかない場合には省略することが可能である。第１のユニット７５０及び第４のユニット９００の内部において、逆量子化器７３０、スケーラー７４０、量子化器９２０及びスケーラー９１０も最終的に省略することが可能である。したがって、これらのモジュールも、随意による構成要素と考えられる。ハフマンデコーダ７２０及びハフマンエンコーダ９３０を、別のアルゴリズムを使用して別の方法で実現してもよく、あるいは完全に省略してもよい。

ＳＢＲミキサー８３０を、例えばデータのＳＢＲパラメータが存在しない場合には、最終的に省略してもよい。さらに、スペクトルミキサー８１０を、例えば最適化モジュール８２０及び心理音響モジュール８６０との協働において、異なって実現することが可能である。したがって、これらのモジュールも、随意による構成要素と考えられる。

装置５００及び装置５００に含まれる処理ユニット５２０の動作の態様に関して、到着する入力データストリームが、最初にビットストリーム読み取り部７１０によって読み取られ、適切な情報片へと分けられる。ハフマンデコーディングの後、得られたスペクトル情報を、最終的にデクオンタイザー７３０によって逆量子化し、デスケーラー７４０によって適切にスケーリングすることができる。

その後、入力データストリームに含まれる制御情報に依存して、入力データストリーム内にエンコードされたオーディオ信号を、ステレオデコーダ７７０の枠組みにおける２つ以上のチャネルのオーディオ信号へと分解することができる。例えば、オーディオ信号が中央チャネル（Ｍ）及び横チャネル（Ｓ）を含んでいる場合には、対応する左チャネル及び右チャネルデータを、中央及び横チャネルデータを互いに加算及び減算することによって得ることができる。多くの実施例において、中央チャネルが左チャネル及び右チャネルのオーディオデータの合計に比例し、横チャネルは左チャネル（Ｌ）及び右チャネル（Ｒ）の間の差に比例している。実施例に応じて、上述のチャネルを、クリッピング作用を防止するために係数１／２を考慮しつつ加算及び／又は減算することができる。一般的に言うと、種々のチャネルを線形結合によって処理して、それぞれのチャネルをもたらすことができる。

換言すると、ステレオデコーダ７７０の後、オーディオデータを、適切であれば、２つの個別のチャネルへと分解することができる。当然ながら、逆のデコーディングもステレオデコーダ７７０によって実行することができる。例えば、ビットストリーム読み取り部７１０によって受信されるオーディオ信号が左及び右チャネルを含んでいる場合、ステレオデコーダ７７０は、適切な中央及び横チャネルデータを同様に上手く計算又は決定することができる。

装置５００の実施例だけでなく、それぞれの入力データストリームをもたらす参加者のエンコーダの実施例にも応じて、それぞれのデータストリームは、ＰＮＳパラメータ（ＰＮＳ＝聴覚雑音置換）を含むことができる。ＰＮＳは、人間の耳が、帯域又は個々の周波数などの限られた周波数範囲又はスペクトル成分のノイズ状の音を、合成的に生成されたノイズからほとんど区別することができないという事実に基づいている。したがって、ＰＮＳは、オーディオ信号の実際のノイズ状の寄与を、それぞれのスペクトル成分へ合成的に導入されるべきノイズのレベルを示しており、実際のオーディオ信号を度外視しているエネルギー値で置き換える。換言すると、ＰＮＳデコーダ７８０は、１つ以上のスペクトル成分において、入力データストリームに含まれるＰＮＳパラメータに基づいて実際のノイズ状のオーディオ信号の寄与を再生することができる。

ＴＮＳデコーダ７９０及びＴＮＳエンコーダ８７０に関しては、それぞれのオーディオ信号を、送信側で動作しているＴＮＳモジュールに関して、変更されていないバージョンへ再変換しなければならないかもしれない。時間雑音整形（ＴＮＳ）は、オーディオ信号のフレームにおける過渡状の信号の場合に存在しうる量子化ノイズによって引き起こされるプレエコーアーチファクトを軽減するための手段である。この過渡に対処するために、少なくとも１つの適応予測フィルターが、スペクトルの低い側、スペクトルの高い側、又はスペクトルの両側から出発してスペクトル情報へと加えられる。予測フィルターの長さ及び周波数範囲は、それぞれのフィルターの適用先に合わせることができる。

換言すると、ＴＮＳモジュールの動作は、１つ以上の適応ＩＩＲフィルター（ＩＩＲ＝無限インパルス応答）を計算することに基づいており、予測及び実際のオーディオ信号の間の差を記述する誤差信号を予測フィルターのフィルター係数とともにエンコード及び送信することによる。結果として、残る誤差信号の振幅を減らすために周波数領域において予測フィルターを適用することによって過渡状の信号に対処する（その結果、過渡状のオーディオ信号を直接エンコードする場合に比べて、より少ない量子化の刻みを使用しつつ、同様の量子化ノイズでエンコードすることができる。）ことによって、送信器のデータストリームのビットレートを維持しつつ、オーディオ品質を高めることを可能にできる。

ＴＮＳの用途に関しては、使用されるコーデックによって決定されるスペクトル領域での「純粋な」表現に達するために入力データストリームのＴＮＳ部分をデコードするためにＴＮＳデコーダ７６０の機能を使用することを、いくつかの環境において推奨できるかもしれない。ＴＮＳデコーダ７９０の機能のこの応用は、心理音響モデル（例えば、心理音響モジュール９５０において適用される。
）の推定をＴＮＳパラメータに含まれる予測フィルターのフィルター係数に基づいて推定することがすでにできない場合に、有用かもしれない。これは、少なくとも１つの入力データストリームがＴＮＳを使用しているが、他の入力データストリームがＴＮＳを使用していない場合に、特に重要かもしれない。

処理ユニットが、入力データストリームのフレームの比較にもとづき、ＴＮＳを使用している入力データストリームのフレームからのスペクトル情報を使用すべきと判断する場合、ＴＮＳパラメータを、出力データのフレームのために使用することができる。もし、例えば互換性がないという理由で、出力データストリームの受け手がＴＮＳデータをデコードできない場合、誤差信号のそれぞれのスペクトルデータ及びさらなるＴＮＳパラメータをコピーせず、ＴＮＳ関連データから再現されたデータを処理してスペクトル領域の情報を得、ＴＮＳエンコーダ８７０を使用しないことが有用かもしれない。これは、図８に示した構成要素又はモジュールの一部を、必ずしも実装する必要がなく、随意により除外できることをやはり示している。

ＰＮＳデータを比較する少なくとも１つのオーディオ入力ストリームの場合にも、同様の方法を当てはめることができる。もし、入力データストリームのスペクトル成分についてのフレームの比較から、１つの入力データストリームが、その現在のフレーム及びそれぞれのスペクトル成分又はスペクトル成分に関して支配的であることが明らかになる場合、それぞれのＰＮＳパラメータ（すなわち、それぞれのエネルギー値）を、出力フレームのそれぞれのスペクトル成分へ直接コピーしてもよい。しかしながら、もし、受け手がＰＮＳパラメータを受け付けることができない場合には、スペクトル情報を、それぞれのエネルギー値によって示されるとおりの適切なエネルギーレベルを有するノイズを生成することによって、それぞれのスペクトル成分についてＰＮＳパラメータから再現することができる。次いで、ノイズデータを、スペクトル領域において相応に処理することができる。

すでに概説したように、送信されるデータは、ＳＢＲミキサー８３０によって処理することができるＳＢＲデータも含むことができる。スペクトル帯域複製（ＳＢＲ）は、オーディオ信号のスペクトルの一部を、このスペクトルの寄与及び下方部分に基づいて複製する技法である。結果として、エネルギー値を適当な時間／周波数格子を使用することによって周波数依存及び時間依存の様相で記述するＳＢＲパラメータを除き、スペクトルの上方部分を伝送する必要がない。結果として、スペクトルの上方部分をまったく伝送する必要がない。再現される信号の品質をさらに改善できるように、さらなるノイズの寄与及び正弦曲線の寄与を、スペクトルの上方部分に加えることができる。

さらに詳しくは、クロスオーバー周波数ｆ_xを上回る周波数について、オーディオ信号がＱＭＦフィルタバンク（ＱＭＦ＝直交ミラーフィルタ）によって分析される。ＱＭＦフィルタバンクは、ＱＭＦフィルタバンクのサブ帯域の数又はそれに比例した倍数（例えば、３２又は６４）で減らされた時間分解能を有する特定の数のサブ帯域信号（例えば、３２個のサブ帯域信号）を生成する。結果として、時間軸に２つ以上のいわゆるエンベロープを含み、各々のエンベロープについてスペクトルのそれぞれの上方部分を記述する典型的には７から１６個のエネルギー値を含んでいる時間／周波数格子を決定することができる。

さらに、ＳＢＲパラメータは、後に上述の時間／周波数格子によって強度に関して弱められ、あるいは決定される追加のノイズ及び正弦曲線に関する情報を含むことができる。

ＳＢＲベースの入力データストリームが、現在のフレームに関して支配的な入力データストリームである場合、それぞれのＳＢＲパラメータをスペクトル成分とともにコピーすることを実行することができる。やはり受け手がＳＢＲベースの信号をデコードできない場合には、周波数領域へのそれぞれの再現を実行し、その後に受け手の要件に応じた再現信号のエンコーディングを実行することができる。

ＳＢＲは、２つの符号化ステレオチャネルに対して、左チャネル及び右チャネルを別々にコーディングすることを可能にし、さらには結合チャネル（Ｃ）に関して左チャネル及び右チャネルをコーディングすることを可能にするので、本発明の実施の形態によれば、それぞれのＳＢＲパラメータ又はその少なくとも一部分をコピーすることは、比較の結果及び決定の結果に応じて、ＳＢＲパラメータのＣ要素を決定及び送信すべきＳＢＲパラメータの左及び右の両要素へとコピーすること、又はその反対を含むことができる。

さらに、本発明の種々の実施の形態において、入力データストリームが、１つのチャネルを含むモノラル及び２つの個別のチャネルを含むステレオの両方のオーディオ信号を含む可能性があるため、モノラルからステレオへのアップミックス又はステレオからモノラルへのダウンミックスを、出力データストリームのフレームの対応するスペクトル成分の情報の少なくとも一部分を生成するときに情報の少なくとも一部分をコピーする枠組みにおいて、さらに実行することができる。

先の説明において示したとおり、スペクトル情報及び／又はそれぞれのパラメータ（スペクトル成分及びスペクトル情報に関するパラメータ、例えば、ＴＮＳパラメータ、ＳＢＲパラメータ又はＰＮＳパラメータ）のコピーの程度は、コピーすべきデータの異なる数に基づくことができ、基礎をなすスペクトル情報又はその一部をコピーする必要があるか否かを決定できる。例えば、ＳＢＲデータのコピーの場合に、異なるスペクトル成分についてのスペクトル情報の複雑なミキシングを防止するために、該当のデータストリームのフレームの全体をコピーすることが望ましいかもしれない。これらのミキシングは、実際に量子化ノイズを減らすことができる再量子化を必要とする可能性がある。

ＴＮＳパラメータに関して、再量子化を防止するために、それぞれのＴＮＳパラメータを支配的な入力データストリームからのフレーム全体のスペクトル情報とともに出力データストリームへとコピーすることが望ましいかもしれない。

ＰＮＳベースのスペクトル情報の場合には、基礎をなすスペクトル成分をコピーすることなく個々のエネルギー値をコピーすることが、実行可能な方法かもしれない。さらに、このコピーによる場合には、複数の入力データストリームのフレームの支配的なスペクトル成分からのそれぞれのＰＮＳパラメータだけが、追加の量子化ノイズを持ち込むことなく、出力データストリームの出力フレームの対応するスペクトル成分へ生じる。ＰＮＳパラメータの形態のエネルギー値を再量子化することによっても、追加の量子化ノイズが導入される可能性があることに注意すべきである。

上記概説のとおり、上記概説の実施の形態を、複数の入力データストリームのフレームを比較した後、かつ比較に基づいて、出力データストリームの出力フレームのスペクトル成分について、スペクトル情報のソースとなるべき正確に１つのデータストリームを決定した後で、スペクトル成分に関するスペクトル情報を単純にコピーすることによって実現することもできる。

心理音響モジュール９５０の枠組みにおいて実行される置換アルゴリズムは、ただ１つの有効成分を有するスペクトル成分を特定するために、得られる信号の基礎をなすスペクトル成分（例えば、周波数帯域）に関するスペクトル情報の各々を調べる。これらの帯域について、入力ビットストリームのそれぞれの入力データストリームの量子化された値を、特定のスペクトル成分についてそれぞれのスペクトルデータを再エンコード又は再量子化することなくエンコーダからコピーすることができる。いくつかの状況下では、すべての量子化されたデータを、ただ１つの有効な入力信号から取得して、出力ビットストリーム又は出力データストリームを形成することができ、したがって装置５００に関して、入力データストリームのロスのないコーディングを実現できる。

さらに、エンコーダの内部の心理音響分析などの処理工程を省略することが可能になるかもしれない。これは、基本的に、特定の状況下において１つのビットストリームから他のビットストリームへのデータのコピーだけを実行すればよいため、エンコーディング処理の短縮を可能にし、計算の複雑さの軽減を可能にする。

例えば、ＰＮＳの場合に、ＰＮＳでコードされた帯域のノイズ係数を複数の出力データストリームのうちの１つから出力データストリームへとコピーすることができるため、置換を実行することができる。ＰＮＳパラメータがスペクトル成分に特有であり、すなわち換言すると、互いに独立したきわめて良好な近似であるため、個々のスペクトル成分を適切なＰＮＳパラメータで置き換えることが可能である。

しかしながら、上述のアルゴリズムの２つの積極的な適用が、聴取体験の低下又は望ましくない品質の低下につながることが生じうる。したがって、置換を、個々のスペクトル成分に関して、スペクトル情報よりもむしろ、個々のフレームに限ることが望ましいかもしれない。そのような動作の態様においては、無関係さの推定又は無関係さの判断、ならびに置換の分析を、不変のままに実行することができる。しかしながら、置換を、この動作の態様において、有効なフレーム内のスペクトル成分のすべて又は少なくともかなりの数が置換可能である場合に限って実行することができる。

この結果、置換の数がより少なくなるかもしれないが、スペクトル情報の内部強度を、いくつかの状況において改善でき、さらにわずかに改善された品質をもたらすことができる。

以下で、本発明の第２の態様による実施の形態を説明する。そのような実施の形態によれば、それぞれの入力データストリームのペイロードデータに組み合わせられた制御値が考慮され、そのような制御値は、ペイロードデータがそれぞれのオーディオ信号の対応するスペクトル情報又はスペクトル領域の少なくとも一部を表わす方法を示しており、２つの入力データストリームの制御値が等しい場合に、出力データストリームのそれぞれのフレームにおけるスペクトル領域の方法についての新たな決定が回避され、出力ストリームの生成が、入力データストリームのエンコーダによってすでに決定された決定に依存する。後述されるいくつかの実施の形態によれば、それぞれのペイロードデータを、時間／スペクトルサンプルにつき１つのスペクトル値を有する通常又は平易な方法など、スペクトル領域を表わす他の方法へと再変換することが、回避される。

すでに述べたように、本発明による実施の形態はミキシングの実行に基づいているが、そのミキシングは、信号の時間領域への逆変換、ミキシング及び再エンコーディングを含んで到来するすべてのストリームがデコードされるという意味での単刀直入な方法で行われるわけではない。本発明による実施の形態は、それぞれのコーデックの周波数領域で行われるミキシングに基づいている。考えられるコーデックは、ＡＡＣ−ＥＬＤコーデック又は一様な変換ウインドウを有する任意の他のコーデックであってよい。そのような場合、それぞれのデータをミックスできるようにするための時間／周波数変換は不要である。さらに、量子化の刻みのサイズ及び他のパラメータなどのすべてのビットストリームパラメータへのアクセスが可能であり、これらのパラメータを、ミックス済みの出力ビットストリームの生成に使用することができる。

さらに、スペクトル成分に関するスペクトル線又はスペクトル情報のミキシングを、ソースとなる原始スペクトル線又は原始スペクトル情報の重み付け和によって実行できる。重み付け係数は、ゼロもしくは１であってよく、又は原理的には、両者の間の任意の値であってよい。ゼロという値は、ソースが無関係として取り扱われ、まったく使用されないことを意味する。帯域又はスケール係数帯域などの線のグループが、本発明による実施の形態の場合に、同じ重み付け係数を使用することができる。重み付け係数（例えば、ゼロ及び１の分布）を、１つの入力データストリームの１つのフレームの複数のスペクトル成分について変化させることができる。後述の実施の形態は、スペクトル情報のミキシング時にゼロ又は１の重み付け係数をもっぱら使用するようには決して要求されない。いくつかの状況下では、入力データストリームのフレームのただ１つではなくて複数の全体的なスペクトル情報について、それぞれの重み付け係数を、ゼロ又は１とは異なるものとすることができる。

１つの特定の事例は、１つのソース（入力データストリーム）のすべての帯域又はスペクトル成分が１という係数に設定され、他のソースの係数がすべてゼロに設定される事例である。この場合、１人の参加者の完全な入力ビットストリームを、ミキシング後の最終的なビットストリームとして同一にコピーすることができる。重み付け係数を、フレーム毎に計算することができるが、フレームの長い方のグループ又は並びに基づいて計算又は決定することも可能である。当然ながら、そのようなフレームの並びの内部又は単一のフレームの内部でも、上述のように、異なるスペクトル成分について重み付け係数を変えてもよい。重み付け係数を、いくつかの実施の形態においては、心理音響モデルの結果に従って計算又は決定することができる。

そのような比較を、例えば、一部の入力ストリームだけを含むミックス信号と完全なミックス信号との間のエネルギー比の評価に基づいて行うことができる。これは、例えば、式（３）から（５）に関して上述したように達成することができる。換言すると、心理音響モデルが、一部の入力ストリームのみが含まれてエネルギー値Ｅｆをもたらしているミックス信号と、エネルギー値Ｅｃを有する完全なミックス信号との間のエネルギー比ｒ（ｎ）を計算することができる。次いで、エネルギー比ｒ（ｎ）が、式（５）に従って、Ｅｃによって除算されたＥｆの対数の２０倍として計算される。

したがって、図６から８に関する実施の形態の上述の説明と同様に、この比が充分に大きい場合、優勢でないチャネルが、支配的なチャネルによってマスクされていると考えることができる。したがって、無関係の削減が処理され、すなわち、まったく顕著でなく、１という重み付け係数に属するストリームだけが含められ、他のすべてのストリーム（１つのスペクトル成分の少なくとも１つのスペクトル情報）が破棄される。換言すると、これらは、ゼロという重み付け係数に属している。

これは、逆量子化の工程の数が少なくなるがゆえに、タンデムコーディングの影響があまり生じず、あるいはまったく生じないという追加の利点をもたらすことができる。各々の量子化段階が追加の量子化ノイズの軽減について大きな障害となるため、結果としてオーディオ信号の全体としての品質を改善することができる。

図６から８の上述の実施の形態と同様に、後述される実施の形態は、例えば３名以上の参加者を有する電気通信／ビデオ会議システムであってよい会議システムにおいて使用することが可能であり、時間−周波数変換の工程及び再エンコーディングの工程を省略できるため、時間領域のミキシングに比べて複雑さが少ないという利点を提供することができる。さらに、フィルターバンク遅延が存在しないため、時間領域におけるミキシングに比べて、これらの構成要素によって引き起こされるさらなる遅延が存在しない。

図９は、入力データストリームをミキシングするための本発明の実施の形態による装置５００の簡単なブロック図を示している。参照符号の大部分は、理解を容易にするため、及び説明の重複を避けるために、図６から８の実施の形態から採用されている。他の参照符号は、その機能が図６から８の上記実施の形態と比べたときに追加の機能又は代案の機能にて異なって定義されるが、その構成要素の全体的な機能は類似していることを示すために、１０００だけ増やされている。

第１の入力データストリーム５１０−１及び第２の入力データストリーム５１０−２にもとづき、装置１５００に含まれる処理ユニット１５２０は、出力データストリーム１５３０を生成するように構成されている。第１及び第２の入力データストリーム５１０はそれぞれ、制御値１５４５−１、１５４５−２をそれぞれ含んでいるフレーム５４０−１、５４０−２を含んでおり、制御値１５４５−１、１５４５−２は、フレーム５４０のペイロードデータがオーディオ信号のスペクトル領域又はスペクトル情報の少なくとも一部を表わす方法を示している。

出力データストリーム５３０も、制御値５５５を有する出力フレーム１５５０を含んでおり、制御値５５５が、出力フレーム５５０のペイロードデータが出力データストリーム５３０にエンコードされたオーディオ信号のスペクトル領域でのスペクトル情報を表わす方法を、同様の方法で示している。

装置１５００の処理ユニット１５２０は、第１の入力データストリーム５１０−１のフレーム５４０−１の制御値１５４５−１と、第２の入力データストリーム５１０−２のフレーム５４０−２の制御値１５４５−２とを比較し、比較結果をもたらすように構成されている。この比較結果にもとづき、処理ユニット１５２０は、出力フレーム５５０を含む出力データストリーム５３０を、比較結果が第１及び第２の入力データストリーム５１０のフレーム５４０の制御値１５４５が同一又は等しいことを示している場合には、出力フレーム５５０が２つの入力データストリーム５１０のフレーム５４０の制御値１５４５の値に等しい値を制御値１５５０として含むように、生成するようにさらに構成されている。出力フレーム５５０に含まれるペイロードデータが、スペクトル領域における処理によって、すなわち時間領域を訪れることなく、フレーム５４０の同一の制御値１５４５に関して、フレーム５４０の対応するペイロードデータから導出される。

例えば、制御値１５４５が、１つ以上のスペクトル成分のスペクトル情報の特殊なコーディング（例えば、ＰＮＳデータ）を示しており、２つの入力データストリームのそれぞれの制御値１５４５が同一である場合、同じ１つ以上のスペクトル成分に対応する出力フレーム５５０の対応するスペクトル情報を、スペクトル領域において対応するペイロードデータを直接的に処理することによっても得ることができ、すなわちスペクトル領域の表現の種類から離れることなく得ることができる。後述されるように、これを、ＰＮＳベースのスペクトル表現の場合には、それぞれのＰＮＳデータを合計する（随意により、正規化プロセスが付随する。）ことによって達成することができる。すなわち、いずれの入力データストリームのＰＮＳデータも、スペクトルサンプルごとに１つの値を有する平易な表現へと再変換されることがない。

図１０は装置１５００のさらに詳細な図を示しており、主として処理ユニット１５２０の内部構造に関して図９と相違する。より具体的には、処理ユニット１５２０が、第１及び第２の入力データストリーム５１０のための適切な入力部へ接続され、それらのそれぞれのフレーム５４０の制御値１５４５を比較するように構成された比較部１５６０を備えている。入力データストリームは、２つの入力データストリーム５１０の各々のための随意による変換部１５７０−１、１５７０−２へも供給される。さらに、比較部１５６０が、随意による変換部１５７０に比較結果を供給するために、随意による変換部１５７０へと接続されている。

処理ユニット１５２０は、入力に関して随意による変換部１５７０へ接続（あるいは、変換部１５７０のうちの１つ以上が実装されない場合には、入力データストリーム５１０の該当の入力部へ接続）されたミキサー１５８０をさらに備えている。ミキサー１５８０の出力が、随意による正規化部１５９０へ接続され、次いで（存在するのであれば）正規化部１５９０が、出力データストリーム５３０をもたらすべく処理ユニット１５２０及び装置１５００の出力部に接続されている。

上述のように、比較部１５６０が、２つの入力データストリーム５１０のフレーム１５４０の制御値を比較するように構成されている。比較部１５６０は、変換部１５７０（存在する場合）に、それぞれのフレーム５４０の制御値１５４５が同一であるか否かを知らせる信号を供給する。比較結果を表わす信号が、２つの制御値１５４５が少なくとも１つのスペクトル成分に関して同一又は等しい旨を示している場合、変換部１５７０は、フレーム５４０に含まれるそれぞれのペイロードデータを変換しない。

次いで、入力データストリーム５１０のフレーム５４０に含まれるペイロードデータが、ミキサー１５８０によってミックスされ、得られる値が許容可能な値の範囲をオーバーシュート又はアンダーシュートすることがないように保証すべく正規化工程を実行するために、正規化部１５９０（存在する場合）へ出力される。ペイロードデータのミキシングの例は、図１２Ａから１２Ｃの文脈においてさらに詳しく後述される。

正規化部１５９０を、ペイロードデータをそれらのそれぞれの値に従って再量子化するように構成された量子化器として実現することができ、あるいは正規化部１５９０を、その具体的な実装に応じて、量子化刻みの分布を示すスケール係数や、最小又は最大の量子化レベルの絶対値のみを変更するように構成することができる。

比較部１５６０が、制御値１５４５が少なくとも１つ以上のスペクトル成分に関して異なっている旨を知らせる場合、比較部１５６０は、一方又は両方の変換部１５７０に、それぞれの変換部１５７０に入力データストリーム５１０の少なくとも１つのペイロードデータを他方の入力データストリームのペイロードデータへ変換するように知らせるそれぞれの制御信号を供給することができる。この場合、ミキサー１５８０が２つの入力データストリームのうちの変換されないフレーム５４０の制御値に等しい制御値１５５５又は両方のフレーム５４０のペイロードデータの共通の値をもつ出力フレーム５５０を生成できるように、変換部を、変換されるフレームの制御値も同時に変更するように構成することができる。

さらに詳しい例を、ＰＮＳの実施例、ＳＢＲの実施例、及びＭ／Ｓの実施例などの種々の応用について、それぞれ図１２Ａから１２Ｃの文脈において後述する。

図９から１２Ｃの実施の形態が、決して図９及び１０ならびに次の図１１に示されているような２つの入力データストリーム１５１０−１、１５１０−２に限られないことを、指摘しておかなければならない。むしろ、同じものを、３つ以上の入力データストリーム５１０を含む複数の入力データストリームを処理するように構成できる。この場合、比較部１５６０を、例えば、適切な数の入力データストリーム５１０及びそこに含まれるフレーム５４０を比較するように構成することができる。さらに、具体的な実施例に応じて、適切な数の変換部１５７０を実装することもできる。ミキサー１５８０ならびに随意による正規化部１５９０も、最終的に、処理すべきデータストリームの数の増加に合わせて構成することができる。

３つ以上の入力データストリーム５１０の場合には、比較部１５６０を、入力データストリーム５１０の関係する制御値１５４５のすべてを比較して、随意によって実装される変換部１５７０のうちの１つ以上によって変換工程を実行すべきか否かを決定するように構成することができる。これに代え、あるいはこれに加えて、比較部１５６０を、比較の結果がペイロードデータについて共通の表現方法への変換が実現可能である旨を示している場合に、一式の入力データストリームの変換部１５７０による変換を決定するように構成することも可能である。例えば、関係するペイロードデータの異なる表現が特定の表現を必要としていない限り、比較部１５６０を、例えば、全体としての複雑さを最小化するような方法で変換部１５７０を作動させるように構成することができる。これは、例えば、比較部１５６０に保存され、あるいは別の方法で比較部１５６０にとって利用可能である複雑さの値の所定の推定に基づいて実現することができる。

さらに、例えば周波数領域への変換を必要に応じてミキサー１５８０によって随意により実行できる場合には、変換部１５７０が最終的に省略可能であることに注意すべきである。これに代え、あるいはこれに加えて、変換部１５７０の機能を、ミキサー１５８０に組み込むことも可能である。

さらに、フレーム５４０が、聴覚雑音置換（ＰＮＳ）、時間雑音整形（ＴＮＳ）及びステレオコーディングの態様など、２つ以上の制御値を含んでよいことに注意すべきである。ＰＮＳパラメータ、ＴＮＳパラメータ又はステレオ・コーディング・パラメータのうちの少なくとも１つを処理することができる装置の動作を説明する前に、図１１を参照する。図１１は、図８と同じであるが、図８が第１及び第２の入力データストリームから出力データストリームを生成するための実施の形態をすでに示していることを示すために、図１１においては、参照符号１５００及び１５２０がそれぞれ５００及び５２０の代わりに使用されている。処理ユニット５２０及び１５２０のそれぞれを、図９及び１０に関して説明した機能を実行するように構成することも可能である。特に、処理ユニット１５２０において、スペクトルミキサー８１０と最適化モジュール８２０とＳＢＲミキサー８３０とを含んでいるミキシングユニット８００が、図９及び１０に関してすでに述べた機能を実行する。すでに示したように、入力データストリームのフレームに含まれる制御値は、ＰＮＳパラメータ、ＳＢＲパラメータ又はステレオコーディングに関する制御データ、すなわちＭ／Ｓパラメータであってよい。それぞれの制御値が同じ又は同一である場合、ミキシングユニット８００は、ペイロードデータを処理して、出力データストリームの出力フレームに含まれるべくさらに処理される対応するペイロードデータを生成することができる。この点で、すでに上述したように、ＳＢＲは、２つの符号化ステレオチャネルに対して、左チャネル及び右チャネルを別々にコーディングすることを可能にし、さらにはそれらを結合チャネル（Ｃ）に関してコーディングすることを可能にするため、本発明の実施の形態によれば、それぞれのＳＢＲパラメータ又はその少なくとも一部分を処理することは、比較の結果及び決定の結果に応じて、ＳＢＲパラメータのＣ要素を処理してＳＢＲパラメータの左及び右の両要素を得ること、又はその反対を含むことができる。同様に、スペクトル情報及び／又はそれぞれのパラメータ（スペクトル成分及びスペクトル情報に関するパラメータ、例えば、ＴＮＳパラメータ、ＳＢＲパラメータ又はＰＮＳパラメータ）の処理の程度は、処理すべきデータの異なる数に基づくことができ、基礎をなすスペクトル情報又はその一部をデコードする必要があるか否かを決定できる。例えば、ＳＢＲデータのコピーの場合に、異なるスペクトル成分についてのスペクトル情報の複雑なミキシングを防止するために、該当のデータストリームのフレームの全体を処理することが望ましいかもしれない。これらのミキシングは、実際に量子化ノイズを減らすことができる再量子化を必要とする可能性がある。ＴＮＳパラメータに関して、再量子化を防止するために、それぞれのＴＮＳパラメータを支配的な入力データストリームからのフレーム全体のスペクトル情報とともに出力データストリームへと分解することが望ましいかもしれない。ＰＮＳベースのスペクトル情報の場合には、基礎をなすスペクトル成分をコピーすることなく個々のエネルギー値を処理することが、実行可能な方法かもしれない。さらに、この処理による場合には、複数の入力データストリームのフレームの支配的なスペクトル成分からのそれぞれのＰＮＳパラメータだけが、追加の量子化ノイズを持ち込むことなく、出力データストリームの出力フレームの対応するスペクトル成分へ生じる。ＰＮＳパラメータの形態のエネルギー値を再量子化することによっても、追加の量子化ノイズが導入される可能性があることに注意すべきである。

図１２Ａから１２Ｃに関して、それぞれの制御値の比較に基づいてペイロードデータをミキシングする３つの異なる態様を、さらに詳しく説明する。図１２Ａは本発明の実施の形態による装置５００のＰＮＳベースの実施例の例を示しており、図１２Ｂは同様のＳＢＲの実施例を示しており、図１２ＣはそのＭ／Ｓの実施例を示している。

図１２Ａは、第１及び第２の入力データストリーム５１０−１、５１０−２のそれぞれが適切な入力フレーム５４０−１、５４０−２及びそれぞれの制御値５４５−１、５４５−２を有している例を示している。図１１Ａにおいて矢印によって示されているように、入力データストリーム５１０のフレーム５４０の制御値１５４５は、スペクトル成分が間接的にスペクトル情報に関して記述されているのではなく、ノイズ源のエネルギー値に関して記述されていること、すなわち適切なＰＮＳパラメータによって記述されていることを示している。さらに具体的には、図１２Ａが、第１のＰＮＳパラメータ２０００−１と、ＰＮＳパラメータ２０００−２を含んでいる第２の入力データストリーム５１０−２のフレーム５４０−２とを示している。

図１２Ａに関して仮定されるように、２つの入力データストリーム５１０の２つのフレーム５４０の制御値１５４５が、特定のスペクトル成分をそのそれぞれのＰＮＳパラメータ２０００によって置き換えるべきであることを示しているため、処理ユニット１５２０及び装置１５００は、すでに述べたように、２つのＰＮＳパラメータ２０００−１、２０００−２をミキシングして、出力データストリーム５３０に含まれるべき出力フレーム５５０のＰＮＳパラメータ２０００−３に到達することができる。出力フレーム５５０の該当の制御値１５５５も、基本的に、該当のスペクトル成分がミキシングされたＰＮＳパラメータ２０００−３によって置き換えられるべきであることを示している。このミキシングプロセスが、図１２Ａにおいて、ＰＮＳパラメータ２０００−３をそれぞれのフレーム５４０−１、５４０−２のＰＮＳパラメータ２０００−１、２０００−２の結合であるとして示すことによって説明されている。

しかしながら、ＰＮＳ出力パラメータとも称されるＰＮＳパラメータ２０００−３の決定を、

による線形結合に基づいて実現することも可能であり、ここでＰＮＳ（ｉ）は、入力データストリームのそれぞれのＰＮＳパラメータであり、Ｎは、ミキシングされる入力データストリームの数であり、ａｉは、適切な重み付け係数である。具体的な実施例に応じて、重み付け係数ａ_iを、等しくなるように選択することができる。

図１２Ａに示されている単刀直入な実施例は、すべての重み付け係数ａ_iが１に等しい場合であってよく、すなわち以下のようであってよい。

図１０に示したような正規化部１５９０を省略すべき場合には、重み付け係数を、１／Ｎに等しくなるように定めることもでき、したがって式

が当てはまる。

ここで、パラメータＮは、ミキシングされる入力データストリームの数であり、装置１５００へもたらされる入力データストリームの数は同じ数である。簡単のために、重み付け係数ａ_iに関する別の正規化も実現可能であることに注意すべきである。

換言すると、参加者側の有効なＰＮＳツールの場合に、ノイズエネルギー係数が、適切なスケール係数ならびにスペクトル成分（例えば、スペクトル帯域）の量子化データに取って代わる。この係数の他には、さらなるデータがＰＮＳツールによって出力データストリームへもたらされることなはない。ＰＮＳスペクトル成分のミキシングの場合に、それは２つの異なる事例に帰着する可能性がある。

上述のように、関連の入力データストリームのすべてのフレーム５４０のそれぞれのスペクトル成分がＰＮＳパラメータに関して表現される。周波数成分（例えば、周波数帯域）のＰＮＳ関連の記述の周波数データが、ノイズエネルギー係数（ＰＮＳパラメータ）から直接に導出されるため、適切な係数を、単純にそれぞれの値を加算することによってミックスすることができる。次いで、ミックスされたＰＮＳパラメータが、受け手側のＰＮＳデコーダの内部に、他のスペクトル成分の純粋なスペクトル値とミックスされる同等な周波数分解能を生成する。ミキシングの際に正規化プロセスが使用される場合、重み付け係数ａ_iに関して同様な正規化係数を実施することが有用かもしれない。例えば、１／Ｎに比例する係数での正規化の場合に、重み付け係数ａ_iを、式（９）に従って選択することができる。

少なくとも１つの入力データストリーム５１０の制御値１５４５が、スペクトル成分に関して異なっており、それぞれの入力データストリームを低いエネルギーレベルを理由に破棄すべきではない場合、図１１に示したようなＰＮＳデコーダが、ＰＮＳパラメータに基づいてスペクトル情報又はスペクトルデータを生成し、最適化モジュール８２０の枠組みにおいてＰＮＳパラメータをミキシングする代わりに、それぞれのデータをミキシングユニットのスペクトルミキサー８１０の枠組みにおいてミックスすることが望ましいかもしれない。

ＰＮＳスペクトル成分のお互いに対する独立性ならびに出力データストリーム及び入力データストリームの全体的に定められるパラメータに対する独立性ゆえに、ミキシング方法の選択を、帯域に関する方法で適応させることができる。そのようなＰＮＳベースのミキシングが不可能である場合、スペクトル領域におけるミキシングの後でＰＮＳエンコーダ１８８０によってそれぞれのスペクトル成分を再エンコードすることを考慮することが望ましいかもしれない。

図１２Ｂは、本発明の実施の形態による態様の動作原理のさらなる例を示している。より正確には、図１２Ｂは、適切なフレーム５４０−１、５４０−２及びそれらの制御値１５４５−１、１５４５−２を有している２つの入力データストリーム５１０−１、５１０−２の事例を示している。フレーム５４０が、いわゆるクロスオーバー周波数ｆ_xを上回るスペクトル成分についてのＳＢＲデータを含んでいる。制御値１５４５が、ＳＢＲパラメータがそもそも使用されているか否かについての情報、ならびに実際のフレーム格子又は時間／周波数格子に関する情報を含んでいる。

上述のように、ＳＢＲツールは、クロスオーバー周波数ｆｘを上回る上方の周波数帯において、スペクトルの一部を、別の方法でエンコードされるスペクトルの下方部分を複製することによって複製する。ＳＢＲツールは、さらなるスペクトル情報も含んでいる入力データストリーム５１０のフレーム５４０に等しい各々のＳＢＲフレームについていくつかの時間スロットを決定する。時間スロットは、ＳＢＲツールの周波数範囲を、小さな等間隔の周波数帯域又はスペクトル成分に分ける。ＳＢＲフレームにおけるこれらの周波数帯域の数は、エンコーディングに先立って送信者又はＳＢＲツールによって決定される。ＭＰＥＧ−４ ＡＡＣ−ＥＬＤの場合には、時間スロットの数が１６に固定されている。

時間スロットがいわゆるエンベロープに含まれ、各々のエンベロープがそれぞれのグループを形成する少なくとも２つ以上の時間スロットを含んでいる。各々のエンベロープに、いくつかのＳＢＲ周波数データが属している。フレーム格子又は時間／周波数格子に、時間スロットの数及び個々のエンベロープの時間スロットを単位にする長さが保存されている。

個々のエンベロープの周波数分解能は、いくつのＳＢＲエネルギーデータがエンベロープについて計算され、エンベロープに関して保存されるかを決定する。ＳＢＲツールは、高い分解能及び低い分解能の間でのみ相違し、高い分解能を有するエンベロープは、低い分解能のエンベロープの２倍の数の値を含んでいる。高い分解能及び低い分解能を有するエンベロープの周波数値又はスペクトル成分の数は、ビットレート、サンプリング周波数、などといったエンコーダのさらなるパラメータに依存する。

ＭＰＥＧ−４ ＡＡＣ−ＥＬＤの文脈においては、ＳＢＲツールが、高い分解能を有するエンベロープに関して１６から１４の値を利用することが多い。

周波数に関する適切な数のエネルギー値によるフレーム５４０の動的な分割ゆえに、過渡を考慮することができる。フレームに過渡が存在する場合、ＳＢＲエンコーダは、該当のフレームを適切な数のエンベロープに分割する。この分配は、ＡＡＣ ＥＬＤコーデックにおいて使用されるＳＢＲツールの場合に標準化され、時間スロットを単位とする過渡ｔｒａｎｓｐｏｓｅの位置に依存する。多くの場合、得られる格子フレーム又は時間／周波数格子は、過渡が存在する場合には、３つのエンベロープを含む。第１のエンベロープ、すなわち開始エンベロープは、フレームの最初を過渡を受け取る時間スロットまで含んでおり、ゼロからｔｒａｎｓｐｏｓｅ−１までの時間スロットインデックスを有している。第２のエンベロープは、時間スロットインデックスｔｒａｎｓｐｏｓｅからｔｒａｎｓｐｏｓｅ＋２までの過渡を囲む２つの時間スロットの長さを有している。第３のエンベロープは、ｔｒａｎｓｐｏｓｅ＋３から１６までのインデックスを有する残りのすべての時間スロットを含んでいる。

しかしながら、エンベロープの最小長さは、２つの時間スロットである。結果として、フレーム境界付近に過渡を含んでいるフレームは、最終的に２つのエンベロープだけしか含まないかもしれない。過渡がフレームに存在しない場合、時間スロットは、等しい長さのエンベロープに分布する。

図１２Ｂが、フレーム５４０内のそのような時間／周波数格子又はフレーム格子を示している。制御値１５４５が、同じＳＢＲ時間格子又は時間／周波数格子が２つのフレーム５４０−１、５４０−２に存在する旨を示す場合には、それぞれのＳＢＲデータを、上記式（６）から（９）の文脈において説明した方法と同様にコピーすることができる。換言すると、そのような場合には、図１１に示したようなＳＢＲミキシングツール又はＳＢＲミキサー８３０が、それぞれの入力フレームの時間／周波数格子又はフレーム格子を出力フレーム５５０へとコピーし、式（６）から（９）と同様に、それぞれのエネルギー値を計算することができる。さらに換言すると、フレーム格子のＳＢＲエネルギーデータを、それぞれのデータを単純に合計し、随意によりそれぞれのデータを正規化することによって、ミックスすることができる。

図１２Ｃは、本発明による実施の形態の動作の態様のさらなる例を示している。より正確には、図１２Ｃは、Ｍ／Ｓの実施例を示している。やはり、図１２Ｃも、２つの入力データストリーム５１０を２つのフレーム５４０及び関連の制御値５４５とともに示しており、制御値５４５はペイロードデータフレーム５４０が少なくともその少なくとも１つのスペクトル成分に関して表わされる方法を示している。

フレーム５４０の各々が２つのチャネル（第１のチャネル２０２０及び第２のチャネル２０３０）のオーディオデータ又はスペクトル情報を含んでいる。それぞれのフレーム５４０の制御値１５４５に応じて、第１のチャネル２０２０が例えば左チャネル又は中央チャネルとなり、第２のチャネル２０３０がステレオ信号の右チャネル又は横チャネルとなることができる。エンコーディングの第１の態様は、多くの場合、ＬＲモードと称され、第２の態様は、多くの場合、Ｍ／Ｓモードと称される。

ジョイントステレオと称されることもあるＭ／Ｓモードにおいては、中央チャネル（Ｍ）が、左チャネル（Ｌ）及び右チャネル（Ｒ）の合計に比例するものとして定義される。多くの場合、１／２という追加の係数が、中央チャネルが２つのステレオチャネルの平均値を時間領域及び周波数領域の両者において含むように定義に含められる。

横チャネルは、典型的には、２つのステレオチャネルの差に比例するように定義され、すなわち左チャネル（Ｌ）及び右チャネル（Ｒ）の差に比例するように定義される。やはり、１／２という追加の係数が、横チャネルがステレオ信号の２つのチャネルの間のずれの値の半分、すなわち中央チャネルからのずれを実際に表わすように含められる。したがって、左チャネルを中央チャネルと横チャネルとを合計することによって再現でき、一方、右チャネルを中央チャネルから横チャネルを引き算することによって得ることができる。

フレーム５４０−１及び５４０−２について同じステレオエンコーディング（Ｌ／Ｒ又はＭ／Ｓ）が使用される場合、フレームに含まれるチャネルの再変換を省略でき、Ｌ／Ｒ又はＭ／Ｓでエンコードされたそれぞれの領域において直接的なミキシングが可能である。

この場合、やはりミキシングを、周波数領域において直接に実行することができ、２つのフレーム５４０の制御値１５４５−１、１５４５−２に等しい値を持つ該当の制御値１５５５を有する出力データストリーム５３０に含まれるフレーム５５０がもたらされる。したがって、出力フレーム５５０は、入力データストリームのフレームの第１及び第２のチャネルから導出された２つのチャネル２０２０−３、２０３０−３を含む。

２つのフレーム５４０の制御値１５４５−１、１５４５−２が等しくない場合には、一方のフレームを上述のプロセスに基づいて他方の表現へと変換することが望ましいかもしれない。出力フレーム５５０の制御値１５５５を、変換後のフレームを表わす値へと相応に設定することができる。

本発明の実施の形態によれば、制御値１５４５、１５５５が、フレーム５４０、５５０の全体の表現をそれぞれ示すことができ、あるいはそれぞれの制御値が、周波数成分に特有であってよい。最初の場合には、チャネル２０２０、２０３０が、特定の方法のうちの１つによってフレーム全体にわたってエンコードされ、２番目の場合には、基本的に、スペクトル成分に関するスペクトル情報の各々が、異なる方法でエンコードされる。当然ながら、スペクトル成分の部分群を制御値１５４５のうちの１つによって記述することもできる。

さらに、置換アルゴリズムを、心理音響モジュール９５０の枠組みにおいて実行し、ただ１つの有効成分を有するスペクトル成分を特定するために、得られる信号の基礎をなすスペクトル成分（例えば、周波数帯域）に関するスペクトル情報の各々を調べることができる。これらの帯域について、入力ビットストリームのそれぞれの入力データストリームの量子化された値を、特定のスペクトル成分についてそれぞれのスペクトルデータを再エンコード又は再量子化することなくエンコーダからコピーすることができる。いくつかの状況下では、すべての量子化されたデータを、ただ１つの有効な入力信号から取得して、出力ビットストリーム又は出力データストリームを形成することができ、したがって装置１５００に関して、入力データストリームのロスのないコーディングを実現できる。

さらに、エンコーダの内部の心理音響分析などの処理工程を省略することが可能になるかもしれない。これは、基本的に、特定の状況下において１つのビットストリームから他のビットストリームへのデータのコピーだけを実行すればよいため、エンコーディング処理の短縮を可能にし、計算の複雑さの軽減を可能にする。

例えば、ＰＮＳの場合に、ＰＮＳでコードされた帯域のノイズ係数を出力データストリームの１つから出力データストリームへとコピーすることができるため、置換を実行することができる。ＰＮＳパラメータがスペクトル成分に特有であり、すなわち換言すると、互いに独立したきわめて良好な近似であるため、個々のスペクトル成分を適切なＰＮＳパラメータで置き換えることが可能である。

しかしながら、上述のアルゴリズムの２つの積極的な適用が、聴取体験の低下又は望ましくない品質の低下につながることが生じうる。したがって、置換を、個々のスペクトル成分に関して、スペクトル情報よりもむしろ、個々のフレームに限ることが望ましいかもしれない。そのような動作の態様においては、無関係さの推定又は無関係さの判断、ならびに置換の分析を、不変のままに実行することができる。しかしながら、置換を、この動作の態様において、有効なフレーム内のスペクトル成分のすべて又は少なくともかなりの数が置換可能である場合に限って実行することができる。

この結果、置換の数がより少なくなるかもしれないが、スペクトル情報の内部強度を、いくつかの状況において改善でき、さらにわずかに改善された品質をもたらすことができる。

上述の実施の形態は、当然ながら、その実施に関してさまざまであってよい。これまでの実施の形態においては、ハフマンデコーディング及びエンコーディングを、単一エントロピーエンコーディングの仕組みとして説明したが、他のエントロピーエンコーディングの仕組みも使用可能である。さらには、エントロピーエンコーダ又はエントロピーデコーダを実装することは、決して必須ではない。したがって、これまでの実施の形態の説明は、主としてＡＣＣ−ＥＬＤコーデックに集中していたが、他のコーデックも、参加者側での入力データストリームの供給及び出力データストリームのデコードに使用することができる。例えば、ブロック長の切り替えを有さないシングルウインドウに基づく任意のコーデックを使用することが可能である。

例えば、図８及び１１に示した実施の形態についての先の説明も示しているとおり、そこで説明されたモジュールは、必須ではない。例えば、本発明の実施の形態による装置を、フレームのスペクトル情報について動作することによって単純に実現することができる。

図６から１２Ｃに関して上述した実施の形態を、さまざまな異なる方法で実現できることに、注意すべきである。例えば、複数の入力データストリームのミキシングのための装置５００／１５００及びその処理ユニット５２０／１５２０を、抵抗器、トランジスター、インダクター、などのディスクリートな電気及び電子デバイスに基づいて実現することができる。さらに、本発明による実施の形態を、集積回路のみに基づいて、例えばＳＯＣｓ（ＳＯＣ＝システム・オン・チップ）、ＣＰＵ（ＣＰＵ＝中央演算ユニット）及びＧＰＵ（ＧＰＵ＝グラフィック処理ユニット）などのプロセッサー、ならびに特定用途向け集積回路（ＡＳＩＣ）などの他の集積回路（ＩＣ）の形態で実現することもできる。

さらに、ディスクリートな実施例の一部又は集積回路の一部である電気デバイスを、本発明の実施の形態による装置の実現の全体において、異なる目的及び異なる機能のために使用できることに注意すべきである。当然ながら、集積回路及びディスクリートな回路に基づく回路の組み合わせも、本発明による実施の形態を実現するために使用することができる。

プロセッサーをベースに、本発明による実施の形態を、コンピュータープログラム、ソフトウェアプログラム、又はプロセッサー上で実行されるプログラムに基づいて実現することも可能である。

換言すると、本発明の方法の実施の形態の特定の実現の要件に応じて、本発明の方法の実施の形態を、ハードウェア又はソフトウェアにて実現することができる。実現を、電子的に読み取ることができる信号（本発明の方法の実施の形態が実行されるように、プログラマブルなコンピューター又はプロセッサーと協働する。）が保存されてなるデジタル記憶媒体（特に、ディスク、ＣＤ、又はＤＶＤ）を使用して行うことができる。したがって、一般に、本発明の実施の形態は、プログラムコードを機械によって読み取り可能な担体に保存して有しているコンピュータープログラム製品であり、そのようなプログラムコードは、コンピュータープログラム製品がコンピューター又はプロセッサー上で実行されるときに、本発明の方法の実施の形態を実行するように動作することができる。したがって、さらに換言すると、本発明の方法の実施の形態は、コンピュータープログラムに関し、そのようなコンピュータープログラムが、コンピューター又はプロセッサー上で実行されたときに本発明の方法の実施の形態の少なくとも１つを実行するプログラムコードを有している。プロセッサーを、コンピューター、チップカード、スマートカード、特定用途向け集積回路、システム・オン・チップ（ＳＯＣ）又は集積回路（ＩＣ）によって形成することができる。

１００ 会議システム
１１０ 入力
１２０ デコーダ
１３０ 加算器
１４０ エンコーダ
１５０ 出力
１６０ 会議端末
１７０ エンコーダ
１８０ デコーダ
１９０ 時間／周波数コンバーター
２００ 量子化器／コーダー
２１０ デコーダ／逆量子化器
２２０ 周波数／時間コンバーター
２５０ データストリーム
２６０ フレーム
２７０ さらなる情報のブロック
３００ 周波数
３１０ 周波数帯域
５００ 装置
５１０ 入力データストリーム
５２０ 処理ユニット
５３０ 出力データストリーム
５４０ フレーム
５５０ 出力フレーム
５６０ スペクトル成分
５７０ 矢印
５８０ 途切れた線
７００ ビットストリームデコーダ
７１０ ビットストリーム読み取り部
７２０ ハフマンコーダー
７３０ デクオンタイザー
７４０ スケーラー
７５０ 第１のユニット
７６０ 第２のユニット
７７０ ステレオデコーダ
７８０ ＰＮＳデコーダ
７９０ ＴＮＳデコーダ
８００ ミキシングユニット
８１０ スペクトルミキサー
８２０ 最適化モジュール
８３０ ＳＢＲミキサー
８５０ ビットストリームエンコーダ
８６０ 第３のユニット
８７０ ＴＮＳエンコーダ
８８０ ＰＮＳエンコーダ
８９０ ステレオエンコーダ
９００ 第４のユニット
９１０ スケーラー
９２０ 量子化器
９３０ ハフマンコーダー
９４０ ビットストリームライタ
９５０ 心理音響モジュール制御値
１５００ 装置
１５２０ 処理ユニット
１５４５ 制御値
１５５０ 出力フレーム
１５５５ 制御値

Claims (27)

1. 複数の入力データストリームをミキシングするための装置（５００）であって、
   処理ユニット（５２０）を備えており、
   前記入力データストリーム（５１０）の各々がスペクトル領域でオーディオデータのフレームを含んでおり、入力データストリーム（５１０）のフレーム（５４０）が複数のスペクトル成分についてのスペクトル情報を含んでおり、
   前記処理ユニット（５２０）は前記複数の入力データストリーム（５１０）のフレームを比較するように構成されており、
   前記処理ユニット（５２０）は、前記比較に基づいて、出力データストリーム（５３０）の出力フレーム（５５０）のスペクトル成分について、前記複数の入力データストリーム（５１０）のうちの正確に１つの入力データストリーム（５１０）を決定するようにさらに構成されており、
   前記処理ユニット（５２０）は、前記決定された入力データストリーム（５１０）のフレーム（５４０）の対応するスペクトル成分の情報の少なくとも一部分をコピーして出力データストリーム（５３０）の出力フレーム（５５０）のスペクトル成分を記述することによって出力データストリームを生成するようにさらに構成されている装置（５００）。
2. 前記処理ユニット（５２０）は、心理音響モデルに基づいて、複数の入力データストリーム（５１０）のフレーム（５４０）を比較するように構成されている請求項１に記載の装置（５００）。
3. 前記処理ユニット（５２０）は、２つの異なる入力データストリーム（５１０）のフレーム（５４０）の同じスペクトル成分に対応する少なくとも２つのスペクトル情報に基づいて、複数の入力データストリーム（５１０）のフレームの比較を行うように構成されている請求項１又は２に記載の装置（５００）。
4. 複数のスペクトル成分の少なくとも１つのスペクトル成分が、周波数又は周波数帯域に対応するように構成されている請求項１から３のいずれか一項に記載の装置（５００）。
5. 前記処理ユニット（５２０）は、前記決定された入力データストリーム（５１０）のフレームのみからの対応するスペクトル成分の情報の少なくとも一部分をコピーして出力データストリーム（５３０）の出力フレーム（５５０）のスペクトル成分を記述することを含んで、出力データストリームを生成するように構成されている請求項１から４のいずれか一項に記載の装置（５００）。
6. 前記処理ユニット（５２０）は、前記決定された入力データストリーム（５１０）のフレームから前記スペクトル成分に対応するスペクトル領域でのオーディオデータをコピーすることを含んで、出力データストリームを生成するように構成されている請求項１から５のいずれか一項に記載の装置（５００）。
7. 前記複数の入力データストリーム（５１０）の入力データストリーム（５１０）がそれぞれ、時間に関して、スペクトル領域でのオーディオデータのフレームの並びを含んでおり、
   前記処理ユニット（５２０）は、前記フレームの並びのうちの共通の時間インデックスに対応するフレームのみに基づいてフレーム（５４０）を比較するように構成されている請求項１から６のいずれか一項に記載の装置（５００）。
8. 前記処理ユニット（５２０）は、出力データストリーム（５３０）の生成時に、前記決定された入力ストリーム（５１０）のフレームの対応するスペクトル成分の情報の少なくとも一部分の量子化レベルの分布と比較して、量子化レベルの分布を維持するように構成されている請求項１から７のいずれか一項に記載の装置（５００）。
9. 前記対応するスペクトル成分の情報の前記少なくとも一部分は、量子化レベルに関する情報、聴覚雑音置換（ＰＮＳ）パラメータ、時間雑音置換（ＴＮＳ）パラメータ又はスペクトル帯域複製（ＳＢＲ）パラメータを含んでいる請求項１から８のいずれか一項に記載の装置（５００）。
10. 複数の入力データストリーム（５１０）をミキシングするための方法であって、入力データストリーム（５１０）の各々がスペクトル領域でオーディオデータのフレーム（５４０）を含んでおり、入力データストリーム（５１０）のフレーム（５４０）が複数のスペクトル成分を含んでおり、
    当該方法が、
    複数の入力データストリーム（５１０）のフレーム（５４０）を比較するステップ、
    前記比較に基づいて、出力データストリーム（５３０）の出力フレーム（５５０）のスペクトル成分について、複数の入力データストリーム（５１０）のうちの正確に１つの入力データストリーム（５１０）を決定するステップ、及び
    前記決定された入力データストリーム（５１０）のフレーム（５４０）の対応するスペクトル成分の情報の少なくとも一部分をコピーして出力データストリーム（５３０）のフレームの前記スペクトル成分を記述することにより、出力データストリーム（５３０）を生成するステップを含んでいる方法。
11. プロセッサー上で動作するときに、複数の入力データストリーム（５１０）のミキシングのための請求項１０に記載の方法を実行するコンピュータープログラム。
12. 第１の入力データストリーム（５１０−１）及び第２の入力データストリーム（５１０−２）から出力データストリーム（５３０）を生成するための装置（１５００）であって、
    プロセッサーユニット（１５２０）を備えており、
    前記第１及び第２の入力データストリーム（５１０）の各々がフレーム（５４０）を含んでおり、該フレーム（５４０）の各々が制御値（１５４５）及び関連のペイロードデータを含んでおり、該制御値が、前記ペイロードデータがオーディオ信号のスペクトル領域の少なくとも一部分を表わす方法を示しており、
    前記プロセッサーユニット（１５２０）は、前記第１の入力データストリーム（５１０−１）のフレーム（５４０）の制御値（１５４５）及び前記第２の入力データストリーム（５１０−２）のフレーム（５４０）の制御値（１５４５）を比較して、比較結果をもたらすように構成されており、
    前記プロセッサーユニット（１５２０）は、前記比較結果が前記第１及び第２の入力データストリームのフレームの制御値が同一である旨を示す場合に、出力フレーム（５５０）が前記第１及び第２の入力データストリームのフレームの前記制御値に等しい制御値（１５５５）並びにオーディオデータをスペクトル領域において処理することによって前記第１及び第２の入力データストリーム（５１０）のフレーム（５４０）のペイロードデータから導出されるペイロードデータを含むような出力フレーム（５５０）を含む出力データストリーム（５３０）を生成するようにさらに構成されている装置（１５２０）。
13. 前記処理ユニット（１５２０）は前記第１又は第２の入力データストリーム（５１０）のフレームの制御値（１５４５）が少なくとも１つのスペクトル成分のみに関係するように構成されており、
    前記制御値に関連のペイロードデータは前記少なくとも１つのスペクトル成分に関するオーディオ信号の記述を表わしている請求項１２に記載の装置（１５００）。
14. 前記処理ユニット（１５２０）は、前記第１の入力データストリーム（５１０−１）のフレーム（５４０）の制御値（１５４５）、前記第２の入力データストリーム（５１０−２）のフレーム（５４０）の制御値（１５４５）、並びに前記第１及び第２の入力データストリームのフレームの関連のペイロードデータが同じスペクトル成分に関係するように構成されている請求項１３に記載の装置（１５００）。
15. 前記処理ユニット（１５２０）は、前記第１の入力データストリーム及び前記第２の入力データストリーム（５１０）がそれぞれ時間に関してフレーム（５４０）の並びを含むように構成されており、かつ、
    前記プロセッサーユニット（１５２０）は、前記フレームの並びに関して、フレームの共通の時間インデックスをもつフレームについて、前記第１及び第２の入力データストリーム（５１０）のフレームの制御値（１５４５）を比較するように構成されている請求項１２から１４のいずれか一項に記載の装置（１５００）。
16. 前記プロセッサーユニット（１５２０）は、
    前記比較結果が前記第１及び第２の入力データストリーム（５１０）の制御値（１５４５）が同一でないことを示している場合に、オーディオデータをスペクトル領域において処理することによって、前記第１及び第２の入力データストリーム（５１０）のうちの一方の入力データストリームのフレーム（５４０）の制御値に等しい制御値（５５５）と、前記一方の入力データストリームのフレームのペイロードデータ及び他方の入力データストリームのフレームのペイロードデータから導出されるペイロードデータとを含む出力フレーム（５５０）を生成するのに先立って、
    前記第１及び第２の入力データストリーム（５１０）のうちの前記他方の入力データストリームのフレーム（５４０）のペイロードデータを、前記第１及び第２の入力データストリーム（５１０）のうちの前記一方の入力データストリームのフレームのペイロードデータの表現へ変換するようにさらに構成されている請求項１２から１５のいずれか一項に記載の装置（１５００）。
17. 前記プロセッサーユニット（１５２０）は、前記第１及び第２の入力データストリームのフレームの少なくとも１つの少なくとも一部分に関して量子化レベルの分布が維持されるように、出力フレームを生成するように構成されている請求項１２から１６のいずれか一項に記載の装置（１５００）。
18. 前記少なくとも１つのフレームの前記一部分は、制御値と該制御値に関連のペイロードデータとが関係するスペクトル成分のみに対応する請求項１７に記載の装置（１５００）。
19. 前記処理ユニット（１５２０）は、第１の入力データストリームのフレームのペイロードデータ及び第２の入力データストリームのフレームのペイロードデータの各々が、スペクトル領域における前記オーディオ信号の第１のオーディオチャネル及び第２のオーディオチャネルの表現を含むように構成されており、
    前記第１の入力データストリームのフレームの制御値及び前記第２の入力データストリームのフレームの制御値は、前記第１のオーディオチャネルが前記オーディオ信号の左チャネル（Ｌチャネル）であり、前記第２のオーディオチャネルが右チャネル（Ｒチャネル）であるか、又は前記第１のオーディオチャネルが前記オーディオ信号の中央チャネル（Ｍチャネル）であり、前記第２のオーディオチャネルが横チャネル（Ｓチャネル）であるかを示している請求項１２から１８のいずれか一項に記載の装置（１５００）。
20. 前記処理ユニット（５１２０）は、前記第１及び第２の入力データストリーム（５１０）のフレーム（５４０）の制御値（１５４５）が、それぞれの制御値に関連するペイロードデータがノイズ源のエネルギー関連の値を含んでいるか否かを示すように構成されている請求項１２から１９のいずれか一項に記載の装置（１５００）。
21. 前記エネルギー関連の値が聴覚雑音置換パラメータ（ＰＮＳパラメータ）である請求項２０に記載の装置（５００）。
22. 前記処理ユニット（１５２０）は、前記第１の入力データストリーム（５１０−１）のフレーム（５４０）の制御値（１５４５）及び前記第２の入力データストリーム（５１０−１）のフレーム（５４０）の制御値（１５４５）が、該制御値の関連のペイロードデータに含まれるＳＢＲデータのエンベロープに関する情報を含むように構成されており、かつ、
    前記プロセッサーユニット（５２０）は、前記比較結果が同一のエンベロープを示している場合にＳＢＲスペクトル領域において出力データストリームを生成するように構成されている請求項１２から２１のいずれか一項に記載の装置（１５００）。
23. 前記プロセッサーユニット（５２０）は前記第１及び第２の入力データストリーム（５１０）のフレームを比較するようにさらに構成されており、
    前記プロセッサーユニット（５２０）は、前記フレーム（５４０）の比較に基づいて、前記第１及び第２の入力データストリームのうちの正確に１つの入力データストリーム（５１０）を決定するようにさらに構成されており、かつ、
    前記プロセッサーユニット（５２０）は、前記決定された入力ストリームのフレーム（５４０）のペイロードデータ及び制御値（１５４５）をコピーすることによって出力データストリーム（５３０）を生成するようにさらに構成されている請求項１２から２２のいずれか一項に記載の装置（５００）。
24. 前記第１及び第２の入力データストリームを含んでいる３つ以上の複数の入力データストリーム（５１０）を処理するように構成されている請求項１２から２３のいずれか一項に記載の装置（１５００）。
25. 前記プロセッサーユニットは、前記制御値によって示されるようにスペクトル領域の表現の方法にとどまることによって、前記第１及び第２の入力データストリームのフレームのペイロードデータから出力データストリームのペイロードデータを導出することによって、出力データストリームを生成するようにさらに構成されている請求項１２から２４のいずれか一項に記載の装置（１５００）。
26. 第１の入力データストリーム（５１０）及び第２の入力データストリーム（５１０）から出力データストリーム（５３０）を生成するための方法であって、
    前記第１及び第２の入力データストリーム（５１０）の各々がフレーム（５４０）を含んでおり、該フレーム（５４０）が制御値（１５４５）及び関連のペイロードデータを含んでおり、該制御値が、前記ペイロードデータがオーディオ信号のスペクトル領域の少なくとも一部分を表わす方法を示しており、
    当該方法は、前記第１の入力データストリーム（５１０−１）のフレーム（５４０）の制御値（１５４５）及び前記第２の入力データストリーム（５１０−２）のフレーム（５４０）の制御値（１５４５）を比較して、比較結果をもたらすステップと、
    前記比較結果が前記第１及び第２の入力データストリームのフレームの制御値が同一である旨を示す場合に、出力フレーム（５５０）を含む出力データストリーム（５３０）を生成するステップであって、該出力フレーム（５５０）が前記第１及び第２の入力データストリーム（５１０）のフレーム（５４０）の前記制御値に等しい制御値（１５５５）と、前記オーディオデータをスペクトル領域において処理することによって前記第１及び第２の入力データストリームのフレームのペイロードデータから導出されるペイロードデータとを含むように出力データストリーム（５３０）を生成するステップと、を含んでいる方法。
27. プロセッサー上で動作するときに、出力データストリームを生成するための請求項２６に記載の方法を実行するプログラム。

Images