JP2014206747A - ダウンミックス信号表現に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置、オブジェクト関連のパラメトリック情報を用いたオーディオ信号デコーダ、オーディオ信号トランスコーダ、オーディオ信号エンコーダ、オーディオビットストリーム、方法およびコンピュータ・プログラム - Google Patents

Abstract

【課題】ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給する。
【解決手段】アップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置は、パラメータ調整器を含む。パラメータ調整器は、一つ以上の入力パラメータを受け、それに基づいて、一つ以上の調整されたパラメータを供給するように構成される。パラメータ調整器は、非最適パラメータの使用により生じたアップミックス信号表現の歪みが、少なくとも、所定の偏差以上に最適パラメータから外れている入力パラメータのために低減されるように、一つ以上の入力パラメータおよびオブジェクト関連のパラメトリック情報に依存して、一つ以上の調整されたパラメータを供給するように構成される。
【選択図】図１

Description

本発明による実施形態は、ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置に関する。

本発明による他の実施形態は、オーディオ信号デコーダに関する。

本発明による他の実施形態は、オーディオ信号トランスコーダに関する。

本発明による更なる他の実施形態は、一つ以上の調整されたパラメータを供給する方法に関する。

更なる他の実施形態は、ダウンミックス信号表現、オブジェクト関連のパラメトリック情報および所望のレンダリング情報に基づいた複数のアップミックスオーディオチャンネルを、アップミックス信号表現として、供給するための方法に関する。

さらに、他の実施形態は、ダウンミックス信号表現、オブジェクト関連のパラメトリック情報および所望のレンダリング情報に基づいて、ダウンミックス信号表現およびチャンネル関連のパラメトリック情報を、アップミックス信号表現として、供給するための方法に関する。

本発明による更なる他の実施形態は、オーディオ信号エンコーダ、エンコードされたオーディオ信号表現およびオーディオビットストリームを供給するための方法に関する。

さらに他の実施形態は、対応するコンピュータ・プログラムに関する。

本発明によるさらに他の実施形態は、歪み回避するオーディオ信号処理のための方法、装置およびコンピュータ・プログラムに関する。

オーディオ処理、オーディオ伝送およびオーディオ記憶装置の当該技術において、ヒアリング印象を改善するためにマルチチャンネル・コンテンツを処理する要望が増加している。マルチチャンネル・オーディオ・コンテンツの使用は、ユーザーに著しい改善をもたらす。例えば、娯楽アプリケーションにおいて改善されたユーザー満足をもたらす、三次元ヒアリング印象は得られうる。しかしながら、マルチチャンネル・オーディオ・コンテンツはまた、スピーカ明瞭度が、マルチチャンネルオーディオ再生を使用することにより改善されうるので、専門的な環境において、例えば、電話会議アプリケーションにおいて、役立つ。

しかし、マルチチャンネル・アプリケーションによって生じた過剰なリソース負荷を回避するために、オーディオ品質とビットレート要求仕様との間のより良いトレードオフを有することもまた望まれる。

近年では、ビットレート効率のよい伝送のためのパラメトリック手法および／または複数のオーディオオブジェクトを含んでいるオーディオシーンの記憶装置は、例えば、バイノーラルキュー符号化（Ｉ型）（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）（例えば、参考資料［ＢＣＣ］を参照）、ジョイントソース符号化（Ｊｏｉｎｔ Ｓｏｕｒｃｅ Ｃｏｄｉｎｇ）（例えば、参考資料［ＪＳＣ］を参照）、および、ＭＰＥＧ空間オーディオオブジェクト符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ）（ＳＡＯＣ）（例えば、参考資料［ＳＡＯＣ１］、［ＳＡＯＣ２］を参照）が提案されている。

これらの技術は、波形整合によってよりは、むしろ知覚的に所望の出力オーディオシーンを再構築することを目的とする。

図８は、この種のシステムのシステム概要（ここでは、ＭＰＥＧ ＳＡＯＣ）を示す。図８に示されたＭＰＥＧ ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０とＳＡＯＣデコーダ８２０を含む。ＳＡＯＣエンコーダ８１０は、複数のオブジェクト信号ｘ₁〜ｘ_Nを受け、それらは、例えば、時間領域信号として、または、時間―周波数領域信号として、（例えば、フーリエ型変換の一組の変換係数の形で、または、ＱＭＦサブバンド信号の形で、）示されうる。ＳＡＯＣエンコーダ８１０は一般的にまた、ダウンミックス係数ｄ₁〜ｄ_Nを受け、そして、それらは、オブジェクト信号ｘ₁〜ｘ_Nと関連している。ダウンミックス係数の別々の組は、ダウンミックス信号のチャンネルごとに利用可能でありうる。ＳＡＯＣエンコーダ８１０は、一般的に、関連したダウンミックス係数ｄ₁〜ｄ_Nによって、オブジェクト信号ｘ₁〜ｘ_Nを結合することによって、ダウンミックス信号のチャンネルを得るように構成される。一般的に、オブジェクト信号ｘ₁〜ｘ_Nよりもダウンミックスチャンネルは少ない。ＳＡＯＣデコーダ８２０の側で、オブジェクト信号の（少なくともおおよそ）分離（又は分離処理）を可能にするために、ＳＡＯＣエンコーダ８１０は、（ダウンミックスチャンネルとして示された）一つ以上のダウンミックス信号８１２と補助情報８１４の両方を供給する。デコーダ側のオブジェクト特有の処理を可能にするために、補助情報８１４は、オブジェクト信号ｘ₁〜ｘ_Nの特性を示す。

ＳＡＯＣデコーダ８２０は、一つ以上のダウンミックス信号８１２および補助情報８１４を受けるように構成される。また、ＳＡＯＣデコーダ８２０は、一般的に、ユーザー対話情報および／またはユーザー制御情報８２２を受けるように構成される。そして、それは所望のレンダリング・セットアップを示す。例えば、ユーザー対話情報／ユーザー制御情報８２２は、スピーカ・セットアップおよびオブジェクト信号ｘ₁〜ｘ_Nを供給するオブジェクトの所望の空間配置を示しうる。

ここで、図９ａ、図９ｂおよび図９ｃを参照して、ダウンミックス信号表現およびオブジェクト関連の補助情報に基づいてアップミックス信号表現を得るための異なる装置が、示される。図９ａは、ＳＡＯＣデコーダ９２０を含んでいるＭＰＥＧ ＳＡＯＣシステム９００のブロック略図を示す。ＳＡＯＣデコーダ９２０は、分離機能ブロックとして、オブジェクトデコーダ９２２およびミキサー／レンダラー９２６を含む。オブジェクトデコーダ９２２は、例えば、時間領域において、または、時間―周波数領域において示された一つ以上のダウンミックス信号の形におけるダウンミックス信号表現、および、例えば、オブジェクト・メタデータの形で、オブジェクト関連の補助情報に依存して、複数の再構築されたオブジェクト信号９２４を供給する。ミキサー／レンダラー９２４は、複数のＮ個のオブジェクトと関連した再構築されたオブジェクト信号９２４を受けて、それに基づいて、一つ以上のアップミックスチャンネル信号９２８を供給する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出は、ミキシング／レンダリング機能からオブジェクト・デコーディング機能の分離を可能にするミキシング／レンダリングと切り離して実行されるが、比較的高い計算煩雑性をもたらす。

ここで図９ｂを参照して、ＳＡＯＣデコーダ９５０を含む他のＭＰＥＧ ＳＡＯＣシステム９３０は、簡単に述べられる。ＳＡＯＣデコーダ９５０は、（例えば、一つ以上のダウンミックス信号の形での）ダウンミックス信号表現、および、（例えば、オブジェクト・メタデータの形での）オブジェクト関連の補助情報に依存して、複数のアップミックスチャンネル信号９５８を供給する。ＳＡＯＣデコーダ９５０は、オブジェクト・デコーディングおよびミキシング／レンダリングの分離のないジョイントミキシング処理においてアップミックスチャンネル信号９５８を得るように構成される連結されたオブジェクトデコーダおよびミキサー／レンダラーを含む。ここで、前記ジョイントアップミックス処理のためのパラメータは、オブジェクト関連の補助情報およびレンダリング情報の両方に依存している。ジョイントアップミックス処理はまた、オブジェクト関連の補助情報の一部であるとみなされるダウンミックス情報にも依存する。

上記をまとめると、アップミックスチャンネル信号９２８、９５８の供給は、１つのステップ処理または２つのステップ処理で実行されうる。

ここで図９ｃを参照して、ＭＰＥＧ ＳＡＯＣシステム９６０は、説明される。ＳＡＯＣシステム９６０は、（ＳＡＯＣデコーダではなく、）ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０を含む。

ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダは、（例えば、オブジェクト・メタデータの形で）オブジェクト関連の補助情報および、任意選択で、一つ以上のダウンミックス信号およびレンダリング情報に関する情報を受けるように構成される、補助情報トランスコーダ９８２を含む。補助情報トランスコーダは、受信データに基づいて、（例えば、ＭＰＥＧサラウンドビットストリームの形で）ＭＰＥＧサラウンド補助情報を供給するようにも構成される。したがって、補助情報トランスコーダ９８２は、レンダリング情報、および、任意選択で一つ以上のダウンミックスの内容に関する情報を考慮に入れて、（オブジェクトエンコーダから取り除かれる）オブジェクト関連の（パラメトリック）補助情報をチャンネル関連の（パラメトリック）補助情報に変換するように構成される。

任意選択で、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０は、操作されたダウンミックス信号表現９８８を得るために、例えば、ダウンミックス信号表現によって示された一つ以上のダウンミックス信号を操作するように構成されうる。しかし、ダウンミックス信号マニピュレータ９８６は、省略されうる。そうすると、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０の出力ダウンミックス信号表現９８８は、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダの入力ダウンミックス信号表現と同一である。ダウンミックス信号マニピュレータ９８６は、チャンネル関連のＭＰＥＧサラウンド補助情報９８４が、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０の入力ダウンミックス信号表現に基づいて所望のヒアリング印象を供給することを可能としない場合、使用されうる。それは、いくつかのレンダリングの集まりにおける場合でありうる。

したがって、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０は、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０に入力されたレンダリング情報によってオーディオオブジェクトを示す複数のアップミックスチャンネル信号が、ＭＰＥＧサラウンドビットストリーム９８４およびダウンミックス信号表現９８８を受けるＭＰＥＧサラウンドデコーダを使用して生成されうるように、ダウンミックス信号表現９８８およびＭＰＥＧサラウンドビットストリーム９８４を供給する。

上記をまとめると、ＳＡＯＣエンコードされたオーディオ信号をデコードするための種々の構想が使用されうる。場合によっては、ＳＡＯＣデコーダは使用される。ダウンミックス信号表現およびオブジェクト関連のパラメトリック補助情報に依存して、アップミックスチャンネル信号（例えば、アップミックスチャンネル信号９２８、９５８）を供給する。この構想のための例は、図９ａおよび９ｂに見ることができる。あるいは、ＳＡＯＣエンコードされたオーディオ情報は、所望のアップミックスチャンネル信号を供給するためにＭＰＥＧサラウンドデコーダにより使用されうる、ダウンミックス信号表現（例えばダウンミックス信号表現９８８）およびチャンネル関連の補助情報（例えばチャンネル関連のＭＰＥＧサラウンドビットストリーム９８４）を得るためにトランスコードされうる。

伝送ビットレート（Ｎ個の離散したオブジェクトオーディオ信号または離散システムの代わりにいくつかの補助情報を追加した２、３のダウンミックスチャンネルを送信することが必要なだけである）および計算の煩雑性（その処理煩雑性は、オーディオオブジェクトの数よりむしろ出力チャンネル数に主に関係する）の両方に関して、この種のスキームがはなはだ効率的であることが分かっている。受ける側であるユーザーにとっての更なる利益は、自分の選択（モノラル、ステレオ、サラウンド、バーチャル化されたヘッドホン再生など）のレンダリング・セットアップを選択することの自由を含み、そして、ユーザー対話の機能レンダリングマトリクス、そして出力シーンは、意志、個人選択または他の基準に従ってユーザーによって対話形式で設定され、変更されうる。例えば、他の残りのトーカーとの区別を最大にするために、１つの空間領域において共に１つのグループからトーカーを位置付けすることは、可能である。この相互作用は、デコーダユーザー・インターフェースを供給することによって達成される。

送信された音オブジェクトごとに、その相対レベルおよび（非モノフォニックのレンダリングのために）レンダリングの空間位置は、調整されうる。これは、ユーザーが関連したグラフィカル・ユーザー・インターフェイス（ＧＵＩ）スライダの位置を変える（例えば：オブジェクトレベル＝＋５ｄＢ、オブジェクト位置＝−３０度）ように、リアルタイムで起こりうる。

Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び応用例」、音声及びオーディオ、ＩＥＥＥ通信 １１巻、Ｎｏ．６、２００３年１１月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，"Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ −ＰａｒｔＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ，"ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．，ｖｏｌ．１１， ｎｏ．６， Ｎｏｖ．２００３） Ｃ．ファーラー、「オーディオソースのパラメトリック・ジョイント符号化」、ＡＥＳ第１２０回コンベンション、予稿集６７５２、パリ、２００６年（Ｃ．Ｆａｌｌｅｒ，"Ｐａｒａｍｅｔｒｉｃ Ｊｏｉｎｔ−Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ Ｓｏｕｒｃｅｓ"，１２０ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６，Ｐｒｅｐｒｉｎｔ ６７５２） Ｊ．ヘルレ、Ｓ．デッシュ、Ｊ．ヒルペアト、Ｏ．ヘルムース，「ＳＡＣからＳＡＯＣまで ― 空間オーディオのパラメトリック符号化における最近の動向」、ＡＥＳ第２２回ＵＫコンベンション、ケンブリッジ、ＵＫ、２００７年４月（Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ："Ｆｒｏｍ ＳＡＣ Ｔｏ ＳＡＯＣ − Ｒｅｃｅｎｔ Ｄｅｖｅｌｏｐｍｅｎｔｓ ｉｎ Ｐａｒａｍｅｔｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｓｐａｔｉａｌ Ａｕｄｉｏ"，２２ｎｄ Ｒｅｇｉｏｎａｌ ＵＫ ＡＥＳ Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ ２００７） Ｊ．エングデガルド，Ｂ．ラーシュ，Ｃ．ファルヒ，Ｏ．ヘルムース，Ｊ．ヒルペアト，Ａ．ヘルツァー，Ｌ．テレンチエフ，Ｊ．ブレーバールト，Ｊ．コッペン，Ｅ．スフエイエルス、Ｗ．オーメン：「空間オーディオオブジェクト符号化（ＳＡＯＣ） ― パラメトリックオブジェクトベースのオーディオ符号化に関する今後のＭＰＥＧスタンダード」、ＡＥＳ第１２４回コンベンション、予稿集７３７７、アムステルダム、２００８（Ｊ．Ｅｎｇｄｅｇａａｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈｏｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ，Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ ａｎｄ Ｗ．Ｏｏｍｅｎ："Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ （ＳＡＯＣ） ？ Ｔｈｅ Ｕｐｃｏｍｉｎｇ ＭＰＥＧ Ｓｔａｎｄａｒｄ ｏｎ Ｐａｒａｍｅｔｒｉｃ Ｏｂｊｅｃｔ Ｂａｓｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ"， １２４ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ ２００８，Ｐｒｅｐｒｉｎｔ ７３７７）

この課題は、請求項１に記載のダウンミックス信号表現およびオブジェクト関連のパラメトリック情報に基づいてアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置、請求項２４に記載のオーディオ信号デコーダ、請求項２５に記載のオーディオ信号トランスコーダ、請求項２６、請求項２７および請求項２８に記載の方法、請求項２９に記載のオーディオ信号エンコーダ、請求項３１に記載の方法、請求項３２に記載のオーディオビットストリームおよび請求項３４に記載のコンピュータ・プログラムによって解決される。

本発明による実施形態は、ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給する装置を創作する。本装置は、一つ以上の入力パラメータ（例えばレンダリング係数または所望のレンダリングマトリクスの記述）を受け、それに基づいて、一つ以上の調整されたパラメータを供給するように構成されたパラメータ調整器（例えばレンダリング係数調整器）を含む。パラメータ調整器は、非最適パラメータの使用により生じるアップミックス信号表現の歪みが、少なくとも、所定の偏差以上に最適パラメータから外れている入力パラメータについては低減されるように、一つ以上の入力パラメータおよびオブジェクト関連のパラメトリック情報に依存して（例えば、一つ以上のダウンミックス係数、および／または、一つ以上のオブジェクトレベル差値、および／または、一つ以上のオブジェクト間相関値に依存して、）一つ以上の調整されたパラメータを供給するように構成される。

本発明によるこの実施形態は、不適当に選ばれた入力パラメータによって生じるオーディオ信号歪みがアップミックス信号表現の供給のための調整されたパラメータを供給することによって低減されうるという、そして、調整されたパラメータの供給がオブジェクト関連のパラメトリック情報を考慮に入れることによってより良い精度で実行されうるという考えに基づく。オブジェクト関連のパラメトリック情報の使用により、可聴歪みを所定の範囲内に保つことに適している、または、入力パラメータと比較したときに可聴歪みを低減することに適している、調整されたパラメータを供給することを同時に可能にする、入力パラメータの使用によって生じる可聴歪みの評価尺度を得ることを可能にすることが分かっている。オブジェクト関連情報は、例えば、オーディオオブジェクトの特性を示す、および／または、オブジェクトのエンコーダ側での処理に関する情報を伝える。

したがって、不適当なパラメータ（例えば不適当なレンダリング係数）の使用によって生じる望ましくなく、しばしば悩ますオーディオ信号歪みは、一つ以上の調整されたパラメータを供給することにより、低減されうる、又は、回避さえされうる。ここで、パラメータの調整のためのオブジェクト関連のパラメトリック情報の考慮は、可聴歪みの比較的信頼性が高い推定を可能にすることによってオーディオ信号歪みの有効な減少および／または制限を確実にすることに役立つ。

好ましい実施形態において、本装置は、入力パラメータとして、アップミックス信号表現によって示された一つ以上のチャンネルの複数のオーディオオブジェクト信号の所望の強度スケーリングを示している所望のレンダリングパラメータを受けるように構成される。この場合、パラメータ調整器は、一つ以上の所望のレンダリングパラメータに依存して、一つ以上の実際のレンダリングパラメータを供給するように構成される。不適当なレンダリングパラメータの選択がアップミックス信号表現の有意な（そして、しばしば可聴な）劣化をもたらすことが分かっている。そして、それはこの種の不適当に選ばれたレンダリングパラメータを使用して得られる。また、オブジェクト関連のパラメトリック情報が、（入力パラメータによって定義されうる）レンダリングパラメータの与えられた選択により導入される歪みの推定を可能にするので、レンダリングパラメータがオブジェクト関連のパラメトリック情報に依存して、効率的に調整されうることが分かっている。

好ましい実施形態において、パラメータ調整器は、歪み基準値が、レンダリングパラメータ限界値により定められた限界に従っているレンダリングパラメータ値のための所定の範囲内にあるように、オブジェクト関連のパラメトリック情報およびオーディオオブジェクト信号の寄与量を示しているダウンミックス情報に依存して、一つ以上のレンダリングパラメータ限界値を得るように構成される。この場合、パラメータ調整器は、実際のレンダリングパラメータが、レンダリングパラメータ限界値により定められた限界に従うように、所望のレンダリングパラメータおよび一つ以上のレンダリングパラメータ限界値に応じて、実際のレンダリングパラメータを得るように構成される。レンダリングパラメータ限界値を計算することは、可聴歪みが歪み基準値に従う許容範囲内にあることを確実にするための計算的に単純で信頼性が高いメカニズムから成る。

好ましい実施形態において、パラメータ調整器は、一つ以上のレンダリングパラメータ限界値に従うレンダリングパラメータを使用してレンダリングされた、複数のオブジェクト信号のレンダリングされた重ね合わせにおけるオブジェクト信号の相対的な寄与量が、ダウンミックス信号のオブジェクト信号の相対的な寄与量とほんの所定の差しか異ならないように、一つ以上のレンダリングパラメータ限界値を得るように構成される。前記相対的な寄与量の大きな差は、一般的に可聴歪みをもたらすが、オブジェクト信号のレンダリングされた重ね合わせのオブジェクト信号の寄与量が、ダウンミックス信号のオブジェクト信号の寄与量と同じようである場合、歪みが一般的に十分に小さいことが分かっている。これは、ダウンミックス信号表現のオブジェクト信号の（相対的な）レベルと比較したときのオブジェクト信号の（相対的な）レベルの強い変化が、しばしば、アーチファクトをもたらすためである。なぜなら、理想的な方法で異なるオーディオオブジェクトのオブジェクト信号を分離することは、しばしば不可能であるからである。したがって、オブジェクト信号の相対的な寄与量がレンダリングパラメータの選択によってほどほどにしか変わらないようにレンダリングパラメータを調整することは、より良い結果をもたらすことが分かっている。

他の実施形態において、パラメータ調整器は、ダウンミックス信号表現で示されたダウンミックス信号とレンダリングされた信号との間のコヒーレンスを示している歪み尺度が、一つ以上のレンダリングパラメータ限界値に従うレンダリングパラメータを使用してレンダリングされ、所定の範囲にあるように、一つ以上のレンダリングパラメータ限界値を得るように構成される。パラメータ調整器の入力パラメータを形成する所望のレンダリングパラメータの選択は、ダウンミックス信号表現で示されたダウンミックス信号とレンダリングされた信号との間で充分な「類似性」を維持するようになされる必要があることが分かっている。なぜなら、そうでなければ、アップミックス処理において聞こえるアーチファクトを得るリスクがかなり高いからである。

さらに他の好ましい実施形態において、パラメータ調整器は、（調整されたパラメータとして本装置により出力されうる）実際のレンダリングパラメータを得るように、（パラメータ調整器の入力パラメータを形成しうる）所望のレンダリングパラメータの二乗と（例えば、歪み基準値を最小化しているレンダリングパラメータとして定義されうる）最適レンダリングパラメータの二乗との間で１次結合を計算するように構成される。この場合、パラメータ調整器は、所定の閾値パラメータＴおよび歪み基準値における１次結合への、所望のレンダリングパラメータの、および、最適レンダリングパラメータの寄与量を決定するように構成される。ここで、歪み基準値は、ダウンミックス信号表現に基づいてアップミックス信号表現を得るために、最適レンダリングパラメータではなく、一つ以上の所望のレンダリングパラメータを使用することによって生じる歪みを示す。この構想は、所望のレンダリングパラメータの充分な影響をまだ維持すると共に、許容できる尺度に歪みを低減することを可能にする。この構想によって、所望の程度に可聴歪みを制限することを考慮しながら、最適レンダリングパラメータと所望のレンダリングパラメータとの間の合理的に良い妥協点が見つかる。

好ましい実施形態において、パラメータ調整器は、知覚的な劣化の計算尺度に依存して、一つ以上の調整されたパラメータを供給するように構成される。そうすると、非最適パラメータの使用により生じ、知覚的な劣化の計算尺度によって示されるアップミックス信号表現の知覚的に評価された歪みは制限される。このようにして、パラメータがヒアリング印象に従って調整されることが成し遂げられうる。それによって、まだユーザーの要求によってパラメータを調整する際の充分な柔軟性を供給すると共に、許容できないほど悪いヒアリング印象を回避する。

好ましい実施形態において、パラメータ調整器は、ダウンミックス信号表現によって示されたダウンミックス信号のための基準を形成する一つ以上の元のオブジェクト信号の特性を示しているオブジェクト特性情報を受けるように構成される。この場合、パラメータ調整器は、アップミックス信号表現に含まれるオブジェクト信号の特性に関するアップミックス信号表現の歪みが、少なくとも、所定の偏差以上に最適パラメータから外れている入力パラメータについては低減されるように、調整されたパラメータを供給するためのオブジェクト特性情報とみなすように構成される。本発明によるこの実施形態は、一つ以上の元のオブジェクト信号の特性が、入力パラメータが適当であるか、又は、調整されなければならないかを評価するために使用されうるという発見に基づく。なぜなら、アップミックス信号の特性が、一つ以上の元のオブジェクト信号の特性に関連があるように、アップミックス信号を供給することが望ましいからである。その理由は、そうでなければ、知覚的な印象は多くの場合著しく劣化するからである。

好ましい実施形態において、パラメータ調整器は、一つ以上の調整されたパラメータを供給するために、オブジェクト特性として、オブジェクト信号調性情報を受ける及びみなすように構成される。オブジェクト信号の調性が、知覚的な印象に重要な影響を及ぼす量であること、および、調性印象を有意に変えるパラメータの選択は、より良いヒアリング印象を有するために回避される必要があることが分かっている。

好ましい実施形態において、パラメータ調整器は、オブジェクト信号調性情報および受け取ったオブジェクト電力情報に依存して、理想的にレンダリングされたアップミックス信号の調性を推定するように構成される。この場合、パラメータ調整器は、推定された調性と入力パラメータを使用して得られるアップミックス信号の調性との間の違いを比較するときに、推定された調性と一つ以上の調整されたパラメータを使用して得られるアップミックス信号の調性との差を低減するために、一つ以上の調整されたパラメータを供給するように、又は、推定された調性と所定の範囲内の一つ以上の調整されたパラメータを使用して得られるアップミックス信号の調性との間の差を維持するように、構成される。この構想を使用して、ヒアリング印象の劣化のための尺度は、レンダリングパラメータの適切な調整を可能にする高い計算効率によって得られうる。

好ましい実施形態において、パラメータ調整器は、入力パラメータの時間及び周波数変化の調整を実行するように構成される。したがって、調整されたパラメータを得るための入力パラメータの調整は、その調整が実際にヒアリング印象の改善をもたらす、又は、ヒアリング印象の有意な劣化を回避する時間又は周波数領域のためだけに実行されうる。

さらに他の好ましい実施形態において、パラメータ調整器はまた、一つ以上の調整されたパラメータを供給するために、ダウンミックス信号表現を考慮するように構成される。ダウンミックス信号表現を考慮に入れることによって、ヒアリング印象のあり得る歪みのより正確な推定を得ることができる。

好ましい実施形態において、パラメータ調整器は、全体の歪み尺度、すなわち複数の種類のアーチファクトを示している歪み尺度の組み合わせを得るように構成される。この場合、パラメータ調整器は、全体の歪み尺度が、ダウンミックス信号表現に基づいてアップミックス信号表現を得るために、最適レンダリングパラメータよりむしろ一つ以上の入力レンダリングパラメータを使用することにより生じる歪みの尺度であるように、全体の歪み尺度を得るように構成される。複数の種類のアーチファクトを示している複数の歪み尺度を組み合わせることによって、ヒアリング印象を調整するためのうまく制御されるメカニズムがつくられる。

本発明による他の実施形態は、アップミックス信号表現として、ダウンミックス信号表現、オブジェクト関連のパラメトリック情報および所望のレンダリング情報に基づいた複数のアップミックスされたオーディオチャンネルを供給するためのオーディオ信号デコーダを創作する。オーディオ信号デコーダは、ダウンミックス信号表現に基づいて、そして、オブジェクト関連のパラメトリック情報、および、アップミックスされたチャンネルへのオブジェクト関連のパラメトリック情報により示されたオーディオオブジェクトの複数のオブジェクト信号の配分を示している実際のレンダリング情報に依存して、アップミックスされたオーディオチャンネルを得るように構成されたアップミキサーを含む。前に述べたように、オーディオ信号デコーダはまた、一つ以上の調整されたパラメータを供給するための装置を含む。一つ以上の調整されたパラメータを供給するための装置は、一つ以上の入力パラメータとして所望のレンダリング情報を受けるように、および、一つ以上の調整されたパラメータを実際のレンダリング情報として供給するように構成される。一つ以上の調整されたパラメータを供給するための装置はまた、最適レンダリングパラメータから外れている実際のレンダリングパラメータの使用により生じたアップミックスされたオーディオチャンネルの歪みが、少なくとも、所定の偏差以上に最適レンダリングパラメータから外れている所望のレンダリングパラメータについては低減されるように、一つ以上の調整されたパラメータを供給するように構成される。

オーディオ信号デコーダにおいて一つ以上の調整されたパラメータを供給するための装置の使用は、不適当に選択された所望のレンダリング情報を用いてオーディオデコーディングを実行することにより生じるだろう強い可聴歪みの生成を回避することを可能にする。

本発明による実施形態は、ダウンミックス信号表現、オブジェクト関連のパラメトリック情報および所望のレンダリング情報に基づいて、アップミックス信号表現として、チャンネル関連のパラメータ情報を供給するためのオーディオ信号トランスコーダを創作する。オーディオ信号トランスコーダは、ダウンミックス信号表現に基づいて、そして、オブジェクト関連のパラメトリック情報、および、アップミックスされたチャンネルへのオブジェクト関連のパラメトリック情報により示されたオーディオオブジェクトの複数のオブジェクト信号の配分を示している実際のレンダリング情報に依存して、チャンネル関連のパラメトリック情報を得るように構成された補助情報トランスコーダを含む。上記のように、オーディオ信号デコーダはまた、一つ以上の調整されたパラメータを供給するための装置を含む。一つ以上の調整されたパラメータを供給するための装置は、一つ以上の入力パラメータとして、所望のレンダリング情報を受け、そして、実際のレンダリング情報として、一つ以上の調整されたパラメータを供給するように構成される。また、一つ以上の調整されたパラメータを供給するための装置は、最適なレンダリングパラメータから外れている、（ダウンミックス信号情報と組み合わせて、）実際のレンダリングパラメータの使用により生じている、チャンネル関連のパラメトリック情報により示されたアップミックスされたオーディオチャンネルの歪みが、少なくとも、所定の偏差以上に最適レンダリングパラメータから外れている所望のレンダリングパラメータについては、低減されるように、一つ以上の調整されたパラメータを供給するように構成される。調整されたパラメータを供給する構想がオーディオ信号トランスコーダと組み合わせた使用にも適していることが分かっている。

本発明による更なる実施形態は、一つ以上の調整されたパラメータを供給するための方法、オーディオ信号をデコードするための方法およびオーディオ信号をトランスコードするための方法を創作する。前記方法は、上で述べられた装置と同じ主要な考えに基づく。

本発明による他の実施形態は、複数のオブジェクト信号に基づいて、ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報を供給するためのオーディオ信号エンコーダを創作する。オーディオエンコーダは、一つ以上のダウンミックス信号が複数のオブジェクト信号の重ね合わせを含むように、オブジェクト信号と関連したダウンミックス係数に依存して、一つ以上のダウンミックス信号を供給するように構成されたダウンミキサーを含む。オーディオエンコーダはまた、オブジェクト信号のレベル差および相関特性を示しているオブジェクト間関係補助情報および一つ以上の個々のオブジェクト信号の個々の特性を示している個々のオブジェクト補助情報を供給するように構成された補助情報供給器を含む。オーディオ信号エンコーダによるオブジェクト間関係補助情報および個々のオブジェクト補助情報の供給が、マルチチャンネルオーディオ信号デコーダ側で可聴歪みを効率よく低減する又は回避さえすることを可能にすることが分かっている。オブジェクト間関係補助情報が、デコーダ側でオブジェクト信号を分離するために使用される一方で、個々のオブジェクト補助情報は、その歪みが許容できる許容差内にあることを示す、オブジェクト信号の個々の特性がデコーダ側で保持されるかを決定するのに使用される。

好ましい実施形態において、個々の補助情報供給器は、個々のオブジェクト補助情報が個々のオブジェクトの調性を示すように個々のオブジェクト補助情報を供給するように構成される。個々のオブジェクトの調性が、歪みのデコーダ側の制限を可能にする心理音響的に重要な量であることが分かっている。

本発明による他の実施形態は、オーディオ信号をエンコードするための方法を創作する。

本発明による他の実施形態は、エンコードされた形で、複数の（オーディオ）オブジェクト信号を示しているオーディオビットストリームを創作する。オーディオビットストリームは、一つ以上のダウンミックス信号を示しているダウンミックス信号表現を含む。ここで、ダウンミックス信号のうちの少なくとも１つは、複数の（オーディオ）オブジェクト信号の重ね合わせを含む。オーディオビットストリームはまた、オブジェクト信号のレベル差および相関特性を示しているオブジェクト間関係補助情報、および、個々のオブジェクト信号の一つ以上の個々の特性を示している個々のオブジェクト補助情報を含む。上記のように、この種のオーディオビットストリームは、マルチチャンネルオーディオ信号の再構築を可能にする。ここで、レンダリングパラメータの不適当な設定によって生じる可聴歪みは、認識され、そして、低減される、又は、除去されさえする。

本発明による更なる実施形態は、上記の述べられた方法を実施するためのコンピュータ・プログラムを創作する。

本発明による実施形態は、同封の図を参照して、以下に説明される。

図１は、ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置のブロック略図を示す。 図２は、本発明の一実施形態による、ＭＰＥＧ ＳＡＯＣシステムのブロック略図を示す。 図３は、本発明の他の実施形態による、ＭＰＥＧ ＳＡＯＣシステムのブロック略図を示す。 図４は、ダウンミックス信号への、および、ミックスされた信号へのオブジェクト信号の寄与量の略図を示す。 図５ａは、本発明の一実施形態による、モノラルダウンミックスベースのＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダのブロック略図を示す。 図５ｂは、本発明の一実施形態による、ステレオダウンミックスベースのＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダのブロック略図を示す。 図６は、本発明の実施形態による、オーディオ信号エンコーダのブロック略図を示す。 図７は、本発明の実施形態による、オーディオビットストリームの略図を示す。 図８は、参照ＭＰＥＧ ＳＡＯＣシステムのブロック略図を示す。 図９ａは、分離したデコーダ及びミキサーを用いた参照ＳＡＯＣシステムのブロック略図を示す。 図９ｂは、統合されたデコーダ及びミキサーを用いた参照ＳＡＯＣシステムのブロック略図を示す。 図９ｃは、ＳＡＯＣｔｏＭＰＥＧトランスコーダを用いた参照ＳＡＯＣシステムのブロック略図を示す。

１．図１による、一つ以上の調整されたパラメータを供給するための装置
以下に、ダウンミックス信号表現およびオブジェクト関連パラメトリック情報に基づいたアップミックス信号表現の供給のための一つ以上の調整されたパラメータを供給するための装置１００は、図１を参照にして説明される。図１は、一つ以上の入力パラメータ１１０を受けるように構成されるこの種の装置１００のブロック略図を示す。入力パラメータ１１０は、例えば、所望のレンダリングパラメータでありえる。装置１００はまた、それに基づいて、一つ以上の調整されたパラメータ１２０を供給するように構成されもする。調整されたパラメータは、例えば、調整されたレンダリングパラメータでありえる。装置１００は、オブジェクト関連のパラメトリック情報１３０を受けるように更に構成される。オブジェクト関連のパラメトリック情報１３０は、例えば、複数のオブジェクトを示しているオブジェクトレベル差情報および／またはオブジェクト間相関情報でありえる。装置１００は、一つ以上の入力パラメータ１１０を受け、そして、それに基づいて、一つ以上の調整されたパラメータ１２０を供給するように構成されるパラメータ調整器１４０を含む。パラメータ調整器１４０は、一つ以上の入力パラメータ１１０およびオブジェクト関連のパラメトリック情報１３０に依存して、非最適パラメータ（例えば一つ以上の入力パラメータ１１０）の使用により生じるアップミックス信号表現の歪みが、少なくとも、所定の偏差以上に最適パラメータから外れている入力パラメータについては低減されるように、一つ以上の調整されたパラメータ１２０を供給するように構成される。

したがって、装置１００は、一つ以上の入力パラメータ１１０を受け、それに基づいて、一つ以上の調整されたパラメータ１２０を供給する。一つ以上の調整されたパラメータ１２０を供給する際、装置１００は、一つ以上の入力パラメータ１１０が、ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報１３０に基づいたアップミックス信号表現の供給を制御するために使用される場合、一つ以上の入力パラメータ１１０の不変の使用が、許容できないほど高い歪みを生じさせるかどうかを、明示的に又は黙示的に、決定する。このように、少なくとも、一つ以上の入力パラメータ１１０が不都合な方法で選択される場合、調整されたパラメータ１２０は、一般的に、一つ以上の入力パラメータ１１０よりもアップミックス信号表現の供給のためのこの種の装置を調整するためによりよく適している。

したがって、装置１００は、一般的に、一つ以上の調整されたパラメータ１２０に依存してアップミックス信号表現供給器によって供給されるアップミックス信号表現の知覚的な印象を改善する。一つ以上の調整されたパラメータを得るために、一つ以上の入力パラメータの調整のためのオブジェクト関連のパラメトリック情報を使用することは、より良い結果をもたらすことが分かっている。その理由は、一つ以上の調整されたパラメータ１２０がオブジェクト関連のパラメトリック情報１３０に対応する場合、アップミックス信号表現の品質は一般的に良いが、その一方、オブジェクト関連のパラメトリック情報１３０との所望の関係を妨害するパラメータは、一般的に、結果として可聴歪みをもたらすからである。オブジェクト関連のパラメトリック情報は、例えば、一つ以上のダウンミックス信号への（複数のオーディオオブジェクトからの）オブジェクト信号の寄与量を示すダウンミックスパラメータを含みうる。オブジェクト関連のパラメトリック情報はまた、代わりに、または、加えて、オブジェクト信号の特性を示す、オブジェクトレベル差パラメータおよび／またはオブジェクト間相関パラメータを含みうる。オブジェクト信号のエンコーダ側の処理を示しているパラメータおよびオーディオオブジェクト自体の特性を示しているパラメータが、パラメータ調整器１２０による使用に有益な情報として考慮されうることが分かっている。しかしながら、他のオブジェクト関連のパラメトリック情報１３０は、代わりに、または、加えて、装置１００により使用されうる。

しかし、パラメータ調整器１４０が、一つ以上の入力パラメータ１１０に基づいて、一つ以上の調整されたパラメータ１２０を供給するために付加情報を使用しうる点に留意する必要がある。例えば、パラメータ調整器１４０は、一つ以上の調整されたパラメータ１２０の供給を改善するためにさえ、ダウンミックス係数、一つ以上のダウンミックス信号、または、付加情報も任意選択で評価しうる。

２．図２によるシステム
以下に、図２のＭＰＥＧ ＳＡＯＣシステム２００は、詳細に説明される。

ＭＰＥＧ ＳＡＯＣシステム２００についてのより良い理解を与えるために、所望のシステム仕様書および設計の検討についての概要は、与えられる。その後、システムの構造概要は、与えられる。さらに、複数のＳＡＯＣ歪み基準値は、述べられる、そして、歪みの制限のためのこれらのＳＡＯＣ歪み基準値のアプリケーションが説明される。加えて、システム２００の更なる拡張が述べられる。

２．１ システム設計考慮
上記のように、伝送ビットレートおよび計算煩雑性に関して、複数のオーディオオブジェクトを含んでいるオーディオシーンのビットレート効率の良い伝送／記憶装置のためのパラメトリック手法は、一般的に効率的である。受け側でこの種のシステムのユーザーのための更なる利益は、自分の選択（モノラル、ステレオ、サラウンド、バーチャル化されたヘッドホン再生など）のレンダリング・セットアップおよびユーザー対話性の機能を選択することの自由を含む。レンダリングマトリクス、ひいては出力シーンは、意志、個人の好み又は他の基準によって対話形式で、設定され、変更されうる。例えば、他の残りのトーカーとの区別を最大化するために、１つの空間領域に共に１つのグループからトーカーを位置付けすることは、可能である。この相互作用は、デコーダユーザー・インターフェースを供給することによって達成される。

伝送された音オブジェクトごとに、レンダリングのその相対レベルおよび（非モノフォニックのレンダリングのために）空間位置は、調整されうる。これは、ユーザーが関連するグラフィカル・ユーザーインターフェイス（ＧＵＩ）のスライダの位置を変えるときに、リアルタイムで起こりうる（例えば：オブジェクトレベル＝＋５ｄＢ、オブジェクト位置＝−３０度）。しかし、ダウンミックスの分離／ミックスベースのパラメトリック・アプローチのため、レンダリングされたオーディオ出力の主観的品質がレンダリングパラメータ設定に依存することが分かった。相対的なオブジェクトレベルの変化が空間レンダリング位置の変化（「再パニング」）以上に、最終的なオーディオ品質に影響を及ぼすことが判明した。相対的なパラメータの極端な設定（例えば＋２０ｄＢ）が許容できない出力品質につながることさえありうることも分かっている。これが、単純に、このスキームに基礎をなしている知覚的推定のいくつかを妨害することの結果であるが、商品がユーザー・インターフェースの設定に応じて悪い音響およびアーチファクトを生じることは、やはり許容できない。したがって、例えばシステム２００のように、本発明の実施形態は、（ユーザー・インターフェースの設定が「入力パラメータ」とみなされる）ユーザー・インターフェースの設定に関係なく、許容できない劣化を回避することについてのこの課題に対処する。

以下に、ＳＡＯＣ歪みを回避するためのアプローチに関するいくつかの詳細が述べられる。ここで示されるＳＡＯＣ歪み制限のためのアプローチは、以下の構想に基づく。
●顕著なＳＡＯＣ歪みは、（入力パラメータとしてみなされうる）レンダリング係数の不適当な選択のために現れる。この選択は、通常、対話型の方法で、（例えば、対話型アプリケーションのためのリアルタイム・グラフィカルユーザーインターフェイス（ＧＵＩ）を介して）ユーザーによりなされる。従って、ユーザーによって供給されたレンダリング係数を修正する（例えば、特定の計算に基づいてそれらを制限する）、および、ＳＡＯＣレンダリングエンジンのためにこれらの修正された係数を使用する付加的な処理段階は、導入される。例えば、ユーザーにより供給されたレンダリング係数は、入力パラメータとしてみなされうる。そして、ＳＡＯＣレンダリングエンジンのための修正された係数は、修正されたパラメータとしてみなされうる。
●生成されたＳＡＯＣオーディオ出力の過剰な劣化を制御するために、（歪み尺度ＤＭとしても示された）知覚的な劣化の計算尺度を発現させることは望ましい。この歪み尺度が特定の基準を満たす必要があることが分かっている。
○歪み尺度は、ＳＡＯＣデコーディングエンジンの内部パラメータから、容易に計算可能でなければならない。例えば、余分なフィルタバンク計算が、歪み尺度を得るために、必要とされないことが望まれる。
○歪み尺度は、主観的に知覚される音質（知覚的な劣化）と相関させる、すなわち、心理音響の基礎を用いてインラインされる必要がある。この目的で、知覚オーディオ符号化及び処理から普通に知られるように、歪み尺度の計算は、周波数選択的な方法で好ましくなされうる。

複数のＳＡＯＣ歪み尺度が、定められうる、又は、算出されうることが分かっている。しかしながら、ＳＡＯＣ歪み尺度がレンダリングされたＳＡＯＣ品質の正しい評価に至り、こうして、（必ずではないが）しばしば特定の共通性を有するために、特定の基礎的要素を好ましくは考慮しなければならないことが分かっている。
●それらは、ダウンミックス係数を考慮する。これらは、一つ以上のダウンミックス信号内の各オーディオオブジェクトの相対的な混合比を決定する。基礎的な情報として、生じているＳＡＯＣ歪みがダウンミックスおよびレンダリング係数の関係に依存することが分かっている点に留意する必要がある。レンダリング係数により定められた相対的なオブジェクト寄与量が、ダウンミックス内の相対的なオブジェクト寄与量とは実質的に異なる場合、修正されたパラメータを使用するＳＡＯＣデコーディングエンジンは、それをレンダリングされた出力に変換するために、ダウンミックス信号の考慮すべき調整を実行しなければならない。これは、ＳＡＯＣ歪みをもたらすことが分かっている。
●それらは、レンダリング係数を考慮する。これらは、出力信号にされる一つ以上の各々に、各オーディオオブジェクトの相対的な出力強度を決定する。基礎的な情報として、生じているＳＡＯＣ歪みも互いに対するオブジェクト電力の関係に依存することが分かっている点に留意する必要がある。ある時点でのオブジェクトが他のオブジェクトよりはるかに高い電力を有する場合、（そして、このオブジェクトのダウンミックス係数がそれほど小さくない場合、）このオブジェクトはダウンミックスを支配して、レンダリングされた出力信号において非常によく再生される。これに反して、弱いオブジェクトは、ダウンミックスにおいて非常に弱く示されるだけであり、このように有意な歪みのない高い出力レベルに達し得ない。
●それらは、その他に関して各オブジェクトの（相対的な）オブジェクト電力／レベルを考慮する。この情報は、例えば、ＳＡＯＣオブジェクトレベル差（ＯＬＤ）として示される。基礎的な情報として、生じているＳＡＯＣ歪みがさらに、個々のオブジェクト信号の特性に依存することが分かっている点に留意する必要がある。例えば、（他のオブジェクトがよりノイズ状である性質でありうるのに対して）レンダリングされた出力の音の性質のオブジェクトをより大きなレベルに増大することは、結果として相当な知覚される歪みをもたらす。
●これに加えて、元のオブジェクト信号の特性に関する他の情報は、考慮されうる。これらは、それからＳＡＯＣ補助情報の一部としてＳＡＯＣエンコーダによって送信されうる。例えば、各オブジェクト項目の調性又はノイジネスについての情報は、ＳＡＯＣ補助情報の一部として送信されえ、歪み制限のために使用されうる。

２．２ システム概要
上記の考慮に基づいて、ＭＰＥＧ ＳＡＯＣシステム２００についての概要は、ここでは、本発明のより良い理解のために与えられる。図２によるＳＡＯＣシステム２００が、図８によるＭＰＥＧ ＳＡＯＣシステム８００の拡張したバージョンである点に留意する必要がある。そうすると、上記説明もあてはまる。さらに、ＭＰＥＧ ＳＡＯＣシステム２００が図９ａ、図９ｂ及び図９ｃに示される実施態様変形例９００、９３０、９６０に基づいて修正されうる点に留意する必要がある。ここで、オブジェクトエンコーダは、ＳＡＯＣエンコーダに対応し、ユーザー対話情報／ユーザー制御情報８２２は、レンダリング制御情報／レンダリング係数に対応する。

さらにまた、ＭＰＥＧ ＳＡＯＣシステム１００のＳＡＯＣデコーダは、分離されたオブジェクトデコーダおよびミキサー／レンダラー装置９２０と、統合されたオブジェクトデコーダおよびミキサー／レンダラー装置９３０またはＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダ９８０と交換されうる。

ここで、図２を参照して、ＭＰＥＧ ＳＡＯＣシステム２００が、１からＮまで番号をつけた複数のオブジェクトと関連した、複数のオブジェクト信号ｘ₁〜ｘ_Nを受けるように構成されるＳＡＯＣエンコーダ２１０を含むことが分かる。ＳＡＯＣエンコーダ２１０はまた、ダウンミックス係数ｄ₁〜ｄ_Nを受ける（そうでなければ、得る）ように構成される。例えば、ＳＡＯＣエンコーダ２１０は、ＳＡＯＣエンコーダ２１０によって供給されるダウンミックス信号２１２のチャンネルごとに、１組のダウンミックス係数ｄ₁〜ｄ_Nを得うる。ＳＡＯＣエンコーダ２１０は、例えば、ダウンミックス信号を得るために、オブジェクト信号ｘ₁〜ｘ_Nの重み付けした組み合わせを得るように構成されうる。ここで、オブジェクト信号ｘ₁〜ｘ_Nの各々は、その関連したダウンミックス係数ｄ₁〜ｄ_Nにより重み付けされる。ＳＡＯＣエンコーダ２１０はまた、異なるオブジェクト信号の関係を示すオブジェクト間関係情報を得るように構成される。例えば、オブジェクト間関係情報は、例えば、ＩＯＣパラメータの形で、例えば、ＯＬＤパラメータおよびオブジェクト間相関情報の形で、オブジェクトレベル差情報を含みうる。したがって、ＳＡＯＣエンコーダ２００は、各ダウンミックス信号（またはマルチチャンネル・ダウンミックス信号２１２のチャンネル）に関連した一組のダウンミックスパラメータに基づいて重み付けされる一つ以上のオブジェクト信号の重み付けされた組み合わせを各々が含む一つ以上のダウンミックス信号２１２を供給するように構成される。ＳＡＯＣエンコーダ２１０は、補助情報２１４を供給するようにも構成される。ここで、補助情報２１４は、（例えば、オブジェクトレベル差パラメータおよびオブジェクト間相関パラメータの形で）オブジェクト間関係情報を含む。補助情報２１４はまた、例えば、ダウンミックス利得パラメータおよびダウンミックスチャンネルレベル差パラメータの形で、ダウンミックスパラメータ情報を含む。補助情報２１４は、個々のオブジェクト特性を示しうる任意のオブジェクト特性補助情報を更に含みうる。任意のオブジェクト特性補助情報に関する詳細は、後述する。

ＭＰＥＧ ＳＡＯＣシステム２００はまた、一つ以上の入力パラメータ、すなわちレンダリング制御情報又はレンダリング係数２４２を示している入力パラメータに依存して、一つ以上の修正された（または調整された、または「実際の」）パラメータ、すなわち修正されたレンダリング係数２２２を供給するための装置２４０を含む。装置２４０は、補助情報２１４の少なくとも一部を受けるようにも構成される。例えば、装置２４０は、オブジェクト電力（例えばオブジェクト信号ｘ₁〜ｘ_Nの電力）を示しているパラメータ２１４ａを受けるように構成される。例えば、パラメータ２１４ａは、（ＯＬＤとして示されもする）オブジェクトレベル差パラメータを含みうる。装置２４０はまた、好ましくは、ダウンミックス係数を示している補助情報２１４のパラメータ２１４ｂを受ける。例えば、パラメータ２１４ｂは、ダウンミックス係数ｄ₁〜ｄ_Nを示す。任意選択で、装置２４０は、個々のオブジェクト特性補助情報を構成する付加パラメータ２１４ｃを更に受けうる。

一つ以上の調整されたパラメータ２４２を供給するための装置２４０は、例えば、入力レンダリング係数２４２を受け、それに基づいて、修正されたレンダリング係数２２２を供給するレンダリング係数調整器２５０を含みうる。この目的のために、レンダリング係数調整器２５０は、入力レンダリング係数２４２の使用によって生じる歪みを示す歪み尺度２５２を受けうる。歪み尺度２５２は、例えば、パラメータ２１４ａ、２１４ｂおよび入力レンダリング係数２４２に依存して、歪み計算器２６０によって供給されうる。

しかし、レンダリング係数調整器２５０の、および、歪み計算器２６０の機能はまた、修正されたレンダリング係数２２２が歪み尺度２５２の明示的な計算なしで供給されるように、１つの演算器に統合されうる。むしろ、歪み尺度を低減する又は制限する黙示のメカニズムは、適用されうる。

以下に、本発明概念の機能は、簡単に要約される。歪み尺度（ＤＭ）を与えられて、オーディオ出力の過剰な歪みは、歪み尺度値が特定の閾値を上回らないように、与えられた信号のための歪み尺度値を計算すること、および、（実際に使用されたレンダリング係数２１２を制限する）ＳＡＯＣデコーディングアルゴリズムを修正することによって、回避されうる。この構想によるシステム２００は、図２に示され、上記のいくつかの詳細において説明された。

システム２００に関して、以下の見解がなされる。
●所望のレンダリング係数２４２は、ユーザーまたは他のインターフェースによって入力される。
●ＳＡＯＣデコーディングエンジン２２０で適用される前に、レンダリング係数２４２は、歪み計算器２６０から出力される、一つ以上の計算された歪み尺度２５２を利用する、レンダリング係数調整器２５０によって修正される。
●歪み計算器２６０は、補助情報２１４（例えば、相対的なオブジェクト電力／ＯＬＤｓ、ダウンミックス係数、および、（任意選択で）オブジェクト信号特性情報）から、情報（例えば、パラメータ２１４ａ、２１４ｂ）を評価する。加えて、それは、所望のレンダリング係数入力２４２に基づく。

好ましい実施形態において、装置２４０は、歪み尺度に基づいて、レンダリング係数を修正するように構成される。好ましくは、レンダリング係数は、例えば、周波数選択的な重みを用いた周波数選択的な方法で調整される。

レンダリング係数の修正は、このフレーム（例えば、現在のフレーム）に基づきうる、または、レンダリング係数は、ちょうどフレームごとの基準で時間に関して調整されうるだけでなく、時間に関して処理／制御されうる（例えば時間に関して滑らかにされうる）。ここで、おそらく異なる立ち上がり／減衰定数は、ダイナミックレンジ圧縮器／制限器のためのように適用されうる。

いくつかの実施形態では、歪み尺度は、周波数選択的でありえる。

いくつかの実施形態では、歪み尺度は、以下の特性の一つ以上を考慮しうる。
●各オブジェクトの電力／エネルギー／レベル
●ダウンミックス係数
●レンダリング係数
●適用できる場合、付加的なオブジェクト特性補助情報。

いくつかの実施形態では、歪み尺度は、オブジェクトごとに計算され、全体の歪みに達するように組み合わされうる。

いくつかの実施形態において、付加的なオブジェクト特性補助情報２１４ｃは、任意選択で評価されうる。付加的なオブジェクト特性補助情報２１４ｃは、拡張されたＳＡＯＣエンコーダにおいて、例えば、ＳＡＯＣエンコーダ２１０において、抽出されうる。付加的なオブジェクト特性補助情報は、例えば、図７を参照して説明される拡張されたＳＡＯＣビットストリームに埋込まれうる。また、付加的なオブジェクト特性補助情報は、拡張されたＳＡＯＣデコーダによって歪み制限をすることのために使用されうる。

特殊な場合において、ノイジネス／調性は、付加的なオブジェクト特性補助情報によって示されるオブジェクト特性として使用されうる。この場合、ノイジネス／調性は、補助情報に保存するために他のオブジェクトパラメータ（例えばＯＬＤ）よりも非常に粗い周波数分解能によって送信されうる。極端な場合において、ノイジネス／調性オブジェクト特性補助情報は、（例えば、広帯域性として）オブジェクトごとにちょうど１つの情報を有して送信されうる。

２．３ ＳＡＯＣ歪み基準値
以下に、例えば、歪み計算器２６０を使用して得られうる複数の異なる歪み尺度は説明される。レンダリング係数の制限のためのこれらの歪み尺度のアプリケーションに関する詳細は、セクション２．４で後述する。

換言すれば、このセクションは、いくつかの歪み尺度を概説する。これらは、個々に使用されうる、または、例えば、個々の歪み基準値の重み付け和によって、合成の、より複雑な歪みを形成するように組み合わされうる。用語「歪み尺度（ｍｅａｓｕｒｅ）」および「歪み基準値（ｍｅｔｒｉｃ）」が同様の量を示し、ほとんどの場合、区別されることを必要としない点にここでは留意されたい。

以下に、歪み計算器２６０によって評価されうる、および、入力レンダリング係数２４２に基づいて、修正されたレンダリング係数２２２を得るために、レンダリング係数調整器２５０により使用されうる、複数の歪み基準値は説明される。

２．３．１ 歪み尺度＃１
以下に、（歪み尺度＃．１とも示される）第１の歪み尺度は、説明される。

概念的簡潔さのために、Ｎ―１―１ ＳＡＯＣシステム（例えばモノフォニックのダウンミックス信号（２１２）および単一のアップミックスチャンネル（信号））は、考慮される。Ｎ個の入力オーディオオブジェクトは、モノフォニックの信号にダウンミックスされて、モノラル出力にレンダリングされる。図８において与えられるように、ダウンミックス係数がｄ₁…ｄ_Nで示されて、そしてレンダリング係数は、ｒ₁…ｒ_Nで示される。以下の式において、時間インデックスは、説明を簡単にするため省略された。同様に、周波数インデックスを無視し、式がサブバンド信号に関係がある点に留意した。下記の方程式のいくつかにおいて、小文字は係数または信号を示し、大文字は対応する電力を意味する。そして、それは式の意味合いから理解できる。また、時間領域においてではなく、信号は、時々対応する時間―周波数領域係数によって示される点に留意する必要がある。

ここで、第１項は、出力信号への影響のあるオブジェクトの所望の寄与量であり、一方、第２項は、すべての他のオブジェクトからの寄与量（「干渉」）を示す。

実際上、これは、歪み基準値が、ダウンミックス（入力）信号に対する理想的なレンダリングされた（出力）信号の相対的なオブジェクト電力寄与量の比率であることを意味する。これは、大きな因数で相対的なオブジェクト電力を変える必要がないときに、ＳＡＯＣスキームが最も良く機能するという発見と関係がある。

ｄｍ₁の値を増加させることは、音響オブジェクト＃ｍに関して音質を減少させることを示す。すべてのレンダリング係数が共通の因数によってスケールされる場合、または、すべてのダウンミックス係数が同様にスケールされる場合、ｄｍ₁の値は一定のままであることが分かっている。また、オブジェクト＃ｍのためのレンダリング係数を増加させること（その相対レベルを増加させること）は、歪みの増加につながることが分かっている。ｄｍ₁の値は、以下のように解釈されうる。
●１は、オブジェクト＃ｍに関して理想的な品質を示す。
●１より上にｄｍ₁値を増加させることは、品質を減少させることを示す。
●１より下のｄｍ₁の値は、オブジェクト＃ｍに関して品質を更に改善しない。

この方程式において、ｍｓｒは、その調性に依存する全体のオーディオ信号のマスク対信号比（Ｍａｓｋ―Ｔｏ―Ｓｉｇｎａｌ―Ｒａｔｉｏ）である。ｄｍ₂の値を増加させることは、音響オブジェクト＃ｍに関してより高い歪みを示す。さらにまた、すべてのレンダリング係数が共通の因子によってスケールされる場合、または、すべてのダウンミックス係数が同様にスケールされる場合、ｄｍ₂の値は一定のままである。ｄｍ₂の値の範囲は、以下のように解釈されうる。
●０の値は、オブジェクト＃ｍに関して理想的な品質を示す。
●１より上にｄｍ₂値を増加させることは、漸進的な可聴劣化を示す。
●１より下のｄｍ₂の値は、オブジェクト＃ｍに関して見分けがつかない品質を示す。

２．３．３ 歪み尺度＃３
ダウンミックス信号とレンダリングされた信号との間のコヒーレンスを示している第３の歪み尺度は、示される。より高いコヒーレンスは、結果としてより良い主観的な音質をもたらす。加えて、ＩＯＣデータがＳＡＯＣデコーダに存在する場合、入力されたオーディオオブジェクトの相関は考慮されうる。

ＤＭ₃の値は、以下のように解釈されうる。
●値は、範囲［０…１］にあり、そして、ダウンミックスとレンダリングされた信号との間のコヒーレンスを示す。
●０の値は、理想的な品質を示す。
●ＤＭ₃値を増加させることは、品質を減少させることを示す。

２．３．４ 歪み尺度＃４
２．３．４．１ 概要
このアプローチは、ターゲットレンダリングエネルギー（ＵＰＭＩＸ）と（与えられたダウンミックスＤＭＸから計算される）最適ダウンミックスエネルギーとの間の平均化された加重比率を、歪み尺度として使用することを提案する。

詳細のため、ダウンミックス（ＤＭＸ）、最適ダウンミックスエネルギー（ＤＭＸ＿ｏｐｔ）およびターゲットレンダリングエネルギー（ＵＰＭＩＸ）の図示を示す、図４も参照される。

２．３．４．４ 歪み制御
歪み制御は、歪み制御ＤＭ４に依存して、一つ以上のレンダリング係数を制限することによって達成される。

（ｉ）尺度がステレオ・ダウンミックスの場合にだけ関連すること、および、（ｉｉ）それが＃ｄｘ＝１と＃ｃｈ＝１のためのＤＭ１に減少されうることは、留意されうる。

２．３．４．５ 特性
以下に、歪み尺度ナンバー４を計算するための構想の特性が、簡単にまとめられる。その構想は、
●理想的なトランスコーディングとみなす。
●ステレオ・ダウンミックスを処理できる。
●複数のチャンネルレンダリングへの一般化を可能にする。

ｄｍ₂およびｄｍ₂’の同様の拡張は、ｔおよびＴに関して可能性がある。

２．３．６ 歪み尺度＃６
以下に、第６の歪み尺度は、説明される。

あるいは、また、ヒルベルト包絡線の差信号の電力／分散は、ヒルベルト包絡線自体の分散の代わりに使用されうる。いずれにせよ、その尺度は、時間に関する包絡線の変動の強さを示す。

２．３．７ 参照シーンおよびＳＡＯＣレンダリングされたシーンのためのソース信号イメージのエネルギーの計算
参照のソース信号イメージのオブジェクトエネルギーおよび歪み尺度のために使用されたＳＡＯＣレンダリングされたシーンのために、「歪み尺度５」においてなされるように、ＳＡＯＣレンダリングされたシーンのためのトランスコーディングマトリクスＴを考慮に入れる必要があるが、更に、参照シーンおよびレンダリングされたシーンの両方のために、ソース信号の相関も考慮に入れる必要がある。

注釈：大文字の信号の記号は、ここで、信号のマトリクス記号を示し、前の章においてのような信号エネルギーを示さない。

２．３．８ オブジェクト信号特性
以下に、例えば、歪み尺度を得るために、装置２５０又はアーチファクト減少３２０によって使用されうるオブジェクト信号特性の例が、説明される。

２．４ 歪み制限スキーム
２．４．１ 歪み制限スキームの概要
以下に、複数の歪み制限スキームの簡潔な概要が、与えられる。上記のように、レンダリング係数調整器２５０は、入力レンダリング係数２４２を受けて、それに基づいて、ＳＡＯＣデコーダ２２０用に修正されたレンダリング係数２２２を供給する。

修正されたレンダリング係数の供給のための異なる構想は区別されうる。ここで、その構想は、いくつかの実施形態において、組み合わされうる。第１の構想によって、一つ以上のレンダリングパラメータ限界値は、補助情報２１４の一つ以上のパラメータに依存して（すなわち、オブジェクト関連のパラメトリック情報２１４に対して依存して）、第１のステップにおいて得られる。その後、実際の「（修正された又は調整された）」レンダリング係数２２２は、実際のレンダリングパラメータが、レンダリングパラメータ限界値により定められた限界に従うように、所望のレンダリングパラメータ２４２および一つ以上のレンダリングパラメータ限界値に依存して得られる。したがって、レンダリングパラメータ限界値を上回る、この種のレンダリングパラメータは、レンダリングパラメータ限界値に従うように調整される（修正される）。この第１の構想は、実施するのは容易であるが、時々わずかにユーザー満足度の低下をもたらしうる。その理由は、ユーザーが定めた所望のレンダリングパラメータ２４２がレンダリングパラメータ限界値を上回る場合、所望のレンダリングパラメータ２４２のユーザーの選択は考慮に入れなくされるからである。

第２の構想によって、パラメータ調整器は、所望のレンダリングパラメータの二乗と最適レンダリングパラメータの二乗との間の１次結合を計算し、実際のレンダリングパラメータを得る。この場合、パラメータ調整器は、上記のように、所定の閾値パラメータ及び歪み基準値に依存して、その１次結合への所望のレンダリングパラメータの、および、最適レンダリングパラメータの寄与量を決定するように構成される。

加えて、歪み尺度（歪み基準値）がオブジェクト間関係特性および／または個々のオブジェクト特性を使用して計算されるかどうかが、識別されうる。いくつかの実施形態において、（単一のオブジェクトだけに関連がある）個々のオブジェクト特性を考慮に入れないが、オブジェクト間関係特性だけが評価される。いくつかの他の実施形態において、オブジェクト間関係特性を考慮に入れないが、個々のオブジェクト特性だけは考慮される。しかし、いくつかの実施形態において、オブジェクト間関係特性と個々のオブジェクト特性の両方の組み合わせが評価される。

先の考慮に基づいて、そして同じく、異なる歪み尺度の上記説明に基づいて、以下のサブセクションで概説されるように、歪みを制限するための多くのスキームが定められる。歪みを制限するためのこれらのスキームは、入力レンダリング係数２４２に依存して、修正されたレンダリング係数を得るために、レンダリング係数調整器２５０によって適用されうる。

制限するプロセスが各特定のフレームの個々のオブジェクトエネルギーに依存することに留意されたい。アプローチは、単純で、以下の軽微な欠点を有する。
●それは、相対的なオブジェクト・ラウドネスも知覚的なマスキングも考慮しない。
●それは、特定のオブジェクトを増大させる効果をとらえるだけでなく、オブジェクト利得を減衰させることによる効果もとらえる。これは、ｄｍ値の下限を命令することによってもまた、対処されうる。

２．４．３ 制限スキーム＃２
２．４．３．１ 制限スキーム概要
このセクションは、以下の態様を考慮する制限関数を説明する。
●歪み尺度は、制限閾値によって抑止される。
●制限されたレンダリングマトリクスの導出は、制限関数に、および、元のレンダリングマトリクスまでのその距離に基づく。

この制限関数（または制限スキーム）は、例えば、歪み計算器２６０と結合したレンダリング係数調整器２５０によって実行されうる。

歪み尺度は、レンダリングマトリクスの関数であり、その結果、
●（例えば、入力レンダリング係数２４２によって示された）元のレンダリングマトリクスは、元の歪み尺度を生ずる
●最適歪み尺度は、最適レンダリングマトリクスを生ずるが元のレンダリングマトリクスまでのこの最適レンダリングマトリクスの距離は、最適ではなくてもよい
●歪み尺度は、元のレンダリングマトリクスまでのレンダリングマトリクスの距離に、反比例である
●特定の閾値のために、（例えば、調整された又は修正されたレンダリング係数２２２によって示された）制限されたレンダリングマトリクスは、元のおよび最適な動作点間の補間（例えば直線補間）で導き出される。

制限スキーム＃２は、以下に説明されるように、異なる歪み尺度と組み合わせて使用されうる。

２．４．５ 更なる任意の改良
個々に、または、装置２４０と組み合わせて実行されるレンダリング係数２２２を制限するための上記の構想は、更に改良されうる。例えば、Ｍ―チャンネルレンダリングへの一般化は、実行されうる。この目的のために、レンダリング係数の二乗和／電力は、単一のレンダリング係数の代わりに使用されうる。

また、ステレオ・ダウンミックスへの一般化は、実行されうる。この目的のために、ダウンミックス係数の二乗和／電力は、単一のダウンミックス係数の代わりに使用されうる。

いくつかの実施形態において、歪み尺度は、周波数全体にわたって結合されて、劣化制御のために使用される単一のものとなりうるあるいは、周波数バンドごとにそれぞれに歪み制御をすることが、場合によってはより良い（及びより単純である）こともある。

異なる構想は、実際に歪み制御をするために適用されうる。例えば、一つ以上のレンダリング係数は、制限されうる。代わりに、または、加えて、（例えばＭＰＥＧサラウンドデコーディングの）ｍ２マトリクス係数は、制限されうる。代わりに、または、加えて、相対的なオブジェクト利得は、制限されうる。

３．図３による実施形態
以下に、ＳＡＯＣデコーダの他の実施形態は、図３を参照して説明される。理解を容易にするため、基礎をなす考慮に関する短い議論がまず与えられる。（ＩＳＯ／ＩＥＣ ２３００３―２としての標準化の下でのシステムのような）「空間オーディオオブジェクト符号化」（ＳＡＯＣ）システムの出力は、オーディオオブジェクトの特性およびレンダリングマトリクスとダウンミックスマトリクスの関係に依存するアーチファクトを呈することができる。この問題について述べるために、ダウンミックスおよびレンダリングマトリックスが同じ次元を有する場合は、一般性の喪失なしでここでは考慮される。ダウンミックスおよびレンダリングされたシーンのチャンネル数が異なる場合、対応する考慮は、適用する。

一般に、レンダリングマトリクスがダウンミックスマトリクスとは有意に異なることになるようになるとき、アーチファクトのリスクが増加することが分かっている。異なる種類のアーチファクトは、区別されうる：

１．レンダリングの不完全状態、すなわち、「有効な」レンダリングマトリクスが、ＳＡＯＣデコーダに入力される所望のレンダリングマトリクスとは異なること（オブジェクトの効果的に得られる減衰又は利得が、レンダリングマトリクスにおいて特定されるものと異なること）。これは、一般的に、特定のパラメータ・バンドのオブジェクトのオーバラップの結果である。

２．オブジェクトの音色の不必要な及びおそらく時間的でさえある変化。このアーチファクトは、１．に述べた「リーク」が単一のパラメータ・バンドのために局所的に生じるだけであるときに、特に厄介である。

３．ＳＡＯＣデコーダにおいて、時間的及び周波数的信号処理によって引き起こされた変調されたオブジェクト信号、楽音または変調されたノイズのようなアーチファクト。

あらゆる種類のアーチファクトを最小化することが望ましいことが分かった。

この問題に対処するための、および、アーチファクトを最小化するための一般化されたアプローチは、それがＳＡＯＣデコーダに送信される前に、所望のレンダリングマトリクスの時間的―周波数的―後処理を行使することである。このアプローチは、図３に示される。

図３は、ＳＡＯＣデコーダ装置３００のブロック略図を示す。ＳＡＯＣデコーダ３００は、オーディオ信号デコーダとして、簡単に示されもしうる。オーディオ信号デコーダ３００は、ダウンミックス信号表現３１２およびＳＡＯＣビットストリーム３１４を受けるように、および、それに基づいて、例えば、複数のアップミックスオーディオチャンネルの表現の形で、レンダリングされたシーンの表示３１６を供給するように構成されるＳＡＯＣデコーダコア３１０を含む。

オーディオ信号デコーダ３００はまた、例えば、一つ以上の入力パラメータに依存して一つ以上の調整されたパラメータを供給するための装置の形で、供給されうる、アーチファクト減少３２０を含む。アーチファクト減少３２０は、所望のレンダリングマトリクスに関する情報３２２を受けるように構成される。情報３２２は、例えば、アーチファクト減少の入力パラメータを形成しうる、複数の所望のレンダリングパラメータという形をとりうる。アーチファクト減少３２０は、ダウンミックス信号表現３１２およびＳＡＯＣビットストリーム３１４を受けるように更に構成される。ここで、ＳＡＯＣビットストリーム３１４は、オブジェクト関連のパラメトリック情報を運びうる。アーチファクト減少３２０は、所望のレンダリングマトリクスに関する情報３２２に依存して、（例えば、複数の調整されたレンダリングパラメータの形で、）修正されたレンダリングマトリクス３２４を供給するように更に構成される。

従って、ＳＡＯＣデコーダコア３１０は、ダウンミックス信号表現３１２、ＳＡＯＣビットストリーム３１４および修正されたレンダリングマトリクス３２４に依存して、レンダリングされたシーンの表現３１６を供給するように構成されうる。

以下に、オーディオ信号デコーダの機能に関するいくつかの詳細が、供給される。与えられた所望のレンダリングマトリクスのためのＳＡＯＣシステムの潜在的に制限された分離機能によって、アーチファクトのリスクを評価するために、（ダウンミックス信号表現３１２により示された）ダウンミックス信号およびＳＡＯＣビットストリーム３１４の両方を考慮に入れることが望ましいことが分かっている。目下のこの情報によって、例えば、レンダリングマトリクスの修正によって、これらのアーチファクトを軽減しようとすることは、可能である。これは、アーチファクト減少３２０によって実行される。軽減のための高度なストラテジーは、知覚の効果と同様に、ＳＡＯＣシステムの時間及び周波数選択の制限（オーバーラップ）を考慮に入れる。すなわち、それらは、可能な限り小さい可聴のアーチファクトを有する一方で、所望の出力信号と同様にレンダリングされた信号音響を作ろうとする必要がある。

図３に示されるオーディオ信号デコーダ３００において使用されるアーチファクト減少のための好ましいアプローチは、上記リストされた異なる種類のアーチファクトを評価する歪み尺度の重み付けされた組み合わせである全体の歪み尺度に基づく。これらの重み付けは、上記リストされた異なる種類のアーチファクトの間で適切なトレードオフを決定する。これらの異なる種類のアーチファクトのための重み付けが、ＳＡＯＣシステムが使用されるアプリケーションに依存しうる点に留意する必要がある。

換言すれば、アーチファクト減少３２０は、複数の種類のアーチファクトのための歪み尺度を得るように構成されうる。例えば、アーチファクト減少３２０は、上述したいくつかの歪み尺度ｄｍ１〜ｄｍ６を適用しうる。あるいは、または、加えて、このセクション内で述べられたように、アーチファクト減少３２０は、他の種類のアーチファクトを示している更なる歪み尺度を使用しうる。また、アーチファクト減少は、（例えば、セクション２．４．２、２．４．３および２．４．４の下で）上述された一つ以上の歪み制限スキーム、または、相当するアーチファクト制限スキームを用いた所望のレンダリングマトリクス３２２に基づいて、修正されたレンダリングマトリクス３２４を得るように構成されうる。

４． 図５ａおよび図５ｂによるオーディオ信号トランスコーダ
４．１ 図５ａによるオーディオ信号トランスコーダ
上記の構想がオーディオ信号デコーダおよびオーディオ信号トランスコーダにおいて適用されうる点に留意する必要がある。図２および図３を参照して、その構想は、オーディオ信号デコーダと組み合わせて示された。以下に、本発明概念の使用は、オーディオ信号トランスコーダと組み合わせて簡単に述べられる。

この問題に関して、図９ａ、図９ｂおよび図９ｃに関してされた説明が本発明概念に適用できるように、オーディオ信号デコーダおよびオーディオ信号トランスコーダの類似点が、図９ａ、図９ｂおよび図９ｃに関してすでに述べられた点に留意する必要がある。

図５ａは、ＭＰＥＧサラウンドデコーダ５１０と組み合わせて、オーディオ信号トランスコーダ５００のブロック略図を示す。図に示すように、ＳＡＯＣｔｏＭＰＥＧサラウンドトランスコーダでありうるオーディオ信号トランスコーダ５００は、ＳＡＯＣビットストリーム５２０を受けて、それに基づいて、ダウンミックス信号表現５２４に影響を及ぼす（または修正する）ことなしで、ＭＰＥＧサラウンドビットストリーム５２２を供給するように構成される。オーディオ信号トランスコーダ５００は、ＳＡＯＣビットストリーム５２０を受け、所望のＳＡＯＣパラメータをＳＡＯＣビットストリーム５３０から抽出するように構成されるＳＡＯＣパーシング５３０を含む。オーディオ信号トランスコーダ５００はまた、ＳＡＯＣパーシング５３０およびレンダリングマトリクス情報５４２により供給されたＳＡＯＣパラメータを受けるように構成される、実際のレンダリング（マトリクス）情報としてみなされうる、および、例えば、複数の調整された（又は修正された）レンダリングパラメータの形で示されうるシーンレンダリングエンジン５４０を含む。シーンレンダリングエンジン５４０は、前記ＳＡＯＣパラメータおよびレンダリングマトリクス５４２に依存して、ＭＰＥＧサラウンドビットストリーム５２２を供給するように構成される。この目的のために、シーンレンダリングエンジン５４０は、（パラメトリック情報として示されもする）チャンネル関連のパラメータであるＭＰＥＧサラウンドビットストリーム・パラメータ５２２を計算するように構成される。このように、シーンレンダリングエンジン５４０は、オブジェクト関連のパラメトリック情報を構成するＳＡＯＣビットストリーム５２０のパラメータを、実際のレンダリングマトリクス５４２に対して依存して、チャンネル関連のパラメトリック情報を構成するＭＰＥＧサラウンドビットストリームのパラメータに変える（または「トランスコーダ」である）ように構成される。

オーディオ信号トランスコーダ５００はまた、例えば、再生構成に関する情報５５２およびオブジェクト位置に関する情報５５４の形で、所望のレンダリングマトリクスに関する情報を受けるように構成される、レンダリングマトリクス生成５５０を含む。あるいは、レンダリングマトリクス生成５５０は、所望のレンダリングパラメータ（例えばレンダリングマトリクスエントリ）に関する情報を受けうる。レンダリングマトリクス生成は、ＳＡＯＣビットストリーム５２０（または少なくとも、ＳＡＯＣビットストリーム５２０によって示されるオブジェクト関連のパラメトリック情報のサブセット）を受けるようにも構成される。レンダリングマトリクス生成５５０は、受けた情報に基づいて実際の（調整された又は修正された）レンダリングマトリクス５４２を供給するようにも構成される。その範囲において、レンダリングマトリクス生成５５０は、装置１００の、または、装置２４０の機能を引き継ぎうる。

ＭＰＥＧサラウンドデコーダ５１０は、一般的に、ダウンミックス信号情報５２４およびシーンレンダリングエンジン５４０によって供給されるＭＰＥＧサラウンドビットストリーム５２２に基づいて複数のアップミックスチャンネル信号を得るように構成される。

要約すると、ＭＰＥＧサラウンドビットストリーム５２２が、ダウンミックス信号表現５２４に基づいたアップミックス信号表現の供給を可能にするように、オーディオ信号トランスコーダ５００は、ＭＰＥＧサラウンドビットストリーム５２２を供給するように構成される。ここで、アップミックス信号表現は、ＭＰＥＧサラウンドデコーダ５１０によって実際に供給される。ＭＰＥＧサラウンドデコーダ５１０によって生成されるアップミックス信号表現が受け入れがたい可聴歪みを含まないように、レンダリングマトリクス生成５５０は、シーンレンダリングエンジン５４０により用いられるレンダリングマトリクス５４２を調整する。

４．２ 図５ｂによるオーディオ信号トランスコーダ
図５ｂは、オーディオ信号トランスコーダ５６０およびＭＰＥＧサラウンドデコーダ５１０の他の配置を示す。同一の手段および信号が同じ参照番号によって示されるように、図５ｂの配置が図５ａの配置に非常に類似する点に留意する必要がある。オーディオ信号トランスコーダ５６０が、入力ダウンミックス表現５２４を受けて、ＭＰＥＧサラウンドデコーダ５１０に供給される修正されたダウンミックス表現５７４を供給するように構成されるダウンミックストランスコーダ５７０を含むという点で、オーディオ信号トランスコーダ５６０は、オーディオ信号トランスコーダ５００と異なる。ダウンミックス信号表現の修正は、所望のオーディオ結果の定義のより多くの柔軟性を得るためになされる。これは、ＭＰＥＧサラウンドビットストリーム５２２がＭＰＥＧサラウンドデコーダ５１０によって出力されたアップミックスチャンネル信号上へのＭＰＥＧサラウンドデコーダ５１０の入力信号のいくつかのマッピングを示すことができないという事実に起因する。したがって、ダウンミックストランスコーダ５７０を用いたダウンミックス信号表現の修正は、増加した柔軟性をもたらしうる。

さらにまた、レンダリングマトリクス生成５５０は、装置１００または装置２４０の機能を引き継ぎうる。それによって、ＭＰＥＧサラウンドデコーダ５１０により供給されるアップミックス信号表現の可聴歪みが十分に小さく保たれることを確実にする。

５． 図６によるオーディオ信号エンコーダ
以下に、オーディオ信号エンコーダ６００は、この種のオーディオ信号エンコーダのブロック略図を示す図６の参照をして説明される。オーディオ信号エンコーダ６００は、（ｘ₁〜ｘ_Nと示されもする）複数のオブジェクト信号６１２ａ、６１２Ｎを受け、そして、それに基づいて、ダウンミックス信号表現６１４およびオブジェクト関連のパラメトリック情報６１６を供給するように構成される。オーディオ信号エンコーダ６００は、一つ以上のダウンミックス信号が複数のオブジェクト信号の重ね合わせを含むように、オブジェクト信号と関連したダウンミックス係数ｄ₁〜ｄ_Nに依存して、（ダウンミックス信号表現６１４を構成する）一つ以上のダウンミックス信号を供給するように構成されるダウンミキサー６２０を含む。オーディオ信号エンコーダ６００はまた、補助情報供給器６３０を含む。２個以上のオブジェクト信号６１２ａ〜６１２Ｎのレベル差および相関特性を示しているオブジェクト間関係補助情報を供給するように構成される。補助情報供給器６３０はまた、個々のオブジェクト信号の一つ以上の特性を示している個々のオブジェクトの補助情報を供給するようにも構成される。

オブジェクト関連のパラメトリック情報がオブジェクト間関係補助情報および個々のオブジェクト補助情報を含むように、オーディオ信号エンコーダ６００は、このようにオブジェクト関連のパラメトリック情報６１６を供給する。

上記のように、オブジェクト信号間の関係および一つのオブジェクト信号の個々の特性の両方を示すこの種のオブジェクト関連のパラメトリック情報は、オーディオ信号デコーダのマルチチャンネルオーディオ信号の供給を可能にすることが分かっている。オブジェクト間関係補助情報は、少なくともおよそ、個々のオブジェクト信号をダウンミックス信号表現から抽出するために、オブジェクト関連のパラメトリック情報６１６を受けるオーディオ信号デコーダによって実施されうる。オブジェクト関連のパラメトリック情報６１４にも含まれる個々のオブジェクト補助情報は、アップミックス処理があまりに強い信号歪みをもたらすかどうかを確かめるために、オーディオ信号デコーダにより使用されうる。その結果、アップミックスパラメータ（例えば、レンダリングパラメータ）は、調整されることを必要とする。

好ましくは、個々のオブジェクト補助情報が個々のオブジェクト信号の調性を示すように、補助情報供給器６３０は、個々のオブジェクト補助情報を供給するように構成される。調性情報が、アップミックス処理が有意な歪みをもたらすかどうかを評価するための信頼性が高い評価基準として使用されうることが分かっている。

オーディオ信号エンコーダ６００が、オーディオ信号エンコーダに関して本願明細書において述べられる特徴および機能のいくつかによって補充されうること、および、ダウンミックス信号表現６１４およびオブジェクト関連のパラメトリック情報６１６が、それらが本発明のオーディオ信号デコーダに関して述べられた特性を含むように、オーディオ信号エンコーダ６００により供給されうることもまた留意すべきである。

６． 図７によるオーディオビットストリーム
本発明による実施形態は、オーディオビットストリーム７００を創作する。そして、それの略図は図７に示される。オーディオビットストリームは、エンコードされた形で複数のオブジェクト信号を示す。

オーディオビットストリーム７００は、一つ以上のダウンミックス信号を示しているダウンミックス信号表現７１０を含む。ここで、ダウンミックス信号のうちの少なくとも１つは、複数のオブジェクト信号の重ね合わせを含む。オーディオビットストリーム７００はまた、オブジェクト信号のレベル差および相関特性を示しているオブジェクト間関係補助情報７２０を含む。オーディオビットストリームはまた、（ダウンミックス信号表現７１０のための基礎を形成する）個々のオブジェクト信号の一つ以上の個々の特性を示している個々のオブジェクト補助情報７３０を含む。

オブジェクト間関係補助情報および個々のオブジェクト情報は、それらの全部において、オブジェクト関連のパラメトリック補助情報としてみなされうる。

好ましい実施形態において、個々のオブジェクト補助情報は、個々のオブジェクト信号の調性を示す。

当然、本願明細書において述べられたように、オーディオビットストリーム７００は、一般的に、オーディオ信号エンコーダによって供給され、本願明細書において述べられたように、オーディオ信号デコーダによって評価される。オーディオビットストリームは、オーディオ信号エンコーダおよびオーディオ信号デコーダに関して述べられるような特性を含みうる。したがって、オーディオビットストリーム７００は、本願明細書において述べられたように、オーディオ信号デコーダを用いたマルチチャンネルオーディオ信号の供給により適しうる。

７． 結論
本発明による実施形態は、一つの、元のオブジェクト信号が、少ない送信されたダウンミックス信号から完全に再構築されえないという事実から生じる、上記説明された歪み問題を低減する又は回避するための解決策を供給する。この問題に対するより単純な解決策があり、このように適用される。
●単純なアプローチは、相対的なオブジェクト利得の範囲を、例えば＋／−１２ｄＢに制限することだろう。大きなオブジェクト利得設定は、可聴劣化につながりうる（例：他のオブジェクトレベルを０ｄＢにしたままにする一方で、２０ｄＢで１つのオブジェクトを増大する）ことは真実であるが、これは必要でない。例えば、同じ因子ですべての相対的なオブジェクトレベルを増大することは、損なわれてないシステム出力を生ずる。
●より精巧な見解は、相対的なオブジェクトレベルの差に注目することである。２つのオーディオオブジェクトのレンダリングのために、両方の相対的なオブジェクトレベルの差は、レンダリングされた出力のあり得る劣化のためのフックを実際に供給する。しかし、この考えがどのように２つ以上のレンダリングされたオーディオオブジェクトに一般化するかは、明らかでない。

この状況からみて、本発明による実施形態は、この問題に対処して、不満足なユーザー体験を防止するための手段を供給する。本発明による、いくつかの実施形態は、前のセクションで述べられたものよりも精巧な解決策さえもたらしうる。

したがって、たとえ不適当なレンダリングパラメータがユーザーによって供給される場合であっても、より良いヒアリング印象は本発明を使用することにより得られうる。

一般的に言って、本発明による実施形態は、オーディオ信号をエンコーディングするための、または、エンコードされたオーディオ信号をデコードするための装置、方法またはコンピュータ・プログラムに、または、上記のように、（例えば、オーディオビットストリームの形で、）エンコードされたオーディオ信号に関する。

８． 実施態様変形例
いくつかの態様が、装置に関連して説明されたが、これらの態様はまた、対応する方法の説明を示すことは明らかである。ここで、ブロックまたはデバイスは方法ステップまたは方法ステップの機能に対応する。類似して、方法ステップに関連して説明された態様もまた、対応するブロックまたは項目または対応する装置の機能の説明を示す。方法ステップのいくつか又は全ては、例えば、マイクロプロセッサ、プログラミング可能なコンピュータまたは電子回路のようなハードウェア装置によって実行されうる（又はそれを使用しうる）。いくつかの実施形態において、一つ以上の最も重要な方法ステップのいくつかは、この種の装置によって実行されうる。

本発明のエンコードされたオーディオ信号またはオーディオビットストリームは、デジタル記憶媒体に格納されうる、又は、例えばインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体で送信されうる。

特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実行されうる。実施態様は、各方法が実行されるように、それはプログラミング可能な計算機システムで協動する（または協動することができる）、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実行されうる。従って、デジタル記憶媒体は、コンピュータ可読でありうる。

本発明によるいくつかの実施形態は、本願明細書において説明される方法のうちの１つが実行されるように、（プログラミング可能な計算機システムと協動することができる）電子的に読み込み可能な制御信号を有するデータキャリアを含む。

通常、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施されうる。そして、そのコンピュータ・プログラム製品がコンピュータ上で動作するときに、そのプログラムコードがその方法のうちの１つを実行する働きをする。プログラムコードは、例えば機械可読なキャリアに格納されうる。

他の実施形態は、機械可読なキャリアに格納された、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムを含む。

換言すれば、発明の方法の実施形態は、従って、コンピュータ・プログラムはコンピュータ上で動作するときに、本願明細書において説明された方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。

本発明の方法の更なる実施形態は、従って、その上に記録された、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムを含んでいるデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。

本発明の方法の更なる実施形態は、従って、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムを示しているデータ・ストリームまたは信号のシーケンスである。データ・ストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して送られるように構成されうる。

更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するように構成された又は適用された処理手段、例えばコンピュータまたはプログラム可能な論理回路を含む。

更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するためのコンピュータ・プログラムをそれにインストールしたコンピュータを含む。

いくつかの実施形態は、プログラム可能な論理回路（例えばフィールド・プログラマブル・ゲートアレイ）は、本願明細書において説明された方法の機能のいくつか又は全てを実行するために使用されうる。いくつかの実施形態は、フィールド・プログラマブル・ゲートアレイは、本願明細書において説明された方法のうちの１つを実行するために、マイクロプロセッサと協動しうる。通常、その方法は、任意のハードウェア装置によって好ましくは実行される。

上記の実施形態は、本発明の原理のために、単に図示しているだけである。本装置および本願明細書において説明された詳細の修正変更が他の当業者にとって明らかであるものと理解される。従って、それは、間近に迫った特許請求の範囲だけによって、制限され、本願明細書における実施形態の記載および説明として示される具体的な詳細だけによって制限されないという意図である。

「参考資料」
［ＢＣＣ］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び応用例」、音声及びオーディオ、ＩＥＥＥ通信 １１巻、Ｎｏ．６、２００３年１１月
［ＪＳＣ］Ｃ．ファーラー、「オーディオソースのパラメトリック・ジョイント符号化」、ＡＥＳ第１２０回コンベンション、予稿集６７５２、パリ、２００６年
［ＳＡＯＣ１］Ｊ．ヘルレ、Ｓ．デッシュ、Ｊ．ヒルペアト、Ｏ．ヘルムース，「ＳＡＣからＳＡＯＣまで ― 空間オーディオのパラメトリック符号化における最近の動向」、ＡＥＳ第２２回ＵＫコンベンション、ケンブリッジ、ＵＫ、２００７年４月
［ＳＡＯＣ２］Ｊ．エングデガルド，Ｂ．ラーシュ，Ｃ．ファルヒ，Ｏ．ヘルムース，Ｊ．ヒルペアト，Ａ．ヘルツァー，Ｌ．テレンチエフ，Ｊ．ブレーバールト，Ｊ．コッペン，Ｅ．スフエイエルス、Ｗ．オーメン：「空間オーディオオブジェクト符号化（ＳＡＯＣ） ― パラメトリックオブジェクトベースのオーディオ符号化に関する今後のＭＰＥＧスタンダード」、ＡＥＳ第１２４回コンベンション、予稿集７３７７、アムステルダム、２００８

Claims (6)

1. 複数のオブジェクト信号（ｘ₁〜ｘ_N）に基づいてダウンミックス信号表現（６１４）およびオブジェクト関連のパラメトリック情報（６１６）を供給するためのオーディオ信号エンコーダ（６００）であって、前記オーディオエンコーダは、
   一つ以上のダウンミックス信号が、複数のオブジェクト信号の重ね合わせを含むように、前記オブジェクト信号（ｘ₁〜ｘ_N）と関連したダウンミックス係数（ｄ₁〜ｄ_N）に依存して、前記一つ以上のダウンミックス信号を供給するように構成されたダウンミキサー（６２０）、
   オブジェクト信号（ｘ₁〜ｘ_N）のレベル差及び相関特性を示しているオブジェクト間関係補助情報（ＯＬＤ，ＩＯＣ）および前記個々のオブジェクト信号（ｘ₁〜ｘ_N）の一つ以上の個々の特性を示している個々のオブジェクト補助情報を供給するように構成された補助情報供給器（６３０）を含むこと、を特徴とする、前記オーディオエンコーダ。
2. 前記補助情報供給器（６３０）は、前記個々のオブジェクト補助情報が、前記個々のオブジェクト信号（ｘ₁〜ｘ_N）の調性を示すように、前記個々のオブジェクト補助情報を供給するように構成されること、を特徴とする、請求項１に記載の装置。
3. 複数のオブジェクト信号に基づいて、ダウンミックス信号表現およびオブジェクト関連のパラメトリック情報を供給するための方法であって、前記方法は、
   一つ以上のダウンミックス信号が、複数のオブジェクト信号の重ね合わせを含むように、前記オブジェクト信号と関連したダウンミックス係数に依存して、前記一つ以上のダウンミックス信号を供給するステップ、および、
   オブジェクト信号のレベル差および相関特性を示しているオブジェクト間関係補助情報を供給するステップ、および、
   前記個々のオブジェクト信号の一つ以上の個々の特性を示している個々のオブジェクト補助情報を供給するステップ、を含むこと、を特徴とする、方法。
4. エンコードされた形で、複数のオブジェクト信号（ｘ₁〜ｘ_N）を示しているオーディオビットストリーム（７００）であって、前記オーディオビットストリームは、
   一つ以上のダウンミックス信号を示しているダウンミックス信号（７１０）表現であって、前記ダウンミックス信号のうちの少なくとも１つは、複数のオブジェクト信号の重ね合わせを含むことを特徴とする、前記ダウンミックス信号表現、および、
   オブジェクト信号のレベル差および相関特性を示しているオブジェクト間関係補助情報（７２０）、および、
   前記個々のオブジェクト信号の一つ以上の個々の特性を示している個々のオブジェクト補助情報（７３０）を含むこと、を特徴とする、前記オーディオビットストリーム。
5. 前記個々のオブジェクト補助情報は、前記個々のオブジェクト信号の調性を示すこと、を特徴とする、請求項４に記載のオーディオビットストリーム。
6. 請求項３に記載の方法のうちの１つを実行するためのコンピュータ・プログラム。

Images