JP2016520865A - オブジェクトベースの音声符号化システムにおけるバイパス音声オブジェクト信号を利用した情報に基づく音量推定のためのデコーダ、エンコーダ及び方法 - Google Patents

Abstract

１つ以上の音声出力チャネルを含む音声出力信号を生成するためのデコーダが提供される。当該デコーダは、複数の音声オブジェクト信号を含む音声入力信号を受信し、音声オブジェクト信号についての音量情報を受信し、音声オブジェクト信号のうちの１つ以上を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するための受信インターフェース（１１０）を備える。更に、当該デコーダは、音声出力信号における１つ以上の音声出力チャネルを生成するための信号処理部（１２０）を備える。信号処理部（１２０）は、音量情報とレンダリング情報とに応じて音量補償値を決定するように構成される。更に、信号処理部（１２０）は、レンダリング情報と音量補償値とに応じて音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。１つ以上のバイパス音声オブジェクト信号を利用して音声出力信号を生成する。更に、エンコーダが提供される。【選択図】図９

Description

本発明は、音声信号符号化、処理及び復号に関するものであり、具体的には、オブジェクトベースの音声符号化システムにおける情報に基づく音量推定のためのデコーダ、エンコーダ及び方法に関するものである。

近年、音声符号化［ＢＣＣ、ＪＳＣ、ＳＡＯＣ、ＳＡＯＣ１、ＳＡＯＣ２］及び情報に基づくソースの分離［ＩＳＳ１、ＩＳＳ２、ＩＳＳ３、ＩＳＳ４、ＩＳＳ５、ＩＳＳ６］の分野において、多数の音声オブジェクト信号を含む音声シーンを、ビットレートの点で効率的に送信・記憶するためのパラメータ的な技術が提案されている。これらの技術は、送信・記憶された音声シーン及び／又は音声シーンにおけるソースオブジェクトを表す追加の補足情報に基づいて、所望の出力音声シーン又は音声ソースオブジェクトを復元することを目指すものである。この復元は、デコーダにおいて、情報に基づくソース分離方式を用いて行われる。復元されたオブジェクトを組み合わせて出力音声シーンを生成することができる。オブジェクトの組み合わせ方に応じて、出力シーンの知覚音量は変わり得る。

テレビ放送及びラジオ放送においては、様々な番組の音声トラックのボリュームレベルは、ピーク信号レベル又は音量レベルといった様々な側面に基づいて正規化することができる。信号の動的な特性に応じて、同じピークレベルを有する２つの信号は、大きく異なるレベルの知覚音量を有し得る。そして、番組又はチャネルを切り替えると、信号音量における差異は極めて不愉快なものとなるため、放送におけるエンドユーザの苦情の大きな原因となっていた。

先行技術では、全てのチャネルにおける全ての番組を、知覚的な信号音量に基づいた測定値を用いた共通の参照レベルと同じように標準化することが提案されていた。欧州におけるそのような勧告の１つがＥＢＵ勧告Ｒ１２８［ＥＢＵ］（以下Ｒ１２８と称する）である。

この勧告においては、「番組音量」、例えば１つの番組（又は１つのコマーシャル若しくはその他の意味のある番組エンティティ）に亘る平均音量が特定のレベルと等しい（僅かな差は許容される）ことが求められている。この勧告及び要求される標準化に従う放送局が増えるのに伴い、番組間及びチャネル間の平均音量の差を最小限に抑えることが求められる。

音量の推定は、いくつかの方法で実行することができる。音声信号の知覚音量を推定するためのいくつかの数学的モデルが存在する。ＥＢＵ勧告Ｒ１２８は、音量推定に関し、ＩＴＵ−Ｒ ＢＳ．１７７０（以下ＢＳ．１７７０と称する）（［ＩＴＵ］を参照）に呈示されたモデルを採用している。

上述のように、例えばＥＢＵ勧告Ｒ１２８によると、番組音量、例えば１つの番組に亘る平均音量は、僅かな差を許すものの特定のレベルに等しいことが求められる。しかしながら、これにより、音声レンダリングを行う際に大きな問題が発生する。この問題は、先行技術では現在に至るまで解決されていない。デコーダ側で音声レンダリングを行うことは、受信された音声入力信号の全体的・合計音量に大きな影響を及ぼす。しかしながら、シーンレンダリングが行われても、受信される音声信号の合計音量は同じであることが求められる。

現在、この問題に対して、特定のデコーダ側の解決策は存在しない。

欧州特許出願公開第２１４６５２２号（［ＥＰ］）は、オブジェクトベースのメタデータを用いて音声出力信号を生成するための概念に関する。少なくとも２つの異なる音声オブジェクト信号を重ね合わせたものを表す少なくとも１つの音声出力信号を生成するが、上記の問題の解決策をもたらすものではない。

国際公開第２００８／０３５２７５号（［ＢＲＥ］）においては、音声システムであって、ダウンミックス音声信号と、複数の音声オブジェクトを表すパラメータデータとを生成する符号化部で音声オブジェクトを符号化するエンコーダを備えるものが記載されている。ダウンミックス音声信号及びパラメータデータはデコーダへ送信され、このデコーダは、音声オブジェクトの近似のレプリカを生成する復号部と、音声オブジェクトから出力信号を生成するレンダリング部とを含む。デコーダは更に、エンコーダへ送信される符号化変更データを生成するための処理部を含む。次に、エンコーダは、符号化変更データに応じて音声オブジェクトの符号化に対して、特にパラメータデータに対して変更を加える。この方策により、音声オブジェクトの操作がデコーダによって制御されるが、完全又は部分的にエンコーダによって実行されることを可能にする。これにより、近似のレプリカに対してではなく、実際の独立の音声オブジェクトに対して操作を施すことによって性能を向上させることができる。

欧州特許出願公開第２１４６５２２号（「ＳＣＨ」）においては、少なくとも２つの異なる音声オブジェクトを重ね合わせたものを表す少なくとも１つの音声出力信号を生成するための装置が開示されており、音声入力信号を処理して音声入力信号のオブジェクト表現を生成するための処理部を含み、このオブジェクト表現は、オブジェクトダウンミックス信号を用いて元のオブジェクトに対してパラメータ的に導かれた近似を行うことによって生成することができる。オブジェクト操作部は、個々の音声オブジェクトを参照しながら音声オブジェクトベースのメタデータを用いてオブジェクトを個々に操作し、操作後音声オブジェクトを得る。操作後音声オブジェクトは、オブジェクト混合部を用いて混合され、最終的に、特定のレンダリング設定に応じた１つ又はいくつかのチャネル信号を有する音声出力信号を得る。

国際公開第２００８／０４６５３１号（［ＥＮＧ］）においては、複数の音声オブジェクトを用いて符号化オブジェクト信号を生成するための音声オブジェクトコーダが記載されており、複数の音声オブジェクトを少なくとも２つのダウンミックスチャネルへと分配することを示すダウンミックス情報を生成するためのダウンミックス情報生成部と、音声オブジェクトについてのオブジェクトパラメータを生成するための音声オブジェクトパラメータ生成部と、ダウンミックス情報及びオブジェクトパラメータを用いて移入音声出力信号を生成するための出力インターフェースと、を備える。音声合成部がダウンミックス情報を用いて出力データを生成し、この出力データは、所定の音声出力構成の複数の出力チャネルを作成するために使用可能である。

出力平均音量又は平均音量における変化の正確な推定値を遅延なしに得ることが望まれており、番組が変化しない又はレンダリングシーンが変わらない場合、平均音量推定値もまた一定であり続けることが求められている。

[EP] EP 2146522 A1: S. Schreiner, W. Fiesel, M. Neusinger, O. Hellmuth, R. Sperschneider, ”Apparatus and method for generating audio output signals using object based metadata“, 2010. ［ＢＲＥ］国際公開第２００８／０３５２７５号 ［ＳＣＨ］欧州特許出願公開第２１４６５２２号 ［ＥＮＧ］国際公開第２００８／０４６５３１号

[BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003. [EBU] EBU Recommendation R 128 "Loudness normalization and permitted maximum level of audio signals", Geneva, 2011. [JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006. [ISS1] M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010. [ISS2] M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010. [ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011. [ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011. [ISS5] S. Zhang and L. Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011. [ISS6] L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011. [ITU] International Telecommunication Union: "Recommendation ITU-R BS.1770-3 - Algorithms to measure audio programme loudness and true-peak audio level", Geneva, 2012. [SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007. [SAOC2] J. Engdegaard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hoelzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008. [SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),"ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2. [DE] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC) - Amendment 3, Dialogue Enhancement," ISO/IEC 23003-2:2010/DAM 3, Dialogue Enhancement.

本発明の目的は、向上した音声信号符号化、処理及び復号の概念を提供することである。本発明の目的は、請求項１に記載のデコーダ、請求項９に記載のエンコーダ、請求項１１に記載のシステム、請求項１２に記載の方法、請求項１３に記載の方法、及び請求項１５に記載のコンピュータプログラムによって解決される。

オブジェクトベースの音声符号化システムにおける出力の音量を推定するための情報に基づく方法が提供される。本願によって提供される概念は、デコーダに出力されるべき音声混合品中のオブジェクトの音量についての情報を利用する。デコーダは、この情報をレンダリング情報とともに用いて出力信号の音量を推定する。これによって、例えば、デフォルトダウンミックスとレンダリングされた出力との音量差を推定することができる。こうして、差異を補償することによって、レンダリング情報に関わらず、出力においておよそ一定の音量を得ることが可能となる。デコーダにおける音量の推定は、完全にパラメータ的な態様で行われ、信号ベースの音量推定概念と比較して計算上極めて軽く、正確である。

純粋にパラメータ的な概念を用いて特定の出力シーンの音量についての情報を得るための概念が提供され、これによって、デコーダにおける明示的な信号ベースの音量推定無しに音量処理を行うことが可能となる。更に、ＭＰＥＧによって標準化された空間音声オブジェクト符号化（ＳＡＯＣ）［ＳＡＯＣ］の特定の技術が記載されるが、本願によって提供される概念は、他の音声オブジェクト符号化技術との関連でも用いることができる。

１つ以上の音声出力チャネルを含む音声出力信号を生成するためのデコーダが提供される。前記デコーダは、複数の音声オブジェクト信号を含む音声入力信号を受信し、前記音声オブジェクト信号についての音量情報を受信し、前記音声オブジェクト信号のうちの１つ以上を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するための受信インターフェースを備える。更に、前記デコーダは、前記音声出力信号における１つ以上の音声出力チャネルを生成するための信号処理部を備える。前記信号処理部は、前記音量情報と前記レンダリング情報とに応じて音量補償値を決定するように構成される。更に、前記信号処理部は、前記レンダリング情報と前記音量補償値とに応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。

実施例によると、前記信号処理部は、前記レンダリング情報と前記音量補償値とに応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成され、前記音声出力信号の音量が前記音声入力信号の音量に等しくなるように、又は、前記音声出力信号の音量が、前記レンダリング情報に従って前記音声入力信号の音声オブジェクト信号を増幅若しくは減衰させることによって、前記音声入力信号を変更した結果得られる変更後音声信号の音量よりも前記音声入力信号の音量に近くなるようにすることができる。

別の実施例によると、前記音声入力信号の音声オブジェクト信号の各々は、２つ以上の群（group）のうちの丁度１群に割り当てることができ、前記２つ以上の群の各々は、前記音声入力信号の音声オブジェクト信号のうちの１つ以上を含むことができる。このような実施例では、前記受信インターフェースは、前記２つ以上の群の各群についての音量値を前記音量情報として受信するように構成することができ、前記音量値は、前記群における１つ以上の音声オブジェクト信号の元の合計音量を示す。更に、前記受信インターフェースは、前記群における１つ以上の音声オブジェクト信号の変更後合計音量を示すことによって、前記２つ以上の群のうちの少なくとも１群について、前記群における１つ以上の音声オブジェクト信号を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するように構成することができる。更に、そのような実施例においては、前記信号処理部は、前記２つ以上の群のうちの少なくとも１群の各々についての変更後合計音量と、前記２つ以上の群の各々についての元の合計音量とに応じて、前記音量補償値を決定するように構成することができる。更に、前記信号処理部は、前記２つ以上の群のうちの少なくとも１群の各々についての変更後合計音量と前記音量補償値とに応じて、前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成することができる。

特定の実施例においては、前記２つ以上の群のうちの少なくとも１群は、前記音声オブジェクト信号のうちの２つ以上を含むことができる。

更に、エンコーダが提供される。前記エンコーダは、複数の音声オブジェクト信号を符号化することによって、前記複数の音声オブジェクト信号を含む符号化音声信号を得るためのオブジェクトベースの符号化部を備える。更に、前記エンコーダは、前記音声オブジェクト信号についての音量情報を符号化するためのオブジェクト音量符号化部を備える。前記音量情報は、１つ以上の音量値を含み、前記１つ以上の音量値の各々は、前記音声オブジェクト信号のうちの１つ以上に依存する。

実施例によると、前記符号化後音声信号の音声オブジェクト信号の各々は、２つ以上の群のうちの丁度１群に割り当てることができ、前記２つ以上の群の各々は、前記符号化後音声信号の音声オブジェクト信号のうちの１つ以上を含む。前記オブジェクト音量符号化部は、前記２つ以上の群のうちの各群についての音量値を決定することにより、前記音量情報についての１つ以上の音量値を決定するように構成することができ、前記群の音量値は、前記群における１つ以上の音声オブジェクト信号の元の合計音量を示す。

更に、システムが提供される。前記システムは、複数の音声オブジェクト信号を符号化することによって、前記複数の音声オブジェクト信号を含む符号化後音声信号を得るとともに、前記音声オブジェクト信号についての音量情報を符号化するための、上述の実施例のうちの１つに従うエンコーダを備える。更に、前記システムは、１つ以上の音声出力チャネルを含む音声出力信号を生成するための、上述の実施例のうちの１つに従うデコーダを備える。前記デコーダは、音声入力信号として前記符号化後音声信号と、前記音量情報とを受信するように構成される。更に、前記デコーダは、更に、レンダリング情報を受信するように構成される。更に、前記デコーダは、前記音量情報と前記レンダリング情報とに応じて音量補償値を決定するように構成される。更に、前記デコーダは、前記レンダリング情報と前記音量補償値とに応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。

更に、１つ以上の音声出力チャネルを含む音声出力信号を生成するための方法が提供される。前記方法は、
・複数の音声オブジェクト信号を含む音声入力信号を受信するステップと、
・前記音声オブジェクト信号についての音量情報を受信するステップと、
・前記音声オブジェクト信号のうちの１つ以上を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するステップと、
・前記音量情報と前記レンダリング情報とに応じて音量補償値を決定するステップと、
・前記レンダリング情報と前記音量補償値とに応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するステップと、
を備える。

更に、符号化するための方法が提供される。前記方法は、
・複数の音声オブジェクト信号を含む音声入力信号を符号化するステップと、
・前記音声オブジェクト信号についての音量情報を符号化するステップと、を備え、前記音量情報は、１つ以上の音量値を含み、前記１つ以上の音量値の各々は、前記音声オブジェクト信号のうちの１つ以上に依存する。

更に、コンピュータ又は信号プロセッサにおいて実行されたときに上述の方法を実現するためのコンピュータプログラムが提供される。

好ましい実施例が従属請求項に記載される。

以下、本発明の実施例について、添付の図面を参照してより詳細に説明する。

図１は、一実施例による１つ以上の音声出力チャネルを含む音声出力信号を生成するためのデコーダを示す図である。 図２は、一実施例によるエンコーダを示す図である。 図３は、一実施例によるシステムを示す図である。 図４は、ＳＡＯＣエンコーダ及びＳＡＯＣデコーダを含む空間音声オブジェクト符号化システムを示す図である。 図５は、補足情報デコーダ、オブジェクト分離部及びレンダリング部を含むＳＡＯＣデコーダを示す図である。 図６は、音量の変化についての出力信号音量推定値の挙動を示す図である。 図７は、一実施例による情報に基づく音量の推定を示し、一実施例によるエンコーダ及びデコーダの各構成要素を示す図である。 図８は、もう１つの実施例によるエンコーダを示す図である。 図９は、バイパスチャネルを含む、ＳＡＯＣ会話増強（SAOC-Dialog Enhancement）に関する一実施例によるエンコーダ及びデコーダを示す図である。 図１０は、測定された音量変化と、パラメータ的な態様で音量の変化を推定する、本願によって提供される概念を用いた結果とを示す第１のグラフである。 図１１は、測定された音量変化と、パラメータ的な態様で音量の変化を推定する、本願によって提供される概念を用いた結果とを示す第２のグラフである。 図１２は、音量補償を行うもう１つの実施例を示す図である。

好ましい実施例を詳細に説明する前に、音量推定、空間音声オブジェクト符号化（ＳＡＯＣ）及び会話増強（ＤＥ）について説明する。

最初に、音量推定について説明する。

上述のように、ＥＢＵ勧告Ｒ１２８は、音量推定にＩＴＵ−Ｒ ＢＳ．１７７０に呈示のモデルを利用する。この測定を例として用いるが、以下に記載の概念は、他の音量測定に対しても適用可能である。

ＢＳ．１７７０に従う音量推定の演算は比較的簡単であり、以下の主要なステップに基づく［ＩＴＵ］。

・入力信号ｘ_ｉ（マルチチャネル信号の場合は複数の信号）をＫフィルタ（シェルビングフィルタとハイパスフィルタとの組み合わせ）でフィルタリングして信号ｙ_ｉを得る。

・信号ｙ_ｉの平均二乗エネルギーｚ_ｉを算出する。

・マルチチャネル信号の場合、チャネル重みＧ_ｉを適用し、重み付けされた信号を合計する。次に、信号の音量を

と定義し、ここで、一定の値ｃ＝−０．６９１である。次に、この出力を「ＬＫＦＳ」（フルスケールに対してＫで重み付けされた音量）の単位で表現する。これはデシベルスケールと同様にスケーリングする。

上記の式では、チャネルのうちのいくつかについては、Ｇ_ｉは例えば１に等しくても良く、いくつかの他のチャネルについては、Ｇ_ｉは例えば１．４１であり得る。例えば、左チャネル、右チャネル、中央チャネル、左周囲チャネル及び右周囲チャネルを考慮した場合、それぞれの重みＧ_ｉは、左、右及び中央のチャネルについて例えば１とすることができ、左周囲チャネル及び右周囲チャネルについては例えば１．４１とすることができる。［ＩＴＵ］を参照。

音量値Ｌは、信号エネルギーの対数に緊密に関係していることが分かる。

以下、空間音声オブジェクト符号化について説明する。

オブジェクトベースの音声符号化の概念によって、チェーンにおけるデコーダ側での柔軟性を高めることができる。オブジェクトベースの音声符号化の概念の一例が空間音声オブジェクト符号化（ＳＡＯＣ）である。

図４は、ＳＡＯＣエンコーダ４１０及びＳＡＯＣデコーダ４２０を含む空間音声オブジェクト符号化（ＳＡＯＣ）システムを示す。

図５は、補足情報デコーダ５１０、オブジェクト分離部５２０及びレンダリング部５３０を含むＳＡＯＣデコーダを示す。図５に示すＳＡＯＣデコーダは、例えば、ＳＡＯＣエンコーダからダウンミックス信号及び補足情報を受信する。このダウンミックス信号は、音声オブジェクト信号を含む音声入力信号と見做すことができるが、それは、音声オブジェクト信号同士がダウンミックス信号内で混合される（音声オブジェクト信号同士が、ダウンミックス信号における１つ以上のダウンミックスチャネル内で混合される）からである。

例えば、以下の式を利用して、デコーダ側で音声オブジェクト信号を復元することができる。

図５においては、例えばオブジェクト分離部５２０によって行われるオブジェクト復元のプロセスは、必ずしも行われる必要がない場合もあるため、「仮想的」又は「任意の」という概念で言及されるが、復元ステップとレンダリングステップとをパラメータ領域で組み合わせる（即ち式同士を組み合わせる）ことによって所望の機能を得ることができる。

例えば、以下の式を利用することができる。

以下、会話増強（ＤＥ）について説明する。このシナリオを実現するために、例えばＳＡＯＣ技術を利用することができる。なお、「会話増強」という呼称は会話指向の信号に焦点を当てていることを示唆しているが、同じ原理を他の信号タイプに用いても良い。

ＤＥシナリオにおいては、システムにおける自由度が一般的な場合よりも制限される。

に従ってＦＧＯ及びＢＧＯを或るスカラ重みと混合することによって得られ、出力シーンは、同様に、

に従ってＦＧＯ及びＢＧＯについての或るスカラ重み付けによって得られる。混合重みの相対値に応じてＦＧＯ及びＢＧＯの間のバランスは変化し得る。例えば、

という設定では、混合品においてＦＧＯの相対レベルを上昇させることができる。もしＦＧＯが会話であれば、この設定は会話増強機能をもたらす。

使用の場合の例として、ＢＧＯはスポーツイベント中の競技場の騒音及びその他の背景音等であり、ＦＧＯは解説者の声である。ＤＥ機能によって、エンドユーザは、背景に対して解説者のレベルを相対的に増幅する又は減衰させることが可能になる。

実施例は、放送シナリオにおいてＳＡＯＣ技術（又は類似のもの）を利用することによって、エンドユーザへ拡張された信号操作機能を提供することができるという知見に基づいている。単にチャネルを変更したり再生ボリュームを調節したりする以上の機能が提供される。

ＤＥ技術を利用する１つの可能性については簡単に上述した通りである。ＳＡＯＣのためのダウンミックス信号である放送信号が、例えばＲ１２８に従ってレベルにおいて標準化される場合、（ＳＡＯＣ）処理を適用しないとき、異なる番組は同様の平均音量を有する（又は、レンダリングについての説明は、ダウンミックスについての説明と同じである）。しかし、或る（ＳＡＯＣ）処理を適用した場合、出力信号は、デフォルトのダウンミックス信号と異なることになり、出力信号の音量は、デフォルトのダウンミックス信号の音量とは異なる場合がある。エンドユーザの視点からは、これによってチャネル間又は番組間の出力信号音量が再び望ましくない急な変動又は差異を有することがあり得るという状況になる恐れがある。換言すると、放送局によって適用された標準化の利益が部分的に失われる。

この問題は、ＳＡＯＣ又はＤＥシナリオのみに特有のものではなく、エンドユーザがコンテンツと関わることを可能にする他の音声符号化概念の場合でも発生し得る。しかし、多くの場合、出力信号がデフォルトのダウンミックスとは異なる音量を有する場合には何の不具合も引き起こさない。

上述のように、音声入力信号番組の合計音量は、僅かな差を許容するが特定のレベルと等しいことが求められる。しかし、上述のように、これによって、音声レンダリングを行った際に大きな問題が生じることになるが、それは、受信された音声入力信号の全体・合計音量に対してレンダリングが大きな影響を及ぼし得るからである。しかし、シーンレンダリングを行っても、受信された音声信号の合計音量は同じであり続けることが求められる。

１つの方策として、信号が再生されている間その音量を推定するというものがあり、適切な時間積分の概念によって、或る時間の経過後に推定値は真の平均音量に収束することがあり得る。しかしながら、収束に必要とされる時間は、エンドユーザーの視点からは問題を含む。信号に変更が適用されていない時でも音量の推定値が変化した場合、音量変化補償もまたこれに対応してその挙動を変化させることが求められる。これによって、出力信号の平均音量が一時的に変動することになり、これはかなり迷惑なものとして知覚される恐れがある。

図６は、音量変化に対する出力信号音量の推定値の挙動を示す。特に、上述の解決策の効果を示す信号ベースの出力信号音量の推定値を示す。この推定値は、正しい推定値にかなりゆっくりと近づく。信号ベースの出力信号音量の推定の代わりに、出力信号音量を直ちに正しく決定する情報に基づく出力信号音量推定が好ましい。

具体的には、図６において、ユーザの入力、例えば会話オブジェクトのレベルは、値の増加によって時点Ｔで変化する。真の出力信号レベル、及びこれに対応して音量は、同じ時点で変化する。或る時間積分の時間で出力信号から出力信号音量の推定が行われると、推定値は徐々に変化し、或る遅延の後に正しい値に達する。この遅延中、推定値は変化しており、更に出力信号を処理する、例えば音量レベルを訂正するために信頼できるものとして使用することができない。

上述のように、出力平均音量又は平均音量の変化の正確な推定値を遅延なしに得ることが望ましく、番組の変更がない、又はレンダリングシーンの変化がない場合、平均音量の推定値もまた静的であり続けることが求められる。換言すると、或る音量変化補償を適用する場合、番組の変更があるかユーザによる何らかの対話がある時にだけ補償パラメータが変化することが求められる。

望ましい挙動を図６の最下段（情報に基づく出力信号音量の推定値）に示す。出力信号音量の推定値は、ユーザ入力が変化した直後に変化することが求められる。

図２は、一実施例によるエンコーダを示す。

このエンコーダは、複数の音声オブジェクト信号を符号化することによって、複数の音声オブジェクト信号を含む符号化後音声信号を得るためのオブジェクトベースの符号化部２１０を含む。

更に、エンコーダは、音声オブジェクト信号についての音量情報を符号化するためのオブジェクト音量符号化部２２０を含む。音量情報は、１つ以上の音量値を含み、この１つ以上の音量値の各々は、音声オブジェクト信号のうちの１つ以上に依存する。

実施例によると、符号化後音声信号の音声オブジェクト信号の各々は、２つ以上の群のうちの丁度１群に割り当てられ、２つ以上の群の各々は、符号化後音声信号の音声オブジェクト信号のうちの１つ以上を含む。オブジェクト音量符号化部２２０は、２つ以上の群の各群についての音量値を決定することによって、音量情報における１つ以上の音量値を決定するように構成され、当該群の音量値は、当該群における１つ以上の音声オブジェクト信号の元の合計音量を示す。

図１は、一実施例による１つ以上の音声出力チャネルを含む音声出力信号を生成するためのデコーダを示す。

このデコーダは、複数の音声オブジェクト信号を含む音声入力信号を受信し、音声オブジェクト信号についての音量情報を受信し、音声オブジェクト信号のうちの１つ以上を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するための受信インターフェース１１０を備える。

更に、デコーダは、音声出力信号における１つ以上の音声出力チャネルを生成するための信号処理部１２０を備える。信号処理部１２０は、音量情報とレンダリング情報とに応じて音量補償値を決定するように構成される。更に、信号処理部１２０は、レンダリング情報と音量補償値とに応じて音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。

実施例によると、信号処理部１１０は、レンダリング情報と音量補償値とに応じて音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成され、音声出力信号の音量が音声入力信号の音量に等しくなるように、又は、音声出力信号の音量が、レンダリング情報に従って音声入力信号の音声オブジェクト信号を増幅若しくは減衰させることによって音声入力信号を変更した結果得られる変更後音声信号の音量よりも音声入力信号の音量に近くなるようになる。

別の実施例によると、音声入力信号の音声オブジェクト信号の各々は、２つ以上の群のうちの丁度１群に割り当てられ、２つ以上の群の各々は、音声入力信号の音声オブジェクト信号のうちの１つ以上を含む。

このような実施例では、受信インターフェース１１０は、２つ以上の群の各群についての音量値を音量情報として受信するように構成され、当該音量値は、当該群における１つ以上の音声オブジェクト信号の元の合計音量を示す。更に、受信インターフェース１１０は、当該群における１つ以上の音声オブジェクト信号の変更後合計音量を示すことによって、２つ以上の群のうちの少なくとも１群について、当該群における１つ以上の音声オブジェクト信号を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するように構成される。更に、そのような実施例においては、信号処理部１２０は、当該２つ以上の群のうちの少なくとも１群の各々についての変更後合計音量と、２つ以上の群の各々についての元の合計音量とに応じて音量補償値を決定するように構成される。更に、信号処理部１２０は、当該２つ以上の群のうちの少なくとも１群の各々についての変更後合計音量と音量補償値とに応じて音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。

特定の実施例においては、２つ以上の群のうちの少なくとも１群は、音声オブジェクト信号のうちの２つ以上を含む。

以下の式に従って、音声オブジェクト信号ｉのエネルギーｅ_ｉと、音声オブジェクト信号ｉの音量Ｌ_ｉとの間には直接関係が存在する。

ここで、ｃは一定の値である。

実施例は、以下の知見に基づいている。即ち、音声入力信号における異なる音声オブジェクト信号は、異なる音量を有し得るため、異なるエネルギーを有し得る。例えば、ユーザが音声オブジェクト信号のうちの１つについての音量を増加させることを望む場合、レンダリング情報はこれに対応して調節することができ、この音声オブジェクト信号の音量の増加によって、この音声オブジェクトのエネルギーを増加させる。これによって、音声出力信号の音量が増大することになる。合計音量を一定に保つためには、音量補償を行う必要がある。換言すると、音声入力信号にレンダリング情報を適用することの結果としてもたらされる変更後音声信号を調節しなければならなくなる。しかしながら、変更後音声信号の合計音量に対する音声オブジェクト信号のうちの１つについての増幅の正確な影響は、増幅した音声オブジェクト信号、例えば音量を増加させる音声オブジェクト信号の元の音量に依存する。このオブジェクトの元の音量が、極めて低かったエネルギーに対応する場合、音声入力信号の合計音量による影響は小さいものとなる。しかし、上記オブジェクトの元の音量が、かなり高かったエネルギーに対応する場合、音声入力信号の合計音量による影響は大きなものとなる。

２つの例を検討することができる。両方の例において、音声入力信号は、２つの音声オブジェクト信号を含み、且つ、両方の例において、レンダリング情報を適用することによって、音声オブジェクト信号のうちの第１のもののエネルギーは５０％増加する。

第１の例においては、音声入力信号の合計エネルギーに対して、第１の音声オブジェクト信号は２０％寄与し、第２の音声オブジェクト信号は８０％寄与する。しかしながら、第２の例においては、音声入力信号の合計エネルギーに対して、第１の音声オブジェクト信号は４０％寄与し、第２の音声オブジェクト信号は６０％寄与する。音量とエネルギーとの間に直接関係が存在することから、両方の例において、これらの寄与分は、音声オブジェクト信号についての音量情報から導き出すことができる。

第１の例においては、第１の音声オブジェクトのエネルギーが５０％増加した結果、レンダリング情報を音声入力信号に適用することで生成される変更後音声信号は、音声入力信号のエネルギーの１．５×２０％＋８０％＝１１０％の合計エネルギーを有する。

第２の例においては、第１の音声オブジェクトのエネルギーが５０％増加した結果、レンダリング情報を音声入力信号に適用することで生成される変更後音声信号は、音声入力信号のエネルギーの１．５×４０％＋６０％＝１２０％の合計エネルギーを有する。

従って、音声入力信号にレンダリング情報を適用した後、第１の例では、音声入力信号及び音声出力信号の両方において等しいエネルギーを得るためには、変更後音声信号の合計エネルギーを９％（１０／１１０）減少させるだけで良いのに対し、第２の例では、変更後音声信号の合計エネルギーを１７％（２０／１２０）減少させる必要がある。この目的のために、音量補償値を計算することができる。

例えば、音量補償値は、音声出力信号の音声出力チャネルすべてに適用されるスカラーとすることができる。

実施例によると、信号処理部は、レンダリング情報に従って音声入力信号の音声オブジェクト信号を増幅又は減衰させることによって音声入力信号を変更することで、変更後音声信号を生成するように構成される。更に、信号処理部は、変更後音声信号に対して音量補償値を適用することによって音声出力信号を生成するように構成され、音声出力信号の音量が音声入力信号の音量に等しくなるように、又は、音声出力信号の音量が、変更後音声信号の音量よりも音声入力信号の音量に近くなるようにする。

例えば、上述の第１の例においては、音量補償値ｌｃｖを、例えばｌｃｖ＝１０／１１の値に設定することができ、レンダリング情報に従って音声入力チャネルをレンダリングした結果得られるチャネル全てに対して１０／１１の増倍率を適用することができる。

従って、例えば、上述の第２の例においては、音量補償値ｌｃｖを、例えばｌｃｖ＝１０／１２＝５／６の値に設定することができ、レンダリング情報に従って音声入力チャネルをレンダリングした結果得られるチャネル全てに対して５／６の増倍率を適用することができる。

他の実施例においては、音声オブジェクト信号の各々を、複数の群のうちの１つに割り当てて、群の各々について、当該群の音声オブジェクト信号の合計音量値を示す音量値を送信することができる。レンダリング情報において、これらの群のうちの１つについてのエネルギーを減衰させる又は増幅する、例えば上述のように５０％増幅することが特定される場合、上述のように合計エネルギー増加分を計算して音量補償値を決定することができる。

例えば、実施例によると、音声入力信号の音声オブジェクト信号の各々は、２つ以上の群としての丁度２つの群のうちの丁度１群に割り当てられる。音声入力信号の音声オブジェクト信号の各々は、丁度２つの群のうちの前景オブジェクト群か、丁度２つの群のうちの背景オブジェクト群に割り当てられる。受信インターフェース１１０は、前景オブジェクト群における１つ以上の音声オブジェクト信号の元の合計音量を受信するように構成される。更に、受信インターフェース１１０は、背景オブジェクト群における１つ以上の音声オブジェクト信号の元の合計音量を受信するように構成される。更に、受信インターフェース１１０は、丁度２つの群のうちの少なくとも１群について、当該群における１つ以上の音声オブジェクト信号の変更後合計音量を示すことによって当該少なくとも１群の各々における１つ以上の音声オブジェクト信号を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するように構成される。

このような実施例においては、信号処理部１２０は、当該少なくとも１群の各々についての変更後合計音量と、前景オブジェクト群における１つ以上の音声オブジェクト信号の元の合計音量と、背景オブジェクト群における１つ以上の音声オブジェクト信号の元の合計音量とに応じて、音量補償値を決定するように構成される。更に、信号処理部１２０は、当該少なくとも１群の各々についての変更後合計音量と音量補償値とに応じて、音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。

いくつかの実施例によると、音声オブジェクト信号の各々は、３つ以上の群のうちの１つに割り当てられ、受信インターフェースは、これら３つ以上の群の各々について、当該群の音声オブジェクト信号の合計音量を示す音量値を受信するように構成することができる。

実施例によると、２つ以上の音声オブジェクト信号の合計音量値を決定するために、例えば、音量値に対応するエネルギー値を各々の音声オブジェクト信号について決定し、音量値全てのエネルギー値を合計してエネルギー和を得て、エネルギー和に対応する音量値を２つ以上の音声オブジェクト信号の合計音量値として決定する。例えば、

の式を利用することができる。

いくつかの実施例においては、音声オブジェクト信号の各々について音量値を送信し、又は、音声オブジェクト信号の各々を１つ若しくは２つ以上の群に割り当て、群の各々について音量値を送信する。

一方、いくつかの実施例においては、１つ以上の音声オブジェクト信号について、又は音声オブジェクト信号を含む群のうちの１つ以上について、音量値を送信しない。その代わりに、デコーダは、例えば、音量値を送信しない音声オブジェクト信号又は音声オブジェクト信号群が所定の音量値を有すると想定しても良い。デコーダは、例えば、全ての更なる決定をこの所定の音量値に基づかせても良い。

実施例においては、受信インターフェース１１０は、１つ以上のダウンミックスチャネルを含むダウンミックス信号を音声入力信号として受信するように構成され、１つ以上のダウンミックスチャネルは音声オブジェクト信号を含み、音声オブジェクト信号の数は、１つ以上のダウンミックスチャネルの数よりも小さい。受信インターフェース１１０は、１つ以上のダウンミックスチャネル内で音声オブジェクト信号同士をどのように混合するのかを示すダウンミックス情報を受信するように構成される。更に、信号処理部１２０は、ダウンミックス情報とレンダリング情報と音量補償値とに応じて、音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。特定の実施例においては、信号処理部１２０は、例えば、ダウンミックス情報に応じて音量補償値を算出するように構成しても良い。

例えば、ダウンミックス情報は、ダウンミックス行列であり得る。実施例においては、デコーダは、ＳＡＯＣデコーダであり得る。このような実施例においては、受信インターフェース１１０は、例えば、更に、共分散情報、例えば上述の共分散行列を受信するように構成することができる。

図３は、一実施例によるシステムを示す。

このシステムは、複数の音声オブジェクト信号を符号化することによって、複数の音声オブジェクト信号を含む符号化音声信号を得るための、上述の実施例のうちの１つによるエンコーダ３１０を備える。

更に、このシステムは、１つ以上の音声出力チャネルを含む音声出力信号を生成するための、上述の実施例のうちの１つによるデコーダ３２０を備える。このデコーダは、音声入力信号としての符号化された音声信号と音量情報とを受信するように構成される。更に、デコーダ３２０は、更に、レンダリング情報を受信するように構成される。更に、デコーダ３２０は、音量情報とレンダリング情報とに応じて音量補償値を決定するように構成される。更に、デコーダ３２０は、レンダリング情報と音量補償値とに応じて音声入力信号から音声出力信号における１つ以上の音声出力チャネルを生成するように構成される。

図７は、実施例による情報に基づく音量推定を示す。トランスポートストリーム７３０の左側において、オブジェクトベースの音声符号化エンコーダの各構成要素を示す。特に、オブジェクトベースの符号化部７１０（「オブジェクトベースの音声エンコーダ」）及びオブジェクト音量符号化部７２０を示す（「オブジェクト音量推定」）。

以下、会話増強応用例における好ましい実施例について説明する。

会話増強応用例においては、上述のように、入力音声オブジェクト信号をグループ化して部分的にダウンミックスすることによって２つのメタオブジェクトＦＧＯ及びＢＧＯを生成し、次にこれらを自明に合計して最終的なダウンミックス信号を得ることができる。

へと分割することができる。

これらの新たなダウンミックス行列は、入力オブジェクトから２つのメタオブジェクトを得る方法を表す。即ち、

であり、実際のダウンミックスは、以下のように簡略化される。

また、オブジェクト（例えばＳＡＯＣ）デコーダがメタオブジェクトを復元することを試みることについて、以下により検討することができ、

ＤＥに特有のレンダリングは、これら２つのメタオブジェクト復元の組み合わせとして以下のように書くことができる。

これに代えて、メタオブジェクトのうちの１つ、例えばＦＧＯを参照値として用い、これら２つのオブジェクトの音量差を、例えば

のように算出することができる。次に、この単一の値を送信及び／又は記憶する。

図８は、もう１つの実施例によるエンコーダを示す。図８のエンコーダは、オブジェクトダウンミックス部８１１及びオブジェクト補足情報推定部８１２を備える。また、図８のエンコーダは、更に、オブジェクト音量符号化部８２０を備える。更に、図８のエンコーダは、メタ音声オブジェクト混合部８０５を備える。

図８のエンコーダは、中間音声メタオブジェクトをオブジェクト音量推定への入力として用いる。実施例においては、図８のエンコーダは、２つの音声メタオブジェクトを生成するように構成することができる。他の実施例においては、図８のエンコーダは、３つ以上の音声メタオブジェクトを生成するように構成することができる。

特に、本願によって提供される概念は、エンコーダが例えば全ての入力オブジェクトの平均音量を推定することができるという新たな特徴を提供する。オブジェクトは、例えば、混合してダウンミックス信号とすることができ、これを送信する。更に、本願によって提供される概念は、オブジェクト音量及びダウンミックス情報が、例えば送信されるオブジェクト符号化補足情報に含めることができるという新たな特徴を提供する。

デコーダは、例えば、オブジェクト符号化補足情報を用いてオブジェクトを（仮想的に）分離し、レンダリング情報を用いてオブジェクトを再び組み合わせることができる。

更に、本願によって提供される概念は、ダウンミックス情報を用いてデフォルトのダウンミックス信号の音量を推定することができる、レンダリング情報及び受信したオブジェクト音量を用いて出力信号の平均音量を推定することができる、且つ／又は、音量変化をこれら２つの値から推定することができるという新たな特徴を提供する。或いは、ダウンミックス情報及びレンダリング情報を用いてデフォルトのダウンミックスから音量変化を推定することができ、これは本願によって提供される概念のもう１つの新たな特徴である。

更に、本願によって提供される概念は、デコーダ出力を変更して音量変化を補償することによって、変更後の信号の平均音量をデフォルトのダウンミックスの平均音量と一致させることができるという新たな概念を提供する。

バイパスチャネルは、様々な方法で処理することができる。

例えば、バイパスチャネルは、独立のメタオブジェクトを形成することができる。これによって、３つのメタオブジェクト全てが独立にスケーリングされるようにレンダリングを規定することが可能になる。

或いは、例えば、バイパスチャネルを無視しても良い。

実施例によると、エンコーダのオブジェクトベースの符号化部２１０は、音声オブジェクト信号を受信するように構成され、音声オブジェクト信号の各々は、丁度２つの群のうちの丁度１つに割り当てられ、丁度２つの群の各々は、音声オブジェクト信号のうちの１つ以上を含む。更に、オブジェクトベースの符号化部２１０は、丁度２つの群に含まれる音声オブジェクト信号をダウンミックスすることによって、１つ以上のダウンミックス音声チャネルを含むダウンミックス信号を、符号化された音声信号として得るように構成され、１つ以上のダウンミックスチャネルの数は、丁度２つの群に含まれる音声オブジェクト信号の数よりも小さい。オブジェクト音量符号化部２２０は、１つ以上の更なるバイパス音声オブジェクト信号を受け取るように割り当てられ、１つ以上の更なるバイパス音声オブジェクト信号の各々は、第３の群に割り当てられ、１つ以上の更なるバイパス音声オブジェクト信号の各々は、第１の群に含まれず、且つ第２の群に含まれず、オブジェクトベースの符号化部２１０は、ダウンミックス信号内で１つ以上の更なるバイパス音声オブジェクト信号をダウンミックスしないように構成される。

実施例においては、オブジェクト音量符号化部２２０は、音量情報の第１の音量値、第２の音量値及び第３の音量値を決定するように構成され、第１の音量値は、第１の群における１つ以上の音声オブジェクト信号の合計音量を示し、第２の音量値は、第２の群における１つ以上の音声オブジェクト信号の合計音量を示し、第３の音量値は、第３の群における１つ以上の更なるバイパス音声オブジェクト信号の合計音量を示す。別の実施例においては、オブジェクト音量符号化部２２０は、音量情報の第１の音量値及び第２の音量値を決定するように構成され、第１の音量値は、第１の群における１つ以上の音声オブジェクト信号の合計音量を示し、第２の音量値は、第２の群における１つ以上の音声オブジェクト信号と、第３の群における１つ以上の更なるバイパス音声オブジェクト信号との合計音量を示す。

実施例によると、デコーダの受信インターフェース１１０は、ダウンミックス信号を受信するように構成される。更に、受信インターフェース１１０は、１つ以上の更なるバイパス音声オブジェクト信号を受信するように構成され、１つ以上の更なるバイパス音声オブジェクト信号は、ダウンミックス信号内で混合されない。更に、受信インターフェース１１０は、ダウンミックス信号内で混合される音声オブジェクト信号の音量についての情報を示し、かつ、ダウンミックス信号内で混合されない１つ以上の更なるバイパス音声オブジェクト信号の音量についての情報を示す音量情報を受信するように構成される。更に、信号処理部１２０は、ダウンミックス信号内で混合される音声オブジェクト信号の音量についての情報と、ダウンミックス信号内で混合されない１つ以上の更なるバイパス音声オブジェクト信号の音量についての情報とに応じて音量補償値を決定するように構成される。

図９は、バイパスチャネルを含むＳＡＯＣ−ＤＥに関連した実施例によるエンコーダ及びデコーダを示す。特に、図９のエンコーダは、ＳＡＯＣエンコーダ９０２を含む。

これらメタオブジェクト両方の知覚音量Ｌ_{ＢＹＰＡＳＳ}，Ｌ_ＦＧＯ，Ｌ_ＢＧＯは、音量推定部９２１，９２２，９２３で推定される。次に、この音量情報を、メタオブジェクト音量情報推定部９２５で適当な符号化へ変換してから送信及び／又は記憶する。

「バイパス内包」部９５５は、この情報を、レンダリングされた出力シーン及びバイパス信号とともに受け取り、完全な出力シーン信号を作成する。また、ＳＡＯＣデコーダ９４５は、１組のメタオブジェクトゲイン値を生成するが、これらの量は、メタオブジェクトのグループ化及び所望の音量情報形式に依存する。

ゲイン値は、混合品音量推定部９６０に出力される。混合品音量推定部は、更に、エンコーダからメタオブジェクト音量情報を受け取る。

次に、混合品音量推定部９６０は、所望の音量情報を決定することができる。この情報は、ダウンミックス信号の音量、レンダリングされた出力シーンの音量、及び／又はダウンミックス信号とレンダリングされた出力シーンとの音量差を含み得るが、これらに限定されない。

いくつかの実施例においては、音量情報それ自体で十分であるが、他の実施例においては、決定された音量情報に応じて完全な出力に処理を施すことが望ましい。この処理は、例えば、ダウンミックス信号とレンダリングされた出力シーンとの音量差があった場合のその補償であり得る。例えば音量処理部９７０によるこのような処理は放送シナリオにおいて意味があるが、それはユーザ対話（「会話ゲイン」の入力の設定）に関わらず知覚信号音量の変化を減少させるからである。

この特定の実施例における音量関係の処理は、複数の新たな特徴を含む。特に、ＦＧＯ、ＢＧＯ及び可能なバイパスチャネルを予め混合して最終的なチャネル構成にすることによって、２つの予め混合された信号を加算する（例えば、１のダウンミックス行列係数）だけでダウンミックスを行えるようにするが、これは新たな特徴を構成する。また、更なる新たな特徴として、ＦＧＯ及びＢＧＯの平均音量を推定し、差を算出する。更に、オブジェクト同士を混合してダウンミックス信号とし、これを送信する。また、更に新たな特徴として、音量差情報を、送信される補足情報に含める（新規）。更に、デコーダは、補足情報を用いてオブジェクトを（仮想的に）分離し、ダウンミックス情報とユーザの入力した変更ゲインとに基づいたレンダリング情報を用いてオブジェクト同士を再び組み合わせる。更に、もう１つの新たな特徴として、デコーダは、変更ゲイン及び送信された音量情報を用いて、デフォルトのダウンミックスと比較したシステム出力の平均音量の変化を推定する。

以下、実施例の形式記述を行う。

オブジェクト音量値が、オブジェクトを合計した際にエネルギー値の対数と同様に挙動する、即ち音量値が線形領域に変換され、そこで加算され、最終的に再び対数領域に変換されなければならないと想定する。これをＢＳ．１７７０音量測定の定義によって動機づけることを以下に記載する（簡単のため、チャネル数を１に設定するが、チャネルに亘って適切に合計することで同じ原理をマルチチャネル信号に適用することができる）。

平均二乗エネルギーｅ_ｉを伴うｉ番目のＫでフィルタリングされた信号ｚ_ｉの音量は、

と定義され、ここで、ｃは、オフセット定数である。例えば、ｃは、−０．６９１であり得る。ここから、信号のエネルギーは

の音量から決定され得ることになる。すると、

のＮ個の非相関信号の和のエネルギーは、

となり、この和信号の音量は、

となる。信号が非相関であれば、和信号のエネルギーを

によって近似する際に相関係数Ｃ_Ｉ，Ｊを考慮する必要があり、ここで、ｉ番目のオブジェクトとｊ番目のオブジェクトとのクロスエネルギーｅ_ｉ，ｊは、

と定義され、ここで、−１≦Ｃ_ｉ，ｊ≦１は、２つのオブジェクトｉ，ｊ間の相関係数である。２つのオブジェクトが非相関の場合、相関係数は０に等しく、２つのオブジェクトが同一の場合、相関係数は１に等しい。

混合プロセスにおいて信号に対して適用されるべき混合重みｇ_ｉでモデルを更に拡張する、即ち

の場合、和信号のエネルギーは

となり、ここから混合品信号の音量を、上述のように、

で得ることができる。２つの信号の音量間の差は、

によって推定することができる。ここで、音量の定義を上述のように用いる場合、これは

と書くことができ、これは信号エネルギーの関数として観察され得る。ここで、異なり得る混合重みｇ_ｉ及びｈ_ｉを用いて２つの混合品

間の音量差を推定することが望まれる場合、これは、

で推定することができる。オブジェクトが非相関の場合（Ｃ_ｉ，ｊ＝０、∀ｉ≠ｊ及びＣ_ｉ，ｊ＝１、∀ｉ＝ｊ）、差推定値は、

となる。

以下、差分符号化について検討する。

オブジェクト当りの音量値を、選択された参照オブジェクトの音量からの差

として符号化することが可能であり、ここで、Ｌ_ＲＥＦは、参照オブジェクトの音量である。この符号化は、送信しなければならない値が１つ少なくなるため、結果として絶対音量値が必要でない場合に有益であり、音量差推定は、

又は、非相関のオブジェクトの場合、

と書くことができる。

以下、会話増強シナリオについて検討する。

会話増強の応用シナリオについて再び検討する。デコーダにおけるレンダリング情報を規定する自由度は、２つのメタオブジェクトのレベルの変更のみに限定される。更に、２つのメタオブジェクトが非相関、即ちＣ_{ＦＧＯ，ＢＧＯ}＝０であると想定する。メタオブジェクトのダウンミックス重みがｈ_ＦＧＯ及びｈ_ＢＧＯである場合、これらはゲインｆ_ＦＧＯ及びｆ_ＢＧＯでレンダリングされ、デフォルトのダウンミックスに対する相対的な出力の音量は、

となる。これは、出力において、デフォルトのダウンミックスにおけるのと同じ音量を有することが望まれる場合の必要な補償でもある。

ΔＬ（Ａ，Ｂ）は、デコーダの信号処理部１２０により送信され得る音量補償値と見做すことができる。また、ΔＬ（Ａ，Ｂ）は、音量変化値と呼ぶこともでき、このため、実際の補償値は逆値であり得る。或いは、これに「音量補償因数」という名前を用いても良いかもしれない。従って、本願明細書において既に述べた音量補償値ｌｃｖは、下記の値ｇ_{Ｄｅｌｔａ}に対応する。

例えば、ｇ_Δ＝１０^{−ΔＬ（Ａ，Ｂ）／２０}１／ΔＬ（Ａ，Ｂ）は、音声入力信号に対してレンダリング情報を適用した結果得られる変更後音声信号における各々のチャネルに対して増倍率として適用され得る。このｇ_{Ｄｅｌｔａ}についての式は、線形領域で働く。対数領域では、式は異なり、例えば１／ΔＬ（Ａ，Ｂ）となり、それに従って適用される。

ダウンミックスプロセスを簡略化して、２つのメタオブジェクトを単位重みと混合してダウンミックス信号を得るようにすることができ、即ちｈ_ＦＧＯ＝ｈ_ＢＧＯ＝１であり、これら２つのオブジェクトについてのレンダリングゲインはｇ_ＦＧＯ，ｇ_ＢＧＯで示す。これにより、音量変化についての式は、

へと簡略化される。ここでも、ΔＬ（Ａ，Ｂ）は、信号処理部１２０により決定される音量補償値と見做すことができる。

一般的に、ｇ_ＦＧＯは、前景オブジェクトＦＧＯ（前景オブジェクト群）についてのレンダリングゲインと見做すことができ、ｇ_ＢＧＯは、背景オブジェクトＢＧＯ（背景オブジェクト群）についてのレンダリングゲインと見做すことができる。

上述のように、絶対音量の代わりに音量差を送信することが可能である。参照音量をＦＧＯメタオブジェクトの音量Ｌ_ＲＥＦ＝Ｌ_ＦＧＯ、即ちＫ_ＦＧＯ＝Ｌ_ＦＧＯ−Ｌ_ＲＥＦ＝０及びＫ_ＢＧＯ＝Ｌ_ＢＧＯ−Ｌ_ＲＥＦ＝Ｌ_ＢＧＯ−Ｌ_ＦＧＯと定義する。ここで、音量変化は、

となる。ＳＡＯＣ−ＤＥにおける場合と同様、２つのメタオブジェクトが個々のスケーリング因数を有さず、オブジェクトのうちの一方が変更されない一方で他方を減衰させてオブジェクト間の正しい混合比を得るようにしても良い。このレンダリング設定では、出力は、デフォルトの混合品よりも音量が低くなり、音量の変化は

となり、ここで

である。

この形式は既にかなり簡単であり、用いられる音量測定に関してかなり不可知論的である。唯一の現実の要件は、音量値が指数領域で合計されることが求められることである。音量値の代わりに信号エネルギーの値を送信／記憶しても良いが、それは、これら２つは緊密な関係を有しているからである。

上述の式の各々において、ΔＬ（Ａ，Ｂ）は、デコーダの信号処理部１２０によって送信され得る音量補償値と見做すことができる。

以下、例示的な場面について検討する。本願によって提供される概念の正確さは、２つの例示的な信号によって示される。両方の信号は、ＳＡＯＣ処理からバイパスされた周囲及びＬＦＥチャネルを伴う５．１ダウンミックスを有する。

２つの主要な方策が用いられる。一方は、ＦＧＯ、ＢＧＯ及びバイパスチャネルの３つのメタオブジェクトを有し（「３項」）、例えば

である。他方は、２つのメタオブジェクトを有し（「２項」）、例えば

である。２項の方策においては、バイパスチャネルを、例えばＢＧＯと混合してメタオブジェクト音量を推定する。両方（又は３つ全て）のオブジェクトの音量、及びダウンミックス信号の音量を推定し、値を記憶する。

レンダリング命令は、２つの方策についてそれぞれ

及び

という形になる。

ゲイン値は、例えば

によって決定され、ここで、ＦＧＯゲインｇ_ＦＧＯは、−２４〜＋２４ｄＢの範囲で変動する。

出力シナリオをレンダリングし、音量を測定し、ダウンミックス信号の音量からの減衰を算出する。

結果を図１０及び図１１において丸印を伴う青線で示す。図１０は、測定された音量変化と、純粋にパラメータ的な態様で音量の変化を推定するための本願によって提供される概念を用いた結果との第１のグラフを示し、図１１は第２のグラフを示す。

次に、記憶されたメタオブジェクト音量値並びにダウンミックス情報及びレンダリング情報を利用してダウンミックスからの減衰をパラメータ的に推定する。３つのメタオブジェクトの音量を用いた推定値を、正方形印を伴う緑線で示し、２つのメタオブジェクトの音量を用いた推定値を、星印を伴う赤線で示す。

これらの図から、２項及び３項の方策によって実際上同一の結果が得られ、これら両方によって測定値がかなり良好に近似されることが分かる。

本願によって提供される概念は、複数の利点を有する。例えば、本願によって提供される概念によって、混合品を形成する成分信号の音量から混合品信号の音量を推定することが可能となる。このことは、成分信号音量を１回推定することができ、実際の信号ベースの音量推定の必要なしに任意の混合品について混合品信号の音量推定をパラメータ的に得ることができるという利点を有する。これによって、様々な混合品の音量推定が必要なシステム全体の計算上の効率性が大幅に向上する。例えば、エンドユーザがレンダリング設定を変更した場合、出力の音量推定値が直ちに利用可能となる。

ＥＢＵ Ｒ１２８勧告に準拠した場合といったいくつかの応用例においては、番組全体に亘る平均音量が重要である。例えば放送シナリオにおいて、受信機における音量推定が受信信号に基づいて行われる場合、推定値が平均音量に収束するのは番組全体の受信後である。このため、音量をどのように補償してもエラーが生じるか、一時的な変動が生じる。本願によって提案されるように成分オブジェクトの音量を推定して音量情報を送信した場合、受信機における平均混合品音量を遅延なしに推定することが可能である。

レンダリング情報における変化に関わらず出力信号の平均音量が（ほぼ）一定であり続けることが望まれる場合、本願によって提供される概念によって、この目的に沿って補償因数を決定することが可能となる。このためにデコーダで必要となる計算は、その計算上の複雑度から無視できる程度のものであるため、任意のデコーダにこの機能を追加することが可能である。

出力の絶対音量レベルが重要でなく、参照シーンからの音量の変化を決定することが重要な場合ある。そのような場合、オブジェクトの絶対レベルは重要ではなく、その相対的なレベルが重要である。これにより、オブジェクトのうちの１つを参照オブジェクトとして定義し、他のオブジェクトの音量を、この参照オブジェクトの音量に対して相対的に表すことが可能である。このことは、音量情報のトランスポート及び／又は記憶に関していくつかの利点を有する。

第１に、参照音量レベルをトランスポートする必要がない。２つのメタオブジェクトの応用例では、これによって送信すべきデータ量が半分になる。第２の利点は、音量値についての可能な量子化及び表現に関する。オブジェクトの絶対レベルが殆どあらゆるレベルであり得るため、絶対音量値もまた殆どあらゆる値であり得る。一方で、相対的な音量値は、０の平均値を有し、この平均値の周りにかなり綺麗な形の分布を有することが想定される。各表現間の差によって、量子化表現に用いられるビット数は同じままで、より高い正確さを有し得るやり方で相対的な表現の量子化グリッドを規定することが可能となる。

図１２は、音量補償を行うためのもう１つの実施例を示す。図１２においては、例えば音量における損失を補償するために、音量補償を行っても良い。この目的のために、例えば、ＤＥ＿ｃｏｎｔｒｏｌ＿ｉｎｆｏからのＤＥ＿ｌｏｕｄｎｅｓｓ＿ｄｉｆｆ＿ｄｉａｌｏｇｕｅ（＝Ｋ_ＦＧＯ）及びＤＥ＿ｌｏｕｄｎｅｓｓ＿ｄｉｆｆ＿ｂａｃｋｇｒｏｕｎｄ（＝Ｋ_ＢＧＯ）の値を用いることができる。ここで、ＤＥ＿ｃｏｎｔｒｏｌ＿ｉｎｆｏは、拡張クリーン音声「会話増強（ＤＥ）」制御情報を特定し得る。

ＳＡＯＣ−ＤＥ出力信号及び（マルチチャネル信号の場合）バイパスされたチャネルに対してゲイン値「ｇ」を適用することによって音量補償が達成される。

図１２の実施例において、これは以下のように行われる。

制限された会話変更ゲイン値ｍ_Ｇを用いて、前景オブジェクト（ＦＧＯ、例えば会話）及び背景オブジェクト（ＢＧＯ、例えば環境音）について実効ゲインを決定する。これは、ゲイン値ｍ_ＦＧＯ及びｍ_ＢＧＯを生成する「ゲインマッピング」ブロック１２２０によって行われる。

「出力音量推定部」ブロック１２３０は、音量情報Ｋ_ＦＧＯ及びＫ_ＢＧＯ並びに実効ゲイン値ｍ_ＦＧＯ及びｍ_ＢＧＯを用いて、デフォルトのダウンミックスの場合と比較した音量における可能な変化を推定する。次に、この変化を「音量補償因数」へとマッピングし、これを出力チャネルに適用して最終的な「出力信号」を生成する。

音量補償には以下のステップが適用される。

・ＳＡＯＣ−ＤＥデコーダ（「ＳＡＯＣ−ＤＥのための変更レンジ制御」［ＤＥ］の１２．８節に規定のもの）から制限されたゲイン値ｍ_Ｇを受信し、適用されたＦＧＯ／ＢＧＯゲインを以下のように決定する。

・メタオブジェクト音量情報Ｋ_ＦＧＯ，Ｋ_ＢＧＯを入手する。

・以下のようにデフォルトのダウンミックスと比較した出力音量の変化を算出する。

・音量補償ゲインｇ_Δ＝１０^{−０．０５ΔＬ}を算出する。

・以下のスケーリング因数を算出する。

ここで、

上述のように算出されたΔＬは、音量補償値と見做すことができる。一般的に、ｍ_ＦＧＯは、前景オブジェクトＦＧＯ（前景オブジェクト群）についてのレンダリングゲインを示し、ｍ_ＢＧＯは、背景オブジェクトＢＧＯ（背景オブジェクト群）についてのレンダリングゲインを示す。

装置の説明でいくつかの局面を記載したが、これらの局面は対応の方法の記載をも表すものであり、ブロック又は装置は、方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップの説明で記載した局面は、対応の装置の対応のブロック若しくは項目又は特徴の記載をも表す。

本発明による分解された信号は、デジタル記憶媒体で記憶することができ、又は、伝送媒体、例えば無線伝送媒体若しくは有線伝送媒体、例えばインターネット、で送信することができる。

特定の実現要件に応じて、本発明の実施例はハードウェア又はソフトウェアによって実現され得る。その実現は、デジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであって、電子的に読み出し可能な制御信号を格納しており、プログラム可能なコンピュータシステムと協働する（又は協働可能である）ことによりそれぞれの方法が実行されるようにするものを用いて実行され得る。

本発明のいくつかの実施例は、プログラム可能なコンピュータシステムと協働可能であることによって本願明細書に記載の方法の１つが実行されるようにする、電子的に読み出し可能な制御信号を有する非一時的データキャリアを含む。

一般的には、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品であって、このコンピュータプログラム製品がコンピュータにおいて実行されるときに上記プログラムコードが上記方法の１つを実行するように動作するものとして実現され得る。プログラムコードは、例えば、機械読み取り可能キャリアに格納され得る。

他の実施例は、機械読み取り可能キャリアに格納された、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。

従って、換言すると、本発明の方法の一実施例は、コンピュータプログラムであって、このコンピュータプログラムがコンピュータにおいて実行されるときに、本願明細書に記載の方法の１つを実行するためのプログラムコードを有するものである。

従って、本発明の方法の更なる実施例は、データキャリア（又はデジタル記憶媒体若しくはコンピュータ読み取り可能媒体）であって、そこに記録された、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムを含むものである。

従って、本発明の方法の更なる実施例は、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、インターネットを介したデータ通信接続を介して転送されるように構成され得る。

更なる実施例は、本願明細書に記載の方法の１つを実行するように構成又は適合された処理手段、例えばコンピュータ又はプログラム可能論理装置を含む。

更なる実施例は、本願明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

いくつかの実施例においては、プログラム可能論理装置（例えば、フィールドプログラマブルゲートアレイ）を用いて、本願明細書に記載の方法におけるいくつか又は全ての機能を実行しても良い。いくつかの実施例においては、フィールドプログラマブルゲートアレイは、マイクロプロセッサと協働して、本願明細書に記載の方法の１つを実行しても良い。一般的に、当該方法は、どのようなハードウェア装置によって実行されても良い。

上述の各実施例は、単に本発明の原理を例示するものである。本願明細書に記載の構成及び詳細を変更及び変形したものが当業者には明らかであることが理解される。従って、本願明細書における各実施例の記載及び説明として提示された特定の詳細によってではなく、添付の特許請求の範囲によってのみ限定されることが意図される。

Claims (15)

1. １つ以上の音声出力チャネルを含む音声出力信号を生成するためのデコーダであって、
   複数の音声オブジェクト信号を含む音声入力信号を受信し、前記音声オブジェクト信号についての音量情報を受信し、前記音声オブジェクト信号のうちの１つ以上を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するための受信インターフェース（１１０）と、
   前記音声出力信号における１つ以上の音声出力チャネルを生成するための信号処理部（１２０）と、を備え、
   前記受信インターフェース（１１０）は、１つ以上のダウンミックスチャネルを含むダウンミックス信号を前記音声入力信号として受信するように構成され、前記１つ以上のダウンミックスチャネルは、前記音声オブジェクト信号を含み、前記１つ以上のダウンミックスチャネルの数は、前記音声オブジェクト信号の数よりも小さく、
   前記受信インターフェース（１１０）は、前記音声オブジェクト信号を前記１つ以上のダウンミックスチャネル内でどのように混合するのかを示すダウンミックス情報を受信するように構成され、前記受信インターフェース（１１０）は、１つ以上の更なるバイパス音声オブジェクト信号を受信するように構成され、前記１つ以上の更なるバイパス音声オブジェクト信号は、前記ダウンミックス信号内で混合されず、
   前記受信インターフェース（１１０）は、前記ダウンミックス信号内で混合される音声オブジェクト信号の音量についての情報を示し、かつ、前記ダウンミックス信号内で混合されない１つ以上の更なるバイパス音声オブジェクト信号の音量についての情報を示す音量情報を受信するように構成され、
   前記信号処理部（１２０）は、前記ダウンミックス信号内で混合される音声オブジェクト信号の音量についての情報と、前記ダウンミックス信号内で混合されない１つ以上の更なるバイパス音声オブジェクト信号の音量についての情報とに応じて音量補償値を決定するように構成され、
   前記信号処理部（１２０）は、前記ダウンミックス情報と前記レンダリング情報と前記音量補償値とに応じて、前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成される、デコーダ。
2. 請求項１に記載のデコーダであって、前記信号処理部（１２０）は、前記レンダリング情報と前記音量補償値とに応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成され、前記音声出力信号の音量が前記音声入力信号の音量に等しくなり、又は、前記音声出力信号の音量が、前記レンダリング情報に従って前記音声入力信号の音声オブジェクト信号を増幅若しくは減衰させることによって前記音声入力信号を変更した結果得られる変更後音声信号の音量よりも前記音声入力信号の音量に近くなる、デコーダ。
3. 請求項２に記載のデコーダであって、
   前記信号処理部（１２０）は、前記レンダリング情報に従って前記音声入力信号の音声オブジェクト信号を増幅又は減衰させることによって前記音声入力信号を変更することで前記変更後音声信号を生成するように構成され、
   前記信号処理部（１２０）は、前記変更後音声信号に対して前記音量補償値を適用することによって前記音声出力信号を生成するように構成され、前記音声出力信号の音量が前記音声入力信号の音量に等しくなり、又は、前記音声出力信号の音量が、前記変更後音声信号の音量よりも前記音声入力信号の音量に近くなる、デコーダ。
4. 先行する請求項の１つに記載のデコーダであって、
   前記音声入力信号の音声オブジェクト信号の各々は、２つ以上の群のうちの丁度１群に割り当てられ、前記２つ以上の群の各々は、前記音声入力信号の音声オブジェクト信号のうちの１つ以上を含み、
   前記受信インターフェース（１１０）は、前記２つ以上の群の各群についての音量値を前記音量情報として受信するように構成され、
   前記信号処理部（１２０）は、前記２つ以上の群の各々についての音量値に応じて前記音量補償値を決定するように構成され、
   前記信号処理部（１２０）は、前記音量補償値に応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成される、デコーダ。
5. 先行する請求項のいずれかに記載のデコーダであって、前記２つ以上の群のうちの少なくとも１群は、前記音声オブジェクト信号のうちの２つ以上を含む、デコーダ。
6. 請求項１から請求項５のいずれかに記載のデコーダであって、
   前記音声入力信号の音声オブジェクト信号の各々は、前記２つ以上の群としての丁度２つの群のうちの丁度１群に割り当てられ、
   前記音声入力信号の音声オブジェクト信号の各々は、前記丁度２つの群のうちの前景オブジェクト群か、前記丁度２つの群のうちの背景オブジェクト群に割り当てられ、
   前記受信インターフェース（１１０）は、前記前景オブジェクト群の音量値を受信するように構成され、
   前記受信インターフェース（１１０）は、前記背景オブジェクト群の音量値を受信するように構成され、
   前記信号処理部（１２０）は、前記前景オブジェクト群の音量値と前記背景オブジェクト群の音量値とに応じて前記音量補償値を決定するように構成され、
   前記信号処理部（１２０）は、前記音量補償値に応じて前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成される、デコーダ。
7. 請求項６に記載のデコーダであって、
   前記信号処理部（１２０）は、以下の式に従って音量補償値ΔＬを決定するように構成され、
   

   

   
   Ｋ_ＦＧＯは、前景オブジェクト群の音量値を示し、
   Ｋ_ＢＧＯは、背景オブジェクト群の音量値を示し、
   ｍ_ＦＧＯは、前景オブジェクト群のレンダリングゲインを示し、
   ｍ_ＢＧＯは、背景オブジェクト群のレンダリングゲインを示す、デコーダ。
8. 請求項６に記載のデコーダであって、
   前記信号処理部（１２０）は、以下の式に従って音量補償値ΔＬを決定するように構成され、
   

   

   
   Ｌ_ＦＧＯは、前景オブジェクト群の音量値を示し、
   Ｌ_ＢＧＯは、背景オブジェクト群の音量値を示し、
   ｇ_ＦＧＯは、前景オブジェクト群のレンダリングゲインを示し、
   ｇ_ＢＧＯは、背景オブジェクト群のレンダリングゲインを示す、デコーダ。
9. エンコーダであって、
   複数の音声オブジェクト信号を符号化することによって、前記複数の音声オブジェクト信号を含む符号化音声信号を得るためのオブジェクトベースの符号化部（２１０，７１０）と、
   前記音声オブジェクト信号についての音量情報を符号化するためのオブジェクト音量符号化部（２２０，７２０，８２０）と、を備え、
   前記音量情報は、１つ以上の音量値を含み、前記１つ以上の音量値の各々は、前記音声オブジェクト信号のうちの１つ以上に依存し、
   前記オブジェクトベースの符号化部（２１０，７１０）は、前記音声オブジェクト信号を受信するように構成され、前記音声オブジェクト信号の各々は、２つ以上の群のうちの丁度１つに割り当てられ、前記２つ以上の群の各々は、前記音声オブジェクト信号のうちの１つ以上を含み、
   前記オブジェクトベースの符号化部（２１０，７１０）は、前記２つ以上の群に含まれる音声オブジェクト信号をダウンミックスすることによって、１つ以上のダウンミックス音声チャネルを含むダウンミックス信号を、前記符号化された音声信号として得るように構成され、前記１つ以上のダウンミックスチャネルの数は、前記２つ以上の群に含まれる音声オブジェクト信号の数よりも小さく、
   前記オブジェクト音量符号化部（２２０，７２０，８３０）は、１つ以上の更なるバイパス音声オブジェクト信号を受け取るように割り当てられ、前記１つ以上の更なるバイパス音声オブジェクト信号の各々は、第３の群に割り当てられ、前記１つ以上の更なるバイパス音声オブジェクト信号の各々は、前記第１の群に含まれず、且つ前記第２の群に含まれず、前記オブジェクトベースの符号化部（２１０，７１０）は、前記ダウンミックス信号内で前記１つ以上の更なるバイパス音声オブジェクト信号をダウンミックスしないように構成され、
   前記オブジェクト音量符号化部（２２０，７２０，８２０）は、前記音量情報の第１の音量値、第２の音量値及び第３の音量値を決定するように構成され、前記第１の音量値は、前記第１の群における１つ以上の音声オブジェクト信号の合計音量を示し、前記第２の音量値は、前記第２の群における１つ以上の音声オブジェクト信号の合計音量を示し、前記第３の音量値は、前記第３の群における１つ以上の更なるバイパス音声オブジェクト信号の合計音量を示し、又は、前記オブジェクト音量符号化部は、前記音量情報の第１の音量値及び第２の音量値を決定するように構成され、前記第１の音量値は、前記第１の群における１つ以上の音声オブジェクト信号の合計音量を示し、前記第２の音量値は、前記第２の群における１つ以上の音声オブジェクト信号と、前記第３の群における１つ以上の更なるバイパス音声オブジェクト信号との合計音量を示す、エンコーダ。
10. 請求項９に記載のエンコーダであって、
    前記２つ以上の群は、丁度２つの群であり、
    前記音声オブジェクト信号の各々は、前記丁度２つの群のうちの丁度１つに割り当てられ、前記丁度２つの群の各々は、前記音声オブジェクト信号のうちの１つ以上を含み、
    オブジェクトベースの符号化部（２１０，７１０）は、前記丁度２つの群に含まれる音声オブジェクト信号をダウンミックスすることによって、１つ以上のダウンミックス音声チャネルを含むダウンミックス信号を、前記符号化された音声信号として得るように構成され、前記１つ以上のダウンミックスチャネルの数は、前記丁度２つの群に含まれる音声オブジェクト信号の数よりも小さい、エンコーダ。
11. システムであって、
    複数の音声オブジェクト信号を符号化することによって、前記複数の音声オブジェクト信号を含む符号化音声信号を得るための請求項９又は請求項１０に記載のエンコーダ（３１０）と、
    １つ以上の音声出力チャネルを含む音声出力信号を生成するための請求項１から請求項８の１つに記載のデコーダ（３２０）とを備え、
    前記デコーダ（３２０）は、前記符号化音声信号を音声入力信号として受信し、前記音量情報を受信するように構成され、
    前記デコーダ（３２０）は、更に、レンダリング情報を受信するように構成され、
    前記デコーダ（３２０）は、前記音量情報と前記レンダリング情報とに応じて音量補償値を決定するように構成され、
    前記デコーダ（３２０）は、前記レンダリング情報と前記音量補償値とに応じて、前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するように構成される、システム。
12. １つ以上の音声出力チャネルを含む音声出力信号を生成するための方法であって、
    複数の音声オブジェクト信号を含む音声入力信号を受信するステップと、
    ダウンミックス信号内で混合される音声オブジェクト信号の音量についての情報を示し、かつ、前記ダウンミックス信号内で混合されない１つ以上の更なるバイパス音声オブジェクト信号の音量についての情報を示す音量情報を受信するステップと、
    前記音声オブジェクト信号のうちの１つ以上を増幅すべきか減衰させるべきかを示すレンダリング情報を受信するステップと、
    １つ以上のダウンミックスチャネルを含むダウンミックス信号を前記音声入力信号として受信するステップと、を備え、前記１つ以上のダウンミックスチャネルは、前記音声オブジェクト信号を含み、前記１つ以上のダウンミックスチャネルの数は、前記音声オブジェクト信号の数よりも小さく、前記方法は、更に、
    前記１つ以上のダウンミックスチャネル内で前記音声オブジェクト信号をどのように混合するのかを示すダウンミックス情報を受信するステップと、
    １つ以上の更なるバイパス音声オブジェクト信号を受信するステップと、を備え、前記１つ以上の更なるバイパス音声オブジェクト信号は、前記ダウンミックス信号内で混合されず、前記方法は、更に、
    前記ダウンミックス信号内で混合される音声オブジェクト信号の音量についての情報と、前記ダウンミックス信号内で混合されない１つ以上の更なるバイパス音声オブジェクト信号の音量についての情報とに応じて音量補償値を決定するステップと、
    前記ダウンミックス情報と前記レンダリング情報と前記音量補償値とに応じて、前記音声入力信号から前記音声出力信号における１つ以上の音声出力チャネルを生成するステップと、を備える、方法。
13. 符号化するための方法であって、
    複数の音声オブジェクト信号を含む音声入力信号を符号化するステップと、
    前記音声オブジェクト信号についての音量情報を符号化するステップと、を備え、前記音量情報は、１つ以上の音量値を含み、前記１つ以上の音量値の各々は、前記音声オブジェクト信号のうちの１つ以上に依存し、
    前記音声オブジェクト信号の各々は、２つ以上の群のうちの丁度１つに割り当てられ、前記２つ以上の群の各々は、前記音声オブジェクト信号のうちの１つ以上を含み、
    前記音声オブジェクト信号についての音量情報を符号化するステップは、前記２つ以上の群に含まれる音声オブジェクト信号をダウンミックスすることによって、１つ以上のダウンミックス音声チャネルを含むダウンミックス信号を、前記符号化された音声信号として得ることによって行われ、前記１つ以上のダウンミックスチャネルの数は、前記２つ以上の群に含まれる音声オブジェクト信号の数よりも小さく、
    １つ以上の更なるバイパス音声オブジェクト信号の各々は、第３の群に割り当てられ、前記１つ以上の更なるバイパス音声オブジェクト信号の各々は、前記第１の群に含まれず、且つ前記第２の群に含まれず、
    前記音声オブジェクト信号についての音量情報を符号化するステップは、前記ダウンミックス信号内で前記１つ以上の更なるバイパス音声オブジェクト信号をダウンミックスしないことによって行われ、
    前記音声オブジェクト信号についての音量情報を符号化するステップは、前記音量情報の第１の音量値、第２の音量値及び第３の音量値を決定することによって行われ、前記第１の音量値は、前記第１の群における１つ以上の音声オブジェクト信号の合計音量を示し、前記第２の音量値は、前記第２の群における１つ以上の音声オブジェクト信号の合計音量を示し、前記第３の音量値は、前記第３の群における１つ以上の更なるバイパス音声オブジェクト信号の合計音量を示し、又は、前記音声オブジェクト信号についての音量情報を符号化するステップは、前記音量情報の第１の音量値及び第２の音量値を決定することによって行われ、前記第１の音量値は、前記第１の群における１つ以上の音声オブジェクト信号の合計音量を示し、前記第２の音量値は、前記第２の群における１つ以上の音声オブジェクト信号と、前記第３の群における１つ以上の更なるバイパス音声オブジェクト信号との合計音量を示す、方法。
14. 請求項１３に記載の方法であって、
    前記２つ以上の群は、丁度２つの群であり、
    前記音声オブジェクト信号の各々は、前記丁度２つの群のうちの丁度１つに割り当てられ、前記丁度２つの群の各々は、前記音声オブジェクト信号のうちの１つ以上を含み、
    前記音声オブジェクト信号についての音量情報を符号化するステップは、前記丁度２つの群に含まれる音声オブジェクト信号をダウンミックスすることによって、１つ以上のダウンミックス音声チャネルを含むダウンミックス信号を、前記符号化された音声信号として得ることによって行われ、前記１つ以上のダウンミックスチャネルの数は、前記丁度２つの群に含まれる音声オブジェクト信号の数よりも小さい、方法。
15. コンピュータ又は信号プロセッサにおいて実行されたときに請求項１２から請求項１４の１つに記載の方法を実現するためのコンピュータプログラム。
    

Images