JP2018196133A - サラウンドオーディオ信号処理のための装置及び方法 - Google Patents
サラウンドオーディオ信号処理のための装置及び方法 Download PDFInfo
- Publication number
- JP2018196133A JP2018196133A JP2018136700A JP2018136700A JP2018196133A JP 2018196133 A JP2018196133 A JP 2018196133A JP 2018136700 A JP2018136700 A JP 2018136700A JP 2018136700 A JP2018136700 A JP 2018136700A JP 2018196133 A JP2018196133 A JP 2018196133A
- Authority
- JP
- Japan
- Prior art keywords
- parameters
- signal
- core
- ambience
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】任意のデジタル化及び圧縮化オーディオ信号記憶若しくは送信アプリケーション及びオーディオ再生アプリケーションのためのレンダリングにて、用いられ得るオーディオ信号の符号化及び復号化するための装置、方法を提供する。【解決手段】サラウンドオーディオ信号をデコードする装置は、ビットストリームを空間パラメータ及びコアパラメータに解凍するビットストリームデマルチプレクサと、コアパラメータをコア信号のセットにデコードするコアデコーダのセットと、空間パラメータと再生スピーカのレイアウト情報を用いてレンダリングマトリクスを導出するマトリクス導出ユニットと、レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器とを含む。【選択図】図１
Description
本発明は、サラウンドオーディオ信号処理システムに関し、特に、任意のデジタル化及び圧縮化オーディオ信号記憶若しくは送信アプリケーションにて、及びオーディオ再生アプリケーションのためのレンダリングにて、用いられ得るオーディオ信号の符号化及び復号化に関する。
音楽を聴くときや音声付きの映像を見るとき、オーディオ／及びビデオシーンのより良い感覚を得られるので、高程度のオーディオエンベロップメントを有することが聴衆（観衆）にとって望ましい。オーディオエンベロップメントの意味は、没入型３Ｄオーディオ、及び正確なオーディオ定位を含む。没入型３Ｄオーディオとは、オーディオシステムが空間の任意の位置にてサウンドソースを仮想化できるということを意味する。正確なオーディオ定位とは、オーディオシステムが方向と距離との両方の観点でオリジナルのオーディオシーンと正確に調整してサウンドソースを配置することができるということを意味する［１］。
オーディオエンベロップメントの感覚は、３Ｄオーディオシステムにより提供され得るのであり、該３Ｄオーディオシステムは、多数のラウドスピーカを使用する。スピーカは聴衆（観衆）を取り囲み，かつ，高、中、低の鉛直位置に配置され得る。
三つのタイプのインプット信号及びフォーマットが３Ｄオーディオシステムで共通して用いられる：チャネルベースのインプット、オブジェクトベースのインプット、及び高次アンビソニックスである。
チャネルベースのインプットは、今日の２Ｄ及び３Ｄオーディオ信号生成処理及びメディア（例えば、２２．２、９．１、８．１、７．１、５．１など）で共通して用いられ、個々の生成されるオーディオ信号チャネルは、指定位置のラウドスピーカを直接駆動するように意図されている。
オブジェクトベースのインプットに対しては、個々の生成されるオーディオ信号チャネルは、実際に利用可能なラウドスピーカの数や位置とは無関係に、指定の空間位置にてレンダリングされるように意図されるオーディオソースを、表す。
高次アンビソニックス（ＨＯＡ）に対しては、個々の生成されるオーディオ信号チャネルは、実際に利用可能なラウドスピーカの数や位置とは無関係に、サウンドシーン全体の全般的描写の一部である。
三つのフォーマットの間で、ＨＯＡフォーマットは、非標準のスピーカレイアウトを含む、任意の再生セットアップへアンビソニック信号をレンダリングできるオーディオシーンの表現である。
ＭＰＥＧ−Ｈ ３Ｄオーディオ標準化のためのモデルなどの、先行技術では、ＨＯＡフォーマットに対しては、デコーダサイドで、ＨＯＡ信号は、まずデコードされたコア信号から再構築され、続いてスピーカセットアップにレンダリングされる。
図１は、ＨＯＡフォーマットのための、ＭＰＥＧ−Ｈ ３Ｄオーディオ標準化のモデル内のデコーダを示す。
まず、インプットビットストリームは、ＡＡＣ−ファミリモノエンコーダにより本来生成されるＮビットストリームと、加えてこれらのビットストリームから全体のＨＯＡ表現を組み立て直すのに必要とされるパラメータとに、デマルチプレスクされる（１０１）。
マルチチャネル知覚復号コンポーネント（１０２、１０３及び１０４）では、Ｎビットストリームは、ＡＡＣ−ファミリモノデコーダにより個別にデコードされてＮ信号を生成する。
後続の空間復号化コンポーネントでは、まず、これらの信号の実際値の範囲が逆ゲインコントロール処理（１０５）により再構築される。次のステップでは、Ｎ信号が再分配され、Ｍのプレドミナント信号と、よりアンビエントなＨＯＡコンポーネント（１０５）を表す（Ｎ−Ｍ）のＨＯＡ係数信号を提供する。
（Ｎ−Ｍ）のＨＯＡ係数信号の固定のサブセットは再相関される。これはＨＯＡ符号化ステージにおける脱相関を反対にすることである（１０７）。
次に、（Ｎ−Ｍ）のＨＯＡ係数信号の全ては、アンビエントなＨＯＡコンポーネント（１０７）を作成するのに用いられる。
プレドミナントのＨＯＡコンポーネントは、Ｍのプレドミナントの信号及び対応するパラメータから、合成される。
最後に、プレドミナント及びアンビエントのＨＯＡコンポーネントは、所望の完全なＨＯＡ表現（１０８）に組み立てられ、更に所与のラウドスピーカセットアップ（１０９）にレンダリングされる。
プレドミナントサウンド合成、アンビエンス合成、ＨＯＡコンポジション及びレンダリングの詳細なプロセスを、以下説明する。
プレドミナントサウンド合成（ＰＳＳ）ブロック（１０６）では、プレドミナントコンポーネントのＨＯＡ表現は、二つの方法のいずれかから計算される。これらの方法は、「方向ベースの」及び「ベクトルベースの」と称される。
ベクトルベースのＰＳＳでは、プレドミナントのサウンドは、ベクトルベースの信号ＸＶＥＣ（ｋ）から計算される。ＸＶＥＣ（ｋ）信号は、それらの空間特性からデカップルされた時間領域オーディオ信号を表す。再構築されたＨＯＡ係数は、ベクトルベースの信号ＸＶＥＣ（ｋ）を対応する複数の変換ベクトル（ＭＶＥＣ（ｋ）の多重ベクトルにより表される）と乗じることにより計算される。よってＭＶＥＣ（ｋ）は、対応するＸＶＥＣ（ｋ）の時間領域オーディオ信号の（指向性や幅などの）空間特性を含む。計算は以下のようになる。
ＸＶＥＣ（ｋ）は、デコードされたベクトルベースの、プレドミナントサウンドを示す。
ＭＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドからＨＯＡ係数を再構築するマトリクスを示す。
ＣＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
方向ベースのＰＳＳでは、ＨＯＡ係数は、全ての方向ベースのプレドミナントのサウンド信号ＸＰＳ（ｋ）から計算される。タプルセットＭＤＩＲ（ｋ）を用いて、計算は以下のようになる。
ＸＰＳ（ｋ）は、デコードされた方向ベースの、プレドミナントサウンドを示す。
ＭＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドからＨＯＡ係数を再構築するマトリクスを示す。
ＣＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
アンビエンス合成では、アンビエントＨＯＡコンポーネントフレームＣＡＭＢ（ｋ）は、参考文献［２］によると、以下のように得られる。
１）アンビエントＨＯＡコンポーネントの第１のＯＭＩＮ係数は以下で得られる。
ここで、
ＯＭＩＮは、アンビエントＨＯＡ係数の最小数を示す。
ΨＭＩＮは、ある固定の所定方向に関するモードマトリクスを示す。
ｃＩ，ＡＭＢ，ｎ（ｋ）は、デコードされたアンビエントサウンド信号を示す。
ＯＭＩＮは、アンビエントＨＯＡ係数の最小数を示す。
ΨＭＩＮは、ある固定の所定方向に関するモードマトリクスを示す。
ｃＩ，ＡＭＢ，ｎ（ｋ）は、デコードされたアンビエントサウンド信号を示す。
２）アンビエントＨＯＡコンポーネントの残りの係数のサンプル値は、以下に従って計算される。
最後に、ＨＯＡコンポジション内で、アンビエントＨＯＡコンポーネント及びプレドミナントＨＯＡコンポーネントは、重ね合わされて、デコードされたＨＯＡフレームを提供する。方向ベースのプレドミナント合成に対して予測が作動していなければ、デコードされたＨＯＡフレームＣ（ｋ）は以下により計算される。
（方向ベースの合成に対するもの）
（ベクトルベースの合成に対するもの）
ここで、
ＣＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
ＣＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
ＣＡＭＢ（ｋ）は、アンビエント信号から再構築されたＨＯＡ係数を示す。
Ｃ（ｋ）は、最終的な再構築されたＨＯＡ係数を示す。
ここで、
ＣＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
ＣＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
ＣＡＭＢ（ｋ）は、アンビエント信号から再構築されたＨＯＡ係数を示す。
Ｃ（ｋ）は、最終的な再構築されたＨＯＡ係数を示す。
近距離補償が適用されないならば、デコードされたＨＯＡ係数Ｃ（ｋ）は、レンダリングマトリクスＤによる乗算により、ラウドスピーカ信号Ｗ（ｋ）の表現に変換される。
ここで、
Ｃ（ｋ）は、最終的な再構築されたＨＯＡ係数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄｈａ、レンダリングマトリクスを示す。
Ｃ（ｋ）は、最終的な再構築されたＨＯＡ係数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄｈａ、レンダリングマトリクスを示す。
上記処理の複雑さを計算するために、以下の注記を記載する。
１）ＨＯＡ信号のオーダはＯＨＯＡであり、ＨＯＡ係数の数は（ＯＨＯＡ＋１）２である。
２）再生スピーカの数はＬである。
３）コア信号チャネルのトータル数はＮである。
４）プレドミナントサウンドチャネルの数はＭである。
５）アンビエントサウンドチャネルの数はＮ−Ｍである。
１）ＨＯＡ信号のオーダはＯＨＯＡであり、ＨＯＡ係数の数は（ＯＨＯＡ＋１）２である。
２）再生スピーカの数はＬである。
３）コア信号チャネルのトータル数はＮである。
４）プレドミナントサウンドチャネルの数はＭである。
５）アンビエントサウンドチャネルの数はＮ−Ｍである。
プレドミナントのサウンド合成のためのコンプレキシティ（演算量）は
ここで、
ＣＯＭＰＳＳは、プレドミナントサウンド合成のための演算量を示す。
Ｍは、プレドミナントサウンドチャネルの数を示す。
ＯＨＯＡは、ＨＯＡのオーダを示す。
Ｆｓは、サンプリング周波数を示す。
ＣＯＭＰＳＳは、プレドミナントサウンド合成のための演算量を示す。
Ｍは、プレドミナントサウンドチャネルの数を示す。
ＯＨＯＡは、ＨＯＡのオーダを示す。
Ｆｓは、サンプリング周波数を示す。
レンダリングのための演算量は
ここで、
ＣＯＭＲＥＮＤＥＲは、レンダリングのための演算量を示す。
Ｌは、再生スピーカの数を示す。
ＯＨＯＡは、ＨＯＡのオーダを示す。
Ｆｓは、サンプリング周波数を示す。
ＣＯＭＲＥＮＤＥＲは、レンダリングのための演算量を示す。
Ｌは、再生スピーカの数を示す。
ＯＨＯＡは、ＨＯＡのオーダを示す。
Ｆｓは、サンプリング周波数を示す。
ＨＯＡ係数の数は、通常のＨＯＡフォーマットにて非常に大きく、例としてＯＨＯＡ＝４ならば、ＨＯＡ係数の数は（４＋１）２＝２５である。
また、３Ｄオーディオのより良好な感覚を有するために、再生チャネルの数も非常に大きく、例えば、２２．２セットアップは、２４スピーカの全体で有する。
オーディオ信号のためのサンプリング周波数は、通常、４４．１ｋＨｚ若しくは４８ｋＨｚである。
例として、Ｍ＝４、ＯＨＯＡ＝４、Ｌ＝２４及びＦｓ＝４８ｋＨｚに対して、プレドミナントサウンド合成及びレンダリングのための演算量を見積もると、
例から、合成及びレンダリングプロセスの両方が非常に複雑であることが分かり、よって複雑性（演算量）を削減することが望ましい。
ＨＯＡコンポジションプロセス（式（１）及び（２））に示すように、プレドミナントサウンド合成は、以下に従って為される。
（ベクトルベースの合成に対するもの）
（方向ベースの合成に対するもの）
アンビエントサウンド合成は、以下に従って為される。
レンダリングは、（式（７））に従って為される。
ＨＯＡコンポジション及びレンダリングプロセスはチャネルコンバージョン＊の一つのプロセスに組み合わされる。
（ベクトルベースの合成に対するもの）
例として、ＯＨＯＡ＝４、Ｍ＝４、Ｎ＝８、Ｌ＝２４及びＦｓ＝４８ｋＨｚに対して、プレドミナントサウンド合成及びレンダリングのための演算量を見積もると、
上例から、本発明のアイデアを実装することにより、演算量は大きく削減することができる。
ＭＰＥＧ−Ｈ ３Ｄ オーディオモデルでは、インプットシーケンスの一部に対する予測コンポーネントと、一部条件のためのレンダリング前の近距離補償がある。本発明は、予測コンポーネントが存在するときの、若しくは近距離補償が実施されるときの、条件には適合されない。
ＭＰＥＧ−Ｈ ３Ｄ オーディオモデルでは、連続するフレーム間の（方向ベースの合成のための）方向の変化によるアーチファクトを回避するために、方向信号からのＨＡＯ表現の計算は、重複加算のコンセプトに基づく。
よって、アクティブの方向信号のＨＯＡ表現ＣＤＩＲ（ｋ）は、フェードアウトコンポーネントとフェードインコンポーネントとの合計として計算される。
ＨＯＡドメインにてフェードイン及びフェードアウトが為される際、本発明の方法に対してどれが課題をもたらすか。この課題を解決するために、以下のアイデアが想到される。
１）Ｘ’ＰＳ（ｋ−１）＝ＸＰＳ（ｋ−１）ｗｏｕｔ；Ｘ’ＰＳ（ｋ）＝ＸＰＳ（ｋ）ｗｉｎを規定する。
２）式（１１）を以下のように修正する：
１）Ｘ’ＰＳ（ｋ−１）＝ＸＰＳ（ｋ−１）ｗｏｕｔ；Ｘ’ＰＳ（ｋ）＝ＸＰＳ（ｋ）ｗｉｎを規定する。
２）式（１１）を以下のように修正する：
上記原理は、フェードイン及びフェードアウトがベクトルベースの合成に対してＨＯＡドメインで為されるならば、ベクトルベースの合成に適用され得る。
フェードイン及びフェードアウトがベクトルベースの合成に対してベクトルドメインで為されるならば、以下の通りとなる。
１）Ｘ’ＶＥＣ（ｋ）＝ｗｏｕｔＸＶＥＣ（ｋ−１）＋ｗｉｎＸＶＥＣ（ｋ）を規定する。
２）式（１０）を以下のように修正する：
１）Ｘ’ＶＥＣ（ｋ）＝ｗｏｕｔＸＶＥＣ（ｋ−１）＋ｗｉｎＸＶＥＣ（ｋ）を規定する。
２）式（１０）を以下のように修正する：
以下の実施形態は、種々の進歩性の原理のための例示に過ぎない。当然ながら、本明細書の詳細な説明の変形例は当業者には明白なものであろう。当業者は、本発明の精神から乖離すること無く本発明を修正して適用することができるものである。
１．実施の形態１
本発明の実施の形態１として、本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器と；を含む。
本発明の実施の形態１として、本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器と；を含む。
図２は、実施の形態１に係る前述のデコーダを示す。
ビットストリームデマルチプレクサ（２００）は、ビットストリームを空間パラメータ及びコアパラメータに解凍する。
コアデコーダのセット（２０１、２０２、２０３）は、コアパラメータをコア信号のセットにデコードするが、デコーダは、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ ＡＣ−３やＭＰＥＧ ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
マトリクス導出ユニット（２０４）は、空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを計算する。レンダリングは、以下のパラメータの一部若しくはすべてを用いて導出され得る。
ターゲットスピーカの数（５．１、７．１、１０．１若しくは２２．２．．．）、
スピーカの位置（スイートスポットからの距離、水平角及び仰角）、
球面モデリングの位置（水平及び仰角）、
ＨＯＡオーダ（一次（４のＨＯＡ係数）、二次（９のＨＯＡ係数）若しくは三次（１６のＨＯＡ係数）．．．．）、及び、
ＨＯＡデコンポジションパラメータ（方向ベースのデコンポジション若しくはＰＣＡまたはＳＶＤ）。
ターゲットスピーカの数（５．１、７．１、１０．１若しくは２２．２．．．）、
スピーカの位置（スイートスポットからの距離、水平角及び仰角）、
球面モデリングの位置（水平及び仰角）、
ＨＯＡオーダ（一次（４のＨＯＡ係数）、二次（９のＨＯＡ係数）若しくは三次（１６のＨＯＡ係数）．．．．）、及び、
ＨＯＡデコンポジションパラメータ（方向ベースのデコンポジション若しくはＰＣＡまたはＳＶＤ）。
ＶＢＡＰ（ベクトルベースの振幅パニング）［３］、若しくはＤＢＡＰ（方向ベースの振幅パニング）［４］、又はＨＯＡフォーマットのためのＭＰＥＧ−Ｈ ３Ｄに対する公表参照モデルに記載された方法［２］などの、所望のスピーカレイアウトへの再構築されたインプット信号から、レンダリングマトリクスを導出するのに利用可能な技術がある。
例として、インプット信号が四次ＨＯＡであるならば、球面空間の２５の方向を覆うための２５のＨＯＡ係数を有し、再生スピーカセットアップはスタンダード２２．２チャネルセットアップである。レンダリングマトリクスは、２５のＨＯＡ係数を２４のスピーカチャネルにマップする。
ＶＢＡＰがレンダリングマトリクスを導出するのに用いられると、ＶＢＡＰは、２２．２スピーカセットアップのラウドスピーカを指示する２４の単位ベクトルｌ，．．．，ｌ２４のセットを用い、三角形のメッシュがラウドスピーカ間で形成される。２５のＨＯＡ球面方向ｐの各々に対しては、スピーカにより形成される三角形の一つの中にある。三角形を形成する三つのスピーカは、アクティブのスピーカであるように選択され、球面方向ｐは、それらラウドスピーカの線形の組み合わせにより計算され得る。
ここで、
ｐは、ＨＯＡ球面方向を示す。
ｌｎは、ラウドスピーカベクトルを示す。
ｇｎは、ｌｎに適用される倍率を示す。
｛ｎ１，ｎ２，ｎ３｝は、アクティブのラウドスピーカの三重項を示す。
ｐは、ＨＯＡ球面方向を示す。
ｌｎは、ラウドスピーカベクトルを示す。
ｇｎは、ｌｎに適用される倍率を示す。
｛ｎ１，ｎ２，ｎ３｝は、アクティブのラウドスピーカの三重項を示す。
Ｒ３では、ベクトル空間は、３のベクトルベースにより形成される。このことにより以下の解が導かれる。
ここで、
ｐは、ＨＯＡ球面方向を示す。
ｌｎは、ラウドスピーカベクトルを示す。
ｇｎは、ｌｎに適用される倍率を示す。
｛ｎ１，ｎ２，ｎ３｝は、アクティブのラウドスピーカの三重項を示す。
ｐは、ＨＯＡ球面方向を示す。
ｌｎは、ラウドスピーカベクトルを示す。
ｇｎは、ｌｎに適用される倍率を示す。
｛ｎ１，ｎ２，ｎ３｝は、アクティブのラウドスピーカの三重項を示す。
上述の手順は、２５のＨＯＡ球面方向の全てに対して繰り返され、個々の球面方向に対する全てのゲインパラメータが導出可能であり、レンダリングマトリクスＤを形成し得る。
ＨＯＡ係数からラウドスピーカアウトプットへのレンダリングは、以下の式で説明可能である。
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄは、レンダリングマトリクスを示す。
しかしながら、本発明では、完全再構築されたオーディオ信号は利用可能ではない。再構築されるオーディオ信号が以下の式に従って導出され得ることを仮定する。
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｓ’（ｋ）は、デコードされた信号を示す。
Ｍは、変換マトリクスを示す。
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｓ’（ｋ）は、デコードされた信号を示す。
Ｍは、変換マトリクスを示す。
式（１７）と式（１８）とを組み合わせることにより以下のようになる。
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍは、変換マトリクスを示す。
Ｄ’は、新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍは、変換マトリクスを示す。
Ｄ’は、新しいレンダリングマトリクスを示す。
上述のアプローチ以外に、デコードされたコア信号及びスピーカレイアウト情報を直接用いて、レンダリングマトリクスを導出することが可能である。
上述の手順及び式は、本発明をいかに実装するかに関する例として示すものであり、当業者であれば、発明の精神から乖離することなくこの発明を修正して適用することができるであろう。
最後に、レンダリング器（２０５）は、レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングする。
効果：この実施の形態では、サラウンドサウンド信号が、単独のステップで所望のスピーカレイアウトに再構築されてレンダリングされるのであり、このことにより、効率性は改善され演算量は大きく削減される。
２．実施の形態２
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
図３は、実施の形態２に係る前述のデコーダを示す。
ビットストリームデマルチプレクサ（３００）は、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍する。
コアデコーダのセット（３０１、３０２、３０３）は、コアパラメータをコア信号のセットにデコードするが、デコーダは、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ ＡＣ−３やＭＰＥＧ ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
プレドミナントサウンド／アンビエンススイッチ（３０４）は、チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド又はアンビエンスに割り当てる。
レンダリングマトリクス計算ユニット（３０５）は、プレドミナントサウンドパラメータと再生スピーカのレイアウトとからレンダリングマトリクスを計算する。本実施の形態では、詳細な導出は省略し、プレドミナントサウンドから導出されるレンダリングマトリクスはＤ’であると、仮定する。
プレドミナントサウンドレンダリング器（３０６）は、ＰＳレンダリングマトリクスを用いて、デコードされたプレドミナントサウンドを再生信号に変換する。
ただし、
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｃｐｓ（ｋ）は、デコードされたプレドミナントサウンド信号を示す。
Ｄ’は、ＰＳレンダリングマトリクスを示す。
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｃｐｓ（ｋ）は、デコードされたプレドミナントサウンド信号を示す。
Ｄ’は、ＰＳレンダリングマトリクスを示す。
レンダリングマトリクス計算ユニット（３０７）は、アンビエンスパラメータと再生スピーカのレイアウトとからレンダリングマトリクスを計算する。本実施の形態では、詳細な導出は省略し、アンビエントサウンドから導出されるレンダリングマトリクスはＤＡＭＢであると、仮定する。
アンビエントサウンドが、エンコーディング前に或る他のフォーマットに変換されるか他の方法で処理されたならば、レンダリング前に、信号を後処理して元のアンビエントサウンドを再構築するようにしてもよい。
アンビエンスレンダリング器（３０８）は、アンビエンスレンダリングマトリクスを用いて、デコードされたアンビエントサウンドを再生信号に変換する。
ただし、
ＷAMB（ｋ）は、アンビエントサウンドから導出された再生信号を示す。
ＣＡＭＢ（ｋ）は、デコードされたアンビエントサウンド信号を示す。
ＤＡＭＢは、アンビエンスレンダリングマトリクスを示す。
ＷAMB（ｋ）は、アンビエントサウンドから導出された再生信号を示す。
ＣＡＭＢ（ｋ）は、デコードされたアンビエントサウンド信号を示す。
ＤＡＭＢは、アンビエンスレンダリングマトリクスを示す。
アウトプット信号構成ユニットは、レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成する。
ただし、
ＷAMB（ｋ）は、アンビエントサウンドから導出された再生信号を示す。
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｗ（ｋ）は、最終的な再生信号を示す。
ＷAMB（ｋ）は、アンビエントサウンドから導出された再生信号を示す。
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｗ（ｋ）は、最終的な再生信号を示す。
効果：この実施の形態では、プレドミナントサウンド信号が、たった一つのステップで所望のスピーカレイアウトに再構築されてレンダリングされるのであり、このことにより、効率性は改善され演算量は大きく削減される。
３．実施の形態３
本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；前フレームと現フレームのデコードされたコア信号に関してウインドウイングを実行するウインドウイングユニットと；ウインドウされた前フレームのデコードされたコア信号及びウインドウされた現フレームのデコードされたコア信号を、導出された平滑化コア信号に合計する総和ユニットと；レンダリングマトリクスを用いて、平滑化コア信号を再生信号にレンダリングするレンダリング器と；を含む。
本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；前フレームと現フレームのデコードされたコア信号に関してウインドウイングを実行するウインドウイングユニットと；ウインドウされた前フレームのデコードされたコア信号及びウインドウされた現フレームのデコードされたコア信号を、導出された平滑化コア信号に合計する総和ユニットと；レンダリングマトリクスを用いて、平滑化コア信号を再生信号にレンダリングするレンダリング器と；を含む。
フレーム境界に亘る人工音を避けるために、オーディオ信号処理でウインドウイングを適用することが一般的である。
図４に示すように、ウインドウイングはデコードされたコア信号（４０４）に適用され、式（１７）及び式（１８）は以下のように修正される。
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｍは、変換マトリクスを示す。
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｍは、変換マトリクスを示す。
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄ’は、レンダリングマトリクスを示す。
効果：この実施の形態では、ウインドウイングは、フレーム境界に亘る人工音を回避するために適用される。
４．実施の形態４
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；前フレームと現フレームのプレドミナントサウンド信号に関してウインドウイングを実行するウインドウイングユニットと；レンダリングマトリクスを用いて、平滑化されたプレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエンスサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；前フレームと現フレームのプレドミナントサウンド信号に関してウインドウイングを実行するウインドウイングユニットと；レンダリングマトリクスを用いて、平滑化されたプレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエンスサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
図５に示すように、フレーム境界に亘ってサウンドフィールドの連続且つ平坦な発生を保証するために、ウインドウイングがプレドミナントサウンドに適用される（５０６）。
ウインドウイングがプレドミナントサウンドに適用されるので、式（２０）は以下のように修正される：
ただし、
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｃｐｓ（ｋ）は、現フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃｐｓ（ｋ−１）は、前フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｄ’は、ＰＳレンダリングマトリクスを示す。
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｃｐｓ（ｋ）は、現フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃｐｓ（ｋ−１）は、前フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｄ’は、ＰＳレンダリングマトリクスを示す。
効果：この実施の形態では、フレーム境界に亘ってサウンドフィールドの連続且つ平坦な発生を保証するために、ウインドウイングが適用される。
５．実施の形態５
図６Ａに示すように、本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダ（６０１、６０２及び６０３）のセットと；空間パラメータと再生スピーカのレイアウトとから現状のフレームのデコードされた信号に対するレンダリングマトリクスを導出するマトリクス導出ユニット（６０４）と；レンダリングマトリクスを用いて、現状のフレームのデコードされたコア信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（６０５）と；レンダリングマトリクスを用いて、前フレームのデコードされたコア信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（６０６）と；前フレームの再生信号と現フレームの再生信号とを加えて最終的な再生信号を形成する加算ユニット（６０７）と；を含む。
図６Ａに示すように、本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダ（６０１、６０２及び６０３）のセットと；空間パラメータと再生スピーカのレイアウトとから現状のフレームのデコードされた信号に対するレンダリングマトリクスを導出するマトリクス導出ユニット（６０４）と；レンダリングマトリクスを用いて、現状のフレームのデコードされたコア信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（６０５）と；レンダリングマトリクスを用いて、前フレームのデコードされたコア信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（６０６）と；前フレームの再生信号と現フレームの再生信号とを加えて最終的な再生信号を形成する加算ユニット（６０７）と；を含む。
フレーム境界に亘る人工音を避けるために、オーディオ信号処理でウインドウイングを適用することが一般的である。
実施の形態１において、前フレーム及び現フレームのデコードされたコア信号は異なる空間方向を有するので，ウインドウイングはデコードされたコア信号に適用され得ないとすると、ウインドウイングは再構築されたＨＯＡ係数に適用されなければならない。
すると式（１８）は以下のように修正される：
ただし、
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
Ｓ’’（ｋ）は、現フレームに対するウインドウイングされた信号を示す。
Ｓ’’（ｋ−１）は、前フレームに対するウインドウイングされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄ’ｃｕｒは、現フレームに対する新しいレンダリングマトリクスを示す。
Ｄ’ｐｒｅは、前フレームに対する新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、現フレームに対する、完全再構築されたオーディオ信号を示す。
Ｃ’（ｋ−１）は、前フレームに対する、完全再構築されたオーディオ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍｃｕｒは、現フレームに対する変換マトリクスを示す。
Ｍｐｒｅは、前フレームに対する変換マトリクスを示す。
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
Ｓ’’（ｋ）は、現フレームに対するウインドウイングされた信号を示す。
Ｓ’’（ｋ−１）は、前フレームに対するウインドウイングされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄ’ｃｕｒは、現フレームに対する新しいレンダリングマトリクスを示す。
Ｄ’ｐｒｅは、前フレームに対する新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、現フレームに対する、完全再構築されたオーディオ信号を示す。
Ｃ’（ｋ−１）は、前フレームに対する、完全再構築されたオーディオ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍｃｕｒは、現フレームに対する変換マトリクスを示す。
Ｍｐｒｅは、前フレームに対する変換マトリクスを示す。
図６Ａに示すように、ウインドウイングとレンダリングは、最初に、現フレームのデコードされたコア信号及び前フレームのデコードされたコア信号に関して、独立して（６０５及び６０６）為され、続いて前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なアウトプットを形成する（６０７）。
前フレームのデコードされたコア信号に対するウインドウイング＆レンダリングに対しては、前フレームのレンダリングマトリクスが利用可能であるならば／格納されているならば、前フレームの計算から拾い上げることが可能である。利用可能でないならば／格納されていないならば、レンダリングマトリクスは、（６０４）と同じやり方にしたがって計算され得るが、但し前フレームの空間パラメータ及びスピーカレイアウト情報を用いる。
別の方法を図６Ｂに示す。最初に、レンダリングが、現フレームのデコードされた信号（６１５）に関して為され、続いてウインドウイングが、前フレームのレンダリングされた信号及び現フレームのレンダリングされた信号に関して為され、最終的に、ウインドウイングされた前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なアウトプットを形成する（６１６）。
効果：この実施の形態では、ウインドウイングは、フレーム境界に亘る人工音を避けるために適用される。
６．実施の形態６
図７Ａに示すように、本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサ（７００）と；コアパラメータをコア信号のセットにデコードするコアデコーダ（７０１、７０２及び７０３）のセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチ（７０４）と；プレドミナントサウンドパラメータと再生スピーカのレイアウトとから現フレームのプレドミナントサウンド信号に対するプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニット（７０５）と；現フレームのプレドミナントサウンド信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（７０６）と；前フレームのプレドミナントサウンド信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（７０７）と；前フレームのレンダリングされたプレドミナントサウンドと現フレームのプレドミナントサウンドとを加えてレンダリングされたプレドミナントサウンドを形成する加算ユニット（７０８）と；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニット（７０９）と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器（７１０）と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニット（７１１）と；を含む。
図７Ａに示すように、本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサ（７００）と；コアパラメータをコア信号のセットにデコードするコアデコーダ（７０１、７０２及び７０３）のセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチ（７０４）と；プレドミナントサウンドパラメータと再生スピーカのレイアウトとから現フレームのプレドミナントサウンド信号に対するプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニット（７０５）と；現フレームのプレドミナントサウンド信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（７０６）と；前フレームのプレドミナントサウンド信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（７０７）と；前フレームのレンダリングされたプレドミナントサウンドと現フレームのプレドミナントサウンドとを加えてレンダリングされたプレドミナントサウンドを形成する加算ユニット（７０８）と；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニット（７０９）と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器（７１０）と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニット（７１１）と；を含む。
実施の形態２では、前フレーム及び現フレームのプレドミナントサウンド信号は異なる空間方向を有するので、デコードされたプレドミナントサウンド信号にウインドウイングを適用できないとすれば、再構築されたＨＯＡ係数にウインドウイングを適用しなければならない。
すると式（１９）は以下のように修正される：
ただし、
Ｃ’ＰＳ（ｋ）は、現フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃ’ＰＳ（ｋ−１）は、前フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃ’’ＰＳ（ｋ）は、現フレームに対するウインドウイングされたプレドミナントサウンド信号を示す。
Ｃ’’ＰＳ（ｋ−１）は、前フレームに対するウインドウイングされたプレドミナントサウンド信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
ＷＰＳ（ｋ）は、プレドミナントサウンドからのラウドスピーカ信号を示す。
Ｄ’ｃｕｒは、現フレームに対する新しいレンダリングマトリクスを示す。
Ｄ’ｐｒｅは、前フレームに対する新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、現フレームに対する、再構築されたオーディオ信号を示す。
Ｃ’（ｋ−１）は、前フレームに対する、再構築されたオーディオ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍｃｕｒは、現フレームに対する変換マトリクスを示す。
Ｍｐｒｅは、前フレームに対する変換マトリクスを示す。
Ｃ’ＰＳ（ｋ）は、現フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃ’ＰＳ（ｋ−１）は、前フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃ’’ＰＳ（ｋ）は、現フレームに対するウインドウイングされたプレドミナントサウンド信号を示す。
Ｃ’’ＰＳ（ｋ−１）は、前フレームに対するウインドウイングされたプレドミナントサウンド信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
ＷＰＳ（ｋ）は、プレドミナントサウンドからのラウドスピーカ信号を示す。
Ｄ’ｃｕｒは、現フレームに対する新しいレンダリングマトリクスを示す。
Ｄ’ｐｒｅは、前フレームに対する新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、現フレームに対する、再構築されたオーディオ信号を示す。
Ｃ’（ｋ−１）は、前フレームに対する、再構築されたオーディオ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍｃｕｒは、現フレームに対する変換マトリクスを示す。
Ｍｐｒｅは、前フレームに対する変換マトリクスを示す。
図７Ａに示すように、ウインドウイングとレンダリングは、最初に、現フレームのデコードされたプレドミナントサウンド信号及び前フレームのデコードされたプレドミナントサウンド信号に関して、独立して（７０６及び７０７）為され、続いて前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なプレドミナントサウンドのアウトプットを形成する（７０８）。
前フレームのプレドミナントサウンドに対するウインドウイング＆レンダリングに対しては、前フレームのＰＳマトリクスが利用可能であるならば／格納されているならば、前フレームの計算から拾い上げることが可能である。利用可能でないならば／格納されていないならば、ＰＳレンダリングマトリクスは、（７０５）と同じやり方にしたがって計算され得るが、但し従前の前フレームの空間パラメータ及びスピーカレイアウト情報を用いる。
別の方法を図７Ｂに示す。最初に、レンダリングが、現フレームのデコードされたプレドミナントのサウンド信号（７１６）に関して為され、続いてウインドウイングが、前フレームのレンダリングされた信号及び現フレームのレンダリングされた信号に関して為され、最終的に、ウインドウイングされた前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なプレドミナントサウンドのアウトプットを形成する（７１７）。
効果：この実施の形態では、フレーム境界に亘ってサウンドフィールドの連続且つ平坦な発生を保証するために、ウインドウイングが適用される。
７．実施の形態７
本発明に係るサラウンドサウンドデコーダは、ビットストリームをレンダリングフラグ、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；レンダリングフラグにより特定される計算方法を利用してプレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
本発明に係るサラウンドサウンドデコーダは、ビットストリームをレンダリングフラグ、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；レンダリングフラグにより特定される計算方法を利用してプレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
この実施の形態では、ビットストリームに、発明されたアイデアの実装を実用的でなくする何らかの他のデータがビットストリーム内に存在するかどうかを示すレンダリングフラグがある。
図８は、例として一つのビットストリームを示す。
ビットストリームに、ＰＳパラメータデータ、アンビエンスパラメータデータ、チャネル割り当てパラメータデータ、及びコアコーダデータのみが在るとき、低演算量の構成及びレンダリングを達成するために発明されたアイデアを使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが１にセットされる。
ビットストリームに、予測データ及び近距離補償データが在るとき、発明されたアイデアを使用することが実用的ではなくなり、従来のデコード化、構成及びレンダリングのツールを使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが０にセットされる。
図９は、この実施の形態の前述のデコーダを示す。
ビットストリームデマルチプレクサ（９０１）は、ビットストリームをＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧ及び他のパラメータに解凍する。
ＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが１に等しいならば、本発明のデコーダ（９０２）は、低演算量の解法を完成するために、デコード化、構成及びレンダリングを実行するように選択される。
ＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが０に等しいならば、従来のデコーダ（９０３）は、デコード化、構成及びレンダリングを実行するように選択される。
効果：この実施の形態では、ビットストリームの非互換性の課題が解決される。
８．実施の形態８
この実施の形態では、エンコーダは、インプット信号を分析してインプット信号を空間パラメータ及びＮ生成信号にエンコードする空間エンコーダと；Ｎ生成信号をコアパラメータのセットにエンコードするコアエンコーダのセットと；空間パラメータ及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
この実施の形態では、エンコーダは、インプット信号を分析してインプット信号を空間パラメータ及びＮ生成信号にエンコードする空間エンコーダと；Ｎ生成信号をコアパラメータのセットにエンコードするコアエンコーダのセットと；空間パラメータ及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器と：を含む。
図１０は、この実施の形態の前述のエンコーダ及びデコーダを示す。
空間エンコーダ（１００１）は、インプット信号を分析し、インプット信号を空間パラメータ及びＮ生成信号にエンコードする。
空間エンコーディングは、オーディオシーンの分析に基づいて、インプットオーディオシーン内にてどれだけ多くのサウンドソース若しくはオーディオオブジェクトが在るか決定し、サウンドソース若しくはオーディオオブジェクトをどのように抽出してエンコードするか判別し得る。例として、サウンドソース若しくはオーディオオブジェクトを抽出するのに主成分解析（ＰＣＡ）が用いられＮサウンドソースが抽出されてエンコードされるようにしても良い。このプロセスの間に、ＰＣＡパラメータ及びＮオーディオ信号が導出される。ＰＣＡパラメータ及びＮ生成オーディオ信号がエンコードされてデコーダ側に送られる。
生成信号は、以下の式に従って導出され得る。
ここで、
Ｃ（ｋ）は、インプットオーディオ信号を示す。
Ｓ（ｋ）は、生成されたオーディオ信号を示す。
Ｍは、変換マトリクスを示す。
Ｃ（ｋ）は、インプットオーディオ信号を示す。
Ｓ（ｋ）は、生成されたオーディオ信号を示す。
Ｍは、変換マトリクスを示す。
コアエンコーダのセット（１００２、１００３、１００４）は、Ｎ生成信号をコアパラメータのセットにエンコードするが、エンコーダは、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ ＡＣ−３やＭＰＥＧ ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
ビットストリームマルチプレクサ（１００５）は、空間パラメータ及びコアパラメータをビットストリームにパックする。
対応するデコーダは、図２に示すデコーダであってもよい。
９．実施の形態９
本発明の実施の形態９では、エンコーダは、インプット信号を分析して、インプット信号を、複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする、オーディオシーン分析及び空間エンコーダと；コアデコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと；プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、Ｎチャネルオーディオ信号をエンコードするコアエンコーダのセットと；プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
本発明の実施の形態９では、エンコーダは、インプット信号を分析して、インプット信号を、複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする、オーディオシーン分析及び空間エンコーダと；コアデコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと；プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、Ｎチャネルオーディオ信号をエンコードするコアエンコーダのセットと；プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドのレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエンスサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
図１１は、第２の実施の形態の、前述のエンコーダを示す。
エンコーダは、インプット信号を分析して、インプット信号を複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする、オーディオシーン分析及び空間エンコーダと；コアデコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと；プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、Ｎチャネルオーディオ信号をエンコードするコアエンコーダのセットと；プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
オーディオシーン分析及び空間エンコーダ（１１０１）は、インプット信号を分析して、インプット信号を複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする。
オーディオシーン分析及び空間エンコーディングは、オーディオシーンの分析を行い、インプットオーディオシーン内にてどれだけ多くのサウンドソース若しくはオーディオオブジェクトが在るか決定し、サウンドソース若しくはオーディオオブジェクトをどのように抽出してエンコードするか判別する。例として、サウンドソース若しくはオーディオオブジェクトを抽出するのに主成分解析（ＰＣＡ）が用いられＭサウンドソースが抽出されてエンコードされるようにしても良い。このプロセスの間に、ＰＣＡパラメータ及びＭプレドミナントのサウンド信号が導出される。ＰＣＡパラメータ及びＭプレドミナントのオーディオ信号がエンコードされてデコーダ側に送られる。
生成信号は、以下の式に従って導出され得る。
ここで、
Ｃ（ｋ）は、インプットオーディオ信号を示す。
ＣＰＳ（ｋ）は、生成されたオーディオ信号を示す。
Ｍは、変換マトリクスを示す。
Ｃ（ｋ）は、インプットオーディオ信号を示す。
ＣＰＳ（ｋ）は、生成されたオーディオ信号を示す。
Ｍは、変換マトリクスを示す。
オーディオシーン分析及び空間エンコーダは、アンビエント信号と名付け得る、インプット信号とプレドミナントサウンド信号からの合成信号との間の残余を、抽出しエンコードするようにしても良い。空間エンコードは、インプット信号とプレドミナントサウンド信号からの合成信号との間の差分から、アンビエント信号を抽出する。プレドミナントサウンドの合成は、以下の式に従って為され得る。
ここで、
Ｃ’（ｋ）は、プレドミナントサウンドから、再構築されるオーディオ信号を示す。
ＣＰＳ（ｋ）は、デコードされたプレドミナントサウンド信号を示す。
Ｍは、変換マトリクスを示す。
Ｃ’（ｋ）は、プレドミナントサウンドから、再構築されるオーディオ信号を示す。
ＣＰＳ（ｋ）は、デコードされたプレドミナントサウンド信号を示す。
Ｍは、変換マトリクスを示す。
アンビエント信号は、以下の式に従って導出され得る。
ここで、
Ｃ’（ｋ）は、プレドミナントサウンドから、再構築されるオーディオ信号を示す。
Ｃ（ｋ）は、インプットオーディオ信号を示す。
ＣＡＭＢ（ｋ）は、アンビエンス信号を示す。
Ｃ’（ｋ）は、プレドミナントサウンドから、再構築されるオーディオ信号を示す。
Ｃ（ｋ）は、インプットオーディオ信号を示す。
ＣＡＭＢ（ｋ）は、アンビエンス信号を示す。
全てのアンビエント信号のうち、アンビエント信号のどれがエンコードされるべきかが決定された。アンビエント信号は、より効率的にエンコードされ得るように、他のフォーマットに処理されても若しくは変換されてもよい。
チャネル割り当てユニット（１１０１）は、コアエンコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードする。送信されるアンビエントＨＯＡ係数のシーケンスの選択、それらの割り当て、及び、所与のＮチャネルへのプレドミナントサウンド信号の割り当てについての情報は、デコーダ側に送られる。
コアエンコーダのセット（１１０２、１１０３、１１０４）は、Ｍプレドミナントサウンド信号及び（Ｎ−Ｍ）アンビエント信号をコアパラメータのセットにエンコードするが、エンコーダは、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ ＡＣ−３やＭＰＥＧ ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
ビットストリームマルチプレクサ（１１０５）は、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックする。
対応するデコーダは、図３に示すデコーダであってもよい。
１０．実施の形態１０
図１２は、この実施の形態の、前述のエンコーダを示す。
図１２は、この実施の形態の、前述のエンコーダを示す。
オーディオシーン分析及び空間エンコーダ（１２０１）は、インプット信号を分析してインプット信号をエンコードする。
オーディオシーン分析及び空間エンコーディングは、オーディオシーンの分析を行い、生成されたパラメータが発明されたアイデアと互換性があるか判別し、ＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧを送信することにより前記判別を反映する。
ＰＳパラメータデータ、アンビエンスパラメータデータ、チャネル割り当てのパラメータデータ、及びコアコーダデータなどの、全ての生成されたパラメータが、発明されたアイデアと互換性があるならば、低演算量の構成及びレンダリングを達成するために、発明されたアイデアをデコーダ側内で使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが１にセットされる。
全ての生成されたパラメータが、発明されたアイデアと互換性があるというわけではないならば、発明されたアイデアを使用することが実用的ではなく、従来のデコーディング、構成及びレンダリングのツールをデコーダ側内で使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが０にセットされる。
効果：この実施の形態では、ビットストリーム非互換性の課題が解決される。
参考文献
［１］ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１３４１１ “Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｆｏｒ ３Ｄ Ａｕｄｉｏ”
［２］ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１４２６４ “ＷＤ１−ＨＯＡ Ｔｅｘｔ ｏｆ ＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ”
［３］Ｖ． Ｐｕｌｋｋｉ， ”Ｖｉｒｔｕａｌ Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｐｏｓｉｔｉｏｎｉｎｇ Ｕｓｉｎｇ Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ，” Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ４５， １９９７
［４］Ｔ． Ｌｏｓｓｉｕｓ， Ｐ． Ｂａｌｔａｚａｒ， ａｎｄ Ｔ． ｄ． ｌ． Ｈｏｇｕｅ， ”ＤＢＡＰ - Ｄｉｓｔａｎｃｅｂａｓｅｄ ａｍｐｌｉｔｕｄｅ ｐａｎｎｉｎｇ，” ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｃｏｎｆｅｒｅｎｃｅ （ＩＣＭＣ）． Ｍｏｎｔｒｅａｌ， ２００９．
［１］ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１３４１１ “Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｆｏｒ ３Ｄ Ａｕｄｉｏ”
［２］ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１４２６４ “ＷＤ１−ＨＯＡ Ｔｅｘｔ ｏｆ ＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏ”
［３］Ｖ． Ｐｕｌｋｋｉ， ”Ｖｉｒｔｕａｌ Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｐｏｓｉｔｉｏｎｉｎｇ Ｕｓｉｎｇ Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ，” Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ４５， １９９７
［４］Ｔ． Ｌｏｓｓｉｕｓ， Ｐ． Ｂａｌｔａｚａｒ， ａｎｄ Ｔ． ｄ． ｌ． Ｈｏｇｕｅ， ”ＤＢＡＰ - Ｄｉｓｔａｎｃｅｂａｓｅｄ ａｍｐｌｉｔｕｄｅ ｐａｎｎｉｎｇ，” ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｃｏｎｆｅｒｅｎｃｅ （ＩＣＭＣ）． Ｍｏｎｔｒｅａｌ， ２００９．
Claims (6)
- サラウンドオーディオ信号をデコードする装置であって、
プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、コアパラメータ、及びレンダリングフラグをインプットするインプットユニットと、前記レンダリングフラグは、発明されたアイデアの実装を実用的でなくする何らかの他のデータがビットストリーム内に存在するかどうかを示し、
コアパラメータをコア信号のセットにデコードするコアデコーダのセットと、
チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと、
プレドミナントサウンドパラメータと再生スピーカのレイアウト情報を用いてプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと、
アンビエンスパラメータと再生スピーカのレイアウト情報を用いてアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと、
プレドミナントサウンドレンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と、
アンビエンスレンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と、
レンダリングされたプレドミナントサウンド及びレンダリングされたアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；
を含む、装置。 - 前記コアデコーダは、ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ＡＡＣ、ＨＥ−ＡＡＣ、Ｄｏｌｂｙ ＡＣ−３、若しくはＭＰＥＧ ＵＳＡＣ標準に対応する、請求項１に記載の装置。
- 前記サラウンドオーディオ信号は、高次のアンビソニック信号である、請求項１に記載の装置。
- 前記空間パラメータは、主成分解析（ＰＣＡ）、特異値分解（ＳＶＤ）、ＱＲデコンポジション、若しくはカルフネン−ロエベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換（ＫＬＴ）のパラメータを含む、請求項１に記載の装置。
- 前記マトリクス導出は、ターゲットスピーカの数、スピーカの位置、球面モデリングの位置（水平及び仰角）、ＨＯＡオーダ、及び、ＨＯＡデコンポジションパラメータから成るパラメータ群の、一部または全てを用いて、為される、請求項１に記載の装置。
- サラウンドオーディオ信号をエンコードする装置であって、
インプット信号のオーディオシーン分析結果に基づいて、インプット信号を、複数のプレドミナントサウンドと対応するプレドミナントサウンドパラメータ、及び複数のアンビエンスサウンドと対応するアンビエンスパラメータに、エンコードする、空間エンコーダと、
コアデコーダを割り当ててプレドミナントのサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと、
デコーダ側内で用いられるレンダリングフラグを決定するレンダリングフラグ決定ユニットと、前記レンダリングフラグは、発明されたアイデアの実装を実用的でなくする何らかの他のデータがビットストリーム内に存在するかどうかを示し、
プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、生成されたオーディオ信号をエンコードするコアエンコーダのセットと、レンダリングフラグ、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをアウトプットするアウトプットユニットと、
を含む、装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018136700A JP6652990B2 (ja) | 2018-07-20 | 2018-07-20 | サラウンドオーディオ信号処理のための装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018136700A JP6652990B2 (ja) | 2018-07-20 | 2018-07-20 | サラウンドオーディオ信号処理のための装置及び方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016558831A Division JP6374980B2 (ja) | 2014-03-26 | 2014-03-26 | サラウンドオーディオ信号処理のための装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018196133A true JP2018196133A (ja) | 2018-12-06 |
| JP6652990B2 JP6652990B2 (ja) | 2020-02-26 |
Family
ID=64570727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018136700A Active JP6652990B2 (ja) | 2018-07-20 | 2018-07-20 | サラウンドオーディオ信号処理のための装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6652990B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010013450A1 (ja) * | 2008-07-29 | 2010-02-04 | パナソニック株式会社 | 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム |
| JP2010507114A (ja) * | 2006-10-16 | 2010-03-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | マルチチャネル・パラメータ変換のための装置および方法 |
| JP2010515099A (ja) * | 2006-12-27 | 2010-05-06 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | 情報ビットストリーム変換を含む多様なチャネルで構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法 |
| JP2013541275A (ja) * | 2010-09-08 | 2013-11-07 | ディーティーエス・インコーポレイテッド | 拡散音の空間的オーディオの符号化及び再生 |
| WO2013171083A1 (en) * | 2012-05-14 | 2013-11-21 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics signal representation |
-
2018
- 2018-07-20 JP JP2018136700A patent/JP6652990B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010507114A (ja) * | 2006-10-16 | 2010-03-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | マルチチャネル・パラメータ変換のための装置および方法 |
| JP2010515099A (ja) * | 2006-12-27 | 2010-05-06 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | 情報ビットストリーム変換を含む多様なチャネルで構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法 |
| WO2010013450A1 (ja) * | 2008-07-29 | 2010-02-04 | パナソニック株式会社 | 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム |
| JP2013541275A (ja) * | 2010-09-08 | 2013-11-07 | ディーティーエス・インコーポレイテッド | 拡散音の空間的オーディオの符号化及び再生 |
| WO2013171083A1 (en) * | 2012-05-14 | 2013-11-21 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics signal representation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6652990B2 (ja) | 2020-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6374980B2 (ja) | サラウンドオーディオ信号処理のための装置及び方法 | |
| RU2759160C2 (ru) | УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ КОДИРОВАНИЯ, ДЕКОДИРОВАНИЯ, ОБРАБОТКИ СЦЕНЫ И ДРУГИХ ПРОЦЕДУР, ОТНОСЯЩИХСЯ К ОСНОВАННОМУ НА DirAC ПРОСТРАНСТВЕННОМУ АУДИОКОДИРОВАНИЮ | |
| EP3444815B1 (en) | Multiplet-based matrix mixing for high-channel count multichannel audio | |
| JP4944902B2 (ja) | バイノーラルオーディオ信号の復号制御 | |
| JP5520300B2 (ja) | マイクロホン信号に基づいて一組の空間手がかりを供給する装置、方法およびコンピュータ・プログラムと２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置 | |
| JP5081838B2 (ja) | オーディオ符号化及び復号 | |
| TWI441164B (zh) | 音訊信號解碼器、用以將音訊信號解碼之方法、以及運用級聯音訊物件處理級之電腦程式 | |
| EP2000001B1 (en) | Method and arrangement for a decoder for multi-channel surround sound | |
| CN109166587B (zh) | 处理信道信号的编码/解码装置及方法 | |
| EP2976769B1 (en) | Method and apparatus for enhancing directivity of a 1st order ambisonics signal | |
| CN112492501B (zh) | 使用呈现变换参数的音频编码和解码 | |
| EP3569000B1 (en) | Dynamic equalization for cross-talk cancellation | |
| KR20220044973A (ko) | 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 | |
| US20240119949A1 (en) | Encoding/decoding apparatus for processing channel signal and method therefor | |
| JP6686015B2 (ja) | オーディオ信号のパラメトリック混合 | |
| CN112823534B (zh) | 信号处理设备和方法以及程序 | |
| JP6652990B2 (ja) | サラウンドオーディオ信号処理のための装置及び方法 | |
| KR20190060464A (ko) | 오디오 신호 처리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200124 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6652990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |