JP2009524104A - 信号デコーディング方法及び装置 - Google Patents

Abstract

【課題】本発明は、オブジェクトパラメータを受信する段階と、前記オブジェクトパラメータをパーシングし、オブジェクト情報を抽出する段階と、ユーザーコントロール情報、デフォルトコントロール情報、装置コントロール情報、及び装置情報のうち一つ以上を含むコントロール情報、及び前記オブジェクト情報を用いてコントロールパラメータを生成する段階と、前記オブジェクトパラメータ及び前記コントロールパラメータを用いて、出力信号におけるオブジェクトの位置とレベルを決定するレンダリングパラメータ生成する段階と、を含む信号デコーディング方法を提供する。
【解決手段】本発明によれば、オーディオ信号の空間的特性（聞き手の仮想位置、特定ソースの仮想位置）を変化させたり空間的特性を新しく付与したりする等、オーディオ信号をコントロールでき、デコーダーの装置情報（例：出力可能チャンネルの数）に符合する出力信号を生成できる。

Description

本発明は、信号のデコーディング方法及び装置に関するものであり、より詳細には、オーディオ信号をデコーディングする方法及びその装置に関するものである。

一般的に、オーディオ信号は、エンコーディング装置で生成されたレンダリングパラメータ（例：チャネル間のレベル情報）を用いたダウンミックス信号のレンダリングから出力信号（例：マルチチャネルオーディオ信号）を生成するデコーディングされる。

このようにエンコーディング装置で生成されたレンダリングパラメータをそのままレンダリングするために用いる場合、デコーディング装置では、デコーダーの装置情報（例：出力可能なチャネルの数）による出力信号を生成することができず、オーディオ信号の空間的な特性を変化させることができず、オーディオ信号に空間的な特性を与えることができない。具体的に、デコーダーの出力可能なチャネルの数（例：２個）に符合するチャネル数のオーディオ信号を生成することができず、聴者の仮想位置を舞台上や客席の一番後側に変化させることができず、特定のソース信号（例：ピアノ信号）の仮想位置（例：左側）を与えることができない。

本発明は、上記のような問題点を解決するためになされたもので、その目的は、オーディオ信号の空間的特性（聴者の仮想位置、特定ソースの仮想位置）を変化／付与するようにオーディオ信号を制御することができる信号のエンコーディング／デコーディング方法及び装置を提供することにある。

本発明の他の目的は、デコーダーの出力可能なチャネル情報（装置情報）に符合する出力信号を生成することができる信号のエンコーディング／デコーディング方法及び装置を提供することにある。

上記のような目的を達成するために、本発明に係る信号デコーディング方法は、少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信する段階と；前記オブジェクトパラメータに制御パラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換する段階と；前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成する段階と；を含む。

本発明によると、前記オブジェクト信号は、チャネル信号又はソース信号を含むことができる。

本発明によると、前記オブジェクトパラメータは、オブジェクトレベル情報及びオブジェクト間の相関関係情報のうちの一つ以上を含むことができる。

本発明によると、前記オブジェクト信号がチャネル信号である場合、前記オブジェクトレベル情報は、チャネル間のレベル差を含むことができる。

本発明によると、前記オブジェクト信号がソース信号である場合、前記オブジェクトレベル情報は、ソース間のレベル情報を含むことができる。

本発明によると、前記制御パラメータは、制御情報を用いて生成されたものである。

本発明によると、前記制御情報は、エンコーディング装置から受信された制御情報、ユーザー制御情報、デフォルト制御情報、装置制御情報、及び装置情報のうちの少なくとも一つを含むことができる。

本発明によると、前記制御情報は、ＨＲＴＦフィルタ情報、オブジェクト位置情報、及びオブジェクトレベル情報のうちの少なくとも一つに該当するものである。

本発明によると、前記オブジェクト信号がチャネル信号である場合、前記制御情報は、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことができる。

本発明によると、前記オブジェクト信号がソース信号である場合、前記制御情報は、ソース信号のレベル情報及びソース信号の仮想位置情報のうちの少なくとも一つを含むものである。

本発明によると、前記制御パラメータは、前記オブジェクトパラメータに基づいたオブジェクト情報を用いて生成されるものである。

本発明によると、少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号を受信する段階と；前記レンダリングパラメータを前記オブジェクトダウンミックス信号に適用して出力信号を生成する段階と；をさらに含むものである。

上記のような目的を達成するために、少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信するオブジェクトパラメータ受信部と；前記オブジェクトパラメータに制御パラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換し、前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成するレンダリングパラメータ生成部と；を含む信号デコーディング装置が提供される。

本発明によると、少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号に前記レンダリングパラメータを適用して出力信号を生成するレンダリング部をさらに含むことができる。

本発明によると、前記レンダリングパラメータをエンコーディングしてレンダリングパラメータビットストリームを生成するレンダリングパラメータエンコーディング部をさらに含むことができる。

本発明は、以下の効果を提供する。
先ず、オブジェクトパラメータを変換する際に制御情報及び／又は装置情報を考慮するので、聴者の仮想位置又はソースの仮想位置を多様に変化させることができ、出力可能なチャネルの数に符合する出力信号を生成することができる。

次に、出力信号を生成した後、出力信号に空間的特性を付与又は変形するのでなく、オブジェクトパラメータを変換した後、この変換されたオブジェクトパラメータ（レンダリングパラメータ）を適用して出力信号を生成するので、計算量を著しく低下させることができる。

以下、添付された図面を参照して、本発明の実施例を詳細に説明する。本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解析してはならなく、発明者が自身の発明を最善の方法で説明するために用語の概念を適切に定義できるとの原則に立脚して、本発明の技術的思想に符合する意味と概念に解析すべきである。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものでないので、本出願時点において、これらに取って代わる多様な均等物及び変形例があり得ることを理解すべきである。

本発明は、オブジェクトダウンミックス信号の空間的特性を変換するか、オブジェクトダウンミックス信号に空間的特性を与えるか、デコーダーの装置情報によってオーディオ信号を変形するなどのように、オブジェクトダウンミックス信号を制御するために、制御パラメータを用いてオブジェクトパラメータを変換してレンダリングパラメータを生成する。ここで、オブジェクトダウンミックス信号（以下、「ダウンミックス信号」）は、複数のオブジェクト信号（チャネル信号又は複数のソース信号）がダウンミックスから生成される。したがって、このダウンミックス信号にレンダリングパラメータを適用して出力信号を生成することができる。

図１は、本発明の一実施例に係る信号エンコーディング装置及び信号デコーディング装置の構成を示した図である。図１を参照すると、信号エンコーディング装置１００は、ダウンミキシング部１１０、オブジェクトパラメータ抽出部１２０、及び制御情報生成部１３０を含むことができ、信号デコーディング装置２００は、受信部２１０、制御パラメータ生成部２２０、レンダリングパラメータ生成部２３０、及びレンダリング部２４０を含むことができる。

信号エンコーディング装置１００のダウンミキシング部１１０は、複数のオブジェクト信号をダウンミックスしてオブジェクトダウンミックス信号（以下、ダウンミックス信号（ＤＸ））を生成する。ここで、オブジェクト信号とは、チャネル信号又はソース信号であるが、ここで、ソース信号は、特定の楽器の信号である。

オブジェクトパラメータ抽出部１２０は、複数のオブジェクト信号からオブジェクトパラメータを抽出する。オブジェクトパラメータは、オブジェクトレベル情報、オブジェクト間の相関関係情報を含むが、オブジェクト信号がチャネル信号である場合、オブジェクトレベル情報は、チャネル間のレベル差ＣＬＤを含むことができ、オブジェクト信号がソース信号である場合、オブジェクトレベル情報は、ソース間のレベル情報を含むことができる。

制御情報生成部１３０は、一つ以上の制御情報を生成する。制御情報は、聴者の仮想位置を変更するか、マルチチャネルスピーカーの仮想位置を変更するか、又はソース信号に空間的特性を与えるための情報として、ＨＲＴＦフィルタ情報、オブジェクト位置情報、オブジェクトレベル情報などを含むことができる。具体的に、オブジェクト信号がチャネル信号である場合、制御情報は、聴者の仮想位置情報、マルチチャネルスピーカーの仮想位置情報などであり、オブジェクト信号がソース信号である場合、制御情報は、ソース信号のレベル情報、ソース信号の仮想位置情報などである。

一方、聴者の仮想位置を変更する場合、特定の聴者の仮想位置に対応して一つの制御情報が生成される。また、ソース信号に空間的特性を与える場合、特定モード（例：ライブモード、クラブバンドモード、カラオケモード、ジャズモード、リズム強調モードなど）に対応して一つの制御情報が生成される。制御情報は、各ソース信号をそれぞれ調節するとともに、各ソース信号のうちの一つ以上のソース信号（グループソース信号）を一括的に調節するためのものであるが、例えば、リズム強調モードである場合、各ソース信号のうちリズム楽器と関連した各ソース信号を一括的に調節することができる。ここで、一括的であることは、各ソース信号に同一のパラメータを適用するのでなく、多様なソース信号をそれぞれ同時に調節することを意味する。制御情報生成部１３０は、このような制御情報を生成した後、制御情報の個数（すなわち、音響効果の個数）、フラグ、制御情報を含む制御情報ビットストリームを生成することができる。

信号デコーディング装置２００の受信部２１０は、ダウンミックス受信部２１１、オブジェクトパラメータ受信部２１２、制御情報受信部２１３を含むことができるが、それぞれダウンミックス信号ＤＸ、オブジェクトパラメータＯＰ、制御情報ＣＩを受信する。一方、受信部２１０は、受信された信号に多重分離（ｄｅｍｕｘｉｎｇ）、パーシング又はデコーディングなどをさらに行うこともできる。

オブジェクトパラメータ受信部２１２は、オブジェクトパラメータＯＰからオブジェクト情報ＯＩを抽出する。オブジェクト信号がソース信号である場合、オブジェクト情報は、ソースの個数、ソースの種類、ソースのインデックスなどを含むことができる。オブジェクト信号がチャネル信号である場合、オブジェクト情報は、チャネル信号のツリー構造（例：５−１−５_１構造）などを含むことができる。オブジェクトパラメータ受信部２１２は、抽出されたオブジェクト情報ＯＩを制御パラメータ生成部２２０に入力する。

制御パラメータ生成部２２０は、制御情報、装置情報ＤＩ、オブジェクト情報ＯＩのうちの一つ以上を用いて制御パラメータＣＰを生成する。制御情報は、上記の制御情報生成部１３０の説明で述べたように、ＨＲＴＦフィルタ情報、オブジェクト位置情報、オブジェクトレベル情報などを含むことができ、前記オブジェクト信号がチャネル信号である場合、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことができ、オブジェクト信号がソース信号である場合、ソース信号のレベル情報及びソース信号の仮想位置情報を含むことができる。さらに、広い意味の制御情報は、装置情報ＤＩを含む概念である。

一方、制御情報は、その出処別に多様な類型があり得るが、１）制御情報生成部１３０によって生成されて受信された制御情報（ＣＩ）、２）使用者によって入力されたユーザー制御情報（ＵＣＩ）、３）制御パラメータ生成部２２０によって自発的に生成された装置制御情報（図示せず）、４）信号デコーディング装置に保存されているデフォルト制御情報（ＤＣＩ）などがある。制御パラメータ生成部２２０は、特定のダウンミックス信号に関して受信された制御情報ＣＩ、ユーザー制御情報ＵＣＩ、装置制御情報、デフォルト制御情報ＤＣＩのうちの一つを選択して制御パラメータを生成することができるが、選択された制御情報は、ａ）制御パラメータ生成部２２０によって任意に選択された制御情報であるか、ｂ）使用者によって選択された制御情報である。

装置情報ＤＩは、デコーディング装置２００に保存されている情報として、出力可能なチャネルの数などを含む。この装置情報ＤＩは、広義の制御情報に含まれる。

オブジェクト情報ＯＩは、ダウンミックス信号にダウンミックスされた一つ以上のオブジェクト信号に関する情報として、オブジェクトパラメータ受信部２１２によって入力されたオブジェクト情報である。

レンダリングパラメータ生成部２３０は、制御パラメータＣＰを用いてオブジェクトパラメータＯＰを変換することで、レンダリングパラメータＲＰを生成する。一方、レンダリングパラメータ生成部２３０は、相関関係を用いて立体音響（ｓｔｅｒｅｏｐｈｏｎｙ）が出力信号に付加されるようにするレンダリングパラメータＲＰを生成することができるが、この内容に関する具体的な説明は、後述することにする。

レンダリング部２４０は、レンダリングパラメータＲＰを用いてダウンミックス信号ＤＸをレンダリングして出力信号を生成する。ここで、ダウンミックス信号ＤＸは、信号エンコーディング装置１００のダウンミキシング部１１０によって生成されたものであるか、使用者によって任意的にダウンミックスされたダウンミックス信号である。

図２は、本発明の他の実施例に係る信号デコーディング装置の構成を示した図である。本発明の他の実施例に係る信号デコーディング装置は、図１に示した本発明の一実施例に係る信号デコーディング装置２００のうちＡ領域の拡張例として、レンダリングパラメータエンコーディング部２３２及びレンダリングパラメータデコーディング部２３４をさらに備えている。一方、レンダリングパラメータデコーディング部２３４及びレンダリング部２４０は、レンダリングパラメータエンコーディング部２３２を含む信号デコーディング装置２００とは別個の装置として具現される。

レンダリングパラメータエンコーディング部２３２は、レンダリングパラメータ生成部２３０で生成されたレンダリングパラメータをエンコーディングし、レンダリングパラメータビットストリームＲＰＢを生成する。

レンダリングパラメータデコーディング部２３４は、レンダリングパラメータビットストリームＲＰＢをデコーディングし、デコーディングされたレンダリングパラメータをレンダリング部２４０に入力する。

レンダリング部２４０は、レンダリングパラメータデコーディング部２３４によってデコーディングされたレンダリングパラメータを用いてダウンミックス信号ＤＸをレンダリングし、出力信号を生成する。

本発明の一実施例及び他の実施例に係るデコーディング装置は、上記のような構成要素を備えている。以下、１）オブジェクト信号がチャネル信号である場合、２）オブジェクト信号がソース信号である場合に関して一層具体的に説明する。

１． チャネル信号である場合（空間的特性の変形）

オブジェクト信号がチャネル信号である場合、オブジェクトパラメータは、チャネル間のレベル情報及びチャネル間の相関関係を含むことができるが、制御パラメータを用いてこのチャネル間のレベル情報（及びチャネル間の相関関係）を変換することで、レンダリングパラメータに変換されたチャネル間のレベル情報（及びチャネル間の相関関係）を生成することができる。

このようにレンダリングパラメータの生成に用いられる制御パラメータは、装置情報、制御情報、又は装置情報及び制御情報を用いて生成されたものであるが、以下、装置情報を考慮する場合、制御情報を考慮する場合、及び装置情報及び制御情報を全て考慮する場合に関してそれぞれ説明する。

１−１．装置情報を考慮する場合（スケーラブル）

制御パラメータ生成部２２０が装置情報ＤＩのうち出力可能なチャネルの数を用いて制御パラメータを生成すると、レンダリング部２４０によって生成された出力信号は、出力可能なチャネルの数と同一のチャネル数を有する出力信号を生成することができる。以下、このような制御パラメータを用いて、オブジェクトパラメータＯＰのうちチャネル間のレベル差（及びチャネル間の相関関係）を変換することで、変換されたチャネル間のレベル差を生成する内容に関して説明する。具体的に、出力可能なチャネルの数が２で、オブジェクトパラメータＯＰが５−１−５_１ツリー構造に該当する場合に関して説明する。

図３は、５−１−５_１ツリー構造である場合、チャネル間のレベル差と変換されたチャネル間のレベル差との関係を示した図である。チャネル間のレベル差及びチャネル間の相関関係が５−１−５_１ツリー構造に符合する場合、図３の左側に示すように、チャネル間のレベル差ＣＬＤはそれぞれＣＬＤ_０乃至ＣＬＤ_４であり、チャネル間の相関関係ＩＣＣはそれぞれＩＣＣ_０乃至ＩＣＣ_４（図示せず）である。例えば、左側チャネルＬ及び右側チャネルＲのレベル差はＣＬＤ_０であり、チャネル間の相関関係はＩＣＣ_０である。

一方、図３の右側に示すように、出力可能なチャネルの数が２である場合（すなわち、左側トータルチャネルＬｔ及び右側トータルチャネルＲｔである場合）、変換されたチャネル間のレベル差及び変換されたチャネル間の相関関係であるＣＬＤ_α及びＩＣＣ_αは、チャネル間のレベル差ＣＬＤ_０乃至ＣＬＤ_４、及びチャネル間の相関関係ＩＣＣ_０乃至ＩＣＣ_４（図示せず）を用いて表すことができる。

Ｐ_ＬｔはＬ_ｔのパワーで、Ｐ_ＲｔはＲ_ｔのパワーである。

ここで、

数式４及び数式３を数式２に代入し、数式２を数式１に代入すると、チャネル間のレベル差ＣＬＤ_０乃至ＣＬＤ_４を用いて変換されたチャネル間のレベル差ＣＬＤ_αを表現することができる。

数式７及び数式３を数式６に代入し、数式６及び数式２を数式５に代入すると、チャネル間のレベル差ＣＬＤ_０乃至ＣＬＤ_３、及びチャネル間の相関関係ＩＣＣ_２、ＩＣＣ_３を用いて変換されたチャネル間の相関関係ＩＣＣ_αを表現することができる。

１−２．制御情報を考慮する場合

制御パラメータ生成部２２０が制御情報を用いて制御パラメータを生成する場合、レンダリング部２４０によって生成された出力信号は、多様な音響効果を出すことができる。例えば、大衆音楽公演の場合、客席で聞く音響効果を出すこともでき、舞台上で聞く音響効果を出すこともできる。

図４は、ＩＴＵ勧告案によるスピーカーの配置で、図５及び図６は、立体音響効果による仮想スピーカーの位置である。ＩＴＵ勧告案による場合、図４に示すように、スピーカーの位置が該当の地点（例えば、距離及び角度）に位置すべきであり、聴取者は、中間地点に位置すべきである。

聴者が図４に示した地点に位置した状態で、図５に示した地点に位置した場合と同一の効果を出すためには、観客の喊声を含むサラウンドチャネルＬｓ’，Ｒｓ’のゲインを減らし、角度を後方側に移動し、左側チャネルＬ’及び右側チャネルＲ’を聴者の耳の前に位置させればよい。図６に示した地点に位置した場合と同一の効果を出すためには、特に、左側チャネルＬ’とセンターチャネルＣ’との間の角度を減らし、左側チャネルＬ’及びセンターチャネルＣ’のゲインを高めればよい。

このようにするために、スピーカーの位置（Ｌ、Ｒ、Ｌｓ、Ｒｓ、Ｃ）から聴者の位置までに対応する音響経路（Ｈ_Ｌ、Ｈ_Ｒ、Ｈ_Ｃ、Ｈ_Ｌｓ、Ｈ_Ｒｓ）の逆関数を通過させた後、仮想スピーカーの位置（Ｌ’、Ｒ’、Ｌｓ’、Ｒｓ’、Ｃ’）に対応する音響経路（Ｈ_Ｌ’、Ｈ_Ｒ’、Ｈ_Ｃ’、Ｈ_Ｌｓ’、Ｈ_Ｒｓ’）を通過させることができる。すなわち、左側チャネル信号の場合、下記のように表現される。

もし Ｈ_Ｌ’が多数個存在する場合、すなわち、多様な音響効果が存在する場合、数式８は次のように表現される。

ここで、Ｈ_{ｘ＿ｔｏｔ-＿ｉ}（ｘは任意のチャネル）に対応する制御情報は、エンコーディング装置の制御情報生成部１３０又は制御パラメータ生成部２２０で生成される。

以下、オブジェクトパラメータ（特に、チャネル間のレベル差ＣＬＤ）を変換するによって音響効果を変化させる原理に対して具体的に説明する。

図７は、各スピーカー間の仮想音源の位置を示した図である。一般的に、任意のチャネル信号ｘ_ｉは、次の数式１０のようにゲインｇ_ｉを有する。

ここで、ｘ_ｉはｉ番目のチャネルの入力信号であり、ｇ_ｉはｉ番目のチャネルのゲインであり、ｘは音源信号である。

図７を見ると、仮想音源ＶＳと法線との角度がψで、二つのチャネル（ｃｈ１及びｃｈ２）間の角度が２ψ₀で、チャネル１（ｃｈ１）及びチャネル２（ｃｈ２）のゲインがそれぞれｇ１、ｇ２であるとき、次のような関係式が成立する。

数式１１によると、ｇ１及びｇ２を調節することで、仮想音源ＶＳの位置ψを変化させることができる。ｇ１及びｇ２は、各チャネル間のレベル差ＣＬＤに依存するので、結果的に、チャネル間のレベル差ＣＬＤを調節することによって仮想音源ＶＳの位置を変化させることができる。

１−３．装置情報及び制御情報を全て考慮する場合

制御パラメータ生成部２４０は、装置情報及び制御情報を全て考慮して制御パラメータを生成することができる。デコーダーの出力可能なチャネルの数がＭである場合、制御パラメータ生成部２２０は、入力された制御情報ＣＩ，ＵＣＩ，ＤＣＩのうち出力可能なチャネルの数Ｍに符合する制御情報を選択し、又は、出力可能なチャネルの数Ｍに符合する制御パラメータを自体的に生成することができる。

例えば、ダウンミックス信号のツリー構造が５−１−５_１であり、出力可能なチャネルの数が２である場合、制御パラメータ生成部２２０は、入力された制御情報ＣＩ，ＵＣＩ，ＤＣＩからステレオチャネルに符合する制御情報を選択し、又は、ステレオチャネルに符合する制御パラメータを生成することができる。

上記のような方法で、制御パラメータは、装置情報及び制御情報を全て考慮して生成される。

２． ソース信号である場合

オブジェクト信号がソース信号である場合、オブジェクトパラメータは、ソース間のレベル情報を含むことができる。オブジェクトパラメータをそのまま用いてレンダリングする場合、出力信号は、複数のソース信号になるが、この複数のソース信号は空間的特性を持たない。

このオブジェクトパラメータに空間的特性を与えるために、オブジェクトパラメータを変換してレンダリングパラメータを生成するにおいて、制御情報を考慮することができる。もちろん、チャネルの信号の場合と同様に、制御情報のみならず、装置情報（出力可能なチャネルの個数）をさらに考慮することもできる。

このように各ソース信号に空間的特性が与えられると、各ソース信号は、多様な効果を出すように再生される。例えば、図８に示すように、ボーカルＶは左側で再生され、ドラムＤは中間で再生され、キーボードＫは右側で再生される。また、図９に示すように、ボーカルＶとドラムＤは中間で再生され、キーボードＫは左側で再生される。

このように空間的特性を与えることで、ソース信号を所望の地点に位置させた後、ソース信号に所望の立体音響を与えるために相関関係ＩＣを用いる方法に関して説明する。

２−１．相関関係ＩＣを用いた立体音響の付与

人が音の方向を知覚することは、二つの耳に聞こえる音のレベル差（Ｉｎｔｅｒａｕｒａｌ Ｉｎｔｅｎｓｉｔｙ／Ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ；ＩＩＤ／ＩＬＤ）、二つの耳に聞こえる音の時間遅延（Ｉｎｔｅｒａｕｒａｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ；ＩＴＤ）によるものである。そして、二つの耳に聞こえる音の相関関係（Ｉｎｔｅｒａｕｒａｌ Ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ；ＩＣ）によって立体感を知覚するようになる。

一方、二つの耳に聞こえる音の相関関係ＩＣは、次のように定義される。

ここで、ｘ_１及びｘ_２は各チャネル信号であり、Ｅ［ｘ］はｘチャネルのエネルギーである。

一方、チャネル信号に立体音響を加えることで、数式１０を次の式のように変形することができる。

ここで、ａ_ｉは元の信号成分に掛けられる利得であり、ｓ_ｉはｉ番目のチャネル信号に加えられる立体音響である。一方、α_i及びｇ_ｉはα_i（ｋ）及びｇ_ｉ（ｋ）の簡略化された表現である。

ここで、立体音響Ｓ_ｉはデコリレーターを使用して生成されたものであるが、デコリレーターにはオールパスフィルタが使用される。一方、立体音響が加えられるとしても、振幅パニングの法則（Ａｍｐｌｉｔｕｄｅ ｐａｎｎｉｎｇ’ｓ Ｌａｗ）が満足されるべきであるので、数式１３でｇ_ｉは式全体に適用される。

一方、ｓ_ｉは、相関関係ＩＣを調節するための値として、チャネルごとに独立的な値が使用されることもあるが、次の式のように代表的な立体音響の値とチャネル別利得との掛け算として表現される。

ここで、β_iはｉ番目のチャネル信号の利得であり、ｓ（ｋ）は代表的な立体音響の値である。

また、下記のような多様な立体音響の組み合わせで構成されることもある。

ここで、ｚ_ｎ（ｋ）は、任意の立体音響の値で、β_i、χ_i及びδ_iは、それぞれ立体音響に対するｉ番目のチャネル信号の利得である。

立体音響の値（ｓ（ｋ）又はｚ_ｎ（ｋ））（以下、ｓ（ｋ））はチャネル信号ｘ_ｉとの相関関係が低い信号であるので、立体音響の値ｓ（ｋ）は、チャネル信号ｘ_ｉとの相関関係ＩＣがほぼ０に近いものである。すなわち、立体音響の値（ｓ（ｋ）又はｚ_ｎ（ｋ））は、ｘ（ｋ）（又はｘ_ｉ（ｋ））を考慮すべきである。すなわち、理想的にはチャネル信号と立体音響との相関関係が０であるので、次のように表現される。

ここで、立体音響の値ｓ（ｋ）を構成するためには多様な信号処理技法が用いられるが、１）ノイズ成分で構成し、２）時間軸でｘ（ｋ）にノイズを加え、３）周波数軸でｘ（ｋ）の大きさ成分にノイズを加え、４）ｘ（ｋ）の位相成分にノイズを加え、５）ｘ（ｋ）のエコー（ｅｃｈｏ）成分を用い、６）上記の方法を適切に組み合わせて用いることができる。また、ノイズを付加するためには、信号の大きさ情報を用いて加えられるノイズの量を調節し、又は、心理音響モデルを使用して認知されていない大きさを加える。

一方、立体音響の値ｓ（ｋ）は、次のような条件を満足すべきである。

条件：チャネル信号に立体音響の値を加えるとしても、チャネル信号のパワーはそのまま維持されるべきである。（すなわち、ｘ_ｉのパワーとｘ_{ｉ＿ｎｅｗ}パワーが同一であるべきである。）

上記の条件を満足するために、ｘ_ｉとｘ_{ｉ＿ｎｅｗ}は、上記の数式１０及び数式１３で表現された通りであるので、次の式を満足すべきである。

一方、数式１７の右辺は、次のように展開される。

したがって、数式１８を数式１７に代入すると、次のように整理される。

上記の条件を満足するためには、数式１９を満足すべきであるが、数式１９を満足するα_iは、次の式の通りである。

ここで、ｓ_ｉが数式１４のように表現され、ｓ_ｉのパワーがｘ_ｉのパワーと同一であると仮定するとき、数式２０は次のように整理される。

一方、ｃｏｓ^２θ_ｉ＋ｓｉｎ^２θ_ｉ＝１であるので、数式２１は、次の式のように表現される。

すなわち、上記の条件を満足するためのｓ_ｉは、ｘ_{１＿ｎｅｗ}が数式１３で表現され、ｓ_ｉが数式１４で表現され、ｓ_ｉのパワーがｘ_ｉのパワーと同一であると仮定するとき、数式２２を満足するものである。

一方、 ｘ_{１＿ｎｅｗ}とｘ_{２＿ｎｅｗ}との相関関係は、次のように展開される。

もし、上記の仮定のように、ｓ_ｉとｘ_ｉのパワーと同一であると仮定するとき、数式２３は、次のように整理される。

一方、数式２１を適用すると、数式２４は、次の式のように表現される。

すなわち、数式２５を満足するθ_１及びθ_２を用いてｘ_{１＿ｎｅｗ}、ｘ_{２＿ｎｅｗ}を求めることができる。

このような方法は、単一音源ｘを有して振幅パニングの法則を用いる場合のみならず、独立した音源ｘ_１，ｘ_２を有する場合にも同一の方法を適用して、相関関係値ＩＣを所望の程度に調節することによって立体感を向上又は減少させることができる。

以上のように、本発明は、限定された実施例と図面によって説明されたが、本発明は、これによって限定されるものでなく、本発明の属する技術分野で通常の知識を有する者によって、本発明の技術思想と特許請求の範囲の均等範囲内で多様な修正及び変形が可能である。

本発明は、使用者の必要（聴者の仮想位置、ソースの仮想位置）又は使用者の環境（出力可能なチャネルの数）に適するように、オーディオ信号を多様に変換させて再生するために用いられる。

本発明は、ゲームなどのコンテンツ提供者がコンテンツの特性によって多様な再生モードを使用者に提供するために用いられる。

本発明の一実施例に係る信号エンコーディング装置及び信号デコーディング装置の構成図である。 本発明の他の実施例に係る信号デコーディング装置の構成図である。 ５−１−５_１ツリー構造である場合、チャネル間のレベル差と変換されたチャネル間のレベル差との関係を示した図である。 ＩＴＵ勧告案によるスピーカーの配置を示した図である。 立体音響効果による仮想スピーカーの位置を示した図である。 立体音響効果による仮想スピーカーの位置を示した図である。 各スピーカー間の仮想音源の位置を示した図である。 ソース信号の仮想位置を示した図である。 ソース信号の仮想位置を示した図である。

Claims (12)

1. オブジェクトパラメータを受信する段階と、
   前記オブジェクトパラメータをパーシングし、オブジェクト情報を抽出する段階と、
   ユーザーコントロール情報、デフォルトコントロール情報、装置コントロール情報、及び装置情報のうちの一つ以上を含むコントロール情報、及び前記オブジェクト情報を用いてコントロールパラメータを生成する段階と、
   前記オブジェクトパラメータ及び前記コントロールパラメータを用いて、出力信号におけるオブジェクトの位置とレベルを決定するレンダリングパラメータを生成する段階と、
   を含むことを特徴とする信号デコーディング方法。
2. 前記レンダリングパラメータは、オブジェクト信号を複数チャンネルの出力信号にマッピングするものであることを特徴とする、請求項１に記載の信号デコーディング方法。
3. 少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号を受信する段階と、
   前記レンダリングパラメータを前記オブジェクトダウンミックス信号に適用し、出力信号を生成する段階と、
   をさらに含むことを特徴とする、請求項１に記載の信号デコーディング方法。
4. 前記オブジェクトパラメータは一つ以上のオブジェクト信号に該当するものであり、
   前記オブジェクト信号がソース信号である場合、前記コントロールパラメータは、前記ソース信号の仮想位置又は前記ソース信号のレベルに該当することを特徴とする、請求項１に記載の信号デコーディング方法。
5. 前記コントロールパラメータは、一つ以上のソース信号を一括的に調節するためのものであることを特徴とする、請求項１に記載の信号デコーディング方法。
6. 前記レンダリングパラメータは、相関関係を用いて前記出力信号に立体音響が付加されるようにするためのものであることを特徴とする、請求項１に記載の信号デコーディング方法。
7. 前記立体音響とオブジェクトダウンミックス信号との相関関係が略‘０’であることを特徴とする、請求項６に記載の信号デコーディング方法。
8. 前記立体音響は、出力信号のパワーに影響を与えないことを特徴とする、請求項６に記載の信号デコーディング方法。
9. 前記立体音響は、オールパスフィルタ方式でデコーリレートされた信号であることを特徴とする、請求項６に記載の信号デコーディング方法。
10. オブジェクトパラメータを受信し、前記オブジェクトパラメータをパーシングしてオブジェクト情報を抽出するオブジェクトパラメータ受信部と、
    ユーザーコントロール情報、デフォルトコントロール情報、装置コントロール情報、及び装置情報のうちの一つ以上を含むコントロール情報、及び前記オブジェクト情報を用いてコントロールパラメータを生成するコントロールパラメータ生成部と、
    前記オブジェクトパラメータ及び前記コントロールパラメータを用いて、出力信号におけるオブジェクトの位置とレベルを決定するレンダリングパラメータ生成するレンダリングパラメータ生成部と、
    を備えることを特徴とする信号デコーディング装置。
11. 少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号に前記レンダリングパラメータを適用し、出力信号を生成するレンダリング部をさらに備えることを特徴とする、請求項１０に記載の信号デコーディング装置。
12. 前記レンダリングパラメータをエンコーディングし、レンダリングパラメータビットストリームを生成するレンダリングパラメータエンコーディング部をさらに備えることを特徴とする、請求項１０に記載の信号デコーディング装置。

Images