JP2012070428A - 多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法、圧縮効率向上方法及び多チャンネルオーディオ信号処理システム - Google Patents

Abstract

【課題】 本発明は、少なくとも２つの基地局を有する無線通信ネットワークに関する。基地局は移動局とタイムスロットにより通信する。
【解決手段】 タイムスロット（２０）は複数の送信スロット（２１，２３，２５，２７，２９）及び受信スロット（２２，２４，２６，２８，３０）に副分割され、送信スロット中に基地局はメッセージを送信し、受信スロット中に基地局はメッセージを受信する。基地局は、送信スロット（２１，２３，２５，２７，２９）及び受信スロット（２２，２４，２６，２８，３０）としてタイムスロット（２０）のの割り当てを協働して決定する。
【選択図】 図１

Description

本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の信号処理に係り、特に、空間情報（ｓｐａｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を利用して多チャンネルオーディオ信号を処理する多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法、圧縮効率向上方法及び多チャンネルオーディオ信号処理システムに関する。

従来のオーディオ信号の処理方法及び装置は、多チャンネルオーディオ信号を復元するとき、ＢＣＣ（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）のみを利用して、サラウンド成分を復元する空間オーディオコーディング（ＳＡＣ：Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ）を用いる。ここで、ＳＡＣについては、非特許文献１に開示されており、ＢＣＣについては、非特許文献２に開示されている。

ＳＡＣを用いる従来のオーディオ信号の処理方法は、ダウンミキシングする時にサラウンド成分が消える。すなわち、ダウンミキシングしたステレオ信号は、サラウンド成分を含んでいない。したがって、多チャンネルオーディオ信号を復元するとき、サラウンド成分を生かすために多くのデータ量を有する付加情報を伝送しなければならないので、従来のオーディオ信号の処理方法は、低いチャンネル伝送効率を有するという問題点がある。しかも、消えるサラウンド成分を復元するために、復元された多チャンネルオーディオ信号の音質が低下するという問題点がある。

‘Ｈｉｇｈ−ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ ＬｏｗＢｉｔｒａｔｅｓ’，１１６ｔｈ ＡＥＳ ｃｏｎｖｅｎｔｉｏｎ，Ｐｒｅｐｒｉｎｔ，ｐ６０７２． ‘Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ Ａｐｐｌｉｅｄ ｔｏ Ｓｔｅｒｅｏ ａｎｄ Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｍｐｒｅｓｓｉｏｎ’，１１２ｔｈ ＡＥＳ ｃｏｎｖｅｎｔｉｏｎ，Ｐｒｅｐｒｉｎｔ，ｐ５５７４．

本発明が解決しようとする第１の技術的課題は、空間情報を利用して多チャンネルオーディオ信号のサラウンド成分を生かしつつ符号化し、このような多チャンネルオーディオ信号を復号化する空間情報を利用した多チャンネルオーディオ信号処理装置を提供することである。

本発明が解決しようとする第２の技術的課題は、空間情報を利用して多チャンネルオーディオ信号のサラウンド成分を生かしつつ符号化し、このような多チャンネルオーディオ信号を復号化する多チャンネルオーディオ信号処理方法を提供することである。

本発明が解決しようとする第３の技術的課題は、空間情報を利用して多チャンネルオーディオ信号のサラウンド成分を生かしつつ符号化し、このような多チャンネルオーディオ信号を復号化する圧縮効率向上方法を提供することである。

本発明が解決しようとする第４の技術的課題は、空間情報を利用して多チャンネルオーディオ信号のサラウンド成分を生かしつつ符号化し、このような多チャンネルオーディオ信号を復号化する多チャンネルオーディオ信号処理システムを提供することである。

前記課題を達成するための本発明に係る多チャンネルオーディオ信号処理装置は、多チャンネルオーディオ信号に含まれるサラウンド成分に空間情報を適用して、前記多チャンネルオーディオ信号をダウンミキシングしてステレオ信号とし、このステレオ信号または前記多チャンネルオーディオ信号を利用して、付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として伝送する主符号化部と、前記符号化信号を受信して前記ステレオ信号と前記付加情報とを復号化し、前記復号化した付加情報を利用して、前記復号化したステレオ信号をアップミキシングして前記多チャンネルオーディオ信号を復元する主復号化部と、を備えることを特徴とする。

前記主符号化部は、前記多チャンネルオーディオ信号の前記サラウンド成分に前記空間情報を適用して、前記多チャンネルオーディオ信号をダウンミキシングしてステレオ信号とし、このステレオ信号を出力するダウンミキシング部と、前記ステレオ信号を符号化する副符号化部と、前記ステレオ信号または前記多チャンネルオーディオ信号を利用して、前記符号化信号から前記付加情報を生成する付加情報生成部と、前記付加情報を符号化する付加情報符号化部と、前記符号化した付加情報と前記符号化したステレオ信号とをビットパッキングして前記符号化信号とし、この符号化信号を前記主復号化部に伝送するビットパッキング部と、を備えていても良い。

前記ダウンミキシング部は、前記多チャンネルオーディオ信号の前記サラウンド成分以外の非サラウンド成分と加重値とを乗算する第１乗算部と、前記サラウンド成分と前記空間情報とを乗算する第２乗算部と、前記第１乗算部で乗算した結果と前記第２乗算部で乗算した結果とを合成して前記ステレオ信号とし、このステレオ信号を出力する合成部と、を備えていても良い。

前記主復号化部は、前記符号化信号を受信してビットアンパッキングし、ビットアンパッキングした付加情報とビットアンパッキングしたステレオ信号とを出力するビットアンパッキング部と、前記ビットアンパッキングしたステレオ信号を復号化する副復号化部と、前記ビットアンパッキングした付加情報を復号化する付加情報復号化部と、前記復号化した付加情報を利用して、前記復号化したステレオ信号をアップミキシングし、このアップミキシングした結果を前記復元した多チャンネルオーディオ信号として出力するアップミキシング部と、を備えていても良い。

前記アップミキシング部は、前記復号化したステレオ信号と逆空間情報とを乗算する第３乗算部と、前記復号化したステレオ信号の前記サラウンド成分以外の非サラウンド成分、前記逆空間情報及び前記加重値を乗算する第４乗算部と、前記第３乗算部で乗算した結果と前記第４乗算部で乗算した結果と前記復号化した付加情報とを利用して、前記多チャンネルオーディオ信号を復元する演算部と、を備えていても良い。

前記付加情報生成部は、前記符号化信号から前記サラウンド成分を復元するサラウンド成分復元部と、前記復元したサラウンド成分と前記多チャンネルオーディオ信号との比率を計算し、この計算した比率を前記付加情報として出力する比率計算部と、を備えていても良い。

前記演算部は、前記第３乗算部で乗算した結果から前記第４乗算部で乗算した結果を減算する第１減算部と、前記第１減算部から入力した前記減算した結果と前記復号化した付加情報とを乗算して前記復元した多チャンネルオーディオ信号とし、この復元した多チャンネルオーディオ信号を出力する第５乗算部と、を備えていても良い。

前記付加情報生成部は、前記符号化信号から前記サラウンド成分を復元するサラウンド成分復元部と、前記復元したサラウンド成分と前記ステレオ信号との比率を計算して、この計算した比率を前記付加情報として出力する比率計算部と、を備えていても良い。

前記演算部は、前記第３乗算部で乗算した結果と前記復号化した付加情報とを乗算する第６乗算部と、前記第６乗算部で乗算した結果から前記第４乗算部で乗算した結果を減算して前記復元した多チャンネルオーディオ信号とし、この復元した多チャンネルオーディオ信号を出力する第２減算部と、を備えていても良い。

前記比率計算部で計算された比率は、電力比（ｐｏｗｅｒ ｒａｔｉｏ）を含んでいても良い。

前記比率計算部で計算された比率は、位相比をさらに含んでいても良い。

前記アップミキシング部は、前記復号化したステレオ信号から前記非サラウンド成分を生成する非サラウンド成分復元部をさらに備えていても良い。

前記逆空間情報は、前記復元した多チャンネルオーディオ信号を再生する環境に相応して変更されても良い。

前記課題を達成するための本発明に係る多チャンネルオーディオ信号処理方法は、多チャンネルオーディオ信号を符号化する主符号化部及び前記符号化した多チャンネルオーディオ信号から前記多チャンネルオーディオ信号を復号化する主復号化部を備えるオーディオ信号処理装置で行われるオーディオ信号の処理方法において、（ａ）前記主符号化部が、多チャンネルオーディオ信号に含まれるサラウンド成分に空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、前記ダウンミキシングしてステレオ信号とし、このステレオ信号または前記多チャンネルオーディオ信号を利用して付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として、この符号化信号を前記主復号化部に伝送するステップと、（ｂ）前記主復号化部が、前記主符号化部から伝送された前記符号化信号を受信して、前記ステレオ信号と前記付加情報とを復号化し、この復号化した付加情報を利用して、前記復号化したステレオ信号をアップミキシングして前記多チャンネルオーディオ信号を復元するステップと、を含むことを特徴とする。

前記（ａ）ステップは、前記多チャンネルオーディオ信号の前記サラウンド成分に前記空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、このダウンミキシングした結果を前記ステレオ信号として決定するステップと、前記ステレオ信号を符号化するステップと、前記ステレオ信号または前記多チャンネルオーディオ信号を利用して、前記符号化信号から前記付加情報を生成するステップと、前記付加情報を符号化するステップと、前記符号化した付加情報と前記符号化したステレオ信号とをビットパッキングし、このビットパッキングした結果を前記符号化信号として伝送するステップと、を含んでいても良い。

前記（ｂ）ステップは、前記符号化信号を受信してビットアンパッキングし、ビットアンパッキングした付加情報とビットアンパッキングしたステレオ信号とを求めるステップと、前記ビットアンパッキングしたステレオ信号を復号化し、前記ビットアンパッキングした付加情報を復号化するステップと、前記復号化した付加情報を利用して前記復号化したステレオ信号をアップミキシングし、このアップミキシングした結果を前記復元した多チャンネルオーディオ信号として決定するステップと、を含んでいても良い。

前記課題を達成するための本発明に係る圧縮効率向上方法は、多チャンネルオーディオ信号に含まれたサラウンド成分に空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、このダウンミキシングした結果であるステレオ信号または前記多チャンネルオーディオ信号を利用して付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として伝送するステップと、前記符号化信号を受信して前記ステレオ信号と前記付加情報とを復号化し、前記復号化した付加情報を利用して前記復号化したステレオ信号をアップミキシングして、前記多チャンネルオーディオ信号を復元するステップと、を含むことを特徴とする。

前記課題を達成するための本発明に係る多チャンネルオーディオ信号処理システムは、多チャンネルオーディオ信号に含まれたサラウンド成分に空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、前記ダウンミキシングした結果であるステレオ信号または前記多チャンネルオーディオ信号を利用して付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として伝送する符号化部と、前記符号化信号を受信し、前記受信した符号化信号を復号化して前記ステレオ信号と前記付加情報とを獲得し、前記復号化した付加情報を利用して前記復号化したステレオ信号をアップミキシングして、前記サラウンド成分に提供する復号化部と、を備えることを特徴とする。

本発明に係る多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法、圧縮効率向上方法及び多チャンネルオーディオ信号処理システムは、ダウンミキシングされたステレオ信号に空間情報を含め、しかも、ユーザの知覚的特性に基づいて付加情報を生成するので、例えば、電力比と位相比とを利用して付加情報を生成するので、少量の付加情報のみでもアップミキシングでき、主符号化部から主復号化部に伝送する付加情報のデータ量を減らして、チャンネルの圧縮効率、すなわち、伝送効率を極大化させ、従来のＳＡＣとは違って、サラウンド成分を除去せずにステレオ信号に含めるので、復元した多チャンネルオーディオ信号を通じてステレオスピーカのみで多チャンネルの効果を感じられるようにするなど実感のある音質を提供でき、従来のＢＣＣを代替でき、多チャンネルオーディオシステムでスピーカの位置を考慮して効率的に表現された逆空間情報を利用して、オーディオ信号を復号化するので、最適の音質を提供でき、クロストークを除去できる。

本実施形態に係る多チャンネルオーディオ信号処理装置のブロック図である。 本実施形態に係る多チャンネルオーディオ信号処理方法を説明するためのフローチャートである。 図１に示した主符号化部の一実施形態を示すブロック図である。 図２に示したステップ２０の一実施形態を説明するためのフローチャートである。 多チャンネルオーディオ信号を説明するための図面である。 図３に示したダウンミキシング部の一実施形態を示すブロック図である。 図１に示した主復号化部の一実施形態を示すブロック図である。 図２に示したステップ２２の一実施形態を説明するためのフローチャートである。 図７に示したアップミキシング部の一実施形態を示すブロック図である。 図３に示した付加情報生成部の一実施形態のブロック図である。 図９に示された演算部の一実施形態を示すブロック図である。 図９に示す演算部の他の実施形態を示すブロック図である。

以下、本発明による空間情報を利用した多チャンネルオーディオ信号処理装置の構成と動作、及び多チャンネルオーディオ信号処理装置で行われる多チャンネルオーディオ信号処理方法を添付した図面を参照して説明する。

図１は、本実施形態に係る多チャンネルオーディオ信号処理装置のブロック図である。本実施形態に係る多チャンネルオーディオ信号処理装置は、主符号化部１０及び主復号化部１２で構成される。

図２は、本実施形態に係る多チャンネルオーディオ信号処理方法を説明するためのフローチャートである。本実施形態に係る多チャンネルオーディオ信号処理方法は、多チャンネルオーディオ信号を符号化するステップ（ステップ２０）及び符号化された多チャンネルオーディオ信号を復号化するステップ（ステップ２２）からなる。

図１に示すように、主符号化部１０は、入力端子ＩＮ１を通じて入力した多チャンネルオーディオ信号に含まれるサラウンド成分に空間情報を適用して多チャンネルオーディオ信号をダウンミキシングしてステレオ信号とし、ステレオ信号または多チャンネルオーディオ信号を利用して付加情報を生成し、ステレオ信号と付加情報とを符号化し、符号化した結果を符号化信号として主復号化部１２に伝送する（ステップ２０）。

ここで、空間情報については‘Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｈｅａｄ−Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎｓ（ＨＲＴＦｓ）’という題目でＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ ＨＲＴＦｓ ｉｎ Ｔｉｍｅ、Ｆｒｅｑｕｅｎｃｙ、ａｎｄ Ｓｐａｃｅ、１０７ｔｈ ＡＥＳ ｃｏｎｖｅｎｔｉｏｎ、Ｐｒｅｐｒｉｎｔに記載された論文のｐ５０に開示されている。

ステップ２０の後に、主復号化部１２は、主符号化部１０から伝送された符号化されたステレオ信号と付加情報を受信し、受信した符号化されたステレオ信号と付加情報を利用してステレオ信号と付加情報とを復号化し、復号化した付加情報を利用して復号化したステレオ信号をアップミキシングして多チャンネルオーディオ信号を復元し、復元した多チャンネルオーディオ信号を、出力端子ＯＵＴ１を通じて出力する（ステップ２２）。

以下、本実施形態に係るオーディオ信号処理装置の実施形態それぞれの構成及び動作と、各実施形態で行われるオーディオ信号の処理方法とを、添付した図面を参照して、詳細に説明する。

図３は、図１に示した主符号化部の一実施形態を示すブロック図である。主符号化部１０Ａは、ダウンミキシング部３０、副符号化部３２、付加情報生成部３４、付加情報符号化部３６及びビットパッキング部３８で構成される。

図４は、図２に示したステップ２０の一実施形態を説明するためのフローチャートである。ステップ２０Ａは、空間情報を利用して、多チャンネルオーディオ信号をダウンミキシングするステップ（ステップ５０）、ステレオ信号と生成した付加情報とを符号化するステップ（ステップ５２〜ステップ５６）及び符号化した結果をビットパッキングするステップ（ステップ５８）からなる。

ダウンミキシング部３０は、入力端子ＩＮ２を通じて入力した多チャンネルオーディオ信号に含まれるサラウンド成分に空間情報を適用して、多チャンネルオーディオ信号を次の式（１）のようにダウンミキシングし、ダウンミキシングした結果をステレオ信号として副符号化部３２に出力する（ステップ５０）。

ここで、Ｌ_ｍ及びＲ_ｍは、ダウンミキシングされた結果であるステレオ信号の左側成分と右側成分とをそれぞれ表し、Ｗは、加重値であり、事前に決定されても可変であってもよく、Ｆ_ｉ０及びＦ_ｉ１は、入力端子ＩＮ２を通じて入力される多チャンネルオーディオ信号に含まれる成分のうち非サラウンド成分を表し、Ｓ_ｊ０及びＳ_ｊ１は、多チャンネルオーディオ信号に含まれる成分のうちサラウンド成分を表し、Ｎ_ｆは、非サラウンド成分に含まれるチャンネルの数を表し、Ｎ_ｓは、サラウンド成分に含まれるチャンネルの数を表し、Ｆ_ｉ０及びＳ_ｊ０において、‘０’は、左側（Ｌ：Ｌｅｆｔ）（あるいは右側（Ｒ：Ｒｉｇｈｔ））成分を表し、Ｆ_ｉ１及びＳ_ｊ１において、‘１’は、右側（Ｒ）（あるいは左側（Ｌ））成分を表し、Ｈ_ｊは、空間情報を表す空間フィルタの伝達関数を表す。

図５は、多チャンネルオーディオ信号を説明するための図面である。多チャンネルオーディオ信号は、非サラウンド成分６０、６２及び６４とサラウンド成分６６及び６８で構成される。ここで、符号６９は、聴取者を表す。

図５に示すように、多チャンネルオーディオ信号で非サラウンド成分は、左側チャンネル６０（Ｌ：Ｌｅｆｔ）と右側チャンネル６４（Ｒ：Ｒｉｇｈｔ）及び中央チャンネル６２（Ｃ：Ｃｅｎｔｅｒ）からなるフロント成分からなり、多チャンネルオーディオ信号でサラウンド成分は、右側サラウンドチャンネル（ＲＳ：Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ）６６と左側サラウンドチャンネル（ＬＳ：Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ）６８とからなるとする。このとき、式（１）は、次の式（２）のように簡略化される。

ここで、

は、多チャンネルオーディオ信号で非サラウンド成分６０、６２及び６４を表し、

は、多チャンネルオーディオ信号でサラウンド成分６６及び６８を表し、

は、空間情報Ｈ_ｊを表す。

図６は、図３に示したダウンミキシング部の一実施形態を示すブロック図である。ダウンミキシング部３０Ａは、第１乗算部７０、第２乗算部７２及び合成部７４で構成される。図６に示すように、ダウンミキシング部３０Ａの第１乗算部７０は、入力端子ＩＮ３を通じて入力した加重値と入力端子ＩＮ４を通じて入力した多チャンネルオーディオ信号に含まれる非サラウンド成分とを乗算し、乗算した結果を合成部７４に出力する。このとき、第２乗算部７２は、入力端子ＩＮ４を通じて入力した多チャンネルオーディオ信号に含まれるサラウンド成分と空間情報とを乗算し、乗算した結果を合成部７４に出力する。合成部７４は、第１乗算部７０で乗算した結果及び第２乗算部７２で乗算した結果を合成し、合成した結果をステレオ信号として出力端子ＯＵＴ３を通じて出力する。

一方、図３及び図４に示すように、ステップ５０の後に、副符号化部３２は、ダウンミキシング部３０から入力したステレオ信号を符号化し、符号化したステレオ信号をビットパッキング部３８に出力する（ステップ５２）。例えば、副符号化部３２は、ＭＰ３（または、ＭＰＥＧ−１ ｌａｙｅｒ ３あるいはＭＰＥＧ−２ ｌａｙｅｒ ３ともいう。）、ＭＰＥＧ４−ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＭＰＥＧ４−ＢＳＡＣ（ＢＳＡＣ：Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）形式で、ステレオ信号を符号化できる。

ステップ５２の後に、付加情報生成部３４は、ダウンミキシング部３０から入力したステレオ信号または入力端子ＩＮ２を通じて入力した多チャンネルオーディオ信号を利用しつつ、ビットパッキング部３８から入力した符号化信号（符号化信号については後記する。）から付加情報を生成し、生成した付加情報を付加情報符号化部３６に出力する（ステップ５４）。ここで、付加情報生成部３４の実施形態及びその付加情報の生成についての詳細な説明は後述する。

ステップ５４の後に、付加情報符号化部３６は、付加情報生成部３４で生成した付加情報を符号化し、符号化した付加情報をビットパッキング部３８に出力する（ステップ５６）。このために、付加情報符号化部３６は、付加情報生成部３４で生成した付加情報を量子化し、量子化した結果を圧縮し、圧縮した結果を符号化した付加情報としてビットパッキング部３８に出力できる。

本実施形態に係るオーディオ信号の処理方法におけるステップ５２は、ステップ５４またはステップ５６と同時に行ってもよく、ステップ５４とステップ５６の間に行ってもよく、さらにステップ５６とステップ５８の間に行ってもよい。

ビットパッキング部３８は、付加情報符号化部３６で符号化した付加情報と副符号化部３２で符号化したステレオ信号とをビットパッキングし、ビットパッキングした結果を符号化信号（ビットストリーム状の符号化信号）として主復号化部１２（図１参照）に出力端子ＯＵＴ２を通じて伝送する一方、付加情報生成部３４に出力する（ステップ５８）。例えば、ビットパッキング部３８は、符号化した付加情報と符号化したステレオ信号とを保存した後、保存してある符号化した付加情報を出力した後、符号化したステレオ信号を出力する順次的な動作を反復的に行う。すなわち、ビットパッキング部３８は、符号化した付加情報と符号化したステレオ信号とをマルチプレクシングし、マルチプレクシングした結果を符号化信号として出力する。

図７は、図１に示した主復号化部の一実施形態を示すブロック図である。主復号化部１２Ａは、ビットアンパッキング部９０、副復号化部９２、付加情報復号化部９４及びアップミキシング部９６で構成される。

図８は、図２に示したステップ２２の一実施形態を説明するためのフローチャートである。ステップ２２Ａは、符号化信号をビットアンパッキング（ｂｉｔ ｕｎｐａｃｋｉｎｇ）するステップ（ステップ１１０）及び付加情報を利用してステレオ信号をアップミキシングするステップ（ステップ１１２及びステップ１１４）からなる。

図７に示すように、ビットアンパッキング部９０は、主符号化部１０から伝送されたビットストリーム状の符号化信号を、入力端子ＩＮ５を通じて入力して、入力した符号化信号をビットアンパッキングし、ビットアンパッキングした付加情報を付加情報復号化部９４に出力し、ビットアンパッキングしたステレオ信号を副復号化部９２に出力する（ステップ１１０）。すなわち、ビットアンパッキング部９０は、ビットパッキング部３８（図３参照）でビットパッキングした結果をビットアンパッキングする役割を担う。

ステップ１１０の後に、副復号化部９２は、ビットアンパッキングしたステレオ信号を復号化し、復号化した結果をアップミキシング部９６に出力し、付加情報復号化部９４は、ビットアンパッキングした付加情報を復号化し、復号化した結果をアップミキシング部９６に出力する（ステップ１１２）。前述したように、付加情報符号化部３６（図３参照）が付加情報を量子化し、量子化した結果を圧縮するとき、付加情報復号化部９４は、付加情報を復元し、復元した結果を逆量子化し、逆量子化した結果を復号化した付加情報としてアップミキシング部９６に出力する。

ステップ１１２の後に、アップミキシング部９６は、付加情報復号化部９４で復号化した付加情報を利用して、副復号化部９２で復号化したステレオ信号をアップミキシングし、アップミキシングした結果を復元した多チャンネルオーディオ信号として出力端子ＯＵＴ４を通じて出力する（ステップ１１４）。

図９は、図７に示したアップミキシング部の一実施形態を示すブロック図である。図９に示すように、アップミキシング部９６Ａは、第３乗算部１３０、第４乗算部１３４、非サラウンド成分復元部１３２及び演算部１３６で構成される。

図９に示すように、第３乗算部１３０は、入力端子ＩＮ６を通じて副復号化部９２（図７参照）から入力した復号化したステレオ信号と逆空間情報Ｇとを乗算し、この乗算した結果を演算部１３６に出力する。ここで、逆空間情報Ｇとは、次の式（３）のように、空間情報Ｈの逆に該当する。なお、逆空間情報Ｇは、主復号化部１２（図１参照）で復元される多チャンネルオーディオ信号を再生する環境に相応して変更されてもよく、事前にあらかじめ決定してもよい。
逆空間情報Ｇを主復号化部１２で復元される多チャンネルオーディオ信号を再生する環境に相応して変更するとは、空間情報Ｈを設定したときと、スピーカセッティング（ｓｐｅａｋｅｒ ｓｅｔｔｉｎｇ）が異なる場合に、変更したスピーカセッティングに基づき、空間情報Ｈを変更し、式（３）から逆空間情報Ｇを求めることを意味している。また、変更したスピーカセッティングに適合した逆空間情報Ｇを求めることであってもよい。

非サラウンド成分復元部１３２は、入力端子ＩＮ６を通じて副復号化部９２（図７参照）から入力した復号化したステレオ信号から非サラウンド成分を生成し、生成した非サラウンド成分を第４乗算部１３４に出力する。例えば、図３に示したダウンミキシング部３０が、前述した式（２）のように、多チャンネルオーディオ信号をダウンミキシングする場合、非サラウンド成分復元部１３２は、次の式（４）のように、非サラウンド成分を生成できる。

ここで、Ｌ´は、非サラウンド成分復元部１３２で生成した非サラウンド成分のうち、左側（チャンネル）成分を表し、Ｒ´は、非サラウンド成分復元部１３２で生成した非サラウンド成分のうち、右側（チャンネル）成分を表し、Ｃ´は、非サラウンド成分復元部１３２で生成した非サラウンド成分のうち、中央（チャンネル）成分を表し、Ｌ_ｍ´は、副復号化部９２で復号化したステレオ信号の左側（チャンネル）成分を表し、Ｒ_ｍ´は、副復号化部９２で復号化したステレオ信号の右側（チャンネル）成分をそれぞれ表す。

第４乗算部１３４は、非サラウンド成分復元部１３２から入力した非サラウンド成分、逆空間情報Ｇ及び加重値Ｗを乗算し、乗算した結果を演算部１３６に出力する。ここで、アップミキシング部９６Ａは、非サラウンド成分復元部１３２を設けなくても良い。その場合、復号化したステレオ信号のサラウンド成分以外の非サラウンド成分は、外部からアップミキシング部９６Ａの第４乗算部１３４に入力端子ＩＮ７を通じて直接入力される。

演算部１３６は、第３乗算部１３０で乗算した結果、第４乗算部１３４で乗算した結果及び入力端子ＩＮ８を通じて付加情報復号化部９４（図７参照）から入力した復号化した付加情報を利用して、多チャンネルオーディオ信号を復元し、復元した多チャンネルオーディオ信号を、出力端子ＯＵＴ４を通じて出力する。

図１０は、図３に示した付加情報生成部の一実施形態のブロック図である。図１０に示すように、付加情報生成部３４Ａは、サラウンド成分復元部１５０及び比率計算部１５２で構成される。

サラウンド成分復元部１５０は、入力端子ＩＮ９を通じてビットパッキング部３８（図３参照）から入力した符号化信号からサラウンド成分を復元し、復元したサラウンド成分を比率計算部１５２に出力する。

このために、サラウンド成分復元部１５０は、図１０に示すように、例えば、ビットアンパッキング部１６０、副復号化部１６２、付加情報復号化部１６４及びアップミキシング部１６６として具現することが可能である。ここで、ビットアンパッキング部１６０、副復号化部１６２、付加情報復号化部１６４及びアップミキシング部１６６は、図７に示すビットアンパッキング部９０、副復号化部９２、付加情報復号化部９４及びアップミキシング部９６それぞれと同じ機能なので、ここで、それらについての詳細な説明は省略する。

図１０に示す比率計算部１５２は、サラウンド成分復元部１５０から出力される復元したサラウンド成分と入力端子ＩＮ１０を通じて入力した多チャンネルオーディオ信号との比率を計算し、この計算した比率を付加情報として出力端子ＯＵＴ５を通じて付加情報符号化部３６（図３参照）に出力する。例えば、図３に示すダウンミキシング部３０が、前述した式（２）のようにダウンミキシングする場合、比率計算部１５２は、次の式（５）のように付加情報を生成できる。

ここで、ＳＩは、比率計算部１５２で生成される付加情報を表し、ＬＳ´は、サラウンド成分復元部１５０で復元した、例えば、アップミキシング部１６６から出力される復元した多チャンネルオーディオ信号に含まれるサラウンド成分のうち、左側成分を意味し、ＲＳ´は、アップミキシング部１６６から出力される復元した多チャンネルオーディオ信号に含まれるサラウンド成分のうち、右側成分をそれぞれ意味する。

本実施形態において、比率計算部１５２により前述した式（５）のように生成された付加情報の比率は、電力比となってもよく、電力比及び位相比となってもよい。例えば、比率計算部１５２は、付加情報を、次の式（６）のように生成してもよく、次の式（７）のように生成してもよい。

ここで、｜ＬＳ´｜は、ＬＳ´の電力を表し、｜ＬＳ｜は、ＬＳの電力を表し、｜ＲＳ´｜は、ＲＳ´の電力を表し、｜ＲＳ｜は、ＲＳの電力をそれぞれ表す。

ここで、∠ＬＳ´は、ＬＳ´の位相を表し、∠ＬＳは、ＬＳの位相を表し、∠ＲＳ´は、ＲＳ´の位相を表し、∠ＲＳは、ＲＳの位相をそれぞれ表す。

本発明の他の実施形態によれば、比率計算部１５２は、サラウンド成分復元部１５０から出力される復元したサラウンド成分と入力端子ＩＮ１０を通じてダウンミキシング部３０（図３参照）から入力したステレオ信号との比率を計算し、この計算結果を付加情報として出力端子ＯＵＴ５を通じて付加情報符号化部３６（図３参照）に出力する。例えば、ダウンミキシング部３０が、前述した式（２）のようにダウンミキシングする場合、比率計算部１５２は、次の式（８）のように付加情報を生成できる。

本実施形態によれば、比率計算部１５２で前述した式（８）により生成した付加情報の比率は、電力比となってもよく、電力比及び位相比となってもよい。例えば、比率計算部１５２は、付加情報を次の式（９）のように生成してもよく、次の式（１０）のように生成してもよい。

ここで、｜Ｌ_ｍ｜は、Ｌ_ｍの電力を表し、｜Ｒ_ｍ｜は、Ｒ_ｍの電力をそれぞれ表す。

ここで、∠Ｌ_ｍは、Ｌ_ｍの位相を表し、∠Ｒ_ｍは、Ｒ_ｍの位相をそれぞれ表す。
前述したように、比率計算部１５２が復元したサラウンド成分と多チャンネルオーディオ信号との比率を計算することによって付加情報を生成する場合の、演算部１３６（図９参照）の構成及び動作は次のようになる。

図１１は、図９に示された演算部の一実施形態を示すブロック図である。演算部１３６Ａは、第１減算部１７０及び第５乗算部１７２で構成される。

第１減算部１７０は、入力端子ＩＮ１１を通じて入力した第３乗算部１３０（図９参照）で乗算した結果から入力端子ＩＮ１２を通じて入力した第４乗算部１３４で乗算した結果を減算し、減算した結果を第５乗算部１７２に出力する。このとき、第５乗算部１７２は、第１減算部１７０から入力した減算した結果と入力端子ＩＮ１３を通じて入力した付加情報復号化部９４（図７参照）で復号化した付加情報とを乗算し、乗算した結果を復元した多チャンネルオーディオ信号として出力端子ＯＵＴ６を通じて出力する。

例えば、ダウンミキシング部３０（図３参照）が、前述した式（２）のように、多チャンネルオーディオ信号をダウンミキシングする場合、第５乗算部１７２から出力される復元した多チャンネルオーディオ信号のサラウンド成分は、次の式（１１）の通りである。

ここで、

は、第５乗算部１７２から出力される復元した多チャンネルオーディオ信号のサラウンド成分を表し、ＳＩ’は、復号化した付加情報を表し、

は、第１減算部１７０から出力される減算された結果であって、次の式（１２）の通りである。

ここで、

は、副復号化部９２（図７参照）から入力端子ＩＮ６を通じて第３乗算部１３０に入力される復号化したステレオ信号を表し、

は、非サラウンド成分復元部１３２で生成した非サラウンド成分を表す。

一方、比率計算部１５２（図１０参照）が復元したサラウンド成分とダウンミキシング部３０（図３参照）から入力したステレオ信号との比率によって付加情報を生成する場合の、演算部１３６（図９参照）の構成及び動作は次のようになる。

図１２は、図９に示す演算部の他の実施形態を示すブロック図である。演算部１３６Ｂは、第６乗算部１９０及び第２減算部１９２で構成される。

第６乗算部１９０は、入力端子ＩＮ１４を通じて入力した第３乗算部１３０（図９参照）で乗算した結果と入力端子ＩＮ１５を通じて入力した付加情報復号化部９４（図９参照）で復号化した付加情報とを乗算し、乗算した結果を第２減算部１９２に出力する。第２減算部１９２は、第６乗算部１９０で乗算した結果から入力端子ＩＮ１６を通じて入力した第４乗算部１３４（図９参照）で乗算した結果を減算し、減算した結果を復元した多チャンネルオーディオ信号として出力端子ＯＵＴ７を通じて出力する。

例えば、ダウンミキシング部３０（図３参照）が、前述した式（２）により、多チャンネルオーディオ信号をダウンミキシングする場合、第２減算部１９２から出力される減算した結果である復元した多チャンネルオーディオ信号のサラウンド成分は、次の式（１３）の通りである。

ここで、

は、第２減算部１９２から出力される復元した多チャンネルオーディオ信号のサラウンド成分を表し、

は、第６乗算部１９０で乗算された結果を表し、

は、第４乗算部１３４で乗算された結果を表し、

は、前述した式（１２）の通りである。

前述した本実施形態に係る空間情報を利用した多チャンネルオーディオ信号の処理装置及び方法は、復元されたステレオ信号を利用して非サラウンド成分を先に復元した後に、復元された非サラウンド成分を利用してサラウンド成分を復元する。したがって、多チャンネルオーディオ信号を復元するとき、サラウンド成分と非サラウンド成分とを共に復元する時に引き起こされる混線（クロストーク）を除去することが可能となる。

本発明は、図面を参照しながら実施形態に基づいて説明されたが、これは、例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるということが分かる。したがって、本発明の真の技術的範囲は、特許請求の範囲に記載の技術的思想によって決定されなければならない。

なお、多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法は、１つのコンピュータで実現しても良く、また複数のコンピュータで実現しても良い。

本発明は、信号処理に関する技術分野に適用可能である。

１０,１０Ａ 主符号化部
１２，１２Ａ 主復号化部
３０，３０Ａ ダウンミキシング部
３２ 副符号化部
３４，３４Ａ 付加情報生成部
３６ 付加情報符号化部
３８ ビットパッキング部
７０ 第１乗算部
７２ 第２乗算部
７４ 合成部
９０ ビットアンパッキング部
９２ 副復号化部
９４ 付加情報復号化部
９６，９６Ａ アップミキシング部
１３０ 第３乗算部
１３２ 非サラウンド成分復元部
１３４ 第４乗算部
１３６，１３６Ａ，１３６Ｂ 演算部
１５０ サラウンド成分復元部
１５２ 比率計算部
１６０ ビットアンパッキング部
１６２ 副復号化部
１６４ 付加情報復号化部
１６６ アップミキシング部
１７０ 第１減算部
１７２ 第５乗算部
１９０ 第６乗算部
１９２ 第２減算部

Claims (18)

1. 多チャンネルオーディオ信号に含まれるサラウンド成分に空間情報を適用して、前記多チャンネルオーディオ信号をダウンミキシングしてステレオ信号とし、このステレオ信号または前記多チャンネルオーディオ信号を利用して、付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として伝送する主符号化部と、
   前記符号化信号を受信して前記ステレオ信号と前記付加情報とを復号化し、前記復号化した付加情報を利用して、前記復号化したステレオ信号をアップミキシングして前記多チャンネルオーディオ信号を復元する主復号化部と、
   を備えることを特徴とする多チャンネルオーディオ信号処理装置。
2. 前記主符号化部は、
   前記多チャンネルオーディオ信号の前記サラウンド成分に前記空間情報を適用して、前記多チャンネルオーディオ信号をダウンミキシングして前記ステレオ信号としてこのステレオ信号を出力するダウンミキシング部と、
   前記ステレオ信号を符号化する副符号化部と、
   前記ステレオ信号または前記多チャンネルオーディオ信号を利用して、前記符号化信号から前記付加情報を生成する付加情報生成部と、
   前記付加情報を符号化する付加情報符号化部と、
   前記符号化した付加情報と前記符号化したステレオ信号とをビットパッキングして前記符号化信号とし、この符号化信号を前記主復号化部に伝送するビットパッキング部と、
   を備えることを特徴とする請求項１に記載の多チャンネルオーディオ信号処理装置。
3. 前記ダウンミキシング部は、
   前記多チャンネルオーディオ信号の前記サラウンド成分以外の非サラウンド成分と加重値とを乗算する第１乗算部と、
   前記サラウンド成分と前記空間情報とを乗算する第２乗算部と、
   前記第１乗算部で乗算した結果と前記第２乗算部で乗算した結果とを合成して前記ステレオ信号とし、このステレオ信号を出力する合成部と、
   を備えることを特徴とする請求項２に記載の多チャンネルオーディオ信号処理装置。
4. 前記主復号化部は、
   前記符号化信号を受信してビットアンパッキングし、ビットアンパッキングした付加情報とビットアンパッキングしたステレオ信号とを出力するビットアンパッキング部と、
   前記ビットアンパッキングしたステレオ信号を復号化する副復号化部と、
   前記ビットアンパッキングした付加情報を復号化する付加情報復号化部と、
   前記復号化した付加情報を利用して、前記復号化したステレオ信号をアップミキシングし、このアップミキシングした結果を前記復元した多チャンネルオーディオ信号として出力するアップミキシング部と、
   を備えることを特徴とする請求項２に記載の多チャンネルオーディオ信号処理装置。
5. 前記アップミキシング部は、
   前記復号化したステレオ信号と逆空間情報とを乗算する第３乗算部と、
   前記復号化したステレオ信号の前記サラウンド成分以外の非サラウンド成分、前記逆空間情報及び前記加重値を乗算する第４乗算部と、
   前記第３乗算部で乗算した結果と前記第４乗算部で乗算した結果と前記復号化した付加情報とを利用して、前記多チャンネルオーディオ信号を復元する演算部と、
   を備えることを特徴とする請求項４に記載の多チャンネルオーディオ信号処理装置。
6. 前記付加情報生成部は、
   前記符号化信号から前記サラウンド成分を復元するサラウンド成分復元部と、
   前記復元したサラウンド成分と前記多チャンネルオーディオ信号との比率を計算し、この計算した比率を前記付加情報として出力する比率計算部と、
   を備えることを特徴とする請求項５に記載の多チャンネルオーディオ信号処理装置。
7. 前記演算部は、
   前記第３乗算部で乗算した結果から前記第４乗算部で乗算した結果を減算する第１減算部と、
   前記第１減算部から入力した前記減算した結果と前記復号化した付加情報とを乗算して前記復元した多チャンネルオーディオ信号とし、この復元した多チャンネルオーディオ信号を出力する第５乗算部と、
   を備えることを特徴とする請求項６に記載の多チャンネルオーディオ信号処理装置。
8. 前記付加情報生成部は、
   前記符号化信号から前記サラウンド成分を復元するサラウンド成分復元部と、
   前記復元したサラウンド成分と前記ステレオ信号との比率を計算して、この計算した比率を前記付加情報として出力する比率計算部と、
   を備えることを特徴とする請求項５に記載の多チャンネルオーディオ信号処理装置。
9. 前記演算部は、
   前記第３乗算部で乗算した結果と前記復号化した付加情報とを乗算する第６乗算部と、
   前記第６乗算部で乗算した結果から前記第４乗算部で乗算した結果を減算して前記復元した多チャンネルオーディオ信号とし、この復元した多チャンネルオーディオ信号を出力する第２減算部と、
   を備えることを特徴とする請求項８に記載の多チャンネルオーディオ信号処理装置。
10. 前記比率計算部で計算された比率は、電力比を含むことを特徴とする請求項６または請求項８に記載の多チャンネルオーディオ信号処理装置。
11. 前記比率計算部で計算された比率は、位相比をさらに含むことを特徴とする請求項１０に記載の多チャンネルオーディオ信号処理装置。
12. 前記アップミキシング部は、
    前記復号化したステレオ信号から前記非サラウンド成分を生成する非サラウンド成分復元部をさらに備えることを特徴とする請求項５に記載の多チャンネルオーディオ信号処理装置。
13. 前記逆空間情報は、前記復元した多チャンネルオーディオ信号を再生する環境に相応して変更されることを特徴とする請求項５に記載の多チャンネルオーディオ信号処理装置。
14. 多チャンネルオーディオ信号を符号化する主符号化部及び前記符号化した多チャンネルオーディオ信号から前記多チャンネルオーディオ信号を復号化する主復号化部を備えるオーディオ信号処理装置で行われるオーディオ信号の処理方法において、
    （ａ）前記主符号化部が、多チャンネルオーディオ信号に含まれるサラウンド成分に空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、前記ダウンミキシングしてステレオ信号とし、このステレオ信号または前記多チャンネルオーディオ信号を利用して付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として、この符号化信号を前記主復号化部に伝送するステップと、
    （ｂ）前記主復号化部が、前記主符号化部から伝送された前記符号化信号を受信して、前記ステレオ信号と前記付加情報とを復号化し、この復号化した付加情報を利用して、前記復号化したステレオ信号をアップミキシングして前記多チャンネルオーディオ信号を復元するステップと、
    を含むことを特徴とする多チャンネルオーディオ信号処理方法。
15. 前記（ａ）ステップは、
    前記多チャンネルオーディオ信号の前記サラウンド成分に前記空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、このダウンミキシングした結果を前記ステレオ信号として決定するステップと、
    前記ステレオ信号を符号化するステップと、
    前記ステレオ信号または前記多チャンネルオーディオ信号を利用して、前記符号化信号から前記付加情報を生成するステップと、
    前記付加情報を符号化するステップと、
    前記符号化した付加情報と前記符号化したステレオ信号とをビットパッキングし、このビットパッキングした結果を前記符号化信号として伝送するステップと、
    を含むことを特徴とする請求項１４に記載の多チャンネルオーディオ信号処理方法。
16. 前記（ｂ）ステップは、
    前記符号化信号を受信してビットアンパッキングし、ビットアンパッキングした付加情報とビットアンパッキングしたステレオ信号とを求めるステップと、
    前記ビットアンパッキングしたステレオ信号を復号化し、前記ビットアンパッキングした付加情報を復号化するステップと、
    前記復号化した付加情報を利用して前記復号化したステレオ信号をアップミキシングし、このアップミキシングした結果を前記復元した多チャンネルオーディオ信号として決定するステップと、
    を含むことを特徴とする請求項１５に記載の多チャンネルオーディオ信号処理方法。
17. 多チャンネルオーディオ信号に含まれたサラウンド成分に空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、このダウンミキシングした結果であるステレオ信号または前記多チャンネルオーディオ信号を利用して付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として伝送するステップと、
    前記符号化信号を受信して前記ステレオ信号と前記付加情報とを復号化し、前記復号化した付加情報を利用して前記復号化したステレオ信号をアップミキシングして、前記多チャンネルオーディオ信号を復元するステップと、
    を含むことを特徴とする圧縮効率向上方法。
18. 多チャンネルオーディオ信号に含まれたサラウンド成分に空間情報を適用して前記多チャンネルオーディオ信号をダウンミキシングし、前記ダウンミキシングした結果であるステレオ信号または前記多チャンネルオーディオ信号を利用して付加情報を生成し、前記ステレオ信号と前記付加情報とを符号化して符号化信号として伝送する符号化部と、
    前記符号化信号を受信し、前記受信した符号化信号を復号化して前記ステレオ信号と前記付加情報とを獲得し、前記復号化した付加情報を利用して前記復号化したステレオ信号をアップミキシングして、前記サラウンド成分に提供する復号化部と、
    を備えることを特徴とする多チャンネルオーディオ信号処理システム。

Images