JP2012503791A - 信号処理方法及び装置 - Google Patents

Abstract

【課題】復号されたオーディオ信号の音質を向上させる信号処理方法及び装置を提供すること。
【解決手段】本発明の信号処理方法及び装置によれば、チャネル間位相差符号化フラグ及びチャネル間位相差モードフラグに基づいて、チャネル間位相差値を用いることによって、チャネル間レベル差値及びチャネル間相関値では復元し難い残響を復元し、音像の定位を正確にすることができる。
【選択図】図９

Description

本発明は、入力された信号の位相を偏移（ｓｈｉｆｔ）させた信号を利用し、該位相の偏移した信号のチャネル間位相差値を用いることによって、信号の音質を向上させ、入力された信号をより完壁に復元することができる信号処理方法及び装置に関するものである。

一般に、モノ信号からステレオ信号を生成するためにデコリレータを用いて信号を符号化することができる。

また、信号処理装置においてチャネル間レベル差値及びチャネル間相関値を用いて信号を符号化することができる。

音声信号をデコリレータを用いて生成する場合、デコリレータはチャネル信号間に存在する位相差又は遅延差を正確に再生できないという問題点がある。

また、チャネル間レベル差値及びチャネル間相関値を用いて信号を符号化する場合、入力信号のチャネル間位相差を復元して反映することができず、正確な音像の定位（ｌｏｃａｌｉｚａｔｉｏｎ）を行い難いうえに、入力信号の残響（ｒｅｖｅｒｂｅｒａｔｉｏｎ）も復元できないという問題点がある。

本発明は、上記の問題点を解決するために案出されたもので、その目的は、復号されたオーディオ信号又は音声信号の位相を、チャネル間位相差値及び位相移動フラグを用いて復元及び偏移することによって、音質を向上させ、原音に近づかせることができる信号処理方法及び装置を提供することにある。

本発明は、下記のような効果及び利点を提供する。

第一に、本発明の信号処理方法及び装置は、位相偏移フラグに基づいて、復号されたオーディオ信号又は音声信号の位相を偏移させることで、復号時にデコリレータによっては効率的に再生し難い位相差又は遅延差を効率的に再生することができるという効果を有する。

第二に、本発明の信号処理方法及び装置は、チャネル間位相差符号化フラグ及びチャネル間位相差モードフラグに基づいて、チャネル間位相差値を用いることで、チャネル間レベル差値及びチャネル間相関値によっては復元し難い残響を復元し、音像の定位を正確にすることができる。

第三に、本発明の信号処理方法及び装置は、フレームごとにチャネル間位相差値を用いているか否かを示すチャネル間位相差モードフラグを受信することによって、必要に応じてチャネル間位相差値を用いて信号を復号することができる。

第四に、本発明の信号処理方法及び装置は、先行する（ｐｒｅｖｉｏｕｓ）パラメータタイムスロットのチャネル間位相差値を用いて現在のパラメータタイムスロットのチャネル間位相差値を修正（平滑化（ｓｍｏｏｔｈｉｎｇ））することで、チャネル間位相差値の差によって一時的に生じうる雑音を除去できるという効果を有する。

第五に、本発明の信号処理方法及び装置は、一定条件を満たす場合にのみチャネル間位相差値を伝送することによって符号化効率を向上させ、原音に近い信号として復号することができる。

第六に、本発明の信号処理方法及び装置は、エンコーダで測定されたチャネル間位相差値をチャネル間レベル差値に変換して伝送することによって、チャネル間位相差値の伝送を許容しない既存の信号処理装置及び方法を用いる場合にも、残響を強化し、音像の定位が原音に近い信号として復元できるという効果（後方互換性）を有する。

本発明の一実施例による信号処理方法の概念を示す概念図である。 本発明の一実施例による信号処理装置を示すブロック図である。 信号における位相と時間との関係を示すグラフである。 図２におけるＩＰＤ値測定部及びＩＰＤ値取得部を具体的に示すブロック図である。 本発明のほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 従来のパラメータタイムスロットを示す概念図である。 本発明の更にほかの実施例によってチャネル間位相差値を修正（平滑化）する方法を示す概略図である。 図８における本発明の更にほかの実施例に係る信号処理装置を示すブロック図である。 本発明の更にほかの実施例による信号処理方法及び装置が解決しようとする問題点を示す概念図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例によってグローバルフレームチャネル間位相差値（ｇｌｏｂａｌ ｆｒａｍｅ ＩＰＤ）が用いられる概念を示す概念図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例による信号処理装置を示すブロック図である。 本発明の更にほかの実施例によるＩＰＤ符号化フラグ取得部、ＩＰＤモードフラグ取得部、ＩＰＤ値取得部及びアップミキシング部が具現されている製品の概略的な構成を示す図である。 本発明の更にほかの実施例によるＩＰＤ符号化フラグ取得部、ＩＰＤモードフラグ取得部、ＩＰＤ値取得部及びアップミキシング部が具現されている製品間の関係を示す図である。 本発明の更にほかの一実施例によるＩＰＤ符号化フラグ取得部、ＩＰＤモードフラグ取得部、ＩＰＤ値取得部及びアップミキシング部が具現されている放送信号復号装置の概略的な構成を示す図である。

以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。これに先立ち、本明細書及び請求の範囲に使われた用語や単語は通常的または辞典的な意味に限定して解釈してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適宜定義することができるという原則に立って、本発明の技術的思想に符合する意味と概念として解釈すべきであるということを明らかにしておきたい。したがって、本明細書に記載された実施例及び図面に示す構成は本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全部代弁するものではないので、本出願時点においてそれらを代替できる種々の均等物及び変形例が存在しうるということが理解されるであろう。

特に、本発明でいう符号化とは、符号化及び復号の両方を含む概念として理解すべきである。

また、本明細書でいう情報とは、値、パラメータ、係数、要素などを総称する用語で、場合によって異なる意味として解釈されるが、本発明はこれに限定されない。そして、本明細書で信号の一例としてステレオ信号を挙げて説明するが、これに限定されず、３以上の複数のチャネルを有する複数チャネル信号とすることもできる。

図１は、本発明の一実施例による信号処理方法の概念を示す概念図であり、空間情報のビットストリームを示している。図１を参照すると、空間情報は、ヘッダ及び複数個のフレームに区分することができる。ここで、空間情報は、入力信号である複数チャネル信号の属性を表す情報であり、複数チャネルのうちの２チャネル間のレベル差を表すチャネル間レベル差値、２チャネル間の相関度を表すチャネル間相関値、及び２チャネル間の位相差を表すチャネル間位相差値を含むことができる。これらは、デコーダで、複数チャネル信号をダウンミックスして生成されたダウンミックス信号をアップミックスして復元するのに用いることができる。

空間情報のヘッダは、全フレーム中にチャネル間位相差値を用いるフレームがあるか否かを示すチャネル間位相差符号化フラグ（ｂｓＰｈａｓｅＣｏｄｉｎｇ）を含む。すなわち、チャネル間位相差符号化フラグがヘッダに含まれることによって、空間情報の全フレームにおいてチャネル間位相差値が用いられるか否かを判断することができる。チャネル間位相差符号化フラグの意味を、下記の表１に示す。

また、空間情報は、フレームでチャネル間位相差値が用いられているか否かを示すチャネル間位相差モードフラグ（ｂｓＰｈａｓｅＭｏｄｅ）をフレームごとに含む。チャネル間位相差モードフラグは、チャネル間位相差符号化フラグが１である場合、すなわち、チャネル間位相差符号化フラグが、空間情報にＩＰＤ符号化が用いられることを示す場合にのみ、フレームに含まれる。チャネル間位相差モードフラグ（ｂｓＰｈａｓｅＭｏｄｅ）の具体的な意味は、下記の表２の通りである。

再び図１を参照すると、フレーム２のチャネル間位相差モードフラグが１であれば（ｂｓＰｈａｓｅＭｏｄｅ＝１）、フレーム２にチャネル間位相差値（ＩＰＤ）として０でない値が含まれ、フレーム３のチャネル間位相差モードフラグが０であれば（ｂｓＰｈａｓｅＭｏｄｅ＝０）、フレーム３にチャネル間位相差値（ＩＰＤ）として０の値が含まれる。

したがって、チャネル間位相差符号化フラグ及びチャネル間位相差モードフラグに基づいてチャネル間位相差値を取得し、これをダウンミックス信号に適用して複数チャネル信号にアップミックスすることができる。

図２は、本発明の一実施例による信号処理装置を示すブロック図である。図２を参照すると、信号処理装置２００は、ダウンミキシング部２１０、空間情報生成部２２０、情報取得部２３０及びアップミキシング部２４０を含む。

ダウンミキシング部２１０は、複数チャネル信号を入力してダウンミックス信号（ＤＭＸ）を生成することができる。複数チャネル信号は、３以上のチャネルを有する信号であってもよいし、モノ又はステレオチャネルを有する信号であってもよい。ダウンミキシング部２１０は、複数チャネル信号をダウンミックスすることで、複数チャネル信号のチャネル数よりも少ない数のチャネルを有するダウンミックス信号を生成することができる。

空間情報生成部２２０は、図１で説明したとおり、ダウンミックス信号を後でデコーダでアップミックスするための空間情報を生成し、該空間情報は複数チャネル信号の属性を示すことができる。空間情報は、上述のように、チャネル間レベル差値、チャネル間相関値及びチャネル間位相差値などを含むことができるが、ここでは、図２の空間情報生成部２２０を参照してチャネル間位相差値について具体的に説明する。

空間情報生成部２２０は、ＩＰＤ利用決定部２２１、ＩＰＤ値測定部２２２、ＩＰＤモードフラグ生成部２２３、及びＩＰＤ符号化フラグ生成部２２４を含む。ＩＰＤ利用決定部２２１は、空間情報にチャネル間の位相差（ＩＰＤ）値を含めるか否かを決定でき、特に、複数チャネル信号の特性、チャネル間位相差値とチャネル間レベル差値との比率に基づいて、チャネル間位相差値を含めるか否かを決定することができる。

例えば、複数チャネル信号が音声信号である場合、チャネル間位相差値を空間情報に含めると決定することができる。その詳細は後述する。

ＩＰＤ値測定部２２２は、ＩＰＤ利用決定部２２１が、チャネル間位相差値を用いると決定した場合、空間情報生成部２００に入力された複数チャネル信号から２チャネル間の位相差を測定する。該測定された位相差は、位相及び／又は角度であってもよいし、時間差であってもよいし、角度又は時間差に対応するインデックス値であってもよい。信号において位相と時間差は密接な関係を有するが、これについての詳細は、図３を参照して後述する。

ＩＰＤモードフラグ生成部２２３は、図１を参照して上述したチャネル間位相差モードフラグ（ｂｓＰｈａｓｅＭｏｄｅ）を生成する。すなわち、チャネル間位相差値がフレームで用いられているか否かを示し、ここで、フレームは、チャネル間位相差値が含まれている現在フレーム（ｃｕｒｒｅｎｔ ｆｒａｍｅ）でありうる。したがって、チャネル間位相差モードフラグはフレーム別に可変的に存在することができる。特に、チャネル間位相差符号化フラグが、チャネル間位相差値が空間情報の全フレームで用いられないことを示す場合は、フレームにチャネル間位相差モードフラグを含めなくてもよい。チャネル間位相差モードフラグは０又は１の値を有することができる。

ＩＰＤコーディングフラグ生成部２２４は、図１で説明したようなチャネル間位相差符号化フラグ（ｂｓＰｈａｓｅＣｏｄｉｎｇ）を生成する。すなわち、ＩＰＤ符号化が空間情報で用いられているか否かを示すＩＰＤ符号化フラグが生成されるため、図１に示すような区分された空間情報の少なくとも一つのフレームでチャネル間位相差値を用いる場合、チャネル間位相差符号化フラグが１を表すことは当然である。

情報取得部２３０は、空間情報生成部２２０から空間情報を入力する。この空間情報は、チャネル間の位相差（ＩＰＤ）値のほかに、チャネル間位相差符号化フラグ（ｂｓＰｈａｓｅＣｏｄｉｎｇ）及びチャネル間位相差モードフラグ（ｂｓＰｈａｓｅＭｏｄｅ）を含むことができる。情報取得部２３０は、ＩＰＤ符号化フラグ取得部２３１、ＩＰＤモードフラグ取得部２３２及びＩＰＤ値取得部２３３を含む。ＩＰＤ符号化フラグ取得部２３１は、空間情報のヘッダから、空間情報の全フレームのうち少なくとも一つのフレームでチャネル間位相差値が用いられているか否かを示すチャネル間位相差符号化フラグを取得する。このチャネル間位相差符号化フラグの意味は、上記の表１の通りである。

ＩＰＤモードフラグ取得部２３２は、チャネル間位相差符号化フラグに基づいて、空間情報のフレームから、チャネル間位相差値がフレームで用いられているか否かを示すチャネル間位相差モードフラグ（ｂｓＰｈａｓｅＭｏｄｅ）を取得する。特に、チャネル間位相差符号化フラグがチャネル間位相差値が用いられていることを示す場合（ｂｓＰｈａｓｅＣｏｄｉｎｇ＝１）にＩＰＤモードフラグ取得部２３２はチャネル間位相差モードフラグを取得することができる。

ＩＰＤ値取得部２３３は、チャネル間位相差モードフラグに基づいて、空間情報からチャネル間位相差値を取得することができる。このチャネル間位相差値はパラメータ帯域別に存在することができる。本明細書でいうパラメータ帯域とは、同じチャネル間位相差値が含まれる少なくとも一つの副帯域（ｓｕｂ−ｂａｎｄ）のことをいうが、これについては図７及び図８を参照して後述する。

アップミキシング部２４０は、情報取得部２３０から取得されたチャネル間位相差値を、ダウンミキシング部２１０から入力されたダウンミックス信号に適用して、複数チャネル信号を生成することができる。ここで、アップミックスとは、ダウンミックス信号のチャネルよりも多い数のチャネル信号を生成するためにアップミキシングマトリクスを適用することを指し、アップミックスされた信号とは、アップミキシングマトリクスが適用された信号のことを指す。したがって、複数チャネル信号は、ダウンミックス信号よりも多い数のチャネルを有する信号である。また、アップミックスされた信号は、アップミキシングマトリクスが適用された信号自体を指すこともでき、アップミキシングマトリクスが適用されることによって複数のチャネルを有するように生成されたＱＭＦ領域信号であってもよいし、ＱＭＦ領域信号が時間領域上の信号に変換された最終信号であってもよい。

このように、本発明の信号処理装置及び方法は、チャネル間位相差符号化フラグ及びチャネル間位相差モードフラグに基づいて、チャネル間位相差値を用いることによって、チャネル間レベル差値及びチャネル間相関値では復元し難い残響を復元し、音像の定位を正確にすることができるという効果を有する。

図３は、信号における位相と時間との関係を示すグラフである。図３の左グラフは、信号を位相−振幅領域上に示すものである。（ａ）信号は、位相変化なく入力された信号であり、（ｂ）信号は、（ａ）信号よりπ／２だけ位相の遅れた信号を示す。

一方、図３の右グラフは、信号を時間−振幅領域上に示すもので、左グラフの（ａ）及び（ｂ）信号に対応する（ａ）'及び（ｂ）'信号を示す。すなわち、（ａ）信号よりπ／２だけ位相の遅れた信号である（ｂ）信号は、時間では（ａ）'信号より３３ｍｓ遅れて入力された信号である（ｂ）'信号と同一に示すことができる。このように、信号において位相−時間は密接な関係を有し、これらは互いに対応する値に変換して用いる場合にも同一の効果を奏する。

図４は、図２のＩＰＤ値測定部及びＩＰＤ値取得部を具体的に示すブロック図である。ＩＰＤ測定部４１０は、ＩＰＤ値測定部４１１、ＩＰＤ量子化部４１２及び量子化モードフラグ生成部４１３を含む。ＩＰＤ値測定部４１１は、入力された複数チャネル信号からチャネル間位相差情報を測定する。上述のように、チャネル間位相差値は、位相角であってもよいし、時間遅延値であってもよいし、これらに対応するインデックス値であってもよい。

ＩＰＤ量子化部４１２は、ＩＰＤ値測定部４１１で測定されたチャネル間位相差値を量子化する。ＩＰＤ量子化部４１２は、量子化間隔によってチャネル間位相差値をそれぞれ異なる方法で量子化できる細部構造をさらに含むことができる。例えば、第１量子化部（図示せず）では、細かい量子化間隔（細かい間隔）を用いてチャネル間位相差値を量子化でき、第２量子化部（図示せず）では、粗い量子化間隔（粗い間隔）を用いてチャネル間位相差値を量子化することができる。

また、ＩＰＤ量子化モードフラグ生成部４１３は、チャネル間位相差値を量子化する方式を示す量子化モードフラグ（ｑｕａｎｔ＿ｍｏｄｅ＿ｆｌａｇ）を生成することができる。量子化モードフラグは、詳細には、細かい間隔又は粗い間隔を用いてチャネル間位相差値が量子化されているか否かを示すことができる。

チャネル間位相差値取得部（ＩＰＤ値取得部）４２０は、ＩＰＤ量子化モードフラグ取得部４２１、第１逆量子化部４２２、第２逆量子化部４２３及び逆量子化ＩＰＤ値取得部４２４を含む。

まず、量子化モードフラグ取得部４２１は、エンコーダから受信した空間情報から、チャネル間位相差値に適用された量子化方式を示す量子化モードフラグ（ｑｕａｎｔ＿ｍｏｄｅ＿ｆｌａｇ）を取得する。この量子化モードフラグの意味を、下記の表３に示す。

第１逆量子化部４２２は、量子化フラグが０の場合（ＩＰＤ＿ｑｕａｎｔ＿ｆｌａｇ＝０）、チャネル間位相差値を受信して粗い間隔でチャネル間位相差値を逆量子化する。一方、第２逆量子化部４２３は、量子化フラグが１の場合（ＩＰＤ＿ｑｕａｎｔ＿ｆｌａｇ＝１）、チャネル間位相差値を受信して細かい間隔でチャネル間位相差値を逆量子化する。次に、逆量子化ＩＰＤ値取得部４２４は、第１逆量子化部４２２又は第２逆量子化部４２３から、逆量子化されたチャネル間位相差値を取得することができる。

図５は、位相偏移フラグを用いて複数チャネル信号の位相復元を補償する信号処理装置５００を示す図である。信号処理装置５００は、グローバル帯域ＩＰＤ値決定部５１０、信号修正部５２０、ダウンミキシング部５３０、空間情報生成部５４０、空間情報取得部５５０、アップミキシング部５６０及び位相偏移部５７０を含む。

グローバル帯域ＩＰＤ値決定部５１０は、まず、複数チャネル信号を受信する。この複数チャネル信号は、一つ以上のチャネルの位相が一致していない信号であってもよいし、ステレオ信号又は３以上のチャネルを有する信号であってもよい。グローバル帯域ＩＰＤ値決定部５１０は、入力された複数チャネル信号の位相を一致させるために偏移される位相の度合いを示す位相偏移フラグを複数チャネル信号から決定する。

この位相偏移フラグは、複数チャネル信号の位相が偏移したということを示すフラグ情報であってもよいし、フラグ情報に加えて、位相が偏移された情報、位相が偏移されるチャネル信号、位相偏移が起きる周波数帯域、及び位相偏移に対応する時間情報などの、位相偏移と関連した情報をさらに含んでもよい。

まず、位相偏移フラグがフラグ情報のみを示す場合、複数チャネル信号は、固定された値を用いて位相を偏移させることができる。例えば、複数チャネル信号がステレオ信号である場合、ステレオ信号のうち、右チャネルの位相をπ／２だけ減少させたり、左チャネルの位相を π／２だけ増加させたりすることによって、左及び右チャネルが直交するように位相を偏移させて当該複数チャネル信号を生成することができる。また、π／２の位相偏移に限定されず、左及び右チャネルが直交するように位相を偏移させて、複数チャネル信号を生成することもできる。

ここで、偏移される位相は、複数チャネル信号の全周波数帯域に同一に適用することができる。また、複数チャネル信号のうちの一つ以上のチャネルの位相がπ／２だけ修正されるという情報、特に、修正される位相、又は直交するように偏移される位相に関する情報は別に伝送されず、後でデコーダ端で既に設定された情報を用いることができるが、これに限定されない。

このようにして、複数のパラメータ帯域にそれぞれチャネル間位相差値を伝送する場合に比べて情報伝送量を減少させることができ、パラメータ帯域ごとにそれぞれチャネル間位相差値を適用する場合に生じうる位相差の問題を防止することができる。

一方、位相偏移フラグは、フラグ情報の他に、位相偏移に関する詳細情報をさらに含むことができる。詳細情報は、位相の偏移情報、位相が偏移されるチャネル信号に関する情報、位相偏移が起きる周波数帯域及び時間情報などを含むことができる。

また、位相偏移フラグは、フレーム別に複数チャネル信号の位相が偏移される度合を可変的に示すことができ、この位相偏移フラグがフラグ情報のみを含む場合には、フレーム別に位相が偏移されたか否かを示すことができる。また、位相偏移フラグがフラグ情報、及び偏移された位相に関する詳細情報を含む場合、詳細情報は副帯域又はパラメータ帯域別に位相の偏移度合を可変的に示すことができ、一定の時間範囲ごとに、例えば、フレーム又はタイムスロットなど、可変的に該当の時間における位相の偏移度合を示すことができる。

また、位相偏移フラグは、図１乃至図４で説明したチャネル間位相差値と並列に用いることができる。
信号修正部５２０は、位相偏移フラグ及び複数チャネル信号を受信する。この複数チャネル信号は、位相偏移フラグを用いて一つ以上のチャネルの位相を修正することによって位相の偏移された複数チャネル信号として生成することができる。上述のように、本明細書では、位相が一致していない複数チャネル信号の位相を一致（ｉｎ−ｐｈａｓｅ）させるように複数チャネル信号の位相を修正し、これに関する位相偏移フラグを生成する方法について述べたが、位相の一致する複数チャネル信号に含まれた少なくとも一つのチャネルの位相を故意に偏移させることで位相が一致していない（ｏｕｔ−ｐｈａｓｅ）信号とし、これに関する位相偏移フラグを生成することも可能である。

ダウンミキシング部５３０は、位相が偏移された複数チャネル信号を受信してダウンミックスすることでダウンミックス信号を生成する。この複数チャネル信号は、ステレオ信号に限定されず、３以上のチャネルを有する信号にすることもできる。複数チャネル信号がステレオ信号である場合、ダウンミックス信号はモノ信号であってよく、複数チャネル信号が３以上のチャネルを有する信号である場合、ダウンミックス信号はステレオ信号、又は複数チャネル信号のチャネル数よりも小さい数のチャネルを有する信号であってよい。

空間情報生成部５４０は、位相が偏移された複数チャネル信号を受信して複数チャネル信号の属性を示す空間情報を生成することができる。空間情報は、デコーダでダウンミックス信号を、位相が偏移された複数チャネル信号にアップミックスするのに用いるもので、チャネル間レベル差情報、チャネル間相関値及びチャネル予測係数を含むことができる。したがって、本発明の空間情報生成部５４０で生成された空間情報は、位相が偏移されていない複数チャネル信号から生成された空間情報と同一でない場合もある。

また、ビットストリーム生成部（図示せず）は、空間情報及び位相偏移フラグを含む一つのビットストリームを生成することもでき、ダウンミックス信号、空間情報及び位相偏移フラグを含む一つのビットストリームを生成することもできる。

情報取得部５５０は、ビットストリームから、ダウンミックス信号をアップミックスするための空間情報及び位相偏移フラグを取得する。

アップミキシング部５６０は、図２のアップミキシング部２４０と同一の構成及び機能を果たす。アップミックスされた複数チャネル信号は、アップミキシングマトリクスが適用されてアップミックスされた信号であってもよいし、アップミックスされてＱＭＦ領域上に生成された信号であってもよいし、時間領域上の信号として最終出力された信号であってもよい。また、アップミキシング部５６０でアップミックスされた信号は、信号修正部５２０で位相が偏移された複数チャネル信号であってもよい。

位相偏移部５７０は、空間情報取得部５５０からの位相偏移フラグ、及びアップミキシング部５６０からの位相偏移された複数チャネル信号を受信する。その後、位相が偏移された複数チャネル信号に位相偏移フラグを適用することで、複数チャネル信号の偏移された位相を復元させる。

この位相偏移フラグは、上述のように、複数チャネル信号の少なくとも一つのチャネルの位相が偏移したか否かを示すフラグ情報のみを含むことができ、位相偏移と関連した詳細情報を更に含むことができる。フラグ情報のみを含む場合、位相偏移部５７０は、フラグ情報に基づいて、アップミックスされた複数チャネル信号の位相を偏移させるか否かを決定し、固定された値を用いて複数チャネル信号の少なくとも一つのチャネルの位相を偏移させることができる。このとき、固定された値は、デコーダで既に設定された値を利用し、別途にエンコーダで測定して伝送しなくてもよく、例えば、複数チャネル信号の一つ以上のチャネルをπ／２だけ増加させたり減少させたりすることができる。この場合、π／２は複数チャネル信号の全周波数帯域に同一に適用することができる。また、位相偏移フラグはフレーム別に決定することができるので、複数チャネル信号の位相が偏移する度合又は位相が偏移されたか否かを、フレームごとに可変的に示すことができる。

図６は、位相偏移フラグを用いて複数チャネル信号の位相復元を補償する本発明のほかの実施例である信号処理装置６００を示す図である。図６を参照すると、信号処理装置６００は、ダウンミキシング部６１０、空間情報生成部６２０、信号修正部６３０、グローバル帯域ＩＰＤ値取得部６４０、位相偏移部６５０及びアップミキシング部６６０を含む。

ダウンミキシング部６１０は、入力された複数チャネル信号をダウンミックスしてダウンミックス信号ＤＭＸを生成する。ここで、複数チャネル信号は、位相が偏移されていない入力されたままの信号である。

空間情報生成部６２０は、入力された複数チャネル信号の属性を表す空間情報を生成することができる。この空間情報は、図５の空間情報と同一の構成及び機能を有するものであり、ただし、位相が偏移されていない複数チャネル信号から生成されるという点が、図５の空間情報と異なる。一方、空間情報生成部６２０は、グローバル帯域ＩＰＤ値決定部６２１を含み、グローバル帯域ＩＰＤ値決定部６２１は、図５のグローバル帯域ＩＰＤ値決定部と同一の構成及び機能を有するので、その詳細説明は省略する。

信号修正部６３０は、グローバル帯域ＩＰＤ値決定部６２１から出力された位相偏移フラグに基づいて、ダウンミキシング部６１０から出力されたダウンミックス信号の少なくとも一つのチャネルの位相を修正し、位相の修正されたダウンミックス信号ＤＭＸ’を生成することができる。

次に、グローバル帯域ＩＰＤ値取得部６４０は、位相偏移フラグを取得し、位相偏移部６５０は、位相偏移フラグに基づいて、入力された修正ダウンミックス信号ＭＤＸ’の少なくとも一つのチャネルの位相を偏移させて復元することによって、ダウンミックス信号ＤＭＸとして復元することができる。この時、位相偏移部６５０で位相が偏移されたダウンミックス信号ＤＭＸは、信号修正部６３０に入力される信号ＤＭＸと同一であってもよい。

アップミキシング部６６０は、空間情報生成部６２０からの空間情報、及び位相偏移部６５０からのダウンミックス信号ＤＭＸを受信して複数チャネル信号を復号することができる。

一方、本発明の信号処理方法及び装置は、チャネル間位相差値が変動する点で一時的に発生する雑音を除去するために種々の方法を行うが、これについては図７乃至図９を参照して説明する。

まず、図７は、パラメータタイムスロットを示す概念図である。信号は、時間−周波数領域で示すことができる。図７を参照すると、１フレームのＮ個のタイムスロットのうちの２個のタイムスロット（タイムスロット２、タイムスロット４）に、パラメータセットが適用される。そして、信号の全周波数範囲は５個のパラメータ帯域に分割される。したがって、時間軸の単位はタイムスロットとし、周波数軸の単位はパラメータ帯域（ｐｂ）とすることができ、パラメータ帯域は、同一のチャネル間位相差値が含まれる少なくとも一つの周波数領域上の副帯域とすることができる。また、タイムスロットのうち、パラメータセットが適用されるように、つまり、チャネル間位相差値が適用されるように定義されたタイムスロットをパラメータタイムスロットと称する。

図８は、本発明の更にほかの実施例によってチャネル間位相差値を修正（平滑化）する方法を示す概略図である。図８を参照すると、左下段のグラフは、パラメータタイムスロットのうちの２番目のパラメータ帯域に含まれたチャネル間位相差値を示すグラフである。パラメータタイムスロット［０］に適用されるチャネル間位相差値は１０゜で、パラメータタイムスロット［１］に適用されるチャネル間位相差値は６０゜でありうる。このようにチャネル間位相差値が大きく変動する点では予想せぬ雑音が発生することがある。したがって、本発明の信号処理方法及び装置は、先行するパラメータタイムスロットに適用されるチャネル間位相差値を用いて、現在のパラメータタイムスロットに適用されるチャネル間位相差値を平滑化することによって、雑音を除去できるという効果を奏する。

再び図８を参照すると、現在のパラメータタイムスロットをパラメータタイムスロット［１］とすれば、先行するパラメータタイムスロットはパラメータタイムスロット［０］になりうる。図８の右下段のグラフに示すように、現在のパラメータタイムスロットに適用されるチャネル間位相差値（６０゜）を、先行するパラメータタイムスロットに適用されるチャネル間位相差値（１０゜）を用いて平滑化することができ、よって、平滑化して修正された現在のパラメータタイムスロットのチャネル間位相差値は、６０゜よりも小さい値を有することができる。

その後、現在及び／又は先行するパラメータタイムスロットに適用される平滑化されたチャネル間位相差値を補間及び／又は複製することによって、パラメータセットが適用されるように定義されていないタイムスロット、例えば、タイムスロット１、タイムスロット３、…、タイムスロットＮに適用されるチャネル間位相差値を取得することができる。

図９は、図８の本発明の更にほかの実施例に係る信号処理装置を示すブロック図である。図９におけるダウンミキシング部９１０、ＩＰＤ利用決定部９２１、ＩＰＤ値測定部９２２、ＩＰＤモードフラグ生成部９２３、ＩＰＤ符号化フラグ生成部９２４、ＩＰＤ符号化フラグ取得部９３１、ＩＰＤモードフラグ取得部９３２、ＩＰＤ値取得部９３３、アップミキシング部９４０は、図２におけるダウンミキシング部２１０、ＩＰＤ利用決定部２２１、ＩＰＤ値測定部２２２、ＩＰＤモードフラグ生成部２２３、ＩＰＤ符号化フラグ生成部２２４、ＩＰＤ符号化フラグ取得部２３１、ＩＰＤモードフラグ取得部２３２、ＩＰＤ値取得部２３３及びアップミキシング部２４０と同一の構成及び機能を有するので、その詳細な説明は省略する。

情報取得部９３０は、ＩＰＤ値平滑化部９３４を更に含むことができる。ＩＰＤ値平滑化部９３４は、先行するパラメータタイムスロットに適用されるチャネル間位相差値を用いて、現在のパラメータタイムスロットに適用されるチャネル間位相差値を修正することができる。これによって、現在のパラメータタイムスロットに適用されるチャネル間位相差値が、先行するパラメータタイムスロットに適用されるチャネル間位相差値と大きな相違を有する場合、生じうる雑音を防止することができる。

また、ＩＰＤ値平滑化部９３４は、現在のパラメータタイムスロットに適用されるチャネル間位相差値から、複数チャネルのうちの２チャネル間の角度を表す位相角度を生成することができ、この位相角度を、先行するパラメータタイムスロットの位相角度を用いて修正することができる。該修正された位相角度は、後でアップミキシング部６４０に出力される。修正された位相角度はアップミキシング部６４０でダウンミックス信号に適用されて複数チャネル信号を生成することができる。

以下では、一般に、チャネル間位相差値を利用せず、チャネル間レベル差及びチャネル間相関値を用いて信号を符号化する場合、発生する問題点を解決するための本発明の様々な実施例について説明する。

図１０は、本発明のさらに他の実施例による信号処理方法及び装置が解決しようとする問題点を示す概念図である。

多くの信号符号化装置では、特に、３ＧＰＰ及びＭＰＥＧで規格化されたＥＡＡＣ＋又はＨＥ ＡＡＣ Ｐｌｕｓ及びＵＳＡＣで使用するＰＳでは、チャネル間位相差値を利用せず、チャネル間レベル差値及びチャネル間相関情報のみを空間情報として用いている。これは、チャネル間位相差値を生成する上で生じうる位相ラッピング現象とチャネル間位相差値を合成する上で発生する音質の低下のためである。

しかし、チャネル間位相差値を利用せずに複数チャネル信号を符号化する場合、音像定位において深刻な問題が生じることがある。換言すると、２以上のマイクを互いに隣接して配置して録音した信号のように、チャネル間レベル差値を主に用いて符号化した信号では問題が生じないが、２以上のマイクを互いに離して配置して録音した信号は、チャネル間位相差値を用いないと、複数チャネル信号の復号時に正確な音像定位が不可能になるという問題につながる。

図１０（ａ）は、チャネル間位相差値のみ存在するステレオ信号を、チャネル間位相差値なしで復号する場合の結果を示す。図１０（ａ）を参照すると、原信号はチャネル間位相差値のみで形成された信号である（ＩＰＤ＝３０゜）。しかし、チャネル間レベル差値及びチャネル間相関値のみを用いて復号すると、有効な空間情報（ＩＰＤ値）がないため、復号された信号（合成信号）の音像は、原信号によらずステレオ信号の中央に位置することになる。この場合、チャネル間相関値が音像定位に影響を及ぼすが、チャネル間位相差値なしでは正確な音像定位が不可能である。

一方、図１０（ｂ）は、チャネル間位相差値及びチャネル間レベル差値が混在するステレオ信号を、チャネル間位相差値なしで復号する場合の結果を示す。図１０（ｂ）を参照すると、ステレオ信号の音像定位は、チャネル間位相差値から決定される調節角度とチャネル間レベル差値から決定される調節角度との線形的な和として決定される。原ステレオ信号が、図１０（ｂ）に示すように、左側信号が右側信号に比べて、８ｄＢだけさらに大きい値を有し、０．５ｍｓだけさらに速い場合、８ｄＢのレベル差は、音像を中央から左側へ２０゜（−２０゜）移動させることができ、０．５ｍｓの時間差（−１０゜のチャネル間位相差値と同一）は、音像を左に１０゜（−１０゜）移動させることができるという特徴を有する。したがって、原ステレオ信号は、−３０゜位置に存在するようになる。しかし、チャネル間位相差値を用いないで信号を復号すると、復号された信号の音像は−２０゜に位置するため、正確な音像の定位が不可能である。

したがって、本発明の更にほかの実施例による信号処理方法及び装置は、音像定位における問題を解決するために種々の方法を更に提供する。

図１１及び図１２は、本発明の更にほかの実施例による信号処理方法及び装置を示すブロック図である。

第一に、複数チャネル信号のチャネル間位相差情報及びチャネル間レベル差値との比率に基づいて、一定条件を満たす場合にのみチャネル間位相差情報を利用することができる。図１１に示すように、信号処理装置１１００は、ダウンミキシング部１１１０、空間情報生成部１１２０、情報取得部１１３０及びアップミキシング部１１４０を含む。

ダウンミキシング部１１１０及びアップミキシング部１１４０は、図２におけるダウンミキシング部２１０及びアップミキシング部２４０と同一の構成及び機能を有する。空間情報生成部１１２０は、ＩＬＤ値測定部１１２１、ＩＰＤ値測定部１１２２、情報決定部１１２３及びＩＰＤフラグ生成部１１２４を含む。ＩＬＤ値測定部１１２１及びＩＰＤ値測定部１１２２は、複数チャネル信号からチャネル間レベル差値及びチャネル間位相差値を測定する。このチャネル間レベル差値及びチャネル間位相差値は、パラメータ帯域別に測定することができる。

情報決定部１１２３は、測定されたチャネル間レベル差値及びチャネル間位相差値を用いて、信号がどれくらい音像定位されるか計算し、チャネル間レベル差値とチャネル間位相差値が全体音像定位においてどれくらいの比率を占めるか計算して、チャネル間位相差値の比率がより高い場合にのみチャネル間位相差値を用いるように決定する。例えば、測定されたチャネル間位相差値が＋２０゜に対応し、測定されたチャネル間レベル差値が４ｄＢと、＋１０゜位相偏移させる値に対応する場合、全体音像定位（２０゜＋１０゜＝３０゜）においてチャネル間位相差値及びチャネル間レベル差値が寄与する度合は、それぞれ２０／３０、１０／３０になりうる。この場合、チャネル間位相差値が相対的に重要性が大きいといえるので、情報決定部１１２３は、チャネル間位相差値を更に用いると決定することができる。

ＩＰＤフラグ生成部１１２４は、情報決定部１１２３でチャネル間位相差値を更に用いると決定すれば、チャネル間位相差値が用いられることを示すチャネル間位相差値フラグを生成することができる。

一方、情報取得部１１３０は、ＩＰＤフラグ取得部１１３１及びＩＰＤ値取得部１１３２を含むことができ、ＩＰＤフラグ取得部１１３１は、チャネル間位相差値フラグを取得して空間情報にチャネル間位相差値が含まれているか否かを判断する。チャネル間位相差値フラグが１の場合、ＩＰＤ値取得部１１３２が活性化されて空間情報からチャネル間位相差値を取得する。その後、アップミキシング部１１４０は、チャネル間位相差値を含む空間情報を用いて、ダウンミックス信号をアップミックスすることで複数チャネル信号を復号し、チャネル間位相差値を用いない場合に比べて、複数チャネル信号の正確な音像定位が可能になる。また、一定条件を満たす場合にのみチャネル間位相差値を伝送することによって符号化効率を高めることもできる。

第二に、チャネル間位相差値は、等価のチャネル間レベル差値に置き替えることもでき、その逆も可能である。この場合、音像定位に必要なチャネル間位相差値及びチャネル間レベル差値は周波数によって変わることがあるので、周波数帯域別に定義されたデータベースを参照する。

図１２は、チャネル間位相差値を等価のチャネル間レベル差値に変更して用いる信号処理装置１２００を示す。信号処理装置１２００は、ＩＬＤ値測定部１２１０、ＩＰＤ値測定部１２２０、情報決定部１２３０、ＩＰＤ値変換部１２４０及びＩＬＤ値修正部１２５０を含む。

ＩＬＤ値測定部１２１０、ＩＰＤ値測定部１２２０及び情報決定部１２３０は、図１１におけるＩＬＤ値測定部１１２１、ＩＰＤ値測定部１１２２及び情報決定部１１３０と同一の構成及び機能を有するので、その詳細な説明は省略する。情報決定部１１３０でチャネル間位相差値を用いると決定した場合、測定されたチャネル間位相差値はＩＰＤ値変換部１２４０に入力される。

ＩＰＤ値変換部１２４０は、データベースを用いて、該当の周波数帯域で測定されたチャネル間位相差値を等価のチャネル間レベル差値ＩＬＤ'に変換させる。次に、ＩＬＤ値修正部１２５０は、ＩＬＤ値測定部１２１０から入力されたチャネル間レベル差値ＩＬＤに、チャネル間位相差値が変換されたチャネル間レベル差値ＩＬＤ'を加えて、修正されたチャネル間レベル差値ＩＬＤ''を計算する。

このように、チャネル間位相差値を等価のチャネル間レベル差値に変換して用いる場合、３ＧＰＰ及びＭＰＥＧで用いるＨＥ ＡＡＣ Ｐｌｕｓ、又はＵＳＡＣ標準で用いるＰＳ等を含め、チャネル間位相差値の受信を許容しない既存の信号処理装置及び方法を利用する場合にもチャネル間位相差値を反映することができ、残響及び音像定位が向上した信号として復号することができる。

第三に、チャネル間位相差値を連続する少なくとも一つのフレームに共通に適用することによって、正確な音像定位を実現するとともに符号化効率を高めることができる。本明細書では、連続する数個のフレームで用いられるチャネル間位相差値を、グローバルフレームチャネル間位相差値（ｇｌｏｂａｌ ｆｒａｍｅ ＩＰＤ ｖａｌｕｅ）と称する。図１３は、本発明の更にほかの実施例によってグローバルフレームチャネル間位相差値が用いられる概念を示す概念図である。図１３を参照すると、数字０〜１３はそれぞれフレームを表し、影付きフレームは、チャネル間位相差値を用いるフレームであり、そうでないフレームは、チャネル間位相差値が用いられないフレームである。これらは、本明細書で説明したチャネル間位相差モードフラグ（ｂｓＰｈａｓｅＭｏｄｅ）に基づいて決定することができる。

図１３に示すように、フレーム１〜３及びフレーム８〜１２のみがチャネル間位相差値を用いる場合、チャネル間位相差値をフレームごとに伝送せずに、代表値を計算してチャネル間位相差値を適用するように決定された連続フレームに同一に適用し、連続するフレームのうちの最初のフレームにのみグローバルフレームチャネル間位相差値を含み、毎フレームは、グローバルフレームチャネル間位相差値が用いられているか否かを示すグローバルフレームチャネル間位相差フラグを含むことができる。グローバルフレームチャネル間位相差フラグの意味は、下記の表４の通りである。

例えば、グローバルフレームチャネル間位相差フラグに基づいて、フレーム０は、グローバルフレームチャネル間位相差値を利用せず、フレーム１はグローバルフレームチャネル間位相差値を用いる。したがって、フレーム１は、グローバルフレームチャネル間位相差値を含み、同一のグローバルフレームチャネル間位相差値は、フレーム１乃至３に適用することができる。同様に、フレーム８は、グローバルフレームチャネル間位相差値を含み、同一のグローバルフレームチャネル間位相差値がフレーム８乃至１２に適用することができる。

図１４は、図１３のグローバルフレームチャネル間位相差値を用いる本発明の実施例による信号符号化装置１４００を示す図である。図１４を参照すると、信号符号化装置１４００は、先行フレームグローバルフレームＩＰＤ値受信部１４１０、グローバルフレームＩＰＤ値計算部１４２０、グローバルフレームＩＰＤフラグ生成部１４３０、グローバルフレームＩＰＤフラグ取得部１４４０、グローバルフレームＩＰＤ値取得部１４５０、アップミキシング部１４６０を含む。

先行フレームグローバルフレームＩＰＤ値受信部１４１０は、先行フレームのグローバルフレームチャネル間位相差値を受信する。例えば、現在フレームがグローバルフレームチャネル間位相差値を含む１番目のフレームである場合には、受信された先行フレームのグローバルフレームチャネル間位相差値が存在しない。一方、現在のフレームがグローバルフレームチャネル間位相差値を含む連続するフレームのうち、２番目以降のフレームである場合には、先行フレームからグローバルフレームチャネル間位相差値を受信することができる。

グローバルフレームＩＰＤ値計算部１４２０は、現在のフレームがグローバルフレームチャネル間位相差値を含む１番目のフレームである場合、すなわち、先行フレームのグローバルフレームチャネル間位相差値が存在しない場合、グローバルフレームチャネル間位相差値を計算することができる。現在のフレームのグローバルフレームチャネル間位相差値は、チャネル間位相差値が用いられる連続するフレームのチャネル間位相差値の平均とすることができる。

グローバルフレームＩＰＤフラグ生成部１４３０は、現在のフレームでグローバルフレームチャネル間位相差値（ＩＰＤ）を用いているか否かを示すグローバルフレームＩＰＤフラグ（ｇｌｏｂａｌ＿ｆｒａｍｅ＿ＩＰＤ＿ｆｌａｇ）を生成する。

その後、グローバルフレームＩＰＤフラグ取得部１４４０は、グローバルフレームチャネル間位相差値を取得し、グローバルフレームＩＰＤ値取得部１４５０は、先行フレームグローバルフレームＩＰＤ値受信部１４１０から出力された先行フレームのグローバルフレームチャネル間位相差値又はグローバルフレームＩＰＤ値計算部１４２０から出力された現在のフレームのグローバルフレームチャネル間位相差値を取得することができる。好ましくは、グローバルフレームＩＰＤ値取得部１４５０は、現在のフレームがチャネル間位相差値を適用する連続するフレームのうちの１番目のフレームである場合、先行フレームのグローバルフレームチャネル間位相差値を取得する。現在のフレームが２番目以降のフレームである場合には、計算された現在のフレームのグローバルフレームチャネル間位相差値を取得することができる。

アップミキシング部１４６０は、ダウンミックス信号にグローバルフレームチャネル間位相差値を適用して複数チャネル信号を生成する。

第四に、復号された複数チャネル信号を、エンコーダに入力された複数チャネル信号と最も類似した残響を有するようにチャネル間相関値を調節することができる。図１０（ｂ）を再び参照すると、チャネル間位相差値及びチャネル間相関値を用いて信号を復号する場合、原信号に比べて残響が誇張される問題点が発生する。残響とは、アンビエンスによって信号がより広い空間又はより狭い空間に存在するような効果を指し、本明細書で残響が誇張されるということは、原信号は狭い録音室で録音されたが、復号時に広い講堂で録音されたかのように聞こえることを意味する。

この種の問題点はチャネル間位相差値を伝送しない従来の信号処理方法及び装置で頻繁に発生するが、チャネル間位相差値を伝送する場合にも発生することがある。

図１５は、上記問題点を解決するための本発明の更にほかの実施例による信号処理装置１５００を示すブロック図である。信号処理装置１５００は、ＩＣＣ値測定部１５１０、ＩＰＤ値測定部１５２０、ＩＬＤ値測定部１５３０、情報決定部１５４０、ＩＣＣ値修正部１５５０、ＩＰＤモードフラグ生成部１５６０、ＩＰＤモードフラグ取得部１５７０、ＩＰＤ値取得部１５８０、ＩＣＣ値取得部１５９０及びアップミキシング部１５９５を含む。ＩＣＣ値測定部１５１０、ＩＰＤ値測定部１５２０及びＩＬＤ値測定部１５３０は、複数チャネル信号からそれぞれチャネル間相関値、チャネル間位相差値及びチャネル間レベル差値を測定することができる。

情報決定部１５４０及びＩＰＤモードフラグ生成部１５６０は、図１１における情報決定部１１２３及びＩＰＤフラグ生成部１１２４と同一の構成及び機能を有する。また、情報決定部１５４０は、測定されたチャネル間レベル差値及びチャネル間位相差値が全体音像定位においてどれくらいの比率を占めるか計算し、チャネル間位相差値の比率がより高い場合にのみチャネル間位相差値を用いると決定し、ＩＰＤモードフラグ生成部１５６０は、チャネル間位相差値を用いるか否かを示すチャネル間位相差モードフラグを生成する。

ＩＣＣ値修正部１５５０は、情報決定部１５４０がチャネル間位相差値を用いると決定した場合、ＩＣＣ値測定部１５１０から入力されたチャネル間相関値を修正することができる。好ましくは、チャネル間位相差値を用いるパラメータ帯域では、測定されたチャネル間相関値を含まなくてもよい。残響が誇張される問題点を解決するために、チャネル間相関値が表す値の大きさを修正して用いることができる。

ＩＰＤモードフラグ取得部１５７０及びＩＰＤ値取得部１５８０も、図１１におけるＩＰＤフラグ取得部１１３１及びＩＰＤ値取得部１１３２と同一の構成及び機能を有するので、その詳細な説明は省略する。

ＩＣＣ値取得部１５９０は、ＩＰＤモードフラグ取得部１５７０でチャネル間位相差フラグがチャネル間位相差値が用いられていることを示す場合、ＩＣＣ値修正部１５５０から修正されたチャネル間相関値を受信する。

アップミキシング部１５９５は、受信したダウンミックス信号に、チャネル間位相差値及び修正されたチャネル間相関値を適用することで、複数チャネル信号を生成することができる。したがって、チャネル間位相差値を用いる信号処理方法及び装置においてチャネル間相関値によって残響が誇張されて信号が歪むことを防止することができる。

第五に、チャネル間位相差値は、単純な音源を有する信号であるほど重要度がより大きいという特徴を利用することができる。

図１６は、本発明のさらに他の実施例による信号処理装置１６００を示すブロック図である。信号処理装置１６００は、入力信号分類部１６１０、ＩＰＤ値測定部１６２０、ＩＰＤフラグ生成部１６３０、ＩＰＤフラグ取得部１６４０、ＩＰＤ値取得部１６５０及びアップミキシング部１６６０を含むことができる。

入力信号分類部１６１０は、入力信号が音声（ｓｐｅｅｃｈ）のみを含む純音声信号であるか、音楽信号、又は音楽信号と音声信号とが混合された信号であるかを判断する。好ましくは、入力信号分類部１６１０は、ＳＡＤ（音響検知器：Ｓｏｕｎｄ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｏｒ）又はＳＭＣ（音声音楽分類器：Ｓｐｅｅｃｈ ａｎｄ Ｍｕｓｉｃ Ｃｌａｓｓｉｆｉｅｒ）などを含むことができる。

ＩＰＤ値測定部１６２０は、入力信号分類部１６１０で入力信号を音声信号のみを含む信号と判断する場合にのみ、チャネル間位相差値を測定する。ＩＰＤフラグ生成部１６３０、ＩＰＤフラグ取得部１６４０、ＩＰＤ値取得部１６５０及びアップミキシング部１６６０は、図１１におけるＩＰＤフラグ生成部１１２４、ＩＰＤフラグ取得部１１３１、ＩＰＤ値取得部１１３２及びアップミキシング部１１４０と同一の構成及び機能を有するので、その詳細な説明は省略する。

種々の信号が含まれる音楽信号又は音声信号に音楽信号が混合された混合信号は、チャネル間位相差値を利用しないでも、チャネル間レベル差値及びチャネル間相関値を用いてある程度の音像定位は可能である。しかし、音声信号のような単純な音源の場合は、チャネル間位相差値の重要度が相対的に高いため、チャネル間位相差値なしでは正確な音像定位が不可能である。したがって、入力信号分類部１６１０で入力信号が音声信号と分類される場合にはチャネル間位相差値を用いることによって、より正確に音像定位された複数チャネル信号として復号することができる。

図１７は、本発明の更にほかの実施例による信号処理装置１７００を示す図であり、この信号処理装置１７００は、複数チャネル符号化部１７１０、帯域幅拡張信号符号化部１７２０、オーディオ信号符号化部１７３０、音声信号符号化部１７４０、オーディオ信号復号部１７５０、音声信号復号部１７６０、帯域幅拡張信号復号部１７７０及び複数チャネル復号部１７８０を含む。

まず、複数チャネル符号化部１７１０において複数チャネル信号をダウンミックスして生成するダウンミックス信号を、以下全帯域ダウンミックス信号と呼び、全帯域ダウンミックス信号から高周波帯域の信号が除去されて低周波帯域のみ存在するダウンミックス信号を、低周波帯域ダウンミックス信号と呼ぶ。

複数チャネル符号化部１７１０は、複数のチャネルを有する（以下、複数チャネル）信号を受信する。受信した複数チャネル信号をダウンミックスして全帯域ダウンミックス信号を生成する一方、複数チャネル信号に対応する空間情報を生成する。この空間情報は、チャネルレベル差情報、チャネル予測係数、チャネル間相関値及びダウンミックス利得情報などを含むことができる。

本発明の一実施例による複数チャネル符号化部１７１０は、チャネル間位相差値を用いるか否かを決定してチャネル間位相差値を測定し、フレームでチャネル間位相差値を用いるか否かを示すチャネル間位相差モード情報及び全フレームのうち、チャネル間位相差値を用いるフレームがあるか否かを示すチャネル間位相差コーディング情報を生成してこれらをミックス情報と共に伝送できる。この過程は、図１乃至図４を参照して説明した通りであるから、その具体的な説明は省略する。

一方、複数チャネル符号化部１７１０には示していないが、図１乃至図４を参照して説明した信号処理装置又は図５乃至図１６を参照して説明した本発明の他の実施例による信号処理装置における符号化装置を含むことができる。

帯域幅拡張信号符号化部１７２０は、全帯域ダウンミックス信号を受信し、この全帯域ダウンミックス信号のうちの高周波帯域の信号に対応する拡張情報を生成することができる。この拡張情報は、後でデコーダ端で高周波帯域の除去された低周波帯域ダウンミックス信号を全帯域ダウンミックス信号に復元するための情報であり、空間情報とともに伝送することができる。

また、ダウンミックス信号は、当該信号の特性に基づいてオーディオ信号符号化方式で符号化されるか、又は、音声信号符号化方式で符号化されるかが決定され、この符号化方式を決定するモード情報が生成される（図示せず）。ここで、オーディオ符号化方式はＭＤＣＴ（修正離散コサイン変換）を用いるものとすることができるが、本発明はこれに限定されない。音声符号化方式は、ＡＭＲ−ＷＢ（適応複数速度広帯域）標準に従うものとすることができるが、本発明はこれに限定されない。

オーディオ信号符号化部１７３０は、帯域幅拡張信号符号化部１７２０から入力された拡張情報及び全帯域ダウンミックス信号を用いて、高周波領域の除去された低周波帯域ダウンミックス信号をオーディオ信号符号化方式によって符号化する。

オーディオ信号符号化方式で符号化される信号は、オーディオ信号であってもよいし、オーディオ信号に音声信号が一部含まれた信号であってもよい。また、オーディオ信号符号化部１７３０は、周波数領域符号化部とすることができる。

音声信号符号化部１７４０は、帯域幅拡張信号符号化部１７２０から入力された拡張情報及び全帯域ダウンミックス信号を用いて、高周波領域の除去された低周波帯域ダウンミックス信号を音声信号符号化方式によって符号化する。

音声信号符号化方式で符号化される信号は、音声信号であってもよいし、音声信号にオーディオ信号が一部含まれた信号であってもよい。また、音声信号符号化部１７４０は、線形予測符号化（ＬＰＣ）方式を更に利用することができる。入力信号が時間軸上で高い冗長性を有する場合、過去の信号から現在の信号を予測する線形予測によってモデリングされうるが、この場合、線形予測符号化方式を採用すると符号化効率を上げることができる。一方、音声信号符号化部１７４０は、時間領域符号化部とすることができる。

オーディオ信号復号部１７５０は、信号をオーディオ信号符号化方式によって復号する。オーディオ信号復号部１７５０に入力されて復号される信号は、オーディオ信号であってもよいし、オーディオ信号に音声信号が一部含まれた信号であってもよい。また、オーディオ信号復号部１７５０は、周波数領域復号部を含むことができ、ＩＭＤＣＴ（逆修正離散コサイン変換）を利用することができる。

音声信号復号部１７６０は、信号を音声信号符号化方式によって復号する。音声信号復号部１７６０で復号される信号は、音声信号であってもよいし、音声信号にオーディオ信号が一部含まれた信号であってもよい。また、音声信号復号部１７６０は、時間領域復号部を含むことができ、線形予測符号化方式を更に利用することができる。

帯域幅拡張信号復号部１７７０は、オーディオ信号復号部１７５０で復号された信号、又は音声信号復号部１７６０で復号された信号である低周波帯域ダウンミックス信号及び拡張情報を受信して、符号化時に除去された高周波領域に該当する信号が復元された全帯域ダウンミックス信号を生成する。

この全帯域ダウンミックス信号は、低周波帯域ダウンミックス信号の全部及び拡張情報を用いて生成することもできるが、低周波帯域ダウンミックス信号の一部を用いて生成することもできる。

複数チャネル復号部１７８０は、全帯域ダウンミックス信号、空間情報、チャネル間位相差値、チャネル間位相差モードフラグ及びチャネル間位相差符号化フラグを受信し、これらの情報を全帯域ダウンミックス信号に適用して複数チャネル信号を生成するが、この過程についての詳細な説明は、図１乃至図４を参照して説明した通りであるから省略する。

このように、本発明の信号処理方法及び装置は、チャネル間位相差値を用いて複数チャネル信号を生成することによって、複数チャネルデコーダが再生し難い位相差又は遅延差を効果的に再生することができる。

図１８は、本発明の一実施例によるＩＰＤ符号化フラグ取得部１８４１、ＩＰＤモードフラグ取得部１８４２、ＩＰＤ値取得部１８４３及びアップミキシング部１８４４が具現されている製品の概略的な構成を示す図であり、図１９は、本発明の実施例によるＩＰＤ符号化フラグ取得部１８４１、ＩＰＤモードフラグ取得部１８４２、ＩＰＤ値取得部１８４３及びアップミキシング部１８４４が具現されている製品間の関係を示す図である。

図１８を参照すると、有線無線通信部１８１０は、有線無線通信方式を用いてビットストリームを受信する。具体的に、有線無線通信部１８１０は、有線通信部１８１１、赤外線通信部１８１２、ブルトゥース部１８１３、無線ＬＡＮ通信部１８１４のうち一つ以上を含むことができる。

使用者認証部１８２０は、使用者情報を取り込んで使用者認証を行うもので、指紋認識部１８２１、虹彩認識部１８２２、顔認識部１８２３、及び音声認識部１８２４のうち一つ以上を含むことができ、それぞれ、指紋、虹彩情報、顔輪郭情報、音声情報を取り込んで使用者情報に変換し、使用者情報と既に登録されている使用者データとが一致するか否かを判断して、使用者認証を行うことができる。

入力部１８３０は、使用者が種々の命令を入力するための入力装置で、キーパッド部１８３１、タッチパッド部１８３２、リモコン部１８３３のうち一つ以上を含むことができるが、本発明はこれに限定されない。

信号復号部１８４０は、ＩＰＤ符号化フラグ取得部１８４１、ＩＰＤモードフラグ取得部１８４２、ＩＰＤ値取得部１８４３及びアップミキシング部１８４４を含み、これらは、図２において同一の名称を有するユニットと同一の構成及び機能を有するので、その詳細な説明は省略する。

制御部１８５０は、入力装置から入力信号を受信し、信号復号部１８４０と出力部１８６０のプロセス全般を制御する。上述のように、制御部１８５０に入力部１８３０から使用者入力、例えば、出力信号の位相偏移のｏｎ／ｏｆｆ、メタデータの入出力、信号復号部の作用ｏｎ／ｏｆｆなどが入力される場合、それを用いて信号を復号する。

出力部１８６０は、信号復号部１８４０によって生成された出力信号などが出力される構成要素で、信号出力部１８６１及びディスプレイ部１８６２を含むことができる。出力信号がオーディオ信号であれば、出力信号は信号出力部１８６１から出力され、出力信号がビデオ信号であれば、出力信号はディスプレイ部１８６２から出力される。また、入力部１８３０にメタデータが入力されると、それをディスプレイ部１８６２を介して画面に表示する。

図１９は、図１８に示された製品に該当する端末と端末との関係、端末とサーバとの関係を示す図である。図１９（ａ）を参照すると、第１端末１９１０及び第２端末１９２０が有線無線通信を介してデータ又はビットストリームの双方向通信ができることがわかる。ここで、有線無線通信を介して交換されるデータ又はビットストリームは、本発明に係る図１におけるビットストリームの形態であってもよいし、図５乃至図１６を参照して説明した本発明の位相偏移フラグ、グローバルフレームチャネル間位相差値などを含むデータであってもよい。図１９（ｂ）を参照すると、サーバ１９３０及び第１端末１９４０も同様、互いに有線無線通信を行うことができる。

図２０は、本発明の一実施例によるＩＰＤ符号化フラグ取得部２０４１、ＩＰＤモードフラグ取得部２０４２、ＩＰＤ値取得部２０４３及びアップミキシング部２０４４を含む複数チャネル復号部が具現されている放送信号復号装置２０００の概略的な構成を示す図である。

図２０を参照すると、デマルチプレクサ２０２０は、チューナ２０１０からＴＶ放送と関連したデータを受信する。これらのデータは、デマルチプレクサ２０２０で分離され、データデコーダ２０３０で復号される。一方、デマルチプレクサ２０２０で分離されたデータは、ＨＤＤのような記憶媒体２０５０に記憶することができる。

デマルチプレクサ２０２０で分離されたデータは、複数チャネル復号部２０４１及びビデオ復号部２０４２を含む信号復号部２０４０に入力されて、オーディオ信号及びビデオ信号として復号される。信号復号部２０４０は、本発明の一実施例によるＩＰＤ符号化フラグ取得部２０４１、ＩＰＤモードフラグ取得部２０４２、ＩＰＤ値取得部２０４３及びアップミキシング部２０４４を含み、これらは、図２における同一名称のユニットと同一の構成及び機能を有するので詳細な説明は省略する。信号復号部２０４０は、受信したチャネル間位相差値などを用いて信号を復号し、ビデオ信号が入力される場合はビデオ信号も復号して出力し、メタデータが生成される場合はそれをテキストの形態として出力する。

出力部２０７０は、ビデオ信号が復号されて、出力されたビデオ信号とメタデータが生成される場合、出力されたメタデータを画面に表示する。また、出力部２０７０はスピーカ部（図示せず）を含み、信号復号部２０４０から出力されるチャネル間位相差値を用いて復号された複数チャネル信号を、出力部２０７０に含まれたスピーカ部から出力する。また、信号復号部２０４０で復号されたデータは、ＨＤＤのような記憶媒体２０５０に記憶することができる。

一方、信号復号装置２０００は、使用者から情報を受信して該受信したデータを制御できるアプリケーションマネージャ２０６０をさらに含むことができる。アプリケーションマネージャ２０６０は、ユーザインタフェースマネージャ２０６１及びサービスマネージャ２０６２を含む。ユーザインタフェースマネージャ２０６１は、使用者から情報を受け取るためのインタフェースを制御する。例えば、出力部２０７０に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ２０６２は、信号復号部２０４０及び出力部２０７０で放送信号を復号して出力する場合、受信される放送信号を、使用者から入力される情報を用いて制御することができる。例えば、放送チャネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ２０６０から出力されるデータは、信号復号部２０４０のほか、出力部２０７０にも伝送されて利用可能である。

このように、実際製品に本発明の信号処理装置が含まれることによって、チャネル間レベル差値及びチャネル間相関値のみを用いてアップミックスされた複数チャネル信号を用いる従来の技術に比べて、チャネル間位相差値を用いることによってより音質が向上し、元来の入力信号に類似した複数チャネル信号を聴取することが可能になる。

本発明の適用される復号／符号化方法は、コンピュータで実行可能なプログラムとして製作されて、コンピュータ読み取り可能な記録媒体に記憶されることができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能な記録媒体に記憶されることができる。このコンピュータ読み取り可能な記録媒体は、コンピュータシステムで読み取り可能なデータが記憶されるいかなる種類の記憶装置をも含むことができる。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、搬送波（例えば、インターネットを介した伝送）の形態とすることもできる。また、該符号化方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に記憶されたり、有線／無線通信網を用いて伝送することができる。

以上では、限定された実施例及び図面に挙げて本発明を説明してきたが、本発明は、これに限定されず、本発明の属する技術の分野における通常の知識を有する者には、本発明の技術思想と添付した特許請求の範囲及びその均等範囲内で様々な修正及び変形は可能であるということが理解される。

本発明は、信号を符号化及び復号するために適用することができる。

Claims (10)

1. 複数チャネル信号から生成されたダウンミックス信号と、該ダウンミックス信号をアップミックスするために前記複数チャネル信号の属性を表す空間情報とを受信する段階と、
   前記空間情報のヘッダから、チャネル間位相差値が前記空間情報で用いられているか否かを示すチャネル間位相差符号化フラグを取得する段階と、
   前記チャネル間位相差符号化フラグに基づいて、前記空間情報のフレームから、前記チャネル間位相差値が前記空間情報のフレームで用いられているか否かを示すチャネル間位相差モードフラグを取得する段階と、
   前記チャネル間位相差モードフラグに基づいて、前記フレーム内のパラメータタイムスロットのパラメータ帯域のチャネル間位相差値を取得する段階と、
   先行するパラメータタイムスロットのチャネル間位相差値を用いて前記チャネル間位相差値を修正することによって、前記チャネル間位相差値を平滑化する段階と、
   前記ダウンミックス信号に前記平滑化されたチャネル間位相差値を適用して、複数チャネル信号としてアップミックスする段階と、を有し、
   前記空間情報は、前記ヘッダ及び複数個の前記フレームに区分され、
   前記チャネル間位相差値は、前記複数チャネル信号のうちの２チャネル間の位相差を表し、
   前記パラメータタイムスロットは、チャネル間位相差値を含むタイムスロットを示し、
   前記パラメータ帯域は、前記チャネル間位相差値を含む周波数領域上の少なくとも一つの副帯域である、信号処理方法。
2. 前記チャンネル間位相差値を用いて、前記複数チャネル信号のうちの２チャネル間の角度を表す位相角度を生成する段階と、
   前記先行するパラメータタイムスロットの位相角度を用いて前記位相角度を修正する段階と、
   を更に有する請求項１に記載の信号処理方法。
3. 前記平滑化されたチャネル間位相差値及び前記チャネル間位相差値を用いて、前記チャネル間位相差値が適用されないタイムスロットのチャネル間位相差値を決定する段階を更に有する請求項１に記載の信号処理方法。
4. 前記チャネル間位相差値は、該チャネル間位相差値と、前記ダウンミックス信号に含まれた前記複数チャネル信号の２チャネル間のレベル差を表すチャネル間レベル差値との比率が一定値以上である場合に、受信される請求項１に記載の信号処理方法。
5. 複数チャネル信号から生成されたダウンミックス信号と、前記ダウンミックス信号をアップミックスするために前記複数チャネル信号の属性を表す空間情報とを受信する信号受信部と、
   前記空間情報のヘッダから、チャネル間位相差値が前記空間情報で用いられているか否かを示すチャネル間位相差符号化フラグを取得するチャネル間位相差符号化フラグ取得部と、
   前記チャネル間位相差符号化フラグに基づいて、前記空間情報のフレームから、前記チャネル間位相差値が前記空間情報のフレームで用いられているか否かを示すチャネル間位相差モードフラグを取得する位相差モードフラグ取得部と、
   前記チャネル間位相差モードフラグに基づいて、パラメータタイムスロットのパラメータ帯域のチャネル間位相差値を取得するチャネル間位相差値取得部と、
   先行するパラメータタイムスロットのチャネル間位相差値を用いて前記チャネル間位相差値を修正することによって、前記チャネル間位相差値を平滑化するチャネル間位相差値平滑化部と、
   前記ダウンミックス信号に前記平滑化されたチャネル間位相差値を適用して複数チャネル信号を生成するアップミキシング部と、を備え、
   前記空間情報は、前記ヘッダ及び複数個の前記フレームに区分され、前記チャネル間位相差値は、前記複数チャネル信号のうちの２チャネル間の位相差を表し、前記パラメータタイムスロットは、同一のチャネル間位相差値が適用されるスロットを示し、前記パラメータ帯域は、前記チャネル間位相差値を含む周波数領域上の少なくとも一つの副帯域である、信号処理装置。
6. 前記チャネル間位相差値平滑化部は、
   前記チャネル間位相差値を用いて、前記複数チャネル信号のうちの２チャネル間の角度を表す位相角度を生成する位相角度生成部と、
   前記先行するパラメータタイムスロットの位相角度を用いて前記位相角度を修正する位相角度修正部と、を備える請求項５に記載の信号処理装置。
7. 前記平滑化されたチャネル間位相差値及び前記チャネル間位相差値を用いて、前記チャネル間位相差値が適用されないタイムスロットのチャネル間位相差値を決定するチャネル間位相差値補間部を更に備える請求項５に記載の信号処理装置。
8. 前記チャネル間位相差値は、該チャネル間位相差値と、前記ダウンミックス信号に含まれた前記複数チャネル信号の２チャネル間のレベル差を表すチャネル間レベル差値との比率が一定値以上である場合に、受信される請求項５に記載の信号処理装置。
9. 複数チャネル信号をダウンミックスしてダウンミックス信号を生成する段階と、
   前記ダウンミックス信号をアップミックスするために前記複数チャネル信号の属性を表す空間情報を生成する段階と、を有し、
   前記空間情報を生成する段階は、
   前記複数チャネル信号の２チャネル間の位相差を表すチャネル間位相差値を測定する段階と、
   前記複数チャネル信号の２チャネル間のレベル差を表すチャネル間レベル差値を測定する段階と、
   前記チャネル間レベル差値と前記チャネル間位相差値との比率が一定値以上である場合に、前記チャネル間位相差値が前記空間情報で用いられることを示すチャネル間位相差符号化フラグを生成する段階と、
   前記チャネル間位相差値がフレームで用いられることを示すチャネル間位相差モードフラグを生成する段階と、
   前記チャネル間位相差値及び前記チャネル間位相差モードフラグを前記空間情報の前記フレームに含め、前記チャネル間位相差符号化フラグを前記空間情報のヘッダに含める段階と、
   を有する信号処理方法。
10. 複数チャネル信号をダウンミックスしてダウンミックス信号を生成するダウンミキシング部と、
    前記ダウンックス信号をアップミックスするために前記複数チャネル信号の属性を表す空間情報を生成する空間情報生成部と、を備え、
    前記空間情報生成部は、
    前記複数チャネル信号の２チャネル間の位相差を表すチャネル間位相差値を測定するチャネル間位相差値測定部と、
    前記複数チャネル信号の２チャネル間のレベル差を表すチャネル間レベル差値を測定するチャネル間レベル差値測定部と、
    前記チャネル間レベル差値と前記チャネル間位相差値との比率が一定値以上である場合に、前記チャネル間位相差値を用いると決定する情報決定部と、
    前記チャネル間位相差値が前記空間情報で用いられることを示すチャネル間位相差符号化フラグを生成するチャネル間位相差符号化フラグ生成部と、
    前記チャネル間位相差値がフレームで用いられることを示すチャネル間位相差モードフラグを生成するチャネル間位相差モードフラグ生成部と、を備え、
    前記チャネル間位相差値及び前記チャネル間位相差モードフラグは、前記空間情報の前記フレームに含まれ、前記チャネル間位相差符号化フラグは、前記空間情報のヘッダに含まれる、信号処理装置。

Images