JP2011509429A - 信号処理方法及び装置 - Google Patents

Abstract

本発明は、複数チャネル信号から生成されたダウンミックス信号、該複数チャネル信号に関するミックス情報、及び位相シフト情報を受信するステップと、該ダウンミックス信号にミックス情報を適用して複数チャネル信号にアップミキシングするステップと、位相シフト情報に基づいて複数チャネル信号のうち一つ以上のチャネルの位相をシフトさせて原形の複数チャネル信号を生成するステップと、を含む信号処理方法及びその装置を提供する。本発明によると、補償情報を用いて、復元された複数チャネル信号を補償することによって、ミックス情報を用いてアップミキシングすることで復元される複数チャネル信号で損失される情報または信号を補完することができる。
【選択図】図１

Description

本発明は、オーディオ信号のエンコーディング及びデコーディング過程で損失される情報を補償するために、追加的に補償情報を用いて信号の音質を向上させる信号処理方法及び装置に関するものである。

一般に、チャネル間相関情報、チャネルレベル差情報、及びゲイン情報などを含むミックス情報を用いてダウンミックス信号から複数個のチャネル信号を復元することができる。

ミックス情報を用いてダウンミックス信号を複数個のチャネル信号に復元する場合、損失される情報が存在するため、ダウンミックス信号に正確なゲインが適用されないか、または、復元されたチャネル信号の間に存在する位相差または遅延差が正確に復元されないことがある。

したがって、本発明は、信号処理装置及びその方法に向けられ、関連技術の制限や不利点による１つ以上の問題を実質的に取り除く。

本発明の目的は、デコーディングされたオーディオ信号または音声信号に追加的に補償情報を適用する方法で、音質を改善させることができる信号処理装置及びその方法を提供することにある。

本発明の更なる特性と利点は、以下の記載で説明され、当該記載から一部が明らかとなり、又は本発明の実施により知ることができる。本発明の目的とその他の利点は、明細書、特許請求の範囲、図面で特に示される構成により、実現され、及び達成される。

上記目的を達成するための本発明に係る信号処理方法は、複数チャネル信号から生成されたダウンミックス信号、該複数チャネル信号に関するミックス情報、及び位相シフト情報を受信するステップと、前記ダウンミックス信号に前記ミックス情報を適用して複数チャネル信号にアップミキシングするステップと、前記位相シフト情報に基づいて前記複数チャネル信号のうち一つ以上のチャネルの位相がシフトした原形の複数チャネル信号を生成するステップと、を含むことができる。

本発明によれば、前記原形の複数チャネル信号は、前記一つ以上のチャネルの位相をπ／２だけシフトしたものでありうる。

本発明によれば、前記原形の複数チャネル信号は、前記複数チャネル信号のうち一つ以上のチャネルの全周波数帯域を同一の位相だけシフトさせたものでありうる。

本発明によれば、前記ダウンミックス信号は、音声コーディング方式及びオーディオコーディング方式のうち少なくとも一つによってコーディングされた低周波帯域ダウンミックス信号を用いて高周波帯域が復元された全帯域ダウンミックス信号を含む。

本発明によれば、前記位相シフト情報は、フレーム別に可変的でありうる。

本発明によれば、前記位相シフト情報は、サブバンド別に可変的でありうる。

本発明によれば、前記原形の複数チャネル信号を生成するステップは、前記ダウンミックス信号の生成時に損失したゲインを補償するためのゲイン補償情報をさらに用いることができる。

また、上記目的を達成するための本発明に係る信号処理方法は、複数チャネル信号から生成されたダウンミックス信号、該複数チャネル信号に関するミックス情報及びゲイン補償情報を受信するステップと、前記ダウンミックス信号に前記ミックス情報を適用して複数チャネル信号にアップミキシングするステップと、前記ゲイン補償情報に基づいて前記複数チャネル信号のうち一つ以上のチャネルのゲインを調節することによって原形の複数チャネル信号を生成するステップと、を含むことができる。

また、上記目的を達成するための本発明に係る信号処理装置は、複数チャネル信号から生成されたダウンミックス信号、前記複数チャネル信号に関するミックス情報、及び位相シフト情報を受信する信号受信部と、前記ダウンミックス信号に前記ミックス情報を適用して複数チャネル信号にアップミキシングするアップミキシング部と、前記位相シフト情報に基づいて前記複数チャネル信号のうち一つ以上のチャネルの位相がシフトした原形の複数チャネル信号を生成する信号シフト部と、を含むことができる。

当然のことであるが、前記の一般的な記載、及び以下の詳細な記載の両方は、典型的なもの、説明的なものであり、請求項に記載される本発明の更なる説明を提供することを目的とする。

本発明は、下記の効果及び利点を提供する。

第一、本発明の信号処理装置及び方法は、補償情報を用いて、復元された複数チャネル信号を補償し、これによりミックス情報を用いてアップミキシングすることで復元される複数チャネル信号内で損失される情報または信号を補完することができる。

第二、位相シフト情報に基づいて、デコーディングされたオーディオ信号または音声信号の位相をシフトさせ、デコーディング時にダウンミックス信号を構成するチャネル信号に関するミックス情報（チャネル間相関情報及びチャネルレベル差情報など）だけでは効率的に再生しにくい位相差または遅延差を、効率的に再生することができる。

第三、本発明の信号処理装置及び方法は、デコーディングされたオーディオ信号または音声信号の位相をシフトさせるか否かを位相シフト情報に基づいて決定することによって、位相差または遅延差の度合に応じてステレオ信号を出力したり、位相シフトしたステレオ信号を出力したりすることができる。

本発明の更なる理解を提供するために添付され、組み込まれ、及び本明細書の一部を構成する図面は、本発明の実施例を説明し、明細書と共に、本発明の原理を説明する。

本発明の一実施例による信号処理装置を示す概路図である。 本発明の他の実施例による信号処理装置を示す概路図である。 本発明の他の実施例による信号処理装置を示す概路図である。 従来の残余コーディング方式を用いる本発明の他の実施例による信号処理装置を示す概路図である。 本発明の補償情報のビットストリーム上の構造を示す図である。 本発明の他の実施例による信号処理装置を示す図である。 本発明の信号処理装置を含む製品を示す概路図である。 本発明の信号処理装置を含む製品を示す概路図である。

以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。下記の説明において、本明細書及び請求の範囲に使われた用語や語句は、通常的または辞書的な意味に限定して解釈してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立って本発明の技術的思想に符合する意味と概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の好適な一実施例に過ぎないもので、本発明を実施できる唯一のものではないので、本出願時点においてそれらに取って代わる様々な均等物と変形例が存在しうることを理解されたい。

特に、本発明でいうコーディングは、エンコーディング及びデコーディングの両方を含む概念として理解すべきである。

また、本明細書でいう情報（information）は、総じて値（values）、パラメータ（parameter）、係数（coefficients）、成分（elements）などを意味するが、場合によって異なる意味とされるので、本発明はこれに限定されない。そして、本明細書では信号の一例をステレオ信号として説明するが、これに限定されず、３つ以上のチャネルを有するマルチチャネル信号としても良い。

図１は、本発明の実施例による信号エンコーディング装置１００を示す図である。

図１を参照すると、信号エンコーディング装置１００は、補償情報生成部１１０、ダウンミキシング部１２０、アップミキシング部１３０、及び信号補償部１４０を含む。

補償情報生成部１１０は、オーディオ信号を受信し、まず、補償情報抽出部１１２で補償情報を抽出する。該補償情報は、オーディオ信号のエンコーディング及びデコーディング過程で損失される情報を補償するためのもので、従来のミックス情報を補完するためのものである。ここで、ミックス情報は、チャネル間レベル情報、チャネル間相関情報、及びゲイン情報などを含み、補償情報は、位相シフト情報及びゲイン補償情報を含む。この位相シフト情報及びゲイン補償情報についての詳細は、図２及び図３を参照して後述する。上記抽出された補償情報は、補償情報エンコーディング部１１４でエンコーディングされ、エンコーダから出力される。該補償情報のビットストリーム構造は、図７を参照して後述する。

ダウンミキシング部１２０は、補償情報及びオーディオ信号を入力としてダウンミックス信号及びミックス情報を生成する。該ダウンミックス信号及びミックス情報は、当該補償情報を用いて補償されたオーディオ信号から生成することができるが、該補償情報はダウンミキシング部１２０に入力されるものの、いかなる役割を行わなくても良い。

アップミキシング部１３０は、ミックス情報を用いてダウンミックス信号をアップミキシングすることで、複数チャネル信号を生成することができる。アップミキシングとは、ダウンミックス信号のチャネルよりも多い数のチャネル信号を生成するために、アップミキシングマトリクスを適用することを指し、アップミキシングされた信号とは、アップミキシングマトリクスが適用された信号のことを指す。したがって、複数チャネル信号は、ダウンミックス信号よりも多い数のチャネルを有する信号となる。また、複数チャネル信号は、アップミキシングマトリクスが適用された信号そのものを指すこともでき、アップミキシングマトリクスが適用されることによって複数個のチャネルを有するように生成されたＱＭＦドメイン信号を指すこともでき、ＱＭＦドメイン信号が時間ドメイン上の信号に変換された最終信号を指すこともできる。

信号補償部１４０は、まず、補償情報デコーディング部１４４で、受信した補償情報をデコーディングする。該デコーディングされた補償情報は、複数チャネル信号とともに補償情報適用部１４２に入力されて、該複数チャネル信号を補償する。ここで、補償情報は、ＱＭＦドメイン上の情報とすることができ、複数チャネル信号もＱＭＦドメイン信号とすることができるが、これに限定されることはない。

このように、アップミキシングされた複数チャネル信号にミックス情報の他に補償情報をさらに適用することで、オーディオ信号のエンコーディング及びデコーディング時に損失された情報を補償し、音質を向上させることができる。

オーディオ信号のエンコーディング及びデコーディング過程で損失された情報を補完するための補償情報は、位相差による損失を補うための位相シフト情報、及びダウンミックス過程で損失されたゲイン情報を補うためのゲイン補償情報を含み、これについて図２及び図３を参照して説明する。

図２は、位相シフト情報を用いて、復元された複数チャネル信号を補う信号処理装置２００を示す図である。

図２を参照すると、信号処理装置２００は、位相シフト情報生成部２１０、信号修正部２２０、ダウンミキシング部２３０、アップミキシング部２４０、及び信号シフト部２５０を含む。

位相シフト情報生成部２１０は、まず、原形の複数チャネル信号を受信する。該原形の複数チャネル信号は、複数チャネル信号の他のチャネルと一致しない少なくとも一つのチャネルを有する。原形の複数チャネル信号は、ステレオ信号、又は３つ以上のチャネルを有する信号とすることができる。

位相シフト情報抽出部２１２は、当該受信した原形の複数チャネル信号の位相を一致させるためにシフトされる位相の度合を示す位相シフト情報を、該原形の複数チャネル信号から抽出する。該抽出された位相シフト情報は、位相シフト情報エンコーディング部２１４でエンコーディングされて送信される。

この位相シフト情報は、原形の複数チャネル信号の位相がシフトしたことを示すフラグ情報（bsPhase）とすることもでき、このフラグ情報の他に、位相シフトした度合、位相シフトするチャネル信号、位相シフトが起きる周波数帯域、及び位相シフトと対応する時間情報などの位相シフトに関する情報をさらに含むものとすることもできる。

まず、位相シフト情報がフラグ情報（bsPhase）のみを示す場合は、原形の複数チャネル信号の位相は、固定値を用いてシフトされる。これにより、複数チャネル信号を生成することができる。例えば、原形の複数チャネル信号がステレオ信号の場合、ステレオ信号のうち右側チャネルの位相をπ／２だけ減少させるか、または、左側チャネルの位相をπ／２だけ増加させることで、左側及び右側チャネルが直交するように位相をシフトさせて複数チャネル信号を生成することができる。あるいは、π／２の位相シフトに限定されず、左側及び右側チャネルが互いに直交するように位相をシフトさせて複数チャネル信号を生成することもできる。

この場合、シフトした位相は、原形の複数チャネル信号の全周波数帯域に同一に適用されることによって複数チャネル信号を生成することができる。また、原形の複数チャネル信号の一つ以上のチャネルの位相をπ／２だけ変形するという情報、または直交となるようにシフトされた位相に関する情報を別途に送信する代わりに、将来的にデコーダ端に設定される情報を用いることもできるが、これに本発明が限定されることはない。

この位相シフト情報は、フラグ情報（bsPhase）に加えて、位相シフトに関する詳細情報をさらに含むことができる。詳細情報は、位相のシフト度合、位相シフトするチャネル信号、位相シフトする周波数帯域及び時間情報を含むことができ、位相のシフト度合は、位相シフト情報抽出部２１２に入力される原形の複数チャネル信号の相互相関（cross-correlation）情報に基づく遅延（delay）を測定して決定することができる。

一方、該位相シフト情報は、フレーム別に複数チャネル信号の位相がシフトする度合を可変的に示すことができ、位相シフト情報がフラグ情報のみを含む場合は、フレーム別に位相がシフトしたか否かを示すことができる。なお、位相シフト情報がフラグ情報、及び位相シフトに関する詳細情報を含む場合は、詳細情報はサブバンド別に位相のシフト度合を可変的に示すことができ、一定時間範囲ごとに可変的に該当の時間における位相のシフト度合を示すこともできる。

信号修正部２２０は、この位相シフト情報及び原形の複数チャネル信号を受信する。位相シフト情報を用いて一つ以上のチャネルの位相を修正することにより、原形の複数チャネル信号から複数チャネル信号を生成することができる。上記したように、位相が一致していない原形の複数チャネル信号を同相の（in-phase）原形の複数チャネル信号に修正することにより、位相シフト情報が生成される。あるいは、同相の複数チャネル信号を故意に位相シフトさせて位相が不一致な信号(out-of-phase signal)にし、これに対応する位相シフト情報を生成することも可能である。

ダウンミキシング部２３０は、複数チャネル信号を受信し、ダウンミックス信号及びミックス情報を生成することができる。複数チャネル信号は、ステレオ信号に限定されず、３つ以上のチャネルを有する信号であっても良く、複数チャネル信号が３つ以上のチャネルを有する信号である場合、ダウンミックス信号は、ステレオダウンミックス信号または３つ以上のチャネルを有するダウンミックス信号でありうる。

また、ダウンミキシング部２３０は、複数チャネル信号の属性を示すミックス情報を生成することができる。該ミックス情報は、デコーダでダウンミックス信号を複数チャネル信号にデコーディングするのに用いられる情報であり、チャネルレベル差（Channel Level Difference；CLD）情報、チャネル予測係数（Channel Prediction Coefficient）、及びチャネル間相関（Inter-Channel Correlation；ICC）情報などを含むことができる。

また、ビットストリーム生成部（図示せず）は、ダウンミックス信号、ミックス情報、及び位相シフト情報を含む一つのビットストリームを生成することができる。

一方、ダウンミックス信号を構成する入力信号は、複数チャネル信号に限定されず、一つ以上のオブジェクト信号で構成された複数オブジェクト信号であっても良い。この場合、ミックス情報は、複数オブジェクト信号に関する情報であることは明らかである。

アップミキシング部２４０は、図１のアップミキシング部１３０と同一の構成及び役割を有するもので、復元された複数チャネル信号は、アップミキシングマトリクスが適用されてアップミキシングされた信号であっても良く、アップミキシングされてＱＭＦドメイン上に生成された信号であっても良く、時間ドメイン上の信号として最終出力された信号であっても良い。

信号シフト部２５０は、位相シフト情報を受信し、これを位相シフト情報デコーディング部２５４でデコーディングし、この位相シフト情報は、位相シフト情報適用部２５２に受信された複数チャネル信号に適用されることで、原形の複数チャネル信号を復元する。

位相シフト情報デコーディング部２５４でデコーディングされた位相シフト情報は、複数チャネル信号の位相がシフトしたか否かを示すフラグ情報（bsPhase）のみを含むことができる。この位相シフト情報は、フレーム別に可変的に含まれることができ、その意味は下記の表１の通りである。

位相シフト情報（bsPhase）が、複数チャネル信号に位相シフト情報が適用されたことを示す場合、位相シフト情報適用部２５２は、複数チャネル信号に位相シフト情報を適用して原形の複数チャネル信号を復元することができる。

第一に、位相シフト情報がフラグ情報である場合、この位相シフト情報に基づき、複数チャネル信号は固定した値を用いて位相シフトすることで原形の複数チャネル信号を復元することができる。例えば、複数チャネル信号の一つ以上のチャネルをπ／２だけ増加または減少させることもでき、複数チャネル信号が互いに直交するように位相をシフトさせることもできる。この時、π／２、または直交のためにシフトする位相の大きさは、デコーダに既に設定された値を用いれば良く、別にエンコーダで測定して送信されるものではない。

この場合、π/２、または直交のためにシフトする位相の大きさは、複数チャネル信号の全周波数帯域に同一に適用されて、原形の複数チャネル信号を生成することができる。

第二に、位相シフト情報は、フラグ情報（bsPhase）の他に、位相シフトに関する詳細情報も含む場合、この詳細情報を用いて原形の複数チャネル信号を復元することができる。詳細情報は、位相のシフト度合、位相シフトするチャネル信号、位相シフトが起きる周波数帯域、位相シフトと対応する時間情報などを含み、これらの逆変換のための情報を含むことができる。なお、位相のシフト度合は、エンコーダに入力された原形の複数チャネル信号の相互相関情報に基づく遅延を用いて決定することができる。

一方、この位相シフト情報は、フレーム別に複数チャネル信号の位相がシフトする度合を可変的に示すことができ、位相シフト情報がフラグ情報のみを含む場合は、フレーム別に位相シフトしたか否かを示すことができる。なお、位相シフト情報がフラグ情報及び位相シフトに関する詳細情報を含む場合は、この詳細情報は、サブバンド別に位相のシフト度合を可変的に示すこともでき、一定の時間範囲ごとに可変的に該当の時間における位相のシフト度合を示すこともできる。

このように、位相シフト情報適用部２５２は、複数チャネル信号を原形の複数チャネル信号に復元するために、ミックス情報の他に位相シフト情報をさらに用いる。ミックス情報を用いてダウンミックス信号をデコーディングする場合に、損失発生により復元が困難である位相差、遅延差などを、効率的に復元することができる。

図３は、ゲイン補償情報を用いて、損失されるミックス情報を補う信号処理装置３００を示す図である。

信号処理装置３００は、ゲイン補償情報生成部３１０、ダウンミキシング部３２０、アップミキシング部３３０、及び信号補償部３４０を含む。ここで、ダウンミキシング部３２０、アップミキシング部３３０の基本的な構成及び役割は、図１におけるダウンミキシング部１２０及びアップミキシング部１３０と同一であり、その詳細は省略する。

ゲイン補償情報生成部３１０は、ゲイン補償情報抽出部３１２及びゲイン補償情報エンコーディング部３１４を含む。複数個のチャネルを有する複数チャネル信号がゲイン補償情報抽出部３１２に入力される場合、将来ダウンミキシング時に損失されるゲイン値を補償するためのゲイン補償情報を抽出する。ゲイン補償情報は、ミックス情報に含まれるゲイン情報とは別のものであり、例えば、複数チャネル信号の各チャネルのパワーの和であってもよく、各チャネルのパワーをさらに含むこともできる。ゲイン補償情報は、ゲイン補償情報エンコーディング部３１４でエンコーディングされて別の情報として送信される。

信号補償部３４０は、送信されたゲイン補償情報をゲイン補償情報デコーディング部３４４で受信し、該情報をデコーディングしてゲイン補償情報適用部３４２に出力する。

ゲイン補償情報適用部３４２は、ゲイン補償情報を、アップミキシング部３３０でアップミキシングされて復元された複数チャネル信号に適用して、損失された情報を補償し、これで複数チャネル信号を復元する。

ダウンミキシング部３２０で複数チャネル信号がダウンミックス信号にダウンミキシングされる場合、ゲイン値に損失が発生すると、ミックス情報に含まれてデコーダに送信されるゲイン情報をアップミキシング部３３０で当該ダウンミックス信号に適用しても、複数チャネル信号を元の通りに復元することができず、損失された複数チャネル信号のまま復元することになる。この場合、ゲイン補償情報に含まれた複数チャネル信号のパワーの和または各チャネルのパワーを用いて、損失された複数チャネル信号のレベルを調節することで、損失された信号を補償することができる。

一方、ゲイン補償情報は、アップミキシング部３３０に入力されて、アップミキシングマトリクスを修正し、該修正されたアップミキシングマトリクスをダウンミックス信号に適用することで、複数チャネル信号を損失なしに復元することもできる。

なお、ゲイン補償情報は、図２における信号処理装置でさらに用いられて、原形の複数チャネル信号を損失なしに効果的に復元することもできる。

本発明の信号処理装置及び方法において、補償情報は、従来の信号処理方式に従った生成、又はデコーディングにより使用可能であるが、本発明は、これに限定されない。このように、既存の残余（residual）信号を生成しデコーディングするユニットを用いて補償情報を生成しデコーディングして用いることで、従来の残余信号を用いる信号処理装置と互換性を確保することができる。

図４を参照すると、図１の補償情報エンコーディング部１１４を残余信号生成部４１４に、補償情報デコーディング部１４４を残余信号デコーディング部４４４に取り替え、従来の残余コーディング方式により補償情報を生成及びデコーディングすることで互換性を確保することが可能になる。

残余信号生成部４１４は、補償情報抽出部４１２で抽出された補償情報を、ビットストリームの拡張領域に位置する別途のチャネルストリームの形態にして転送することができ、残余信号デコーディング部４４４は、該別途のチャネルストリーム形態で含まれた補償情報をデコーディングしてＭＤＣＴ（modified discrete coefficient transform）係数を取得し、これをＱＭＦドメインの形態に変換し、補償情報適用部４４２で、該ＱＭＦドメイン形態を複数チャネル信号に適用して、アップミキシングされた複数チャネル信号を補償する。

図５は、本発明の補償情報のビットストリーム構造を示す図である。

図５を参照すると、ミックス情報５１０は必須に送信すべき情報であり、補償情報５２０は選択的に用いることができる。補償情報５２０は、既存ビットストリームの末尾部にさらに配置される新規拡張領域に含まれる。

したがって、従来のＨＥ ＡＡＣ ｖ２のようなデコーディング装置ではデコーディングされず、新規拡張領域まで支援するデコーディング装置ではデコーディングされて用いられることができるので、下位互換性を有する。

また、本発明の補償情報は、音声信号及び／またはオーディオ信号を適切な方式によってコーディングするための信号処理装置に含まれる複数チャネルエンコーディング部及び複数チャネルデコーディング部で用いることができる。

図６は、本発明の他の実施例による信号処理装置６００を示す図である。

信号処理装置６００は、複数チャネルエンコーディング部６１０、帯域幅拡張信号エンコーディング部６２０、オーディオ信号エンコーディング部６３０、音声信号エンコーディング部６３５、多重化部６４０、逆多重化部６５０、オーディオ信号デコーディング部６６０、音声信号デコーディング部６６５、帯域幅拡張信号デコーディング部６７０、及び複数チャネルデコーディング部６８０を含む。

まず、複数チャネルエンコーディング部６１０で複数チャネル信号をダウンミキシングして生成するダウンミックス信号を、全帯域ダウンミックス信号と称し、以降、全帯域ダウンミックス信号から高周波帯域の信号が除去されて低周波帯域のみ存在するダウンミックス信号を、低周波帯域ダウンミックス信号と称する。

複数チャネルエンコーディング部６１０は、複数個のチャネルを有する（以下、複数チャネル）信号が入力され、入力された複数チャネル信号をダウンミキシングして全帯域ダウンミックス信号を生成する一方で、複数チャネル信号に対応するミックス情報を生成する。このミックス情報は、チャネルレベル差情報、チャネル予測係数、チャネル間相関情報、及びダウンミックスゲイン情報などを含むことができる。

本発明の一実施例による複数チャネルエンコーディング部６１０は、入力信号が位相の一致していない原形の複数チャネル信号である場合、位相を修正して複数チャネル信号及び位相シフト情報を生成し、これをミックス情報とともに転送することもでき、入力信号の位相を修正せずに、単にデコーダ端で位相シフトさせるように位相シフト情報のみを生成して転送することもできる。これは、図２における説明と同様であり、その過程についての具体的な説明は省略する。

帯域幅拡張信号エンコーディング部６２０は、全帯域ダウンミックス信号を受信し、該全帯域ダウンミックス信号のうち高周波帯域の信号に対応する拡張情報を生成することができる。この拡張情報は、将来デコーダ端で高周波帯域が除去される低周波帯域ダウンミックス信号を、全帯域ダウンミックス信号に復元するのに用いられる情報であり、ミックス情報とともに転送することができる。

また、ダウンミックス信号は、信号の特性に基づいてオーディオ信号コーディング方式または音声信号コーディング方式でコーディングされるか決定され、このコーディング方式を決定するモード情報を生成する（図示せず）。ここで、オーディオコーディング方式はＭＤＣＴを用いるものにすることができるが、本発明がこれに限定されるわけではない。音声コーディング方式（speech coding scheme）は、ＡＭＲ−ＷＢ（Adaptive multi-rate Wide-Band）標準に従うものとすることができるが、本発明がこれに限定されるわけでない。

オーディオ信号エンコーディング部６３０は、帯域幅拡張信号エンコーディング部６２０から入力された拡張情報及び全帯域ダウンミックス信号を用いて、高周波領域の除去された低周波帯域ダウンミックス信号を、オーディオ信号コーディング方式によってエンコーディングする。

このオーディオ信号コーディング方式でコーディングされる信号は、オーディオ信号であってもよく、オーディオ信号に音声信号が部分的に含まれた信号であっても良い。また、オーディオ信号エンコーディング部６３０は、周波数ドメインエンコーディング部を含むことができる。

音声信号エンコーディング部６３５は、帯域幅拡張信号エンコーディング部６２０から入力された拡張情報及び全帯域ダウンミックス信号を用いて、高周波領域の除去された低周波帯域ダウンミックス信号を、音声信号コーディング方式によってエンコーディングする。

この音声信号コーディング方式でコーディングされる信号は、音声信号であっても良く、音声信号にオーディオ信号が部分的に含まれた信号であっても良い。また、音声信号エンコーディング部６３５は、線形予測符号化（LPC：Linear Prediction Coding）方式をさらに用いることができる。入力信号が時間軸上で高い冗長性を有する場合、過去の信号から現在の信号を予測する線形予測によってモデリングされることができ、この場合、線形予測符号化方式を採択すると、符号化効率を高めることができる。一方、音声信号エンコーディング部６３５は、時間ドメインエンコーディング部を含むことができる。

多重化部６４０は、エンコーディングされたオーディオ信号または音声信号、位相シフト情報及び拡張情報を含むミックス情報を用いて、転送するビットストリームを生成する。

逆多重化部６５０は、多重化部６４０から受信したすべての信号を分離することができる。オーディオコーディング方式及び音声コーディング方式のうち少なくとも一つ以上によってエンコーディングされた信号を受信することができ、この信号は、ミックス情報の他に、位相シフト情報、拡張情報及び低周波帯域ダウンミックス信号を含むことができる。

オーディオ信号デコーディング部６６０は、当該信号をオーディオ信号コーディング方式によってデコーディングする。オーディオ信号デコーディング部６６０に入力されてデコーディングされる信号は、オーディオ信号であって良く、オーディオ信号に音声信号が部分的に含まれた信号であっても良い。なお、オーディオ信号デコーディング部６６０は、周波数ドメインデコーディング部を含むことができ、逆修正離散コサイン変換（Inverse Modified Discrete Coefficient Transform: IMDCT）を用いることができる。

音声信号デコーディング部６６５は、当該信号を音声信号コーディング方式によってデコーディングする。音声信号デコーディング部６６５でデコーディングされる信号は、音声信号であっても良く、音声信号にオーディオ信号が部分的に含まれた信号であっても良い。なお、音声信号デコーディング部６６５は、時間ドメインデコーディング部を含むことができ、線形予測符号化（ＬＰＣ）方式をさらに用いることができる。

帯域幅拡張信号デコーディング部６７０は、オーディオ信号デコーディング部６６０でデコーディングされた信号または音声信号デコーディング部６６５でデコーディングされた信号である低周波帯域ダウンミックス信号及び拡張情報を受信し、エンコーディング時に除去された高周波領域に該当する信号が復元された全帯域ダウンミックス信号を生成する。

この全帯域ダウンミックス信号は、低周波帯域ダウンミックス信号の全部及び拡張情報を用いて生成することもでき、低周波帯域ダウンミックス信号の一部を用いて生成することもできる。

複数チャネルデコーディング部６８０は、全帯域ダウンミックス信号、ミックス情報、位相シフト情報を受信し、ミックス情報を全帯域ダウンミックス信号に適用して複数チャネル信号を生成し、位相シフト情報に基づいて原形の複数チャネル信号を復元する。この過程についての詳細は、図２を参照して説明した通りであるので、その説明は省略する。

このように、本発明の信号処理方法及び装置によると、複数チャネルデコーダを用いて復元された複数チャネル信号に位相シフト情報を適用して原形の複数チャネル信号を生成することによって、複数チャネルデコーダで再生しにくい位相差または遅延差を、効果的に再生することが可能になる。

本発明の位相シフト情報を用いる信号処理装置は、様々な製品に含まれて用いられることができる。この信号処理装置を含む製品は、主に、スタンドアロン（stand alone）グループとポータブル（portable）グループを含むことができ、スタンドアロングループは、ＴＶ、モニタ、セットトップボックスなどを含むことができ、ポータブルグループは、ＰＭＰ、携帯電話、ナビゲーションなどを含むことができる。

図７及び図８は、本発明の信号処理装置が含まれる製品を示す図である。

図７は、スタンドアロングループの一例であるＴＶが、本発明の信号処理装置を含む場合であり、図８は、ポータブルグループである携帯電話が、本発明の信号処理装置を含む場合である。

図７及び図８を参照すると、製品は本発明の信号処理デコーディング装置を含む。この信号処理デコーディング装置は、図１における信号処理装置のうち、アップミキシング部１３０及び信号補償部１４０を含み、これらの構成及び役割については、図１で説明した通りであるので、詳細な説明は省略する。

このように、実際の製品に本発明の信号処理装置が含まれることによって、ミックス情報のみを用いてアップミキシングされた複数チャネル信号を用いる従来の技術に比べて、より音質が向上し、原入力信号である原形の複数チャネル信号に近い信号を聴取することが可能になる。

本発明の適用されるデコーディング／エンコーディング方法は、コンピュータで実行可能なプログラムとして製作して、コンピュータ読み取り可能記録媒体に記憶させることができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能記録媒体に記憶させることができる。コンピュータ読み取り可能記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶されうるいかなる種類の記憶装置も含むことができる。コンピュータ読み取り可能記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた転送）の形態で具現されるものも含む。また、エンコーディング方法により生成されたビットストリームは、コンピュータ読み取り可能記録媒体に記憶されたり、有／無線通信網を用いて伝送されたりすることができる。

本発明は、信号のエンコーディング及びデコーディングに適用可能である。

以上では限定された実施例と図面を参照して本発明を説明してきたが、本発明はこれに限定されず、本発明の属する技術分野における通常の知識を有する者には、本発明の技術思想と添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということが理解できる。

Claims (15)

1. 複数チャネル信号から生成されたダウンミックス信号、該複数チャネル信号に関するミックス情報及び位相シフト情報を受信するステップと、
   前記ダウンミックス信号に前記ミックス情報を適用することにより、該ダウンミックス信号を複数チャネル信号にアップミキシングするステップと、
   前記位相シフト情報に基づいて前記複数チャネル信号のうち少なくとも１つのチャネルの位相をシフトさせることにより、原形の複数チャネル信号を生成するステップと、
   を有する、信号処理方法。
2. 前記原形の複数チャネル信号は、前記少なくとも１つのチャネルの位相をπ/２だけシフトさせたものである、請求項１に記載の信号処理方法。
3. 前記原形の複数チャネル信号は、前記少なくとも１つのチャネルの位相を、全周波数帯域において同一位相だけシフトさせたものである、請求項１に記載の信号処理方法。
4. 前記ダウンミックス信号は、音声コーディング方式及びオーディオコーディング方式の少なくとも１つによってコーディングされた低周波帯域ダウンミックス信号を用いて高周波帯域が復元された全帯域ダウンミックス信号である、請求項１に記載の信号処理方法。
5. 前記位相シフト情報は、フレーム別に可変である、請求項１に記載の信号処理方法。
6. 前記位相シフト情報は、サブバンド別に可変である、請求項１に記載の信号処理方法。
7. 前記原形の複数チャネル信号を生成するステップは、前記ダウンミックス信号の生成時に損失したゲインを補償するためにゲイン補償情報をさらに用いる、請求項１に記載の信号処理方法。
8. 複数チャネル信号から生成されたダウンミックス信号、該複数チャネル信号に関するミックス情報及びゲイン補償情報を受信するステップと、
   前記ダウンミックス信号に前記ミックス情報を適用することにより、該ダウンミックス信号を複数チャネル信号にアップミキシングするステップと、
   前記ゲイン補償情報に基づいて前記複数チャネル信号のうち少なくとも１つのチャネルのゲインを調節することにより、原形の複数チャネル信号を生成するステップと、
   を有する、信号処理方法。
9. 複数チャネル信号から生成されたダウンミックス信号、該複数チャネル信号に関するミックス情報及び位相シフト情報を受信する信号受信部と、
   前記ダウンミックス信号に前記ミックス情報を適用することにより、該ダウンミックス信号を複数チャネル信号にアップミキシングするアップミキシング部と、
   前記位相シフト情報に基づいて前記複数チャネル信号のうち少なくとも１つのチャネルの位相をシフトすることにより、原形の複数チャネル信号を生成する信号シフト部と、
   を有する、信号処理装置。
10. 前記信号シフト部は、前記少なくとも１つのチャネルの位相をπ／２だけシフトさせることにより、前記原形の複数チャネル信号を生成する、請求項９に記載の信号処理装置。
11. 前記原形の複数チャネル信号は、前記少なくとも１つのチャネルの位相を、全周波数帯域において同一位相だけシフトさせたものである、請求項９に記載の信号処理装置。
12. 前記位相シフト情報は、フレーム別に可変である、請求項９に記載の信号処理装置。
13. 前記位相シフト情報は、サブバンド別に可変である、請求項９に記載の信号処理装置。
14. 原形の複数チャネル信号の位相をシフトすることにより複数チャネル信号を生成し、及び位相シフト度合を示す位相シフト情報を生成するステップと、
    前記複数チャネル信号をダウンミックスすることにより、ダウンミックス信号を生成するステップと、
    前記複数チャネル信号を用いて、該複数チャネル信号についてのミックス情報を生成するステップと、
    を有する、信号処理方法。
15. 原形の複数チャネル信号の位相をシフトすることにより複数チャネル信号を生成し、及び位相シフト度合を示す位相シフト情報を生成する位相修正部と、
    前記複数チャネル信号をダウンミックスすることにより、ダウンミックス信号を生成するダウンミックス信号生成部と、
    前記複数チャネル信号を用いて、該複数チャネル信号についてのミックス情報を生成するミックス情報生成部と、
    を有する、信号処理装置。

Images