JP2011504250A - 信号処理方法及び装置 - Google Patents

Abstract

本発明は、オーディオコーディング方式でデコーディングされた第１の信号及びスピーチコーディング方式でデコーディングされた第２の信号のうち少なくとも１つのダウンミックス信号及び拡張情報を受信し、前記拡張情報に基づいて前記ダウンミックス信号の一部領域である拡張基礎信号を決定し、前記拡張基礎信号及び前記拡張情報を用いて高周波領域信号を復元することによって、帯域幅が拡張された拡張ダウンミックス信号を生成することを有する信号処理方法を開示する。本発明の信号処理方法及び装置によれば、帯域幅の拡張時、拡張基礎信号として、信号の特性によってダウンミックス信号の一部の周波数領域に該当する信号を用いることによって、多様な帯域幅を有する拡張基礎信号を用いてダウンミックス信号の高周波領域を復元することができる。
【選択図】図１１

Description

本発明は、信号の特性に応じて適切な方式で信号をエンコーディングまたはデコーディングすることができる信号処理方法及び装置に関する。

一般に、オーディオエンコーダは、４８ｋｐｓ以上の高いビットレートで高音質のオーディオ信号を提供することができるが、スピーチエンコーダは、１２ｋｐｓ以下の低いビットレートでスピーチ信号をエンコーディングすることができる。

しかしながら、従来のオーディオエンコーダはスピーチ信号の処理において非効率的であり、従来のスピーチエンコーダはオーディオ信号の処理において非効率的であるという問題点があった。

したがって、本発明は、当分野における制限や欠点に起因する一つまたは複数の問題を実質的に防止する信号処理方法及び装置を目的とする。

本発明の目的は、コーディング方式を決定するモード情報及び第１信号の時間ドメイン上の間隔を調節する変形復元情報を用いて、音源の特性に応じて効率的に信号を処理できる装置及び方法を提供することにある。

本発明の他の目的は、帯域幅拡張技術を用いるに当たり、エンコーダ側で除去された高周波領域の復元に用いられる拡張基礎信号を様々に決定することによって、音源の特性に応じて効果的に信号を処理できる方法及び装置を提供することにある。

本発明の他の特徴および利点は、以下の記載で述べるが、その一部については、明細書の記載から明らかになるであろうし、あるいは、本発明の実施によって分かるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特に示された構成によって、実現され達成されるであろう。

本発明の目的に従って上記および他の利点を達成するために、実施され広範に説明されるように、本発明による信号処理方法は、第１信号及び第２信号のうちいずれか少なくとも１つを受信する段階と、モード情報及び前記第１信号が変形されたか否かを示す変形フラグ情報を獲得する段階と、前記モード情報によってオーディオコーディング方式と決定される場合、前記第１信号を前記オーディオコーディング方式でデコーディングする段階と、前記変形フラグ情報に基づいて前記第１信号が変形された場合、前記第１信号に変形復元情報を適用して前記第１信号を復元する段階と、拡張情報に基づいて前記第１信号の一部領域に該当する拡張基礎信号を決定する段階と、前記拡張基礎信号及び前記拡張情報を用いて高周波領域信号を復元することによって帯域幅の拡張された拡張ダウンミックス信号を生成する段階と、を含んでもよい。

本発明によれば、前記オーディオコーディング方式は、時間周波数変換に基づく周波数ドメインでのコーディング方式を含み、前記スピーチコーディング方式は、線形予測コーディング方法に基づくコーディング方式を含んでもよい。

本発明によれば、前記オーディオコーディング方式は、前記第１信号を時間ドメインに復元する段階を含み、前記変形復元情報は、前記第１信号に適用されてもよい。

本発明によれば、前記変形フラグ情報は、前記第１信号が時間ドメイン上で変形されたか否かを示すことができる。

本発明の目的に従って上記および他の利点を達成するために、本発明による他の信号処理方法は、オーディオコーディング方式でデコーディングされた第１信号とスピーチコーディング方式でデコーディングされた第２信号のうちいずれか少なくとも１つのダウンミックス信号及び拡張情報を受信する段階と、前記拡張情報に基づいて前記ダウンミックス信号の一部領域に該当する拡張基礎信号を決定する段階と、前記拡張基礎信号及び前記拡張情報を用いて高周波領域信号を復元することによって帯域幅の拡張された拡張ダウンミックス信号を生成する段階と、を含んでもよい。

本発明によれば、前記高周波領域信号の帯域幅は、前記拡張基礎信号の帯域幅と同一でなくてもよい。

本発明によれば、前記拡張情報は、前記ダウンミックス信号に適用されるフィルタの範囲、前記拡張基礎信号の開始周波数及び前記拡張基礎信号の終了周波数のうち少なくとも１つを含んでもよい。

本発明によれば、前記拡張基礎信号は、前記ダウンミックス信号のうち一部の周波数領域に対応する信号でありうる。

本発明によれば、前記拡張情報を用いて前記拡張基礎領域を決定する段階は、前記拡張情報を用いて前記ダウンミックス信号の高周波領域信号を復元するか否かを示す帯域幅拡張フラグ情報に基づいて行うことができる。

本発明の他の側面によれば、信号処理装置は、オーディオコーディング方式でデコーディングされた第１信号とスピーチコーディング方式でデコーディングされた第２信号のうちいずれか少なくとも１つのダウンミックス信号、及び拡張情報を受信する信号受信部と、前記拡張情報に基づいて前記ダウンミックス信号において拡張基礎信号を決定する拡張基礎領域決定部と、前記拡張基礎信号及び前記拡張情報を用いて高周波領域信号を復元することによって帯域幅の拡張された拡張ダウンミックス信号を生成する高周波領域信号復元部と、を含んでもよい。

したがって、本発明は、下記の効果と利点を提供する。

第一に、本発明の信号処理装置及び方法は、第１の信号を第１のコーディング方式でエンコーディングする前に、前記第１の信号の時間ドメインの時間間隔の大きさを変更した後、第１のコーディング方式でエンコーディングすることによって、音源の特性によってコーディング効率を向上させるという効果を有する。

第二に、本発明の信号処理装置及び方法は、帯域幅の拡張時、拡張基礎信号として、信号の特性によってダウンミックス信号の一部の周波数領域に該当する信号を用いることによって、多様な帯域幅を有する拡張基礎信号を用いてダウンミックス信号の高周波領域を復元できるようになる。

本発明の一実施例による信号エンコーディング装置を示す概略図である。 本発明の一実施例による帯域幅拡張エンコーディング部を示す概略図である。 図２の帯域幅拡張エンコーディング部における信号エンコーディング方法を示すフローチャートである。 本発明の他の実施例による、図１の信号エンコーディング装置の部分概略図である。 図２の信号エンコーディング装置における信号エンコーディング方法を示すフローチャートである。 本発明の他の実施例による信号デコーディング装置を示す概略図である。 本発明の他の実施例による第１コーディング方式デコーディング部及び第１信号修正部における信号の流れを示す概略図である。 図７による信号デコーディング方法を示すフローチャートである。 本発明の他の実施例による変形信号の処理方法を示す図である。 図９の信号処理方法を適用する前と後におけるプレエコーの発生有無を測定したグラフである。 本発明の他の実施例による帯域幅拡張信号デコーディング部を示す概略図である。 図１１の帯域幅拡張信号デコーディング部における信号デコーディング方法を示すフローチャートである。 本発明のさらに他の実施例による帯域幅拡張信号を生成する方法を示す図である。 本発明のさらに他の実施例によるマルチチャネル信号を生成する方法を示す図である。 本発明のさらに他の実施例によるマルチチャネル信号を生成する方法を示す図である。

添付図面は、本発明をよりよく理解するために包含されており、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、明細書の記載と共に本明細書の原理を説明するためのものである。

以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。

以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。下記の説明において、本明細書及び請求の範囲に使われた用語や単語は、通常的または辞書的な意味に限定して解釈してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立って本発明の技術的思想に符合する意味と概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の好適な実施例に過ぎず、本発明の技術的思想を示す唯一のものではないので、本出願時点においてそれらに取って代わる様々な均等物と変形例がありうることを理解されたい。

特に、本発明でいうコーディングは、エンコーディング及びデコーディングの両方を含む概念として捉えるべきである。

また、本明細書でいう情報（information）は、値（values）、パラメータ（parameter）、係数（coefficients）、成分（elements）などを総称する用語で、場合によっては異なる意味で解釈することもあるので、それらに限定されることはない。そして、本明細書では、信号の一例としてステレオ信号を挙げるが、これに限定されず、３個以上のチャネルを有するマルチチャネル信号も可能である。

本明細書で、第１信号は、第１コーディング方式によってコーディングされる信号を指し、第２信号は、第２コーディング方式によってコーディングされる信号を指す。第１信号をオーディオ信号とし、第２信号をスピーチ信号とすることができるが、これに限定されることはない。また、後述する第１コーディング方式はオーディオコーディング方式と同じ意味で用いられ、第２コーディング方式はスピーチコーディング方式と同じ意味で用いられる。

図１は、本発明の実施例による信号エンコーディング装置１００を示す図である。図１を参照すると、信号エンコーディング装置１００は、マルチチャネルエンコーディング部１１０、帯域幅拡張信号エンコーディング部１２０、信号変形部１３０、第１コーディング方式エンコーディング部１４０、第２コーディング方式エンコーディング部１５０、及び多重化部１６０を含む。

マルチチャネルエンコーディング部１１０は、複数個のチャネルを有する信号（以下、マルチチャネル信号と言う）を受信し、受信したマルチチャネル信号から、ダウンミキシングを行ってダウンミックス信号を生成する一方で、マルチチャネル信号に対応する空間情報を生成する。この空間情報は、チャネルレベル差情報、チャネル予測係数、チャネル間相関情報、及びダウンミックスゲイン情報などを含んでもよい。

帯域幅拡張信号エンコーディング部１２０は、ダウンミックス信号を受信して、高周波に該当する領域を除去し、低周波領域に該当する信号のみをエンコーディングする。また、帯域幅拡張信号エンコーディング部１２０は、除去された高周波領域に関する情報である拡張情報を生成し、これを空間情報に含めて伝送する。この過程についての具体的な説明は、図２及び図３で後述する。

また、入力信号は、信号の特性に基づいて第１コーディング方式でコーディングされるかまたは第２コーディング方式でコーディングされるかが決定され、このコーディング方式を決定するモード情報を生成する（図示せず）。ここで、第１コーディング方式はオーディオコーディング方式（audio signal scheme）に該当してもよい。このオーディオコーディング方式は、変形離散コサイン変換（Modified Discrete Cosine Transform；ＭＤＣＴ）を利用するものとすることができるが、本発明はこれに限定されない。第２コーディング方式は、スピーチコーディング方式（speech coding scheme）に該当してもよい。このスピーチコーディング方式は、適応型マルチレート広域帯（Adaptive multi-rate Wide-Band；ＡＭＲ−ＷＢ）標準に従うものとすることができるが、本発明はこれに限定されない。このモード情報は、第１コーディング方式によってコーディングされることを示す第１モード、及び第２コーディング方式によってコーディングされることを示す第２モードを含んでもよい。

信号変形部１３０は、第１コーディング方式でコーディングされるように決定された信号を受信し、当該信号が第１コーディング方式でコーディングされるに先立ち、信号の特性（例えば、信号の大きさ、セグメント長など）に基づいて変形復元情報を生成し、該情報を適用することによって信号を変形することができる。この過程についての具体的な説明は、図４及び図５で後述する。

第１コーディング方式エンコーディング部１４０は、信号変形部１３０で変形された信号を第１コーディング方式によってエンコーディングする。第１コーディング方式エンコーディング部１４０で生成された信号を第１信号とする。この第１信号は、オーディオ信号であってもよく、オーディオ信号に一部のスピーチ信号が含まれた信号であってもよい。また、第１コーディング方式エンコーディング部１４０は、周波数ドメインエンコーディング部でありうる。

第２コーディング方式エンコーディング部１５０は、信号の特性に基づいて第２コーディング方式に従うと決定された信号をエンコーディングする。第２コーディング方式エンコーディング部１５０で生成された信号は第２信号とする。この第２信号は、スピーチ信号であってもよく、スピーチ信号に一部のオーディオ信号が含まれた信号であってもよい。また、第２コーディング方式エンコーディング部１５０は、線形予測符号化（Linear Prediction Coding；ＬＰＣ）方式をさらに利用することができる。入力信号は、時間軸上で高い重複性を有する場合、過去の信号から現在の信号を予測する線形予測によりモデリングされることがあるが、この場合、線形予測符号化方式を採択することで符号化効率を高めることができる。一方、第２コーディング方式エンコーディング部１５０は、時間ドメインエンコーディング部でありうる。

多重化部１６０は、エンコーディングされたモード情報、変形復元情報及び拡張情報を含む空間情報、第１信号、及び第２信号を用いて伝送するビットストリームを生成する。この時、モード情報はフラグ情報として表現されてもよい。また、信号変形部１３０で信号が変形されたか否かを示す変形フラグ情報をさらに含む。

図２は、本発明の一実施例による帯域幅拡張エンコーディング部１２０を示す図であり、図３は、帯域幅拡張エンコーディング部１２０でダウンミックス信号及び空間情報を修正する方法を示すフローチャートである。

まず、図２を参照すると、帯域幅拡張エンコーディング部１２０は、高周波領域除去部１２１、拡張情報生成部１２２、及び空間情報挿入部１２３を含む。

高周波領域除去部１２１は、マルチチャネルエンコーディング部１１０で生成されたダウンミックス信号及び空間情報を受信する。ダウンミックス信号は、周波数ドメイン上の信号とすることができ、低周波信号及び高周波信号を含んでもよい。高周波領域除去部１２１は、ダウンミックス信号の周波数信号において高周波領域に該当する高周波信号を除去した除去ダウンミックス信号（以下にいうダウンミックス信号は、高周波領域除去部１２１により低周波信号が除去されたダウンミックス信号を指す。）及び高周波領域の開始周波数及び終了周波数を含む復元情報を生成する。

復元情報は、入力信号の特性に基づいて、決定されてもよい。一般に、高周波信号の開始周波数は、入力信号の全体帯域幅の半分に該当する周波数である。一方、復元情報は、入力信号の特性によって開始周波数を全体帯域幅の半分以下または以上に該当する周波数と決定することができる。例えば、マルチチャネルエンコーディングされたダウンミックス信号に対して、帯域幅拡張技術を用いて高周波領域を除去してエンコーディングするよりも、ダウンミックス信号の全体帯域幅信号を用いる方が効率的な場合、復元情報は、開始周波数として帯域幅の末端に位置する周波数を表すことができる。この復元情報は、信号の大きさ、コーディング時に用いられるセグメント長、及びソースの種類のうち少なくとも１つを用いて決定することができるが、これに限定されない。

拡張情報生成部１２２は、ダウンミックス信号及び空間情報を用いて、デコーディング時に用いられる拡張基礎信号を決定する拡張情報を生成する。拡張基礎信号は、デコーディング時に高周波領域除去部１２１で除去されたダウンミックス信号の高周波信号を復元するのに用いられるダウンミックス信号の周波数信号で、低周波信号または低周波信号の一部の信号でありうる。

拡張情報は、高周波領域除去部１２１で除去されなかったダウンミックス信号に関する情報と一致することがあるが、これに限定されず、拡張情報はダウンミックス信号の一部の信号に関する情報とすることもできる。また、拡張情報は、ダウンミックス信号の一部の信号に関する情報である場合、拡張基礎信号の開始周波数及び拡張基礎信号の終了周波数を含んでもよく、ダウンミックス信号の周波数信号に適用されるフィルタの範囲をさらに含んでもよい。

空間情報挿入部１２３は、マルチチャネルエンコーディング部１１０で生成された空間情報に、高周波領域除去部１２１で生成された復元情報及び拡張情報生成部１２２で生成された拡張情報を挿入した空間情報を生成する。

図３を参照すると、まず、入力信号から、ダウンミックス信号及び空間情報を生成する（Ｓ３１０）。このダウンミックス信号の高周波領域を除去し、復元情報を生成する（Ｓ３２０）。上述したように、復元情報は信号の大きさ、コーディング時に用いられるセグメント長、及び音源の種類のうち少なくとも１つを用いて決定することができ、除去された信号の開始周波数及び終了周波数を指示する。

その後、入力信号の特性に基づいて、ダウンミックス信号及び空間情報を用いてデコーディング時に用いられる拡張基礎信号を決定する拡張情報を生成する（Ｓ３３０）。この拡張情報は、ダウンミックス信号の一部の信号に関する情報とすることができ、拡張基礎信号の開始周波数及び拡張基礎信号の終了周波数を含んでもよく、ダウンミックス信号の周波数信号に適用されるフィルタの範囲をさらに含んでもよい。この復元情報及び拡張情報は、空間情報に挿入することができる（Ｓ３４０）。

本発明の一実施例による信号エンコーディング装置１００は、帯域幅拡張エンコーディング部１２０で除去されるダウンミックス信号の高周波領域信号を可変的に決定できるので、入力信号の特性に応じてより効率的なコーディングができ、拡張情報を生成して伝送することによって、高周波領域信号の復元時に低周波信号を可変的に用いることができる。

図４は、本発明の他の実施例による、図１の信号エンコーディング装置の一部を示す図であり、図５は、本発明の他の実施例による信号エンコーディング方法を示すフローチャートである。

まず、図４を参照すると、入力信号のコーディング方式を示すモード情報によって、入力信号を第１コーディング方式でコーディングするかまたは第２コーディング方式でコーディングするかを決定する。第２コーディング方式と決定された場合、第２コーディング方式エンコーディング部４２０は、信号エンコーディング装置１００における第２コーディング方式エンコーディング部１５０と同一なので、これについての説明は省略する。

信号変形部４１０は、モード情報によって入力信号を第１コーディング方式でコーディングすると決定された場合、入力信号の特性に基づいて信号を変形する。この特性は、信号の大きさ、コーディング時に分割されるセグメント長などを含んでもよい。例えば、第１コーディング方式エンコーディング部で用いるＭＤＣＴの変換単位の大きさは、スピーチ信号のコーディング時に用いるセグメントの大きさと異なるので、コーディング時に効率が顕著に低下する場合がありうる。このような場合、信号変形部４１０は、セグメントの大きさを変更したり、後に第１コーディング方式エンコーディング部４３０で適用されるウィンドウの大きさを変更したりすることによって、後に第１コーディング方式エンコーディング部４３０におけるコーディング効率を向上させることができる。セグメントの大きさまたは適用されるウィンドウの大きさを変更するために、時間ドメイン上の単位時間間隔を調節することができる。この時、変形された信号を生成するのに必要な情報を変形復元情報として生成することができる。また、信号変形部４１０は、信号が変形されたか否かを示す変形フラグ情報を生成することができる。

第１コーディング方式と決定された場合、第１コーディング方式エンコーディング部４３０は、信号エンコーディング装置１００における第１コーディング方式エンコーディング部１４０と同一であり、多重化部４４０は、信号エンコーディング装置における多重化部１６０と同一なので、その関連説明は省略する。

図５を参照すると、入力信号の特性に基づいてモードを決定し、決定されたモードを示すモード情報を生成する（Ｓ５１０）。モード情報は、第１コーディング方式に従う第１モードまたは第２コーディング方式に従う第２モードを示すことができる。モード情報が第１モードを示すか否か判断する（Ｓ５２０）。

第１モードである場合、入力信号の特性に基づいて入力信号を変形するか否かを決定する（Ｓ５３０）。上述したように、変形するか否かを決定するために、入力信号の大きさ、コーディング時に分割されるセグメント長などを考慮することができる。例えば、第１コーディング方式エンコーディング部で用いるウィンドウの大きさが、入力信号のコーディング時に用いるセグメントの大きさと異なる場合、またはプレエコーが発生する場合、入力信号を変形して第１コーディング方式によってエンコーディングすることによって、プレエコーを解決したりより効率的に入力信号をコーディングしたりすることができる。

入力信号の変形が決定された場合、入力信号を第１コーディング方式によってエンコーディングする前に、変形復元情報を適用して信号を変形させ、信号を変形させたか否かを示す変形フラグ情報を生成することができる（Ｓ５４０）。この変形復元情報は、第１コーディング方式によるエンコーディング時に適用されるウィンドウの長さを調節するものとしてもよく、時間ドメインで適用されるものとしてもよい。また、変形復元情報は、入力信号の大きさを調節するゲイン値とすることができ、このゲイン値は、線形予測ドメイン係数（Linear Prediction Domain Coefficient；ＬＰＣ）に基づいて決定されてもよい。

変形復元情報を適用して変形された信号を第１コーディング方式でエンコーディングする（Ｓ５５０）。上述したように、第１コーディング方式でエンコーディングされた信号は第１信号とすることができ、第１信号は、オーディオ信号またはオーディオ信号に一部のスピーチ信号が含まれた信号でありうる。

第１モードか否かを判断する段階（Ｓ５２０）で第１モードでないと判断された信号は、信号を変形する段階を行わずに、第２コーディング方式によってエンコーディングする（Ｓ５３５）。このエンコーディングされた信号は第２信号とすることができ、第２信号は、スピーチ信号またはスピーチ信号に一部のオーディオ信号が含まれた信号でありうる。

図６は、本発明の一実施例による信号デコーディング装置６００を示す図である。図６を参照すると、信号デコーディング装置６００は、受信部６１０、情報獲得部６２０、第１コーディング方式デコーディング部６３０、第１信号修正部６４０、第２コーディング方式デコーディング部６５０、帯域幅拡張デコーディング部６６０、及びマルチチャネルデコーディング部６７０を含む。

受信部６１０は、信号エンコーディング装置１００でエンコーディングされた全ての信号を受信することができる。第１信号及び第２信号のうちいずれか少なくとも１つを受信することができ、モード情報、変形フラグ情報、拡張情報、ダウンミックス信号、及び空間情報のうちいずれか少なくとも１つをさらに受信することができる。

情報獲得部６２０は、受信部６１０から、コーディング方式を決定するモード情報、第１信号が変形されたか否かを示す変形フラグ情報、及び拡張情報を獲得することができる。

第１コーディング方式デコーディング部６３０は、信号を第１コーディング方式によってデコーディングし、変形復元情報を用いて信号を修正してデコーディングすることができる。第１コーディング方式デコーディング部６３０でデコーディングされる信号は第１信号であり、第１信号は、オーディオ信号であってもよく、オーディオ信号に一部のスピーチ信号が含まれた信号であってもよい。また、第１コーディング方式デコーディング部６３０は、オーディオコーディング方式デコーディング部であって、周波数ドメインデコーディング部とすることができ、ＭＤＣＴを用いることができる。

第１信号修正部６４０は、変形フラグ情報に基づいて第１信号がエンコーディング時に変形されたものと判断される場合にのみ第１信号を修正することができる。第１信号修正部６４０は、第１信号に適用される変形復元情報を用いることができるが、この過程についての具体的な説明は、図７及び図８で後述する。

第２コーディング方式デコーディング部６５０は、信号を第２コーディング方式によってデコーディングする。第２コーディング方式デコーディング部６５０でデコーディングされる信号は第２信号であり、第２信号はスピーチ信号であってもよく、スピーチ信号に一部のオーディオ信号が含まれた信号であってもよい。また、第２コーディング方式デコーディング部６５０は、スピーチコーディング方式デコーディング部であって、時間ドメインデコーディング部とすることができ、線形予測符号化（Linear Prediction Coding；ＬＰＣ）方式をさらに用いることができる。

帯域幅拡張デコーディング部６６０は、第１コーディング方式デコーディング部６３０でデコーディングされた信号及び第２コーディング方式デコーディング部６５０でデコーディングされた信号のうちいずれか少なくとも１つのダウンミックス信号を受信し、エンコーディング時に除去された高周波領域に該当する信号を復元できるが、この過程についての具体的な説明は、図１１〜図１３で後述する。

マルチチャネルデコーディング部６７０は、高周波領域の復元されたダウンミックス信号及び空間情報を受信し、この空間情報をダウンミックス信号に適用して、マルチチャネルを有する信号をデコーディングする。

図７は、本発明の他の実施例による第１コーディング方式デコーディング部及び第１信号修正部における概略的な信号の流れを示す図であり、図８は、図７による信号デコーディング方法を示すフローチャートである。

まず、図７を参照すると、第１コーディング方式デコーディング部７３０にモード情報及び変形フラグ情報が入力される。この変形フラグ情報は、エンコーディング時に第１信号に変形復元情報が適用されて変形されたか否かを示し、特に、第１信号が時間ドメイン上で変形されたか、または、周波数ドメイン上で変形されたかを示す。変形フラグ情報に基づいて第１信号が変形されなかったものと判断されると、第１信号を第１コーディング方式デコーディング部７３０で第１コーディング方式でデコーディングし、第１信号修正部７４０に入力せずに出力する。第１コーディング方式デコーディング部７３０は、上述したように、オーディオコーディング方式でデコーディングを行う。

変形フラグ情報に基づいて第１信号が変形されたものと判断されると、入力された第１信号を第１コーディング方式でデコーディングすると同時に変形復元情報を生成する。この変形復元情報がエンコーダから伝送された場合は、変形復元情報をビットストリームから抽出することができる。一方、変形復元情報がエンコーダから伝送されない場合、第１信号の特性に基づいて第１コーディング方式デコーディング部７３０が生成することができる。この変形復元情報は、第１コーディング方式によるエンコーディング時に、第１信号を時間ドメイン上で単位時間間隔を調節する値であってもよく、第１信号に適用されるウィンドウ長を調節する値であってもよい。また、この変形復元情報は、時間ドメインで適用される値でありうる。また、変形復元情報は、入力信号の大きさを調節するゲイン値であってもよく、このゲイン値は、線形予測ドメイン係数（ＬＰＣ）に基づいて決定することができる。

第１信号修正部７４０は、変形復元情報及び第１信号を受信して、時間ドメイン上で第１信号の変形された単位時間間隔を復元することによって原信号をデコーディングすることができる。

図８を参照すると、まず、モード情報及び変形フラグ情報を獲得する（Ｓ８１０）。モード情報が第１モードである場合、第１コーディング方式で第１信号をデコーディングする（Ｓ８２０）。その後、第１信号が変形されたか否かを示す変形フラグ情報を獲得する（Ｓ８３０）。変形フラグ情報が１の場合（Ｓ８３０のＹｅｓ）、変形復元情報を適用して第１信号を修正する（Ｓ８４０）。上述したように、変形復元情報は、第１信号の時間ドメイン上の単位時間間隔を調節する値であってもよく、第１信号の大きさを調節するゲイン値であってもよく、第１信号に適用されるウィンドウ長を調節する値であってもよい。

一方、変形フラグ情報が１でない場合（Ｓ８３０のＮｏ）、第１信号を修正せずにそのまま出力することができる（Ｓ８５０）。

このように、本発明の信号デコーディング装置及び方法は、第１コーディング方式でデコーディングされる第１信号が、エンコーディング時に時間ドメイン上の単位時間間隔が変形されたものである場合、変形復元情報を用いて、変形された第１信号を変形前の信号に復元することによって、信号の特性に従う効率的なデコーディングが可能である。

一方、第１信号が、第１コーディング方式エンコーディング部で遷移区間において信号よりも長い長さのウィンドウを用いて変換（transform）される場合、周波数領域でビット割当（bit allocation）によって雑音が調節される。反面、時間領域ではウィンドウ中に雑音が均一に分布することになるため、第１信号においてエネルギーレベルの小さい区間が前方に位置する場合、雑音の大きさが信号の大きさよりも相対的に大きくなり、雑音がユーザの耳に聞こえるプレエコー現象が発生する。

そこで、本発明の他の実施例では、プレエコー問題を解決するために、従来の周波数領域と同様に、時間領域においても雑音を調節する方法（noise shaping）を提示する。

図９は、本発明の他の実施例による第１信号を処理する方法を示す図である。図９（ａ）〜図９（ｄ）は、本発明の他の実施例による第１信号をエンコーディングする方法を示し、このエンコーディング方法に対応するデコーディング方法は、図９（ｅ）〜図９（ｇ）に示す。

図９（ａ）で、入力信号ｘ(ｔ)を時間領域での処理のための単位信号Ｘに分割する。図９（ａ）に示すように、入力信号ｘ(ｔ)を４個のサブブロックに分割することができ、各サブブロックに該当する信号は、分割信号Ｘ０，Ｘ１，Ｘ２，Ｘ３でありうる。図９（ｂ）に示すように、各サブブロックの分割信号に対して時間領域で大きさを調節するための変形復元情報（Ｗ：ｗｏ，ｗ１，ｗ２，ｗ３）を決定することができる。この変形復元情報は、分割信号ごとに決定される時間領域でのゲイン値とすることができ、このゲイン値は、実際に当該分割信号に適用される値またはその逆の形態になり得る。この分割信号に適用されるゲイン値が大きいほど多くのビットを用いて量子化し、これにより、より少ない量子化雑音が発生する。

図９（ｃ）を参照すると、変形復元情報ｗ０，ｗ１，ｗ２，ｗ３を分割信号Ｘ０，Ｘ１，Ｘ２，Ｘ３に適用して調節信号Ｘ’を生成することができる。図９（ｄ）は、この調節信号が周波数領域に変換され、従来の周波数領域マスキング特性を用いた知覚符号化（perceptual coding）を行って得られた量子化雑音Ｑｔを示すものである。図９（ｄ）に示すように、量子化雑音は、全時間領域で均一のエネルギーを有する形態の信号でありうる。また、周波数領域におけるビット割当のための心理音響モデル演算は、調節信号Ｘ’ではなく分割信号Ｘを用いることが好ましい。

デコーダ側に伝送された第１信号を周波数領域で復元した後、これを逆変換すると、調節信号Ｘ’に量子化雑音Ｑｔが含まれた伝送信号を得ることができる（図示せず）。

図９（ｅ）は、当該信号に適用される変形復元情報Ｖを示す。変形復元情報Ｖは、エンコーダ側でブロック信号に適用されたゲイン値の逆１／ｗ０，１／ｗ１，１／ｗ２，１／ｗ３でありうる。

図９（ｆ）は、伝送信号に変形復元情報Ｖを適用して得た復元信号Ｙを示す。復元信号Ｖは、エンコーダ側における調節信号Ｘ’と同じ形態の信号でありうる。しかし、変形復元情報によって、エンコーディングされた量子化雑音Ｑｔが調節されることによって、図９（ｇ）に示すように、時間領域で調節された調節量子化雑音Ｑｒを得ることができる。

したがって、本発明の他の実施例によれば、時間領域で信号に適用される変形復元情報を決定し、この変形復元情報を用いて各ブロックの時間ビット割当情報を決定することが可能になる。また、小さい信号大きさを有する領域で量子化雑音の大きさを減少させ、プレエコー（pre-echo）現象を防止することができる。

図１０（ａ）及び図１０（ｂ）は、図９（ａ）〜図９（ｇ）の信号処理方法を適用する前と後におけるプレエコー発生の有無を測定したグラフである。

図１０（ａ）に示すように、従来の信号処理装置は、時間領域で全帯域にわたって雑音が均一に分布するので、信号のエネルギーレベルが小さい区間が前部に存在する場合、その部分の雑音が耳に聞こえるプレエコー現象が発生する。

一方、図１０（ｂ）に示すように、時間領域で変形復元情報を用いて量子化雑音を調節する場合、エネルギーレベルの小さい区間で量子化雑音の大きさも小さく調節されるので、プレエコー現象が解決される。

図１１は、本発明の他の実施例による帯域幅拡張信号デコーディング部を示す。

図１１を参照すると、帯域幅拡張信号デコーディング部１１００は、信号受信部１１１０、拡張基礎領域決定部１１２０、高周波数領域復元部１１３０、及び帯域幅拡張部１１４０を含む。

信号受信部１１１０は、第１コーディング方式でデコーディングされた第１信号と第２コーディング方式でデコーディングされた第２信号のうちいずれか少なくとも１つのダウンミックス信号、及び拡張情報を受信する。信号受信部１１１０に入力されたダウンミックス信号は、エンコーダ側で高周波領域が除去されて、原信号の低周波領域の信号で構成された信号である。

拡張基礎領域決定部１１２０は、信号受信部から受信した拡張情報に基づいてダウンミックス信号において拡張基礎信号を決定することができる。ダウンミックス信号は、周波数ドメインで現れた信号であり、拡張基礎信号は、周波数ドメインのダウンミックス信号のうち、一部の周波数領域に位置する信号でありうる。拡張情報は、拡張基礎信号を決定するのに用いられ、拡張基礎信号の開始周波数及び終了周波数、またはダウンミックス信号の一部をフィルタリングするフィルタの範囲でありうる。

高周波数領域復元部１１３０は、信号受信部１１１０からダウンミックス信号及び拡張情報を受信し、拡張基礎領域決定部１１２０から拡張基礎信号を受信する。この拡張基礎信号は、拡張情報を用いてエンコーダ側で除去されたダウンミックス信号の高周波領域信号を復元することができる。この時、伝送された復元情報をさらに用いることができる。この高周波領域信号は、ダウンミックス信号には含まれず、原信号には含まれた高周波領域信号でありうる。高周波領域信号が復元されることによって、帯域幅の拡張された拡張ダウンミックス信号を生成することができる。

この高周波領域信号は、ダウンミックス信号の整数倍でなくてもよく、高周波領域信号の帯域幅は拡張基礎信号の帯域幅と同一でなくてもよい。

本発明の一実施例による信号処理装置及び方法は、拡張基礎信号として、エンコーダ側で高周波領域の除去されたダウンミックス信号全部を用いずに、ダウンミックス信号の一部の周波数領域に該当する信号を用いることによって、復元される高周波領域がダウンミックス信号の整数倍でない場合にも帯域幅拡張技術を適用可能にする。

また、高周波数領域復元部１１３０は、時間拡張ダウンミックス信号生成部及び周波数信号拡張部をさらに含んでもよい。時間拡張ダウンミックス信号生成部は、拡張基礎信号に拡張情報を適用してダウンミックス信号を時間領域に拡張することができる。周波数信号拡張部は、時間拡張ダウンミックス信号のサンプル数を減少させることによって（decimation）、ダウンミックス信号の周波数領域における信号を拡張することができる。

したがって、時間拡張ダウンミックス信号生成部及び周波数信号拡張部をさらに含む本発明の他の実施例による帯域幅拡張デコーディング部１１００は、変形復元情報によって帯域幅拡張程度を調節することができる。

また、高周波数領域復元部１１３０が、復元された高周波領域信号のみを含み、低周波領域信号は含まない場合は、帯域幅拡張部１１４０がダウンミックス信号及び高周波領域信号を結合して、帯域幅の拡張された拡張ダウンミックス信号を生成する。高周波領域信号はダウンミックス信号の整数倍でない場合もありうる。したがって、本発明の一実施例による帯域幅拡張技術は、倍数関係にない信号へのアップサンプリング（upsampling）に用いることができる。

図１２は、本発明の他の実施例による帯域幅拡張信号デコーディング部における信号デコーディング方法を示すフローチャートである。

図１２を参照すると、ダウンミックス信号及び拡張情報を受信する（Ｓ１２１０）。ダウンミックス信号は周波数ドメインの信号であり、エンコーダ側で生成されたダウンミックス信号から高周波領域の信号が除去された低周波領域信号のみを含む信号でありうる。拡張情報は、ダウンミックス信号に適用されるフィルタの範囲、拡張基礎信号の開始周波数及び拡張基礎信号の終了周波数のうち少なくとも１つを含んでもよい。

その後、ダウンミックス信号及び拡張情報を用いて拡張基礎信号を決定する（Ｓ１２２０）。拡張基礎信号は、ダウンミックス信号のうちの一部の周波数領域に対応する信号でありうる。また、拡張基礎信号の決定は、拡張情報を用いてダウンミックス信号の高周波領域信号を復元するか否かを示す帯域幅拡張フラグ情報に基づいて行うことができ、特に、帯域幅拡張フラグ情報が１である場合にのみ拡張基礎信号を決定する段階を行うことができる。

拡張基礎信号及び拡張情報を用いて高周波領域信号を復元する（Ｓ１２３０）。高周波領域信号は、エンコーダ側から伝送されたダウンミックス信号には含まれず、原信号には含まれる信号でありうる。上述したように、拡張基礎信号は、ダウンミックス信号の全部ではなく一部の周波数領域に対応する信号であるから、高周波領域信号は、ダウンミックス信号の整数倍でない場合もありうる。

その後、ダウンミックス信号と復元された高周波領域信号とを結合して、帯域幅の拡張された拡張ダウンミックス信号を生成する（Ｓ１２４０）。

帯域幅拡張フラグ情報に基づいて拡張基礎信号を決定しない場合、すなわち、帯域幅拡張フラグ情報が０である場合、ダウンミックス信号及び復元情報を用いて高周波領域信号を生成し、（Ｓ１２４５）、ダウンミックス信号と高周波領域信号とを結合して拡張ダウンミックス信号を生成する（Ｓ１２４０）。この場合、拡張ダウンミックス信号は、ダウンミックス信号の整数倍、特に、２倍の帯域幅を有する信号でありうる。また、拡張ダウンミックス信号を生成する段階（Ｓ１２４０）は、別途に行わずに、高周波領域信号の復元と同時に行うこともできる。

図１３（ａ）〜図１３（ｄ）は、本発明のさらに他の実施例による帯域幅拡張信号を処理する方法を示す図である。ここで、Ｆｃは、拡張基礎信号の終了周波数を示す。図１３（ａ）は、従来の帯域幅拡張処理方法を示す。

図１３（ａ）を参照すると、エンコーディング時に全体周波数帯域を１／２に分け、拡張基礎信号（全体周波数の１／２に該当する低周波領域の信号）は、第１コーディング方式または第２コーディング方式でエンコーディングして伝送し、残りの全体信号の１／２の高周波領域に該当する拡張信号は拡張情報でエンコーディングして伝送する。

デコーディング時には、これと逆に、第１コーディング方式または第２コーディング方式でデコーディングされた拡張基礎信号及び拡張情報を用いて拡張信号をデコーディングし、全体信号を復元する。

一方、図１３（ｂ）を参照すると、拡張基礎信号を、全体周波数帯域の１／４に該当する信号のみを選択してエンコーディングし、この拡張基礎信号を用いて、全体周波数帯域の２／４〜３／４領域に該当する信号（拡張信号１）を拡張情報でエンコーディングする。その後、拡張基礎信号を用いて全体周波数帯域の４／４領域に該当する信号（再拡張信号）も拡張情報でエンコーディングする。

したがって、デコーディング時には、まず、拡張基礎信号を第１コーディング方式または第２コーディング方式でデコーディングし、拡張基礎信号及び拡張情報を用いて拡張信号１を復元する。その後、拡張情報及び拡張信号１を用いてダウンミックス信号の高周波領域に該当する再拡張信号を復元する。したがって、帯域幅拡張コーディングにおいて、拡張基礎信号として全体周波数領域の１／４に該当する信号のみを用いることによって、圧縮率を高めることができる。

図１３（ｃ）を参照すると、全体周波数領域の１／４に該当する拡張基礎信号を用いて２／４、３／４及び４／４領域に該当する拡張信号１、拡張信号２及び拡張信号３を拡張情報でエンコーディングし、デコーディング時に順次拡張基礎信号及び拡張情報を用いて拡張信号１、拡張信号２及び拡張信号３をデコーディングする方法を示す。

図１３（ｃ）に示すように、本発明の他の実施例による帯域幅拡張方法は、拡張基礎信号、拡張信号１、拡張信号２及び拡張信号３がそれぞれ同じ帯域幅を有することができるが、これに限定されず、それぞれ異なる帯域幅を有することもできる。また、拡張基礎信号のスケールファクタ（scale factor）を、周波数領域を大きくしたりまたは小さくしたり修正して拡張信号１、拡張信号２及び拡張信号３をデコーディングすることができる。

図１３（ｄ）は、本発明の他の実施例による信号デコーディング方法を示す。

図１３（ｄ）を参照すると、拡張基礎信号は、第１コーディング方式または第２コーディング方式によってデコーディングされた信号のうち一部の信号（Ｆｂ〜Ｆｃ領域）を選択することができる。したがって、拡張基礎信号を用いてエンコーディングされたダウンミックス信号の整数倍でない高周波領域を復元することができる。

図１４（ａ）〜図１４（ｄ）は、本発明のさらに他の実施例によるマルチチャネル信号を生成する方法を示す図である。ここで、帯域幅拡張を通じて得られた信号を拡張信号または拡張信号１、拡張信号２とし、マルチチャネルデコーダなどのチャネル拡張を通じて得られた信号をステレオ信号とする。

図１４（ａ）を参照すると、拡張基礎信号は、帯域幅拡張を通じてダウンミックス信号の高周波領域信号を復元する（ステップ１）。その後、復元された拡張ダウンミックス信号からチャネル拡張を通じてステレオ信号をデコーディングする（ステップ２）。

図１４（ｂ）に示すように、まず、拡張基礎信号からチャネル拡張を通じてステレオ信号を生成する（ステップ１）。その後、ステレオ信号に基づいて帯域幅を拡張して全体周波数領域のステレオ信号を復元する（ステップ２、３）。これは、ダウンミックス信号の全体において低周波領域により多くの情報及び音像を有する信号に適している。

図１４（ｃ）を参照すると、上記方法と同様に、拡張基礎信号からチャネル拡張を通じてステレオ信号を生成する（ステップ１）。その後、帯域幅を拡張して全体周波数領域のステレオ信号を復元するために、拡張基礎信号を用いて拡張信号１及び拡張信号２をデコーディングする（ステップ２、３）。拡張基礎信号は信号の核心的な特性を有する信号であるから、拡張信号２を拡張基礎信号からデコーディングすることに適している。特に、ステレオ信号の左側チャネル信号及び右側信号間の相関程度が高い信号の復号化に適しており、例えば、スピーチ信号のデコーディングに適している。

図１４（ｄ）に示すように、拡張基礎信号からチャネル拡張を通じてステレオ信号をデコーディングし（ステップ１）、拡張基礎信号から帯域幅拡張を通じて拡張信号１を復元する（ステップ２）。その後、拡張基礎信号、拡張信号１、及びステレオ信号を用いて拡張信号２を復元する（ステップ３−１、３−２、３−３）。したがって、より有機的なステレオ信号のコーディングが可能である。

図１５は、本発明のさらに他の実施例によるマルチチャネル信号を生成する方法を示す図である。

図１５を参照すると、本発明のマルチチャネル信号を生成する方法は、基礎信号を用いてモノ信号、モノ拡張信号、ステレオ信号、及びステレオ拡張信号を復元する方法を含む。この基礎信号は、残差信号でありうる。

本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行可能なプログラムとして製作され、コンピュータ読み取り可能記録媒体に記憶させることができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能記録媒体に記憶することができる。コンピュータ読み取り可能記録媒体は、コンピュータシステムにより読み取り可能なデータが記憶されるいかなる記憶装置も含むことができる。コンピュータ読み取り可能記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えばインターネットを通じた伝送）の形態で具現されるものも含む。また、上記エンコーディング方法により生成されたビットストリームは、コンピュータ読み取り可能記録媒体に記憶されたり、有／無線通信網を通じて伝送されたりしてもよい。

以上では限定された実施例及び図面によって本発明を説明してきたが、本発明はこれらに限定されない。したがって、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想、添付の特許請求の範囲及びその均等範囲内で様々な修正及び変形が可能であるということが明らかである。

本発明は、信号をエンコーディング及びデコーディングするのに適用することができる。

Claims (13)

1. オーディオコーディング方式でデコーディングされた第１のダウンミックス信号及びスピーチコーディング方式でデコーディングされた第２のダウンミックス信号のうち少なくとも１つのダウンミックス信号及び拡張情報を受信し、
   前記拡張情報に基づいて前記ダウンミックス信号の一部領域である拡張基礎信号を決定し、
   前記拡張基礎信号及び前記拡張情報を用いて高周波領域信号を復元することによって、帯域幅が拡張された拡張ダウンミックス信号を生成することを有する信号処理方法。
2. 前記高周波領域信号の帯域幅は、前記拡張基礎信号の帯域幅と同一でないことを特徴とする、請求項１に記載の信号処理方法。
3. 前記拡張情報は、前記ダウンミックス信号に適用されるフィルタの範囲、前記拡張基礎信号の開始周波数及び前記拡張基礎信号の終了周波数のうち少なくとも１つであることを特徴とする、請求項１に記載の信号処理方法。
4. 前記拡張基礎信号は、前記ダウンミックス信号のうち一部の周波数領域に対応する信号であることを特徴とする、請求項１に記載の信号処理方法。
5. 前記拡張ダウンミックス信号を生成した後、
   前記拡張ダウンミックス信号及び前記拡張情報を用いて前記拡張ダウンミックス信号の高周波領域信号を生成し、
   前記拡張ダウンミックス信号の周波数信号と前記高周波領域信号とを結合し、帯域幅が拡張された再拡張ダウンミックス信号を生成することをさらに有することを特徴とする、請求項１に記載の信号処理方法。
6. 前記オーディオコーディング方式は、時間周波数の変換に基づいた周波数ドメインでのコーディング方式を含み、前記スピーチコーディング方式は、線形予測コーディング方法に基づいたコーディング方式を含むことを特徴とする、請求項１に記載の信号処理方法。
7. 前記拡張情報を用いて前記拡張基礎領域を決定するのは、
   前記拡張情報を用いて前記ダウンミックス信号の前記高周波領域信号を復元するかどうかを示す帯域幅拡張フラグ情報に基づいて行われることを特徴とする、請求項１に記載の信号処理方法。
8. オーディオコーディング方式でデコーディングされた第１のダウンミックス信号及びスピーチコーディング方式でデコーディングされた第２のダウンミックス信号の少なくとも１つのダウンミックス信号及び拡張情報を受信する信号受信部と、
   前記拡張情報に基づいて前記ダウンミックス信号のうち拡張基礎信号を決定する拡張基礎領域決定部と、
   前記拡張基礎信号及び前記拡張情報を用いて高周波領域信号を復元することによって、帯域幅が拡張された拡張ダウンミックス信号を生成する高周波領域信号復元部と、を有することを特徴とする信号処理装置。
9. 前記拡張情報は、前記ダウンミックス信号に適用されるフィルタの範囲、前記拡張基礎信号の開始周波数及び前記拡張基礎信号の終了周波数のうち少なくとも１つであることを特徴とする、請求項８に記載の信号処理装置。
10. 前記拡張基礎領域決定部は、前記ダウンミックス信号のうち一部の周波数領域に位置する信号を前記拡張基礎信号として決定することを特徴とする、請求項８に記載の信号処理装置。
11. 前記高周波領域復元部は、前記ダウンミックス信号には含まれず、原信号には含まれた前記高周波領域信号を復元することを特徴とする、請求項８に記載の信号処理装置。
12. 前記高周波領域復元部は、前記拡張基礎信号の帯域幅と同一でない帯域幅を有する前記高周波領域信号を復元することを特徴とする、請求項８に記載の信号処理装置。
13. 前記オーディオコーディング方式は、時間周波数の変換に基づいた周波数ドメインでのコーディング方式を含み、前記スピーチコーディング方式は、線形予測コーディング方法に基づいたコーディング方式を含むことを特徴とする、請求項８に記載の信号処理装置。

Images