以下、添付した図面を参照して、本発明の好ましい実施例を詳細に説明する。これに先立ち、本明細書および請求の範囲に使用された用語や単語は、通常または辞書的な意味に限定して解釈されてはならず、発明者は自らの発明を最も最善の方法で説明するために用語の概念を適切に定義することができるという原則に則って、本発明の技術的思想に符合する意味と概念で解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点において、これらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
本発明において、次の用語は次のような基準により解釈され得、記載されていない用語でも下記の趣旨によって解釈され得る。コーディングは、場合によって、エンコーディングまたはデコーディングと解釈され得、情報(information)は、値(values)、パラメータ(parameter)、係数(coefficients)、成分(elements)などをすべて網羅する用語であって、場合によって、意味は異なって解釈できるが、本発明はこれに限定されない。
図1は、同じ視聴距離上で映像の大きさ(例:UHDTVおよびHDTV)に応じた視聴角度を説明するための図である。ディスプレイの作製技術が発展し、消費者の要求に応じて映像の大きさが大型化する傾向にある。図1に示されているように、HDTV(1920*1080ピクセルの映像)の場合に比べて、UHDTV(7680*4320ピクセルの映像)は、約16倍大きくなった映像である。HDTVが居間の壁面に設置され、視聴者が一定の視聴距離をおいて居間のソファーに座った場合、視聴角度が約30度となり得る。しかし、同じ視聴距離でUHDTVが設置された場合、視聴角度は約100度に達する。このように高画質高解像度の大型スクリーンが設置された場合、この大型コンテンツにふさわしいような高い実在感と臨場感を有するサウンドが提供されることが好ましい。視聴者がまるで現場にいるのとほぼ同じ環境を提供するためには、1−2個のサラウンドチャンネルスピーカが存在するだけでは足りないことがある。したがって、より多いスピーカおよびチャンネル数を有するマルチチャンネルオーディオ環境が要求されることがある。
前記説明のように、ホームシアター環境のほか、個人3Dテレビ(personal 3DTV)、スマートフォンテレビ、22.2チャンネルのオーディオプログラム、自動車、3D video、テレプレゼンスルーム(telepresence room)、クラウドベースのゲーム(cloud−based gaming)などがあり得る。
図2は、マルチチャンネルの一例として22.2chのスピーカ配置を示す図である。22.2chは音場感を高めるためのマルチチャンネル環境の一例であってよいし、本発明は、特定のチャンネル数または特定のスピーカ配置に限定されない。図2を参照すれば、最も高いレイヤ(top layer)に計9個のチャンネルが提供できる。前面に3個、中間位置に3個、サラウンド位置に3個の計9個のスピーカが配置されていることが分かる。中間レイヤ(middle layer)には、前面に5個、中間位置に2個、サラウンド位置に計3個のスピーカが配置できる。前面の5個のスピーカのうち、中央位置の3個は、テレビスクリーン内に含まれてよい。底(bottom layer)には、前面に計3個のチャンネルおよび2個のLFEチャンネルが設けられてよい。
このように、最大数十個のチャンネルに達するマルチチャンネル信号を伝送し再生するにあたり、高い演算量が必要であり得る。また、通信環境などを考慮する時、高い圧縮率が要求されることがある。それだけでなく、一般家庭では、マルチチャンネル(例:22.2ch)のスピーカ環境を備える場合は多くなく、2chまたは5.1chのセットアップを有する聴取者が多いため、すべてのユーザに共通に伝送する信号がマルチチャンネルをそれぞれエンコーディングして送る場合には、そのマルチチャンネルを2chおよび5.1chに再変換して再生しなければならない場合、通信的な非効率が発生するだけでなく、22.2chのPCM信号を格納しなければならないため、メモリ管理における非効率が発生することがある。
したがって、マルチチャンネル信号(総Mチャンネル、入力チャンネルの数)をそれぞれエンコーディングして伝送するよりは、より小さいチャンネル数(Nチャンネル、出力チャンネルの数)に減少させる過程であるダウンミックス過程(M−N downmix)を行った後にデコーダに伝送できる。デコーダは、ダウンミックス信号を受信し、そのダウンミックス信号をそのまま再生したり、または、ダウンミックス過程で抽出された情報を用いて、原信号と同じチャンネル数の信号をダウンミックス信号から生成することができる。
図3は、マルチチャンネル信号がダウンミックスされる過程を示す図である。エンコーダで定められたツリー構造によってダウンミックスできるが、5.1chがマルチチャンネル信号の場合を一例に挙げてダウンミックス過程を説明する。しかし、本発明は、特定のツリー構造または特定の入力チャンネルの数などによって限定されず、マルチチャンネル信号は22.2chになってもよい。また、ダウンミックスされた信号のチャンネル(N個のチャンネル)も、図3では、モノまたはステレオを例に挙げて説明しているが、N個のチャンネルは、入力チャンネルの数(M)より小さい場合であれば、いずれの場合も可能(5.1chなど)であることを明らかにする。
図3を参照すれば、左チャンネル、右チャンネル、センターチャンネル、サラウンド左チャンネル、サラウンド右チャンネルが、マルチチャンネルまたはその一部になってよい。センターチャンネルは、スケーリングされた後に、左チャンネルおよび右チャンネルにそれぞれ配分される。追加的に、サラウンド左チャンネルおよびサラウンド右チャンネルが存在する場合、その大きさが調整された後に、左チャンネルおよび右チャンネルにそれぞれ含まれてよい。その結果、左和チャンネル(Lt/Lo)および右和チャンネル(Rt/Ro)が生成可能であり、その2つのチャンネルが再び合わされてモノ信号が生成されてもよい。
一方、このようにダウンミックスする過程で、逆位相の信号間の相殺干渉効果によって信号の品質が劣化する問題が生じることがある。具体的には、周辺チャンネル同士で単純に和(sum)をする方式でダウンミックスを行えば、結局、同一信号の互いに異なる位相(phase)信号が加えられる確率が高い。この過程で、ある信号は増幅効果または減衰効果が発生し、結果的には、相関歪み(correlation distortion)が発生することがある。また、トップレイヤ(top layer)やボトムレイヤ(bottom)上のチャンネルを中間レイヤ(middle layer)に単純に加えてダウンミックスする場合、所望のサウンドシーン(sound scene)の実現が事実上不可能である。
このようにモノまたはステレオ信号などにダウンミックスされた信号は、デコーダで5.1ch以上のマルチチャンネル信号にアップミキシンできる。先に説明したように、ダウンミックス過程で相殺干渉効果によって音質が劣化し得るため、アップミキシングする過程でこれに対する補償処理を行うことができる。その過程については、以下、図4などを参照しながら説明する。
図4は、本発明の一実施例によるデコーダの構成を示す図である。図4を参照すれば、本発明の一実施例によるデコーダは、デマルチプレクサ110と、出力チャンネル生成部120とを含む。デマルチプレクサ110は、エンコーダからオーディオ信号のビットストリームを受信し、このビットストリームからダウンミックス信号(DMX)およびアップミキシングパラメータ(UP)を抽出する。もちろん、ダウンミックス信号およびアップミキシングパラメータは、1つのビットストリームでなく、それぞれの別のオーディオ信号のビットストリームを介して受信できる。
出力チャンネル生成部120は、受信されたダウンミックス信号(DMX)にアップミキシングパラメータ(UP)を適用することにより、マルチチャンネル信号(チャンネル数N個)を生成することができる。ここで、マルチチャンネル信号は、先に言及したように、ダウンミックス信号のチャンネル数(M)より大きい数のチャンネルを有する信号であって、5.1ch、22.2chなどになってよい。しかし、マルチチャンネル信号の個数(N)は、エンコーダの入力チャンネル数と同一であってよいが、場合によっては、同一でなくてもよい。
ここで、アップミックスパラメータ(UP)は、空間パラメータおよびチャンネル間位相差(IPD)情報を含むことができる。ここで、空間パラメータは、チャンネル間レベル差(CLD:Channel Level Differences)を含み、チャンネル間相関関係(ICC:Inter Channel Coherences)をさらに含むことができる。1つのOTT(One−To−Two)ボックスを介して2つのチャンネル(第1入力チャンネルおよび第2入力チャンネル)が1つのチャンネル(第1出力チャンネル)にダウンミックスされる場合、チャンネル間レベル差(CLD)は、第1入力チャンネルおよび第2入力チャンネルの間のレベル差であり、チャンネル間相関関係(ICC)は、第1入力チャンネルおよび第2入力チャンネルの間の相関関係である。
一方、チャンネル間位相差(IPD:inter−channel phase difference)情報は、チャンネル間位相差(IPD)そのものであるか、位相差(IPD)が量子化またはエンコーディングされた値であってよい。デマルチプレクサ110は、受信されたチャンネル間位相差(IPD)情報からチャンネル間位相差を取得する。ここで、チャンネル間位相差(IPD)は、第1入力チャンネルおよび第2入力チャンネルの間の位相差に相当する。ここで、前記第1入力チャンネルおよび第2入力チャンネルの代わりに、第1位相チャンネルおよび第2位相チャンネルと名付けることができる。
出力チャンネル生成部120は、このようにアップミックスパラメータ(UP)を1つ以上のアップミキシング部を介してダウンミックス信号に適用することにより、マルチチャンネルに相当する出力チャンネル信号を生成することができるが、出力チャンネル生成部120の多様な実施例(120A、120B、120C)を、図5〜図7を参照しながら説明する。
図5〜図7は、図4の出力チャンネル生成部120の第1実施例(120A)〜第3実施例(120B)である。まず、図5を参照すれば、第1実施例による出力チャンネル生成部120Aは、1つのアップミキシング部122を含む。アップミキシング部122は、1つの入力信号にアップミキシングパラメータ(UP)を適用することにより、第1位相チャンネル(P1)および第2位相チャンネル(P2)を生成する。ここでの入力信号は、受信されたダウンミックス信号そのものであってもよく、ダウンミックス信号のうちの1つのチャンネル信号であってもよい。ここでのアップミキシングパラメータ(UP)は、チャンネル間位相差(IPD)およびチャンネル間レベル差(CLD)を含むことができる。一方、第1−1実施例(120A.1)に示されているように、入力信号はデコリレータDでデコリレーティングされた後、入力信号およびデコリレーションされた信号がアップミキシング部122に入力されてもよい。
一方、アップミキシング部122は、チャンネル間位相差(IPD)を全域位相差(OPD:overall phase difference)に変換した後に前記入力信号に適用できるが、ここで、全域位相差は、前記第1位相チャンネルおよび前記ダウンミックス信号の間の位相差(または第1位相チャンネルおよび入力信号の間の位相差)に相当する。アップミキシング部122に関する詳細な説明は、以後、図8を参照しながら具体的に説明する。
図6を参照すれば、第2実施例による出力チャンネル生成部120Bの構成が分かる。出力チャンネル生成部120Bは、2つのアップミキシング部122を含むが、これらアップミキシング部は並列に配置される。第1アップミキシング部122.1は、入力信号_1にアップミキシングパラメータ(UP)を適用して、第1位相チャンネル(P1)および第2位相チャンネル(P2)を生成するが、ここで、入力信号_1は、ダウンミックス信号のうちの一部であってよい。例えば、ダウンミックス信号がステレオ信号の場合、入力信号_1は、左チャンネル信号であってよい。第2アップミキシング部122.2は、入力信号_2にアップミキシングパラメータ(UP)を適用して、第3位相チャンネル(P3)および第4位相チャンネル(P4)を生成するが、入力信号_2は、ダウンミックス信号がステレオ信号の場合、右チャンネル信号であってよい。
同様に、第1アップミキシング部122.1および第2アップミキシング部122.2の詳細構成については、図8を参照しながら以後に説明する。
図7を参照すれば、第3実施例による出力チャンネル生成部120Cの構成が分かる。出力チャンネル生成部120Cは、3つのアップミキシング部122が階層的に配置されている。第1アップミキシング部122.1の出力である第1位相チャンネル(P1)および第2位相チャンネル(P2)が、第2アップミキシング部122.2および第3アップミキシング部122.3にそれぞれ入力チャンネルとして入力される。第1アップミキシング部122.1は、第1実施例または第1−1実施例のアップミキシング部とほぼ同一の動作を行うことができる。第2アップミキシング部122.2は、第1位相チャンネル(P1)にアップミックスパラメータ(UP)を適用して、第3位相チャンネル(P3)および第4位相チャンネル(P4)を生成し、第3アップミキシング部122.3は、第2位相チャンネル(P2)にアップミックスパラメータ(UP)を適用して、第5位相チャンネル(P5)および第6位相チャンネル(P6)を生成する。
前記第1実施例〜第3実施例の出力チャンネル生成部120A〜120Cのほか、多数のアップミキシング部122が並列および直列に組み合わされて多様なツリー構造を構成することができ、本発明は特定のツリー構造に限定されない。
以下、前記実施例に1つ以上含まれるアップミキシング部122の詳細構成について説明する。
図8は、図5〜図7のアップミキシング部122の一実施例による詳細構成を示す図である。アップミキシング部122は、チャンネル間位相差(IPD)情報を全域位相差(OPD)に変換し、空間パラメータを適用することにより、1つ以上のチャンネルから2以上のチャンネル信号を生成する。図8を参照すれば、アップミキシング部122は、加重値定義決定部122aと、加重値生成部122bと、OPD生成部122cと、OPD適用部122dとを含む。
まず、図9を参照しながら、位相差による相殺歪み現象を説明する。図9を参照すれば、モノ信号、および左チャンネル、右チャンネルの間の位相が示されている。図9(A)は、数式1のように、左チャンネルおよび右チャンネルを単純に和(summation)をしてモノ信号を生成した時の位相差が示されている。
ここで、sはモノ信号、lは左チャンネル信号、rは右チャンネル信号である。
図9(A)に示されているように、モノ信号(s)を示すベクトルと、左チャンネル信号(l)を示すベクトルとの間の角度が、全域位相差(OPD)である。左チャンネル信号(l)と右チャンネル信号(r)ベクトルの間の角度は、チャンネル間位相差(IPD)に相当することができる。図9(A)において、チャンネル間位相差(IPD)が90度未満であるため、モノ信号(s=1/2*(l+r))の増幅効果が起こり、元の左チャンネルおよび右チャンネル信号よりモノ信号(s)の大きさが大きくなったことが分かる。しかし、チャンネル間位相差(IPD)が180度に近づくと、元の左チャンネル信号および右チャンネル信号それぞれの大きさにかかわらず、それらベクトルのベクトル和であるモノ信号(s)の大きさが0に近づく減衰効果が現れることがある。
このような問題を解決するために、数式1のような定義の代わりに、図9(B)に示された一例のように、各信号に加重値(w1およびw2)を適用して和信号を生成する定義を用いる。その定義のうち、一例は、次の通りである。
ここで、sはダウンミックス信号(または入力チャンネル信号)、lは第1位相チャンネル信号(または左チャンネル信号)、rは第2位相チャンネル信号(または右チャンネル信号)、w1は第1位相チャンネル信号に適用される第1加重値、w2は第2位相チャンネル信号に適用される第2加重値である。
第1加重値(w1)および第2加重値(w2)は、第1位相チャンネル(l)および第2位相チャンネル(r)を選択的に拡張するための値である。より具体的には、チャンネル間レベル差(CLD)に基づいて、第1位相チャンネル(l)および第2位相チャンネル(r)の相対的なレベルの大きさを考慮して、レベルの大きさが大きい信号に大きい値の加重値を与えるように、第1加重値および第2加重値が適用される。
このように第1位相チャンネル(l)および第2位相チャンネル(r)を選択的に拡張する理由は、第1位相チャンネル(l)および第2位相チャンネル(r)のうちの小さい値を有する信号に対して高い値の加重値を適用すれば、むしろ加重値を適用する前よりエラーが大きく発生し得るからである。したがって、第1位相チャンネルおよび第2位相チャンネルのうち、レベルの高い信号に高い値の加重値を適用する。
前記第1加重値および第2加重値の一例は、下記の数式の通りであってよい。
第1定義および第2定義において、いずれも第1加重値はw1、第2加重値はw2である。
前記数式3〜7を参照すれば、第1位相チャンネルおよび第2位相チャンネルをそれぞれスケーリングするための加重値の定義は、第1定義および第2定義を含むことができるが、チャンネル間レベル差によって第1定義および第2定義が選択的に適用される。本発明の一実施例によれば、第1位相チャンネルのチャンネルレベル値が第2位相チャンネルのチャンネルレベル値より大きい場合(または、大きいか等しい場合)、第1定義が適用され、第1位相チャンネルのチャンネルレベル値が第2位相チャンネルのチャンネルレベル値以下の場合(または、小さい場合)、第2定義が適用されてよい。すなわち、前記数式で定義されたCLDが0より大きい場合(または、大きいか等しい場合)、第1定義が適用され、CLDが0以下の場合(または、小さい場合)、第2定義が適用されてよい。一方、本発明の他の実施例によれば、第1位相チャンネルのチャンネルレベル値が予め設定された値より大きい場合、第1定義が適用され、第1位相チャンネルのチャンネルレベル値が予め設定された値以下の場合、第2定義が適用されてよい。
前記のような定義に基づいて、図8に示されたアップミキシング部122の詳細構成について説明する。
加重値定義決定部122aは、アップミキシングパラメータ(UP)の空間パラメータのうち、チャンネル間レベル差(CLD)に基づいて、第1位相チャンネル(P1)の第1加重値(w1)および第2位相チャンネル(P2)の第2加重値(w2)を決定する定義を選択する。具体的には、チャンネル間レベル差(CLD)は、第1位相チャンネルおよび第2位相チャンネルの間のレベル差を示すため、前記CLDを考慮すれば、第1位相チャンネルおよび第2位相チャンネルのうち、どの信号のレベルが高いかが分かる。第1位相チャンネルのレベル値が相対的に高い場合、加重値定義決定部122aは、第1加重値(w1)の値が第2加重値(w2)の値より高いように、第1定義を選択することができる。逆に、第2位相チャンネルのエネルギーが高い場合、加重値定義決定部122aは、第2加重値(w2)の値が第1加重値(w1)の値より高いように、第2定義を選択することができる。
加重値定義決定部122aが第1定義を選択した場合、加重値生成部122bは、第1定義に従って、第1加重値および第2加重値を算出することができる。すなわち、数式3の第1定義に従って、第1加重値および第2加重値が算出できる。一方、加重値定義決定部122aが第2定義を選択した場合、加重値生成部122bは、第2定義に従って、第1加重値および第2加重値を算出することができる。すなわち、数式4の第2定義に従って、第1加重値および第2加重値が算出できる。数式3〜7に示されているように、第1加重値および第2加重値を算出するにあたり、チャンネル間レベル差(CLD)、チャンネル間相関関係(ICC)、およびチャンネル間位相差(IPD)が利用できる。
第1定義に従って第1加重値および第2加重値が算出される場合、IPDの値が180度に近いほど、第1加重値は大きくなってよい。逆に、第2定義に従って第1加重値および第2加重値が算出される場合、IPDの値が180度に近いほど、第2加重値が大きくなってよい。
前記のように、チャンネル間レベル差の値によって第1定義および第2定義が選択的に適用されることにより、第1位相チャンネルおよび第2位相チャンネルのうち、大きいレベル値を有するチャンネルに対して高い加重値が適用される。本発明の実施例によれば、IPDの値が180度に近いほど、第1位相チャンネルおよび第2位相チャンネルのうち、レベル値の大きい信号に対応する加重値の値が大きく設定できる。
このように加重値生成部122bによって第1加重値および第2加重値が生成されると、OPD生成部122cは、前記第1加重値および第2加重値に基づいて、チャンネル間位相差(IPD)を全域位相差(OPD)に変換する。第1加重値および第2加重値が決定されると、数式2によって、ダウンミックス信号および第1位相チャンネル信号の間の関係が決定される。すると、全域位相差(OPD)は、ダウンミックス信号および第1位相チャンネルの間の位相差であるので、チャンネル間位相差(IPD)は全域位相差(OPD)に変換できるのである。
具体的には、チャンネル間位相差(IPD)および全域位相差(OPD)の関係式の一例は、次の通りである。
前記数式8〜9によれば、全域位相差(OPD)を算出するために、チャンネル間位相差(IPD)だけでなく、チャンネル間レベル差(CLD)がさらに利用できる。
すると、OPD適用部122dは、全域位相差(OPD)に基づいて、入力信号(またはダウンミックス信号)から第1位相チャンネル(P1)および第2位相チャンネル(P2)を生成する。1つの信号にOPDを適用して2つのチャンネルを生成することで、チャンネル数を増加させるアップミキシング過程が行われるのである。
一方、本発明の他の実施例によれば、前記数式3〜7で説明したように、第1加重値および第2加重値の定義を決定する代わりに、和信号(s、ダウンミックス信号)および位相チャンネルの間の関係に対する定義を、次のように決定することができる。
すなわち、数式10〜12の実施例によれば、第1加重値(w1)および第2加重値(w2)に対する定義は同一であるのに対し、チャンネル間レベル差によって、和信号(s)が第1和および第2和のうちのいずれかに決定できる。本発明の一実施例によれば、第1位相チャンネル(l)のチャンネルレベル値が第2位相チャンネル(r)のチャンネルレベル値より大きい場合(または、大きいか等しい場合)、第1和が和信号(s)として決定され、第1位相チャンネル(l)のチャンネルレベル値が第2位相チャンネル(r)のチャンネルレベル値以下の場合(または、小さい場合)、第2和が和信号(s)として決定されてよい。一方、本発明の他の実施例によれば、第1位相チャンネル(l)のチャンネルレベル値が予め設定された値より大きい場合、第1和が和信号(s)として決定され、第1位相チャンネル(l)のチャンネルレベル値が予め設定された値以下の場合、第2和が和信号(s)として決定されてよい。したがって、数式10〜12の実施例においても、第1位相チャンネルのレベル値が第2位相チャンネルのレベル値より高い場合、第1位相チャンネルに対してより高い値の加重値が適用され、第2位相チャンネルのレベル値が高い場合、第2位相チャンネルに対してより高い値の加重値が適用されてよい。
本発明によるアップミキシング部122において、前記決定された和信号(s)に基づいて第1位相チャンネルおよび第2位相チャンネルを生成する方法は、前述の通りである。すなわち、アップミキシング部122は、前記数式10〜12によって決定された和の定義と、第1加重値(w1)および第2加重値(w2)に基づいて、全域位相差(OPD)情報を生成することができる。また、アップミキシング部122は、全域位相差(OPD)を用いてダウンミックス信号(s)から第1位相チャンネルおよび第2位相チャンネルを生成し、アップミキシングを行うことができる。
前記のような本発明の実施例によれば、アップミキシング部でチャンネル数を増加させるために必要なOPDを生成するにあたり、チャンネルの間の位相差が180度に近づく時に発生する相殺干渉効果を低減することができる。それだけでなく、第1位相チャンネルおよび第2位相チャンネルのうち、チャンネルレベルの低い信号に対して高い加重値を適用する時に発生する歪み現象を低減することができる。
図10は、本発明の他の実施例によるエンコーダおよびデコーダの構成を示す図である。図10は、デコーダのスピーカセットアップがそれぞれ異なる場合に、スケーラブルなコーディングのための構造を示す。
エンコーダは、ダウンミキシング部210を含み、デコーダは、第1デコーディング部230〜第3デコーディング部250のうちの1つ以上と、デマルチプレキシング部220とを含む。
ダウンミキシング部210は、マルチチャンネルに相当する入力信号(CH_N)をダウンミキシングすることにより、ダウンミックス信号(DMX)を生成する。この過程で、アップミックスパラメータ(UP)およびアップミックスレジデュアル(UR)のうちの1つ以上を生成する。その後、ダウンミックス信号(DMX)、アップミックスパラメータ(UP)(およびアップミックスレジデュアル(UR))をマルチプレキシングすることにより、1以上のビットストリームを生成し、デコーダに伝送する。
ここで、アップミックスパラメータ(UP)は、1以上のチャンネルを2以上のチャンネルにアップミキシングするために必要なパラメータであって、先に本発明の一実施例とともに説明したように、空間パラメータおよびチャンネル間位相差(IPD)などが含まれてよい。
そして、アップミックスレジデュアル(UR)は、原信号の入力信号(CH_N)と復元された信号との差であるレジデュアル信号に相当する。ここで、復元された信号は、ダウンミックス信号(DMX)にアップミックスパラメータ(UP)を適用してアップミキシングされた信号であってもよいし、ダウンミキシング部210によってダウンミキシングされていないチャンネルがdiscreteな方式でエンコーディングされた信号であってよい。
デコーダのデマルチプレキシング部220は、1以上のビットストリームからダウンミックス信号(DMX)およびアップミックスパラメータ(UP)を抽出し、アップミックスレジデュアル(UR)をさらに抽出することができる。
デコーダは、スピーカセットアップ環境に応じて、第1デコーディング部230〜第3デコーディング部250のうちの1つ(または1つ以上)を選択的に含むことができる。デバイスの種類(スマートフォン、ステレオテレビ、5.1chホームシアター、22.2chホームシアターなど)に応じて、ラウドスピーカのセットアップ環境が多様であり得る。このように多様な環境にもかかわらず、22.2chなどのマルチチャンネル信号を生成するためのビットストリームおよびデコーダが選択的でなければ、22.2chの信号をすべて復元した後に、スピーカの再生環境に応じて、再びダウンミックスしなければならない。この場合、復元およびダウンミックスに必要な演算量が非常に高いだけでなく、遅延が発生することもある。
しかし、本発明の他の実施例によれば、各デバイスのセットアップ環境に応じて、デコーダが第1デコーディング部〜第3デコーディング部のうちの1つ(または1つ以上)を選択的に備えることにより、前記のような不都合を解消することができる。
第1デコーディング部230は、ダウンミックス信号(DMX)のみをデコーディングする構成であって、チャンネル数の増加を伴わない。すなわち、第1デコーディング部230は、ダウンミックス信号がモノの場合、モノチャンネル信号を出力し、ステレオの場合、ステレオ信号を出力するものである。第1デコーディング部230は、スピーカチャンネル数が1つまたは2つの、ヘッドホンが備えられた装置、スマートフォン、テレビなどに好適であり得る。
一方、第2デコーディング部240は、ダウンミックス信号(DMX)およびアップミックスパラメータ(UP)を受信し、これに基づいて、パラメトリックMチャンネル(PM)を生成する。第2デコーディング部240は、第1デコーディング部230に比べて出力チャンネル数が増加する。しかし、アップミックスパラメータ(UP)が総Mチャンネルまでのアップミックスに相当するパラメータのみが存在する場合、第2デコーディング部240は、原チャンネル数(N)に及ばないMチャンネル数の信号を出力することができる。例えば、エンコーダの入力信号である原信号が22.2ch信号であり、Mチャンネルは、5.1ch、7.1chチャンネルなどであってよい。
第3デコーディング部250は、ダウンミックス信号(DMX)およびアップミックスパラメータ(UP)だけでなく、アップミックスレジデュアル(UR)まで受信する。第2デコーディング部240は、Mチャンネルのパラメトリックチャンネルを生成するのに対し、第3デコーディング部250は、これにアップミックスレジデュアル信号(UR)まで追加的に適用することにより、N個のチャンネルの復元された信号を出力することができる。
各デバイスは、第1デコーディング部〜第3デコーディング部のうちの1つ以上を選択的に備え、ビットストリームのうち、アップミックスパラメータ(UP)およびアップミックスレジデュアル(UR)を選択的にパーシングすることにより、各スピーカセットアップ環境に合わせた信号を直ちに生成することにより、複雑度および演算量を低減することができる。
図11は、本発明の一実施例によるオーディオ信号処理装置が実現された製品の関係を示す図である。まず、図11を参照すれば、有無線通信部310は、有無線通信方式によりビットストリームを受信する。具体的には、有無線通信部310は、有線通信部310A、赤外線通信部310B、ブルートゥース部310C、無線RAN通信部310Dのうちの1つ以上を含むことができる。
ユーザ認証部320は、ユーザ情報を受信してユーザ認証を行うものであって、指紋認識部320A、虹彩認識部320B、顔認識部320C、および音声認識部320Dのうちの1つ以上を含むことができるが、それぞれ指紋、虹彩情報、顔輪郭情報、音声情報を受信して、ユーザ情報に変換し、ユーザ情報および既に登録されているユーザデータと一致するか否かを判断して、ユーザ認証を行うことができる。
入力部330は、ユーザが様々な種類の命令を入力するための入力装置であって、キーパッド部330A、タッチパッド部330B、リモコン部330Cのうちの1つ以上を含むことができるが、本発明はこれに限定されない。
信号コーディングユニット340は、有無線通信部310を介して受信されたオーディオ信号および/またはビデオ信号に対してエンコーディングまたはデコーディングを行い、時間ドメインのオーディオ信号を出力する。前記信号コーディングユニット340は、オーディオ信号処理装置345を含むことができる。この時、オーディオ信号処理装置345は、先に説明した本発明の実施例(すなわち、一実施例によるデコーダ100、および他の実施例によるエンコーダおよびデコーダ200)に相当するものであって、このようにオーディオ処理装置345およびこれを含む信号コーディングユニット340は、1つ以上のプロセッサによって実現できる。
制御部350は、入力装置から入力信号を受信し、信号コーディングユニット340および出力部360のすべてのプロセスを制御する。出力部360は、信号コーディングユニット340によって生成された出力信号などが出力される構成要素であって、スピーカ部360Aと、ディスプレイ部360Bとを含むことができる。出力信号がオーディオ信号の時、出力信号はスピーカに出力され、ビデオ信号の時、出力信号はディスプレイを介して出力される。
本発明によるオーディオ信号処理方法は、コンピュータで実行されるためのプログラムに作成され、コンピュータ読み取り可能な記録媒体に格納されてよいし、本発明によるデータ構造を有するマルチメディアデータもコンピュータ読み取り可能な記録媒体に格納されてよい。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み込まれるデータが格納されるすべての種類の格納装置を含む。コンピュータ読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶装置などがあり、また、キャリアウエーブ(例えば、インターネットを介した伝送)の形態で実現されるものも含む。さらに、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納されたり、有/無線通信網を用いて伝送可能である。
以上、本発明は、限定された実施例と図面によって説明されたが、本発明はこれによって限定されず、本発明の属する技術分野における通常の知識を有する者によって本発明の技術思想と以下に記載される特許請求の範囲の均等範囲内で多様な修正および変形が可能であることは当然である。
上述のように、発明を実施するための形態において、関連事項を記述した。