JP2010521013A - オーディオ信号の処理方法及び装置 - Google Patents

Abstract

本発明は、オブジェクト情報を含むオーディオ信号を受信し、前記受信されたオーディオ信号から各オブジェクトがグルーピングされたか否かを表す相関情報を獲得し、前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得することを特徴とするオーディオ信号の処理方法を提供する。
【選択図】図２

Description

本発明は、オーディオ信号の処理方法及び装置に関し、より詳細には、デジタル媒体、放送信号などで受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関する。

オブジェクト基盤のオーディオ信号の処理において、一般的に入力信号を構成する一つのオブジェクトは独立的なオブジェクトとして処理される。このとき、各オブジェクト間には相関性が存在しうるので、このような相関性を用いてコーディングする場合、より効率的なコーディングが可能である。

したがって、本発明は、オーディオ信号の処理効率を高めることを目的とする。

本発明の目的は、オブジェクト基盤のオーディオ信号の処理において、各オブジェクト間の相関性を用いて信号を処理することができる方法を提供することにある。

本発明の他の目的は、相関性が存在する各オブジェクトをグルーピングすることができる方法を提供することにある。

本発明の他の目的は、グルーピングされた各オブジェクトの相関性を表す情報を獲得する方法を提供することにある。

本発明の他の目的は、オブジェクトに関するメタ情報を伝送する方法を提供することにある。

本発明は、オブジェクト情報を含むオーディオ信号を受信し、前記受信されたオーディオ信号から各オブジェクトがグルーピングされたか否かを表す相関情報を獲得し、前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得することを特徴とするオーディオ信号の処理方法を提供する。

本発明は、さらに、グルーピングされた各オブジェクトのうち少なくとも一つのオブジェクトに関するサブメタ情報を獲得し、前記サブメタ情報は、前記グルーピングされた各オブジェクトの個別的な属性を表すことを特徴とする。

本発明は、さらに、メタ情報及びサブメタ情報を用いて各オブジェクト固有のメタ情報を生成することを特徴とする。

本発明は、さらに、サブメタ情報を獲得するか否かを表すフラグ情報を獲得し、前記サブメタ情報は、前記フラグ情報に基づいて獲得されることを特徴とする。

本発明は、さらに、グルーピングされた各オブジェクトのうち少なくとも一つのオブジェクトに関するサブメタ情報を表す識別情報を獲得し、前記識別情報に基づいて前記グルーピングされた各オブジェクトのサブメタ情報を確認することを特徴とする。

本発明は、さらに、グルーピングされた各オブジェクトの種類を表すインデックス情報を獲得し、前記メタ情報は、前記インデックス情報に基づいて獲得されることを特徴とする。

本発明は、グルーピングされた各オブジェクトが左側のチャネルを表すオブジェクト及び右側のチャネルを表すオブジェクトを含む場合、前記左側のチャネルを表すオブジェクトのメタ情報のみを獲得することを特徴とする。

本発明は、さらに、メタ情報が伝送されたか否かを表すフラグ情報を獲得し、前記メタ情報は、前記フラグ情報に基づいて獲得されることを特徴とする。

本発明は、メタ情報がメタデータの文字数及び各文字情報を含むことを特徴とする。

本発明は、オブジェクト情報を含むオーディオ信号を受信し、前記受信されたオーディオ信号から各オブジェクト間に相関性があるか否かを表すオブジェクトタイプ情報を獲得し、前記オブジェクトタイプ情報に基づいて各オブジェクトがグルーピングされたか否かを表す相関情報を誘導し、前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得することを特徴とするオーディオ信号の処理方法を提供する。

本発明は、各オブジェクト信号間の相関関係によって相関情報を生成し、前記相関情報に基づいて、相関関係を有する各オブジェクトをグルーピングし、前記グルーピングされた各オブジェクトに関して共通した一つのメタ情報を生成することを特徴とするオーディオ信号の処理方法を提供する。

本発明は、オブジェクト情報を含むオーディオ信号から各オブジェクトがグルーピングされたか否かを表す相関情報を獲得する第１の情報生成ユニットと、前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得する第２の情報生成ユニットとを含むことを特徴とするオーディオ信号処理装置を提供する。

本発明は、互いに密接な相関性を有するオブジェクト信号の場合、一つのグループに束ねる方法を提供することによってオーディオ信号の処理効率を高めることができる。そして、グルーピングされた各オブジェクトに対して同一の情報を一回だけ伝送することによって、効率性をより高めることができる。また、各オブジェクトに関する具体的な属性情報を伝送することによって、ユーザの望むオブジェクトに対して直接的かつ細密なコントロールが可能である。

本発明の実施例による、オーディオ信号処理装置の構成図である。 本発明の実施例による、オブジェクトに関するメタ情報を伝送する方法を説明するための図である。 本発明の実施例による、グルーピングされた各オブジェクトの相関性を表す情報を獲得する方法に関するシンタックスを示す図である。 本発明の実施例による、グルーピングされた各オブジェクトの相関性を表す情報を獲得する方法に関するシンタックスを示す図である。 本発明の実施例による、グルーピングされた各オブジェクトの相関性を表す情報を獲得する方法に関するシンタックスを示す図である。 本発明の実施例による、オブジェクトに関するメタ情報を含むビットストリームの構造を示す図である。

以下、添付された図面を参照して、本発明の実施例の構成及びその作用を説明する。図面に基づいて説明される本発明の構成及び作用は、一つの実施例として説明されるものであり、これによって本発明の技術的思想、その核心構成及び作用が制限されることはない。

併せて、本発明では、可能な限り現在広く使用される一般的な用語を選択したが、特定の場合、出願人が任意に選定した用語を使用して説明する。その場合には、該当部分の詳細な説明でその意味を明確に記載しているので、本発明の説明で使用された用語の名称のみで単純に解釈してはならず、該当用語の意味まで把握して解釈しなければならない。

特に、本明細書において、情報は、値、パラメータ、係数、成分などを総称する用語で、場合によって異なる意味に解釈されることもあるが、本発明がこれに限定されることはない。

図１は、本発明の実施例による、オーディオ信号処理装置の構成図である。

図１を参照すると、まず、本発明の実施例に係るオーディオ信号処理装置１００は、情報生成ユニット１１０、ダウンミックス処理ユニット１２０及びマルチチャネルデコーダ１３０を含むことができる。

情報生成ユニット１１０は、オブジェクト情報（object information；ＯＩ）などを含む付加情報を、オーディオ信号ビットストリームを介して受信し、ユーザインタフェースを介してミックス情報（mix information；ＭＸＩ）を受信することができる。ここで、オブジェクト情報（ＯＩ）は、ダウンミックス信号内に含まれている各オブジェクトに関する情報で、オブジェクトレベル情報、オブジェクト相関情報、メタ情報などを含むことができる。前記オブジェクト情報（ＯＩ）のうちメタ情報を伝送する方法及び前記メタ情報を含むオーディオ信号のビットストリームの構造に関しては、図２〜図６を参照して詳細に説明する。

一方、ミックス情報（ＭＸＩ）は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報などに基づいて生成された情報であり、オブジェクト位置情報は、ユーザが各オブジェクトの位置又はパニングを制御するために入力した情報で、オブジェクト利得情報は、ユーザが各オブジェクトの利得を制御するために入力した情報である。再生環境情報は、スピーカーの個数、スピーカーの位置、アンビエント情報（スピーカーの仮想位置）などを含む情報で、ユーザから入力を受けることもでき、予め保存されることもあり、他の装置から受信することもできる。

ダウンミックス処理ユニット１２０は、ダウンミックス情報（以下、ダウンミックス信号（ＤＭＸ））を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。オブジェクトのパニング又は利得を調節するためにダウンミックス信号（ＤＭＸ）を処理することができる。

マルチチャネルデコーダ１３０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングすることによって、マルチチャネル信号を生成することができる。

以下、オブジェクト情報（ＯＩ）のうちメタ情報を伝送する方法及び前記メタ情報を含むオーディオ信号のビットストリームの構造に関して詳細に説明する。

図２は、本発明の実施例による、オブジェクトに関するメタ情報を伝送する方法を説明するための図である。

オブジェクト基盤のオーディオコーディングでは、オブジェクトに関するメタ情報の伝送を受けることができる。例えば、複数個のオブジェクトをモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号からメタ情報が抽出される。そして、前記メタ情報は、ユーザの選択によってコントロールされる。

ここで、前記メタ情報は、メタデータを意味してもよい。メタデータは、データに関するデータで、情報資源の属性を記述するデータを意味する。すなわち、メタデータは、実際に保存しようとするデータ（例えば、ビデオ、オーディオなど）自体ではないが、このデータと直接的に又は間接的に関連した情報を提供するデータを意味する。このようなメタデータを使用すれば、ユーザの望むデータであるか否かを確認することができ、容易かつ迅速に所望のデータを見出すことができる。すなわち、データを所有している側面では管理の容易性が保障され、データを使用している側面では検索の容易性が保障される。

オブジェクト基盤のオーディオコーディングにおいて、前記メタ情報は、オブジェクトの属性を表す情報を意味してもよい。例えば、メタ情報は、音源を構成する複数個のオブジェクト信号のうちボーカルオブジェクトであるか、それともバックグラウンドオブジェクトであるかなどを表すことができる。また、前記ボーカルオブジェクトのうち左側のチャネルに関するオブジェクトであるか、それとも右側のチャネルに関するオブジェクトであるかを表すこともできる。また、前記バックグラウンドオブジェクトのうちピアノオブジェクトであるか、ドラムオブジェクトであるか、ギターオブジェクトであるか、その他の楽器オブジェクトであるかなどを表すことができる。

ところが、互いに密接な相関性を有するオブジェクト信号の場合、各オブジェクト信号に関して共通したメタ情報などを伝送することができる。したがって、これらを一つのグループに束ねて共通した情報を一回だけ伝送する場合、効率性をより高めることができる。例えば、ステレオ信号から得た２個のボーカルオブジェクト（左側のチャネルオブジェクトと右側のチャネルオブジェクト）があると仮定すると、前記左側のチャネルオブジェクトと前記右側のチャネルオブジェクトは、「ボーカルオブジェクト」という同一の属性を有するようになる。したがって、各オブジェクトごとに独立したメタ情報を伝送するよりも、共通した一つのメタ情報のみを伝送する方がより効率的である。したがって、互いに密接な相関性を有するオブジェクト信号をグルーピングし、グルーピングされたオブジェクトに対してはメタ情報を一回だけ伝送することができる。

例えば、図２を参照して、ボーカルオブジェクトＡ、ボーカルオブジェクトＢ、ピアノオブジェクト５、ピアノオブジェクト６、ギターオブジェクト７及びドラムオブジェクト８があると仮定すると、ボーカルオブジェクトＡは、左側のチャネルオブジェクト（ボーカルＡオブジェクト１）及び右側のチャネルオブジェクト（ボーカルＡオブジェクト２）からなる。これと同様に、ボーカルオブジェクトＢも、左側のチャネルオブジェクト（ボーカルＢオブジェクト３）及び右側のチャネルオブジェクト（ボーカルＢオブジェクト４）からなる。

この場合、互いに密接な相関性を有するオブジェクト信号をグルーピングすることができる。例えば、前記ボーカルオブジェクトＡの左側のチャネルオブジェクト（ボーカルＡオブジェクト１）と前記ボーカルオブジェクトＡの右側のチャネルオブジェクト（ボーカルＡオブジェクト２）とが互いに密接な相関性を有すると見ることができる。したがって、これらを一つのグループ（Ｇｒｏｕｐ１）にグルーピングすることができる。これと同様に、前記ボーカルオブジェクトＢの左側のチャネルオブジェクト（ボーカルＢオブジェクト３）と前記ボーカルオブジェクトＢの右側のチャネルオブジェクト（ボーカルＢオブジェクト４）とが互いに密接な相関性を有すると見ることができ、これらを一つのグループ（Ｇｒｏｕｐ２）にグルーピングすることができる。

また、ピアノオブジェクト５とピアノオブジェクト６とが互いに相関性を有するので、これらを一つのグループ（Ｇｒｏｕｐ３）にグルーピングすることができる。このように、前記グルーピングされたオブジェクト（Ｇｒｏｕｐ１、Ｇｒｏｕｐ２、Ｇｒｏｕｐ３）に対してはメタ情報を一回だけ伝送することができる。

また、複数個のオブジェクトのみならず、一つのオブジェクトに対しても一つのグループに設定することができる。例えば、ギターオブジェクト７とドラムオブジェクト８は、それぞれ一つのグループ（Ｇｒｏｕｐ４、Ｇｒｏｕｐ５）に設定することができる。

さらに、前記Ｇｒｏｕｐ１とＧｒｏｕｐ２は、ボーカルオブジェクトという密接な相関性を有している。したがって、前記Ｇｒｏｕｐ１とＧｒｏｕｐ２は、更に他のグループ（ＧｒｏｕｐＡ）にグルーピングすることもできる。また、ピアノオブジェクト５、ピアノオブジェクト６、ギターオブジェクト７及びドラムオブジェクト８は、バックグラウンドオブジェクト又は楽器オブジェクトという密接な相関性を有している。したがって、前記Ｇｒｏｕｐ３、Ｇｒｏｕｐ４、Ｇｒｏｕｐ５は、更に他のグループ（ＧｒｏｕｐＢ）にグルーピングすることができる。このように、グルーピングされた各オブジェクト（ＧｒｏｕｐＡ、ＧｒｏｕｐＢ）に対してはメタ情報を一回だけ伝送することができる。このとき、前記Ｇｒｏｕｐ１、Ｇｒｏｕｐ２、Ｇｒｏｕｐ３、Ｇｒｏｕｐ４、Ｇｒｏｕｐ５は、前記ＧｒｏｕｐＡ、ＧｒｏｕｐＢに対して一種のサブグループと見ることができる。

本発明の他の実施例で、オブジェクト信号に関するサブメタ情報を獲得することができる。ここで、サブメタ情報は、グルーピングされた各オブジェクの個別的な属性を表すことができる。例えば、ボーカルオブジェクトの場合、左側のチャネルオブジェクトを表す情報と右側のチャネルオブジェクトを表す情報を別途抽出することができる。すなわち、前記オブジェクトに関する個別的な属性情報を通して現在抽出される情報がボーカルオブジェクトＡの左側のチャネルオブジェクト（ボーカルＡオブジェクト１）を表す情報であるか、それともボーカルオブジェクトＡの右側のチャネルオブジェクト（ボーカルＡオブジェクト２）を表す情報であるかを直接的に知ることができる。前記サブメタ情報はヘッダから抽出される。

また、前記メタ情報及び前記サブメタ情報を用いて各オブジェクトの固有のメタ情報を生成することができる。

他の実施例で、オブジェクト信号に関する具体的な属性情報を、フラグ情報を用いて定義することができる。例えば、ボーカルオブジェクトに関してフラグ情報が０である場合には、前記ボーカルオブジェクトの左側のチャネルオブジェクトであることを意味し、ボーカルオブジェクトに関してフラグ情報が１である場合には、右側のチャネルオブジェクトであることを意味してもよい。また、ボーカルオブジェクトの左側のチャネルオブジェクトをデフォルト値に設定し、その次の情報は、別途の情報なしで前記ボーカルオブジェクトの右側のチャネルオブジェクトに設定することができる。

本発明の他の実施例で、オブジェクトに関するメタ情報と一緒に、前記オブジェクトに関するインデックス情報を活用することができる。例えば、オブジェクトに関する属性情報にインデックスを割り当て、予めテーブルを定めることができる。ここで、前記インデックスが示すオブジェクトの属性情報は、メタ情報を意味してもよい。そして、前記インデックス情報は、オブジェクトの種類を表す情報である。０〜１２６には、それぞれのオブジェクトの属性情報（例えば、楽器の名前）を割り当てることができ、１２７は、テキストとして入力を受けることができる。具体的な例で、楽器オブジェクトの場合、楽器の名前及び楽器の演奏者（例えば、ギター：ジミー・ページ）に関する情報をメタ情報として伝送することができる。この場合、前記楽器の名前は、予め定められたテーブルにしたがってインデックス情報を用いて伝送し、メタ情報として前記楽器の演奏者に関する情報を伝送することができる。

図３〜図５は、本発明の実施例による、グルーピングされた各オブジェクトの相関性を表す情報を獲得する方法に関するシンタックスを示す。

オブジェクト基盤のオーディオ信号を処理する場合において、入力信号を構成する一つのオブジェクトは独立的なオブジェクトとして処理される。例えば、ボーカルを構成するステレオ信号がある場合、左側のチャネル信号及び右側のチャネル信号をそれぞれ一つのオブジェクトとして認識して処理することができる。このような方式でオブジェクト信号を構成する場合、信号の根源が同一の各オブジェクト間には相関性が存在することができ、このような相関性を用いてコーディングする場合、より効率的なコーディングが可能である。例えば、ボーカルを構成するステレオ信号の左側のチャネル信号で構成されたオブジェクトと、右側のチャネル信号で構成されたオブジェクトとの間には相関性があり、このような相関性に関する情報を伝送して用いることができる。

また、前記相関性が存在する各オブジェクトをグルーピングし、グルーピングされた各オブジェクトに対して共通した情報を一回だけ伝送することによって、より効率的なコーディングが可能である。

本発明の実施例で、前記相関性が存在する各オブジェクトをグルーピングし、相関性に関する情報を伝送するためのシンタックスを定義する必要がある。例えば、図３のようなシンタックスを定義することができる。

図３を参照すると、ボールド体は、ビットストリームから伝送される情報を意味してもよい（Ｓ３１０）。ここで、ｂｓＲｅｌａｔｅｄＴｏは、一つのオブジェクトがステレオ又はマルチチャネルオブジェクトの一部分であるとき、他のオブジェクトが前記同一のステレオ又はマルチチャネルオブジェクトの一部分であるかを表す情報である。前記ｂｓＲｅｌａｔｅｄＴｏは、１ビットの情報をビットストリームから得ることができる。例えば、前記ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］＝１である場合、オブジェクトｉとオブジェクトｊは、同一のステレオ又はマルチチャネルオブジェクトのチャネルであることを意味してもよい。

前記ｂｓＲｅｌａｔｅｄＴｏ値に基づいて各オブジェクトがグループをなしたか否かを確認することができる（Ｓ３２０）。そして、各オブジェクトごとに前記ｂｓＲｅｌａｔｅｄＴｏ値を確認することによって、各オブジェクト間の相関性に関する情報を確認することができる（Ｓ３３０）。このように相関性が存在するグルーピングされた各オブジェクトに対しては、同一の情報（例えば、メタ情報）を一回だけ伝送することによって、より効率的なコーディングが可能である。

以下、図３のシンタックスの動作原理を説明する。例えば、７個のオブジェクトがあり、このうちオブジェクト３、４が互いに関連しており、オブジェクト５、６が互いに関連していると仮定する。すなわち、オブジェクト１、２、７はそれぞれモノ信号のオブジェクトと見ることができ、オブジェクト３、４とオブジェクト５、６はそれぞれステレオ信号のオブジェクトと見ることができる。この場合、擬似コードによって入力されるビットストリームは、次のように２１ビットで表現される。

［０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ １ ０ ０ ０ ０ ０ ０ １ ０ ０］

他の例で、７個のオブジェクトがあり、このうちオブジェクト１、３、５が互いに関連しており、オブジェクト２、６が互いに関連していると仮定する。すなわち、オブジェクト４、７はそれぞれモノ信号のオブジェクトと見ることができ、オブジェクト１、３、５とオブジェクト２、６はそれぞれマルチチャネル信号のオブジェクトと見ることができる。この場合、擬似コードによって入力されるビットストリームは、次のように１４ビットで表現される。

［０ １ ０ １ ０ ０ ０ １ ０ ０ ０ ０ ０ ０］

これは、下記の表１の原理によって表現されたものである。

前記表１で、ＮＡは、情報が伝送されないことを意味し、０、１は情報の内容を意味してもよい。互いに相関性を有する各オブジェクト間には１の値が伝送される。これによるｂｓＲｅｌａｔｅｄＴｏは、下記の表２のように構成される。

前記表２から分かるように、オブジェクト１、３、５が互いに相関性を有するので、値１が伝送され、オブジェクト１と相関性のないオブジェクト２、４、６、７は当然にオブジェクト３、５とも相関性がない。これと同様に、前記オブジェクト１に関する相関性情報は、当然に前記オブジェクト３、５と同一である。したがって、オブジェクト１と相関性を有する各オブジェクトに対しては同一の情報を伝送する必要がない。これと同様に、オブジェクト２と相関性を有するオブジェクト６に関する情報も伝送する必要がない。これに基づいて擬似コードによって入力されるビットストリームを、次のように１０ビットで表現することができる。

［０ １ ０ １ ０ ０ ０ １ ０ ０］

このビットストリームは、下記の表３のように解釈される。

前記表３のように伝送されたビットストリームを用いて、同一の方式でｂｓＲｅｌａｔｅｄＴｏを構成することができる。

本発明の他の実施例として、任意のオブジェクトに対して各オブジェクト間の相関性を知らせるためのシンタックスを定義することができる（Ｓ４１０）。例えば、図４を参照すると、各オブジェクト間の相関性を知らせるために、１ビットのｂｓＯｂｊｅｃｔＴｙｐｅを定義することができる。前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝０である場合、モノ信号のオブジェクトであることを意味し、前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝１である場合、ステレオ信号のオブジェクトであることを意味してもよい。このように、前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝１である場合、前記ｂｓＲｅｌａｔｅｄＴｏ値に基づいて各オブジェクト間の相関性に関する情報を確認することができ、各オブジェクトがグループをなしたか否かも確認することができる（Ｓ４２０）。

これと同様に、図４において、ボールド体は、ビットストリームから伝送される情報を意味してもよい。以下、図４のシンタックスの動作原理を説明する。例えば、７個のオブジェクトがあり、このうちオブジェクト３、４が互いに関連しており、オブジェクト５、６が互いに関連していると仮定する。すなわち、オブジェクト１、２、７はそれぞれモノ信号のオブジェクトと見ることができ、前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝０になる。そして、オブジェクト３、４とオブジェクト５、６は、それぞれステレオ信号のオブジェクトと見ることができ、前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝１になる。したがって、擬似コードによって入力されるビットストリームは、次のように７ビットで表現される。

［０ ０ １ １ １ １ ０］

前記実施例の場合、次のような仮定が必要である。例えば、相関性を有するオブジェクトは互いに隣接して伝送される。そして、各オブジェクト間の相関性は、ステレオ信号の各チャネル信号をとる各オブジェクト間のみに存在することができる。

本発明の他の実施例で、ステレオ信号の場合、最初のチャネルには一定のビット数を割り当て、残りのチャネルにはビット数を割り当てない。例えば、前記例で、モノ信号の場合には０ビットを割り当て、ステレオ信号の場合には、最初のチャネルに１ビットを割り当て、残りのチャネルに０ビットを割り当てることによって、ビットストリームの大きさを減少させることができる。したがって、擬似コードによって入力されるビットストリームは、次のように５ビットで表現される。

［０ ０ １ １ ０］

前記実施例は、図５のようにシンタックスを定義することができる。

図５の実施例では、ビットストリームから最初に１が抽出されると（Ｓ５１０）、該当オブジェクトは、ステレオ信号の左側のチャネル信号を意味してもよく、その次に１が抽出されると、ステレオ信号の右側のチャネル信号を意味してもよい。また、図５の実施例のビットストリームから最初に１が抽出されると（Ｓ５１０）、該当オブジェクトは、ステレオ信号の左側のチャネル信号を意味してもよく、その次のものは、他のフラグ情報を抽出しなくても、ステレオ信号の右側のチャネル信号を意味してもよい。

図４を参照して説明したように、各オブジェクト間の相関性を知らせるために１ビットのｂｓＯｂｊｅｃｔＴｙｐｅを定義することができる（Ｓ５２０）。前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝０である場合、現在のオブジェクトは、モノ信号のオブジェクトであることを意味し、前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝１である場合、現在のオブジェクトは、ステレオ信号のオブジェクトであることを意味してもよい。前記ｂｓＯｂｊｅｃｔＴｙｐｅ＝１である場合、各オブジェクトのタイプ（オブジェクトＴｙｐｅ）を確認することができる（Ｓ５３０）。このように、前記オブジェクトＴｙｐｅ＝１である場合、前記ｂｓＲｅｌａｔｅｄＴｏ値に基づいて各オブジェクト間の相関性に関する情報を確認することができ、各オブジェクトがグループをなしたか否かも確認することができる（Ｓ５４０）。

本発明の他の実施例で、ステレオ信号から獲得したオブジェクトに対して元のチャネルの情報を活用する方法を提案する。

オブジェクト基盤のオーディオコーディングでは、オブジェクトに関する情報を伝送し、これをデコーディングに活用することができる。前記オブジェクト情報には、オブジェクトレベル情報、オブジェクト相関情報、オブジェクト利得情報などを含むことができる。ここで、オブジェクト利得情報は、ユーザが各オブジェクトの利得を制御するために入力した情報である。すなわち、オブジェクト利得情報は、特定のオブジェクトがダウンミックス信号にどのように含まれているかを表すもので、下記の式１のように表現することができる。

［式１］
ｘ＿１＝ｓｕｍ（ａ＿ｉ＊ｓ＿ｉ）
ｘ＿２＝ｓｕｍ（ｂ＿ｉ＊ｓ＿ｉ）

ここで、ｘ＿１、ｘ＿２はダウンミックス信号で、例えば、ｘ＿１はダウンミックス信号の左側のチャネル信号を意味し、ｘ＿２はダウンミックス信号の右側のチャネル信号を意味してもよい。そして、ｓ＿ｉはｉ番目のオブジェクト信号を意味し、ａ＿ｉ、ｂ＿ｉはｉ番目のオブジェクト信号の左側及び右側のチャネルに含まれる利得を表すオブジェクト利得情報を意味してもよい。

前記オブジェクト利得情報は、多様な方法でビットストリームに含ませることができる。例えば、ａ＿ｉとｂ＿ｉを直接含ませる方法、ａ＿ｉ、ｂ＿ｉの比率及びａ＿ｉ、ｂ＿ｉのうち一つの値を含ませる方法、または、ａ＿ｉ、ｂ＿ｉの比率及びａ＿ｉ、ｂ＿ｉのエネルギーの和を含ませる方法などがある。

また、ｓ＿ｉがステレオ信号で特定のチャネルの信号で構成されたオブジェクト信号であれば、前記オブジェクト信号は、ダウンミックス信号を作るとき、そのチャネルのみに含まれると仮定することができる。すなわち、前記ｓ＿ｉがステレオ信号の左側のチャネル信号で構成されたオブジェクトであれば、ｂ＿ｉは常に０であると仮定することができる。これと同様に、ｓ＿ｊがステレオ信号の右側のチャネル信号で構成されたオブジェクトであれば、ａ＿ｊは常に０であることが分かる。

本発明では、オブジェクト信号がステレオ信号のオブジェクトである場合、何れのチャネルに該当するかによってオブジェクト利得情報の伝送量を減少させることができる。前記表２及び３の実施例を用いると、オブジェクト信号がステレオ信号のオブジェクトである場合、オブジェクト信号に該当するチャネルを知ることができる。この場合、ビットレートをより減少させることができる。

また、デコーダでは、伝送されたｂｓＯｂｊｅｃｔＴｙｐｅ値を用いてオブジェクト信号ごとにチャネル情報があるかを判断し、前記オブジェクト信号がステレオ信号のオブジェクトである場合、オブジェクト利得情報の一つの値のみを受けるようになる。また、前記オブジェクト信号がステレオ信号のオブジェクトである場合、エンコーダで連続的に処理すると、前記オブジェクト利得情報を次のように構成して伝送することができる。例えば、ａ＿ｉ、ｂ＿ｉ＋１を伝送することができる。この場合、伝送されたオブジェクト利得情報からａ＿ｉ、ｂ＿ｉ＋１を得ることができ、ｂ＿ｉ＝ａ＿ｉ＋１＝０にすることによって、ビットレートを減少させることができる。

オブジェクト基盤のオーディオコーディングでは、マルチチャネル信号を用いてオブジェクト信号を構成することができる。例えば、マルチチャネル信号は、ＭＰＥＧサラウンドエンコーダを用いてステレオダウンミックス信号に作り変えられ、前記ステレオダウンミックス信号を用いて前記オブジェクト信号を生成することができる。上述した各実施例を同一に適用することができる。また、オブジェクト基盤のオーディオコーディングでマルチチャネルダウンミックス信号を用いる場合にも、同一の原理を適用することができる。

以下、このようなオブジェクト基盤のビットストリームの構造について詳細に説明する。

図６は、本発明の実施例による、オブジェクトに関するメタ情報を含むビットストリームの構造を示す。

ビットストリームは、パラメータやデータの束を意味してもよく、伝送又は保存のために圧縮された形態の一般的なビットストリームを意味してもよい。また、ビットストリームとして表現される前のパラメータの形態を意味するものとして、広い意味で解釈することも可能である。デコーディング装置は、前記オブジェクト基盤のビットストリームからオブジェクト情報を獲得することができる。以下、前記オブジェクト基盤のビットストリームに含まれる情報に関して説明する。

図６を参照すると、オブジェクト基盤のビットストリームはヘッダ及びデータを含むことができる。前記ヘッダ（ヘッダ１）は、メタ情報及びパラメータ情報などを含むことができる。前記メタ情報は、次のような情報を含むことができる。例えば、オブジェクト名、オブジェクトインデックス、オブジェクトの属性、オブジェクト数、メタデータの説明情報、文字数、単一文字、メタデータフラグ情報などがある。

ここで、オブジェクト名は、ボーカルオブジェクト、楽器オブジェクト、ギターオブジェクト、ピアノオブジェクトなどのオブジェクトの属性を表す情報を意味してもよい。オブジェクトインデックスは、オブジェクトの属性にインデックスを割り当てた情報を意味してもよい。例えば、楽器の名前ごとにインデックスを割り当て、予めテーブルを定めることができる。オブジェクトに関する具体的な属性情報は、下位オブジェクトの個別的な属性情報を意味してもよい。ここで、下位オブジェクトは、類似した各オブジェクトがグルーピングされて一つのグループオブジェクトをなしたとき、前記類似したオブジェクトをそれぞれ意味してもよい。例えば、ボーカルオブジェクトの場合、左側のチャネルオブジェクトを表す情報と、右側のチャネルオブジェクトを表す情報とを挙げることができる。

また、オブジェクト数に関する情報（オブジェクト数）は、オブジェクト基盤のオーディオ信号パラメータが伝送されたオブジェクトの個数を意味してもよい。メタ情報の説明情報（メタデータ説明情報）は、エンコーディングされたオブジェクトに関するメタデータの説明情報を意味してもよい。メタデータの文字数に関する情報（文字数）は、一つのオブジェクトのメタデータ説明のために用いられる文字の個数を意味してもよい。メタデータの文字情報（単一文字）は、一つのオブジェクトのメタデータの各文字を意味してもよい。メタデータのフラグ情報（メタデータフラグ情報）は、エンコーディングされた各オブジェクトのメタデータ情報が伝送されるか否かを知らせるフラグを意味してもよい。

一方、パラメータ情報は、サンプリング周波数、サブバンドの数、ソース信号の数、ソースタイプなどを含むことができる。また、パラメータ情報は、選択的にソース信号の再生環境情報などを含むことができる。

前記データは、一つ以上のフレームデータ（フレームデータ）を含むことができる。必要な場合、フレームデータと一緒にヘッダ（ヘッダ２）を含むことができる。前記ヘッダ２は、アップデートが必要な情報を含むことができる。

前記フレームデータは、各フレームに含まれるデータタイプに関する情報を含むことができる。例えば、最初のデータタイプ（Ｔｙｐｅ０）である場合、前記フレームデータは最小の情報を含むことができる。具体的な例で、付加情報と関連したソースパワーのみを含むことができる。二番目のデータタイプ（Ｔｙｐｅ１）である場合、前記フレームデータは、追加的にアップデートされる利得を含むことができる。三番目及び四番目のデータタイプである場合、前記フレームデータは、将来の使用のために保存領域に割り当てられる。前記ビットストリームが放送用に用いられる場合、前記保存領域は、放送信号のチューニングを合わせるために必要な情報（例えば、サンプリング周波数、サブバンド数など）を含むことができる。

以上説明したように、本発明が適用される信号処理装置は、ＤＭＢ（Digital Multimedia Broadcasting）のようなマルチメディア放送送／受信装置に備わり、オーディオ信号及びデータ信号などを復号化するのに使用される。また、前記マルチメディア放送送／受信装置は移動通信端末機を含むことができる。

また、以上説明した本発明による信号処理方法は、コンピュータ読取可能コードとしてプログラム記録媒体に実装することができる。前記コンピュータ読取可能媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の保存装置を含む。コンピュータ読取可能媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ―ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現化されるものも含む。また、前記信号処理方法によって生成されたビットストリームは、コンピュータ読取可能記録媒体に保存されたり、有／無線通信網を介して伝送される。

以上、上述した本発明の好適な実施例は、例示のために開示されたもので、当業者であれば、特許請求の範囲に開示された本発明の技術的思想及びその技術的範囲内で改良、変更、代替又は付加などを多様に行うことができる。

Claims (15)

1. オブジェクト情報を含むオーディオ信号を受信し、
   前記受信されたオーディオ信号から各オブジェクトがグルーピングされたか否かを表す相関情報を獲得し、
   前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得することを特徴とするオーディオの信号処理方法。
2. さらに、前記グルーピングされた各オブジェクトのうち少なくとも一つのオブジェクトに関するサブメタ情報を獲得し、
   前記サブメタ情報は、前記グルーピングされた各オブジェクトの個別的な属性を表す、請求項１に記載のオーディオの信号処理方法。
3. 前記メタ情報及び前記サブメタ情報を用いて各オブジェクト固有のメタ情報を生成する、請求項２に記載のオーディオの信号処理方法。
4. さらに、前記サブメタ情報を獲得するか否かを表すフラグ情報を獲得し、
   前記サブメタ情報は、前記フラグ情報に基づいて獲得される、請求項２に記載のオーディオの信号処理方法。
5. さらに、前記グルーピングされた各オブジェクトのうち少なくとも一つのオブジェクトに関するサブメタ情報を表す識別情報を獲得し、
   前記識別情報に基づいて前記グルーピングされた各オブジェクトのサブメタ情報を確認する、請求項１に記載のオーディオの信号処理方法。
6. さらに、前記グルーピングされた各オブジェクトの種類を表すインデックス情報を獲得し、
   前記メタ情報は、前記インデックス情報に基づいて獲得される、請求項１に記載のオーディオの信号処理方法。
7. 前記グルーピングされた各オブジェクトが左側のチャネルを表すオブジェクト及び右側のチャネルを表すオブジェクトを含む場合、
   前記左側のチャネルを表すオブジェクトのメタ情報のみを獲得する、請求項１に記載のオーディオ信号の処理方法。
8. さらに、前記メタ情報が伝送されたか否かを表すフラグ情報を獲得し、
   前記メタ情報は、前記フラグ情報に基づいて獲得される、請求項１に記載のオーディオ信号の処理方法。
9. 前記メタ情報は、メタデータの文字数及び各文字情報を含む、請求項１に記載のオーディオ信号の処理方法。
10. 前記オーディオ信号は、放送信号として受信されたものである、請求項１に記載のオーディオ信号の処理方法。
11. 前記オーディオ信号は、デジタル媒体を介して受信されたものである、請求項１に記載のオーディオ信号の処理方法。
12. 請求項１に記載の方法を実行させるためのプログラムを記録したコンピュータ読取可能媒体。
13. オブジェクト情報を含むオーディオ信号を受信し、
    前記受信されたオーディオ信号から各オブジェクト間に相関性があるか否かを表すオブジェクトタイプ情報を獲得し、
    前記オブジェクトタイプ情報に基づいて各オブジェクトがグルーピングされたか否かを表す相関情報を誘導し、
    前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得することを特徴とするオーディオ信号の処理方法。
14. 各オブジェクト信号間の相関関係によって相関情報を生成し、
    前記相関情報に基づいて、相関関係を有する各オブジェクトをグルーピングし、
    前記グルーピングされた各オブジェクトに関して共通した一つのメタ情報を生成することを特徴とするオーディオ信号の処理方法。
15. オブジェクト情報を含むオーディオ信号から各オブジェクトがグルーピングされたか否かを表す相関情報を獲得する第１の情報生成ユニットと、
    前記相関情報に基づいてグルーピングされた各オブジェクトに関して共通した一つのメタ情報を獲得する第２の情報生成ユニットと、を含むことを特徴とするオーディオ信号の処理装置。

Images