JP2012135008A - 埋め込みデータ信号処理 - Google Patents

Abstract

【課題】埋め込みデータの効果的な信号処理を提供する。
【解決手段】本発明は、埋め込みデータＥＤを有するメインデータＭＤを提供し、該データはそれに含まれるコンテンツを信号処理するためのメインデータ記述子ＭＤＤと共に与えられ、埋め込みデータ記述子ＥＤＤが埋め込みデータに含まれるコンテンツを信号処理するために形成され、この埋め込みデータ記述子は、メインデータ、メインデータ記述子及び埋め込みデータから分離して設けられる。
【選択図】図２

Description

本発明は、埋め込みデータの信号処理に関し、また埋め込みデータを有するデータストリームのフォーマット化及び処理に関する。

複数の符号化スキーム/規格（例えば、ｍｐ３やＭＰＥＧ−ＡＡＣなど。例えば、それぞれＩＳＯ/ＩＥＣ１３８１８−３及び１３８１８−７を参照せよ。）のシンタックスの定義は、補助的/埋め込みデータを符号化音声ストリームに付加する可能性を提供する。準拠したデコーダは、埋め込みデータを解釈するのでなく、それを構文解析のみ行うことが求められる。実際的には、この埋め込みデータは、エンハンスメントコーダ/ツールに関する符号化データストリーム（例えば、ｍｐ３ＰＲＯやＭＰＥＧ−４ＡＡＣ＋ＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）など）を格納するのにしばしば利用される。このようなエンハンスコーダ/ツールは、コアとなる音声ストリームのクオリティを向上させるため、コアのコーダの上で利用することが可能である。非エンハンスコーダは埋め込みデータを構文解析することが求められるため、データの埋め込みは、後方互換的に実行される。

ＭＰＥＧ−４（ＭＰＥＧ−４システムのためのＩＳＯ/ＩＥＣ１４４９６−１とＭＰＥＧ−４音声のためのＩＳＯ/ＩＥＣ１４４９６−３を参照せよ）では、ストリームコンテンツの信号処理は記述子により実行される。各エレメンタリストリーム（すなわち、パケット化可能な音声または映像などのモノメディア（ｍｏｎｏ−ｍｅｄｉａ）データの連続するフロー）は対応する記述子を有する。現在の記述子の定義は、埋め込みデータの信号処理を提供するものではない。もちろん、埋め込みデータの信号処理は、記述子の訂正により実現可能である。しかしながら、このような訂正は、当該規格が現在の定義と後方互換性を維持するように実現することはできない。あるいは、埋め込みデータ自体において記述子を利用することが可能である。これは、埋め込みデータがエレメンタリストリームレベルで信号処理されず、このため、埋め込みデータが含むものを確認するためアクセスする必要があるという問題点を有する。

本発明の課題は、埋め込みデータの効果的な信号処理を提供することである。このため本発明は、独立クレームにより規定されるような方法、エンコーダ、信号、記憶媒体、復号化方法、デコーダ、送信機またはレコーダ及び受信機を提供する。効果的な実施例が従属クレームにより規定される。

本発明の第１の特徴によると、埋め込みデータを含むメインデータを表す信号が与えられ、メインデータはそれに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられる。埋め込みデータ記述子が、埋め込みデータに含まれるコンテンツを信号処理するため形成され、埋め込みデータ記述子が、メインデータとメインデータ記述子の外部に（またはそれらとは別に）提供される。メインデータ記述子の外部に埋め込みデータ記述子を設けることにより、埋め込みデータに含まれる未定義コンテンツを考慮するための現在定義されているメインデータ記述子群の訂正は不要となる。新規の埋め込みデータ記述子を有する信号は、メインデータとメインデータ記述子に関して後方互換性を維持する。埋め込みデータ記述子をメインデータと共に埋め込みデータの外部に設けることにより、メインデータは互換性を維持し、その記述を取得するため埋め込みデータ自体にアクセスする必要はなくなる。

この結果、埋め込みデータを有するエレメンタリストリームは、メインデータと埋め込みデータにそれぞれ１つずつの記述子を有することになる。

メインデータ、埋め込みデータ、メインデータ記述子及び埋め込みデータ記述子のすべてが、同一の伝送信号に与えられてもよい。

効果的には、当該信号はエレメンタリ音声データストリームであり、埋め込みデータはこのエレメンタリデータストリームの残りにおいて利用可能な音声を向上させるためのエンハンスメントデータである。エンハンスメントデータは、好ましくは、スペクトルバンド複製を実行するのに適した情報である。あるいは、エンハンスメントデータは、例えば、ＦａｌｌｅｒとＢａｕｍｇａｒｔｅによる論文「Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ」（ＡＥＳ１１２ｔｈ ｐａｐｅｒ ５５７４，Ｍａｙ１０−１３，２００２，Ｇｅｒｍａｎｙ）や２００２年４月２２日に出願された欧州特許出願０２０７６５８８．９に参照されるように、１〜２チャネルまたは２〜５チャネルなどへのチャネル数の拡張に適している。

本発明の実施例は、デコーダに情報を無視するよう指示する認識不可能なコードを利用しているため、埋め込みデータ記述子を無視することにより、従来のコーダが誤ってコンテンツを利用しないように別の埋め込みデータ記述子を実現することが可能な規格において特に有用である。これが容易に可能となる規格の例として、ＭＰＥＧ−４システムやＲＦＣ３０１６があげられる。

本発明の上記及び他の特徴は、添付された図面を参照することにより明らかとなるであろう。

図面は、本発明の実施例を理解するのに必要な要素のみを示している。

図１は、従来のエレメンタリストリームの一例を示す。 図２は、本発明の一実施例による埋め込みデータ記述子に設けられるエレメンタリストリームの一例を示す。 図３は、本発明の一実施例によるシステムを示す。

図１は、従来のエレメンタリストリームＥＳの一例を示す。エレメンタリストリームＥＳは、パケット化されたエレメンタリストリームであってもよい。エレメンタリストリームＥＳは、メインデータＭＤとメインデータ記述子ＭＤＤとから構成される。符号化音声ストリームに対する一例となる記述子ＭＤＤは、以下のようになる。

例えば、ＡＣＣに関するＡＯＴに特有の設定情報は、フレーム長、すなわち、１つのＡＡＣ音声フレームに関するチャネルあたりのＰＣＭサンプル数を有する。
さらに、メインデータＭＤは、埋め込みＥＤを有する。メインデータＭＤは、好ましくは、ＡＡＣやｍｐ３符号化データなどの符号化音声データを有する。また、メインデータＭＤは映像データから構成することが可能である。埋め込みデータＥＤは、好ましくは、例えば、音声の場合にはスペクトルバンド複製により、または映像に対しては空間、ＳＮＲまたは他のエンハンスメントにより、メインデータＭＤを向上させるエンハンスメントデータを有する。あるいは、エンハンスメントデータは、上述のように、１〜２チャネルまたは２〜５チャネルへのチャネル数の拡張に適している。

ＭＰＥＧ−４などのいくつかのシステムでは、データ記述子ＭＤＤは、エレメンタリストリームにおいてメインデータＭＤと連接されず、個別に提供される。どの記述子がどのエレメンタリストリームと関連しているか決定するため、記述子とエレメンタリストリームＥＳの両方において識別子が利用される。

埋め込みデータＥＤは、デコーダにおいて構文解析され、ＥＤに与えられているエンハンスメントデータを利用することが可能なエンハンスデコーダにより認識される。専用システムでは、埋め込みデータＥＤが常に所定のフォーマットに従うエンハンスメントデータから構成されるということをエンコーダとデコーダとの間において同意することが可能であるが、通常、埋め込みデータＥＤは、エンハンスメントデータＥＤの特定を可能にするためのある種の識別子/記述を有する。

図２は、本発明の一実施例による埋め込みデータ記述子ＥＤＤを有するさらなる一例となるエレメンタリストリームＥＥＳを示す。埋め込みデータ記述子ＥＤＤは、埋め込みデータＥＤのタイプの特定を可能にする識別情報を有する。記述子ＥＤＤはまた、他の有用な情報を有するようにしてもよい。符号化音声ストリームに埋め込まれるデータに対する一例となる記述子ＥＤＤは、以下のようなものであるかもしれない。

ＥＤＤの定義は、音声（エンハンスメント）オブジェクトのタイプに強く依存する。ＳＢＲの場合には、それは、シングルまたはマルチレートであることが可能なサンプリング周波数モードを有する。チャネル拡張の場合には、埋め込みデータ記述子は、拡張されたチャネル設定に関する情報を有するようにしてもよい。

埋め込みデータ記述子ＥＤＤは、メインデータＭＤとメインデータ記述子ＭＤＤの外部に設けられ、これにより容易にアクセス可能となる。利用される符号化スキームに依存して、データ記述子ＭＤＤとＥＤＤが、メインデータＭＤと連接して供給されるようにしてもよい。また例えば、すべての記述子がグループ化されるなど、信号の他の部分に記述子を個別に設けることも可能である。このときリンク情報が、該当するエレメンタリストリームと記述子を関連付けるため必要とされる。

ＭＰＥＧ−４による実現形態
本発明の上述の実施例は、ＭＰＥＧ−４またはＭＰＥＧ−４類似の符号化スキームに効果的に適用される。ＭＰＥＧ−４では、メインデータ記述子ＭＤＤと埋め込みデータ記述子ＥＤＤが、エレメンタリストリームＥＥＳに関して個別に設けられる。ＭＰＥＧ−４システムは、記述子と該当するエレメンタリストリームとを関連付けるツールを提供する。

ＲＦＣ３０１６による実現形態
ＲＦＣ３０１６（菊地らによるＩＥＴＦ ＲＦＣ３０１６：「ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ ＭＰＥＧ−４ Ａｕｄｉｏ/Ｖｉｓｕａｌ Ｓｔｒｅａｍｓ」２０００年１１月）では、記述子情報は、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）パラメータとして備えられる。例えば音声の場合、音声復号化情報は、ＭＰＥＧ−４により規定されるような音声記述子を表す１６進数文字列としてパラメータ「ｃｏｎｆｉｇ」により記載される。以下に一例が与えられる。

埋め込みデータｃｏｎｆｉｇなどの新たなパラメータを定義することにより、他の記述子を追加することができる。受信機は、新規または未知のパラメータを無視することが求められる。

本発明の一実施例によるシステム
図３は、本発明の一実施例によるシステムを示す。本システムは、符号化信号［Ｓ］の送信または記録を行う装置１を有する。装置１は、音声及び/または映像信号などの入力信号Ｓを取得する入力ユニット１０を有する。入力ユニット１０は、アンテナ、マイク、ネットワーク接続などであってもよい。装置１はさらに、埋め込みデータＥＤを有するメインデータＭＤと、記述子ＭＤＤ及びＥＤＤから構成される符号化信号を取得するため、本発明の上記実施例（特に、図２を参照せよ）による信号Ｓを符号化するエンコーダ１１を有する。符号化信号は、埋め込みデータＥＤを有するメインデータＭＤと記述子ＭＤＤ及びＥＤＤを送信または記憶媒体（例えば、ＲＦＣ３０１６に規定されるような）を介し送信または格納するのに適したフォーマットを有する符号化信号にフォーマット化する出力ユニット１２に供給される。本システムはさらに、入力ユニット３０において符号化信号［Ｓ］を受信する受信機または再生装置３を有する。入力ユニット３０は、メインデータＭＤと、埋め込みデータＥＤとデータ記述子ＭＤＤ及びＥＤＤをデコーダ３１に供給する。デコーダ３１は、エンコーダ１１における符号化の実質的に逆の処理である復号化プロセスを実行することにより符号化信号を復号する。ここでは、符号化プロセス中に失われた部分を除くもとの信号Ｓに対応する復号化信号Ｓ'が取得される。デコーダ３１は、この復号化信号Ｓ'をそれを再生するスピーカーなどの再生ユニット３２に供給する。再生ユニット３２はまた、ホームネットワークなどを介し復号化信号Ｓ'をさらに送信する送信機であってもよい。

既存の受信機は、ＲＦＣ３０１６の場合に関して上述されたように、ＥＤＤを無視することができる。将来的な受信機の実現形態は、ＥＤＤを解釈することが可能となるかもしれない。この場合、ユニット３１にＥＤＤをわたすことは、ユニット３１の機能に依存するかもしれない。例えば、デコーダ３１が埋め込みデータが関連付けされている特徴をサポートしない実現形態では、入力ユニット３０は、帯域幅を節約するため、ＥＤＤをユニット３１に与えないことを決定するようにしてもよい。

本発明の実施例は、音声及び/または映像配信、インターネットラジオ、３ＧＰＰ、インターネット配信、ソリッドステートオーディオ、３Ｇターミナル、ＧＰＲＳ及び市販されている上記の後継機において適用されてもよい。

上記実施例は本発明を限定するのでなく、例示するためのものであり、当業者は添付された請求項の範囲を逸脱することなく、他の多数の実施例を設計することができるであろう。請求項において、括弧内の任意の参照符号は、当該請求項を限定するものと解釈されるべきでない。「有する」という用語は、請求項に列挙されている以外の要素またはステップの存在を排除するものではない。本発明は、いくつかの相異なる要素を有するハードウェアにより、そして適切にプログラムされたコンピュータにより実現することが可能である。複数の手段を列挙する装置クレームでは、これらの手段のいくつかが１つのハードウェアアイテムにより実現することも可能である。ある手段が互いに異なる従属項において記載されているという事実は、これら手段の組み合わせが効果的に利用可能でないということを示すものではない。

Claims (9)

1. 埋め込みデータを有するメインデータを表す信号を提供する方法であって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、該方法は、
   前記埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子を形成するステップと、
   前記埋め込みデータ記述子を前記メインデータ及び前記メインデータ記述子の外部に設けるステップと、
   を有することを特徴とする方法。
2. 請求項１記載の方法であって、
   前記メインデータは、音声及び/または映像データを有し、
   前記埋め込みデータは、前記音声及び/または映像データを向上させるためのエンハンスメントデータを有する、
   ことを特徴とする方法。
3. 埋め込みデータを有するメインデータを表す信号を提供するエンコーダであって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、該エンコーダは、
   前記埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子を形成する手段と、
   前記埋め込みデータ記述子を前記メインデータ及び前記メインデータ記述子の外部に設ける手段と、
   を有することを特徴とするエンコーダ。
4. 埋め込みデータを有するメインデータを表す信号であって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられることを特徴とする信号。
5. 請求項４記載の信号を格納する記憶媒体。
6. 埋め込みデータを有するメインデータを表す信号を復号化する方法であって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられ、該方法は、
   前記埋め込みデータ記述子を読み出すステップと、
   前記埋め込みデータ記述子の読み出しに応じて前記埋め込みデータを利用するステップと、
   を有することを特徴とする方法。
7. 埋め込みデータを有するメインデータを表す信号を復号化するデコーダであって、前記メインデータは該メインデータに含まれるコンテンツを信号処理するためのメインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられ、該デコーダは、
   前記埋め込みデータ記述子を読み出す手段と、
   前記埋め込みデータ記述子の読み出しに応じて前記埋め込みデータを利用する手段と、
   を有することを特徴とするデコーダ。
8. 入力信号を取得するための入力ユニットと、
   埋め込みデータを有するメインデータを取得するため前記入力信号を符号化する請求項３記載のエンコーダと、
   前記埋め込みデータを有するメインデータと、メインデータ記述子と埋め込みデータ記述子とを符号化信号にフォーマット化し、前記符号化信号の送信または記録を行う出力ユニットと、
   を有する送信機またはレコーダであって、
   前記メインデータは該メインデータに含まれるコンテンツを信号処理するための前記メインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための前記埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられることを特徴とする送信機またはレコーダ。
9. 埋め込みデータを有するメインデータを表す信号を取得するための入力ユニットと、
   復号化信号を取得するため、前記信号を復号化する請求項７記載のデコーダと、
   前記復号化信号を再生する出力ユニットと、
   を有する受信機であって、
   前記メインデータは該メインデータに含まれるコンテンツを信号処理するための前記メインデータ記述子と共に与えられ、前記埋め込みデータは該埋め込みデータに含まれるコンテンツを信号処理するための前記埋め込みデータ記述子と共に与えられ、前記埋め込みデータ記述子は、前記メインデータと前記メインデータ記述子の外部に設けられることを特徴とする受信機。

Images