JP2010537467A - メディア客体基盤メタデータの生成方法、再生方法及びその装置 - Google Patents

Abstract

メディア客体基盤メタデータの生成方法、再生方法及びその装置に係り、メディア客体を含むメディア・ストリームと、メディア客体のそれぞれに対応するメタデータを含むメタデータ・ストリームとを含み、メディア客体は、メタデータにアクセスするための位置情報を含むことによって、コンテンツのリアルタイム再生及び修正を容易にする。

Description

本発明は、メディア客体基盤メタデータの生成方法、再生方法及びその装置に係り、さらに詳細には、マルチメディア客体のリアルタイム再生及び修正に適したメディアメタデータのフレームワークを生成したり、または再生する方法及び装置に関する。

最近、マルチメディア・コンテンツの制作と使用とが増えつつ、マルチメディア・コンテンツの検索やフィルタリングの必要性が叫ばれ、それによって、メタデータ符号化に係わる多様な方法が提示されている。

メタデータというのは、多様な形態の情報資源を容易に検索してアクセスできるように、情報の内容及び特徴を一定の形式によって簡潔に叙述したデータであって、情報資源に係わる情報をいう。

図１は、メディアファイル・フォーマットまたはＭＰＥＧ（moving picture experts group）−２システムでのメディアメタデータ・フレームワークの構造を図示した図である。

図１を参照するに、メディアメタデータ・ストリームは、メタデータ１１０を含む。メタデータ１１０は、メディア・ストリームに含まれているメディア客体１２０，１３０のデコーディングのための多様なプロファイル情報と、メディア客体１２０，１３０の位置情報とを含む。

また、メタデータ１１０は、メディア客体（マルチメディア・コンテンツ）１２０，１３０の識別子または位置などを含むことによって、ユーザは、メタデータ１１０を経て、メディア客体（マルチメディア・コンテンツ）１２０，１３０に容易にアクセスできる。

一方、ＭＰＥＧ−４システムのようなマルチメディア・システムで、コンテンツは、場面（scene）基盤で記述され、メタデータは、メディア・ストリームに係わる客体情報（object description data）及び場面情報（scene description data）に分類されて構成される。

しかし、このような方法は、場面基盤でメタデータが構成されているために、コンテンツのうち、一部のメディア客体だけを修正したり獲得することが困難であるという問題点があった。

また、メディア客体は、メタデータを介してしかアクセスできないために、コンテンツストリーミング時に、メタデータ・ストリームが損失される場合には、場面の構成が困難になるという問題点もあった。

本発明は、前述の問題点を解決するために案出され、マルチメディア・コンテンツのリアルタイム再生及び修正に適したメディア客体基盤メタデータの生成方法、再生方法及びその装置を提供することを目的とする。

前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの生成方法は、メディア客体を含むメディア・ストリームを生成する段階と、前記メディア客体のそれぞれに対応するメタデータを生成する段階とを含み、前記メディア客体は、前記メタデータにアクセスするためのメタデータ位置情報を含むことを特徴とする。

前記メタデータは、客体記述データを含むことを特徴とする。

前記メタデータは、客体処理データをさらに含むことが望ましい。

前記メタデータ位置情報は、前記客体記述データの位置情報と、前記客体処理データの位置情報とを含むことが望ましい。

前記メタデータ位置情報は、前記客体記述データを含む第１伝送ストリームの識別子、前記第１伝送ストリーム内の前記客体記述データの位置情報、前記客体処理データを含む第２伝送ストリームの識別子及び前記第２伝送ストリーム内の前記客体処理データの位置情報を含むことが望ましい。

前記メディア客体間の関係構造を記述するためのメディア客体ツリーを生成する段階と、前記メディア・ストリーム・ツリーを、前記メディア・ストリームの保存階層または伝送階層に挿入する段階をさらに含むことが望ましい。

また、前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの再生方法は、メディア・ストリームに含まれているメディア客体にアクセスする段階と、前記メディア客体から、前記メディア客体に対応するメタデータに係わるメタデータ位置情報を抽出する段階と、前記メタデータ位置情報によって、前記メタデータにアクセスする段階と、前記メタデータに基づいて、前記メディア客体を再生する段階とを含むことを特徴とする。

前記メディア・ストリームに含まれているメディア客体にアクセスする段階は、前記メディア・ストリームの保存階層または伝送階層に含まれたメディア客体ツリーによって、前記メディア客体にアクセスすることを特徴とする。

前記メディア客体と、前記メディア客体に対応するメタデータとを削除したり、または修正する段階をさらに含むことが望ましい。

また、前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの生成装置は、メディア客体を含むメディア・ストリームを生成するメディア・ストリーム生成部と、前記メディア客体のそれぞれに対応するメタデータを生成するメタデータ生成部とを含み、前記メディア客体は、前記メタデータにアクセスするためのメタデータ位置情報を含むことを特徴とする。

また、前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの再生装置は、メディア・ストリームに含まれたメディア客体にアクセスし、かつメタデータ位置情報によってメタデータにアクセスするアクセス部と、前記メディア客体から、前記メディア客体に対応する前記メタデータに係わるメタデータ位置情報を抽出する抽出部と、前記メタデータに基づいて、前記メディア客体を再生する再生部とを含むことを特徴とする。

また、前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの伝送ストリーム構造は、メディア客体を含むメディア・ストリームと、前記メディア客体のそれぞれに対応するメタデータを含むメタデータ・ストリームとを含み、前記メディア客体は、前記メタデータにアクセスするための位置情報を含むことを特徴とする。

また、前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの生成方法を実行するためのプログラムを保存したコンピュータで読取り可能な記録媒体は、メディア客体を含むメディア・ストリームを生成する段階と、前記メディア客体のそれぞれに対応するメタデータを生成する段階とを含む方法を実行し、前記メディア客体は、前記メタデータにアクセスするためのメタデータ位置情報を含むことを特徴とする。

また、前述の目的を達成するために、本発明の一実施形態によるメディア客体基盤メタデータの再生方法を実行するためのプログラムを保存したコンピュータで読取り可能な記録媒体は、メディア・ストリームに含まれているメディア客体にアクセスする段階と、前記メディア客体から、前記メディア客体に対応するメタデータに係わるメタデータ位置情報を抽出する段階と、前記メタデータ位置情報によって、前記メタデータにアクセスする段階と、前記メタデータに基づいて、前記メディア客体を再生する段階とを含む方法を実行することを特徴とする。

本発明の一実施形態によるメディア客体基盤メタデータの生成方法、再生方法及びその装置によれば、コンテンツのリアルタイム再生及び修正を容易にし、コンテンツ内のメディア客体へのアクセス、及びメディア客体の獲得を容易にするという効果がある。

また、本発明の一実施形態によるメディア客体基盤メタデータの生成方法、再生方法及びその装置によれば、コンテンツの一部データ損失時に対するコンテンツ構成の強靭性を向上させることができて、所望のメディア客体だけを選択的に再生させる効果がある。

メディアファイル・フォーマットまたはＭＰＥＧ−２システムで、メディアメタデータ・フレームワークの構造を図示した図である。 本発明の一実施形態によって生成されたメディアメタデータ・フレームワークの保存時の適用例示を図示した図である。 本発明の変形された実施形態によって生成されたメディアメタデータ・フレームワークの伝送構造を図示した図である。 本発明の一実施形態によるメディア客体基盤メタデータの生成方法を図示したフローチャートである。 本発明の一実施形態によるメディア客体基盤メタデータの再生方法を図示したフローチャートである。 本発明の一実施形態によるメディア客体基盤メタデータの生成装置を図示した図である。 本発明の一実施形態によるメディア客体基盤メタデータの再生装置を図示した図である。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図２は、本発明の一実施形態によって生成されたメディアメタデータ・フレームワークの保存時の適用例示を図示した図である。図２を参照するに、本発明によるメディアメタデータ・フレームワークは、メディア・ストリーム２０５及びメタデータ・ストリーム２１５，２２５を含む。

メディア・ストリーム２０５は、メディア客体２１０を含む。ここで、メディア客体は、１つのオーディオ・フレーム、ビデオ・フレームまたはイメージ・フレームを意味する。一般的に、メディア・ストリームは、メディア客体の連続的な流れ（flow）を意味するが、本明細書では、図２でのように、メディア客体が保存装置に保存される形態を含む意味と解釈されねばならない。

メディア客体２１０は、客体内部に場面（scene）のようなメディア客体（メディア・ストリーム）間の関係構造の記述なしに、それぞれのメディア客体別に独立して記述される。

メディア客体（メディア・ストリーム）２１０間の関係構造（エンコーディング、コンテンツ構成、レンダリング順序など）は、メディア客体（メディア・ストリーム）ツリーを利用して定義されうる。

メディア客体ツリーは、メディア客体間のエンコーディング、多重化、意味的関係などの関係構造を、ツリー構造のようなデータ構造として記述したものである。例えば、ＭＰＥＧ（moving picture experts group）−４システムは、ＯＤ（object descriptor）フレームワークで、経時的に客体ツリーを構成する形態で実施されうる。

本発明でメディア客体ツリーは、メディア・ストリームの保存階層または伝送階層に挿入されて保存されたり伝送される。すなわち、メディア客体ツリーは、後述する客体処理データに含まれない。

メディア客体２１０は、それぞれ対応するメタデータ２２０，２３０を有する。メタデータ２２０，２３０は、メタデータ・ストリーム（保存構造を含む）２１５，２２５に含まれている。

メタデータ２２０，２３０は、多様な情報に容易にアクセスできるようにするために、情報の内容及び特徴を、一定の形式によって簡潔に叙述したものである。このようなメタデータ２２０，２３０には、客体記述データ（object description data）２２０と、客体処理データ（media handling data）２３０とがある。客体記述データ２２０は、メディア客体のデコーディング情報のような多様なプロファイル情報を含んだメディアメタデータ情報であり、客体処理データ２３０は、メディア客体のレンダリング位置や変換（transformation）のような情報を含んだレンダリング・メタデータ情報である。

メディア客体２１０は、客体記述データ２２０及び客体処理データ２３０のようなメタデータの位置情報を含む。このような位置情報は、メディア客体２１０からそれぞれ対応するメタデータ２２０，２３０に容易にアクセスできるように許容する。従って、所定のアクセス装置は、メディア・ストリームのメディア客体２１０にアクセスし、その後メディア客体２１０に含まれた位置情報を利用し、メディア客体２１０に対応するメタデータ２２０，２３０にアクセスできる。

前述のようなメディア客体基盤メタデータ・フレームワークは、メディア客体を基盤としてメタデータを構成するために、コンテンツを構成するメディア客体間の関係性を減らす。従って、一部メディア客体の修正が要求される場合に、メタデータを容易に見つけ出すことが可能になる。

また、メディア客体基盤フレームワーク構造は、コンテンツの一部ストリームやパケットが損失された場合、損失されたメディア客体だけを捨てることを可能にするために、コンテンツ再生性能を向上させることができる。

図３は、本発明の変形された実施形態によって生成されたメディアメタデータ・フレームワークの伝送時の適用例示を図示した図である。図３を参照するに、メディア客体３１０に含まれるメタデータ位置情報は、客体記述データ３２０を含む伝送ストリームの識別子、客体記述データを含む伝送ストリーム内の客体記述データの位置情報、客体処理データ３３０を含む伝送ストリームの識別子及び客体処理データを含む伝送ストリーム内の客体処理データの位置情報を含むことができる。

その他、メディア客体３１０、客体記述データ３２０及び客体処理データ３３０については、図２で説明したところと類似しているので、追加的な説明は省略する。

図４は、本発明の一実施形態によるメディア客体基盤メタデータの生成方法を図示したフローチャートである。図４を参照するに、段階４１０では、メディア客体を含むメディア・ストリームが生成される。ここで、メディア客体は、メタデータにアクセスするための情報のメタデータ位置情報を含む。変形された実施形態で、メディア客体は、メタデータ位置情報を含み、メタデータは、メディア客体にアクセスするための位置情報を含めることも可能である。

段階４２０では、メタデータ及びメタデータ・ストリームが生成される。メディア客体のそれぞれは、対応するメタデータを有する。

メタデータは、客体記述データを含み、望ましくは、客体処理データを含むこともできる。従って、メディア客体は、客体記述データの位置情報を含み、客体処理データの位置情報を含むこともできる。変形された実施形態のメタデータ・ストリームの伝送時の適用例示では、メディア客体に含まれたメタデータ位置情報は、客体記述データを含む伝送ストリームの識別子、客体記述データの位置情報、客体処理データを含む伝送ストリームの識別子及び客体処理データの位置情報でありうる。

段階４３０では、メディア客体間の関係構造を記述するためのメディア客体ツリーが生成される。

段階４４０では、メディア客体ツリーがメディア・ストリームの保存階層または伝送階層に挿入される。前述のメディア・ストリーム及びメタデータの生成は、アプリケーション階層で実行されたものである一方、メディア客体ツリーの挿入は、保存階層または伝送階層で実行されうる。

図５は、本発明の一実施形態によるメディア客体基盤メタデータの再生方法を図示したフローチャートである。図５を参照するに、段階５１０では、メディア客体基盤メタデータを再生するための装置は、メディア・ストリームに含まれたメディア客体にアクセスする。メディア客体へのアクセスは、メディア・ストリームの保存階層または伝送階層に含まれたメディア客体ツリーに記述されているメディア客体間の関係構造によってなされうる。

段階５２０では、メディア客体からそのメディア客体に対応するメタデータの位置情報が抽出される。

段階５３０では、段階５２０で抽出されたメタデータの位置情報によって、メタデータへのアクセスが実行される。

段階５４０では、アクセスされたメタデータに記録されているデコーディング情報及びレンダリング情報などを基に、メディア客体が再生される。メタデータには、デコーディング情報が必ず記録されていなければならないが、レンダリング情報は、必ずしも記録されていなければならないというものではない。

段階５５０では、外部から一部コンテンツの削除または修正の要請がある場合に、それに該当するメディア客体と、そのメディア客体に対応するメタデータとが、削除されたり修正される。

図６は、本発明の一実施形態によるメディア客体基盤メタデータの生成装置を図示した図である。図６を参照するに、本発明の一実施形態によるメディア客体基盤メタデータの生成装置は、メディア・ストリーム生成部６１０、メタデータ生成部６２０及びメディア客体ツリー挿入部６３０を含む。

メディア・ストリーム生成部６１０は、コンテンツを入力され、メディア客体を含んだメディア・ストリームを生成する。メディア・ストリーム生成部６１０は、メタデータにアクセスするためのメタデータ位置情報をメディア客体に挿入する。メタデータ及びメタデータ位置情報については、すでに述べてある。

メタデータ生成部６２０は、メディア・ストリーム生成部６１０で生成されたメディア・ストリームのメディア客体に係わるメタデータを生成し、メディア・ストリーム及びメタデータを出力する。

メディア客体ツリー挿入部６３０は、メディア客体間の関係構造を記述するためのメディア客体ツリーを生成し、生成されたメディア客体ツリーを、メディア・ストリームの保存階層または伝送階層に挿入する。

図７は、本発明の一実施形態によるメディア客体基盤メタデータの再生装置を図示した図である。図７を参照するに、本発明の一実施形態によるメディア客体基盤メタデータの再生装置は、アクセス部７１０、抽出部７２０及び再生部７３０を含む。

アクセス部７１０は、メディア・ストリームに含まれたメディア客体７４０にアクセスして読み取る。アクセス部７１０は、読み取られたメディア客体７４０を、抽出部７２０に出力する。また、アクセス部７１０は、抽出部７２０から入力されたメタデータの位置情報によって、メタデータ７５０にアクセスして読み取る。読み取られたメディア客体７４０及びメタデータ７５０は、再生部７３０に出力される。

抽出部７２０は、アクセス部７１０からメディア客体７４０を入力され、入力されたメディア客体７４０から、メタデータの位置情報を抽出する。抽出部７２０は、抽出されたメタデータの位置情報を、さらにアクセス部７１０に出力する。

再生部７３０は、アクセス部７１０から入力されたメディア客体７４０及びメタデータ７５０によって、所望のコンテンツを再生する。

本発明は：
・ＭＰＥＧ−４システム（ＩＳＯ／ＩＥＣ １４４９６−１）及びＭＰＥＧ−４ ＬＡＳｅＲ／ＳＡＦ（ＩＳＯ／ＩＥＣ１４４９６−２０）のようなメディアメタデータ・フレームワーク規格；
・ＩＳＯベースメディアファイル・フォーマット（ＩＳＯ／ＩＥＣ １４４９６−１２）、QuickTime（アップル社）、ＡＳＦ（マイクロソフト社）のようなメディアデータ保存フォーマット規格；
・前記メディアシステム技術を支援するメディア処理端末（例えば、ＴＶ（television）、ＳＴＢ（set top box）、ＰＭＰ（portable media player）、ＭＰ３、モバイル放送端末、携帯電話、Ｓ／Ｗ（software）メディアプレーヤなど）に適用されうる。

また本発明は、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置を含む。

コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読取り可能なコードが保存されて実行されうる。

前述の内容は、本発明の技術的思想を外れない範囲内で、多様な実施形態を作り出すことが可能である。従って、前記実施形態は、本発明を限定するものと解釈されることがあってはならず、特許請求の範囲に記載されている発明の特徴の範囲内で自由に変更されうる。

Claims (23)

1. メディア客体を含むメディア・ストリームを生成する段階と、
   前記メディア客体に対応するメタデータを生成する段階とを含み、
   前記メディア客体のそれぞれは、対応するメタデータにアクセスするための対応するメタデータ位置情報を含むことを特徴とするメディア客体基盤メタデータの生成方法。
2. 前記メタデータは、客体記述データを含むことを特徴とする請求項１に記載のメディア客体基盤メタデータの生成方法。
3. 前記メタデータは、客体処理データをさらに含むことを特徴とする請求項２に記載のメディア客体基盤メタデータの生成方法。
4. 前記メタデータ位置情報は、前記客体記述データの位置情報と、前記客体処理データの位置情報とを含むことを特徴とする請求項３に記載のメディア客体基盤メタデータの生成方法。
5. 前記メタデータ位置情報は、前記客体記述データを含む第１伝送ストリームの識別子、前記客体記述データの位置情報、前記客体処理データを含む第２伝送ストリームの識別子及び前記客体処理データの位置情報を含むことを特徴とする請求項３に記載のメディア客体基盤メタデータの生成方法。
6. 前記メディア客体間の関係構造を記述するメディア客体ツリーを生成する段階と、
   前記メディア客体ツリーを、前記メディア・ストリームの保存階層または伝送階層に挿入する段階とをさらに含むことを特徴とする請求項１に記載のメディア客体基盤メタデータの生成方法。
7. メディア・ストリーム内に含まれているメディア客体にアクセスする段階と、
   前記メディア客体から、前記メディア客体に対応するメタデータのメタデータ位置情報を抽出する段階と、
   前記メタデータ位置情報によって、前記メタデータにアクセスする段階と、
   前記メタデータに基づいて、前記メディア客体を再生する段階とを含むことを特徴とするメディア客体基盤メタデータの再生方法。
8. 前記メディア客体にアクセスする段階は、
   前記メディア・ストリームの保存階層または伝送階層に含まれたメディア客体ツリーによって、前記メディア客体にアクセスする段階を含むことを特徴とする請求項７に記載のメディア客体基盤メタデータの再生方法。
9. 前記メディア客体と、前記メディア客体に対応するメタデータとを削除したり、または修正する段階をさらに含むことを特徴とする請求項７に記載のメディア客体基盤メタデータの再生方法。
10. 前記メタデータは、客体記述データを含むことを特徴とする請求項７に記載のメディア客体基盤メタデータの再生方法。
11. 前記メタデータは、客体処理データをさらに含むことを特徴とする請求項１０に記載のメディア客体基盤メタデータの再生方法。
12. 前記メタデータ位置情報は、前記客体記述データの位置情報と、前記客体処理データの位置情報とを含むことを特徴とする請求項１１に記載のメディア客体基盤メタデータの再生方法。
13. 前記メタデータ位置情報は、前記客体記述データを含む第１伝送ストリームの識別子、前記客体記述データの位置情報、前記客体処理データを含む第２伝送ストリームの識別子及び前記客体処理データの位置情報を含むことを特徴とする請求項１１に記載のメディア客体基盤メタデータの再生方法。
14. メディア客体を含むメディア・ストリームを生成するメディア・ストリーム生成部と、
    前記メディア客体に対応するメタデータを生成するメタデータ生成部とを含み、
    前記メディア客体のそれぞれは、対応するメタデータにアクセスするための対応するメタデータ位置情報を含むことを特徴とするメディア客体基盤メタデータの生成装置。
15. 前記メディア客体間の関係構造を記述するメディア客体ツリーを生成し、前記メディア客体ツリーを、前記メディア・ストリームの保存階層または伝送階層に挿入するメディア客体ツリー挿入部をさらに含むことを特徴とする請求項１４に記載のメディア客体基盤メタデータの生成装置。
16. 前記メタデータは、客体記述データを含むことを特徴とする請求項１５に記載のメディア客体基盤メタデータの生成装置。
17. 前記メタデータは、客体処理データをさらに含むことを特徴とする請求項１６に記載のメディア客体基盤メタデータの生成装置。
18. メディア・ストリームに含まれたメディア客体にアクセスし、かつメタデータ位置情報によってメタデータにアクセスするアクセス部と、
    前記メディア客体から、前記メディア客体に対応するメタデータの前記メタデータ位置情報を抽出する抽出部と、
    前記メタデータに基づいて、前記メディア客体を再生する再生部とを含むことを特徴とするメディア客体基盤メタデータの再生装置。
19. 前記メタデータは、客体記述データを含むことを特徴とする請求項１８に記載のメディア客体基盤メタデータの再生装置。
20. 前記メタデータは、客体処理データをさらに含むことを特徴とする請求項１９に記載のメディア客体基盤メタデータの再生装置。
21. メディア客体を含むメディア・ストリームと、
    前記メディア客体に対応するメタデータを含むメタデータ・ストリームとを含み、
    前記メディア客体のそれぞれは、対応するメタデータにアクセスするための対応するメタデータ位置情報を含むことを特徴とするメディア客体基盤メタデータの伝送ストリーム構造。
22. メディア客体を含むメディア・ストリームを生成する段階と、
    前記メディア客体に対応するメタデータを生成する段階とを含み、
    前記メディア客体のそれぞれは、対応するメタデータにアクセスするための対応するメタデータ位置情報を含むことを特徴とするメディア客体基盤メタデータの生成方法を実行するためのプログラムが記録されたコンピュータで読取り可能な記録媒体。
23. メディア・ストリームに含まれているメディア客体にアクセスする段階と、
    前記メディア客体から、前記メディア客体に対応するメタデータのメタデータ位置情報を抽出する段階と、
    前記メタデータ位置情報によって、前記メタデータにアクセスする段階と、
    前記メタデータによって、前記メディア客体を再生する段階とを含むメディア客体基盤メタデータの再生方法を実行するためのプログラムが記録されたコンピュータで読取り可能な記録媒体。

Images