JP2004312268A - マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置 - Google Patents
マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置 Download PDFInfo
- Publication number
- JP2004312268A JP2004312268A JP2003101784A JP2003101784A JP2004312268A JP 2004312268 A JP2004312268 A JP 2004312268A JP 2003101784 A JP2003101784 A JP 2003101784A JP 2003101784 A JP2003101784 A JP 2003101784A JP 2004312268 A JP2004312268 A JP 2004312268A
- Authority
- JP
- Japan
- Prior art keywords
- multimedia content
- attribute information
- media data
- digest
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Abstract
【課題】コンテンツの効率的な管理及び利用を実現するマルチメディアコンテンツファイルのデータ構造を得る。
【解決手段】マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、メディアデータを格納するメディアデータ格納領域を備え、属性情報格納領域は、マルチメディアコンテンツのうちダイジェスト動画の再生に用いられるメディアデータの属性を情報処理装置に認識させるダイジェスト動画属性情報を格納し、ダイジェスト動画属性情報はダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定する。
【選択図】 図５
【解決手段】マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、メディアデータを格納するメディアデータ格納領域を備え、属性情報格納領域は、マルチメディアコンテンツのうちダイジェスト動画の再生に用いられるメディアデータの属性を情報処理装置に認識させるダイジェスト動画属性情報を格納し、ダイジェスト動画属性情報はダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定する。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
この発明は、マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置に関するものである。
【０００２】
【従来の技術】
インターネットを介して様々なマルチメディアコンテンツを入手することができるようになっている。これらのマルチメディアコンテンツを効率的に管理し、利用するための様々な技術が提供されている。
【０００３】
例えば、特許文献１に開示された従来のデジタル放送用ストリームの蓄積方法では、早送り、巻き戻し等のトリックプレイに必要なパケットの検索を容易に行うため、トリックプレイ制御テーブルを定義し、ストリームと共に配信する。このトリックプレイ制御テーブルには、ダイジェストフラグ、サムネールフラグ等の制御情報が格納可能となっており、ダイジェストフラグが設定されているパケットはダイジェスト再生を行うために必要なパケットであり、サムネールフラグが設定されているパケットはサムネール画像として選択されているフレームであることを示している。これらの制御情報は、映像のＩフレーム（ＭＰＥＧのイントラフレーム）を含むパケットにのみ設定される。
【０００４】
また、特許文献２に開示された従来のデジタル信号送受信装置では、映像と音声を多重化したストリームと、コンテンツ内のイベントを示すイベント情報を対応付けて蓄積し、同時に送信している。
【０００５】
【特許文献１】
特開２００２−２８１４５６号公報
【特許文献２】
特開２０００−０１３７５３号公報
【０００６】
【発明が解決しようとする課題】
特許文献１に開示された方法では、トリックプレイ制御テーブル中の制御情報は、映像のＩフレームに対してのみに設定可能であった。しかしながらインターネットや携帯端末に配信する映像コンテンツの場合、ストリーム上でのＩフレームの間隔が長い場合が多いため、ダイジェストやサムネールフラグをＩフレーム以外に設定する必要性が高い。
【０００７】
また、特許文献２に示された方法では、イベント情報は発生時間と発生イベントを示すだけであり、映像か音声を問わずにコンテンツ全体と関係づけられていた。しかしながら、コンテンツ全体に関連するイベント以外にも、動画データのみに関連づけるのが好ましいイベントやオーディオデータのみに関連づけるのが好ましいイベントが有り、それらについてはそれぞれ動画データまたはオーディオデータのみに関連づけて蓄積したくても、従来の方法では実現することができなかった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、マルチメディアコンテンツの効率的な管理及び利用を実現するマルチメディアコンテンツファイルのデータ構造を得ることを目的とする。
【０００９】
また、上記のデータ構造を有するマルチメディアコンテンツファイルを生成し、管理するのに適したマルチメディアコンテンツ生成装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係るマルチメディアコンテンツファイルのデータ構造は、動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、上記属性情報格納領域は、上記マルチメディアコンテンツのうちダイジェスト動画の再生に用いられるメディアデータの属性を情報処理装置に認識させるダイジェスト動画属性情報を格納し、上記ダイジェスト動画属性情報はダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定することを特徴とするものである。
【００１１】
この発明に係るマルチメディアコンテンツ生成装置は、マルチメディアコンテンツのダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定するダイジェスト動画属性情報を生成するダイジェスト生成部を備え、ダイジェスト動画属性情報を、各メディアデータの属性を示す属性情報に含めてマルチメディアコンテンツファイルを生成するものである。
【００１２】
【発明の実施の形態】
以下、この発明の実施の様々な形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１によるマルチメディアコンテンツ生成装置１００及びマルチメディアコンテンツ閲覧装置２００を備えたマルチメディアコンテンツ配信システムの構成図である。マルチメディアコンテンツ生成装置１００及びマルチメディアコンテンツ配信サーバ３００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークによって接続されている。また、マルチメディアコンテンツ生成装置１００、マルチメディアコンテンツ閲覧装置２００、及びマルチメディアコンテンツ配信サーバ３００はインターネット５００に接続されており、マルチメディアコンテンツ閲覧装置２００はインターネット５００を介してマルチメディアコンテンツ配信サーバ３００にアクセスすることができる。
【００１３】
マルチメディアコンテンツ記憶部１１０、動画データ記憶部１２０、オーディオデータ記憶部１３０、イベント情報記憶部１４０はマルチメディアコンテンツ生成装置１００と通信回線で接続された記憶装置である。また、マルチメディアコンテンツ記憶部３１０は、マルチメディアコンテンツ配信サーバ３００と通信回線で接続された記憶装置である。この実施の形態において、一つのマルチメディアコンテンツファイルを構成する動画データ、オーディオデータ、イベント情報は、あらかじめ動画データ記憶部１２０、オーディオデータ記憶部１３０、イベント情報記憶部１４０にそれぞれ格納されており、コンテンツ制作者の指示に従ってマルチメディアコンテンツ生成装置１００がこれらのデータからマルチメディアコンテンツファイルを生成し、マルチメディアコンテンツファイルをマルチメディアコンテンツ記憶部１１０に格納するようになっている。
【００１４】
マルチメディアコンテンツ生成装置１００において、動画データ記憶部１２０、オーディオデータ記憶部１３０、及びイベント情報記憶部１４０から動画データ、オーディオデータ、イベント情報が読み込まれ、マルチメディアコンテンツファイルが生成される。生成されたマルチメディアコンテンツファイルは、マルチメディアコンテンツ記憶部１１０に格納されると共に、ネットワークを介してマルチメディアコンテンツ配信サーバ３００に供給され、マルチメディアコンテンツ記憶部３１０に格納される。マルチメディアコンテンツ配信サーバ３００は、インターネット５００を介してマルチメディアコンテンツ閲覧装置２００にマルチメディアコンテンツを配信する。配信は、例えばＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるファイル転送や、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）によるストリーミングによって実現される。
【００１５】
マルチメディアコンテンツ生成装置１００とマルチメディアコンテンツ配信サーバ３００は、インターネット５００を介して接続されていてもよい。また、マルチメディアコンテンツ記憶部１１０、動画データ記憶部１２０、オーディオデータ記憶部１３０、イベント情報記憶部１４０はそれぞれが別々の記憶装置でなくてもよく、１つの記憶装置であってもよい。また、動画データ記憶部１２０やオーディオデータ記憶部１３０の他にも、マルチメディアコンテンツに含まれるメディアのデータを格納した記憶装置が接続されていてもよい。
【００１６】
図２は、この実施の形態１によるマルチメディアコンテンツ生成装置１００の構成を示すブロック図である。図中、図１と同一の符号は同一の構成要素を表している。マルチメディアコンテンツ生成装置１００は、データ読込部１０１、データ多重部１０２、属性情報生成部１０３、マルチメディアコンテンツ生成部１０４、ダイジェスト生成部１０５、キーワード付加部１０６、及び暗号化部１０７を有する。データ読込部１０１、データ多重部１０２、属性情報生成部１０３、マルチメディアコンテンツ生成部１０４、ダイジェスト生成部１０５、キーワード付加部１０６、及び暗号化部１０７は、実際には、マルチメディアコンテンツ生成装置１００の中央演算処理装置の動作を制御するプログラムのモジュールに従って、該中央演算処理装置を便宜的に分割したものである。
【００１７】
また、図３は、この実施の形態１によるマルチメディアコンテンツ閲覧装置２００の構成を示すブロック図である。マルチメディアコンテンツ閲覧装置２００は、メディアデータ出力部２０１、同期制御部２０２、デコード部２０３、データ分離部２０４、マルチメディアコンテンツ読込部２０５、マルチメディアコンテンツ蓄積部２０６、受信部２０７、ダイジェスト生成部２０８、暗号復号部２０９、及びマルチメディアコンテンツ検索部２１０を備える。メディアデータ出力部２０１には、マルチメディアコンテンツを再生するためのモニタ２１１とスピーカ２１２が接続されている。メディアデータ出力部２０１、同期制御部２０２、デコード部２０３、データ分離部２０４、マルチメディアコンテンツ読込部２０５、マルチメディアコンテンツ蓄積部２０６、受信部２０７、ダイジェスト生成部２０８、暗号復号部２０９、及びマルチメディアコンテンツ検索部２１０は、実際には、マルチメディアコンテンツ閲覧装置２００の中央演算処理装置の動作を制御するプログラムのモジュールに従って、該中央演算処理装置を便宜的に分割したものである。
【００１８】
次に、マルチメディアコンテンツ生成装置１００によるマルチメディアコンテンツ生成処理について説明する。
まず、データ読込部１０１は動画データ記憶部１２０、オーディオデータ記憶部１３０、及びイベント情報記憶部１４０より、コンテンツ制作者が入力装置（図示せず）を介して生成を指定した一つのマルチメディアコンテンツファイルに含まれる動画データ、オーディオデータ、及びそれらのメディアデータに関連するイベント情報を抽出する。
コンテンツ制作者の指定に従って当該マルチメディアコンテンツファイルについてのダイジェスト動画やダイジェスト画像を作成する場合には、ダイジェスト生成部１０５において、後述するダイジェスト情報生成処理が実行される。また、コンテンツ制作者の指定に従って当該マルチメディアコンテンツファイルに対する検索用キーワードを設定する場合には、キーワード付加部１０６において検索用キーワード生成処理が実行される。なお、検索用キーワード生成処理については実施の形態３に関連して説明する。
【００１９】
データ多重部１０２は、データ読込部１０１で抽出された動画データ及びオーディオデータを多重化し、多重化メディアデータを出力する。また、属性情報生成部１０３では、当該マルチメディアコンテンツファイルについての属性情報が生成される。なお、属性情報の内容については後述する。マルチメディアコンテンツ生成部１０４は、データ多重部１０２が出力した多重化メディアデータと属性情報生成部１０３で生成された属性情報からマルチメディアコンテンツファイルを生成する。なお、生成したマルチメディアコンテンツファイルを暗号化する場合には、暗号化部１０７において暗号化処理を行う。暗号化処理については実施の形態４に関連して説明する。
【００２０】
実施の形態１では、マルチメディアコンテンツファイルの形式としてＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）１４４９６−１に定められているＭＰ４（ＭＰＥＧ−４ Ｆｉｌｅ Ｆｏｒｍａｔ）を一例として使用し、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化された動画データを蓄積する場合を例にとって説明する。
【００２１】
図４に、実施の形態１で用いるマルチメディアコンテンツファイル１０００（ＭＰ４ファイル）の概略を示す。マルチメディアコンテンツファイル１０００は、マルチメディアコンテンツの属性情報を格納する領域である属性情報部１００１とメディアデータ自体を格納する領域であるメディアデータ部１００５を有している。ＭＰ４を使用して同期的に再生される複数種類のメディアデータを蓄積する場合、このようにメディアデータと属性情報は分離して格納される。
【００２２】
さらに、属性情報部１００１は、マルチメディアコンテンツに含まれる各メディアデータの属性情報をメディアデータの種類毎に分けて格納する領域に分かれている。ここでは、メディア１属性情報１００２が動画データの属性情報格納領域であり、メディア２属性情報１００３がオーディオデータの属性情報の格納領域である。これらの属性情報格納領域は、マルチメディアコンテンツに含まれるメディアデータの種類の数に合わせて生成される。さらに、属性情報部１００１には、メディア共通属性情報１００４が含まれる。メディア共通属性情報１００４は、全てのメディアデータに共通の属性情報を格納する領域である。
【００２３】
属性情報は属性情報生成部１０３で生成され、対応するメディアデータ中の必要なデータ部分にマルチメディアコンテンツを再生する情報処理装置がアクセスするために必要なデータ部分の属性を示す。属性情報を読み取ることにより、再生用の情報処理装置は各メディアデータの属性を情報処理装置に認識することができる。属性の内容としては、各メディアデータの生成時刻、再生時間、及び構成情報、各メディアデータを構成する各フレームの再生時間、各フレームへのランダムアクセスに使用する情報等が含まれている。属性情報はメディアデータの種類毎にカプセル化されている。また、属性情報部１００１には、後述するダイジェスト動画属性情報や、ダイジェスト画像属性情報等もメディアデータの種類毎に分けて格納される。
【００２４】
メディアデータ部１００５には、データ多重部１０２において複数種類のメディアデータを多重化することにより生成された多重化メディアデータが格納されている。データ多重部１０２が行う多重化とは、種類の異なるメディアデータを時系列的に再生容易な形式で混在させることである。メディアデータ部１００５への格納形式は限定しないが、例えば１秒毎のように、単位時間毎に各メディアデータを分割、カプセル化し、カプセル化した各メディアデータの先頭の再生開始時間を時系列順に多重化して格納してもよい。この場合にも、属性情報はメディアデータの種類毎にカプセル化されている。
【００２５】
次に、マルチメディアコンテンツ閲覧装置２００によるマルチメディアコンテンツ再生処理について説明する。この実施の形態のマルチメディアコンテンツ閲覧装置２００は、ＦＴＰによるダウンロードを行うが、これに代えて上述の通りＲＴＰによるストリーミング受信を行ってもよい。
マルチメディアコンテンツ生成装置１００によって生成されたマルチメディアコンテンツファイルは、ネットワークを介してマルチメディアコンテンツ配信サーバ３００に供給され、マルチメディアコンテンツ記憶部３１０に格納される。
【００２６】
マルチメディアコンテンツ閲覧装置２００は、コンテンツ利用者が入力装置（図示せず）を用いて入力した指示に基づいて、インターネットを介してマルチメディアコンテンツ配信サーバ３００にアクセスし、ファイル転送（ＦＴＰ）によって所望のマルチメディアコンテンツファイルをダウンロードし、受信部２０７において受信する。受信したマルチメディアコンテンツファイルはマルチメディアコンテンツ蓄積部２０６に蓄積される。マルチメディアコンテンツファイルの受信が終了すると、マルチメディアコンテンツ読込部２０５によりマルチメディアコンテンツ蓄積部２０６からマルチメディアコンテンツファイルが読み出されて、マルチメディアコンテンツ読込部２０５に保持される。ここで、マルチメディアコンテンツファイルが暗号化されている場合には、暗号復号部２０９により復号処理が行われる。暗号復号部２０９は、コンテンツ利用者が当該マルチメディアコンテンツファイルについての正当な権利を有している場合、すなわち、例えばマルチメディアコンテンツ閲覧装置２００上のコンテンツ再生ソフトウェアが復号化鍵を有している場合にはデータを復号する。
【００２７】
次に、データ分離部２０４で多重化されているメディアデータが、種類の異なるメディアデータ（動画データとオーディオデータ）に分離され、デコード部２０３で各メディアデータがデコードされる。
【００２８】
コンテンツ利用者が入力装置を介してマルチメディアコンテンツの再生を指示した場合には、同期制御部２０２で、デコードされた各メディアデータの同期が取られ、同期された各メディアデータがメディアデータ出力部２０１を介してモニタ２１１及びスピーカ２１２に出力される。すなわちメディアデータが時系列出力される。ここで、マルチメディアコンテンツファイルにイベント属性情報が含まれている場合には、イベント属性情報もメディアデータと同期を取って出力され、文字等としてイベントがモニタ２１１に表示される。ただし、モニタ２１１は、再生動画を表示する主画面とイベントを表示する副画面を並べて同時に表示すると好ましく、主画面で動画の表示がされているか否かにかかわらず副画面で全てのイベントを一度に表示するようにしてもよい。そして、副画面に表示されたイベントのいずれかをコンテンツ利用者が入力装置を用いて選択すると、そのイベントの発生時間に対応する部分を起点としてメディアデータをマルチメディアコンテンツ読込部２０５が後段のデータ分離部２０４に供給開始すると好ましい。
【００２９】
また、マルチメディアコンテンツファイルにダイジェスト動画またはダイジェスト画像が設定されており、コンテンツ利用者が入力装置を介してダイジェスト動画やダイジェスト画像の再生を指示した場合には、ダイジェスト生成部２０８において、後述するダイジェスト動画生成処理またはダイジェスト画像生成処理が実行され、生成されたダイジェスト動画データまたはダイジェスト画像データがデコード部２０３でデコードされる。同期制御部２０２は、デコードされたダイジェスト動画データまたはダイジェスト画像データをメディアデータ出力部２０１を介してモニタ２１１及びスピーカ２１２に出力する。ここで、ダイジェスト動画とは、マルチメディアコンテンツファイルに含まれる各メディアデータの中から、少なくとも１箇所、好ましくは数箇所のデータ部分を抜き出して再生するものである。また、ダイジェスト画像は、マルチメディアコンテンツファイル内の動画データに含まれる複数の任意のフレームの静止画像である。ダイジェスト動画もダイジェスト画像もマルチメディアコンテンツの概略を簡潔に利用者に把握させるために使われる。
【００３０】
なお、マルチメディアコンテンツ閲覧装置２００内のマルチメディアコンテンツ検索部２１０は、コンテンツ利用者の入力したキーワードに基づいて、マルチメディアコンテンツ蓄積部２０６に格納されたマルチメディアコンテンツファイルの検索を行う。後述するように、各マルチメディアコンテンツファイルおよびファイル内の各区間には属性情報として検索キーワードが付加されており、検索にあたっては、入力されたキーワードと一致する検索キーワードをマルチメディアコンテンツ検索部２１０が検知して抽出する。
【００３１】
次に、ダイジェスト生成部１０５におけるダイジェスト情報生成処理、及びダイジェスト生成部２０８におけるダイジェスト動画生成処理について説明する。
ダイジェスト生成部１０５は、コンテンツ制作者により、マルチメディアコンテンツのダイジェスト動画作成指示が入力されると、ダイジェスト動画属性情報を生成する。ここでまずダイジェスト生成部１０５は、各メディアデータ（動画データとオーディオデータの各々）のうちダイジェスト動画の再生に用いられる少なくとも１つの区間、好ましくは複数の区間を指定する。そして、これらの区間に基づいて、ダイジェスト動画属性情報を作成し、ダイジェスト動画属性情報を属性情報部１００１のメディア１属性情報１００２とメディア２属性情報１００３として格納する。
【００３２】
ここで、ダイジェスト動画属性情報とは、マルチメディアコンテンツファイルのうちダイジェスト動画の再生に用いられるメディアデータの属性を、マルチメディアコンテンツを再生する情報処理装置に認識させるための情報であり、ダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定する。実施の形態１では、ダイジェスト動画の再生に用いられるデータの区間の指定は、マルチメディアコンテンツファイル全体の再生開始時点を起点とするその区間の再生開始時間と再生終了時間を指定することにより実現する。
【００３３】
図５に、ダイジェスト動画を構成するデータの区間がｎ区間（ｎは自然数）の場合のダイジェスト動画属性情報の例を示す。ダイジェスト動画属性情報２０００は、属性情報部１００１中の各メディアデータの属性情報（メディア１属性情報１００２及びメディア２属性情報１００３）の領域に格納される。具体的には、メディア１属性情報１００２は、動画データのうちダイジェスト動画の再生に用いられる区間を特定するダイジェスト動画属性情報２０００を動画データの他の属性情報とともに格納し、メディア２属性情報１００３はオーディオデータのうちダイジェスト動画の再生に用いられる区間を特定するダイジェスト動画属性情報２０００をオーディオデータの他の属性情報とともに格納する。
【００３４】
図５中、「Ｓｉｚｅ」はダイジェスト動画属性情報２０００のデータサイズであり、「Ｔｙｐｅ」はダイジェスト動画属性情報２０００がダイジェスト動画属性情報データであることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はダイジェスト動画を構成するデータ区間の個数（ｎ）である。「Ｓｔａｒｔ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は第ｋの区間の再生開始時間、「Ｅｎｄ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は第ｋの区間の再生終了時間である。
【００３５】
マルチメディアコンテンツ閲覧装置２００は、マルチメディアコンテンツ配信サーバ３００より取得したマルチメディアコンテンツファイルにダイジェスト動画属性情報２０００が含まれており、コンテンツ利用者が入力装置を介してダイジェスト動画の再生を指示した場合には、ダイジェスト生成部２０８においてダイジェスト動画生成処理を行う。ダイジェスト生成部２０８は、ダイジェスト動画属性情報２０００に基づき、ダイジェスト動画データを生成する。具体的には、マルチメディアコンテンツ読込部２０５に保持されたマルチメディアコンテンツから、各メディアデータに設定された各々のダイジェスト動画属性情報で特定された区間に対応するデータ部分を抜き出す。これらのデータ部分は、デコード部２０３でデコードされた後、同期制御部２０２により同期して出力される。
【００３６】
図６は、ダイジェスト動画属性情報２０００に基づいて生成されるダイジェスト動画データの概要を示す図である。図示のストリームデータ２００１は、例えば、マルチメディアコンテンツファイル１０００で示されるマルチメディアコンテンツに含まれる動画メディアデータのストリームデータである。ストリーム中に記述されている数字はストリームのフレーム番号とする。ダイジェスト生成部２０８は、属性情報の中の各フレームの再生時間についての情報を参照し、ダイジェスト動画属性情報２０００で指定された複数区間の再生開始時間及び再生終了時間と合致するフレームを全て抽出する。図の例では、ダイジェスト動画属性情報２０００に基づいて生成されるダイジェスト動画データは、開始時間１と終了時間１の間に相当するフレーム２，３，４、及び開始時間２と終了時間２の間に相当するフレーム１０，１１，１２によって構成されるストリームデータとなる。ただし、ここでは図５中のｎが２、すなわち指定区間数が２の場合を考えている。
【００３７】
なお、マルチメディアコンテンツ生成装置１００は、ダイジェスト生成部１０５において、ダイジェスト動画属性情報２０００を、メディア共通属性情報１００４の領域に格納してもよい。この場合、ダイジェスト動画属性情報２０００はマルチメディアコンテンツに含まれる複数種類のメディアデータから必要データ部分を抜き出すのに共通に使用される。
【００３８】
図７は、メディア共通属性情報１００４の領域に格納されたダイジェスト動画属性情報に基づいて、マルチメディアコンテンツ閲覧装置２００のダイジェスト生成部２０８で生成されるダイジェスト動画データの概要を示す図である。図示のストリームデータ２００２は、例えばマルチメディアコンテンツファイルに含まれる動画メディアデータ（メディア１）のストリームデータである。また、ストリームデータ２００３は、例えばマルチメディアコンテンツファイルに含まれるオーディオメディアデータ（メディア２）のストリームデータである。それぞれのストリーム中に記述されている数字はストリームのフレーム番号である。メディア共通属性情報１００４の領域に格納されたダイジェスト動画属性情報２０００に基づいて生成されるダイジェスト動画データは、メディア１については、開始時間１と終了時間１の間に相当するフレーム２，３，４、及び開始時間２と終了時間２の間に相当するフレーム１０，１１，１２によって構成されるストリームデータとなる。また、メディア２については、開始時間１と終了時間１の間に含まれるフレーム２，３、及び開始時間２と終了時間２の間に含まれるフレーム８，９によって構成されるストリームデータとなる。ただし、ここでは図５におけるｎが２、すなわち指定区間数が２の場合を考えている。このようにして、複数種類のメディアデータに共通のダイジェスト動画属性情報に基づいて、複数種類のメディアデータから必要データ部分を抜き出すことができる。
【００３９】
上記の例では、表形式または箇条書き形式でダイジェスト動画属性情報を表現したが、この他にも、例えば、Ｗ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）で策定され、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述された言語であるＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）を使用してもダイジェスト動画属性情報を記述することができる。
【００４０】
図８は、ＳＭＩＬを用いたダイジェスト動画属性情報２００４の例を示す図である。図中、「Ｓｉｚｅ」はダイジェスト動画属性情報２００４のデータサイズであり、「Ｔｙｐｅ」はダイジェスト動画属性情報２００４がＳＭＩＬによるダイジェスト動画属性情報データであることを示す識別子である。「Ｌｅｎｇｔｈ」は、ＳＭＩＬで記述されたダイジェスト動画構成情報のサイズ（バイト数）であり、「ダイジェスト動画構成情報」は、ＳＭＩＬによって記述されたダイジェスト動画データの構成情報である。ダイジェスト動画構成情報２００５は、メディアデータの種類毎にダイジェスト動画属性情報を設定する場合のダイジェスト動画構成情報の例である。ダイジェスト動画構成情報２００６は、複数種類のメディアデータに共通するダイジェスト動画属性情報を設定する場合のダイジェスト動画構成情報の例である。
【００４１】
ダイジェスト動画構成情報２００５は、ＳＭＩＬのシーケンシャル再生記述を用いて作成されており、図中、３行目の記述はダイジェスト動画としてメディア１を開始時間１から再生開始し、終了時間１で再生終了することを示している。また、４行目の記述はダイジェスト動画としてメディア１の開始時間２から再生開始し、終了時間２で再生終了することを示している。
【００４２】
ダイジェスト動画構成情報２００６は、ＳＭＩＬのシーケンシャル再生記述、パラレル再生記述を用いて作成されている。図中、５，６行目はメディア１のダイジェスト動画構成情報、９，１０行目はメディア２のダイジェスト動画構成情報である。５，９行目に同じ時間を設定し、６，１０行目も同じ時間を設定することにより、メディア１とメディア２のダイジェスト動画は同時に再生される。
マルチメディアコンテンツ閲覧装置２００は、ＳＭＩＬによって記述されたダイジェスト動画データの構成情報に基づいて、ダイジェスト生成部２０８においてダイジェスト動画データを生成する。
【００４３】
マルチメディアコンテンツによっては、マルチメディアコンテンツの本来のメディアデータには含まれていない映像や音声をダイジェスト動画の一部として使用する場合がある。図９は、マルチメディアコンテンツの本来のメディアデータに含まれていない映像や音声をダイジェスト動画の一部として使用する場合のダイジェスト動画属性情報の例を示す図である。図９に示すように、ダイジェスト動画属性情報２００７には、ダイジェスト動画属性情報２００７のサイズを表す「Ｓｉｚｅ」、一部に本来のメディアデータ以外のデータを含みうるダイジェスト動画の属性情報であることを示す識別子「Ｔｙｐｅ」、ダイジェスト動画を構成する区間情報の個数を示す「Ｅｎｔｒｙ＿ｃｏｕｎｔ」（ｎ）が含まれている。また、ダイジェスト動画属性情報２００７には、ダイジェスト動画を構成するデータを選択するフラグであり、第１〜第ｎの区間で本来のメディアデータを使用するか、その他のデータ（ダイジェスト動画用メディアデータ）を使用するかを示すストリームフラグ「Ｓｔｒｅａｍ＿Ｆｌａｇ ｋ（ｋ＝１〜ｎ）」、第１〜第ｎの区間の開始時間を表す「Ｓｔａｒｔ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」、第１〜第ｎの区間の終了時間を表す「Ｅｎｄ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」の情報が含まれている。従って、ダイジェスト動画属性情報２００７は、マルチメディアコンテンツに本来含まれてダイジェスト動画の再生に用いられるメディアデータの区間を特定する情報、もしくはダイジェスト動画用メディアデータの区間を特定する情報を少なくとも１つ含む。
【００４４】
ダイジェスト動画に本来のメディアデータに含まれていないメディアデータを使用する場合、マルチメディアコンテンツファイル１０００には、上記した多重化メディアデータを格納したメディアデータ部１００５とは別個に、ダイジェスト動画の再生に用いられるダイジェスト動画用メディアデータが格納される。図１０に、マルチメディアコンテンツファイル１０００内での、ダイジェスト動画用メディアデータの格納方式の例を示す。図１０に示されるダイジェスト動画情報部２００８は、マルチメディアコンテンツファイル１０００において、図４の属性情報部１００１およびメディアデータ部１００５とは別個の領域である。
【００４５】
図１０のダイジェスト動画情報部２００８は、ダイジェスト動画を構成するメディアデータの種類（動画およびオーディオ）毎に存在する。ダイジェスト動画情報部２００８は、ダイジェスト動画属性情報２００７とダイジェスト動画用メディアデータ２０１０がカプセル化されて格納された領域である。
【００４６】
なお、図１０は、各メディアデータの種類毎に生成されたダイジェスト動画情報部２００８を示しているが、複数種類のメディアデータに共通するダイジェスト動画情報部を生成してもよい。その場合には、ダイジェスト動画情報部は、複数種類のメディアデータの再生に共通して使用される一つのダイジェスト動画属性情報２００７と、メディアデータの種類の数だけ存在する複数のダイジェスト動画用メディアデータ２０１０を有する形式となる。
【００４７】
図１１に、ダイジェスト動画用メディアデータ２０１０の構成例を示す。図中、「Ｓｉｚｅ」はダイジェスト動画用メディアデータ２０１０のサイズであり、「Ｔｙｐｅ」はダイジェスト動画用メディアデータであることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はダイジェスト動画用メディアデータ２０１０のフレーム数（ｎ）である。「Ｓｉｚｅ ｋ（ｋ＝１〜ｎ）」はフレーム１〜ｎのサイズであり、「Ｄｅｌｔａ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」はフレームｋからフレームｋ＋１までの再生時間間隔、つまりフレームｋの再生開始から再生終了までの時間である。「メディアデータ」は、ダイジェスト動画用メディアデータストリーム、つまりダイジェスト動画を構成する一連の実効データである。このように、ダイジェスト動画用メディアデータ２０１０を構成するフレーム毎のサイズ情報と再生時間情報が格納されており、それに続いてダイジェスト動画用メディアデータストリームが格納されている。
【００４８】
次に、ダイジェスト動画にマルチメディアコンテンツに本来含まれないメディアデータが使用された場合の、マルチメディアコンテンツ閲覧装置２００におけるダイジェスト動画生成処理について説明する。
図９に示すダイジェスト動画属性情報２００７のいずれかのストリームフラグｋ（ｋ＝１〜ｎ）でダイジェスト動画用メディアデータの使用が指定されたと想定する。これは第ｋの区間でダイジェスト動画用メディアデータを使用することを意味する。第ｋの区間の「Ｓｔａｒｔ＿ｔｉｍｅ ｋ」（開始時間ｋ）に対応するダイジェスト動画用メディアデータストリーム上のフレームは、最初のフレーム１から順に各フレームの再生時間（Ｄｅｌｔａ＿ｔｉｍｅ）を足した合計が「Ｓｔａｒｔ＿ｔｉｍｅ ｋ」に達したか否か判断することにより求められる。また、求められたフレームのダイジェスト動画用メディアデータストリーム上での位置は、各フレームのサイズ情報（Ｓｉｚｅ）を足すことにより得られ、そのフレームにアクセス可能となる。上記の点を除けば、この場合のダイジェスト動画生成処理は、図５のダイジェスト動画属性情報２０００を用いるダイジェスト動画生成処理と同様である。
【００４９】
次に、マルチメディアコンテンツ生成装置１００においてマルチメディアコンテンツにダイジェスト画像情報を設定する場合の処理、及びマルチメディアコンテンツ閲覧装置２００におけるダイジェスト画像生成処理について説明する。
【００５０】
ダイジェスト画像は、マルチメディアコンテンツ内の動画データに含まれる任意のフレームの静止画像から構成される。ダイジェスト生成部１０５は、コンテンツ制作者により、マルチメディアコンテンツのダイジェスト画像作成指示が入力されると、ダイジェスト画像属性情報を生成する。ここでまずダイジェスト生成部１０５は、動画データのうちダイジェスト画像の再生に用いられる画像を特定し、さらに特定した画像の中から上記マルチメディアコンテンツの内容を表す代表画像を指定する。そして、これらの画像を特定するダイジェスト画像属性情報を作成し、ダイジェスト画像属性情報を属性情報部１００１の動画データの属性情報（メディア１属性情報１００２）として格納する。
【００５１】
ここで、ダイジェスト画像属性情報とは、マルチメディアコンテンツファイルのうちダイジェスト画像の再生に用いられる動画データの属性を、マルチメディアコンテンツを再生する情報処理装置に認識させるための情報であり、マルチメディアコンテンツファイル全体の再生開始時点を起点とする再生時間によって少なくとも１つの時点での画像を特定し、さらに、特定した画像の中からマルチメディアコンテンツの内容を表す代表画像を指定する。
【００５２】
図１２に、ダイジェスト画像属性情報２０１１の例を示す。図中、「Ｓｉｚｅ」はダイジェスト画像属性情報２０１１のデータサイズ、「Ｔｙｐｅ」は、ダイジェスト画像属性情報の識別子である。「ＭａｉｎＩｍａｇｅ」は代表ダイジェスト画像番号、「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はダイジェスト画像の個数（ｎ）、「Ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」はダイジェスト画像番号ｋの動画データストリーム上での再生時間である。このように、ダイジェスト画像属性情報２０１１では、ダイジェスト画像を複数指定することができる。各ダイジェスト画像は、全体の動画メディアデータ上で該当映像が表示される時間によって指定する。代表ダイジェスト画像番号は、ダイジェスト画像の時間のインデックス番号によって示され、代表ダイジェスト画像に指定された画像が、そのコンテンツを１画像で代表して表示する時に使用される。
【００５３】
マルチメディアコンテンツ閲覧装置２００は、受信したマルチメディアコンテンツファイル１０００にダイジェスト画像属性情報２０１１が含まれており、コンテンツ利用者が入力装置を介してダイジェスト画像の再生を指示した場合には、ダイジェスト生成部２０８においてダイジェスト画像属性情報２０１１に基づいてダイジェスト画像生成処理を行う。具体的には、マルチメディアコンテンツ読込部２０５に保持されたマルチメディアコンテンツから、ダイジェスト画像属性情報２０１１で特定された再生時間に対応するフレームを抜き出し、これらのフレームから構成されるダイジェスト画像データを生成する。ダイジェスト画像データは、デコード部２０３でデコードされた後、同期制御部２０２により出力される。また代表ダイジェスト画像の再生のみをコンテンツ利用者が指示した場合には、ダイジェスト生成部２０８は、ダイジェスト画像属性情報２０１１で特定される代表ダイジェスト画像の再生時間に対応するフレームのみを抜き出す。このフレームも、デコード部２０３でデコードされた後、同期制御部２０２により出力される。
また、ダイジェスト画像に指定したフレームがＩフレームでない場合には、時間的に該フレームより前に存在する一番近いＩフレームを検索し、そのＩフレームから該フレームまで動画データをデコードすることにより静止画像を得るようにしてもよい。
【００５４】
以上のように、この実施の形態１によれば、マルチメディアコンテンツ生成装置１００は、ダイジェスト生成部１０５でマルチメディアコンテンツファイルのうちダイジェスト動画の生成に用いられるメディアデータの再生時間区間を指定するダイジェスト動画属性情報を生成し、属性情報に含めてマルチメディアコンテンツファイル内に格納するようにしたので、マルチメディアコンテンツ閲覧装置２００は、マルチメディアコンテンツファイルをダウンロードするだけで、容易にコンテンツの概要を把握可能なダイジェスト動画を再生することが可能となる。
なお、実施の形態１では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、ダイジェスト生成部１０５において生成したダイジェスト動画属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００５５】
また、マルチメディアコンテンツ生成装置１００は、ダイジェスト生成部１０５でマルチメディアコンテンツファイルのうちダイジェスト画像の生成に用いられる動画データの再生時間を指定するダイジェスト画像属性情報を生成し、属性情報生成部１０３で生成される属性情報に含めてマルチメディアコンテンツファイル内に格納するようにしたので、マルチメディアコンテンツ閲覧装置２００は、マルチメディアコンテンツをダウンロードするだけで、容易にコンテンツの概要を把握可能なダイジェスト画像を表示することが可能となる。
なお、実施の形態１では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、ダイジェスト生成部１０５において生成したダイジェスト画像属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００５６】
なお、実施の形態１では、マルチメディアコンテンツファイルの例としてＭＰ４ファイルを用いたが、ファイルの形式はこれ以外にも、各メディアデータに関する属性情報を個別に管理できる形式であれば利用することができる。
【００５７】
実施の形態２．
実施の形態２では、実施の形態１と同様のマルチメディアコンテンツ生成装置１００によって、マルチメディアコンテンツとイベント属性情報を関連付けたマルチメディアコンテンツファイルを作成する。なお、実施の形態２においてもマルチメディアコンテンツファイルにはＭＰ４ファイルを一例として用いる。
【００５８】
イベント属性情報とは、マルチメディアコンテンツもしくはマルチメディアコンテンツに含まれる各メディアデータ上で発生したイベントの発生時期とイベントの種別を表す情報である。マルチメディアコンテンツとしてビルの入り口に設置された監視カメラシステムの映像を例に取ると、例えば、動画データ上で人が入退館を行ったというイベントを動画データの映像と関連付け、そのイベントの発生時期の映像を利用者が見たいことがある。そこで、イベント属性情報は、人の入退館の発生時期と人の入退館という種別を表す。また、例えば、オーディオデータ上で閾値以上の音量を有する音が発生したというイベントをオーディオデータと関連付け、そのイベントの発生時期の音を利用者が聴きたいことがある。そこで、イベント属性情報は、閾値以上の音の発生というイベントの発生時期と、閾値以上の音の発生というイベントの種別を表す。
【００５９】
実施の形態２では、マルチメディアコンテンツ生成装置１００の属性情報生成部１０３がイベント属性情報を生成し、マルチメディアコンテンツファイル１０００内の属性情報部１００１に格納する。なお、マルチメディアコンテンツファイル１０００にイベント属性情報を格納する処理以外の動作については、実施の形態１と同様である。
【００６０】
属性情報生成部１０３は、データ読込部１０１でイベント情報記憶部１４０から読み込まれたイベント情報を基にイベント属性情報を生成する。ここで、属性情報生成部１０３は、マルチメディアコンテンツファイル１０００に含まれるメディアデータの種類（動画データおよびオーディオデータ）毎にイベントを配分する。そして、動画データのイベントに関するイベント属性情報を属性情報部１００１のメディア１属性情報１００２に格納し、オーディオデータのイベントに関するイベント属性情報を属性情報部１００１のメディア２属性情報１００３に格納し、両方のデータに共通するイベントに関するイベント属性情報を属性情報部１００１のメディア共通属性情報１００４に格納する。
【００６１】
図１３は、イベント属性情報２０１２の例を示した図である。「Ｓｉｚｅ」はイベント属性情報全体のサイズ、「Ｔｙｐｅ」はイベント属性情報であることを示す識別子、「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はイベント属性情報２０１２に格納されているイベント数（ｎ）、「ＥｖｅｎｔＩＤ ｋ（ｋ＝１〜ｎ）」はイベントｋの種別を表すイベントＩＤ、「ＥｖｅｎｔＴｉｍｅ ｋ（ｋ＝１〜ｎ）」はイベントｋの発生時間をマルチメディアコンテンツファイル全体の再生開始時間を起点として記述した情報、「ＥｖｅｎｔＤｅｓｃｒｉｐｔｉｏｎ ｋ（ｋ＝１〜ｎ）」はイベントｋに関連した説明事項であり、例えば絶対時間で表したイベント発生時間等が格納される。イベント属性情報２０１２のデータ長は可変であり、終了点はＮＵＬＬ文字列等で示す。
【００６２】
イベント属性情報に表されたイベントは、上述の通りモニタ２１１に表示される。そして、副画面に表示されたイベントのいずれかをコンテンツ利用者が入力装置を用いて選択すると、イベント属性情報内のそのイベントの発生時間がマルチメディアコンテンツ読込部２０５に通知され、マルチメディアコンテンツ読込部２０５はそのイベントの発生時間に対応する部分を起点としてメディアデータを後段のデータ分離部２０４に供給開始する。このようにしてコンテンツ利用者は、所望のイベントに関するデータ部分を簡単に再生することができる。なお、かかる指定されたイベントに応答する再生は、イベントに関連するメディアデータのみ（すなわち動画データまたはオーディオデータのみ）の再生でもよいし、両方のメディアデータの再生でもよい。
【００６３】
以上のように、マルチメディアコンテンツ上で発生するイベントと関連付けられイベントの種別を示すイベント属性情報をマルチメディアコンテンツファイルに格納することにより、映像データ等と関連したイベントを簡易に操作することが可能であり、ポータビリティの高いマルチメディアコンテンツファイルを作成することができる。
【００６４】
また、イベント属性情報は、マルチメディアコンテンツファイル内のメディア共通属性情報あるいは個々の対応するメディアデータの属性情報の領域に格納するようにしたので、コンテンツ全体に関連付けられるイベントのみならず、各メディアデータに個別に関連付けられるイベントについても簡易に操作することができる。
なお、実施の形態２では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、属性情報生成部１０３において生成したイベント属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００６５】
実施の形態３．
実施の形態３では、実施の形態１，２のいずれかと同様のマルチメディアコンテンツ生成装置１００によってマルチメディアコンテンツに検索キーワードを設定し、マルチメディアコンテンツ閲覧装置２００でそのキーワードを利用してコンテンツファイルの検索が行えるようにする。なお、実施の形態３においてもマルチメディアコンテンツファイルにはＭＰ４ファイルを一例として用いる。
【００６６】
マルチメディアコンテンツ生成装置１００のキーワード付加部１０６は、コンテンツ制作者の入力したキーワード情報を基にキーワード属性情報を生成する。キーワード属性情報は、マルチメディアコンテンツファイル１０００に含まれる異なる種類のメディアデータに共通する特定区間に対応する検索用キーワードと、マルチメディアコンテンツファイル１０００に含まれる各メディアデータの特定区間に対応する検索用キーワードを指定する。
【００６７】
図１４に、キーワード属性情報２０１３の例を示す。図中、「Ｓｉｚｅ」はキーワード属性情報全体のデータサイズ、「Ｔｙｐｅ」はキーワード属性情報であることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ １」は時間共通キーワード数（ｎ）を表す。「Ｋｅｙｗｏｒｄ ｋ（ｋ＝１〜ｎ）」は時間共通キーワードであり、時間共通キーワード数（ｎ）分の時間共通キーワードが格納される。時間共通キーワードとは、時間に関係しないキーワード、つまりマルチメディアコンテンツファイル１０００全体に対応する検索用キーワードか、マルチメディアコンテンツファイル１０００に含まれるいずれかのメディアデータ（動画像データまたはオーディオデータ）全体に対応する検索用キーワードである。
【００６８】
「Ｅｎｔｒｙ＿ｃｏｕｎｔ ２」は、区間キーワードが設定された特定区間の数（ここではｎとする。）である。区間キーワードは、マルチメディアコンテンツファイル１０００に含まれる異なる種類のメディアデータに共通する特定区間に対応する検索用キーワード、または各メディアデータの特定区間に対応する検索用キーワードである。各特定区間は、区間開始時間と区間終了時間で指定され、それぞれの特定区間に対して複数の区間キーワードを設定できる。「Ｓｔａｒｔ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は、区間ｋの開始時間であり、「Ｅｎｄ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は、区間ｋの終了時間である。「Ｋｅｙｗｏｒｄ＿ｃｏｕｎｔ ｋ（ｋ＝１〜ｎ）」は、一の区間ｋに設定される区間キーワード数（ここでは、区間１でｍ、区間ｎでｐとする。）であり、各区間の「Ｋｅｙｗｏｒｄ＿ｃｏｕｎｔ ｋ」に続いて各区間のキーワードが格納される。例えば、「Ｋｅｙｗｏｒｄ １−１」から「Ｋｅｙｗｏｒｄ １−ｍ」に区間１のキーワードが格納され、「Ｋｅｙｗｏｒｄ ｎ−１」から「Ｋｅｙｗｏｒｄ ｎ−ｋ」に区間ｎの区間キーワードが格納される。なお、時間共通キーワードおよび区間キーワードのデータ長は可変であり、ＮＵＬＬ文字コード等で終了を表す。
【００６９】
キーワード付加部１０６は、キーワード属性情報２０１３を生成すると、キーワード属性情報をマルチメディアコンテンツファイル１０００の属性情報部１００１に格納する。ここで、異なる種類のメディアデータに共通するキーワード属性情報２０１３を生成した時には、このキーワード属性情報２０１３を属性情報部１００１のメディア共通属性情報１００４に格納し、各メディアデータのためのキーワード属性情報２０１３を生成した時には、このキーワード属性情報２０１３を属性情報部１００１の対応するメディアデータの種類の属性情報内（メディア１属性情報１００２またはメディア２属性情報１００３）に格納する。
【００７０】
マルチメディアコンテンツ閲覧装置２００は、コンテンツ利用者の入力した検索キーワードに従ってコンテンツの検索を行う際、キーワード属性情報を参照することにより検索を行う。
【００７１】
以上のように、マルチメディアコンテンツファイル内にキーワード属性情報を格納することにより、データベース等の機能を利用して容易にコンテンツの検索を行うことができる。
【００７２】
また、キーワード属性情報は時間区間ごとにキーワードを設定できる構成にしたので、コンテンツの内容に即して、より適切なキーワードを設定することができる。
【００７３】
また、キーワード属性情報は、マルチメディアコンテンツファイル内のメディア共通属性情報あるいは個々のメディアデータの属性情報の領域に格納するようにしたので、マルチメディアコンテンツファイル１０００全体のみならず各メディアデータに対しても検索キーワードを簡易に設定することができる。
なお、実施の形態３では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、キーワード付加部１０６において生成したキーワード属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００７４】
実施の形態４．
実施の形態４では、実施の形態１〜３のいずれかと同様のマルチメディアコンテンツ生成装置１００によって、マルチメディアコンテンツファイルを暗号化する。なお、実施の形態４においてもマルチメディアコンテンツファイルにはＭＰ４ファイルを一例として用いる。
【００７５】
マルチメディアコンテンツ生成装置１００は、マルチメディアコンテンツ生成部１０４で生成したマルチメディアコンテンツファイル１０００を暗号化する場合には、暗号化部１０７において暗号化処理を行う。この際、属性情報部１００１とメディアデータ部１００５の一方のみを暗号化する。
【００７６】
図４に示すように、ＭＰ４ファイルは各メディアデータの属性情報を格納する属性情報部１００１と各メディアのメディアデータを多重化した多重化メディアデータに分割して格納されている。メディアデータの構成情報やアクセスに必要な情報は属性情報部１００１に格納されているため、通常、メディアデータ部１００５のデータのみではマルチメディアコンテンツを再生することはできない。そのため、属性情報部１００１のみを暗号化すれば、事実上、コンテンツ全体を暗号化したのと同様の効果が得られる。
【００７７】
図１５は、属性情報を暗号化した場合のマルチメディアコンテンツファイル２０１４の構成の例を示す図である。図に示すように、マルチメディアコンテンツファイル２０１４は、暗号化属性情報格納データ部２０１５とメディアデータ部２０１７を有している。暗号化属性情報格納データ部２０１５には、暗号化属性情報格納データであることを示す識別子と、暗号化属性情報格納データ全体のサイズと、暗号化された属性情報２０１６が格納されている。
【００７８】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアは、復号化するために必要な復号化鍵等の情報を有している。暗号復号部２０９は、暗号化属性情報格納データのサイズ情報に基づいて暗号化された属性情報２０１６を取りだし、復号化鍵を用いて復号化する。復号化した属性情報を読み出すことにより、メディアデータへのアクセスが可能となる。
【００７９】
このように、マルチメディアコンテンツの属性情報のみを暗号化することで、簡易的にマルチメディアコンテンツの暗号化を実現することができる。この方法は、性能が限られている携帯端末等では特に有効である。
【００８０】
暗号化部１０７は、一部の種類のメディアデータに対応する属性情報のみを暗号化してもよい。図１６は複数種類のメディアデータ毎の属性情報を格納するマルチメディアコンテンツファイルにおいて、一部の種類のメディアデータの属性情報のみを暗号化する場合の、マルチメディアコンテンツファイル２０１８の構成例である。図の例では、マルチメディアコンテンツはメディア１（例えば動画データ）とメディア２（例えばオーディオデータ）を含む。図に示すように、マルチメディアコンテンツファイル２０１８は、属性情報部２０１９とメディアデータ部２０２４を有する。属性情報部２０１９には暗号化メディア属性情報格納データ部２０２０と、暗号化されていない属性情報（メディア２属性情報２０２１、メディア共通属性情報２０２２）が含まれる。暗号化メディア属性情報格納データ部２０２０は、暗号化メディア属性情報格納データであることを示す識別子と、暗号化メディア属性情報格納データ全体のサイズと、暗号化されたメディア１属性情報２０２３を内部に有している。
【００８１】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアは、復号化するために必要な復号化鍵等の情報を有している。暗号復号部２０９は、暗号化メディア属性情報格納データのサイズ情報に基づいて暗号化されたメディア１属性情報２０２３を取りだし、復号化鍵を用いて復号化する。復号化したメディア１属性情報を読み出すことにより、メディアデータへのアクセスが可能となる。
【００８２】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアが復号化するための情報を有していない場合、暗号化メディア属性情報格納データ部２０２３は読み飛ばされ、暗号化されていないメディア２属性情報２０２１のみにアクセス可能となる。その結果マルチメディアコンテンツ閲覧装置２００では、メディア２のメディアデータのみを再生することができる。
【００８３】
このように、再生権利を購入した利用者はマルチメディアコンテンツ全てを閲覧可能であるが、再生権利を持たない利用者には暗号化されていないメディアのみ閲覧可能にすることができる。
【００８４】
図１７は、メディアデータのみを暗号化した場合の、マルチメディアコンテンツファイルの構成例である。図に示すように、マルチメディアコンテンツファイル２０２５は、属性情報部２０２６と暗号化メディアデータ格納データ部２０２７を有する。暗号化メディアデータ格納データ部２０２７は、暗号化メディア格納データであることを示す識別子と、暗号化メディアデータ格納データのデータサイズと、暗号化されたメディアデータ２０２８を有する。
【００８５】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアは、マルチメディアコンテンツファイル２０２５を復号化するために必要な復号化鍵等の情報を有している。暗号復号部２０９は、暗号化メディアデータ格納データのサイズ情報に基づいて暗号化されたメディアデータ２０２８を取りだし、復号化鍵を用いて復号化する。メディアデータへのアクセスにはファイルの先頭からのオフセット位置を使用するが、復号化されたメディアデータは、暗号化されたメディアデータ２０２８が格納されている位置から始まると仮定してオフセット位置を計算してアクセスする。
【００８６】
このようにメディアデータのみを暗号化することにより、例えばマルチメディアコンテンツファイルが図１０に示すようなダイジェスト動画属性情報２００７とダイジェスト動画用メディアデータ２０１０を有しており、ダイジェスト動画が全てダイジェスト動画用メディアデータ２０１０から構成されている場合には、復号化鍵を有さない再生ソフトウェアを使用しても、ダイジェスト動画のみは閲覧できるように設定することができる。
【００８７】
実施の形態５．
実施の形態５では、実施の形態１〜４のいずれかと同様のマルチメディアコンテンツ生成装置１００によって、マルチメディアコンテンツファイル間の関連情報を設定する。なお、実施の形態５においてもマルチメディアコンテンツファイルとしてＭＰ４ファイルを用いる。
【００８８】
マルチメディアコンテンツ生成装置１００は、あるマルチメディアコンテンツファイルに関連付けて再生することが可能な他のマルチメディアコンテンツファイルがある場合、関連ファイル属性情報を生成し、当該マルチメディア属性情報の属性情報部に格納する。
【００８９】
図１８は、マルチメディアコンテンツファイル間の関連を記述した関連ファイル属性情報２０２９の例を示す図である。図中、「Ｓｉｚｅ」は関連ファイル属性情報全体のサイズ、「Ｔｙｐｅ」は関連ファイル属性情報であることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ」は、当該マルチメディアコンテンツファイルに関連するファイル数を表す関連ファイル数情報（ここでは、ｎとする。）である。関連ファイル数情報の後には、関連ファイル数分のファイル識別情報「ＦｉｌｅＩｄｅｎｔｉｆｉｅｒ ｋ（ｋ＝１〜ｎ）」と相対時間情報「ＲｅｌａｔｉｖｅＴｉｍｅ ｋ（ｋ＝１〜ｎ）」が格納される。ファイル識別情報は、関連するファイルを特定するための識別情報であり、例えばファイルの存在するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等で示される。相対時間情報は、関連するファイルの蓄積開始時刻と自ファイルの蓄積開始時刻との差分を示す。相対時間情報の代わりに、関連ファイル属性情報内に自ファイルと関連ファイルの蓄積開始時刻を登録するようにしても同様の効果が得られる。
【００９０】
マルチメディアコンテンツ閲覧装置２００は、関連ファイル属性情報２０２９を有しているマルチメディアコンテンツファイルにアクセスした場合、当該マルチメディアコンテンツファイルに関連するファイルが特定可能であると共に、関連ファイルとの蓄積開始時間の差分が入手可能である。
これにより、例えば、ほぼ同時刻に撮影した複数地点の映像が複数の動画コンテンツとして存在する場合、そのうちの一つのコンテンツのマルチメディアコンテンツファイルに、それらの複数ファイルの情報を記述した関連ファイル属性情報を格納しておくことにより、そのマルチメディアコンテンツファイルを入手すれば、関連する全てのコンテンツのマルチメディアコンテンツファイルを特定することができる。さらに、それらのファイルを再生する際の開始時刻の差分がわかるため、複数コンテンツの同時刻の映像を同期して表示することが可能となる。
なお、実施の形態５では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、属性情報生成部１０３において生成した関連ファイル属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００９１】
【発明の効果】
以上のように、この発明によれば、マルチメディアコンテンツの効率的な管理及び利用を実現するマルチメディアコンテンツファイルのデータ構造を得られるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による、マルチメディアコンテンツ配信システムの構成を示すブロック図である。
【図２】この発明の実施の形態１による、マルチメディアコンテンツ生成装置の構成を示すブロック図である。
【図３】この発明の実施の形態１による、マルチメディアコンテンツ閲覧装置の構成を示すブロック図である。
【図４】この発明の実施の形態１で用いられるＭＰ４ファイルの概略構成を示す図である。
【図５】この発明の実施の形態１による、ダイジェスト動画属性情報の例を示す図である。
【図６】この発明の実施の形態１による、ダイジェスト動画属性情報に基づいて生成されるダイジェスト動画データの概要を示す図である。
【図７】この発明の実施の形態１による、複数種類のメディアデータに共通するダイジェスト動画属性情報に基づいて生成されるダイジェスト動画データの概要を示す図である。
【図８】この発明の実施の形態１による、ＳＭＩＬを用いたダイジェスト動画属性情報の例を示す図である。
【図９】この発明の実施の形態１による、マルチメディアコンテンツの本来のメディアデータに含まれていない映像や音声をダイジェスト動画の一部として使用する場合のダイジェスト動画属性情報の例を示す図である。
【図１０】この発明の実施の形態１による、マルチメディアコンテンツファイル内での、ダイジェスト動画用メディアデータの格納方式の例を示す図である。
【図１１】この発明の実施の形態１による、ダイジェスト動画用メディアデータの構成例を示す図である。
【図１２】この発明の実施の形態１による、ダイジェスト画像属性情報の例を示す図である。
【図１３】この発明の実施の形態２による、イベント属性情報の例を示す図である。
【図１４】この発明の実施の形態３による、キーワード属性情報の例を示す図である。
【図１５】この発明の実施の形態４による、属性情報を暗号化した場合のマルチメディアコンテンツファイルの概略構成の例を示す図である。
【図１６】この発明の実施の形態４による、複数のメディアデータの種類毎の属性情報のうち一部の種類のメディアデータの属性情報のみを暗号化した場合のマルチメディアコンテンツファイルの概略構成の例を示す図である。
【図１７】この発明の実施の形態４による、メディアデータのみを暗号化した場合のマルチメディアコンテンツファイルの概略構成の例を示す図である。
【図１８】この発明の実施の形態５による、関連ファイル属性情報の例を示す図である。
【符号の説明】
１００ マルチメディアコンテンツ生成装置、１０１ データ読込部、１０２データ多重部、１０３ 属性情報生成部、１０４ マルチメディアコンテンツ生成部、１０５ ダイジェスト生成部、１０６ キーワード付加部、１０７ 暗号化部、１１０ マルチメディアコンテンツ記憶部、１２０ 動画データ記憶部、１３０ オーディオデータ記憶部、１４０ イベント情報記憶部、２００ マルチメディアコンテンツ閲覧装置、２０１ メディアデータ出力部、２０２ 同期制御部、２０３ デコード部、２０４ データ分離部、２０５ マルチメディアコンテンツ読込部、２０６ マルチメディアコンテンツ蓄積部、２０７ 受信部、２０８ ダイジェスト生成部、２０９ 暗号復号部、２１０ マルチメディアコンテンツ検索部、２１１ モニタ、２１２ スピーカ、３００ マルチメディアコンテンツ配信サーバ、３１０ マルチメディアコンテンツ記憶部、５００インターネット。
【発明の属する技術分野】
この発明は、マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置に関するものである。
【０００２】
【従来の技術】
インターネットを介して様々なマルチメディアコンテンツを入手することができるようになっている。これらのマルチメディアコンテンツを効率的に管理し、利用するための様々な技術が提供されている。
【０００３】
例えば、特許文献１に開示された従来のデジタル放送用ストリームの蓄積方法では、早送り、巻き戻し等のトリックプレイに必要なパケットの検索を容易に行うため、トリックプレイ制御テーブルを定義し、ストリームと共に配信する。このトリックプレイ制御テーブルには、ダイジェストフラグ、サムネールフラグ等の制御情報が格納可能となっており、ダイジェストフラグが設定されているパケットはダイジェスト再生を行うために必要なパケットであり、サムネールフラグが設定されているパケットはサムネール画像として選択されているフレームであることを示している。これらの制御情報は、映像のＩフレーム（ＭＰＥＧのイントラフレーム）を含むパケットにのみ設定される。
【０００４】
また、特許文献２に開示された従来のデジタル信号送受信装置では、映像と音声を多重化したストリームと、コンテンツ内のイベントを示すイベント情報を対応付けて蓄積し、同時に送信している。
【０００５】
【特許文献１】
特開２００２−２８１４５６号公報
【特許文献２】
特開２０００−０１３７５３号公報
【０００６】
【発明が解決しようとする課題】
特許文献１に開示された方法では、トリックプレイ制御テーブル中の制御情報は、映像のＩフレームに対してのみに設定可能であった。しかしながらインターネットや携帯端末に配信する映像コンテンツの場合、ストリーム上でのＩフレームの間隔が長い場合が多いため、ダイジェストやサムネールフラグをＩフレーム以外に設定する必要性が高い。
【０００７】
また、特許文献２に示された方法では、イベント情報は発生時間と発生イベントを示すだけであり、映像か音声を問わずにコンテンツ全体と関係づけられていた。しかしながら、コンテンツ全体に関連するイベント以外にも、動画データのみに関連づけるのが好ましいイベントやオーディオデータのみに関連づけるのが好ましいイベントが有り、それらについてはそれぞれ動画データまたはオーディオデータのみに関連づけて蓄積したくても、従来の方法では実現することができなかった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、マルチメディアコンテンツの効率的な管理及び利用を実現するマルチメディアコンテンツファイルのデータ構造を得ることを目的とする。
【０００９】
また、上記のデータ構造を有するマルチメディアコンテンツファイルを生成し、管理するのに適したマルチメディアコンテンツ生成装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係るマルチメディアコンテンツファイルのデータ構造は、動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、上記属性情報格納領域は、上記マルチメディアコンテンツのうちダイジェスト動画の再生に用いられるメディアデータの属性を情報処理装置に認識させるダイジェスト動画属性情報を格納し、上記ダイジェスト動画属性情報はダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定することを特徴とするものである。
【００１１】
この発明に係るマルチメディアコンテンツ生成装置は、マルチメディアコンテンツのダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定するダイジェスト動画属性情報を生成するダイジェスト生成部を備え、ダイジェスト動画属性情報を、各メディアデータの属性を示す属性情報に含めてマルチメディアコンテンツファイルを生成するものである。
【００１２】
【発明の実施の形態】
以下、この発明の実施の様々な形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１によるマルチメディアコンテンツ生成装置１００及びマルチメディアコンテンツ閲覧装置２００を備えたマルチメディアコンテンツ配信システムの構成図である。マルチメディアコンテンツ生成装置１００及びマルチメディアコンテンツ配信サーバ３００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークによって接続されている。また、マルチメディアコンテンツ生成装置１００、マルチメディアコンテンツ閲覧装置２００、及びマルチメディアコンテンツ配信サーバ３００はインターネット５００に接続されており、マルチメディアコンテンツ閲覧装置２００はインターネット５００を介してマルチメディアコンテンツ配信サーバ３００にアクセスすることができる。
【００１３】
マルチメディアコンテンツ記憶部１１０、動画データ記憶部１２０、オーディオデータ記憶部１３０、イベント情報記憶部１４０はマルチメディアコンテンツ生成装置１００と通信回線で接続された記憶装置である。また、マルチメディアコンテンツ記憶部３１０は、マルチメディアコンテンツ配信サーバ３００と通信回線で接続された記憶装置である。この実施の形態において、一つのマルチメディアコンテンツファイルを構成する動画データ、オーディオデータ、イベント情報は、あらかじめ動画データ記憶部１２０、オーディオデータ記憶部１３０、イベント情報記憶部１４０にそれぞれ格納されており、コンテンツ制作者の指示に従ってマルチメディアコンテンツ生成装置１００がこれらのデータからマルチメディアコンテンツファイルを生成し、マルチメディアコンテンツファイルをマルチメディアコンテンツ記憶部１１０に格納するようになっている。
【００１４】
マルチメディアコンテンツ生成装置１００において、動画データ記憶部１２０、オーディオデータ記憶部１３０、及びイベント情報記憶部１４０から動画データ、オーディオデータ、イベント情報が読み込まれ、マルチメディアコンテンツファイルが生成される。生成されたマルチメディアコンテンツファイルは、マルチメディアコンテンツ記憶部１１０に格納されると共に、ネットワークを介してマルチメディアコンテンツ配信サーバ３００に供給され、マルチメディアコンテンツ記憶部３１０に格納される。マルチメディアコンテンツ配信サーバ３００は、インターネット５００を介してマルチメディアコンテンツ閲覧装置２００にマルチメディアコンテンツを配信する。配信は、例えばＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるファイル転送や、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）によるストリーミングによって実現される。
【００１５】
マルチメディアコンテンツ生成装置１００とマルチメディアコンテンツ配信サーバ３００は、インターネット５００を介して接続されていてもよい。また、マルチメディアコンテンツ記憶部１１０、動画データ記憶部１２０、オーディオデータ記憶部１３０、イベント情報記憶部１４０はそれぞれが別々の記憶装置でなくてもよく、１つの記憶装置であってもよい。また、動画データ記憶部１２０やオーディオデータ記憶部１３０の他にも、マルチメディアコンテンツに含まれるメディアのデータを格納した記憶装置が接続されていてもよい。
【００１６】
図２は、この実施の形態１によるマルチメディアコンテンツ生成装置１００の構成を示すブロック図である。図中、図１と同一の符号は同一の構成要素を表している。マルチメディアコンテンツ生成装置１００は、データ読込部１０１、データ多重部１０２、属性情報生成部１０３、マルチメディアコンテンツ生成部１０４、ダイジェスト生成部１０５、キーワード付加部１０６、及び暗号化部１０７を有する。データ読込部１０１、データ多重部１０２、属性情報生成部１０３、マルチメディアコンテンツ生成部１０４、ダイジェスト生成部１０５、キーワード付加部１０６、及び暗号化部１０７は、実際には、マルチメディアコンテンツ生成装置１００の中央演算処理装置の動作を制御するプログラムのモジュールに従って、該中央演算処理装置を便宜的に分割したものである。
【００１７】
また、図３は、この実施の形態１によるマルチメディアコンテンツ閲覧装置２００の構成を示すブロック図である。マルチメディアコンテンツ閲覧装置２００は、メディアデータ出力部２０１、同期制御部２０２、デコード部２０３、データ分離部２０４、マルチメディアコンテンツ読込部２０５、マルチメディアコンテンツ蓄積部２０６、受信部２０７、ダイジェスト生成部２０８、暗号復号部２０９、及びマルチメディアコンテンツ検索部２１０を備える。メディアデータ出力部２０１には、マルチメディアコンテンツを再生するためのモニタ２１１とスピーカ２１２が接続されている。メディアデータ出力部２０１、同期制御部２０２、デコード部２０３、データ分離部２０４、マルチメディアコンテンツ読込部２０５、マルチメディアコンテンツ蓄積部２０６、受信部２０７、ダイジェスト生成部２０８、暗号復号部２０９、及びマルチメディアコンテンツ検索部２１０は、実際には、マルチメディアコンテンツ閲覧装置２００の中央演算処理装置の動作を制御するプログラムのモジュールに従って、該中央演算処理装置を便宜的に分割したものである。
【００１８】
次に、マルチメディアコンテンツ生成装置１００によるマルチメディアコンテンツ生成処理について説明する。
まず、データ読込部１０１は動画データ記憶部１２０、オーディオデータ記憶部１３０、及びイベント情報記憶部１４０より、コンテンツ制作者が入力装置（図示せず）を介して生成を指定した一つのマルチメディアコンテンツファイルに含まれる動画データ、オーディオデータ、及びそれらのメディアデータに関連するイベント情報を抽出する。
コンテンツ制作者の指定に従って当該マルチメディアコンテンツファイルについてのダイジェスト動画やダイジェスト画像を作成する場合には、ダイジェスト生成部１０５において、後述するダイジェスト情報生成処理が実行される。また、コンテンツ制作者の指定に従って当該マルチメディアコンテンツファイルに対する検索用キーワードを設定する場合には、キーワード付加部１０６において検索用キーワード生成処理が実行される。なお、検索用キーワード生成処理については実施の形態３に関連して説明する。
【００１９】
データ多重部１０２は、データ読込部１０１で抽出された動画データ及びオーディオデータを多重化し、多重化メディアデータを出力する。また、属性情報生成部１０３では、当該マルチメディアコンテンツファイルについての属性情報が生成される。なお、属性情報の内容については後述する。マルチメディアコンテンツ生成部１０４は、データ多重部１０２が出力した多重化メディアデータと属性情報生成部１０３で生成された属性情報からマルチメディアコンテンツファイルを生成する。なお、生成したマルチメディアコンテンツファイルを暗号化する場合には、暗号化部１０７において暗号化処理を行う。暗号化処理については実施の形態４に関連して説明する。
【００２０】
実施の形態１では、マルチメディアコンテンツファイルの形式としてＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）１４４９６−１に定められているＭＰ４（ＭＰＥＧ−４ Ｆｉｌｅ Ｆｏｒｍａｔ）を一例として使用し、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化された動画データを蓄積する場合を例にとって説明する。
【００２１】
図４に、実施の形態１で用いるマルチメディアコンテンツファイル１０００（ＭＰ４ファイル）の概略を示す。マルチメディアコンテンツファイル１０００は、マルチメディアコンテンツの属性情報を格納する領域である属性情報部１００１とメディアデータ自体を格納する領域であるメディアデータ部１００５を有している。ＭＰ４を使用して同期的に再生される複数種類のメディアデータを蓄積する場合、このようにメディアデータと属性情報は分離して格納される。
【００２２】
さらに、属性情報部１００１は、マルチメディアコンテンツに含まれる各メディアデータの属性情報をメディアデータの種類毎に分けて格納する領域に分かれている。ここでは、メディア１属性情報１００２が動画データの属性情報格納領域であり、メディア２属性情報１００３がオーディオデータの属性情報の格納領域である。これらの属性情報格納領域は、マルチメディアコンテンツに含まれるメディアデータの種類の数に合わせて生成される。さらに、属性情報部１００１には、メディア共通属性情報１００４が含まれる。メディア共通属性情報１００４は、全てのメディアデータに共通の属性情報を格納する領域である。
【００２３】
属性情報は属性情報生成部１０３で生成され、対応するメディアデータ中の必要なデータ部分にマルチメディアコンテンツを再生する情報処理装置がアクセスするために必要なデータ部分の属性を示す。属性情報を読み取ることにより、再生用の情報処理装置は各メディアデータの属性を情報処理装置に認識することができる。属性の内容としては、各メディアデータの生成時刻、再生時間、及び構成情報、各メディアデータを構成する各フレームの再生時間、各フレームへのランダムアクセスに使用する情報等が含まれている。属性情報はメディアデータの種類毎にカプセル化されている。また、属性情報部１００１には、後述するダイジェスト動画属性情報や、ダイジェスト画像属性情報等もメディアデータの種類毎に分けて格納される。
【００２４】
メディアデータ部１００５には、データ多重部１０２において複数種類のメディアデータを多重化することにより生成された多重化メディアデータが格納されている。データ多重部１０２が行う多重化とは、種類の異なるメディアデータを時系列的に再生容易な形式で混在させることである。メディアデータ部１００５への格納形式は限定しないが、例えば１秒毎のように、単位時間毎に各メディアデータを分割、カプセル化し、カプセル化した各メディアデータの先頭の再生開始時間を時系列順に多重化して格納してもよい。この場合にも、属性情報はメディアデータの種類毎にカプセル化されている。
【００２５】
次に、マルチメディアコンテンツ閲覧装置２００によるマルチメディアコンテンツ再生処理について説明する。この実施の形態のマルチメディアコンテンツ閲覧装置２００は、ＦＴＰによるダウンロードを行うが、これに代えて上述の通りＲＴＰによるストリーミング受信を行ってもよい。
マルチメディアコンテンツ生成装置１００によって生成されたマルチメディアコンテンツファイルは、ネットワークを介してマルチメディアコンテンツ配信サーバ３００に供給され、マルチメディアコンテンツ記憶部３１０に格納される。
【００２６】
マルチメディアコンテンツ閲覧装置２００は、コンテンツ利用者が入力装置（図示せず）を用いて入力した指示に基づいて、インターネットを介してマルチメディアコンテンツ配信サーバ３００にアクセスし、ファイル転送（ＦＴＰ）によって所望のマルチメディアコンテンツファイルをダウンロードし、受信部２０７において受信する。受信したマルチメディアコンテンツファイルはマルチメディアコンテンツ蓄積部２０６に蓄積される。マルチメディアコンテンツファイルの受信が終了すると、マルチメディアコンテンツ読込部２０５によりマルチメディアコンテンツ蓄積部２０６からマルチメディアコンテンツファイルが読み出されて、マルチメディアコンテンツ読込部２０５に保持される。ここで、マルチメディアコンテンツファイルが暗号化されている場合には、暗号復号部２０９により復号処理が行われる。暗号復号部２０９は、コンテンツ利用者が当該マルチメディアコンテンツファイルについての正当な権利を有している場合、すなわち、例えばマルチメディアコンテンツ閲覧装置２００上のコンテンツ再生ソフトウェアが復号化鍵を有している場合にはデータを復号する。
【００２７】
次に、データ分離部２０４で多重化されているメディアデータが、種類の異なるメディアデータ（動画データとオーディオデータ）に分離され、デコード部２０３で各メディアデータがデコードされる。
【００２８】
コンテンツ利用者が入力装置を介してマルチメディアコンテンツの再生を指示した場合には、同期制御部２０２で、デコードされた各メディアデータの同期が取られ、同期された各メディアデータがメディアデータ出力部２０１を介してモニタ２１１及びスピーカ２１２に出力される。すなわちメディアデータが時系列出力される。ここで、マルチメディアコンテンツファイルにイベント属性情報が含まれている場合には、イベント属性情報もメディアデータと同期を取って出力され、文字等としてイベントがモニタ２１１に表示される。ただし、モニタ２１１は、再生動画を表示する主画面とイベントを表示する副画面を並べて同時に表示すると好ましく、主画面で動画の表示がされているか否かにかかわらず副画面で全てのイベントを一度に表示するようにしてもよい。そして、副画面に表示されたイベントのいずれかをコンテンツ利用者が入力装置を用いて選択すると、そのイベントの発生時間に対応する部分を起点としてメディアデータをマルチメディアコンテンツ読込部２０５が後段のデータ分離部２０４に供給開始すると好ましい。
【００２９】
また、マルチメディアコンテンツファイルにダイジェスト動画またはダイジェスト画像が設定されており、コンテンツ利用者が入力装置を介してダイジェスト動画やダイジェスト画像の再生を指示した場合には、ダイジェスト生成部２０８において、後述するダイジェスト動画生成処理またはダイジェスト画像生成処理が実行され、生成されたダイジェスト動画データまたはダイジェスト画像データがデコード部２０３でデコードされる。同期制御部２０２は、デコードされたダイジェスト動画データまたはダイジェスト画像データをメディアデータ出力部２０１を介してモニタ２１１及びスピーカ２１２に出力する。ここで、ダイジェスト動画とは、マルチメディアコンテンツファイルに含まれる各メディアデータの中から、少なくとも１箇所、好ましくは数箇所のデータ部分を抜き出して再生するものである。また、ダイジェスト画像は、マルチメディアコンテンツファイル内の動画データに含まれる複数の任意のフレームの静止画像である。ダイジェスト動画もダイジェスト画像もマルチメディアコンテンツの概略を簡潔に利用者に把握させるために使われる。
【００３０】
なお、マルチメディアコンテンツ閲覧装置２００内のマルチメディアコンテンツ検索部２１０は、コンテンツ利用者の入力したキーワードに基づいて、マルチメディアコンテンツ蓄積部２０６に格納されたマルチメディアコンテンツファイルの検索を行う。後述するように、各マルチメディアコンテンツファイルおよびファイル内の各区間には属性情報として検索キーワードが付加されており、検索にあたっては、入力されたキーワードと一致する検索キーワードをマルチメディアコンテンツ検索部２１０が検知して抽出する。
【００３１】
次に、ダイジェスト生成部１０５におけるダイジェスト情報生成処理、及びダイジェスト生成部２０８におけるダイジェスト動画生成処理について説明する。
ダイジェスト生成部１０５は、コンテンツ制作者により、マルチメディアコンテンツのダイジェスト動画作成指示が入力されると、ダイジェスト動画属性情報を生成する。ここでまずダイジェスト生成部１０５は、各メディアデータ（動画データとオーディオデータの各々）のうちダイジェスト動画の再生に用いられる少なくとも１つの区間、好ましくは複数の区間を指定する。そして、これらの区間に基づいて、ダイジェスト動画属性情報を作成し、ダイジェスト動画属性情報を属性情報部１００１のメディア１属性情報１００２とメディア２属性情報１００３として格納する。
【００３２】
ここで、ダイジェスト動画属性情報とは、マルチメディアコンテンツファイルのうちダイジェスト動画の再生に用いられるメディアデータの属性を、マルチメディアコンテンツを再生する情報処理装置に認識させるための情報であり、ダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定する。実施の形態１では、ダイジェスト動画の再生に用いられるデータの区間の指定は、マルチメディアコンテンツファイル全体の再生開始時点を起点とするその区間の再生開始時間と再生終了時間を指定することにより実現する。
【００３３】
図５に、ダイジェスト動画を構成するデータの区間がｎ区間（ｎは自然数）の場合のダイジェスト動画属性情報の例を示す。ダイジェスト動画属性情報２０００は、属性情報部１００１中の各メディアデータの属性情報（メディア１属性情報１００２及びメディア２属性情報１００３）の領域に格納される。具体的には、メディア１属性情報１００２は、動画データのうちダイジェスト動画の再生に用いられる区間を特定するダイジェスト動画属性情報２０００を動画データの他の属性情報とともに格納し、メディア２属性情報１００３はオーディオデータのうちダイジェスト動画の再生に用いられる区間を特定するダイジェスト動画属性情報２０００をオーディオデータの他の属性情報とともに格納する。
【００３４】
図５中、「Ｓｉｚｅ」はダイジェスト動画属性情報２０００のデータサイズであり、「Ｔｙｐｅ」はダイジェスト動画属性情報２０００がダイジェスト動画属性情報データであることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はダイジェスト動画を構成するデータ区間の個数（ｎ）である。「Ｓｔａｒｔ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は第ｋの区間の再生開始時間、「Ｅｎｄ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は第ｋの区間の再生終了時間である。
【００３５】
マルチメディアコンテンツ閲覧装置２００は、マルチメディアコンテンツ配信サーバ３００より取得したマルチメディアコンテンツファイルにダイジェスト動画属性情報２０００が含まれており、コンテンツ利用者が入力装置を介してダイジェスト動画の再生を指示した場合には、ダイジェスト生成部２０８においてダイジェスト動画生成処理を行う。ダイジェスト生成部２０８は、ダイジェスト動画属性情報２０００に基づき、ダイジェスト動画データを生成する。具体的には、マルチメディアコンテンツ読込部２０５に保持されたマルチメディアコンテンツから、各メディアデータに設定された各々のダイジェスト動画属性情報で特定された区間に対応するデータ部分を抜き出す。これらのデータ部分は、デコード部２０３でデコードされた後、同期制御部２０２により同期して出力される。
【００３６】
図６は、ダイジェスト動画属性情報２０００に基づいて生成されるダイジェスト動画データの概要を示す図である。図示のストリームデータ２００１は、例えば、マルチメディアコンテンツファイル１０００で示されるマルチメディアコンテンツに含まれる動画メディアデータのストリームデータである。ストリーム中に記述されている数字はストリームのフレーム番号とする。ダイジェスト生成部２０８は、属性情報の中の各フレームの再生時間についての情報を参照し、ダイジェスト動画属性情報２０００で指定された複数区間の再生開始時間及び再生終了時間と合致するフレームを全て抽出する。図の例では、ダイジェスト動画属性情報２０００に基づいて生成されるダイジェスト動画データは、開始時間１と終了時間１の間に相当するフレーム２，３，４、及び開始時間２と終了時間２の間に相当するフレーム１０，１１，１２によって構成されるストリームデータとなる。ただし、ここでは図５中のｎが２、すなわち指定区間数が２の場合を考えている。
【００３７】
なお、マルチメディアコンテンツ生成装置１００は、ダイジェスト生成部１０５において、ダイジェスト動画属性情報２０００を、メディア共通属性情報１００４の領域に格納してもよい。この場合、ダイジェスト動画属性情報２０００はマルチメディアコンテンツに含まれる複数種類のメディアデータから必要データ部分を抜き出すのに共通に使用される。
【００３８】
図７は、メディア共通属性情報１００４の領域に格納されたダイジェスト動画属性情報に基づいて、マルチメディアコンテンツ閲覧装置２００のダイジェスト生成部２０８で生成されるダイジェスト動画データの概要を示す図である。図示のストリームデータ２００２は、例えばマルチメディアコンテンツファイルに含まれる動画メディアデータ（メディア１）のストリームデータである。また、ストリームデータ２００３は、例えばマルチメディアコンテンツファイルに含まれるオーディオメディアデータ（メディア２）のストリームデータである。それぞれのストリーム中に記述されている数字はストリームのフレーム番号である。メディア共通属性情報１００４の領域に格納されたダイジェスト動画属性情報２０００に基づいて生成されるダイジェスト動画データは、メディア１については、開始時間１と終了時間１の間に相当するフレーム２，３，４、及び開始時間２と終了時間２の間に相当するフレーム１０，１１，１２によって構成されるストリームデータとなる。また、メディア２については、開始時間１と終了時間１の間に含まれるフレーム２，３、及び開始時間２と終了時間２の間に含まれるフレーム８，９によって構成されるストリームデータとなる。ただし、ここでは図５におけるｎが２、すなわち指定区間数が２の場合を考えている。このようにして、複数種類のメディアデータに共通のダイジェスト動画属性情報に基づいて、複数種類のメディアデータから必要データ部分を抜き出すことができる。
【００３９】
上記の例では、表形式または箇条書き形式でダイジェスト動画属性情報を表現したが、この他にも、例えば、Ｗ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）で策定され、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述された言語であるＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）を使用してもダイジェスト動画属性情報を記述することができる。
【００４０】
図８は、ＳＭＩＬを用いたダイジェスト動画属性情報２００４の例を示す図である。図中、「Ｓｉｚｅ」はダイジェスト動画属性情報２００４のデータサイズであり、「Ｔｙｐｅ」はダイジェスト動画属性情報２００４がＳＭＩＬによるダイジェスト動画属性情報データであることを示す識別子である。「Ｌｅｎｇｔｈ」は、ＳＭＩＬで記述されたダイジェスト動画構成情報のサイズ（バイト数）であり、「ダイジェスト動画構成情報」は、ＳＭＩＬによって記述されたダイジェスト動画データの構成情報である。ダイジェスト動画構成情報２００５は、メディアデータの種類毎にダイジェスト動画属性情報を設定する場合のダイジェスト動画構成情報の例である。ダイジェスト動画構成情報２００６は、複数種類のメディアデータに共通するダイジェスト動画属性情報を設定する場合のダイジェスト動画構成情報の例である。
【００４１】
ダイジェスト動画構成情報２００５は、ＳＭＩＬのシーケンシャル再生記述を用いて作成されており、図中、３行目の記述はダイジェスト動画としてメディア１を開始時間１から再生開始し、終了時間１で再生終了することを示している。また、４行目の記述はダイジェスト動画としてメディア１の開始時間２から再生開始し、終了時間２で再生終了することを示している。
【００４２】
ダイジェスト動画構成情報２００６は、ＳＭＩＬのシーケンシャル再生記述、パラレル再生記述を用いて作成されている。図中、５，６行目はメディア１のダイジェスト動画構成情報、９，１０行目はメディア２のダイジェスト動画構成情報である。５，９行目に同じ時間を設定し、６，１０行目も同じ時間を設定することにより、メディア１とメディア２のダイジェスト動画は同時に再生される。
マルチメディアコンテンツ閲覧装置２００は、ＳＭＩＬによって記述されたダイジェスト動画データの構成情報に基づいて、ダイジェスト生成部２０８においてダイジェスト動画データを生成する。
【００４３】
マルチメディアコンテンツによっては、マルチメディアコンテンツの本来のメディアデータには含まれていない映像や音声をダイジェスト動画の一部として使用する場合がある。図９は、マルチメディアコンテンツの本来のメディアデータに含まれていない映像や音声をダイジェスト動画の一部として使用する場合のダイジェスト動画属性情報の例を示す図である。図９に示すように、ダイジェスト動画属性情報２００７には、ダイジェスト動画属性情報２００７のサイズを表す「Ｓｉｚｅ」、一部に本来のメディアデータ以外のデータを含みうるダイジェスト動画の属性情報であることを示す識別子「Ｔｙｐｅ」、ダイジェスト動画を構成する区間情報の個数を示す「Ｅｎｔｒｙ＿ｃｏｕｎｔ」（ｎ）が含まれている。また、ダイジェスト動画属性情報２００７には、ダイジェスト動画を構成するデータを選択するフラグであり、第１〜第ｎの区間で本来のメディアデータを使用するか、その他のデータ（ダイジェスト動画用メディアデータ）を使用するかを示すストリームフラグ「Ｓｔｒｅａｍ＿Ｆｌａｇ ｋ（ｋ＝１〜ｎ）」、第１〜第ｎの区間の開始時間を表す「Ｓｔａｒｔ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」、第１〜第ｎの区間の終了時間を表す「Ｅｎｄ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」の情報が含まれている。従って、ダイジェスト動画属性情報２００７は、マルチメディアコンテンツに本来含まれてダイジェスト動画の再生に用いられるメディアデータの区間を特定する情報、もしくはダイジェスト動画用メディアデータの区間を特定する情報を少なくとも１つ含む。
【００４４】
ダイジェスト動画に本来のメディアデータに含まれていないメディアデータを使用する場合、マルチメディアコンテンツファイル１０００には、上記した多重化メディアデータを格納したメディアデータ部１００５とは別個に、ダイジェスト動画の再生に用いられるダイジェスト動画用メディアデータが格納される。図１０に、マルチメディアコンテンツファイル１０００内での、ダイジェスト動画用メディアデータの格納方式の例を示す。図１０に示されるダイジェスト動画情報部２００８は、マルチメディアコンテンツファイル１０００において、図４の属性情報部１００１およびメディアデータ部１００５とは別個の領域である。
【００４５】
図１０のダイジェスト動画情報部２００８は、ダイジェスト動画を構成するメディアデータの種類（動画およびオーディオ）毎に存在する。ダイジェスト動画情報部２００８は、ダイジェスト動画属性情報２００７とダイジェスト動画用メディアデータ２０１０がカプセル化されて格納された領域である。
【００４６】
なお、図１０は、各メディアデータの種類毎に生成されたダイジェスト動画情報部２００８を示しているが、複数種類のメディアデータに共通するダイジェスト動画情報部を生成してもよい。その場合には、ダイジェスト動画情報部は、複数種類のメディアデータの再生に共通して使用される一つのダイジェスト動画属性情報２００７と、メディアデータの種類の数だけ存在する複数のダイジェスト動画用メディアデータ２０１０を有する形式となる。
【００４７】
図１１に、ダイジェスト動画用メディアデータ２０１０の構成例を示す。図中、「Ｓｉｚｅ」はダイジェスト動画用メディアデータ２０１０のサイズであり、「Ｔｙｐｅ」はダイジェスト動画用メディアデータであることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はダイジェスト動画用メディアデータ２０１０のフレーム数（ｎ）である。「Ｓｉｚｅ ｋ（ｋ＝１〜ｎ）」はフレーム１〜ｎのサイズであり、「Ｄｅｌｔａ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」はフレームｋからフレームｋ＋１までの再生時間間隔、つまりフレームｋの再生開始から再生終了までの時間である。「メディアデータ」は、ダイジェスト動画用メディアデータストリーム、つまりダイジェスト動画を構成する一連の実効データである。このように、ダイジェスト動画用メディアデータ２０１０を構成するフレーム毎のサイズ情報と再生時間情報が格納されており、それに続いてダイジェスト動画用メディアデータストリームが格納されている。
【００４８】
次に、ダイジェスト動画にマルチメディアコンテンツに本来含まれないメディアデータが使用された場合の、マルチメディアコンテンツ閲覧装置２００におけるダイジェスト動画生成処理について説明する。
図９に示すダイジェスト動画属性情報２００７のいずれかのストリームフラグｋ（ｋ＝１〜ｎ）でダイジェスト動画用メディアデータの使用が指定されたと想定する。これは第ｋの区間でダイジェスト動画用メディアデータを使用することを意味する。第ｋの区間の「Ｓｔａｒｔ＿ｔｉｍｅ ｋ」（開始時間ｋ）に対応するダイジェスト動画用メディアデータストリーム上のフレームは、最初のフレーム１から順に各フレームの再生時間（Ｄｅｌｔａ＿ｔｉｍｅ）を足した合計が「Ｓｔａｒｔ＿ｔｉｍｅ ｋ」に達したか否か判断することにより求められる。また、求められたフレームのダイジェスト動画用メディアデータストリーム上での位置は、各フレームのサイズ情報（Ｓｉｚｅ）を足すことにより得られ、そのフレームにアクセス可能となる。上記の点を除けば、この場合のダイジェスト動画生成処理は、図５のダイジェスト動画属性情報２０００を用いるダイジェスト動画生成処理と同様である。
【００４９】
次に、マルチメディアコンテンツ生成装置１００においてマルチメディアコンテンツにダイジェスト画像情報を設定する場合の処理、及びマルチメディアコンテンツ閲覧装置２００におけるダイジェスト画像生成処理について説明する。
【００５０】
ダイジェスト画像は、マルチメディアコンテンツ内の動画データに含まれる任意のフレームの静止画像から構成される。ダイジェスト生成部１０５は、コンテンツ制作者により、マルチメディアコンテンツのダイジェスト画像作成指示が入力されると、ダイジェスト画像属性情報を生成する。ここでまずダイジェスト生成部１０５は、動画データのうちダイジェスト画像の再生に用いられる画像を特定し、さらに特定した画像の中から上記マルチメディアコンテンツの内容を表す代表画像を指定する。そして、これらの画像を特定するダイジェスト画像属性情報を作成し、ダイジェスト画像属性情報を属性情報部１００１の動画データの属性情報（メディア１属性情報１００２）として格納する。
【００５１】
ここで、ダイジェスト画像属性情報とは、マルチメディアコンテンツファイルのうちダイジェスト画像の再生に用いられる動画データの属性を、マルチメディアコンテンツを再生する情報処理装置に認識させるための情報であり、マルチメディアコンテンツファイル全体の再生開始時点を起点とする再生時間によって少なくとも１つの時点での画像を特定し、さらに、特定した画像の中からマルチメディアコンテンツの内容を表す代表画像を指定する。
【００５２】
図１２に、ダイジェスト画像属性情報２０１１の例を示す。図中、「Ｓｉｚｅ」はダイジェスト画像属性情報２０１１のデータサイズ、「Ｔｙｐｅ」は、ダイジェスト画像属性情報の識別子である。「ＭａｉｎＩｍａｇｅ」は代表ダイジェスト画像番号、「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はダイジェスト画像の個数（ｎ）、「Ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」はダイジェスト画像番号ｋの動画データストリーム上での再生時間である。このように、ダイジェスト画像属性情報２０１１では、ダイジェスト画像を複数指定することができる。各ダイジェスト画像は、全体の動画メディアデータ上で該当映像が表示される時間によって指定する。代表ダイジェスト画像番号は、ダイジェスト画像の時間のインデックス番号によって示され、代表ダイジェスト画像に指定された画像が、そのコンテンツを１画像で代表して表示する時に使用される。
【００５３】
マルチメディアコンテンツ閲覧装置２００は、受信したマルチメディアコンテンツファイル１０００にダイジェスト画像属性情報２０１１が含まれており、コンテンツ利用者が入力装置を介してダイジェスト画像の再生を指示した場合には、ダイジェスト生成部２０８においてダイジェスト画像属性情報２０１１に基づいてダイジェスト画像生成処理を行う。具体的には、マルチメディアコンテンツ読込部２０５に保持されたマルチメディアコンテンツから、ダイジェスト画像属性情報２０１１で特定された再生時間に対応するフレームを抜き出し、これらのフレームから構成されるダイジェスト画像データを生成する。ダイジェスト画像データは、デコード部２０３でデコードされた後、同期制御部２０２により出力される。また代表ダイジェスト画像の再生のみをコンテンツ利用者が指示した場合には、ダイジェスト生成部２０８は、ダイジェスト画像属性情報２０１１で特定される代表ダイジェスト画像の再生時間に対応するフレームのみを抜き出す。このフレームも、デコード部２０３でデコードされた後、同期制御部２０２により出力される。
また、ダイジェスト画像に指定したフレームがＩフレームでない場合には、時間的に該フレームより前に存在する一番近いＩフレームを検索し、そのＩフレームから該フレームまで動画データをデコードすることにより静止画像を得るようにしてもよい。
【００５４】
以上のように、この実施の形態１によれば、マルチメディアコンテンツ生成装置１００は、ダイジェスト生成部１０５でマルチメディアコンテンツファイルのうちダイジェスト動画の生成に用いられるメディアデータの再生時間区間を指定するダイジェスト動画属性情報を生成し、属性情報に含めてマルチメディアコンテンツファイル内に格納するようにしたので、マルチメディアコンテンツ閲覧装置２００は、マルチメディアコンテンツファイルをダウンロードするだけで、容易にコンテンツの概要を把握可能なダイジェスト動画を再生することが可能となる。
なお、実施の形態１では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、ダイジェスト生成部１０５において生成したダイジェスト動画属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００５５】
また、マルチメディアコンテンツ生成装置１００は、ダイジェスト生成部１０５でマルチメディアコンテンツファイルのうちダイジェスト画像の生成に用いられる動画データの再生時間を指定するダイジェスト画像属性情報を生成し、属性情報生成部１０３で生成される属性情報に含めてマルチメディアコンテンツファイル内に格納するようにしたので、マルチメディアコンテンツ閲覧装置２００は、マルチメディアコンテンツをダウンロードするだけで、容易にコンテンツの概要を把握可能なダイジェスト画像を表示することが可能となる。
なお、実施の形態１では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、ダイジェスト生成部１０５において生成したダイジェスト画像属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００５６】
なお、実施の形態１では、マルチメディアコンテンツファイルの例としてＭＰ４ファイルを用いたが、ファイルの形式はこれ以外にも、各メディアデータに関する属性情報を個別に管理できる形式であれば利用することができる。
【００５７】
実施の形態２．
実施の形態２では、実施の形態１と同様のマルチメディアコンテンツ生成装置１００によって、マルチメディアコンテンツとイベント属性情報を関連付けたマルチメディアコンテンツファイルを作成する。なお、実施の形態２においてもマルチメディアコンテンツファイルにはＭＰ４ファイルを一例として用いる。
【００５８】
イベント属性情報とは、マルチメディアコンテンツもしくはマルチメディアコンテンツに含まれる各メディアデータ上で発生したイベントの発生時期とイベントの種別を表す情報である。マルチメディアコンテンツとしてビルの入り口に設置された監視カメラシステムの映像を例に取ると、例えば、動画データ上で人が入退館を行ったというイベントを動画データの映像と関連付け、そのイベントの発生時期の映像を利用者が見たいことがある。そこで、イベント属性情報は、人の入退館の発生時期と人の入退館という種別を表す。また、例えば、オーディオデータ上で閾値以上の音量を有する音が発生したというイベントをオーディオデータと関連付け、そのイベントの発生時期の音を利用者が聴きたいことがある。そこで、イベント属性情報は、閾値以上の音の発生というイベントの発生時期と、閾値以上の音の発生というイベントの種別を表す。
【００５９】
実施の形態２では、マルチメディアコンテンツ生成装置１００の属性情報生成部１０３がイベント属性情報を生成し、マルチメディアコンテンツファイル１０００内の属性情報部１００１に格納する。なお、マルチメディアコンテンツファイル１０００にイベント属性情報を格納する処理以外の動作については、実施の形態１と同様である。
【００６０】
属性情報生成部１０３は、データ読込部１０１でイベント情報記憶部１４０から読み込まれたイベント情報を基にイベント属性情報を生成する。ここで、属性情報生成部１０３は、マルチメディアコンテンツファイル１０００に含まれるメディアデータの種類（動画データおよびオーディオデータ）毎にイベントを配分する。そして、動画データのイベントに関するイベント属性情報を属性情報部１００１のメディア１属性情報１００２に格納し、オーディオデータのイベントに関するイベント属性情報を属性情報部１００１のメディア２属性情報１００３に格納し、両方のデータに共通するイベントに関するイベント属性情報を属性情報部１００１のメディア共通属性情報１００４に格納する。
【００６１】
図１３は、イベント属性情報２０１２の例を示した図である。「Ｓｉｚｅ」はイベント属性情報全体のサイズ、「Ｔｙｐｅ」はイベント属性情報であることを示す識別子、「Ｅｎｔｒｙ＿ｃｏｕｎｔ」はイベント属性情報２０１２に格納されているイベント数（ｎ）、「ＥｖｅｎｔＩＤ ｋ（ｋ＝１〜ｎ）」はイベントｋの種別を表すイベントＩＤ、「ＥｖｅｎｔＴｉｍｅ ｋ（ｋ＝１〜ｎ）」はイベントｋの発生時間をマルチメディアコンテンツファイル全体の再生開始時間を起点として記述した情報、「ＥｖｅｎｔＤｅｓｃｒｉｐｔｉｏｎ ｋ（ｋ＝１〜ｎ）」はイベントｋに関連した説明事項であり、例えば絶対時間で表したイベント発生時間等が格納される。イベント属性情報２０１２のデータ長は可変であり、終了点はＮＵＬＬ文字列等で示す。
【００６２】
イベント属性情報に表されたイベントは、上述の通りモニタ２１１に表示される。そして、副画面に表示されたイベントのいずれかをコンテンツ利用者が入力装置を用いて選択すると、イベント属性情報内のそのイベントの発生時間がマルチメディアコンテンツ読込部２０５に通知され、マルチメディアコンテンツ読込部２０５はそのイベントの発生時間に対応する部分を起点としてメディアデータを後段のデータ分離部２０４に供給開始する。このようにしてコンテンツ利用者は、所望のイベントに関するデータ部分を簡単に再生することができる。なお、かかる指定されたイベントに応答する再生は、イベントに関連するメディアデータのみ（すなわち動画データまたはオーディオデータのみ）の再生でもよいし、両方のメディアデータの再生でもよい。
【００６３】
以上のように、マルチメディアコンテンツ上で発生するイベントと関連付けられイベントの種別を示すイベント属性情報をマルチメディアコンテンツファイルに格納することにより、映像データ等と関連したイベントを簡易に操作することが可能であり、ポータビリティの高いマルチメディアコンテンツファイルを作成することができる。
【００６４】
また、イベント属性情報は、マルチメディアコンテンツファイル内のメディア共通属性情報あるいは個々の対応するメディアデータの属性情報の領域に格納するようにしたので、コンテンツ全体に関連付けられるイベントのみならず、各メディアデータに個別に関連付けられるイベントについても簡易に操作することができる。
なお、実施の形態２では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、属性情報生成部１０３において生成したイベント属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００６５】
実施の形態３．
実施の形態３では、実施の形態１，２のいずれかと同様のマルチメディアコンテンツ生成装置１００によってマルチメディアコンテンツに検索キーワードを設定し、マルチメディアコンテンツ閲覧装置２００でそのキーワードを利用してコンテンツファイルの検索が行えるようにする。なお、実施の形態３においてもマルチメディアコンテンツファイルにはＭＰ４ファイルを一例として用いる。
【００６６】
マルチメディアコンテンツ生成装置１００のキーワード付加部１０６は、コンテンツ制作者の入力したキーワード情報を基にキーワード属性情報を生成する。キーワード属性情報は、マルチメディアコンテンツファイル１０００に含まれる異なる種類のメディアデータに共通する特定区間に対応する検索用キーワードと、マルチメディアコンテンツファイル１０００に含まれる各メディアデータの特定区間に対応する検索用キーワードを指定する。
【００６７】
図１４に、キーワード属性情報２０１３の例を示す。図中、「Ｓｉｚｅ」はキーワード属性情報全体のデータサイズ、「Ｔｙｐｅ」はキーワード属性情報であることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ １」は時間共通キーワード数（ｎ）を表す。「Ｋｅｙｗｏｒｄ ｋ（ｋ＝１〜ｎ）」は時間共通キーワードであり、時間共通キーワード数（ｎ）分の時間共通キーワードが格納される。時間共通キーワードとは、時間に関係しないキーワード、つまりマルチメディアコンテンツファイル１０００全体に対応する検索用キーワードか、マルチメディアコンテンツファイル１０００に含まれるいずれかのメディアデータ（動画像データまたはオーディオデータ）全体に対応する検索用キーワードである。
【００６８】
「Ｅｎｔｒｙ＿ｃｏｕｎｔ ２」は、区間キーワードが設定された特定区間の数（ここではｎとする。）である。区間キーワードは、マルチメディアコンテンツファイル１０００に含まれる異なる種類のメディアデータに共通する特定区間に対応する検索用キーワード、または各メディアデータの特定区間に対応する検索用キーワードである。各特定区間は、区間開始時間と区間終了時間で指定され、それぞれの特定区間に対して複数の区間キーワードを設定できる。「Ｓｔａｒｔ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は、区間ｋの開始時間であり、「Ｅｎｄ＿ｔｉｍｅ ｋ（ｋ＝１〜ｎ）」は、区間ｋの終了時間である。「Ｋｅｙｗｏｒｄ＿ｃｏｕｎｔ ｋ（ｋ＝１〜ｎ）」は、一の区間ｋに設定される区間キーワード数（ここでは、区間１でｍ、区間ｎでｐとする。）であり、各区間の「Ｋｅｙｗｏｒｄ＿ｃｏｕｎｔ ｋ」に続いて各区間のキーワードが格納される。例えば、「Ｋｅｙｗｏｒｄ １−１」から「Ｋｅｙｗｏｒｄ １−ｍ」に区間１のキーワードが格納され、「Ｋｅｙｗｏｒｄ ｎ−１」から「Ｋｅｙｗｏｒｄ ｎ−ｋ」に区間ｎの区間キーワードが格納される。なお、時間共通キーワードおよび区間キーワードのデータ長は可変であり、ＮＵＬＬ文字コード等で終了を表す。
【００６９】
キーワード付加部１０６は、キーワード属性情報２０１３を生成すると、キーワード属性情報をマルチメディアコンテンツファイル１０００の属性情報部１００１に格納する。ここで、異なる種類のメディアデータに共通するキーワード属性情報２０１３を生成した時には、このキーワード属性情報２０１３を属性情報部１００１のメディア共通属性情報１００４に格納し、各メディアデータのためのキーワード属性情報２０１３を生成した時には、このキーワード属性情報２０１３を属性情報部１００１の対応するメディアデータの種類の属性情報内（メディア１属性情報１００２またはメディア２属性情報１００３）に格納する。
【００７０】
マルチメディアコンテンツ閲覧装置２００は、コンテンツ利用者の入力した検索キーワードに従ってコンテンツの検索を行う際、キーワード属性情報を参照することにより検索を行う。
【００７１】
以上のように、マルチメディアコンテンツファイル内にキーワード属性情報を格納することにより、データベース等の機能を利用して容易にコンテンツの検索を行うことができる。
【００７２】
また、キーワード属性情報は時間区間ごとにキーワードを設定できる構成にしたので、コンテンツの内容に即して、より適切なキーワードを設定することができる。
【００７３】
また、キーワード属性情報は、マルチメディアコンテンツファイル内のメディア共通属性情報あるいは個々のメディアデータの属性情報の領域に格納するようにしたので、マルチメディアコンテンツファイル１０００全体のみならず各メディアデータに対しても検索キーワードを簡易に設定することができる。
なお、実施の形態３では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、キーワード付加部１０６において生成したキーワード属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００７４】
実施の形態４．
実施の形態４では、実施の形態１〜３のいずれかと同様のマルチメディアコンテンツ生成装置１００によって、マルチメディアコンテンツファイルを暗号化する。なお、実施の形態４においてもマルチメディアコンテンツファイルにはＭＰ４ファイルを一例として用いる。
【００７５】
マルチメディアコンテンツ生成装置１００は、マルチメディアコンテンツ生成部１０４で生成したマルチメディアコンテンツファイル１０００を暗号化する場合には、暗号化部１０７において暗号化処理を行う。この際、属性情報部１００１とメディアデータ部１００５の一方のみを暗号化する。
【００７６】
図４に示すように、ＭＰ４ファイルは各メディアデータの属性情報を格納する属性情報部１００１と各メディアのメディアデータを多重化した多重化メディアデータに分割して格納されている。メディアデータの構成情報やアクセスに必要な情報は属性情報部１００１に格納されているため、通常、メディアデータ部１００５のデータのみではマルチメディアコンテンツを再生することはできない。そのため、属性情報部１００１のみを暗号化すれば、事実上、コンテンツ全体を暗号化したのと同様の効果が得られる。
【００７７】
図１５は、属性情報を暗号化した場合のマルチメディアコンテンツファイル２０１４の構成の例を示す図である。図に示すように、マルチメディアコンテンツファイル２０１４は、暗号化属性情報格納データ部２０１５とメディアデータ部２０１７を有している。暗号化属性情報格納データ部２０１５には、暗号化属性情報格納データであることを示す識別子と、暗号化属性情報格納データ全体のサイズと、暗号化された属性情報２０１６が格納されている。
【００７８】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアは、復号化するために必要な復号化鍵等の情報を有している。暗号復号部２０９は、暗号化属性情報格納データのサイズ情報に基づいて暗号化された属性情報２０１６を取りだし、復号化鍵を用いて復号化する。復号化した属性情報を読み出すことにより、メディアデータへのアクセスが可能となる。
【００７９】
このように、マルチメディアコンテンツの属性情報のみを暗号化することで、簡易的にマルチメディアコンテンツの暗号化を実現することができる。この方法は、性能が限られている携帯端末等では特に有効である。
【００８０】
暗号化部１０７は、一部の種類のメディアデータに対応する属性情報のみを暗号化してもよい。図１６は複数種類のメディアデータ毎の属性情報を格納するマルチメディアコンテンツファイルにおいて、一部の種類のメディアデータの属性情報のみを暗号化する場合の、マルチメディアコンテンツファイル２０１８の構成例である。図の例では、マルチメディアコンテンツはメディア１（例えば動画データ）とメディア２（例えばオーディオデータ）を含む。図に示すように、マルチメディアコンテンツファイル２０１８は、属性情報部２０１９とメディアデータ部２０２４を有する。属性情報部２０１９には暗号化メディア属性情報格納データ部２０２０と、暗号化されていない属性情報（メディア２属性情報２０２１、メディア共通属性情報２０２２）が含まれる。暗号化メディア属性情報格納データ部２０２０は、暗号化メディア属性情報格納データであることを示す識別子と、暗号化メディア属性情報格納データ全体のサイズと、暗号化されたメディア１属性情報２０２３を内部に有している。
【００８１】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアは、復号化するために必要な復号化鍵等の情報を有している。暗号復号部２０９は、暗号化メディア属性情報格納データのサイズ情報に基づいて暗号化されたメディア１属性情報２０２３を取りだし、復号化鍵を用いて復号化する。復号化したメディア１属性情報を読み出すことにより、メディアデータへのアクセスが可能となる。
【００８２】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアが復号化するための情報を有していない場合、暗号化メディア属性情報格納データ部２０２３は読み飛ばされ、暗号化されていないメディア２属性情報２０２１のみにアクセス可能となる。その結果マルチメディアコンテンツ閲覧装置２００では、メディア２のメディアデータのみを再生することができる。
【００８３】
このように、再生権利を購入した利用者はマルチメディアコンテンツ全てを閲覧可能であるが、再生権利を持たない利用者には暗号化されていないメディアのみ閲覧可能にすることができる。
【００８４】
図１７は、メディアデータのみを暗号化した場合の、マルチメディアコンテンツファイルの構成例である。図に示すように、マルチメディアコンテンツファイル２０２５は、属性情報部２０２６と暗号化メディアデータ格納データ部２０２７を有する。暗号化メディアデータ格納データ部２０２７は、暗号化メディア格納データであることを示す識別子と、暗号化メディアデータ格納データのデータサイズと、暗号化されたメディアデータ２０２８を有する。
【００８５】
マルチメディアコンテンツ閲覧装置２００に実装されたコンテンツ再生ソフトウェアは、マルチメディアコンテンツファイル２０２５を復号化するために必要な復号化鍵等の情報を有している。暗号復号部２０９は、暗号化メディアデータ格納データのサイズ情報に基づいて暗号化されたメディアデータ２０２８を取りだし、復号化鍵を用いて復号化する。メディアデータへのアクセスにはファイルの先頭からのオフセット位置を使用するが、復号化されたメディアデータは、暗号化されたメディアデータ２０２８が格納されている位置から始まると仮定してオフセット位置を計算してアクセスする。
【００８６】
このようにメディアデータのみを暗号化することにより、例えばマルチメディアコンテンツファイルが図１０に示すようなダイジェスト動画属性情報２００７とダイジェスト動画用メディアデータ２０１０を有しており、ダイジェスト動画が全てダイジェスト動画用メディアデータ２０１０から構成されている場合には、復号化鍵を有さない再生ソフトウェアを使用しても、ダイジェスト動画のみは閲覧できるように設定することができる。
【００８７】
実施の形態５．
実施の形態５では、実施の形態１〜４のいずれかと同様のマルチメディアコンテンツ生成装置１００によって、マルチメディアコンテンツファイル間の関連情報を設定する。なお、実施の形態５においてもマルチメディアコンテンツファイルとしてＭＰ４ファイルを用いる。
【００８８】
マルチメディアコンテンツ生成装置１００は、あるマルチメディアコンテンツファイルに関連付けて再生することが可能な他のマルチメディアコンテンツファイルがある場合、関連ファイル属性情報を生成し、当該マルチメディア属性情報の属性情報部に格納する。
【００８９】
図１８は、マルチメディアコンテンツファイル間の関連を記述した関連ファイル属性情報２０２９の例を示す図である。図中、「Ｓｉｚｅ」は関連ファイル属性情報全体のサイズ、「Ｔｙｐｅ」は関連ファイル属性情報であることを示す識別子である。「Ｅｎｔｒｙ＿ｃｏｕｎｔ」は、当該マルチメディアコンテンツファイルに関連するファイル数を表す関連ファイル数情報（ここでは、ｎとする。）である。関連ファイル数情報の後には、関連ファイル数分のファイル識別情報「ＦｉｌｅＩｄｅｎｔｉｆｉｅｒ ｋ（ｋ＝１〜ｎ）」と相対時間情報「ＲｅｌａｔｉｖｅＴｉｍｅ ｋ（ｋ＝１〜ｎ）」が格納される。ファイル識別情報は、関連するファイルを特定するための識別情報であり、例えばファイルの存在するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等で示される。相対時間情報は、関連するファイルの蓄積開始時刻と自ファイルの蓄積開始時刻との差分を示す。相対時間情報の代わりに、関連ファイル属性情報内に自ファイルと関連ファイルの蓄積開始時刻を登録するようにしても同様の効果が得られる。
【００９０】
マルチメディアコンテンツ閲覧装置２００は、関連ファイル属性情報２０２９を有しているマルチメディアコンテンツファイルにアクセスした場合、当該マルチメディアコンテンツファイルに関連するファイルが特定可能であると共に、関連ファイルとの蓄積開始時間の差分が入手可能である。
これにより、例えば、ほぼ同時刻に撮影した複数地点の映像が複数の動画コンテンツとして存在する場合、そのうちの一つのコンテンツのマルチメディアコンテンツファイルに、それらの複数ファイルの情報を記述した関連ファイル属性情報を格納しておくことにより、そのマルチメディアコンテンツファイルを入手すれば、関連する全てのコンテンツのマルチメディアコンテンツファイルを特定することができる。さらに、それらのファイルを再生する際の開始時刻の差分がわかるため、複数コンテンツの同時刻の映像を同期して表示することが可能となる。
なお、実施の形態５では、マルチメディアコンテンツ生成装置１００において属性情報を含むマルチメディアコンテンツファイルの作成を行っているが、既に作成されたマルチメディアコンテンツファイルを読み込み、属性情報生成部１０３において生成した関連ファイル属性情報を読み込んだマルチメディアコンテンツファイルに追加することも可能である。
【００９１】
【発明の効果】
以上のように、この発明によれば、マルチメディアコンテンツの効率的な管理及び利用を実現するマルチメディアコンテンツファイルのデータ構造を得られるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による、マルチメディアコンテンツ配信システムの構成を示すブロック図である。
【図２】この発明の実施の形態１による、マルチメディアコンテンツ生成装置の構成を示すブロック図である。
【図３】この発明の実施の形態１による、マルチメディアコンテンツ閲覧装置の構成を示すブロック図である。
【図４】この発明の実施の形態１で用いられるＭＰ４ファイルの概略構成を示す図である。
【図５】この発明の実施の形態１による、ダイジェスト動画属性情報の例を示す図である。
【図６】この発明の実施の形態１による、ダイジェスト動画属性情報に基づいて生成されるダイジェスト動画データの概要を示す図である。
【図７】この発明の実施の形態１による、複数種類のメディアデータに共通するダイジェスト動画属性情報に基づいて生成されるダイジェスト動画データの概要を示す図である。
【図８】この発明の実施の形態１による、ＳＭＩＬを用いたダイジェスト動画属性情報の例を示す図である。
【図９】この発明の実施の形態１による、マルチメディアコンテンツの本来のメディアデータに含まれていない映像や音声をダイジェスト動画の一部として使用する場合のダイジェスト動画属性情報の例を示す図である。
【図１０】この発明の実施の形態１による、マルチメディアコンテンツファイル内での、ダイジェスト動画用メディアデータの格納方式の例を示す図である。
【図１１】この発明の実施の形態１による、ダイジェスト動画用メディアデータの構成例を示す図である。
【図１２】この発明の実施の形態１による、ダイジェスト画像属性情報の例を示す図である。
【図１３】この発明の実施の形態２による、イベント属性情報の例を示す図である。
【図１４】この発明の実施の形態３による、キーワード属性情報の例を示す図である。
【図１５】この発明の実施の形態４による、属性情報を暗号化した場合のマルチメディアコンテンツファイルの概略構成の例を示す図である。
【図１６】この発明の実施の形態４による、複数のメディアデータの種類毎の属性情報のうち一部の種類のメディアデータの属性情報のみを暗号化した場合のマルチメディアコンテンツファイルの概略構成の例を示す図である。
【図１７】この発明の実施の形態４による、メディアデータのみを暗号化した場合のマルチメディアコンテンツファイルの概略構成の例を示す図である。
【図１８】この発明の実施の形態５による、関連ファイル属性情報の例を示す図である。
【符号の説明】
１００ マルチメディアコンテンツ生成装置、１０１ データ読込部、１０２データ多重部、１０３ 属性情報生成部、１０４ マルチメディアコンテンツ生成部、１０５ ダイジェスト生成部、１０６ キーワード付加部、１０７ 暗号化部、１１０ マルチメディアコンテンツ記憶部、１２０ 動画データ記憶部、１３０ オーディオデータ記憶部、１４０ イベント情報記憶部、２００ マルチメディアコンテンツ閲覧装置、２０１ メディアデータ出力部、２０２ 同期制御部、２０３ デコード部、２０４ データ分離部、２０５ マルチメディアコンテンツ読込部、２０６ マルチメディアコンテンツ蓄積部、２０７ 受信部、２０８ ダイジェスト生成部、２０９ 暗号復号部、２１０ マルチメディアコンテンツ検索部、２１１ モニタ、２１２ スピーカ、３００ マルチメディアコンテンツ配信サーバ、３１０ マルチメディアコンテンツ記憶部、５００インターネット。
Claims (18)
- 動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、
上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、
上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、
上記属性情報格納領域は、上記マルチメディアコンテンツのうちダイジェスト動画の再生に用いられるメディアデータの属性を情報処理装置に認識させるダイジェスト動画属性情報を格納し、上記ダイジェスト動画属性情報はダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定することを特徴とするマルチメディアコンテンツファイルのデータ構造。 - 属性情報格納領域は、マルチメディアコンテンツの各メディアデータの属性情報をメディアデータの種類毎に分けて格納する２つ以上のメディア属性情報格納領域を有し、
上記メディア属性情報格納領域の少なくとも１つが、対応する種類のメディアデータのうちダイジェスト動画の再生に用いられる区間を特定するダイジェスト動画属性情報を格納することを特徴とする請求項１記載のマルチメディアコンテンツファイルのデータ構造。 - ダイジェスト動画の再生に用いられるメディアデータの区間を、上記マルチメディアコンテンツ全体の再生開始時点を起点とする再生開始時間と再生終了時間によって特定することを特徴とする請求項１または請求項２記載のマルチメディアコンテンツファイルのデータ構造。
- マルチメディアコンテンツに本来含まれるメディアデータとは別個にダイジェスト動画の再生に用いられるダイジェスト動画用メディアデータを格納するダイジェスト動画情報格納領域を備え、
ダイジェスト動画属性情報は、マルチメディアコンテンツに本来含まれるダイジェスト動画の再生に用いられるメディアデータの区間を特定する情報、もしくは上記ダイジェスト動画用メディアデータの区間を特定する情報を、少なくとも１区間含むことを特徴とする請求項１または請求項２記載のマルチメディアコンテンツファイルのデータ構造。 - ダイジェスト動画属性情報は、ＸＭＬによって記述されていることを特徴とする請求項１または請求項２記載のマルチメディアコンテンツファイルのデータ構造。
- 動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、
上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、
上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、
上記属性情報格納領域は、上記マルチメディアコンテンツのうちダイジェスト画像の再生に用いられるメディアデータの属性を情報処理装置に認識させるダイジェスト画像属性情報を格納し、上記ダイジェスト画像属性情報は、上記マルチメディアコンテンツ全体の再生開始時点を起点とする再生時間によって少なくとも１つの時点での画像を特定し、さらに、特定した画像の中から上記マルチメディアコンテンツの内容を表す代表画像を指定することを特徴とするマルチメディアコンテンツファイルのデータ構造。 - 動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、
上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、
上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、
上記属性情報格納領域は、上記マルチメディアコンテンツの各メディアデータの属性情報をメディアデータの種類毎に分けて格納する２つ以上のメディア属性情報格納領域を有し、
上記メディア属性情報格納部の各々は、対応する種類のメディアデータ上のイベントと関連付けられ上記イベントの種別を示すイベント属性情報を格納することを特徴とするマルチメディアコンテンツファイルのデータ構造。 - 動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、
上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、
上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、
上記属性情報格納領域は、異なる種類のメディアデータに共通する特定区間に対応する検索用キーワードと、各メディアデータの特定区間に対応する検索用キーワードを指定するキーワード属性情報を格納することを特徴とするマルチメディアコンテンツファイルのデータ構造。 - 動画データを含むマルチメディアコンテンツを情報処理装置で再生するためのマルチメディアコンテンツファイルのデータ構造であって、
上記マルチメディアコンテンツの各メディアデータの属性を情報処理装置に認識させる属性情報を格納する属性情報格納領域と、
上記マルチメディアコンテンツのメディアデータを格納するメディアデータ格納領域を備え、
上記属性情報格納領域は、上記マルチメディアコンテンツファイルと関連付けて再生することが可能な他のマルチメディアコンテンツファイルを示す関連ファイル属性情報を格納することを特徴とするマルチメディアコンテンツファイルのデータ構造。 - 動画データを含むマルチメディアコンテンツファイルを生成するマルチメディアコンテンツ生成装置であって、
上記マルチメディアコンテンツのダイジェスト動画の再生に用いられるメディアデータの少なくとも１区間を特定するダイジェスト動画属性情報を生成するダイジェスト生成部を備え、
上記ダイジェスト動画属性情報を、各メディアデータの属性を示す属性情報に含めて上記マルチメディアコンテンツファイルを生成することを特徴とするマルチメディアコンテンツ生成装置。 - 動画データを含むマルチメディアコンテンツファイルを生成するマルチメディアコンテンツ生成装置であって、
上記マルチメディアコンテンツのうちダイジェスト画像の再生に用いられるメディアデータの画像を特定し、さらに特定した画像の中から上記マルチメディアコンテンツの内容を表す代表画像を指定するダイジェスト画像属性情報を生成するダイジェスト生成部を備え、
上記ダイジェスト画像属性情報を、各メディアデータの属性を示す属性情報に含めて上記マルチメディアコンテンツファイルを生成することを特徴とするマルチメディアコンテンツ生成装置。 - 動画データを含むマルチメディアコンテンツファイルを生成するマルチメディアコンテンツ生成装置であって、
上記マルチメディアコンテンツに含まれるメディアデータの種類毎に生成された、各メディアデータの属性を示す属性情報に付加する情報として、対応するメディアデータ上のイベントと関連付けられ上記イベントの種別を示すイベント属性情報を生成する属性情報生成部を備えたことを特徴とするマルチメディアコンテンツ生成装置。 - 動画データを含むマルチメディアコンテンツファイルを生成するマルチメディアコンテンツ生成装置であって、
異なる種類のメディアデータに共通する特定区間に対応する検索用キーワードと、各メディアデータの特定区間に対応する検索用キーワードを指定するキーワード属性情報を生成するキーワード付加部を備え、
上記キーワード属性情報を、各メディアデータの属性を示す属性情報に含めて上記マルチメディアコンテンツファイルを生成することを特徴とするマルチメディアコンテンツ生成装置。 - 動画データを含むマルチメディアコンテンツファイルを生成するマルチメディアコンテンツ生成装置であって、
上記マルチメディアコンテンツに含まれる各メディアデータの属性を示す属性情報に付加する情報として、上記マルチメディアコンテンツファイルと関連付けて再生することが可能な他のマルチメディアコンテンツファイルを示す関連ファイル属性情報を生成する属性情報生成部を備えたことを特徴とするマルチメディアコンテンツ生成装置。 - 属性情報のみを暗号化する暗号化部を備えたことを特徴とする請求項１０から請求項１４のうちのいずれか１項記載のマルチメディアコンテンツ生成装置。
- 暗号化部は、一部の種類のメディアデータに対応する属性情報のみを暗号化することを特徴とする請求項１５記載のマルチメディアコンテンツ生成装置。
- メディアデータのみを暗号化する暗号化部を備えたことを特徴とする請求項１０から請求項１４のうちのいずれか１項記載のマルチメディアコンテンツ生成装置。
- 動画データを含むマルチメディアコンテンツの各メディアデータの属性を示す属性情報と、上記マルチメディアコンテンツのメディアデータを有するマルチメディアコンテンツファイルを再生するマルチメディアコンテンツ閲覧装置であって、
上記属性情報中に含まれる、メディアデータの少なくとも１区間を特定する情報に基づいてダイジェスト動画を生成するダイジェスト生成部を備えたことを特徴とするマルチメディアコンテンツ閲覧装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003101784A JP2004312268A (ja) | 2003-04-04 | 2003-04-04 | マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003101784A JP2004312268A (ja) | 2003-04-04 | 2003-04-04 | マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004312268A true JP2004312268A (ja) | 2004-11-04 |
Family
ID=33465460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003101784A Abandoned JP2004312268A (ja) | 2003-04-04 | 2003-04-04 | マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004312268A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006163746A (ja) * | 2004-12-06 | 2006-06-22 | Pioneer Electronic Corp | 情報処理装置、その方法、および、そのプログラム |
| JP2007012112A (ja) * | 2005-06-28 | 2007-01-18 | Canon Inc | データ記録装置及びその方法、プログラム、記録媒体 |
| JP2007280580A (ja) * | 2006-04-12 | 2007-10-25 | Kenwood Corp | データ再生装置、データ再生方法、ならびに、プログラム |
| CN102483782A (zh) * | 2009-07-24 | 2012-05-30 | 苹果公司 | 动态媒体内容预览 |
| JP2012244193A (ja) * | 2011-05-13 | 2012-12-10 | Pioneer Electronic Corp | 再生区間抽出方法、プログラムおよび記憶媒体、並びに再生区間抽出装置および輸送機器搭載装置 |
-
2003
- 2003-04-04 JP JP2003101784A patent/JP2004312268A/ja not_active Abandoned
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006163746A (ja) * | 2004-12-06 | 2006-06-22 | Pioneer Electronic Corp | 情報処理装置、その方法、および、そのプログラム |
| JP2007012112A (ja) * | 2005-06-28 | 2007-01-18 | Canon Inc | データ記録装置及びその方法、プログラム、記録媒体 |
| JP4481889B2 (ja) * | 2005-06-28 | 2010-06-16 | キヤノン株式会社 | データ記録装置及びその方法、プログラム、記録媒体 |
| US7817903B2 (en) | 2005-06-28 | 2010-10-19 | Canon Kabushiki Kaisha | Data recording apparatus, method, program, and recording medium |
| JP2007280580A (ja) * | 2006-04-12 | 2007-10-25 | Kenwood Corp | データ再生装置、データ再生方法、ならびに、プログラム |
| CN102483782A (zh) * | 2009-07-24 | 2012-05-30 | 苹果公司 | 动态媒体内容预览 |
| JP2013500514A (ja) * | 2009-07-24 | 2013-01-07 | アップル インコーポレイテッド | ダイナミックメディアコンテンツプレビュー |
| JP2012244193A (ja) * | 2011-05-13 | 2012-12-10 | Pioneer Electronic Corp | 再生区間抽出方法、プログラムおよび記憶媒体、並びに再生区間抽出装置および輸送機器搭載装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210263981A1 (en) | Playlists for real-time or near real-time streaming | |
| RU2481720C2 (ru) | Потоковая передача данных в режиме реального времени или в режиме, близком к реальному времени | |
| JP4846352B2 (ja) | マルチメディア視聴システム及びマルチメディア視聴方法 | |
| US8631146B2 (en) | Dynamic media serving infrastructure | |
| US8468569B2 (en) | Content delivery system and method, and server apparatus and receiving apparatus used in this content delivery system | |
| CA2408232C (en) | Method and apparatus for enabling random access to individual pictures in an encrypted video stream | |
| JP4866076B2 (ja) | マルチメディア視聴システム及びマルチメディア視聴方法 | |
| JP2004193871A (ja) | メディアデータ視聴装置及びメタデータ共有システム | |
| KR20000006543A (ko) | 인증장치,인증방법,인증시스템,및기억매체 | |
| JP2004193920A (ja) | 番組配信システム及び受信装置 | |
| KR20130105697A (ko) | 압축된 재생목록을 이용한 실시간 또는 준 실시간 스트리밍 | |
| KR20030015899A (ko) | 송신된 콘텐트의 사전-암호화를 위한 시스템 및 방법 | |
| JP2008078997A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| EP1488339B1 (en) | Data stream adaptation server | |
| KR20090082068A (ko) | 컨텐츠의 메타데이터 제공 방법 및 장치와 컨텐츠의 이용권한 제한 방법 및 장치 | |
| JP2003111048A (ja) | コンテンツ再生のためのサーバ及びプログラム | |
| JP2004023667A (ja) | プロファイル情報送信装置 | |
| JP2004140488A (ja) | マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置 | |
| KR20070105628A (ko) | 이종 시스템간의 컨텐츠 교환 방법 및 그 방법을 수행하는컨텐츠 관리 시스템 | |
| KR100781624B1 (ko) | 멀티미디어 컨텐츠와 관련된 데이터 구조체 생성 방법 및 분산형 데이터 처리 시스템 및 컴퓨터 판독 가능 기록 매체 | |
| JP4195555B2 (ja) | コンテンツ管理受信機 | |
| US8166503B1 (en) | Systems and methods for providing multiple video streams per audio stream | |
| KR102069897B1 (ko) | 사용자 영상 생성 방법 및 이를 위한 장치 | |
| JP4969759B2 (ja) | 送信コンテントの事前暗号化のためのシステムおよび方法 | |
| JP2004312268A (ja) | マルチメディアコンテンツファイルのデータ構造、マルチメディアコンテンツ生成装置、及びマルチメディアコンテンツ閲覧装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071024 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071024 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071024 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20080512 |