JP2007507149A - イメージ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を行うプログラムが記録された記録媒体 - Google Patents

Abstract

本発明は、イメージ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を行うプログラムが記録された記録媒体を提供する。ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置は、ユーザが選択した資産（アセット）が、単一のイメージデータと少なくとも１以上のビデオデータとで構成される資産であるか否かを確認し、前記イメージデータ及び前記ビデオデータをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記イメージデータ及び少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイさせる。

Description

本発明は、イメージ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を記録した記録媒体に係り、より詳細には、マルチメディアデータのうち、イメージ及びビデオデータとをＭＰＶ（マルチフォトビデオまたはミュージックフォトビデオ）フォーマットの形に管理し、これをユーザに提供することである。

ＭＰＶは、Ｏｐｔｉｃａｌ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ（光保存装置の製造会社が作った協会：以下‘ＯＳＴＡ’と称する）で２００２年に発表したマルチメディアタイトルの業界標準規格であって、多様な形の音楽、写真、ビデオデータをユーザにさらに便利に提供するか、前記マルチメディアデータを操作して処理可能にするための標準規格である。ＭＰＶについての定義及びその他の標準規格については、ＯＳＴＡの公式ウェブサイト（ｗｗｗ．ｏｓｔａ．ｏｒｇ）を通じて提供され、かつ利用しうる。

最近には、パソコンを用いてデジタル写真、ビデオ、デジタルオーディオ、テキストなどのメディアデータを処理して再生した。そして、前記メディアコンテンツを生成する装置、例えば、デジタルカメラ、デジタルカムコーダ、デジタルオーディオ再生器（ＭＰ３、ＷＭＡなどのデジタルオーディオデータを再生する装置）などの使用が多くなるにつれて多種のメディアデータが大量に生成されている。

しかし、このように大量生成されているマルチメディアデータを管理するためにパソコンを主に使用してきて、これにより、ユーザのファイル基盤経験（Ｆｉｌｅ−ｂａｓｅｄ ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を要求せねばならないという難点が生じた。また、特定製品でマルチメディアデータが生成される時、属性データ、データ再生順序、再生方法などもそれぞれのマルチメディアデータ別に生成される場合があるが、これをパソコンと連結すれば、属性データをなくして、原本データのみ移動する。すなわち、家電製品、パソコン、及びデジタルコンテンツ生成装置間の、データとデータの属性についての相互連動性（Ｉｎｔｅｒ−ｏｐｅｒａｂｉｌｉｔｙ）が非常に脆弱である。

前記相互連動性が脆弱な点について、例を挙げて説明する。デジタルカメラを使用して写真をキャプチャし、キャプチャされた写真をデジタルカメラで確認するためにスライドショー機能を使用しつつ決定された属性スライドショー順序、写真間の時間間隔、パノマラ機能を使用しつつ決定された属性撮影された写真間の関係、連写機能を使用しつつ決定された属性などのデータが、原本データである実際画像データと共に保存される。この際、前記デジタルカメラを、ＡＶケーブルを使用してテレビに画像を伝送すれば、それぞれの属性が表現されたマルチメディアデータをユーザが見ることができる。しかし、ＵＳＢ（ユニバーサルシリアルバス）ケーブルを通じてパソコンに連結すれば、原本データのみコンピュータに伝送され、それぞれの属性をいずれも失ってしまう。

前記の例に示されたように、デジタルカメラで保存された属性データ、すなわち、メタデータについてのパソコンの相互連動性が非常に脆弱であると言える。または、デジタルカメラの機能に対するパソコンの相互連動性がないとも言える。

このようなデジタル機器間のデータに対する相互連動性の脆弱を補強するために、ＭＰＶ標準が進行していることである。

ＭＰＶスペックは、光学ディスク、メモリカード、コンピュータハードディスクのような記録媒体（または装置）に保存されるか、インターネットプロトコルにより取り替えられるデジタル写真、ビデオ、オーディオなどのマルチメディアデータの集合を処理し、再生するためのマニフェスト、メタデータ及びプラクティスを定義している。

ＭＰＶは、現在ＯＳＴＡ（Ｏｐｔｉｃａｌ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ）とＩ３Ａ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｍａｇｉｎｇ Ｉｎｄｕｓｔｒｙ Ａｓｓｏｃｉａｔｉｏｎ）とで標準化を進行しており、前記ＭＰＶは、オープンスペック（Ｏｐｅｎ ｓｐｅｃｉｆｉｃａｔｉｏｎ）であり、デジタル写真やビデオ、デジタルオーディオ、テキストなどの集合の処理、取り替え、再生を容易に行うことを主目的とする。

ＭＰＶは、ＭＰＶコアスペック（ＭＰＶ Ｃｏｒｅ−Ｓｐｅｃ．０．９０ＷＤ）とプロファイルとに大別される。

コアは、コレクション、メタデータ、識別（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のような３つの基本要素からなっている。

コレクションには、ルートメンバーとしてマニフェストを有しており、メタデータ、アルバム、表示資産（Ｍａｒｋｅｄ Ａｓｓｅｔ）、資産リスト（Ａｓｓｅｔ Ｌｉｓｔ）などがある。この際、資産は、ＭＰＶフォーマットによって記述されたマルチメディアデータを意味するが、ここには２種がある。まず、シンプルメディア資産（Ｓｉｍｐｌｅ ｍｅｄｉａ ａｓｓｅｔ）があり、デジタル写真、ビデオ、デジタルオーディオ、文書などがその例に該当する。そして、複合メディア資産（Ｃｏｍｐｏｓｉｔｅ ｍｅｄｉａ ａｓｓｅｔ）があり、デジタル写真＋デジタルオーディオ（ＳｔｉｌｌＷｉｔｈＡｕｄｉｏ）、連続撮影デジタル写真（ＳｔｉｌｌＭｕｌｔｉｓｈｏｔＳｅｑｕｅｎｃｅ）、パノマラ撮影デジタル写真（ＳｔｉｌｌＰａｎｏｒａｍａＳｅｑｕｅｎｃｅ）などがここに該当する。図１は、前記した内容の例を示している。

メタデータは、ＸＭＬフォーマットによって、識別のために下記のような５種の識別子がある。

１．ＬａｓｔＵＲＬ：該当資産のパス名とファイル名（Ｐａｔｈ ｔｏ ｔｈｅ ｏｂｊｅｃｔ）
２．ＩｎｓｔａｎｃｅＩＤ：各資産ごとに唯一のＩＤ（ｕｎｉｑｕｅ ｐｅｒ ｏｂｊｅｃｔ：例、Ｅｘｉｆ２．２）
３．ＤｏｃｕｍｅｎｔＩＤ：原本データと変更されたデータとにいずれも同一
４．ＣｏｎｔｅｎｔＩＤ：該当資産が特定の目的のために使われる度に生成
５．ｉｄ：メタデータ内でのローカル変数
一方、プロファイルは、全て７種であって、基本プロファイル（Ｂａｓｉｃ ｐｒｏｆｉｌｅ）、プレゼンテーションプロファイル（Ｐｒｅｓｅｎｔａｔｉｏｎ ｐｒｏｆｉｌｅ）、キャプチャ／編集プロファイル（Ｃａｐｔｕｒｅ／Ｅｄｉｔ ｐｒｏｆｉｌｅ）、記録プロファイル（Ａｒｃｈｉｖｅ ｐｒｏｆｉｌｅ）、インターネットプロファイル（Ｉｎｔｅｒｎｅｔ ｐｒｏｆｉｌｅ）、印刷プロファイル（Ｐｒｉｎｔｉｎｇ ｐｒｏｆｉｌｅ）、コンテナプロファイル（Ｃｏｎｔａｉｎｅｒ ｐｒｏｆｉｌｅ）などがある。

すなわち、ＭＰＶは、ユーザの意図通り記録媒体に記録された各種マルチメディアデータが再生されるように、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）メタデータを用いて多様なファイル連結（ａｓｓｏｃｉａｔｉｏｎ）を管理するなどの機能を支援し、特にＪＰＥＧ、ＭＰ３、ＷＭＡ、ＷＭＶ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４を支援し、デジタルカメラフォーマットであるＡＶＩ及びクイックタイム（ＱｕｉｃｋＴｉｍｅ）ＭＪＰＥＧビデオを支援し、ＭＰＶ規格ディスクは、ＩＳＯ９６６０レベル１、Ｊｏｌｉｅｔと互換性があり、マルチセッションＣＤ、ＤＶＤ、メモリカード、ハードディスク及びインターネットとも互換されることによって、ユーザをしてさらに多様なマルチメディアデータの管理及び処理を可能ならしめる。

しかし、ＭＰＶフォーマットに対する標準において、標準で定義されていない多様なマルチメディアデータの形態、すなわち、新たな形態の資産が必要となり、前記マルチメディアデータを提供する機能の追加が要請されている。

本発明では、現在ＭＰＶフォーマットが提案している多様な形態のマルチメディアデータに加えて新たなマルチメディアデータに関する形態を提案し、ＭＰＶフォーマットによって記述されるマルチメディアデータをユーザにさらに多様に提供する方法を提案することによって、多様な種類のマルチメディアデータの活用をさらに多様にすることを目的とする。

前記目的を達成するために、本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が、単一のイメージデータと少なくとも１以上のビデオデータとで構成される資産であるか否かを確認し、前記イメージデータ及び前記ビデオデータをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記イメージデータ及び少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイさせることを特徴とする。

このとき、望ましくは、前記資産は、前記イメージデータがディスプレイされるディスプレイ時間情報及び前記イメージデータがディスプレイされる位置を示す位置情報を含むことを特徴とする。また望ましくは、前記ディスプレイ方法は、前記イメージデータがディスプレイされた後に前記ビデオデータがディスプレイされる第１ディスプレイ方法と、前記ビデオデータがディスプレイされた後に前記イメージデータがディスプレイされる第２ディスプレイ方法であることを特徴とする。

前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が、単一のビデオデータと少なくとも１以上のイメージデータとより構成される資産であるか否かを確認し、前記ビデオデータ及び前記イメージデータをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記ビデオデータ及び少なくとも１以上の前記イメージデータを抽出して順次にディスプレイさせることを特徴とする。

この時、望ましくは、前記資産は、前記それぞれのイメージデータがディスプレイされるディスプレイ時間情報及び前記イメージデータがディスプレイされる位置を示す位置情報を含むことを特徴とする。また、望ましくは、前記ディスプレイ方法は、前記ビデオデータが再生される前に前記イメージデータをディスプレイする第１ディスプレイ方法と、前記ビデオデータが再生される間に前記イメージデータをディスプレイする第２ディスプレイ方法と、前記ビデオデータの再生が終了した後に前記イメージデータをディスプレイする第３ディスプレイ方法と、前記第１ディスプレイ方法ないし前記第３ディスプレイ方法のうち少なくとも２種以上のディスプレイ方法を結合した第４ディスプレイ方法であることを特徴とする。

前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法は、ユーザが選択した資産が、単一のイメージデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認する第１ステップと、前記イメージデータ及び前記ビデオデータをディスプレイするための参照情報を抽出する第２ステップと、所定のディスプレイ方法によって、前記参照情報から前記イメージデータと少なくとも１以上の前記ビデオデータとを抽出して順次にディスプレイする第３ステップと、を含む。

この時、望ましくは、前記資産は、前記イメージデータがディスプレイされるディスプレイ時間情報と、前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする。また、望ましくは、前記ディスプレイ方法は、前記イメージデータがディスプレイされた後に前記ビデオデータがディスプレイされる第１ディスプレイ方法と、前記ビデオデータがディスプレイされた後に前記イメージデータがディスプレイされる第２ディスプレイ方法であることを特徴とする。

前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法は、ユーザが選択した資産が、単一のビデオデータと少なくとも１以上のイメージデータとより構成される資産であるか否かを確認する第１ステップと、前記ビデオデータと前記イメージデータとをディスプレイするための参照情報を抽出する第２ステップと、所定のディスプレイ方法によって、前記参照情報から前記ビデオデータと少なくとも１以上の前記イメージデータとを抽出して順次にディスプレイする第３ステップと、を含む。この時、望ましくは、前記ディスプレイ方法は、前記ビデオデータが再生される前に前記イメージデータをディスプレイする第１ディスプレイ方法と、前記ビデオデータが再生される間に前記イメージデータをディスプレイする第２ディスプレイ方法と、前記ビデオデータの再生が終了した後に前記イメージデータをディスプレイする第３ディスプレイ方法と、前記第１ディスプレイ方法ないし前記第３ディスプレイ方法のうち少なくとも２種以上のディスプレイ方法を結合した第４ディスプレイ方法とであることを特徴とする。

この時、望ましくは、前記資産は、前記それぞれのイメージデータがディスプレイされるディスプレイ時間情報と、前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする。

前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体は、ユーザが選択した資産が、単一のイメージデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記イメージデータとビデオデータとをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記イメージデータと少なくとも１以上の前記ビデオデータとを抽出して順次にディスプレイさせるが、前記ディスプレイ方法は、前記イメージデーＴＵＫＡディスプレイされた後に前記ビデオデータがディスプレイされる第１ディスプレイ方法と、前記ビデオデータがディスプレイされた後に前記イメージデータがディスプレイされる第２ディスプレイ方法とであることを特徴とする。この時、望ましくは、前記資産は、前記イメージデータがディスプレイされるディスプレイ時間情報と、前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする。

前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のイメージデータとより構成される資産であるか否かを確認し、前記ビデオデータとイメージデータとをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記ビデオデータと少なくとも１以上の前記イメージデータとを抽出して順次にディスプレイさせるが、前記ディスプレイ方法は、前記ビデオデータが再生される前に前記イメージデータをディスプレイする第１ディスプレイ方法と、前記ビデオデータが再生される間に前記イメージデータをディスプレイする第２ディスプレイ方法と、前記ビデオデータの再生が終了した後に前記イメージデータをディスプレイする第３ディスプレイ方法と、前記第１ディスプレイ方法ないし前記第３ディスプレイ方法のうち少なくとも２種以上のディスプレイ方法を結合した第４ディスプレイ方法とであることを特徴とする。

この時、望ましくは、前記資産は、前記それぞれのイメージデータがディスプレイされるディスプレイ時間情報と前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする。

以下、添付された図面を参照して、本発明の一実施形態によるＭＰＶフォーマットによって記述されるイメージ及びビデオデータのディスプレイ装置及び方法を説明すれば、次の通りである。

本発明では、ＭＰＶフォーマットによるマルチメディアデータを提供するために、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を用いており、以下、ＸＭＬ−スキーマ（ｓｃｈｅｍａ）によって記述する。

本発明では、ＯＳＴＡで提案していない‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産と、‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産とを提示することによって、さらに多様なマルチメディアデータを提供している。前記２種の新たな資産についての定義及び使用例などを説明すれば、次の通りである。以下、‘ｓｍｐｖ’と‘ｍｐｖ’とは、ＸＭＬでのネームスペース（ｎａｍｅｓｐａｃｅ）を示すが、‘ｓｍｐｖ’は、本発明で新たに提案するエレメントに対するネームスペースを表し、‘ｍｐｖ’は、ＯＳＴＡで提案しているエレメントに対するネームスペースを示す。

１．ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ資産
ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ資産は、単一のイメージ資産（ｐｈｏｔｏ ａｓｓｅｔ）に少なくとも１以上のビデオ資産（ｖｉｄｅｏ ａｓｓｅｔ）を結合した形態の資産であって、ＸＭＬで記述される場合に＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞エレメントと称することができる。前記イメージ資産とビデオ資産も、ＸＭＬで記述される文書ではエレメントと取り扱われる。

この際、前記イメージ資産は、＜ｍｐｖ：ＳｔｉｌｌＲｅｆ＞、＜ｍｐｖ：ＳｔｉｌｌＭｕｌｔｉＳｈｏｔＳｅｑｕｅｎｃｅＲｅｆ＞、＜ｍｐｖ：ＳｔｉｌｌＰａｎｏｒａｍａＲｅｆ＞により表すことができ、前記ビデオ資産は、＜ｓｍｐｖ：ＶｉｄｅｏＰａｒｔＲｅｆ＞きて＜ｍｐｖ：ＶｉｄｅｏＲｅｆ＞、＜ｓｍｐｖ：ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞、＜ｓｍｐｖ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞で表すことができる。

前記＜ＶｉｄｅｏＰａｒｔＲｅｆ＞エレメントは、＜ＶｉｄｅｏＰａｒｔ＞エレメントを参照するが、＜ＶｉｄｅｏＰａｒｔ＞エレメントは、ビデオ資産の一部分を示す。前記＜ＶｉｄｅｏＰａｒｔ＞エレメントの下位エレメントとして＜ｓｍｐｖ：ｓｔａｒｔ＞、＜ｓｍｐｖ：ｓｔｏｐ＞、＜ｓｍｐｖ：ｄｕｒ＞を定義できるが、前記３つの下位エレメントのうち少なくとも一つ以上は、必ずその値が指定されねばならない。

＜ＳＭＰＶ：ｓｔａｒｔ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔｎａｍｅ＝“ＳＭＰＶ：ｓｔａｒｔ”ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ”ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義できるが、参照されるビデオ資産の全体時間のうち一部分に対して始まる時点を‘秒（ｓｅｃｏｎｄ）’単位で表す。もし、いかなる値も与えられていなければ、開始時間は、＜ＳＭＰＶ：ｓｔｏｐ＞、＜ＳＭＰＶ：ｄｕｒ＞の値に基づいて［ＳＭＰＶ：ｓｔａｒｔ］＝［ＳＭＰＶ：ｓｔｏｐ］−［ＳＭＰＶ：ｄｕｒ］のように計算される。＜ＳＭＰＶ：ｓｔｏｐ＞または＜ＳＭＰＶ：ｄｕｒ＞の値が指定されていなければ、＜ＳＭＰＶ：ｓｔａｒｔ＞の値は０になる。

＜ＳＭＰＶ：ｓｔｏｐ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔｎａｍｅ＝“ＳＭＰＶ：ｓｔｏｐ”ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義できるが、参照されるビデオ資産の全体時間のうち一部分に対して終わる地点を‘秒’単位で表す。もし、いかなる値も与えられていなければ、終了時間は＜ＳＭＰＶ：ｓｔａｒｔ＞、＜ＳＭＰＶ：ｄｕｒ＞の値に基づいて［ＳＭＰＶ：ｓｔｏｐ］＝［ＳＭＰＶ：ｓｔａｒｔ］＋［ＳＭＰＶ：ｄｕｒ］のように計算される。＜ＳＭＰＶ：ｄｕｒ＞の値が指定されずに＜ＳＭＰＶ：ｓｔａｒｔ＞の値が指定されれば、＜ＳＭＰＶ：ｓｔｏｐ＞の値は、参照される資産の終了時間になる。一方、＜ＳＭＰＶ：ｓｔａｒｔ＞の値が指定されずに＜ＳＭＰＶ：ｄｕｒ＞の値が指定されれば、＜ＳＭＰＶ：ｓｔｏｐ＞の値は＜ＳＭＰＶ：ｄｕｒ＞値になる。

＜ＭＰＶ：ｄｕｒ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔ ｎａｍｅ＝“ＳＭＰＶ：ｄｕｒ”ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ”ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義できるが、参照されるビデオ資産の全体時間のうち実際に再生される時間を示す。もし、＜ＳＭＰＶ：ｄｕｒ＞の値が与えられなければ、［ＳＭＰＶ：ｄｕｒ］＝［ＳＭＰＶ：ｓｔｏｐ］−［ＳＭＰＶ：ｓｔａｒｔ］のような方法で計算できる。図２では、‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産の構造を概略的に説明している。

図２で図示した＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞エレメントのダイヤグラムを見れば、＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とをそれぞれネームスペースとする複数のエレメントからなっていることが分かる。

ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格に対して提案しているＯＳＴＡのホームページ‘ｗｗｗ．ｏｓｔａ．ｏｒｇ’に記述されているので、省略する。したがって、以下では、‘ｓｍｐｖ’をネームスペースとするエレメントについて順に説明する。

（１）＜ＰｈｏｔｏＤｕｒ＞
＜ＰｈｏｔｏＤｕｒ＞エレメントは、単一のイメージ資産がディスプレイされる時間を秒単位で定義する。前記＜ＰｈｏｔｏＤｕｒ＞エレメントは、‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産を定義するための必須なエレメントである。図３では、前記＜ＰｈｏｔｏＤｕｒ＞エレメントを簡略に記述している。

（２）＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントは、イメージ資産の位置を定義する。すなわち、複数のビデオ資産がディスプレイされる間に単一のイメージ資産がディスプレイされる時間的、空間的位置を示す。図４では、前記＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントを簡略に記述しているが、前記図４で、前記＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメント（ｅｌｅｍｅｎｔ）を構成している下位エレメントのうち、＜ＰｈｏｔｏＲｏｌｅ＞エレメントは時間的位置を示す。

＜ＰｈｏｔｏＲｏｌｅ＞エレメントは、‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産では基本的に動作すると言えるが、前記＜ＰｈｏｔｏＲｏｌｅ＞エレメントに適した値には、該当ビデオ資産が再生する前にイメージ資産がディスプレイされねばならないということを示す“Ｔｉｌｔｅ”と、該当ビデオ資産の再生が終了した後にイメージ資産がディスプレイされねばならないということを示す“Ｅｎｄ”とがある。

一般的に、イメージ資産の空間的位置を示す＜ＰｈｏｔｏＬｅｆｔ＞エレメント、＜ＰｈｏｔｏＴｏｐ＞エレメント、＜ＰｈｏｔｏＷｉｄｔｈ＞エレメント、＜ＰｈｏｔｏＨｅｉｇｈｔ＞エレメントは、前記‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’エレメントではよく使われていない。図５では、＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントのタイプ定義を示しており、図６では、前記＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントを構成している＜ＰｈｏｔｏＬｅｆｔ＞エレメント、＜ＰｈｏｔｏＴｏｐ＞エレメント、＜ＰｈｏｔｏＷｉｄｔｈ＞エレメント、＜ＰｈｏｔｏＨｅｉｇｈｔ＞エレメント間の位置関係を示している。

一方、図７では、＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞エレメントのタイプ定義を示している。

前述したエレメントを用いてＰｈｏｔｏＷｉｔｈＶｉｄｅｏ資産を定義する方法を例として挙げる。

例１）
＜ＳＭＰＶ：ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００１＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＭＰＶ：ＶｉｄｅｏＲｅｆ＞Ｖ００１＜／ＭＰＶ：ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＤｕｒ＞５＜／ＳＭＰＶ：ＰｈｏｔｏＤｕｒ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞Ｔｉｔｌｅ＜／ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞
‘例１’は、‘Ｖ００１’で参照されるビデオデータが再生する前に‘Ｓ００１’で参照されるイメージデータが５秒間ディスプレイされるように定義している。例えば、再生されるビデオのタイトルまたはデータ複製関連メッセージなどをディスプレイするところに使われうる。

例２）
＜ＳＭＰＶ：ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００２＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＭＰＶ：ＶｉｄｅｏＲｅｆ＞Ｖ００１＜／ＭＰＶ：ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＤｕｒ＞２＜／ＳＭＰＶ：ＰｈｏｔｏＤｕｒ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞Ｅｎｄ＜／ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞
‘例２’は、‘Ｖ００１’で参照されるビデオデータの再生が終了した後に‘Ｓ００２’で参照されるイメージデータが２秒間ディスプレイされるように定義している。

２．‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産
‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産は、単一のビデオ資産に少なくとも１以上のイメージ資産を結合した形態の資産であって、ＸＭＬで記述される場合に‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’エレメントと称することができる。前記イメージ資産及びビデオ資産も、ＸＭＬで記述される文書ではエレメントと取り扱われる。この際、前記イメージ資産は、‘ｍｐｖ：ＳｔｉｌｌＲｅｆ’、‘ＳｔｉｌｌＭｕｌｔｉＳｈｏｔＳｅｑｕｅｎｃｅＲｅｆ’、‘ｍｐｖ：ＳｔｉｌｌＰｎｏｒａｍａＲｅｆ’により表すことができ、前記ビデオ資産は、‘ｓｍｐｖ：ＶｉｄｅｏＰａｒｔＲｅｆ’、‘ｍｐｖ：ＶｉｄｅｏＲｅｆ’、‘ｓｍｐｖ：ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ’、‘ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ’と）表すことができる。前記‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産は、単一のビデオデータが再生される間に複数のイメージデータがディスプレイされる場合を示すので、例えば、ビデオデータの再生前、再生中、再生後に一定時間に相異なるイメージデータがディスプレイされうる。図８では、‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’エレメントの構造を概略的に説明している。前記図８で図示した＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞エレメントのダイヤグラムを見れば、＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とをそれぞれネームスペースとする複数のエレメントからなっていることが分かる。

ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格について提案しているＯＳＴＡのホームページ‘ｗｗｗ．ｏｓｔａ．ｏｒｇ’に記述されているので省略する。したがって、以下では、‘ｓｍｐｖ’をネームスペースとするエレメントについて順に説明する。一方、前記‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産についての説明で、既に記述した内容は省略する。

（１）＜ＰｈｏｔｏＤｕｒＳｅｑ＞
＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメントの値は、それぞれのイメージ資産のディスプレイ時間を示す。この際、単位は秒であり、相対的な時間値を示す。再生される時間は小数点単位でも表すことができる。前記＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメントの値が設定されていない場合には、いかほど長くディスプレイされるか分からないので、必ず定義されねばならない。

前記＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメントの値についての説明を要約すれば、次の通りである。

ＰｈｏｔｏＤｕｒＳｅｑ＝＜ｃｌｏｃｋ−ｖａｌｕｅ＞（“；”＜ｃｌｏｃｋ−ｖａｌｕｅ＞） ［式１］
ｃｌｏｃｋ−ｖａｌｕｅ＝（＜ｓｅｃｏｎｄｓ＞｜＜ｕｎｋｎｏｗｎ−ｄｕｒ＞） ［式２］
ｕｎｋｎｏｗｎ−ｄｕｒ＝ｔｈｅｅｍｐｔｙｓｔｒｉｎｇ ［式３］
ｓｅｃｏｎｄｓ＝＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞（．＜ｄｅｃｉｍａｌ ｎｕｍｂｅｒ＞）。 ［式４］
［式１］は、＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメント値は‘ｃｌｏｃｋ−ｖａｌｕｅ’により表すことができ、イメージデータが２以上である場合には“；”を用いてそれぞれのイメージデータのディスプレイ時間を区別するということを意味する。

［式２］は、前記［式１］で‘ｃｌｏｃｋ−ｖａｌｕｅ’値は‘ｓｅｃｏｎｄｓ’で表すか、‘ｕｎｋｎｏｗｎ−ｄｕｒ’で表すということを意味する。

［式３］は、前記［式２］で‘ｕｎｋｎｏｗｎ−ｄｕｒ’は、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値を設定していないことを意味する。

［式４］は、前記［式２］で‘ｓｅｃｏｎｄｓ’値は１０進数で表し、小数点を用いて該当イメージデータのディスプレイ時間を示すということを意味する。

例えば、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘１２．２’である場合は、該当イメージデータのディスプレイ時間が１２．２秒であることを示す。さらに他の例として、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘２０；８．９’である場合は、該当イメージデータは２つあるが、第１のイメージデータの再生時間は２０秒であり、第２のイメージデータの再生時間は８．９秒であることを示す。

一方、前記図８では、＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞エレメントの下位エレメントとして＜ＳｔａｒｔＳｅｑ＞エレメントを定義しているが、この際、＜ＳｔａｒｔＳｅｑ＞エレメントの値は、ビデオデータが再生する時に再生し始める時点を示す。この際、単位は秒であり、前記ビデオデータが再生し始める時点を基準として相対的な時間値を示す。再生し始める時点は小数点単位にも表すことができる。例えば、＜ＳｔａｒｔＳｅｑ＞エレメントの値が設定されていない場合には、該当値を０秒と見なす。すなわち、該当ビデオデータが再生し始める時点から再生し始める。もし、＜ＳｔａｒｔＳｅｑ＞エレメントの値が該当ビデオデータの総再生時間より大きい場合には、該当ビデオデータの再生が終了した後に再生される結果になるので、このような場合には、＜ＳｔａｒｔＳｅｑ＞エレメントの値を‘０’と見なす。前記＜ＳｔａｒｔＳｅｑ＞の値が負数（−）である場合には、ビデオデータが再生する前にイメージデータをディスプレイすることを意味するので、このような場合には、＜ＰｈｏｔｏＲｏｌｅ＞エレメントの値を設定する。また、前記＜ＳｔａｒｔＳｅｑ＞の値が正数（＋）であり、該当ビデオデータの総再生時間より小さな場合には、イメージデータとビデオデータとが重なることができるので、＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントで空間的位置を定義せねばならない。図９では、前記＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメントを簡略に記述している。

前述したエレメントを用いて‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を定義する方法を例として挙げる。

例１）
＜ＳＭＰＶ：ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００１＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＭＰＶ：ＶｉｄｅｏＲｅｆ＞Ｖ００１＜／ＭＰＶ：ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＤｕｒ＞５＜／ＳＭＰＶ：ＰｈｏｔｏＤｕｒ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞Ｔｉｔｌｅ＜／ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜／ＳＭＰＶ：ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞
‘例１’は、‘Ｖ００１’で参照されるビデオデータが再生する前に、‘Ｓ００１’で参照されるイメージデータが５秒間ディスプレイされるように定義している。例えば、再生されるビデオのタイトルまたはデータ複製関連メッセージなどをディスプレイするところに使われうる。

例２）
＜ＳＭＰＶ：ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００１＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００２＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００３＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＭＰＶ：ＶｉｄｅｏＲｅｆ＞Ｖ００１＜／ＭＰＶ：ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＤｕｒＳｅｑ＞５と、３と、７＜／ＳＭＰＶ：ＰｈｏｔｏＤｕｒＳｅｑ＞
＜ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞−５と、５と、１０＜／ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００１＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞Ｔｉｔｌｅ＜／ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００２＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｅｆｔ＞０＜／ＳＭＰＶ：ＰｈｏｔｏＬｅｆｔ＞
＜ＳＭＰＶ：ＰｈｏｔｏＴｏｐ＞０＜／ＳＭＰＶ：ＰｈｏｔｏＴｏｐ＞
＜ＳＭＰＶ：ＰｈｏｔｏＷｉｄｔｈ＞５０＜／ＳＭＰＶ：ＰｈｏｔｏＷｉｄｔｈ＞
＜ＳＭＰＶ：ＰｈｏｔｏＨｅｉｇｈｔ＞５０＜／ＳＭＰＶ：ＰｈｏｔｏＨｅｉｇｈｔ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜ＭＰＶ：ＳｔｉｌｌＲｅｆ＞Ｓ００３＜／ＭＰＶ：ＳｔｉｌｌＲｅｆ＞
＜ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞Ｅｎｄ＜／ＳＭＰＶ：ＰｈｏｔｏＲｏｌｅ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＬｏｃａｔｉｏｎ＞
＜／ＳＭＰＶ：ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞
‘例２’は、‘Ｖ００１’で参照されるビデオデータが再生する前に‘Ｓ００１’で参照されるイメージデータが５秒間ディスプレイされ、前記ビデオデータがディスプレイされ始めて５秒が過ぎれば、‘Ｓ００２’で参照されるイメージデータが３秒間再生されたみな。次いで、前記ビデオデータの再生が終了すれば、‘Ｓ００３’で参照されるイメージデータが７秒間再生される。図１０では、＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞エレメントのタイプ定義を表している。

（２）＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏＲｅｆ＞
＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントは、＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞エレメントを参照するが、図１１では、前記＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントを簡略に記述している。

（３）＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏＲｅｆ＞
＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏＲｅｆ＞エレメントは、＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞エレメントを参照するが、図１２では、前記＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏＲｅｆ＞エレメントを簡略に記述している。

一方、本発明では、イメージ資産の参照のための参照グループを定義できるが、ここでは、‘ＰｈｏｔｏＲｅｆＧｒｏｕｐ’といい、図１３で、前記ＰｈｏｔｏＲｅｆＧｒｏｕｐグループについて概略的に記述している。

図１４は、本発明の実施による‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産を再生する過程を示すフローチャートである。特に、前記図１４では、１個のイメージ資産と１個のビデオ資産とが結合された‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産をユーザにディスプレイするための過程を示している。

ユーザがＭＰＶフォーマットによって記述されたファイルを実行させることができるソフトウェアを実行させ、特定のアルバムにある‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産を選択する（Ｓ１３００）。次いで、スレッドまたは子プロセッサー（ｃｈｉｌｄ ｐｒｏｃｅｓｓｏｒ）が生成されて、それぞれイメージ資産についての情報及びビデオ資産についての情報を収集する。

すなわち、ユーザが選択した‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産を構成するイメージ資産に対する参照識別子（ｒｅｆｅｒｅｎｃｅ ＩＤ）を抽出する（Ｓ１３０５）。そして、前記参照識別子を用いて資産目録から前記イメージ資産に関する情報を抽出する（図示せず）。一方、さらに他のスレッドまたはさてプロセッサーでは、まず前記イメージ資産と結合されるビデオ資産に対する参照識別子を抽出する（Ｓ１３１０）。そして、前記参照識別子を用いて資産目録から前記ビデオ資産に関する情報を抽出する（図示せず）。

前記イメージ資産に関する情報と、前記ビデオ資産に関する情報とをいずれも抽出すれば、ＭＰＶファイルに記述された＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントの情報を抽出する（Ｓ１３１５）。すなわち、前記ビデオ資産の再生中に前記イメージ資産がどの時点でディスプレイされるかを決定せねばならない。

もし、前記＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントの情報が‘Ｔｉｔｌｅ’に該当する場合には、まず、イメージ資産をディスプレイした後、ビデオ資産をディスプレイする（Ｓ１３２０、Ｓ１３２５、Ｓ１３３０）。

しかし、もし、前記＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントの情報が‘Ｅｎｄ’に該当する場合には、まずビデオ資産をディスプレイした後、イメージ資産をディスプレイする（Ｓ１３３５、Ｓ１３４０、Ｓ１３４５）。

前記＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントの情報が‘Ｔｉｔｌｅ’または‘Ｅｎｄ’ではない場合には、いかなる資産もディスプレイせずに終了、すなわち、ソフトウェア的にはリターンされる（Ｓ１３５０）。

図１５及び図１６は、本発明の実施による‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を再生する過程を示すフローチャートである。

ユーザがＭＰＶフォーマットによって記述されたファイルを実行させることができるソフトウェアを実行させ、特定のアルバムにある‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を選択する（Ｓ１４００）。次いで、スレッドまたは子プロセッサーが生成されて、それぞれイメージ資産についての情報及びビデオ資産についての情報を収集する。

すなわち、ユーザが選択した‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を構成するビデオ資産に対する参照識別子を抽出する（Ｓ１４０５）。そして、前記参照識別子を用いて資産目録から前記ビデオ資産に関する情報を抽出する（図示せず）。一方、さらに他のスレッドまたは子プロセッサーでは、まず前記ビデオ資産と結合されるイメージ資産に対する参照識別子を抽出する（Ｓ１４１０）。そして、前記参照識別子を用いて資産目録から前記イメージ資産に関する情報を抽出する（図示せず）。この際、前記情報のうち、＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメント、＜ＳｔａｒｔＳｅｑ＞エレメント、＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントなどの情報を用いて、前記‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を構成する複数のイメージ資産を、ディスプレイされる順に整列する（Ｓ１４１５）。

次いで、前記複数のイメージ資産をグルーピングするが、前記‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を構成するビデオ資産の再生前にディスプレイされるイメージ資産グループ（以下、‘第１グループ’という）と、前記ビデオ資産の再生中にディスプレイされるイメージ資産グループ（以下、‘第２グループ’という）と、前記ビデオ資産の再生後にディスプレイされるイメージ資産グループ（以下、‘第３グループ’という）でグルーピングする（Ｓ１４２０）。この際、前記グルーピングした情報を別途のデータベースに保存できる（Ｓ１４２５）。

一方、前記Ｓ１４０５ステップと前記Ｓ１４２０ステップとがいずれも終了すれば、前記Ｓ１４２０ステップで行われたグルーピング情報に、まず前記第１グループに属するイメージ資産がディスプレイされる（Ｓ１４３０）。次いで、再生されるビデオ資産が初期化し（Ｓ１４３５）、前記ビデオ資産と前記第２グループに属するイメージ資産とが既設定されたディスプレイ情報によって同時にディスプレイされる（Ｓ１４４０、Ｓ１４４５）。

前記ビデオ資産の再生が終了すれば、前記第３グループに属するイメージ資産がディスプレイされる（Ｓ１４５０）。

一方、ＭＰＶフォーマットにより提供されるマルチメディアデータは、ＸＭＬ文書の形態で記述されて表すことができるが、ＸＭＬ文書に適用されるスタイルシート（ｓｔｙｌｅｓｈｅｅｔｓ）によって、前記ＸＭＬ文書は複数のアプリケーション文書に変換できる。本発明では、ＸＭＬ文書をＨＴＭＬ文書に変換するスタイルシートを適用して、ブラウザーを通じてユーザをしてイメージ及びビデオデータを管理させているが、それ以外にもＷＭＬ（Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ｃＨＴＭＬ（Ｃｏｍｐａｃｔ ＨＴＭＬ）文書に変換するスタイルシートを適用して、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、セルラーホン、スマートホンのようなモバイル端末機を通じて、ユーザがＭＰＶフォーマットにより記述されるイメージ及びビデオデータへの接近が可能である。

本発明によって、イメージデータとビデオデータとが結合された新たな形態のマルチメディアデータ資産をユーザに提供することによって、ユーザは、ＭＰＶフォーマットで記述されるさらに多様なマルチメディアデータを生成して利用できる。

以上で説明した本発明は、当業者によって本発明の技術的思想を逸脱しない範囲内で色々な置換、変形及び変更が可能であるので、前述した実施形態及び添付した図面に限定されるものではない。

ＭＰＶスペックで記述している資産の種類を示す例示図である。 本発明の実施による‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産の構造を概略的に示す例示図である。 本発明の実施による＜ＰｈｏｔｏＤｕｒ＞エレメントを簡略に記述する例示図である。 本発明の実施による＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントを簡略に記述する例示図である。 本発明の実施による＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントのタイプ定義（ｔｙｐｅ ｄｅｆｉｎｉｔｉｏｎ）を示す例示図である。 本発明の実施による＜ＰｈｏｔｏＬｏｃａｔｉｏｎ＞エレメントを構成する空間的位置を示すエレメント間の位置関係を示す例示図である。 本発明の実施による＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ＞エレメントのタイプ定義を示す例示図である。 本発明の実施による‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産の構造を概略的に示す例示図である。 本発明の実施による＜ＰｈｏｔｏＤｕｒＳｅｑ＞エレメントを簡略に記述する例示図である。 本発明の実施による＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ＞エレメントのタイプ定義を示す例示図である。 本発明の実施による＜ＰｈｏｔｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントを簡略に記述する例示図である。 本発明の実施による＜ＶｉｄｅｏＷｉｔｈＰｈｏｔｏＲｅｆ＞エレメントを簡略に記述する例示図である。 本発明の実施によるＰｈｏｔｏＲｅｆＧｒｏｕｐグループを簡略に記述する例示図である。 本発明の実施による‘ＰｈｏｔｏＷｉｔｈＶｉｄｅｏ’資産を再生する過程を示すフローチャートである。 本発明の実施による‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を再生する過程を示すフローチャートである。 本発明の実施による‘ＶｉｄｅｏＷｉｔｈＰｈｏｔｏ’資産を再生する過程を示すフローチャートである。

Claims (16)

1. ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
   ユーザが選択した資産（アセット）が、単一のイメージデータと少なくとも１以上のビデオデータとで構成される資産であるか否かを確認し、前記イメージデータ及び前記ビデオデータをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記イメージデータ及び少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイさせるイメージ及びビデオデータのディスプレイ装置。
2. 前記資産は、前記イメージデータがディスプレイされるディスプレイ時間情報及び前記イメージデータがディスプレイされる位置を示す位置情報を含むことを特徴とする請求項１に記載のイメージ及びビデオデータのディスプレイ装置。
3. 前記ディスプレイ方法は、前記イメージデータがディスプレイされた後に前記ビデオデータがディスプレイされる第１ディスプレイ方法と、前記ビデオデータがディスプレイされた後に前記イメージデータがディスプレイされる第２ディスプレイ方法であることを特徴とする請求項１に記載のイメージ及びビデオデータのディスプレイ装置。
4. ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
   ユーザが選択した資産が、単一のビデオデータと少なくとも１以上のイメージデータとより構成される資産であるか否かを確認し、前記ビデオデータ及び前記イメージデータをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記ビデオデータ及び少なくとも１以上の前記イメージデータを抽出して順次にディスプレイさせるイメージ及びビデオデータのディスプレイ装置。
5. 前記資産は、前記それぞれのイメージデータがディスプレイされるディスプレイ時間情報及び前記イメージデータがディスプレイされる位置を示す位置情報を含むことを特徴とする請求項４に記載のイメージ及びビデオデータのディスプレイ装置。
6. 前記ディスプレイ方法は、前記ビデオデータが再生される前に前記イメージデータをディスプレイする第１ディスプレイ方法と、前記ビデオデータが再生される間に前記イメージデータをディスプレイする第２ディスプレイ方法と、前記ビデオデータの再生が終了した後に前記イメージデータをディスプレイする第３ディスプレイ方法と、前記第１ディスプレイ方法ないし前記第３ディスプレイ方法のうち少なくとも２種以上のディスプレイ方法を結合した第４ディスプレイ方法であることを特徴とする請求項４に記載のイメージ及びビデオデータのディスプレイ装置。
7. ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
   ユーザが選択した資産が、単一のイメージデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認する第１ステップと、
   前記イメージデータ及び前記ビデオデータをディスプレイするための参照情報を抽出する第２ステップと、
   所定のディスプレイ方法によって、前記参照情報から前記イメージデータと少なくとも１以上の前記ビデオデータとを抽出して順次にディスプレイする第３ステップと、を含むイメージ及びビデオデータのディスプレイ方法。
8. 前記資産は、前記イメージデータがディスプレイされるディスプレイ時間情報と、前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする請求項７に記載のイメージ及びビデオデータのディスプレイ方法。
9. 前記ディスプレイ方法は、前記イメージデータがディスプレイされた後に前記ビデオデータがディスプレイされる第１ディスプレイ方法と、前記ビデオデータがディスプレイされた後に前記イメージデータがディスプレイされる第２ディスプレイ方法であることを特徴とする請求項７に記載のイメージ及びビデオデータのディスプレイ方法。
10. ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
    ユーザが選択した資産が、単一のビデオデータと少なくとも１以上のイメージデータとより構成される資産であるか否かを確認する第１ステップと、
    前記ビデオデータと前記イメージデータとをディスプレイするための参照情報を抽出する第２ステップと、
    所定のディスプレイ方法によって、前記参照情報から前記ビデオデータと少なくとも１以上の前記イメージデータとを抽出して順次にディスプレイする第３ステップと、を含むイメージ及びビデオデータのディスプレイ方法。
11. 前記資産は、前記それぞれのイメージデータがディスプレイされるディスプレイ時間情報と、前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする請求項１０に記載のイメージ及びビデオデータのディスプレイ方法。
12. 前記ディスプレイ方法は、前記ビデオデータが再生される前に前記イメージデータをディスプレイする第１ディスプレイ方法と、前記ビデオデータが再生される間に前記イメージデータをディスプレイする第２ディスプレイ方法と、前記ビデオデータの再生が終了した後に前記イメージデータをディスプレイする第３ディスプレイ方法と、前記第１ディスプレイ方法ないし前記第３ディスプレイ方法のうち少なくとも２種以上のディスプレイ方法を結合した第４ディスプレイ方法とであることを特徴とする請求項１０に記載のイメージ及びビデオデータのディスプレイ方法。
13. ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
    前記プログラムは、ユーザが選択した資産が、単一のイメージデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記イメージデータとビデオデータとをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記イメージデータと少なくとも１以上の前記ビデオデータとを抽出して順次にディスプレイさせるが、前記ディスプレイ方法は、前記イメージデーＴＵＫＡディスプレイされた後に前記ビデオデータがディスプレイされる第１ディスプレイ方法と、前記ビデオデータがディスプレイされた後に前記イメージデータがディスプレイされる第２ディスプレイ方法とであることを特徴とする請求項１に記載の記録媒体。
14. 前記資産は、前記イメージデータがディスプレイされるディスプレイ時間情報と、前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする請求項１３に記載のＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体。
15. ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
    前記プログラムは、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のイメージデータとより構成される資産であるか否かを確認し、前記ビデオデータとイメージデータとをディスプレイするための参照情報を抽出した後、所定のディスプレイ方法によって前記参照情報から前記ビデオデータと少なくとも１以上の前記イメージデータとを抽出して順次にディスプレイさせるが、前記ディスプレイ方法は、前記ビデオデータが再生される前に前記イメージデータをディスプレイする第１ディスプレイ方法と、前記ビデオデータが再生される間に前記イメージデータをディスプレイする第２ディスプレイ方法と、前記ビデオデータの再生が終了した後に前記イメージデータをディスプレイする第３ディスプレイ方法と、前記第１ディスプレイ方法ないし前記第３ディスプレイ方法のうち少なくとも２種以上のディスプレイ方法を結合した第４ディスプレイ方法とであることを特徴とする記録媒体。
16. 前記資産は、前記それぞれのイメージデータがディスプレイされるディスプレイ時間情報と前記イメージデータがディスプレイされる位置を示す位置情報とを含むことを特徴とする請求項１５に記載のＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体。

Images