JP2001510673A - キーフレームおよびブロブの検索および格納を最適化する装置および方法 - Google Patents

Abstract

(57)【要約】 マルチメディアまたはハイパーメディア文書から抽出されたビデオまたはブロブ（バイナリラージオブジェクト）から抽出されたキーフレームを、比較的低速のメモリ装置からの検索を最適化するように格納する。検索および格納は、前記ビデオにおける重要すなわち代表的な画像と、テキスト、オーディオ、ビデオ、および、あるマルチメディア文書から他の文書へのハイパーリンクを含む情報におけるユーザ設定とに基づくことができる。冗長情報の除去も可能である。

Description

【発明の詳細な説明】 キーフレームおよびブロブの検索および格納を最適化する装置および方法 ビデオから抽出されたキーフレーム、または、マルチメディアまたはハイパー メディア文書またはウェブページから抽出されたブロブ（バイナリラージオブジ ェクト）を、比較的低速の記憶装置からの検索を最適化するように格納する。 発明の背景 ビデオインデックス付け処理において、これらの発明者と本発明の発明者とが 共同で有する係属出願の米国特許出願第０８／８６７，１４０号「視覚的インデ ックス付けシステムに関する重要シーン検出およびフレームフィルタ処理」およ び米国特許出願第０８／８６７，１４５号「ビデオインデックス付けシステム」 に記載されているように、ビデオを視覚的に記述するキーフレームを、ビデオカ ット検出およびキーフレームフィルタ処理によって抽出し、インデックスを形成 することができる。ビデオカット検出およびキーフレームフィルタ処理において 、キーフレームを多数の可能なフレーム（代表的に、ビデオの１秒あたり３０フ レーム）から選択する。前記キーフレームフィルタ処理後であっても、前記キー フレームの数は、多量であり、ビデオテープあたり２５０キーフレーム程度であ る。このとき代表的に、前記キーフレームが１６０×１２０解像度に縮小され、 ＪＰＥＧフォーマットに圧縮されているとすると、インデックスのサイズは１Ｍ Ｂ程度である。縮小および圧縮なしでは、前記インデックスのサイズは、５０Ｍ Ｂ以上になるかもしれない。このサイズにおいて、キーフレームの検索は、特に 、前記検索を長待ち時間ネットワーク（例えば、インタネット、イントラネット 等）のような低速チャネルまたはＶＨＳテープのような線形テープ媒体において 行う場合、相当長い時間掛かるおそれがある。 同様に、ウェブサイトに関して、ブロブを含むウェブページや、マルチメディ アまたはハイパーメディアが与えられる。ビデオ（または画像）を含むマルチメ ディア文書またはウェブページは、数１０メガバイトのオーダーに成るかもしれ ない多量のメモリを必要とするかもしれない。このようなマルチメディア文書ま たはソフトウェアをダウンロードするために必要な時間は、代表的な２８．８ｋ ｂ／秒モデムではかなり長くなるかもしれない。 ウェブサイトは、ユーザがナビゲートし難いかもしれないほど多くの可能なウ ェブページ、マルチメディア文書およびリンクを含むことができる。各々のマル チメディア文書またはウェブページは、ブロブを含んでもよい。前記ブロブは、 オーディオ、ビデオ、テキスト、ハイパーテキストリンク、または、他の文書へ のリンクを含んでもよい。ページまたはマルチメディア文書およびこれらの個々 のブロブ、特にユーザが興味を持っているこれらのウェブサイト検索は、ブロブ が代表的に時間的または静的な階層において格納されるため、かなり長い時間が 掛かるかもしれない。ユーザ選択または他の予め指定された規準に基づくオーデ ィオ、ビデオ、テキストおよびリンクを含むウェブページをユーザに与えるマル チメディア文書を形成してもよい。 前記キーフレームまたはブロブの検索をユーザフレンドリな方法において最適 化することによって、インデックスまたはマルチメディア文書を、階層的構造表 現を使用して形成する。時間的階層が、ウエダヒロタダおよびタカフミミヤタケ 「ビデオ編集用自動シーン分割およびツリー構造ＧＵＩ」第４ＡＣＭ国際マルチ メディア会議マルチメディア（１９９６年１１月１８〜２２日）：４０５−４０ ６のような文献において、キーフレームの概念的表現として使用されているが、 本発明は、最適化された検索を考慮する時間的階層以外の線形インデックス構造 または線形マルチメディア文書構造を形成する。現在、データベースにおける格 納は、検索に関して最適化されておらず、代わりにトランザクション処理に関し て最適化されている。例えば、データベースシステムは、該システムのデータベ ースにおける編集データ（例えば、挿入、更新および消去データ）のようなトラ ンザクション処理に最適化される。クエリー最適化も利用可能であるが、データ ベースシステムのベンチマークは、並列要求に対してできる限り速くデータを変 更することに集中している。 データベースにおいて、検索の順序は、データベース管理システムが、代表的 に、格納されたデータ内容またはクエリーが要求されているものの知識を持たな いため、予め知られていない。 ディジタルコンパクトカセット（ＤＣＣ）フォーマットにおいて、インデック スシステムは、どのトラックが特定のテープにおいてあるかを記述するが、異な ったトラック間の優先権は存在せず、したがって、内容の検索最適化はできない 。 ウェブページまたは他の同様な形式のマルチメディア文書に関して、情報は、 提供者によって予め指定されたフォーマットに基づいて、ユーザが格納した選択 には基づかずにユーザに与えられる。 本発明の要約 インデックスまたはマルチメディア文書のアクセスを最適化するシステムが望 まれる。本発明は、キーフレームをノードおよびブロブにおいてグループ化し、 これらを階層的に構成し、格納する。この階層は、予め指定されたユーザ設定に 基づく親または子ノードおよびブロブであるノードを含む。１ノードにおけるキ ーフレーム（画像）の数と、親ノードの下の子ノードの数とは、任意である。 図面の簡単な説明 図１は、サンプルの視覚的インデックス階層を示す。 図２Ａ−２Ｂは、本発明による視覚的階層を示す。 図３は、サンプルのヘッダファイルを示す。 図４Ａ−４Ｂは、グループヘッダを有する階層を示す。 図５は、階層の線形表現を示す。 図６Ａ−６Ｅは、階層の詳細な表現を示す。 図７Ａ−７Ｂは、本発明のシステムである。 好適実施形態の説明 本発明は、図１に示すように、階層において、キーフレームまたはブロブのノ ードと、リンクとを含む。この説明においてキーフレームと呼ぶが、この説明を ブロブにも用いることができる。 本発明において、図２Ａに示すように、６キーフレームが１ノードにおいてあ り、最大３６子ノード（１親キーフレームあたり６子キーフレーム）が１親ノー ドの下にある。明らかに、当業者は、ノードの数、または、１親ノードの下の子 ノードの数を変更することができる。 参照のため、ノードの最高レベル（本例において、６キーフレームを有する１ ノード）をレベルＡとし、キーフレームに１，２．．．ｘとラベル付けする。ノ ードの第２レベルはレベルＢであり、６ノードを含む。これらのキーフレームに 、１１，１２，１３．．．１６，２１，２２，２３．．．２６，３１，３２，３ ３．．．３６，．．．とラベル付けし、第３レベルであるレベルＣにおけるキー フレームに、１１１，１１２．．．１１６，１２１，１２２．．．１２６，．． ．とラベル付けする。前記キーフレームに、容易な参照および説明のみのために 番号付けし、これらのレベルと、そのレベルにおける順序とを示す。前記階層の 種々のレベルは、下にあるビデオに関して示す細部のレベルに対応し、本例にお いて、前記ビデオ全体の減少する表現に対応する。例えば、レベルＡにおけるこ れらのキーフレームは、前記ビデオの６つの最高代表フレームであり、レベルＢ におけるキーフレームは、次に高い代表フレームであり、レベルＣにおけるキー フレームは、その次に高い代表フレームである。 前記階層の一例を、６時間長でｘ時間部分に分割されたビデオに関して図２Ａ に示す。この例において、レベルＡにおけるトップノード（１ノードのみを示す ）は、ビデオ全体を表す６つの親キーフレームを各々有し、各々の親キーフレー ムは、６つの子キーフレームを有する。これら６つのキーフレームの各々は、前 記ビデオ全体の１時間に対応してもよく、したがって、前記ビデオを等しい時間 のブロックに分割してもよく、または、ビデオ番組構造に基づいた時間周期に対 応してもよい。 レベルＢにおけるキーフレームは、親キーフレームによって表されるビデオテ ープの一部についてのより詳細を与える。特に、キーフレーム１の下のキーフレ ーム１１，１２，１３．．．１６は、キーフレーム１が表す時間の第１ブロック についてのより詳細を与える。すべてのキーフレームは、ビデオの一部を表す。 この例に関して、６キーフレームを選択し、ビデオ全体を親キーフレーム（レベ ルＡ）として表し、３６キーフレームを選択し、ビデオ全体を子キーフレーム( レベルＢ)として表し、２１６キーフレームを選択し、ビデオ全体を孫キーフレ ーム（レベルＣ）として表す。ノードの各々次のレベルは、親ノードのビデオの 各部分の代表であるキーフレームを含む。 例えば、ノード１は、６キーフレーム（１−６）によって表されるビデオの第 １部分の詳細をすべて有する。次のレベルにおいて、キーフレーム１は、例えば 、６つの子キーフレーム１１−１６によってさらに詳述される。次のレベルにお いて、キーフレーム１１は、例えば、６つの孫キーフレーム１１１−１１６によ ってさらに詳述される。 前記形成された階層は、つりあいのとれたツリーを表す必要はない。加えて、 キーフレーム１を、キーフレーム１１およびキーフレーム１１１と同じにしても よい。 前記時間的階層を、多くの異なった構造を使用するディスクまたはテープのよ うな記憶装置に格納することができる。本発明において、前記階層を、コンピュ ータ読み出し可能媒体に格納するために、前記構造をヘッダファイルにおいて奇 術し、前記キーフレームを別個のノードにグループ化することによって「平坦」 にする。ファイルに関して、本例において、前記キーフレームのファイル名は、 ３０分の１秒における関連する時間情報を表す。 本発明において行うように、関連する視覚的インデックスからの追加のより記 述的な情報を前記ヘッダファイルに含めてもよい。このファイルにおける情報を 、３つのレベル、すなわち、テープ、ノードおよびフレームにおける属性値対に おいて表す。前記属性値対は、新たな属性、例えば、テープまたはフレーム内の オブジェクトの分類に関するレベルを挿入する自由を与える。 同様に、本発明を、ウェブページのようなマルチメディア文書またはハイパー メディア文書を与えるおよび／または検索することに使用してもよい。ユーザは 、ユーザプロファイルまたはユーザ設定情報をサーバによって形成することを可 能にする特定の興味を有してもよく、このとき前記サーバは、前記情報を動的に まとめてもよい。例えば、図２Ｂに示すように、文書（Ｄｏｃｕｍｅｎｔ）１Ａ は、オーディオ、ビデオ（画像）、テキストおよび／または他の文書（Ｄｏｃ１ ，Ｄｏｃ２，Ｄｏｃ３等）１１Ａに対するリンクを含んでもよい。ユーザは、前 記オーディオ、ビデオ、テキストのいくつか、または、これらの他の文書、例え ば、Ｄｏｃ２およびＤｏｃ３に含まれる情報のみに興味があり、他の文書Ｄｏｃ １に含まれる情報に興味がなくてもよい。各々の他の文書Ｄｏｃ１−Ｄｏｃ３は 、テキスト、オーディオおよび／またはビデオと、依然として他のマルチメディ ア文 書１１１Ａに対する他のリンクとを含んでもよい。 形成された前記階層は、ユーザが前記情報（オーディオ、ビデオ、テキストお よび／またはリンク）の検索をどの程度望んでいるか、または、ユーザの設定に 度の程度の関係を有するかを表す必要はない。前記情報において、予め指定され たユーザプロファイルに基づいて分析を行うことができ、前記情報を、再整理さ れた階層をコンピュータ読み出し可能媒体に埋め込まれたユーザファイルに「平 坦化」することによって、時間的階層に再整理することができる。 図３は、サンプルのヘッダファイルを示す。ヘッダは、このような情報を、ビ デオテープＩＤ、ビデオのタイトル、ビデオのカテゴリ、読み出し日付、インデ ックス日付、テープ長、視覚的インデックスのバージョン、画像の解像度、レベ ルの数、子ノードの数および視覚的インデックスにおけるキーフレームの数とし て含んでもよい。この情報は、フレーム番号及び情報を符号化し、これらの符号 化されたフレーム番号および情報に基づいて、記憶部、すなわち、ビデオテープ 、ＣＤ、ＶＣＲにおけるどの位置から位置するべきかを計算することができる。 前記ヘッダファイルに格納された情報を制限し、データ改ざんを防止し、格納を 減少することが望ましいかもしれない。加えて、前記ヘッダファイルを、前記記 憶媒体におけるいくつかの場所において格納し、データ改ざんを防止することが できる。 この例において、視覚的インデックスは、ヘッダファイル（ビデオヘッダ）４ １０または４１６と、キーフレームまたはキーフレーム画像４１２および４１４ または４１８および４２０を含む。本例において２１６のキーフレーム画像の視 覚的インデックスは、４ＫＢのヘッダファイルを有し、前記キーフレーム画像は 、８４４ＫＢを取る。本例において、前記ビデオに対して特定または一般的であ るかもしれない１つのヘッダファイルを使用したが、他の形式のヘッダとしても よいため、図４Ａおよび４Ｂに示すように、レベルまたはグループヘッダ（４２ ２および４２４または４２６または４２８）を追加し、ノードの特定のレベルを 記述することもできる。 格納に関し、図４Ａは、階層的レベル風キーフレームを示し、図４Ｂは、キー フレームの親子風クラスタ化を示す。 図５は、前記階層を平坦化し、線形的に表す、視覚的インデックス構造を示す 。達成するプロセスにおいて、この構造を、ディスクまたは他のコンピュータ読 み出し可能媒体のような時間的装置において形成し、そのすべてをテープのよう な線形媒体またはネットワーク上に書きこむ。本発明において、前記ヘッダファ イルを第１ファイルとし、前記視覚的インデックス内に保存された情報へのアク セスを容易にする。キーフレーム画像ノードファイルの配列を、前記階層的時間 的構造の表現に応じて行う。 前記ユーザインタフェースに応じて、前記キーフレームのノードを、選択され た構造において配列し、保存する。図６Ａは、階層的上下配列を示し、図６Ｂは 、左右配列を示し、図６Ｃは、レベル配列を示す。図６Ｄは、同じフレームの冗 長格納を除外するレベル配列を示す。特に、上述したように、キーフレーム１、 １１および１１１は、同じ画像を表してもよく、したがって、３つすべての格納 は冗長である。したがって、例えば、キーフレーム１のみを格納する。 図６Ｅは、ユーザが無関心を示した他の文書、テキスト、オーディオまたはビ デオへのリンクを除外し、ユーザファイルを与える、マルチメディア文書用配列 を示す。図６Ｅは、図２Ｂにおいて説明した例のための一例の配列を示す。 すべての配列において、使用するならノードヘッダは、前記特定のレベルに関 して、ＩＤ、キーフレーム数のような情報を、各キーフレームに関して、ＩＤ、 注釈、位置、子ノード数およびフレーム署名のような情報を含んでもよい。 ノード画像を含んでもよい。各キーフレームに関して、ＩＤおよび画像データ のような情報を含んでもよい。 前記保存されたキーフレームを検索するために、前記ヘッダファイルを最初に 読み出し、次に、レベルＡ第１キーフレームまたはブロブを読み出し、ディスク または他のコンピュータ読み出し可能媒体のような時間的装置に格納する。前記 視覚的インデックスまたはマルチメディア文書の検索を最適化するために、前記 視覚的インデックスまたはマルチメディア文書を、異なったセグメントにおいて 復元する。各々のセグメントを読み出した後に、前記情報をユーザに表示するこ とができる。したがって、ユーザは、すでにロードされたレベルまたは興味の範 囲をみるために、前記視覚的インデックスまたはマルチメディア文書全体をロー ドするのを待たなくてもよい。ユーザは、興味を最も代表するキーフレームまた はブロブを見ることができ、各々ロードされている前記視覚的インデックスまた はウェブページとしてより詳細にむかって進むことができる。キーフレーム画像 ノードまたはブロブをユーザインタフェースに読み出すときに、メモリに送り、 このメモリから前記画像等をユーザに表示してもよい。最終的に、他のキーフレ ーム画像またはブロブを、予め指定された順序においてロードする。 図７Ａおよび７Ｂは、本発明の例であるシステムを示す。特に、図７Ａにおい て、記憶部７０２は、ビデオインデックスシステムまたは他の自動または手動手 段によって与えられるような選択された数の最も代表的なキーフレームを有する 。記憶部７０２は、前記選択されたキーフレームを第１プロセッサ７０４に供給 し、第１プロセッサ７０４は、前記キーフレームを選択された数のレベルに配列 し、各々のレベルは、予め決められた数の前記最も代表的なキーフレームを含み 、各々次のレベルは、前のレベルの多数のキーフレームを示す。別個の第２プロ セッサ７０５としてもよく、または、第１プロセッサ７０４の一部としてもよい 第２プロセッサ７０５は、少なくとも１つのヘッダファイルを、前記ビデオの最 も代表的なキーフレームについての情報に基づいて形成する。 前記ヘッダファイルおよびキーフレームを、別個のメモリとしてもよく、また は、記憶部７０２の一部としてもよいメモリ７０６におけるインデックスファイ ルに埋め込む。コンピュータ、ＶＣＲまたはテレビジョンのような別個の装置と してもよく、ユーザインタフェースを有してもよいユニット７０８は、前記イン デックスファイルを検索し、各々のレベルを検索するたびに、各々のレベルに関 するキーフレームを与える。 同様に、図７Ｂに示す例であるシステムは、例えば、サーバにおいて存在して もよい記憶部７１０を有する。第１プロセッサ７１２は、ブロブを、選択された 数のレベルに配列する。各々のレベルは、少なくとも１つのテキスト、ビデオ、 オーディオ、および、他のマルチメディアまたはハイパーテキスト文書へのリン タを含む。 別個のプロセッサとしてもよく、または、第１プロセッサ７１２の一部として もよい第２プロセッサ７１３は、ブロブを、ユーザファイルに、ユーザ設定情報 に基づいて編成する。第２プロセッサ７１３は、ブロブまたはリンクを、データ ベースと比べて、または、埋め込まれた情報に基づいて分析し、前記ブロブまた はリンクがユーザの予め指定された興味の範囲内である場合を決定することがで きる、次に、前記第２プロセッサは、ブロブおよびリンクを、この分析に基づい て編成し、図６Ｆに示すように、これらのブロブおよびリンクを、ユーザの予め 指定された最初の興味の範囲のトップに与える。 別個の記憶部としてもよく、または、記憶部７１０の一部としてもよいメモリ ７１４は、前記ユーザファイルに埋め込まれた編成されたブロブおよびリンクを 格納する。コンピュータのようなユニット７１６は、前記ユーザファイルを検索 し、前記ブロブおよびリンクを、各々を検索するたびに、与える。 ここで、容易に理解できるように、本発明は、比較的低速のメモリ装置からの 検索を最適化するような、キーフレームまたはブロブの格納を可能にする。本発 明を、どのようなサブシステムに含めることもでき、別個のサブシステムとする こともできる。当業者は、異なった数のノード、ブロブ、ヘッダ、ノードヘッダ およびノード画像を容易に使用することができる。追加の変更を、当業者によっ て容易に行うことができる。 本発明を拡張し、ビデオクリップ、オーディオ（音、話、音楽、他）、色また はビデオ特性、および／または、（手動的または自動的に加えられた）注釈、テ キストまたはデータを、前記キーフレームと関連して含んでもよく、前記キーフ レームとは別個に含んでもよい。 さらに、マスタインデックスを、ビデオテープ、ファイル、他の収集に関して 格納し、ユーザが、特定のプログラム、セグメント、他が格納されている場所に ついての情報を含むことができる前記マスタインデックスを見ることができるよ うにすることもできる。 前記キーフレームを、図４Ａおよび４Ｂに示すように、ユーザ設定または種々 のクラスタ化方法のような予め指定された規準にしたがって分析し、したがって 認識することもできる。これは、より高い優先権を有するように示されるこれら のキーフレームが、前記インデックスファイルのデータ構造において最初に格納 され、より早い検索を可能とするように格納することを可能にする。 特定の変更を、本発明の精神および範囲から逸脱することなく、上述した構成 において行うことができるため、上述した目的は、上述した説明から明らかにな ったものの範囲内で効果的に達成されることがわかり、上述した説明に含まれる 、または、添付した図面に示されるすべての事項が、説明的であると解釈すべき であり、限定する意味として解釈すべきでないとする。 以下の請求の範囲が、上述した本発明の一般的および特定の特徴のすべてと、 言語の問題としてこれらの間にあると言える本発明の範囲のすべての明細のすべ てとをカバーすることを意図されていることも理解される。

Claims (1)

1. 【特許請求の範囲】 １．ビデオのキーフレームをコンピュータ読み出し可能媒体に、検索を最適化す るように格納する方法において、 前記コンピュータ読み出し可能媒体から、選択された数の最も代表的なキーフ レームを検索し、キーフレームを選択された数のレベルに配列し、各々のレベル が、予め決められた数の前記最も代表的なキーフレームを含み、各々次のレベル が、前記ビデオのより代表的なキーフレームを含むようにするステップと、 前記キーフレームをレベル順にコンピュータ読み出し可能媒体に格納するステ ップとを具えることを特徴とする、キーフレーム格納方法。 ２．請求の範囲１に記載のキーフレーム格納方法において、 少なくとも１つのヘッダファイルを、前記ビデオの最も代表的なキーフレーム についての情報に基づいて形成するステップと、 前記少なくとも１つのヘッダファイルを前記コンピュータ読み出し可能媒体に 格納するステップとを具えることを特徴とする、キーフレーム格納方法。 ３．ビデオのキーフレームを与える方法において、 前記ビデオの選択された数の最も代表的なキーフレームを検索し、検索された キーフレームを選択された数のレベルに配列し、各々のレベルが、予め決められ た数の前記最も代表的なキーフレームを含み、各々次のレベルが、予め決められ た数のより代表的でないキーフレームを含むようにするステップと、 前記キーフレームを、インデックスファイルに埋め込まれたレベル順にコンピ ュータ読み出し可能媒体に格納するステップと、 前記インデックスファイルを検索するステップと、 各々のレベルが検索されるたびに、前記キーフレームを与えるステップとを具 えることを特徴とする、キーフレームを与える方法。 ４．ビデオのキーフレームをメモリに格納するシステムにおいて、 前記ビデオの予め決められた数の最も代表的なキーフレームを有する記憶部と 、 キーフレームを選択された数のレベルに配置し、各々のレベルが、予め決めら れた数の前記最も代表的なキーフレームを含み、各々次のレベルが、前のレベル の複数のキーフレームを含むようにする、第１プロセッサと、 少なくとも１つのヘッダファイルを、前記ビデオの最も代表的なキーフレーム についての情報に基づいて形成する第２プロセッサと、 前記ヘッダファイルおよびキーフレームをレベル順に、インデックスファイル に埋め込んで格納するメモリと、 前記インデックスファイルを検索し、各々のレベルが検索されるたびに、前記 各々のレベルのキーフレームを与えるユニットとを具えることを特徴とするシス テム。 ５．検索を最適化または個人化するマルチメディア文書のブロブをコンピュータ 読み出し可能媒体に格納する方法において、 ユーザ設定ファイルを予め指定された情報に基づいて形成するステップと、 特定のマルチメディア文書に関するブロブを検索し、ブロブを選択された数の レベルに配列し、各々のレベルが、前記特定のマルチメディア文書のブロブと、 他のマルチメディア文書へのリンクとのうちの少なくとも１つを含み、各々次の レベルが、前記他のマルチメディア文書のブロブを含むようにするステップと、 特定のブロブおよびリンクを、ユーザによる検索用のユーザファイルに埋め込 まれた前記ユーザ設定ファイルに基づいて格納するステップとを具えることを特 徴とする方法。 ６．マルチメディア文書のブロブおよびリンクを与える方法において、 選択された少なくとも１つのブロブおよびリンクを検索し、前記選択されたブ ロブおよびリンクを選択された数のレベルに配列し、各々のレベルが少なくとも １つのオーディオ、ビデオ、テキスト、および、他のマルチメディア文書へのリ ンクを含むようにするステップと、 ユーザファイルを、ユーザ設定情報に基づいて形成し、前記ユーザファイルが 前記ブロブおよびリンクを具体化するようにするステップと、 前記ユーザファイルを検索するステップと、 各々が検索されるたびに、前記ブロブおよびリンクを与えるステップとを具え ることを特徴とする方法。 ７．マルチメディア文書のブロブを格納するシステムにおいて、 各々のマルチメディア文書のブロブを有する記憶部と、 選択されたマルチメディア文書のブロブを選択された数のレベルに配列し、各 々のレベルが少なくとも１つのテキスト、ビデオ、オーディオ、および、他のマ ルチメディア文書へのリンクを含み、各々次のレベルが、少なくとも１つのテキ スト、ビデオ、オーディオ、および、前記他のマルチメディア文書の各々に関し て依然として他のマルチメディア文書へのリンクを含むようにする第１プロセッ サと、 ユーザファイルに埋め込まれた前記配列されたブロブを格納するメモリと、 前記ユーザファイルを検索し、各々が検索されるたびに、前記ブロブおよびリ ンクを与えるユニットとを具えることを特徴とするシステム。 ８．第１レベルのキーフレームと、 第２レベルのキーフレームと、 他のレベルのキーフレームとを予め指定されたレベルの順に具えるデータ構造 を具体化するコンピュータ読み出し可能媒体。 ９．第１マルチメディア文書のブロブと、他のマルチメディア文書へのリンクと の少なくとも１つを、ユーザ設定ファイルに基づいた順序において具え、 前記他のマルチメディア文書のブロブと、依然として他のマルチメディア文書 へのリンクとの少なくとも１つを、前記ユーザ設定ファイルに基づいた順序にお いて具え、 前記他のマルチメディア文書のブロブおよびリンクを、前記ユーザ設定ファイ ルに基づいた順序において具えるデータ構造を具体化するコンピュータ読み出し 可能媒体。 １０．第１優先権のキーフレームと、 第２優先権のキーフレームと、 他の優先権のキーフレームとを、予め指定された優先権順に具えるデータ構造 を具体化するコンピュータ読み出し可能媒体。