JP2003511801A - 効率的な概観及びブラウジングのためのビデオ要約記述構造と、ビデオ要約記述データ生成の方法及びシステム - Google Patents

Abstract

(57)【要約】 本発明は要約ビデオをメタデータで記述するためのビデオ要約記述構造に関する。要約ビデオは原ビデオの全体内容が短時間に把握できる概観機能と、所望のビデオ内容を効率的にさがすことができるナビゲーション及びブラウジング機能を提供する。本発明による要約ビデオを記述するための階層的である構造を有する要約記述構造（Hierarchical Summary DS）は、少なくとも一つ以上のハイライトレベル記述構造（Highlihgt Level DS）を含み、要約主題リスト記述構造（Summary Theme List DS）を選択的に含む。前記ハイライトレベル記述構造はハイライトレベル（Highlight Level）について記述し、０個または複数個の下位のハイライトレベル記述構造を有することができる。ハイライトレベル記述構造はそのレベルの要約ビデオを構成する各セグメントの情報を記述する一つ以上のハイライトセグメント記述構造（Highlight Segment DS）を含む。ハイライトセグメント記述構造は該当セグメント区間の時間情報を記述するためのビデオセグメント位置指定記述構造（Video Segment Locator DS）を含む。また、ハイライトセグメント記述構造は該当セグメントの代表映像情報を記述するための映像位置指定記述構造（Image Lacator DS）と代表音響情報を記述するための音響位置指定記述構造（Sound Locator DS）、及びオーディオ要約を構成するオーディオセグメント情報を記述するためのオーディオ位置指定記述構造（Audio SegmentLocator DS）を含むこともできる。

Description

【発明の詳細な説明】

【０００１】 （技術分野） 本発明は効率的なビデオ概観（overview）及びブラウジングのためのビデオ要
約記述構造に関する。また、ビデオ要約記述構造によってビデオ要約を記述する
ためのビデオ要約記述生成の方法及びシステムに関する。本発明の属する技術分
野は、内容を基にしたビデオ索引（ｉｎｄｅｘｉｎｇ）及びブラウジング／検索
の分野で、ビデオを内容に基づいて要約し、これを記述する分野である。

【０００２】 （発明の背景） ビデオ要約形態は大きく分けて、動的要約と静的要約になる。本発明によるビ
デオ記述構造は動的要約と静的要約とを統一的記述構造で効率的に記述するため
のものである。

【０００３】 一般に、既存のビデオ要約及び記述構造はビデオ要約に含まれたビデオ区間に
関する情報を提供するだけなので、現状のビデオ要約と記述構造は要約ビデオの
再現を通じて全体ビデオの内容を伝達するのに限定される。しかし、多くの場合
、要約ビデオを通じて全体内容を概観するだけよりは、全体内容の概観を通じて
関心のある部分を識別し再び呼び出すためのブラウジングが必要である。

【０００４】 また、既存のビデオ要約はビデオ要約提供者が定めた基準によって重要である
と判断されるビデオ区間だけを使用者に提供する。したがって、使用者とビデオ
提供者の基準が異なる場合、あるいは使用者が特別な基準を持つ場合、使用者は
所望のビデオ要約を得ることができない。つまり、既存の要約ビデオは、いくつ
かのレベルの要約ビデオを提供して使用者が所望のレベルの要約ビデオを選択で
きるが、要約ビデオの内容による選択ができないので使用者の選択範囲が制限的
である。

【０００５】 発明の名称が“ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｖｉｄ
ｅｏ ｂｒｏｗｓｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｎｔｅｎｔ ａｎｄ ｓｔｒ
ｕｃｔｕｒｅ”で、登録番号がＵＳ５８２１９４５である特許では、ビデオを集
約的に再現し、その再現を通じて所望の内容のビデオに接近する（access）ブラ
ウジング機能を提供する。しかし、この特許では、代表フレームに基づいた静的
な要約であって、既存の静的要約はビデオショットの代表フレームを利用して要
約するが、この特許の代表フレームは単にそのショットを代表する映像情報だけ
を提供するため、要約を利用した情報伝達に限界がある。この特許に比べて、前
記ビデオ記述構造とブラウジング方法はビデオセグメントに基づいた動的要約を
利用する。

【０００６】 １９９９年７月にＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ
−７ Ｏｕｔｐｕｔ Ｄｏｃｕｍｅｎｔ Ｎｏ．Ｎ２８４４として発表された“
ＭＰＥＧ−７ Ｄｅｓｃｒｉｐｔｉｏｎ Ｓｃｈｅｍｅ（Ｖ０．５）”で提案さ
れたビデオ要約記述構造は、動的要約ビデオの各ビデオセグメントの区間情報だ
けを記述する。これは動的要約を記述する基本的な機能は提供するが、次の側面
で問題点を持っている。まず、従来は要約ビデオを構成する要約セグメントから
原ビデオへの接近（access）を提供できないという短所がある。つまり、使用者
は要約ビデオを通じた概観と要約内容（summary contents）に基づいてより詳細
な内容把握のために原ビデオへ接近しようとするが、従来はこれが提供できなか
った。また、オーディオ要約記述機能が十分に提供できない。最後に事件基盤の
要約（event-based summary）を表現しようとする時、重複記述と探索の複雑性
が不回避となる短所を持っている。

【０００７】 （発明の概要） したがって、本発明は上記の問題点を改善するために、要約ビデオと共に要約
ビデオに含まれた各ビデオ区間ごとに代表フレーム情報、代表音響情報を含み、
要約ビデオの内容に対する使用者の選択を提供する使用者注文形（user customi
zed）の事件基盤要約（event based summary）と効果的なブラウジングを可能に
する階層的ビデオ要約記述構造と、その記述構造を利用したビデオ要約記述デー
タ生成方法及びシステムを提供するのにその目的がある。

【０００８】 このような目的を達成するための本発明の一つの実施例による階層的要約記述
構造は、ハイライトレベルを記述している一つ以上のハイライトレベル記述構造
を含み、前記ハイライトレベル記述構造は、そのハイライトレベルの要約ビデオ
を構成するハイライトセグメント情報を記述している最少限ハイライトセグメン
ト記述構造を含むことを特徴とする。

【０００９】 好ましくは、前記ハイライトレベル記述構造は一つ以上の下位レベルのハイラ
イトレベルＤＳ（ＤＳ＝記述構造）で構成されることを特徴とする。

【００１０】 更に好ましくは、前記ハイライトセグメント記述構造は、前記該当ハイライト
セグメントの時間情報又はビデオ自身を記述しているビデオセグメント位置指定
記述構造を含むことを特徴とする。

【００１１】 前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表フレ
ームを記述している映像位置指定ＤＳを、更に含むことが望ましい。

【００１２】 前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表音響
情報を記述している音響位置指定ＤＳを、更に含むことが一層望ましい。

【００１３】 前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの代表フレ
ームを記述している映像位置指定ＤＳ及び前記該当ハイライトセグメントの代表
音響情報を記述している音響位置指定ＤＳを、更に含むことが望ましい。

【００１４】 前記映像位置指定ＤＳが、前記該当ハイライトセグメントに対応するビデオ区
間の代表フレームの時間情報又は映像データを、記述することが一層望ましい。

【００１５】 前記ハイライトセグメントＤＳが、前記該当ハイライトセグメントの音響要約
を構成している音響セグメント情報を記述している音響セグメント位置指定ＤＳ
を、更に含むことが望ましい。

【００１６】 前記音響セグメント位置指定ＤＳが、前記該当ハイライトセグメントの音響区
間の時間情報又は音響データを記述することが一層望ましい。

【００１７】 好ましくは、前記階層的要約記述構造は、前記階層的要約記述構造に含まれる
全てのサマリーコンポーネントタイプを列挙し、記述しているサマリーコンポー
ネントリストを含むことを特徴とする。

【００１８】 好ましくは、前記階層的要約記述構造は、要約に含まれた事件または主題を列
挙し、そのＩＤを記述している要約主題リスト記述構造（Summary Theme List D
S）を含み、事件中心の要約を記述し、使用者が要約ビデオを前記要約主題リス
トに記述された主題または事件別にブラウジングできるようにすることを特徴と
する。

【００１９】 前記要約主題リストＤＳが、要素としての要約主題を任意件数含み、前記要約
主題が、該当する事件又は主題を表わすｉｄ（識別記号）の属性を含み、この要
約主題が、上位レベルの事件又は主題のｉｄを記述する親ＩＤの属性を更に含む
ことが一層望ましい。

【００２０】 共通の事件又は主題の前記ｉｄ属性を記述している主題Ｉｄの属性を、前記ハ
イライトレベルＤＳが含むと好ましい場合は、該当ハイライトレベルを構成して
いる全てのハイライトセグメント及びハイライトレベルが共通の事件と主題を有
する場合である。

【００２１】 前記ハイライトセグメントＤＳが、前記ｉｄ属性を記述している主題Ｉｄの属
性を含み、該当ハイライトセグメントの事件又は主題を記述することが望ましい
。

【００２２】 また、本発明によると、階層的要約記述構造が保存されたコンピュータで読む
ことができる記録媒体が提供される。 階層的要約記述構造が、ハイライトレベ
ルを記述しているハイライトレベルＤＳを一つ以上含み、ハイライトレベルＤＳ
が、ハイライトレベルの要約ビデオを構成しているハイライトセグメント情報を
記述しているハイライトセグメントＤＳを一つ以上含み、ハイライトセグメント
ＤＳが、前記該当ハイライトセグメントの時間情報又はビデオ自身を記述してい
るビデオセグメント位置指定ＤＳを含むことが望ましい。

【００２３】 また、本発明によると、原ビデオを入力してビデオ要約記述構造に従ってビデ
オ要約記述データを生成するビデオ要約記述データ生成方法が提供される。これ
は原ビデオを入力して分析し、ビデオ分析結果を出力するビデオ分析段階と；要
約ビデオ区間を選択するための要約規則を定義する要約規則定義段階；前記原ビ
デオ分析結果と前記要約規則とを入力して原ビデオからビデオ内容を要約するこ
とができるビデオ区間を選択して、要約ビデオ区間情報を構成する要約ビデオ区
間選択段階；及び前記要約ビデオ区間選択段階から出力された要約ビデオ区間情
報の入力を受けて、階層的要約記述構造によってビデオ要約記述データを生成す
るビデオ要約記述段階を含んでなることを特徴とする。

【００２４】 また、本発明によると、原ビデオを入力してビデオ要約記述構造に従ってビデ
オ要約記述データを生成するビデオ要約記述データ生成システムが提供される。
これは原ビデオを入力して分析し、ビデオ分析結果を出力するビデオ分析手段と
；要約ビデオ区間を選択するための要約規則を定義する要約規則定義手段；前記
原ビデオ分析結果と前記要約規則とを入力して原ビデオからビデオ内容を要約す
ることができるビデオ区間を選択して、要約ビデオ区間情報を構成する要約ビデ
オ区間選択手段；及び前記要約ビデオ区間選択手段で定義された要約ビデオ区間
情報の入力を受けて、階層的要約記述構造を有するビデオ要約記述データを生成
するビデオ要約記述手段を含んでなることを特徴とする。

【００２５】 また、本発明によると、上述したようなビデオ要約記述データ生成方法でビデ
オを階層的要約するビデオ要約記述データ生成システムを機能させるためのプロ
グラムを記録したコンピュータで読むことができる記録媒体が提供される。

【００２６】 また、本発明によるサーバー／クライアント環境でのビデオブラウジングシス
テムは、原ビデオの入力を受けて階層的要約記述構造に基づいてビデオ要約記述
データを生成し、前記原ビデオとビデオ要約記述データとをリンクするビデオ要
約記述データ生成システムを備えたサーバーと； 前記ビデオ要約記述データを利用して前記原ビデオを概観し、前記サーバーの原
ビデオに接近してビデオをブラウジング及びナビゲーションするクライアントを
備えることを特徴とする。

【００２７】 以下、添付した図面を参照して本発明の好ましい一実施例を詳細に説明する。
図中、参照番号は同一部分または同様部分を識別するための用いる。

【００２８】 図１は本発明による記述構造（description scheme）によってビデオ要約記述
データを生成するためのシステムを示したブロック図である。図１に示すように
、本発明によるビデオ要約記述データ生成装置は特徴抽出部１０１、事件検出部
１０２、エピソード検出部１０３、要約ビデオ区間選択部１０４、要約規則定義
部１０５、代表フレーム抽出部１０６、代表音響抽出部１０７、及びビデオ要約
記述部１０８で構成される。

【００２９】 特徴抽出部１０１は原ビデオを入力して要約ビデオを生成するために必要な特
徴を抽出する。一般的な特徴としてはショット境界、カメラの動き、字幕領域、
顔領域などがある。特徴抽出段階ではこれら特徴を抽出して特徴の種類とこれら
特徴が検出されるビデオ時間区間を（特徴種類、特徴一連番号、時間区間）の形
態で事件検出段階に出力する。例えば、カメラ動きの場合（カメラズーム、１、
１００〜１５０）には第１カメラズームが１００〜１５０番目のフレームで検出
されたという情報を表現する。

【００３０】 事件検出部１０２は原ビデオに含まれたキーになる事件を検出する。これら事
件は原ビデオの内容を代表的によく表現しなければならず、要約ビデオを生成す
るのに基準となるものであるため、一般に原ビデオのジャンルに従って区別する
ように定義される。事件は上位の意味レベルを示すこともあり、上位の意味を直
接類推することができるビジュアル特徴であることもある。例えば、サッカービ
デオの場合、ゴール、シュート、字幕、リプレー（ｒｅｐｌａｙ）などを事件と
して定義することができる。

【００３１】 事件検出部１０２は検出した事件の種類とその時間区間を（事件種類、事件番
号、時間区間）形態で出力する。例えば、最初のゴールが２００〜３００フレー
ムの間で発生したという事件情報は（ゴール、１、２００〜３００）の形態で出
力する。

【００３２】 エピソード検出部１０３は検出された事件に基づいてビデオを話の筋に基づい
た一つの事件よりさらに大きい単位のエピソードに分割する。キー事件を検出し
た後、そのキー事件を中心にその事件による付属事件を含んで一つのエピソード
を検出する。一例として、サッカービデオの場合、ゴールとシュートはキー事件
になり、その事件の付属事件としてゴールやシュートが発生した時のベンチ場面
、観衆席場面、ゴールセレモニー場面、ゴール場面のリプレーなどがその事件の
付属事件を構成する。つまり、ゴールとシュートとを中心にエピソードを検出す
る。

【００３３】 エピソード検出情報は（エピソード番号、時間区間、優先順位、特徴ショット
、関連事件情報）の形態で出力する。ここでエピソード番号はエピソードの一連
番号であり、時間区間はそのエピソードの時間区間をショット単位で示す。優先
順位はそのエピソードの重要度を示す。特徴ショットはそのエピソードを構成す
るショットの中で最も重要な情報を含んだショット番号を示し、関連事件情報は
そのエピソードと関係する事件の事件番号を示す。例えば、（エピソード１、４
〜６、１、５、ゴール１、字幕３）のようなエピソード情報を表示する場合、そ
の情報は、第１エピソードが４〜６番目ショットを含み、優先順位が最高（１）
、特徴ショットが５番ショットであり、関連事件が１番ゴールと３番字幕である
ことを示す。

【００３４】 要約ビデオ区間選択部１０４は、検出されたエピソードに基づいて原ビデオ内
容をよく要約することができるビデオ区間を選択する。この区間選択基準は予め
決められた要約規則定義部１０５の要約規則によって行う。

【００３５】 要約規則定義部１０５は要約区間を選択するための規則を定義して要約区間を
選択するための制御信号を出力する。また、要約規則定義部１０５は要約ビデオ
区間選択の基盤となる要約事件種類をビデオ要約記述部１０８に出力する。

【００３６】 要約ビデオ区間選択部１０４は選択された要約ビデオの区間の時間情報をフレ
ーム単位に出力し、ビデオ区間に対応する事件種類を出力する。つまり、（１０
０〜２００、ゴール）、（５００〜７００、シュート）等の形態は要約ビデオ区
間として選択されたビデオセグメントが、１００〜２００フレーム、５００〜７
００フレーム等であって、各セグメントの事件はゴールとシュートであることを
示す。または、要約ビデオ区間だけで構成された追加的ビデオに接近できるよう
にファイル名などの情報を出力することも可能である。

【００３７】 要約ビデオ区間選択が完了すれば、その要約ビデオ区間情報を利用して、代表
フレームと代表音響を代表フレーム抽出部１０６と代表音響抽出部１０７から各
々抽出する。代表フレーム抽出部１０６はその要約ビデオ区間を代表する映像の
フレーム番号またはその映像データを出力する。代表音響抽出部１０７はその要
約ビデオ区間を代表する音響データまたは音響時間区間を出力する。

【００３８】 ビデオ要約記述部１０８は、図２に記述された本発明による階層的記述構造に
よって効果的な要約及びブラウジング機能を可能にする関連情報を記述する。階
層的要約ＤＳの主要情報は、要約ビデオの要約事件種類、各要約ビデオ区間を記
述する時間情報、代表フレーム、代表音響、及び各区間の事件種類を含む。

【００３９】 ビデオ要約記述部１０８は図２に示された記述構造によるビデオ要約記述デー
タを出力する。

【００４０】 図２は、本発明によるビデオ要約記述データを記述する階層的要約記述構造（
Hierarchical Summary DS）のデータ構造をＵＭＬ（Unified Modeling Language
）で示した図面である。

【００４１】 ビデオ要約を記述する階層的要約記述構造２０１は一つ以上のハイライトレベ
ル記述構造（Highlight Level DS）２０２と１個または０個の要約主題リスト記
述構造（Summary Theme List DS）２０３を含んでいる。要約主題リストＤＳ（S
ummary Theme List DS）は要約を構成する主題または事件の情報を網羅的に記述
することで、事件中心の要約及びブラウジングの機能を提供する。

【００４２】 ハイライトレベル記述構造（Highlight Level DS）２０２は、そのレベルの要
約ビデオを構成するビデオ区間数だけの個数のハイライトセグメント記述構造（
Highlight Segment DS）２０４と０個または数個のハイライトレベル記述構造（
Highlight Level DS）で構成される。ハイライトセグメント記述構造は各要約ビ
デオ区間に対応する情報を記述する。ハイライトセグメント記述構造は一つのビ
デオセグメント位置指定記述構造（Video Segment Locator DS）２０５、０個ま
たは数個の映像位置指定記述構造（Image Locator DS）２０６、そして０個また
は数個の音響位置指定記述構造（Sound Locator DS）２０７及びオーディオセグ
メント位置指定記述構造（Audio Segment Locator DS）２０８を含んでいる。

【００４３】 以下、この階層的要約記述構造についてより詳細に説明する。

【００４４】 階層的要約記述構造（Hierarchical Summary DS）は階層的要約ＤＳにより包
括される要約形態を明確に示すサマリーコンポーネントリスト（Summary Compon
ent List）という属性（attribute）を有する。サマリーコンポーネントリスト
（Summary Component List）は要約タイプ（Summary Component Type）に基づい
て派生し、サマリーコンポーネントタイプを含む全てのものを列挙して記述する
。

【００４５】 サマリーコンポーネントリストにはキーフレーム、キービデオクリップ、キー
オーディオクリップ、キーイベント及びアンコンストレイン（unconstrained）
の５種類がある。キーフレームは代表フレームで構成されたキーフレーム要約を
示す。キービデオクリップは主要ビデオ区間の集合で構成されたキービデオクリ
ップ要約を示し、キーイベントは事件または主題に対応するビデオ区間で構成さ
れた要約を示し、キーオーディオクリップは代表オーディオ区間の集合で構成さ
れたキーオーディオクリップ要約を示す。アンコンストレインは前記要約以外の
、使用者が定義した要約形態を示す。

【００４６】 また、事件中心の要約を記述するために階層的要約記述構造は要約に含まれた
事件（または主題）を列挙してそのＩＤを記述する要約主題リスト記述構造（Su
mmary Theme List DS）を含むこともできる。

【００４７】 要約主題リストは任意の数の要約テーマを要素（element）として持つ。要約
テーマはＩＤ形のｉｄという属性を有して親ＩＤという属性を選択的に持つ。

【００４８】 要約主題リスト記述構造は、要約主題リストに記述された各事件又はいくつか
の主題の観点から、使用者が要約ビデオをブラウジングできるようにする。つま
り、記述データを入力する応用ツールは、要約主題リスト記述構造を解析し、こ
の情報を使用者に提示して、使用者が望む主題を選択させる。この時、このよう
な主題を単純な形態に列挙する場合、主題の数が多ければ使用者が望む主題を探
すのが容易でないことがある。

【００４９】 したがって、目次（ToC=Table of Content）と類似したツリー構造として主題
を表現することによって、使用者は、所望の主題を発見した後、主題別ブラウジ
ングが効率的にできる。このために本発明では、要約テーマに親ＩＤの属性を選
択的に使用できるようにする。この親ＩＤとは、ツリー構造における上位の要素
（上位の主題）を意味する。

【００５０】 本発明の階層的要約記述構造はハイライトレベル記述構造（Highlight Level
DSs）を含み、各ハイライトレベル記述構造は、要約ビデオを構成するビデオセ
グメント（または区間）に対応する一つ以上のハイライトセグメント記述構造を
含む。

【００５１】 ハイライトレベル記述構造はＩＤＲＥＦＳ形のテーマＩｄｓの属性を有する。
このテーマＩｄｓは、該当ハイライトレベルに含まれた全てのハイライトセグメ
ント記述構造または該当ハイライトレベル記述構造の子ハイライトレベル記述構
造に共通した、主題及び事件ｉｄを記述するが、このｉｄは前記要約主題リスト
記述構造に記述されている。テーマＩｄｓは数個の事件を意味することができ、
事件中心の要約をする時、そのレベルを構成する全セグメント内で同一ｉｄが不
必要に繰り返される問題点を解決するために、そのレベルを構成するハイライト
セグメント内で共通した主題の形を示すテーマＩｄｓをおく。

【００５２】 ハイライトセグメント記述構造は一つのビデオセグメント位置指定記述構造（
Video Segment Locator DS）と、一つ以上の映像位置指定記述構造（Image Loca
tor DS）と、０個または１個の音響位置指定記述構造（Sound Locator DS）と、
０個または１個のオーディオセグメント位置指定記述構造（Audio Segment Loca
tor DS）を含む。

【００５３】 ここで、ビデオセグメント位置指定記述構造は、要約ビデオを構成するビデオ
セグメントのビデオ自身または時間情報を記述する。映像位置指定記述構造は、
そのビデオセグメントの代表フレームの映像データ情報を記述する。音響位置指
定記述構造は、該当ビデオセグメント区間を代表する音響情報を記述する。オー
ディオセグメント位置指定記述構造は、オーディオ要約を構成するオーディオセ
グメントの区間時間情報又はオーディオ情報自身を記述する。

【００５４】 ハイライトセグメント記述構造はテーマＩｄｓの属性を有する。このテーマＩ
ｄｓは、該当ハイライトセグメントに関連する前記要約主題リスト記述構造内で
記述された主題又は事件を、要約主題リスト記述構造内で定義されたｉｄを利用
して、記述する。テーマＩｄｓは複数の事件を意味することができ、一つのハイ
ライトセグメントに複数の主題を含ませることができるようにして、事件基盤の
要約をするための既存の方法を使う時、事件（または主題）毎にビデオセグメン
トを記述することにより生ずる不可避な重複記述の問題点を解決するという、本
発明の効率的な記述方法である。

【００５５】 要約ビデオを構成するハイライトセグメントを記述する時、単にそのハイライ
トビデオ区間の時間情報だけを記述した既存の階層的要約記述構造とは異なって
、各ハイライトセグメントのビデオ区間情報、代表フレーム情報、代表音響情報
を記述できるように、ビデオセグメント位置指定記述構造、映像セグメント位置
指定記述構造、サウンド位置指定記述構造を設定して、本発明は、ハイライトセ
グメントビデオを通じた概観とそのセグメントの代表フレーム及び代表音響を活
用したナビゲーション及びブラウジングを、要約ビデオを構成するハイライトセ
グメントを記述するためのハイライトセグメント記述構造を導入し、効率的に使
えるようにする。

【００５６】 ビデオ区間に該当する代表音響を記述することができるサウンド位置指定記述
構造を設定して、実際に、そのビデオ区間を代表できる特徴的な音響、例えば銃
声、かん声、サッカーでアンカーのコメント（例、ゴール、シュート）、ドラマ
での俳優の名前、特定単語などを通じて、そのビデオ区間を再生してみなくても
短時間に、その区間が使用者が望む内容を含む重要な区間であるかどうか、どん
な内容が含まれた区間であるかを大略的に把握することで効率的なブラウジング
が可能である。

【００５７】 図３は、図２と同じ記述構造で記述されたビデオ要約記述データを入力する要
約ビデオの再生及びブラウジングのためのツールの使用者インターフェースの構
成図である。ビデオ再現部３０１は使用者の制御に従って原ビデオまたは要約ビ
デオを再生する。原ビデオ代表フレーム部３０５は原ビデオのショットの代表フ
レームを再現する。つまり、一連の縮小映像で構成される。原ビデオのショット
の代表フレームは、本発明の階層的要約記述構造ではなく別途の記述構造で記述
され、この記述データが本発明の階層的要約記述構造で記述された要約記述デー
タと共に提供される時に、活用できる。使用者は、代表フレームをクリックする
ことにより代表フレームに対応する原ビデオのショットに、接近する。要約ビデ
オレベル０代表フレーム部及び代表音響部３０７と要約ビデオレベル１代表フレ
ーム部及び代表音響部３０６は、要約ビデオレベル０と要約ビデオレベル１夫々
の各ビデオ区間を代表するフレームと音響情報を与える。つまり、一連の縮小さ
れた映像及び音響を示すアイコン状映像で構成される。使用者が要約ビデオ代表
フレーム部及び代表音響部の代表フレームをクリックすると、その代表フレーム
に対応する原ビデオ区間に接近する。この時、要約ビデオの代表フレームに対応
する代表音響アイコンをクリックすると、そのビデオ区間の代表音響が再生され
る。

【００５８】 要約ビデオ制御部３０２は要約ビデオを再生するために使用者の選択のための
制御を入力する。多階層の要約ビデオが提供される場合、使用者がレベル選択部
３０３を通じて所望のレベルの要約を選択することにより、概観しブラウジング
する。事件選択部３０４は要約主題リストによって提供される事件及び主題を列
挙して、使用者は所望の事件を選択することにより概観し、ブラウジングする。
結局、これが使用者注文形の要約を実現する。

【００５９】 図４は、本発明の要約ビデオを利用した階層的ブラウジングのためのデータ及
び制御の流れに関する構成図である。ブラウジングは図３の使用者インターフェ
ースを利用して図４の方法でブラウジングのためのデータに接近して行う。ブラ
ウジングのためのデータは要約ビデオと要約ビデオの代表フレーム、原ビデオ４
０６と原ビデオ代表フレーム４０５である。要約ビデオは二つのレベルを有する
ものとする。もちろん要約ビデオが二つ以上のレベルを有することもある。要約
ビデオレベル０（記号４０１）は要約ビデオレベル１（記号４０３）より短く要
約されたものである。つまり、要約ビデオレベル１が要約ビデオレベル０より多
くの内容を含んでいる。要約ビデオレベル０代表フレーム４０２は要約ビデオレ
ベル０の代表フレームであり、要約ビデオレベル１代表フレーム４０４は要約ビ
デオレベル１の代表フレームである。

【００６０】 要約ビデオと原ビデオは、図３のビデオ再現部３０１を通じて再現される。要
約ビデオレベル０代表フレームは要約ビデオレベル０代表フレーム部及び代表音
響部３０６で表示され、要約ビデオレベル１代表フレームは要約ビデオレベル１
代表フレーム部及び代表音響部３０７で表示される。原ビデオ代表フレームは原
ビデオ代表フレーム部３０５に表示される。

【００６１】 図４に示された階層的ブラウジング方法は、次の例のように多様な形態の階層
的経路を有することができる。 場合１）（１）−（２） 場合２）（１）−（３）−（５） 場合３）（１）−（３）−（４）−（６） 場合４）（７）−（５） 場合５）（７）−（４）−（６）

【００６２】 全体的なブラウジング技法は次の通りである。まず、原ビデオの要約ビデオを
見て原ビデオの全体内容を把握する。この時、要約ビデオは要約ビデオレベル０
又は要約ビデオレベル１を再現できる。要約ビデオを見た後、要約ビデオでさら
に詳細にブラウジングしようとする時、関心のあるビデオ区間を要約ビデオ代表
フレームを通じて確認する。正確に探そうとする場面が要約ビデオ代表フレーム
で確認できると、その代表フレームを連結された原ビデオのビデオ区間に直ちに
接近して再生する。より詳細な情報が必要な場合、次のレベルの代表フレームを
把握したり、原ビデオの代表フレームの内容を階層的に把握して、所望の原ビデ
オに接近する。このような階層的ブラウジング技法は所望の内容に接近するため
に、原ビデオを再生しながらブラウジングすると多くの時間がかかるが、原ビデ
オの内容を階層化された代表フレームを通じて直接に接近するために、ブラウジ
ング時間を相当減らすことができる。

【００６３】 既存の一般的なビデオ索引及びブラウジング技法は、原ビデオをショット単位
に分割し、各ショットを代表する代表フレームを構成して代表フレームから所望
のショットを認識してそのショットに接近する。この場合、原ビデオのショット
の個数が非常に多いので多くの数の代表フレームから所望の内容をブラウジング
するのに多くの時間と努力を要する。本発明では要約ビデオの代表フレームで階
層的代表フレームを構成して速く所望のビデオに接近することができる。

【００６４】 場合１）は、要約ビデオレベル０を再現して要約ビデオレベル０代表フレーム
から直ちに原ビデオに接近する場合である。場合２）は、要約ビデオレベル０を
再現して要約ビデオレベル０代表フレームから最も関心のある代表フレームを選
択して原ビデオに接近する前にさらに詳細な情報を把握するために、その代表フ
レームの近くに該当する要約ビデオレベル１の代表フレーム内に所望の場面を確
認して、原ビデオに接近する場合である。場合３）は、場合２）で要約ビデオレ
ベル１代表フレームから直ちに原ビデオに接近するのが難しい場合、さらに詳細
な情報を得るために最も関心のある代表フレームを選択し、その代表フレーム近
くの原ビデオ代表フレームによって所望の場面を確認し、原ビデオの代表フレー
ムを利用して原ビデオに接近する場合である。場合４）と場合５）とは、要約ビ
デオレベル１の再現で開始して経路は上述した場合と類似している。

【００６５】 このような本発明をサーバー／クライアント環境に適用すると、複数のクライ
アントが一つのサーバーに接近してビデオを概観及びブラウジングできるシステ
ムを提供することができる。サーバーに原ビデオを受信して階層的要約記述構造
に基づいてビデオ要約記述データを生成し、前記原ビデオとビデオ要約記述デー
タをリンクするビデオ要約記述データ生成システムを設ける。クライアントは通
信網を通じてサーバーに接近し、ビデオ要約記述データを利用してビデオを概観
して原ビデオに接近してビデオをブラウジング及びナビゲーションする。

【００６６】 本発明の技術思想は前記の好ましい実施例によって具体的に記述されたが、前
記実施例はその説明のためのものであり、その制限のためのものでないことを注
意するべきである。また、本発明の技術分野の通常の専門家であれば本発明の技
術思想の範囲内で様々な実施例が可能であるが理解できるであろう。

【００６７】 以上で説明したように本発明は、要約ビデオの生成と記述構造を通じてビデオ
全体内容を速い時間に把握し、要約ビデオの各ビデオ区間の代表フレーム情報と
代表音響情報を利用して効果的な階層的ブラウジングを可能にする。また、事件
基盤の要約ビデオ記述を通じて事件及び主題による要約ビデオ及びブラウジング
使用者に提供できる使用者注文形の機能も含む。

【図面の簡単な説明】

【図１】 本発明による記述構造（description scheme:DS）によってビデオ要約記述デ
ータを生成するためのシステムを示したブロック図である。

【図２】 本発明による要約ビデオを記述するための階層的記述構造の資料構造をＵＭＬ
（Unified Modeling Language）で示した図面である。

【図３】 本発明による要約ビデオの再現及びブラウジングツールの使用者インターフェ
ースの一実施例である。

【図４】 本発明によるビデオ要約記述データを利用した階層的ブラウジングのためのデ
ータ及び制御流れに関する構成図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ， ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ， ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，Ｋ Ｒ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ， ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，Ｓ Ｉ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 ジャン ヒョン ソン 大韓民国 302−741 デゾンシ ソ−グ マンヨン−ドン ガンビョン アパートメ ント 112−506 (72)発明者 キム ムンチョル 大韓民国 302−734 デゾンシ ソ−グ ドゥンサン ２−ドン 912 ドゥンジ アパートメント 110−405 (72)発明者 キム ジン ウン 大韓民国 305−761 デゾンシ ユソン− グ ジョンミン−ドン エキスポ アパー トメント 305−1603 Ｆターム(参考） 5B075 ND12 NK06 NK39 NK43 NR05 NR20 PQ02 PQ42 5C052 AB02 AC08 DD04 【要約の続き】 記述構造は該当セグメントの代表映像情報を記述するた めの映像位置指定記述構造（Image Lacator DS）と代表 音響情報を記述するための音響位置指定記述構造（Soun d Locator DS）、及びオーディオ要約を構成するオーデ ィオセグメント情報を記述するためのオーディオ位置指 定記述構造（Audio SegmentLocator DS）を含むことも できる。

Claims (32)

【特許請求の範囲】
1. 【請求項１】 ビデオ要約を記述するための階層的要約記述構造であって、
   ハイライトレベルを記述している一つ以上のハイライトレベル記述構造を含み、
   前記ハイライトレベル記述構造が、そのハイライトレベルの要約ビデオを構成す
   るハイライトセグメント情報を記述する一つ以上のハイライトセグメント記述構
   造を含むことを特徴とする階層的要約記述構造。
2. 【請求項２】 前記ハイライトレベル記述構造が一つ以上の下位ハイライト
   レベル記述構造で構成されることを特徴とする、請求項１に記載の階層的要約記
   述構造。
3. 【請求項３】 前記ハイライトセグメント記述構造が、 前記該当ハイライトセグメントの時間情報又はビデオ自体を記述しているビデオ
   セグメント位置指定記述構造を含むことを特徴とする、請求項１に記載の階層的
   要約記述構造。
4. 【請求項４】 前記ハイライトセグメント記述構造が、 前記該当ハイライトセグメントの代表フレームを記述している映像位置指定記述
   構造をさらに含むことを特徴とする、請求項３に記載の階層的要約記述構造。
5. 【請求項５】 前記ハイライトセグメント記述構造が、 前記該当ハイライトセグメントの代表音響情報を記述している音響位置指定記述
   構造をさらに含むことを特徴とする、請求項３に記載の階層的要約記述構造。
6. 【請求項６】 前記ハイライトセグメント記述構造が、 前記該当ハイライトセグメントの代表フレームを記述している映像位置指定記述
   構造と、前記該当ハイライトセグメントの代表音響情報を記述している音響位置
   指定記述構造とをさらに含むことを特徴とする、請求項３に記載の階層的要約記
   述構造。
7. 【請求項７】 前記映像位置指定記述構造が、 前記該当ハイライトセグメントに対応するビデオ区間の代表フレームの時間情報
   又は映像データを記述することを特徴とする、請求項４または６に記載の階層的
   要約記述構造。
8. 【請求項８】 前記ハイライトセグメント記述構造が、 前記該当ハイライトセグメントのオーディオ要約を構成するオーディオセグメン
   ト情報を記述しているオーディオセグメント位置指定記述構造をさらに含むこと
   を特徴とする、請求項３乃至６のいずれか一項に記載の階層的要約記述構造。
9. 【請求項９】 前記オーディオセグメント位置指定記述構造は、 前記該当ハイライトセグメントのオーディオ区間の時間情報又はオーディオデー
   タを記述することを特徴とする、請求項８に記載の階層的要約記述構造。
10. 【請求項１０】 前記階層的要約記述構造が、 前記階層的要約記述構造に含まれる全てのサマリー コンポーネント タイプを
    列挙して記述しているサマリーコンポーネントリストを含むことを特徴とする、
    請求項１に記載の階層的要約記述構造。
11. 【請求項１１】 前記サマリー コンポーネント タイプは、 代表フレームで構成されたキーフレーム要約を示すキーフレームと、キービデオ
    セグメントの集合で構成されたキービデオクリップ要約を示すキービデオクリッ
    プ、事件（event）または主題に対応するビデオ区間の要約を示すキーイベント
    と、代表オーディオ区間の集合で構成されたキーオーディオクリップ要約を示す
    キーオーディオクリップ及び前記要約以外の使用者が定義した要約の形態を示す
    アンコンストレインを含むことを特徴とする、請求項１０に記載の階層的要約記
    述構造。
12. 【請求項１２】 前記階層的要約記述構造は、 要約に含まれた事件（または主題）を列挙し、そのＩＤを記述する要約主題リス
    ト記述構造を含み、事件中心の要約を記述し、使用者が要約ビデオを、前記要約
    主題リストに記述された主題または事件別に、ブラウジングできるようにするこ
    とを特徴とする、請求項１に記載の階層的要約記述構造。
13. 【請求項１３】 前記要約主題リスト記述構造は任意の数の要約テーマを要
    素として含み、 前記要約テーマが、事件または主題を示すｉｄ属性を含むことを特徴とする、請
    求項１１に記載の階層的要約記述構造。
14. 【請求項１４】 前記要約テーマは親ＩＤ属性をさらに含み、上位レベルの
    事件または主題のｉｄを記述するようにすることを特徴とする、請求項１３に記
    載の階層的要約記述構造。
15. 【請求項１５】 前記ハイライトレベル記述構造は、 前記ｉｄ属性を記述するテーマＩｄｓの属性を含み、 対応ハイライトレベルを構成する全てのハイライトセグメントやハイライトレベ
    ルが共通の事件または主題を有すれば、共通の事件または主題のｉｄの属性を記
    述する主題Ｉｄｓの属性を含むことを特徴とする、請求項１３に記載の階層的要
    約記述構造。
16. 【請求項１６】 前記ハイライトセグメント記述構造は、 前記ｉｄ属性を記述するテーマＩｄｓの属性として含み、 対応ハイライトセグメントの事件または主題を記述することを特徴とする、請求
    項１３に記載の階層的要約記述構造。
17. 【請求項１７】 階層的要約ＤＳが保存されたコンピュータ可読記録媒体で
    あって、 前記階層的要約ＤＳが一つ以上のハイライトレベルＤＳを含んでいて、 前記ハイライトレベルＤＳにはハイライトレベルが記述されており、 前記ハイライトレベルＤＳが一つ以上のハイライトセグメントＤＳを含んでいて
    、前記ハイライトセグメントＤＳにはハイライトセグメント情報が記述されてい
    て、 前記ハイライトセグメント情報が前記ハイライトレベルの要約ビデオを構成し、
    前記ハイライトセグメントＤＳがビデオセグメント位置指定ＤＳを含んでいて 前記ビデオセグメント位置指定ＤＳには前記対応ハイライトセグメントの時間情
    報またはビデオ自身が記述されていることを特徴とするコンピュータ可読記録媒
    体。
18. 【請求項１８】 原ビデオの入力を受けてビデオ要約記述構造に従ってビデ
    オ要約記述データを生成する方法において、 原ビデオの入力を受けて分析し、ビデオ分析結果を出力するビデオ分析段階と；
    要約ビデオ区間を選択するための要約規則を定義する要約規則定義段階； 前記原ビデオ分析結果と前記要約規則との入力を受けて原ビデオからビデオ内容
    を要約することができるビデオ区間を選択して要約ビデオ区間情報を構成する要
    約ビデオ区間選択段階；及び 前記要約ビデオ区間選択段階から出力された要約ビデオ区間情報を受信して階層
    的要約記述構造によってビデオ要約記述データを生成するビデオ要約記述段階 を含んでいることを特徴とするビデオ要約記述データ生成方法。
19. 【請求項１９】 前記階層的要約記述構造は、 ハイライトレベルについて記述する少なくとも一つ以上のレベルを有するハイラ
    イトレベル記述構造を含み、 前記ハイライトレベル記述構造はそのレベルの要約ビデオを構成する各ハイライ
    トセグメントの情報を記述する一つ以上のハイライトセグメント記述構造を含み
    、 前記ハイライトセグメント記述構造は前記対応ハイライトセグメントの時間情報
    又はビデオ自体情報とを記述するビデオセグメント位置指定記述構造を含むこと
    を特徴とする、請求項１８に記載のビデオ要約記述データ生成方法。
20. 【請求項２０】 前記ビデオ分析段階は、 原ビデオを入力として受けて特徴を抽出し、検出された特徴の種類と特徴検出ビ
    デオ時間区間を出力する特徴抽出段階と、 前記特徴の種類と特徴が検出ビデオ時間区間の入力を受けて原ビデオに含まれた
    キー事件を検出する事件検出段階と、 前記検出されたキー事件に基づいて原ビデオを筋書き中心に区分してエピソード
    を検出するエピソード検出段階を含んでなることを特徴とする、請求項１８に記
    載のビデオ要約記述データ生成方法。
21. 【請求項２１】 前記要約規則定義段階は、要約ビデオ区間を選択するのに
    基盤となる要約事件種類を定義して前記要約ビデオ記述段階に提供することを特
    徴とする、請求項１８に記載のビデオ要約記述データ生成方法。
22. 【請求項２２】 前記要約ビデオ区間情報の入力を受けて代表フレームを抽
    出し、前記ビデオ要約記述段階に提供する代表フレーム抽出段階をさらに含むこ
    とを特徴とする、請求項１８に記載のビデオ要約記述データ生成方法。
23. 【請求項２３】 前記要約ビデオ区間情報の入力を受けて代表音響を抽出し
    、前記ビデオ要約記述段階に提供する代表音響抽出段階をさらに含むことを特徴
    とする、請求項１８に記載のビデオ要約記述データ生成方法。
24. 【請求項２４】 特徴の種類と特徴検出ビデオ時間区間を出力する特徴抽出
    段階と、 前記特徴の種類と前記特徴検出ビデオ時間区間の入力を受けて原ビデオに含まれ
    たキー事件を検出する事件検出段階、 前記検出されたキー事件に基づいて原ビデオを筋書き中心に区分してエピソード
    を検出するエピソード検出段階 要約ビデオ区間を選択するための要約規則を定義する要約規則定義段階； 前記検出されたエピソードと前記要約規則の入力を受けて原ビデオからビデオの
    内容を要約することができるビデオ区間を選択して要約ビデオ区間情報を構成す
    る要約ビデオ区間選択段階；及び 前記要約ビデオ区間選択段階から出力された要約ビデオ区間情報の入力を受けて
    階層的要約記述構造を有するビデオ要約記述データを生成する要約ビデオ記述段
    階 を実行させるためのプログラムを記録したコンピュータ可読記録媒体。
25. 【請求項２５】 原ビデオの入力を受けてビデオ要約記述構造に従ってビデ
    オ要約記述データを生成するシステムにおいて、 原ビデオを受信して分析してビデオ分析結果を出力するビデオ分析手段と； 要約ビデオ区間を選択するための要約規則を定義する要約規則定義手段； 前記原ビデオ分析結果と前記要約規則の入力を受けて原ビデオからビデオ内容を
    要約することができるビデオ区間を選択して要約ビデオ区間情報を構成する要約
    ビデオ区間選択手段；及び 前記要約ビデオ区間選択手段から出力された要約ビデオ区間情報の入力を受けて
    階層的要約記述構造を有するビデオ要約記述データを生成するビデオ要約記述手
    段 を含んでなることを特徴とするビデオ要約記述データ生成システム。
26. 【請求項２６】 前記階層的要約記述構造は、 ハイライトレベルについて記述する少なくとも一つ以上のハイライトレベル記述
    構造を含み、 前記ハイライトレベル記述構造は、そのレベルの要約ビデオを構成する各ハイラ
    イトセグメントの情報を記述する一つ以上のハイライトセグメント記述構造を含
    み、 前記ハイライトセグメント記述構造は、前記対応ハイライトセグメントの時間情
    報又はビデオ自身を記述するビデオセグメント位置指定記述構造を含むことを特
    徴とする、請求項２５に記載のビデオ要約記述データ生成システム。
27. 【請求項２７】 前記ビデオ分析手段は、 原ビデオを入力として受けて特徴を抽出し、検出された特徴の種類と特徴検出ビ
    デオ時間区間を出力する特徴抽出手段と、 前記特徴の種類と特徴が検出されるビデオ時間区間の入力を受けて原ビデオに含
    まれたキー事件を検出する事件検出手段、 前記検出されたキー事件に基づいて原ビデオを筋書き中心に区分してエピソード
    を検出するエピソード検出手段を含んでなることを特徴とする、請求項２５に記
    載のビデオ要約記述データ生成システム。
28. 【請求項２８】 前記要約規則定義手段は要約ビデオ区間を選択するのに基
    盤となる要約事件種類を定義して前記ビデオ要約記述手段に提供することを特徴
    とする、請求項２５に記載のビデオ要約記述データ生成システム。
29. 【請求項２９】 前記要約ビデオ区間選択手段の要約ビデオ区間情報の入力
    を受けて代表フレームを抽出し、前記ビデオ要約記述手段に提供する代表フレー
    ム抽出手段をさらに含むことを特徴とする、請求項２５に記載のビデオ要約記述
    データ生成システム。
30. 【請求項３０】 前記要約ビデオ区間選択手段の要約ビデオ区間情報の入力
    を受けて代表音響を抽出し、前記ビデオ要約記述手段に提供する代表音響抽出手
    段をさらに含むことを特徴とする、請求項２５に記載のビデオ要約記述データ生
    成システム。
31. 【請求項３１】 特徴の種類と特徴が検出されたビデオ時間区間を出力する
    特徴抽出手段と、 前記特徴の種類と特徴検出ビデオ時間区間の入力を受けて原ビデオに含まれたキ
    ー事件を検出する事件検出手段、 前記検出されたキー事件に基づいて原ビデオを筋書き中心に区分してエピソード
    を検出するエピソード検出手段、 要約ビデオ区間を選択するための要約規則を定義する要約規則定義手段、 前記検出されたエピソードと前記要約規則の入力を受けて原ビデオからビデオ内
    容を要約することができるビデオ区間を選択し、要約ビデオ区間情報を構成する
    要約ビデオ区間選択手段、及び 前記要約ビデオ区間選択段階から出力された要約ビデオ区間情報の入力を受けて
    階層的要約記述構造を有するビデオ要約記述データを生成するビデオ要約記述手
    段 を機能させるためのコンピュータ可読記録媒体。
32. 【請求項３２】 原ビデオの入力を受けて階層的要約記述構造の基盤上にビ
    デオ要約記述データを生成し、前記原ビデオとビデオ要約記述データをリンクす
    るビデオ要約記述データ生成システムを備えたサーバーと； 前記ビデオ要約記述データを利用して前記原ビデオを概観し、前記サーバーの原
    ビデオに接近（access）してビデオをブラウジング及びナビゲーションするクラ
    イアント を備えることを特徴とするサーバー／クライアント環境におけるビデオブラウジ
    ングシステム。