JP2001320670A - 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム - Google Patents

合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム

Info

Publication number
JP2001320670A
JP2001320670A JP2001065149A JP2001065149A JP2001320670A JP 2001320670 A JP2001320670 A JP 2001320670A JP 2001065149 A JP2001065149 A JP 2001065149A JP 2001065149 A JP2001065149 A JP 2001065149A JP 2001320670 A JP2001320670 A JP 2001320670A
Authority
JP
Japan
Prior art keywords
key frame
key
composite
segment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001065149A
Other languages
English (en)
Inventor
Bai Jun San
サン・バイ・ジュン
Chan Eui Cheong
チャン・ユイ・チョン
Ro Yuun Kyon
キョン・ロ・ユーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2001320670A publication Critical patent/JP2001320670A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 規定された大きさの画面に多量の情報を表現
し得る合成キーフレームの生成方法を提供する。 【解決手段】 ソースから出力されるビデオストリーム
の入力を受け、意味を有する区間に区分する段階と、区
分された区間を代表するキーフレーム／キーフレーム、
または、キー領域／キー領域を選択する段階と、選択さ
れたキーフレーム／キーフレーム、または、キー領域／
キー領域を組合せて１つのフレームに合成する段階とを
順次行って合成キーフレームを生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、マルチメディアを
内容ベースでサーチするサーチシステムに係るもので、
詳しくは、規定された大きさの画面に多量の情報を表現
し得る合成キーフレームの生成方法及びそれを利用した
ビデオブラウジングシステムに関するものである。
【従来の技術】最近、イメージ／ビデオ技術の発達によ
り、使用者は所定のビデオ（または、動映像、例えば、
映画、ドラマ、ドキュメンタリープログラム等）に対し
て、所望の時点または所望の部分のビデオを探し、ブラ
ウジングできるようにようなっている。
【０００２】非線形的なビデオブラウジング、または、
サーチを行なうための基本技術としては、ショット分割
方法、すなわちショットセグメント化及びショットクラ
スタリング方法あげることができる。それらの方法はマ
ルチメディアのコンテンツを分析するときに利用され
る。
【０００３】ビデオ／イメージ技術分野で用いれる一般
用語中、ショットとは、一つのカメから妨害を受けるこ
となく得られたビデオフレームのあるシークエンスであ
って、ビデオを構成する最も基本となる単位、且つ、ビ
デオを分析する最も基本となる単位を意味するもので、
また、シーンとは、ビデオで意味を有する構成要素、す
なわち、ストーリの展開面で意味的な区分要素である。
つまり、一つのシーン内には幾つかのショットが含まれ
る。
【０００４】一方、ビデオインデクシング技術は、ビデ
オを構造的に分析してショット及びシーンを検出するた
めに利用される。その技術は、それらのショット及びシ
ーンに基づいてショット／ショット及びシーン／シーン
により構成される全体の中の一部、すなわちセグメント
を代表し得るキーフレームまたはキー領域を抽出する。
そして、その抽出されたキーフレームまたはキー領域を
利用して、ビデオを要約するか、または、ビデオを要約
する資料を活用して、ビデオの所望の位置に移動できる
ようにする。
【０００５】一般のビデオストリームの構造的情報にお
いては、図１６に示したように、ビデオストリームは、
論理的な単位として複数のシーンに分割されており、各
シーンは多数のサブシーン、または、ショットに分割さ
れ、さらに、各ショットは複数のフレームに分割され
る。
【０００６】多くのビデオインデクシングシステムは、
ビデオストリームからショットを抽出し、抽出されたシ
ョットに基づいてシーンを検出することにしたがって、
ビデオストリームの構造的情報をインデクシングする。
すなわち、ビデオインデクシングシステムは、シーンま
たはショットを代表するキーフレーム（単位セグメント
をうまく表現するために、ビデオストリームから抽出さ
れたビデオフレーム）を抽出し、その抽出されたキーフ
レームを利用するか、または、ニュースなどの特定ビデ
オストリームに含まれたキー領域を利用して、ビデオス
トリームをインデクシングし／要約し／ブラウジングす
る。
【０００７】従来のアンカフレームとキー領域との関係
を図１７に示す。アンカフレーム（Ｆ−ａｎ）内のニュ
ースアイコンは、ニュースを要約するイメージや文字か
ら構成されている。それがキー領域（Ｒｅｇ−ｋ）とし
て選択されると、当該ニュースセグメントを代表する要
素となる。すなわち、キー領域（Ｒｅｇ−ｋ）が、イメ
ージからテキスト、人の顔、特定部分のカラー分布特
性、横／縦の比率（例えば、ニュースアイコンの）及び
動きなどの情報が抽出されて、セグメントの内容を含む
（または、代表）するよう設定される。
【０００８】従来の非線形的ビデオブラウジングインタ
ーフェースは、図１８に示したように、ビデオ再生ビュ
ー（Ｖ−ＶＤ）と、ショット／ショット及びシーン／シ
ーンを代表する各キーフレーム（すなわち、一つのビデ
オフレーム）ビュー（Ｖ−Ｆｋ）と、使用者にビデオス
トリームの構造的情報を提供するツリー形態の目次（Ｔ
ＯＣ：Ｔａｂｌｅ Ｏｆ Ｃｏｎｔｅｎｔ）ビュー（Ｖ
−ＴＯＣ）とを含んでいる。ここで、ツリー形態の目次
において各ノード（例えば、ＮＤ）は、各下部ツリーに
含まれている内容を代表するショット及びシーンであっ
て、キーフレームを意味する。従って、上述したような
インターフェースは、ユーザーが所望するビデオ部分に
移動することを容易にし、さらには、ビデオ全体を見な
くてもストリームから所望の部分だけを選択してブラウ
ジングすることを可能にする。
【０００９】
【発明が解決しようとする課題】然るに、このようなキ
ーフレームまたはキー領域を用いてビデオストリームの
部分の区間を代表したビデオをインデクシングし／要約
し／ブラウジングするといった従来のビデオブラウジン
グシステムにおいては、次のような不都合な点があっ
た。
【００１０】１）画面の大きさが規定され、そこに相対
的に多量の情報を表現することが出来ない。非線形的な
ビデオブラウジングシステム及びＵＭＡ（Universal Mu
ltimedia Access Applications）として利用されている
従来のキーフレーム及びキー領域は、イメージを通じて
ビデオストリームの概略的な内容を使用者に伝達するた
めの手段として利用されている。しかし、実際には、使
用者は規定された大きさの画面に表現される少数のキー
フレームまたはキー領域からビデオストリームに対する
全般的な内容を把握することが容易でない。すなわち、
ビデオに含まれたプログラムのジャンルや特性にしたが
ってやや差はあるが、一つのショットはほぼ数秒〜数十
秒ほどディスプレーされる量のビデオフレームとして構
成され、シーンは各ショットの連続により構成されるた
め、長いか変化の激しいショットに対しては、一つのキ
ーフレームがショットを代表することはできないため、
通常は一つのシーンまたはショットに対して、複数のキ
ーフレームが設定されることが多い。また、規定された
大きさの画面に、一度に多数のキーフレームを表示する
ことが出来ないＴＶ、または、携帯用端末機に対し、シ
ョット／ショット及び／またはシーン／シーンを含むセ
グメントの全体内容を表現するために相対的に多数のキ
ーフレームが提供されると、相対的に多数のキーフレー
ムをブラウジングすべきであるため、使用者は入力装置
の操作回数を増加させなければならなくなる。そこで、
キーフレームの個数を低減させる案が考えれるが、上述
したように、少数のキーフレームではビデオストリーム
の内容を代表することができないという問題点が発生す
る。したがって、規定された大きさの画面に多量の情報
を表示し得る効率的な使用者インターフェースが要求さ
れる。
【００１１】２）ショット、または、サブシーンを含む
シーンに対し、シーンの内容を一つのキーフレームとし
て選定することが困難である。例えば、図１８の非線形
的ビデオブラウジングインターフェースに示したよう
に、一つのノードが、シーンとしてキーフレームである
と設定され、それがサフ゛シーン及び／またはショット
の内容を含んでいるサブノードを持っていても、使用者
は下位ノードをサーチしなくても、上位ノードに該当す
るキーフレームだけをブラウジングすることにしたがっ
て、自分が関心を持つ位置を容易に選択してサーチする
ことができる。しかし、このようにショットにより構成
されたシーンの内容を伝達することが可能なキーフレー
ムを選定したとしても、そのキーフレームがセグメント
の内容を適切に代表、または、表現しているとは限ら限
らない。従って、階層構造のビデオストリームにおい
て、上部構造のキーフレームが下部構造に含まれた内容
をうまく反映できるように、ビデオストリームを要約す
る新しいビデオ要約方法が求めれている。
【００１２】本発明は、このような従来の課題に鑑みて
なされたもので、規定された大きさの画面に多量の情報
を表現することが可能な合成キーフレームの生成方法を
提供することであるものである。本発明の他の目的は、
キーフレームまたはキー領域を組合せることにしたがっ
て論理的または物理的に形成される合成キーフレーム描
写方法を提供することであるものである。本発明のその
他の目的は、合成キーフレームを利用してビデオを階層
に要約し得る方法を提供することである。本発明のさら
にその他の目的は、合成キーフレームを利用したビデオ
ブラウジングインターフェースを提供することである。
さらに、本発明のその他の目的は、合成キーフレームを
利用した非線形的ビデオブラウジング方法を提供するこ
とである。本発明のその他の目的は、合成キーフレーム
を利用したデータ管理技法を提供することである。
【００１３】
【課題を解決するための手段】このような目的を達成す
るため、本発明に係る合成キーフレームの生成方法にお
いては、第１ソースから出力されるビデオストリームの
入力を受け、意味を有する区間に区分する段階と、その
区分された区間を代表するキーフレームまたはキー領域
を選択する段階と、選択されたキーフレームまたはキー
領域を組み合わせて１つのフレームに合成する段階を含
むことを特徴とする。
【００１４】そして、本発明に係る合成キーフレームデ
ータの描写方法においては、ビデオストリームを意味を
有する区間に区分し、各区間の内容を代表するキーフレ
ームまたはキー領域を一つのイメージに組み合わせて合
成キーフレームを生成する段階と、合成キーフレームの
構成要素に含まれるキーフレームまたはキー領域の目録
を描写する段階を含むことを特徴とする。
【００１５】また、本発明に係る合成キーフレームデー
タの描写方法においては、ビデオストリームを意味を有
する区間に区分し、各区間の内容を代表するキーフレー
ムまたはキー領域を一つのイメージに組み合わせて合成
キーフレームを生成する段階と、合成キーフレームの構
成要素に含まれるキーフレーム、キー領域、キーフレー
ム及びキー領域の組合せを生成し、物理的に格納して合
成キーフレームを描写する段階を含むことを特徴とす
る。
【００１６】さらに、本発明に係る合成キーフレームを
利用した階層ビデオ要約方法においては、ビデオストリ
ームを意味を有する区間に区分し、各区間の内容を代表
するキーフレームまたはキー領域を一つのイメージに組
み合わせて合成キーフレームを生成する段階と、キーイ
メージ指定子、下位要約構造を描写するための階層要約
構造目録、及び、ビデオストリームの構造的情報に対し
て合成キーフレームを割当する段階を含むことを特徴と
する。
【００１７】さらに、本発明に係るビデオブラウジング
インターフェース手順においては、ビデオストリームを
意味を有する区間に区分し、各区間の内容を代表するキ
ーフレームまたはキー領域を一つのイメージに組み合わ
せて合成キーフレームを生成する段階と、所定ディスプ
レーに生成された合成キーフレームに関連したビデオを
ブラウジングすることができるように使用者インターフ
ェースを提供する段階を含むことを特徴とする。
【００１８】そして、本発明に係る合成キーフレームを
利用した非線形的なビデオブラウジング方法において
は、ビデオストリームを意味を有する区間に区分し、各
区間の内容を代表するキーフレームまたはキー領域を一
つのイメージに組み合わせて合成キーフレームを生成す
る段階と、所定ディスプレーに生成された合成キーフレ
ームに関連したビデオをブラウジングすることができる
ように使用者インターフェースを表示する段階と、使用
者入力により合成キーフレームが選択される段階と、選
択された合成キーフレームが代表するセグメントを再生
する段階を含むことを特徴とする。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態に対
し、図面を用いて説明する。本発明に係る合成キーフレ
ームは、図１（Ａ）に示したように、ビデオストリーム
が所定のセグメント（Ｓｇｔｌ、Ｓｇｔ２、．．．、Ｓ
ｇｔｉ、Ｓｇｔｉ＋１、．．．）に分割されるとき、セ
グメント（Ｓｇｔｉ）内の所定の各時点（ｔｌ、ｔｍ、
ｔｎ）で抽出される各フレーム（Ｆｌ、Ｆｍ、Ｆｎ）か
らキーフレームまたはキー領域（Ｒｅｇ−ｋ）を組合せ
ることにしたがって生成される。
【００２０】また、本発明に係る合成キーフレームは、
図１（Ｂ）に示したように、ビデオストリームが所定の
セグメント（Ｓｇｔｌ、Ｓｇｔ２、．．．、Ｓｇｔｊ、
Ｓｇｔｊ＋１、．．．）に分割されるとき、セグメント
（Ｓｇｔｊ＋１）内の所定の各時点（ｔｏ、ｔｐ、ｔ
ｑ、ｔｒ）から抽出される各フレーム（Ｆｏ、Ｆｐ、Ｆ
ｑ、Ｆｒ）及び外部ソースから入力される外部フレーム
（Ｆｅｘｔ）からキーフレームまたはキー領域（Ｒｅｇ
−ｋ）を組合わせることにしたがって生成される。
【００２１】すなわち、本発明に係る合成キーフレーム
は、従来のキーフレームとは異なって、ビデオストリー
ムから特定セグメントを代表させるために、意味的情報
を有する領域またはキーフレームを組合わせることにし
たがって生成されるため、ビデオストリームに物理的に
生成されているフレームではない。
【００２２】そして、本発明に係るセグメント指定子及
びイメージ指定子の描写構造に対して、図２（Ａ）
（Ｂ）に基づいて説明する。先ず、セグメント指定子
は、図２（Ａ）に示したように、ビデオストリームから
セグメントを指定する手段であって、固有識別子（Ｉ
Ｄ）、実際にビデオのようなメディアファイルを指定す
るメディアＵＲＬ、実際のセグメントデータ、そのセグ
メントの開始／終了時点及び長さのような変数を表示す
るセグメント時間情報、セグメントに対する注釈を行う
描写情報、及び、関連するセグメントに対する関連セグ
メント目録のような構成要素を含む。
【００２３】ここで、関連セグメント目録は、各セグメ
ント間の要約、詳細説明関係及び原因／結果関係などを
表示するために使用され、目録の構成要素はセグメント
指定子またはセグメント指定子を参照するための識別子
などの変数を含む。
【００２４】また、イメージ指定子においては、図２
（Ｂ）に示したように、イメージを指定する手段であっ
て、固有識別子（ＩＤ）、実際のイメージファイルを指
定するイメージＵＲＬ、実際のイメージデータ、イメー
ジを説明する描写情報、及び、イメージと関連するセグ
メント目録などの変数を含む。
【００２５】図３は、本発明に係るキーフレーム指定子
の描写構造を示したもので、イメージ指定子、該当のキ
ーフレームが如何なるセグメントを代表しているかを表
示する代表セグメント指定子、及び、該当セグメントを
如何にうまく表現しているかを表示する充実度情報を含
む。
【００２６】図４は、本発明に係るキー領域指定子の描
写構造を示したもので、論理的なキー領域描写構造、ま
たは、物理的なキー領域描写構造により表示される。
【００２７】論理的なキー領域描写構造としては、固有
識別子（ＩＤ）、該当領域が存在するイメージを指定す
るイメージ指定子、及び、イメージ指定子により指定さ
れたイメージからキー領域に該当する領域情報、該当キ
ー領域が如何なるセグメントを代表しているかを表示す
る代表セグメント指定子、該当キー領域が該当セグメン
トを如何にうまく表現しているかを表示する充実度情
報、その他、注釈のための描写情報、及び、キー領域と
関連するセグメントを指定する関連セグメント目録など
を含む。なお、論理的なキー領域描写構造は、実際に領
域データが独立的に存在しない場合にメタデータを利用
してキー領域を描写する。
【００２８】一方、物理的なキー領域描写構造において
は、固有識別子（ＩＤ）、キー領域に対する実際のデー
タ、必要にしたがって如何なるセグメントを代表してい
るかを表示する代表セグメント指定子、充実度情報、描
写情報、及び、関連セグメント目録などを含む。
【００２９】本発明に係る合成キーフレームを利用した
ビデオブラウジングインターフェースのために、合成キ
ーフレームは、物理的に生成されているか、または、論
理的にビデオストリームに対する内容ベースデータ領域
に描写されているべきである。
【００３０】図５は、本発明に係る合成キーフレーム情
報の描写構造を示したもので、論理的な描写構造、また
は、物理的な描写構造により表現される。ここで、論理
的合成キーフレーム描写構造は、固有識別子（ＩＤ）、
合成キーフレームが代表するセグメントを指定する代表
セグメント指定子、合成キーフレームの構成要素である
キーフレーム目録及びキー領域目録、合成キーフレーム
が該当のセグメントを如何にうまく表現しているかを表
示する充実度情報、及び、合成キーフレームにおける各
構成要素の配列状態を表現する配列情報等の変数を含
む。
【００３１】一方、物理的合成キーフレーム描写構造に
おいては、固有識別子（ＩＤ）、実際の合成キーフレー
ムを指定するイメージ指定子、合成キーフレームが代表
するセグメントを指定する代表セグメント指定子、該当
セグメントを如何にうまく表現しているかを表示する充
実度情報、合成キーフレームに関連するキーフレームま
たはキー領域に対する目録、及び、合成キーフレームに
おける各構成要素の配列状態を表現する配列情報などの
変数を含む。
【００３２】ここで、キーフレーム目録を構成するキー
フレーム要素は、キーフレーム描写単位構造であって、
該当キーフレームを指定するキーフレーム指定子及び該
当キーフレームが合成キーフレーム構造において如何に
重要な意味的情報を表現しているかを表示する充実度情
報を含む。また、キー領域目録を構成するキー領域要素
は、キー領域描写単位構造であって、該当キー領域を指
定するキー領域指定子及び該当キー領域が合成キーフレ
ーム構造において如何に重要な意味的情報を表現してい
るかを表示する充実度情報を含む。
【００３３】なお、充実度情報は、自動または手動的に
抽出することが可能で、自動抽出方法により抽出される
充実度情報は、キー領域の持続時間、オブジェクトの大
きさ及びオーディオなどの情報と、それら情報のマッチ
ング水準とを考慮して求められる。
【００３４】図６は、本発明に係る合成キーフレームの
構成要素の配列に関するレイアウト描写構造を示したも
ので、ＨＴＭＬまたはＸＭＬのようなマークアップ言語
により表現されている。
【００３５】レイアウト描写構造は、合成キーフレーム
の各構成要素を重ねて配列することができるため、第１
層（ｌａｙｅｒ＝０）、第２層（ｌａｙｅｒ＝
１）、．．．それぞれに対する層（Ｌａｙｅｒ）情報
と、各層に含まれたキーフレームまたはキー領域が画面
にディスプレーされるか、または、ディスプレーされる
位置情報とを含む。
【００３６】以下、本発明に係る合成キーフレーム構造
及び合成キーフレームの形成方法を放送プログラムに適
用した例を図面を参照して説明する。
【００３７】Ａ）ニュースビデオから形成された合成キ
ーフレーム 図７は、本発明に係るニュースビデオの構造を示したも
のである。一般に、ニュースビデオは、内容にしたがっ
て、ヘッドラインニュースセクション（ＮＳ−ＨＬ）、
詳細ニュース説明セクション（ＮＳ−ＤＴ）、要約ニュ
ースセクション及び天気／スポーツセクション等により
構成され、場合にしたがっては、コマーシャルセクショ
ンを追加で含めて構成される。そして、各セクションは
それぞれサブセクションを含みて構成される。
【００３８】ここで、各セクションは、ビデオストリー
ム構造におけるシーンに該当する。例えば、ヘッドライ
ンニュースセクション（ＮＳ−ＨＬ）は、内容にしたが
ってヘッドラインアイテム（ＨＬ−ｉｔ）毎に区分さ
れ、詳細ニュースセクション（ＮＳ−ＤＴ）もニュース
アイテム（ＤＴ−ｉｔ）毎に区分することが可能であ
る。ここで、各アイテムはキーフレームにより形成され
る。
【００３９】そして、各ニュースアイテム（ＤＴ−ｉ
ｔ）は、基本的にアンカシーン（Ｓｃｎ−ａｎ）とエピ
ソードシーン（Ｓｃｎ−ｅｐ）とに分割され、ヘッドラ
インアイテム（ＨＬ−ｉｔ）及びエピソードシーン（Ｓ
ｃｎ−ｅｐ）は個別ショットにより構成される。
【００４０】図８は、本発明に係るヘッドラインニュー
スセクション（ＴＳ−ＨＬ）の合成キーフレームを示し
たものである。ヘッドラインニュースセクション（ＮＳ
−ＨＬ）は、例えば、５つのヘッドラインアイテム（Ｈ
Ｌ−ｉｔ）により構成され、それら５つのヘッドライン
アイテムは２３個のショットにより構成されて、ランニ
ングタイムは５９秒ほどである。５つのヘッドラインア
イテムは、各時点（ｔ１、ｔ２、ｔ３、ｔ４、ｔ５）か
ら抽出された各キーフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ
４、Ｆ５）である。
【００４１】従って、本発明に係る一つの合成キーフレ
ーム（Ｆｓｋ）は、各キーフレーム（Ｆ１、Ｆ２、Ｆ
３、Ｆ４、Ｆ５）から、各テキストにより構成されたキ
ー領域（Ｒｅｇｌ、Ｒｅｇ２、Ｒｅｇ３、Ｒｅｇ４、Ｒ
ｅｇ５）が抽出され、合成されることにしたがって生成
される。合成キーフレームは、一定に規定された大きさ
の画面にヘッドラインニュースセクション（ＮＳ−Ｈ
Ｌ）の全体内容を一度に表示することができる。
【００４２】これに対して、従来のビデオインデクシン
グシステムの場合は、個別ショットまたはシーンに対し
て１つ以上のキーフレームを割当てるため、例えば、ヘ
ッドラインニュースセクションを代表するだけのキーフ
レームを幾つか選択しなければならないだけでなく、１
つの画面に一度に表示することができないという問題点
を有していた。
【００４３】図９（Ａ）（Ｂ）は、本発明に係る各詳細
ニュース説明セクション（ＴＳ−ＤＴ）の合成キーフレ
ームを示したものである。図９（Ａ）は、詳細ニュース
説明セクション（ＴＳ−ＤＴ）中の、例えば、ランニン
グタイムが５７秒ほどで、２１個のショットにより構成
された１つのニュースアイテム（ＮＳ−ｉｔ）から形成
される合成キーフレーム（Ｆｓｋ）を示したものであ
る。図９（Ｂ）は、例えば、ランニングタイムが１０７
秒で、２１個のショットにより構成された１つのニュー
スアイテムから形成される合成キーフレーム（Ｆｓｋ）
を示したものである。
【００４４】従って、各ニュースプログラム毎に、それ
ぞれのニュースアイテムに対応する一つの合成キーフレ
ームを異なるように形成することができる。また、合成
キーフレームがＴＯＣインターフェースにおいて該当の
ノードに配列、または、割り当てられると、ＴＯＣイン
ターフェースの下位構造の内容を一度に表示することが
できる。
【００４５】これに対して、従来のビデオインデクシン
グシステムの場合は、ニュースアイテムに対して多数の
キーフレームを抽出しなければならないという問題点を
有すると共に、抽出された多数のキーフレームを画面に
一度に表示することができない。
【００４６】Ｂ）スポーツビデオから形成された合成キ
ーフレームサッカービデオなどのスポーツビデオにおい
て、１つのショットは非常に多数のビデオフレームによ
り構成され、したがって、ランニングタイムも長い。従
って、例えば、サッカービデオを要約しようとすると、
一つのショットは多数のキーフレームにより表現される
べきで、また、ショットが集まったシーンに対して一つ
のキーフレームはシーンの内容を代表することができな
い。
【００４７】図１０（Ａ）（Ｂ）は、本発明に係るサッ
カー競技ビデオから生成される合成キーフレームを示し
たものである。図１０（Ａ）は、９個のショットにより
構成され、それらショットのランニングタイムが６５秒
である一つのセクションから生成される合成キーフレー
ム（Ｆｓｋ）を示した。図１０（Ｂ）は、９個のショッ
トにより構成され、それらショットのランニングタイム
が５３秒である一つのセクションから生成される合成キ
ーフレーム（Ｆｓｋ）を示した。
【００４８】このように、本発明に係る合成キーフレー
ム（Ｆｓｋ）は、一つのセクションに含まれた幾つかの
ショットがそれぞれ相異する内容を含んでいるが、一つ
の画面に内容を代表する各キーフレームを一つのフレー
ムに入れて表示するため、セクションに含まれた内容を
代表することができる。
【００４９】これに対して、従来のビデオインデクシン
グシステムの場合は、セクションを表現するために多数
のキーフレームを抽出すべきであると共に、セクション
の内容を画面に一度に表示することができない。
【００５０】なお、ニュースやスポーツビデオに対する
合成キーフレーム形成方法と同様に、娯楽用プログラ
ム、ドキュメンタリー、トークショー、教育用プログラ
ム、広告及びホームショッピングなどのビデオに対して
も、キーフレームまたはキー領域を利用して、本発明に
係る合成キーフレームを形成することができる。
【００５１】一方、合成キーフレームを構成するキー領
域またはキーフレームのような各構成要素の配列情報が
描写子に描写されていると、使用者は合成キーフレーム
自体を利用してビデオブラウジングを行なうことができ
るだけでなく、各構成要素を利用して非線形的なビデオ
ブラウジングを行なうことができる。例えば、図８に示
した合成キーフレームは、ヘッドラインニュースセクシ
ョンから抽出された各キーフレームの複数のキー領域
（Ｒｅｇｌ、Ｒｅｇ２、Ｒｅｇ３、Ｒｅｇ４、Ｒｅｇ
５）を組み合わせて構成されているため、使用者が合成
キーフレームのキー領域（例えば、Ｒｅｇｌ）を選択す
ることによって、キー領域に該当するヘッドラインニュ
ースアイテム、または、詳細ニュース説明アイテムをブ
ラウジングすることができる。
【００５２】図１１は、本発明に係るビデオストリーム
の構造的情報及び構造的情報を階層に要約する合成キー
フレームを示したもので、各ノードはプログラム、ショ
ット及びシーンを代表するフレームである。
【００５３】各ノード中、Ｎａ、Ｎｂ、Ｎｃ、Ｎｄは合
成キーフレームであって、下位フレームに含まれた内容
を代表して、下位フレームを要約している。下位構造を
要約するために、下位構造の合成キーフレームのために
使用されたキー領域またはキーフレームが上位構造に対
する合成キーフレームを構成する要素となる。
【００５４】従って、使用者は自身が所望する水準のビ
デオの階層構造及び合成キーフレームを利用してビデオ
ストリームをサーチ／ブラウジングすることができる。
そして、このような階層構造のビデオストリームを要約
しようとすると、階層イメージ要約要素を定義すべきで
ある。
【００５５】図１２は、本発明に係る階層ビデオストリ
ームを要約する階層イメージ要約要素の描写構造を示し
たもので、イメージを利用した階層要約方式は、再帰的
構造であって、キーイメージ指定子、下位階層イメージ
要約要素単位目録、及び、要約レベル情報及び該当合成
キーフレームが下位構造を如何にうまく代表しているか
を示す充実度などの変数を含む。
【００５６】キーイメージ指定子は、キーフレーム、キ
ー領域及び合成キーフレームなどを指定することができ
る資料構造で、下位階層イメージ要約単位構造目録は下
位要約構造を描写し、目録の各要素は階層要約単位構造
である。例えば、下位階層イメージ要約単位構造目録の
要素の個数が“０”であると、最下位ノードであって、
それ以下の下位要約構造はないことを意味する。
【００５７】図１３は、本発明に係る合成キーフレーム
を利用した非線形的なビデオブラウジングインターフェ
ースを示したもので、ビデオディスプレービュー（Ｖ−
ＡＤ）及びキーフレーム／キー領域ビュー（Ｖ−Ｆｋ／
Ｒｅｇ）並びに合成キーフレームビュー（Ｖ−Ｆｓｋ）
を含む。
【００５８】ビデオディスプレービュー（Ｖ−ＶＤ）及
びキーフレーム／キー領域ビュー（Ｖ−Ｆｋ／Ｒｅｇ）
は、図１８に示したように、一般的な非線形的ビデオブ
ラウジングインターフェースに含まれる機能と同様であ
る。
【００５９】しかし、合成キーフレームビュー（Ｖ−Ｆ
ｓｋ）は、所定の大きさに規定された画面に合成キーフ
レームを利用してビデオ要約を表示することによって、
使用者が合成キーフレームまたは合成キーフレームに含
まれた構成要素を利用してキーフレームまたはキー領域
を選択できるようにして、キーフレームまたはキー領域
に該当するセクションに容易に移動できるように表示す
る。合成キーフレームビュー（Ｖ−Ｆｓｋ）は、図１３
に示したように、一次元的にディスプレーするか、また
は、ＴＯＣ形態のツリー構造にディスプレーすることが
できる。
【００６０】本発明に係る合成キーフレームは、ＵＭＡ
（Universal Multimedia Access Applications）に適用
することができる。ここで、ＵＭＡとは、多様な使用者
の環境変化に応じて、如何なるマルチメディア情報であ
っても使用者環境に最も適合した形態に加工することに
よって使用者が情報を容易に利用することができるよう
にした、情報の伝達能力を向上させた装置である。
【００６１】一般的に、使用者の端末装置やその使用者
端末装置とサーバーとを連結するネットワーク環境等に
したがって、使用者が得られる情報には限界がある。す
なわち、使用者が利用するディバイスの種類にしたがっ
て、例えば、停止映像は支援するが動映像は支援しない
とか、または、オーディオは支援するが映像は支援しな
いなどである。また、ネットワークの連結方式／媒体に
したがって、ネットワークを介して伝送されるデータの
伝送容量が不足するため、規定された時間内に、使用者
のディバイスが伝送を受けられるデータの量が制限され
ることもある。
【００６２】従って、本ＵＭＡは、ディバイス／ネット
ワークなどの制約条件にしたがってビデオストリームを
受けてディスプレーすることのできない使用者に、使用
者の環境が許す限度内で縮小された大きさ及び個数のキ
ーフレームを利用してビデオストリームを変換して伝送
するようにして、ビデオストリームに含まれた内容を使
用者が理解するのみ役にたたせる。
【００６３】すなわち、本発明に係る合成キーフレーム
は、ＵＭＡが適用されて、伝送されるキーフレームの個
数を低減させることにより伝送されるデータの量を減少
させながらより多くの意味的情報を提供する手段として
利用することができる。
【００６４】以下より詳しく説明する。図１４は、本発
明に係る合成キーフレームをＵＭＡに適用した例であ
る。この例では、本発明に係る合成キーフレームを出力
するサーバーＳと、サーバーＳから伝送された合成キー
フレームを受信して所定の要請（リクエスト）信号を伝
送するターミナルＴとで構成される。ここで、合成キー
フレーム（Ｆｓｋ）は、上述したように、テキスト、キ
ー領域及びキーフレームにより構成される。
【００６５】図１５は、ＵＭＡアプリケーションに適用
された本発明に係る合成キーフレームを利用して情報を
受信する方法を示したものである。先ず、使用者のター
ミナルＴにサーバーＳから合成キーフレーム（Ｆｓｋ）
が伝送されると、使用者はブラウジングしようとする部
分の合成キーフレームまたは合成キーフレームの構成要
素を選択した後、サーバーＳにオーディオを要請する
（ＳＴｌ）。
【００６６】次いで、サーバーＳが使用者から要請され
た部分に対するオーディオを伝送すると、使用者はオー
ディオを受信する。その受信した情報が自分が所望した
情報でないと、合成キーフレームに含まれた内容をそれ
以上ブラウジングしない。
【００６７】一方、受信した情報からもっと詳しい情報
が欲しいと思う場合は、該当セクションに対するキーフ
レームを要請する（ＳＴ２）。従って、使用者は合成キ
ーフレームに含まれた内容をさらにブラウジングするこ
とが可能で、また、ビデオを要請してビデオストリーム
もブラウジングすることができる（ＳＴ３）。
【００６８】このようにＵＭＡに本発明に係る合成キー
フレームが利用されると、使用者は自分が所望する部分
を選択し、必要とする部分だけをブラウジングすること
が容易にできるため、通信費用を節約することが可能で
ある。また、サーバーは、機能が制限された装置にもマ
ルチメディアストリームの内容に対する情報を伝送する
サービスを提供することができる。
【００６９】
【発明の効果】以上説明したように、本発明に係る合成
キーフレームは、ビデオストリームの所定セクション、
または、セグメントを代表させるためにキーフレームま
たはキー領域を合成することによって一つのフレームを
生成するようにしているので、一度に一つの画面に多量
の情報を表示し得るという効果がある。
【００７０】そして、本発明に係る合成キーフレーム
は、ビデオストリームを一次元的、または、階層として
要約することが可能で、また、非線形的なビデオブラウ
ジングを行うための手段としても使用し得るという効果
がある。
【００７１】さらに、本発明に係る合成キーフレームに
おいては、端末装置または伝送装置の性能が制限された
ＵＭＡに特に有効に適用することが可能で、その他にも
全てのビデオジャンルに適用し得るという効果がある。
また、本発明に係る合成キーフレームを利用したビデオ
要約方法においては、合成キーフレームを利用して一定
に規定された大きさの画面にショットまたはシーンの内
容を充分に表示することができるため、ビデオの内容を
效率的に要約し得るという効果がある。
【図面の簡単な説明】
【図１】 本発明に係る合成キーフレームの概念を説明
する構成図である。
【図２】 本発明に係るセグメント指定子及びイメージ
指定子の描写構造をそれぞれ示した構成図である。
【図３】 本発明に係るキーフレーム指定子の描写構造
を示した構成図である。
【図４】 本発明に係るキー領域指定子の描写構造を示
した構成図である。
【図５】 本発明に係る合成キーフレーム情報の描写構
造を示した構成図である。
【図６】 本発明に係る合成キーフレームの構成要素配
列に関するレイアウト描写構造を示した構成図である。
【図７】 本発明に係るニュースビデオ構造を示した構
成図である。
【図８】 本発明に係るニュースのヘッドライン部分の
合成キーフレームを示した構成図である。
【図９Ａ】 本発明に係る詳細ニュース区間の合成キー
フレームを示した構成図である。
【図９Ｂ】 本発明に係る詳細ニュース区間の合成キー
フレームを示した構成図である。
【図１０】 本発明に係るサッカー競技ビデオから生成
される合成キーフレームを示した構成図である。
【図１１】 本発明に係るビデオの構造的情報及び階層
合成キーフレームを示した構成図である。
【図１２】 本発明に係る階層ビデオストリームを要約
する階層イメージ要約要素の描写構造を示した構成図で
ある。
【図１３】 本発明に係る合成キーフレームを利用した
ビデオブラウジングインターフェースを示した構成図で
ある。
【図１４】 ＵＭＡ応用アプリケーションに本発明に係
る合成キーフレームを適用した例である。
【図１５】 ＵＭＡアプリケーションに適用された本発
明に係る合成キーフレームを利用して情報を受信する方
法を示したフローチャートである。
【図１６】 従来のビデオストリームの構造的情報を示
した構成図である。
【図１７】 従来のアンカフレームとニュースアイコン
間の関係を示した構成図である。
【図１８】 従来の非線形的ビデオブラウジングインタ
ーフェースを示した構成図である。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 3/00 ３００ Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 5/91 Ｎ (72)発明者 キョン・ロ・ユーン 大韓民国・ソウル・カンナム−ク・ドゴッ ク１−ドン・（番地なし）・イェオクサム エムビイシイ アパートメント・３− 1205

Claims (29)

    【特許請求の範囲】
  1. 【請求項１】 第１ソースから出力されるビデオストリ
    ームの入力を受け、意味を有する区間に区分する段階
    と、 区分された区間を代表するキーフレームまたはキー領域
    を選択する段階と、 選択されたキーフレームまたはキー領域を組み合わせて
    １つのフレームに合成する段階を含むことを特徴とする
    合成キーフレームの生成方法。
  2. 【請求項２】 区分する段階は、さらに第２ソースから
    入力されたビデオストリームを受け、意味を有する区間
    に区分する段階を含むことを特徴とする請求項１記載の
    合成キーフレームの生成方法。
  3. 【請求項３】 選択する段階は、第２ソースから出力さ
    れるキーフレームまたはキー領域を選択する段階をさら
    に含むことを特徴とする請求項１記載の合成キーフレー
    ムの生成方法。
  4. 【請求項４】 区間は、セグメント単位であることを特
    徴とする請求項１記載の合成キーフレームの生成方法。
  5. 【請求項５】 ビデオストリームを意味を有する区間に
    区分し、各区間の内容を代表するキーフレームまたはキ
    ー領域を一つのイメージに組み合わせて合成キーフレー
    ムを生成する段階と、 合成キーフレームの構成要素に含まれるキーフレームま
    たはキー領域の目録を描写する段階を含むことを特徴と
    する合成キーフレームデータの描写方法。
  6. 【請求項６】 描写する段階は、 合成キーフレームを識別する固有識別子と、 合成キーフレームが代表しようとするセグメントに対す
    る区間情報と、 合成キーフレームが代表しようとするセグメントに対し
    て意味的な情報を如何にうまく表現しているかを表す充
    実度情報と、 合成キーフレームの各構成要素であるキーフレームまた
    はキー領域がディスプレーされるときの各構成要素の配
    列に関する情報と、 を含むことを特徴とする請求項５記載の合成キーフレー
    ムデータの描写方法。
  7. 【請求項７】 配列に関する情報は、構成要素の２次元
    的な位置情報を含むか、または、構成要素の３次元的位
    置情報である層情報を含むことを特徴とする請求項６記
    載の合成キーフレームデータの描写方法。
  8. 【請求項８】 合成キーフレームがキーフレーム目録を
    含む時、キーフレーム目録の各構成要素は、キーフレー
    ム描写単位構造としてキーフレーム指定子を含み、合成
    キーフレームがキー領域目録を含むとき、キー領域目録
    の各構成要素は、キー領域描写単位構造としてキー領域
    指定子を含むことを特徴とする請求項５記載の合成キー
    フレームデータの描写方法。
  9. 【請求項９】 キーフレーム指定子は、 キーフレームを指定するデータとして、格納されたイメ
    ージに対する位置、注釈、関連セグメントなどが含まれ
    るイメージ指定子と、 該当キーフレームが如何なるセグメントを代表している
    かに対するセグメントの区間を指定するセグメント指定
    子と、 該当キーフレームが代表しているセグメントを如何にう
    まく表現しているかを示す充実度情報との少なくとも一
    つを含むことを特徴とする請求項８記載の合成キーフレ
    ームデータの描写方法。
  10. 【請求項１０】 キー領域指定子は、 キー領域を描写する資料構造として、格納された位置ま
    たはセグメントデータを論理的／物理的に指定する情報
    と、 該当キー領域が如何なるセグメントを代表しているかに
    対するセグメントの区間情報を示すセグメント指定子
    と、 該当キー領域が代表しているセグメントを如何にうまく
    表現しているかを示す充実度情報との少なくとも一つを
    含むことを特徴とする請求項８記載の合成キーフレーム
    データの描写方法。
  11. 【請求項１１】 合成キーフレームがキーフレーム目録
    を含む時、キーフレーム目録の各構成要素は、キーフレ
    ーム描写単位構造であって、該当キーフレームが合成キ
    ーフレームにおける意味的な内容を如何にうまく表現し
    ているかを示す充実度情報を含み、 合成キーフレームがキー領域目録を含む時、キー領域目
    録の各構成要素は、キー領域描写単位構造であって、該
    当キー領域が合成キーフレームにおける意味的な内容を
    如何にうまく表現しているかを示す充実度情報を含む、
    ことを特徴とする請求項５記載の合成キーフレームデー
    タの描写方法。
  12. 【請求項１２】 ビデオストリームを意味を有する区間
    に区分し、各区間の内容を代表するキーフレームまたは
    キー領域を一つのイメージに組み合わせて合成キーフレ
    ームを生成する段階と、 合成キーフレームの構成要素に含まれるキーフレームま
    たはキー領域、またはキーフレーム及びキー領域の組合
    せを生成し、物理的に格納して合成キーフレームを描写
    する段階を含むことを特徴とする合成キーフレームデー
    タの描写方法。
  13. 【請求項１３】 合成キーフレームを描写する段階は、 合成キーフレームを識別する固有識別子と、 格納された合成キーフレームファイルを指定するイメー
    ジ指定子と、 合成キーフレームが代表しようとするセグメントに対す
    る区間情報と、 合成キーフレームが代表しようとするセグメントに対し
    て意味的な情報を如何にうまく表現しているかを示す充
    実度情報と、 合成キーフレームの各構成要素に対する情報を表現する
    キー領域目録と、 合成キーフレームの各構成要素であるキーフレーム及び
    キー領域の配列に関する情報と、を含むことを特徴とす
    る請求項１２記載の合成キーフレームデータの描写方
    法。
  14. 【請求項１４】 合成キーフレーム構成要素目録の各要
    素は、キー領域描写単位構造としてキー領域指定子を含
    むことを特徴とする請求項１２記載の記載の合成キーフ
    レームデータの描写方法。
  15. 【請求項１５】 キー領域指定子は、 キー領域を描写する資料構造として、格納された位置、
    または、セグメントデータを論理的／物理的に指定する
    情報であるか、 該当キー領域が如何なるセグメントを代表しているかに
    対するセグメントの区間情報を示すセグメント指定子を
    含むか、 該当キー領域が代表しているセグメントを如何にうまく
    表現しているかを示す充実度情報を含む、ことを特徴と
    する請求項１４記載の合成キーフレームデータの描写方
    法。
  16. 【請求項１６】 キー領域目録の各構成要素は、キー領
    域描写単位構造として、該当キー領域が合成キーフレー
    ムにおける意味的な内容を如何にうまく表現しているか
    を示す充実度情報を含むことを特徴とする請求項１３記
    載の合成キーフレームデータの描写方法。
  17. 【請求項１７】 配列に関する情報は、 構成要素の２次元的な位置情報を含むか、 構成要素の３次元的な位置情報である層情報を含むこと
    を特徴とする請求項１３記載の合成キーフレームデータ
    の描写方法。
  18. 【請求項１８】 ビデオストリームを意味を有する区間
    に区分し、各区間の内容を代表するキーフレームまたは
    キー領域を一つのイメージに組み合わせて合成キーフレ
    ームを生成する段階と、 キーイメージ指定子、下位要約構造を描写する階層要約
    構造目録、及び、ビデオストリームの構造的情報に対し
    て合成キーフレームを割当する段階を含むことを特徴と
    する合成キーフレームを利用した階層ビデオ要約方法。
  19. 【請求項１９】 キーイメージ指定子は、キー領域指定
    子、キーフレーム指定子及び合成キーフレーム指定子を
    利用してイメージを指定する資料構造であることを特徴
    とする請求項１８記載の合成キーフレームを利用した階
    層ビデオ要約方法。
  20. 【請求項２０】 各階層要約構造は、特定セグメントを
    代表するイメージとして表現されることを特徴とする請
    求項１８記載の合成キーフレームを利用した階層ビデオ
    要約方法。
  21. 【請求項２１】 下位階層要約構造目録の各構成要素
    は、下位の階層要約構造として階層／再帰的な要約構造
    を利用することを特徴とする請求項１８記載の合成キー
    フレームを利用した階層ビデオ要約方法。
  22. 【請求項２２】 階層要約構造は、要約レベル情報を有
    することを特徴とする請求項１８記載の合成キーフレー
    ムを利用した階層ビデオ要約方法。
  23. 【請求項２３】 階層要約構造は、下位階層要約構造目
    録により表現された部分を如何にうまく表現しているか
    を示す充実度情報を含むことを特徴とする請求項１８記
    載の合成キーフレームを利用した階層ビデオ要約方法。
  24. 【請求項２４】 ビデオストリームを意味を有する区間
    に区分し、各区間の内容を代表するキーフレームまたは
    キー領域を一つのイメージに組み合わせて合成キーフレ
    ームを生成する段階と、 所定ディスプレーに生成された合成キーフレームに関連
    するビデオをブラウジングすることができるように使用
    者インターフェースを提供する段階とを含むことを特徴
    とするビデオブラウジングインターフェース。
  25. 【請求項２５】 使用者インターフェースは、合成キー
    フレームをビュー形態に提供することを特徴とする請求
    項２４記載のビデオブラウジングインターフェース。
  26. 【請求項２６】 使用者インターフェースは、合成キー
    フレームが時間順に配列され、合成キーフレームがツリ
    ー形態に配列されることを特徴とする請求項２４記載の
    ビデオブラウジングインターフェース。
  27. 【請求項２７】 使用者インターフェースは、ＴＯＣ形
    態であって、各ノードに合成キーフレームが割当てられ
    ることを特徴とする請求項２４記載のビデオブラウジン
    グインターフェース。
  28. 【請求項２８】 ビデオストリームを意味を有する区間
    に区分し、各区間の内容を代表するキーフレームまたは
    キー領域を一つのイメージに組み合わせて合成キーフレ
    ームを生成する段階と、 所定ディスプレーに生成された合成キーフレームに関連
    するビデオをブラウジングすることができるように使用
    者インターフェースを提供する段階と、 使用者入力により合成キーフレームが選択される段階
    と、 選択された合成キーフレームが代表するセグメントを再
    生する段階と、 を順次行うことを特徴とする合成キーフレームを利用し
    た非線形的なビデオブラウジング方法。
  29. 【請求項２９】 再生する段階は、使用者の入力により
    選択されたキーフレーム内のキー領域またはキーフレー
    ムなどの各構成要素に関連するセグメントを再生するこ
    とであることを特徴とする請求項２８記載の合成キーフ
    レームを利用した非線形的なビデオブラウジング方法。
JP2001065149A 2000-03-08 2001-03-08 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム Pending JP2001320670A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2000-0011565A KR100512138B1 (ko) 2000-03-08 2000-03-08 합성 키프레임을 이용한 비디오 브라우징 시스템
KR2000-11565 2000-03-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005281475A Division JP2006101526A (ja) 2000-03-08 2005-09-28 合成キーフレームを利用した階層ビデオ要約方法及びビデオブラウジングインターフェース

Publications (1)

Publication Number Publication Date
JP2001320670A true JP2001320670A (ja) 2001-11-16

Family

ID=36240822

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001065149A Pending JP2001320670A (ja) 2000-03-08 2001-03-08 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム
JP2005281475A Pending JP2006101526A (ja) 2000-03-08 2005-09-28 合成キーフレームを利用した階層ビデオ要約方法及びビデオブラウジングインターフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2005281475A Pending JP2006101526A (ja) 2000-03-08 2005-09-28 合成キーフレームを利用した階層ビデオ要約方法及びビデオブラウジングインターフェース

Country Status (5)

Country Link
US (1) US20010020981A1 (ja)
EP (1) EP1132835A1 (ja)
JP (2) JP2001320670A (ja)
KR (1) KR100512138B1 (ja)
CN (1) CN1168036C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293577A (ja) * 2004-03-31 2005-10-20 Fuji Xerox Co Ltd ビデオ領域の高凝縮ビジュアル・サマリを生成する方法、装置及びプログラム
JP2011182171A (ja) * 2010-03-01 2011-09-15 Nippon Telegr & Teleph Corp <Ntt> 動画像再生表示装置，動画像再生表示方法，動画像再生表示プログラムおよびその記録媒体

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100479653B1 (ko) * 2000-07-01 2005-03-30 주식회사 디지트리얼테크놀로지 파노라마형 비디오 디스플레이 방법
US7146574B2 (en) * 2001-12-21 2006-12-05 Microsoft Corporation Systems and methods for interfacing with digital history data
KR100464076B1 (ko) * 2001-12-29 2004-12-30 엘지전자 주식회사 동영상 비디오 브라우징 방법과 장치
WO2003093940A2 (en) * 2002-04-30 2003-11-13 University Of Southern California Preparing and presenting content
KR100493635B1 (ko) * 2002-08-31 2005-06-10 엘지전자 주식회사 멀티미디어 데이터 검색 및 브라우징 시스템
US6963378B2 (en) * 2002-11-01 2005-11-08 Motorola, Inc. Method and apparatus for reduction of visual content
US7194701B2 (en) * 2002-11-19 2007-03-20 Hewlett-Packard Development Company, L.P. Video thumbnail
US7536713B1 (en) 2002-12-11 2009-05-19 Alan Bartholomew Knowledge broadcasting and classification system
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7552387B2 (en) 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
US20050028213A1 (en) * 2003-07-31 2005-02-03 International Business Machines Corporation System and method for user-friendly fast forward and backward preview of video
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US7724959B2 (en) 2004-09-23 2010-05-25 Fuji Xerox Co., Ltd. Determining regions of interest in photographs and images
US7848567B2 (en) * 2004-09-23 2010-12-07 Fuji Xerox Co., Ltd. Determining regions of interest in synthetic images
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US8089563B2 (en) * 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US7904455B2 (en) * 2005-11-03 2011-03-08 Fuji Xerox Co., Ltd. Cascading cluster collages: visualization of image search results on small displays
US8032840B2 (en) 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
US8938153B2 (en) * 2006-02-08 2015-01-20 Nec Corporation Representative image or representative image group display system, representative image or representative image group display method, and program therefor
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
US8756528B2 (en) * 2006-05-08 2014-06-17 Ascom (Sweden) Ab System and method of customizing video display layouts having dynamic icons
US8918714B2 (en) * 2007-04-11 2014-12-23 Adobe Systems Incorporated Printing a document containing a video or animations
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
CN101540881B (zh) 2008-03-19 2011-04-13 华为技术有限公司 实现流媒体定位播放的方法、装置及系统
JP2011530840A (ja) * 2008-08-13 2011-12-22 トムソン ライセンシング 画像データを暗号化し、暗号化された画像データを暗号解除する装置および方法、画像データ配信システム
US8831090B2 (en) * 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
KR101719979B1 (ko) * 2010-02-05 2017-03-27 엘지전자 주식회사 Ｕｉ 제공 방법 및 디지털 방송 수신기
CN102196001B (zh) * 2010-03-15 2014-03-19 腾讯科技（深圳）有限公司 一种影片文件下载装置及方法
US8773490B2 (en) * 2010-05-28 2014-07-08 Avaya Inc. Systems, methods, and media for identifying and selecting data images in a video stream
CN102340705B (zh) * 2010-07-19 2014-04-30 中兴通讯股份有限公司 一种获取关键帧的系统及方法
US20130182767A1 (en) * 2010-09-20 2013-07-18 Nokia Corporation Identifying a key frame from a video sequence
CN102625155B (zh) * 2011-01-27 2014-11-26 天脉聚源(北京)传媒科技有限公司 一种视频关键帧展示方法和系统
KR102135347B1 (ko) * 2013-05-21 2020-07-17 엘지전자 주식회사 디지털 영상 녹화 장치 및 이의 동작방법
JP5818172B2 (ja) * 2013-06-21 2015-11-18 コニカミノルタ株式会社 情報表示装置及び表示制御プログラム並びに表示制御方法
CN104461222B (zh) * 2013-09-16 2019-02-05 联想(北京)有限公司 一种信息处理的方法和电子设备
CN103686402B (zh) * 2013-12-04 2019-05-21 康佳集团股份有限公司 一种基于节目信息的视频定位方法及视频播放器
JP6378503B2 (ja) * 2014-03-10 2018-08-22 国立大学法人 筑波大学 要約映像データ作成システム及び方法並びにコンピュータプログラム
CN103926785B (zh) * 2014-04-30 2017-11-03 广州视源电子科技股份有限公司 一种双摄像头实现方法及装置
CN105282560B (zh) * 2014-06-24 2019-06-04 Tcl集团股份有限公司 一种快速播放网络视频的方法及系统
US9786028B2 (en) 2014-08-05 2017-10-10 International Business Machines Corporation Accelerated frame rate advertising-prioritized video frame alignment
US9607224B2 (en) 2015-05-14 2017-03-28 Google Inc. Entity based temporal segmentation of video streams
KR102282463B1 (ko) * 2015-09-08 2021-07-27 한화테크윈 주식회사 이벤트를 보존하는 비디오 축약 방법 및 이를 위한 장치
US10606887B2 (en) * 2016-09-23 2020-03-31 Adobe Inc. Providing relevant video scenes in response to a video search query
CN108696772B (zh) * 2017-04-11 2021-07-16 苏州谦问万答吧教育科技有限公司 一种实时视频的传输方法及装置
CN109726367B (zh) * 2017-10-27 2022-06-10 腾讯科技（北京）有限公司 一种批注展示的方法及相关装置
US10795549B2 (en) 2018-03-12 2020-10-06 International Business Machines Corporation Generating a graphical user interface to navigate video content
US11743440B2 (en) * 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe
CN113542594B (zh) * 2021-06-28 2023-11-17 惠州Tcl云创科技有限公司 基于视频的高画质图像提取处理方法、装置、移动终端
CN115550684B (zh) * 2021-12-30 2023-07-25 北京国瑞数智技术有限公司 一种改进的视频内容过滤方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225328A (ja) * 1991-07-22 1993-09-03 Internatl Business Mach Corp <Ibm> 多重ソース画像のリアルタイムミキシングおよびアンチエリアシングのための装置および方法
JPH0738845A (ja) * 1993-07-23 1995-02-07 Fujitsu Ltd ビデオ映像のシーン抽出方法
JPH08115333A (ja) * 1994-10-18 1996-05-07 Nippon Telegr & Teleph Corp <Ntt> 映像管理表示装置
JPH09219835A (ja) * 1996-02-13 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法および装置
JPH10155123A (ja) * 1996-11-21 1998-06-09 Nec Corp 圧縮復号データ表示システム
JPH10243323A (ja) * 1997-02-28 1998-09-11 Sanyo Electric Co Ltd シーン管理装置、シーン管理方法及び記録媒体
JPH1198412A (ja) * 1997-09-22 1999-04-09 Sony Corp 編集システム及び表示装置並びにコンピユータ装置
JP2000023033A (ja) * 1998-07-03 2000-01-21 For A Co Ltd 分割マルチ画面表示装置
JP2000165809A (ja) * 1997-07-11 2000-06-16 Mitsubishi Electric Corp 動画再生装置
JP2001527304A (ja) * 1997-12-19 2001-12-25 シャープ株式会社 ディジタル動画の階層的要約及び閲覧方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328218A (ja) * 1992-05-26 1993-12-10 Matsushita Electric Ind Co Ltd 映像生成装置
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US6172672B1 (en) * 1996-12-18 2001-01-09 Seeltfirst.Com Method and system for providing snapshots from a compressed digital video stream
WO1998034182A2 (en) * 1997-02-03 1998-08-06 Koninklijke Philips Electronics N.V. A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
JP3613543B2 (ja) * 1997-11-11 2005-01-26 株式会社日立国際電気 動画像編集装置
US6166735A (en) * 1997-12-03 2000-12-26 International Business Machines Corporation Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects
US6052492A (en) * 1997-12-09 2000-04-18 Sun Microsystems, Inc. System and method for automatically generating an image to represent a video sequence
JP2000032341A (ja) * 1998-07-14 2000-01-28 Sony Corp キーフレーム生成装置及びキーフレーム生成方法
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
KR100335817B1 (ko) * 1999-09-22 2002-05-08 구자홍 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225328A (ja) * 1991-07-22 1993-09-03 Internatl Business Mach Corp <Ibm> 多重ソース画像のリアルタイムミキシングおよびアンチエリアシングのための装置および方法
JPH0738845A (ja) * 1993-07-23 1995-02-07 Fujitsu Ltd ビデオ映像のシーン抽出方法
JPH08115333A (ja) * 1994-10-18 1996-05-07 Nippon Telegr & Teleph Corp <Ntt> 映像管理表示装置
JPH09219835A (ja) * 1996-02-13 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法および装置
JPH10155123A (ja) * 1996-11-21 1998-06-09 Nec Corp 圧縮復号データ表示システム
JPH10243323A (ja) * 1997-02-28 1998-09-11 Sanyo Electric Co Ltd シーン管理装置、シーン管理方法及び記録媒体
JP2000165809A (ja) * 1997-07-11 2000-06-16 Mitsubishi Electric Corp 動画再生装置
JPH1198412A (ja) * 1997-09-22 1999-04-09 Sony Corp 編集システム及び表示装置並びにコンピユータ装置
JP2001527304A (ja) * 1997-12-19 2001-12-25 シャープ株式会社 ディジタル動画の階層的要約及び閲覧方法
JP2000023033A (ja) * 1998-07-03 2000-01-21 For A Co Ltd 分割マルチ画面表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293577A (ja) * 2004-03-31 2005-10-20 Fuji Xerox Co Ltd ビデオ領域の高凝縮ビジュアル・サマリを生成する方法、装置及びプログラム
JP4696635B2 (ja) * 2004-03-31 2011-06-08 富士ゼロックス株式会社 画像領域の高凝縮要約画像を生成する方法、装置およびプログラム
JP2011182171A (ja) * 2010-03-01 2011-09-15 Nippon Telegr & Teleph Corp <Ntt> 動画像再生表示装置，動画像再生表示方法，動画像再生表示プログラムおよびその記録媒体

Also Published As

Publication number Publication date
KR100512138B1 (ko) 2005-09-02
US20010020981A1 (en) 2001-09-13
CN1168036C (zh) 2004-09-22
KR20010087683A (ko) 2001-09-21
CN1312643A (zh) 2001-09-12
JP2006101526A (ja) 2006-04-13
EP1132835A1 (en) 2001-09-12

Similar Documents

Publication Publication Date Title
JP2001320670A (ja) 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US8892563B2 (en) Storage medium including metadata and reproduction apparatus and method therefor
Tseng et al. Using MPEG-7 and MPEG-21 for personalizing video
Weiss et al. Composition and search with a video algebra
JP3810268B2 (ja) オーディオビジュアルシステム
JP4363806B2 (ja) オーディオビジュアルプログラム管理システム及びオーディオビジュアルプログラム管理方法
JP4652462B2 (ja) メタデータ処理方法
CN100430921C (zh) 多媒体数据搜索和浏览系统
CN101398843B (zh) 用于浏览视频概要描述数据的设备及方法
CN102326178A (zh) 通过综合频道管理来再现内容的方法和设备
JP2001157165A (ja) マルチメディアストリームのセグメント間の意味的連結情報の構成方法並びにこれを用いたビデオブラウジング方法
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
KR20050099488A (ko) 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
Koenen et al. MPEG-7: A standardised description of audiovisual content
Hunter et al. Implementing preservation strategies for complex multimedia objects
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
Miyamori et al. Webified video: media conversion from tv program to web content and their integrated viewing method
Wakita et al. Extended Package-Segment Model and Adaptable Applications
JP2008136183A (ja) ヒント情報記述方法
EP1085756A2 (en) Description framework for audiovisual content
Miyamori et al. WA-TV: Webifying and Augmenting Broadcast Content for Next-Generation Storage TV
Sawada Recast: an interactive platform for personal media curation and distribution
Bursuc et al. OVIDIUS: an on-line video indexing universal system
Khoja Thematic indexing in video databases

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050629

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061003