JP2002125174A - ビデオスキミング方法及び装置 - Google Patents

ビデオスキミング方法及び装置

Info

Publication number
JP2002125174A
JP2002125174A JP2001247788A JP2001247788A JP2002125174A JP 2002125174 A JP2002125174 A JP 2002125174A JP 2001247788 A JP2001247788 A JP 2001247788A JP 2001247788 A JP2001247788 A JP 2001247788A JP 2002125174 A JP2002125174 A JP 2002125174A
Authority
JP
Japan
Prior art keywords
shot
video
skimming
scene
reproduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001247788A
Other languages
English (en)
Other versions
JP3667262B2 (ja
Inventor
Sung Bae Jun
スン・バエ・ジュン
Kyoung Ro Yoon
キョン・ロン・ユーン
Bae Guen Kang
バエ・グエン・カン
So Young Bae
ソ・ヨン・バエ
Jae Shin Yu
ジャエ・シン・ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR10-2000-0048036A external-priority patent/KR100370249B1/ko
Priority claimed from KR1020000055886A external-priority patent/KR20020023063A/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2002125174A publication Critical patent/JP2002125174A/ja
Application granted granted Critical
Publication of JP3667262B2 publication Critical patent/JP3667262B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Abstract

(57)【要約】 【課題】 デジタルビデオ環境で制限された時間内に全
体の内容を把握したり、所望の位置へ移動するビデオス
キミング方法で、その際に、重要でない部分が相対的に
多く再生されたりユーザーが実際に所望する場面を逃し
たりする確率を最小にして、対話場面や特定場面が交互
に繰り返される場面が長く続かないようにする。 【解決手段】 マルチメディア検索とブラウジングのた
めのシステムであって、特にショットクラスタリングと
ショットセグメンテーションからなるシーン及びショッ
トに基づいてビデオの内容をスキミングし、ビデオスキ
ミングを遂行する時に再生するシーンとスキップするシ
ーンを選定した後に、再生するシーン内のショット内で
特定の一部分の連続的な再生またはスキップ技法を導入
した部分再生を通じて、ユーザーが短時間内にビデオ全
体の内容を十分に理解することができるようにすると共
に、ビデオストリームを速い時間内に探索してユーザー
が所望する位置へ迅速に移動することができるようにし
たビデオスキミング方法である。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、マルチメディアの
検索とブラウジングのためのシステムに関し、特に、ビ
デオコンテンツの構造的情報の中から、実際にビデオの
内容展開による意味のある話の単位構造を基にして、ビ
デオの全体内容に対する要約的な理解と、ユーザー（使
用者）が所望する部分への速い移動を可能にしたビデオ
スキミングシステムに関する。
【０００２】
【従来の技術】記録媒体の発達とマルチメディアコンテ
ンツの製作が容易になることに伴い、一般人が毎日接す
るようになるメディアの量が非常に膨大になってきた。
マルチメディアコンテンツが膨大になるに連れて、ユー
ザーが所望するデータを選別してくれる自動化システム
に対する要求が発生し、これを解決するための方策に対
する研究が活発に進められている。特に、デジタル技術
が発達したことによってビデオコンテンツはデジタル形
態で保存され流通される傾向になっており、デジタル放
送が大衆化されればこのようなメディアのデジタル化は
更に加速化されるであろう。
【０００３】このようなデジタルビデオコンテンツに対
して、あるユーザーはニュースからスポーツ関連ニュー
スだけを視聴することを希望する場合があり、他の視聴
者はニュースから証券関連ニュースだけを希望する場合
がある。また、あるユーザーはショー番組で特定の人物
が出演する場面だけを視聴したいということもある。こ
のような様々なユーザーの要求を満たすために多様な研
究が活発に行われている。
【０００４】また、ユーザーは制限された時間内にビデ
オコンテンツの全体の内容を把握したいということもあ
る。このような要求を満たすのが「ハイライト」であ
る。一般に、ハイライトとは、ビデオコンテンツで重要
な場面を集めて新たに構成したコンテンツと理解されて
いる。「スポーツハイライト」、「映画予告篇」、「ヘ
ッドラインニュース」などを通じて「ハイライト」に接
することができる。しかし、ビデオコンテンツでハイラ
イトを抽出することは、現在の技術で自動化することは
非常に難しい。従って、ほとんど人間の手動作業に依存
することが普通である。先に言及したように、メディア
の量が爆発的に増加するに連れて、全てのビデオコンテ
ンツに対してハイライトを手動で提供することは、多大
な人力を要するので、ほとんど不可能である。従って、
ユーザーに速い時間内に大体の内容を理解させることが
できる自動化システムが必要である。
【０００５】デジタル技術が発達するに連れて、ビデオ
コンテンツでユーザーが所望の位置へ移動しようとする
時にキーフレーム（ｋｅｙ ｆｒａｍｅ）を用いる方法
がある。キーフレームを利用したビデオ要約を用いれ
ば、ユーザーは所望の部分へ速く移動することができる
という長所がある。しかし、キーフレームを用いてユー
ザーが所望の個所を容易に探すためには、多数のキーフ
レームが必要であり、制限されたディスプレイ空間に多
数のキーフレームをディスプレイするのは難しいため、
ユーザーに多くの選択作業を強いることになり非常に不
便である。また、キーフレームを利用した方法では、一
般に全体のビデオの内容を理解し難いという短所があ
る。
【０００６】最近、デジタルビデオで所望の場面を探す
ための用途に用いる多様なビデオインデックシング技術
が研究されている。特定人が出た場面だけを見ることを
望むユーザーのために、ビデオの中から人が出てくる場
面を探し出し、その人が誰であるかを認識する過程を通
じて人物の登場に対する情報をインデックシングした
り、映画やスポーツなどで主要場面を抽出しこれをイン
デックシングする等の研究が行われている。しかし、ビ
デオはそのジャンルが非常に多様でジャンル別にインデ
ックシングされるべきデータが非常に異なっており、現
在の技術ではユーザーに意味のある情報を高いレベルの
正確度をもって抽出することができる自動化システムの
具現は非常に難しいこととされている。
【０００７】一方、アナログビデオとは異なり、デジタ
ルビデオでは早送り／巻き戻し機能を遂行するにあたっ
て、画質の低下を防止することができる。
【０００８】デジタルビデオで一般に用いられる高速再
生の方法は、単位時間当りデコーディングするフレーム
数を増やし、その中の一部分だけをディスプレイしたり
一定部分をスキップしつつフレームをデコーディングし
てディスプレイする方法が用いられる。
【０００９】
【発明が解決しようとする課題】しかし、単位時間当り
デコーディングするフレーム数を増やす方法は端末装置
の性能によって最大速度が影響を受けるという短所があ
るので、一般にデジタルビデオの早送り／巻き戻しにお
いては、一定部分をスキップしつつフレームをデコーデ
ィングしてディスプレイする方法を用いる。デジタルビ
デオでの早送り／巻き戻し技術は既存の技術中で、制限
された時間内に全体の内容を把握しようとしたり所望の
位置へ移動しようとするユーザーの要求に対応するため
の最も合理的な代案であるが、一定部分をスキップする
にあたって、ほとんど時間的に一定の間隔を用いるので
ユーザーは自身が所望する部分の場面を逃したり、重要
でない部分が相対的に多く再生されるという短所があ
る。
【００１０】
【課題を解決するための手段】本発明のビデオスキミン
グ方法は、ビデオストリームに対するショットセグメン
テーションによる構造的情報として物理的な編集単位で
ある個別ショットの区間を認識する段階と、その認識さ
れた個別ショットの区間内で特定の一部分を該当ショッ
トに対する内容を反映する再生すべきビデオ情報として
選択する段階と、それぞれの個別ショット毎に選択され
たビデオ情報を連続して再生する段階とを含んでいるこ
とをその特徴とする。
【００１１】個別ショットの区間を認識した後に、再生
するショットとスキップするショットを決定するショッ
ト選定段階をさらに含むことが望ましい。
【００１２】ビデオストリームに対する構造的情報は、
論理的なストーリの単位であるシーン情報と、物理的な
編集単位であるショット情報とが、時間的な技術情報
（開始位置と持続時間または開始位置と終了位置）と共
に表示されたものである。ショットの特性に対する技術
情報も同時に含ませることが望ましい。
【００１３】ショット選定段階では、特性の類似したシ
ョットの中から、一部分をスキップし、残りの一部分の
ショットだけをスキミングのために用いるために選定す
ることによって、類似した特性を有するショットが反復
的に再生されるのを最小にすることができる。
【００１４】類似したショットの中から再生に利用する
ショットを選定するにあたって、シーンの後半部に位置
したショットであればあるほど、選択のための高い加重
値を付与する方式でスキミングに用いるショットを選定
することが望ましい。
【００１５】それぞれのショットを代表する再生すべき
部分（セグメント）は、該当ショットの前部分、後部
分、中間部分、前部分と後部分を同時に用い、前記それ
ぞれのショットを代表する再生すべき部分（セグメン
ト）の長さは、各ショットで同一の長さに選択して再生
することをその特徴とする。
【００１６】それぞれのショットで再生する部分として
選定されたセグメントの長さが該当ショットの長さより
も大きくなるように計算された場合、個別ショットで再
生する部分の長さを該当ショットの長さ以下に減らすこ
とが望ましい。
【００１７】それぞれのショットを代表する再生すべき
部分（セグメント）の長さは、個別ショット内のイメー
ジ的／モーション的／オーディオ的類似性の平均値に基
づいて、類似度が高ければ再生する長さを減らし、類似
度が低ければ該当ショットで再生する長さを増やすよう
にすることが望ましい。
【００１８】シーンを代表するショット内のイメージ的
／モーション的／オーディオ的類似性は、ショット内で
の時間的位置が異なるフレーム、動きベクトル、オーデ
ィオデータの類似性である。
【００１９】それぞれのショット内で再生されるセグメ
ントの再生速度は可変的に制御することができるように
する。
【００２０】単位時間当りデコーディングされるフレー
ム数を正常な場合よりも高くして再生速度を正常速度よ
りも速く再生したり、再生する区間内のフレーム全てを
デコーディングせずに、中途の幾つかのフレームずつス
キップして再生することによって、再生区間を高速再生
するようにしても良い。
【００２１】スキップを利用した高速スキミングをＭＰ
ＥＧのようなフレーム間圧縮を用いるコーディングスキ
ムを利用したビデオストリームに適用した時に、デコー
ディングするフレームは、他のフレームのデコーディン
グなしに該当フレームだけデコーディングしてフレーム
データをえているＩフレームを利用する。
【００２２】また、本発明によるビデオスキミング装置
は、マルチメディアデータとしてデジタルビデオデータ
の検索とブラウジングが成されるために、ビデオスキミ
ングのためのユーザー命令を入力するユーザーインター
フェイス手段と、ユーザーインターフェイス手段で入力
されたユーザー命令に従って該当ビデオファイルをビデ
オコンテンツに対する構造的情報に基づいてスキミング
処理する制御手段と、制御手段にデジタルビデオデータ
と該当ビデオに対するインデックス情報としてビデオコ
ンテンツに対する構造的情報を提供するためのビデオ情
報ファイルと、制御手段によりスキミング処理されたビ
デオが再生されるディスプレイ手段とを含んでいること
をその特徴とする。
【００２３】ビデオコンテンツに対する構造的情報は、
論理的なストーリの単位であるシーン情報を基にし、シ
ーンの構成要素である物理的な編集単位であるショット
情報から該当シーンを代表して再生されるショットを含
むことが望ましい。
【００２４】ビデオコンテンツに対する構造的情報は、
該当シーンを代表して再生されるショット内で再生する
セグメントをさらに含むことが望ましい。
【００２５】ユーザーインターフェイス手段は、ビデオ
スキミングの程度として要約レベルを指定する手段や、
ビデオスキミングの時の再生区間の倍速を指定する手段
を含み、ビデオスキミングが行われる時にビデオの要約
レベルや再生倍速を選択することができることが望まし
い。
【００２６】制御手段は、ユーザーの入力または基本設
定を用いてスキミング条件に応じてインデックスファイ
ルからショットセグメンテーション情報及びショットク
ラスタリング情報と関連したビデオインデックス情報を
読取り、ビデオスキミングの条件に合うように再生する
セグメントを計算して関連したメディアファイルで該当
セグメントを連続的に再生し、ディスプレイ手段で出力
する。
【００２７】
【発明の実施の形態】デジタルビデオ技術の発達とイメ
ージ／ビデオ認識技術の発達によってユーザーは所望の
ビデオを所望の時点で所望の部分だけを検索してブラウ
ジングすることができるようになった。
【００２８】非線形的なビデオブラウジングと検索のた
めに最も基本になる技術は、ショットセグメンテーショ
ン技法とショットクラスタリング技法であり、この２種
類の技術はビデオを分析するにあたって最も核心になる
技術である。従って、今まで多くの研究がショットセグ
メンテーションに集中されており、ショットクラスタリ
ング技術に対する研究が始まりつつである傾向にある。
【００２９】多様な研究結果を土台とすればショットセ
グメンテーションは自動化することができ、ほとんどの
アルゴリズムは９０％以上の高い正確度をもって具現さ
れることができる。
【００３０】また、ショットクラスタリング技術も、特
徴的なイベントを検出したり一般的なショットの特性を
用いてプログラムのジャンルに合うように技術を適用す
ることによって、高いレベルの正確度をもって自動化さ
れるようになった。
【００３１】一般にビデオコンテンツは論理的に幾つか
のストーリの単位に分けられる。このようなストーリの
単位を一般に事件構造（イベント）またはシーンと称す
る。銃撃戦場面とか、対話場面などがこれに該当する。
このようなシーンは幾つかのサブシーンまたはショット
の連結で構成されている。
【００３２】ショットとは、途中の妨害なしに一つのカ
メラから得られた一連のビデオフレームを意味する。こ
れはビデオを分析したり構成する最も基本になる単位で
ある。
【００３３】一般にビデオは数多くのショットの連結で
構成される。ショットセグメンテーションビデオとは、
それぞれの個別ショットに分割する技法を意味し、ショ
ットクラスタリングは、ビデオコンテンツをそれぞれの
個別ショットとその特性に基づいてショットを論理的な
シーン単位に再構成することによってビデオコンテンツ
の論理的なストーリを検出する過程を意味する。
【００３４】前記したようになされた本発明のビデオコ
ンテンツの構造的情報であるシーンとショット情報を利
用したビデオスキミングシステムを添付した図面を参照
してさらに詳細に説明する。
【００３５】図１はショットセグメンテーション過程と
ショットクラスタリング過程を図式化したものである。
一般に多くのショットセグメンテーションアルゴリズム
は、同一のショット内ではイメージ的／モーション的／
オーディオ的類似性が存在し、二つの異なるショット間
にはイメージ的／モーション的／オーディオ的比類似性
が計測される特性に基づいて実施され、且つショットク
ラスタリングは類似した特性を有するショットが一定の
時間内に再び検出されることがあるという特徴に基づい
て実施される。
【００３６】一般にビデオハイライトはビデオストリー
ムの内容展開において、意味上重要なセグメントを選択
し、このセグメントを連続的に再生する方法である。
【００３７】しかし、様々なビデオコンテンツに対し
て、内容展開においいて、意味上重要なセグメントを選
択することは自動化することが非常に難しい。
【００３８】ところで、ショットセグメンテーション情
報をビデオスキミングに利用することとすると、全ての
ビデオに存在するショットを基準にしてショットの一定
の部分だけを再生し残りの部分はスキップする方法を通
じて元のストリームより短い長さを再生するようにする
スキミング方法を駆使することができる。このようなス
キミング方法は、ショットセグメンテーション技術が自
動化可能であるため、完全自動化システムを構築するこ
とができるという長所があり、一般的なデジタルビデオ
に対する早送り／巻き戻しから発生する、重要でない場
面が長く再生されるとか、重要な場面を逃す、という問
題を減らすことができるという長所がある。
【００３９】図２はショットセグメンテーション情報を
利用したビデオスキミング方法を要約した図である。図
２において灰色で表示された部分は、ショットセグメン
テーション情報を利用したスキミング方法で再生される
部分を示したもので、残りの部分はスキップする部分を
示したものである。
【００４０】しかし、ショットセグメンテーション情報
だけをビデオスキミングに用いる場合にはビデオコンテ
ンツに存在する論理的なストーリであるシーン情報を用
いないため、対話場面などのような特定事件の区間では
反復的なショットが再生され続くという短所がある。
【００４１】図３は対話場面が長く連結されるシーンに
おけるショットの配列構造を図式化したものである。図
３でそれぞれのショットはショットセグメンテーション
過程を通じて検出されたショットの特性に基づいて英語
大文字Ａ、Ｂ、Ｃ、Ｄで表現した。
【００４２】つまり、図３で表現した対話場面は登場人
物１と登場人物２が交互にクローズアップされて話を展
開していくシーンで、多くのショットから構成されてい
る。
【００４３】しかし、ショットセグメンテーション情報
だけをビデオスキミングに用いるのでは、対話場面内部
の各ショットの一部分を全て再生するので、ユーザーに
は二人が対話をするという情報以外に、特に他の情報が
追加に提供できないにも関わらず、このシーンが長く再
生されるという短所がある。
【００４４】本発明では、ビデオコンテンツの構造的情
報としてシーン情報と共にショット情報を考慮してビデ
オスキミングを遂行することによって、前記したような
短所を克服している。
【００４５】つまり、本発明では全てのビデオに存在す
るシーンにおいてそのシーンを構成しているショットの
中から、再生するショットとスキップするショットをま
ず選び出し、再生するショットに対してはそのショット
を構成しているセグメント情報中のショットの一定部分
（セグメント）だけを再生し、残りの部分はスキップす
る方法を通じて、元来のビデオストリームより短い長さ
を再生するようにするスキミング方法とその装置を提案
している。
【００４６】多様な研究結果によれば、ビデオコンテン
ツで銃撃場面、対話場面などの特定のイベントを検出で
きるようになり、それに基づいて、映画やドラマのよう
なコンテンツのシーン検出が可能であり、これを通じて
目次（ＴｏＣ:Ｔａｂｌｅ ｏｆ Ｃｏｎｔｅｎｔ）形態
のインデックス構造を自動に生成することができること
が知られている。
【００４７】図４は一般的なビデオコンテンツに対する
ストーリの単位を検出する過程を図式化したものであ
る。
【００４８】図３と同様に、それぞれのショットはショ
ットセグメンテーション過程によって検出されたショッ
トの特性に基づいて英語大文字で表現した。ドラマや映
画の対話場面があるシーン内部のショット展開構造で
は、ほとんどＡ、Ｂ、Ａ、Ｂ、…のような特徴的なパタ
ーンが現れる。図４では一定の周期以内に特性の類似し
たショットの集まりが検出されると、該当区間を一つの
シーンとして決定する過程を示す。図４でシーン１はシ
ョットの特徴値がＡ、Ｂ、Ｃであるショットからなって
いるシーンである。ショット１の三番目のＢ以降に一定
の時間の間ショットの特徴値がＡ、Ｂ、Ｃであるショッ
トが存在しないので、ショット１の三番目の終了時点を
シーン１の終了時点として一つのシーンを検出する。図
４のシーン２はショットの特徴値がＦ、Ｈ、Ｅであるシ
ョットからなっているシーンであり、このシーンの最後
のショット以降に一定の時間の間ショットの特徴値であ
るＦ、Ｈ、Ｅが存在しないので、最後のＥをシーン２の
終了時点として検出することができる。
【００４９】このようなショットの検出方法以外にも、
人の顔部分を自動的に検出し、検出された人が誰である
かを顔認識する過程を通してより正確な対話場面の検出
が可能である。このような方式は一般的なドラマや映画
によく適用される方式である。
【００５０】本発明は、前述したように、ビデオコンテ
ンツに対する構造的情報であるシーンとショット情報を
用いてビデオスキミングを具現し、シーンを構成してい
る個別ショットの中から、再生するショットをどのよう
に選定するのか、再生するショットとして選定されたシ
ョット内で再生される部分とスキッピングする部分をど
のように選定するのか、再生される部分の再生長さはど
のように選定するのか、且つ再生区間内での再生方法は
どのようにするのかを考慮する。
【００５１】まず、図５は本発明のビデオスキミング方
法を要約した図である。図５ではショットセグメンテー
ションとショットクラスタリング過程を通じてインデッ
クスされたビデオコンテンツの構造的情報を用いる。図
５では構造的情報を利用したビデオスキミングの時に再
生のために選択されたショットを灰色で表示し、スキッ
プされるショットを白色で表示した。つまり、構造的情
報を利用したビデオスキミングのために、システムは先
ず各シーンに対して、再生されるショットを決定し、個
別ショットに対する再生方法を編集する。
【００５２】図５ではシーン１の各ショットの中から反
復的なショットを再生しないために類似したショットの
中から特徴的な場面だけを一回ずつだけ再生するように
した例である。
【００５３】本発明でビデオストリームに存在するそれ
ぞれのシーンに対して、シーンの構成要素であるショッ
トの中から再生するショットとスキップするショットを
決定するショット選定は以下のように行われる。
【００５４】一つのシーンに多数の類似した特性のショ
ットが存在する場合に代表的なショットを選定する方法
は、特別な加重値の条件なしに選定してスキミングに用
いたとしても、大体のシーンの内容を伝達することがで
きる。しかし、一般的なドラマや映画のようなストーリ
では一つのシーンの後半部により多くの情報が表現され
る場合がほとんどである。言い換えれば、導入部分は結
末部分よりもその重要性が一般に落ちる。従って、類似
したショットがシーン内に数回登場する時に、スキミン
グで再生するショットを選定する段階ではシーンの後半
部にあるショットを再生するショットとして選定するこ
とが、同じ長さのスキミング方法でユーザーにより多く
の情報を提供することができる。
【００５５】図６はシーンの前半部からスキミングで再
生するショットを選定する方法（図６の（ａ））とシー
ンの後半部から再生するショットを選定する方法（図６
の（ｂ））を示したものである。
【００５６】図６の（ａ）、（ｂ）は共に一つのシーン
で類似したショットが存在する場合、一つのショットだ
けをスキミングのために選定する例であり、従って、図
６の（ａ）ではＡ、Ｂ、Ｃのそれぞれのショット特性を
有するショットの中から最初に出るショットを再生する
ショットとして選定し、図６の（ｂ）ではＡ、Ｂ、Ｃの
それぞれのショット特性を有するショットの中から最後
に出るショットを再生するショットとして選定した。一
般には、図６の（ｂ）の方法が図６の（ａ）の方法より
も一層ユーザーの満足度が高く現れる。
【００５７】次に、各ショット内で再生される部分とス
キップピングする部分を選定する方法について説明す
る。
【００５８】ビデオコンテンツの構造的情報を利用した
スキミングでは先程選定されたショットを連続的に再生
することによって、ビデオコンテンツに対する要約を提
供することができる。しかし、一般にショット全体を再
生するビデオスキミング方式は要約のレベルが非常に低
く、ユーザーは一般にショットの一部だけを視聴しても
全体の内容を理解することができる。ビデオコンテンツ
の構造的情報を利用したビデオスキミングで再生のため
に選択されたショットから再生される部分を選定する方
法は、無条件にショットの前部分を選択したり後部分ま
たは中間部分を選択することができる。図７はショット
の前部分、後部分、中間部分または前／後部分を同時に
用いてビデオスキミングを行う方式で再生される部分と
スキップされる部分を示した図である。
【００５９】しかし、ビデオのジャンルによって差異は
あるが、実験の結果は、該当ショットの前部分をスキッ
プし後部分を再生することが一般にユーザーの満足度が
高く現れる。その理由は一般にショットの結末部分
（例:サッカーのゴールイン場面など）がショットの内
容を用いるにあたって導入や展開部分よりもさらに重要
であり、ニュースのような番組で段階的な図表説明等の
方法を用いる場合、ショットの前部分では内容の一部が
表現され、最後部分で全体の内容が表現されるためであ
る。
【００６０】しかし、ビデオのジャンルによってはショ
ットの前部分が一般に重要なこともあるが、その一例と
して、問題分析などを主にする教育放送などが挙げられ
る。このような放送では、ショットの前部分にどのよう
な問題を扱うかに対する情報があり、その以降は問題分
析が長く続くため、所望の部分を再生するためにはショ
ットの前部分を再生することが後部分を再生することよ
りもユーザーにより多くの情報を提供することができ
る。
【００６１】従って、本発明ではビデオのコンテンツの
性格に応じてショット内で再生する位置を異なるように
選定することができ、同じショット内でも前部分、中間
部分、後部分を混用してスキミングを具現することがで
きる。
【００６２】次に、本発明で再生される長さを選定する
方法について説明する。各ショットで再生される長さを
選定する方法は選定された全てのショットに対して同一
の長さのセグメントを再生する部分として選定する方法
と、ショットの特性を用いて各ショット毎に再生する長
さを異なるように選定する方法とに分けることができ
る。
【００６３】この時に用いるショットの特性は一つのシ
ョット内での平均的なイメージ的／モーション的／オー
ディオ的類似性に基づくことができる。つまり、一つの
ショット内でイメージ的／モーション的／オーディオ的
類似性が大きければ大きいほど場面が単調なものである
と判断することができるので、このような場面について
はスキップを多くし、ショット内でイメージ的／モーシ
ョン的／オーディオ的類似性が小さければ内容が複雑な
場面であると判断することができるので、このような場
面についてはスキップを少なくする方式を用い、再生さ
れる単位セグメントの長さを内容に応じて動的に調整す
ることができる。
【００６４】この方法はショットの時間的な長さに依存
せずに、内容が複雑な部分は少なくスキップし、内容が
単調な部分は多くスキップする。したがって、選定され
た全てのショットに対して同一の長さのセグメントを再
生する方法よりユーザーの理解度が高いレベルのビデオ
スキミングを提供することができる。
【００６５】図８はショット内でイメージ的／モーショ
ン的／オーディオ的類似性に基づいた再生及びスキップ
を行う長さの選定方法の一例を示したものである。
【００６６】図８のグラフで、横軸は時間を示し、縦軸
はショット内でのイメージ的／モーション的／オーディ
オ的非類似性を測定して累積させた値である。このよう
な非類似性データは、一般にショットセグメンテーショ
ンアルゴリズムで抽出可能なショット特性を示すデータ
である。
【００６７】非類似度の一例として、隣接したフレーム
または一定の間隔で離れたフレーム間のカラーヒストグ
ラムの差異が挙げられる。
【００６８】図８では、ショットＡとショットＢは長さ
が相似しているが、ショットＡの平均変化率よりショッ
トＢの平均変化率が大きいので、ショットＡでよりもシ
ョットＢでより多くの部分を再生する状況を表現した。
【００６９】このように再生区間を設定するにあたっ
て、ショットの長さを考慮しないと該当ショットの長さ
よりも再生する区間の長さが大きくなるエラー状況（シ
ョットの長さが非常に短い場合）が発生することがある
ので、本発明のスキミング方法では、単位区間の長さが
該当ショットより大きくなる場合には例外的に該当ショ
ットの全体を再生区間に選定したり該当ショットの長さ
を考慮して一部分を再生区間として選定することができ
る。
【００７０】次に、ビデオコンテンツに対する構造的情
報として前記したようにシーンとそのシーン内の再生す
るショット内での再生区間内での再生方法について説明
する。
【００７１】本発明によるビデオスキミングは順方向だ
けでなく逆方向に対しても適用が可能である。
【００７２】それぞれのショット内で再生する区間に選
定されたセグメントを連続的に再生すればユーザーは全
体の内容を理解しながらも短時間にコンテンツに対する
概要情報を得ることができ、所望の位置を探索するにあ
たって別途のものが必要でない。
【００７３】本発明のビデオスキミング方法で、それぞ
れのショット内で再生する区間として選定されたセグメ
ントを再生する方法は、大きく２つに分けることができ
る。
【００７４】第１は、正常再生方法と同様な方法で各セ
グメントを再生する方法であり、第２は、再生区間内の
一部のフレームだけをデコーディングし、区間内で再び
スキップピングを用いて再生する方法である。
【００７５】正常再生方法は非常に一般的であるので具
体的な説明を省略し、再生区間内で一部のフレームだけ
をデコーディングして区間内でスキップピングを利用し
た再生方法を説明する。
【００７６】再生区間内で一部のフレームだけをデコー
ディングして区間内でスキップピングを利用した再生方
法は、高速スキミングを実現するための方法である。こ
の時ディスプレイされるフレームは時間的に一定の間隔
だけ離れたフレームを指定することができる。ＭＰＥＧ
のようなフレーム間圧縮を用いる方法ではフレーム間依
存性のないＩフレームを指定することができる。
【００７７】図９は再生区間内でスキップピングを利用
した高速スキミング方法の一例を図式化したものであ
る。このような方法を用いるとユーザーは実際に多くの
情報を得ながら高速でビデオファイルを再生する効果を
経験することができる。
【００７８】以上説明したように、本発明のビデオコン
テンツの構造的情報を利用したビデオスキミング方法は
二段階でセグメントを指定することがその特徴であり、
図１０はこのような本発明のビデオコンテンツの構造的
情報を利用したビデオスキミング方法を要約した図であ
る。
【００７９】ビデオスキミングが要求されると、システ
ムはビデオコンテンツに対するショット及びシーン情報
を含んだビデオコンテンツの構造的情報が保存されたイ
ンデックスファイルがロードされる。システムは各シー
ンに対して、どのショットを再生するのか、どのショッ
トをスキップするのかを決定し（ショット選定段階）、
ビデオスキミングのために選定された各ショットに対し
て、再生するセグメントとスキップするセグメントを決
定し（セグメント指定段階）、二段階の編集過程を通じ
て再生するセグメントを連続的に再生装置で出力する。
【００８０】図１０では第１段階のショット選定段階を
経て再生するショットを灰色で表示し、選定されたショ
ットで一部分だけ（セグメント）を再生し残りの部分を
スキップすることができることを図式化した。
【００８１】図１１はビデオスキミングのための本発明
のスキミング装置の実施形態を示したものである。
【００８２】図１１に示すように、本発明のビデオスキ
ミング装置は、ビデオスキミングの程度とスキミングで
用いた倍速などのユーザー命令を入力するためのユーザ
ーインターフェイス部１０１と、ユーザーインターフェ
イス部１０１に入力されたユーザー命令に従って該当ビ
デオファイルをショット及びシーンに対するインデック
シング情報に基づいてスキミング処理する主制御部１０
２と、主制御部１０２にデジタルビデオストリーム情報
を提供するメディアファイル１０３と、メディアファイ
ルに該当する構造的情報としてシーン及びショットに対
するインデックシング情報を提供するインデックスファ
イル１０４と、主制御部１０２によりスキミング処理さ
れたビデオが再生されるディスプレイ装置部１０５とを
含んでいる。
【００８３】図１１の本発明のビデオスキミングシステ
ムでインデックスファイル１０４はメディアファイル１
０３に含ませることができる。ディスプレイ装置部１０
５はビデオストリームをディスプレイするモニター、ス
ピーカー等の出力装置であり、ユーザーインターフェイ
ス部１０１はユーザーの入力を受け入れるキーボード、
マウス、リモコン、ボタンなどの入力手段を意味する。
【００８４】メディアファイル１０３は（オーディオを
も含めた）ビデオデータが保存されたファイルであり、
インデックスファイル１０４はショットクラスタリング
及びショットセグメンテーション情報が含まれたビデオ
に対するインデックス情報が保存されたファイルであ
る。
【００８５】ユーザーはユーザーインターフェイス部１
０１を用いてビデオスキミングを要求する。ビデオスキ
ミングを要求する時には要約のレベル（スキミングの程
度）を指定することができ、スキミングで用いる倍速を
指定することができる。つまり、ユーザーは全体のビデ
オを何分内に圧縮して視聴するかをユーザーインターフ
ェイス部１０１を用いて指定し、主制御部１０２はユー
ザーの入力に対応してメディアファイル１０３とそれに
よるインデックスファイル１０２の情報からどのショッ
トのどの部分をスキミングのために再生するのか、各セ
グメントは何倍速で再生するのかを決定する。このよう
な過程が終わると、主制御部１０２はメディアファイル
１０３をデコーディングして該当フレームをディスプレ
イ装置部１０５にディスプレイすることによって、ユー
ザーにビデオスキミング機能を提供する。
【００８６】
【発明の効果】前述したように、本発明はデジタルビデ
オ環境で制限された時間内に全体の内容を把握しようと
したり所望の位置へ移動しようとするユーザーの要求に
同時に対応するビデオスキミング方法を提案した。
【００８７】本発明は既存のビデオスキミングで発生し
得る問題点である、重要でない部分が相対的に多く再生
されたりユーザーが実際に所望する場面を逃したりする
確率を最小にして、対話場面や特定場面が交互に繰り返
される場面が再生され続く確率を最小化した。
【００８８】本発明のビデオスキミング方式は所望の位
置へ移動しようとするユーザーの要求に対してユーザー
入力の必要性を最小化させることができる。
【００８９】本発明のビデオスキミング機能を用いる
と、ユーザーは短時間内に全体の内容を把握することが
でき、全体の内容を把握するにあたって重要な部分を逃
すことなく、鬱陶しい部分を簡単に過ぎることができる
という長所がある。
【００９０】また、ユーザーは所望の位置へ移動しよう
とする時にも本発明のビデオスキミングを用いることが
でき、これはキーフレームを利用した方式よりユーザー
の入力要求が非常に小さいという長所がある。
【００９１】結局、本発明はビデオハイライト再生のよ
うな用途に利用することができ、各ショットの再生する
区間を再生するにあたって高速再生方式と一緒に用いる
とユーザーの入力要求を最小化し、所望の場面を迅速に
探索する機能として活用することができる。
【図面の簡単な説明】
【図１】 ショットセグメンテーションとクラスタリン
グの概念を説明するための図。
【図２】 ショットセグメンテーション情報を利用した
ビデオスキミング方法の概念を説明するための図。
【図３】 対話場面シーンのショット展開方式の例を示
した図。
【図４】 ショット特性を利用したシーン検出方法の例
を示した図。
【図５】 構造的情報を利用したスキミングで再生する
ショットとスキップするショットの選定方法の例を示し
た図。
【図６】 シーン内部でショットの位置と反復情報を考
慮したスキップするショットと再生するショットの選定
方法を説明するための図。
【図７】 ショット内でスキップする部分と再生する部
分の選定方法を説明するための図。
【図８】 ショットの非類似度特性を利用した動的な単
位再生長さ選定方法の例を示した図。
【図９】 スキッピングを利用した高速スキミング方法
を説明するための図。
【図１０】 ビデオコンテンツの構造的情報を利用した
スキミング方法を説明するための図。
【図１１】 ビデオコンテンツの構造的情報を利用した
ビデオスキミングのためのシステム構成の例を示した
図。
【符号の説明】
１０１ ユーザーインターフェイス部 １０２ 主制御部 １０３ メディアファイル １０４ インデックスファイル １０５ ディスプレイ装置部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/173 ６４０ Ｈ０４Ｎ 5/93 Ｚ (72)発明者 キョン・ロン・ユーン 大韓民国・ソウル・カンナン−ク・ドゴッ ク１−ドン・（番地なし）ヨクサム エム ビイシイ ハンシン アパートメント・３ −1205 (72)発明者 バエ・グエン・カン 大韓民国・ソウル・ノウォン−ク・サンギ ー−ドン・172・ダエリム アパートメン ト 106−1308 (72)発明者 ソ・ヨン・バエ 大韓民国・キョンギ−ド・ゴヤン−シ・イ ルサーン−ク・ジャンハン−ドン・（番地 なし）・グンヨン ビレッジ・401−104 (72)発明者 ジャエ・シン・ユ 大韓民国・ソウル・グワナク−ク・シリム ４−ドン・484−31 Ｆターム(参考） 5C052 AA01 AB03 AC05 AC08 CC06 DD04 5C053 FA14 GB06 GB09 HA24 HA29 JA22 5C064 BA07 BB10 BC18 BC23 BD02 BD03 BD08 BD09 5D077 AA22 BA04 BA09 CA02 DC01 DC23 DE01

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 ビデオストリームに対するショットセグ
    メンテーションによる構造的情報として物理的な編集単
    位である個別ショットの区間を認識する段階と、 前記認識された個別ショットの区間内で特定の一部分を
    該当ショットに対する内容を反映する再生すべきビデオ
    情報に選択する段階と、 それぞれの個別ショット毎に選択された前記ビデオ情報
    を連続して再生する段階とを含んでいることを特徴とす
    るビデオスキミング方法。
  2. 【請求項２】 前記個別ショットの区間を認識した後
    に、再生するショットとスキップするショットを決定す
    るショット選定段階をさらに含んでいることを特徴とす
    る請求項１に記載のビデオスキミング方法。
  3. 【請求項３】 前記ビデオストリームに対する構造的情
    報は、論理的なストーリの単位であるシーン情報と、物
    理的な編集単位であるショット情報とが、開始位置と持
    続時間または開始位置と終了位置のような時間的な技術
    情報と共に表示され、そこにショットの特性に対する技
    術情報がさらに含まれていることを特徴とする請求項１
    に記載のビデオスキミング方法。
  4. 【請求項４】 前記ショット選定段階では、特性の類似
    したショットの中から、一部分をスキップし、残りの一
    部分のショットだけをスキミングのために用いるものに
    選定することによって、類似した特性を有するショット
    が反復的に再生される効果を最小化することを特徴とす
    る請求項２に記載のビデオスキミング方法。
  5. 【請求項５】 前記類似したショットの中から再生に利
    用されるショットを選定するにあたって、シーンの後半
    部に位置したショットであるほど、選択のための高い加
    重値を付与する方式でスキミングに用いるショットを選
    定することを特徴とする請求項４に記載のビデオスキミ
    ング方法。
  6. 【請求項６】 前記それぞれのショットを代表する再生
    すべき部分であるセグメントは、該当ショットの前部
    分、後部分、中間部分、前部分と後部分を同時に用いる
    ことを特徴とする請求項１に記載のビデオスキミング方
    法。
  7. 【請求項７】 前記それぞれのショットを代表する再生
    すべき部分であるセグメントの長さは、各ショットで同
    一の長さに選択して再生することを特徴とする請求項１
    に記載のビデオスキミング方法。
  8. 【請求項８】 前記それぞれのショットで再生する部分
    として選定されたセグメントの長さが該当ショットの長
    さよりも大きくなるように計算された場合、個別ショッ
    トで再生する部分の長さを該当ショットの長さ以下に減
    らすことを特徴とする請求項７に記載のビデオスキミン
    グ方法。
  9. 【請求項９】 前記それぞれのショットを代表する再生
    すべき部分であるセグメントの長さは、個別ショット内
    のイメージ的／モーション的／オーディオ的類似性の平
    均値に基づいて、類似度が高ければ再生する長さを減ら
    し、類似度が低ければ該当ショットで再生する長さを増
    やすことを特徴とする請求項１に記載のビデオスキミン
    グ方法。
  10. 【請求項１０】 前記シーンを代表するショット内のイ
    メージ的／モーション的／オーディオ的類似性は、ショ
    ット内での時間的位置が異なるフレーム、動きベクト
    ル、オーディオデータの類似性であることを特徴とする
    請求項８に記載のビデオスキミング方法。
  11. 【請求項１１】 前記それぞれのショットで再生する部
    分として選定されたセグメントの長さが該当ショットの
    長さよりも大きくなるように計算された場合、個別ショ
    ットで再生する部分の長さを該当ショットの長さ以下に
    減らすことを特徴とする請求項９に記載のビデオスキミ
    ング方法。
  12. 【請求項１２】 前記それぞれのショット内で再生され
    るセグメントの再生速度を制御できることを特徴とする
    請求項１に記載のビデオスキミング方法。
  13. 【請求項１３】 単位時間当りデコーディングされるフ
    レーム数を正常な場合よりも高くして前記再生速度を正
    常速度よりも速く再生することを特徴とする請求項１２
    に記載のビデオスキミング方法。
  14. 【請求項１４】 前記再生する区間内のフレーム全てを
    デコーディングせずに、中途の幾つかのフレームずつス
    キップして再生することによって、前記再生区間を高速
    再生することを特徴とする請求項１２に記載のビデオス
    キミング方法。
  15. 【請求項１５】 前記スキップを利用した高速スキミン
    グをＭＰＥＧのようなフレーム間圧縮を用いるコーディ
    ングスキムを利用したビデオストリームに適用した時
    に、デコーディングするフレームは、他のフレームのデ
    コーディングなしに該当フレームだけデコーディングし
    てフレームデータを得ることができるＩフレームである
    ことを特徴とする請求項１４に記載のビデオスキミング
    方法。
  16. 【請求項１６】 マルチメディアデータとしてデジタル
    ビデオデータの検索とブラウジングが行われるために、
    ビデオスキミングのためのユーザー命令を入力するユー
    ザーインターフェイス手段と、 前記ユーザーインターフェイス手段で入力されたユーザ
    ー命令に従って該当ビデオファイルをビデオコンテンツ
    に対する構造的情報に基づいてスキミング処理する制御
    手段と、 前記制御手段にデジタルビデオデータと該当ビデオに対
    するインデックス情報としてビデオコンテンツに対する
    構造的情報を提供するビデオ情報ファイルと、 前記制御手段によりスキミング処理されたビデオが再生
    されるディスプレイ手段とを含んでいることを特徴とす
    るビデオスキミング装置。
  17. 【請求項１７】 前記ビデオコンテンツに対する構造的
    情報は、論理的な話の単位であるシーン情報を基にし、
    シーンの構成要素である物理的な編集単位であるショッ
    ト情報から前記該当シーンを代表して再生されるショッ
    トを含むことを特徴とする請求項１６に記載のビデオス
    キミング装置。
  18. 【請求項１８】 前記ビデオコンテンツに対する構造的
    情報は、前記該当シーンを代表して再生されるショット
    内で再生するセグメントをさらに含むことを特徴とする
    請求項１７に記載のビデオスキミング装置。
  19. 【請求項１９】 前記ユーザーインターフェイス手段
    は、ビデオスキミングの程度として要約レベルを指定す
    る手段や、ビデオスキミングの時の再生区間の倍速を指
    定する手段を含み、ビデオスキミングが行われる時にビ
    デオの要約レベルや再生倍速を選択することができるこ
    とを特徴とする請求項１６に記載のビデオスキミング装
    置。
  20. 【請求項２０】 前記制御手段は、ユーザーの入力また
    は基本設定を用いてスキミング条件に応じてインデック
    スファイルからショットセグメンテーション情報及びシ
    ョットクラスタリング情報と関連したビデオインデック
    ス情報を読取り、ビデオスキミングの条件に合うように
    再生するセグメントを計算して関連したメディアファイ
    ルで該当セグメントを連続的に再生し、ディスプレイ手
    段で出力することを特徴とする請求項１６に記載のビデ
    オスキミング装置。
  21. 【請求項２１】 デジタルビデオデータ、ビデオコンテ
    ンツの論理的な話の単位構造であるシーン情報、ビデオ
    コンテンツの物理的な編集単位であるショット情報を保
    存する保存手段と、 ビデオスキミングのために前記ビデオデータに該当する
    前記シーン情報を基にして特定のシーンを代表するショ
    ット情報を検出する手段と、 前記検出されたショット内で再生するセグメントとスキ
    ップするセグメントを選定する手段と、 前記選定された再生すべきセグメントを前記保存手段で
    連続的に読取って再生する手段とを含んでいることを特
    徴とするビデオスキミング装置。
JP2001247788A 2000-08-19 2001-08-17 ビデオスキミング方法及び装置 Expired - Fee Related JP3667262B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR2000-48036 2000-08-19
KR10-2000-0048036A KR100370249B1 (ko) 2000-08-19 2000-08-19 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
KR2000-55886 2000-09-22
KR1020000055886A KR20020023063A (ko) 2000-09-22 2000-09-22 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치

Publications (2)

Publication Number Publication Date
JP2002125174A true JP2002125174A (ja) 2002-04-26
JP3667262B2 JP3667262B2 (ja) 2005-07-06

Family

ID=26638320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001247788A Expired - Fee Related JP3667262B2 (ja) 2000-08-19 2001-08-17 ビデオスキミング方法及び装置

Country Status (3)

Country Link
US (1) US6964021B2 (ja)
EP (1) EP1182584A3 (ja)
JP (1) JP3667262B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263657A (ja) * 2008-07-22 2008-10-30 Casio Comput Co Ltd 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2009044423A (ja) * 2007-08-08 2009-02-26 Univ Of Electro-Communications シーン検出システム及びシーン検出方法
JP2009512237A (ja) * 2005-08-10 2009-03-19 トムソン ライセンシング デジタルシネマのコンテンツを受け取るためのシステムおよび方法
JP2009522887A (ja) * 2006-01-05 2009-06-11 アルカテル−ルーセント コンテンツベースのトリックプレイモードを用いたメディア配信システム
JP2016531471A (ja) * 2013-07-12 2016-10-06 アップル インコーポレイテッド デジタルビデオストリーミングにおけるトリック再生

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US7747655B2 (en) 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US7861169B2 (en) 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7424129B2 (en) * 2001-11-19 2008-09-09 Ricoh Company, Ltd Printing system with embedded audio/video content recognition and processing
US7415670B2 (en) * 2001-11-19 2008-08-19 Ricoh Co., Ltd. Printer with audio/video localization
US20040130635A1 (en) * 2002-10-09 2004-07-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6963378B2 (en) * 2002-11-01 2005-11-08 Motorola, Inc. Method and apparatus for reduction of visual content
KR100609154B1 (ko) * 2003-05-23 2006-08-02 엘지전자 주식회사 비디오 콘텐츠 재생 방법 및 장치
KR100708337B1 (ko) * 2003-06-27 2007-04-17 주식회사 케이티 퍼지 기반 ｏｃ―ｓｖｍ을 이용한 동영상 자동 요약 장치및 방법
WO2005001836A2 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. Clip based trick modes
US7275159B2 (en) * 2003-08-11 2007-09-25 Ricoh Company, Ltd. Multimedia output device having embedded encryption functionality
KR100991619B1 (ko) * 2003-09-17 2010-11-04 엘지전자 주식회사 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템
US7440126B2 (en) * 2003-09-25 2008-10-21 Ricoh Co., Ltd Printer with document-triggered processing
US7508535B2 (en) * 2003-09-25 2009-03-24 Ricoh Co., Ltd. Stand alone multimedia printer with user interface for allocating processing
JP2005108230A (ja) 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム
US7528976B2 (en) * 2003-09-25 2009-05-05 Ricoh Co., Ltd. Stand alone printer with hardware/software interfaces for sharing multimedia processing
US8077341B2 (en) * 2003-09-25 2011-12-13 Ricoh Co., Ltd. Printer with audio or video receiver, recorder, and real-time content-based processing logic
US20050071746A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Networked printer with hardware and software interfaces for peripheral devices
US7528977B2 (en) * 2003-09-25 2009-05-05 Ricoh Co., Ltd. Printer with hardware and software interfaces for peripheral devices
US7511846B2 (en) * 2003-09-25 2009-03-31 Ricoh Co., Ltd. Printer having embedded functionality for printing time-based media
US7864352B2 (en) 2003-09-25 2011-01-04 Ricoh Co. Ltd. Printer with multimedia server
EP1531474A1 (en) * 2003-11-14 2005-05-18 Sony International (Europe) GmbH Video signal playback apparatus and method
EP1538536A1 (en) 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
US7603615B2 (en) * 2004-03-30 2009-10-13 Ricoh Co., Ltd. Multimedia projector-printer
US8274666B2 (en) 2004-03-30 2012-09-25 Ricoh Co., Ltd. Projector/printer for displaying or printing of documents
JP4297010B2 (ja) 2004-08-13 2009-07-15 ソニー株式会社 情報処理装置および情報処理方法、並びに、プログラム
CN101080923A (zh) * 2004-12-17 2007-11-28 汤姆森许可贸易公司 用于多媒体数据的时移重放的设备及其方法
US7526725B2 (en) * 2005-04-08 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Context aware video conversion method and playback system
WO2007009238A1 (en) * 2005-07-19 2007-01-25 March Networks Corporation Temporal data previewing system
KR100716291B1 (ko) * 2005-07-27 2007-05-09 삼성전자주식회사 영상재생장치와 그 제어방법 및 ｐｖｒ
WO2007013025A2 (en) * 2005-07-27 2007-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for providing instant-review of multimedia material
KR100718351B1 (ko) 2005-09-28 2007-05-14 주식회사 팬택 동영상 파일의 요약 재생 시스템 및 이를 탑재한 이동통신단말기
US20070101264A1 (en) * 2005-11-01 2007-05-03 Microsoft Corporation Position-and length-sensitive video timeline behavior
WO2007055445A1 (en) * 2005-11-11 2007-05-18 Daegu Gyeongbuk Institute Of Science And Technology A pre-viewing method of multiple movies or movie-clips in multimedia apparatus
KR101187787B1 (ko) * 2006-02-18 2012-10-05 삼성전자주식회사 키 프레임을 이용하여 동영상을 검색하는 방법 및 장치
US7796860B2 (en) * 2006-02-23 2010-09-14 Mitsubishi Electric Research Laboratories, Inc. Method and system for playing back videos at speeds adapted to content
US8392183B2 (en) 2006-04-25 2013-03-05 Frank Elmo Weber Character-based automated media summarization
AU2006252142B2 (en) * 2006-12-20 2009-11-26 Canon Kabushiki Kaisha Video rate determination
US8345769B1 (en) * 2007-04-10 2013-01-01 Nvidia Corporation Real-time video segmentation on a GPU for scene and take indexing
US8358381B1 (en) 2007-04-10 2013-01-22 Nvidia Corporation Real-time video segmentation on a GPU for scene and take indexing
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
KR20080098735A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 고속 영상 재생방법 및 이를 적용한 영상재생장치
US8209609B2 (en) * 2008-12-23 2012-06-26 Intel Corporation Audio-visual search and browse interface (AVSBI)
US8620077B1 (en) * 2009-01-26 2013-12-31 Google Inc. Spatio-temporal segmentation for video
CN102461165A (zh) * 2009-06-24 2012-05-16 德耳塔维德约股份有限公司 用于动态视频电子节目指南的系统和方法
US9171578B2 (en) 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
US20140292759A1 (en) * 2011-04-06 2014-10-02 Nokia Corporation Method, Apparatus and Computer Program Product for Managing Media Content
CN103001925B (zh) * 2011-09-08 2018-05-08 百度在线网络技术（北京）有限公司 基于统计来确定多媒体数据的播放跳转信息的方法和设备
US9414038B2 (en) 2012-10-16 2016-08-09 Amanjyot Singh JOHAR Creating time lapse video in real-time
JP2014106637A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
CN103377294B (zh) * 2013-07-07 2016-07-13 浙江大学 一种基于色彩分布分析的视频摘要内容提取方法
US10664687B2 (en) 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
US9521470B2 (en) * 2014-06-13 2016-12-13 Hulu, LLC Video delivery system configured to seek in a video using different modes
EP3151243B1 (en) * 2015-09-29 2021-11-24 Nokia Technologies Oy Accessing a video segment
US10284774B2 (en) * 2015-12-25 2019-05-07 Olympus Corporation Information terminal apparatus, image pickup apparatus, image-information processing system, and image-information processing method for controlling time-lapse imaging
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법
CN107547922B (zh) * 2016-10-28 2019-12-17 腾讯科技（深圳）有限公司 信息处理方法、装置、系统及计算机可读存储介质
CN109819338B (zh) 2019-02-22 2021-09-14 影石创新科技股份有限公司 一种视频自动剪辑方法、装置及便携式终端
US11824653B2 (en) 2021-12-17 2023-11-21 Lenovo (Singapore) Pte. Ltd. Radio access network configuration for video approximate semantic communications
US11917206B2 (en) 2021-12-17 2024-02-27 Lenovo (Singapore) Pte. Ltd. Video codec aware radio access network configuration and unequal error protection coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US6188396B1 (en) * 1996-03-29 2001-02-13 International Business Machines Corp. Synchronizing multimedia parts with reference to absolute time, relative time, and event time
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6331859B1 (en) * 1999-04-06 2001-12-18 Sharp Laboratories Of America, Inc. Video skimming system utilizing the vector rank filter
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US6642940B1 (en) * 2000-03-03 2003-11-04 Massachusetts Institute Of Technology Management of properties for hyperlinked video

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512237A (ja) * 2005-08-10 2009-03-19 トムソン ライセンシング デジタルシネマのコンテンツを受け取るためのシステムおよび方法
JP2009522887A (ja) * 2006-01-05 2009-06-11 アルカテル−ルーセント コンテンツベースのトリックプレイモードを用いたメディア配信システム
JP2009044423A (ja) * 2007-08-08 2009-02-26 Univ Of Electro-Communications シーン検出システム及びシーン検出方法
JP2008263657A (ja) * 2008-07-22 2008-10-30 Casio Comput Co Ltd 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP4656199B2 (ja) * 2008-07-22 2011-03-23 カシオ計算機株式会社 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2016531471A (ja) * 2013-07-12 2016-10-06 アップル インコーポレイテッド デジタルビデオストリーミングにおけるトリック再生
US10382830B2 (en) 2013-07-12 2019-08-13 Apple Inc. Trick play in digital video streaming

Also Published As

Publication number Publication date
US6964021B2 (en) 2005-11-08
EP1182584A3 (en) 2005-12-28
JP3667262B2 (ja) 2005-07-06
US20020051010A1 (en) 2002-05-02
EP1182584A2 (en) 2002-02-27

Similar Documents

Publication Publication Date Title
JP2002125174A (ja) ビデオスキミング方法及び装置
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
US6222532B1 (en) Method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
JP4905103B2 (ja) 動画再生装置
JP5552769B2 (ja) 画像編集装置、画像編集方法及びプログラム
JP5322550B2 (ja) 番組推奨装置
JP4364190B2 (ja) マルチメディアデータストリームの非線形的再生制御方法及びその装置
JP5091086B2 (ja) ビデオの短いセグメントを表示するための方法及びグラフィカルユーザインタフェース
US6370316B1 (en) Apparatus for retrieving and administrating moving pictures and related network system
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
KR100493674B1 (ko) 멀티미디어 데이터 검색 및 브라우징 시스템
US7362950B2 (en) Method and apparatus for controlling reproduction of video contents
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
JP4253139B2 (ja) フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体
TW200533193A (en) Apparatus and method for reproducing summary
JP2003283993A (ja) 映像情報記録再生装置及び映像情報記録再生方法
WO1998034182A2 (en) A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
KR101440168B1 (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
KR20020023063A (ko) 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
EP0914638A2 (en) A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
KR20060102639A (ko) 동영상 재생 시스템 및 방법
JP2008153920A (ja) 動画像一覧表示装置
JP2012089186A (ja) コンテンツ管理装置及びコンテンツ再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050405

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120415

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120415

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130415

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130415

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees