JP2003346463A - ビデオシーケンスの縮小表示 - Google Patents

ビデオシーケンスの縮小表示

Info

Publication number
JP2003346463A
JP2003346463A JP2003077539A JP2003077539A JP2003346463A JP 2003346463 A JP2003346463 A JP 2003346463A JP 2003077539 A JP2003077539 A JP 2003077539A JP 2003077539 A JP2003077539 A JP 2003077539A JP 2003346463 A JP2003346463 A JP 2003346463A
Authority
JP
Japan
Prior art keywords
video
key frame
key
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003077539A
Other languages
English (en)
Inventor
Gargenshorn Andreas
ガーゲンショーン アンドレアス
Frank M Shipman Iii
エム．シップマン ザ サード フランク
Lynn D Wilcox
ディー．ウィルコックス リン
Patrick Chiu
チィーウ パトリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2003346463A publication Critical patent/JP2003346463A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 多数のデジタルビデオシーケンスと複合ビデ
オとを効率よく二次元配列で表示する。 【解決手段】 複数のビデオクリップからなるビデオシ
ーケンスの縮小表示。縮小表示は、ビデオシーケンスの
複数のビデオクリップの少なくとも一部から得られる複
数のキーフレームと、複数のキーフレームを発生順に表
示するためのキーフレーム表示領域とを含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタルビデオフ
ァイルを表示すること、より詳細には多数のデジタルビ
デオシーケンスと複合ビデオとを効率的に二次元配列で
表示することに関する。
【０００２】
【従来の技術】本出願は、本出願と同日に出願され、参
照によって本明細書中に援用される次の出願に関連す
る。
【０００３】「詳細オンデマンドビデオの作成及び視聴
システム」（代理人整理番号ＦＸＰＬ−１０３６ＵＳ
０）
【０００４】数多くの種々のデジタルビデオシステムが
出現したのに伴い、多様な対話式ビデオが開発されてい
る。対話式ビデオの一種に、随意的なサイドトリップを
含めるものがある。この種の対話式ビデオでは、ユーザ
は現在再生しているビデオから交替ビデオシーケンスを
見るためのリンクをたどることができる。ビデオシーケ
ンスが終了するかユーザ入力が行われると、ビデオ表示
は元のビデオの逸脱点に戻り、再生を続ける。
【０００５】ビデオにおける随意的なサイドトリップの
概念について更に詳しく述べると、詳細オンデマンド
（detail on demand）ビデオは１つ以上のベースビデオ
シーケンスを有する。ベースビデオシーケンスは、それ
ぞれ１つ以上の随意的な交替ビデオシーケンスを有す
る。交替ビデオシーケンスは、それぞれベースビデオシ
ーケンスに関する付加的詳細を提供する。ユーザは、ビ
デオの再生時に交替ビデオシーケンスを選択し、この付
加的詳細を見ることができる。
【０００６】ユーザ入力が行われるか交替ビデオシーケ
ンスが終了すると、表示はベースビデオシーケンスに戻
る。表示を再開する位置は、ビデオの作成者が決定して
もよい。また、交替ビデオシーケンスが他のビデオシー
ケンスへのリンクを有するようにし、付加的詳細を提供
するビデオシーケンスが更なる詳細へのリンクを含む、
階層構造を形成してもよい。
【０００７】詳細オンデマンドビデオの性質は、教習ビ
デオや実用技術のビデオの作成に適している。この用途
では、見る側がそれぞれ必要とする段階の説明を得るこ
とができる。ベースビデオシーケンスは、抽象的段階で
情報の全体像を表示するようにしてもよい。ユーザはベ
ースビデオシーケンスからリンクをたどり、交替ビデオ
シーケンスの情報の更に詳細な表示を見ることができ
る。この交替ビデオシーケンスを更に交替ビデオシーケ
ンスにリンクさせることで、更なる詳細を任意に得るこ
とができる。このように階層的に表示することで、見る
側は表示の中で知っている部分を飛ばしながら、最も役
立つ題目の詳細表示を見ることができる。ビデオガイド
にそれぞれの見る人に合わせた詳細段階を表示すること
で、より多くの見る人の役に立てる。ユーザがすでに知
っている情報の詳細表示をしないため、見る側の時間を
節約することにもなる。
【０００８】詳細オンデマンドビデオは、家庭用ビデオ
の編集にも応用できる。家庭のユーザは、家族の活動の
ビデオサマリーを作成することがある。種々の活動の更
なる詳細表示をベースビデオシーケンスとリンクさせ、
更なる関心事の対象場面を提供するようにしてもよい。
例えば、家族のビデオクリスマスカードに、その１年の
家族の活動を概略したメインビデオシーケンスを入れて
もよい。見る側はこのメインビデオシーケンスの各部分
においてリンクを選択し、家族のこの活動から追加的な
ビデオを見ることができる。例えば、祖父又は祖母なら
孫の追加的なビデオシーケンスを選択し、他の親戚なら
パーティや家族の集まりの更なる詳細を選択することが
できる。
【０００９】
【発明が解決しようとする課題】詳細オンデマンドビデ
オを作成するための、簡易で、しかも柔軟なインタフェ
ースを提供することが望ましい。このインタフェースで
は、ユーザは自由形式のハイパービデオや非線形ビデオ
編集に伴う複雑な作業を行わずとも詳細オンデマンドビ
デオを作成できるようにすべきである。また、このイン
タフェースは、階層的ビデオ構造をサポートすべきであ
る。迅速な進行を図るため、インタフェースはビデオク
リップを分類して複合ビデオを作成できるようにすべき
である。複合ビデオは、ビデオシーケンスや任意の交替
ビデオシーケンスを作成するためのビルディングブロッ
クとして使用することができる。また、ベースビデオシ
ーケンスと交替ビデオシーケンスの間の入口点と出口点
とを特定することが望ましい。これにより、交替ビデオ
シーケンスはサイドトリップとしてではなく、ベースビ
デオシーケンスの代わりとして機能し得る。
【００１０】画面の面積が限られていることを考慮すれ
ば、複合ビデオの縮小表示を行うことが望ましい。有効
にするため、縮小表示はビデオシーケンスの重要な特性
を表示せねばならない。重要な特性として、（現在のシ
ーケンスと編集中の別のビデオとの間で移行を行わなく
てはならない作者にとって重要であることから、）開始
及び終了クリップが挙げられる。他の有用な情報とし
て、シーケンスにおける他のクリップ、シーケンスの時
間的長さ、構成クリップ数、複合ビデオの深さ（複合ビ
デオが別の複合ビデオを含む場合）が挙げられる。更
に、複合ビデオに組み込むため、あるいは時間の経過に
伴う被写体の動作を視覚化するため、キーフレームの最
も興味深い部分を自動的に選択することが望ましい。
【００１１】
【課題を解決するための手段】請求項１に記載の発明
は、複数のビデオクリップからなるビデオシーケンスの
縮小表示であって、この縮小表示は、ビデオシーケンス
の複数のビデオクリップの少なくとも一部から得られる
複数のキーフレームと、複数のキーフレームを発生順に
表示するためのキーフレーム表示領域と、を含む。請求
項２に記載の発明は、請求項１に記載の発明において、
キーフレーム表示領域は、キーフレームと同じ面積を有
する。請求項３に記載の発明は、請求項１に記載の発明
において、キーフレーム表示領域におけるキーフレーム
の水平空間位置は、発生順に関するキーフレームの相対
位置に対応する。請求項４に記載の発明は、請求項１に
記載の発明において、キーフレーム表示領域におけるキ
ーフレームの垂直空間位置は、発生順に関するキーフレ
ームの相対位置に対応する。請求項５に記載の発明は、
請求項１に記載の発明において、キーフレーム表示領域
は、ビデオシーケンスの各ビデオクリップから得られる
キーフレームを含む。請求項６に記載の発明は、請求項
１に記載の発明において、キーフレーム表示領域は、ビ
デオシーケンスの複数のビデオクリップの代表的な部分
から得られる複数のキーフレームを含む。請求項７に記
載の発明は、請求項１に記載の発明において、複数のキ
ーフレームのサイズは、キーフレーム表示領域の複数の
キーフレームに収まるよう縮小される。請求項８に記載
の発明は、請求項７に記載の発明において、複数のキー
フレームのサイズは、同量だけ縮小される。請求項９に
記載の発明は、請求項７に記載の発明において、各キー
フレームのサイズは、各キーフレームに関連するビデオ
クリップの重要度に応じて縮小される。請求項１０に記
載の発明は、請求項９に記載の発明において、各ビデオ
クリップの重要度は、ビデオクリップの長さによって決
定される。請求項１１に記載の発明は、請求項１に記載
の発明において、各キーフレームは重要な情報を有する
部分を含み、キーフレームの表示領域は、複数のキーフ
レームの重要な部分のみを表示する。請求項１２に記載
の発明は、請求項１に記載の発明において、重要な情報
を有する部分は、キーフレーム及び所定領域の中央部分
として選択される。請求項１３に記載の発明は、請求項
１に記載の発明において、重要な情報を有する部分は、
キーフレームの前景／背景選別を行うことにより選択さ
れる。請求項１４に記載の発明は、請求項１に記載の発
明において、複数のキーフレームは、キーフレーム表示
領域にｎ×ｍの配列で配置される。請求項１５に記載の
発明は、請求項１に記載の発明において、複数のキーフ
レームは、キーフレーム表示領域にＳ字型曲線状に配置
される。請求項１６に記載の発明は、請求項１５に記載
の発明において、Ｓ字型曲線が概ね下向きに傾斜するよ
う、キーフレーム表示領域の隣接キーフレーム間の下向
きのオフセットは、キーフレーム表示領域の隣接キーフ
レーム間の上向きのオフセットよりも大きくなってい
る。請求項１７に記載の発明は、請求項１に記載の発明
において、ビデオクリップから得られるキーフレーム
は、そのビデオクリップ中の被写体動作を示し、動作
は、キーフレーム中に、ビデオクリップ全体を通じて変
化する画素を形成することによりキーフレーム中に示さ
れ、ビデオクリップ全体を通じて変化する画素は、ビデ
オクリップの別のフレーム中の被写体に対応する。請求
項１８に記載の発明は、請求項１７に記載の発明におい
て、被写体は一定レベルの透明度を有する１組の画素に
よって示され、被写体は、ビデオクリップのキーフレー
ムの前もしくは後の特定のフレーム中の動作中の被写体
に対応し、一定レベルの透明度は、キーフレームと、ビ
デオクリップの特定フレームの間のフレーム数に対応す
る。請求項１９に記載の発明は、請求項１７に記載の発
明において、被写体はビデオクリップの特定のフレーム
中の被写体の位置を示すために着色された１組の画素に
よって示され、１組の画素の色は特定のフレームがキー
フレームの前もしくは後のいずれに発生するかに対応
し、１組の画素の色の強度は特定のフレームとキーフレ
ームの間のフレーム数に対応する。請求項２０に記載の
発明は、請求項１に記載の発明において、ビデオシーケ
ンス中のビデオクリップ数及びその深さを示すためキー
フレーム表示領域にグラフィックオーバレイを加える。
請求項２１に記載の発明は、複数のビデオクリップから
なるビデオシーケンスを縮小表示することをコンピュー
タに実行させるプログラムであって、ビデオシーケンス
の複数のビデオクリップの少なくとも一部から複数のキ
ーフレームを得るステップと、複数のキーフレームを発
生順に表示するステップと、を実行させるためのプログ
ラムである。
【００１２】
【発明の実施の形態】本発明の一実施態様は、画像数の
複数のビデオクリップからなるビデオシーケンスを表示
するシステムである。結果として、複数のビデオクリッ
プはビデオ画像の縮小表示として表示される。ビデオク
リップは、キーフレームとして表示してもよい。多数の
キーフレームを発生順に配列してもよい。別の実施態様
では、ビデオクリップの代表的な部分のみをキーフレー
ムとして表示してもよい。キーフレームのサイズは、そ
のビデオクリップの長さや重要度を表すよう設定するこ
とができる。キーフレームはビデオクリップのフレーム
全体、もしくはビデオクリップのフレームの重要な情報
を含む部分を描写してもよい。多数のキーフレームを二
次元配列やＳ字型曲線、その他のパターンで配置するこ
とができる。キーフレームは、キーフレーム内に画素グ
ループを形成することで、ビデオクリップにおいて時間
の経過に伴って発生する被写体の動作を描写してもよ
い。画素グループの形成は、キーフレームと、動作中の
被写体を含むフレームとの間のフレーム数に従い、画素
グループの着色、及び画素グループを半透明レベルで描
写することを含んでいてもよい。
【００１３】図面を参照しながら本発明を説明する。詳
細オンデマンドビデオを作成するための簡易で柔軟なイ
ンタフェースでは、ユーザは自由形式のハイパービデオ
や非線形ビデオ編集に伴う複雑な作業を行わずとも詳細
オンデマンドビデオを作成することができる。一実施態
様では、インタフェースは、ビデオクリップを配列する
ための二次元レイアウト空間からなる。ビデオクリップ
は、それぞれアイコン、静止画像、又は縮小表示によっ
て表示される。レイアウト空間におけるビデオクリップ
の順序は、ビデオシーケンスの最終的な発生順を確定す
る。
【００１４】このインタフェースは、任意の汎用コンピ
ュータや他の情報処理機器での使用に適している。他の
情報処理機器とは、デスクトップコンピュータ、ポータ
ブルコンピュータ、携帯情報端末、組み込み式のコンピ
ューティングシステム、情報機器、携帯電話、及びデジ
タル情報を処理することのできる任意の他の機器をい
う。コンピュータには、必要に応じてキーボードやポイ
ンティング装置等のユーザ入力装置、及びグラフィック
ディスプレイ装置やビデオ記録装置等の出力装置を設け
ることができる。
【００１５】このインタフェースは、階層的ビデオ構造
の迅速な開発をサポートする。他のビデオ編集アプリケ
ーションとは異なり、本発明の一実施態様では幾つかの
ビデオクリップを分類して複合ビデオ（video composit
e）を作成するようにしている。複合ビデオは一続きの
ビデオクリップであるが、ユーザは複合ビデオを１つの
統合化オブジェクトとして処理することができる。複合
ビデオは１つのビデオクリップの場合と同様の方法で処
理できる。このようにして、複合ビデオは、ビデオシー
ケンスや任意の交替ビデオシーケンスを作成するための
構成要素として使用される。再生時には、複合ビデオを
構成するビデオクリップは、複合ビデオにおいて分類さ
れている順序で再生される。
【００１６】リンクは、複数のビデオクリップの間、複
数の複合ビデオの間、あるいはビデオクリップと複合ビ
デオとの間に形成することができる。リンクは、ソース
すなわちアンカービデオシーケンスと、目標すなわちタ
ーゲットビデオシーケンスの間の移行を特定する。再生
時、リンクの移行はユーザ入力に応答して行われる。一
実施態様では、リンクは第一のユーザ入力に応答して、
ソースから目標へ移動する。別のユーザ入力により、目
標からソースへのリンクの移動が行われる。あるいは、
ビデオシーケンスの終了時にリンクが目標からソースへ
移動する。一実施態様では、リンク特性はベースビデオ
シーケンスと交替ビデオシーケンスの間の入口点と出口
点とを特定する。これにより、交替ビデオシーケンスは
寄り道としてではなく、ベースビデオシーケンスの代わ
りとして機能する。
【００１７】ビデオは、ビデオデータファイルとして編
集アプリケーションに入力することができる。デジタル
ビデオ用の標準的なフォーマットの１つは、ＤＶビデオ
フォーマットである。他のデジタルビデオフォーマット
も本発明に容易に適用できる。別の実施態様では、アナ
ログビデオ信号をデジタルビデオ信号に変換しデジタル
ビデオデータを記憶するため、アナログビデオ信号をハ
ードウェア及び／又はソフトウェアを通じて編集アプリ
ケーションに入力してもよい。いずれの実施態様でも、
デジタルビデオファイルを、ローカルデジタル情報記憶
媒体、あるいはローカル又は広域コンピュータネットワ
ークを通じてアクセス可能な遠隔情報記憶媒体に記憶す
ることができる。
【００１８】ビデオは短いビデオクリップに分割され
る。ビデオクリップは、一般的にビデオの１つの場面を
表す。一実施態様では、アプリケーションに入力する前
に分割を行う場合、ビデオクリップはそれぞれ別のデジ
タルビデオファイルに入れられる。別の実施態様では、
複数のビデオクリップが入れられた１つのビデオファイ
ルがアプリケーションに入力される。分割は種々の方法
でアプリケーションによって行われる。
【００１９】第一の実施態様では、カメラのスイッチを
切った位置及び入れた位置を検出することで分割を行
う。ＤＶビデオフォーマットの場合、この情報は明確に
ＤＶビデオファイルに記憶される。
【００２０】別の分割方法では、高速のカメラ動作を検
出することで分割を行う。ビデオソースのフレームを相
互に比較し、動作ベクトルを計算する。動作ベクトルの
大きさが閾値を上回った位置で、ビデオが別々のビデオ
クリップに分割される。
【００２１】あるいは、色の類似性を利用してビデオソ
ースを分割することもできる。色の類似度を得るため、
隣接するフレームを比較する。色の相違が閾値を上回っ
た位置で、ビデオが別々のビデオクリップに分割され
る。
【００２２】出力ビデオは、ビデオクリップを選択し、
修正し、整理しなおすことによって作成される。ビデオ
クリップの処理の迅速化を図るため、ユーザは幾つかの
ビデオクリップを分類して複合ビデオを作成する。複合
ビデオにおけるクリップの順序は、再生時のクリップの
順序を確定する。編集時には、ユーザは１つのビデオク
リップの場合と同様に、複合ビデオを１つの統合化オブ
ジェクトとして処理することができる。複合ビデオは、
ビデオクリップの場合と同様に、ビデオシーケンスへ移
動、切り取り、複写、貼り付け、及び挿入を行うことが
できる。また、複合ビデオに別の複合ビデオを含めるこ
ともできる。複合ビデオを利用すれば、ユーザは再利用
可能な構成要素を用いてビデオシーケンス又は任意の交
替ビデオシーケンスを作成することができる。
【００２３】一実施態様では、グラフィカルインタフェ
ースを利用して複合ビデオを作成することができる。複
合ビデオの各ビデオクリップは、ユーザによって所望の
発生順にに選択される。複合ビデオの作成のため、分割
コマンドが実行される。各ビデオクリップの別々の表示
を、１つの表示で置き換えてもよい。この表示はアイコ
ン、１つ以上の静止画像、又は縮小表示とすることがで
きる。
【００２４】図１は、レイアウト空間に配置された、ビ
デオクリップの階層と複合ビデオを示す。シーケンス１
と表示された複合ビデオ１１０は、ビデオクリップ１１
３と、それぞれシーケンス２及び３と表示された複合ビ
デオ１１５及び１１７とからなっている。各複合ビデオ
は１つのビデオクリップと同様の方法で処理できるた
め、複雑なビデオシーケンスを迅速に開発することがで
きる。例えば、複合ビデオ１１５は、シーケンス３の別
のコピー（１１９）と、シーケンス４（１２１）からな
っている。複合ビデオ１１７と１１９は同一のシーケン
ス、すなわちシーケンス３の同一のコピーであることに
注意されたい。同一のシーケンスを多数コピーして使用
することで、ユーザは複数のコンテキストにおいて同一
の内容を再利用することができる。
【００２５】詳細オンデマンドビデオ用の交替ビデオシ
ーケンスを特定するため、ビデオクリップと複合ビデオ
との間にリンクを形成してもよい。リンク１３０は、シ
ーケンス６（１３３）がシーケンス３（１１９）の交替
ビデオシーケンスであることを特定する。同様にリンク
１３５は、シーケンス８（１３７）がビデオクリップ５
（１２７）の交替ビデオシーケンスであることを特定
し、リンク１３９は、ビデオクリップ７（１２５）がビ
デオクリップ１１（１４１）の交替ビデオシーケンスで
あることを特定する。
【００２６】図１よりわかるように、ビデオクリップか
ら複合ビデオへリンクを形成してもよい。任意の２つの
ビデオクリップ間もしくは複合ビデオ間にリンクを随意
配置することができるので、ユーザは循環関係を形成す
ることもできる。一実施態様では、アプリケーションが
循環関係を検出し、ユーザに通知する。また、図１に示
した単純な２層構造の例とは対称的に、ユーザは多数の
層からなる詳細オンデマンドビデオを作成することもで
きる。一実施態様では、ビデオシーケンス間を移動する
情報は、一般的に用いられる後入れ先出し（ＬＩＦＯ）
法によるデータ構造である、データスタックに保持され
る。
【００２７】図２は、詳細オンデマンドビデオのための
リンクを形成する方法を示すフローチャートである。ス
テップ２１０でリンクソースが選択される。同様に、ス
テップ２２０でリンク目標が選択される。リンクソース
及びリンク目標は、ビデオクリップ又は複合ビデオとす
ることができる。ステップ２３０で、ユーザコマンドを
通じてリンクが形成される。最後に、ステップ２４０
で、ユーザがリンク特性を設定してもよい。リンク特性
は、ソースビデオシーケンスと目標ビデオシーケンスの
間の入口点と出口点とを特定する。これについては後で
詳細に説明する。ステップ２１０乃至２４０の順序は、
ユーザインタフェースに応じて入れ替えてもよい。
【００２８】リンク特性は、ソースビデオシーケンスと
目標ビデオシーケンスの間の移行タイプを特定すること
で、詳細オンデマンドビデオの提示を制御する。リンク
特性には、目標ビデオシーケンスに入った時点であるシ
ーケンス開始点、目標ビデオシーケンスの再生が完了し
た時点であるソースビデオシーケンスの再生再開点、及
びユーザが目標ビデオシーケンスの再生を中断した時点
であるソースビデオシーケンスの再生再開点が含まれ
る。リンク特性はユーザが設定することもでき、またア
プリケーションによってデフォルト点に自動的に設定す
ることもできる。
【００２９】一実施態様では、目標ビデオシーケンスが
終了もしくはユーザによって中断されたとき、再生はソ
ースビデオシーケンスに戻る。あるいは、別のビデオシ
ーケンスを指定して再生してもよい。一実施態様では、
ユーザ入力及びシーケンス終了のいずれかに伴う目標ビ
デオシーケンスの再生の終了に当たり、リンク特性をソ
ースビデオからの出発点に置くことができる。あるい
は、ソースビデオシーケンスの最後に戻って再生しても
よい。更に別の実施態様では、ソースビデオシーケンス
の所定点に戻って再生してもよい。別の実施態様では、
ソースビデオシーケンスの、目標ビデオの終了点に対応
する位置に戻って再生する。例えば、目標シーケンスの
中程でユーザがシーケンスを出た場合、ソースビデオシ
ーケンスのほぼ中程からソースビデオシーケンスの再生
が再開される。
【００３０】一実施態様では、目標ビデオシーケンスの
開始点は目標ビデオシーケンスの冒頭部分である。別の
実施態様では、目標ビデオシーケンスの開始点はソース
ビデオシーケンスの再生点と対応している。例えば、ソ
ースビデオシーケンスの中程でユーザがリンクを選択し
た場合、目標ビデオシーケンスのほぼ中程から目標ビデ
オシーケンスの再生が開始される。更に別の実施態様で
は、ソースビデオシーケンスと目標ビデオシーケンスを
構成するビデオクリップ又は複合ビデオの数が同一であ
る場合、目標ビデオシーケンスの開始点はソースビデオ
シーケンスの現在再生している点に対応する。
【００３１】終了したビデオは、アプリケーションか
ら、ビデオ情報とリンク情報とを含むデータファイルに
出力することができる。別の実施態様では、リンク情報
はビデオ情報とは別のデータファイル（編集決定リスト
等）に記憶される。更に別の実施態様では、ビデオデー
タとリンク情報を用いて、当業者には周知の方法によっ
てＤＶＤディスクを作成する。
【００３２】画面の面積が限られていることを考慮し、
複合ビデオの縮小表示を利用してビデオシーケンスの重
要な特性を表示する。重要な特性として、開始及び終了
ビデオクリップ、シーケンスにおける他のクリップの選
択、シーケンスの時間的長さ、構成クリップ数、複合ビ
デオの深さ（複合ビデオが別の複合ビデオを含む場合）
が挙げられる。レイアウト空間では、縮小表示は１つの
グラフィカルオブジェクトである。縮小表示はユーザに
よって拡大されてもよい。複合ビデオを拡大すると、次
の段階の複合ビデオと個々のクリップを表示する画像が
示される。一実施態様では、画面の空間において、拡大
されていない縮小表示が占める面積は、１つのビデオク
リップ表示の占める面積と等しい。
【００３３】図３は、複合ビデオの縮小表示を生成する
ためのフローチャートを示す。ステップ３１０で、複合
ビデオに含まれるビデオクリップ又は複合ビデオの中か
らキーフレームが選択される。キーフレームは様々な基
準に従って選択される。一実施態様では、キーフレーム
は各ビデオクリップ又は複合ビデオから選択される。別
の実施態様では、キーフレームはシーケンスの最初及び
最後のビデオクリップから選択される。シーケンスの有
効な全体概略を提供するため、追加のキーフレームが選
択される。追加のキーフレームの選択は、最も長いクリ
ップからキーフレームを選択すること、最も特殊なクリ
ップからキーフレームを選択すること、もしくは複合ビ
デオから同一の時間間隔で所望数のキーフレームを選択
すること、により実行できる。
【００３４】数多くの方法の中の任意の１つを用いてビ
デオクリップからの個々のキーフレームを選択してもよ
い。一実施態様では、最初と最後、そして中間のフレー
ムをキーフレームとして選択することができる。別の実
施態様では、ビデオクリップの他のフレームに最も類似
したもの、すなわち他のフレームを代表するものをキー
フレームとして選択してもよい。クリップ間の類似度
は、フレームのカラーヒストグラムを比較する方法やそ
の他の方法で決定できる。
【００３５】ステップ３２０で、キーフレームのクリッ
ピングが行われる。キーフレームのクリッピングによ
り、各キーフレームの重要な部分が特定される。一実施
態様では、各キーフレームの重要な部分を保存し、一方
で背景等のキーフレームの本質でない部分を放棄する。
これにより、キーフレームを所要のサイズに縮小する際
に必要な縮尺度を最小限とすることができる。一実施態
様では、ヒューリスティックス（探索法）を利用して各
キーフレームの重要な部分を選択する。ヒューリスティ
ックスの一例は、中間のキーフレームを最も重要な部分
として選択する。別の実施形態では、前景／背景の選別
技術と組み合わせてヒューリスティックスを利用する。
前景／背景を選別することにより、キーフレームの中で
前景の被写体が占める全ての部分が特定される。画像か
ら人物の頭部が切れる等の不都合な結果が生じないよう
考慮しながら、ヒューリスティックスを用いて前景の一
部を選択する。
【００３６】一実施態様では、画素のサンプリング技術
を利用して、背景画素から前景を選別することができ
る。この実施態様では、ビデオクリップのフレームにお
ける各画素は時間の経過に伴ってサンプリングされる。
画素値の変化は、仮にあったとしてもごくわずかであ
り、背景画素とみなすことができる。一実施態様では、
画素の変化が一定の閾値を下回る又は上回る標準偏差を
有するか否かを決定することにより、画素の変化を分類
することができる。前景の画素の領域における小さな間
隙は、前景である被写体を選択する前に埋めることがで
きる。一実施態様では、画素サンプリング技術を実行す
る前にカメラ動作の調整を行う。
【００３７】任意のステップ３３０で、幾つかのキーフ
レームが組み合わされ、１つのキーフレームを形成す
る。後で説明する一実施態様では、時間の経過に伴う被
写体の動作がこの技術により視覚化される。クリップレ
イアウトステップ３４０で、キーフレームがグラフィカ
ル配置される。このステップで別々のキーフレームが組
み合わされ、１つのグラフィカルオブジェクトを形成す
る。例示的なグラフィカルレイアウトについては後述す
る。一実施態様では、縮小表示に収まるよう、キーフレ
ームのサイズを縮小してもよい。
【００３８】任意のステップ３５０で、付加的な情報を
縮小表示に重ねる。付加的な情報として、複合ビデオの
時間的長さ、構成要素数、要素の深さが挙げられる。一
実施態様では、概略を樹形図で表示して縮小表示に重
ね、構成要素数及び要素の深さを示す。概略の樹形図表
示の一例では、点で表される節の部分が構成要素を、節
をつなぐ線の部分が構成要素の深さを表す。
【００３９】図４は、分類されて複合ビデオを形成する
９つのビデオクリップのグループを示す。図５は、図４
のビデオクリップからなる複合ビデオのための縮小表示
の３つの例を示す。縮小表示５２０、５４０、５６０で
は、キーフレームを４方向に配置している。すなわち、
最初のクリップのキーフレームを左上に、シーケンスの
最後のクリップのキーフレームを右下に配置している。
この配置は英語の文章を表す場合の左から右の順を反映
しているが、他の言語の場合には必要に応じて反転して
もよい。他の２つの位置には、中間ビデオクリップのキ
ーフレームが配置される。
【００４０】表示５２０の実施態様では、全てのフレー
ムのそれぞれのサイズは全表示の４分の１となってい
る。実施態様５４０では、各キーフレームの重要な部分
のみが表示されている。キーフレームを所望の面積（こ
こでは表示面積の４分の１）で選択するので、キーフレ
ームのサイズを縮小する必要がない。あるいは、キーフ
レームを大きめに選択し、適宜縮小してもよい。ヒュー
リスティックス又は前述した前景／背景の選別技術を利
用してキーフレームの一部を選択してもよい。
【００４１】実施態様５６０では、最初と最後のクリッ
プのキーフレームに、各クリップの重要度に応じた空間
を割り当てている。一実施態様では、ビデオクリップの
重要度は各クリップの相対長さによって決定することが
できる。縮小表示における各キーフレームの相対サイズ
を決定するに当たっては、例えば動作や行動を測定する
方法等、他の重要度測定方法も使用できる。実施態様５
２０、５４０、５６０は例示目的で取り上げたものであ
り、実施態様５２０、５４０、５６０の特定の特徴を入
れ替え、これらの実施態様の変更態様とすることも可能
である。
【００４２】図６は、構成要素であるキーフレームを４
つだけ選択するのではなく、９つ全てのキーフレームを
組み合わせた縮小表示の２つの例示的実施態様を示して
いる。９つのソースフレームが重なるようにし、それぞ
れの後続キーフレームを右上（もしくは右下）方向へ配
置している。この２つの例では、全体的な配置はＳ字型
の弧を描いている（最初に上がり、次に開始点よりも下
がり、また上がっている）。一実施態様では、縮小表示
の面積が１つのビデオクリップ表示の面積と等しくなる
よう、各キーフレームのサイズを縮小する。別の実施態
様では、各キーフレームのサイズを縮小しているが、縮
小表示全体のサイズは１つのビデオクリップ表示のサイ
ズよりも大きくしてもよい。
【００４３】実施態様６２０では、Ｘ、Ｙ両次元におい
て一定のオフセットを使用している。これにより、キー
フレームが隣り合ったときその頂部及び底部の位置が調
整される。実施態様６４０では、後続フレームを上へ、
その次のフレームを下へ動かす際に別のオフセットを使
用し、縮小表示において隣接するキーフレームとの位置
合わせを解除している。これにより、Ｓ字型の弧全体が
下方向に傾斜し、発生順の更なる視覚的手掛かりをユー
ザに伝えている。
【００４４】図７は、図６の実施態様の変更態様を示
す。図７の実施態様では、各キーフレームにより多くの
情報を表示するため、１つ置きにキーフレームを取り除
いている。実施態様７２０及び７４０はそれぞれ５つの
キーフレームを使用し、Ｓ字型を維持している。実施態
様７４０では、実施態様５６０で使用した技術と同様
に、各クリップの相対長さに応じた空間を各キーフレー
ムに割り当てる。前述したように、縮小表示における各
キーフレームの相対サイズを決定するに当たっては、他
の重要度測定方法も使用できる。また、実施態様７４０
ではキーフレーム間の間隙が大きくなっている。これに
より外観の乱雑性が緩和される。
【００４５】別の実施態様では、キーフレームは上下を
逆にしたＵ字型の弧を描くように並べられる。図６及び
図７の実施態様と同様に、この実施態様は例示目的で取
り上げたものであり、これらの実施態様の特定の特徴を
入れ替え、変更態様とすることも可能である。
【００４６】図８は、図３のステップ３３０に関連して
上述した、キーフレームの組み合わせ結果を示してい
る。図８では、同一場面に属するクリップが組み合わさ
れ、その場面の間の被写体の動作を視覚化している。動
作情報を決定するため、１つのクリップからの幾つかの
フレームを同一の時間間隔で捕捉し、一続きのフレーム
を形成する。シーケンスの中間からのフレームをベース
フレームとして選択する。ベースフレームの前後のフレ
ームを使用して過去と未来（時系列上古いシーン及び新
しいシーン）とをそれぞれ視覚化する。
【００４７】各フレームは隣接するフレームと比較さ
れ、静止画像において２つの連続するフレーム間で変化
した部分が着色される。着色により示された差異がベー
スフレームに加味される。一実施態様では、異なる色を
用いて時間を視覚化する。例えば、過去の事柄を赤に、
未来の事柄を青に着色する。赤は、遠い過去では橙がか
った色であるが、近い過去ではソリッドな赤に変化す
る。同様に、遠い未来には明るい青が使われているが、
現在に近づくにつれソリッドな青が使われている。
【００４８】一実施態様では、閾値法を用いて動作中の
被写体を強調することができる。フレーム間で変化した
領域を決定するため、対応する画素の輝度を比較する。
輝度の変化が１０％を上回る場合、画素は別のものであ
るとみなされる。閾値を低くすると、動作中の被写体は
より際立って見えるが、更に多くのノイズも入る。別の
実施態様では、閾値の半分を超える画素差は半透明で表
示される。
【００４９】一実施態様では、輝度の全体的な変化によ
る影響を避けるため、比較を行う前にフレーム全体の輝
度を正常化する。フレーム中の全画素の輝度の平均値と
標準偏差を決定する。各画素について輝度値から平均値
を減算し、得られた値を標準偏差で除算する。更に別の
実施態様では、比較を行う前にフレームを幾分ぼやけさ
せ（ブラー）、非常に小さい動作を除去する。このブラ
ー処理は比較のためのみに行われ、中央フレームの表示
には行われない。
【００５０】一実施態様では、着色された部分は部分的
に透明である。透明部分の量は、そのフレームが中央フ
レームにどれだけ近いかによって変化する。すなわち、
遠い過去又は遠い未来における変化はより現在に近い部
分の変化と比べ、透明度が高くなる。
【００５１】一実施態様では、カメラ動作を決定し、カ
メラのパン動作用に調整するために補正することが必要
である。この実施態様では、被写体の動作を強調し、カ
メラ動作が行われなかったかのようにカメラ動作を無視
する。カメラ動作の補正の一実施態様では、連続した２
つのフレーム間のオフセットを決定する。１つのフレー
ムの中央部分を様々な方向へ移動させ、他のフレームの
中央部分と比較する。１つのフレームの中央部分は８つ
の異なる方向へ同量だけ移動され、後続フレームと比較
される。一実施態様では、輝度差の２乗の合計値を比較
に使用する。
【００５２】８つの異なる点のそれぞれについての比較
値と、不動点の比較値とを比較する。差異が最も小さい
点を選択し、その領域が半分移動される次のイテレーシ
ョンの開始点とする。この対数を用いた方法では、２つ
のフレーム間のオフセットを迅速に発見することができ
る。一実施態様では、１６の約数によって処理の高速化
を図るため、各方向の画素を４画素毎に比較するだけで
もよい。別の実施態様では９つの領域をそれぞれ別々に
移動させ、全ての移動の平均移動を使用する。２つのフ
レーム間のオフセットが発見されると、被写体の動作を
計算する前に後続フレームの位置をシフトし、オフセッ
トを除去する。
【００５３】前述した本発明の好適な実施態様は、例示
及び説明を目的としたものである。本発明は、開示され
た形状によって説明し尽くされたものではなく、これに
限定されない。様々な修正や変更が当業者には自明であ
る。実施態様は、本発明の原理と実際の応用について最
もよく説明するために選択、記述されたもので、当業者
は種々の実施態様を得るため、そして所期の使用法に適
した様々な修正を施すために、本発明を理解することが
できる。本発明の範囲は特許請求の範囲とその均等物に
よって定義される。
【図面の簡単な説明】
【図１】レイアウト空間に配置された、ビデオクリップ
と複合ビデオの階層を示す図である。
【図２】本発明の一実施態様に従った詳細要求ビデオ
の、ビデオシーケンスリンクの形成方法を示す図であ
る。
【図３】本発明の一実施態様に従った複合ビデオの縮小
表示の作成方法を示す図である。
【図４】縮小表示の作成に使用される１組のサンプルビ
デオクリップを示す図である。
【図５】複合ビデオの縮小表示の、幾つかの実施態様を
示す図である。
【図６】複合ビデオの縮小表示の、幾つかの実施態様を
示す図である。
【図７】複合ビデオの縮小表示の、幾つかの実施態様を
示す図である。
【図８】本発明の一実施態様に従ったキーフレームの組
み合わせ結果を示す図である。
【符号の説明】
１３０、１３５、１３９ リンク ５２０、５４０、５６０ 縮小表示
───────────────────────────────────────────────────── フロントページの続き (72)発明者 フランク エム．シップマン ザ サード アメリカ合衆国 94304 カリフォルニア 州 パロ アルト ヒルビュー アベニュ ー 3400 ビルディング ４ エフエック ス パロ アルト ラボラトリー インコ ーポレイテッド内 (72)発明者 リン ディー．ウィルコックス アメリカ合衆国 94304 カリフォルニア 州 パロ アルト ヒルビュー アベニュ ー 3400 ビルディング ４ エフエック ス パロ アルト ラボラトリー インコ ーポレイテッド内 (72)発明者 パトリック チィーウ アメリカ合衆国 94304 カリフォルニア 州 パロ アルト ヒルビュー アベニュ ー 3400 ビルディング ４ エフエック ス パロ アルト ラボラトリー インコ ーポレイテッド内 Ｆターム(参考） 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD05 CE08 5C023 AA02 AA14 AA21 AA27 AA31 AA38 BA11 BA19 CA01 CA08 DA04 DA08 5C053 FA05 FA07 FA14 LA01 5D110 AA03 AA29 BB18 EA08 FA02 FA09

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 複数のビデオクリップからなるビデオシ
    ーケンスの縮小表示であって、前記縮小表示は、 前記ビデオシーケンスの前記複数のビデオクリップの少
    なくとも一部から得られる複数のキーフレームと、 前記複数のキーフレームを発生順に表示するためのキー
    フレーム表示領域と、を含む縮小表示。
  2. 【請求項２】 前記キーフレーム表示領域は、キーフレ
    ームと同じ面積を有する請求項１に記載の縮小表示。
  3. 【請求項３】 前記キーフレーム表示領域におけるキー
    フレームの水平空間位置は、発生順に関する前記キーフ
    レームの相対位置に対応する請求項１に記載の縮小表
    示。
  4. 【請求項４】 前記キーフレーム表示領域におけるキー
    フレームの垂直空間位置は、発生順に関する前記キーフ
    レームの相対位置に対応する請求項１に記載の縮小表
    示。
  5. 【請求項５】 前記キーフレーム表示領域は、前記ビデ
    オシーケンスの各ビデオクリップから得られるキーフレ
    ームを含む請求項１に記載の縮小表示。
  6. 【請求項６】 前記キーフレーム表示領域は、前記ビデ
    オシーケンスの前記複数のビデオクリップの代表的な部
    分から得られる複数のキーフレームを含む請求項１に記
    載の縮小表示。
  7. 【請求項７】 前記複数のキーフレームのサイズは、前
    記キーフレーム表示領域の前記複数のキーフレームに収
    まるよう縮小される請求項１に記載の縮小表示。
  8. 【請求項８】 前記複数のキーフレームのサイズは、同
    量だけ縮小される請求項７に記載の縮小表示。
  9. 【請求項９】 前記各キーフレームのサイズは、各キー
    フレームに関連するビデオクリップの重要度に応じて縮
    小される請求項７に記載の縮小表示。
  10. 【請求項１０】 各ビデオクリップの前記重要度は、前
    記ビデオクリップの長さによって決定される請求項９に
    記載の縮小表示。
  11. 【請求項１１】 各キーフレームは重要な情報を有する
    部分を含み、前記キーフレームの表示領域は、前記複数
    のキーフレームの重要な部分のみを表示する請求項１に
    記載の縮小表示。
  12. 【請求項１２】 前記重要な情報を有する部分は、前記
    キーフレーム及び所定領域の中央部分として選択される
    請求項１に記載の縮小表示。
  13. 【請求項１３】 前記重要な情報を有する部分は、前記
    キーフレームの前景／背景選別を行うことにより選択さ
    れる請求項１に記載の縮小表示。
  14. 【請求項１４】 前記複数のキーフレームは、前記キー
    フレーム表示領域にｎ×ｍの配列で配置される請求項１
    に記載の縮小表示。
  15. 【請求項１５】 前記複数のキーフレームは、前記キー
    フレーム表示領域にＳ字型曲線状に配置される請求項１
    に記載の縮小表示。
  16. 【請求項１６】 Ｓ字型曲線が概ね下向きに傾斜するよ
    う、前記キーフレーム表示領域の隣接キーフレーム間の
    下向きのオフセットは、前記キーフレーム表示領域の隣
    接キーフレーム間の上向きのオフセットよりも大きくな
    っている請求項１５に記載の縮小表示。
  17. 【請求項１７】 ビデオクリップから得られるキーフレ
    ームは、そのビデオクリップ中の被写体動作を示し、前
    記動作は、前記キーフレーム中に、前記ビデオクリップ
    全体を通じて変化する画素を形成することによりキーフ
    レーム中に示され、前記ビデオクリップ全体を通じて変
    化する前記画素は、前記ビデオクリップの別のフレーム
    中の被写体に対応する請求項１に記載の縮小表示。
  18. 【請求項１８】 前記被写体は一定レベルの透明度を有
    する１組の画素によって示され、前記被写体は、前記ビ
    デオクリップの前記キーフレームの前もしくは後の特定
    のフレーム中の動作中の前記被写体に対応し、前記一定
    レベルの透明度は、前記キーフレームと、前記ビデオク
    リップの特定フレームの間のフレーム数に対応する請求
    項１７に記載の縮小表示。
  19. 【請求項１９】 前記被写体は前記ビデオクリップの特
    定のフレーム中の前記被写体の位置を示すために着色さ
    れた１組の画素によって示され、前記１組の画素の色は
    前記特定のフレームが前記キーフレームの前もしくは後
    のいずれに発生するかに対応し、前記１組の画素の色の
    強度は前記特定のフレームと前記キーフレームの間のフ
    レーム数に対応する請求項１７に記載の縮小表示。
  20. 【請求項２０】 前記ビデオシーケンス中のビデオクリ
    ップ数及びその深さを示すため前記キーフレーム表示領
    域にグラフィックオーバレイを加える請求項１に記載の
    縮小表示。
  21. 【請求項２１】 複数のビデオクリップからなるビデオ
    シーケンスを縮小表示することをコンピュータに実行さ
    せるプログラムであって、 前記ビデオシーケンスの前記複数のビデオクリップの少
    なくとも一部から複数のキーフレームを得るステップ
    と、 前記複数のキーフレームを発生順に表示するステップ
    と、 を実行させるためのプログラム。
JP2003077539A 2002-04-03 2003-03-20 ビデオシーケンスの縮小表示 Pending JP2003346463A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US116012 1998-07-15
US10/116,012 US7149974B2 (en) 2002-04-03 2002-04-03 Reduced representations of video sequences

Publications (1)

Publication Number Publication Date
JP2003346463A true JP2003346463A (ja) 2003-12-05

Family

ID=28673879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003077539A Pending JP2003346463A (ja) 2002-04-03 2003-03-20 ビデオシーケンスの縮小表示

Country Status (2)

Country Link
US (1) US7149974B2 (ja)
JP (1) JP2003346463A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077821A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. 映像合成装置
JP2007013951A (ja) * 2005-06-17 2007-01-18 Fuji Xerox Co Ltd アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する方法とそのためのインタフェース
JP2010177783A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 映像音声記録装置
JP2011151510A (ja) * 2010-01-20 2011-08-04 Canon Inc 表示制御装置、方法及びプログラム並びに記録媒体

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596755B2 (en) 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US7954056B2 (en) * 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US7051271B1 (en) * 2000-05-31 2006-05-23 Fuji Xerox Co., Ltd. Method, system and article of manufacture for linking a video to a scanned document
US6807362B1 (en) 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. System and method for determining video clip boundaries for interactive custom video creation system
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US8635531B2 (en) 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US7483619B2 (en) * 2002-04-03 2009-01-27 Fuji Xerox Co., Ltd. System for authoring and viewing detail on demand video
US7149974B2 (en) 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences
KR100521933B1 (ko) * 2002-06-05 2005-10-13 엘지전자 주식회사 재기록 가능 기록매체의 편집 요약정보 관리방법
US7257774B2 (en) * 2002-07-30 2007-08-14 Fuji Xerox Co., Ltd. Systems and methods for filtering and/or viewing collaborative indexes of recorded media
JP2004112372A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像処理システム
JP2004112379A (ja) 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像検索システム
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7840905B1 (en) 2003-01-06 2010-11-23 Apple Inc. Creating a theme used by an authoring application to produce a multimedia presentation
US7546544B1 (en) 2003-01-06 2009-06-09 Apple Inc. Method and apparatus for creating multimedia presentations
US7694225B1 (en) * 2003-01-06 2010-04-06 Apple Inc. Method and apparatus for producing a packaged presentation
CA2457602A1 (en) * 2003-02-19 2004-08-19 Impatica Inc. Method of synchronizing streams of real time data
AU2003900809A0 (en) * 2003-02-24 2003-03-13 Aristocrat Technologies Australia Pty Ltd Gaming machine transitions
JP2004328265A (ja) * 2003-04-23 2004-11-18 Sony Corp 表示方法及び表示装置
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7480442B2 (en) * 2003-07-02 2009-01-20 Fuji Xerox Co., Ltd. Systems and methods for generating multi-level hypervideo summaries
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US8156444B1 (en) * 2003-12-31 2012-04-10 Google Inc. Systems and methods for determining a user interface attribute
US7882436B2 (en) * 2004-03-10 2011-02-01 Trevor Burke Technology Limited Distribution of video data
US8595214B1 (en) 2004-03-31 2013-11-26 Google Inc. Systems and methods for article location and retrieval
US7853606B1 (en) 2004-09-14 2010-12-14 Google, Inc. Alternate methods of displaying search results
JP4727342B2 (ja) * 2004-09-15 2011-07-20 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
US7752548B2 (en) * 2004-10-29 2010-07-06 Microsoft Corporation Features such as titles, transitions, and/or effects which vary according to positions
US7555718B2 (en) * 2004-11-12 2009-06-30 Fuji Xerox Co., Ltd. System and method for presenting video search results
WO2006092752A2 (en) * 2005-03-03 2006-09-08 Koninklijke Philips Electronics N.V. Creating a summarized overview of a video sequence
US20080141180A1 (en) * 2005-04-07 2008-06-12 Iofy Corporation Apparatus and Method for Utilizing an Information Unit to Provide Navigation Features on a Device
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US8555166B2 (en) * 2005-05-20 2013-10-08 Hillcrest Laboratories, Inc. Dynamic hyperlinking approach
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US8085318B2 (en) * 2005-10-11 2011-12-27 Apple Inc. Real-time image capture and manipulation based on streaming data
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
US7996771B2 (en) * 2005-06-17 2011-08-09 Fuji Xerox Co., Ltd. Methods and interfaces for event timeline and logs of video streams
US8089563B2 (en) 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US7623677B2 (en) 2005-06-17 2009-11-24 Fuji Xerox Co., Ltd. Methods and interfaces for visualizing activity across video frames in an action keyframe
US7644364B2 (en) * 2005-10-14 2010-01-05 Microsoft Corporation Photo and video collage effects
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
CN101366027B (zh) * 2005-11-15 2013-03-20 耶路撒冷希伯来大学伊森姆研究发展公司 用于产生视频概要的方法和系统
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US8032840B2 (en) * 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
US7469071B2 (en) 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
JP2007288299A (ja) * 2006-04-13 2007-11-01 Hitachi Ltd 配信システム、情報処理装置、配信方法及びプログラム
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US20080162650A1 (en) * 2006-06-28 2008-07-03 Jonathan William Medved User-chosen media content
US7890857B1 (en) * 2006-07-25 2011-02-15 Hewlett-Packard Development Company, L.P. Method and system for utilizing sizing directives for media
US20080127270A1 (en) * 2006-08-02 2008-05-29 Fuji Xerox Co., Ltd. Browsing video collections using hypervideo summaries derived from hierarchical clustering
US7899240B2 (en) * 2006-09-18 2011-03-01 Sony Ericsson Mobile Communications Ab Video pattern thumbnails and method
US20080069475A1 (en) * 2006-09-18 2008-03-20 Simon Ekstrand Video Pattern Thumbnails and Method
KR101146926B1 (ko) * 2006-12-20 2012-05-22 엘지전자 주식회사 이동 단말기에서 비디오의 대표 영상 제공 방법
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US8473846B2 (en) * 2006-12-22 2013-06-25 Apple Inc. Anchor point in media
US7992097B2 (en) * 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US8943410B2 (en) 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
KR101437653B1 (ko) 2007-01-26 2014-09-12 삼성전자주식회사 재생시점 변경용 ｇｕｉ 제공방법 및 이를 적용한 영상기기
US8301669B2 (en) * 2007-01-31 2012-10-30 Hewlett-Packard Development Company, L.P. Concurrent presentation of video segments enabling rapid video file comprehension
US9544563B1 (en) 2007-03-23 2017-01-10 Proximex Corporation Multi-video navigation system
US7777783B1 (en) 2007-03-23 2010-08-17 Proximex Corporation Multi-video navigation
US8918714B2 (en) * 2007-04-11 2014-12-23 Adobe Systems Incorporated Printing a document containing a video or animations
US20080294588A1 (en) * 2007-05-22 2008-11-27 Stephen Jeffrey Morris Event capture, cross device event correlation, and responsive actions
US20080303949A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Manipulating video streams
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
JP2009004999A (ja) * 2007-06-20 2009-01-08 Panasonic Corp 映像データ管理装置
US8161389B1 (en) * 2007-10-31 2012-04-17 Adobe Systems Incorporated Authoring tool sharable file format
US8103966B2 (en) * 2008-02-05 2012-01-24 International Business Machines Corporation System and method for visualization of time-based events
WO2009155089A1 (en) * 2008-05-29 2009-12-23 Telcordia Technologies, Inc. Method and system for generating and presenting mobile content summarization
WO2009155092A2 (en) * 2008-05-29 2009-12-23 Telcordia Technologies, Inc. Method and system for multi-touch-based browsing of media summarizations on a handheld device
JP4591576B2 (ja) * 2008-08-18 2010-12-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9071626B2 (en) 2008-10-03 2015-06-30 Vidsys, Inc. Method and apparatus for surveillance system peering
JP5231928B2 (ja) * 2008-10-07 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US8621357B2 (en) * 2008-12-30 2013-12-31 Apple Inc. Light table for editing digital media
US20100169784A1 (en) * 2008-12-30 2010-07-01 Apple Inc. Slide Show Effects Style
US8626322B2 (en) * 2008-12-30 2014-01-07 Apple Inc. Multimedia display based on audio and visual complexity
US8832555B2 (en) * 2008-12-30 2014-09-09 Apple Inc. Framework for slideshow object
KR20100095777A (ko) * 2009-02-23 2010-09-01 삼성전자주식회사 전자기기에서 컨텐츠의 썸네일 추출 방법 및 장치
US8296675B2 (en) * 2009-03-09 2012-10-23 Telcordia Technologies, Inc. System and method for capturing, aggregating and presenting attention hotspots in shared media
US20100325552A1 (en) * 2009-06-19 2010-12-23 Sloo David H Media Asset Navigation Representations
US8786597B2 (en) 2010-06-30 2014-07-22 International Business Machines Corporation Management of a history of a meeting
EP2598981B1 (en) 2010-07-27 2020-09-23 Telcordia Technologies, Inc. Interactive projection and playback of relevant media segments onto facets of three-dimensional shapes
US8443285B2 (en) 2010-08-24 2013-05-14 Apple Inc. Visual presentation composition
US8687941B2 (en) 2010-10-29 2014-04-01 International Business Machines Corporation Automatic static video summarization
US8914452B2 (en) 2012-05-31 2014-12-16 International Business Machines Corporation Automatically generating a personalized digest of meetings
US9087386B2 (en) 2012-11-30 2015-07-21 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
US9753619B2 (en) * 2013-03-08 2017-09-05 Thomas Creative Group Productions, Llc Interactive presentation system
WO2014184417A1 (en) * 2013-05-13 2014-11-20 Nokia Corporation Method, apparatus and computer program product to represent motion in composite images
JP6213914B2 (ja) * 2013-09-27 2017-10-18 パナソニックＩｐマネジメント株式会社 通信端末、およびコンテンツ出版方法
US9792386B2 (en) 2013-10-25 2017-10-17 Turner Broadcasting System, Inc. Concepts for providing an enhanced media presentation
US11910066B2 (en) 2013-10-25 2024-02-20 Turner Broadcasting System, Inc. Providing interactive advertisements
US11288311B2 (en) * 2019-11-11 2022-03-29 International Business Machines Corporation Interactive image cloud visualization of videos
CN111753642B (zh) * 2020-05-09 2024-02-20 三生万物(北京)人工智能技术有限公司 一种确定关键帧的方法及装置
CN112689088A (zh) * 2020-12-21 2021-04-20 维沃移动通信（杭州）有限公司 图像显示方法、装置和电子设备
JP2022152630A (ja) * 2021-03-29 2022-10-12 パナソニックＩｐマネジメント株式会社 オンライン映像配信支援方法およびオンライン映像配信支援装置
USD1006051S1 (en) * 2021-06-08 2023-11-28 Stryker Corporation Display screen with animated graphical user interface
CN114630193A (zh) * 2022-03-29 2022-06-14 湖南大众传媒职业技术学院 短视频中的画面优化方法及系统
CN114827714B (zh) * 2022-04-11 2023-11-21 咪咕文化科技有限公司 基于视频指纹的视频还原方法、终端设备及存储介质
US11860931B1 (en) * 2022-07-11 2024-01-02 Truist Bank Graphical user interface with insight hub and insight carousel

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359712A (en) * 1991-05-06 1994-10-25 Apple Computer, Inc. Method and apparatus for transitioning between sequences of digital information
US5425140A (en) * 1992-03-20 1995-06-13 International Business Machines Corporation Method and apparatus for providing conditional cascading in a computer system graphical user interface
EP0717344B1 (en) * 1994-12-13 2001-10-31 Microsoft Corporation Taskbar with start menu
GB2301757B (en) * 1995-06-01 2000-02-02 Ibm Graphical user interface
US5828371A (en) * 1995-11-22 1998-10-27 International Business Machines Corporation Method and system for graphic video image presentation control
US6052492A (en) * 1997-12-09 2000-04-18 Sun Microsystems, Inc. System and method for automatically generating an image to represent a video sequence
SG92628A1 (en) * 1999-02-13 2002-11-19 Newstakes Inc A method and apparatus for converting video to multiple mark-up-language presentations
US6647535B1 (en) * 1999-03-18 2003-11-11 Xerox Corporation Methods and systems for real-time storyboarding with a web page and graphical user interface for automatic video parsing and browsing
US6925602B1 (en) * 2000-03-20 2005-08-02 Intel Corporation Facilitating access to digital video
US6807361B1 (en) * 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
US20020175917A1 (en) * 2001-04-10 2002-11-28 Dipto Chakravarty Method and system for streaming media manager
US7483619B2 (en) * 2002-04-03 2009-01-27 Fuji Xerox Co., Ltd. System for authoring and viewing detail on demand video
US7149974B2 (en) 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077821A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. 映像合成装置
JP2007013951A (ja) * 2005-06-17 2007-01-18 Fuji Xerox Co Ltd アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する方法とそのためのインタフェース
JP4682928B2 (ja) * 2005-06-17 2011-05-11 富士ゼロックス株式会社 アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム
JP2010177783A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 映像音声記録装置
JP2011151510A (ja) * 2010-01-20 2011-08-04 Canon Inc 表示制御装置、方法及びプログラム並びに記録媒体

Also Published As

Publication number Publication date
US7149974B2 (en) 2006-12-12
US20030189588A1 (en) 2003-10-09

Similar Documents

Publication Publication Date Title
JP2003346463A (ja) ビデオシーケンスの縮小表示
US11157154B2 (en) Media-editing application with novel editing tools
JP4370792B2 (ja) ビデオシーケンスの階層形成方法及びプログラム
Yeung et al. Video visualization for compact presentation and fast browsing of pictorial content
US7383509B2 (en) Automatic generation of multimedia presentation
US20090003712A1 (en) Video Collage Presentation
AU2007345938B2 (en) Method and system for video indexing and video synopsis
US8161452B2 (en) Software cinema
JP4774816B2 (ja) 画像処理装置，画像処理方法，およびコンピュータプログラム。
US9589381B2 (en) Copying of animation effects from a source object to at least one target object
US8098261B2 (en) Pillarboxing correction
US20110170008A1 (en) Chroma-key image animation tool
JP2002084488A (ja) ビデオ生成システム及びカスタムビデオ生成方法
US11747972B2 (en) Media-editing application with novel editing tools
KR20080047847A (ko) 동적 영상물 재생 장치 및 방법
KR20140043359A (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 제품
US5886692A (en) Attracting and repelling edit blocks in a user interface of a video editor
US8406610B2 (en) Systems and methods of editing media data
Jing et al. Content-aware video2comics with manga-style layout
US20050078940A1 (en) Information editing device, information editing method, and computer product
US6232988B1 (en) Systems and methods for converting a component in an animation to an interactive object
JP3496866B2 (ja) マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体
JP2011023836A (ja) スライドデータ作成装置、スライドデータ作成方法及びプログラム
Droblas et al. ADOBE PREMIERE PRO CS3 BIBLE (With CD)
CN117911582A (zh) 混合媒体内容的自适应编辑体验

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080708