JP2001258038A - ビデオシーケンスのキーフレーム抽出方法、ビデオシーケンスのキーフレーム抽出装置、記憶媒体及びプログラムソフトウェア - Google Patents

ビデオシーケンスのキーフレーム抽出方法、ビデオシーケンスのキーフレーム抽出装置、記憶媒体及びプログラムソフトウェア

Info

Publication number
JP2001258038A
JP2001258038A JP2001024529A JP2001024529A JP2001258038A JP 2001258038 A JP2001258038 A JP 2001258038A JP 2001024529 A JP2001024529 A JP 2001024529A JP 2001024529 A JP2001024529 A JP 2001024529A JP 2001258038 A JP2001258038 A JP 2001258038A
Authority
JP
Japan
Prior art keywords
global
cluster
motion
keyframes
motion signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001024529A
Other languages
English (en)
Other versions
JP4666784B2 (ja
JP2001258038A5 (ja
Inventor
U Jin
ウ ジン
Alison Joan Lennon
ジョアン レノン アリソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2001258038A publication Critical patent/JP2001258038A/ja
Publication of JP2001258038A5 publication Critical patent/JP2001258038A5/ja
Application granted granted Critical
Publication of JP4666784B2 publication Critical patent/JP4666784B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 既存の構成の１つ又は複数の欠点を実質的に
解消するか、少なくとも改善する。 【解決手段】 ブロック動きベクトルを持つＭＰＥＧ圧
縮ビデオデータを有するビデオシーケンスからキーフレ
ームを抽出する方法。この方法は最初、ＭＰＥＧ圧縮ビ
デオデータを入力し（１０４）、部分的に解凍してブロ
ック動きベクトルを取得し、そのブロック動きベクトル
を順方向ブロック動きベクトルに変換してグローバル動
き信号を生成する（１０６）。そして、ドミナントグロ
ーバル方向クラスタを生成し（１０８）、生成されたド
ミナントグローバル方向クラスタを使用してビデオシー
ケンスの潜在的なキーフレームを選択し、選択された潜
在的なキーフレームを解凍し、キーフレームを抽出する
（１１０）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、全般的にビデオシ
ーケンスからキーフレームを抽出することに関する。特
に、本発明はビデオシーケンスからキーフレームを抽出
する方法及び装置と、ビデオシーケンスの表現を生成す
る方法及び装置に関する。また、本発明は、このような
方法を実現するコンピュータプログラムを有するコンピ
ュータ読み取り可能な媒体にも関する。更に、本発明
は、このような方法により作成されるビデオサマリにも
関する。
【０００２】
【従来の技術】近年、ビデオカメラの人気が益々高まっ
てきている。カメラユーザは、一般に、各ビデオカセッ
ト又はその他の媒体上に１つ又は複数のビデオクリップ
を格納している。ビデオデータの増加に伴い、ユーザは
自分のビデオデータを構成及び管理することが必要にな
っている。
【０００３】ビデオデータを構成及び管理する１つの基
本的な方法は、ビデオの特定部分をアクセスするための
キーワード・ベースの探索及び早送り／巻戻しブラウジ
ングを必要とする。しかしながら、キーワード・ベース
のデータ検索システムでは、ビデオデータの内容を厳密
かつ一意に表現することはできない。早送り／巻戻し操
作は極めて低速でかつ非効率的である。
【０００４】ビデオクリップの特定部分にアクセスする
ための他の一般的な方法は、ビデオシーケンスから抽出
される代表的なフレームとしてキーフレームを用いる。
キーフレームの抽出は高速ビデオブラウジングを可能と
し、またビデオ内容の要約化及び視覚化の強力なツール
を提供する。
【０００５】しかしながら、一定時間の求めによりフレ
ームの抽出に基づくビデオの要約化及び視覚化は、ショ
ット情報もフレームの類似性も使用していない。短い重
要なショットの場合は代表的なフレームがない可能性が
あり、長いショットの場合は類似した内容を有する複数
のフレームがある可能性がある。
【０００６】ビデオサマリを作成するための他の一般的
な方法は、カット／変化検出を使用して映画のショット
に関する代表的なキーフレームを選択することである。
代表的なフレームを選択するための典型的な手法は、カ
ットポイントをキーフレームとして使用することであ
る。そして、キーフレームはサマリとして使用される。
通常、そのカットポイントはフレームの色ヒストグラム
から決定される。互いに隣接するフレームの色ヒストグ
ラム間の差が所定の閾値よりも大きくなったとき１つの
カットポイントが決定される。しかしならが、この方法
は、キーフレームを多く生成し過ぎ、多くの場合（例え
ば、映画、ニュース、レポートなど）で、選択されたキ
ーフレームは多くの同様なフレーム（例えば、新聞のフ
レーム）を含むことがある。
【０００７】このようなヒストグラム技法は、画素ベー
スであるか、或いはブロックベースである。そして、閾
値を決定する方法がシーン変化を判定するのに利用され
る。このような技法では、照明の変化が同じシーンを示
す連続するフレーム間で色をシフトさせるので、誤りの
結果をしばしば生成している。同様に、カメラズームシ
ョットが多過ぎるキーフレームをしばしば生成してい
る。
【０００８】Ratakonda等の米国特許第5,995,095号は、
ビデオシーケンスのキーフレームに基づいて階層的なサ
マリを生成すること、及びデジタルビデオシーケンスの
デジタルビデオ信号を入力することを含む、階層的デジ
タルビデオ要約化及びブラウジングの方法を記載してい
る。この階層的なサマリは、詳細（即ち、フレームの
数）によって変化する複数のレベルを含む。最も粗い、
即ち、最もコンパクトなレベルでは最も顕著な特徴が形
成され、このレベルは最も少ない数のフレームを含む。
【０００９】ユーザは、最もコンパクトな（最も粗い）
レベルのサマリ、即ち、最もコンパクトなサマリを得る
ことができる。そして、ユーザは親フレームにタグ付け
し、より密なレベルの子（複数の子）フレームを見るこ
とができる。最も密なレベルにおけるフレームにタグ付
けすることはビデオの再生に帰着する。その方法は、シ
ョット境界検出を利用して階層の最も密なレベルに含ま
れるもののためにキーフレームを選択する。ショット境
界検出は、ショット境界（即ち、シーン変化）を判定す
るために互いに連続するフレームのヒストグラム間の差
が比較される、閾値法を用いて行われる。この階層的ビ
デオ要約化方法は、ビットストリームの最小限の復号化
と共にＭＰＥＧ圧縮されたビデオに対して行われる。こ
のビデオ要約化方法は、任意のパン運動の画像モザイク
及び任意のズームのズームサマリを任意選択でかつ別々
に判定することができる。しかしながら、Ratakonda等
は、自動パン／ズーム検出／抽出機能を組み込むには、
フレームビットストリーム全体が復号されなければなら
ないことを開示している。更に、Ratakonda等は、計算
にコストがかかり計算が非効率的である画素レベルでの
動きベクトルに基づくパン及びズーム検出方法を開示し
ている。また、Ratakonda等は、背景／前景の変化又は
複雑なカメラ効果が現れる可能性がある実世界の複雑な
ショットでは効果的に実現することのできないショット
フレームのパノラマビューの画像モザイクを構築するこ
とも記載している。
【００１０】
【発明が解決しようとする課題】本発明は、既存の構成
の１つ又は複数の欠点を実質的に解消する、換言すれば
少なくとも改善することを目的とする。
【００１１】
【課題を解決するための手段】本発明の一態様によれ
ば、動きベクトルを持つ圧縮ビデオデータを有するビデ
オシーケンスからキーフレームを抽出する方法であっ
て、前記動きベクトルに基づいてグローバル動き信号を
生成する工程と、生成されたグローバル動き信号に基づ
いてドミナントグローバル方向クラスタを生成する工程
と、生成されたドミナントグローバル方向クラスタを使
用してキーフレームを選択する工程と、キーフレームを
抽出するために前記選択されたキーフレームを解凍する
工程とを有することを特徴とする方法が提供される。
【００１２】本発明の他の態様によれば、ブロック動き
ベクトルを持つ圧縮ビデオデータを有するビデオシーケ
ンスの表現を生成する方法であって、前記ブロック動き
ベクトルを得るために前記圧縮ビデオデータを解凍する
工程と、前記ブロック動きベクトルを順方向ブロック動
きベクトルに変換する工程と、前記順方向ブロック動き
ベクトルに基づいてグローバル動き信号を生成する工程
と、生成されたグローバル動き信号に基づいてドミナン
トグローバル方向クラスタを生成する工程と、生成され
たドミナントグローバル方向クラスタ及び定義済み規則
のセットを使用してビデオシーケンスの潜在的なキーフ
レームを選択する工程と、選択された潜在的なキーフレ
ームの冗長なキーフレームを削除して残りの選択された
キーフレームを得る工程と、前記ビデオシーケンスの表
現を得るために前記残りの選択されたキーフレームを解
凍する工程とを有することを特徴とする方法が提供され
る。
【００１３】本発明の他の態様によれば、各ビデオクリ
ップがブロック動きベクトルを持つＭＰＥＧ圧縮ビデオ
データを有する、１つ又は複数のビデオクリップからキ
ーフレームを抽出する方法であって、前記ブロック動き
ベクトルを得るためにＭＰＥＧ圧縮ビデオデータを部分
的に解凍する工程と、前記ブロック動きベクトルを順方
向ブロック動きベクトルに変換する工程と、前記順方向
ブロック動きベクトルに基づいてパングローバル動き信
号、ズームグローバル動き信号、チルトグローバル動き
信号を生成する工程と、生成されたパングローバル動き
信号、チルトグローバル動き信号、ズームグローバル動
き信号に基づいて左パン動きクラスタ、右パン動きクラ
スタ、上チルト動きクラスタ、下チルト動きクラスタ、
ズームイン動きクラスタ、ズームアウト動きクラスタ、
グローバル静止動きクラスタの１つ又は複数を含むドミ
ナントグローバル方向クラスタを生成する工程と、生成
されたドミナントグローバル方向クラスタ及び定義済み
規則のセットを使用して各ビデオクリップの潜在的なキ
ーフレームを選択する工程と、定義済み発見的規則を使
用して前記選択された潜在的なキーフレームから冗長な
キーフレームを削除して残りの選択されたキーフレーム
の第１のセットを得る工程と、色ヒストグラム技法を使
用して前記残りの選択されたキーフレームの第１のセッ
トから類似したキーフレーム及び／又は繰り返されるキ
ーフレームを削除して残りの選択されたキーフレームの
第２のセットを得る工程と、キーフレームを抽出するた
めに前記残りの選択されたキーフレームの第２のセット
を解凍する工程とを有することを特徴とする方法が提供
される。
【００１４】本発明の他の態様によれば、動きベクトル
を持つ圧縮ビデオデータを有するビデオシーケンスから
キーフレームを抽出するコンピュータプログラムを有す
るコンピュータ読み取り可能な媒体であって、前記コン
ピュータプログラムは、前記動きベクトルに基づいてグ
ローバル動き信号を生成するコードと、生成されたグロ
ーバル動き信号に基づいてドミナントグローバル方向ク
ラスタを生成するコードと、生成されたドミナントグロ
ーバル方向クラスタを使用してキーフレームを選択する
コードと、キーフレームを抽出するために前記選択され
たキーフレームを解凍するコードとを有することを特徴
とするコンピュータ読み取り可能な媒体が提供される。
【００１５】本発明の他の態様によれば、ブロック動き
ベクトルを持つ圧縮ビデオデータを有するビデオシーケ
ンスの表現を生成するコンピュータプログラムを有する
コンピュータ読み取り可能な媒体であって、前記コンピ
ュータプログラムは、前記ブロック動きベクトルを得る
ために前記圧縮ビデオデータを解凍するコードと、前記
ブロック動きベクトルを順方向ブロック動きベクトルに
変換するコードと、前記順方向ブロック動きベクトルに
基づいてグローバル動き信号を生成するコードと、生成
されたグローバル動き信号に基づいてドミナントグロー
バル方向クラスタを生成するコードと、生成されたドミ
ナントグローバル方向クラスタ及び定義済み規則のセッ
トを使用してビデオシーケンスの潜在的なキーフレーム
を選択するコードと、選択された潜在的なキーフレーム
の冗長なキーフレームを削除して残りの選択されたキー
フレームを得るコードと、前記ビデオシーケンスの表現
を得るために前記残りの選択されたキーフレームを解凍
するコードとを有することを特徴とするコンピュータ読
み取り可能な媒体が提供される。
【００１６】本発明の他の態様によれば、各ビデオクリ
ップがブロック動きベクトルを持つＭＰＥＧ圧縮ビデオ
データを有する、１つ又は複数のビデオクリップからキ
ーフレームを抽出するコンピュータプログラムを有する
コンピュータ読み取り可能な媒体であって、前記コンピ
ュータプログラムは、前記ブロック動きベクトルを得る
ためにＭＰＥＧ圧縮ビデオデータを部分的に解凍するコ
ードと、前記ブロック動きベクトルを順方向ブロック動
きベクトルに変換するコードと、前記順方向ブロック動
きベクトルに基づいてパングローバル動き信号、ズーム
グローバル動き信号、チルトグローバル動き信号を生成
するコードと、生成されたパングローバル動き信号、チ
ルトグローバル動き信号、ズームグローバル動き信号に
基づいて左パン動きクラスタ、右パン動きクラスタ、上
チルト動きクラスタ、下チルト動きクラスタ、ズームイ
ン動きクラスタ、ズームアウト動きクラスタ、グローバ
ル静止動きクラスタの１つ又は複数を含むドミナントグ
ローバル方向クラスタを生成するコードと、生成された
ドミナントグローバル方向クラスタ及び定義済み規則の
セットを使用して各ビデオクリップの潜在的なキーフレ
ームを選択するコードと、定義済み発見的規則を使用し
て前記選択された潜在的なキーフレームから冗長なキー
フレームを削除して残りの選択されたキーフレームの第
１のセットを得るコードと、色ヒストグラム技法を使用
して前記残りの選択されたキーフレームの第１のセット
から類似したキーフレーム及び／又は繰り返されるキー
フレームを削除して残りの選択されたキーフレームの第
２のセットを得るコードと、キーフレームを抽出するた
めに前記残りの選択されたキーフレームの第２のセット
を解凍するコードとを有することを特徴とするコンピュ
ータ読み取り可能な媒体が提供される。
【００１７】本発明の他の態様によれば、前記何れか１
つの方法で作成されるビデオサマリが提供される。
【００１８】本発明の他の態様によれば、動きベクトル
を持つ圧縮ビデオデータを有するビデオシーケンスから
キーフレームを抽出する方法であって、前記動きベクト
ルに基づいてグローバル動き信号を生成する工程と、生
成されたグローバル動き信号に基づいてキーフレームを
選択する工程と、前記選択されたキーフレームを解凍す
る工程とを有することを特徴とする方法が提供される。
【００１９】本発明の他の態様によれば、動きベクトル
を持つ圧縮ビデオデータを有するビデオシーケンスから
キーフレームを抽出する装置であって、前記動きベクト
ルに基づいてグローバル動き信号を生成する手段と、生
成されたグローバル動き信号に基づいてキーフレームを
選択する手段と、前記選択されたキーフレームを解凍す
る手段とを有することを特徴とする装置が提供される。
【００２０】
【発明の実施の形態】以下、図面を参照しながら本発明
のいくつかの好ましい実施形態について説明する。
【００２１】図面のうち任意の１つ又は複数において、
参照は同じ参照符号の工程及び／又は特徴に対してなさ
れ、これらのステップ及び／又は特徴は矛盾する趣旨が
現れない限り、説明の都合上、同じ機能を有し又は動作
する。
【００２２】ビデオカメラのユーザは、しばしば１つの
位置から他の位置にパン及びズームして異なった場所及
び事象の関連性を示し、カメラを静止状態に保持し、重
要な事象又はユーザが関心を有する特定のものに焦点を
合わせている。この実施形態によるキーフレーム抽出方
法は、圧縮されたビデオデータから推定されるカメラ運
動のドミナントグローバル方向クラスタに基づかれるも
のである。この方法は、入力ビデオが既に圧縮された形
態であるという事実を利用している。この利点は、あら
ゆるフレームを完全に解凍する際の計算上のコストが不
要になることである。選択された多数のキーフレームを
プロセスの終了時に解凍するだけでよい。また、この方
法はユーザの関心といくつかの重要な事象を取り込むこ
とを試みている。この方法は、ビデオの複雑さによる合
理的な多数の効率的かつ効果的なキーフレームを与えて
いる。
【００２３】ここで説明する好ましい方法の原理は、ビ
デオシーケンスからキーフレームを抽出する方法に一般
的に適用可能である。しかしながら、説明の都合上、ビ
デオクリップを参照しながら好ましい方法のステップを
説明する。ビデオクリップは、記録開始取込み事象及び
記録終了取込み事象との間のビデオの区分として定義さ
れる。しかしながら、本発明は、後述する方法には限ら
ない。例えば、本発明は多数のそのようなクリップを有
する商業的な映画などに適用しても良い。また、この方
法はＭＰＥＧ(Moving Picture Coding Experts Group)
２などの動き補償予測圧縮ビデオに適用可能である。し
かしながら、この方法はこれに限らない。動きベクトル
を組み込んだあらゆる圧縮ビデオシーケンスに適切であ
る。
【００２４】次に、図１を参照して、第１の実施形態に
よるビデオクリップからキーフレームを抽出する方法の
概要に関する流れ図を示す。キーフレーム抽出方法１０
０はステップ１０２から開始され、任意の必要なパラメ
ータが初期設定される。方法１００は続くステップ１０
４で、方法１００によって処理するＭＰＥＧ２の圧縮ビ
デオクリップを入力する。そして、方法１００はステッ
プ１０６に進み、ビデオクリップのグローバル動き信号
を生成する。これらのグローバル動き信号は、ビデオク
リップの大部分のフレームのためのグローバル動きパラ
メータを備えている。これらのグローバル動きパラメー
タは、ビデオクリップの利用可能な各フレーム毎にパン
パラメータ、チルトパラメータ、ズームパラメータを備
えている。グローバル動き信号は、ビデオシーケンス全
体について時間の関数としてこれらのパラメータを備え
ている。例えば、図５Ａから図５Ｃは、例示的なビデオ
シーケンスに関するグローバル動き信号を示すグラフで
ある。これらのグローバル動き信号を生成する方法につ
いては以下に詳しく説明する。
【００２５】ステップ１０６の後、方法はステップ１０
８に進み、ビデオシーケンス全体に関するグローバル動
きのドミナント方向のクラスタ（以下、「ドミナントグ
ローバル方向クラスタ」と呼ぶ）が生成される。この方
法では、このステップ１０８の間、利用可能な各フレー
ム毎に全３つのグローバル動き信号を入力として取り込
み、フレームのグローバル動き信号のドミナント方向を
判定する。フレームのドミナント方向は、左パン、右パ
ン、上チルト、下チルト、ズームイン、ズームアウト、
グローバル静止の何れかで良い。そして、全ての利用可
能なフレームのドミナント方向をクラスタ化し、ビデオ
シーケンス全体のドミナントグローバル方向クラスタを
形成する。例えば、図５Ｄは、図５Ａに用いられたのと
同じ例示的なビデオシーケンスの時間の関数としてのド
ミナントグローバル方向クラスタ（即ち、フレーム番
号）のグラフである。図５Ｄを見るとわかるように、ビ
デオシーケンスは、グローバル静止クラスタを有するフ
レーム番号＝０から始まり、ズームインクラスタ、左パ
ンクラスタに進み、グローバル静止クラスタで終わるク
ラスタにセグメント化される。これらのドミナントグロ
ーバル方向クラスタがどのように生成されるかについて
は以下に詳しく説明する。
【００２６】ステップ１０８の後、方法はステップ１１
０に進み、ビデオシーケンスからキーフレームを抽出す
る。このステップ１１０の間、１組の予め定義された規
則のセットを用いてドミナントグローバル方向クラスタ
からいくつかの潜在的なキーフレームが選択される。そ
して、この方法は冗長な潜在的キーフレームを削除し
て、最後に結果として得られる残りのキーフレームを完
全に復号する。これらのキーフレームがどのように抽出
されるかについては以下に詳しく説明する。そして、こ
の方法は復号されたキーフレームをビデオシーケンスの
サマリとして出力する。
【００２７】次に、図２を参照して、図１のキーフレー
ム抽出方法のステップ１０６のサブステップの流れ図を
詳細に示す。ステップ１０４でＭＰＥＧビデオシーケン
スが入力された後、方法はステップ２０２に進む。この
ステップ２０２の間、ＭＰＥＧ２圧縮ビデオシーケンス
が既知の方式で部分的に解凍され、ビデオシーケンスの
全てのＭＰＥＧ２ブロック動きベクトルが得られる。
【００２８】動画に関するＭＰＥＧ２圧縮基準は、ビデ
オシーケンスの空間的冗長性と時間的冗長性の両方を活
用するものである。ＭＰＥＧ２は圧縮のいくつかのモー
ドを利用している。１つのモードはフレーム内符号化
（イントラ符号化）と呼ばれ、ビデオの多数の画面（pi
ctures）は個別にかつ独立に圧縮又は符号化される。フ
レーム内符号化は、画面の互いに隣接する画素間に存在
する空間的冗長性を活用している。フレーム内符号化の
みを用いて符号化された画面をＩピクチャと呼ぶ。ＭＰ
ＥＧは画面間の時間的冗長性を活用する、フレーム間符
号化（インター符号化）と呼ばれる別のモードを利用し
ている。時間的冗長性は、互いに隣接する画面間の高い
相関の度合に起因する。
【００２９】ＭＰＥＧ２は、予測誤差と呼ばれるフレー
ム間差分信号を算出することによりこの冗長性を活用し
ている。ＭＰＥＧ２は、予測誤差を算出する際に、動き
補償に対してマクロブロック手法を使用している。符号
化すべきフレームの中の目標マクロブロックが参照画像
と呼ばれる前（又は連続）フレームの中の最も類似した
置換されたマクロブロックとマッチされる。目標マクロ
ブロックから予測マクロブロックへの置換を記述する
（ブロック）動きベクトルは、最もマッチするマクロブ
ロック、即ち、予測マクロブロックの位置を示す。その
（ブロック）動きベクトル情報は符号化され、圧縮画像
フレームと共に伝送される。順方向予測では、符号化す
べき画面の中の目標マクロブロックが、参照画面と呼ば
れる過去の画面の中の同じサイズの１組の置換されたマ
クロブロックとマッチされる。目標マクロブロックから
予測マクロブロックへの水平及び垂直置換を記述する
（ブロック）動きベクトルは、この最もマッチする予測
マクロブロックの位置を示す。順方向予測を使用してＭ
ＰＥＧ２で符号化された画面をＰピクチャと呼ぶ。
【００３０】また、ＭＰＥＧ２圧縮基準は双方向時間予
測を使用している。双方向予測で符号化される画面は２
つの参照画面、過去の参照画面、将来の参照画面を使用
している。双方向に符号化された画面の中の目標マクロ
ブロックは、過去の参照画面からの予測マクロブロック
によって予測するか（順方向予測）、将来の参照画面か
らの予測マクロブロックによって予測するか（逆方向予
測）、２つの予測マクロブロックの平均によって予測す
るか、各参照画面（補間）からの予測マクロブロックに
よって予測される。すべての場合において、参照画面か
らの予測マクロブロックは動きベクトルに関連付けら
れ、その結果、１マクロブロック当たり、最大２つの動
きベクトルを双方向予測と共に使用することができる。
【００３１】このステップ２０２の間、キーフレーム抽
出方法はビデオシーケンスを解凍し、ビデオシーケンス
のすべてのＭＰＥＧブロック動きベクトルを得る。この
方法はシーケンスを完全に復号することなく、このステ
ップの間にフレーム間復号が行われることはない。当業
者には、すべてのフレームが部分的に復号されるわけで
はないことが理解されよう。即ち、すべてのフレームが
動きブロックベクトルを有するわけではない。
【００３２】この方法は、ステップ２０２でＭＰＥＧビ
デオシーケンスを部分的に解凍した後、ステップ２０４
に進む。ステップ２０４では、すべての逆方向（ブロッ
ク）動きベクトルが、基本的に参照及び方向の変化を必
要とする順方向（ブロック）動きベクトルに変換され
る。これらの順方向（ブロック）動きベクトルは、グロ
ーバル動きを算出することのできるローカル変位ベクト
ルを表す。
【００３３】次に、この方法はステップ２０６に続き、
順方向動きベクトルを含む利用可能な各フレーム毎の３
つのグローバル動きパラメータを算出する。これらのグ
ローバル動きパラメータは、「Global Zoom/Pan estima
tion and Compensation forvideo Compression」(Proc
ICASSP91、Yi Tong Tse and Richard Baker著、2725ペ
ージから2728ページ）に記載された方法を使用してフレ
ームの順方向動きベクトルから算出される。３つのグロ
ーバルパラメータ、即ちパンパラメータとしてのｘ、チ
ルトパラメータとしてのｙ、ズームパラメータとしての
ｚが算出される。利用可能な各フレーム毎にグローバル
動きパラメータが算出される。そして、ビデオシーケン
スに関する時間の関数として、これらのグローバルパラ
メータから３つのグローバル動き信号、Ｘ＝ｘ（ｔ）、
Ｙ＝ｙ（ｔ）、及びＺ＝ｚ（ｔ）が形成される。このよ
うに生成されたグローバル動き信号の例が図５Ａから図
５Ｃに示されている。
【００３４】次に、図５Ａを参照して、例示的なビデオ
シーケンスに関する（パン）生成されたグローバル動き
信号ｘ（ｔ）のグラフを示す。水平軸はフレーム番号０
からフレーム番号２６０までのビデオシーケンスのフレ
ームの数を表している。垂直軸は−１０画素から＋２０
画素まで変化するパンパラメータｘである。パンパラメ
ータｘが−１０から＋１０までは一般に小さなパン移動
を示すことがわかる。１０を越えるパンパラメータｘは
左パン移動を示す。−１０未満のパンパラメータｘは右
パン移動を示す。図からわかるように、ビデオシーケン
スの間中、概ねフレーム番号１３０から２３０までは左
パン移動である。
【００３５】次に、図５Ｂを参照して、図５Ａで使用さ
れているのと同じ例示的なビデオシーケンスの（チル
ト）生成されたグローバル動き信号ｙ（ｔ）のグラフを
示す。図５Ａと同様に、水平軸はフレーム番号０からフ
レーム番号２６０までのビデオシーケンスのフレームの
数を表している。垂直軸は−２０画素から＋２０画素ま
で変化するチルトパラメータｙである。チルトパラメー
タｙが−１０から＋１０までは一般に小さなチルト移動
を示すことがわかる。１０を越えるチルトパラメータｙ
は上チルト移動を示す。−１０未満のパンパラメータｙ
は下チルト移動を示す。図からわかるように、ビデオシ
ーケンスの間中、概ねフレーム番号６０、１２５、１５
０、１６０、２２０、及び２４０は短いチルト移動であ
る。
【００３６】次に、図５Ｃを参照して、図５Ａで使用さ
れているのと同じ例示的なビデオシーケンスの（ズー
ム）生成されたグローバル動き信号ｚ（ｔ）のグラフを
示す。図５Ａと同様に、水平軸はフレーム番号０からフ
レーム番号２６０までのビデオシーケンスのフレームの
数を表している。垂直軸は０ズーム係数から１．２ズー
ム係数まで変化するズームパラメータｚである。ズーム
パラメータｚが０．９８から１．０２までは一般に小さ
なズーム移動を示すことがわかる。１．０２を超えるズ
ームパラメータｚはズームアウト移動し、０．９８未満
のズームパラメータｚはズームイン移動を示す。図から
わかるように、ビデオシーケンスの間中、概ねフレーム
番号４０から１４０まではズームイン移動である。
【００３７】次に、図３を参照して、図１に示した方法
のステップ１０８のサブステップの流れ図を詳細に示
す。キーフレーム抽出方法はステップ２０６でグローバ
ル動き信号を算出した後、ステップ３０２に進む。ステ
ップ３０２の間、方法はグローバル信号の各々の閾値を
導入する。即ち、キーフレーム抽出方法は、利用可能な
各フレームの各グローバルパラメータを３つの離散グロ
ーバルパラメータ値＋１、０、−１の１つに変換する。
例えば、グローバルパンパラメータｘの場合に、−１０
≦ｘ≦＋１０であればｘが０に変換される。さもなけれ
ば、ｘ＞１０であればｘが１に変換され、ｘ＜−１０で
あればｘが−１に変換される。グローバルチルトパラメ
ータｙについても同様である。グローバルズームパラメ
ータｚの場合に、０．９８≦ｚ≦１．０２であればｚが
０に変換される。さもなければ、ｚ＜０．９８であれば
ｚが−１に変換され、ｚ＞１．０２であればｚが＋１に
変換される。
【００３８】閾値を導入するステップ３０２の後、ステ
ップ３０４に進み、離散グローバル動き信号からノイズ
を除去する。離散グローバルパラメータがより顕著な形
状に変形される既知の形態論処理技法を使用して離散グ
ローバル動き信号からノイズを除去する。この技法は、
短い遷移スパイクを除去し、離散グローバル動き信号中
のあらゆるホールを充填する。形態論処理の基本動作を
説明した「Fundamentals of Digital Image Processin
g」(A.K.Jain著、384ページ）を参照されたい。この方
法は、ステップ３０４の後、ステップ３０６に進む。
【００３９】このキーフレーム抽出方法は、ステップ３
０６の間、ビデオシーケンス全体に渡ってノイズが低減
された離散グローバル動き信号に基づいてドミナントグ
ローバル方向クラスタを生成する。この方法は、利用可
能な各フレーム毎のノイズが低減されたすべての３つの
離散グローバル動き信号を入力として取り込み、このフ
レームのグローバル動き信号のドミナント方向を判定す
る。フレームのドミナント方向は、左パン、右パン、上
チルト、下チルト、ズームイン、ズームアウト、グロー
バル静止の何れかである。そして、すべての利用可能な
フレームのドミナント方向をクラスタ化し、ビデオシー
ケンス全体のドミナントグローバル方向クラスタを形成
する。例えば、「グローバル静止」運動はカメラ静止及
び／又は小さなローカルオブジェクト運動、即ちゼロに
近いか又はゼロに等しいそのフレームに対するすべての
離散グローバル動き値を取り込む。左パン運動の例で
は、フレームの離散グローバル動き値は（パン＝１、ズ
ーム＝０、チルト＝０）である。しかしながら、フレー
ムに関して組み合わされた動きが存在する場合（例え
ば、離散グローバル信号パン＝１、ズーム＝１、チルト
＝０）、グローバル運動のドミナント方向は、ステップ
２０６で算出された３つの最初のグローバル動き信号の
うちの最大の信号である。後者の場合、比較が行われ、
フレーム中の最大の最初のグローバル動き信号を判定す
る。好ましくは、まず比較の前に、時間の経過と共に最
初のグローバル動き信号の平均を求め、あらゆる遷移を
削除する。図５Ａから図５Ｃに示されるように、ズーム
グローバルパラメータは、チルトグローバルパラメータ
やパングローバルパラメータとは異なるメトリックを有
する。ズームグローバル動き信号は、チルトグローバル
動きパラメータ又はパングローバル動きパラメータと直
接比較してグローバル運動のドミナント方向を判定でき
るように正規化される。各フレーム毎のグローバル運動
のドミナント方向を判定した後、これらのドミナント方
向をグループ化してクラスタを形成する。前述のよう
に、このようなクラスタを本実施形態ではドミナントグ
ローバル方向クラスタと呼ぶ。このクラスタ化サブステ
ップにより、同じ種類の連続的で密なクラスタがグルー
プ化される。非常に短い動きセグメントは無視される。
【００４０】次に、図５Ｄを参照して、図５Ａで使用さ
れているのと同じ例示的なビデオシーケンスの時間の関
数としてのドミナントグローバル方向クラスタ（即ち、
フレーム番号）のグラフを示す。図示するように、フレ
ーム番号０から４０までのグローバル静止クラスタがあ
る。この時間中のドミナントグローバル運動はなく、ビ
デオシーケンスは比較的静止している。フレーム番号４
０から１３０の間にズームインクラスタがある。この時
間中のドミナントグローバル運動はズームインである。
ズームインクラスタの後、フレーム番号１３０から２３
０の間に左パンクラスタがある。この持続時間の間のド
ミナントグローバル運動は左パンである。最後のクラス
タは、フレーム番号２３０から２６０までのグローバル
静止クラスタである。この期間中のドミナントグローバ
ル運動はない。
【００４１】次に、図５Ａから図５Ｃに示したように、
フレーム番号１３０から１４０までの期間に左パン移動
とズームイン移動とが重なり合っていることがわかる。
このキーフレーム抽出方法は、この期間中ドミナントグ
ローバル運動を左パンであると判定する。概ねフレーム
番号６０、１２５、１５０、１６０、２２０でのチルト
移動が左パン移動とズームイン移動の両方と重なり合っ
ていることもわかる。しかしながら、チルト動きセグメ
ントは短く、キーフレーム抽出方法はクラスタ化の間こ
のようなセグメントを無視している。
【００４２】次に、図４を参照して、図１のキーフレー
ム抽出方法のステップ１１０のサブステップの流れ図を
示す。ステップ３０６でドミナントグローバル方向クラ
スタを判定した後、この方法はステップ４０２に進む。
このステップ４０２の間、ドミナントグローバル方向ク
ラスタから潜在的なキーフレームが選択される。これら
キーフレームは、この段階でＭＰＥＧ圧縮ビデオから抽
出されることはない。これらキーフレームは、以下の定
義済み規則のセットに応じて選択される。
【００４３】・パン又はチルトの長さ及び速度によって
パンクラスタ又はチルトクラスタのために１つ又は複数
のフレームを選択する。
【００４４】・ズーム係数及びズームの長さによってズ
ームクラスタのために１つ又は複数のフレームを選択す
る。
【００４５】・各グローバル静止クラスタのために１つ
のフレームのみを選択する。
【００４６】例えば、パンクラスタから選択される潜在
的なキーフレームは、パンクラスタの長さ及び速度によ
ってパンの開始部分、パンの中央、及びパン終了部分に
存在することも、或いはパンの開始部分から１つの潜在
的なキーフレームにのみ存在することもできる。
【００４７】次に、図５Ｄに戻り、図５Ａから図５Ｃに
示されるビデオシーケンスのために選択された潜在的な
キーフレームを説明する。この例では、第１のグローバ
ル静止クラスタのために選択される１つのキーフレー
ム、ズームインクラスタの開始及び終了でズームインク
ラスタのために選択される２つのキーフレーム、左パン
クラスタの開始及び終了で選択される２つのキーフレー
ム、最後のグローバル静止クラスタのために選択される
１つのキーフレームがある。
【００４８】ステップ４０２の後、この方法はステップ
４０４に進む。ステップ４０４では、ステップ４０２で
選択されたキーフレームの冗長なキーフレームが写真の
特性を考慮した定義済みの発見的規則のセットに基づい
て削除される。例えば、グローバル静止は他の動きクラ
スタよりも重要である。グローバル静止では、しばしば
ユーザの関心又はある特定の事象が取り込まれる。ま
た、グローバル静止では時には動く画像よりも多くの焦
点が合った画像が取り込まれる。適用できる発見的規則
のうちのいくつかを以下に示す。
【００４９】・「グローバル静止」でないクラスタの開
始／終了で選択される潜在的なキーフレームが「グロー
バル静止」クラスタの後に続くか、このキーフレームの
後に「グローバル静止」クラスタが続く場合、このキー
フレームを削除する。例えば、「ズームイン」クラスタ
の終了で選択される潜在的なキーフレームの後に「グロ
ーバル静止」クラスタが続くとき、このキーフレームを
削除する。「グローバル静止」から選択されるキーフレ
ームは、しばしば「ズームイン」クラスタの終了から抽
出されるキーフレームよりも良い品質を有し、これらの
キーフレームは類似している。
【００５０】・パン／チルトの開始で選択される潜在的
なキーフレームがズームクラスタの後に続く場合、この
キーフレームを削除する。例えば、「ズームイン」クラ
スタの後に、非常に短い無視される動きセグメントが続
き、その後、「右パン」クラスタが続く場合は、「右パ
ン」の開始からの潜在的なキーフレームを削除する。し
かしながら、発見的規則のセットはこれらの使用規則に
限らない。
【００５１】そして、この方法はステップ４０６に進
み、ステップ４０４の後、残っている選択されたキーフ
レームのうち同様なキーフレーム及び／又は繰り返され
るキーフレームを削除する。定義済みの発見的規則を使
用するにもかかわらず、依然としてシーンが繰り返さ
れ、異なる時間に同様なキーフレームが生じることもあ
る。このステップ４０４は、画像類似性測定を用いてこ
れらの同様なキーフレームを削除する。画像の類似性を
測定する既存の方法（例えば、色ヒストグラム比較）が
使用できる。色ヒストグラムを算出する際に、Ｐフレー
ムやＢフレームではなく、ＭＰＥＧビデオの最も密なＩ
フレームがキーフレームとして使用される。その場合、
ＭＰＥＧ圧縮画像のＤＣ係数を使用して低解像度画像を
生成することができる。画像の類似性の測定は、ＤＣキ
ーフレーム画像を使用して行うことができる。
【００５２】ステップ４０６の後、この方法はステップ
４０８に進み、ステップ４０６から依然として残ってい
る選択されたキーフレームをＭＰＥＧビデオシーケンス
から完全に復号する。これらの復号された残りキーフレ
ームは、ＭＰＥＧビデオシーケンスのサマリを形成し、
ステップ１１２で出力される（例えば、ハードディスク
上に記憶される）。そして、この方法はステップ１１４
で終了する。このように、この方法は高速で効率的なキ
ーフレーム抽出を実行する。
【００５３】次に、図５Ｄに戻り、図５Ａから図５Ｃに
示されるビデオシーケンスのために抽出されたキーフレ
ームを説明する。ステップ４０４の間、図示するように
抽出されたキーフレームを残す上述の発見的規則のセッ
トを用いて第２、第４、及び第５の潜在的なキーフレー
ムが除去される。この例における削除ステップ４０６
は、同様なキーフレームも繰り返されるキーフレームも
見つからず、抽出されたキーフレームは図示のように残
される。そして、この方法はこれらの抽出されたキーフ
レームを復号し、ビデオシーケンスのビデオサマリを形
成する。
【００５４】［装置の好ましい実施形態］キーフレーム
を抽出する方法は、図６に示すような従来型の汎用コン
ピュータシステム６００を使用して実施することが好ま
しい。ここで、図６のプロセスはコンピュータシステム
６００の中で実行するアプリケーションプログラムなど
のソフトウェアとして実施される。特に、キーフレーム
を抽出する方法のステップは、コンピュータによって実
行されるソフトウェアとして符号化された命令によって
実施される。このソフトウェアは、キーフレーム抽出方
法を実行する１つの部分と、この部分とユーザとの間の
ユーザインタフェースを管理する他の部分との２つの別
々の部分に分割することができる。このソフトウェア
は、例えば後述する記憶装置を含むコンピュータ読み取
り可能な媒体に記憶されても良い。このソフトウェア
は、コンピュータ読み取り可能な媒体からコンピュータ
にロードされ、そしてコンピュータによって実行され
る。このようなソフトウェア又はコンピュータプログラ
ムが記録されたコンピュータ読み取り可能な媒体はコン
ピュータプログラム製品である。コンピュータ内でこの
コンピュータプログラム製品を使用することにより、本
発明の実施形態に応じてキーフレームを抽出する有利な
装置を実現することが好ましい。
【００５５】コンピュータシステム６００は、コンピュ
ータモジュール６０１、キーボード６０２及びマウス６
０３のような入力装置、プリンタ６１５を含む出力装置
及び表示装置６１４を備えている。変復調（モデム）ト
ランシーバ装置６１６が、例えば電話回線６２１又はそ
の他の機能媒体を介して接続可能な通信ネットワーク６
２０との間で通信するためにコンピュータモジュール６
０１によって使用される。このモデム６１６は、インタ
ーネット、及びローカルエリアネットワーク（ＬＡＮ）
やワイドエリアネットワーク（ＷＡＮ）など他のネット
ワークシステムへのアクセスを得るために使用される。
【００５６】コンピュータモジュール６０１は通常、少
なくとも１つのプロセッサユニット６０５、例えば半導
体ランダムアクセスメモリ（ＲＡＭ）や読み取り専用メ
モリ（ＲＯＭ）で形成されたメモリユニット６０６、ビ
デオインタフェース６０７を含む入出力（Ｉ／Ｏ）イン
タフェース、キーボード６０２及びマウス６０３及びオ
プションのジョイスティック（図示せず）用の入出力イ
ンタフェース６１３、並びにモデム６１６用のインタフ
ェース６０８を含む。記憶装置６０９が設けられ、この
装置は通常、ハードディスクドライブ６１０及びフロッ
ピィーディスクドライブ６１１を含む。また、磁気テー
プドライブ（図示せず）を使用することもできる。非揮
発性データ源として通常、ＣＤ−ＲＯＭドライブ又はＤ
ＶＤドライブ６１２が設けられている。コンピュータモ
ジュール６０１の構成要素６０５〜６１３は通常、相互
接続されたバス６０４を介して、関連技術におけるこれ
ら周知のコンピュータシステム６００の従来型の動作モ
ードが得られるように通信している。本実施形態を実施
できるコンピュータの例には、IBM-PC及びコンパチブ
ル、Sun Sparcstation又はそれらから進化した同様なコ
ンピュータシステムが含まれる。
【００５７】通常、好ましい実施形態のアプリケーショ
ンプログラムは、ハードディスクドライブ６１０上に存
在し、プロセッサ６０５によって実行される際に読み取
られ制御される。プログラム及びネットワーク６２０か
ら取り込まれたあらゆるデータの中間記憶は、半導体メ
モリ６０６を、場合によってはハードディスクドライブ
６１０と共に使用して行われる。いくつかの例では、ア
プリケーションプログラムは、ＣＤ−ＲＯＭ又はフロッ
ピィーディスク上に符号化されてユーザに供給され、対
応するドライブ６１２又は６１１を介して読み取るか、
或いはユーザによってモデム装置６１６を介してネット
ワーク６２０から読み取られても良い。更に、ソフトウ
ェアは磁気テープ、ＲＯＭ又は集積回路を含む他のコン
ピュータ読み取り可能な媒体、光磁気ディスク、コンピ
ュータモジュール６０１及び他の装置の間の無線伝送チ
ャネル又は赤外線伝送チャネル、ＰＣＭＣＩＡカードな
どのコンピュータ読み取り可能なカード、電子メール伝
送及びＷｅｂサイトなどに記録された情報を含むインタ
ーネット及びイントラネットからコンピュータシステム
６００にロードされても良い。上述したものは、関連す
るコンピュータ読み取り可能な媒体の例に過ぎない。本
発明の範囲及び趣旨から逸脱せずに他のコンピュータ可
読媒体を実現することができる。
【００５８】このコンピュータシステム６００は、キー
フレーム抽出方法への入力として働く多量のビデオデー
タを記憶する機能を有する。ビデオデータはＤＶＤ−Ｒ
ＯＭドライブ６１２を介して、或いはカムコーダ（図示
せず）から入出力インタフェース６０８を介して直接、
コンピュータシステム６００に入力されても良い。
【００５９】キーフレーム抽出方法は、図１に示す機能
又は副機能を実行する１つ又は複数の集積回路などの専
用ハードウェアで実現されても良い。このような専用ハ
ードウェアは、カムコーダやＶＣＲなどに組み込まれて
も良く、グラフィックプロセッサ、デジタル信号プロセ
ッサ又は１つ又は複数のマイクロプロセッサ及び関連す
るメモリを含んでも良い。
【００６０】［産業上の利用可能性］本発明の実施形態
がビデオ処理業界に適用可能であることは上述の説明か
らも明らかである。キーフレーム抽出方法は、例えばビ
デオ内容の視覚識別、ビデオインデックス付け、ビデオ
ブラウジング、ビデオ編集など多数の用途を有する。こ
こで、図５Ｄに戻り、図５Ａから図５Ｃで用いられてい
るビデオシーケンスのための抽出されたキーフレームを
示す。ステップ４０４の間、図示するように、キーフレ
ームを残す上述の発見的規則のセットを使用して第２、
第４、及び第５の潜在的なキーフレームが削除される。
【００６１】以上、本発明の１つの実施形態／いくつか
の実施形態のみについて説明したが、本発明の範囲及び
趣旨から逸脱せずに実施形態に修正及び／又は変更を加
えることができる。各実施形態は例示的なものであり、
制限的なものではない。
【図面の簡単な説明】
【図１】第１の実施形態によってビデオシーケンスから
キーフレームを抽出する方法の概要の流れ図である。
【図２】図１に示す方法のステップ１０６のサブステッ
プの流れ図である。
【図３】図１に示す方法のステップ１０８のサブステッ
プの流れ図である。
【図４】図１に示す方法のステップ１１０のサブステッ
プの流れ図である。
【図５Ａ】例示的なビデオシーケンスの（パン）グロー
バル動き信号ｘ（ｔ）のグラフである。
【図５Ｂ】図５Ａと同様に例示的なビデオシーケンスの
（チルト）グローバル動き信号ｙ（ｔ）のグラフであ
る。
【図５Ｃ】図５Ａと同様に例示的なビデオシーケンスの
（ズーム）グローバル動き信号ｚ（ｔ）のグラフであ
る。
【図５Ｄ】図５Ａと同様に例示的なビデオシーケンス
の、時間の関数としてのドミナントグローバル方向クラ
スタ、潜在的なキーフレーム、及び生成されるキーフレ
ームのグラフである。
【図６】本発明の実施形態を実施できる汎用コンピュー
タの概略ブロック図である。
【符号の説明】
６００ コンピュータシステム ６０１ コンピュータモジュール ６０２ キーボード ６０３ マウス ６０４ 相互接続されたバス ６０５ プロセッサユニット ６０６ メモリユニット ６０７ ビデオインタフェース ６０８ 入出力（Ｉ／Ｏ）インタフェース ６０９ 記憶装置 ６１０ ハードディスクドライブ ６１１ フロッピィーディスクドライブ ６１２ ＣＤ−ＲＯＭドライブ又はＤＶＤドライブ ６１３ 入出力インタフェース ６１４ 表示装置 ６１５ プリンタ ６１６ モデム ６２０ ネットワーク ６２１ 電話回線
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アリソン ジョアン レノン オーストラリア国 2113 ニュー サウス ウェールズ州，ノース ライド，トーマ ス ホルト ドライブ １ キヤノン イ ンフォメーション システムズ リサーチ オーストラリア プロプライエタリー リミテッド 内

Claims (27)

    【特許請求の範囲】
  1. 【請求項１】 動きベクトルを持つ圧縮ビデオデータを
    有するビデオシーケンスからキーフレームを抽出する方
    法であって、 前記動きベクトルに基づいてグローバル動き信号を生成
    する工程と、 生成されたグローバル動き信号に基づいてドミナントグ
    ローバル方向クラスタを生成する工程と、 生成されたドミナントグローバル方向クラスタを使用し
    てキーフレームを選択する工程と、 キーフレームを抽出するために前記選択されたキーフレ
    ームを解凍する工程とを有することを特徴とする方法。
  2. 【請求項２】 前記選択する工程は、前記生成されたド
    ミナントグローバル方向クラスタ及び定義済み規則のセ
    ットを使用してキーフレームを選択することを特徴とす
    る請求項１に記載の方法。
  3. 【請求項３】 前記選択する工程は、 前記生成されたドミナントグローバル方向クラスタ及び
    第１の定義済み規則のセットを使用してビデオシーケン
    スの潜在的なキーフレームを選択し、 第２の定義済み規則のセットを使用して前記選択された
    潜在的なキーフレームから冗長なキーフレームを削除し
    て選択されたキーフレームを得ることを特徴とする請求
    項１に記載の方法。
  4. 【請求項４】 前記選択する工程は、 前記生成されたドミナントグローバル方向クラスタ及び
    第１の定義済み規則のセットを使用してビデオシーケン
    スの潜在的なキーフレームを選択し、 第２の定義済み発見的規則のセットを使用して前記選択
    された潜在的なキーフレームから冗長なキーフレームを
    削除して前記選択された潜在的なキーフレームのセット
    を得て、 色ヒストグラム技法を使用して前記選択された潜在的な
    キーフレームのセットから類似したキーフレーム及び／
    又は繰り返されるキーフレームを削除して前記選択され
    たキーフレームを得ることを特徴とする請求項１に記載
    の方法。
  5. 【請求項５】 前記グローバル動き信号を生成する工程
    は、パングローバル動き信号、ズームグローバル動き信
    号、チルトグローバル動き信号を生成することを特徴と
    する請求項１に記載の方法。
  6. 【請求項６】 前記ドミナントグローバル方向クラスタ
    は、左パン動きクラスタ、右パン動きクラスタ、上チル
    ト動きクラスタ、下チルト動きクラスタ、ズームイン動
    きクラスタ、ズームアウト動きクラスタ、グローバル静
    止動きクラスタの１つ又は複数を有することを特徴とす
    る請求項１に記載の方法。
  7. 【請求項７】 前記ドミナントグローバル方向クラスタ
    を生成する工程は、 前記生成されたグローバル動き信号から離散グローバル
    動き信号を生成し、 生成された離散グローバル動き信号からノイズを除去
    し、 前記ノイズが低減された離散グローバル動き信号に基づ
    いてドミナントグローバル方向クラスタを生成すること
    を特徴とする請求項１に記載の方法。
  8. 【請求項８】 ブロック動きベクトルを持つ圧縮ビデオ
    データを有するビデオシーケンスの表現を生成する方法
    であって、 前記ブロック動きベクトルを得るために前記圧縮ビデオ
    データを解凍する工程と、 前記ブロック動きベクトルを順方向ブロック動きベクト
    ルに変換する工程と、 前記順方向ブロック動きベクトルに基づいてグローバル
    動き信号を生成する工程と、 生成されたグローバル動き信号に基づいてドミナントグ
    ローバル方向クラスタを生成する工程と、 生成されたドミナントグローバル方向クラスタ及び定義
    済み規則のセットを使用してビデオシーケンスの潜在的
    なキーフレームを選択する工程と、 選択された潜在的なキーフレームの冗長なキーフレーム
    を削除して残りの選択されたキーフレームを得る工程
    と、 前記ビデオシーケンスの表現を得るために前記残りの選
    択されたキーフレームを解凍する工程とを有することを
    特徴とする方法。
  9. 【請求項９】 前記グローバル動き信号を生成する工程
    は、パングローバル動き信号、ズームグローバル動き信
    号、チルトグローバル動き信号を生成することを特徴と
    する請求項８に記載の方法。
  10. 【請求項１０】 前記ドミナントグローバル方向クラス
    タは、左パン動きクラスタ、右パン動きクラスタ、上チ
    ルト動きクラスタ、下チルト動きクラスタ、ズームイン
    動きクラスタ、ズームアウト動きクラスタ、グローバル
    静止動きクラスタの１つ又は複数を有することを特徴と
    する請求項８に記載の方法。
  11. 【請求項１１】 前記ドミナントグローバル方向クラス
    タを生成する工程は、 前記生成されたグローバル動き信号から離散グローバル
    動き信号を生成し、 生成された離散グローバル動き信号からノイズを除去
    し、 前記ノイズが低減された離散グローバル動き信号に基づ
    いてドミナントグローバル方向クラスタを生成すること
    を特徴とする請求項８に記載の方法。
  12. 【請求項１２】 各ビデオクリップがブロック動きベク
    トルを持つＭＰＥＧ圧縮ビデオデータを有する、１つ又
    は複数のビデオクリップからキーフレームを抽出する方
    法であって、 前記ブロック動きベクトルを得るためにＭＰＥＧ圧縮ビ
    デオデータを部分的に解凍する工程と、 前記ブロック動きベクトルを順方向ブロック動きベクト
    ルに変換する工程と、 前記順方向ブロック動きベクトルに基づいてパングロー
    バル動き信号、ズームグローバル動き信号、チルトグロ
    ーバル動き信号を生成する工程と、 生成されたパングローバル動き信号、チルトグローバル
    動き信号、ズームグローバル動き信号に基づいて左パン
    動きクラスタ、右パン動きクラスタ、上チルト動きクラ
    スタ、下チルト動きクラスタ、ズームイン動きクラス
    タ、ズームアウト動きクラスタ、グローバル静止動きク
    ラスタの１つ又は複数を含むドミナントグローバル方向
    クラスタを生成する工程と、 生成されたドミナントグローバル方向クラスタ及び定義
    済み規則のセットを使用して各ビデオクリップの潜在的
    なキーフレームを選択する工程と、 定義済み発見的規則を使用して前記選択された潜在的な
    キーフレームから冗長なキーフレームを削除して残りの
    選択されたキーフレームの第１のセットを得る工程と、 色ヒストグラム技法を使用して前記残りの選択されたキ
    ーフレームの第１のセットから類似したキーフレーム及
    び／又は繰り返されるキーフレームを削除して残りの選
    択されたキーフレームの第２のセットを得る工程と、 キーフレームを抽出するために前記残りの選択されたキ
    ーフレームの第２のセットを解凍する工程とを有するこ
    とを特徴とする方法。
  13. 【請求項１３】 前記ドミナントグローバル方向クラス
    タを生成する工程は、 前記グローバル動き信号から離散グローバル動き信号を
    生成し、 生成された離散グローバル動き信号からノイズを除去
    し、 前記ノイズが低減された離散グローバル動き信号に基づ
    いてドミナントグローバル方向クラスタを生成すること
    を特徴とする請求項１２に記載の方法。
  14. 【請求項１４】 動きベクトルを持つ圧縮ビデオデータ
    を有するビデオシーケンスからキーフレームを抽出する
    装置であって、 前記動きベクトルに基づいてグローバル動き信号を生成
    する手段と、 生成されたグローバル動き信号に基づいてドミナントグ
    ローバル方向クラスタを生成する手段と、 生成されたドミナントグローバル方向クラスタを使用し
    てキーフレームを選択する手段と、 キーフレームを抽出するために前記選択されたキーフレ
    ームを解凍する手段とを有することを特徴とする装置。
  15. 【請求項１５】 ブロック動きベクトルを持つ圧縮ビデ
    オデータを有するビデオシーケンスの表現を生成する装
    置であって、 前記ブロック動きベクトルを得るために前記圧縮ビデオ
    データを解凍する手段と、 前記ブロック動きベクトルを順方向ブロック動きベクト
    ルに変換する手段と、 前記順方向ブロック動きベクトルに基づいてグローバル
    動き信号を生成する手段と、 生成されたグローバル動き信号に基づいてドミナントグ
    ローバル方向クラスタを生成する手段と、 生成されたドミナントグローバル方向クラスタ及び定義
    済み規則のセットを使用してビデオシーケンスの潜在的
    なキーフレームを選択する手段と、 選択された潜在的なキーフレームの冗長なキーフレーム
    を削除して残りの選択されたキーフレームを得る手段
    と、 前記ビデオシーケンスの表現を得るために前記残りの選
    択されたキーフレームを解凍する手段とを有することを
    特徴とする装置。
  16. 【請求項１６】 各ビデオクリップがブロック動きベク
    トルを持つＭＰＥＧ圧縮ビデオデータを有する、１つ又
    は複数のビデオクリップからキーフレームを抽出する装
    置であって、 前記ブロック動きベクトルを得るためにＭＰＥＧ圧縮ビ
    デオデータを部分的に解凍する手段と、 前記ブロック動きベクトルを順方向ブロック動きベクト
    ルに変換する手段と、 前記順方向ブロック動きベクトルに基づいてパングロー
    バル動き信号、ズームグローバル動き信号、チルトグロ
    ーバル動き信号を生成する手段と、 生成されたパングローバル動き信号、チルトグローバル
    動き信号、ズームグローバル動き信号に基づいて左パン
    動きクラスタ、右パン動きクラスタ、上チルト動きクラ
    スタ、下チルト動きクラスタ、ズームイン動きクラス
    タ、ズームアウト動きクラスタ、グローバル静止動きク
    ラスタの１つ又は複数を含むドミナントグローバル方向
    クラスタを生成する手段と、 生成されたドミナントグローバル方向クラスタ及び定義
    済み規則のセットを使用して各ビデオクリップの潜在的
    なキーフレームを選択する手段と、 定義済み発見的規則を使用して前記選択された潜在的な
    キーフレームから冗長なキーフレームを削除して残りの
    選択されたキーフレームの第１のセットを得る手段と、 色ヒストグラム技法を使用して前記残りの選択されたキ
    ーフレームの第１のセットから類似したキーフレーム及
    び／又は繰り返されるキーフレームを削除して残りの選
    択されたキーフレームの第２のセットを得る手段と、 キーフレームを抽出するために前記残りの選択されたキ
    ーフレームの第２のセットを解凍する手段とを有するこ
    とを特徴とする装置。
  17. 【請求項１７】 動きベクトルを持つ圧縮ビデオデータ
    を有するビデオシーケンスからキーフレームを抽出する
    コンピュータプログラムを有するコンピュータ読み取り
    可能な媒体であって、前記コンピュータプログラムは、 前記動きベクトルに基づいてグローバル動き信号を生成
    するコードと、 生成されたグローバル動き信号に基づいてドミナントグ
    ローバル方向クラスタを生成するコードと、 生成されたドミナントグローバル方向クラスタを使用し
    てキーフレームを選択するコードと、 キーフレームを抽出するために前記選択されたキーフレ
    ームを解凍するコードとを有することを特徴とするコン
    ピュータ読み取り可能な媒体。
  18. 【請求項１８】 ブロック動きベクトルを持つ圧縮ビデ
    オデータを有するビデオシーケンスの表現を生成するコ
    ンピュータプログラムを有するコンピュータ読み取り可
    能な媒体であって、前記コンピュータプログラムは、 前記ブロック動きベクトルを得るために前記圧縮ビデオ
    データを解凍するコードと、 前記ブロック動きベクトルを順方向ブロック動きベクト
    ルに変換するコードと、 前記順方向ブロック動きベクトルに基づいてグローバル
    動き信号を生成するコードと、 生成されたグローバル動き信号に基づいてドミナントグ
    ローバル方向クラスタを生成するコードと、 生成されたドミナントグローバル方向クラスタ及び定義
    済み規則のセットを使用してビデオシーケンスの潜在的
    なキーフレームを選択するコードと、 選択された潜在的なキーフレームの冗長なキーフレーム
    を削除して残りの選択されたキーフレームを得るコード
    と、 前記ビデオシーケンスの表現を得るために前記残りの選
    択されたキーフレームを解凍するコードとを有すること
    を特徴とするコンピュータ読み取り可能な媒体。
  19. 【請求項１９】 各ビデオクリップがブロック動きベク
    トルを持つＭＰＥＧ圧縮ビデオデータを有する、１つ又
    は複数のビデオクリップからキーフレームを抽出するコ
    ンピュータプログラムを有するコンピュータ読み取り可
    能な媒体であって、前記コンピュータプログラムは、 前記ブロック動きベクトルを得るためにＭＰＥＧ圧縮ビ
    デオデータを部分的に解凍するコードと、 前記ブロック動きベクトルを順方向ブロック動きベクト
    ルに変換するコードと、 前記順方向ブロック動きベクトルに基づいてパングロー
    バル動き信号、ズームグローバル動き信号、チルトグロ
    ーバル動き信号を生成するコードと、 生成されたパングローバル動き信号、チルトグローバル
    動き信号、ズームグローバル動き信号に基づいて左パン
    動きクラスタ、右パン動きクラスタ、上チルト動きクラ
    スタ、下チルト動きクラスタ、ズームイン動きクラス
    タ、ズームアウト動きクラスタ、グローバル静止動きク
    ラスタの１つ又は複数を含むドミナントグローバル方向
    クラスタを生成するコードと、 生成されたドミナントグローバル方向クラスタ及び定義
    済み規則のセットを使用して各ビデオクリップの潜在的
    なキーフレームを選択するコードと、 定義済み発見的規則を使用して前記選択された潜在的な
    キーフレームから冗長なキーフレームを削除して残りの
    選択されたキーフレームの第１のセットを得るコード
    と、 色ヒストグラム技法を使用して前記残りの選択されたキ
    ーフレームの第１のセットから類似したキーフレーム及
    び／又は繰り返されるキーフレームを削除して残りの選
    択されたキーフレームの第２のセットを得るコードと、 キーフレームを抽出するために前記残りの選択されたキ
    ーフレームの第２のセットを解凍するコードとを有する
    ことを特徴とするコンピュータ読み取り可能な媒体。
  20. 【請求項２０】 動きベクトルを持つ圧縮符号化された
    ビデオデータを含むビデオシーケンスからキーフレーム
    を抽出する方法であって、 前記動きベクトルに基づいてグローバル動き信号を生成
    する工程と、 前記生成されたグローバル動き信号に基づいてキーフレ
    ームを選択する工程と、 前記選択されたキーフレームの圧縮符号化されたビデオ
    データを解凍する工程とを有することを特徴とする方
    法。
  21. 【請求項２１】 前記選択する工程は、前記生成された
    グローバル動き信号に基づいてフレーム分類を行なう工
    程を含み、前記分類結果に応じてキーフレームを選択す
    ることを特徴とする請求項２０に記載の方法。
  22. 【請求項２２】 前記解凍されたビデオデータを表示す
    る工程を有することを特徴とする請求項２０又は２１に
    記載の方法。
  23. 【請求項２３】 前記圧縮符号化されたビデオデータ
    は、イントラ符号化処理とインター符号化処理とを適応
    的に用いて符号化されたデータであることを特徴とする
    請求項２０乃至２２のいずれか１項に記載の方法。
  24. 【請求項２４】 前記圧縮符号化されたビデオデータ
    は、ＭＰＥＧ(MovingPicture Coding Experts Group)符
    号化方式により符号化されたデータであることを特徴と
    する請求項２３に記載の方法。
  25. 【請求項２５】 請求項２０乃至２４のいずれか１項に
    記載のキーフレームを抽出する方法を実行するためのコ
    ンピュータ読み取り可能なプログラムコードを記憶した
    記憶媒体。
  26. 【請求項２６】 請求項２０乃至２４のいずれか１項に
    記載のキーフレームを抽出する方法をコンピュータに実
    行するためのプログラムソフトウェア。
  27. 【請求項２７】 動きベクトルを持つ圧縮符号化された
    ビデオデータを含むビデオシーケンスからキーフレーム
    を抽出する装置であって、 前記動きベクトルに基づいてグローバル動き信号を生成
    する手段と、 前記生成されたグローバル動き信号に基づいてキーフレ
    ームを選択する手段と、 前記選択されたキーフレームの圧縮符号化されたビデオ
    データを解凍する手段とを有することを特徴とする装
    置。
JP2001024529A 2000-01-31 2001-01-31 ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 Expired - Fee Related JP4666784B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AUPQ5352A AUPQ535200A0 (en) 2000-01-31 2000-01-31 Extracting key frames from a video sequence
AU5352 2000-01-31

Publications (3)

Publication Number Publication Date
JP2001258038A true JP2001258038A (ja) 2001-09-21
JP2001258038A5 JP2001258038A5 (ja) 2008-03-13
JP4666784B2 JP4666784B2 (ja) 2011-04-06

Family

ID=3819476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001024529A Expired - Fee Related JP4666784B2 (ja) 2000-01-31 2001-01-31 ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置

Country Status (3)

Country Link
US (1) US7046731B2 (ja)
JP (1) JP4666784B2 (ja)
AU (1) AUPQ535200A0 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916171B2 (en) 2004-03-05 2011-03-29 Kddi R&D Laboratories, Inc. Classification apparatus for sport videos and method thereof
US8264616B2 (en) 2002-09-30 2012-09-11 Kddi R&D Laboratories, Inc. Scene classification apparatus of video

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4783985B2 (ja) * 2001-02-28 2011-09-28 日本電気株式会社 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
US20020186235A1 (en) * 2001-05-25 2002-12-12 Koninklijke Philips Electronics N.V. Compact visual summaries using superhistograms and frame signatures
US6941516B2 (en) * 2001-08-06 2005-09-06 Apple Computer, Inc. Object movie exporter
US8238718B2 (en) * 2002-06-19 2012-08-07 Microsoft Corporaton System and method for automatically generating video cliplets from digital video
US8411902B2 (en) * 2004-04-07 2013-04-02 Hewlett-Packard Development Company, L.P. Providing a visual indication of the content of a video by analyzing a likely user intent
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US20060238616A1 (en) * 2005-03-31 2006-10-26 Honeywell International Inc. Video image processing appliance manager
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US20060277457A1 (en) * 2005-06-07 2006-12-07 Salkind Carole T Method and apparatus for integrating video into web logging
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US20070071404A1 (en) * 2005-09-29 2007-03-29 Honeywell International Inc. Controlled video event presentation
CA2640834C (en) 2005-11-15 2014-08-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
US7889794B2 (en) * 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip
US20070237225A1 (en) * 2006-03-30 2007-10-11 Eastman Kodak Company Method for enabling preview of video files
KR101456652B1 (ko) 2007-02-01 2014-11-04 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템
CN101652999B (zh) * 2007-02-02 2016-12-28 霍尼韦尔国际公司 用于管理实况视频数据的系统和方法
DE102007013811A1 (de) * 2007-03-22 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
US20100185628A1 (en) * 2007-06-15 2010-07-22 Koninklijke Philips Electronics N.V. Method and apparatus for automatically generating summaries of a multimedia file
WO2009154597A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Adaptive video key frame selection
WO2010099575A1 (en) 2009-03-04 2010-09-10 Honeywell International Inc. Systems and methods for managing video data
US9298722B2 (en) * 2009-07-16 2016-03-29 Novell, Inc. Optimal sequential (de)compression of digital data
US20110135170A1 (en) * 2009-12-09 2011-06-09 Capso Vision, Inc. System and method for display speed control of capsule images
US8446490B2 (en) 2010-05-25 2013-05-21 Intellectual Ventures Fund 83 Llc Video capture system producing a video summary
US8599316B2 (en) 2010-05-25 2013-12-03 Intellectual Ventures Fund 83 Llc Method for determining key video frames
US8619150B2 (en) 2010-05-25 2013-12-31 Intellectual Ventures Fund 83 Llc Ranking key video frames using camera fixation
US8520088B2 (en) 2010-05-25 2013-08-27 Intellectual Ventures Fund 83 Llc Storing a video summary as metadata
US8432965B2 (en) 2010-05-25 2013-04-30 Intellectual Ventures Fund 83 Llc Efficient method for assembling key video snippets to form a video summary
US8605221B2 (en) 2010-05-25 2013-12-10 Intellectual Ventures Fund 83 Llc Determining key video snippets using selection criteria to form a video summary
US9171578B2 (en) 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
US8774168B2 (en) * 2011-04-14 2014-07-08 Skype Communication system and method
CN102855639B (zh) * 2012-08-16 2014-11-19 大连大学 一种运动捕捉数据的关键帧提取方法
EP3031205A4 (en) 2013-08-07 2017-06-14 Audiostreamtv Inc. Systems and methods for providing synchronized content
EP3033876A4 (en) * 2013-08-12 2017-07-12 Intel Corporation Techniques for low power image compression and display
US11450148B2 (en) 2017-07-06 2022-09-20 Wisconsin Alumni Research Foundation Movement monitoring system
US10482613B2 (en) 2017-07-06 2019-11-19 Wisconsin Alumni Research Foundation Movement monitoring system
US10810414B2 (en) 2017-07-06 2020-10-20 Wisconsin Alumni Research Foundation Movement monitoring system
CN109544664B (zh) * 2018-11-21 2023-03-28 北京像素软件科技股份有限公司 动画数据处理方法、装置、电子设备及可读存储介质
US10997426B1 (en) * 2019-03-05 2021-05-04 Amazon Technologies, Inc. Optimal fragmentation of video based on shot analysis
US11587361B2 (en) 2019-11-08 2023-02-21 Wisconsin Alumni Research Foundation Movement monitoring system
US11237708B2 (en) 2020-05-27 2022-02-01 Bank Of America Corporation Video previews for interactive videos using a markup language
US11461535B2 (en) 2020-05-27 2022-10-04 Bank Of America Corporation Video buffering for interactive videos using a markup language

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191411A (ja) * 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置
WO1998052356A1 (en) * 1997-05-16 1998-11-19 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
WO1999032993A1 (en) * 1997-12-19 1999-07-01 Sharp Kabushiki Kaisha Method for hierarchical summarization and browsing of digital video
JPH11509025A (ja) * 1996-04-25 1999-08-03 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 直流および動きの記号を用いた圧縮ｍｐｅｇ系列のビデオ検索

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2308774B (en) 1993-04-08 1997-10-08 Sony Uk Ltd Motion compensated video signal processing
KR19990008977A (ko) 1997-07-05 1999-02-05 배순훈 윤곽선 부호화 방법
SI20409A (sl) 1997-09-26 2001-06-30 Egidija RO�KAR-NILSEN Emg senzor in večkanalni uretralni emg sistem, ki vsebuje ta senzor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191411A (ja) * 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置
JPH11509025A (ja) * 1996-04-25 1999-08-03 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 直流および動きの記号を用いた圧縮ｍｐｅｇ系列のビデオ検索
WO1998052356A1 (en) * 1997-05-16 1998-11-19 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
WO1999032993A1 (en) * 1997-12-19 1999-07-01 Sharp Kabushiki Kaisha Method for hierarchical summarization and browsing of digital video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264616B2 (en) 2002-09-30 2012-09-11 Kddi R&D Laboratories, Inc. Scene classification apparatus of video
US7916171B2 (en) 2004-03-05 2011-03-29 Kddi R&D Laboratories, Inc. Classification apparatus for sport videos and method thereof

Also Published As

Publication number Publication date
JP4666784B2 (ja) 2011-04-06
AUPQ535200A0 (en) 2000-02-17
US7046731B2 (en) 2006-05-16
US20010016007A1 (en) 2001-08-23

Similar Documents

Publication Publication Date Title
JP4666784B2 (ja) ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置
JP3719933B2 (ja) 階層的ディジタル動画要約及び閲覧方法、並びにその装置
US7469010B2 (en) Extracting key frames from a video sequence
US7027509B2 (en) Hierarchical hybrid shot change detection method for MPEG-compressed video
US7356082B1 (en) Video/audio signal processing method and video-audio signal processing apparatus
Meng et al. Scene change detection in an MPEG-compressed video sequence
US7817722B2 (en) Methods and architecture for indexing and editing compressed video over the world wide web
JP3656036B2 (ja) Ｍｐｅｇ圧縮ビデオ環境でのディゾルブ／フェード検出方法
JP2001526859A (ja) ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア
US8363726B2 (en) Electronic apparatus, motion vector detecting method, and program therefor
JPH10257436A (ja) 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
US20030169817A1 (en) Method to encode moving picture data and apparatus therefor
JP2869398B2 (ja) カット点検出方法及び装置
JP2005341382A (ja) 画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法
Gu et al. Dissolve detection in MPEG compressed video
JP3332202B2 (ja) カメラワーク算出方法及び装置
JP2000069484A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
AU762791B2 (en) Extracting key frames from a video sequence
JPH10112863A (ja) 動き被写体情報抽出方法及び装置
JP4835540B2 (ja) 電子機器、映像特徴検出方法及びプログラム
JP3333956B2 (ja) カット点検出方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees