JP2002232840A - 動画要約方法 - Google Patents

動画要約方法

Info

Publication number
JP2002232840A
JP2002232840A JP2001328320A JP2001328320A JP2002232840A JP 2002232840 A JP2002232840 A JP 2002232840A JP 2001328320 A JP2001328320 A JP 2001328320A JP 2001328320 A JP2001328320 A JP 2001328320A JP 2002232840 A JP2002232840 A JP 2002232840A
Authority
JP
Japan
Prior art keywords
slow motion
block
commercial
playback
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001328320A
Other languages
English (en)
Inventor
Hao Pan
パン ハオ
Beek Petrus J L Van
ジェイ．エル．ヴァン ビーク ペトラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2002232840A publication Critical patent/JP2002232840A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 動画内の意味的に重要なイベントを自動抽出
することが可能な動画要約方法を提供する。 【解決手段】 動画の特徴を抽出する特徴抽出器４０
と、特徴をインテグレートし境界を決定するための隠れ
マルコフモデルなどのモデルを使用する確率モデル４２
と、コマーシャル及び非コマーシャルスローモーション
再生セグメントを区別するコマーシャル／非コマーシャ
ルフィルタ４４と、検出したスローモーション再生セグ
メントに基づき要約を生成する要約生成器４６とを含
む。特徴抽出器４０はブロック５０でカラーヒストグラ
ムから特徴を抽出し、ブロック５２で画素に基づく差か
ら３つの特徴を抽出する。ブロック５２で抽出した特徴
は、再生セグメントのスローモーション，静止フィール
ド，及び／又はノーマル速度再生の各構成成分を特徴づ
ける。ブロック５０で抽出した特徴は編集効果成分を特
徴付ける。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画要約方法に関
し、より詳細には、動画シーケンスにおける意味的に重
要なイベントを検出することにより動画を要約する動画
要約方法に関する。
【０００２】
【従来の技術】一般の人々が入手できる動画の数量が劇
的に増大してきた。この傾向は、パーソナルコンピュー
タとディジタルテレビジョンが普及するにつれて、今後
とも引き続いて促進されると期待されている。ユーザに
とっての情報価値を高めるためには、ユーザが入手可能
な動画情報をナビゲートし、関連するコンテンツを見付
け出すのを支援するツールが必要である。“消費者”で
あるユーザにとって、かようなツールは、理解し易く使
い易いものであり、確実に予測できる挙動を提供できる
ものでなければならない。
【０００３】一般的に、公知のコンテンツに基づく動画
索引（インデクシング）及び検索システムには３つのカ
テゴリがある。第１のカテゴリは、動画の構文解析を目
的とする方法を含んでいる。このカテゴリは、ショット
境界の検出，キーフレームの抽出，ショットのクラスタ
リング，コンテンツ作成テーブル，動画の要約及び動画
のスキミングの各方法を含んでいる。これらの方法は、
一般に計算量もさほど多くはなく、比較的確実な結果が
得られる。しかしながら、これらの方法は、動画コンテ
ンツの意味のモデル化や評価を試みないので、得られた
結果は意味的な（セマンテックな）関係をもたない。そ
の結果として、このシステムでの動画の探索（サーチ）
又は閲覧（ブラウジング）は、特定の興味を持つ動画コ
ンテンツを探しているユーザには苛立ちを与えることが
ある。
【０００４】動画索引及び検索システムの第２カテゴリ
は、ニュース，スポーツ，アクション映画，クローズア
ップ又は群集等のカテゴリに動画シーケンスを分類する
ことを試みる。これらの分類は、粗いレベルでの動画シ
ーケンスの閲覧を容易にするが、ユーザが関心をもつコ
ンテンツを見付け出す助けにはならない。ユーザは、し
ばしば、オブジェクト，アクション又はイベントを記述
するキーワードのような正確な意味を持つラベルの形式
で探索オブジェクトを表現する。ユーザが関心をもつコ
ンテンツを見つけ出すのをより有効に支援するには、多
くの分類システムで可能なレベルよりさらに細いレベル
で動画コンテンツを分析することが望まれる。
【０００５】動画コンテンツ分析技法の第３カテゴリ
は、コンテンツに関する規則を、特定の動画ドメイン
（定義域）又はコンテンツのサブジェクトエリア（対象
領域）の特徴に適用する。例えば、アメフト，サッカ
ー，野球及びバスケットのゲームにおけるイベント（事
象）の検出方法が提案されている。これらの方法により
検出された事象は、おそらく意味的にユーザに関連する
が、しかし、これらの方法は、放送番組におけるパター
ンの編集のような特定のドメインに関連する特定のアー
チファクトに多大に依存する。このために、これらの方
法を、種々多様なドメインからより一般的な動画分析に
展開させることを困難にしている。
【０００６】
【発明が解決しようとする課題】本発明は、上述のごと
き実状に鑑みてなされたものであり、動画中の意味的に
重要なイベントを確実に検出することが可能な動画要約
方法、さらにはこの動画要約方法を用いた動画分析のた
めの一般的システムを提供することをその目的とする。
【０００７】
【課題を解決するための手段】請求項１の発明は、スロ
ーモーション再生を含む動画の要約方法において、
（ａ）前記スローモーション再生用の前記動画を分析す
ることと、（ｂ）前記分析に基づき前記動画を要約する
こととを含んで成ることを特徴としたものである。
【０００８】
【発明の実施の形態】スポーツ放送の動画コンテンツを
検討すると、重要な事象は、続けてスローモーションで
再現されることが多い。スローモーション再生は、通
常、そのスポーツの試合に関して全体的な知識を持つ放
送プロデューサの決定に基づき、動画コンテンツに挿入
される。従って、動画のコンテンツにスローモーション
での再生があると、放映中のスポーツゲーム中に発生し
た重要又は興味深い事象を強力に表現することができ
る。このスローモーションの再生は、通常、原事象の該
当部分より長い時間にわたる事象の再生である。
【０００９】さらに、特定のスポーツイベントに特に適
合させたシステムを設計する試みとは異なり、スローモ
ーションの再生を用いることは、本質的に十分汎用的で
あり、従って、殆どのスポーツに応用可能であり、事
実、他の任意形式の動画プログラミングに適用可能であ
る。従って、スローモーション再生を実際に検出するよ
うにシステムを設計できれば、スローモーション再生
は、動画の意味的に重要な事象及びそれに続く動画コン
テンツの要約の代表として表示又は使用することができ
る。さらに、そのシステムは、特定スポーツの性質に関
する特別な仮定条件に拘束されないように設計すべきで
ある。スローモーション再生セグメントから得られる情
報は、事象検出と動画ハイライトの生成における一般的
な手がかり（合図）として使用でき、又は、独立情報又
は他の形式の情報と組み合わせて使用できる。
【００１０】得られる要約（例えば、ハイライト）情報
は、例えば、動画コンテンツのプロバイダ又は動画コン
テンツの消費者の何れの側でも、個人的な好み，使用条
件及びシステム資源に対する要求条件に従って期間が変
化する事象のハイライト（又は他の形式）を提供するた
めに利用できる。プロバイダは、例えば、複数のスポー
ツイベントのハイライトを、異なる時間長さで消費者に
提供することができる。
【００１１】本発明のシステムは、動画を要約するため
に、動画シーケンスのスローモーションセグメントを検
出する。これは、スローモーションセグメントを単に動
画のコンテンツをスポーツ又は非スポーツに分類するの
に用いる現存のシステムとは対照的である。さらに、現
存システムは、スローモーション再生セグメントの境界
位置を正確に特定するための解決策を提供していない。
本発明では、スローモーション再生セグメントと動画ス
トリーム中の境界の位置をより正確に特定するシステム
を提供する。
【００１２】本発明の好適な実施態様は、スローモーシ
ョン再生セグメントを含む動画ストリームの統計モデル
の使用を含んでいる。当分野において“Ｈｉｄｄｅｎ
Ｍａｒｋｏｖ Ｍｏｄｅｌ（隠れマルコフモデル）”と
して公知の統計モデルを使用することにより、スローモ
ーション再生セグメントの検出においては、現存システ
ムに比べてかなりの利点を有している。第１に、この統
計モデルは、１つの状態から次の状態への推移と同様に
動画ストリームの“状態”により特徴付けられるフレキ
シブルなフレームワークである。状態は、観測可能な特
性により表示され、動画データから直接測定できる。ス
ローモーション再生部分を記述する状態は、特定用途の
必要に応じて柔軟に統計モデルに付加することができ
る。この好適なシステムは、容易に測定でき計算量も少
ない１組の動画特性を利用する。
【００１３】第２に、この統計モデルは、スローモーシ
ョンの再生セグメントを含む動画ストリームを正確にモ
デル化できるように、実際の動画データで訓練される。
現存システムは、スローモーションを許容しない。
【００１４】第３に、このフレームワークは、動画スト
リーム内のイベントにモデルの状態をマッチングするこ
とにより、スローモーション再生セグメントの境界（始
点と終点）を発見する効率のよい統計的に最適な技法を
可能にする。さらに、このフレームワークは、動画デー
タから測定された特定の観測可能な特性を柔軟に付加又
は除去することを可能にする。現存システムでは、固定
された測定値のセットだけが、スローモーションセグメ
ントの存在を検出するのに用いられる。これと対照的
に、本発明のシステムの好適な実施態様は、新しい測定
値を統計モデルに付加することができ、検出性能を大幅
に強化できる。このシステムはオーディオビジュアルス
トリームの動画データからの測定値のみを使用するが、
本発明のシステムは、動画データの使用だけに限定され
るものではない。オーディオデータのような他の測定値
もこのシステムに含むことができると理解すべきであ
る。
【００１５】本発明のシステムは、又、当該スポーツゲ
ーム部分であるスローモーション再生セグメントを動画
資料中に周期的に挿入されたコマーシャル部分から区別
する新規の方法を含んでいる。しかしながら、全体とし
てのシステムは、例えばコマーシャルの現存検出技法の
ような、スローモーション再生検出結果からコマーシャ
ルを区別するか又は除去する他の技法も利用できると理
解すべきである。
【００１６】さらに、このシステムは、検出されたスロ
ーモーション再生セグメントとその境界位置とが与えら
れることにより、動画の要約を生成する幾つかの技法を
記述する。そして動画要約が問題となっているスポーツ
ゲームに関する知識に基づくと考えられる場合でも同様
に動画の要約を生成する幾つかの技法を記述する。ここ
での説明は、全体としては、スポーツのシーケンスを記
述するが、ここに記述する技法は、他の動画コンテンツ
にも適用できると理解すべきである。
【００１７】図１は、スローモーションセグメントの１
パターンを示す図である。動画分析メカニズムについて
議論する前に、スポーツ動画中のスローモーション再生
パターンを最初に紹介するのが有効であろう。スポーツ
番組中のスローモーション再生パターンは、一般にブロ
ック１０に示すアクションショットと称する、オブジェ
クト（人物，ボール等）の非常に早い動きを含んでい
る。アクションショット１０の後には、ブロック１２に
示す他のショットすなわち動画コンテンツが続き、さら
に、ブロック１４に示すスローモーション再生が続く。
特殊効果或いはブロック１６に示す編集効果は、殆どの
場合、ブロック１２のノーマルショットとブロック１８
のスローモーション再生セグメントの間に表示される。
ブロック１８のスローモーション再生の後には、通常、
ブロック２０に示す他の編集効果がノーマル再生に先立
ち表示される。スローモーション再生１４に続き、スポ
ーツイベントの継続のような他のショットをブロック２
２で表示する。
【００１８】図２は、スローモーション再生１４の詳細
例を示す図である。通常、スローモーション再生手順
は、６つの構成成分、即ち、編集効果入力２３，静止フ
ィールド２５，スローモーション再生２４，ノーマル再
生２６，静止フィールド２８，編集効果出力３０を含ん
でなる。
【００１９】編集効果入力２３と編集効果出力３０は、
スローモーション再生１４の始点と終点をマークし、通
常、フェードイン／アウト，クロス／付加−ディゾル
ブ，ワイプのような段階的に推移する。テレビ局のロゴ
が編集効果入力２３と編集効果出力３０の期間に頻繁に
表示される。他の技法も同様に用いることができる。
【００２０】スローモーション再生２４は、通常、２つ
の技法、即ち、ノーマル速度（ＮＴＳＣの場合６０フィ
ールド／秒）で記録したクリップ内フィールドの幾つか
を置き換えるか、又は、高速スーパーモーションカメラ
で高速（ＮＴＳＣの場合１８０フィールド／秒）記録し
たクリップを６０フィールド／秒の速度で表示すること
により達成する。他の技法も同様に用いることができ
る。
【００２１】静止フィールド２５は、時々、スローモー
ション再生セグメントの始点と終点に用いることがあ
る。スローモーション再生セグメント期間中、動画プレ
イ速度は、ノーマル速度プレイ２６が時々用いられるの
で、常にノーマル速度より遅いわけではない。
【００２２】スローモーション再生を検討すると、通
常、編集効果入力２３、スローモーション再生２４及び
編集効果出力３０は、スローモーション再生１４に含ま
れていることが判明した。他の３つの要素は、望むなら
ば、頻繁に使用しなくてもよく、任意の動画シーケンス
内に存在していればよい。従って、スローモーション再
生の特徴は略無限の可能な組合せを有する。図３は、ス
ローモーション再生セグメントの１例を示している。こ
の例では、編集効果入力２３，静止フィールド２５，ス
ローモーション再生２４，ノーマル再生２６，スローモ
ーション再生２４，静止フィールド２８，編集効果出力
３０の順に並んだスローモーション再生を示している。
【００２３】スローモーション再生の処理とその全順列
を検討して、コマーシャルが頻繁にスローモーション再
生セグメントを用いていることが判明した。かように、
粗い動画要約システムの場合、スポーツのような動画の
スローモーション再生セグメントをコマーシャル内のス
ローモーション再生セグメントと区別することが望まし
い。
【００２４】図４は、動画要約システムの好適な構造を
説明するための図である。このシステムは、４つの基本
部分、即ち、特徴抽出器４０と、特徴をインテグレート
し境界を決定するための隠れマルコフモデル（又は他の
モデル）を使用する確率モデル４２と、コマーシャル及
び非コマーシャルスローモーション再生セグメントを区
別するコマーシャル／非コマーシャルフィルタ４４と、
検出したスローモーション再生セグメントに基づき要約
を生成する要約生成器４６とを含んでいる。
【００２５】特徴抽出器４０は、好ましくは、カラーヒ
ストグラム（ブロック５０）から特徴を抽出し、ブロッ
ク５２において画素に基づく差から３つの特徴を抽出す
るように設計されている。この画素に基づく技法は、分
析適応コンテンツにおいて柔軟性を有する。さらに、こ
のシステムは、好ましくは、ＭＰＥＧ−２動画ストリー
ム中で通常発見される動きベクトルを使用しない。他の
特徴抽出技法も同様に使用できる。ブロック５２で抽出
した特徴は、再生セグメントのスローモーション，静止
フィールド，及び／又はノーマル速度再生の各構成成分
を特徴づける。ブロック５２により用いられる好適な技
法は、２つの連続フィールドにおける画素に関する差の
計算である。任意の他のフィールドセットを望むならば
使用してよい。ブロック５０で抽出した特徴は、編集効
果成分を特徴付け、好ましくは、各フィールドのＲＧＢ
カラーヒストグラムに基づき決定される。
【００２６】図５は、画素毎の差の特徴抽出方法を説明
するための図である。図４のブロック５２で抽出された
３つの特徴は、スライディングウィンドウ内のゼロクロ
ス（ゼロ交差）数（ブロック５４）と、スライディング
ウィンドウ内の最低値（ブロック５６）と、画素毎の差
の導関数（ブロック５８）によって特徴付けることがで
きる。ゼロ交差（ブロック５４）とスライディングウィ
ンドウ内の最低値（ブロック５６）は、フィールド反復
の検出を目的とし、画素毎の差の導関数（ブロック５
８）は、静止フィールドの検出を目的とする。要約すれ
ば、ブロック６０で２つの連続フィールド間の画素毎の
差を計算し、ブロック６２で時間軸に沿ってスライディ
ングウィンドウを生成し、ブロック６４，６６，５４で
スライディングウィンドウ内のゼロ交差を計算し、ブロ
ック５６でスライディングウィンドウ内の最低値を計算
し、ブロック５８で画素毎の差の導関数を計算する。
【００２７】図５に示した画素毎の差を計算するための
好適な技法について次に説明する。勿論、他の画素毎の
差の計算技法も望むならば同様に使用できる。ブロック
６０では、２つの連続するフィールド間の画素毎の差を
計算する。計算式は次の通りである。 Ｄ（ｔ）＝ｆ（ｉｍｇ（ｎ，ｍ，ｔ），ｉｍｇ（ｎ，
ｍ，ｔ−１））
【００２８】この式は、画素毎の差を計算する一般式で
あり、式中のｆ（ｘ）は２つの画像間の画素毎の差を計
算する一般関数であり、ｉｍｇ（ｎ，ｍ，ｔ）は座標
（ｎ，ｍ），時間ｔにおける画素情報を示す。２つの画
像間の差を記述する任意の関数を望むならば使用でき
る。画素毎の差を計算するための特定の興味をもつ２つ
の関数は、平均ｐ次輝度差と相互情報輝度差を含んでい
る。
【００２９】平均ｐ次輝度差は、次のように数学的に記
述できる。
【数１】
【００３０】式中、Ｉ（ｎ，ｍ，ｔ）は座標（ｎ，ｍ）
及び時間ｔにおける輝度の強さ、ｐは次数、Ｎ及びＭは
各々垂直解像度及び水平解像度である。このシステム
は、複数のディスタンス（距離とする）（例えば３つの
距離）を計算し、所望の１つ（例えば、最低値）を選択
できることに留意すべきである。スローモーション再生
をフィールドの反復より生成させる場合、奇数フィール
ド及び偶数フィールド間の１ライン差を補償するために
殆どのスローモーション装置は反復フィールドを原位置
より１ライン上方又は下方に移動させるので、最低値を
選択するのが好ましい。理想的には、システムが３つの
差を計算しなくて済むようにこの移動を予測できること
である。しかしながら、多くのシステムは、予測パター
ン通りにはならない。従って、３つの差を計算し、最低
値を選択するのが好ましい。
【００３１】相互情報差は次のように定義できる。 D(t)=min(MI(I(n,m,t),I(n,m,t-1)),MI(I(n+1,m,t),I
(n,m,t-1)),MI(I(n-1,m,t),I(n,m,t-1)))
【００３２】式中、ＭＩ（ｘ）は、２つの画像間の画素
毎の相互情報差である。システムは、再び、複数（例え
ば３つの）相互情報を計算し、その内の１つ（例えば最
低値）を選択する。前述の計算式は、差を計算するため
に輝度情報のみを使用するが、カラー情報又は他の情報
も、望むならば、同様に用いてよい。
【００３３】前述の２つの計算式（第１の式において、
ｐ＝１及びｐ＝２）は、有意の差を示さなかった。
【００３４】図６は、２種類のスローモーションの２つ
の画素毎の輝度平均平方差（ｐ＝２）を示す図で、図６
（ａ），（ｂ）はそれぞれ、フィールド反復（ＮＢＡの
バスケットボール），スーパーモーションＶＴＲ（サッ
カー）により生成した２種類のスローモーションの２つ
の画素毎の輝度平均平方差（ｐ＝２）を示している。激
しい変動は、スローモーションの再生が発生している期
間を示している。
【００３５】フィールド反復法の場合、現フィールドが
前フィールドを反復する時は２つのフィールド間の差は
小さく、現フィールドが前フィールドを反復しない時は
２つのフィールド間の差は大きい。小−大−小の変化に
より、激しい変動が発生する。スーパーモーションＶＴ
Ｒ法の場合、ＶＴＲは常に１８０フィールド／秒の固定
速度で作動しており、スローモーションはしばしば、正
確にこの速度の３分の１ではないので、幾つかのフィー
ルドは表示期間中に反復又は脱落する。フィールドの反
復と脱落は、時間軸に沿った画素毎の差の変動として現
れる。しかしながら、フィールド反復法の場合の変動
は、スーパーモーションＶＴＲ法の場合の変動よりもか
なり大きい。
【００３６】ブロック６２では、Ｓフィールド長であり
毎回Ｆフィールド前進する“スライディングウィンド
ウ”を生成する。実際に、ブロック６２では、処理のた
めに１組のフィールドを選択する。望むならば、任意セ
ットのフィールド，フレーム又は逐次又は非逐次のフィ
ールド，フレームを選択してよい。
【００３７】ブロック６４では、ブロック６２のスライ
ディングウィンドウ内のフィールドの統計値を計算す
る。好ましくは、この統計値は、次式で計算できる差の
平均値である。
【００３８】
【数２】
【００３９】ブロック６６では、スライディングウィン
ドウ毎にゼロ交差数を計算する。通常のゼロ交差は次の
ように計数する。
【００４０】
【数３】
【００４１】ここで、従来のゼロ交差技法を用いること
ができるが、従来技法は振幅情報を無視しており、これ
は、小さな変動が大きな変動と同じ結果を生じることを
意味することが判明した。従って、本発明による修正ゼ
ロ交差計数技法は振幅情報を含んでいる。この新しい技
法例は、次の通りである。
【００４２】
【数４】
【００４３】ここで、θiは、インデックスｉを持つ閾
値である。従来の技法とこの修正振幅感知技法を比較す
る。追加のパラメータ閾値θiが導入される。閾値θiが
大きければ大きいほど、ゼロ交差は少ない。図７にこの
差を示しており、図７（ａ），（ｂ）はそれぞれ、ゼロ
交差の従来の定義，ゼロ交差の修正された定義を説明す
るための図である。図７（ａ）における従来の定義では
４個のゼロ交差が存在するが、図７（ｂ）における修正
された定義では閾値θ1に対する１個のゼロ交差と閾値
θ2に対する０個のゼロ交差が存在することとなる。勿
論、静的又は動的なこの閾値に任意の値を用いることが
できる。
【００４４】ブロック５４では、信頼レベルをθiに基
づきｐzc（ｔ，ｂ）により規定することができる。最初
に、Ｗ昇順閾値を定義することができる。昇順閾値の例
を、以下の１２個の閾値表（Ｗ＝１２）に示す。
【００４５】
【表１】
【００４６】信頼レベルは次式で規定できる。 ｐzc（ｔ，β）＝ｉβ（ｔ）／Ｗ
【００４７】ｉβは次式で規定できる。なお、βは１，
Ｓ−１から選択した他の閾値である。
【００４８】
【数５】
【００４９】ブロック５６では、Ｓフィールドスライデ
ィングウィンドウ内の連続するフィールドの画素毎の差
の最低値を定義することができる。ｌｅ（ｔ）は次式で
定義できる。 ｌｅ（ｔ）＝ｍｉｎ（Ｄ（ｔ），Ｄ（ｔ−１），…，Ｄ
（ｔ−Ｓ＋１））
【００５０】ブロック５８では、隣接フィールドの画素
毎の差の導関数ｄｒ（ｔ）を次式で定義できる。 ｄｒ（ｔ）＝Ｄ（ｔ）−Ｄ（ｔ−１）
【００５１】ブロック５０（図４参照）では、編集効果
は、段階的推移の検出のような任意の推移を検出でき
る。この好適な技法では、最初に２つのカラーヒストグ
ラム間の距離を次のように定義する。
【００５２】
【数６】
【００５３】ここで、ＨR（Ｉ，ｔ），ＨG（Ｉ，ｔ），
ＨB（Ｉ，ｔ）は各々、時間ｔにおけるフィールドの赤
色，緑色，青色のヒストグラムである。動画進化率（vi
deo-evolution ratio：ＶＥＲ）は、さらに次のように
定義できる。
【００５４】
【数７】
【００５５】前述の議論から、スローモーション再生セ
グメントの構造はかなり複雑であることが認められる。
６つの異なる成分が存在し、これらの成分は、多数の組
み合わせを生み出すことができる。効率のよい高レベル
のフレームワークは、複雑さをモデル化するのに有効で
ある。特に、この好適なシステムは、隠れマルコフモデ
ル（ＨＭＭ）をフレームワークとして用いて、特徴抽出
器からの４つの特徴をインテグレートし、境界を検出
し、スローモーション再生セグメントの全ての候補につ
いて確率を計算する。
【００５６】ＨＭＭは、非常に見込みのあるツールであ
る。隠れ状態を導入することにより、ＨＭＭは非定常シ
グナルをモデル化する能力を有し、時間ワーピング能力
を有する。ＨＭＭの理論は、よきトレーニングアルゴリ
ズムとインターフェイスアルゴリズムを提供する。トレ
ーニングアルゴリズムは、期待値最大化（ＥＭ）アルゴ
リズムであってよく、局所最小値への収斂を保証するこ
とができる。インターフェイスアルゴリズムは、ビタビ
アルゴリズムであってよく、観測シーケンスの大局的に
最適な隠れ状態を保証することができる。さらに、両ア
ルゴリズムは、計算処理も効率的である。
【００５７】スローモーション再現セグメントは、ＨＭ
Ｍによって有効にモデル化できる。このシステムは、１
つのセグメント内の６つの可能な成分をＨＭＭの隠れ状
態にマッピングすることができる。さらに、オーディオ
特徴のような新しい特徴をＨＭＭに容易に付け加えるこ
とができる。
【００５８】しかしながら、スローモーションの検出に
ＨＭＭを使用することは、簡単ではない。ＨＭＭは、元
来、パターン認識／分類のために開発されたものであ
り、パターン検出のために開発されたものではない。Ｈ
ＭＭは、ＨＭＭがモデル化するクラスにシーケンスが属
する確率を計算するのは得意である。ＨＭＭを用いて長
い入力シーケンスに隠されたパターンの始点と終点を検
出するのは難しい。１つの簡単な解決策は、別の方法を
用いて始点と終点の全候補を検出し、ＨＭＭを用いてＨ
ＭＭが生み出した非常に低い確率を持つ候補を見つけ出
すことである。
【００５９】この問題を解決するために、本発明は、Ｈ
ＭＭにスローモーション再生の始点と終点（即ち境界）
を発見させる新しい技法を開発した。幾つかの候補を見
付け出す代わりに、新技法は、正規化＋閾値技法を用い
て候補中の１点を見付け出し、次に、２つの前方及び後
方ＨＭＭを用いて、全てその１点より開始し、“境界”
隠れ状態を導入することにより境界を見付け出す。この
システムは、その１点より前方及び後方に例えば８００
個のような複数の連続フィールドを、各々、前方及び後
方ＨＭＭへの入力シーケンスとして抽出する。後方への
シーケンスは、逆時系列である。全てのスローモーショ
ン再生は、通常２０秒以内であるので、（フィールドレ
ートが毎秒６０フィールドであり長さが１２００フィー
ルドより短ければ）、８００個の後方及び前方点は、各
々、始点と終点を含んでいなければならない。後方ＨＭ
Ｍ及び前方ＨＭＭは、同じパラメータと構造を共有し、
“ノーマル表示”段階を示す“境界”隠れ状態を有す
る。ビタビアルゴリズムを用いて最適な隠れ状態を計算
する場合は、特別な“境界”隠れ状態に達する最初のフ
ィールドが、後方シーケンスの始点であり、前方シーケ
ンスの終点である。
【００６０】図４に示すように、好適な確率モデルに
は、５つの構成部分、即ち、（１）プリプロセッシング
７０，（２）１点検出７２，（３）前方ＨＭＭ７４，
（４）後方ＨＭＭ７６，（５）ポストプロセッシング７
８を含んでいる。プリプロセッシング７０は特徴をＨＭ
Ｍの範囲に変換するために用いる。ポストプロセッシン
グ７８は、幾つかの重複候補を結合するか又は候補に関
する２つのＨＭＭによって生成された確率により幾つか
の候補をフィルタで除去するために用いられる。各構成
部分について順番に説明する。
【００６１】プリプロセッシング７０は異なる範囲の４
つの特徴を、Ｖの離散レベルを持つ、ＨＭＭが使用でき
る範囲に変換する。ゼロ交差に基づく特徴は、すでにＶ
離散レベルのフォーマットになっている。しかしなが
ら、残りの３つの特徴は、連続フォーマットである。か
ように、線形量子化アルゴリズム又は非線形量子化アル
ゴリズムを用いて特徴をＶ離散レベルに量子化する。線
形量子化は全く単純であるが、非線形量子化アルゴリズ
ムはより良い結果をもたらす。非線形量子化アルゴリズ
ムは、ＬＢＧアルゴリズム又はＳＯＭアルゴリズムのよ
うな任意ベクトル量子化アルゴリズム又は自己クラスタ
リングアルゴリズムであってよい。
【００６２】図８は、前方及び後方ＨＭＭ（隠れマルコ
フモデル）の始点を計算する技法を説明するための図で
ある。図８を参照して、可能なスローモーション再生候
補中の１点を検出する１点検出器の１例を説明する。１
点検出器では、まずｚｃ（ｔ）の最大値及び最小値を検
出する（８０）。最大値が閾値より大きいかを判断し
（８１）、大きくなければスローモーション再生が無い
こととなる（８２）。逆に最大値が閾値より大きけれ
ば、ｚｃ（ｔ）を最大値と最小値で０〜１に正規化する
（８３）。次にｚｃ（ｔ）＞０.８を満たす全ての間隔
（インターバル）を選択する（８４）。そして全ての間
隔の中央値を見つけ（８５）、各中央値の前方向及び後
方向の８００個の点に対し、前方シーケンスと後方シー
ケンスを形成する（８６）。
【００６３】前方ＨＭＭ７４及び後方ＨＭＭ７６は、次
のように設計できる。観測シーケンスをＯ＝（ｏ1，ｏ2
…，ｏT）と仮定する。ここでｏT＝｛ｌｅ（ｔ），ｄｒ
（ｔ），ｚｃ（ｔ），ｖｅｒ（ｔ）｝であり、時間ｔに
おけるＶレベル離散観測ベクトルである。該当する隠れ
状態は、ｑ＝（ｑ1，ｑ2，…ｑT）である。観測確率は
次の通りである。
【００６４】p(oi|qi) = p(le(t)|qi)p(dr(t)|qi)p(zc
(t)|qi)p(ver(t)|qi) 連結確率は次式で与えられる。 p(O,q) = p(qi)p(q2|q1)…p(qT|qT-1)p(o1|q1)p(o2|q2)
…p(oT|qT)
【００６５】図２に示したスローモーションの再生セグ
メント中の構成部分とその関係をモデル化し、同時に境
界を検出するために、システムは、次のような４＋１の
状態を用いることができる。即ち、 ｑt＝０：フィールド反復， ｑt＝１：ノーマル再生（ノーマルリプレイ）， ｑt＝２：静止フィールド， ｑt＝３：編集効果， ｑt＝４：ノーマルプレイの状態である。
【００６６】ここで、ｔは時間インデックスである。最
初の４つは、スローモーションの再生セグメント中の４
つの構成部分、スローモーション、ノーマル速度再生、
静止フィールド、編集効果と各々正確に対応する。５番
目は、ビタビアルゴリズム実行後の境界の決定に用い
る。これは、図１の成分である他のショットに相当す
る。ＨＭＭの構成を図９に示す。図９において、９０，
９１，９２，９３，９４はそれぞれフィールド反復，ノ
ーマル速度再生，静止フィールド，編集効果，ノーマル
プレイの状態を示し、円は隠れ状態を表わし、黒矩形は
観測を表わし、矢印は推移確率を表わし、線は観測確率
を表わしている。
【００６７】図２より状態推移確率のマトリックスは次
の形状をとる。
【００６８】
【数８】
【００６９】また最初の確率は次の通りである。
【００７０】
【数９】
【００７１】ポストプロセッシング７８は、前方ＨＭＭ
７４と後方ＨＭＭ７６で検出された境界を受け取る。図
１０を参照してポストプロセッサの処理を説明する。Ｈ
ＭＭ７４と７６で計算された確率が閾値より小さければ
（９５，ＹＥＳ）、境界は無効であり破棄される（９
６）。境界が他の候補により生成された境界と重複する
場合（９７，ＹＥＳ）は、重複する境界の組を結合して
より大きい組を形成する（９８）。
【００７２】ブロック４４において、このシステムは、
コマーシャルと非コマーシャルを区別する。例えば、テ
レビ放送においては普通であるが、スポーツ番組に含ま
れているコマーシャル内にもスローモーションのセグメ
ントが含まれている。かように、システムは、コマーシ
ャル中のスローモーションセグメント（“コマーシャル
スローモーション”と呼ぶ）と実際の番組中のスローモ
ーションセグメント（“非コマーシャルスローモーショ
ン”と呼ぶ）を区別しなければならない。２つのタイプ
のスローモーションを区別し、コマーシャルスローモー
ションをフィルタで除去するために、本発明は、コマー
シャル／非コマーシャルスローモーションフィルタを開
発した。
【００７３】図１１は、コマーシャル／非コマーシャル
フィルタを説明するための図である。コマーシャル／非
コマーシャルスローモーションフィルタの好ましい構造
は、コマーシャル中の低モーションセグメントのカラー
ヒストグラムが、スポーツイベントのような残りの動画
中のセグメントのカラーヒストグラムとは異なっている
原理に基づいている。一方、ゲーム中の全てのセグメン
トは、同様なヒストグラムを有している。かように、シ
ステムがゲームのセグメントを基準として得れば、各ス
ローモーション再生セグメントのカラーヒストグラムの
距離を基準のカラーヒストグラムと比較することによ
り、コマーシャルスローモーション再生セグメントをフ
ィルタで除去できる。
【００７４】このシステムは、先ず、１つのゲームセグ
メントを基準セグメントとして選択する。このシステム
は、コマーシャルが２分より短く、２つのコマーシャル
間の間隔が５分より長いという観測結果を利用する。こ
れにより、ここでは、任意のスローモーション再生の場
合に、スローモーションの２分前又は２分後の２つの位
置がスポーツゲームであると仮定する。システムをより
強健にするために、システムはこれらの２つの位置をス
ローモーションがコマーシャルであるか否かを決定する
ための基準として使用することができる。詳細には、シ
ステムは、これらの２つの位置における２つの２秒セグ
メント（２ｓクリップ）の平均カラーヒストグラムとス
ローモーション再生間の平均カラーヒストグラム差を計
算し、低い値を、このスローモーションとゲーム基準の
カラーヒストグラム間の差として選択する。すなわち、
コマーシャル／非コマーシャルフィルタ４４は、図１１
を参照すると、スローモーション再生前２分，再生後２
分の２ｓクリップをロードし（１００，１０２）、それ
ぞれの平均カラーヒストグラムを計算し（１０３，１０
５）、スローモーションクリップのロード（１０１）及
びその２ｓクリップ内の平均カラーヒストグラムの計算
（１０４）の結果との距離（ｄｉｓｔａｎｃｅ）を計算
し（１０６，１０７）、その小さい方を選択して結果を
キューに加える（１０８）。この関係を図１２に示す。
黒い矩形は、コマーシャル内のスローモーションを表わ
し、灰色の矩形はスポーツ番組中のスローモーションを
表わし、白い矩形は最初のコマーシャルスローモーショ
ン（最初の黒い矩形）に対する基準を示している。
【００７５】スローモーション再生の基準までの距離を
計算後（１０９でＹＥＳ）、システムは、距離値に基づ
いてコマーシャルか非コマーシャルかを決定する。この
アルゴリズムを図１１の後半分に示す。１つの閾値を、
コマーシャル内にスローモーションがあるか否かを決定
するために使用できる。もし幾つかのスローモーション
があれば、システムは、自己クラスタリング技法を用い
て、全てのスローモーションを２つのカテゴリ、即ち、
コマーシャル又は非コマーシャルに分類する。図１１に
示す技法は、より短い距離の最大誘導関数に基づいてい
る。基本原理は、コマーシャル内の距離は類似であり、
非コマーシャル内の距離も類似であるが、これら２つの
カテゴリ間の距離にはかなりのギャップが存在すること
である。図１１を参照すると、まず昇順でキューをソー
トし（１１０）、閾値より大きいかを判断し（１１
１）、小さければコマーシャル無しとなる（１１２）。
逆に閾値より大きければ、ソートされたキューの中の最
大ジャンプのインデックスＩを検出し（１１３）、Ｉよ
り低いインデックスをもつスローモーション再生を非コ
マーシャルとし、それ以外をコマーシャルとする（１１
４）。
【００７６】ブロック４６の要約生成器（図４参照）
は、スローモーション再生情報に基づき動画番組のハイ
ライト要約を生成することができる。作成されたハイラ
イトは、最短から最長までのハイライト範囲で詳細が変
化する複数レベルの要約を提供する。複数レベルの要約
は、例えば下記を含むことができる。
【００７７】１．１個以上のスローモーションセグメン
ト（非コマーシャル）の連鎖。結果として得られるハイ
ライトは、コマーシャルを含まない番組の簡潔な要約を
提供する。 ２．拡張（非コマーシャル）スローモーションセグメン
トの連鎖。拡張は、各スローモーションセグメントの始
点と終点にｔ1及びｔ2秒を加えることにより実行され
る。 ３．上記２項に記載した技法は、拡張時間間隔を該当ス
ローモーション再生セグメントの統計値の関数として選
択する。１つの実施態様において、ｔ1値はスローモー
ション再生において記述されるイベントの実際の長さに
比例して設定される。比例係数ｋの値は、所望の要約の
長さによって決められる。しかしながら、この場合、ｋ
が十分大きければ、前のスローモーションセグメントと
重なる可能性がある。かようなイベントを避けるため
に、チェック機構を導入し、ｋ値を減少させる。
【図面の簡単な説明】
【図１】スローモーション再生セグメントの１パターン
を示す図である。
【図２】スローモーション再生の詳細例を示す図であ
る。
【図３】スローモーション再生のための典型的な手順を
示す図である。
【図４】スローモーション検出技法の実施例を説明する
ための図である。
【図５】画素毎の差の特徴の抽出を説明するための図で
ある。
【図６】スローモーションの平均平方差を示す図であ
る。
【図７】異なるゼロ交差技法間の差を示す図である。
【図８】前方及び後方ＨＭＭ（隠れマルコフモデル）の
始点を計算する技法を説明するための図である。
【図９】スローモーション再生のＨＭＭモデルの構造を
示す図である。
【図１０】ポストプロセッシングを説明するための図で
ある。
【図１１】コマーシャル／非コマーシャルフィルタを説
明するための図である。
【図１２】コマーシャル中のスローモーションとゲーム
中のスローモーション再生間の関係を示す図である。
【符号の説明】
１０…アクションショット、１２，２２…他のショッ
ト、１４…スローモーション再生、１６，２０…編集効
果、１８…スローモーション、２２…他のショット、２
４…スローモーション、２６…ノーマル速度再生、２８
…静止フィールド、３０…編集効果／出力、４０…特徴
抽出器、４２…確率モデル、４４…コマーシャル／非コ
マーシャルフィルタ、４６…要約生成器、５０…カラー
ヒストグラムからの特徴、５２…画素に基づく差からの
３つの特性、７０…プリプロセッシング、７２…スロー
モーション再生中の１点の検出、７４…前方境界検出用
ＨＭＭ（隠れマルコフモデル）、７６…後方境界検出用
ＨＭＭ、７８…ポストプロセッシング。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/20 Ｈ０４Ｎ 5/91 Ｎ Ｈ０４Ｎ 5/915 Ｇ 5/92 5/92 Ｈ Ｆターム(参考） 5B075 ND12 QS03 UU34 UU35 5C053 FA01 FA14 GB06 HA23 HA30 LA06 LA11 5L096 AA02 AA06 DA05 FA35 GA08 GA51 HA02 HA13 JA28

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】 スローモーション再生を含む動画の要約
    方法において、（ａ）前記スローモーション再生用の前
    記動画を分析することと、（ｂ）前記分析に基づき前記
    動画を要約することとを含んで成ることを特徴とする動
    画要約方法。
JP2001328320A 2000-11-02 2001-10-25 動画要約方法 Pending JP2002232840A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US24573300P 2000-11-02 2000-11-02
US09/823,437 US6931595B2 (en) 2000-11-02 2001-03-30 Method for automatic extraction of semantically significant events from video
US09/823437 2001-03-30
US60/245733 2001-03-30

Publications (1)

Publication Number Publication Date
JP2002232840A true JP2002232840A (ja) 2002-08-16

Family

ID=26937421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001328320A Pending JP2002232840A (ja) 2000-11-02 2001-10-25 動画要約方法

Country Status (4)

Country Link
US (1) US6931595B2 (ja)
EP (1) EP1204034B1 (ja)
JP (1) JP2002232840A (ja)
DE (1) DE60138079D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101275933B1 (ko) * 2007-10-19 2013-06-14 퀄컴 인코포레이티드 모션 보조된 이미지 센서 구성

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7904813B1 (en) * 1998-12-28 2011-03-08 Sony Corporation Method for editing video information and editing device
US8028314B1 (en) 2000-05-26 2011-09-27 Sharp Laboratories Of America, Inc. Audiovisual information management system
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US20030038796A1 (en) * 2001-02-15 2003-02-27 Van Beek Petrus J.L. Segmentation metadata for audio-visual content
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US7143354B2 (en) 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7499077B2 (en) * 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
US7203620B2 (en) * 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
US7474698B2 (en) 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
KR100614371B1 (ko) * 2001-12-22 2006-08-18 주식회사 휴맥스 디지털 방송 스트림의 변속재생 제어정보 기록방법과,그에 따른 디지털 방송수신기에서의 변속재생 제어방법
US7120873B2 (en) * 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US7165024B2 (en) * 2002-02-22 2007-01-16 Nec Laboratories America, Inc. Inferring hierarchical descriptions of a set of documents
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
GB0215624D0 (en) * 2002-07-05 2002-08-14 Colthurst James R Razor head
US7657836B2 (en) * 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
AU2002368116A1 (en) * 2002-07-26 2004-02-16 Communications Research Laboratory, Independent Administrative Institution Content summarizing apparatus and content summarizing program
US7657907B2 (en) 2002-09-30 2010-02-02 Sharp Laboratories Of America, Inc. Automatic user profiling
JP4036328B2 (ja) * 2002-09-30 2008-01-23 株式会社Ｋｄｄｉ研究所 動画像データのシーン分類装置
US7676820B2 (en) * 2003-01-06 2010-03-09 Koninklijke Philips Electronics N.V. Method and apparatus for similar video content hopping
US8356317B2 (en) 2004-03-04 2013-01-15 Sharp Laboratories Of America, Inc. Presence based technology
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
US20080138029A1 (en) * 2004-07-23 2008-06-12 Changsheng Xu System and Method For Replay Generation For Broadcast Video
GB2421135A (en) 2004-12-09 2006-06-14 Sony Uk Ltd User resizable video display of catalogue entries
US7383254B2 (en) * 2005-04-13 2008-06-03 Microsoft Corporation Method and system for identifying object information
US8689253B2 (en) 2006-03-03 2014-04-01 Sharp Laboratories Of America, Inc. Method and system for configuring media-playing sets
EP1995961A4 (en) * 2006-03-14 2012-08-15 Sony Corp IMAGE PROCESSING DEVICE AND METHOD
US7921106B2 (en) * 2006-08-03 2011-04-05 Microsoft Corporation Group-by attribute value in search results
CN101542481A (zh) 2006-11-14 2009-09-23 皇家飞利浦电子股份有限公司 用于检测慢动作的方法和设备
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
US8238719B2 (en) * 2007-05-08 2012-08-07 Cyberlink Corp. Method for processing a sports video and apparatus thereof
US8126262B2 (en) * 2007-06-18 2012-02-28 International Business Machines Corporation Annotating video segments using feature rhythm models
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
US8289447B1 (en) * 2009-07-14 2012-10-16 Altera Corporation Cadence detection for film mode de-interlacing
US8821275B2 (en) * 2010-09-24 2014-09-02 Multimedia Games, Inc. Wagering game, gaming machine, gaming system and method with slow motion replay
US8923607B1 (en) * 2010-12-08 2014-12-30 Google Inc. Learning sports highlights using event detection
US9386358B2 (en) * 2014-05-29 2016-07-05 Echostar Technologies L.L.C. Automatic identification of relevant video content through replays
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US10303984B2 (en) 2016-05-17 2019-05-28 Intel Corporation Visual search and retrieval using semantic information
CN106961444A (zh) * 2017-04-26 2017-07-18 广东亿荣电子商务有限公司 一种基于隐马尔可夫模型的恶意网络爬虫检测方法
CN108093297A (zh) * 2017-12-29 2018-05-29 厦门大学 一种影片片段自动采集的方法及系统
WO2020123394A1 (en) * 2018-12-09 2020-06-18 Spot AI, Inc. Systems and methods for distributed image processing
WO2022239005A2 (en) * 2021-05-12 2022-11-17 W.S.C. Sports Technologies Ltd. Automated tolerance-based matching of video streaming events with replays in a video
CN114268746B (zh) * 2021-12-20 2023-04-28 北京百度网讯科技有限公司 一种视频生成方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
KR0183149B1 (ko) * 1995-12-30 1999-05-01 김광호 동화상 검출방법
US6219837B1 (en) * 1997-10-23 2001-04-17 International Business Machines Corporation Summary frames in video
US6055018A (en) * 1997-11-04 2000-04-25 Ati Technologies, Inc. System and method for reconstructing noninterlaced captured content for display on a progressive screen
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6342904B1 (en) * 1998-12-17 2002-01-29 Newstakes, Inc. Creating a slide presentation from full motion video
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US6678635B2 (en) * 2001-01-23 2004-01-13 Intel Corporation Method and system for detecting semantic events

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101275933B1 (ko) * 2007-10-19 2013-06-14 퀄컴 인코포레이티드 모션 보조된 이미지 센서 구성

Also Published As

Publication number Publication date
EP1204034A3 (en) 2006-04-05
DE60138079D1 (de) 2009-05-07
EP1204034A2 (en) 2002-05-08
US6931595B2 (en) 2005-08-16
EP1204034B1 (en) 2009-03-25
US20020080162A1 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
JP2002232840A (ja) 動画要約方法
Gunsel et al. Temporal video segmentation using unsupervised clustering and semantic object tracking
US7653131B2 (en) Identification of replay segments
US8488682B2 (en) System and method for extracting text captions from video and generating video summaries
US7177470B2 (en) Method of and system for detecting uniform color segments
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
US7046731B2 (en) Extracting key frames from a video sequence
US6813313B2 (en) Method and system for high-level structure analysis and event detection in domain specific videos
US20040125877A1 (en) Method and system for indexing and content-based adaptive streaming of digital video content
JP4271930B2 (ja) 複数の状態に基づいて連続した圧縮映像を解析する方法
Smeaton et al. An evaluation of alternative techniques for automatic detection of shot boundaries in digital video
Xu et al. Algorithms and System for High-Level Structure Analysis and Event Detection in Soccer Video
Mei et al. Structure and event mining in sports video with efficient mosaic
Mei et al. Sports video mining with mosaic
Su et al. Transition effect detection for extracting highlights in baseball videos
Han et al. Multilevel analysis of sports video sequences
JP2007513398A (ja) プログラムのハイレベル構造を特定する方法及び装置
Tiburzi et al. Camera motion analysis in on-line MPEG sequences
Kokaram et al. Content controlled image representation for sports streaming
Kim et al. Media adaptation model based on character object for cognitive TV
Mentzelopoulos et al. Football video annotation based on player motion recognition using enhanced entropy
Tekalp Semantic multimedia analysis for content-adaptive video streaming
Pan et al. SPORTS VIDEO FOR HIGHLIGHTS GENERATION
Bhaskar et al. A novel approach to predict the popularity of the video
JP2003153192A (ja) 複数のフレームを含む圧縮されているビデオを分析する方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080129