JP2003503971A - ビデオシーケンスの構造の自動抽出方法 - Google Patents

ビデオシーケンスの構造の自動抽出方法

Info

Publication number
JP2003503971A
JP2003503971A JP2001508162A JP2001508162A JP2003503971A JP 2003503971 A JP2003503971 A JP 2003503971A JP 2001508162 A JP2001508162 A JP 2001508162A JP 2001508162 A JP2001508162 A JP 2001508162A JP 2003503971 A JP2003503971 A JP 2003503971A
Authority
JP
Japan
Prior art keywords
shot
homogeneity
video sequence
micro
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001508162A
Other languages
English (en)
Inventor
ラシュ−パンサシュ，ジョアン
サランビエール，フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003503971A publication Critical patent/JP2003503971A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 本発明は、ビデオシーケンスの記述、即ちその内容目次を上記シーケンスの解析によって自動的に作成する方法に関する。この方法の主なステップは、カメラ動きパラメータを用いてシーケンスのビデオショットを時間的にセグメント化することである。このセグメント化は、各ショットのサブエンティティについて、原画像を捕捉し処理されたシーケンスを構成するビットストリームを生成するために使用されるカメラの動きパラメータについてのサブエンティティの均質性のレベルを含む類似性規準を用いる。

Description

【発明の詳細な説明】
【０００１】 ［発明の属する技術分野］ 本発明は、連続的なフレームに対応するビデオシーケンスの自動抽出のための
方法に関する。本発明はまた、上記定義方法を含むデータにインデックス付けす
る方法、インデックス付け方法を実行する装置、及び方法が実施される画像検出
システムに関する。本発明は、ＭＰＥＧ−７標準に関して非常に有用である。
【０００２】 ［発明の背景］ 将来のＭＰＥＧ−７標準は、様々な種類のマルチメディア文書を記述するため
に使用されうる記述子の標準セットを定義するためのフレキシブルで拡張性のあ
るフレームワークを提供することを意図する。このように所与の内容に関連付け
られる記述は、ユーザの関心となる素材の高速且つ効率的な探索を可能とする。
本発明は更に特定的に、ビデオシーケンスの表現の場合に関する。
【０００３】 ビデオシーケンスは、（時間に関して）順次に順序づけられる一連の画像であ
る。ビデオシーケンスをデータベースに格納する前に、対応するビデオストリー
ムは基本単位（又は連続的な演算中に生成され時間及び空間における連続的なア
クションを表わす一連の連続的なフレームであるショット）へセグメント化され
、これは次に同定されインデックス付けされる。ビデオインデックス付け技術は
、例えば文献"Automatic video indexing via object motion analysis", J.D.
Courtney, Pattern Recognition, volume 30, number 4, April 1997, pp.607-6
25に記載される。この文献に記載されるように、ビデオシーケンスの論理的な編
成は、文章が章及び段落へ分割されるのと同様に、階層的なセグメント化によっ
て決定されうる。しかしながら多くの場合、例えばスポーツ（サッカーやテニス
の試合）といったビデオショットが非常に長い適用では、この時間的なセグメン
ト化は完全に適当なものではない。
【０００４】 ［発明の概要］ 本発明は、ビデオシーケンスの記述、即ちこのシーケンスの内容目次を新しい
特別な基準に基づいて自動的に作成することが可能な方法を提供することを目的
とする。 このために本発明は、冒頭の段落に記載されるような、 （１）編集効果のない連続的なフレーム組をショットとしたときに、連続する
ショット間の境界を検出するためのショット検出ステップと、 （２）各ショットをマイクロセグメントと称されるサブエンティティへ分割す
る分割ステップと、 （３）上記処理されたビデオシーケンスの最終的な階層的構造を形成するクラ
スタ化ステップとを含む方法に関する。
【０００５】 かかる方法は、処理されたビデオシーケンスの各ショットのパーティション、
即ち本願ではマイクロセグメントと称されるものを得ることを可能とする。望ま
しくは、これらのマイクロセグメントは、提案される規準では、元の画像（これ
らの画像は上記処理されたビデオシーケンスを構成するビデオストリームへ変換
されている）が捕捉されたカメラの動きパラメータの高いレベルの均質性を示す
。
【０００６】 更に詳細には、各マイクロセグメントは動きヒストグラム上で計算され、動き
ヒストグラムの各欄は特別な種類の動きを有するシーケンスのフレームの割合を
示す。マイクロセグメントは、その全てのフレームに沿ってカメラの動きパラメ
ータの単一の組合せを示す場合は完全に均質であり、このときヒストグラムの欄
が１又は０に等しい。逆に、ヒストグラムの欄が１又は０に等しくない場合、即
ち、マイクロセグメントが完全に均質でないことを示す中間値を示す場合は、シ
ョットをセグメント化する場合は、２つのマイクロセグメント間の距離はマイク
ロセグメントの和集合の均質性に基づいて計算される。上記均質性自体はマイク
ロセグメントのヒストグラム及び異なる動きの種類から導出され、ショットの均
質性はそのマイクロセグメントの均質性を夫々の長さによって重み付けしたもの
に等しく、任意のマイクロセグメント対を融合するか否かは上記選択されたマイ
クロセグメントが既にマージされていると想定して所定の閾値Ｔ（Ｈ）に対する
ショットの均質性の値によって決定され、マイクロセグメント間の可能なマージ
処理はマージされうる更なる近傍マイクロセグメント対がない場合に終了する。
【０００７】 本発明は、かかる方法を実行するための手段と、この方法によって定義される
階層化構造の各要素にラベルを付すための関連付けられるインデックス手段とを
含むビデオインデックス付け装置を提供することを他の目的とする。
【０００８】 本発明は係るビデオインデックス付け装置と、上記インデックス付け演算から
生ずる分類に基づいて、画像の１つ以上の特徴を用いて任意の画像検索を実行す
る手段とを含む画像検索システムを提供することを更なる他の目的とする。
【０００９】 ［発明の詳細な説明］ 以下、本発明について例として添付の図面を参照して説明する。ビデオシーケ
ンスのための内容目次は、このシーケンスの構造を文字文書のように階層的に定
義することを目的とする。従って、元のシーケンスはサブシーケンスへ分割され
、これは更に短いサブシーケンスへ分割されうる。この分割処理の終了時におい
て、記述されるべき最も短いエンティティがマイクロセグメントである。
【００１０】 具体的には、提案される概念による方法は、３つのステップへ分割され、これ
は図１に示されるように、ショット検出段階１１（画像のシーケンス中、ビデオ
ショットは、急な移行を定義するカット、スライド窓効果に対応するワイプ、暗
い斑点がフレームに侵入させるメイト、フレームの線形の組合せによる１つのカ
メラレコードから他のカメラレコードへの漸次的な変化を表わすディゾルブ等と
いった編集効果なしの単一の背景を示すものである）、検出されたショットを分
割するステップ１２、及びショットクラスタ化ステップ１３である。
【００１１】 第１のステップ１１は、入力ビデオシーケンスを次のステップのための入力デ
ータを構成するショットへ分割する。このステップは、連続するショット間の移
行を検出することを可能とせねばならず、これは２つの主なサブステップ、即ち
、平均へにフレーム差（ｍＤＦＤ）曲線を決定することを可能とする計算サブス
テップ１１１と、セグメント化サブステップ１１２とを含む。
【００１２】 サブステップ１１１中に計算されるｍＤＦＤ曲線は、ルミナンス情報及びクロ
ミナンス情報の両方を考慮に入れて得られる。時間ｔにおけるフレームについて
、 ルミナンスY={fk(i,j,t)}k=Y (1) クロミナンス成分(U,V)= {fk(i,j,t)}k=U,V (2) と定義されると、ＤＦＤは以下の式、 DFDK(i,j;t-1,t+1)= fk(i,j,t+1) - fk(i-dx(i,j),j-dy(i,j),t-1) (3) によって与えられ、ｍＤＦＤは以下の式、
【００１３】
【数１】 によって与えられ、但し式中、Ix, Iyは画像寸法であり、wkはY, U, V成分につ
いての重みである。得られる曲線の例として（そして対応するフィルタリングさ
れた曲線の例として）、図２中、１０のショットs1乃至s10が、例えば｛wY, wU,
wV｝＝｛１，３，３｝に設定される重みで示される。連続するショット間の移
行は、１つのフレームから他のフレームへの突然の変化でありえ、より専門的な
用語では例えばディゾルブ、フェード、ワイプ等であり、曲線の最も高いピーク
は１つのフレームから続くフレーム（フレーム２１１００，２１１９５，２１６
３３，２１７２４）への突然の移行を示し、一方、フレーム２１２６０からフレ
ーム２１２７９までの振動はディゾルブに対応し、フレーム２１１００−２１１
９５及びフレーム２１６３３−２１７２４の中に大きな動いている前景対象が存
在する場合は、ｍＤＦＤ曲線の高いレベルの振動が生ずる。
【００１４】 サブステップ１１２は、ビデオ編集効果を検出しｍＤＦＤ曲線をショットへセ
グメント化するために与えられ、ｍＤＦＤ曲線（又は他の種類の単次元曲線）の
最も高いピークを抽出するために閾値に基づくセグメント化を用い、これについ
ては例えば文献"Hierarchical scene change detection in an MPEG-2 compress
ed video sequence", T.Shin and al, Proceedings of the 1998 IEEE Internat
ional Symposium on Circuits and Systems, ISCAS'98, vol. 4, March 1998, p
p.253-256に記載されている。
【００１５】 分割ステップ１２は、検出された各ショットをマイクロセグメントと称される
サブエンティティへ分割するための時間的セグメント化である。これは、２つの
サブステップ、即ち各ショットを非常に高いレベルの均質性を示すいわゆるマイ
クロセグメントへ分割するオーバーセグメント化サブステップ１２１と、マージ
サブステップ１２２とを含む。
【００１６】 第１のサブステップ１２１を行なうために、まず何を距離と称するかを定義す
る必要があり（このようにして定義された距離はマイクロセグメントを比較する
ことを可能とする）、またマイクロセグメント又はパーティション（＝一組のマ
イクロセグメント）の質を評価することを可能とするパラメータを定義する必要
がある。何れの場合も、１つの欄が特別な種類の動きを有するフレームの割合を
示す動きヒストグラムが使用され、これは以下の関係式、
【００１７】
【数２】 によって定義され、式中、ｓはショット内の考慮されるマイクロセグメントのラ
ベル、ｉは動きの種類（これらの動きは、左トラック、右トラック、ブームダウ
ン、ブームアップ、ティルトダウン、ティルトアップ、左パン、右パン、左ロー
ル、右ロール、ズームイン、ズームアウト、固定と称される）、Ｌsはマイクロ
セグメントｓの長さ、Ｎiは動きタイプｉを有するマイクロセグメントｓのフレ
ーム数（異なる動きは同時に出現しうるため、ΣＨs［ｉ］＞１であることが可
能である）。
【００１８】 マイクロセグメントは、全てのフレームに沿ったカメラの動きのパラメータの
単一の組合せを表わす場合は完全に均質であると想定され、これらのパラメータ
に重要な変化を表わす場合は均質でないと想定される。マイクロセグメントの均
質性は、そのヒストグラム（式（５））で計算される。マイクロセグメントが完
全に均質であれば、ヒストグラムの欄は０（考慮される動きが全く出現しない）
又は１（動きがセグメント全体に出現する）であり、そうでなければ欄は中間の
値を表わしうる。次に、マイクロセグメントの均質性の尺度は、そのヒストグラ
ムが理想的なものからどれだけ異なっているかを測定することによって得られる
（即ちヒストグラムの欄のうちどれだけが１又は０とは異なるかについて計算さ
れる）。高い値を有する欄に対応する距離は欄の値及び１との間の差であり、同
様に、小さい値を有する欄では、距離は欄自体である。ヒストグラムの例は図３
に示され、その軸は各動きのタイプについてその比率（＝動きの出現度）を示し
、２つの動きの種類は、動きがマイクロセグメントの全てのフレーム中に出現し
ないため幾らかの誤差を生じさせ、他の２つの動きの種類（ブームダウンＢＤ及
び右ロールＲＲ）は逆の理由により幾らかの誤差を生じさせる。
【００１９】 数学的には、マイクロセグメントｓの均質性は、以下の関係式（６）：
【００２０】
【数３】 但し、 Hs[i] 0,5 のとき e(i)=1-Hs[i] Hs[i] ＜ 0,5 のとき e(i)=Hs[i] Hs[i] = マイクロセグメントｓのヒストグラム ｉ＝動きの種類。
【００２１】 ショットＳの均質性は、夫々の長さによって重み付けされたマイクロセグメン
トの均質性と等しくなり、これは以下の式（７）
【００２２】
【数４】 によって表わされ、式中、
【００２３】
【外１】 はショットＳの全体長であり、Ｎはこのショットが含むマイクロセグメントの数
である（尚、小さい値のＨ（Ｓ）は、高いレベルの均質性に対応する）。２つの
マイクロセグメントｓ１とｓ２の間の距離は、マイクロセグメントの和集合の均
質性となり、 ｄ（ｓ1，ｓ2）＝Ｈ（ｓ1Ｕｓ2） （８） で表わされる。
【００２４】 従って、最初のオーバーセグメント化サブステップ１２１は、完全に均質化マ
イクロセグメントの組を得るために関連するショットをオーバーセグメント化す
ることを可能とし、これは以下の式（９）、 Ｈ（ｓ）＝０， Ｓに含まれるいかなるｓについても （９） に対応する。図４中、この最初のオーバーセグメント化されたパーティションを
得る方法の例が、左パン（ＰＬ）、ズームアウト（ＺＯ）及び固定（ＦＩＸ）に
ついて示され、ｓ1乃至ｓ7はマイクロセグメントを指定する（カメラ動きパラメ
ータは、幾つかのフレームについて未知であり得る。本例では、ショットの最後
のフレーム（セグメントｓ7）は関連付けられるパラメータを有さない）。
【００２５】 マージサブステップ１２２は、最も近接したマイクロセグメント対を選択する
ため（次の演算中に行われうるマージのため）全ての近傍のマイクロセグメント
（時間的に連結される）間の距離が式（８）を用いて計算される計算演算と、そ
れに続く、選択されたマイクロセグメント対がマージされるべきであるかどうか
を決定するために、最小距離のマイクロセグメントが既にマージされていると想
定して、ショットの均質性が（式（７）により）計算される融合決定演算とを含
む。以下の融合規準が適用される。
【００２６】 Ｈ（Ｓ） 閾値Ｔ（Ｈ）であればマージする Ｈ（Ｓ）＞閾値Ｔ（Ｈ）であればマージしない （この融合規準はグローバルである。即ち決定は結果として得られるパーティシ
ョンの均質性に依存し、結果として得られるマイクロセグメントの均質性にのみ
依存するのではない）。マージが行なわれると、第２のサブステップのレベルに
おいて新しい繰り返しが開始する（第２の計算演算が行われ、以下同様である）
。マージ処理は、マージされうる近傍のマイクロセグメント対がなくなったとき
に終了する。
【００２７】 第３のステップ１３、即ち連続的なショットのグループをより多くのまとまっ
たエンティティへマージするために与えられるショットクラスタ化ステップは、
２つのサブステップ、即ち、二分木を形成するためにショット対がグループ化さ
れるショットマージサブステップ１３１と、ビデオシーケンス中に存在する類似
性を反映するために上記二分木を再構成する木構造サブステップ１３２とに分割
される。
【００２８】 ショットマージサブステップ１３１は、最初のショットのマージ順序を表わす
二分木を生成するために与えられる。葉はこれらの最初のショットを表わし、一
番上の節点はシーケンス全体を表わし、中間の節点は幾つかのショットをマージ
することによって形成されるシーケンスを表わす。マージ規準は、ショット間の
距離によって定義され、最も近接したショットが最初にマージされる。ショット
間の距離を計算するため、比較されるべき特徴を与えるショットモデルを定義し
、それらの間の近傍リンク（どのマージがなされうるかを示す）を設定すること
が必要である。プロセスは、全ての最初のショットが単一の節点へマージされた
とき、又は全てのリンクされた節点対の間の最小距離が特定の閾値よりも大きい
場合に終了する。
【００２９】 ショットモデルは、明らかに、どのショットがマージされねばならないか、ま
たそれらのマージ順序を決定するために幾つかのショットの内容を比較すること
を可能とせねばならない。静止画像ではルミナンス及びクロミナンスは画像の主
要な特徴であるが、ビデオシーケンスでは時間的な展開により動きが重要な情報
の源である。従って、通常の平均的な画像では、ショットをモデル化するために
ルミナンス及びクロミナンス情報（ＹＵＶ成分）と動き情報が用いられる。
【００３０】 ショットマージサブステップ１３１を行なうためには、以下の演算、即ち（ａ
）最小距離リンクを得ること（演算１３１１）、（ｂ）距離規準をチェックする
こと（演算１３１２）、（ｃ）節点をマージすること（演算１３１３）、（ｄ）
リンク及び距離を更新すること（演算１３１４）、（ｅ）一番上の節点をチェッ
クすること（演算１３１５）を実行する必要がある。
【００３１】 演算１３１１では、リンクされた各節点対について最小距離及び最大距離が計
算される。まず、最大距離が計算され、これが最大距離閾値ｄ（ｍａｘ）よりも
高ければリンクは廃棄され、そうでなければリンクは考慮に入れられる。全ての
リンクが走査されると、最小距離が得られる。
【００３２】 演算１３１２において、最小距離リンクによって指される節点がマージされね
ばならないか否か判定するため、最小距離を最小距離閾値ｄ（ｍｉｎ）と比較す
る。この閾値よりも高ければ、マージは行なわれず、処理は終了し、そうでなけ
れば指された節点はマージされ処理は継続する。
【００３３】 演算１３１３において、最小距離リンクによって指される節点はマージされる
。演算１３１４において、既に行われたマージを考慮にいれるためこのリンクは
更新され、リンクが更新されると、新しい節点を指すリンクの距離が再び計算さ
れる。最終演算１３１５において、残る節点の数がチェックされる。全ての最初
のショットが単一の節点へマージされていれば、処理は終了し、そうでなければ
新しい繰り返しが開始する。
【００３４】 ショットマージサブステップ１３１では、全ての最初のショットが十分に類似
している場合は単一の木を、最初のショットがかなり異なる場合は森（forest）
を生成しうる。図５は、内容目次の作成のための二分木の例を示す図である。こ
の木の葉節点の中には、ラベルと、括弧内にショットの開始フレーム数及び終了
フレーム数が示され、残る節点の中には、ラベルと、融合順序（括弧内に示す）
と、２つの兄弟間の最小距離及び最大距離とが示される。
【００３５】 木再構成サブステップ１３２では、サブステップ１３１で得られた二分木がビ
デオ構造をより明らかに反映する任意の木へ再構成される。このために、マージ
処理によって形成されているが関連する情報を全く伝えない節点は除去されるこ
とが決定され、この除去は節点に含まれるショット間の類似性の度合い（距離）
の変化に基づく基準によってなされる。即ち、 解析された節点が根節点（又はマージ処理の後に幾つかの二分木が得られてい
れば根節点のうちの１つ）であれば、節点は保存され最終的な木の中に出現せね
ばならない； 解析された節点が葉節点（即ち最初のショットに対応する）であれば、やはり
最終的な木の中に保持されねばならない。
【００３６】 そうでなければ、節点は以下の条件（１０）及び（１１）が満たされる場合に
のみ保持される。 |d(min)[解析された節点]-d(min)[親節点] < T(H) (10) |d(max)[解析された節点]-d(max)[親節点] < T(H) (11) 図６に示されるように、再構成サブステップ１３２から得られる木は、ビデオ
シーケンスの構造をより明瞭に表わす。即ち、階層の第２のレベルにある節点（
２８，１２，１３，２１）はシーケンスの４つのシーンを表わし、第３のレベル
にある（又は第４のレベルにあることもある）節点は、最初のショットを表わす
。
【００３７】 しかしながら、引用文献に記載され上述された公知の方法を実施するとき、こ
の種類の方法は雑音に対して敏感な場合があり、するとフェーディング又は特殊
効果に対応する小さいコントラストのピークを検出することが困難となる。
【００３８】 本発明は、上述の実施例に限られるものではなく、上述の実施例からは本発明
の範囲を逸脱することなく変更又はより広い適用が導き出される。本発明はまた
、上述の方法によって処理されたデータにインデックス付けする方法に関する。
図７に示されるかかる方法は、各処理されたシーケンスを連続的なショットへ分
割し、得られた各ショットをサブエンティティ（又はマイクロセグメント）へ分
割する構造化ステップ７１と、最終的な階層構造を形成するクラスタ化ステップ
７２とを含む。夫々上述のステップ１１−１２及びステップ１３と同様のステッ
プ７１及び７２の後には、各処理されたビデオシーケンスについて定義された階
層的構造の各要素に対してラベルを付加するために与えられる追加的なインデッ
クス付けステップ７３が続く。
【００３９】 本発明はまた、図８に示されるような画像検索システムに関連し、ビデオシー
ケンス（順次ビデオストリームの形式で利用可能）の捕捉のためのカメラ８１と
、データインデックス付け方法を行なうためのビデオインデックス付け装置８２
（装置は解析、階層的セグメント化及びこのセグメント化から生ずる分類に基づ
くインデックス付けによって上記シーケンスの異なるレベルの内容情報を捕捉す
る）と、上記分類から生ずるデータ（これらのデータはメタデータと称される場
合もある）を格納するデータベース８３と、要求されるデータベースからの検索
を実行するためのグラフィックユーザインタフェース８４と、検索された情報を
表示するためのビデオモニタ８５とを含む。本発明はまた、明らかに、本発明に
よる方法の実施を可能とするビデオインデックス付け装置８２に関連する。
【図面の簡単な説明】
【図１】 本発明による定義方法を示すブロック図である。
【図２】 所与のフレームシーケンスについてのｍＤＦＤ曲線の例を示す図である。
【図３】 均質性の尺度を示すヒストグラムの例を示す図である。
【図４】 最初のオーバーセグメント化されたパーティションの形成の処理を示す図であ
る。
【図５】 例えば本発明の定義方法に与えられるショットマージサブステップを行なうこ
とによって形成される二分木を示す図である。
【図６】 再構成サブステップの後に生成される木を示す図である。
【図７】 本発明によって処理されたデータにインデックス付けするための方法を示す図
である。
【図８】 上記インデックス付け方法を実施し、適切な関連する手段により、かかるイン
デックス化演算から生ずる分類に基づいて画像検索を実行することを可能とする
画像検索システムを示す図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＮ，ＩＮ，Ｊ Ｐ，ＫＲ (72)発明者 サランビエール，フィリップ オランダ国，5656 アーアー アインドー フェン，プロフ・ホルストラーン ６ Ｆターム(参考） 5C053 FA14

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 連続的なフレームに対応するビデオシーケンスの構造を自動
    的に抽出する方法であって、 （１）編集効果のない連続的なフレーム組をショットとしたときに、連続する
    ショット間の境界を検出するためのショット検出ステップと、 （２）各ショットをマイクロセグメントと称されるサブエンティティへ分割す
    る分割ステップと、 （３）上記処理されたビデオシーケンスの最終的な階層的構造を形成するクラ
    スタ化ステップとを含む方法。
  2. 【請求項２】 上記ショット検出ステップは、平均変位フレーム差曲線の計
    算及び上記曲線の最も高いピークの検出に基づく類似性規準を使用する、請求項
    １記載の方法。
  3. 【請求項３】 上記分割ステップは、上記処理されたビデオシーケンスを生
    成するために使用されるカメラの動きパラメータの均質性のレベルを含む規準を
    使用する、請求項１又は２記載の方法。
  4. 【請求項４】 上記マイクロセグメントの均質性は動きヒストグラム上で計
    算され、上記動きヒストグラムの各欄は特別な種類の動きを有するフレームの割
    合を示す、請求項３記載の方法。
  5. 【請求項５】 ヒストグラムの欄が１又は０に等しくない場合、即ち、マイ
    クロセグメントが完全に均質でないことを示す中間値を示す場合は、２つのマイ
    クロセグメント間の距離はマイクロセグメントの和集合の均質性に基づいて計算
    され、上記均質性自体はマイクロセグメントのヒストグラム及び異なる動きの種
    類から導出され、ショットの均質性はそのマイクロセグメントの均質性を夫々の
    長さによって重み付けしたものに等しく、任意のマイクロセグメント対を融合す
    るか否かは上記選択されたマイクロセグメントが既にマージされていると想定し
    て所定の閾値Ｔ（Ｈ）に対するショットの均質性の値によって決定され、マイク
    ロセグメント間の可能なマージ処理はマージされうる更なる近傍マイクロセグメ
    ント対がない場合に終了する、請求項４記載の方法。
  6. 【請求項６】 連続するフレームに対応するビデオシーケンスの形式で利用
    可能なデータにインデックス付けする方法であって、 以下のセグメント化ステップ、 （１）上記シーケンスを連続するショットへ分割し、各ショットをマイクロセ
    グメントと称されるサブエンティティへ分割する構造化ステップと、 （２）上記セグメント化に基づき処理されたビデオシーケンスの最終的な階層
    化構造を形成するクラスタ化ステップと、 （３）上記階層化構造の各要素にラベルを付すインデックス付けステップとを
    含む方法。
  7. 【請求項７】 請求項６記載の方法を実行するための手段を含むビデオイン
    デックス付け装置。
  8. 【請求項８】 （１）連続するフレームに対応するビデオシーケンスの構造
    を階層的に定義し、これにより定義された階層的構造の各要素にインデックス付
    けラベルを与え、上記ラベルを格納するために、請求項６記載の方法を実行する
    手段と、 （２）上記格納されたラベルに基づいて、検索されるべき上記画像の１つ以上
    の特徴を用いて画像検索を実行する手段とを含む、画像検索システム。
JP2001508162A 1999-07-06 2000-06-30 ビデオシーケンスの構造の自動抽出方法 Withdrawn JP2003503971A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP99401684 1999-07-06
EP99401684.8 1999-07-06
EP99402594 1999-10-20
EP99402594.8 1999-10-20
PCT/EP2000/006169 WO2001003429A2 (en) 1999-07-06 2000-06-30 Automatic extraction method of the structure of a video sequence

Publications (1)

Publication Number Publication Date
JP2003503971A true JP2003503971A (ja) 2003-01-28

Family

ID=26153672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001508162A Withdrawn JP2003503971A (ja) 1999-07-06 2000-06-30 ビデオシーケンスの構造の自動抽出方法

Country Status (6)

Country Link
US (1) US6842197B1 (ja)
EP (1) EP1145549A3 (ja)
JP (1) JP2003503971A (ja)
KR (1) KR100775773B1 (ja)
CN (1) CN1193593C (ja)
WO (1) WO2001003429A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503972A (ja) * 1999-07-06 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオシーケンスの構造の自動抽出方法
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
US7231394B2 (en) * 2001-07-17 2007-06-12 Sony Corporation Incremental bottom-up construction of data documents
KR100859396B1 (ko) * 2001-12-24 2008-09-22 주식회사 케이티 요약시간을 이용한 시간제한 경계값을 갖는 계층적 샷 클러스터링 방식의 비디오 요약방법 및 그 기록매체
US20030140093A1 (en) * 2002-01-23 2003-07-24 Factor Cory L. Method and apparatus for providing content over a distributed network
US8718128B2 (en) * 2003-05-07 2014-05-06 Canon Kabushiki Kaisha Moving image processing method and apparatus
US7418455B2 (en) * 2003-11-26 2008-08-26 International Business Machines Corporation System and method for indexing weighted-sequences in large databases
US8089563B2 (en) * 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US20090251614A1 (en) * 2006-08-25 2009-10-08 Koninklijke Philips Electronics N.V. Method and apparatus for automatically generating a summary of a multimedia content item
WO2008139351A1 (en) * 2007-05-11 2008-11-20 Koninklijke Philips Electronics N.V. Method, apparatus and system for processing depth-related information
KR20090034086A (ko) * 2007-10-02 2009-04-07 삼성전자주식회사 그래픽 유저 인터페이스 표시 장치 및 방법
US20120027295A1 (en) * 2009-04-14 2012-02-02 Koninklijke Philips Electronics N.V. Key frames extraction for video content analysis
WO2011011052A1 (en) * 2009-07-20 2011-01-27 Thomson Licensing A method for detecting and adapting video processing for far-view scenes in sports video
CN102737383B (zh) * 2011-03-31 2014-12-17 富士通株式会社 视频中的摄像机运动分析方法及装置
CN103065301B (zh) * 2012-12-25 2015-07-22 浙江大学 一种双向比对视频镜头分割方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
KR100319916B1 (ko) * 1995-10-24 2002-04-22 윤종용 계층구조를갖는스케일러블디지탈화상압축/복원방법및장치
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US5828809A (en) * 1996-10-01 1998-10-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for extracting indexing information from digital video data
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
KR100265812B1 (ko) * 1997-09-26 2000-09-15 윤종용 영상 시퀀스의 움직임 분할 장치 및 그 방법
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JP3738939B2 (ja) * 1998-03-05 2006-01-25 Ｋｄｄｉ株式会社 動画像のカット点検出装置
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
US6389168B2 (en) * 1998-10-13 2002-05-14 Hewlett Packard Co Object-based parsing and indexing of compressed video streams
US6535639B1 (en) * 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information

Also Published As

Publication number Publication date
CN1193593C (zh) 2005-03-16
WO2001003429A3 (en) 2001-07-26
US6842197B1 (en) 2005-01-11
EP1145549A3 (en) 2001-11-28
KR20010074976A (ko) 2001-08-09
KR100775773B1 (ko) 2007-11-12
EP1145549A2 (en) 2001-10-17
CN1336071A (zh) 2002-02-13
WO2001003429A2 (en) 2001-01-11

Similar Documents

Publication Publication Date Title
De Avila et al. VSUMM: A mechanism designed to produce static video summaries and a novel evaluation method
Swanberg et al. Knowledge-guided parsing in video databases
Yeung et al. Segmentation of video by clustering and graph analysis
JP4201454B2 (ja) 動画要約生成方法及び動画要約生成装置
Truong et al. New enhancements to cut, fade, and dissolve detection processes in video segmentation
Browne et al. Evaluating and combining digital video shot boundary detection algorithms
JP3568117B2 (ja) ビデオ画像の分割、分類、および要約のための方法およびシステム
JP2003503971A (ja) ビデオシーケンスの構造の自動抽出方法
KR100729660B1 (ko) 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
US20120148149A1 (en) Video key frame extraction using sparse representation
KR100741300B1 (ko) 비디오 시퀀스 구조의 자동 추출 방법
Gunsel et al. Hierarchical temporal video segmentation and content characterization
Sebastian et al. A survey on video summarization techniques
Asadi et al. Video summarization using fuzzy c-means clustering
CN114041165A (zh) 一种视频相似检测的方法、装置及设备
Sabbar et al. Video summarization using shot segmentation and local motion estimation
Osian et al. Video shot characterization
Lan et al. A novel motion-based representation for video mining
JP5116017B2 (ja) 動画検索方法およびシステム
Choroś et al. Effectiveness of video segmentation techniques for different categories of videos
Zhang et al. Hierarchical video organization based on compact representation of video units
Zhang Video content analysis and retrieval
Benini et al. Identifying video content consistency by vector quantization
Llach et al. Analysis of video sequences: table of content and index creation
Hanjalic et al. Recent advances in video content analysis: From visual features to semantic video segments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070627

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080317