JP2000106661A - 画像処理方法及びシステム並びに装置 - Google Patents

画像処理方法及びシステム並びに装置

Info

Publication number
JP2000106661A
JP2000106661A JP11198037A JP19803799A JP2000106661A JP 2000106661 A JP2000106661 A JP 2000106661A JP 11198037 A JP11198037 A JP 11198037A JP 19803799 A JP19803799 A JP 19803799A JP 2000106661 A JP2000106661 A JP 2000106661A
Authority
JP
Japan
Prior art keywords
image processing
metadata
time
sequential digital
digital signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11198037A
Other languages
English (en)
Other versions
JP2000106661A5 (ja
JP4218915B2 (ja
Inventor
Lenon Alison
レノン アリソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AUPP4621A external-priority patent/AUPP462198A0/en
Priority claimed from AUPP4622A external-priority patent/AUPP462298A0/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2000106661A publication Critical patent/JP2000106661A/ja
Publication of JP2000106661A5 publication Critical patent/JP2000106661A5/ja
Application granted granted Critical
Publication of JP4218915B2 publication Critical patent/JP4218915B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99951—File or database maintenance
    • Y10S707/99952—Coherency, e.g. same view to multiple users
    • Y10S707/99953—Recoverability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 動画中に表されるオブジェクトについての情
報を有効に利用することのできる画像処理方法及びシス
テム並びに装置を提供すること。 【解決手段】ビデオの第１フレームがロードされ（ステ
ップＳ１１０）、モーションフィールドが計算され（ス
テップＳ１１３）、カメラの動きが減算され、オブジェ
クトモーションフィールドを生成する（ステップＳ１１
４）。ステップＳ１１５で、現在追跡中のオブジェクト
に割り当てられたトラッカーがトラッカーリストに保持
され、ステップＳ１１６でオブジェクトモーションフィ
ールド内で発見されたオブジェクトの境界が算定され、
新規に識別された領域に関する最小限界長方形が生成さ
れる（ステップＳ１１７）。新規領域に割り当てられた
新規トラッカーがトラッカーリストに加えられ（ステッ
プＳ１１８）、１つのオブジェクトヘッダ、及び、時間
順次ディジタル信号とメタデータとの間の第１のリンク
エンティティがメタデータオブジェクトに記入される
（ステップＳ１１９）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理方法、画
像処理システム、及び、画像処理装置に関する。
【０００２】
【従来の技術】本文書を通じて用いられる「メタデー
タ」という用語は、特定の場合においてこれと矛盾した
意味を持つことが明瞭に意図されない限り、他のデータ
と関連しているデータを意味するものとして広義に解釈
されるべきものであることを理解されたい。例えば、フ
レームを横切って歩行する一人の人物の一続きの場面を
（オブジェクトデータの形で）表す１つ又は複数のビデ
オフレームは、その一続きの場面と関連したメタデータ
を有する。メタデータは、ビデオフレームの属性または
内容を何等かの方法で記述する付加データの形式をとる
ことができる。例えば、メタデータは、人の衣服の色、
人の名前（または、年齢その他の個人的な詳細）のよう
な情報に関するものでもよいし、その人が歩いていると
いう事実を記述してもよい。メタデータには主データに
関する任意の形式の付加データを含んでもよいが、主デ
ータを何等かの方法で記述する（又は、その記述を表
す）ことが好ましい。
【０００３】様々なチームスポーツが一層職業化するに
つれて、コーチによるチーム及び個々のプレーヤの分析
が重要性を増してきた。従って、特定チームのコーチ及
びプレーヤが過去の試合のビデオフィルムを再検討し、
見付けた欠点を全て改善訓練によって修正すべく、チー
ム戦略或いは試合運びに見られるエラー又は弱点を探求
することが少なくない。代りに、或いは、加えて、適切
な試合運びを選ぶことによりつけ込めそうな弱点を見つ
け出す為に敵チームの動きやチームプレーを研究するこ
ともある。
【０００４】
【発明が解決しようとする課題】従来、この種の分析
は、通常、記録されている試合のビデオフィルムをコー
チが速送りして見ることによって、比較的特別な場合と
して実施されてきた。プレーヤは、その個々の動作に関
する手書きのノートを用いてコーチにより識別される。
しかし、コーチのチーム又は敵チームの中から特定プレ
ーヤの動作を見付けることは骨の折れる仕事であり、複
数の試合について検討する必要のある場合には特にそう
である。
【０００５】これに対する一つの解決方法としては、利
用できる状態にある各々のビデオを注意深く観察し、各
プレーヤの外観、ひいては各々の外観を有する当該プレ
ーヤの動作のカタログを作ることがある。ビデオの画面
に各プレーヤが入ってくると、そのビデオテープの時間
またはフレーム番号のどちらかを記録しておき、そのビ
デオテープ上の正確な位置にダイレクトに進むことによ
って後からアクセスすることが出来る。コンピュータデ
ータベースにこの種の情報のカタログを作成しておけ
ば、特定のプレーヤについてコンピュータ探索を行え
ば、もしかしたらビデオに記録されている多数の試合に
わたって、興味がありそうな位置のリストを作ることが
できると考えられる。しかし、この方法も、依然として
比較的骨の折れる仕事であって、煩雑であり、しかも時
間がかかる。更に、この種のデータベースを充填するた
めに必要な情報は、試合の後のオフラインの状態でしか
生成できず、リアルタイムでの利用は不可能である。
【０００６】本発明の目的は、上記従来技術の欠点を解
消するか、或いは、少なくとも実質的に改善することに
あり、動画中に表されるオブジェクトについての情報を
有効に利用することのできる画像処理方法及びシステム
並びに装置を提供することにある。
【０００７】
【課題を解決するための手段】上記目的を達成するた
め、本発明に係る画像処理方法にあっては、時間順次デ
ィジタル信号内の時間空間エクステントへのリンクを有
するメタデータオブジェクトを生成する画像処理方法で
あって、前記時間順次ディジタル信号において注目オブ
ジェクトを識別する識別工程と、前記メタデータオブジ
ェクトにおけるメタデータと前記識別工程で識別された
前記注目オブジェクトとの間のリンクエンティティを定
義し、前記リンクエンティティが前記メタデータオブジ
ェクトの一部を形成する定義工程と、前記時間順次ディ
ジタル信号において前記注目オブジェクトを追跡し、か
つ前記注目オブジェクトの前記時間順次ディジタル信号
における新規な時間空間エクステントを含むように前記
メタデータオブジェクト内のリンクエンティティを更新
する追跡更新工程と、前記生成したメタデータオブジェ
クトを前記時間順次ディジタル信号に関連付ける関連付
け工程とを含むことを特徴とする。
【０００８】ここで、前記時間順次ディジタル信号が一
連のビデオフレームを定義し、かつ前記オブジェクトが
前記フレーム内の比較的動かない背景に対する動きに基
づいて識別されることは好適である。
【０００９】前記一連のビデオフレームにおいて、比較
的近接した時間間隔を有する２つ又はそれ以上のビデオ
フレームを比較することによって前記オブジェクトが識
別されることも好適である。
【００１０】前記オブジェクトが各フレームにおけるそ
の位置に関する位置情報を維持することによって追跡さ
れることも好適である。
【００１１】前記位置情報が各フレームに関して更新さ
れることも好適である。
【００１２】前記時間順次ディジタル信号において識別
され得るオブジェクトの１つ又は複数のクラスに関する
所定の識別情報を提供する工程と、前記注目オブジェク
トを前記識別情報を参照して識別しようとする工程と、
オブジェクトが識別された場合に、前記識別情報を当該
オブジェクトと該当するメタデータとの間のリンクに関
係付ける工程とを含むことも好適である。
【００１３】前記時間順次ディジタル信号をＭＰＥＧ−
２又はＭＰＥＧ−４の方式によって符号化し、前記メー
タデータと共に記憶媒体に記憶する工程を含むことも好
適である。
【００１４】一連のフレームを定義する時間順次ディジ
タルビデオ信号における時間空間エクステントへのリン
クを有するメタデータオブジェクトを生成する画像処理
システムであって、一連のフレームを定義する前記時間
順次ディジタルビデオ信号を生成するための手段を含む
ビデオソースと、前記ディジタルビデオ信号における１
つ又は複数のフレーム内に時間空間エクステントを有す
る注目オブジェクトを識別するための画像処理手段と、
各オブジェクトと前記メタデータオブジェクトとの間の
リンクエンティティを定義するためのリンクエンティテ
ィ手段と、を有し、前記画像処理手段が前記一連の後続
フレーム内の当該オブジェクトを追跡するように構成さ
れ、同時に、リンクエンティティ手段が各フレームにお
ける当該オブジェクトと前記メタデータオブジェクトと
の間のリンクエンティティを維持することも好適であ
る。
【００１５】前記時間順次ディジタルビデオ信号におい
て識別され得るオブジェクトの１つ又は複数のクラスに
関する所定の識別情報を記憶するための記憶手段と、前
記オブジェクトを認識するために所定の識別情報を使用
するための識別手段と、を更に有し、オブジェクトの認
識に際して、当該オブジェクトに明確に対応するメタデ
ータがリンクエンティティによってリンクされることも
好適である。
【００１６】前記ビデオソースがビデオカメラであるこ
とも好適である。
【００１７】前記ビデオカメラが、当該ビデオカメラの
相対的なパン又はズーム運動を表すムーブメント信号を
生成する位置検出手段を有することも好適である。
【００１８】前記時間順次ディジタル信号をＭＰＥＧ−
２又はＭＰＥＧ−４の方式によって符号化し、前記メー
タデータと共に記憶媒体に記憶する記憶手段を有するこ
とも好適である。
【００１９】また、本発明に係る画像処理装置は、時間
順次ディジタル信号における時間空間エクステントへの
リンクを有するメタデータオブジェクトを生成する画像
処理装置であって、一連のフレームを定義する前記時間
順次ディジタルビデオ信号を生成するための手段を含む
ビデオソースと、前記ディジタルビデオ信号における１
つ又は複数のフレーム内に時間空間エクステントを有す
る注目オブジェクトを識別するための画像処理手段と、
各オブジェクトと前記メタデータオブジェクトとの間の
リンクエンティティを定義するためのリンクエンティテ
ィ手段と、を有し、前記画像処理手段が前記一連の後続
フレーム内の当該オブジェクトを追跡するように構成さ
れ、同時に、リンクエンティティ手段が各フレームにお
ける当該オブジェクトと前記メタデータオブジェクトと
の間のリンクエンティティを維持することを特徴とす
る。
【００２０】ここで、前記時間順次ディジタルビデオ信
号において識別され得るオブジェクトの１つ又は複数の
クラスに関する所定の識別情報を記憶するための記憶手
段と、前記オブジェクトを認識するために所定の識別情
報を使用するための識別手段と、を更に有し、オブジェ
クトの認識に際して、当該オブジェクトに明確に対応す
るメタデータがリンクエンティティによってリンクされ
ることも好適である。
【００２１】前記ビデオソースがビデオカメラであるこ
とも好適である。
【００２２】前記ビデオカメラが、前記ビデオカメラの
相対的なパン又はズーム運動を表すムーブメント信号を
生成する位置検出手段を有することも好適である。
【００２３】更に、本発明に係るコンピュータプログラ
ミング製品にあっては、時間順次ディジタル信号におけ
る時間空間エクステントへのリンクを有するメタデータ
オブジェクトを生成するために記録されたコンピュータ
読取り可能媒体を備えたコンピュータプログラミング製
品であって、前記時間順次ディジタル信号において注目
オブジェクトを識別するための識別モジュールと、前記
メタデータオブジェクトにおけるメタデータと前記注目
オブジェクトとの間のリンクエンティティを定義し、該
リンクエンティティが前記メタデータオブジェクトの部
分を形成する定義モジュールと、前記時間順次ディジタ
ル信号における前記注目オブジェクトを追跡し、かつ前
記時間順次ディジタル信号における前記注目オブジェク
トの新規な時間空間エクステントを含むようにメタデー
タにおけるリンクエンティティを更新するための追跡モ
ジュールと、前記生成されたメタデータオブジェクトを
前記時間順次ディジタル信号と関連付けるための関連付
けモジュールと、を有することを特徴とする。
【００２４】ここで、前記時間順次ディジタル信号が一
連のビデオフレームを定義し、かつ前記オブジェクトが
前記フレーム内の比較的動かない背景に対する動きに基
づいて識別されることは好適である。
【００２５】前記一連のビデオフレームで構成される２
つ又はそれ以上の比較的近接した時間的間隔を有するビ
デオフレームを比較することによって前記オブジェクト
が識別されることも好適である。
【００２６】前記オブジェクトが各フレームにおけるそ
の位置に関する位置情報を維持することによって追跡さ
れることも好適である。
【００２７】前記位置情報が各フレームに関して更新さ
れることも好適である。
【００２８】前記時間順次ディジタル信号において識別
され得る１つ又は複数のオブジェクト及び所定のメタデ
ータに関する所定の識別情報を提供するための識別情報
モジュールと、前記識別情報に関して識別済みオブジェ
クトを識別しようする識別モジュールと、を更に有し、
前記識別モジュールは、オブジェクトが識別された場合
に、識別情報を前記オブジェクトと前記当該メタデータ
との間のリンクに関係付けることも好適である。
【００２９】本発明に係る他の画像処理方法は、所定の
メタデータを、一連のフレームを定義する時間順次ディ
ジタル信号とリンクするための画像処理方法であって、
前記フレーム内からオブジェクトを検出する検出工程
と、前記検出工程で検出された前記オブジェクトと前記
メタデータとの間のリンクエンティティを定義する工程
と、一連の後続フレームを通じて前記オブジェクトを追
跡し、同時に、各フレームにおける前記オブジェクトと
所定のメタデータとの間のリンクエンティティを維持す
る工程と、を有することを特徴とする。
【００３０】ここで、前記オブジェクトが各フレームに
おける当該オブジェクトの位置に関する位置情報を維持
することによって追跡されることは好適である。
【００３１】前記位置情報が各フレームに関して更新さ
れることも好適である。
【００３２】前記時間順次ディジタル信号において検出
される可能性のある１つ又は複数のオブジェクト、及び
前記メタデータに関する所定の識別情報を提供する工程
と、前記識別情報に関して前記検出工程で検出された前
記オブジェクトを識別しようとする識別工程と、前記オ
ブジェクトが識別された場合に、前記オブジェクトと識
別情報に基づく前記メタデータとの間のリンクエンティ
ティを定義する工程と、を含むことも好適である。
【００３３】前記時間順次ディジタル信号をＭＰＥＧ−
２又はＭＰＥＧ−４の方式によって符号化し、前記メー
タデータと共に記憶媒体に記憶する工程を含むことも好
適である。
【００３４】また、本発明に係る画像処理システムは、
一連のフレームを定義する時間順次ディジタルビデオ信
号と、メタデータとをリンクするための画像処理システ
ムであって、前記一連のフレームを定義する前記時間順
次ディジタルビデオ信号を生成するための手段を有する
ビデオソースと、前記フレーム内からオブジェクトを検
出するための画像処理手段と、前記オブジェクトと前記
メタデータとの間のリンクエンティティを定義するため
のリンクエンティティ手段と、を有し、前記画像処理手
段が前記一連の後続フレーム内の当該オブジェクトを追
跡するように構成され、同時に、前記リンクエンティテ
ィ手段が各フレームにおける前記オブジェクトと前記メ
タデータとの間のリンクエンティティを維持することを
特徴とする。
【００３５】前記時間順次ディジタルビデオ信号におい
て識別され得るオブジェクトの１つ又は複数のクラスに
関する所定の識別情報を記憶するための記憶手段と、前
記オブジェクトを認識するために所定の識別情報を使用
するための識別手段と、を有し、オブジェクトの認識に
際して、当該オブジェクトに明確に対応するメタデータ
がリンクエンティティによってリンクされることも好適
である。
【００３６】前記ビデオソースがビデオカメラであるこ
とも好適である。
【００３７】前記ビデオカメラが当該ビデオカメラの相
対的なパン又はズーム動作を指示す位置検出手段を有す
ることも好適である。
【００３８】また、本発明に係る他の画像処理方法は、
一連のビデオフレームによって定義される時間順次ディ
ジタル信号における所定のオブジェクトを追跡する画像
処理方法であって、フレームのオブジェクトモーション
フィールドをその背景との関係から決定する工程を含
み、前記オブジェクトモーションフィールドは複数のモ
ーションインジケータによって特性付けられ、各モーシ
ョンインジケータが前記ディジタル画像の複数の領域の
空間領域のモーションを表すものであって、更に、所定
のしきい値範囲内の対応するモーションインジケータを
有する比較的密接に隣接した領域を１つ又は複数のオブ
ジェクト領域内にグループ化する工程と、一連の後続ビ
デオフレームを通じて各オブジェクト領域を追跡する工
程とを含むことを特徴とする。
【００３９】ここで、前記空間領域が画素であることは
好適である。
【００４０】前記グループ化工程が領域成長方法を利用
することは好適である。
【００４１】前記モーションインジケータがモーション
ベクトルであることも好適である。本発明に係る更に他
の画像処理方法は、捕捉デバイスによって元来捕捉され
ている時間順次ディジタル信号においてオブジェクトを
追跡する画像処理方法であって、前記時間順次ディジタ
ル信号の選択されたタイムインスタンスに関するモーシ
ョンベクトルフィールドを決定する工程と、前記捕捉デ
バイスの捕捉中のモーションに起因する成分を前記モー
ションベクトルフィールドから除去し、それによって、
オブジェクトモーションフィールドを生成する工程と、
前記オブジェクトモーションフィールドにおけるコヒー
レントモーションの領域を識別し、それによって、対応
する移動オブジェクトを識別する工程と、１つ又は複数
の移動オブジェクトを選択する工程と、前記時間順次デ
ィジタル信号の後続タイムインスタンス内において画像
処理追跡方法を選択済みの各オブジェクトに適用する工
程と、を含むことを特徴とする。
【００４２】ここで、前記オブジェクトモーションフィ
ールドにおけるコヒーレントモーションの領域を識別す
るために領域成長方法を使用することは好適である。
【００４３】前記時間順次ディジタル信号の各インスタ
ンスがビデオフレームであることも好適である。
【００４４】前記モーションベクトルフィールドが各ビ
デオフレームに関して決定されることは好適である。
【００４５】メタデータが各被追跡オブジェクトに関し
て作成または提供され、かつ前記追跡されたオブジェク
トを含む前記時間順次ディジタル信号の空間時間エクス
テントへのリンクを有するメタデータオブジェクトに記
憶されることは好適である。
【００４６】前記メタデータ及び前記時間順次ディジタ
ル信号において識別され得る１つ又は複数のオブジェク
トに関する所定の識別情報を提供する工程と、前記注目
オブジェクトを前記識別情報に関して識別しようとする
工程と、オブジェクトが識別された場合に、前記識別情
報を当該オブジェクト及び該当するメタデータと関連付
ける工程と、を含むことも好適である。
【００４７】また、本発明に係る他の画像処理装置は、
所定のメタデータを、一連のフレームを定義する時間順
次ディジタル信号とリンクするための画像処理装置であ
って、前記フレーム内からオブジェクトを検出する検出
手段と、前記検出手段で検出された前記オブジェクトと
前記メタデータとの間のリンクエンティティを定義する
手段と、一連の後続フレームを通じて前記オブジェクト
を追跡し、同時に、各フレームにおける前記オブジェク
トと所定のメタデータとの間のリンクエンティティを維
持する手段と、を有することを特徴とする。
【００４８】ここで、前記時間順次ディジタル信号をＭ
ＰＥＧ−２又はＭＰＥＧ−４の方式によって符号化し、
前記メータデータと共に記憶媒体に記憶する記憶手段を
有することもは好適である。
【００４９】また、本発明に係る更にまた他の画像処理
装置は、メタデータを一連のフレームを定義する時間順
次ディジタルビデオ信号とリンクするための画像処理装
置であって、前記一連のフレームを定義する前記時間順
次ディジタルビデオ信号を生成するための手段を含むビ
デオソースと、前記フレーム内からオブジェクトを検出
する画像処理手段と、前記オブジェクトと前記メタデー
タとの間のリンクエンティティを定義するためのリンク
エンティティ手段と、を有し、前記画像処理手段が前記
一連の後続フレーム内の当該オブジェクトを追跡するよ
うに構成され、同時に、前記リンクエンティティ手段が
各フレームにおける当該オブジェクトと前記メタデータ
との間のリンクエンティティを維持することを特徴とす
る。
【００５０】更に、前記時間順次ディジタルビデオ信号
において識別され得るオブジェクトの１つ又は複数のク
ラスに関する所定の識別情報を記憶するための記憶手段
と、前記オブジェクトを認識するために所定の識別情報
を使用するための識別手段と、を有し、これにより、オ
ブジェクトの認識の際に、当該オブジェクトに明確に対
応するメタデータがリンクエンティティによってリンク
されることは好適である。
【００５１】前記ビデオソースがビデオカメラであるこ
とも好適である。
【００５２】前記ビデオカメラが当該ビデオカメラの相
対的なパン又はズーム動作を指示するムーブメント信号
を生成する位置検出手段を有することも好適である。
【００５３】また、本発明に係る他のコンピュータプロ
グラミング製品は、所定のメタデータを一連のフレーム
を定義する時間順次ディジタル信号とリンクするために
記録されたコンピュータ読取り可能媒体を有するコンピ
ュータプログラミング製品であって、前記フレーム内か
らオブジェクトを検出するための利用モジュールと、前
記オブジェクトと前記メタデータとの間のリンクエンテ
ィティを定義するための定義モジュールと、一連の後続
フレーム内の前記オブジェクトを追跡し、同時に、各フ
レームにおける前記オブジェクトと所定のメタデータと
の間のリンクエンティティを維持するための追跡モジュ
ールとを有することを特徴とする。
【００５４】前記オブジェクトが各フレームにおける当
該オブジェクトの位置に関する位置情報を維持すること
によって追跡されることは好適である。
【００５５】前記位置情報が各フレームに関して更新さ
れることも好適である。
【００５６】前記メタデータ及び前記時間順次ディジタ
ル信号において検出される可能性のある１つ又は複数の
オブジェクトに関する所定の識別情報を提供するための
提供モジュールと、前記識別情報に関して検出されたオ
ブジェクトを識別しようとするための識別モジュール
と、前記検出されたオブジェクトが識別される場合に、
前記オブジェクトと前記メタデータとの間のリンクエン
ティティを前記識別情報に基づいて定義するモジュール
と、を有することも好適である。
【００５７】前記時間順次ディジタル信号をＭＰＥＧ−
２又はＭＰＥＧ−４の方式によって符号化し、前記メー
タデータと共に記憶媒体に記憶する記憶モジュールを有
することも好適である。
【００５８】
【発明の実施の形態】本発明は、メタデータを時間順次
ディジタル信号とリンクする方法に関する。一般に、時
間順次ディジタル信号とは、多数の既知フォーマットの
内のいずれかで表したビデオ信号をいうものとする。時
間順次ディジタル信号は、モニタまたは他のディスプレ
イ装置上に順次に呈示される一連のフレームまたは少な
くともオブジェクトを定義する。各フレームまたはオブ
ジェクトの間の変化は、人間の目によって運動として解
釈される。
【００５９】本発明は、そもそも、例えばサッカーまた
はオーストラリアンフットボールのようなチーム競技の
ビデオフィルムの内容の表現及びカタログに用いるため
に開発されたものである。これにより、個々のプレーヤ
が写っているか或いはある特定の動作を行なっているビ
デオにおいて、空間的および時間的に定義されたセクシ
ョンまたはエクステントを自動的に識別することが可能
となる。今後、この特定の応用例を参照しながら本発明
について記述するが、本発明がこの分野での利用にのみ
制限されるものでないことを理解されたい。
【００６０】最も簡単な形としての上述の運動は、静止
した背景を横断して動くオブジェクトの形をとる。一例
は、前景を横断して歩いている人の居る家具付きの部屋
の静的画像である。この場合、視聴者にとって、前記の
人は動くオブジェクトとして容易に認識可能であり、同
時に、背景（即ち、部屋）は動くものとは思われない。
【００６１】逆に、例えば風景のような比較的安定した
場面をカメラがパンする場合には、カメラ自体が移動し
ているのであるが、人間の目は、場面自体の動きでなく
て観察者の焦点の動きとしてこれを解釈する傾向があ
る。従って、移動していると解釈されるオブジェクトは
一切存在しない。
【００６２】他の一例は、動くオブジェクトがカメラに
よって実質的に追跡され、同時に、背景に対して当該カ
メラが相対的に移動する場合である。一例として、ラグ
ビー競技を行い、ボールを持って走っている人物があ
る。この場合、カメラは、通常、ボールを持った人物を
追いかけようとし、そのため、背景としてのスポーツフ
レームをよこぎってカメラをパンすることが必要であ
る。ボールを持った人物は、通常、フレームの中心に所
在するか、或いは、フレームの中心から僅かに離れて配
置される。その位置は、ディレクタが決定する前後関係
による必要性に応じて決まる。例えば、ボールを持った
人物が、サイドラインの比較的近くを走っている場合に
は、通常、カメラオペレータは、ビデオフレームの片側
であってサイドラインに近接した位置に走っているプレ
ーヤーが配置され、ビデオの絵柄の残りの大部分にはそ
れ以外の自軍プレーヤおよび敵軍プレーヤが現れるよう
な絵柄を選択するはずである。
【００６３】最後の一例は、カメラは一方向にパンしな
がら、同時に、一つのオブジェクトが別の方向に移動し
ている場合である。この種のシナリオの一例として、上
記したようなボールを持って走っている人物を敵プレー
ヤがタックルしようとしている場面を挙げることが出来
る。
【００６４】本発明は、チームスポーツにおけるプレー
ヤ、カーレースおける自動車、および、背景に対して動
く他のオブジェクトを含むこの種の動くオブジェクトの
検出に関する。
【００６５】図７は、オーストラリアンフットボール競
技用の好ましい実施例を実現する際に使用するための記
述スキームを定義する拡張可能なマークアップ言語（Ｘ
ＭＬ）文書型定義（ＤＴＤ）を示す。ＤＴＤは競技の記
述に使用できる記述エレメントの定義を含む。記述エレ
メントは、シンタックス「＜！ＥＬＥＭＥＮＴ Ｅｌｅ
ｍｅｎｔ Ｎａｍｅ＞」（図７の２１行）を用いて定義
され、ここで、エレメントネームは定義される記述エレ
メントの名前である。各定義は、記述エレメントと関連
した１組の属性の定義を含むことができる。規定された
記述エレメントに関する属性定義はシンタックス「＜！
ＡＴＴＬＩＳＴ Ｅｌｅｍｅｎｔ Ｎａｍｅ＞」（図７
の２２行）で始まる。
【００６６】図８は、図７のＤＴＤファイルによって定
義された記述スキームを用いて、特定のオーストラリア
ンフットボール競技の一部分に関して作成されたＸＭＬ
文書形式のメタデータオブジェクトを示す。ここでのメ
タデータオブジェクトは、競技の第１クオータ中に行わ
れた２つの「プレー」を定義する。第１のプレー（図８
の２０〜２５行）は、２１番プレーヤが得点した（ボー
ルを捕えた）ことを記録する。リンク又はポインタ（図
８の２５行）はロケータ（図８の４１〜４８行）を指
す。ロケータ（図８の４１〜４８行）は、識別されたオ
ブジェクトを含む最小限界長方形の左上隅のｘおよびｙ
座標及び高さと幅を定義する時間空間エクステント（図
８の４２〜４８行）、および、そこで定義された長方形
が適用される時間順次ディジタル信号の時間範囲（即
ち、当該範囲の開始および終了フレーム）を含む。エク
ステントは、時間順次ディジタル信号のセクションを識
別し、従って、空間時間エクステントは、空間的（即
ち、二次元）および時間的な局所限定を有する時間順次
ディジタル信号のセクションを識別する。ロケータは、
一意的識別子（例えば、ｉｄ「Ｐ１」によって識別され
るプレーに関する第１のロケータはｉｄ「Ｌ１」によっ
て識別される。）を用いて識別可能な任意の規定された
エクステントを指示するものとして定義される。エクス
テントロケータをプレーから分離することにも利点はあ
るが、一方で、各エクステントロケータはその関連プレ
イデータに直接隣接して記録してもよいし、或いは、他
のいかなる便利なフォーマット又はロケーションに記録
してもよいことは理解されるであろう。
【００６７】図面を参照して説明すると、図１は、本発
明の好ましい実施例を実現するためのフローチャートで
ある。先ず、ビデオの第１フレームがロードされる（ス
テップＳ１１０）。最終フレームが既に処理済みであ
り、従って、ロード可能なフレームが無い場合には（ス
テップＳ１１１）、処理が終了する（ステップＳ１１
２）。フレームがロード可能である場合には（ステップ
Ｓ１１１）、モーションフィールドが計算され（ステッ
プＳ１１３）、カメラの動きが減算され、オブジェクト
モーションフィールドを生成する（ステップＳ１１
４）。これに続いて、以前に検出されて現在追跡中の任
意のオブジェクトが処理される。これらのオブジェクト
の各々は、それに割り当てられた特定のトラッカーを持
ち、存在する全てのトラッカーがトラッカーリストに保
持される。トラッカーは、或るオブジェクトが追跡され
るべきオブジェクトとして識別された場合に、時間順次
ディジタル信号内のオブジェクトを追従または追跡しよ
うと試みる画像処理エンティティである。一度トラッカ
ーリストが処理されると（ステップＳ１１５）、オブジ
ェクトモーションフィールドにおいて追跡する必要のあ
るオブジェクトが残っていれば、識別される（ステップ
Ｓ１１６）。
【００６８】ステップＳ１１６においてオブジェクトモ
ーションフィールド内で発見されたあらゆるオブジェク
トの境界が算定され、新規に識別された領域に関する最
小限界長方形（以下に述べる）が生成される（ステップ
Ｓ１１７）。これに続いて、検出されるあらゆる新規領
域は、それらに割り当てられた１つのトラッカーを持
ち、この新規トラッカーがトラッカーリストに加えられ
る（ステップＳ１１８）。次に、１つのオブジェクトヘ
ッダ、及び、時間順次ディジタル信号とメタデータとの
間の第１のリンクエンティティがメタデータオブジェク
トに記入される（ステップＳ１１９）。図８に示す例に
関して、オブジェクトヘッダは、メタデータオブジェク
トにおいて新規「プレー」エレメントを生成することを
意味し、この場合の新規「プレー」エレメントはｉｄ
（ここでは、「Ｐ１」）によって一意的に識別され、第
１のリンクエンティティは識別された「プレー」エレメ
ント内に含まれる第１の「ＣＬＩＮＫ」エレメントを意
味する。この方法はステップＳ１１０に戻り、最終フレ
ームに到達するまで繰り返される。
【００６９】ＤＴＤは、注目している「追跡された」新
規セクションの開始を規定するタグを定義する。図７に
おけるＤＴＤの場合には、このエレメントが「プレー」
エレメント（図８の２０行）である。「プレー」エレメ
ントは、プレーのセクション（例えば、プレーヤーＩ
Ｄ、プレーの型、注釈者名）、および、ディジタルビデ
オにおいて識別された空間時間エクステントに関する１
つ又は複数のリンク（図８の２５行）について更に記述
する属性を持つように定義される。他の一実施例におい
て、「プレー」エレメントの属性として記憶された情報
は、「プレー」エレメントの子エレメントとして表わす
ことができる（即ち、子エレメントは＜プレー＞エレメ
ント内に含まれる）。
【００７０】図２において、図１のステップＳ１１４に
おいて生成されると同様のオブジェクトモーションフィ
ールド２００を示す。オブジェクトモーションフィール
ドは、各フレームに関して算定可能なあらゆるカメラモ
ーションを算定済みモーションフィールドから除去する
ことによって求められる。モーションフィールドは、デ
ィジタルビデオ分析の技術分野における当業者にとって
公知である例えばオプティカルフローのような技法を用
いて、各フレームに関して算定可能である。
【００７１】オブジェクトモーションフィールド２００
は、周囲の静的エリア２０６（ドット２０１により示
す）内にオブジェクト２０２を形成する際にコヒーレン
トモーションのブロックを示す。コヒーレントモーショ
ンブロック又はオブジェクト２０２は二次元のモーショ
ンベクトル２０３から成り、境界２０４により囲まれ
る。同様に、オブジェクト２０２に対する最小限界長方
形２０５を示す。このオブジェクトモーションフィール
ドは、特定のフレームに関する算定されたモーションフ
ィールドからあらゆるカメラモーションを除去すること
によって各フレームに関して算定可能である。オブジェ
クトモーションフィールドを生成する好ましい方法を以
下に示すが、ビデオ分析の技術分野における当業者に公
知の他のあらゆる技法を使用しても差し支えない。
【００７２】オブジェクトを検出するための特定の方法
は重要な意味を持たない。オブジェクトは、他のスペク
トルセンサ（例えば、赤外線）、または、問題となるオ
ブジェクトに備えられた無線送信機によって伝達された
信号を用いても同様に検出可能である。ただし、ビデオ
カメラのパン又はズームに起因する背景自体の見掛けの
動きを無視し、背景に対するモーションを識別可能にす
るシステムを使用すると有利である。
【００７３】この種の識別はソフトウェアにおいて達成
可能であるが、或る種のパン動作、及び／又は、ズーム
出力を伴ったイベントを記録するために用いられるビデ
オカメラを提供することも可能である。ビデオデータの
分析がカメラの内部で行なわれる場合には、当該カメラ
の実際のモーション（パン、ズーム、等々）に関する情
報を当該分析のために利用することが出来る。このよう
な場合、この情報は、算定されたモーションフィールド
（図１のステップＳ１１３）からカメラモーションを除
去するために用いられる。この種のカメラは、例えば、
内部ジャイロスコープ、又は初期休止位置に対するカメ
ラの動きを測定する加速度計測装置、に基づく位置検出
手段を有する。これらの位置検出手段は、カメラの相対
的なパン動作を表すムーブメント信号を生成する。この
ムーブメント信号は、パン操作によって引き起こされた
隣接フレーム間の差を除去するために図１のステップＳ
１１４において用いられる。このカメラモーションに関
する情報を利用可能であることは、画素データのみに関
する知識からカメラモーションをアルゴリズム的に算定
しなければならないという必要条件を排除し、それによ
って、一層堅実なオブジェクト検出が達成される。
【００７４】このカメラモーション情報が利用できない
（例えば、カメラが情報を提供しないか、或いは、カメ
ラから離れて分析が実施される）場合、算定されたモー
ションフィールドからカメラモーションを推測するため
の画像処理方法が既知である。これらの方法の幾つか
は、圧縮された領域において実現されるように設計され
ており（例えば、ＭＰＥＧ−２ビデオフォーマット）、
ビデオ分析の技術分野における当業者には理解されるで
あろう。この種の一方法は、Ｗｅｎｄ Ｒａｂｉｎｅ
ｒ、及び、Ａｒｎａｕｄ Ｊａｃｑｕｉｎによる論文
「超低ビットレートモデル支援によるビデオコード化の
ためのシーン内容のモーション‐適応モデリング」
（「視覚通信と画像表現ジャーナル」Ｖｏｌ １８、Ｎ
ｏ．３、ｐｐ２５０−２６２）に記載されている。
【００７５】時間順次ディジタル信号において識別され
たオブジェクトと、メタデータオブジェクトにおける関
連メタデータと、の間のリンクは多くの方法で作成可能
である。この種のリンクを作成するための好ましい処理
は、プレイの識別されたセクションに含まれる（即ち、
そのメンバーである）メタデータオブジェクト（即ち、
被追跡オブジェクト）内にタグ付きのリンクエレメント
を作成することである。このリンクエレメントは、その
ビデオフィルムの空間時間エクステントへの指示を含
む。簡単な空間時間エクステントは、開始フレーム番号
と終了フレーム番号および最小限界長方形の位置とサイ
ズによって特定可能である。限界空間領域のサイズ又は
位置が不変である場合には終了フレーム番号を単にイン
クリメントすることにより、または、新規な空間時間エ
クステントへの指示を含むプレイのタグ付き識別セクシ
ョンに新規なリンクエレメントを加えることにより、リ
ンクエンティティは更新可能である。
【００７６】以前に検出したオブジェクトと対応するメ
タデータとの間の既存のリンクエンティティを更新した
後で、オブジェクトモーションフィールド２００におけ
る新規オブジェクト２０２がステップＳ１１６において
検出される。１つの方法は画像セグメンテーションに使
用される既存の領域増大方法に基づく。この方法におい
て、モーションフィールドは、ラスタ画素ベースで調査
される。そのモーションベクトル（大きさと方向）と、
当該領域に既に存在する画素のモーションベクトルの平
均値と、の差が方向および大きさにより特定される閾値
よりも小さい場合には以前の領域（またはブロック）に
１つの画素が加えられる。モーションフィールドにおい
て取り得る最大の大きさを踏まえて成長する領域の
「種」となる画素を選択することによって、この簡単な
方法は強化することが出来る。これらの規則は、明らか
に小さ過ぎるか、または、関連ビデオフレーム内の正し
くない位置に所在するオブジェクトを拒否する為に用い
てもよく、そうすることにより、不適切な識別の可能性
を減少させる。この方法では、記録されたスポーツ試合
の例においては、隣接フレームの間で或る程度の動きが
起きたとしても、頭上を飛ぶ鳥またはサポータの群衆内
の動きは検出出来ない。
【００７７】好ましい実施例において、オブジェクトは
最小限界長方形内に密封される（ステップＳ１１７、図
１）。特に、各オブジェクト２０２は、最小限界長方形
の対向するそれぞれの隅を識別する２対の格子座標によ
って識別可能である。事実、これは、前記の長方形に関
して位置とサイズ両方の情報を提供する。位置情報を提
供するために１対のみの格子座標を使用し、同時に、高
さを表す値および幅を表す値で長方形のサイズを定義し
てもよい。注目オブジェクト（プレーヤ）を空間的に識
別するために限界長方形を使用すれば、画像処理方法を
用いて正確なオブジェクトの境界を求める必要がなくな
る。ただし、オブジェクトの正確な境界を決定すること
が出来る場合には、これらのエクステントに対する基準
を使用することが出来る。
【００７８】メタデータオブジェクトは、符号化された
時間順次ディジタル信号内に「パッケージ」することが
出来る。メタデータオブジェクト内に含まれるリンクエ
ンティティは、ＴＶ放送における特定の空間領域を任意
の付加情報に関係づけるために使用することが出来る。
この場合、各リンクは２つのリンクエンドを持ち、一方
は時間順次ディジタル信号と結びつき、もう一方はメタ
データにおける付加情報と結びつく。
【００７９】その最も単純な形態において、メタデータ
は、時間順次ディジタル信号において各注目オブジェク
トの存在に単にタグを付ける。このタグは、同一時間順
次ディジタル信号におけるすべての他のオブジェクトか
ら当該オブジェクトを区別する番号または他の記号によ
って識別されることが好ましい。ただし、以下に詳細に
検討するように他のタイプのメタデータを同様に使用し
ても差し支えない。
【００８０】パン動作に関する情報を除去した結果を図
２に示す。ここで、１対の隣接フレームの間の違いから
パン操作またはズームによって引き起こされた違いを差
し引いた結果として、比較的大きい静的エリア２０６
（ドット２０１によって示される）と比較的小さいオブ
ジェクト２０２とを有するオブジェクトモーションフィ
ールド２００が生成されている。オブジェクト２０２
は、コヒーレントブロックでもある２０２がこの場合に
はフレームの右に向かって移動していることを示す二次
元のモーションベクトル２０３から成る。境界２０４
は、オブジェクト２０２のエクステントを定義し、図１
のステップＳ１１５で、後続するフレーム内に同一オブ
ジェクトを検出するための基礎を形成することが出来
る。既に検討したように、最小限界長方形２０５は、処
理を節減すること、及び、検出された各オブジェクトの
サイズとロケーションのアドレッシングを更に容易にす
ることを可能にする。長方形以外の境界が使用可能であ
ることも理解されるであろう。
【００８１】図３に示すサブステップは、直前のビデオ
フレームにおいて識別されたオブジェクト２０２に関す
るメタデータを更新する。１つのフレームが複数のオブ
ジェクトを含み、従って、それと関連した複数のトラッ
カーを持つことも珍しくない。第１のステップにおい
て、トラッカーリストから第１のトラッカーが求められ
る（ステップＳ３０２）。トラッカーリストは、以前の
フレームにおいて識別されたオブジェクトと関連したト
ラッカーのリストであり、多くのフレームによって以前
に生成されたトラッカー、または、新規オブジェクト２
０２が直前のフレームにおいて見付けられた結果として
生成されたあらゆるトラッカーを含む。所定のフレーム
に関して少なくとも１つのトラッカーが存在すると仮定
すれば、注目トラッカーに対応するオブジェクト２０２
の位置を特定することが可能かどうかを調べるためにビ
デオフレーム（２０１、図２）が検査される。好ましい
実施例において、追跡中のオブジェクトの位置を特定し
ようとする試みは、以前のフレームにおけるオブジェク
トの位置の周辺領域における相関計算に基づく。オブジ
ェクト２０２の位置が特定された場合には、ステップＳ
３０４に関して検討したように、当該オブジェクトの最
終フレームからのあらゆる動きを考慮するために、メタ
データにおけるリンクエンティティが更新される。
【００８２】ステップＳ３０５の後で、更新対象とされ
たオブジェクト２０２は、オブジェクトモーションフィ
ールド２０１から除去される（ステップＳ３１０、図
３）か、或いは、現行フレームに関する更なる配慮に基
づいて他の何等かの方法によって除去される。従って、
当該オブジェクトは、図１のステップＳ１１６における
新規オブジェクトとは見なされない。
【００８３】次に、リスト内において、その次のトラッ
カーが求められ（ステップＳ３０８、図３）、リスト内
の全てのトラッカーが処理されるまで継続して処理され
る。この段階において、方法はステップＳ１１６（図
１）に移動し、このステップにおいて、当該オブジェク
トモーションフィールド内の残りのあらゆるオブジェク
ト２０２が調査される。
【００８４】現行トラッカーと関連したオブジェクト２
０２の位置がステップＳ３０５において特定されない場
合には、当該オブジェクトのメタデータが完結し（ステ
ップＳ３０６）、当該トラッカーがリストから除去され
る（ステップＳ３０７）。
【００８５】既存および新規オブジェクト２０２に関し
て当該フレーム全体の処理が完了すると、その次のフレ
ームが検査される。
【００８６】図４及び５に示す本発明の更なる実施例に
おいて、種々のオブジェクト２０２と関連したメタデー
タは所定の識別情報を含む。当該ビデオの性質が既知で
ある場合には、所定の識別情報は、検出される可能性の
あるオブジェクト２０２のタイプ又はクラスに関連づけ
られるか、或いは、当該オブジェクトに予期される動き
のタイプにさえも関係することが好ましい。例えば、サ
ッカー又はオーストラリアンフットボールのような競技
の場合には、プレーヤのジャージに記された番号に基づ
くか、或いは、他の何等かの識別済み信号によりプレー
ヤを識別するために、所定の情報を用いることが出来
る。プレー中のチームが既知である場合には、所定の識
別情報は、期待される特定のプレーヤーに関係付けるこ
とも出来る。
【００８７】その一意的に識別するための特徴を検索す
ることによって各オブジェクト２０２を識別することを
試みることとする。フットボール試合において、各プレ
ーヤーは、通常、当該プレーヤのジャージに記された番
号によって一意的に識別される。公知のオブジェクト認
識技法を用いることにより、ジャージに記された番号、
ひいてはその番号に対応するプレーヤが識別可能であ
る。これらの番号は、一般に、放送される試合における
プレーヤをＴＶ視聴者が識別できる程度に十分に大きく
かつ明瞭である。従って、当該オブジェクトとリンクす
るメタデータにこの情報を加えることが出来る。基礎的
な形式において、リンクエンティティは、識別されたオ
ブジェクトを適当なタグへ単にリンクするだけのもので
ある。この場合のタグはプレーヤーの名前または他の何
等かの適当なＩＤを含むことが好ましい。その代りに、
或いは加えて、当該プレーヤに関する詳細事項、例えば
プレーヤの年齢、出場試合回数、或いは、本実施例を別
の試合または現在進行中の試合に以前に適用したことか
ら導かれた統計的情報すら、認識されたオブジェクトに
リンクさせてもよい。
【００８８】その代りに、或いは加えて、図４及び５に
関して以下に検討するように、付加メタデータを当該メ
タデータに手入力により付加することも可能である。例
えば、ビデオ信号からプレーのタイプを分類することは
出来ないであろう。しかし、この情報は、統計目的に関
しては役立つ可能性がある。従って、以前にタグを付け
たオブジェクトに付加情報を付加する（即ち、注釈す
る）ために、ある処理を用いることができる。
【００８９】生成されたメタデータは、別々に、かつ時
間順次ディジタル信号と緩やかに関連させて記憶するこ
とが出来る。また、メタデータを、符号化された時間順
次ディジタル信号と共にパッケージ化することも出来
る。例えば、ＭＰＥＧ−２ストリーム内には、幾つかの
プライベートデータを記憶することが可能であるし、Ｍ
ＰＥＧ−４規格は、関連メタデータを記憶するのに有用
である。時間順次ディジタル信号に関連づけてメタデー
タオブジェクトを記憶するための正確な位置及びその方
法は本発明にとっては重要ではない。ビデオの符号化お
よび伝送の技術分野における当業者にとっては、ここに
述べたフォーマット及びスキームに加えて可能性を持っ
た多数のフォーマット及びスキームが有ることが明白で
あるはずである。
【００９０】図４は、ビデオのフレーム内で識別された
オブジェクト２０２を線形的に注釈するための処理手順
を示す。まず、第１のオブジェクトを獲得する（ステッ
プＳ４０２）。一切のオブジェクトが見当たらない場合
（ステップＳ４０３）にはプロセスが完了する（ステッ
プＳ４０４）。オブジェクトが見付かった場合には、そ
の次のステップは当該ビデオ内のオブジェクトのロケー
ションに行き、前記のオブジェクトが現れる場面を再生
する（ステップＳ４０５）。これに続いて、注目オブジ
ェクトに関連するメタデータに注釈を付けることが出来
る（ステップＳ４０６）。一旦、注釈が完了すると、メ
タデータストリームにおけるその次のオブジェクトが検
索される（ステップＳ４０７）。次に、処理はステップ
Ｓ４０３に戻り、全てのオブジェクトが処理されるまで
継続する。
【００９１】図４に示す処理においては、当該ビデオの
フレーム内に発見された全てのオブジェクトのリストが
順次検査される。当該ビデオ内において複数登場する同
一オブジェクトは、単一フレーム内で検出された複数の
オブジェクトと同様に、別々のものとして扱われる。初
めて登場するオブジェクトが現れるフレームが、ビデオ
テープの早送りによるか又はランダムアクセスにより当
該ビデオから検索される（ステップＳ４０４）。ランダ
ムアクセス可能な場合として、ビデオがハードドライブ
又はソリッドステートメモリに記憶される場合が挙げら
れる。例えば、サッカーの試合では、複数のプレーヤ
ー、即ち複数のオブジェクトが１つのフレーム内に存在
し得る。例えば、関連した最小限界長方形２０５を無模
様のコントラストカラーで表示したとすると、選択され
たオブジェクト２０２を視覚的に目立たせることができ
る。これにより、システムオペレータは、現行フレーム
内におけるどのプレーヤがその注釈に関係するかが正確
に分かる。
【００９２】ステップＳ４０２では、注釈が加えられ
る。注釈は、キーボードを介して、或いは、音声認識ソ
フトウェアを用いることにより、テキスト入力によって
加えられる。また、付加可能な注釈の最大数を定めるこ
とも可能であり、その場合、比較的少数のキー又はボタ
ンを用いた「ホットキー」注釈を許容する。例えば、サ
ッカーの場合であれば、パス、ドリブル、シュート、タ
ックル、その他多くの動作の各々に１つのキーが割当て
られる。該当するキーを押すことにより、注目する被追
跡プレーにおいて、選択プレーヤが実施中の動作を表す
コードが、メタデータに加えられる。
【００９３】同様に、プレーヤの自動識別を用いない場
合、または、ビデオフレーム内に特定のオブジェクト２
０２を認識するために所定の方法が利用不可能である場
合には、当該オペレータは当該プレーヤを識別する情報
を手入力で加えることが出来る。
【００９４】次に、ステップＳ４０７では、メタデータ
ストリーム内の次のオブジェクトを選択する。例えばコ
ンピュータキーボード上において予め選択されたキーの
ような簡単な順方向および後方向制御キーを使用するこ
とにより、当該オペレータは、オブジェクトの隣接イン
スタンスの間で容易にいずれかを選択し、関連するメタ
データ注釈を付加または編集することが出来る。
【００９５】図５はメタデータの非線形注釈に関する処
理を示す。最初に、オブジェクト２０２の特定のクラス
またはタイプが注釈のために選択される（ステップＳ５
０２）。当該クラスに該当するコヒーレントブロックの
インスタンスが皆無である場合（ステップＳ５０３）、
プロセスが完了する（ステップＳ５０４）。必要なタイ
プまたはクラスのオブジェクト２０２のインスタンスが
見つかった場合には、当該インスタンスが当該ビデオ内
において位置決めされ、再生される（ステップＳ５０
５）。注目オブジェクトと関連したメタデータに注釈を
つけることができる（ステップＳ５０６）。これに続い
て、必要なクラス又はタイプのオブジェクト２０２のそ
の次のインスタンスが検索され（ステップＳ５０７）、
この時点において、処理はステップＳ５０３に戻る。処
理は、選択されたクラス又はタイプの全てのオブジェク
ト２０２の注釈が完了するまで継続する。
【００９６】図５において、非線形アクセスが提供さ
れ、これにより、メタデータが単なるタグを越えた識別
情報を含む。これは、例えばプレーヤのジャージに記さ
れた番号によるものと仮定して、プレーヤが自動的また
は手動で識別されるか、または、検出された各プレーヤ
が属するチームが識別されるような状況を含む。この方
法においては、ステップＳ５０２において、例えば特定
プレーヤを識別する必要な情報が選択される。この必要
条件を満足させるその次のオブジェクト２０２は、図４
のステップＳ４０５に関係して既に述べたように、選択
されたオブジェクト２０２がハイライトの状態になり
（ステップＳ５０５）、必要に応じて早送り又はランダ
ムアクセスのどちらかにより当該ビデオ内のその位置に
進む。次に、図４のステップＳ４０６に関係して述べた
ように、選択されたオブジェクトと関連したメタデータ
が編集または付加可能である。特定オブジェクトの注釈
が完了した場合には、オペレータはその次のオブジェク
ト２０２に移動し、図４のステップＳ４０７に関係して
述べたように、選択された必要条件を満足させることが
出来る（ステップＳ５０７）。必要条件を満足させるコ
ヒーレントモーションオブジェクトの全てのインスタン
スが満足された場合には、当該プロセスが完了する（ス
テップＳ５０４）。
【００９７】本実施例によれば、試合統計資料の生成が
遥かに容易になり、多数の統計資料のうちの任意の資料
を濃縮したビデオプレゼンテーションをコーチが生成す
ることを可能にする。例えば、チーム内の各プレーヤ
は、特定の試合における当該プレーヤの動作についての
要約ビデオ記録を入手することが出来る。また、特定の
動作または関係したプレーに関する情報を含むようにメ
タデータが構成された場合には、コーチは、例えば、当
該チームが得点した全てのインスタンスを選択すること
が出来る。撮影された未加工の試合場面のプレゼンテー
ションがどこまでカスタマイズできるかは、識別された
各オブジェクトに関して記録された情報の量およびタイ
プによって規定される。
【００９８】本発明の別の実施例においては、放送の視
聴者がメタデータを利用することが可能である。例え
ば、サッカー競技がテレビの視聴者に対して放映される
場合、適切に構成されたテレビ受像機（例えば、ＴＥＬ
ＥＴＥＸＴ（商標）、ディジタルデータ放送、等を介し
て）には、メタデータも供給可能である。一般に、メタ
データは競技開始以前にダウンロードされるが、しか
し、公知の方法による個別に伝送するか、又は、ビデオ
信号を用いてインタリーブすることにより、放送中にお
けるメタデータの提供も可能である。同様に、例えばＭ
ＰＥＧ符号化等において許容されているフレームのよう
な私用データフレームをメタデータの伝送用に使用する
ことも可能である。
【００９９】テレビジョン又は他のディスプレイ（図示
せず）上で当該競技を見ている場合には、視聴者は、マ
ウス又は他の入力装置（図示せず）を使用して画面に現
れているプレーヤーを選択する。特定のプレーヤを選択
すると、当該視聴者には、例えば当該プレーヤの名前、
彼が所属しており現在プレイ中のチームの名前、当該プ
レーヤの年齢、出身、及び、実績にする統計情報のよう
な情報、及び、現行競技における当該プレーヤの動作に
関する現行情報さえも提供される。この情報は、テレビ
ジョン上の窓様領域、または、主スクリーンから分離し
た手提げ個人ビューアに提供可能である。
【０１００】前記の諸実施例の方法は、例えば図６に示
すように従来型の汎用コンピュータシステム６００を用
いて実施することが好ましい。この場合、図１から図
５、図７、図８までを参照して記述したプロセスは、例
えば、コンピュータシステム６００内で実行中のアプリ
ケーションプログラムのようなソフトウェアとして実行
することが出来る。特に、図１に示す方法のステップ
は、当該コンピュータによって実行されるソフトウェア
における命令によって実施される。この種のソフトウェ
アは、２つの部分に分割可能である。その一方は、リン
クする方法を実行するための部分であり、他方は、コン
ピュータとユーザとの間のユーザインタフェースを管理
するための部分である。前記のソフトウェアは、例え
ば、以下に述べる記憶装置を含むコンピュータ読取り可
能な媒体に記憶可能である。ソフトウェアは、コンピュ
ータ読取り可能な媒体からコンピュータにロードされ、
次に、コンピュータによって実行される。例えば、ソフ
トウェア又はそこに記録されたコンピュータプログラム
を有するコンピュータ読取り可能な媒体はコンピュータ
プログラムプロダクトである。コンピュータにおいてコ
ンピュータプログラムプロダクトを使用し、本発明の実
施例に従ってメタデータを時間順次ディジタル信号とリ
ンクするために有利な装置を実現することが好ましい。
【０１０１】システム６００は、コンピュータモジュー
ル６０１、キーボード６０２のような入力装置、プリン
タ６１５を含む出力装置、及び、ディスプレイ装置６１
４を有する。変調機−復調機（モデム）トランシーバデ
バイス６１６は、例えば、電話線６２１又は機能媒体を
介して接続可能な通信ネットワーク６２０に関して交信
するために、コンピュータモジュール６０１によって使
用される。モデム６１６は、インターネット及び例えば
構内データ通信網（ＬＡＮ）または広域通信網（ＷＡ
Ｎ）のような他のネットワークシステムへアクセスする
ために使用出来る。システム６００は、本発明の実施例
に従って一連のフレームを規定する時間順次ディジタル
ビデオ信号を生成するためのビデオカメラ６２２も含
む。
【０１０２】通常、コンピュータモジュール６０１は、
少なくとも１つのプロセッサユニット６０５、例えば半
導体ランダムアクセスメモリ（ＲＡＭ）と読取り専用メ
モリ（ＲＯＭ）によって形成されるメモリユニット６０
６、ビデオインタフェースを含む６０７入力／出力（Ｉ
／Ｏ）インタフェース、及びキーボード６０２用Ｉ／Ｏ
インターフェイス６１３と任意装備のジョイスティック
（図示せず）、及びモデム６１６用インタフェース６０
８を含む。記憶デバイス６０９が装備され、通常、ハー
ドディスクドライブ６１０とフロッピーディスクドライ
ブ６１１を含む。磁気テープドライブ（図示せず）も使
用可能である。ＣＤ‐ＲＯＭドライブ６１２は一般に、
データの持久ソースとして装備される。コンピュータモ
ジュール６０１の構成要素６０５から６１３までは、一
般に、相互接続されたバス６０４を介して、かつ関連技
術分野における当業者にとって公知であるコンピュータ
システム６００の従来型オペレーションモードを結果的
に実施する方法において通信する。
【０１０３】一般に、上記実施例のアプリケーションプ
ログラムは、ハードディスクドライブ６１０に常駐し、
プロセッサ６０５による実行に際して読取られ、かつ制
御される。プログラム、及び、ネットワーク６２０によ
り伝送されたあらゆるデータの中間の記憶は、場合によ
ってはハードディスク６１０と協力して半導体記憶装置
６０６を用いることにより達成可能である。場合によ
り、アプリケーションプログラムは、ＣＤ‐ＲＯＭ又は
フロッピーディスク上に符号化されたユーザに供給可能
であり、対応するドライブ６１２または６１１を介して
読取り可能であり、或いは、その代りに、モデムデバイ
ス６１６を介してネットワーク６２０からユーザによっ
て読取り可能である。更に、ソフトウェアは、磁気テー
プ、ＲＯＭまたは集積回路、或いは、磁気‐光学ディス
ク、コンピュータモジュール６０１と他のデバイスとの
間の無線または赤外線伝送チャネル、ＰＣＭＣＩＡカー
ドのようなコンピュータ読取り可能カード、及び、Ｅメ
イル伝送およびウェブサイト等に記録された情報を含む
インターネット及びイントラネットを含む他のコンピュ
ータ読取り可能媒体からコンピュータシステム６００に
ロードされることも可能である。上に述べた事は、関連
コンピュータ読取り可能媒体の一例に過ぎない。本発明
の適用範囲および趣旨から逸脱しなければ、他のコンピ
ュータ読取り可能媒体にも使用可能である。
【０１０４】メタデータを時間順次ディジタル信号とリ
ンクする方法は、代案として、例えば図１から図５まで
の機能又はサブ機能を実施する１つ又は複数の集積回路
のような専用ハードウェアにおいて実行可能である。こ
の種の専用ハードウェアは、グラフィックプロセッサ、
ディジタル信号プロセッサ、または、１つ又は複数のマ
イクロプロセッサ、および、関連記憶装置を含んでも差
し支えない。
【０１０５】多数の特定例を参照して本発明について記
述したが、本発明が他の多くの形式において具体化可能
であることを理解されたい。例えば、システム６００
は、ビデオカメラユニット（図示されず）に組み込むこ
とが出来る。前記のビデオカメラユニットは、携帯用で
あっても差し支えなく、また、スポーツイベントを記録
するためにカメラオペレータが使用しても差し支えな
い。
【０１０６】
【発明の効果】本発明によれば、動画中に表されるオブ
ジェクトについての情報を有効に利用することのできる
画像処理方法及びシステム並びに装置を提供することが
できる。
【図面の簡単な説明】
【図１】メタデータと一連のフレームを定義する時間順
次ディジタル信号とをリンクする方法を示すフローチャ
ートである。
【図２】図１に示す方法を用いて検出され、境界および
関連最小限界長方形によって定義されるコヒーレントモ
ーションブロックを有するオブジェクトモーションフィ
ールドを示す図である。
【図３】図１においてＳ１１５によって示される「プロ
セストラッカーリスト」ステップの詳細を示すフローチ
ャートである。
【図４】図１に示す方法を使用するためにオブジェクト
について注釈する方法を示すフローチャートである。
【図５】図１に示す方法を使用するためにオブジェクト
について注釈する代替方法を示すフローチャートであ
る。
【図６】本発明の実施例を実行することのできる汎用コ
ンピュータの概略ブロック図である。
【図７】オーストラリアンフットボール競技用の記述ス
キームを定義する拡張可能なマークアップ言語（ＸＭ
Ｌ）文書型定義（ＤＴＤ）を示す図である。
【図８】図７のＤＴＤファイルによって定義された記述
スキームを用いて、特定のオーストラリアンフットボー
ル競技の一部分に関して作成されたＸＭＬ文書形式のメ
タデータオブジェクトを示す図である。
【符号の説明】
２００ オブジェクトモーションフィールド ２０２ オブジェクト ２０３ 二次元モーションベクトル ２０５ 最小限界長方形 ６００ システム ６０１ コンピュータモジュール ６０７ ビデオインタフェース ６１５ プリンタ

Claims (52)

    【特許請求の範囲】
  1. 【請求項１】時間順次ディジタル信号内の時間空間エク
    ステントへのリンクを有するメタデータオブジェクトを
    生成する画像処理方法であって、 前記時間順次ディジタル信号において注目オブジェクト
    を識別する識別工程と、 前記メタデータオブジェクトにおけるメタデータと前記
    識別工程で識別された前記注目オブジェクトとの間のリ
    ンクエンティティを定義し、前記リンクエンティティが
    前記メタデータオブジェクトの一部を形成する定義工程
    と、 前記時間順次ディジタル信号において前記注目オブジェ
    クトを追跡し、かつ前記注目オブジェクトの前記時間順
    次ディジタル信号における新規な時間空間エクステント
    を含むように前記メタデータオブジェクト内のリンクエ
    ンティティを更新する追跡更新工程と、 前記生成したメタデータオブジェクトを前記時間順次デ
    ィジタル信号に関連付ける関連付け工程とを含むことを
    特徴とする画像処理方法。
  2. 【請求項２】前記時間順次ディジタル信号が一連のビデ
    オフレームを定義し、かつ前記オブジェクトが前記フレ
    ーム内の比較的動かない背景に対する動きに基づいて識
    別されることを特徴とする請求項１に記載の画像処理方
    法。
  3. 【請求項３】前記一連のビデオフレームにおいて、比較
    的近接した時間間隔を有する２つ又はそれ以上のビデオ
    フレームを比較することによって前記オブジェクトが識
    別されることを特徴とする請求項２に記載の画像処理方
    法。
  4. 【請求項４】前記オブジェクトが各フレームにおけるそ
    の位置に関する位置情報を維持することによって追跡さ
    れることを特徴とする請求項３に記載の画像処理方法。
  5. 【請求項５】前記位置情報が各フレームに関して更新さ
    れることを特徴とする請求項４に記載の画像処理方法。
  6. 【請求項６】前記時間順次ディジタル信号において識別
    され得るオブジェクトの１つ又は複数のクラスに関する
    所定の識別情報を提供する工程と、 前記注目オブジェクトを前記識別情報を参照して識別し
    ようとする工程と、 オブジェクトが識別された場合に、前記識別情報を当該
    オブジェクトと該当するメタデータとの間のリンクに関
    係付ける工程とを含むことを特徴とする請求項５に記載
    の画像処理方法。
  7. 【請求項７】前記時間順次ディジタル信号をＭＰＥＧ−
    ２又はＭＰＥＧ−４の方式によって符号化し、前記メー
    タデータと共に記憶媒体に記憶する工程を含むことを特
    徴とする請求項１乃至６のいずれか一つに記載の画像処
    理方法。
  8. 【請求項８】一連のフレームを定義する時間順次ディジ
    タルビデオ信号における時間空間エクステントへのリン
    クを有するメタデータオブジェクトを生成する画像処理
    システムであって、 一連のフレームを定義する前記時間順次ディジタルビデ
    オ信号を生成するための手段を含むビデオソースと、 前記ディジタルビデオ信号における１つ又は複数のフレ
    ーム内に時間空間エクステントを有する注目オブジェク
    トを識別するための画像処理手段と、 各オブジェクトと前記メタデータオブジェクトとの間の
    リンクエンティティを定義するためのリンクエンティテ
    ィ手段と、 を有し、 前記画像処理手段が前記一連の後続フレーム内の当該オ
    ブジェクトを追跡するように構成され、同時に、リンク
    エンティティ手段が各フレームにおける当該オブジェク
    トと前記メタデータオブジェクトとの間のリンクエンテ
    ィティを維持することを特徴とする画像処理システム。
  9. 【請求項９】前記時間順次ディジタルビデオ信号におい
    て識別され得るオブジェクトの１つ又は複数のクラスに
    関する所定の識別情報を記憶するための記憶手段と、 前記オブジェクトを認識するために所定の識別情報を使
    用するための識別手段と、 を更に有し、 オブジェクトの認識に際して、当該オブジェクトに明確
    に対応するメタデータがリンクエンティティによってリ
    ンクされることを特徴とする請求項８に記載の画像処理
    システム。
  10. 【請求項１０】前記ビデオソースがビデオカメラである
    ことを特徴とする請求項８又は９に記載の画像処理シス
    テム。
  11. 【請求項１１】前記ビデオカメラが、当該ビデオカメラ
    の相対的なパン又はズーム運動を表すムーブメント信号
    を生成する位置検出手段を有することを特徴とする請求
    項１０に記載の画像処理システム。
  12. 【請求項１２】前記時間順次ディジタル信号をＭＰＥＧ
    −２又はＭＰＥＧ−４の方式によって符号化し、前記メ
    ータデータと共に記憶媒体に記憶する記憶手段を有する
    ことを特徴とする請求項８乃至１１のいずれか一つに記
    載の画像処理システム。
  13. 【請求項１３】時間順次ディジタル信号における時間空
    間エクステントへのリンクを有するメタデータオブジェ
    クトを生成する画像処理装置であって、 一連のフレームを定義する前記時間順次ディジタルビデ
    オ信号を生成するための手段を含むビデオソースと、 前記ディジタルビデオ信号における１つ又は複数のフレ
    ーム内に時間空間エクステントを有する注目オブジェク
    トを識別するための画像処理手段と、 各オブジェクトと前記メタデータオブジェクトとの間の
    リンクエンティティを定義するためのリンクエンティテ
    ィ手段と、 を有し、 前記画像処理手段が前記一連の後続フレーム内の当該オ
    ブジェクトを追跡するように構成され、同時に、リンク
    エンティティ手段が各フレームにおける当該オブジェク
    トと前記メタデータオブジェクトとの間のリンクエンテ
    ィティを維持することを特徴とする画像処理装置。
  14. 【請求項１４】前記時間順次ディジタルビデオ信号にお
    いて識別され得るオブジェクトの１つ又は複数のクラス
    に関する所定の識別情報を記憶するための記憶手段と、 前記オブジェクトを認識するために所定の識別情報を使
    用するための識別手段と、 を更に有し、 オブジェクトの認識に際して、当該オブジェクトに明確
    に対応するメタデータがリンクエンティティによってリ
    ンクされることを特徴とする請求項１３に記載の画像処
    理装置。
  15. 【請求項１５】前記ビデオソースがビデオカメラである
    ことを特徴とする請求項１３または１４記載の画像処理
    装置。
  16. 【請求項１６】前記ビデオカメラが、前記ビデオカメラ
    の相対的なパン又はズーム運動を表すムーブメント信号
    を生成する位置検出手段を有することを特徴とする請求
    項１５記載の画像処理装置。
  17. 【請求項１７】時間順次ディジタル信号における時間空
    間エクステントへのリンクを有するメタデータオブジェ
    クトを生成するために記録されたコンピュータ読取り可
    能媒体を備えたコンピュータプログラミング製品であっ
    て、 前記時間順次ディジタル信号において注目オブジェクト
    を識別するための識別モジュールと、 前記メタデータオブジェクトにおけるメタデータと前記
    注目オブジェクトとの間のリンクエンティティを定義
    し、該リンクエンティティが前記メタデータオブジェク
    トの部分を形成する定義モジュールと、 前記時間順次ディジタル信号における前記注目オブジェ
    クトを追跡し、かつ前記時間順次ディジタル信号におけ
    る前記注目オブジェクトの新規な時間空間エクステント
    を含むようにメタデータにおけるリンクエンティティを
    更新するための追跡モジュールと、 前記生成されたメタデータオブジェクトを前記時間順次
    ディジタル信号と関連付けるための関連付けモジュール
    と、 を有することを特徴とするコンピュータプログラミング
    製品。
  18. 【請求項１８】前記時間順次ディジタル信号が一連のビ
    デオフレームを定義し、かつ前記オブジェクトが前記フ
    レーム内の比較的動かない背景に対する動きに基づいて
    識別されることを特徴とする請求項１７記載のコンピュ
    ータプログラミング製品。
  19. 【請求項１９】前記一連のビデオフレームで構成される
    ２つ又はそれ以上の比較的近接した時間的間隔を有する
    ビデオフレームを比較することによって前記オブジェク
    トが識別されることを特徴とする請求項１８記載のコン
    ピュータプログラミング製品。
  20. 【請求項２０】前記オブジェクトが各フレームにおける
    その位置に関する位置情報を維持することによって追跡
    されることを特徴とする請求項１９記載のコンピュータ
    プログラミング製品。
  21. 【請求項２１】前記位置情報が各フレームに関して更新
    されることを特徴とする請求項２０記載のコンピュータ
    プログラミング製品。
  22. 【請求項２２】前記時間順次ディジタル信号において識
    別され得る１つ又は複数のオブジェクト及び所定のメタ
    データに関する所定の識別情報を提供するための識別情
    報モジュールと、 前記識別情報に関して識別済みオブジェクトを識別しよ
    うする識別モジュールと、 を更に有し、 前記識別モジュールは、 オブジェクトが識別された場合に、識別情報を前記オブ
    ジェクトと前記当該メタデータとの間のリンクに関係付
    けることを特徴とする請求項２１記載のコンピュータプ
    ログラミング製品。
  23. 【請求項２３】所定のメタデータを、一連のフレームを
    定義する時間順次ディジタル信号とリンクするための画
    像処理方法であって、 前記フレーム内からオブジェクトを検出する検出工程
    と、 前記検出工程で検出された前記オブジェクトと前記メタ
    データとの間のリンクエンティティを定義する工程と、 一連の後続フレームを通じて前記オブジェクトを追跡
    し、同時に、各フレームにおける前記オブジェクトと所
    定のメタデータとの間のリンクエンティティを維持する
    工程と、 を有することを特徴とする画像処理方法。
  24. 【請求項２４】前記オブジェクトが各フレームにおける
    当該オブジェクトの位置に関する位置情報を維持するこ
    とによって追跡されることを特徴とする請求項２３に記
    載の画像処理方法。
  25. 【請求項２５】前記位置情報が各フレームに関して更新
    されることを特徴とする請求項２４に記載の画像処理方
    法。
  26. 【請求項２６】前記時間順次ディジタル信号において検
    出される可能性のある１つ又は複数のオブジェクト、及
    び前記メタデータに関する所定の識別情報を提供する工
    程と、 前記識別情報に関して前記検出工程で検出された前記オ
    ブジェクトを識別しようとする識別工程と、 前記オブジェクトが識別された場合に、前記オブジェク
    トと識別情報に基づく前記メタデータとの間のリンクエ
    ンティティを定義する工程と、 を含むことを特徴とする請求項２３、２４又は２５に記
    載の画像処理方法。
  27. 【請求項２７】前記時間順次ディジタル信号をＭＰＥＧ
    −２又はＭＰＥＧ−４の方式によって符号化し、前記メ
    ータデータと共に記憶媒体に記憶する工程を含むことを
    特徴とする請求項２３乃至２６のいずれか一つに記載の
    画像処理方法。
  28. 【請求項２８】一連のフレームを定義する時間順次ディ
    ジタルビデオ信号と、メタデータとをリンクするための
    画像処理システムであって、 前記一連のフレームを定義する前記時間順次ディジタル
    ビデオ信号を生成するための手段を有するビデオソース
    と、 前記フレーム内からオブジェクトを検出するための画像
    処理手段と、 前記オブジェクトと前記メタデータとの間のリンクエン
    ティティを定義するためのリンクエンティティ手段と、 を有し、 前記画像処理手段が前記一連の後続フレーム内の当該オ
    ブジェクトを追跡するように構成され、同時に、前記リ
    ンクエンティティ手段が各フレームにおける前記オブジ
    ェクトと前記メタデータとの間のリンクエンティティを
    維持することを特徴とする画像処理システム。
  29. 【請求項２９】前記時間順次ディジタルビデオ信号にお
    いて識別され得るオブジェクトの１つ又は複数のクラス
    に関する所定の識別情報を記憶するための記憶手段と、 前記オブジェクトを認識するために所定の識別情報を使
    用するための識別手段と、 を有し、 オブジェクトの認識に際して、当該オブジェクトに明確
    に対応するメタデータがリンクエンティティによってリ
    ンクされることを特徴とする請求項２８に記載の画像処
    理システム。
  30. 【請求項３０】前記ビデオソースがビデオカメラである
    ことを特徴とする請求項２５又は２９に記載の画像処理
    システム。
  31. 【請求項３１】前記ビデオカメラが当該ビデオカメラの
    相対的なパン又はズーム動作を指示す位置検出手段を有
    することを特徴とする請求項３０に記載の画像処理シス
    テム。
  32. 【請求項３２】一連のビデオフレームによって定義され
    る時間順次ディジタル信号における所定のオブジェクト
    を追跡する画像処理方法であって、 フレームのオブジェクトモーションフィールドをその背
    景との関係から決定する工程を含み、 前記オブジェクトモーションフィールドは複数のモーシ
    ョンインジケータによって特性付けられ、各モーション
    インジケータが前記ディジタル画像の複数の領域の空間
    領域のモーションを表すものであって、 更に、 所定のしきい値範囲内の対応するモーションインジケー
    タを有する比較的密接に隣接した領域を１つ又は複数の
    オブジェクト領域内にグループ化する工程と、 一連の後続ビデオフレームを通じて各オブジェクト領域
    を追跡する工程とを含むことを特徴とする画像処理方
    法。
  33. 【請求項３３】前記空間領域が画素であることを特徴と
    する請求項３２に記載の画像処理方法。
  34. 【請求項３４】前記グループ化工程が領域成長方法を利
    用することを特徴とする請求項３２又は３３に記載の画
    像処理方法。
  35. 【請求項３５】前記モーションインジケータがモーショ
    ンベクトルであることを特徴とする請求項３２に記載の
    画像処理方法。
  36. 【請求項３６】捕捉デバイスによって元来捕捉されてい
    る時間順次ディジタル信号においてオブジェクトを追跡
    する画像処理方法であって、 前記時間順次ディジタル信号の選択されたタイムインス
    タンスに関するモーションベクトルフィールドを決定す
    る工程と、 前記捕捉デバイスの捕捉中のモーションに起因する成分
    を前記モーションベクトルフィールドから除去し、それ
    によって、オブジェクトモーションフィールドを生成す
    る工程と、 前記オブジェクトモーションフィールドにおけるコヒー
    レントモーションの領域を識別し、それによって、対応
    する移動オブジェクトを識別する工程と、 １つ又は複数の移動オブジェクトを選択する工程と、 前記時間順次ディジタル信号の後続タイムインスタンス
    内において画像処理追跡方法を選択済みの各オブジェク
    トに適用する工程と、 を含むことを特徴とする画像処理方法。
  37. 【請求項３７】前記オブジェクトモーションフィールド
    におけるコヒーレントモーションの領域を識別するため
    に領域成長方法を使用することを特徴とする請求項３６
    に記載の画像処理方法。
  38. 【請求項３８】前記時間順次ディジタル信号の各インス
    タンスがビデオフレームであることを特徴とする請求項
    ３６又は３７に記載の画像処理方法。
  39. 【請求項３９】前記モーションベクトルフィールドが各
    ビデオフレームに関して決定されることを特徴とする請
    求項３６、３７又は３８に記載の画像処理方法。
  40. 【請求項４０】メタデータが各被追跡オブジェクトに関
    して作成または提供され、かつ前記追跡されたオブジェ
    クトを含む前記時間順次ディジタル信号の空間時間エク
    ステントへのリンクを有するメタデータオブジェクトに
    記憶されることを特徴とする請求項３６乃至３９のいず
    れか一つに記載の画像処理方法。
  41. 【請求項４１】前記メタデータ及び前記時間順次ディジ
    タル信号において識別され得る１つ又は複数のオブジェ
    クトに関する所定の識別情報を提供する工程と、 前記注目オブジェクトを前記識別情報に関して識別しよ
    うとする工程と、 オブジェクトが識別された場合に、前記識別情報を当該
    オブジェクト及び該当するメタデータと関連付ける工程
    と、 を含むことを特徴とする請求項３６乃至４０のいずれか
    一つに記載の画像処理方法。
  42. 【請求項４２】所定のメタデータを、一連のフレームを
    定義する時間順次ディジタル信号とリンクするための画
    像処理装置であって、 前記フレーム内からオブジェクトを検出する検出手段
    と、 前記検出手段で検出された前記オブジェクトと前記メタ
    データとの間のリンクエンティティを定義する手段と、 一連の後続フレームを通じて前記オブジェクトを追跡
    し、同時に、各フレームにおける前記オブジェクトと所
    定のメタデータとの間のリンクエンティティを維持する
    手段と、 を有することを特徴とする画像処理装置。
  43. 【請求項４３】前記時間順次ディジタル信号をＭＰＥＧ
    −２又はＭＰＥＧ−４の方式によって符号化し、前記メ
    ータデータと共に記憶媒体に記憶する記憶手段を有する
    ことを特徴とする請求項４２に記載の画像処理装置。
  44. 【請求項４４】メタデータを一連のフレームを定義する
    時間順次ディジタルビデオ信号とリンクするための画像
    処理装置であって、 前記一連のフレームを定義する前記時間順次ディジタル
    ビデオ信号を生成するための手段を含むビデオソース
    と、 前記フレーム内からオブジェクトを検出する画像処理手
    段と、 前記オブジェクトと前記メタデータとの間のリンクエン
    ティティを定義するためのリンクエンティティ手段と、 を有し、 前記画像処理手段が前記一連の後続フレーム内の当該オ
    ブジェクトを追跡するように構成され、同時に、前記リ
    ンクエンティティ手段が各フレームにおける当該オブジ
    ェクトと前記メタデータとの間のリンクエンティティを
    維持することを特徴とする画像処理装置。
  45. 【請求項４５】更に、 前記時間順次ディジタルビデオ信号において識別され得
    るオブジェクトの１つ又は複数のクラスに関する所定の
    識別情報を記憶するための記憶手段と、 前記オブジェクトを認識するために所定の識別情報を使
    用するための識別手段と、 を有し、 これにより、オブジェクトの認識の際に、当該オブジェ
    クトに明確に対応するメタデータがリンクエンティティ
    によってリンクされることを特徴とする請求項４４に記
    載の画像処理装置。
  46. 【請求項４６】前記ビデオソースがビデオカメラである
    ことを特徴とする請求項４４又は４５に記載の画像処理
    装置。
  47. 【請求項４７】前記ビデオカメラが当該ビデオカメラの
    相対的なパン又はズーム動作を指示するムーブメント信
    号を生成する位置検出手段を有することを特徴とする請
    求項４６に記載の画像処理装置。
  48. 【請求項４８】所定のメタデータを一連のフレームを定
    義する時間順次ディジタル信号とリンクするために記録
    されたコンピュータ読取り可能媒体を有するコンピュー
    タプログラミング製品であって、 前記フレーム内からオブジェクトを検出するための利用
    モジュールと、 前記オブジェクトと前記メタデータとの間のリンクエン
    ティティを定義するための定義モジュールと、 一連の後続フレーム内の前記オブジェクトを追跡し、同
    時に、各フレームにおける前記オブジェクトと所定のメ
    タデータとの間のリンクエンティティを維持するための
    追跡モジュールとを有することを特徴とするコンピュー
    タプログラミング製品。
  49. 【請求項４９】前記オブジェクトが各フレームにおける
    当該オブジェクトの位置に関する位置情報を維持するこ
    とによって追跡されることを特徴とする請求項４８に記
    載のコンピュータプログラミング製品。
  50. 【請求項５０】前記位置情報が各フレームに関して更新
    されることを特徴とする請求項４９に記載のコンピュー
    タプログラミング製品。
  51. 【請求項５１】前記メタデータ及び前記時間順次ディジ
    タル信号において検出される可能性のある１つ又は複数
    のオブジェクトに関する所定の識別情報を提供するため
    の提供モジュールと、 前記識別情報に関して検出されたオブジェクトを識別し
    ようとするための識別モジュールと、 前記検出されたオブジェクトが識別される場合に、前記
    オブジェクトと前記メタデータとの間のリンクエンティ
    ティを前記識別情報に基づいて定義するモジュールと、 を有することを特徴とする請求項４８、４９又は５０に
    記載のコンピュータプログラミング製品。
  52. 【請求項５２】前記時間順次ディジタル信号をＭＰＥＧ
    −２又はＭＰＥＧ−４の方式によって符号化し、前記メ
    ータデータと共に記憶媒体に記憶する記憶モジュールを
    有することを特徴とする請求項４８乃至５１のいずれか
    一つに記載のコンピュータプログラミング製品。
JP19803799A 1998-07-10 1999-07-12 画像処理方法、画像処理装置及び記憶媒体 Expired - Fee Related JP4218915B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
AUPP4621A AUPP462198A0 (en) 1998-07-10 1998-07-10 Linking metadata with a time sequential digital signal
AU4621 1998-07-10
AUPP4622A AUPP462298A0 (en) 1998-07-10 1998-07-10 Multiple object tracking
AU4622 1999-12-13

Publications (3)

Publication Number Publication Date
JP2000106661A true JP2000106661A (ja) 2000-04-11
JP2000106661A5 JP2000106661A5 (ja) 2006-09-14
JP4218915B2 JP4218915B2 (ja) 2009-02-04

Family

ID=25645824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19803799A Expired - Fee Related JP4218915B2 (ja) 1998-07-10 1999-07-12 画像処理方法、画像処理装置及び記憶媒体

Country Status (2)

Country Link
US (1) US6711590B1 (ja)
JP (1) JP4218915B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165210A (ja) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd データ送信端末及びデータ送受信装置
JP2005260357A (ja) * 2004-03-09 2005-09-22 Canon Inc 画像記録再生装置、画像記録再生方法、及びプログラム
KR100651034B1 (ko) 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR20160037643A (ko) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 객체 인식을 위한 객체 후보영역 설정방법 및 장치

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332478B2 (en) * 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US7487439B1 (en) * 1999-10-19 2009-02-03 International Business Machines Corporation Method and apparatus for converting between data sets and XML documents
US6915304B2 (en) * 2000-05-23 2005-07-05 Kenneth A. Krupa System and method for converting an XML data structure into a relational database
JP4273636B2 (ja) * 2000-06-30 2009-06-03 ソニー株式会社 情報記録装置及び方法、情報記録システム
KR100853409B1 (ko) * 2000-10-24 2008-08-21 에이오엘 엘엘씨 내장형 미디어 플레이어 페이지를 이용한 광고의 산포 방법, 및 이러한 방법을 실행하도록 프로세서에게 지시하기 위해 컴퓨터 프로그램 코드로 인코딩된 컴퓨터-판독가능 매체
US8122236B2 (en) 2001-10-24 2012-02-21 Aol Inc. Method of disseminating advertisements using an embedded media player page
FR2816157A1 (fr) * 2000-10-31 2002-05-03 Thomson Multimedia Sa Procede de traitement de donnees video distinees a etre visualisees sur ecran et dispositif mettant en oeuvre le procede
US6842761B2 (en) * 2000-11-21 2005-01-11 America Online, Inc. Full-text relevancy ranking
JP2002230039A (ja) * 2001-01-31 2002-08-16 Nec Corp 情報提供システム及び情報提供方法
US20040064500A1 (en) * 2001-11-20 2004-04-01 Kolar Jennifer Lynn System and method for unified extraction of media objects
KR20030049642A (ko) * 2001-12-17 2003-06-25 한국전자통신연구원 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법
CA2664732C (en) * 2002-04-12 2013-07-02 Mitsubishi Denki Kabushiki Kaisha An apparatus to edit, reproduce, deliver, search and re-generate condition settings for metadata
US6995787B2 (en) * 2002-08-21 2006-02-07 Adams Steven L Sports projectile and camera apparatus
US7995090B2 (en) * 2003-07-28 2011-08-09 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
JP5009781B2 (ja) * 2004-03-04 2012-08-22 マスソフト・エンジニアリング・アンド・エデユケーシヨン・インコーポレーテツド 技術計算のトレーサビリティを自動的に可能にする方法
US20050213662A1 (en) * 2004-03-29 2005-09-29 James Owens Method of compression and digital imaging device employing compression algorithm
US7675520B2 (en) * 2005-12-09 2010-03-09 Digital Steamworks, Llc System, method and computer program for creating two dimensional (2D) or three dimensional (3D) computer animation from video
JP2009533727A (ja) * 2006-04-07 2009-09-17 パラメトリク・テクノロジー・コーポレーシヨン 文書の系図を維持するシステムと方法
US20080008364A1 (en) * 2006-07-10 2008-01-10 Teng-Tsai Huang Video monitoring device for vehicle
US9633356B2 (en) * 2006-07-20 2017-04-25 Aol Inc. Targeted advertising for playlists based upon search queries
US20110022589A1 (en) * 2008-03-31 2011-01-27 Dolby Laboratories Licensing Corporation Associating information with media content using objects recognized therein
US8752301B2 (en) * 2009-04-08 2014-06-17 Rex George Chainsaw incorporating a safety device system
US9071949B2 (en) 2009-04-28 2015-06-30 At&T Mobility Ii Llc Data extraction from a call
GB2515926B (en) * 2010-07-19 2015-02-11 Ipsotek Ltd Apparatus, system and method
US8854474B2 (en) * 2011-03-08 2014-10-07 Nice Systems Ltd. System and method for quick object verification
SE537206C2 (sv) * 2012-04-11 2015-03-03 Vidispine Ab Metod och system för sökningar i digitalt innehåll
CN104704534B (zh) * 2012-10-01 2018-01-05 皇家飞利浦有限公司 医学图像导航
US8863175B2 (en) 2012-12-19 2014-10-14 Ebay Inc. Method and system for targeted commerce in network broadcasting
WO2014144430A1 (en) * 2013-03-15 2014-09-18 Iposi, Inc. Indoor location using a packet synchronized receiver array
WO2016138121A1 (en) 2015-02-24 2016-09-01 Plaay, Llc System and method for creating a sports video
WO2019030551A1 (en) * 2017-08-08 2019-02-14 Milstein Mark METHOD FOR APPLYING METADATA TO IMMERSIVE MULTIMEDIA FILES
US10623692B2 (en) 2018-07-13 2020-04-14 Analog Devices Global Unlimited Company High definition analog video and control link for automotive applications
US10855951B2 (en) 2018-07-13 2020-12-01 Analog Devices Global Unlimited Company Methods and devices for compensating sag effect
US10462413B1 (en) * 2018-10-26 2019-10-29 Analog Devices Global Unlimited Company Using metadata for DC offset correction for an AC-coupled video link
US11907293B2 (en) * 2020-12-14 2024-02-20 CACI, Inc.—Federal Reasoning from surveillance video via computer vision-based multi-object tracking and spatiotemporal proximity graphs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832496A (en) * 1995-10-12 1998-11-03 Ncr Corporation System and method for performing intelligent analysis of a computer database
US5870746A (en) * 1995-10-12 1999-02-09 Ncr Corporation System and method for segmenting a database based upon data attributes
US5862325A (en) * 1996-02-29 1999-01-19 Intermind Corporation Computer-based communication system and method using metadata defining a control structure

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165210A (ja) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd データ送信端末及びデータ送受信装置
JP2005260357A (ja) * 2004-03-09 2005-09-22 Canon Inc 画像記録再生装置、画像記録再生方法、及びプログラム
KR100651034B1 (ko) 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR20160037643A (ko) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 객체 인식을 위한 객체 후보영역 설정방법 및 장치
KR102085035B1 (ko) * 2014-09-29 2020-03-05 에스케이 텔레콤주식회사 객체 인식을 위한 객체 후보영역 설정방법 및 장치

Also Published As

Publication number Publication date
US6711590B1 (en) 2004-03-23
JP4218915B2 (ja) 2009-02-04

Similar Documents

Publication Publication Date Title
JP4218915B2 (ja) 画像処理方法、画像処理装置及び記憶媒体
JP4901040B2 (ja) ビデオストリームにおける移動物体のマーキング
D'Orazio et al. A semi-automatic system for ground truth generation of soccer video sequences
US8620037B2 (en) Human image retrieval system
US10491961B2 (en) System for annotating media content for automatic content understanding
US20100086283A1 (en) Systems and methods for updating video content with linked tagging information
US20110262103A1 (en) Systems and methods for updating video content with linked tagging information
EP1366466B1 (en) Sport analysis system and method
US8503770B2 (en) Information processing apparatus and method, and program
US11676389B2 (en) Forensic video exploitation and analysis tools
Pingali et al. Instantly indexed multimedia databases of real world events
US20040207656A1 (en) Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same
US20040250296A1 (en) Method, apparatus and system for providing access to product data
CA2387404A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US9948999B2 (en) Video processing system and method
CN108600858B (zh) 一种同步显示ar信息的视频播放方法
CN105657514A (zh) 一种在移动设备浏览器中视频播放关键信息的方法及装置
CN113709542A (zh) 一种交互式全景视频播放的方法和系统
JP2008287594A (ja) 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム
US20130205334A1 (en) Method and apparatus for providing supplementary information about content in broadcasting system
US20190366222A1 (en) System and method for broadcasting interactive object selection
AU734202B2 (en) Linking metadata with a time-sequential digital signal
US20110261258A1 (en) Systems and methods for updating video content with linked tagging information
JP2003143546A (ja) フットボールビデオ処理方法
Martín et al. Automatic players detection and tracking in multi-camera tennis videos

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060707

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060707

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080731

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees