JP2002232839A - ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 - Google Patents
ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法Info
- Publication number
- JP2002232839A JP2002232839A JP2001263656A JP2001263656A JP2002232839A JP 2002232839 A JP2002232839 A JP 2002232839A JP 2001263656 A JP2001263656 A JP 2001263656A JP 2001263656 A JP2001263656 A JP 2001263656A JP 2002232839 A JP2002232839 A JP 2002232839A
- Authority
- JP
- Japan
- Prior art keywords
- query
- frame
- shot
- label
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 付加的操作が不用でオブジェクトの動きによ
らずクエリーオブジェクト領域がキーフレームにより各
フレームで抽出され、しかも対応するクエリーオブジェ
クト情報からラベルが付けられたオブジェクト映像が各
フレームで生成されるビデオシーケンスのラベルオブジ
ェクト映像生成方法及び装置を提供する。 【解決手段】 クエリーオブジェクトを含むビデオシー
ケンスを入力し（２００、２１０）、前記ビデオシーケ
ンスを類似場面特性を有するフレームよりなるショット
に分割し（２２０）、それぞれのショットを表現する代
表映像にクエリーオブジェクトが存在しているか否かを
判断して対応するショットの初期オブジェクト領域を抽
出し（２３０）、これら初期オブジェクト領域を用いて
対応する各ショットに存在するフレームに対しオブジェ
クト領域を追跡及びオブジェクト領域表示を行ない（２
４０）、ラベルオブジェクト映像を生成する（２５
０）。
らずクエリーオブジェクト領域がキーフレームにより各
フレームで抽出され、しかも対応するクエリーオブジェ
クト情報からラベルが付けられたオブジェクト映像が各
フレームで生成されるビデオシーケンスのラベルオブジ
ェクト映像生成方法及び装置を提供する。 【解決手段】 クエリーオブジェクトを含むビデオシー
ケンスを入力し（２００、２１０）、前記ビデオシーケ
ンスを類似場面特性を有するフレームよりなるショット
に分割し（２２０）、それぞれのショットを表現する代
表映像にクエリーオブジェクトが存在しているか否かを
判断して対応するショットの初期オブジェクト領域を抽
出し（２３０）、これら初期オブジェクト領域を用いて
対応する各ショットに存在するフレームに対しオブジェ
クト領域を追跡及びオブジェクト領域表示を行ない（２
４０）、ラベルオブジェクト映像を生成する（２５
０）。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオシーケンス
からオブジェクトを抽出してラベルが貼り付けられたオ
ブジェクトの映像（ラベルオブジェクト映像）を生成す
るための装置、及びその方法、並びにそのコンピュータ
プログラムを備えたコンピュータが読取り可能な記憶媒
体に関する。
からオブジェクトを抽出してラベルが貼り付けられたオ
ブジェクトの映像（ラベルオブジェクト映像）を生成す
るための装置、及びその方法、並びにそのコンピュータ
プログラムを備えたコンピュータが読取り可能な記憶媒
体に関する。
【０００２】
【従来の技術】従来、動画像のラベルオブジェクト映像
を生成するために、クエリーオブジェクト（ｑｕｅｒｙ
ｏｂｊｅｃｔ）がその動画像の各フレームからマニュ
アルで抽出されていた。このような付加的なマニュアル
操作を実行せずに、映像から自動的にオブジェクトを抽
出する方法が、近年発表されている。前記映像からのオ
ブジェクトの抽出方法は、オブジェクトの動きに基づい
た抽出方法と、オブジェクト領域の特性値に基づいた抽
出方法とに大別される。
を生成するために、クエリーオブジェクト（ｑｕｅｒｙ
ｏｂｊｅｃｔ）がその動画像の各フレームからマニュ
アルで抽出されていた。このような付加的なマニュアル
操作を実行せずに、映像から自動的にオブジェクトを抽
出する方法が、近年発表されている。前記映像からのオ
ブジェクトの抽出方法は、オブジェクトの動きに基づい
た抽出方法と、オブジェクト領域の特性値に基づいた抽
出方法とに大別される。
【０００３】前記オブジェクトの動きに基づいた抽出方
法には、オブジェクトの動きに基づいてフレームの差を
求める方法、オブジェクトの動きに基づいて背景が除去
される方法、及びオブジェクトの動きに基づいてその動
きが解析される方法がある。前記オブジェクトの動きに
基づいてフレームの差を求める方法としては、例えば、
米国特許５５００９０４号明細書、及び米国特許５１０
９４３５号明細書に開示されているような、映像におけ
る連続したフレーム間の輝度差を計算してオブジェクト
の動きを抽出する方法が挙げられる。
法には、オブジェクトの動きに基づいてフレームの差を
求める方法、オブジェクトの動きに基づいて背景が除去
される方法、及びオブジェクトの動きに基づいてその動
きが解析される方法がある。前記オブジェクトの動きに
基づいてフレームの差を求める方法としては、例えば、
米国特許５５００９０４号明細書、及び米国特許５１０
９４３５号明細書に開示されているような、映像におけ
る連続したフレーム間の輝度差を計算してオブジェクト
の動きを抽出する方法が挙げられる。
【０００４】また、前記オブジェクトの動きに基づいて
背景領域が除去される方法としては、例えば、米国特許
５７４８７７５号明細書に開示されているような、映像
の特性パラメータの時間変化を利用して映像の背景が復
元され、元の映像と前記復元された映像の背景との差を
用いてオブジェクト領域を抽出する方法が挙げられる。
そして、前記オブジェクトの動きに基づいてその動きが
解析される方法としては、例えば、米国特許５８６２５
０８号明細書に開示されているような、オブジェクトの
運動方向と速度とを計算して運動領域を抽出する方法が
挙げられる。
背景領域が除去される方法としては、例えば、米国特許
５７４８７７５号明細書に開示されているような、映像
の特性パラメータの時間変化を利用して映像の背景が復
元され、元の映像と前記復元された映像の背景との差を
用いてオブジェクト領域を抽出する方法が挙げられる。
そして、前記オブジェクトの動きに基づいてその動きが
解析される方法としては、例えば、米国特許５８６２５
０８号明細書に開示されているような、オブジェクトの
運動方向と速度とを計算して運動領域を抽出する方法が
挙げられる。
【０００５】しかしながら、このような従来のオブジェ
クトの抽出方法は、オブジェクトの動きの速度が適切で
ある場合にしか適用することができなかった。このた
め、このような従来のオブジェクト領域の抽出方法を、
静止映像や、オブジェクトの動きが遅い映像、あるいは
オブジェクトの動きが速い映像に適用することは困難で
あった。
クトの抽出方法は、オブジェクトの動きの速度が適切で
ある場合にしか適用することができなかった。このた
め、このような従来のオブジェクト領域の抽出方法を、
静止映像や、オブジェクトの動きが遅い映像、あるいは
オブジェクトの動きが速い映像に適用することは困難で
あった。
【０００６】さらに、前記のオブジェクト領域の特性値
に基づくオブジェクトの抽出方法としては、例えば、米
国特許５９４３４４２号明細書に開示されているよう
な、テンプレートを整合させる方法や、米国特許５１３
８６７１号明細書に開示されているような、多重スレシ
ョルド値（閾値）を分割させる方法、またはオブジェク
ト領域の特性値を整合させる方法が挙げられる。これら
の方法を用いて動画像データからクエリーオブジェクト
を抽出する場合、各クエリーオブジェクトに基づく全て
のフレームに対してこれらの方法を適用することが必要
となる。このため、このような従来のオブジェクト領域
の特性値に基づくオブジェクトの抽出方法において、前
記クエリーオブジェクトを抽出しようとすると、長時間
を要するという問題があった。
に基づくオブジェクトの抽出方法としては、例えば、米
国特許５９４３４４２号明細書に開示されているよう
な、テンプレートを整合させる方法や、米国特許５１３
８６７１号明細書に開示されているような、多重スレシ
ョルド値（閾値）を分割させる方法、またはオブジェク
ト領域の特性値を整合させる方法が挙げられる。これら
の方法を用いて動画像データからクエリーオブジェクト
を抽出する場合、各クエリーオブジェクトに基づく全て
のフレームに対してこれらの方法を適用することが必要
となる。このため、このような従来のオブジェクト領域
の特性値に基づくオブジェクトの抽出方法において、前
記クエリーオブジェクトを抽出しようとすると、長時間
を要するという問題があった。
【０００７】
【発明が解決しようとする課題】前記問題点に鑑み、本
発明の目的は、付加的なマニュアル操作を必要とせず、
かつオブジェクトの動きの程度によらず、クエリーオブ
ジェクト領域がキーフレームに基づいて各フレームで抽
出され、しかも対応するクエリーオブジェクトの情報に
基づいてラベルの貼付けが行なわれたオブジェクト映像
が各フレームで生成され得る、動画像でラベルオブジェ
クト映像を生成するための装置、及びその方法を提供す
ることにある。
発明の目的は、付加的なマニュアル操作を必要とせず、
かつオブジェクトの動きの程度によらず、クエリーオブ
ジェクト領域がキーフレームに基づいて各フレームで抽
出され、しかも対応するクエリーオブジェクトの情報に
基づいてラベルの貼付けが行なわれたオブジェクト映像
が各フレームで生成され得る、動画像でラベルオブジェ
クト映像を生成するための装置、及びその方法を提供す
ることにある。
【０００８】
【課題を解決するための手段】前記課題を解決するため
に、本発明に係る請求項１は、抽出しようとするクエリ
ーオブジェクトを含むビデオシーケンスを入力し、前記
クエリーオブジェクトに基づいてラベルオブジェクト映
像を生成する方法であって、（ａ）前記ビデオシーケン
スを、類似場面を有するフレームからなる一つ以上のシ
ョットに分割し、各ショットから一つ以上のキーフレー
ムを選択する段階と、（ｂ）前記各キーフレームから、
クエリーオブジェクトに基づいて初期オブジェクト領域
を抽出する段階と、（ｃ）前記対応するクエリーオブジ
ェクトに基づいた初期オブジェクト領域の各ショットを
構成する全てのフレームで、オブジェクト領域を追跡す
る段階と、（ｄ）前記対応するクエリーオブジェクトの
情報に基づいて、各フレームで追跡されたオブジェクト
領域にラベルを貼り付ける段階とを含むことを特徴とす
るビデオシーケンスのラベルオブジェクト映像生成方法
を提供する。
に、本発明に係る請求項１は、抽出しようとするクエリ
ーオブジェクトを含むビデオシーケンスを入力し、前記
クエリーオブジェクトに基づいてラベルオブジェクト映
像を生成する方法であって、（ａ）前記ビデオシーケン
スを、類似場面を有するフレームからなる一つ以上のシ
ョットに分割し、各ショットから一つ以上のキーフレー
ムを選択する段階と、（ｂ）前記各キーフレームから、
クエリーオブジェクトに基づいて初期オブジェクト領域
を抽出する段階と、（ｃ）前記対応するクエリーオブジ
ェクトに基づいた初期オブジェクト領域の各ショットを
構成する全てのフレームで、オブジェクト領域を追跡す
る段階と、（ｄ）前記対応するクエリーオブジェクトの
情報に基づいて、各フレームで追跡されたオブジェクト
領域にラベルを貼り付ける段階とを含むことを特徴とす
るビデオシーケンスのラベルオブジェクト映像生成方法
を提供する。
【０００９】本発明に係る請求項２は、前記請求項１に
おいて、（ｂ）段階が、（ｂ１）各キーフレームで各ク
エリーオブジェクトと類似したオブジェクトが存在する
か否かを判断し、キーフレームで類似したオブジェクト
が存在すれば、対応するクエリーオブジェクトに基づく
初期オブジェクト領域として前記類似したオブジェクト
を抽出する段階と、（ｂ２）各キーフレームから抽出さ
れた、クエリーオブジェクトに基づく初期オブジェクト
領域の画素を第１の値として設定し、前記キーフレーム
の残りの画素を第２の値に設定することにより、各ショ
ットの全てのキーフレームで、クエリーオブジェクトに
基づくショットマスク映像を生成する段階とを含むこと
が望ましい。
おいて、（ｂ）段階が、（ｂ１）各キーフレームで各ク
エリーオブジェクトと類似したオブジェクトが存在する
か否かを判断し、キーフレームで類似したオブジェクト
が存在すれば、対応するクエリーオブジェクトに基づく
初期オブジェクト領域として前記類似したオブジェクト
を抽出する段階と、（ｂ２）各キーフレームから抽出さ
れた、クエリーオブジェクトに基づく初期オブジェクト
領域の画素を第１の値として設定し、前記キーフレーム
の残りの画素を第２の値に設定することにより、各ショ
ットの全てのキーフレームで、クエリーオブジェクトに
基づくショットマスク映像を生成する段階とを含むこと
が望ましい。
【００１０】また、本発明に係る請求項３は、前記請求
項２において、（ｃ）段階が、（ｃ１）対応するクエリ
ー映像に基づいたショットマスク映像、及び対応するク
エリーオブジェクトの映像特性値に基づいて、各ショッ
トを構成する全てのフレームのオブジェクト領域を追跡
する段階と、（ｃ２）各フレームで追跡されたオブジェ
クト領域の画素を第１の値に設定し、前記フレームの残
りの画素を第２の値に設定することにより、各ショット
を構成する全てのフレームで、クエリーオブジェクトに
基づくフレームマスク映像を生成する段階とを含むこと
が望ましい。
項２において、（ｃ）段階が、（ｃ１）対応するクエリ
ー映像に基づいたショットマスク映像、及び対応するク
エリーオブジェクトの映像特性値に基づいて、各ショッ
トを構成する全てのフレームのオブジェクト領域を追跡
する段階と、（ｃ２）各フレームで追跡されたオブジェ
クト領域の画素を第１の値に設定し、前記フレームの残
りの画素を第２の値に設定することにより、各ショット
を構成する全てのフレームで、クエリーオブジェクトに
基づくフレームマスク映像を生成する段階とを含むこと
が望ましい。
【００１１】さらに、本発明に係る請求項４は、前記請
求項１において、（ｄ）段階が、対応するクエリー映像
に対して設定された固有番号、または各フレームで対応
するクエリー映像が位置する座標情報で、各オブジェク
ト領域が、各フレームでラベルが貼り付けられることが
望ましい。
求項１において、（ｄ）段階が、対応するクエリー映像
に対して設定された固有番号、または各フレームで対応
するクエリー映像が位置する座標情報で、各オブジェク
ト領域が、各フレームでラベルが貼り付けられることが
望ましい。
【００１２】前記課題を解決するために、本発明に係る
請求項５は、抽出しようとするクエリーオブジェクトを
含むビデオシーケンスを入力し、前記クエリーオブジェ
クトに基づいてラベルオブジェクト映像を生成する装置
であって、前記ビデオシーケンスを、類似場面を有する
フレームからなる一つ以上のショットに分割し、各ショ
ットから一つ以上のキーフレームを選択するショット及
びキーフレーム設定部と、前記各キーフレームから、ク
エリーオブジェクトに基づいて初期オブジェクト領域を
抽出する初期オブジェクト領域抽出部と、前記対応する
クエリーオブジェクトに基づいた初期オブジェクト領域
の各ショットを構成する全てのフレームで、オブジェク
ト領域を追跡するオブジェクト領域追跡部と、前記対応
するクエリーオブジェクトの情報に基づいて、各フレー
ムで追跡されたオブジェクト領域にラベルを貼り付ける
ラベルオブジェクト映像生成部とを含むことを特徴とす
るビデオシーケンスのラベルオブジェクト映像生成装置
を提供する。
請求項５は、抽出しようとするクエリーオブジェクトを
含むビデオシーケンスを入力し、前記クエリーオブジェ
クトに基づいてラベルオブジェクト映像を生成する装置
であって、前記ビデオシーケンスを、類似場面を有する
フレームからなる一つ以上のショットに分割し、各ショ
ットから一つ以上のキーフレームを選択するショット及
びキーフレーム設定部と、前記各キーフレームから、ク
エリーオブジェクトに基づいて初期オブジェクト領域を
抽出する初期オブジェクト領域抽出部と、前記対応する
クエリーオブジェクトに基づいた初期オブジェクト領域
の各ショットを構成する全てのフレームで、オブジェク
ト領域を追跡するオブジェクト領域追跡部と、前記対応
するクエリーオブジェクトの情報に基づいて、各フレー
ムで追跡されたオブジェクト領域にラベルを貼り付ける
ラベルオブジェクト映像生成部とを含むことを特徴とす
るビデオシーケンスのラベルオブジェクト映像生成装置
を提供する。
【００１３】本発明に係る請求項６は、前記請求項５に
おいて、初期オブジェクト領域抽出部が、各キーフレー
ムで各クエリー映像と類似したオブジェクトが存在する
か否かを判断し、キーフレームで類似したオブジェクト
が存在すれば、対応するクエリーオブジェクトに基づい
た初期オブジェクト領域として、前記類似したオブジェ
クトを抽出し、前記各キーフレームから抽出された、ク
エリーオブジェクトに基づく初期オブジェクト領域の画
素を第１の値に設定し、前記キーフレームの残りの画素
を第２の値に設定することにより、各ショットの全ての
キーフレームでクエリーオブジェクトに基づくショット
マスク映像を生成することが望ましい。
おいて、初期オブジェクト領域抽出部が、各キーフレー
ムで各クエリー映像と類似したオブジェクトが存在する
か否かを判断し、キーフレームで類似したオブジェクト
が存在すれば、対応するクエリーオブジェクトに基づい
た初期オブジェクト領域として、前記類似したオブジェ
クトを抽出し、前記各キーフレームから抽出された、ク
エリーオブジェクトに基づく初期オブジェクト領域の画
素を第１の値に設定し、前記キーフレームの残りの画素
を第２の値に設定することにより、各ショットの全ての
キーフレームでクエリーオブジェクトに基づくショット
マスク映像を生成することが望ましい。
【００１４】また、本発明に係る請求項７は、前記請求
項６において、オブジェクト領域追跡部が、対応するク
エリー映像に基づいたショットマスク映像、及び対応す
るクエリーオブジェクトの映像特性値に基づいて、各シ
ョットを構成する全てのフレームのオブジェクト領域を
追跡し、前記各フレームで追跡されたオブジェクト領域
の画素を第１の値に設定し、前記フレームの残りの画素
を第２の値に設定することにより、各ショットを構成す
る全てのフレームで、クエリーオブジェクトに基づくフ
レームマスク映像を生成することが望ましい。
項６において、オブジェクト領域追跡部が、対応するク
エリー映像に基づいたショットマスク映像、及び対応す
るクエリーオブジェクトの映像特性値に基づいて、各シ
ョットを構成する全てのフレームのオブジェクト領域を
追跡し、前記各フレームで追跡されたオブジェクト領域
の画素を第１の値に設定し、前記フレームの残りの画素
を第２の値に設定することにより、各ショットを構成す
る全てのフレームで、クエリーオブジェクトに基づくフ
レームマスク映像を生成することが望ましい。
【００１５】また、本発明に係る請求項８は、前記請求
項５において、ラベルオブジェクト映像生成部が、対応
するクエリー映像に対して設定された固有番号、または
各フレーム内で対応するクエリー映像が位置する座標情
報を用いて、各フレームの各々のオブジェクト領域にラ
ベルを貼り付けることが望ましい。
項５において、ラベルオブジェクト映像生成部が、対応
するクエリー映像に対して設定された固有番号、または
各フレーム内で対応するクエリー映像が位置する座標情
報を用いて、各フレームの各々のオブジェクト領域にラ
ベルを貼り付けることが望ましい。
【００１６】そして、前記課題を解決するために、本発
明に係る請求項９は、抽出しようとするクエリーオブジ
ェクトを含むビデオシーケンスを入力し、前記クエリー
オブジェクトに基づいてビデオシーケンスのラベルオブ
ジェクト映像を生成するためのコンピュータプログラム
を備えたコンピュータが読取り可能な記憶媒体であっ
て、（ａ）前記ビデオシーケンスを、類似場面を有する
フレームからなる一つ以上のショットに分割し、各ショ
ットから一つ以上のキーフレームを選択する段階と、
（ｂ）前記各キーフレームから、クエリーオブジェクト
に基づいて初期オブジェクト領域を抽出する段階と、
（ｃ）前記対応するクエリー映像に基づく初期オブジェ
クト領域の各ショットを構成する全てのフレームで、オ
ブジェクト領域を追跡する段階と、（ｄ）前記対応する
クエリーオブジェクトの情報に基づいて、各フレームで
追跡されたオブジェクト領域にラベルを貼り付ける段階
とを含むことを特徴とするビデオシーケンスのラベルオ
ブジェクト映像を生成ためのコンピュータプログラムを
備えたコンピュータが読取り可能な記憶媒体を提供す
る。
明に係る請求項９は、抽出しようとするクエリーオブジ
ェクトを含むビデオシーケンスを入力し、前記クエリー
オブジェクトに基づいてビデオシーケンスのラベルオブ
ジェクト映像を生成するためのコンピュータプログラム
を備えたコンピュータが読取り可能な記憶媒体であっ
て、（ａ）前記ビデオシーケンスを、類似場面を有する
フレームからなる一つ以上のショットに分割し、各ショ
ットから一つ以上のキーフレームを選択する段階と、
（ｂ）前記各キーフレームから、クエリーオブジェクト
に基づいて初期オブジェクト領域を抽出する段階と、
（ｃ）前記対応するクエリー映像に基づく初期オブジェ
クト領域の各ショットを構成する全てのフレームで、オ
ブジェクト領域を追跡する段階と、（ｄ）前記対応する
クエリーオブジェクトの情報に基づいて、各フレームで
追跡されたオブジェクト領域にラベルを貼り付ける段階
とを含むことを特徴とするビデオシーケンスのラベルオ
ブジェクト映像を生成ためのコンピュータプログラムを
備えたコンピュータが読取り可能な記憶媒体を提供す
る。
【００１７】
【発明の実施の形態】以下に、添付した図面を参照しな
がら本発明の実施の形態を詳細に説明する。図１は、本
発明に係るビデオシーケンスのラベルオブジェクト映像
生成装置を適用した一実施形態のオブジェクト基盤相互
対話型サービスシステムの構成を模式的に示したブロッ
ク図である。図１に示すように、本発明に係るビデオシ
ーケンスのラベルオブジェクト映像生成装置は、使用者
端末器１００、サーバ１２０、ビデオシーケンスデータ
ベース（以下、データベースを「ＤＢ」と称す）１３０
及び関心オブジェクトＤＢ１４０を具備して構成されて
いる。
がら本発明の実施の形態を詳細に説明する。図１は、本
発明に係るビデオシーケンスのラベルオブジェクト映像
生成装置を適用した一実施形態のオブジェクト基盤相互
対話型サービスシステムの構成を模式的に示したブロッ
ク図である。図１に示すように、本発明に係るビデオシ
ーケンスのラベルオブジェクト映像生成装置は、使用者
端末器１００、サーバ１２０、ビデオシーケンスデータ
ベース（以下、データベースを「ＤＢ」と称す）１３０
及び関心オブジェクトＤＢ１４０を具備して構成されて
いる。
【００１８】また、図１に示す本発明に係るオブジェク
ト基盤相互対話型サービスシステムにあっては、一つ以
上のクエリーオブジェクトに対応する、動画像データの
オブジェクト領域をラベルオブジェクト映像として生成
するようになっている。
ト基盤相互対話型サービスシステムにあっては、一つ以
上のクエリーオブジェクトに対応する、動画像データの
オブジェクト領域をラベルオブジェクト映像として生成
するようになっている。
【００１９】図１を参照すると、本発明に含まれる使用
者端末器１００は、オブジェクト基盤相互対話型の映像
プレーヤー、またはＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃ
ｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
４）プレーヤーを具備し、ネットワーク１１０を介し
て遠隔でサーバ１２０に接続されている。そして、使用
者端末器１００の一つがサーバ１２０に接続されると、
オブジェクト基盤相互対話型の映像プレーヤーが実行さ
れて使用者は使用者端末器１００の画面を通じてサーバ
１２０で提供される動画像を視聴することができる。ま
た、本発明にあっては、使用者はオブジェクト基盤対話
型の映像プレーヤーを介して動画像を視聴する一方で、
ビデオシーケンスで任意の一フレームのうちで任意の一
オブジェクト（関心オブジェクト）を選択できるように
構成されている。
者端末器１００は、オブジェクト基盤相互対話型の映像
プレーヤー、またはＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃ
ｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
４）プレーヤーを具備し、ネットワーク１１０を介し
て遠隔でサーバ１２０に接続されている。そして、使用
者端末器１００の一つがサーバ１２０に接続されると、
オブジェクト基盤相互対話型の映像プレーヤーが実行さ
れて使用者は使用者端末器１００の画面を通じてサーバ
１２０で提供される動画像を視聴することができる。ま
た、本発明にあっては、使用者はオブジェクト基盤対話
型の映像プレーヤーを介して動画像を視聴する一方で、
ビデオシーケンスで任意の一フレームのうちで任意の一
オブジェクト（関心オブジェクト）を選択できるように
構成されている。
【００２０】図１に示す本発明に含まれるサーバ１２０
は、ビデオシーケンスＤＢ１３０に記憶されたビデオシ
ーケンスを、使用者端末器１００の画面上に提供すると
共に、使用者により選択されたオブジェクトについての
詳細情報を、関心オブジェクトＤＢ１４０に提供するよ
うになっている。このとき、使用者は選択されたオブジ
ェクトが有する情報を、ＲＧＢ表色系（またはＹＵＶ表
色系）のフレームと共に提供される追加フレーム（ＭＰ
ＥＧ４の場合にはαフレーム）を用いて見ることができ
る。
は、ビデオシーケンスＤＢ１３０に記憶されたビデオシ
ーケンスを、使用者端末器１００の画面上に提供すると
共に、使用者により選択されたオブジェクトについての
詳細情報を、関心オブジェクトＤＢ１４０に提供するよ
うになっている。このとき、使用者は選択されたオブジ
ェクトが有する情報を、ＲＧＢ表色系（またはＹＵＶ表
色系）のフレームと共に提供される追加フレーム（ＭＰ
ＥＧ４の場合にはαフレーム）を用いて見ることができ
る。
【００２１】図１で、サーバ１２０は各種ビデオシーケ
ンスを記憶したビデオシーケンスＤＢ１３０を管理し、
また対応する映像の関心オブジェクト（例えば、商品、
人物等）についての情報を記憶したＤＢ１４０を管理す
る。ＤＢ１３０、１４０はサーバ１２０内に含まれる。
図１に示す対話型サービスシステムは、ウェブを基盤と
した環境で具現化される。その際、サーバ１２０はウェ
ブサーバとなり、使用者端末器１００はウェブブラウザ
を具備し、インターネット１１０を通じてウェブサーバ
に接続される。
ンスを記憶したビデオシーケンスＤＢ１３０を管理し、
また対応する映像の関心オブジェクト（例えば、商品、
人物等）についての情報を記憶したＤＢ１４０を管理す
る。ＤＢ１３０、１４０はサーバ１２０内に含まれる。
図１に示す対話型サービスシステムは、ウェブを基盤と
した環境で具現化される。その際、サーバ１２０はウェ
ブサーバとなり、使用者端末器１００はウェブブラウザ
を具備し、インターネット１１０を通じてウェブサーバ
に接続される。
【００２２】以下、本発明に係るラベルオブジェクト映
像生成装置及び方法を説明する。図２は、本発明に係る
ラベルオブジェクト映像生成装置を模式的に示すブロッ
ク図であり、ビデオシーケンス入力部２００、クエリー
映像入力部２１０、ショット及びキーフレーム設定部２
２０、初期オブジェクト領域抽出部２３０、オブジェク
ト領域追跡部２４０及びラベルオブジェクト映像生成部
２５０を具備して構成されている。
像生成装置及び方法を説明する。図２は、本発明に係る
ラベルオブジェクト映像生成装置を模式的に示すブロッ
ク図であり、ビデオシーケンス入力部２００、クエリー
映像入力部２１０、ショット及びキーフレーム設定部２
２０、初期オブジェクト領域抽出部２３０、オブジェク
ト領域追跡部２４０及びラベルオブジェクト映像生成部
２５０を具備して構成されている。
【００２３】図２を参照すると、本発明に含まれるビデ
オシーケンス入力部２００には一連のＲＧＢ表色系（ま
たはＹＵＶ表色系）のような三原色のフレームデータが
入力され、この一連のフレームデータをショット及びキ
ーフレーム設定部２２０に出力するようになっている。
ここで、ビデオシーケンスはフレームの集合であり、こ
のフレームは、各々、クエリーオブジェクトを含む映
像、またはクエリーオブジェクトを含まない映像であ
る。
オシーケンス入力部２００には一連のＲＧＢ表色系（ま
たはＹＵＶ表色系）のような三原色のフレームデータが
入力され、この一連のフレームデータをショット及びキ
ーフレーム設定部２２０に出力するようになっている。
ここで、ビデオシーケンスはフレームの集合であり、こ
のフレームは、各々、クエリーオブジェクトを含む映
像、またはクエリーオブジェクトを含まない映像であ
る。
【００２４】図２示すショット及びキーフレーム設定部
２２０は、入力されたビデオシーケンスを場面の類似し
たフレームの集合である一つ以上のショットに分割し、
このように分割されたショット情報、すなわち、ショッ
トを構成するフレーム情報をオブジェクト領域追跡部２
４０に出力するようになっている。また、ショット及び
キーフレーム設定部２２０は、分割された各ショットで
ショットを代表するキーフレーム（キーフレームまたは
Ｒフレーム）を選択する。ここで、キーフレームは一つ
以上のフレームから構成されてもよい。
２２０は、入力されたビデオシーケンスを場面の類似し
たフレームの集合である一つ以上のショットに分割し、
このように分割されたショット情報、すなわち、ショッ
トを構成するフレーム情報をオブジェクト領域追跡部２
４０に出力するようになっている。また、ショット及び
キーフレーム設定部２２０は、分割された各ショットで
ショットを代表するキーフレーム（キーフレームまたは
Ｒフレーム）を選択する。ここで、キーフレームは一つ
以上のフレームから構成されてもよい。
【００２５】初期オブジェクト領域抽出部２３０では、
クエリー映像入力部２１０からそれぞれのクエリーオブ
ジェクトを含むクエリー映像が順次に入力され、ショッ
ト及びキーフレーム設定部２２０からは各ショットに対
するキーフレームが入力される。初期オブジェクト領域
抽出部２３０は、クエリー映像入力部２１０から入力さ
れたクエリー映像のクエリーオブジェクトに対応するオ
ブジェクトがキーフレーム内に存在するか否かを判断
し、対応するオブジェクトが占有している領域（すなわ
ち、初期オブジェクト領域）を抽出して二値化またはグ
レースケール映像で処理してショットマスク映像を生成
する。全てのクエリーオブジェクトに対して、全てのキ
ーフレームのショットマスク映像を作製した後、これら
のショットマスク映像をオブジェクト領域追跡部２４０
に出力するようになっている。
クエリー映像入力部２１０からそれぞれのクエリーオブ
ジェクトを含むクエリー映像が順次に入力され、ショッ
ト及びキーフレーム設定部２２０からは各ショットに対
するキーフレームが入力される。初期オブジェクト領域
抽出部２３０は、クエリー映像入力部２１０から入力さ
れたクエリー映像のクエリーオブジェクトに対応するオ
ブジェクトがキーフレーム内に存在するか否かを判断
し、対応するオブジェクトが占有している領域（すなわ
ち、初期オブジェクト領域）を抽出して二値化またはグ
レースケール映像で処理してショットマスク映像を生成
する。全てのクエリーオブジェクトに対して、全てのキ
ーフレームのショットマスク映像を作製した後、これら
のショットマスク映像をオブジェクト領域追跡部２４０
に出力するようになっている。
【００２６】オブジェクト領域追跡部２４０は、ショッ
トに分割された元のビデオシーケンス、それぞれのクエ
リーオブジェクトを含むクエリー映像及び各ショットで
のショットマスク映像が入力される。オブジェクト領域
追跡部２４０は初期オブジェクト領域を用いて各ショッ
トを構成する全てのフレームに対してオブジェクト領域
を追跡する。すなわち、クエリーオブジェクトを基準と
して形成されたショットマスク映像を用いて各ショット
内の全てのフレームでオブジェクト領域を追跡してオブ
ジェクト領域が存在するか否か、及びオブジェクト領域
の位置を確認し、その占有領域を二値化映像またはグレ
ースケール映像で生成し記憶する（以下、本発明ではフ
レームマスク映像と表記する）。このようなオブジェク
ト領域の追跡過程はショットを構成する全てのフレーム
を対象として実行されると共に、全てのクエリーオブジ
ェクトに対してフレームマスク映像が作製されるまで繰
り返される。
トに分割された元のビデオシーケンス、それぞれのクエ
リーオブジェクトを含むクエリー映像及び各ショットで
のショットマスク映像が入力される。オブジェクト領域
追跡部２４０は初期オブジェクト領域を用いて各ショッ
トを構成する全てのフレームに対してオブジェクト領域
を追跡する。すなわち、クエリーオブジェクトを基準と
して形成されたショットマスク映像を用いて各ショット
内の全てのフレームでオブジェクト領域を追跡してオブ
ジェクト領域が存在するか否か、及びオブジェクト領域
の位置を確認し、その占有領域を二値化映像またはグレ
ースケール映像で生成し記憶する（以下、本発明ではフ
レームマスク映像と表記する）。このようなオブジェク
ト領域の追跡過程はショットを構成する全てのフレーム
を対象として実行されると共に、全てのクエリーオブジ
ェクトに対してフレームマスク映像が作製されるまで繰
り返される。
【００２７】最後に、ラベルオブジェクト映像生成部２
５０は、各フレームのクエリーオブジェクトに基づいて
追跡されたフレームマスク映像を統合して、各フレーム
に存在する一つ以上のクエリーオブジェクトにラベルを
貼り付ける。このとき、特筆すべきことは、各フレーム
に対する、クエリーオブジェクトに基づくフレームマス
ク映像が、全てのオブジェクトにラベルが貼り付けられ
た、一つのラベルオブジェクト映像フレームとして統合
されることである。任意の一つのフレームに、例えば、
３つのクエリーオブジェクトが存在する場合には、これ
ら３つのクエリーオブジェクトに対応するオブジェクト
領域はそれぞれ固有の画素値（例えば、１〜２５５の階
調を有する）で表示され、前記クエリーオブジェクトが
存在しない他の画素領域は０（ＯＦＦ）で表示される。
５０は、各フレームのクエリーオブジェクトに基づいて
追跡されたフレームマスク映像を統合して、各フレーム
に存在する一つ以上のクエリーオブジェクトにラベルを
貼り付ける。このとき、特筆すべきことは、各フレーム
に対する、クエリーオブジェクトに基づくフレームマス
ク映像が、全てのオブジェクトにラベルが貼り付けられ
た、一つのラベルオブジェクト映像フレームとして統合
されることである。任意の一つのフレームに、例えば、
３つのクエリーオブジェクトが存在する場合には、これ
ら３つのクエリーオブジェクトに対応するオブジェクト
領域はそれぞれ固有の画素値（例えば、１〜２５５の階
調を有する）で表示され、前記クエリーオブジェクトが
存在しない他の画素領域は０（ＯＦＦ）で表示される。
【００２８】なお、ラベルオブジェクト映像生成部２５
０によって生成されたラベルオブジェクト映像フレーム
の情報、及びラベルが貼り付けられたオブジェクト映像
に対応する実際のオブジェクトの情報は、図１に示され
るオブジェクトＤＢ１４０に記憶される。
０によって生成されたラベルオブジェクト映像フレーム
の情報、及びラベルが貼り付けられたオブジェクト映像
に対応する実際のオブジェクトの情報は、図１に示され
るオブジェクトＤＢ１４０に記憶される。
【００２９】図３及び図４は、本発明に係るラベルオブ
ジェクト映像の生成方法を説明するためのフローチャー
トである。図３及び図４を参照しながら、図２に示す本
発明に係るラベルオブジェクト映像生成装置の動作につ
いて詳細に説明する。
ジェクト映像の生成方法を説明するためのフローチャー
トである。図３及び図４を参照しながら、図２に示す本
発明に係るラベルオブジェクト映像生成装置の動作につ
いて詳細に説明する。
【００３０】まず、図３に示すように、クエリーオブジ
ェクトが抽出されるビデオシーケンスが、類似場面を有
するフレームの集合である一つ以上のショットに分割さ
れ、それぞれのショットから一つ以上のキーフレームが
選択される（第３００段階〜３０４段階）。一般に、一
つのビデオシーケンスはカメラアングル、登場人物の変
化、または被写体、場所、照明によって複数のショット
に分割されることが可能である。そして、前記ショット
間の変化は、各ショットを構成するフレーム間では、例
えば、カラー値の変化よりも大きく、二つのフレーム
（例えば、各ショットのキーフレーム）間のカラー差の
程度から、前記ショット間の変化を検出することができ
る。
ェクトが抽出されるビデオシーケンスが、類似場面を有
するフレームの集合である一つ以上のショットに分割さ
れ、それぞれのショットから一つ以上のキーフレームが
選択される（第３００段階〜３０４段階）。一般に、一
つのビデオシーケンスはカメラアングル、登場人物の変
化、または被写体、場所、照明によって複数のショット
に分割されることが可能である。そして、前記ショット
間の変化は、各ショットを構成するフレーム間では、例
えば、カラー値の変化よりも大きく、二つのフレーム
（例えば、各ショットのキーフレーム）間のカラー差の
程度から、前記ショット間の変化を検出することができ
る。
【００３１】また、前記の各ショットを構成するフレー
ムの一つがキーフレームとして選択される。その際、前
記の各ショットのうち、最初または中間のフレームをキ
ーフレームとして選択するのが望ましい。本発明では、
前記の各ショットのキーフレームのみを使用して、各シ
ョットの中にクエリーオブジェクトが存在するか否かを
決定するものである。例えば、もしｐ個のショットが存
在すれば、キーフレームの数もｐ個となる。
ムの一つがキーフレームとして選択される。その際、前
記の各ショットのうち、最初または中間のフレームをキ
ーフレームとして選択するのが望ましい。本発明では、
前記の各ショットのキーフレームのみを使用して、各シ
ョットの中にクエリーオブジェクトが存在するか否かを
決定するものである。例えば、もしｐ個のショットが存
在すれば、キーフレームの数もｐ個となる。
【００３２】具体的には、図３に示すように、ビデオシ
ーケンス及びクエリー映像（１〜ｎ）を入力して（第３
００段階）、このビデオシーケンスを一つ以上のショッ
ト（１〜ｐ）に分割し、それぞれのショットでキーフレ
ームが選択される（第３０２段階）。つぎに、ｐ個のキ
ーフレームがバッファリングされる（第３０４段階）。
ーケンス及びクエリー映像（１〜ｎ）を入力して（第３
００段階）、このビデオシーケンスを一つ以上のショッ
ト（１〜ｐ）に分割し、それぞれのショットでキーフレ
ームが選択される（第３０２段階）。つぎに、ｐ個のキ
ーフレームがバッファリングされる（第３０４段階）。
【００３３】図５は、ｐ個のショットに分割されたビデ
オシーケンスとそれらのキーフレームを例示したもので
ある。図５においては、第１のフレームがそれぞれのシ
ョットからキーフレームとして選択されており、すなわ
ち、図５は各ショットでキーフレームＫＦ−１、ＫＦ−
２、ＫＦ−３、…、ＫＦ−ｐが選択されること示してい
る。
オシーケンスとそれらのキーフレームを例示したもので
ある。図５においては、第１のフレームがそれぞれのシ
ョットからキーフレームとして選択されており、すなわ
ち、図５は各ショットでキーフレームＫＦ−１、ＫＦ−
２、ＫＦ−３、…、ＫＦ−ｐが選択されること示してい
る。
【００３４】図６は、テレビドラマから抽出されたビデ
オシーケンスを８個のショットに分割し、これらのショ
ットでそれぞれのキーフレームが選択された結果を示す
表である。また、図６には、全部で６１９個のフレーム
から構成されたビデオシーケンスを９個のショットに分
割したときに、これらの各ショットで選択されたキーフ
レームのフレーム番号が示されている。
オシーケンスを８個のショットに分割し、これらのショ
ットでそれぞれのキーフレームが選択された結果を示す
表である。また、図６には、全部で６１９個のフレーム
から構成されたビデオシーケンスを９個のショットに分
割したときに、これらの各ショットで選択されたキーフ
レームのフレーム番号が示されている。
【００３５】つぎに、図４に示すように、クエリーオブ
ジェクトに基づいてキーフレームから初期オブジェクト
領域を抽出する（第３０６段階〜３１２段階）。このと
き、好ましくは、クエリーオブジェクトに類似したオブ
ジェクトが、カラーヒストグラム、テクスチャーのよう
な特性、またはオブジェクトを構成する多色領域の構造
に基づいた各クエリーオブジェクトに存在するか否かが
決定される。
ジェクトに基づいてキーフレームから初期オブジェクト
領域を抽出する（第３０６段階〜３１２段階）。このと
き、好ましくは、クエリーオブジェクトに類似したオブ
ジェクトが、カラーヒストグラム、テクスチャーのよう
な特性、またはオブジェクトを構成する多色領域の構造
に基づいた各クエリーオブジェクトに存在するか否かが
決定される。
【００３６】具体的には、図３に示すように、ｎ個のク
エリーオブジェクトを一つずつ入力する。すなわち、ま
ず、第１のクエリーオブジェクトを挿入（ｌｏａｄ）し
（第３０６段階）、ｐ個のキーフレームの各々につい
て、前記第１のクエリーオブジェクトと類似したオブジ
ェクトが存在するか否かをチェックする。そして、この
ようなオブジェクトが存在する場合には、このオブジェ
クトを、対応するキーフレームの初期オブジェクト領域
として抽出する（第３０８段階）。そして、前記キーフ
レームの初期オブジェクト領域に属する画素をオン
（１）とし、前記キーフレームの残りの画素がオフ
（０）として、前記キーフレームに対するショットマス
ク映像を生成させる（第３１０段階）。
エリーオブジェクトを一つずつ入力する。すなわち、ま
ず、第１のクエリーオブジェクトを挿入（ｌｏａｄ）し
（第３０６段階）、ｐ個のキーフレームの各々につい
て、前記第１のクエリーオブジェクトと類似したオブジ
ェクトが存在するか否かをチェックする。そして、この
ようなオブジェクトが存在する場合には、このオブジェ
クトを、対応するキーフレームの初期オブジェクト領域
として抽出する（第３０８段階）。そして、前記キーフ
レームの初期オブジェクト領域に属する画素をオン
（１）とし、前記キーフレームの残りの画素がオフ
（０）として、前記キーフレームに対するショットマス
ク映像を生成させる（第３１０段階）。
【００３７】さらに、クエリーオブジェクトの数がｎを
越えたか否かを判断し（第３１２段階）、このクエリー
オブジェクトの数がｎを越えていないと判断されれば、
クエリーオブジェクトをさらに挿入して（第３１４段
階）、ｎ個のクエリーオブジェクトに対して前述の動作
を繰り返す。このようにして、ｎ個のクエリーオブジェ
クトに対してｐ個のキーフレームで形成されたｎ×ｐ個
のショットマスク映像が生成されることとなる（このと
き、オブジェクト領域のないショットマスク映像では、
その画素が全てオフ（０）となっている）。
越えたか否かを判断し（第３１２段階）、このクエリー
オブジェクトの数がｎを越えていないと判断されれば、
クエリーオブジェクトをさらに挿入して（第３１４段
階）、ｎ個のクエリーオブジェクトに対して前述の動作
を繰り返す。このようにして、ｎ個のクエリーオブジェ
クトに対してｐ個のキーフレームで形成されたｎ×ｐ個
のショットマスク映像が生成されることとなる（このと
き、オブジェクト領域のないショットマスク映像では、
その画素が全てオフ（０）となっている）。
【００３８】つぎに、図４に示すように、初期オブジェ
クト領域を用いてショットを構成する全てのフレームに
対してオブジェクト領域を追跡する（第３１６段階〜３
３０段階）。そして、これまでの過程で生成された、ク
エリー映像に基づくショットの各キーフレームから抽出
された初期オブジェクト領域が、各ショットの残りのフ
レームに拡大される。
クト領域を用いてショットを構成する全てのフレームに
対してオブジェクト領域を追跡する（第３１６段階〜３
３０段階）。そして、これまでの過程で生成された、ク
エリー映像に基づくショットの各キーフレームから抽出
された初期オブジェクト領域が、各ショットの残りのフ
レームに拡大される。
【００３９】特に、これまでの過程で、前記ショットの
各キーフレームから抽出されたショットマスク映像を初
期マスクとして用い、前記クエリーオブジェクトに対応
するオブジェクト領域の位置と占有領域（範囲）とが、
クエリー映像の色に関する情報に基づいて、各ショット
を構成する全てのフレームで追跡される。このとき、運
動モデルと色の情報の両方を使用して、前記のように追
跡されたオブジェクト領域間の類似性を判別し、さら
に、このオブジェクト領域が占有する位置及び形状の変
化を考慮すれば、より正確なオブジェクト領域が得られ
るようになる。
各キーフレームから抽出されたショットマスク映像を初
期マスクとして用い、前記クエリーオブジェクトに対応
するオブジェクト領域の位置と占有領域（範囲）とが、
クエリー映像の色に関する情報に基づいて、各ショット
を構成する全てのフレームで追跡される。このとき、運
動モデルと色の情報の両方を使用して、前記のように追
跡されたオブジェクト領域間の類似性を判別し、さら
に、このオブジェクト領域が占有する位置及び形状の変
化を考慮すれば、より正確なオブジェクト領域が得られ
るようになる。
【００４０】具体的には、図４に示すように、まず第１
クエリーオブジェクトを挿入した状態（第３１６段階）
で、ショットマスク映像を挿入する（第３１８段階）。
その際、このようにして挿入されたショットマスク映像
の画素が全てオフ（０）である、すなわち、前記挿入さ
れたショットマスク映像が、対応するオブジェクト領域
のない映像であると判断されれば（第３２０段階）、次
のショットマスク映像を挿入する。そして、ショット番
号がｐ番目を越えたか否かを判断し（第３２６段階）、
このショット番号がｐ番目を越えていなければ次のショ
ットマスク映像を挿入する（第３２８段階）。
クエリーオブジェクトを挿入した状態（第３１６段階）
で、ショットマスク映像を挿入する（第３１８段階）。
その際、このようにして挿入されたショットマスク映像
の画素が全てオフ（０）である、すなわち、前記挿入さ
れたショットマスク映像が、対応するオブジェクト領域
のない映像であると判断されれば（第３２０段階）、次
のショットマスク映像を挿入する。そして、ショット番
号がｐ番目を越えたか否かを判断し（第３２６段階）、
このショット番号がｐ番目を越えていなければ次のショ
ットマスク映像を挿入する（第３２８段階）。
【００４１】一方、前記３１８段階の後で、ショットマ
スク映像にオブジェクト領域が存在すると判断されれ
ば、対応するオブジェクトを、ショットを構成する全て
のフレームを対象として追跡して（第３２２段階）、フ
レームマスク映像を生成する（第３２４段階）。そし
て、全てのショット、並びに全てのクエリーオブジェク
トを対象として、前述の動作を繰り返す（第３３０段
階、３３２段階）。
スク映像にオブジェクト領域が存在すると判断されれ
ば、対応するオブジェクトを、ショットを構成する全て
のフレームを対象として追跡して（第３２２段階）、フ
レームマスク映像を生成する（第３２４段階）。そし
て、全てのショット、並びに全てのクエリーオブジェク
トを対象として、前述の動作を繰り返す（第３３０段
階、３３２段階）。
【００４２】最後に、クエリーオブジェクトに基づくフ
レーム映像マスクを各フレームで統合して、各々のフレ
ームに存在するクエリーオブジェクト領域にラベルを貼
り付ける（第３３４段階）。このとき、入力ビデオシー
ケンスがｍ個のフレームで構成され、その各フレームに
対してｎ個のクエリーオブジェクトが含まれている場合
には、ｎ×ｍ個のフレームマスク映像が生成される。
レーム映像マスクを各フレームで統合して、各々のフレ
ームに存在するクエリーオブジェクト領域にラベルを貼
り付ける（第３３４段階）。このとき、入力ビデオシー
ケンスがｍ個のフレームで構成され、その各フレームに
対してｎ個のクエリーオブジェクトが含まれている場合
には、ｎ×ｍ個のフレームマスク映像が生成される。
【００４３】しかしながら、実際には、全てのフレーム
がｎ個のクエリーオブジェクトを含むものではないた
め、生成されるフレームマスク映像の数はｎ×ｍ個より
少ないものとなる。このとき、クエリーオブジェクト
は、例えば０〜２５５の階調で、固有の色相値を有し、
統合されたフレームのクエリーオブジェクト領域は対応
するクエリーオブジェクトの色相値に対応する画素値を
有している。
がｎ個のクエリーオブジェクトを含むものではないた
め、生成されるフレームマスク映像の数はｎ×ｍ個より
少ないものとなる。このとき、クエリーオブジェクト
は、例えば０〜２５５の階調で、固有の色相値を有し、
統合されたフレームのクエリーオブジェクト領域は対応
するクエリーオブジェクトの色相値に対応する画素値を
有している。
【００４４】図７は、フレーム映像と、このフレーム映
像に存在する一例のラベルオブジェクト映像とを示すも
のである。図７において、左側に示す任意の一フレーム
映像は、複数のクエリーオブジェクト、例えば、卓上ダ
イアリー５５２、ネックレス５５３、カップ５５４、衣
服５５５及びそれ以外の領域から構成される背景５５１
よりなる。
像に存在する一例のラベルオブジェクト映像とを示すも
のである。図７において、左側に示す任意の一フレーム
映像は、複数のクエリーオブジェクト、例えば、卓上ダ
イアリー５５２、ネックレス５５３、カップ５５４、衣
服５５５及びそれ以外の領域から構成される背景５５１
よりなる。
【００４５】図８は、ラベル番号のラベルが貼り付けら
れたオブジェクトの一例を示す。図８を参照すると、各
クエリーオブジェクトは固有のラベル番号を有してい
る。したがって、クエリーオブジェクトに基づいて生成
されたフレームマスク映像が各フレームで統合される
際、図８の右側に示すように固有のラベル番号が貼り付
けられる。
れたオブジェクトの一例を示す。図８を参照すると、各
クエリーオブジェクトは固有のラベル番号を有してい
る。したがって、クエリーオブジェクトに基づいて生成
されたフレームマスク映像が各フレームで統合される
際、図８の右側に示すように固有のラベル番号が貼り付
けられる。
【００４６】図９は、ラベルオブジェクト映像における
オブジェクトで、重心と最小四角形を用いてラベルの貼
り付けを行なったものの一例である。このように、本発
明にあっては、オブジェクト領域を表示する方法とし
て、前述したような固有のラベル番号の代わりに、図９
で“Ｘ”で表示されるようなオブジェクト領域の重心
と、このオブジェクト領域に外接または内接する最小四
角形とを用いることができる。ここで、図９におけるＰ
１とＰ２は、各々、四角形の対角線上で対向する対角点
を示している。図１０は、図９における重心と最小四角
形との座標値を用いてオブジェクトにラベルを貼り付け
た一実施形態を示したものである。
オブジェクトで、重心と最小四角形を用いてラベルの貼
り付けを行なったものの一例である。このように、本発
明にあっては、オブジェクト領域を表示する方法とし
て、前述したような固有のラベル番号の代わりに、図９
で“Ｘ”で表示されるようなオブジェクト領域の重心
と、このオブジェクト領域に外接または内接する最小四
角形とを用いることができる。ここで、図９におけるＰ
１とＰ２は、各々、四角形の対角線上で対向する対角点
を示している。図１０は、図９における重心と最小四角
形との座標値を用いてオブジェクトにラベルを貼り付け
た一実施形態を示したものである。
【００４７】本発明によれば、動画像を、類似場面の特
性を有するフレームから構成されるショットに分割し、
それぞれのショットを表現する代表映像にクエリーオブ
ジェクトが存在するか否かを判断することにより、対応
するショットの初期オブジェクト領域が抽出される。そ
して、この各キーフレームから抽出された初期オブジェ
クト領域に基づいて、ショットを構成する全てのフレー
ムでオブジェクト領域が追跡され、さらにオブジェクト
領域にラベルが貼り付けられて、ラベルオブジェクト映
像が生成される。
性を有するフレームから構成されるショットに分割し、
それぞれのショットを表現する代表映像にクエリーオブ
ジェクトが存在するか否かを判断することにより、対応
するショットの初期オブジェクト領域が抽出される。そ
して、この各キーフレームから抽出された初期オブジェ
クト領域に基づいて、ショットを構成する全てのフレー
ムでオブジェクト領域が追跡され、さらにオブジェクト
領域にラベルが貼り付けられて、ラベルオブジェクト映
像が生成される。
【００４８】このようにして、本発明は、従来のオブジ
ェクト抽出、及び従来のラベルオブジェクト映像生成方
法に比べて、クエリーオブジェクト抽出に要する時間を
短縮することができる。また、本発明は、クエリーオブ
ジェクトの動きとは無関係に適用され、また、付加的な
マニュアル操作を必要とせず、自動化されることによっ
て、オブジェクト基盤対話型サービスに好適に適用する
ことができる。
ェクト抽出、及び従来のラベルオブジェクト映像生成方
法に比べて、クエリーオブジェクト抽出に要する時間を
短縮することができる。また、本発明は、クエリーオブ
ジェクトの動きとは無関係に適用され、また、付加的な
マニュアル操作を必要とせず、自動化されることによっ
て、オブジェクト基盤対話型サービスに好適に適用する
ことができる。
【００４９】図１１は、本発明を用いたオブジェクト基
盤対話型サービスの一実施形態を示すものである。各フ
レーム内のクエリーオブジェクトにラベルを貼り付けて
ラベルオブジェクト映像を生成し、このようにして生成
されたラベルオブジェクト映像を、図１を参照しながら
説明したようにして、オブジェクトＤＢ１４０に記憶さ
せる（図４の第３３６段階）。
盤対話型サービスの一実施形態を示すものである。各フ
レーム内のクエリーオブジェクトにラベルを貼り付けて
ラベルオブジェクト映像を生成し、このようにして生成
されたラベルオブジェクト映像を、図１を参照しながら
説明したようにして、オブジェクトＤＢ１４０に記憶さ
せる（図４の第３３６段階）。
【００５０】このとき、使用者が、オブジェクト基盤対
話型プレーヤーを用いて任意の一フレームで、例えば、
図１１に示す左側のフレームで、女性が着ている上着の
うち、任意の部分をマウスでクリックすると、前記使用
者のブラウザがオブジェクトＤＢに記憶されたラベルオ
ブジェクト映像で対応するオブジェクトについての情報
に連結される。図１１の右側は、前記オブジェクトに関
する情報を示すものである。
話型プレーヤーを用いて任意の一フレームで、例えば、
図１１に示す左側のフレームで、女性が着ている上着の
うち、任意の部分をマウスでクリックすると、前記使用
者のブラウザがオブジェクトＤＢに記憶されたラベルオ
ブジェクト映像で対応するオブジェクトについての情報
に連結される。図１１の右側は、前記オブジェクトに関
する情報を示すものである。
【００５１】また、本発明に係るビデオシーケンスのラ
ベルオブジェクト映像生成方法は、コンピュータが読取
り可能な記憶媒体に、コンピュータが読取り可能なプロ
グラムコードを記憶させて具現化することができる。こ
のコンピュータが読取り可能な記憶媒体は、従来公知の
コンピュータシステムによって読取り可能なデータが記
憶され得る全ての種類の記憶装置を含む。
ベルオブジェクト映像生成方法は、コンピュータが読取
り可能な記憶媒体に、コンピュータが読取り可能なプロ
グラムコードを記憶させて具現化することができる。こ
のコンピュータが読取り可能な記憶媒体は、従来公知の
コンピュータシステムによって読取り可能なデータが記
憶され得る全ての種類の記憶装置を含む。
【００５２】前記コンピュータが読取り可能な記憶媒体
の例としては、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏ
ｒｙ；読取り専用記憶装置）、ＲＡＭ（ｒａｎｄｏｍ−
ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセス記憶装
置）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ−ｄｉｓｋ ｒｅ
ａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク読
出し専用メモリ）、磁気テープ、ハードディスク、フレ
キシブルディスク、フラッシュメモリ、光データ記憶装
置などがあり、またキャリヤウェーブ（例えばインター
ネットを介して行なう情報伝達装置）の形態で具現化さ
れるものを含む。そして、本発明に含まれるコンピュー
タが読取り可能な記憶媒体は、ネットワークに連結され
たコンピュータシステムで分配され得る、コンピュータ
が読取り可能なプログラムコードとして記憶され、実行
させることができる。
の例としては、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏ
ｒｙ；読取り専用記憶装置）、ＲＡＭ（ｒａｎｄｏｍ−
ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセス記憶装
置）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ−ｄｉｓｋ ｒｅ
ａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク読
出し専用メモリ）、磁気テープ、ハードディスク、フレ
キシブルディスク、フラッシュメモリ、光データ記憶装
置などがあり、またキャリヤウェーブ（例えばインター
ネットを介して行なう情報伝達装置）の形態で具現化さ
れるものを含む。そして、本発明に含まれるコンピュー
タが読取り可能な記憶媒体は、ネットワークに連結され
たコンピュータシステムで分配され得る、コンピュータ
が読取り可能なプログラムコードとして記憶され、実行
させることができる。
【００５３】
【発明の効果】以上説明した通りに構成される本発明に
よれば、各クエリーオブジェクトで生成されたフレーム
マスク映像をフレーム単位で統合させることによって、
従来のオブジェクト抽出方法に比べて、一フレームから
複数のクエリーオブジェクトを抽出するために要する時
間をより一層短縮させることができる、ビデオシーケン
スのラベルオブジェクト映像生成方法及びその装置、並
びにそのプログラムコードを備えたコンピュータが読取
り可能な記憶媒体が提供される。
よれば、各クエリーオブジェクトで生成されたフレーム
マスク映像をフレーム単位で統合させることによって、
従来のオブジェクト抽出方法に比べて、一フレームから
複数のクエリーオブジェクトを抽出するために要する時
間をより一層短縮させることができる、ビデオシーケン
スのラベルオブジェクト映像生成方法及びその装置、並
びにそのプログラムコードを備えたコンピュータが読取
り可能な記憶媒体が提供される。
【００５４】また、このような本発明に係るビデオシー
ケンスでのラベルオブジェクト映像生成装置及びその方
法は、動画像データをオブジェクト単位で操作、編集、
対話型機能、符号化する場合に容易に適用され、今後、
対話型インターネット放送、広告広報物、コンテンツ製
作、対話型の著作物ツールなどの情報通信分野で幅広く
使用することができる。
ケンスでのラベルオブジェクト映像生成装置及びその方
法は、動画像データをオブジェクト単位で操作、編集、
対話型機能、符号化する場合に容易に適用され、今後、
対話型インターネット放送、広告広報物、コンテンツ製
作、対話型の著作物ツールなどの情報通信分野で幅広く
使用することができる。
【図１】本発明が適用された相互対話型オブジェクトサ
ービスシステムの構成を模式的に示すブロック図であ
る。
ービスシステムの構成を模式的に示すブロック図であ
る。
【図２】本発明に係るラベルオブジェクト映像生成装置
の構成を模式的に示すブロック図である。
の構成を模式的に示すブロック図である。
【図３】本発明に係るラベルオブジェクト映像生成方法
を説明するための一例のフローチャートである。
を説明するための一例のフローチャートである。
【図４】本発明に係るラベルオブジェクト映像生成方法
を説明するための他の例のフローチャートである。
を説明するための他の例のフローチャートである。
【図５】ビデオシーケンスでショット及びキーフレーム
を設定する一例を示す図である。
を設定する一例を示す図である。
【図６】９個のショットに分割されたビデオシーケンス
とそのキーフレームの設定例とを示す図である。
とそのキーフレームの設定例とを示す図である。
【図７】フレーム映像と、このフレーム映像に存在する
クエリーオブジェクトを示す図である。
クエリーオブジェクトを示す図である。
【図８】ラベル番号でラベルが貼り付けられたオブジェ
クトの一例の図である
クトの一例の図である
【図９】ラベルオブジェクト映像におけるオブジェクト
の重心と最小四角形とを示す図である。
の重心と最小四角形とを示す図である。
【図１０】図９において、重心と最小四角形の座標値と
を用いてオブジェクトにラベルを貼り付けた一実施形態
の図である。
を用いてオブジェクトにラベルを貼り付けた一実施形態
の図である。
【図１１】本発明を用いたオブジェクト基盤対話型サー
ビスの一実施形態の図である。
ビスの一実施形態の図である。
２００ ビデオシーケンス入力部 ２１０ クエリー映像入力部 ２２０ ショット及びキーフレーム設定部 ２３０ 初期オブジェクト領域抽出部 ２４０ オブジェクト領域追跡部 ２５０ ラベルオブジェクト映像生成部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ (72)発明者 金 智 淵 大韓民国 ソウル特別市 松坡区 新川洞 ７番地 薔薇アパート 17棟 1101号 (72)発明者 金 相 均 大韓民国 京畿道 龍仁市 器興邑 貢税 里 476−131番地 殷盛ビラー Ｂ棟 401号 (72)発明者 文 永 秀 大韓民国 ソウル特別市 江西区 登村３ 洞 688番地 住公アパート 304棟 701 号 (72)発明者 朴 斗 植 大韓民国 京畿道 水原市 八達区 靈通 洞 955−１番地 凰谷マウル 住公アパ ート 135棟 1401号 Ｆターム(参考） 5B075 ND12 PR06 5C023 AA06 AA38 AA40 BA04 CA02 DA02 DA03 DA04 DA08 5C053 FA14 FA30 GB37 GB40 KA04 KA24 LA14 5C059 MB01 MB12 MB21 PP15 SS08 SS20 5L096 AA02 AA06 DA02 FA18 FA35 FA59 FA60 FA69 GA10 GA34 GA40 GA41 HA05
Claims (9)
- 【請求項１】 抽出しようとするクエリーオブジェクト
を含むビデオシーケンスを入力し、前記クエリーオブジ
ェクトに基づいてラベルオブジェクト映像を生成する方
法であって、 （ａ）前記ビデオシーケンスを、類似場面を有するフレ
ームからなる一つ以上のショットに分割し、各ショット
から一つ以上のキーフレームを選択する段階と、 （ｂ）前記各キーフレームから、クエリーオブジェクト
に基づいて初期オブジェクト領域を抽出する段階と、 （ｃ）前記対応するクエリーオブジェクトに基づいた初
期オブジェクト領域の各ショットを構成する全てのフレ
ームで、オブジェクト領域を追跡する段階と、 （ｄ）前記対応するクエリーオブジェクトの情報に基づ
いて、各フレームで追跡されたオブジェクト領域にラベ
ルを貼り付ける段階と、を含むことを特徴とするビデオ
シーケンスのラベルオブジェクト映像生成方法。 - 【請求項２】 前記（ｂ）段階は、 （ｂ１）各キーフレームで各クエリーオブジェクトと類
似したオブジェクトが存在するか否かを判断し、キーフ
レームで類似したオブジェクトが存在すれば、対応する
クエリーオブジェクトに基づく初期オブジェクト領域と
して前記類似したオブジェクトを抽出する段階と、 （ｂ２）各キーフレームから抽出された、クエリーオブ
ジェクトに基づく初期オブジェクト領域の画素を第１の
値として設定し、前記キーフレームの残りの画素を第２
の値に設定することにより、各ショットの全てのキーフ
レームで、クエリーオブジェクトに基づくショットマス
ク映像を生成する段階と、を含むことを特徴とする請求
項１に記載のビデオシーケンスのラベルオブジェクト映
像生成方法。 - 【請求項３】 前記（ｃ）段階は、 （ｃ１）対応するクエリー映像に基づいたショットマス
ク映像、及び対応するクエリーオブジェクトの映像特性
値に基づいて、各ショットを構成する全てのフレームの
オブジェクト領域を追跡する段階と、 （ｃ２）各フレームで追跡されたオブジェクト領域の画
素を第１の値に設定し、前記フレームの残りの画素を第
２の値に設定することにより、各ショットを構成する全
てのフレームで、クエリーオブジェクトに基づくフレー
ムマスク映像を生成する段階と、を含むことを特徴とす
る請求項２に記載のビデオシーケンスのラベルオブジェ
クト映像生成方法。 - 【請求項４】 前記（ｄ）段階は、対応するクエリー映
像に対して設定された固有番号、または各フレームで対
応するクエリー映像が位置する座標情報で、各オブジェ
クト領域が、各フレームでラベルが貼り付けられること
を特徴とする請求項１に記載のビデオシーケンスのラベ
ルオブジェクト映像生成方法。 - 【請求項５】 抽出しようとするクエリーオブジェクト
を含むビデオシーケンスを入力し、前記クエリーオブジ
ェクトに基づいてラベルオブジェクト映像を生成する装
置であって、 前記ビデオシーケンスを、類似場面を有するフレームか
らなる一つ以上のショットに分割し、各ショットから一
つ以上のキーフレームを選択するショット及びキーフレ
ーム設定部と、 前記各キーフレームから、クエリーオブジェクトに基づ
いて初期オブジェクト領域を抽出する初期オブジェクト
領域抽出部と、 前記対応するクエリーオブジェクトに基づいた初期オブ
ジェクト領域の各ショットを構成する全てのフレーム
で、オブジェクト領域を追跡するオブジェクト領域追跡
部と、 前記対応するクエリーオブジェクトの情報に基づいて、
各フレームで追跡されたオブジェクト領域にラベルを貼
り付けるラベルオブジェクト映像生成部と、を含むこと
を特徴とするビデオシーケンスのラベルオブジェクト映
像生成装置。 - 【請求項６】 前記初期オブジェクト領域抽出部は、 各キーフレームで各クエリー映像と類似したオブジェク
トが存在するか否かを判断し、キーフレームで類似した
オブジェクトが存在すれば、対応するクエリーオブジェ
クトに基づいた初期オブジェクト領域として、前記類似
したオブジェクトを抽出し、前記各キーフレームから抽
出された、クエリーオブジェクトに基づく初期オブジェ
クト領域の画素を第１の値に設定し、前記キーフレーム
の残りの画素を第２の値に設定することにより、各ショ
ットの全てのキーフレームでクエリーオブジェクトに基
づくショットマスク映像を生成することを特徴とする請
求項５に記載のビデオシーケンスのラベルオブジェクト
映像生成装置。 - 【請求項７】 前記オブジェクト領域追跡部は、 対応するクエリー映像に基づいたショットマスク映像、
及び対応するクエリーオブジェクトの映像特性値に基づ
いて、各ショットを構成する全てのフレームのオブジェ
クト領域を追跡し、前記各フレームで追跡されたオブジ
ェクト領域の画素を第１の値に設定し、前記フレームの
残りの画素を第２の値に設定することにより、各ショッ
トを構成する全てのフレームで、クエリーオブジェクト
に基づくフレームマスク映像を生成することを特徴とす
る請求項６に記載のビデオシーケンスのラベルオブジェ
クト映像生成装置。 - 【請求項８】 前記ラベルオブジェクト映像生成部は、
対応するクエリー映像に対して設定された固有番号、ま
たは各フレーム内で対応するクエリー映像が位置する座
標情報を用いて、各フレームの各々のオブジェクト領域
にラベルを貼り付けることを特徴とする請求項５に記載
のビデオシーケンスのラベルオブジェクト映像生成装
置。 - 【請求項９】 抽出しようとするクエリーオブジェクト
を含むビデオシーケンスを入力し、前記クエリーオブジ
ェクトに基づいてビデオシーケンスのラベルオブジェク
ト映像を生成するためのコンピュータプログラムを備え
たコンピュータが読取り可能な記憶媒体であって、 （ａ）前記ビデオシーケンスを、類似場面を有するフレ
ームからなる一つ以上のショットに分割し、各ショット
から一つ以上のキーフレームを選択する段階と、 （ｂ）前記各キーフレームから、クエリーオブジェクト
に基づいて初期オブジェクト領域を抽出する段階と、 （ｃ）前記対応するクエリー映像に基づく初期オブジェ
クト領域の各ショットを構成する全てのフレームで、オ
ブジェクト領域を追跡する段階と、 （ｄ）前記対応するクエリーオブジェクトの情報に基づ
いて、各フレームで追跡されたオブジェクト領域にラベ
ルを貼り付ける段階と、を含むことを特徴とするビデオ
シーケンスのラベルオブジェクト映像を生成ためのコン
ピュータプログラムを備えたコンピュータが読取り可能
な記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020010003423A KR100355382B1 (ko) | 2001-01-20 | 2001-01-20 | 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 |
| KR2001-3423 | 2001-01-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002232839A true JP2002232839A (ja) | 2002-08-16 |
| JP4370387B2 JP4370387B2 (ja) | 2009-11-25 |
Family
ID=19704920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001263656A Expired - Fee Related JP4370387B2 (ja) | 2001-01-20 | 2001-08-31 | ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7024020B2 (ja) |
| EP (1) | EP1225518B1 (ja) |
| JP (1) | JP4370387B2 (ja) |
| KR (1) | KR100355382B1 (ja) |
| CN (1) | CN1222897C (ja) |
| DE (1) | DE60116717T2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101717014B1 (ko) * | 2016-04-21 | 2017-03-15 | (주)노바빈 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| KR101751863B1 (ko) * | 2017-03-08 | 2017-06-28 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| WO2017164640A1 (en) * | 2016-03-22 | 2017-09-28 | Jam2Go, Inc. | System and method for editing video contents automatically technical field |
| KR101827985B1 (ko) * | 2017-05-19 | 2018-03-22 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| JP2019149142A (ja) * | 2018-02-26 | 2019-09-05 | 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 対象物標識のためのシステムおよび方法 |
| WO2020066695A1 (ja) * | 2018-09-28 | 2020-04-02 | 日本電信電話株式会社 | 情報同期装置、情報同期方法及び情報同期プログラム |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6774908B2 (en) * | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
| US20030098869A1 (en) * | 2001-11-09 | 2003-05-29 | Arnold Glenn Christopher | Real time interactive video system |
| KR100486709B1 (ko) * | 2002-04-17 | 2005-05-03 | 삼성전자주식회사 | 객체기반 대화형 동영상 서비스 시스템 및 그 방법 |
| JP4300767B2 (ja) | 2002-08-05 | 2009-07-22 | ソニー株式会社 | ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体 |
| US7647301B2 (en) * | 2003-08-08 | 2010-01-12 | Open-Circuit, Ltd. | Information provision apparatus, format separation apparatus, information provision method and program |
| US7299126B2 (en) * | 2003-11-03 | 2007-11-20 | International Business Machines Corporation | System and method for evaluating moving queries over moving objects |
| US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
| US20050229227A1 (en) * | 2004-04-13 | 2005-10-13 | Evenhere, Inc. | Aggregation of retailers for televised media programming product placement |
| GB2414615A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Object detection, scanning and labelling |
| US7519200B2 (en) | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
| US20080177640A1 (en) | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
| US8732025B2 (en) * | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
| EP1889207A4 (en) * | 2005-05-09 | 2012-12-12 | Google Inc | SYSTEM AND METHOD FOR THE USE OF CAPTURED IMAGES BY RECOGNITION |
| US7660468B2 (en) * | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
| US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
| US7760917B2 (en) | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
| US7945099B2 (en) * | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
| US7657126B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
| US7657100B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for enabling image recognition and searching of images |
| US7783135B2 (en) | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
| US7809192B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for recognizing objects from images and identifying relevancy amongst images and information |
| US7542610B2 (en) * | 2005-05-09 | 2009-06-02 | Like.Com | System and method for use of images with recognition analysis |
| US8494951B2 (en) * | 2005-08-05 | 2013-07-23 | Bgc Partners, Inc. | Matching of trading orders based on priority |
| US20070208629A1 (en) * | 2006-03-02 | 2007-09-06 | Jung Edward K Y | Shopping using exemplars |
| US8600832B2 (en) | 2006-03-03 | 2013-12-03 | The Invention Science Fund I, Llc | Considering selling exemplar-based goods, items, or services |
| US8571272B2 (en) * | 2006-03-12 | 2013-10-29 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
| US9690979B2 (en) | 2006-03-12 | 2017-06-27 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
| US8233702B2 (en) * | 2006-08-18 | 2012-07-31 | Google Inc. | Computer implemented technique for analyzing images |
| US8341152B1 (en) | 2006-09-12 | 2012-12-25 | Creatier Interactive Llc | System and method for enabling objects within video to be searched on the internet or intranet |
| CN100413327C (zh) * | 2006-09-14 | 2008-08-20 | 浙江大学 | 一种基于轮廓时空特征的视频对象标注方法 |
| KR100853267B1 (ko) * | 2007-02-02 | 2008-08-20 | 전남대학교산학협력단 | 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 |
| CN100568958C (zh) * | 2007-02-14 | 2009-12-09 | 成都索贝数码科技股份有限公司 | 一种基于网络的节目远程编辑方法 |
| CA2689065C (en) * | 2007-05-30 | 2017-08-29 | Creatier Interactive, Llc | Method and system for enabling advertising and transaction within user generated video content |
| US7929764B2 (en) * | 2007-06-15 | 2011-04-19 | Microsoft Corporation | Identifying character information in media content |
| US8416981B2 (en) | 2007-07-29 | 2013-04-09 | Google Inc. | System and method for displaying contextual supplemental content based on image content |
| CN101420595B (zh) | 2007-10-23 | 2012-11-21 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
| US9189794B2 (en) * | 2008-02-11 | 2015-11-17 | Goldspot Media, Inc. | Method and apparatus for maximizing brand exposure in a minimal mobile display |
| US20110110649A1 (en) * | 2008-06-19 | 2011-05-12 | Thomson Licensing | Adaptive video key frame selection |
| KR20110081802A (ko) * | 2008-07-14 | 2011-07-14 | 구글 인코포레이티드 | 관심 있는 다른 콘텐츠 아이템들을 식별하기 위해 탐색 기준용 보충 콘텐츠 아이템들을 사용하는 시스템 및 방법 |
| US8239359B2 (en) * | 2008-09-23 | 2012-08-07 | Disney Enterprises, Inc. | System and method for visual search in a video media player |
| US9715701B2 (en) * | 2008-11-24 | 2017-07-25 | Ebay Inc. | Image-based listing using image of multiple items |
| CN102075689A (zh) * | 2009-11-24 | 2011-05-25 | 新奥特（北京）视频技术有限公司 | 一种快速制作动画的字幕机 |
| JP4784709B1 (ja) * | 2011-03-10 | 2011-10-05 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
| US20140208208A1 (en) * | 2011-06-17 | 2014-07-24 | Thomson Licesning | Video navigation through object location |
| US8798362B2 (en) * | 2011-08-15 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Clothing search in images |
| CN102930887A (zh) * | 2012-10-31 | 2013-02-13 | 深圳市宜搜科技发展有限公司 | 一种音频文件处理方法及系统 |
| US9626567B2 (en) * | 2013-03-13 | 2017-04-18 | Visible Measures Corp. | Automated video campaign building |
| US9378556B2 (en) * | 2014-04-25 | 2016-06-28 | Xerox Corporation | Method for reducing false object detection in stop-and-go scenarios |
| CN103970906B (zh) * | 2014-05-27 | 2017-07-04 | 百度在线网络技术（北京）有限公司 | 视频标签的建立方法和装置、视频内容的显示方法和装置 |
| CN107798272B (zh) * | 2016-08-30 | 2021-11-02 | 佳能株式会社 | 快速多目标检测与跟踪系统 |
| CN108629224B (zh) * | 2017-03-15 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 信息呈现方法和装置 |
| CN108605081B (zh) * | 2017-07-18 | 2020-09-01 | 杭州他若信息科技有限公司 | 智能目标追踪 |
| CN110119650A (zh) * | 2018-02-06 | 2019-08-13 | 优酷网络技术（北京）有限公司 | 信息展示方法及装置 |
| CN109284404A (zh) * | 2018-09-07 | 2019-01-29 | 成都川江信息技术有限公司 | 一种将实时视频中的场景坐标与地理信息相匹配的方法 |
| KR102604937B1 (ko) | 2018-12-05 | 2023-11-23 | 삼성전자주식회사 | 캐릭터를 포함하는 동영상을 생성하기 위한 전자 장치 및 그에 관한 방법 |
| KR102028319B1 (ko) * | 2018-12-17 | 2019-11-04 | 엘아이지넥스원 주식회사 | 연관 영상 제공장치 및 방법 |
| KR101997799B1 (ko) * | 2018-12-17 | 2019-07-08 | 엘아이지넥스원 주식회사 | 관심영역 연관 영상 제공시스템 |
| US11823476B2 (en) | 2021-05-25 | 2023-11-21 | Bank Of America Corporation | Contextual analysis for digital image processing |
| KR102700646B1 (ko) * | 2021-12-02 | 2024-08-29 | 주식회사 코난테크놀로지 | 군사 관련 이미지 및 동영상에서의 무기객체 식별장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998050869A1 (en) * | 1997-05-05 | 1998-11-12 | The Trustees Of Columbia University In The City Of New York | Algorithms and system for object-oriented content-based video search |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5109435A (en) * | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| JPH07104921B2 (ja) * | 1989-11-17 | 1995-11-13 | 松下電器産業株式会社 | 画像閾値決定方法 |
| JPH0766448B2 (ja) * | 1991-06-25 | 1995-07-19 | 富士ゼロックス株式会社 | 画像信号分析装置 |
| US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
| JP3329408B2 (ja) * | 1993-12-27 | 2002-09-30 | 日本電信電話株式会社 | 動画像処理方法および装置 |
| JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
| JP3569992B2 (ja) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
| JPH09282456A (ja) * | 1996-04-18 | 1997-10-31 | Matsushita Electric Ind Co Ltd | 画像ラベリング装置および画像検索装置 |
| US5943442A (en) * | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
| JP3787019B2 (ja) * | 1997-07-18 | 2006-06-21 | 日本放送協会 | 画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置 |
| KR100304662B1 (ko) * | 1998-01-21 | 2001-09-29 | 윤종용 | 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법 |
| KR100361939B1 (ko) * | 1999-07-27 | 2002-11-22 | 학교법인 한국정보통신학원 | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 |
| KR100331050B1 (ko) * | 2000-06-01 | 2002-04-19 | 송종수 | 동영상 데이터상의 객체 추적 방법 |
-
2001
- 2001-01-20 KR KR1020010003423A patent/KR100355382B1/ko not_active IP Right Cessation
- 2001-08-30 EP EP20010307388 patent/EP1225518B1/en not_active Expired - Lifetime
- 2001-08-30 DE DE2001616717 patent/DE60116717T2/de not_active Expired - Lifetime
- 2001-08-31 JP JP2001263656A patent/JP4370387B2/ja not_active Expired - Fee Related
- 2001-08-31 CN CNB011252383A patent/CN1222897C/zh not_active Expired - Fee Related
- 2001-09-04 US US09/944,600 patent/US7024020B2/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998050869A1 (en) * | 1997-05-05 | 1998-11-12 | The Trustees Of Columbia University In The City Of New York | Algorithms and system for object-oriented content-based video search |
Non-Patent Citations (2)
| Title |
|---|
| 川崎洋、他３名: "実世界映像の自動構造化によるインタラクティブ利用", 電子情報通信学会論文誌 Ｄ−ＩＩ, vol. 第Ｊ８２−Ｄ−ＩＩ巻，第１０号, CSNG200100655003, 25 October 1999 (1999-10-25), pages 1561 - 1571, ISSN: 0000734343 * |
| 有木康雄、他４名: "ニュース映像中の記事に対する音声・文字・映像を用いた索引付けと分類", 電子情報通信学会技術研究報告 パターン認識・メディア理解, vol. 第９６巻，第３８５号, CSNG199700073005, 22 November 1996 (1996-11-22), pages 31 - 38, ISSN: 0000734342 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017164640A1 (en) * | 2016-03-22 | 2017-09-28 | Jam2Go, Inc. | System and method for editing video contents automatically technical field |
| US11438510B2 (en) | 2016-03-22 | 2022-09-06 | Jung Yoon Chun | System and method for editing video contents automatically technical field |
| KR101717014B1 (ko) * | 2016-04-21 | 2017-03-15 | (주)노바빈 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| KR101751863B1 (ko) * | 2017-03-08 | 2017-06-28 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| KR101827985B1 (ko) * | 2017-05-19 | 2018-03-22 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| JP2019149142A (ja) * | 2018-02-26 | 2019-09-05 | 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 対象物標識のためのシステムおよび方法 |
| US10685263B2 (en) | 2018-02-26 | 2020-06-16 | Industrial Technology Research Institute | System and method for object labeling |
| WO2020066695A1 (ja) * | 2018-09-28 | 2020-04-02 | 日本電信電話株式会社 | 情報同期装置、情報同期方法及び情報同期プログラム |
| JP2020057847A (ja) * | 2018-09-28 | 2020-04-09 | 日本電信電話株式会社 | 情報同期装置、情報同期方法及び情報同期プログラム |
| US11418684B2 (en) | 2018-09-28 | 2022-08-16 | Nippon Telegraph And Telephone Corporation | Information synchronization device, information synchronization method, and information synchronization program |
| JP7121277B2 (ja) | 2018-09-28 | 2022-08-18 | 日本電信電話株式会社 | 情報同期装置、情報同期方法及び情報同期プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60116717D1 (de) | 2006-04-06 |
| EP1225518A3 (en) | 2003-01-02 |
| JP4370387B2 (ja) | 2009-11-25 |
| US7024020B2 (en) | 2006-04-04 |
| CN1367616A (zh) | 2002-09-04 |
| US20020097893A1 (en) | 2002-07-25 |
| EP1225518B1 (en) | 2006-01-18 |
| KR20020062429A (ko) | 2002-07-26 |
| EP1225518A2 (en) | 2002-07-24 |
| CN1222897C (zh) | 2005-10-12 |
| DE60116717T2 (de) | 2006-11-02 |
| KR100355382B1 (ko) | 2002-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4370387B2 (ja) | ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 | |
| Anwar et al. | Image colorization: A survey and dataset | |
| CN109145784B (zh) | 用于处理视频的方法和装置 | |
| US6954498B1 (en) | Interactive video manipulation | |
| US8549403B2 (en) | Image tracking and substitution system and methodology | |
| CN110602554A (zh) | 封面图像确定方法、装置及设备 | |
| CN113766296B (zh) | 直播画面的展示方法和装置 | |
| CN103984778B (zh) | 一种视频检索方法及系统 | |
| CN111062314A (zh) | 图像选取方法、装置、计算机可读存储介质及电子设备 | |
| CN109241956A (zh) | 合成图像的方法、装置、终端及存储介质 | |
| CN112164130A (zh) | 基于深度对抗网络的视频-动画风格迁移方法 | |
| CN116308530A (zh) | 一种广告植入方法、装置、设备和可读存储介质 | |
| CN115376033A (zh) | 信息生成方法及装置 | |
| WO1997012480A2 (en) | Method and apparatus for implanting images into a video sequence | |
| Moon et al. | Lee | |
| CN116389849A (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN110414471B (zh) | 基于双模型的视频识别方法及系统 | |
| Caliani et al. | Commercial video retrieval by induced semantics | |
| CN114004734A (zh) | 一种背景图像的替换方法和装置 | |
| CN114627404A (zh) | 智能化视频人物替换方法、系统 | |
| CN115687692A (zh) | 视频的处理方法、装置、计算机存储介质及智能交互平板 | |
| CN114205677B (zh) | 一种基于原型视频的短视频自动编辑方法 | |
| CN111031366B (zh) | 一种在视频中植入广告的方法及系统 | |
| Xiao et al. | RBF network‐based temporal color morphing | |
| CN117690055A (zh) | 视频图像处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050401 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050704 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060808 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060922 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061113 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |