JP2001268479A - 動画像検索装置 - Google Patents

動画像検索装置

Info

Publication number
JP2001268479A
JP2001268479A JP2000073237A JP2000073237A JP2001268479A JP 2001268479 A JP2001268479 A JP 2001268479A JP 2000073237 A JP2000073237 A JP 2000073237A JP 2000073237 A JP2000073237 A JP 2000073237A JP 2001268479 A JP2001268479 A JP 2001268479A
Authority
JP
Japan
Prior art keywords
metadata
moving image
shape
change
object area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000073237A
Other languages
English (en)
Inventor
Atsushi Fukuda
淳 福田
Masahiko Naemura
昌彦 苗村
Yoshinori Izumi
▲吉▼則 和泉
Yasumasa Ito
泰雅 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2000073237A priority Critical patent/JP2001268479A/ja
Publication of JP2001268479A publication Critical patent/JP2001268479A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 形状特徴の時間方向の変化による検索を可能
とした動画像検索装置を提供する。 【解決手段】 入力映像(1)よりオブジェクト領域を
抽出(2)し、そのオブジェクト領域の連続するフレー
ムの形状の変化をも含み変化する形状特徴を抽出(3)
して予めメタデータデータベースに格納(4)し、検索
のために別途例示動画像(5)が入力されてオブジェク
トの形状変化をも含み変化する形状特徴を指定(6)
し、指定されたこのメタデータとメタデータデータベー
ス中に予め格納されたメタデータとを比較(7)し、類
似度のある映像を表示(8)する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、映像データベー
スの検索手法に係り、特にメタデータとして形状情報の
時間方向の変化による検索を可能にした動画像検索装置
に関わる。
【0002】
【従来の技術】従来から、領域の形状特徴を抽出する手
法は色々と提案されている。例として、領域の輪郭線に
注目して記述する方法(フーリエ記述子など)、領域の
特徴的な長さを抽出する方法(領域の周上の任意の2点
の距離のうち最長の長さを求めるなど)、および領域を
基準とする図形との比較を行い類似、非類似度を特徴量
とする手法(対象領域と同面積の円の直径を求めるな
ど)があげられる(参考文献1)。
【0003】これらの対象領域の形状特徴の抽出は、静
止画像内の対象領域の形状の特徴抽出を目的に行われて
おり、それら特徴量による対象領域の認識や検索も既に
行われている。しかし、これら形状特徴量は連続したフ
レーム構造を持つ動画像を対象とはしていない。
【0004】
【発明が解決しようとする課題】従来手法では、動画像
を連続した静止画像とみなして、フレーム毎の類似した
オブジェクトの形状を求めることは可能だが、求めた形
状特徴では、連続するフレーム間において何のつながり
も考慮されていない。従来、形状特徴は静止画像の検索
には利用されていたが、動画像の検索には利用されてい
なかった。
【0005】従って本発明の目的は、形状特徴の連続し
たフレーム間の変化にも着目し、形状特徴の時間方向に
変化するパターン自体を検索の対象とすることにより、
動画像の検索への利用を可能とした動画像検索装置を提
供せんとするものである。
【0006】
【課題を解決するための手段】この目的を達成するた
め、本発明動画像検索装置は、メタデータの類似度によ
り入力映像から動画像の検索を行う動画像検索装置にお
いて、当該装置が、入力映像より対象とするオブジェク
ト領域を抽出するオブジェクト領域抽出部と、該抽出さ
れたオブジェクト領域の連続するフレームの形状変化を
も含み変化するメタデータを抽出する形状特徴抽出部
と、該抽出されたメタデータを予め格納するメタデータ
データベースと、検索するための連続するフレームの形
状変化をも含み変化するメタデータを指定する形状特徴
指定部と、該指定されたメタデータと前記メタデータデ
ータベース中に予め格納されたメタデータとを比較する
メタデータ比較部と、該メタデータ比較部でメタデータ
が近いとされる映像を表示する検索結果表示部とを具え
てなることを特徴とするものである。
【0007】
【発明の実施の形態】動画像内に映っているオブジェク
トの、連続するフレーム間の形状特徴の変化を観察する
ことにより、観察された形状変化をするオブジェクトが
映っているシーンというようなシーンの特定方法が可能
になる。形状の時間方向の変化自体を検索のメタデータ
とすることにより、類似した形状変化をするオブジェク
トが映っているシーンの検索を可能にすることができ
る。
【0008】
【実施例】以下、添付図面を参照し実施例により本発明
の実施の形態をさらに詳細に説明する。図1に本発明動
画像検索装置実施例に係る構成ブロック線図を示す。映
像入力1からオブジェクト領域を抽出するオブジェクト
領域抽出部2では、例えば参考文献2に示されている手
法、すなわち色情報によるヒストグラム生成とモルフォ
ロジカル(形態学)処理の2段階よりなる抽出アルゴリ
ズムを使用して抽出する。抽出されたオブジェクトは形
状特徴抽出部3において数値化されたオブジェクト領域
の形状特徴が抽出される。例えば、形状特徴抽出部では
オブジェクト領域のy方向の最長のライン数をY、オブ
ジェクト領域のx方向の最長の画素数をXとすると、 F=Y/X (1) で求まる特徴量Fをフレーム毎に抽出する。オブジェク
ト人物が歩いているシーンの特徴量Fの変化の例を図2
に示す。図2の横軸はフレーム数(時間軸)を示し、縦
軸は前述のFの値である。
【0009】そして、形状特徴抽出部で抽出されたメタ
データはメタデータデータベースに格納される。ここま
ではオフラインの処理である。ここまでの処理を、メタ
データを用いた動画像検索装置と組み合わせることによ
り、形状特徴による動画像の検索が可能になる。例え
ば、本願人が先に出願した特願平11-314618 号で請求し
た動画像検索装置においてこれを利用することが考えら
れる。
【0010】図1の形状特徴指定部6において、これか
ら検索の対象にするオブジェクトの形状変化をメタデー
タで指定する。例えば、図2に示すような波形を検索者
に入力させる手法が考えられる。しかし、メタデータ単
独ではただの数値列であり、人間が意味するところを理
解しにくい。
【0011】そこで、本発明では例えば例示動画像5を
利用して、メタデータの指定を行うことが考えられる。
例示動画像5とは、映像を示して、その中に映っている
オブジェクトと、そのオブジェクトが動作を行っている
期間とを指定することにより、そのオブジェクトが持つ
メタデータを検索用のメタデータとして利用するための
映像のことである。例示動画像を利用すると、メタデー
タの意味が検索者にとってわかり易くなる。
【0012】次にメタデータ比較部7においては、形状
特徴指定部6で指定されたオブジェクトの形状変化のメ
タデータと、メタデータデータベース4内に格納されて
いるオブジェクトのメタデータとを比較して、近いシー
ンから順に検索結果とする。具体的には図3に示されて
いるように、入力された波形と類似した波形変化を行う
シーンをメタデータデータベース内から検索する。最後
に検索結果表示部8において、メタデータ比較部で近い
とされた映像を表示する。
【0013】図3において(a)を例示動画像5中のオ
ブジェクトのメタデータ波形図31、(b)をメタデー
タデータベース4に格納されているオブジェクトのメタ
データ波形図32とすれば、同図(c)のように(a)
のメタデータ31を移動しながら(b)のメタデータ3
2と順次比較していけばエラー量の小さい位置を検索結
果とすることができる。
【0014】以上本発明の実施の形態について一実施例
により図面を参照して説明してきたが、本願発明はこれ
に限定されることなく、請求項に記載された発明の要旨
内で各種の変形、変更の可能なことは自明である。
【0015】
【発明の効果】本願発明によれば、動画像内に映ってい
るオブジェクトの連続するフレーム間の形状特徴の変化
を観測することにより、観測された形状を有するオブジ
ェクトが映っているシーンというようなシーンの特定方
法が可能となり、形状の時間方向の変化自体を検索のメ
タデータとすることにより、類似した形状変化をするオ
ブジェクトの映っているシーンの検索も可能にするし、
位置は変わらずに変形だけをするようなオブジェクトの
映ったシーンの検索をも可能とする。 <参考文献> 1.高木幹雄、下田陽久監修:“画像解析ハンドブッ
ク”, 東京大学出版会,pp.580−582,199
1 2.苗村昌秀他:“スポーツ番組からの芝生領域の検
出”, 映像情報メディア学会技術報告,MIP97−4
2,Nim97−61,No.42,pp.37−42,
1997
【図面の簡単な説明】
【図1】 本発明動画像検索装置一実施例に係る構成ブ
ロック線図。
【図2】 オブジェクト(人物)が歩くシーンの縦横比
の変化を示す図。
【図3】 波形照合による形状変化の類似したシーンの
検索を説明する図。
【符号の説明】
1 映像入力 2 オブジェクト領域抽出部 3 形状特徴抽出部 4 メタデータデータベース 5 例示動画像の入力 6 形状特徴指定部 7 メタデータ比較部 8 検索結果表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/91 H04N 5/91 N 5/92 5/92 H (72)発明者 和泉 ▲吉▼則 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 伊藤 泰雅 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5B075 ND12 NK06 NK07 NK31 PP28 PR06 QP05 5C052 AB02 AB04 AC08 CC20 DD04 5C053 FA14 GB05 HA29 KA24 LA06 5L096 FA70 HA03 JA03

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 メタデータの類似度により入力映像から
    動画像の検索を行う動画像検索装置において、当該装置
    が、入力映像より対象とするオブジェクト領域を抽出す
    るオブジェクト領域抽出部と、該抽出されたオブジェク
    ト領域の連続するフレームの形状変化をも含み変化する
    メタデータを抽出する形状特徴抽出部と、該抽出された
    メタデータを予め格納するメタデータデータベースと、
    検索するための連続するフレームの形状変化をも含み変
    化するメタデータを指定する形状特徴指定部と、該指定
    されたメタデータと前記メタデータデータベース中に予
    め格納されたメタデータとを比較するメタデータ比較部
    と、該メタデータ比較部でメタデータが近いとされる映
    像を表示する検索結果表示部とを具えてなることを特徴
    とする動画像検索装置。
JP2000073237A 2000-03-16 2000-03-16 動画像検索装置 Pending JP2001268479A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000073237A JP2001268479A (ja) 2000-03-16 2000-03-16 動画像検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000073237A JP2001268479A (ja) 2000-03-16 2000-03-16 動画像検索装置

Publications (1)

Publication Number Publication Date
JP2001268479A true JP2001268479A (ja) 2001-09-28

Family

ID=18591509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000073237A Pending JP2001268479A (ja) 2000-03-16 2000-03-16 動画像検索装置

Country Status (1)

Country Link
JP (1) JP2001268479A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030067135A (ko) * 2002-02-07 2003-08-14 (주)지토 내용기반 동영상 자동분할 기술을 응용한 인터넷 방송기술
WO2003088668A1 (fr) * 2002-04-12 2003-10-23 Mitsubishi Denki Kabushiki Kaisha Dispositif et procede de transmission de contenu video, dispositif de stockage de contenu video, dispositif et procede de reproduction de contenu video, dispositif de generation de metadonnees, et procede de gestion de contenu video
JP2004221712A (ja) * 2003-01-10 2004-08-05 Sony Corp 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体
JP2005352718A (ja) * 2004-06-10 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 代表画像選択装置,代表画像選択方法および代表画像選択プログラム
JP2008536345A (ja) * 2005-01-27 2008-09-04 インダストリー−ユニバーシティー コオペレーション ファウンデーション ハンヤン ユニバーシティー イメージシーケンスデータ検索のための情報要素抽出方法及びその方法を記録した記録媒体
KR100876280B1 (ko) 2001-12-31 2008-12-26 주식회사 케이티 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
JP2009055447A (ja) * 2007-08-28 2009-03-12 Toshiba Corp 映像検索システム及び映像検索装置
JP2017022733A (ja) * 2013-02-22 2017-01-26 富士ゼロックス株式会社 ビデオ再生方法及びシステム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100876280B1 (ko) 2001-12-31 2008-12-26 주식회사 케이티 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
KR20030067135A (ko) * 2002-02-07 2003-08-14 (주)지토 내용기반 동영상 자동분할 기술을 응용한 인터넷 방송기술
WO2003088668A1 (fr) * 2002-04-12 2003-10-23 Mitsubishi Denki Kabushiki Kaisha Dispositif et procede de transmission de contenu video, dispositif de stockage de contenu video, dispositif et procede de reproduction de contenu video, dispositif de generation de metadonnees, et procede de gestion de contenu video
JP2004221712A (ja) * 2003-01-10 2004-08-05 Sony Corp 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体
JP2005352718A (ja) * 2004-06-10 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 代表画像選択装置,代表画像選択方法および代表画像選択プログラム
JP2008536345A (ja) * 2005-01-27 2008-09-04 インダストリー−ユニバーシティー コオペレーション ファウンデーション ハンヤン ユニバーシティー イメージシーケンスデータ検索のための情報要素抽出方法及びその方法を記録した記録媒体
JP4792471B2 (ja) * 2005-01-27 2011-10-12 インダストリー−ユニバーシティー コオペレーション ファウンデーション ハンヤン ユニバーシティー イメージシーケンスデータ検索のための情報要素抽出方法及びその方法を記録した記録媒体
JP2009055447A (ja) * 2007-08-28 2009-03-12 Toshiba Corp 映像検索システム及び映像検索装置
JP2017022733A (ja) * 2013-02-22 2017-01-26 富士ゼロックス株式会社 ビデオ再生方法及びシステム

Similar Documents

Publication Publication Date Title
Ding et al. A long video caption generation algorithm for big video data retrieval
US10475204B2 (en) Fast multi-object detection and tracking system
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US7203693B2 (en) Instantly indexed databases for multimedia content analysis and retrieval
US8897504B2 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
KR100996066B1 (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체
US8934545B2 (en) Extraction of video fingerprints and identification of multimedia using video fingerprinting
JP4907938B2 (ja) 少なくとも1つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び/又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
US20140254934A1 (en) Method and system for mobile visual search using metadata and segmentation
JP2002150285A (ja) 形状記述子抽出方法
Meng et al. Object instance search in videos via spatio-temporal trajectory discovery
JP2011108262A (ja) 少なくとも1つの画像及び画像群を表現する方法、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
Ratan et al. Object detection and localization by dynamic template warping
Ikeda Segmentation of faces in video footage using HSV color for face detection and image retrieval
CN114399838A (zh) 基于姿态估计和二重分类的多人行为识别方法及系统
JP2001268479A (ja) 動画像検索装置
JP4864310B2 (ja) 画像の表現方法、記述子を符号化、送信、または復号化する方法、マッチング方法、画像の検索方法、装置、およびコンピュータプログラム
JP6389296B1 (ja) 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
JP2001134589A (ja) 動画像検索装置
JPH05174149A (ja) 画像認識装置
Tian et al. Key object-based static video summarization
e Souza et al. Survey on visual rhythms: A spatio-temporal representation for video sequences
Song et al. Object tracking with dual field-of-view switching in aerial videos
Li et al. Efficient shot boundary detection based on scale invariant features
Al-Omari et al. Query by image and video content: a colored-based stochastic model approach