JP2001134589A - 動画像検索装置 - Google Patents

動画像検索装置

Info

Publication number
JP2001134589A
JP2001134589A JP31461899A JP31461899A JP2001134589A JP 2001134589 A JP2001134589 A JP 2001134589A JP 31461899 A JP31461899 A JP 31461899A JP 31461899 A JP31461899 A JP 31461899A JP 2001134589 A JP2001134589 A JP 2001134589A
Authority
JP
Japan
Prior art keywords
metadata
moving image
unit
search
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP31461899A
Other languages
English (en)
Inventor
Atsushi Fukuda
淳 福田
Masahide Naemura
昌秀 苗村
Yoshinori Izumi
▲吉▼則 和泉
Yasumasa Ito
泰雅 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP31461899A priority Critical patent/JP2001134589A/ja
Publication of JP2001134589A publication Critical patent/JP2001134589A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 映像から得られる動的メタデータ(動的特徴
量)の類似度により動画像の検索を行う動画像検索装置
を提供する。 【解決手段】 その動画像検索装置は、入力映像(1)
のなかより例示動画像を指定し、指定された例示動画像
の開示および終了を期間指定する例示動画像指定部
(2)と、メタデータデータベース(3)に予め格納さ
れているオブジェクトの動きの特徴量も含むメタデータ
と前記指定された例示動画像中のオブジェクトの動きの
特徴量も含むメタデータとを比較して類似した映像を検
索するメタデータ比較部(4)と、前記検索結果を表示
する検索結果表示部(5)とを少なくとも具えて構成さ
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、映像の動画像検
索装置に係り、特にキーワードに加えてメタデータを使
用した動画像検索装置に関するものである。
【0002】
【従来の技術】従来は、画像の検索の手段としてキーワ
ードが用いられていた。しかし、キーワードを全ての動
画像に付与する作業は膨大であり、キーワードだけでは
映像の類似という概念を表現することは困難であった。
そのような背景から、映像から抽出した特徴量(以下メ
タデータと呼ぶ)による類似映像の検索が提案されてい
る。代表的な手法として、静止画像の画面全体に対す
る、色、テクスチヤ、輝度などのメタデータのマッチン
グによる検索が挙げられる。しかし、これは画像全体の
特徴による検索となり、検索者の着目している映像中の
部分的な特徴による検索は考えられていない(文献
1)。そこで、映像をオブジェクトに分割して、検索者
が注目しているオブジェクトを指定し、そのオブジェク
トの色、テクスチヤ、形状等のメタデータによる類似し
たオブジェクトを含む映像の検索が提案されてきた(文
献2)。しかし、この手法は静止画像を対象としてお
り、動画像の検索は考えられていない。
【0003】
【発明が解決しようとする課題】映像をオブジェクト化
することは、検索者の着目している映像中の部分的な領
域を特定し、その領域特有のメタデータの抽出や指定を
可能とする。さらに、動画像では物体の形状の変化、点
滅等の輝度値の変化、色相の時間方向の変化、物体の移
動など、被写体の経時変化が静止画像にはない重要な情
報である。このような経時変化をここでは「動き」と呼
ぶことにする。現在までに映像中のオブジェクトの「動
き」に関するメタデータをキーとした検索手法は提案さ
れていない(例えば黄色の丸い物体が転がっているシー
ンの検索など)。
【0004】そこで本発明の目的は、映像から得られる
メタデータの類似度により動画像の検索を行うことの可
能な動画像検索装置を提供せんとするものである。
【0005】
【課題を解決するための手段】この目的を達成するた
め、本発明動画像検索装置は、メタデータの類似度によ
り映像から動画像の検索を行う動画像検索装置におい
て、当該装置が入力映像のなかより例示動画像を指定
し、指定された例示動画像の開始および終了を期間指定
する例示動画像指定部と、メタデータデータベースに予
め格納されているオブジェクトのメタデータと前記指定
された例示動画像中のオブジェクトのメタデータとを比
較して類似した映像を検索するメタデータ比較部と、前
記検索結果を表示する検索結果表示部と、を少なくとも
具えたことを特徴とするものである。本発明装置は、さ
らに、前記例示動画像指定部と前記メタデータ比較部と
の間に、前記例示動画像中の注目するオブジェクトを指
定するとともにオブジェクト毎のメタデータの種類を検
索条件として指定する例示オブジェクト指定部を具えて
いてもよいし、前記オブジェクトの動きの速さの違いを
吸収して検索を可能とする時間軸正規化部を具えていて
もよいし、カメラワークの影響をなくすため動きのメタ
データの補正を行うカメラパラメータ補正部を具えてい
てもよい。
【0006】
【発明の実施の形態】以下、添付図面を参照し、実施例
により本発明の実施の形態を詳細に説明する。はじめに
検索者の行う作業の一実施例について述べる。まず、検
索者が例示動画像中の注目しているオブジェクトとメタ
データの種類を指定する。オブジェクトの色や大きさ等
の静的なメタデータに着目している場合にはその旨を指
定して検索すれば良い。以下にはさらに「動き」を表す
メタデータを指定した例で考える。「動き」のメタデー
タを指定する時は、静的なメタデータの指定に加えて、
オブジェクトが注目する動きを開始するフレームと終了
するフレーム(動作を行う期間)も指定する必要があ
る。
【0007】一方、データベース側では、予め映像を格
納する際に、映像をオブジェクトに分解し、各オブジェ
クトからメタデータを抽出している。映像からオブジェ
クトを抽出する手段の例として文献3があげられるが、
他の手法を用いても良い。オブジェクトから抽出された
メタデータは、オブジェクトに関連づけられて、データ
ベースで管理されている。このようなデータベースに対
して、検索者が上述の作業を行うことにより、比較する
メタデータが指定され、検索が可能になる。
【0008】最後にメタデータを利用した検索手法の考
え方を以下に述べる。映像からオブジェクトを抽出し、
オブジェクト毎に静的及び動的なメタデータを管理して
いるデータベースにおいて、静的なメタデータの照合
は、静止画同士のメタデータの照合となんら変わるとこ
ろはない。動的なメタデータでは、メタデータの時間方
向の変化は横軸を時間、縦軸をメタデータの大きさに取
ると、1次元の波形と捉えることができる。例示動画像
中のオブジェクトの「動き」のメタデータも同様に1次
元の波形と捉えることができ、これらの波形照合により
類似の「動き」の検索が可能になる。波形照合の概念を
図1に示す。
【0009】図1において(a)を例示動画中のオブジ
ェクトのメタデータ波形図、(b)をデータベースに格
納されているオブジェクトのメタデータ波形図とすれ
ば、(c)のように(a)のメタデータを移動しながら
(b)のメタデータと順次比較していけばエラー量の小
さい位置を検索結果とすることができる。以上のような
手続きにより、本発明ではオブジェクトの静的及び動的
なメタデータをキーにした動画像の検索を可能にするこ
とができる。
【0010】(具体例)次に図2により本発明装置に係
る具体例1を説明する。具体例1は請求項2に対応する
ものである。 キーワードなどで例示動画像を入手する。例として、
サッカーシーンでキーパーがシュートに反応してジャン
プするシーンを例示動画像として利用する場合を考え
る。ジャンプとは、キーパーの重心位置が垂直方向に急
激に上下に変化するシーンとする。例示動画像の参照期
間として、例示動画像指定部でキーパーオブジェクトが
ジャンプを開始する直前のフレームから、着地するフレ
ームまでを指定する。静的なメタデータしか注目しない
場合には、期間として現フレームだけ指定する。 例示オブジェクト指定部で例示動画像中の注目するオ
ブジェクトを指定する。また、同時に着目するメタデー
タの種類を指定する。ここでは、オブジェクトの位置の
変化に着目した例で考えているので、メタデータとして
はオブジェクトの重心位置の変化を指定する。具体的に
は、オブジェクトとして例示動画像中のキーパーを指定
して、着目するメタデータとして重心位置の変化を指定
する。 メタデータデータベースに格納されているサッカの映
像と、例示動画像中のキーパーオブジェクトの重心位置
の変化が類似しているものを、メタデータ比較部より求
める。 エラー量が小さいシーンから順に検索結果とし、検索
結果表示部に結果を表示する。
【0011】本発明装置で、画像全体を1つのオブジェ
クトとみなす場合は、上記の2作業は不要である。その
場合の具体例2を図3にブロック線図で示す。また、本
発明装置では、類似した動作にもかかわらず、動作の速
さが異なる場合にも検索を可能にする。例えば同じ歩く
のでも速度が異なる場合や、点滅する速度が速いなどが
ある。この様な速さが異なる類似した動作を検索する必
要がある場合には上記2作業を行う際に、時間軸正規化
部で速さの変化の度合いも合わせて指定して検索を行
う。具体例2にこの機能を持たせた具体例3を図4に、
具体例1にこの機能を持たせた具体例4を図5にブロッ
ク線図で示す。
【0012】さらに本発明装置では、カメラワークによ
り見かけ上オブエジェクトの位置が変化して見える場合
に、カメラワークの影響を補正して、真のオブジェクト
の「動き」による検索を可能にする。実際のオブジェク
トの位置の変化は、カメラパラメータによる補正により
可能である。その場合は上記2の作業を行う際に、カメ
ラパラメータ補正部で「動き」のメタデータの補正を行
う事を指示して検索を実行する。具体例2にこの機能を
持たせた具体例5を図6に、具体例1にこの機能を持た
せた具体例6を図7に、具体例3にこの機能を持たせた
具体例7を図8に、具体例4にこの機能を持たせた具体
例8を図9にブロック線図で示す。
【0013】
【発明の効果】本発明装置によれば、映像から得られる
特徴量(メタデータ)の類似度により画像の検索を行う
システムにおいて、前記メタデータに、オブジェクトの
色、形状、大きさおよびテクスチャなどの静的なメタデ
ータの他に、オブジェクトの輝度の時間変化、位置の時
間変化および形状の時間変化など動的なメタデータをも
含ませているので、オブジェクトのメタデータによる動
画像の検索が可能となり、従来行えなかった「動き」を
キーとした動画像の検索ができるようになった。
【0014】<参考文献> 文献1 Marco La Cascia and Edoardo Ardizzone:“JACOB:JUST
A CONTENT-BASED QUERY SYSTEM FOR VIDEO DATABASE
S",ICASSP-96,pp.1216-1219,1996. 文献2 赤間弘樹他:“画像内オブジェクトの自動抽出を使った
画像検索システム ExSight−写真(Photo Disk)への適
用−”, 情処研報, DBS113-26 , pp. 155-160,1997. 文献3 苗村 昌秀 他:“スポーツ番組からの芝生領域の検
出”,映像情報メディア学会技術報告,MIP97-42, Nim
97-61,No.42,pp.37-42,1997.
【図面の簡単な説明】
【図1】 波形照合による「動き」の類似したシーンの
検索を説明する図。
【図2】 本発明装置に係る具体例1を説明する図。
【図3】 本発明装置に係る具体例2のブロック線図。
【図4】 本発明装置に係る具体例3をブロック線図。
【図5】 本発明装置に係る具体例4をブロック線図。
【図6】 本発明装置に係る具体例5をブロック線図。
【図7】 本発明装置に係る具体例6をブロック線図。
【図8】 本発明装置に係る具体例7をブロック線図。
【図9】 本発明装置に係る具体例8をブロック線図。
【符号の説明】
1 映像入力 2 例示動画像指定部 3 メタデータ データベース 4 メタデータ比較部 5 検索結果表示部 6 例示オブジェクト指定部 7 時間軸正規化部 8 カメラパラメータ補正部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 和泉 ▲吉▼則 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 伊藤 泰雅 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5B075 ND12 NK07 NK10 PP30 QM08 QS03 5L096 BA08 FA60 FA81 HA03 HA08

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 メタデータの類似度により映像から動画
    像の検索を行う動画像検索装置において、当該装置が入
    力映像のなかより例示動画像を指定し、指定された例示
    動画像の開始および終了を期間指定する例示動画像指定
    部と、メタデータデータベースに予め格納されているオ
    ブジェクトのメタデータと前記指定された例示動画像中
    のオブジェクトのメタデータとを比較して類似した映像
    を検索するメタデータ比較部と、前記検索結果を表示す
    る検索結果表示部と、を少なくとも具えたことを特徴と
    する動画像検索装置。
  2. 【請求項2】 請求項1記載の装置において、前記例示
    動画像指定部と前記メタデータ比較部との間に、前記例
    示動画像中の注目するオブジェクトを指定するとともに
    オブジェクト毎のメタデータの種類を検索条件として指
    定する例示オブジェクト指定部をさらに具えることを特
    徴とする動画像検索装置。
  3. 【請求項3】 請求項1または2記載の装置において、
    前記例示動画像指定部と前記メタデータ比較部との間
    に、さらに前記オブジェクトの動きの速さの違いを吸収
    して検索を可能とする時間軸正規化部を具えることを特
    徴とする動画像検索装置。
  4. 【請求項4】 請求項1から3いずれか記載の装置にお
    いて、前記例示動画像指定部と前記メタデータ比較部と
    の間に、さらにカメラワークの影響をなくすため動きの
    メタデータの補正を行うカメラパラメータ補正部を具え
    ることを特徴とする動画像検索装置。
JP31461899A 1999-11-05 1999-11-05 動画像検索装置 Pending JP2001134589A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31461899A JP2001134589A (ja) 1999-11-05 1999-11-05 動画像検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31461899A JP2001134589A (ja) 1999-11-05 1999-11-05 動画像検索装置

Publications (1)

Publication Number Publication Date
JP2001134589A true JP2001134589A (ja) 2001-05-18

Family

ID=18055482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31461899A Pending JP2001134589A (ja) 1999-11-05 1999-11-05 動画像検索装置

Country Status (1)

Country Link
JP (1) JP2001134589A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501343A (ja) * 2001-08-28 2005-01-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアコンテンツにおけるユーザ選択からの自動的質問構築
JP2005234760A (ja) * 2004-02-18 2005-09-02 Kuniyoshi Tatsu 遠隔制御システム
JP2008217713A (ja) * 2007-03-07 2008-09-18 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法及び装置及びプログラム
KR20110087587A (ko) * 2010-01-26 2011-08-03 삼성전자주식회사 영상 검색 방법 및 장치
EP2375350A1 (en) 2010-04-09 2011-10-12 Sony Corporation Image processing apparatus, image processing method, and program
EP2375349A1 (en) 2010-04-09 2011-10-12 Sony Corporation Image processing apparatus, image processing method, and program
WO2012133028A1 (ja) * 2011-03-25 2012-10-04 株式会社ニコン 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム
JP2012203657A (ja) * 2011-03-25 2012-10-22 Nikon Corp 電子機器及び取得方法
JP2012221401A (ja) * 2011-04-13 2012-11-12 Nikon Corp 電子機器及び選択方法
JP2012221033A (ja) * 2011-04-05 2012-11-12 Nikon Corp 電子機器及び選択方法
JP2013092819A (ja) * 2011-10-24 2013-05-16 Fujitsu Advanced Engineering Ltd 映像検出装置および映像検出方法並びに映像検出プログラム
WO2013108448A1 (ja) 2012-01-20 2013-07-25 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム
US8521561B2 (en) 2006-08-25 2013-08-27 Konica Minolta Medical & Graphic, Inc. Database system, program, image retrieving method, and report retrieving method
WO2021229750A1 (ja) * 2020-05-14 2021-11-18 日本電気株式会社 画像選択装置、画像選択方法、およびプログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501343A (ja) * 2001-08-28 2005-01-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアコンテンツにおけるユーザ選択からの自動的質問構築
JP2005234760A (ja) * 2004-02-18 2005-09-02 Kuniyoshi Tatsu 遠隔制御システム
US8521561B2 (en) 2006-08-25 2013-08-27 Konica Minolta Medical & Graphic, Inc. Database system, program, image retrieving method, and report retrieving method
JP2008217713A (ja) * 2007-03-07 2008-09-18 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法及び装置及びプログラム
KR20110087587A (ko) * 2010-01-26 2011-08-03 삼성전자주식회사 영상 검색 방법 및 장치
KR101718891B1 (ko) * 2010-01-26 2017-03-23 삼성전자주식회사 영상 검색 방법 및 장치
EP2375350A1 (en) 2010-04-09 2011-10-12 Sony Corporation Image processing apparatus, image processing method, and program
US8620971B2 (en) 2010-04-09 2013-12-31 Sony Corporation Image processing apparatus, image processing method, and program
US8891019B2 (en) 2010-04-09 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
EP2375349A1 (en) 2010-04-09 2011-10-12 Sony Corporation Image processing apparatus, image processing method, and program
JP2012203657A (ja) * 2011-03-25 2012-10-22 Nikon Corp 電子機器及び取得方法
WO2012133028A1 (ja) * 2011-03-25 2012-10-04 株式会社ニコン 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム
JP2012221033A (ja) * 2011-04-05 2012-11-12 Nikon Corp 電子機器及び選択方法
JP2012221401A (ja) * 2011-04-13 2012-11-12 Nikon Corp 電子機器及び選択方法
JP2013092819A (ja) * 2011-10-24 2013-05-16 Fujitsu Advanced Engineering Ltd 映像検出装置および映像検出方法並びに映像検出プログラム
WO2013108448A1 (ja) 2012-01-20 2013-07-25 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム
US9076036B2 (en) 2012-01-20 2015-07-07 Rakuten, Inc. Video search device, video search method, recording medium, and program
TWI514172B (zh) * 2012-01-20 2015-12-21 Rakuten Inc An animation search device, an animation search method, a recording medium, and a program
WO2021229750A1 (ja) * 2020-05-14 2021-11-18 日本電気株式会社 画像選択装置、画像選択方法、およびプログラム

Similar Documents

Publication Publication Date Title
US7643657B2 (en) System for selecting a keyframe to represent a video
US7487524B2 (en) Method and apparatus for presenting content of images
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US8200669B1 (en) Management of smart tags via hierarchy
US8160299B2 (en) Image processing apparatus
JP2001134589A (ja) 動画像検索装置
US20080247610A1 (en) Apparatus, Method and Computer Program for Processing Information
US10891019B2 (en) Dynamic thumbnail selection for search results
CN107229741B (zh) 信息搜索方法、装置、设备以及存储介质
JP2002125178A (ja) メディア・セグメント化システムおよび関連する方法
CN103428537B (zh) 一种视频处理方法和装置
Meng et al. Object instance search in videos via spatio-temporal trajectory discovery
US11853357B2 (en) Method and system for dynamically analyzing, modifying, and distributing digital images and video
JP2006217046A (ja) 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム
Heesch et al. Video Retrieval Using Search and Browsing.
Cobârzan et al. Content-based video browsing with collaborating mobile clients
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
CN110933520B (zh) 一种基于螺旋摘要的监控视频展示方法及存储介质
JP2006039753A (ja) 画像処理装置、画像処理方法
JP2012048324A (ja) 情報処理装置、その処理方法及びプログラム
Latecki et al. Extraction of key frames from videos by optimal color composition matching and polygon simplification
JP2001268479A (ja) 動画像検索装置
KR100287559B1 (ko) 동영상내에서의 장면 전환 검출 간격 최적화 방법 및 그 장치
Diklic et al. Automatic extraction of representative keyframes based on scene content
JPH04347772A (ja) 代表画面提示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071002