JP2000259832A - 画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法 - Google Patents

画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法

Info

Publication number
JP2000259832A
JP2000259832A JP11059432A JP5943299A JP2000259832A JP 2000259832 A JP2000259832 A JP 2000259832A JP 11059432 A JP11059432 A JP 11059432A JP 5943299 A JP5943299 A JP 5943299A JP 2000259832 A JP2000259832 A JP 2000259832A
Authority
JP
Japan
Prior art keywords
image
feature amount
moving image
component
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11059432A
Other languages
English (en)
Other versions
JP3496559B2 (ja
Inventor
Eiji Kasuya
英司 粕谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP05943299A priority Critical patent/JP3496559B2/ja
Priority to US09/477,088 priority patent/US6870957B1/en
Priority to EP00100102A priority patent/EP1018688A3/en
Priority to CA002293943A priority patent/CA2293943C/en
Publication of JP2000259832A publication Critical patent/JP2000259832A/ja
Priority to US10/370,563 priority patent/US6868182B2/en
Application granted granted Critical
Publication of JP3496559B2 publication Critical patent/JP3496559B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【課題】 画像特徴量を少ない情報量で生成する画像生
成装置を提供する。 【解決手段】 画像データ判定部１００により動画像と
判定された画像データは、特徴量抽出対象フレーム選定
手段２１が動画像データからフレームの全部または一部
に相当するデータを取り出し、縮小画像生成手段２２１
が各フレームのデータから縮小画像を生成し、周波数解
析手段２２２が生成された縮小画像の周波数解析を行
う。直流分および一部交流分を直流成分および一部交流
成分抽出手段２２３が取り出し、特徴量生成手段２３が
全選択フレームについての特徴量を生成する。静止画像
データと判定された画像データは、縮小画像生成手段が
各フレームのデータから縮小画像を生成し、周波数解析
手段が生成された縮小画像の周波数解析を行う。解析の
結果得られる直流分および一部交流分を、直流成分およ
び一部交流成分抽出手段が取り出すことにより特徴量を
生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像特徴量生成装
置、画像検索装置、並びにその生成方法及び検索方法に
関する。
【０００２】
【従来の技術】従来、画像特徴量生成装置、画像検索装
置、並びにその生成方法及び検索方法は一般に、蓄積さ
れた動画像の中からその一部分を検索するために適用さ
れる。
【０００３】従来の参照動画像を利用した圧縮動画像検
索方法の一例が、特開平１０−１３８３２号公報に記載
されている。この公報にて開示された動画像検索方法
は、各ブロックのＤＣＴ係数の少なくとも１つを各画面
の特徴ベクトルとして抽出し、検索キーとなる特定の動
画像パターンに含まれる各フレームの特徴ベクトルの確
率的な状態遷移を学習によりモデル化し、検索対象であ
る一連の動画像に含まれるフレームから抽出された特徴
ベクトルの学習により得られた状態遷移モデルに対する
頻度が高い時間領域を検索結果として出力する。
【０００４】また、特開平６−２３１２５４号公報は、
参照画像の特定領域と類似した領域を含む画像を圧縮動
画像データ中から探し出す方法である。参照画像の検索
を行う際に、第１段階として符号化情報に含まれる画素
値の平均値を用いてパターンマッチングを行い候補画像
を選別し、第２段階として参照画面と入力画面において
縮小画像の周波数成分との相関値を算出して検索を行っ
ている。
【０００５】
【発明が解決しようとする課題】しかしながら、上述し
た従来の方法では、次のような問題がある。第１に特徴
量のサイズが大きいため、特徴量の記憶のための記憶装
置の規模が大きくなる。第２に特徴量のサイズが大きい
ことに起因して、検索速度が低下する。第３にデータベ
ース中の検索対象となる動画像データの各時点に対し、
入力された動画像特徴量の全体とマッチングを行ってい
るため、マッチング時間が膨大となる。特にデータベー
スの規模が大きくなるとこの問題点は顕著になる。
【０００６】本発明は、静止画像および動画像データの
中から類似した静止画像および動画像を高速に検索し、
より少ない記憶容量で静止画像および動画像特徴量を生
成する画像特徴量生成装置、画像検索装置、並びにその
生成方法及び検索方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】かかる目的を達成するた
め、本発明の画像特徴量生成装置は、静止画像データか
ら縮小画像を生成する縮小画像生成手段と、生成された
縮小画像の周波数解析を行う周波数解析手段と、解析の
結果得られる直流分および一部交流分を画像特徴量とし
て取り出す直流成分および一部交流成分抽出手段とを有
して構成されることを特徴とする。
【０００８】上記の画像特徴量生成装置は、静止画像デ
ータを記憶する静止画像データ記憶手段と、静止画像デ
ータ記憶手段に記憶された静止画像データそれぞれに対
して生成された静止画像特徴量を記憶した静止画像特徴
量記憶手段とからなる静止画像データベースを有するこ
とを特徴とする。
【０００９】本発明の画像特徴量生成装置は、動画像デ
ータから全部または一部のフレームに相当するデータを
取り出し処理対象に選定する特徴量抽出対象フレーム選
定手段と、取り出されたフレームそれぞれのデータから
縮小画像を生成する縮小画像生成手段と、生成された縮
小画像の周波数解析を行う周波数解析手段と、解析の結
果得られる直流分および一部交流分をフレーム特徴量と
して取り出す直流成分および一部交流成分抽出手段と、
直流成分および一部交流成分抽出手段から出力されるフ
レーム特徴量を集めて動画像特徴量を生成する動画像特
徴量生成手段とを有することを特徴とする。
【００１０】上記の画像特徴量生成装置は、動画像デー
タを記憶する動画像データ記憶手段と、動画像データ記
憶手段に記憶された動画像データそれぞれに対して生成
された動画像特徴量を記憶した動画像特徴量記憶手段と
からなる動画像データベースを有することを特徴とす
る。
【００１１】本発明の画像特徴量生成装置は、入力され
る画像データが静止画像であるか動画像であるかを判定
する画像データ判定手段と、画像データ判定手段により
静止画像であると判定された画像データから縮小画像を
生成する縮小画像生成手段と、生成された縮小画像の周
波数解析を行う周波数解析手段と、解析の結果得られる
直流分および一部交流分を静止画像特徴量として取り出
す直流成分および一部交流成分抽出手段とを有する静止
画像特徴量算出手段と、画像データ判定手段により動画
像であると判定された画像データから全部または一部の
フレームに相当するデータを取り出し処理対象に選定す
る特徴量抽出対象フレーム選定手段と、取り出されたフ
レームそれぞれのデータから縮小画像を生成する縮小画
像生成手段と、生成された縮小画像の周波数解析を行う
周波数解析手段と、解析の結果得られる直流分および一
部交流分を画像特徴量として取り出す直流成分および一
部交流成分抽出手段と、直流成分および一部交流成分抽
出手段から出力されるフレーム特徴量を集めて動画像特
徴量を生成する動画像特徴量生成手段とを有する動画像
特徴量算出手段とを有することを特徴とする。
【００１２】上記の画像特徴量生成装置は、画像データ
を記憶する画像データ記憶手段と、画像データ記憶手段
に記憶された画像データそれぞれを用いて、静止画像特
徴量生成手段により生成された静止画像特徴量と、動画
像特徴量生成手段により生成された動画像特徴量とを画
像特徴量として記憶する画像特徴量記憶手段とからなる
画像データベースを有することを特徴とする。
【００１３】上記の縮小画像生成手段は、静止画像をブ
ロック分割し、各ブロックの代表する色情報のみを取り
出すことを特徴とする。
【００１４】上記の画像データがブロック単位で圧縮さ
れている場合には、縮小画像生成手段は各ブロックの直
流成分のみを取り出すことを特徴とする。
【００１５】本発明の画像検索方法は、静止画像データ
から縮小画像を生成する縮小画像生成手段と、生成され
た縮小画像の周波数解析を行う周波数解析手段と、解析
の結果得られる直流分および一部交流分を画像特徴量と
して取り出す直流成分および一部交流成分抽出手段とを
有して構成される静止画像特徴算出手段と、静止画像デ
ータに対して静止画像特徴量算出手段により予め算出さ
れた静止画像特徴量を記憶した静止画像特徴量記憶手段
と、静止画像データを記憶する静止画像データ記憶手段
とからなる静止画像データベースと、入力された静止画
像データにより静止画像特徴量算出手段にて生成された
静止画像特徴量と、動画像データベースに含まれる静止
画像特徴量との相関値を計算する静止画像特徴量相関測
定手段とを有し、静止画像特徴量相関測定手段は、相関
値の高い画像データベース中の静止画像を類似する静止
画像の候補として検出することを特徴とする。
【００１６】本発明の画像検索方法は、動画像データか
ら全部または一部のフレームに相当するデータを取り出
し処理対象に選定する特徴量抽出対象フレーム選定手段
と、取り出されたフレームそれぞれのデータから縮小画
像を生成する縮小画像生成手段と、生成された縮小画像
の周波数解析を行う周波数解析手段と、解析の結果得ら
れる直流分および一部交流分をフレーム特徴量として取
り出す直流成分および一部交流成分抽出手段と、直流成
分および一部交流成分抽出手段から出力されるフレーム
特徴量を集めて動画像特徴量を生成する動画像特徴量生
成手段とからなる動画像特徴量算出手段と、動画像デー
タに対して動画像特徴量算出手段により予め算出された
動画像特徴量を記憶した動画像特徴量記憶手段と、動画
像データを記憶する動画像データ記憶手段とからなる動
画像データベースと、入力された動画像データにより動
画像特徴量算出手段にて生成された動画像特徴量と、動
画像データベースに含まれる動画像特徴量との相関値を
計算する動画像特徴量相関測定手段とを有し、動画像特
徴量相関測定手段は、相関値の高い動画像データベース
中の動画像区間を類似する動画像区間の候補として検出
することを特徴とする。
【００１７】本発明の画像検索方法は、入力される画像
データが静止画像であるか動画像であるかを判定する画
像データ判定手段と、画像データ判定手段により静止画
像であると判定された画像データから縮小画像を生成す
る縮小画像生成手段と、生成された縮小画像の周波数解
析を行う周波数解析手段と、解析の結果得られる直流分
および一部交流分を静止画像特徴量として取り出す直流
成分および一部交流成分抽出手段とを有する静止画像特
徴量算出手段と、画像データ判定手段により動画像であ
ると判定された画像データから全部または一部のフレー
ムに相当するデータを取り出し処理対象に選定する特徴
量抽出対象フレーム選定手段と、取り出されたフレーム
それぞれのデータから縮小画像を生成する縮小画像生成
手段と、生成された縮小画像の周波数解析を行う周波数
解析手段と、解析の結果得られる直流分および一部交流
分を画像特徴量として取り出す直流成分および一部交流
成分抽出手段と、直流成分および一部交流成分抽出手段
から出力されるフレーム特徴量を集めて動画像特徴量を
生成する動画像特徴量生成手段とを有する動画像特徴量
算出手段と、静止画像データに対して静止画像特徴量算
出手段により予め算出された静止画像特徴量と、動画像
データに対して動画像特徴量算出手段により予め算出さ
れた動画像特徴量とを記憶した画像特徴量記憶手段と、
静止画像データ及び動画像データを記憶する画像データ
記憶手段とからなる画像データベースと、入力された静
止画像データにより静止画像静算出手段にて算出された
静止画像特徴量と、画像データベースに含まれる画像特
徴量との相関値を計算する静止画像特徴量相関測定手段
と、入力された動画像データにより動画像特徴量算出手
段にて算出された動画像特徴量と、画像データベースに
含まれる画像特徴量との相関値を計算する動画像特徴量
相関測定手段とを有し、静止画像特徴量相関測定手段
は、相関値の高い画像データベース中の静止画像を類似
する静止画像の候補として検出し、動画像特徴量相関測
定手段は、相関値の高い画像データベース中の動画像区
間を類似する動画像区間の候補として検出することを特
徴とする。
【００１８】上記の動画像特徴量相関測定手段は、入力
した動画像データに対して動画像算出手段により算出さ
れた動画像特徴量を分割し、動画像データベースに含ま
れる動画像の動画像特徴量の一部と、分割した各動画像
特徴量との部分的相関値を順次算出し、部分的相関値が
予め定められた閾値よりも低い時に、その特徴量を持つ
動画像データベースに含まれる動画像区間を類似する動
画像の候補から取り除くことを特徴とする。
【００１９】上記の動画像特徴量相関測定手段は、入力
した動画像データに対して動画像算出手段により算出さ
れた動画像特徴量を分割し、動画像データベースに含ま
れる動画像の動画像特徴量の一部と、分割した部分動画
像特徴量との部分的相関値を順次算出し、部分的相関値
が予め定められた閾値よりも低い部分動画像特徴量の数
が予め定められた閾値以上となった時点で類似する動画
像の候補から取り除くことを特徴とする。
【００２０】上記の縮小画像生成手段は、画像をブロッ
ク分割し、各ブロックの代表する色情報のみを取り出す
ことを特徴とする。
【００２１】上記の画像データがブロック単位で圧縮さ
れている場合には、縮小画像生成手段は各ブロックの直
流成分のみを取り出すことを特徴とする。
【００２２】本発明の画像特徴量生成方法は、静止画像
データから縮小画像を生成する縮小画像生成工程と、生
成された縮小画像の周波数解析を行う周波数解析工程
と、解析の結果得られる直流分および一部交流分を画像
特徴量として取り出す直流成分および一部交流成分抽出
工程とを有して構成されることを特徴とする。
【００２３】上記の画像特徴量生成方法は、静止画像デ
ータを記憶する静止画像データ記憶工程と、静止画像デ
ータ記憶工程にて記憶された静止画像データそれぞれに
対して生成された静止画像特徴量を記憶する静止画像特
徴量記憶工程とを有することを特徴とする。
【００２４】本発明の画像特徴量生成方法は、動画像デ
ータから全部または一部のフレームに相当するデータを
取り出し処理対象に選定する特徴量抽出対象フレーム選
定工程と、取り出されたフレームそれぞれのデータから
縮小画像を生成する縮小画像生成工程と、生成された縮
小画像の周波数解析を行う周波数解析工程と、解析の結
果得られる直流分および一部交流分をフレーム特徴量と
して取り出す直流成分および一部交流成分抽出工程と、
直流成分および一部交流成分抽出手段から出力されるフ
レーム特徴量を集めて動画像特徴量を生成する動画像特
徴量生成工程とを有することを特徴とする。
【００２５】上記の画像特徴量生成方法は、動画像デー
タを記憶する動画像データ記憶工程と、動画像データ記
憶工程にて記憶された動画像データそれぞれに対して生
成された動画像特徴量を記憶する動画像特徴量記憶工程
とを有することを特徴とする。
【００２６】本発明の画像特徴量生成方法は、入力され
る画像データが静止画像であるか動画像であるかを判定
する画像データ判定工程と、画像データ判定工程により
静止画像であると判定された画像データから縮小画像を
生成する縮小画像生成工程と、生成された縮小画像の周
波数解析を行う周波数解析工程と、解析の結果得られる
直流分および一部交流分を静止画像特徴量として取り出
す直流成分および一部交流成分抽出工程とを有する静止
画像特徴量算出工程と、画像データ判定工程により動画
像であると判定された画像データから全部または一部の
フレームに相当するデータを取り出し処理対象に選定す
る特徴量抽出対象フレーム選定工程と、取り出されたフ
レームそれぞれのデータから縮小画像を生成する縮小画
像生成工程と、生成された縮小画像の周波数解析を行う
周波数解析工程と、解析の結果得られる直流分および一
部交流分を画像特徴量として取り出す直流成分および一
部交流成分抽出工程と、直流成分および一部交流成分抽
出手段から出力されるフレーム特徴量を集めて動画像特
徴量を生成する動画像特徴量生成工程とを有する動画像
特徴量算出工程とを有することを特徴とする。
【００２７】上記の画像特徴量生成方法は、画像データ
を記憶する画像データ記憶工程と、画像データ記憶工程
にて記憶した画像データそれぞれを用いて、静止画像特
徴量生成工程により生成された静止画像特徴量と、動画
像特徴量生成工程により生成された動画像特徴量とを画
像特徴量として記憶する画像特徴量記憶工程を有するこ
とを特徴とする。
【００２８】上記の縮小画像生成工程は、静止画像をブ
ロック分割し、各ブロックの代表する色情報のみを取り
出すことを特徴とする。
【００２９】上記の画像データがブロック単位で圧縮さ
れている場合には、縮小画像生成手段は各ブロックの直
流成分のみを取り出すことを特徴とする。
【００３０】本発明の画像検索方法は、静止画像データ
から縮小画像を生成する縮小画像生成工程と、生成され
た縮小画像の周波数解析を行う周波数解析工程と、解析
の結果得られる直流分および一部交流分を画像特徴量と
して取り出す直流成分および一部交流成分抽出工程とを
有して構成される静止画像特徴量算出工程と、静止画像
特徴量算出工程により予め算出された静止画像データの
静止画像特徴量が、該静止画像データと共に記憶された
静止画像データベースに含まれる静止画像の静止特徴量
と、入力した静止画像データに対して静止画像特徴量算
出工程により算出された静止画像特徴量との相関値を求
める相関値算出工程と、入力した静止画像データに対し
て生成された静止画像特徴量との相関値の高い静止画像
データベースに含まれる静止画像を類似する静止画像の
候補として検出する類似静止画像検出工程とを有するこ
とを特徴とする。
【００３１】本発明の画像検索方法は、動画像データか
ら全部または一部のフレームに相当するデータを取り出
し処理対象に選定する特徴量抽出対象フレーム選定工程
と、取り出されたフレームそれぞれのデータから縮小画
像を生成する縮小画像生成工程と、生成された縮小画像
の周波数解析を行う周波数解析工程と、解析の結果得ら
れる直流分および一部交流分をフレーム特徴量として取
り出す直流成分および一部交流成分抽出工程と、直流成
分および一部交流成分抽出手段から出力されるフレーム
特徴量を集めて動画像特徴量を生成する動画像特徴量生
成工程とを有する動画像特徴量算出工程と、動画像特徴
量算出工程により予め算出された動画像データの動画像
特徴量が、該動画像データと共に記憶された動画像デー
タベースに含まれる動画像の動画像特徴量と、入力した
動画像データに対して動画像特徴量算出工程により算出
された動画像特徴量との相関値を求める相関値算出工程
と、入力した動画像データに対して生成された動画像特
徴量との相関値の高い動画像データベースに含まれる動
画像区間を類似する動画像の候補として検出する類似動
画像検出工程とを有することを特徴とする。
【００３２】上記の相関値算出工程は、入力した動画像
データに対して動画像特徴量算出工程により算出された
動画像特徴量を分割する工程と、動画像データベースに
含まれる動画像の動画像特徴量の一部と、分割した各動
画像特徴量との部分的相関値を順次算出する工程とを有
し、類似動画像検出工程は 部分的相関値が予め定めら
れた閾値よりも低い時に、その特徴量を持つ動画像デー
タベースに含まれる動画像区間を類似する動画像の候補
から取り除く工程を有することを特徴とする。
【００３３】上記の相関値算出工程は、入力した動画像
データに対して動画像特徴量算出工程により算出された
動画像特徴量を分割する工程と、動画像データベースに
含まれる動画像の動画像特徴量の一部と、分割した部分
動画像特徴量との部分的相関値を順次算出する工程とを
有し、類似動画像検出工程は、部分的相関値が予め定め
られた閾値よりも低い部分動画像特徴量の数が予め定め
られた閾値以上となった時点で類似する動画像の候補か
ら取り除く工程を有することを特徴とする。
【００３４】本発明の画像検索方法は、入力した画像デ
ータが静止画像であった場合、入力した静止画像データ
から縮小画像を生成する縮小画像生成工程と、生成され
た縮小画像の周波数解析を行う周波数解析工程と、解析
の結果得られる直流分および一部交流分を画像特徴量と
して取り出す直流成分および一部交流成分抽出工程とか
らなる静止画像特徴量算出工程により算出された静止画
像特徴量と、静止画像データに対して静止画像特徴量算
出工程により算出された静止画像特徴量が、静止画像デ
ータと共に記憶された画像データベースに含まれる画像
の画像特徴量との相関値を求める第１の相関値算出工程
と、入力した画像データに対して生成された画像特徴量
との相関値の高い画像データベースに含まれる画像を類
似する静止画像の候補として検出する類似静止画像検出
工程とを有し、入力した画像データが動画像であった場
合、入力された動画像データから動画像データから全部
または一部のフレームに相当するデータを取り出し処理
対象に選定する特徴量抽出対象フレーム選定工程と、取
り出されたフレームそれぞれのデータから縮小画像を生
成する縮小画像生成工程と、生成された縮小画像の周波
数解析を行う周波数解析工程と、解析の結果得られる直
流分および一部交流分をフレーム特徴量として取り出す
直流成分および一部交流成分抽出工程と、直流成分およ
び一部交流成分抽出手段から出力されるフレーム特徴量
を集めて動画像特徴量を生成する動画像特徴量生成工程
とからなる動画像特徴量算出工程により算出された動画
像特徴量と、動画像データに対して動画像特徴量算出工
程により算出された動画像特徴量が、動画像データと共
に記憶された画像データベースに含まれる画像の画像特
徴量との相関値を求める第２の相関値算出工程と、入力
した動画像データに対して生成された動画像特徴量との
相関値の高い動画像データベースに含まれる動画像区間
を類似する動画像の候補として検出する類似動画像検出
工程とを有することを特徴とする。
【００３５】上記の第２の相関値算出工程は、入力した
動画像データに対して動画像特徴量算出工程により算出
された動画像特徴量を分割する工程と、動画像データベ
ースに含まれる動画像の動画像特徴量の一部と、分割し
た各動画像特徴量との部分的相関値を順次算出する工程
とを有し、類似動画像検出工程は 部分的相関値が予め
定められた閾値よりも低い時に、その特徴量を持つ動画
像データベースに含まれる動画像区間を類似する動画像
の候補から取り除く工程を有することを特徴とする。
【００３６】上記の第２の相関値算出工程は、入力した
動画像データに対して動画像特徴量算出工程により算出
された動画像特徴量を分割する工程と、動画像データベ
ースに含まれる動画像の動画像特徴量の一部と、分割し
た部分動画像特徴量との部分的相関値を順次算出する工
程とを有し、類似動画像検出工程は、部分的相関値が予
め定められた閾値よりも低い部分動画像特徴量の数が予
め定められた閾値以上となった時点で類似する動画像の
候補から取り除く工程を有することを特徴とする。
【００３７】上記の縮小画像生成工程は、画像をブロッ
ク分割し、各ブロックの代表する色情報のみを取り出す
ことを特徴とする。
【００３８】上記の画像データがブロック単位で圧縮さ
れている場合には、縮小画像生成手段は各ブロックの直
流成分のみを取り出すことを特徴とする。
【００３９】
【発明の実施の形態】次に、添付図面を参照して本発明
による画像特徴量生成装置、画像検索装置、並びにその
生成方法及び検索方法の実施の形態を詳細に説明する。
図１〜図９を参照すると、本発明の画像特徴量生成装
置、画像検索装置、並びにその生成方法及び検索方法の
実施形態が示されている。
【００４０】まず、図１を参照ながら本発明の画像特徴
量生成装置及び方法に係る第１の実施形態について詳細
に説明する。
【００４１】図１に示された第１の実施形態は、静止画
像データを入力して、その静止画像データの特徴量を生
成する静止画像特徴量生成部２２を有する。静止画像特
徴量生成部２２は、縮小画像生成手段２２１と周波数解
析手段２２２と直流成分および一部交流成分抽出手段２
２３とを有する。
【００４２】縮小画像生成手段２２１は、入力された静
止画像データ１１に対して、縮小画像１２の生成を行
う、この時の縮小率は任意である。縮小画像の生成方法
例としては、画像をブロック分割し、各ブロックの代表
する色情報のみを取り出す方法がある。代表する色情報
としては、各ブロック内における平均色、最頻色等が利
用できる。また、画像データがブロック単位で圧縮され
ている場合には、各ブロックの直流成分のみを取り出し
生成することもできる。
【００４３】周波数解析手段２２２は、縮小画像１２の
周波数解析を行い、周波数成分１３を算出する。縮小画
像１２を複数の領域に分割してから周波数解析を行うこ
とも可能である。縮小画像の周波数解析方法としては、
ＤＣＴ変換やウェーブレット変換やフーリエ変換やアダ
マール変換等が利用できる。
【００４４】直流成分および一部交流成分抽出手段２２
３は、周波数解析手段２２２より算出された周波数成分
１３より直流成分および一部交流成分１４を抽出する。
周波数解析手段２２２および直流成分および一部交流成
分抽出手段２２３の具体例としては、縮小画像サイズ全
体に対する２次元ＤＣＴにより周波数解析手段２２２を
実行して、その直流成分およびｎ個の交流成分を抽出す
る方法等を用いることができる。また、輝度成分のみの
係数、色差成分のみの係数、双方の係数の一部のみを抽
出する方法等も用いることができる。
【００４５】この画像特徴量生成装置及び方法では、縮
小画像に対して周波数解析を行い、得られる係数の一部
のみを用いているため、必要な記憶容量が少ない画像特
徴量を生成できる。
【００４６】次に、図２を参照しながら本発明の画像特
徴量生成装置及び方法に係る第２の実施形態を詳細に説
明する。
【００４７】図２に示された第２の実施形態は、動画像
データを入力して、その動画像データの特徴量を生成す
る動画像特徴量生成部２を有する。動画像特徴量生成部
２は、特徴量抽出対象フレーム選定手段２１と、静止画
像特徴量生成部２２と、特徴量生成手段２３とを有す
る。また、静止画像特徴量生成部２２は、上述した縮小
画像生成手段２２１と周波数解析手段２２２と、直流成
分および一部交流成分抽出手段２２３とを有する。な
お、動画像とは複数の静止画像からなるものであり、上
述した扱う対象が動画像となっても、第１の実施形態で
用いた静止画像特徴量生成部２２を用いることが出来
る。
【００４８】特徴量生成部２の構成部である特徴量抽出
対象フレーム選定手段２１は、入力された動画像データ
１より特徴量抽出の対象となるフレームデータ１１を選
定する。
【００４９】特徴量抽出対象フレーム選定手段２１は、
動画像データ中で１フレーム内で圧縮処理が完了してい
るフレーム内符号化フレームに相当する圧縮データのみ
を取り出すことができる。全てのフレーム内符号化フレ
ームを選択することも、一部のフレーム内符号化フレー
ムのみを選択することも可能である。また、フレーム内
で処理が完結していないフレーム間符号化フレームにつ
いても、例えば、文献；Boon-Lock Yeo and Bede Li
u：”On the extraction of DC sequence from MPEG Co
mpressed Video ”、IEEE International Conference o
n Image Processing(1995）記載の方法を用いて、フレ
ーム内符号化フレームを擬似的に生成することができ
る。このため、擬似的にフレーム内符号化フレームを生
成してそれを選択することも可能である。
【００５０】静止画特徴量抽出部２２を構成する縮小画
像生成手段２２１は、特徴量抽出対象フレーム選定手段
２１で選定された静止画像データ１１より、縮小画像を
生成する。周波数解析手段２２２は、縮小画像１２を周
波数成分１３に分解する。直流成分および一部交流成分
抽出手段２２３は、周波数解析手段２２２より生成され
た周波数成分１３より直流成分および一部交流成分１４
を抽出する。
【００５１】特徴量生成手段２３は、静止画特徴量抽出
部２２から与えられる直流成分および一部交流成分１４
を、全選択フレームについて抽出することにより特徴量
１５を生成する。
【００５２】この実施形態においても、縮小画像に対し
て周波数解析を行い、得られる係数の一部のみを用いて
いるため、必要な記憶容量が少ない特徴量を生成するこ
とができる。
【００５３】次に、図３を参照しながら、本発明の画像
特徴量生成装置及び方法に係る第３の実施形態について
説明する。
【００５４】図３に示された第３の実施形態は、静止画
像データを入力して、その静止画像データの特徴量を生
成する静止画像特徴量生成部２２と、入力した静止画像
データを記憶する静止画像データ記憶部６１と静止画像
特徴量生成部２２にて生成された静止画像特徴量を記憶
する静止画像特徴量記憶部６２とからなる特徴量付き静
止画像データベース記憶部６とを有する。静止画像特徴
量生成部２２は、縮小画像生成手段２２１と周波数解析
手段２２２と直流成分および一部交流成分抽出手段２２
３とを有する。
【００５５】静止画像特徴量生成部２２は、縮小画像生
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出すことにより静止画像特徴量を生成す
る。
【００５６】生成された静止画像特徴量は静止画像特徴
量記憶部６２に記憶され、また、静止画像特徴量の生成
のために使用された静止画像データは静止画像データ記
憶部６１に記憶される。
【００５７】この実施形態においても、縮小画像に対し
て周波数解析を行い、得られる係数の一部のみを用いて
いるため、必要な記憶容量が少ない特徴量を生成するこ
とができる。
【００５８】図４に示されるように画像特徴量生成装置
及び方法に係る第４の実施形態は、動画像特徴量生成部
２と、特徴量付き動画像データベース記憶部３とを有し
て構成される。なお、動画像特徴量生成部２についての
説明は省略する。
【００５９】本実施形態は、動画像データ１から特徴量
１５を生成し、両者を特徴量付き動画像データベース記
憶部３に記憶するものである。
【００６０】特徴量付き動画像データベース記憶部３
は、動画像データ記憶部３１と、動画像特徴量記憶部３
２とで構成されており、さまざまな動画像データ１に対
して、それぞれ動画像データ１と、動画像データ１から
特徴量生成部２により生成された特徴量１５とを記憶す
る。
【００６１】特徴量付き動画像データベース記憶部３の
一方の構成部である動画像データ記憶部３１は、動画像
データ１を保持する。また、動画像データ記憶部３１
は、動画像データ１から特徴量生成部２により生成され
た特徴量１５を保持する。
【００６２】上記の各部により構成される画像特徴量生
成装置は、動画像データからフレームの全部または一部
に相当するデータを特徴量抽出対象フレーム選定手段２
１で取り出し、取り出された各フレームに相当するデー
タから縮小画像生成手段２２１が縮小画像を生成し、周
波数解析手段２２２が生成された縮小画像の周波数解析
を行い、解析の結果得られる直流分および一部交流分を
直流成分および一部交流成分抽出手段２２３が取り出
し、それを特徴量生成手段２３が全選択フレームについ
て実行することにより特徴量を生成する。
【００６３】この動画像特徴量生成装置では、一部のフ
レームの縮小画像に対して周波数解析を行い、得られる
係数の一部のみを用いているため、必要な記憶容量が少
ない動画像特徴量を生成できる。
【００６４】次に、図５を参照しながら、本発明の画像
特徴量生成装置及び方法に係る第５の実施形態について
説明する。
【００６５】図５に示された画像特徴量生成装置に係る
第５の実施形態は、画像データ判定部１００と、静止画
像特徴量生成部２２と、動画像特徴量生成部２と、特徴
量付き画像データベース記憶部５とを有して構成され
る。なお、本実施形態が対象とする画像データは動画像
データ及び静止画像データを含むものであり、動画像は
複数の静止画像からなるものとする。
【００６６】本実施形態に入力される画像データ７は、
画像データ判定部１００によって静止画像であるか動画
像であるかを判定される。画像が静止画像である場合に
は、静止画像特徴量生成部２２に、動画像である場合に
は動画像特徴量生成部２に入力される。
【００６７】静止画像特徴量生成部２２は、縮小画像生
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出し、それを特徴量生成手段２３が全選
択フレームについて実行することにより特徴量を生成す
る。
【００６８】動画像特徴量生成部２は、動画像データか
らフレームの全部または一部に相当するデータを特徴量
抽出対象フレーム選定手段２１で取り出し、取り出され
た各フレームに相当するデータから縮小画像生成手段２
２１が縮小画像を生成し、周波数解析手段２２２が生成
された縮小画像の周波数解析を行い、解析の結果得られ
る直流分および一部交流分を直流成分および一部交流成
分抽出手段２２３が取り出し、それを特徴量生成手段２
３が全選択フレームについて実行することにより特徴量
を生成する。
【００６９】上述した処理により生成された各特徴量１
４、１５は特徴量付き画像データベース記憶部５の画像
特徴量記憶部５２に記憶される。また、動画像及び静止
画像とからなる画像データは、画像データ記憶部５１に
記憶される。
【００７０】このように静止画像が入力された場合に
は、縮小画像に対して周波数解析を行い、得られる係数
の一部のみを用いて特徴量を生成し、また、動画像が入
力された場合には、一部のフレームの縮小画像に対して
周波数解析を行い、得られる係数の一部のみを用いて特
徴量を生成しているため、必要な記憶容量が少ない静止
画像及び動画像特徴量を生成できる。
【００７１】次に、図６を参照しながら本発明の画像検
索装置及び方法に係る第１の実施形態について説明す
る。
【００７２】図６に示されるように本実施形態は、静止
画像データを入力して、その静止画像データの特徴量を
生成する静止画像特徴量生成部２２と、静止画像データ
に対して静止画像特徴量生成部２２で予め生成された静
止画像特徴量を記憶した静止画像特徴量記憶部６２と静
止画像データを記憶した静止画像データ記憶部６１とか
らなる特徴量付き静止画像データベース記憶部６と、入
力された静止画像データにより静止画像特徴量生成部２
２で生成された静止画像特徴量と、特徴量付き静止画像
データベース記憶部６に記憶された静止画像特徴量との
相関値を算出する静止画像相関測定部４１とを有して構
成される。
【００７３】静止画像特徴量生成部２２は、縮小画像生
成手段２２１が入力された静止画像画像データにより縮
小画像を生成し、周波数解析手段２２２が生成された縮
小画像の周波数解析を行い、解析の結果得られる直流分
および一部交流分を直流成分および一部交流成分抽出手
段２２３が取り出することにより入力静止画像データ１
１に対する静止画像特徴量１４を生成する。
【００７４】また、特徴量付き静止画像データベース記
憶部６には、上述した画像特徴量生成装置に係る第３の
実施形態にて説明した手順により静止画像が静止画像デ
ータ記憶部６１に、静止画像データ記憶部６１に記憶さ
れた静止画像を用いて静止画像特徴量生成部２２に算出
された静止画像特徴量が静止画像特徴量記憶部６２に記
憶されている。
【００７５】静止画像相関測定部４１は、入力された静
止画像データにより生成された特徴量１４と、画像デー
タベースに含まれる画像により生成された特徴量との相
関値を計算し、相関値の高いデータベース中の静止画像
を類似する静止画像の候補として検出する。
【００７６】次に、図７及び図８を参照しながら本発明
の画像検索装置及び方法係る第２の実施形態について説
明する。なお、図７は画像検索装置及び方法に係る第１
の実施形態の構成を示すブロック図であり、図８は、画
像検索方法の相関測定手順を示す流れ図である。
【００７７】図７に示された画像検索装置及び方法に係
る第２の実施形態は、特徴量生成部２、特徴量付き動画
像データベース記憶部３、動画像データベース中の特徴
量１７と入力された動画像データ１に対して特徴量生成
部２で生成した特徴量１５との相関値を計算する相関測
定部４を含む。
【００７８】まず、検索に用いる動画像データ１を入力
し、特徴量生成部２より特徴量１５を生成する。検索を
行う際には参照する動画像から特徴量生成部２が生成さ
れ、相関測定部４に入力される。
【００７９】動画像データベース中の特徴量１７と、入
力された動画像データ１に対して特徴量生成部２で生成
した特徴量１５との相関値の算出を相関測定部４で行
い、検索された部分動画像の格納位置情報１８を検索結
果として出力する。
【００８０】動画像相関測定部４の動作を図８で詳細に
説明する。本発明による画像検索方法は、入力された動
画像データより生成された特徴量と、動画像データベー
スに含まれる動画像より生成された特徴量の一部との相
関を求める処理工程として、入力された動画像より生成
された特徴量を分割し、分割した各部分ごとに順次部分
的相関を算出し、部分的な相関が予め定めた閾値より低
ければその特徴量を持つデータベース中の動画像を候補
から取り除くステップを有する。このような方法を採用
することにより、指定動画像区間全体に対して総当たり
でマッチングを行う場合に比べ、検索結果となる候補を
少ないマッチング回数で絞ることができ、動画像の検索
を行うための処理時間を短縮できる。この処理手順を以
下に詳述する。
【００８１】まず、初期設定として、検索対象となる動
画像特徴量を呼び出すための識別子番号を初期化してお
く（ステップＳ１）。ここで、識別子とは、動画像デー
タベースを生成する際に、各動画像データに対してユニ
ークに付与されるものとする。また特徴量１５も予め取
得しておくものとする。
【００８２】次に識別子に対応した検索対象となる動画
像特徴量を取得し、検索対象となる部分特徴量（以降、
対象部分特徴量と呼ぶ）の取得位置を示すポインタを先
頭に合わせておく（ステップＳ２）。
【００８３】先頭の参照部分特徴量から予め定めた時間
幅の特徴量を取得する。このデータを参照部分特徴量と
呼ぶ。また、取得位置を示すポインタで示された箇所よ
り対象部分特徴量を取得する（ステップＳ３）。
【００８４】ステップＳ３で得られた参照部分特徴量と
対象部分特徴量との相関を求める（ステップＳ４）。
【００８５】予め定めた閾値より相関値が低い場合（以
降、ミスマッチ判定と呼ぶ）は、ステップＳ５で次に取
得するための対象部分特徴量の存在の有無を調べ、存在
する場合には対象部分特徴量の取得位置ポインタを予め
定めた値だけずらし（ステップＳ６）、ステップＳ３に
戻る。また次の対象部分特徴量が存在しない場合は、識
別子を一つ増やし、次の動画像特徴量に対して同様の処
理を行う（ステップＳ１３）。ただしデータベース中の
動画像特徴全てに対してマッチングを行った場合は、処
理を終了する（ステップＳ１２）。
【００８６】ステップＳ４で相関値が予め定めた閾値よ
り高い場合は、取得位置から時間的に続く次の対象部分
特徴量および参照部分特徴量を取得し（ステップＳ
７）、相関を求める（ステップＳ８）。以降、ミスマッ
チ判定されるまで同様にマッチングをくり返し、参照部
分特徴量を全てマッチングした場合（ステップＳ９）、
検索結果として出力する（ステップＳ１０）。
【００８７】検索結果を含む動画像データ識別子番号
と、動画像データ内における開始位置または終了位置等
を出力することができる。これに加えて相関値等も出力
することができる。
【００８８】ミスマッチと判定された場合、ミスマッチ
判定が別途設定された一定の回数もしくは時間を超えた
かどうかの判定を行う（ステップＳ１１）。超えていな
い場合はステップＳ７に戻る。超えている場合はステッ
プＳ５に戻る。ステップＳ１１は、フレーム内符号化さ
れるフレームの選択位置の違い、カメラワークの違い、
画面ノイズによる特徴量の変化等による一時的なミスマ
ッチを、回数もしくは時間を適切に定めることによりカ
バーすることができる。また、回数もしくは時間を
“０”に定めることはステップＳ１１を省くことと等価
であり、回路設計を軽くすることもできる。
【００８９】一方、参照部分特徴量を取得する際の時間
幅を参照特徴量全体として、検索部分特徴量との相関を
一度に比較することにより検索を行うこともできる。
【００９０】次に図９を参照しながら本発明の画像検索
装置及び方法に係る第３の実施形態について詳細に説明
する。
【００９１】図９に示された実施形態は、画像特徴量生
成部１０と、静止画像と動画像とが記憶される画像デー
タ記憶部５１と、画像データ記憶部に記憶された画像デ
ータに対して画像特徴量生成部１０で予め生成された静
止画像特徴量及び動画像特徴量が記憶された画像特徴量
記憶部５２とからなる特徴量付き画像データベース記憶
部５と、画像データベース中の特徴量１７と入力された
動画像データ１に対して特徴量生成部２で生成した特徴
量１５との相関値を計算する動画像相関値測定部４と、
画像データベース中の特徴量１７と入力された静止画像
データ１１に対して画像特徴量生成部１０で生成された
特徴量との相関値を計算する静止画像相関値測定部４１
とを含む。
【００９２】まず、検索に用いる画像データ１を入力
し、特徴量生成部２より特徴量１５を生成する。参照す
る画像データが動画像である場合には、動画像から特徴
量生成部１０により特徴量が生成され、動画像特徴量相
関測定部４に入力される。また、静止画像である場合に
は、静止画像から特徴量生成部１０により特徴量が生成
され、静止画像特徴量相関測定部１９に入力される。
【００９３】動画像相関測定部４は、動画像データベー
ス中の特徴量１７と、入力された動画像データ１に対し
て特徴量生成部２で生成した特徴量１５との相関値の算
出を相関測定部４で行い、検索された部分動画像の格納
位置情報１８を検索結果として出力する。なお、この処
理動作についての説明は、上述した動画像特徴量生成装
置に係る第２の実施形態の説明において既に説明してい
るので省略する。
【００９４】静止画像相関測定部４１は、入力された静
止画像データにより生成された特徴量１４と、画像デー
タベースに含まれる画像により生成された特徴量との相
関値を計算し、相関値の高いデータベース中の静止画像
を類似する静止画像の候補として検出する。
【００９５】（実施例）次に、本発明の実施例について
説明する。ＭＰＥＧ−１、２符号化された映像データ約
２０時間分を利用し、ある特定記事、ＣＭ、番組のオー
プニングに相当する映像区間を指定し、同一と思われる
映像区間を検出する実験を行った。
【００９６】検索対象となるこの動画像全体における各
フレーム内符号化されたフレームに対してタイムコー
ド、直流成分を抽出する。ここでは直流成分を抽出して
生成した縮小画像をさらに８×８の固定サイズに縮小し
たうえでＤＣＴをかけて得られる輝度成分、色差成分の
３つの直流成分（ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃｒと
呼ぶ）、および輝度成分に対する２つの低周波成分（Ａ
Ｃ１、ＡＣ２と呼ぶ）を、［０、２５５］の範囲に正規
化したうえでそれぞれタイムコードとともに保存してお
く。各フレーム内符号化フレームにつき特徴量５バイ
ト、タイムコード４バイトの合わせて９バイトで済む。
このため、０．５秒間隔でフレーム内符号化フレームが
存在する場合には、１日分の映像に相当する特徴量のデ
ータサイズも１．５メガバイト程度に収まることにな
る。
【００９７】参照動画像の先頭フレームの特徴量を、検
索対象動画像の特徴量とフレーム内符号化フレーム単位
でマッチングを行う。ＤＣ＿Ｙ、ＤＣ＿Ｃｂ、ＤＣ＿Ｃ
ｒの差分値（以降、ＤＣ差分値と呼ぶ）、ＡＣ１、ＡＣ
２の差分値が、それぞれある指定条件（閾値）以内を満
たすものを目的動画像の候補とする。
【００９８】目的動画像候補と見なされた場合、その先
のフレームについて時系列に調べる。目的映像候補と見
なされない場合は、次のフレームについて同様の手順を
繰り返す。以降はＤＣ差分値が指定条件を満たすものを
マッチするものとし、順次調べていく。マッチング回数
を減らす目的で以降はＡＣ１、ＡＣ２は用いなくてもよ
い。
【００９９】サンプル位置による誤差を考慮し、３フレ
ーム連続してミスマッチの場合は、候補から外す。指定
した動画像区間に相当する長さに対して特徴量の差分が
指定条件（閾値）を満たした場合には目的動画像とみな
し、その開始点および終了点のタイムコードを検索結果
として出力する。また、目的動画像区間を検出した場
合、次回探索の始点を検出された区間の終点の次のフレ
ームから開始してもよい。
【０１００】この手順により、指定動画像区間全体に対
して総当たりでマッチングを行う場合に比べ、処理量を
大幅に減らすことが可能となる。
【０１０１】１１個の同一と思われる動画像区間の組に
対して実験を行った結果、１１個全てについて片方指定
することによりもう一方が得られることが解った。ま
た、目的動画像区間の長さを１０秒以上とした場合に
は、過剰検出も見受けられなかった。
【０１０２】尚、上述の実施形態は本発明の好適な実施
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。さらにいずれの実施例においても、条件
に合わないものを候補から取り除くかわりに特徴量間の
距離を定義し用いることにより類似動画像検索への拡張
も容易である。
【０１０３】
【発明の効果】以上の説明より明らかなように、本発明
の画像特徴量生成装置及び方法は、画像データから縮小
画像を生成し、生成された縮小画像の周波数解析を行
い、解析の結果得られる直流分および一部交流分を取り
出すことにより特徴量を生成する。また、本発明の画像
検索装置及び方法は、画像データからフレームの全部ま
たは一部に相当するデータを取り出し、取り出された各
フレームに相当するデータから縮小画像を生成する。生
成された縮小画像の周波数解析を行い、解析の結果得ら
れる直流分および一部交流分を取り出し、取り出しを全
選択フレームについて実行する。
【０１０４】本発明の画像検索装置及び方法は相関算出
過程で類似映像候補になりえないと判断した時点で候補
から取り除くこともできる。よって、指定動画像区間全
体に対して総当たりでマッチングを行う場合に比べ、検
索結果となる候補を少ないマッチング回数で絞ることが
でき、処理量を大幅に減らすことが可能となる。このた
め、動画像の検索を行うための処理時間が短縮できる。
【０１０５】また、一部のフレームの縮小画像に対して
周波数解析を行うことによって得られる係数のみを用い
ている。このため、必要な記憶容量が少ない画像特徴量
を生成できる。
【０１０６】本発明は、コマーシャル映像、ニュースの
特定記事、番組のオープニング等、特定の映像の放送回
数の調査、放送情報の統計、傾向分析等に広く適用が可
能である。
【０１０７】本発明は、蓄積された画像の中から参照す
る動画像と色、周波数分布の類似した一部分を検索する
類似映像検索等への適用が可能である。
【図面の簡単な説明】
【図１】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
【図２】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
【図３】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
【図４】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
【図５】本発明の画像特徴量生成装置および方法が適用
される実施形態の構成例を示すブロック図である。
【図６】本発明の画像検索装置および方法が適用される
実施形態の構成例を示すブロック図である。
【図７】本発明の画像検索装置および方法が適用される
実施形態の構成例を示すブロック図である。
【図８】画像検索方法の処理手順例を示すフローチャー
トである。
【図９】本発明の画像検索装置および方法が適用される
実施形態の構成例を示すブロック図である。
【符号の説明】
１ 動画像データ ２ 特徴量生成部 ３ 特徴量付き動画像データベース記憶部 ４ 相関測定部 ５ 特徴量付き動画像データベース記憶部 ６ 特徴量付き静止画像データベース記憶部 ７ 画像データ １０ 画像特徴量生成部 １１ 静止画像データ １２ 縮小画像 １３ 周波数成分 １４ 直流成分および一部交流成分 １５ 特徴量 １６ 動画像データ識別子 １７ 検索対象動画像特徴量 １８ 検索された部分動画像の格納位置情報 １９ 検索された静止画像の格納位置情報 ２１ 特徴量抽出対象フレーム選定手段 ２２ 静止画像特徴量抽出部 ２３ 特徴量生成手段 ３１ 動画像データ記憶部 ３２ 動画像特徴量記憶部 ４１ 静止画像相関測定部 ５１ 画像データ記憶部 ５２ 動画像特徴量記憶部 ６１ 静止画像データ記憶部 ６２ 静止画像特徴量記憶部 １００ 画像データ判定部 ２２１ 縮小画像生成手段 ２２２ 周波数解析手段 ２２３ 直流成分および一部交流成分抽出手段

Claims (32)

    【特許請求の範囲】
  1. 【請求項１】 静止画像データから縮小画像を生成する
    縮小画像生成手段と、 生成された前記縮小画像の周波数解析を行う周波数解析
    手段と、 解析の結果得られる直流分および一部交流分を画像特徴
    量として取り出す直流成分および一部交流成分抽出手段
    と、 を有して構成されることを特徴とする画像特徴量生成装
    置。
  2. 【請求項２】 前記画像特徴量生成装置は、 前記静止画像データを記憶する静止画像データ記憶手段
    と、 前記静止画像データ記憶手段に記憶された静止画像デー
    タそれぞれに対して生成された前記静止画像特徴量を記
    憶した静止画像特徴量記憶手段とからなる静止画像デー
    タベースを有することを特徴とする請求項１記載の画像
    特徴量生成装置。
  3. 【請求項３】 動画像データから全部または一部のフレ
    ームに相当するデータを取り出し処理対象に選定する特
    徴量抽出対象フレーム選定手段と、 取り出されたフレームそれぞれのデータから縮小画像を
    生成する縮小画像生成手段と、 生成された前記縮小画像の周波数解析を行う周波数解析
    手段と、 解析の結果得られる直流分および一部交流分をフレーム
    特徴量として取り出す直流成分および一部交流成分抽出
    手段と、 前記直流成分および一部交流成分抽出手段から出力され
    る前記フレーム特徴量を集めて動画像特徴量を生成する
    動画像特徴量生成手段と、 を有することを特徴とする画像特徴量生成装置。
  4. 【請求項４】 前記画像特徴量生成装置は、 前記動画像データを記憶する動画像データ記憶手段と、 前記動画像データ記憶手段に記憶された動画像データそ
    れぞれに対して生成された前記動画像特徴量を記憶した
    動画像特徴量記憶手段とからなる動画像データベースを
    有することを特徴とする請求項３記載の画像特徴量生成
    装置。
  5. 【請求項５】 入力される画像データが静止画像である
    か動画像であるかを判定する画像データ判定手段と、 前記画像データ判定手段により静止画像であると判定さ
    れた画像データから縮小画像を生成する縮小画像生成手
    段と、生成された前記縮小画像の周波数解析を行う周波
    数解析手段と、解析の結果得られる直流分および一部交
    流分を静止画像特徴量として取り出す直流成分および一
    部交流成分抽出手段とを有する静止画像特徴量算出手段
    と、 前記画像データ判定手段により動画像であると判定され
    た画像データから全部または一部のフレームに相当する
    データを取り出し処理対象に選定する特徴量抽出対象フ
    レーム選定手段と、取り出されたフレームそれぞれのデ
    ータから縮小画像を生成する縮小画像生成手段と、生成
    された前記縮小画像の周波数解析を行う周波数解析手段
    と、解析の結果得られる直流分および一部交流分を画像
    特徴量として取り出す直流成分および一部交流成分抽出
    手段と、前記直流成分および一部交流成分抽出手段から
    出力されるフレーム特徴量を集めて動画像特徴量を生成
    する動画像特徴量生成手段とを有する動画像特徴量算出
    手段と、 を有することを特徴とする画像特徴量生成装置。
  6. 【請求項６】 前記画像特徴量生成装置は、 前記画像データを記憶する画像データ記憶手段と、 前記画像データ記憶手段に記憶された画像データそれぞ
    れを用いて、前記静止画像特徴量生成手段により生成さ
    れた静止画像特徴量と、前記動画像特徴量生成手段によ
    り生成された動画像特徴量とを画像特徴量として記憶す
    る画像特徴量記憶手段とからなる画像データベースを有
    することを特徴とする請求項５記載の画像特徴量生成装
    置。
  7. 【請求項７】 前記縮小画像生成手段は、 静止画像をブロック分割し、各ブロックの代表する色情
    報のみを取り出すことを特徴とする請求項１から６の何
    れか１項に記載の記載の画像特徴量生成装置。
  8. 【請求項８】 前記画像データがブロック単位で圧縮さ
    れている場合には、前記縮小画像生成手段は前記各ブロ
    ックの直流成分のみを取り出すことを特徴とする請求項
    １から６の何れか１項に記載の画像特徴量生成装置。
  9. 【請求項９】 静止画像データから縮小画像を生成する
    縮小画像生成手段と、 生成された前記縮小画像の周波数解析を行う周波数解析
    手段と、 解析の結果得られる直流分および一部交流分を画像特徴
    量として取り出す直流成分および一部交流成分抽出手段
    と、 を有して構成される静止画像特徴算出手段と、 静止画像データに対して前記静止画像特徴量算出手段に
    より予め算出された静止画像特徴量を記憶した静止画像
    特徴量記憶手段と、前記静止画像データを記憶する静止
    画像データ記憶手段とからなる静止画像データベース
    と、 入力された静止画像データにより前記静止画像特徴量算
    出手段にて生成された静止画像特徴量と、前記動画像デ
    ータベースに含まれる静止画像特徴量との相関値を計算
    する静止画像特徴量相関測定手段とを有し、 前記静止画像特徴量相関測定手段は、相関値の高い画像
    データベース中の静止画像を類似する静止画像の候補と
    して検出することを特徴とする画像検索装置。
  10. 【請求項１０】 動画像データから全部または一部のフ
    レームに相当するデータを取り出し処理対象に選定する
    特徴量抽出対象フレーム選定手段と、 取り出されたフレームそれぞれのデータから縮小画像を
    生成する縮小画像生成手段と、 生成された前記縮小画像の周波数解析を行う周波数解析
    手段と、 解析の結果得られる直流分および一部交流分をフレーム
    特徴量として取り出す直流成分および一部交流成分抽出
    手段と、 前記直流成分および一部交流成分抽出手段から出力され
    る前記フレーム特徴量を集めて動画像特徴量を生成する
    動画像特徴量生成手段とからなる動画像特徴量算出手段
    と、 動画像データに対して前記動画像特徴量算出手段により
    予め算出された動画像特徴量を記憶した動画像特徴量記
    憶手段と、前記動画像データを記憶する動画像データ記
    憶手段とからなる動画像データベースと、 入力された動画像データにより前記動画像特徴量算出手
    段にて生成された動画像特徴量と、前記動画像データベ
    ースに含まれる動画像特徴量との相関値を計算する動画
    像特徴量相関測定手段とを有し、 前記動画像特徴量相関測定手段は、相関値の高い前記動
    画像データベース中の動画像区間を類似する動画像区間
    の候補として検出することを特徴とする画像検索装置。
  11. 【請求項１１】 入力される画像データが静止画像であ
    るか動画像であるかを判定する画像データ判定手段と、 前記画像データ判定手段により静止画像であると判定さ
    れた画像データから縮小画像を生成する縮小画像生成手
    段と、生成された前記縮小画像の周波数解析を行う周波
    数解析手段と、解析の結果得られる直流分および一部交
    流分を静止画像特徴量として取り出す直流成分および一
    部交流成分抽出手段とを有する静止画像特徴量算出手段
    と、 前記画像データ判定手段により動画像であると判定され
    た画像データから全部または一部のフレームに相当する
    データを取り出し処理対象に選定する特徴量抽出対象フ
    レーム選定手段と、取り出されたフレームそれぞれのデ
    ータから縮小画像を生成する縮小画像生成手段と、生成
    された前記縮小画像の周波数解析を行う周波数解析手段
    と、解析の結果得られる直流分および一部交流分を画像
    特徴量として取り出す直流成分および一部交流成分抽出
    手段と、前記直流成分および一部交流成分抽出手段から
    出力されるフレーム特徴量を集めて動画像特徴量を生成
    する動画像特徴量生成手段とを有する動画像特徴量算出
    手段と、 静止画像データに対して前記静止画像特徴量算出手段に
    より予め算出された静止画像特徴量と、動画像データに
    対して前記動画像特徴量算出手段により予め算出された
    動画像特徴量とを記憶した画像特徴量記憶手段と、前記
    静止画像データ及び前記動画像データを記憶する画像デ
    ータ記憶手段とからなる画像データベースと、 入力された静止画像データにより前記静止画像算出手段
    にて算出された静止画像特徴量と、前記画像データベー
    スに含まれる画像特徴量との相関値を計算する静止画像
    特徴量相関測定手段と、 入力された動画像データにより前記動画像特徴量算出手
    段にて算出された動画像特徴量と、前記画像データベー
    スに含まれる画像特徴量との相関値を計算する動画像特
    徴量相関測定手段とを有し、 前記静止画像特徴量相関測定手段は、相関値の高い画像
    データベース中の静止画像を類似する静止画像の候補と
    して検出し、 前記動画像特徴量相関測定手段は、相関値の高い画像デ
    ータベース中の動画像区間を類似する動画像区間の候補
    として検出することを特徴とする画像検索装置。
  12. 【請求項１２】 前記動画像特徴量相関測定手段は、 前記入力した動画像データに対して前記動画像算出手段
    により算出された動画像特徴量を分割し、前記動画像デ
    ータベースに含まれる動画像の動画像特徴量の一部と、
    分割した各動画像特徴量との部分的相関値を順次算出
    し、前記部分的相関値が予め定められた閾値よりも低い
    時に、その特徴量を持つ前記動画像データベースに含ま
    れる動画像区間を類似する動画像の候補から取り除くこ
    とを特徴とする請求項１０または１１記載の画像検索装
    置。
  13. 【請求項１３】 前記動画像特徴量相関測定手段は、 前記入力した動画像データに対して前記動画像算出手段
    により算出された動画像特徴量を分割し、前記動画像デ
    ータベースに含まれる動画像の動画像特徴量の一部と、
    分割した部分動画像特徴量との部分的相関値を順次算出
    し、前記部分的相関値が予め定められた閾値よりも低い
    前記部分動画像特徴量の数が予め定められた閾値以上と
    なった時点で類似する動画像の候補から取り除くことを
    特徴とする請求項１０または１１記載の画像検索装置。
  14. 【請求項１４】 前記縮小画像生成手段は、 画像をブロック分割し、各ブロックの代表する色情報の
    みを取り出すことを特徴とする請求項９から１３の何れ
    か１項に記載の画像検索装置。
  15. 【請求項１５】 前記画像データがブロック単位で圧縮
    されている場合には、前記縮小画像生成手段は前記各ブ
    ロックの直流成分のみを取り出すことを特徴とする請求
    項９から１３の何れか１項に記載の画像検索装置。
  16. 【請求項１６】 静止画像データから縮小画像を生成す
    る縮小画像生成工程と、 生成された前記縮小画像の周波数解析を行う周波数解析
    工程と、 解析の結果得られる直流分および一部交流分を画像特徴
    量として取り出す直流成分および一部交流成分抽出工程
    と、 を有して構成されることを特徴とする画像特徴量生成方
    法。
  17. 【請求項１７】 前記画像特徴量生成方法は、 前記静止画像データを記憶する静止画像データ記憶工程
    と、 前記静止画像データ記憶工程にて記憶された静止画像デ
    ータそれぞれに対して生成された前記静止画像特徴量を
    記憶する静止画像特徴量記憶工程と、 を有することを特徴とする請求項１６記載の画像特徴量
    生成方法。
  18. 【請求項１８】 動画像データから全部または一部のフ
    レームに相当するデータを取り出し処理対象に選定する
    特徴量抽出対象フレーム選定工程と、 取り出されたフレームそれぞれのデータから縮小画像を
    生成する縮小画像生成工程と、 生成された前記縮小画像の周波数解析を行う周波数解析
    工程と、 解析の結果得られる直流分および一部交流分をフレーム
    特徴量として取り出す直流成分および一部交流成分抽出
    工程と、 前記直流成分および一部交流成分抽出手段から出力され
    る前記フレーム特徴量を集めて動画像特徴量を生成する
    動画像特徴量生成工程と、 を有することを特徴とする画像特徴量生成方法。
  19. 【請求項１９】 前記画像特徴量生成方法は、 前記動画像データを記憶する動画像データ記憶工程と、 前記動画像データ記憶工程にて記憶された動画像データ
    それぞれに対して生成された前記動画像特徴量を記憶す
    る動画像特徴量記憶工程と、 を有することを特徴とする請求項１８記載の画像特徴量
    生成方法。
  20. 【請求項２０】 入力される画像データが静止画像であ
    るか動画像であるかを判定する画像データ判定工程と、 前記画像データ判定工程により静止画像であると判定さ
    れた画像データから縮小画像を生成する縮小画像生成工
    程と、生成された前記縮小画像の周波数解析を行う周波
    数解析工程と、解析の結果得られる直流分および一部交
    流分を静止画像特徴量として取り出す直流成分および一
    部交流成分抽出工程とを有する静止画像特徴量算出工程
    と、 前記画像データ判定工程により動画像であると判定され
    た画像データから全部または一部のフレームに相当する
    データを取り出し処理対象に選定する特徴量抽出対象フ
    レーム選定工程と、取り出されたフレームそれぞれのデ
    ータから縮小画像を生成する縮小画像生成工程と、生成
    された前記縮小画像の周波数解析を行う周波数解析工程
    と、解析の結果得られる直流分および一部交流分を画像
    特徴量として取り出す直流成分および一部交流成分抽出
    工程と、前記直流成分および一部交流成分抽出手段から
    出力されるフレーム特徴量を集めて動画像特徴量を生成
    する動画像特徴量生成工程とを有する動画像特徴量算出
    工程と、 を有することを特徴とする画像特徴量生成方法。
  21. 【請求項２１】 前記画像特徴量生成方法は、 前記画像データを記憶する画像データ記憶工程と、 前記画像データ記憶工程にて記憶した画像データそれぞ
    れを用いて、前記静止画像特徴量生成工程により生成さ
    れた静止画像特徴量と、前記動画像特徴量生成工程によ
    り生成された動画像特徴量とを画像特徴量として記憶す
    る画像特徴量記憶工程を有することを特徴とする請求項
    ２０記載の画像特徴量生成方法。
  22. 【請求項２２】 前記縮小画像生成工程は、 静止画像をブロック分割し、各ブロックの代表する色情
    報のみを取り出すことを特徴とする請求項１６から２１
    の何れか１項に記載の画像特徴量生成方法。
  23. 【請求項２３】 前記画像データがブロック単位で圧縮
    されている場合には、前記縮小画像生成手段は前記各ブ
    ロックの直流成分のみを取り出すことを特徴とする請求
    項１６から２１の何れか１項に記載の画像特徴量生成方
    法。
  24. 【請求項２４】 静止画像データから縮小画像を生成す
    る縮小画像生成工程と、 生成された前記縮小画像の周波数解析を行う周波数解析
    工程と、 解析の結果得られる直流分および一部交流分を画像特徴
    量として取り出す直流成分および一部交流成分抽出工程
    と、 を有して構成される静止画像特徴量算出工程と、 前記静止画像特徴量算出工程により予め算出された静止
    画像データの静止画像特徴量が、該静止画像データと共
    に記憶された静止画像データベースに含まれる静止画像
    の静止特徴量と、入力した静止画像データに対して前記
    静止画像特徴量算出工程により算出された静止画像特徴
    量との相関値を求める相関値算出工程と、 入力した静止画像データに対して生成された静止画像特
    徴量との相関値の高い前記静止画像データベースに含ま
    れる静止画像を類似する静止画像の候補として検出する
    類似静止画像検出工程と、 を有することを特徴とする画像検索方法。
  25. 【請求項２５】 動画像データから全部または一部のフ
    レームに相当するデータを取り出し処理対象に選定する
    特徴量抽出対象フレーム選定工程と、 取り出されたフレームそれぞれのデータから縮小画像を
    生成する縮小画像生成工程と、 生成された前記縮小画像の周波数解析を行う周波数解析
    工程と、 解析の結果得られる直流分および一部交流分をフレーム
    特徴量として取り出す直流成分および一部交流成分抽出
    工程と、 前記直流成分および一部交流成分抽出手段から出力され
    る前記フレーム特徴量を集めて動画像特徴量を生成する
    動画像特徴量生成工程と、 を有する動画像特徴量算出工程と、 前記動画像特徴量算出工程により予め算出された動画像
    データの動画像特徴量が、該動画像データと共に記憶さ
    れた動画像データベースに含まれる動画像の動画像特徴
    量と、入力した動画像データに対して前記動画像特徴量
    算出工程により算出された動画像特徴量との相関値を求
    める相関値算出工程と、 入力した動画像データに対して生成された動画像特徴量
    との相関値の高い前記動画像データベースに含まれる動
    画像区間を類似する動画像の候補として検出する類似動
    画像検出工程と、 を有することを特徴とする画像検索方法。
  26. 【請求項２６】 前記相関値算出工程は、 前記入力した動画像データに対して前記動画像特徴量算
    出工程により算出された動画像特徴量を分割する工程
    と、 前記動画像データベースに含まれる動画像の動画像特徴
    量の一部と、分割した各動画像特徴量との部分的相関値
    を順次算出する工程とを有し、 前記類似動画像検出工程は 前記部分的相関値が予め定
    められた閾値よりも低い時に、その特徴量を持つ前記動
    画像データベースに含まれる動画像区間を類似する動画
    像の候補から取り除く工程を有することを特徴とする請
    求項２５記載の画像検索方法。
  27. 【請求項２７】 前記相関値算出工程は、 前記入力した動画像データに対して前記動画像特徴量算
    出工程により算出された動画像特徴量を分割する工程
    と、 前記動画像データベースに含まれる動画像の動画像特徴
    量の一部と、分割した部分動画像特徴量との部分的相関
    値を順次算出する工程とを有し、 前記類似動画像検出工程は、前記部分的相関値が予め定
    められた閾値よりも低い前記部分動画像特徴量の数が予
    め定められた閾値以上となった時点で類似する動画像の
    候補から取り除く工程を有することを特徴とする請求項
    ２５記載の画像検索方法。
  28. 【請求項２８】 入力した画像データが静止画像であっ
    た場合、 前記入力した静止画像データから縮小画像を生成する縮
    小画像生成工程と、生成された前記縮小画像の周波数解
    析を行う周波数解析工程と、解析の結果得られる直流分
    および一部交流分を画像特徴量として取り出す直流成分
    および一部交流成分抽出工程とからなる静止画像特徴量
    算出工程により算出された静止画像特徴量と、 静止画像データに対して前記静止画像特徴量算出工程に
    より算出された静止画像特徴量が、前記静止画像データ
    と共に記憶された画像データベースに含まれる画像の画
    像特徴量との相関値を求める第１の相関値算出工程と、 前記入力した画像データに対して生成された画像特徴量
    との相関値の高い前記画像データベースに含まれる画像
    を類似する静止画像の候補として検出する類似静止画像
    検出工程とを有し、 入力した画像データが動画像であった場合、 前記入力された動画像データから動画像データから全部
    または一部のフレームに相当するデータを取り出し処理
    対象に選定する特徴量抽出対象フレーム選定工程と、取
    り出されたフレームそれぞれのデータから縮小画像を生
    成する縮小画像生成工程と、生成された前記縮小画像の
    周波数解析を行う周波数解析工程と、解析の結果得られ
    る直流分および一部交流分をフレーム特徴量として取り
    出す直流成分および一部交流成分抽出工程と、前記直流
    成分および一部交流成分抽出手段から出力される前記フ
    レーム特徴量を集めて動画像特徴量を生成する動画像特
    徴量生成工程とからなる動画像特徴量算出工程により算
    出された動画像特徴量と、 動画像データに対して前記動画像特徴量算出工程により
    算出された動画像特徴量が、前記動画像データと共に記
    憶された前記画像データベースに含まれる画像の画像特
    徴量との相関値を求める第２の相関値算出工程と、 前記入力した動画像データに対して生成された動画像特
    徴量との相関値の高い前記動画像データベースに含まれ
    る動画像区間を類似する動画像の候補として検出する類
    似動画像検出工程と、 を有することを特徴とする画像検索方法。
  29. 【請求項２９】 前記第２の相関値算出工程は、 前記入力した動画像データに対して前記動画像特徴量算
    出工程により算出された動画像特徴量を分割する工程
    と、 前記動画像データベースに含まれる動画像の動画像特徴
    量の一部と、分割した各動画像特徴量との部分的相関値
    を順次算出する工程とを有し、 前記類似動画像検出工程は 前記部分的相関値が予め定
    められた閾値よりも低い時に、その特徴量を持つ前記動
    画像データベースに含まれる動画像区間を類似する動画
    像の候補から取り除く工程を有することを特徴とする請
    求項２６記載の画像検索方法。
  30. 【請求項３０】 前記第２の相関値算出工程は、 前記入力した動画像データに対して前記動画像特徴量算
    出工程により算出された動画像特徴量を分割する工程
    と、 前記動画像データベースに含まれる動画像の動画像特徴
    量の一部と、分割した部分動画像特徴量との部分的相関
    値を順次算出する工程とを有し、 前記類似動画像検出工程は、前記部分的相関値が予め定
    められた閾値よりも低い前記部分動画像特徴量の数が予
    め定められた閾値以上となった時点で類似する動画像の
    候補から取り除く工程を有することを特徴とする請求項
    ２６記載の画像検索方法。
  31. 【請求項３１】 前記縮小画像生成工程は、 画像をブロック分割し、各ブロックの代表する色情報の
    みを取り出すことを特徴とする請求項２４から３０の何
    れか１項に記載の画像検索方法。
  32. 【請求項３２】 前記画像データがブロック単位で圧縮
    されている場合には、前記縮小画像生成手段は前記各ブ
    ロックの直流成分のみを取り出すことを特徴とする請求
    項２４から３０の何れか１項に記載の画像検索方法。
JP05943299A 1999-01-06 1999-03-05 画像特徴量生成装置、並びに画像特徴量生成方法 Expired - Fee Related JP3496559B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP05943299A JP3496559B2 (ja) 1999-01-06 1999-03-05 画像特徴量生成装置、並びに画像特徴量生成方法
US09/477,088 US6870957B1 (en) 1999-01-06 2000-01-03 Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture
EP00100102A EP1018688A3 (en) 1999-01-06 2000-01-04 Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture
CA002293943A CA2293943C (en) 1999-01-06 2000-01-05 Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture
US10/370,563 US6868182B2 (en) 1999-01-06 2003-02-24 Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP150799 1999-01-06
JP11-1507 1999-01-06
JP05943299A JP3496559B2 (ja) 1999-01-06 1999-03-05 画像特徴量生成装置、並びに画像特徴量生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003124404A Division JP4304368B2 (ja) 1999-01-06 2003-04-28 画像検索装置、並びに画像検索方法

Publications (2)

Publication Number Publication Date
JP2000259832A true JP2000259832A (ja) 2000-09-22
JP3496559B2 JP3496559B2 (ja) 2004-02-16

Family

ID=26334727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05943299A Expired - Fee Related JP3496559B2 (ja) 1999-01-06 1999-03-05 画像特徴量生成装置、並びに画像特徴量生成方法

Country Status (4)

Country Link
US (2) US6870957B1 (ja)
EP (1) EP1018688A3 (ja)
JP (1) JP3496559B2 (ja)
CA (1) CA2293943C (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133414A (ja) * 2000-10-20 2002-05-10 Canon Inc 画像処理方法及びその装置、記憶媒体
JP2002183145A (ja) * 2000-12-12 2002-06-28 Nec Corp 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体
JP2004526372A (ja) * 2001-03-30 2004-08-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ストリーミング映像ブックマーク
US6880082B2 (en) 2000-05-15 2005-04-12 Nec Corporation Broadcast verification system, broadcast verification method, broadcast verification apparatus and storage medium storing broadcast verification program
US7046865B2 (en) 2001-10-30 2006-05-16 Nec Corporation Determination of similarity using weighting value depending on the type of characteristic
JP2006178790A (ja) * 2004-12-22 2006-07-06 Ricoh Co Ltd 状態検知装置、状態検知方法、プログラムおよび記録媒体
JP2007158673A (ja) * 2005-12-05 2007-06-21 Hitachi Ltd 危険映像検出方法、映像相違検出方法及び装置
US7236652B2 (en) 2001-07-25 2007-06-26 Nec Corporation Image retrieval apparatus and image retrieving method
US7248782B2 (en) 2000-10-06 2007-07-24 Nec Corporation Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method
KR100799686B1 (ko) 2006-08-04 2008-02-01 삼성전자주식회사 콘트라스트 조정 장치 및 그 방법
US7457460B2 (en) 2000-09-06 2008-11-25 Nec Corporation Picture retrieving apparatus and method which converts orthogonal transform coefficients into color histogram data
WO2009035032A1 (ja) * 2007-09-12 2009-03-19 Kashiko Kodate 動画データの照合システム、動画データベースの作製方法並びに動画データベースに動画データを登録するための登録システム及びプログラム
WO2009050877A1 (ja) * 2007-10-19 2009-04-23 Nec Corporation 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム
JP2009201132A (ja) * 2009-04-24 2009-09-03 Kddi Corp 動画像のカット点検出装置
WO2009157340A1 (ja) * 2008-06-26 2009-12-30 日本電気株式会社 高品質コンテンツ生成システムと、その方法及びプログラム
WO2009157402A1 (ja) * 2008-06-26 2009-12-30 日本電気株式会社 コンテンツ再生制御システムと、その方法及びプログラム
US7697753B2 (en) 2001-02-19 2010-04-13 Nec Corporation Device for creating image feature from image having any shape
JP2011059142A (ja) * 2009-09-04 2011-03-24 Olympus Corp 画像処理装置およびプログラム
US8675950B2 (en) 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
US8768064B2 (en) 2008-09-01 2014-07-01 Nec Corporation Image feature extraction device
US8791998B2 (en) 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
US8965103B2 (en) 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3775186B2 (ja) * 2000-08-10 2006-05-17 日本電気株式会社 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体
US7289594B2 (en) * 2004-03-31 2007-10-30 Lg.Philips Lcd Co., Ltd. Shift registrer and driving method thereof
KR101035762B1 (ko) * 2005-01-07 2011-05-20 삼성전자주식회사 개선된 패턴 데이터의 인식 장치 및 방법
KR20070118156A (ko) * 2005-06-30 2007-12-13 올림푸스 가부시키가이샤 검색 시스템 및 검색 방법
JP4518141B2 (ja) 2007-12-17 2010-08-04 日本電気株式会社 画像照合方法及び画像照合装置並びに画像照合プログラム
US8478053B2 (en) * 2009-07-15 2013-07-02 Nikon Corporation Image sorting apparatus
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
CN113252695B (zh) * 2021-06-16 2021-09-28 上海启迪睿视智能科技有限公司 一种基于图像处理的塑封薄膜缺陷检测方法及检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201373A (ja) * 1985-03-04 1986-09-06 Nec Corp 画像信号の処理方法
JPH04333991A (ja) * 1991-05-10 1992-11-20 Konica Corp 撮像装置の動き検出装置
JPH06231254A (ja) * 1993-02-03 1994-08-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の高速認識検索方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2875263B2 (ja) 1988-09-21 1999-03-31 ヤマハ発動機株式会社 画像処理方法および装置
US5046121A (en) 1989-01-31 1991-09-03 Konica Corporation Image data compression apparatus
JP3340532B2 (ja) 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
JP3556265B2 (ja) 1994-03-04 2004-08-18 オリンパス株式会社 画像取扱装置及びカメラ
MX9700385A (es) * 1994-07-14 1998-05-31 Johnson Grace Company Metodo y aparato para comprimir imagenes.
JP3199976B2 (ja) 1995-03-14 2001-08-20 正夫 坂内 画像データベース装置
US5949904A (en) * 1997-11-06 1999-09-07 International Business Machines Corporation Method, apparatus and computer program product for querying by image colors using JPEG image format
KR100574702B1 (ko) * 1998-07-03 2006-04-27 가부시키가이샤 허드슨 화상부호／복호방법 및 그 프로그램을 기록한 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201373A (ja) * 1985-03-04 1986-09-06 Nec Corp 画像信号の処理方法
JPH04333991A (ja) * 1991-05-10 1992-11-20 Konica Corp 撮像装置の動き検出装置
JPH06231254A (ja) * 1993-02-03 1994-08-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の高速認識検索方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6880082B2 (en) 2000-05-15 2005-04-12 Nec Corporation Broadcast verification system, broadcast verification method, broadcast verification apparatus and storage medium storing broadcast verification program
US7457460B2 (en) 2000-09-06 2008-11-25 Nec Corporation Picture retrieving apparatus and method which converts orthogonal transform coefficients into color histogram data
US7248782B2 (en) 2000-10-06 2007-07-24 Nec Corporation Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method
JP2002133414A (ja) * 2000-10-20 2002-05-10 Canon Inc 画像処理方法及びその装置、記憶媒体
US7006689B2 (en) 2000-12-12 2006-02-28 Nec Corporation Image search system and image search method thereof
JP2002183145A (ja) * 2000-12-12 2002-06-28 Nec Corp 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体
US7697753B2 (en) 2001-02-19 2010-04-13 Nec Corporation Device for creating image feature from image having any shape
JP2004526372A (ja) * 2001-03-30 2004-08-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ストリーミング映像ブックマーク
US7236652B2 (en) 2001-07-25 2007-06-26 Nec Corporation Image retrieval apparatus and image retrieving method
US7046865B2 (en) 2001-10-30 2006-05-16 Nec Corporation Determination of similarity using weighting value depending on the type of characteristic
JP2006178790A (ja) * 2004-12-22 2006-07-06 Ricoh Co Ltd 状態検知装置、状態検知方法、プログラムおよび記録媒体
JP4637564B2 (ja) * 2004-12-22 2011-02-23 株式会社リコー 状態検知装置、状態検知方法、プログラムおよび記録媒体
JP2007158673A (ja) * 2005-12-05 2007-06-21 Hitachi Ltd 危険映像検出方法、映像相違検出方法及び装置
KR100799686B1 (ko) 2006-08-04 2008-02-01 삼성전자주식회사 콘트라스트 조정 장치 및 그 방법
KR101579626B1 (ko) * 2007-09-12 2015-12-23 카시코 코다테 동영상 데이터의 조합시스템, 동영상 데이터베이스의 제작방법 및 동영상 데이터베이스에 동영상 데이터를 등록하기 위한 등록시스템 및 프로그램
JP2009070349A (ja) * 2007-09-12 2009-04-02 Kashiko Kodate 動画データの照合システム
WO2009035032A1 (ja) * 2007-09-12 2009-03-19 Kashiko Kodate 動画データの照合システム、動画データベースの作製方法並びに動画データベースに動画データを登録するための登録システム及びプログラム
KR20100066505A (ko) * 2007-09-12 2010-06-17 카시코 코다테 동영상 데이터의 조합시스템, 동영상 데이터베이스의 제작방법 및 동영상 데이터베이스에 동영상 데이터를 등록하기 위한 등록시스템 및 프로그램
WO2009050877A1 (ja) * 2007-10-19 2009-04-23 Nec Corporation 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム
JP5051237B2 (ja) * 2007-10-19 2012-10-17 日本電気株式会社 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム
WO2009157340A1 (ja) * 2008-06-26 2009-12-30 日本電気株式会社 高品質コンテンツ生成システムと、その方法及びプログラム
WO2009157402A1 (ja) * 2008-06-26 2009-12-30 日本電気株式会社 コンテンツ再生制御システムと、その方法及びプログラム
US8879004B2 (en) 2008-06-26 2014-11-04 Nec Corporation High-quality content generation system, method therefor, and program
JP2014220836A (ja) * 2008-06-26 2014-11-20 日本電気株式会社 高品質コンテンツ生成システムと、その方法及びプログラム
US8913873B2 (en) 2008-06-26 2014-12-16 Nec Corporation Content reproduction control system and method and program thereof
JP5648800B2 (ja) * 2008-06-26 2015-01-07 日本電気株式会社 高品質コンテンツ生成システムと、その方法及びプログラム
JP5648801B2 (ja) * 2008-06-26 2015-01-07 日本電気株式会社 コンテンツ再生制御システムと、その方法及びプログラム
US8768064B2 (en) 2008-09-01 2014-07-01 Nec Corporation Image feature extraction device
JP2009201132A (ja) * 2009-04-24 2009-09-03 Kddi Corp 動画像のカット点検出装置
US8965103B2 (en) 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method
US8675950B2 (en) 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
US8791998B2 (en) 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
JP2011059142A (ja) * 2009-09-04 2011-03-24 Olympus Corp 画像処理装置およびプログラム

Also Published As

Publication number Publication date
JP3496559B2 (ja) 2004-02-16
US6870957B1 (en) 2005-03-22
CA2293943C (en) 2006-04-25
US20030123735A1 (en) 2003-07-03
US6868182B2 (en) 2005-03-15
EP1018688A2 (en) 2000-07-12
CA2293943A1 (en) 2000-07-06
EP1018688A3 (en) 2004-04-14

Similar Documents

Publication Publication Date Title
JP2000259832A (ja) 画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法
JP5116788B2 (ja) 動画像検索装置
EP2164044B1 (en) Method and apparatus for representing a group of images
US6600784B1 (en) Descriptor for spatial distribution of motion activity in compressed video
US20030210886A1 (en) Scalable video summarization and navigation system and method
US7035775B2 (en) Similar time series detection method and apparatus, program and recording medium
CN1909677B (zh) 图像表示和分析方法
JP2000222584A (ja) 映像情報記述方法、映像検索方法及び映像検索装置
US20030112874A1 (en) Apparatus and method for detection of scene changes in motion video
KR100788642B1 (ko) 디지털 영상 텍스쳐 분석 방법
Hanjalic et al. Automatically segmenting movies into logical story units
US20050002569A1 (en) Method and apparatus for processing images
JP4304368B2 (ja) 画像検索装置、並びに画像検索方法
CN102298699B (zh) 图像表示和分析方法
JP2000030033A (ja) 人物検出方法
Latecki et al. Extraction of key frames from videos by optimal color composition matching and polygon simplification
JPH08194714A (ja) 圧縮動画像の検索方法および装置
JP4167245B2 (ja) デジタル映像処理方法及びその装置
JP2000194727A (ja) 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP5699856B2 (ja) 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム
JPH05236449A (ja) 動画像処理装置
JP2008226261A (ja) オブジェクト検出方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101128

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees