JP2007066025A - 画像検索方法及び装置 - Google Patents

画像検索方法及び装置 Download PDF

Info

Publication number
JP2007066025A
JP2007066025A JP2005251726A JP2005251726A JP2007066025A JP 2007066025 A JP2007066025 A JP 2007066025A JP 2005251726 A JP2005251726 A JP 2005251726A JP 2005251726 A JP2005251726 A JP 2005251726A JP 2007066025 A JP2007066025 A JP 2007066025A
Authority
JP
Japan
Prior art keywords
affine
affine invariant
invariant region
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005251726A
Other languages
English (en)
Other versions
JP4721830B2 (ja
Inventor
Katsuhiro Sakai
克弘 坂井
Ondrej Chum
フム オンドレイ
Jiri Matas
マタス ユリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Czech Technical University In Prague
Toyota Motor Corp
Original Assignee
Czech Technical University In Prague
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Czech Technical University In Prague, Toyota Motor Corp filed Critical Czech Technical University In Prague
Priority to JP2005251726A priority Critical patent/JP4721830B2/ja
Priority to PCT/JP2006/317688 priority patent/WO2007026948A1/ja
Priority to EP06797564A priority patent/EP1933270B1/en
Priority to US12/065,445 priority patent/US8295604B2/en
Publication of JP2007066025A publication Critical patent/JP2007066025A/ja
Application granted granted Critical
Publication of JP4721830B2 publication Critical patent/JP4721830B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 本発明の目的は、ロバストかつ高速(モデル数に対し対数オーダーの計算量)な画像検索方法を提供すること。
【解決手段】 一枚又は複数枚の学習画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出する抽出工程と、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出する算出工程と、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する変形工程と、基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を出力する出力工程とを備えていることを特徴としている。
【選択図】 図1

Description

本発明は、明るさなどが変化する画像においても確実な画像検索を行うことが可能な画像検索方法及び装置に関する。
複数の画像間で対応関係にある小領域を算出することは、対象認識、三次元情報復元、画像検索など様々な画像処理アプリケーションによって重要な問題である。画像内の局所的な領域をアフィン変換や回転変換に対して正規化した状態で抽出し(以降、アフィン不変領域と呼ぶこととする)、それらのアフィン不変領域間の対応関係を利用する画像認識手段は、認識対象に対する視点変化を幾何学的にモデリングできるという利点がある。また、局所的なアフィン不変領域を利用するため、認識対象の部分隠れに対する対応能力が高いという利点もある。
W.M.Wells, P.Viola, H.Atsumi,S.Nakajima, and R.Kikins, "Multi−Modal Volume Registration Maximazation of Mutual Information" Medical Image Analysis, 1996 D.G.Lowe "Distinctive image features from scale−invariant keypoints" Int. J. Compt. Vision, 60(2):91−110,2004 J.Mates, O.Chum, M.Urban, and T.Pajdla "Robust Wide Baseline Stereo from Extremal Regions" BMVC02,2002
これらの手法は、一般に下記の三段階の処理によって実現される(図6参照)。(1)一枚又は複数枚のモデル画像及び検索対象画像(供試画像)からアフィン不変領域を抽出する。(2)抽出したアフィン不変領域の対応関係を局所的な情報に基づいて算出する。(3)大局的な情報を利用して上記(2)で算出した対応関係を検証する。
ここで、上記(2)のアフィン不変領域間の対応関係を算出する際に、ロバスト性とともに実行速度も重要な問題となる。例えば、複数の対象を認識する場合、図9に示すように、複数のモデル画像から抽出したアフィン不変領域と検索対象画像から抽出したアフィン不変領域との一致を逐次比較するような方法では、モデル画像数(即ち、それらから抽出されるアフィン不変領域数)が増加した場合、計算負荷も線形的に増大し,実時間アプリケーションにとって致命的である。従って、本発明の目的は,ロバストかつ高速(モデル数に対し対数オーダーの計算量)な画像検索方法及び装置を提供することにある。
また、上述した[非特許文献1]では、相互情報量を指標として二画像間の類似度を算出することで、単調関数でない光度変化にも頑強な対応検索を提案している。この手法をアフィン不変領域間の対応検索に当てはめた場合、全てのアフィン不変領域の組み合わせに対して類似度算出が必要であり、アフィン不変領域の数に伴い計算負荷が増大してしまう。
請求項1に記載の画像検索方法は、一枚又は複数枚の学習画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出する抽出工程と、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出する算出工程と、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する変形工程と、基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を出力する出力工程とを備えていることを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像検索方法において、アフィン不変領域が、局所座標系として設定されることを特徴としている。
請求項3に記載の発明は、請求項1又は2に記載の画像検索方法において、検索対象となる対象画像が入力される入力工程と、対象画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出し、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出し、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する対象変形工程と、対象画像における基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせ、近傍にあるアフィン不変領域の変形された形状、及び、出力工程によって出力された出力結果に基づいて、学習画像から抽出されたアフィン不変領域と対象画像から抽出されたアフィン不変領域とを対応づける検索工程とをさらに備えることを特徴としている。
請求項4に記載の画像検索装置は、一枚又は複数枚の学習画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出する抽出手段と、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出する算出手段と、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する変形手段と、基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を出力する出力手段とを備えていることを特徴としている。
請求項5に記載の発明は、請求項4に記載の画像検索装置において、アフィン不変領域が、局所座標系として設定されることを特徴としている。
請求項6に記載の発明は、請求項4又は5に記載の画像検索装置において、検索対象となる対象画像が入力される入力手段と、対象画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出し、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出し、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する対象変形手段と、対象画像における基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせ、近傍にあるアフィン不変領域の変形された形状、及び、出力手段によって出力された出力結果に基づいて、学習画像から抽出されたアフィン不変領域と対象画像から抽出されたアフィン不変領域とを対応づける検索手段とをさらに備えることを特徴としている。
本発明の画像検索方法又は画像検索装置によれば、基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を分類することで、ロバストかつ高速な検索が可能な画像データベースを構築することができる。そして、検索対象となる対象画像が与えられたときには、上述したデータベースを利用して、対象画像における基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を利用して、ロバストかつ高速な検索を行うことができる。
本発明の画像検索装置は、検索対象となる対象画像とこの対象画像と比較するためのデータベースとなる学習画像とを入力する入力部、入力された画像に対してアフィン不変領域などを求める演算や検索のための比較対象を行うを行う演算部、構築したデータベースや検索結果を出力する出力部、演算に必要なプログラムや途中の演算内容・構築したデータベースなどを記憶しておく記憶部などを備えている。
入力部は、カメラであったり、スキャナであったり、データとして画像を入力する入出力ドライブであったりする。演算部は、CPUやGPU・ROM・RAMなどであったりする。出力部は、モニタディスプレイであったりプリンタであったり入出力ドライブであったりする。記憶部は、ハードディスクやRAMその他のストレージデバイスであったりする。
本実施形態における画像検索方法(データベース構築方法)についての概要を説明する。同一種類ではあるが異なる色の車両では,白色車両のテールランプはボデー色に対して暗く、黒色車両のテールランプはボデー色に対して明るい。また、昼間の窓は建物のその他の部分に対して暗いが、夜間では電灯の影響で明るくなる。このような対象の認識には、光学的な属性が単調でなく変化する対象間の対応関係の算出が必要である。ここでは、アフィン不変領域によって定義される局所座標系を指標として、高速かつ単調でない光度変化にも頑強な対応探索を実現する。本発明の基底となる考えを解説する。
画像Aから抽出したアフィン不変領域の集合をS={s ,s ,…,s }とする。ここで,各アフィン不変領域はアフィン変換行列で一意に表現され、画像上に一つの局所座標系として定義されることとする。以降の数式計算では、s をアフィン変換行列として扱う。ここで,アフィン変換行列を利用した表現は、幾何変換の指標であり、光学的特性を明には含まない。よって、アフィン不変領域の抽出自体が光度変化の影響を受けなければ、アフィン変換行列も光度変化の影響を受けない。光度変化の影響を受けないアフィン不変領域の抽出は、例えば、上述した[非特許文献3]でMSER+(周辺より明るい領域),MSER−(周辺より暗い領域)を区別せず扱うことで実現できる。以降、議論の対象であるアフィン不変領域は光度変化の影響を受けない形で抽出されているとする。
画像Aと同一の対象を別視点から撮影した画像Bに対して同様に抽出したアフィン変換領域の集合をS={s ,s ,…,s }とする。簡略化のため、1≦i≦Nを満たす全てのiに対して,s とs は対応するアフィン不変領域であるとする。さらに、対象が平面物体であると仮定し、画像A中の対象を基準とした画像B中の対象へのアフィン変換行列をPとする。この場合、明らかに1≦i≦Nを満たす全てのiに対して下式が成立する。
=Ps
よって、1≦i≦N,1≦j≦Nを満たす全てのi,jの組み合わせに関して下記式が成立する。
(s −1 =(Ps −1Ps =(s −1−1Ps =(s −1
つまり、アフィン不変領域s を基準に幾何的に正規化したs は、s を基準に正規化したs に一致する(図1参照)。換言すれば、正規化された近傍のアフィン不変領域(周辺アフィン不変領域)の座標系の画像間での一致度は、正規化の基準となったアフィン不変領域間の対応度評価の指標となる。例えば、一対の周辺アフィン不変領域の座標系が一致した場合に、正規化の基準となったアフィン不変領域対の対応(一致した周辺アフィン不変領域の対応も可)に対して投票を行い、最終的な投票数から対応を判断すること等が可能である。以上の議論は対象を平面物体に限定して行ったが、それ以外の物体も局所的領域に着目すれば近似的に平面と見なすことができ、上記議論をそのまま適応できる。さらに,正規化されたアフィン不変領域の座標系を離散化して扱うことで、データベース探索の原理を応用して計算量がO(logN)(アフィン不変領域数N)である高速な対応探索を実現できる。
以下、実施形態について説明する。ここでは、一枚もしくは複数枚の画像を含む集合A={a,a,…,a}より抽出した複数のアフィン不変領域と、一枚の画像bから抽出した複数のアフィン不変領域の対応関係を算出する例を利用し、本発明の実装方法を解説する。集合A中の各画像a{1≦i≦N}は、対象認識の例では認識対象である各モデルに対応する。ステレオ画像間の対応探索は、対象認識のN=1である特別な例として考えることができ、基本的な処理の流れは対象認識と同等である。ここで,対象認識の慣例に習い、集合Aからアフィン不変領域を抽出し効率的な対応探索が可能な形に記述することを学習と呼び、画像bからアフィン不変特徴を抽出し、対応する集合Aから抽出したアフィン不変特徴を算出することを認識と呼ぶこととする。
複数の対象を認識する例では、そのモデル数Nに対する計算量の変化が重要である。集合Aから抽出したアフィン不変領域数はモデル数に比例するため、これに対する計算量変化は重要である。画像サイズが一定であれば、画像bから抽出したアフィン不変領域数は対象認識ではほぼ一定と見なすことができ問題とならない。以下、学習時の手順を図2のフローチャートを参照して説明する。
ステップ200では、集合A={a,a,…,a}の各画像から複数のアフィン不変領域を抽出し、光度変化によらない幾何的な特徴としてアフィン変換行列を抽出する。本発明は、以降の処理をアフィン変換行列に対して行なうものであり、この行列抽出のステップが光度変化に影響を受けない形で実装できれば処理全体が光度変化に影響を受けないことが保証される。上述した[非特許文献3]の例で、MSER+(定性的な表現では周辺より明るい領域)とMSER−(同じく周辺より暗い領域)を区別することなく扱うことで光度変化によらないアフィン不変領域の抽出が実現できる。ここで,算出したアフィン不変領域(変換行列)の集合をS={s,s,…,s}とする。
ステップ205では、1≦i≦Nなるiをまず1に初期化する。次いで、ステップ210では、画像中でsの近傍にあるアフィン不変領域の集合S={s ,s ,…,s }を算出する。ステップ215では、1≦j≦Nなるjを1に初期化する。sを幾何的に正規化する変換行列s −1によって,sを幾何的に変換した場合のs座標系の原点とsの原点との距離をdsi sjと定義すると、dsi sjは下記式によって得られる。
ただし、x,yは以下の式を満たす。
はsに対し距離dsi sjが閾値以下であるアフィン不変領域sの集合であり,一般的にsと同一の画像aから抽出した全てのsに対し、距離dsi sjを計算することで算出することが出来る。この処理の計算負荷は、同一画像から抽出したアフィン不変領域数Pを用いO(NP)となる。対象認識ではこのステップはオフラインで実施され(学習段階)、計算負荷は重要な問題ではない。ステレオの対応点探索(N=1)では,このステップはオンライン処理され計算量評価の対象だが、一定サイズの画像を扱う限りではPは一定と見なすことができるため計算負荷はO(1)となり問題ではない。この処理は、図3に示すように、画像を複数のサブ領域に分割し、距離dsi sjを算出すべきsの探索範囲をs周辺の幾つかのサブ領域に限定することで、さらに効率的に計算できる。また、各sに対する近傍のアフィン不変領域数は、距離dsi sjの閾値をコントロールすることで定数と見なすことが出来る。逆に、近傍のアフィン不変領域数を一定数抽出することは、対応点探索に必要な手掛かりを一定数抽出することであり、合理的な仮定である。
ステップ220では、図4に示されるように、sを幾何的に正規化する変換行列s −1によりsを変換する。ステップ225では、下記[表1]に示すような学習テーブルに,離散化したs,s −1の座標系とi,jとを同時に出力する。s,s −1が貼る座標系3点のx−y座標を直接利用してテーブルを作成した例を[表1]に示したが、応用範囲としてはこの限りでなく、極座標など様々な座標系に対して処理が可能である。
ステップ230,235では、iはそのままで順次jをインクリメントして、ステップ220,225を繰り返し行う。ステップ240,245では、iをインクリメントして、ステップ210〜235を繰り返し行う。この繰り返しの中でi=i+1で順次jがインクリメントされて処理される。
ステップ250では、学習テーブルの各行をi,jを除いた座標値を基準とし、一定の順番に並べ替える。例えば、xを最上位、yを第二番目、・・・、yを最下位とし、最上位から比較を開始して上位の値が同一の場合下位の値を比較する戦略を並べ替えの基準とできる。なお、固有の順序を決定できる評価基準であれば任意に選ぶことも可能である。並べ替えには、クイックソートなどの既存手法が利用できる。このステップで作成した並べ替え済みの学習テーブルが、最終的な学習結果となる。
次に、図5のフローチャートを参照しつつ、認識時の処理を学習時と異なる部分を中心に説明する。ステップ500〜520までは、図2のフローチャートにおけるステップ200〜220と同等の処理であり、これら処理の計算量は認識対象数Nによらない。
ステップ525では、画像bから抽出したアフィン不変領域に対し,離散化したs −1の座標系と一致するエントリを学習テーブルから選出する。この処理は簡単な検索技術を利用し、O(logN)の計算量で実現できる。画像bから抽出したアフィン不変領域iと、画像集合Aから抽出したアフィン不変領域中で一致した学習テーブルエントリ(行)の項目i(列)をIDにもつアフィン不変領域との一致をサポートする。よって、下記[表2]に示すような投票テーブルを作成し、これらの一致に投票を行なう。
エントリの一致は同様に画像bから抽出したアフィン不変領域jと、画像集合Aから抽出したアフィン不変領域中で一致した学習テーブルエントリ(行)の項目j(列)をIDにもつアフィン不変領域との一致もサポートするため、これらの一致に対して投票を行なうことも可能である。ステップ530,535では、iはそのままで順次jをインクリメントして、ステップ520,525を繰り返し行う。ステップ540,545では、iをインクリメントして、ステップ510〜535を繰り返し行う。この繰り返しの中でi=i+1で順次jがインクリメントされて処理される。
ステップ550では、作成した投票テーブルを利用して集合Aから抽出したアフィン不変領域、画像bから抽出したアフィン不変領域の対応関係を算出する。その際、各行に対して最高の投票を与える、あるいは、投票数が閾値以上である、などアプリケーションに望ましい性質によって様々な指標で対応算出を行なうことが出来る。ここで、投票テーブルの全てのエントリを投票後に調査する手法では、集合Aから抽出たアフィン不変領域数(対象認識のモデル数)Nに比例して計算量が増大する。しかし、投票テーブル作成時に各行(列)で最高の投票を与えるものを逐次更新しながら記憶しておくなどの工夫で、モデル数によらない効率的な計算を実現できる。
本発明の画像検索方法及び装置における学習の概要を示す説明図である。 本発明の画像検索方法及び装置における学習の流れを示すフローチャートである。 サブ領域を利用した近傍探索範囲限定を模式的に示す説明図である。 対応表(離散化されたテーブル)に出力する特徴量を示す説明図である。 本発明の画像検索方法及び装置における認識(検索)の流れを示すフローチャートである。 画像内の局所的な領域をアフィン変換や回転変換に対して正規化した状態で抽出する状態を示す説明図である。

Claims (6)

  1. 一枚又は複数枚の学習画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出する抽出工程と、
    基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出する算出工程と、
    近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する変形工程と、
    基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を出力する出力工程とを備えていることを特徴とする画像検索方法。
  2. 前記アフィン不変領域が、局所座標系として設定されることを特徴とする請求項1に記載の画像検索方法。
  3. 検索対象となる対象画像が入力される入力工程と、
    前記対象画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出し、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出し、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する対象変形工程と、
    前記対象画像における基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせ、近傍にあるアフィン不変領域の変形された形状、及び、前記出力工程によって出力された出力結果に基づいて、前記学習画像から抽出されたアフィン不変領域と前記対象画像から抽出されたアフィン不変領域とを対応づける検索工程とをさらに備えることを特徴とする請求項1又は2に記載の画像検索方法。
  4. 一枚又は複数枚の学習画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出する抽出手段と、
    基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出する算出手段と、
    近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する変形手段と、
    基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせと共に、近傍にあるアフィン不変領域の変形された形状を出力する出力手段とを備えていることを特徴とする画像検索装置。
  5. 前記アフィン不変領域が、局所座標系として設定されることを特徴とする請求項4に記載の画像検索装置。
  6. 検索対象となる対象画像が入力される入力手段と、
    前記対象画像からそのアフィン変換に関わらず形状を正規化できる性質を持つ複数の特定領域をアフィン不変領域として抽出し、基準となるアフィン不変領域に対してその近傍にある他のアフィン不変領域を集合として算出し、近傍にあるアフィン不変領域を、基準となるアフィン不変領域の形状を正規化する変換を利用して変形する対象変形手段と、
    前記対象画像における基準となるアフィン不変領域及び近傍にあるアフィン不変領域の組み合わせ、近傍にあるアフィン不変領域の変形された形状、及び、前記出力手段によって出力された出力結果に基づいて、前記学習画像から抽出されたアフィン不変領域と前記対象画像から抽出されたアフィン不変領域とを対応づける検索手段とをさらに備えることを特徴とする請求項4又は5に記載の画像検索装置。
JP2005251726A 2005-08-31 2005-08-31 画像検索方法及び装置 Active JP4721830B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005251726A JP4721830B2 (ja) 2005-08-31 2005-08-31 画像検索方法及び装置
PCT/JP2006/317688 WO2007026948A1 (ja) 2005-08-31 2006-08-31 画像検索方法及び装置
EP06797564A EP1933270B1 (en) 2005-08-31 2006-08-31 Image search method and device
US12/065,445 US8295604B2 (en) 2005-08-31 2006-08-31 Image search method and device using affine-invariant regions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005251726A JP4721830B2 (ja) 2005-08-31 2005-08-31 画像検索方法及び装置

Publications (2)

Publication Number Publication Date
JP2007066025A true JP2007066025A (ja) 2007-03-15
JP4721830B2 JP4721830B2 (ja) 2011-07-13

Family

ID=37809026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005251726A Active JP4721830B2 (ja) 2005-08-31 2005-08-31 画像検索方法及び装置

Country Status (4)

Country Link
US (1) US8295604B2 (ja)
EP (1) EP1933270B1 (ja)
JP (1) JP4721830B2 (ja)
WO (1) WO2007026948A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199952A1 (en) * 2008-12-22 2010-06-23 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method and apparatus for identifying combinations of matching regions in images.
JP5290867B2 (ja) * 2009-05-25 2013-09-18 キヤノン株式会社 画像検索装置およびその方法
CN102110122B (zh) * 2009-12-24 2013-04-03 阿里巴巴集团控股有限公司 一种建立样本图片索引表和图片过滤、搜索方法及装置
US9042601B2 (en) * 2013-03-14 2015-05-26 Nec Laboratories America, Inc. Selective max-pooling for object detection
US9740947B2 (en) 2014-09-10 2017-08-22 Khalifa University of Science and Technology Hardware architecture for linear-time extraction of maximally stable extremal regions (MSERs)
US9489578B2 (en) 2014-09-10 2016-11-08 Khalifa University Of Science, Technology And Research Hardware architecture for real-time extraction of maximally stable extremal regions (MSERs)
US9311555B2 (en) * 2014-09-10 2016-04-12 Khalifa University of Science, Technology, and Research Architecture and method for real-time parallel detection and extraction of maximally stable extremal regions (MSERS)
US9600739B2 (en) 2014-09-10 2017-03-21 Khalifa University of Science, Technology & Research Architecture for real-time extraction of extended maximally stable extremal regions (X-MSERs)
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
WO2018034634A1 (en) 2016-08-16 2018-02-22 Chaplagin Mykola Petrovych Automatic method and system for similar images and image fragments detection basing on image content
US10456027B2 (en) 2017-04-26 2019-10-29 Khalifa University of Science and Technology Architecture and method for maximally stable extremal regions (MSERs)-based exudates detection in fundus images for diabetic retinopathy
CN109145926B (zh) * 2017-06-13 2023-04-18 腾讯科技(深圳)有限公司 相似图片识别方法及计算机设备
WO2022088909A1 (zh) * 2020-10-26 2022-05-05 华为技术有限公司 图像档案的处理方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203461A (ja) * 1997-10-28 1999-07-30 Ricoh Co Ltd 図形分類方法、図形検索方法、図形分類システム、図形検索システム、図形分類用特徴抽出方法、図形分類用表作成方法、情報記録媒体、図形間の類似度又は相異度の評価方法、図形正規化方法、及び、図形間対応付け方法
JPH11312248A (ja) * 1998-04-30 1999-11-09 Canon Inc 画像検索装置及び方法
JPH11328417A (ja) * 1998-05-20 1999-11-30 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203461A (ja) * 1997-10-28 1999-07-30 Ricoh Co Ltd 図形分類方法、図形検索方法、図形分類システム、図形検索システム、図形分類用特徴抽出方法、図形分類用表作成方法、情報記録媒体、図形間の類似度又は相異度の評価方法、図形正規化方法、及び、図形間対応付け方法
JPH11312248A (ja) * 1998-04-30 1999-11-09 Canon Inc 画像検索装置及び方法
JPH11328417A (ja) * 1998-05-20 1999-11-30 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
EP1933270A4 (en) 2009-07-29
EP1933270A1 (en) 2008-06-18
US8295604B2 (en) 2012-10-23
US20090290798A1 (en) 2009-11-26
WO2007026948A1 (ja) 2007-03-08
EP1933270B1 (en) 2012-02-22
JP4721830B2 (ja) 2011-07-13

Similar Documents

Publication Publication Date Title
JP4721830B2 (ja) 画像検索方法及び装置
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN109726746B (zh) 一种模板匹配的方法及装置
Oloyede et al. Improving face recognition systems using a new image enhancement technique, hybrid features and the convolutional neural network
CN113449725B (zh) 对象分类方法、装置、设备及存储介质
WO2018067080A1 (en) A marine vessel identification method
CN114862845A (zh) 手机触摸屏的缺陷检测方法、装置、设备及存储介质
JP4721829B2 (ja) 画像検索方法及び装置
WO2018030048A1 (ja) 物体追跡方法、物体追跡装置およびプログラム
WO2019171440A1 (ja) 画像解析装置、画像解析方法および画像解析プログラム
CN117152625A (zh) 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质
De Ocampo Haar-cnn cascade for facial expression recognition
KR20160148806A (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
TWI728655B (zh) 應用於動物的卷積神經網路偵測方法及系統
US9710699B2 (en) Three dimensional recognition from unscripted sources technology (TRUST)
JP2014232373A (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
CN114898155B (zh) 车辆定损方法、装置、设备及存储介质
KR102161679B1 (ko) 객체 인식 장치 및 방법
CN112699846B (zh) 一种具有身份一致性校验的特定人物与特定行为联合检索方法及装置
WO2021220826A1 (ja) 個体識別システム
WO2021220828A1 (ja) 個体識別システム
WO2021220827A1 (ja) 個体識別システム
CN118097211A (zh) 一种用于多尺度卷积和多层融合的遥感森林树种分类的方法
CN105956212A (zh) 一种大数据下的图像检索方法
CN116452802A (zh) 车损检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250