JP2007066019A - 画像検索方法及び装置 - Google Patents

画像検索方法及び装置 Download PDF

Info

Publication number
JP2007066019A
JP2007066019A JP2005251665A JP2005251665A JP2007066019A JP 2007066019 A JP2007066019 A JP 2007066019A JP 2005251665 A JP2005251665 A JP 2005251665A JP 2005251665 A JP2005251665 A JP 2005251665A JP 2007066019 A JP2007066019 A JP 2007066019A
Authority
JP
Japan
Prior art keywords
area
classification
fixed
image search
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005251665A
Other languages
English (en)
Other versions
JP4721829B2 (ja
Inventor
Stepan Obdrzalek
オブドラジャーレック シュテバン
Jiri Matas
マタス ユリ
Katsuhiro Sakai
克弘 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Czech Technical University In Prague
Toyota Motor Corp
Original Assignee
Czech Technical University In Prague
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Czech Technical University In Prague, Toyota Motor Corp filed Critical Czech Technical University In Prague
Priority to JP2005251665A priority Critical patent/JP4721829B2/ja
Priority to EP06797568A priority patent/EP1930852B1/en
Priority to PCT/JP2006/317692 priority patent/WO2007026951A1/ja
Priority to US12/065,437 priority patent/US8306332B2/en
Publication of JP2007066019A publication Critical patent/JP2007066019A/ja
Application granted granted Critical
Publication of JP4721829B2 publication Critical patent/JP4721829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】 本発明の目的は、ロバストかつ高速(モデル数に対し対数オーダーの計算量)な画像検索方法を提供すること。
【解決手段】 本発明の画像検索方法は、一枚又は複数枚のモデル画像から複数の領域を抽出して定型領域として正規化する正規化工程と、正規化された各定型領域内に特定領域を設定し、該特定領域の特徴に基づいて複数の定型領域をいくつかの部分集合に分類する分類工程と、各部分集合ごとに分類された各定型領域内の特定領域とは異なる位置に別の特定領域を設定し、該特定領域の特徴に基づいて複数の定型領域をさらにいくつかの部分集合に分類することを繰り返し行う再帰分類工程と、各分類時の定型領域内における特定領域の位置、及び、分類に際しての特定領域の特徴を出力する出力工程とを備えたことを特徴としている。
【選択図】 図1

Description

本発明は、高速な画像検索を行うことが可能なデータベースの作成や高速な検索自体に関する画像検索方法及び装置に関する。
複数の画像間で対応関係にある小領域を算出することは、対象認識、三次元情報復元、画像検索など様々な画像処理アプリケーションによって重要な問題である。画像内の局所的な領域をアフィン変換や回転変換に対して正規化した状態で抽出し(以降、アフィン不変領域と呼ぶこととする)、それらのアフィン不変領域間の対応関係を利用する画像認識手段は、認識対象に対する視点変化を幾何学的にモデリングできるという利点がある。また、局所的なアフィン不変領域を利用するため、認識対象の部分隠れに対する対応能力が高いという利点もある。
D.G.Lowe "Distinctive image features from scale−invariant keypoints" Int. J. Compt. Vision, 60(2):91−110,2004 J.Mates, O.Chum, M.Urban, and T.Pajdla "Robust Wide Baseline Stereo from Extremal Regions" BMVC02,2002
これらの手法は、一般に下記の三段階の処理によって実現される(図8参照)。(1)一枚又は複数枚のモデル画像及び検索対象画像(供試画像)からアフィン不変領域を抽出する。(2)抽出したアフィン不変領域の対応関係を局所的な情報に基づいて算出する。(3)大局的な情報を利用して上記(2)で算出した対応関係を検証する。
ここで、上記(2)のアフィン不変領域間の対応関係を算出する際に、ロバスト性とともに実行速度も重要な問題となる。例えば、複数の対象を認識する際場合、図9に示すように、複数のモデル画像から抽出したアフィン不変領域と検索対象画像から抽出したアフィン不変領域との一致を逐次比較するような方法では、モデル画像数(即ち、それらから抽出されるアフィン不変領域数)が増加した場合、計算負荷も線形的に増大し,実時間アプリケーションにとって致命的である。従って、本発明の目的は,ロバストかつ高速(モデル数に対し対数オーダーの計算量)な画像検索方法及び装置を提供することにある。
また、上述した[非特許文献1]では、画像ヒストグラムを指標として、アフィン不変領域間の対応付けを行うことで二つの画像の比較を行う。ただし、検索対象としたい部分以外の背景部分も含めて比較を行っているため、背景部分の比率が大きい場合アフィン不変領域間の対応を正確にとることができない。
請求項1に記載の画像検索方法は、一枚又は複数枚のモデル画像から複数の領域を抽出して定型領域として正規化する正規化工程と、正規化された各定型領域内に特定領域を設定し、該特定領域の特徴に基づいて複数の定型領域をいくつかの部分集合に分類する分類工程と、各部分集合ごとに分類された各定型領域内の特定領域とは異なる位置に別の特定領域を設定し、該特定領域の特徴に基づいて複数の定型領域をさらにいくつかの部分集合に分類することを繰り返し行う再帰分類工程と、各分類時の定型領域内における特定領域の位置、及び、分類に際しての特定領域の特徴を出力する出力工程とを備えたことを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像検索方法において、分類に際して利用される特定領域の特徴が、該特定領域に関する輝度情報であることを特徴としている。
請求項3に記載の発明は、請求項1又は2に記載の画像検索方法において、正規化工程において定型領域を背景部と検索部とに分割し、分類工程又は再帰分類工程における特定領域の位置が背景部であるときには、分類時に全ての部分集合に該特定領域を含ませることを特徴としている。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像検索方法において、正規化工程において、そのアフィン変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴としている。
請求項5に記載の発明は、請求項1〜3の何れか一項に記載の画像検索方法において、正規化工程において、その回転変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴としている。
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像検索方法において、検索対象から抽出した領域を正規化した所定領域を検出対象として入力する入力工程と、出力工程における出力結果に基づいて、所定領域が末端のどの部分集合に属するかを検索することで、所定領域と定型領域の部分集合とを対応づける検索工程とをさらに備えることを特徴としている。
請求項7に記載の発明は、請求項6に記載の画像検索方法において、検索工程において、入力行程で所定領域を正規化する際の定型領域との位置ズレを考慮して、所定領域と定型領域の部分集合との対応付けを行うことを特徴としている。
請求項8に記載の画像検索装置は、一枚又は複数枚のモデル画像から複数の領域を抽出して定型領域として正規化する正規化手段と、正規化された各定型領域内に特定領域を設定し、該特定領域の特徴に基づいて複数の定型領域をいくつかの部分集合に分類する分類手段と、各部分集合ごとに分類された各定型領域内の特定領域とは異なる位置に別の特定領域を設定し、該特定領域の特徴に基づいて複数の定型領域をさらにいくつかの部分集合に分類することを繰り返し行う再帰分類手段と、各分類時の定型領域内における特定領域の位置、及び、分類に際しての特定領域の特徴を出力する出力手段とを備えたことを特徴としている。
請求項9に記載の発明は、請求項8に記載の画像検索装置において、分類に際して利用される特定領域の特徴が、該特定領域に関する輝度情報であることを特徴としている。
請求項10に記載の発明は、請求項8又は9に記載の画像検索装置において、正規化手段によって定型領域を背景部と検索部とに分割し、分類手段による分類時又は再帰分類手段による再帰分類時における特定領域の位置が背景部であるときには、分類時に全ての部分集合に該特定領域を含ませることを特徴としている。
請求項11に記載の発明は、請求項8〜10の何れか一項に記載の画像検索装置において、正規化手段による正規化の際に、そのアフィン変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴としている。
請求項12に記載の発明は、請求項8〜10の何れか一項に記載の画像検索装置において、正規化手段による正規化の際に、その回転変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴としている。
請求項13に記載の発明は、請求項8〜12の何れか一項に記載の画像検索装置において、対象画像から抽出した領域を正規化した所定領域を検出対象として入力する入力手段と、出力手段における出力結果に基づいて、所定領域が末端のどの部分集合に属するかを検索することで、所定領域と定型領域の部分集合とを対応づける検索手段とをさらに備えることを特徴としている。
請求項14に記載の発明は、請求項13に記載の画像検索装置において、検索手段による検索時の際に、入力工程により所定領域を正規化する際の定型領域との位置ズレを考慮して、所定領域と定型領域の部分集合との対応付けを行うことを特徴としている。
本発明の画像検索方法又は画像検索装置によれば、定型領域内の特定領域に基づいてモデル画像を部分集合の繰り返しとして分類することで、ロバストかつ高速な検索が可能な画像データベースを構築することができる。そして、検索対象となる対象画像が与えられたときには、上述したデータベースを利用して、対象画像における定型領域内の特定領域を利用して、ロバストかつ高速な検索を行うことができる。
本発明の画像検索装置は、検索対象となる対象画像とこの対象画像と比較するためのデータベースとなるモデル画像とを入力する入力部、入力された画像に対してアフィン不変領域などを求める演算や検索のための比較対象を行うを行う演算部、構築したデータベースや検索結果を出力する出力部、演算に必要なプログラムや途中の演算内容・構築したデータベースなどを記憶しておく記憶部などを備えている。
入力部は、カメラであったり、スキャナであったり、データとして画像を入力する入出力ドライブであったりする。演算部は、CPUやGPU・ROM・RAMなどであったりする。出力部は、モニタディスプレイであったりプリンタであったり入出力ドライブであったりする。記憶部は、ハードディスクやRAMその他のストレージデバイスであったりする。
本実施形態における画像検索方法(データベース構築方法)についての概要を説明する。以下の説明では、画像として道路標識を扱う場合を例にして説明する。また、以下では、本発明をアフィン不変領域の対応算出手法として説明するが、適応の範囲はアフィン不変領域に限らない。ラスタスキャン等の他手法であっても、一定サイズに正規化された画像であれば、その対応関係算出に広く応用できるものである
まず、背景部分の影響を排除できる、アフィン不変領域の比較手法を考える。ここで、供試画像(検索対象画像)から抽出したアフィン不変領域(以降,供試アフィン不変領域)の背景部分は未知、検索データベースの元となるモデル画像から抽出した複数のアフィン不変領域(以降,モデルアフィン不変領域)の背景部分は既知である。
背景部分は各モデルアフィン不変領域に対して異なるため、全てのモデルアフィン不変領域に対して供試アフィン不変領域との類似度評価を統一的に扱うことができない。このため、供試アフィン不変領域と全てのモデルアフィン不変領域との類似度を一対一で評価する必要がある。これでは、計算量がモデル数に対し線形増加してしまうため、上述したように、多数のモデルを扱う実時間アプリケーションにとって致命的である。
そこで、本実施形態では、アフィン不変領域の各画素値を比較の指標として、供試アフィン不変領域に対応するモデルアフィン不変領域の絞込みのために最適な着目画素の選択と実際の絞込みとを交互に行い、その際に選択画素が背景部分であるモデルは絞込みの対象としないことでモデル数が多い場合も高速かつ背景の影響を排除したロバストな対応算出を実現する。図1及び図2に本発明の概念図を示す。
図1は、対象画像が与えられたときの比較の元となるデータベースの構築について示されている。ここでは、データベースの元となるモデルアフィン不変領域(モデル画像中から正規化されて抽出されたアフィン不変領域)は図中左上に示された三つである。実際のアフィン不変領域は必ずしも標識全体とはならないが、説明の便宜上、図中では段差を示す交通標識と信号を示す交通標識とX印の交通標識の全体をモデルアフィン不変領域としている。ここでは、予め標識以外の背景部分は背景として設定されている。まず、この各モデル画像(定型領域)に対して特定領域(表中の□で示された領域)を設定し、特定領域の輝度情報に基づいて、三つのモデル画像(定型領域)をいくつかの部分集合に分類する。
ただし、特定領域が背景であるモデル画像(定型領域)の場合は、分類された部分集合の全てに含ませることにする。この分類工程によって図中真ん中の列のように、二つの部分集合が構築される。そして、各部分集合内で、先ほどとは異なる位置に別の特定領域を設定し、特定領域の輝度情報に基づいて、各モデル画像(定型領域)を再帰的にさらにいくつかの部分集合に分類する。最終的に、この再帰分類工程によって図中右側の列のように、要素が一つの計四つの部分集合が構築される。
このように、ツリー状のデータベースが構築され、これに基づいて検索対象画像が入力された場合、その検索対象画像がモデル画像のいずれと一致するかが判定される。この様子を示した図が図2である。図2の最も左方の二つが、検索対象画像から抽出された供試アフィン不変領域(対象画像中から正規化されて抽出されたアフィン不変領域)の例示(二種類)である。検索対象画像には、交通標識の他に背景も含まれている。この各対象画像(定型領域)に対して、データベースに従って特定領域(表中の□で示された領域)を設定し、特定領域の輝度情報に基づいて、いずれの部分集合に属するかを順次判定(分岐判断)していく。
ただし、対象画像は上述したように背景を有しているため、特定領域が背景であるような場合は、その背景の輝度情報によっていずれの部分集合に属するかの判断(分岐判断)が決定されてしまう。しかし、データベースの構築時に、モデル画像中の特定領域が背景である場合は、下位の全ての部分集合にその定型領域を含ませることとしてるため、問題はない。
以下、フローチャートに基づいて説明する。図3は、全体の流れを示すフローチャートである。まず、ステップ300であるが、背景が占める領域が既知である複数のモデル画像から,アフィン変換(または回転変換)に関わらず形状を正規化できる性質を持つ領域を抽出し、一定サイズの矩形(または円形等)に正規化する(定型領域とする)。この処理は複数の公知手法で行うことができる。ここで抽出された正規化領域数をN、その集合をS={s,s,…,s}とする。特徴領域抽出と正規化を、複数の手法やパラメータを併用して行う場合は,ステップ305以降の処理はそれぞれの手法やパラメータで独立に行う。
次に、ステップ305では、∀A∈Sに対して画素位置xでの画素値νを考察する。Aに対応する供試アフィン不変領域は、何らかのノイズを含んでおりAと完全には一致しない。ロバストな対応探索のためには、ノイズの影響を考慮して画素位置xの画素値νを確率関数px,A(ν)としてモデル化する必要がある。ここでは、アフィン不変領域抽出の際の幾何的なずれと、光学的なずれの影響を考慮する。
アフィン不変領域抽出の際、画像量子化損失やその他の要因で正規化のためのアフィン変換行列に誤差が生じることが幾何的なずれの原因である。各画素に対する幾何的なずれ量は、二次元ガウシアン分布に従うと仮定すれば、その確率分布は共分散行列として表現することが可能であり、H行列が既知である複数枚の画像対を利用して実験的に算出することができる。上述した[非特許文献2]の各手法でアフィン不変領域を抽出した際の幾何的ずれの確率分布を、図4に模式的に示す。(a)は領域共分散行列による手法の場合、(b)はbi−tangentによる手法の場合、(c)はconcavityによる手法の場合である。楕円の向きと大きさが、ずれの向きと大きさを示している。
Aの画素位置xで画素値νが観測される確率px,A(ν)は、画素位置xでの幾何的なずれの確率分布をl、画素値がνであるA中の領域Ων,Aを用いて以下の式で表される。
図5(a),(b)に幾何学的なずれのモデリングを模式的に示す。図5(a),(b)は、確率px,A(ν)の分布を示しており、(a)は画素位置xに対して推定された幾何的なずれlを示しており、(b)は画素値νに対する確率px,A(ν)の範囲を示している。また、図5(c)は、(b)に対してさらに光学的なずれを考慮した場合を示している。
また、光学的なずれに関しては、撮影条件の相違からモデルアフィン不変領域と供試アフィン不変領域との間で光学的な特性が一致しないことが要因である。観測された画素値νに対し、実験の画素値は[ν−ε,ν+ε]に一様分布すると仮定すると、画素位置xで画素値νを観測する確率は図5(c)に示すように、px,A(ν)/2εとなる。
次に、ステップ310では、∀A∈Sに対し,木構造(部分集合化の繰り返し構造)の分岐中にAが存在する確率pを1に初期化する。次いで、ステップ315では、Sとpとを入力として、図6のサブルーチンを呼び出す。ステップ315の後、ステップ320では、選択着目画素の位置と分岐判断のための画素値の閾値を対応候補絞込戦略として出力する。
図6のサブルーチンのフローチャートについて説明する。学習対象のアフィン不変領域の集合SとA∈Sに対する存在確率pとを入力として学習を開始する。まず、ステップ600において、Sの要素数が閾値以下の場合は、これ以上分割する必要がないと判断してステップ605に進む。ステップ605では、これ以上部分集合に分割することが不可能であるため、入力されたアフィン不変領域の集合Sをそのまま木構造の末節とする。
一方、ステップ600が否定され、Sの要素数が閾値を超えている場合は、ステップ610において、Sを画素位置xに着目し,画素値の閾値θにより、二つの部分集合S,Sに分割することを考える。θを画素位置xの画素値分布のメディアンとすれば、SとSとの要素数が等しくなり、木構造の深さが最小になる。この戦略では、θは以下の式で与えられる(なお、ここでは、画素値は0〜255の256段階とされている)。
さらに画素位置xでサブグループ分割した場合の分割の良悪を分割度dを指標として表す。分割度dは下記式によって算出される。ここで、分割が完璧であった場合の分割度dは0,最悪の場合で0.5である。
よって、最良の分割を与える画素位置xbarは以下の式で与えられる。
ステップ615では、dxbarが閾値以上であれば、部分集合S,Sに分割が不可能であるとしてステップ605へ、そうでなければステップ620に進む。ステップ605では、これ以上部分集合S,Sに分割することが不可能であるため、入力されたアフィン不変領域の集合Sをそのまま木構造の末節とする。ステップ620では、全てのA∈Sに対して、以下のステップ625〜645を繰り返す。
ステップ625では、Aが各々の部分集合S,Sに分割される確率p,pを下記式より求める。ここで,明らかにp=p+pである.
ステップ630では、pが所定の閾値以上であるかどうかを判定し、閾値以上であれば、ステップ635によってAは部分集合Sに登録される(Aと対応するサブグループ存在確率pを部分集合Sに追加する)。ステップ630が否定される場合(又はステップ635の後)、ステップ640では、pが所定の閾値以上であるかどうかを判定し、閾値以上であれば、ステップ645によってAは部分集合Sに登録される(Aと対応するサブグループ存在確率pを部分集合Sに追加する)。ステップ620によって、全てのA∈Sについて部分集合S,Sへの分割が行われる。
その後、ステップ640が否定される場合(又はステップ645の後)、ステップ650では部分集合Sの要素数が0以外かどうかを判定する。部分集合Sの要素数が0以外である場合は、ステップ655にて、部分集合Sと確率pとを入力として再帰的に学習サブルーチンを呼び出す(下位の分岐を行う)。ステップ650が否定される場合(又はステップ655の後)、ステップ660では部分集合Sの要素数が0以外かどうかを判定する。部分集合Sの要素数が0以外である場合は、ステップ665にて、部分集合Sと確率pとを入力として再帰的に学習サブルーチンを呼び出す(下位の分岐を行う)。
次に、ステップ705において、実際に対応候補の絞り込み(検索対象画像と学習されて構築されたデータベースとの照合)を行う流れを、図7のフローチャートに基づいて説明する。ステップ700において、供試画像から複数のアフィン不変領域(定型領域)を抽出する。これには、学習時の図3のフローチャートにおけるステップ300と同等の手法で実現できる。次に、検索対象画像から抽出した各アフィン不変領域(定型領域)に対して学習した絞込戦略(データベース)を利用して対応候補を算出する。実際には、絞込戦略に従って着目画素の選択(特定領域の選択)、及び、画素値と閾値との比較を利用した分岐選択を木構造の末端まで繰り返す。これにより、モデル画像の定型領域と検索対象画像の定型領域とのマッチングが行われる。
本発明の画像検索方法及び装置における学習の概要を示す説明図である。 本発明の画像検索方法及び装置における検索の概要を示す説明図である。 本発明の画像検索方法及び装置における全体の流れを示すフローチャートである。 アフィン不変領域を抽出した際の幾何的ずれを模式的に示した説明図である。 アフィン不変領域を抽出した際の幾何学的なずれのモデリングを模式的に示した説明図である。 本発明の画像検索方法及び装置における学習サブルーチンを示すフローチャートである。 本発明の画像検索方法及び装置における検索を示すフローチャートである。 画像内の局所的な領域をアフィン変換や回転変換に対して不変な状態で抽出する状態を示す説明図である。 抽出した局所画像同士のマッチングを示す説明図である。

Claims (14)

  1. 一枚又は複数枚のモデル画像から複数の領域を抽出して定型領域として正規化する正規化工程と、
    正規化された各定型領域内に特定領域を設定し、該特定領域の特徴に基づいて複数の前記定型領域をいくつかの部分集合に分類する分類工程と、
    各部分集合ごとに分類された各定型領域内の前記特定領域とは異なる位置に別の特定領域を設定し、該特定領域の特徴に基づいて複数の前記定型領域をさらにいくつかの部分集合に分類することを繰り返し行う再帰分類工程と、
    各分類時の前記定型領域内における前記特定領域の位置、及び、分類に際しての前記特定領域の特徴を出力する出力工程とを備えたことを特徴とする画像検索方法。
  2. 分類に際して利用される前記特定領域の特徴が、該特定領域に関する輝度情報であることを特徴とする請求項1に記載の画像検索方法。
  3. 前記正規化工程において定型領域を背景部と検索部とに分割し、前記分類工程又は前記再帰分類工程における前記特定領域の位置が背景部であるときには、分類時に全ての部分集合に該特定領域を含ませることを特徴とする請求項1又は2に記載の画像検索方法。
  4. 前記正規化工程において、そのアフィン変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴とする請求項1〜3の何れか一項に記載の画像検索方法。
  5. 前記正規化工程において、その回転変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴とする請求項1〜3の何れか一項に記載の画像検索方法。
  6. 検索対象から抽出した領域を正規化した所定領域を検出対象として入力する入力工程と、
    前記出力工程における出力結果に基づいて、前記所定領域が末端のどの部分集合に属するかを検索することで、前記所定領域と前記定型領域の部分集合とを対応づける検索工程とをさらに備えることを特徴とする請求項1〜5の何れか一項に記載の画像検索方法。
  7. 前記検索工程において、前記入力行程で前記所定領域を正規化する際の前記定型領域との位置ズレを考慮して、前記所定領域と前記定型領域の部分集合との対応付けを行うことを特徴とする請求項6に記載の画像検索方法。
  8. 一枚又は複数枚のモデル画像から複数の領域を抽出して定型領域として正規化する正規化手段と、
    正規化された各定型領域内に特定領域を設定し、該特定領域の特徴に基づいて複数の前記定型領域をいくつかの部分集合に分類する分類手段と、
    各部分集合ごとに分類された各定型領域内の前記特定領域とは異なる位置に別の特定領域を設定し、該特定領域の特徴に基づいて複数の前記定型領域をさらにいくつかの部分集合に分類することを繰り返し行う再帰分類手段と、
    各分類時の前記定型領域内における前記特定領域の位置、及び、分類に際しての前記特定領域の特徴を出力する出力手段とを備えたことを特徴とする画像検索装置。
  9. 分類に際して利用される前記特定領域の特徴が、該特定領域に関する輝度情報であることを特徴とする請求項8に記載の画像検索装置。
  10. 前記正規化手段によって定型領域を背景部と検索部とに分割し、前記分類手段による分類時又は前記再帰分類手段による再帰分類時における前記特定領域の位置が背景部であるときには、分類時に全ての部分集合に該特定領域を含ませることを特徴とする請求項8又は9に記載の画像検索装置。
  11. 前記正規化手段による正規化の際に、そのアフィン変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴とする請求項8〜10の何れか一項に記載の画像検索装置。
  12. 前記正規化手段による正規化の際に、その回転変換に関わらず形状を正規化できる性質を持つ領域を定型領域として正規化することを特徴とする請求項8〜10の何れか一項に記載の画像検索装置。
  13. 対象画像から抽出した領域を正規化した所定領域を検出対象として入力する入力手段と、
    前記出力手段における出力結果に基づいて、前記所定領域が末端のどの部分集合に属するかを検索することで、前記所定領域と前記定型領域の部分集合とを対応づける検索手段とをさらに備えることを特徴とする請求項8〜12の何れか一項に記載の画像検索装置。
  14. 前記検索手段による検索時の際に、前記入力工程により前記所定領域を正規化する際の前記定型領域との位置ズレを考慮して、前記所定領域と前記定型領域の部分集合との対応付けを行うことを特徴とする請求項13に記載の画像検索装置。
JP2005251665A 2005-08-31 2005-08-31 画像検索方法及び装置 Active JP4721829B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005251665A JP4721829B2 (ja) 2005-08-31 2005-08-31 画像検索方法及び装置
EP06797568A EP1930852B1 (en) 2005-08-31 2006-08-31 Image search method and device
PCT/JP2006/317692 WO2007026951A1 (ja) 2005-08-31 2006-08-31 画像検索方法及び装置
US12/065,437 US8306332B2 (en) 2005-08-31 2006-08-31 Image search method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005251665A JP4721829B2 (ja) 2005-08-31 2005-08-31 画像検索方法及び装置

Publications (2)

Publication Number Publication Date
JP2007066019A true JP2007066019A (ja) 2007-03-15
JP4721829B2 JP4721829B2 (ja) 2011-07-13

Family

ID=37809028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005251665A Active JP4721829B2 (ja) 2005-08-31 2005-08-31 画像検索方法及び装置

Country Status (4)

Country Link
US (1) US8306332B2 (ja)
EP (1) EP1930852B1 (ja)
JP (1) JP4721829B2 (ja)
WO (1) WO2007026951A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8200025B2 (en) 2007-12-07 2012-06-12 University Of Ottawa Image classification and search
JP5629582B2 (ja) 2007-12-13 2014-11-19 コーニンクレッカ フィリップス エヌ ヴェ 医療画像データの組からデータを検索する方法、システム及びコンピュータ・プログラム
US8837839B1 (en) * 2010-11-03 2014-09-16 Hrl Laboratories, Llc Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images
CN105447846B (zh) * 2014-08-25 2020-06-23 联想(北京)有限公司 一种图像处理方法及电子设备
US11606373B2 (en) * 2018-02-20 2023-03-14 Darktrace Holdings Limited Cyber threat defense system protecting email networks with machine learning models

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312248A (ja) * 1998-04-30 1999-11-09 Canon Inc 画像検索装置及び方法
JP2000207420A (ja) * 1998-11-12 2000-07-28 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索システム,類似画像検索方法および類似画像検索プログラムを記録した記録媒体
JP2004062804A (ja) * 2002-07-31 2004-02-26 Ricoh Co Ltd 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644651A (en) * 1995-03-31 1997-07-01 Nec Research Institute, Inc. Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation
US7149357B2 (en) * 2002-11-22 2006-12-12 Lee Shih-Jong J Fast invariant pattern search
US7756341B2 (en) * 2005-06-30 2010-07-13 Xerox Corporation Generic visual categorization method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312248A (ja) * 1998-04-30 1999-11-09 Canon Inc 画像検索装置及び方法
JP2000207420A (ja) * 1998-11-12 2000-07-28 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索システム,類似画像検索方法および類似画像検索プログラムを記録した記録媒体
JP2004062804A (ja) * 2002-07-31 2004-02-26 Ricoh Co Ltd 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
EP1930852A1 (en) 2008-06-11
WO2007026951A1 (ja) 2007-03-08
EP1930852B1 (en) 2012-07-25
JP4721829B2 (ja) 2011-07-13
US8306332B2 (en) 2012-11-06
US20090279792A1 (en) 2009-11-12
EP1930852A4 (en) 2011-01-19

Similar Documents

Publication Publication Date Title
Rocco et al. Neighbourhood consensus networks
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
TWI651662B (zh) 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
Salti et al. A performance evaluation of 3d keypoint detectors
Wong et al. Dynamic and hierarchical multi-structure geometric model fitting
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
Kato et al. Image reconstruction from bag-of-visual-words
US8406535B2 (en) Invariant visual scene and object recognition
JP4721830B2 (ja) 画像検索方法及び装置
US20110158535A1 (en) Image processing apparatus and image processing method
JP4721829B2 (ja) 画像検索方法及び装置
Shabanzade et al. Combination of local descriptors and global features for leaf recognition
JP2014232533A (ja) Ocr出力検証システム及び方法
CN104850822B (zh) 基于多特征融合的简单背景下的叶片识别方法
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
Zhu et al. Deep residual text detection network for scene text
JP2010044438A (ja) 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
JP4300098B2 (ja) オブジェクト識別方法とその装置、プログラム及び記録媒体
JP2006260311A (ja) マッチング方法およびマッチング装置ならびにプログラム
JP2019021100A (ja) 画像探索装置、商品認識装置および画像探索プログラム
KR20130080743A (ko) 특징점 집합 비교를 이용한 객체 영역 검색 방법
Nayef et al. Efficient symbol retrieval by building a symbol index from a collection of line drawings
Qi et al. Coarse-to-Fine Visual Place Recognition
JP4594765B2 (ja) 文字認識装置、文字認識方法、及び文字認識プログラムの記録媒体
Wang et al. An Automatic Generative Adversarial Network Augmentation Method for Weeds Detection from Grassland in YOLOv5

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250