JP2015203977A - 画像検索装置及びその制御方法 - Google Patents
画像検索装置及びその制御方法 Download PDFInfo
- Publication number
- JP2015203977A JP2015203977A JP2014083095A JP2014083095A JP2015203977A JP 2015203977 A JP2015203977 A JP 2015203977A JP 2014083095 A JP2014083095 A JP 2014083095A JP 2014083095 A JP2014083095 A JP 2014083095A JP 2015203977 A JP2015203977 A JP 2015203977A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- management
- local feature
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
局所特徴量を用いた部分画像検索が可能な画像検索装置であって、
画像と、当該画像の局所特徴量とを対応付けて管理する第1の管理手段と、
該第1の管理手段による管理対象の画像の一部の領域に類似する画像を管理するため、前記第1の管理手段で管理されている画像を特定する情報であって、前記第1の管理手段が管理する局所特徴量より小さい容量の情報と前記類似する画像を特定する画像とを対応付けて管理する第2の管理手段と、
登録対象画像が入力された場合、前記登録対象画像に部分的に一致する画像を検索する第1の検索手段と、
該第1の検索手段により検索して得られた画像が、前記登録対象画像を包含する関係にあるとき、当該登録対象画像を前記第1の管理手段による管理対象外とし、前記第2の管理手段で管理する第1の登録手段とを有する。
本実施形態のサーバ装置やクライアント装置を構成するコンピュータ装置の構成について、図1のブロック図を参照して説明する。サーバ装置やクライアント装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などで接続されている。コンピュータ装置は、パーソナルコンピュータ(PC)やワークステーション(WS)等の情報処理装置によって実現することができる。
本実施形態では、画像検索装置に適用した例を説明する。本実施形態の画像検索装置は、既に登録された画像に包含される画像を登録するとき、その登録対象画像は画像インデックスに追加せず、既に登録された画像からのリンク情報を生成・保持するものである。
次に、コンテンツ登録処理についてフローチャート図4を用いて説明する。本処理はコンテンツ登録部201によって実行される。本処理の実行時には、検索インターフェイス部206から登録対象画像が与えられる。そして、既存の基準コンテンツの有無あるいは包含関係に基づいて、リンク情報管理部202あるいは画像インデックス管理部203への登録が制御される。具体的な制御内容について図4を用いて説明する。
次に、コンテンツ検索処理についてフローチャート図5(a)を用いて説明する。本処理はコンテンツ検索部205によって実行される。本処理の実行時には、検索インターフェイス部206からクエリ画像が与えられる。そして、クエリ画像をもとに基準コンテンツを検索し、基準コンテンツに紐づくリンク画像を取得する。さらに、得られた画像に対して類似度を求めて、検索結果を作成する。検索結果は、検索インターフェイス部206からモニタ110などに出力される。
画像から局所特徴量を抽出する方法の一例について、図6(a)を用いて説明する。
局所特徴量同士のマッチングを行いやすくするために、上記の局所特徴量を量子化する。
Qn=(Vn*Kn)/(Vn_max−Vn_min+1) …(8)
ここで、Qnは、N次元のうちのn番目の次元の特徴量Vnを量子化した値である。Vn_maxとVn_minはそれぞれn番目の次元の特徴量の取りうる値の最大値、および、最小値である。
IDX=Q1+Q2*K1+Q3*K1*K2+…+Qn*K1*K2*…*Kn-1 …(9)
また、全次元の階調数が共通の場合は、以下の式(10)により、量子化値群のラベル化が可能である。ここで、Kは階調数である。
次に、上記画像インデックスを用いて、クエリ画像に類似する画像を検索する部分類似画像検索の処理について述べる。部分類似画像検索では、クエリ画像から局所特徴量を抽出・量子化して、画像インデックスの基準コンテンツIDを検索する。そして、基準コンテンツIDが出現した回数を数え上げていく。これは、クエリの局所特徴量を含む基準コンテンツIDへと投票していく様に似ているため、投票方式と呼ばれる。以下、本実施形態の部分画像検索処理の詳細について図8を用いて説明する。
局所特徴点/局所特徴量の比較に基づく画像の照合方法にはいろいろあるが、ここではRANSAC(非特許文献3)を利用した方法を説明する。RANSACでは比較元画像と比較先画像の局所特徴量同士を対応づけて、比較元画像の座標値を比較先画像の対応する座標値へと変換するアフェイン変換行列を得る。
従来は、登録対象画像は全て画像インデックスへ登録されていた。しかるに、本第1の実施形態では、登録対象画像が、既に登録された画像に包含される関係にあるとき、既存の基準コンテンツから登録対象画像へのリンク情報を生成する。そして、画像インデックスへの登録を回避していた。あるいは、差分の局所特徴量のみを登録することで、画像インデックスへの登録を減らしていた。これによって、本実施形態では画像インデックスの肥大化を低減することができる。そのため、画像インデックスのサイズをこれまでよりも十分に小さくすることができるため、ディスク容量あるいはメモリ容量などの使用率を減らすことができる。
上記第1の実施形態では、登録対象画像が基準コンテンツを包含する場合、その登録対処画像を画像インデックスへと登録され、既存の基準コンテンツとのリンク情報が生成されなかった。本第2の実施形態では、登録対象画像が、既存の基準コンテンツを包含すると判断した場合に、その登録対象画像を新たな基準コンテンツとし、直前まで基準コンテンツとなっていた画像を、新たな基準コンテンツからのリンクへと修正する画像検索装置について述べる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
Claims (15)
- 局所特徴量を用いた部分画像検索が可能な画像検索装置であって、
画像と、当該画像の局所特徴量とを対応付けて管理する第1の管理手段と、
該第1の管理手段による管理対象の画像の一部の領域に類似する画像を管理するため、前記第1の管理手段で管理されている画像を特定する情報であって、前記第1の管理手段が管理する局所特徴量より小さい容量の情報と前記類似する画像を特定する画像とを対応付けて管理する第2の管理手段と、
登録対象画像が入力された場合、前記登録対象画像に部分的に一致する画像を検索する第1の検索手段と、
該第1の検索手段により検索して得られた画像が、前記登録対象画像を包含する関係にあるとき、当該登録対象画像を前記第1の管理手段による管理対象外とし、前記第2の管理手段で管理する第1の登録手段と
を有することを特徴とする画像検索装置。 - 前記第1の検索手段による検索で該当する画像が見つからなかった場合、前記登録対象画像と当該登録対象画像から抽出した局所特徴量を前記第1の管理手段に登録する第2の登録手段を更に有することを特徴とする請求項1に記載の画像検索装置。
- 前記登録対象画像が、前記第1の検索手段により得た画像を包含する場合、前記登録対象画像と当該登録対象画像から抽出した局所特徴量を前記第1の管理手段に登録する第3の登録手段を更に有することを特徴とする請求項1又は2に記載の画像検索装置。
- 前記第3の登録手段は、前記登録対象画像に包含関係にあった画像を、前記第1の管理手段による管理対象外とし、前記第2の管理手段にて管理することを特徴とする請求項3に記載の画像検索装置。
- 前記第1の登録手段あるいは前記第3の登録手段は、前記第1の管理手段で管理されている画像と前記登録対象画像の差分の局所特徴量を前記第2の管理手段に管理するように登録することを特徴とする請求項4に記載の画像検索装置。
- 前記第1の検索手段によりクエリ画像に部分一致する画像を得た場合、検索して得られた画像に類似する画像を前記第2の管理手段で管理されている画像の中から検索する第2の検索手段とを更に有することを特徴とする請求項1乃至5のいずれか1項に記載の画像検索装置。
- 前記第2の管理手段は、前記第1の管理手段で管理されている画像の中のいずれの部分領域に一致するかを示す情報を管理することを特徴とする請求項1乃至6のいずれか1項に記載の画像検索装置。
- 前記第2の管理手段は、前記第1の管理手段で管理されている画像に対して類似する画像ごとの局所特徴量の個数を示す情報を管理することを特徴とする請求項7に記載の画像検索装置。
- 前記第2は検索手段は、前記第2の管理手段で管理された情報に基づき、類似度を導き出すことを特徴とする請求項6乃至8のいずれか1項に記載の画像検索装置。
- 前記第2の検索手段は、前記第2の管理手段で管理されている画像と、クエリ画像との一致する面積に応じた類似度を導き出すことを特徴とする請求項9に記載の画像検索装置
- 前記第2の検索手段は、前記第2の管理手段で管理されている画像と、クエリ画像との一致する領域に含まれる局所特徴量の個数に応じた類似度を導き出すことを特徴とする請求項8に記載の画像検索装置。
- 前記第2の検索手段は、検索結果を類似度の高い方から順に表示する検索インターフェイス手段を含むことを特徴とする請求項6に記載の画像検索装置。
- 局所特徴量を用いた部分画像検索が可能な画像検索装置の制御方法であって、
第1の管理手段が、画像と、当該画像の局所特徴量とを対応付けて管理する第1の管理工程と、
第2の管理手段が、該第1の管理工程による管理対象の画像の一部の領域に類似する画像を管理するため、前記第1の管理工程で管理されている画像を特定する情報であって、前記第1の管理手段が管理する局所特徴量より小さい容量の情報と前記類似する画像を特定する画像とを対応付けて管理する第2の管理工程と、
登録対象画像が入力された場合、第1の検索手段が、前記登録対象画像に部分的に一致する画像を検索する第1の検索工程と、
該第1の検索工程により検索して得られた画像が、前記登録対象画像を包含する関係にあるとき、第1の登録手段が、当該登録対象画像を前記第1の管理工程による管理対象外とし、前記第2の管理工程で管理する第1の登録工程と
を有することを特徴とする画像検索装置の制御方法。 - コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項13の方法の各工程を実行させるためのプログラム。
- 請求項14に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014083095A JP6327918B2 (ja) | 2014-04-14 | 2014-04-14 | 画像検索装置及びその制御方法 |
US14/680,118 US9594981B2 (en) | 2014-04-14 | 2015-04-07 | Image search apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014083095A JP6327918B2 (ja) | 2014-04-14 | 2014-04-14 | 画像検索装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015203977A true JP2015203977A (ja) | 2015-11-16 |
JP2015203977A5 JP2015203977A5 (ja) | 2017-05-18 |
JP6327918B2 JP6327918B2 (ja) | 2018-05-23 |
Family
ID=54597407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014083095A Active JP6327918B2 (ja) | 2014-04-14 | 2014-04-14 | 画像検索装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6327918B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6121030B1 (ja) * | 2016-05-17 | 2017-04-26 | 株式会社ドワンゴ | 画像検索装置、画像検索方法、画像検索プログラム、索引データ生成装置、索引データ生成方法および索引データ生成プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070065045A1 (en) * | 2005-09-16 | 2007-03-22 | Masajiro Iwasaki | Information management apparatus, information management method, and computer program product |
JP2008287438A (ja) * | 2007-05-16 | 2008-11-27 | Canon Inc | 画像処理装置及び画像検索方法 |
JP2010244462A (ja) * | 2009-04-09 | 2010-10-28 | Fujifilm Corp | 人物追跡装置、人物追跡方法及びプログラム |
JP2010250569A (ja) * | 2009-04-16 | 2010-11-04 | Yahoo Japan Corp | 画像検索装置 |
JP2010250529A (ja) * | 2009-04-15 | 2010-11-04 | Yahoo Japan Corp | 画像検索装置、画像検索方法及びプログラム |
JP2012063890A (ja) * | 2010-09-14 | 2012-03-29 | Toshiba Corp | アノテーション装置 |
-
2014
- 2014-04-14 JP JP2014083095A patent/JP6327918B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070065045A1 (en) * | 2005-09-16 | 2007-03-22 | Masajiro Iwasaki | Information management apparatus, information management method, and computer program product |
JP2007080210A (ja) * | 2005-09-16 | 2007-03-29 | Ricoh Co Ltd | 情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体 |
JP2008287438A (ja) * | 2007-05-16 | 2008-11-27 | Canon Inc | 画像処理装置及び画像検索方法 |
JP2010244462A (ja) * | 2009-04-09 | 2010-10-28 | Fujifilm Corp | 人物追跡装置、人物追跡方法及びプログラム |
JP2010250529A (ja) * | 2009-04-15 | 2010-11-04 | Yahoo Japan Corp | 画像検索装置、画像検索方法及びプログラム |
JP2010250569A (ja) * | 2009-04-16 | 2010-11-04 | Yahoo Japan Corp | 画像検索装置 |
JP2012063890A (ja) * | 2010-09-14 | 2012-03-29 | Toshiba Corp | アノテーション装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6121030B1 (ja) * | 2016-05-17 | 2017-04-26 | 株式会社ドワンゴ | 画像検索装置、画像検索方法、画像検索プログラム、索引データ生成装置、索引データ生成方法および索引データ生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6327918B2 (ja) | 2018-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9594981B2 (en) | Image search apparatus and control method thereof | |
JP5139716B2 (ja) | 画像検索装置及び画像検索方法 | |
US8219591B2 (en) | Graph query adaptation | |
JP6431302B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8391609B2 (en) | Method of massive parallel pattern matching against a progressively-exhaustive knowledge base of patterns | |
US10366154B2 (en) | Information processing device, information processing method, and computer program product | |
JP2015103088A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2007164648A (ja) | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 | |
JP2017134822A (ja) | 箇条書きリスト | |
US9934431B2 (en) | Producing a flowchart object from an image | |
JPWO2020240809A1 (ja) | 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム | |
CN116702723A (zh) | 一种合同段落标注模型的训练方法、装置及设备 | |
JP5094682B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20200327356A1 (en) | Generation of digital document from analog document | |
JP2017138744A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6327918B2 (ja) | 画像検索装置及びその制御方法 | |
JP5147640B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2016045600A (ja) | 画像処理装置および画像処理方法 | |
US20160283444A1 (en) | Human input to relate separate scanned objects | |
JP6143462B2 (ja) | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム | |
US11182635B2 (en) | Terminal apparatus, character recognition system, and character recognition method | |
JP6336827B2 (ja) | 画像検索装置、画像検索方法および検索システム | |
JP6355400B2 (ja) | 画像処理装置、画像検索装置、画像処理装置の制御方法 | |
JP2015064652A (ja) | 管理システム、画像形成装置及び端末装置 | |
JP2008257537A (ja) | 情報登録装置、情報検索装置、情報検索システム、情報登録プログラム、および情報検索プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170331 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180417 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6327918 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |