JP2012133484A

JP2012133484A - 画像検索装置、および画像検索プログラム

Info

Publication number: JP2012133484A
Application number: JP2010283541A
Authority: JP
Inventors: Mitsuhiro Wagatsuma; 光洋我妻; Hiromu Miyashita; 広夢宮下; Akira Kojima; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-12-20
Filing date: 2010-12-20
Publication date: 2012-07-12
Anticipated expiration: 2030-12-20
Also published as: JP5417312B2

Abstract

【課題】ぼかし画像の算出を高速化し、特徴点および特徴量の検出に要する演算時間および演算量を低減する。
【解決手段】画像検索装置であって、画像ファイルおよび検索画像を入力する画像入力手段１０１と、画像ファイルおよび前記検索画像を記憶する記憶手段１０２と、画像ファイルおよび検索画像の特徴点および特徴量をそれぞれ抽出する特徴量抽出手段１０３と、検索画像の特徴量に一致または類似する画像ファイルの特徴量を検索する検索手段１０５と、検索画像の特徴量に一致または類似する前記画像ファイルの特徴量に対応する特徴点に所定の印を設定して表示する表示手段１０６とを有し、特徴量抽出手段１０３は、ぼかしフィルタを間引きして演算してぼかし画像を生成する。
【選択図】図１

Description

本発明は、画像の中から所定の検索画像を検索する画像検索装置、および画像検索プログラムに関する。

大量の画像の中から、目的のロゴマークが写った写真を検索したり、映像の中から特定の物体が映っているシーンを探し出したりする手法として数多くの技術が確立されている。

例えば、非特許文献１には、回転・拡大に普遍な特徴量として、SIFTと呼ばれるものが記載されている。この特徴量（SIFT）は、画像を回転、拡大、縮小した場合であっても同じ場所に検出されるため、検索したい検索画像が、検索対象の画像の中で回転していたり、小さく写っていたりする場合でも検索することができる。

Lowe, D. G., "Object recognition from local scale-invariant features", Proc. of IEEE Intl. Conf. on Computer Vision (ICCV), pp.1150-1157 (1999)

しかしながら、非特許文献１の手法では、特徴点および特徴量の検出に時間がかかるという問題がある。すなわち、ぼかし画像の算出に時間がかかってしまう。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、ぼかし画像の算出を高速化し、特徴点および特徴量の検出に要する演算時間および演算量を低減する画像検索装置、および画像検索プログラムを提供することにある。

上記目的を達成するため、本発明は、画像検索装置であって、画像ファイルおよび検索画像を入力する画像入力手段と、前記画像ファイルおよび前記検索画像を記憶する記憶手段と、前記画像ファイルおよび前記検索画像の特徴点および当該特徴点に対応する特徴量を、それぞれ抽出する特徴量抽出手段と、前記検索画像の特徴量に一致または類似する前記画像ファイルの特徴量を検索する検索手段と、前記検索画像の特徴量に一致または類似する前記画像ファイルの特徴量に対応する特徴点に所定の印を設定して表示する表示手段と、を有し、前記特徴量抽出手段は、ぼかしフィルタを間引きして演算し、前記特徴点を抽出するためのぼかし画像を生成する。

また、本発明は、前記画像検索装置としてコンピュータを機能させるための画像検索プログラムである。

本発明によれば、ぼかし画像の算出を高速化し、特徴点および特徴量の検出に要する演算時間および演算量を低減する画像検索装置、および画像検索プログラムを提供することができる。

本発明の実施形態に係る画像検索装置の構成図である。本実施形態の動作を示すフローチャートである。画像特徴量の抽出処理を示すフローチャートである。差分画像から検出した各凸点を示す例である。ぼかし画像から検出した各凸点を示す例である。図４に示す凸点の中で、図５に示す凸点と重なる特徴点を示したものである。図６の特徴点の特徴量を示したものである。検索結果の表示例である。検索結果の他の表示例である。

画像の特徴点および特徴量を検出する際に、最も時間を要するのがぼかし画像の算出である。ぼかし画像は、ガウシアンフィルタを用いて表現できる。一次元の関数ｆ(x)のガウシアンフィルタは、

であり、離散化すると

となる。この式２を演算する場合、演算量が大きく、演算時間が大きくかかってしまう。

これに対し、下記の式３を演算することにより得られるぼかし画像は、σ＝μとした場合のｇ[i]の近似になっている。σは、ぼかしの大きさを示すものである。

さらに、下記の式４を演算することにより得られるぼかし画像は、σ＝ｎμとした場合のｇ[i]の近似になっている。

このように、一次元のガウシアンフィルタについては、上記近似式（式３、４）により近似計算をすることによって、演算量を減らすことができる。

一方、二次元の画像に対してガウシアンフィルタをかける場合には、二次元のガウシアンフィルタになるため、縦方向と横方向に順次上記近似式（式３、４）のガウシアンフィルタをかけることになる。そうすると、近似の誤差の生じ方が縦横方向と斜め方向とで大きくずれてしまい、特徴点の検出には使えなくなってしまう。

そこで、本実施形態では、ガウシアンフィルタの演算を、一個（１画素）おきに間引きして演算し、さらに近似計算を行うことで演算量の軽減を図ることとする。

まず、下記式５のとおり、式２の離散化したガウシアンフィルタを一個置きに間引きするとともに、σから0.25を引いておく。これにより、演算量を半分に抑える。

次に、近似計算を行う。一個置きに間引きしたガウシアンフィルタでは、(i-1)と(i+1)の情報がなくなってしまうため、下記近似式（式６）を演算することにより、i の前後の情報を取り入れる。

これは、ガウシアンフィルタの近似になっており、二次元の画像でこの手法を用いて演算しても斜め方向に格別に大きな誤差は生じない。

ここでμ=1/4となっているが、これは一個置きに間引きしたガウシアンフィルタの式５において、σから引いた0.25と等しい。(σ-0.25)のぼかしを0.25の近似のぼかしで補強するため、結果的にσだけぼかすことの近似となる。なお、μの値は、1/4に限定されるものではないが、1/4であればコンピュータでビットシフトを行うだけで演算できるため、より高速な演算を実現することができる。

本実施形態では、このような方法でぼかし画像の算出を行うことで、演算量および演算時間を大幅に減らすことができる。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る画像検索装置の構成を示すブロック図である。本実施形態の画像検索装置は、画像/映像入力部１０１と、画像/映像記憶部１０２と、特徴量抽出部１０３と、特徴量記憶部１０４と、検索部１０５と、表示部１０６とを有する。

画像/映像入力部１０１は、画像ファイルまたは映像ファイルと、検索画像とを入力する。画像/映像記憶部１０２には、画像/映像入力部１０１から入力された画像ファイルまたは映像ファイルと、検索画像とが記憶される。特徴量抽出部１０３は、画像ファイルまたは映像ファイルの特徴点および当該特徴点に対応する特徴量を抽出するとともに、検索画像の特徴点および当該特徴点に対応する特徴量を抽出する。また、特徴量抽出部１０３は、ぼかしフィルタを間引きして演算し、特徴点を抽出するためのぼかし画像を生成し、ぼかし画像の凸点と、ぼかし画像の差分画像の凸点とが重なる点を特徴点として検出する。

特徴量記憶部１０４には、特徴量抽出部１０３が検出した特徴点および特徴量に関する情報が記憶される。検索部１０５は、検索画像の特徴量に一致または類似する画像ファイルまたは映像ファイルの特徴量を検索する。表示部１０６は、検索画像の特徴量に一致または類似する画像ファイルまたは映像ファイルの特徴量に対応する特徴点に所定の印を設定して表示する。

画像検索装置は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた画像検索装置用のプログラムを実行することにより、画像検索装置の各機能が実現される。また、画像検索装置用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

次に、本実施形態の動作について説明する。

図２は、画像検索装置の動作を示すフローチャートである。

Ｓ２０１では、画像/映像入力部１０１から画像ファイルまたは映像ファイルが入力され、画像/映像記憶装置１０２に記憶される。画像ファイルには、少なくとも１つの画像が格納されている。映像ファイルは、複数の画像フレームから構成されるファイルである。

Ｓ２０２では、特徴量抽出部１０３が、画像/映像記憶部１０２に記憶された画像ファイルまたは映像ファイルに含まれる画像の特徴点および特徴量を抽出し、特徴量記憶部１０４に記憶する。なお、Ｓ２０２の処理については後述する。

Ｓ２０３では、Ｓ２０１で入力された画像ファイルまたは映像ファイルの中から検索したい所定の検索画像が画像/映像入力部１０１から入力され、画像/映像記憶部１０２に記憶される。

Ｓ２０４では、特徴量抽出部１０３が、画像/映像記憶部１０２に記憶された検索画像の特徴点および特徴量を抽出し、特徴量記憶部１０４に記憶する。なお、Ｓ２０２の処理については後述する。また、Ｓ２０３およびＳ２０４の処理は、Ｓ２０１よりも前に行うこととしてもよい。

Ｓ２０５では、検索部１０５が、Ｓ２０４で抽出した検索画像の特徴量と、Ｓ２０２で抽出された画像ファイルまたは映像ファイルの各特徴量とを比較し、検索画像の特徴量と一致または類似する特徴量を画像ファイルまたは映像ファイルから検出する。

Ｓ２０６では、Ｓ２０５において特徴量が一致または類似する特徴量が画像ファイルまたは映像ファイルに存在する場合、表示部１０６が当該特徴量に対応する特徴点に所定の印を設定して表示する。具体的な表示については後述する。

次に、Ｓ２０２およびＳ２０４の画像特徴量の抽出処理について説明する。

図３は、特徴量抽出部１０３が行う、画像特徴量の抽出処理を示すフローチャートである。ここでは、Ｓ２０４における検索画像の画像特徴量の抽出処理を例として以下に説明する。

Ｓ３０１では、ぼかしの大きさを変えて、Ｓ３０２からＳ３０５の処理を繰り返し行う。「ぼかしの大きさ」は、以下ではσの値の大きさで表すものとする。

具体的には、「ぼかしの大きさ」を例えばσ=1.6などで初期化し、繰り返し処理の度に、前回のσの値に所定の数値を乗算する。また、繰り返し処理の所定のタイミングで、前回の処理で算出したぼかし画像を縮小し、ぼかし画像の画素数を減らしてもよい。所定の回数の繰り返し処理を行うか、あるいは、画像のサイズが所定のサイズより小さくなった場合に繰り返し処理を終了する。

例えば、１回目の繰り返し処理では、σ=1.6としてぼかし画像を生成し、2回目、3回目、4回目では、それぞれ前回のσを所定値倍（例えば、^３√2倍）したσでぼかし画像を生成する。そして、5回目の繰り返し処理を行う前に、画像の縦横を半分の大きさに縮小する。5回目の処理は、前回のσを2倍した2σからぼかし画像を生成し、その後はまたそれぞれ前回のσを所定値倍（例えば、^３√2倍）してぼかし画像を生成する。その後も、4回の処理を行う毎に、画像の縦横を半分に縮小し、全体で12回の繰り返し処理を行う。あるいた、画像のサイズが縦横のどちらか一方が50画素（ピクセル）以下になった場合に、繰り返し処理を終了する。

Ｓ３０２では、対象となる対象画像（ここでは、図２：Ｓ２０３で入力された検索画像）に対して、ガウシアンフィルタを用いたぼかし画像を算出（生成）する。

非特許文献１では、例えば式７のような定義式があらかじめ記憶され、帰納的にσ_ｎが定義されている。

そして、対象画像をグレースケール化し、M×N画素の画像に対して、保持されている画素値を L[i][j] とし、式８により、まずi方向にぼかしをかける。

次に、式９により、j方向にぼかしをかけて、ぼかし画像を生成する。

また、繰り返し処理の中では直前に処理をした画像に対して、式１０によりぼかしをかけ、ぼかし画像を生成することもできる。

しかしながら、非特許文献１で用いられている式８、式９、式１０では、前述のとおり演算量が大きく、演算時間も長くなってしまう。

そこで、本実施形態では、以下のようにガウシアンフィルタの演算を、一個（１画素）おきに間引きして演算し、さらに近似計算を行うことで演算量の軽減を図る。

具体的には、例えば式１１のような定義式があらかじめ特徴量記憶部１０４に記憶され、帰納的にσ_ｎが定義されているものとする。

そして、対象画像をグレースケール化し、M×N画素の画像に対して、保持されている画素値を L[i][j] とし、式１２により１個おきに間引きして演算してぼかしをかけ、さらに近似計算を行うことでぼかし画像を生成する。具体的には、ｘ方向で１個おきに間引きして演算し、ｘ方向で近似計算を行い、ｙ方向で間引きして演算し、ｙ方向で近似計算を行う。これにより、本実施形態では、計算回数を大幅に減らすことができる。

また、ガウシアンフィルタの演算を、２個（２画素）おきに間引きして演算し、さらに近似計算を行うことで、さらに演算量の軽減することとしもよい。

具体的には、特徴量記憶部１０４に、例えば

のような定義式が記憶され、帰納的にσ_ｎが定義され、

により、２個おきに間引きして演算してぼかしをかけ、さらに近似計算を行うことでぼかし画像を生成することとしてもよい。すなわち、ｘ方向で２個おきに間引きして演算し、ｘ方向で２回の近似計算を行い、ｙ方向で間引きして演算し、ｙ方向で２回の近似計算を行う。

また、間引きの間隔は、１個おき、２個おきに限定されず、３個以上についても同様に間引きして演算し、近似計算を行うこととしてもよい。

また、繰り返し処理の中で、１回目の繰り返し処理では間引き演算を行わず式８、式９によりぼかし画像を算出し（mod 1）、２回目および３回目では式１２により１個おきに間引きして演算し（mod 2）、４回目以降は式１４により２個おきに間引きして演算する（mod 3）、などの高速化を行うこととしてもよい。

また、実際の計算では、式１５の範囲の画素値のみで、上記ぼかしの計算を行うこととしてもよい。

このように、Ｓ３０２ではぼかし画像を生成する。

Ｓ３０３では、Ｓ３０２で生成したぼかし画像の差分画像を生成する。具体的には、Ｓ３０２で生成されぼかし画像Gn[i][j]について、下記の式１６により差分画像Dn[i][j]を生成・算出する。すなわち、Ｓ３０２で生成したぼかし画像から、前回の繰り返し処理のＳ３０２で生成したぼかし画像を減算した差分画像を生成する。

Ｓ３０４では、差分画像Dnおよびぼかし画像Gnのそれぞれについて、凸点を検出する。そして、差分画像Dnから検出した凸点の中で、ぼかし画像Gnから検出した凸点または前回の繰り返し処理のぼかし画像Gn-1から検出した凸点と重なる点（一致する点、または近傍にある点）を特徴点として抽出する。

まず、差分画像Dnの中から近傍の中での凸点を検出し、検出した各凸点の画像上の各位置（i,j）を特徴量記憶部１０４に記憶する。近傍の中での凸点は、自分を中心として、左右・前後・ななめ・上下(n+1, n, n-1)の26近傍と比較したときに最も大きい、もしくは最も小さいものである。すなわち、凸点は、周りの画素と比べて値が最大または最少の点である。具体的には、下記の式１７の条件を満たす位置（i,j）を凸点として検出する。また、繰り返し処理の繰り返し回数nについても、凸点の位置とともに特徴量記憶部１０４に記憶する。

図４は、Ｓ２０３で入力した検索画像が「例」の文字の場合における、差分画像Dnから検出した各凸点をそれぞれ示したものである。図示する例では、特徴量記憶部１０４に記憶された各位置（i,j）を中心として円で囲って示している。

また、ぼかし画像Gnについても同様に凸点を検出し、検出した凸点の位置（i,j）を特徴量記憶部１０４に記憶する。具体的には、下記の式１８の条件を満たす位置（i,j）を凸点として検出する。

図５は、Ｓ２０３で入力した検索画像が「例」の文字の場合における、ぼかし画像Gnから検出した凸点をそれぞれ示したものである。図示する例では、特徴量記憶部１０４に記憶した各位置（i,j）を中心として円で囲って示している。

そして、差分画像Dnから検出した凸点の中で、ぼかし画像Gnから検出した凸点、または前回のぼかし画像Gn-1から検出した凸点と重なる凸点を特徴点として抽出し、抽出した凸点（特徴点）の位置を特徴量記憶部１０４に記憶する。また、繰り返し処理の繰り返し回数nについても、凸点（特徴点）の位置とともに特徴量記憶部１０４に記憶する。具体的には、差分画像Dnのある凸点とぼかし画像Gn、Gn-1の凸点とが一致する場合、または、所定の距離（例えば、0.2＊σn）より小さい近傍にある場合、凸点が重なると判別し、当該凸点の位置（i,j）を特徴点として抽出する。

図６は、図４に示す差分画像Dnの凸点の中で、図５に示すぼかし画像Gnの凸点と重なる特徴点を示したものである。図示する例では、特徴点として４箇所が抽出されている。

Ｓ３０５では、各特徴点の周りの特徴量を抽出する。本実施形態では、各特徴点毎に、当該特徴点から所定の距離以内（例えば、6σn以内）のぼかし画像Gnの凸点、差分画像Dnの凸点、または、ぼかし画像Gnおよび差分画像Dnの凸点を特徴量として検出し、検出した各凸点の相対座標を特徴量記憶部１０４に記憶する。相対座標は、特徴点を原点（0,0）とした場合の位置座標である。なお、特徴量の抽出は、非特許文献１に記載された方法を用いることとしてもよい。

図７は、図６に示す特徴点の中の１つの特徴点７０から所定の距離以内に存在するぼかし画像Gn（図５参照）の凸点７１、７２、７３（特徴量）を示したものである。

以上説明したＳ３０２〜Ｓ３０５の処理を所定の回数繰り返すことで、特徴量記憶部１０４には、繰り返し処理毎に検出された特徴点および当該特徴点の特徴量が記憶される。そして、特徴量記憶部１０４に記憶された検索画像の全ての特徴点および特徴量を用いて、図２のＳ２０５の特徴量の検索処理が行われる。

図２のＳ２０２の特徴量抽出処理も、以上説明した図３の処理と同様である。なお、Ｓ２０１の入力が映像ファイルの場合は、Ｓ２０２では、一定時間毎に得られる各フレーム画像に対して、図３に示す処理を行うものとする。これにより、特徴量記憶部１０４には、繰り返し処理毎に検出された画像ファイルまたは映像ファイルの特徴点および当該特徴点の特徴量が記憶される。そして、特徴量記憶部１０４に記憶された画像ファイルまたは映像ファイルの全ての特徴点および特徴量を用いて、図２のＳ２０５の特徴量の検索処理が行われる。

次に、図２のＳ２０５の特徴量の検索処理について説明する。

検索部１０５は、Ｓ２０４で抽出した検索画像の各特徴点の特徴量と、Ｓ２０２で抽出された画像ファイルまたは映像ファイルの各特徴点の特徴量とを比較し、一致または類似する特徴量を画像ファイルまたは映像ファイルから検索する。

例えば、検索部１０５は、検索画像の一つの特徴点と、画像ファイルまたは映像ファイルの全特徴点との特徴量間の距離dを算出する。そして、特徴量間の距離dが最も小さい点k1と2番目に小さい点k2がd1<d2*0.6を満たす場合にk1を対応点として検出する。ここでd1はk1とのユークリッド距離、d2はk2とのユークリッド距離を表す。

次に、図２のＳ２０６の表示処理について説明する。

表示部１０６は、Ｓ２０５において選択画像の特徴量と一致または類似する特徴量が画像ファイルまたは映像ファイルに存在する場合、当該特徴量に対応する特徴点の場所を画像ファイルまたは映像ファイル上に設定し、ディスプレイに表示する。Ｓ２０１で映像ファイルが入力された場合は、フレーム画像毎に表示する。

図８は、ディスプレイに表示される表示例を示したものである。図示するように、画像ファイルまたは映像ファイルに、検索画像の特徴量と一致または類似する特徴量が存在する場合、当該特徴量に対応する特徴点に印を設定して（図示する例では円で囲んで）表示する。

また、検索画像の特徴量と一致または類似する特徴量の特徴点の密度が一定以上の箇所については、これらの特徴点の全体を図９に示すように円または矩形で囲んで表示してもよい。

以上説明した本実施形態では、ガウシアンフィルタの演算を間引きし、近似的に演算してぼかし画像を算出する。これにより、演算量を削減し、ぼかし画像の算出を高速化することができる。

また、本実施形態では、差分画像の凸点ととともに、ぼかし画像の凸点にも着目し、これらが重なる点を特徴点として検出することで、大量の特徴点が検出されることを防止する。非特許文献１では、ぼかし画像の差分画像を作成し、差分画像の凸点を特徴点としているため、一般的な画像においては多数の特徴点が検出されてしまう。そのため、非特許文献１では、コントラストの小さな特徴点、凸点付近のヘッセ行列の行列式の大きさが小さな特徴点を取り除くなどの特徴点の選別処理を行う必要があり、多くの演算を要する。これに対し、本実施形態では、検出された特徴点毎に、コントラストの小さな特徴点、凸点付近のヘッセ行列の行列式の大きさが小さな特徴点を取り除くなどの特徴点の選別処理を行う必要がないため、演算量および演算時間を大幅に減らすことができる。

すなわち、本実施形態では、特徴点および特徴量の検出に要する演算時間および演算量を低減することができる。

また、本実施形態では、回転・拡大に頑健な特徴点・特徴量を検出することができ、これらを用いると、大量の画像や、映像の中から特定の画像を頑健に検出することができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、本実施形態では、ガウシアンフィルタの演算を間引きし、差分画像の凸点とぼかし画像の凸点とが重なる点を特徴点として検出することとした。しかしながら、ガウシアンフィルタの演算を間引きのみを行い、特徴点の検出については、差分画像の凸点とぼかし画像の凸点とが重なる点を特徴点とせずに従来の手法を用いることとしてもよい。また、差分画像の凸点とぼかし画像の凸点とが重なる点を特徴点として検出し、ウシアンフィルタの演算については、間引き演算を行わず従来の手法を用いることとしてもよい。この場合であっても、特徴点および特徴量の検出に要する演算時間および演算量を低減することができる。

１０１：画像/映像入力部
１０２：画像/映像記憶部
１０３：特徴量抽出部
１０４：特徴量記憶部
１０５：検索部
１０６：表示部

Claims

画像検索装置であって、
画像ファイルおよび検索画像を入力する画像入力手段と、
前記画像ファイルおよび前記検索画像を記憶する記憶手段と、
前記画像ファイルおよび前記検索画像の特徴点および当該特徴点に対応する特徴量を、それぞれ抽出する特徴量抽出手段と、
前記検索画像の特徴量に一致または類似する前記画像ファイルの特徴量を検索する検索手段と、
前記検索画像の特徴量に一致または類似する前記画像ファイルの特徴量に対応する特徴点に所定の印を設定して表示する表示手段と、を有し、
前記特徴量抽出手段は、ぼかしフィルタを間引きして演算し、前記特徴点を抽出するためのぼかし画像を生成すること
を特徴とする画像検索装置。
請求項１記載の画像検索装置であって、
前記特徴量抽出手段は、前記ぼかし画像の凸点と、前記ぼかし画像の差分画像の凸点とが重なる点を、特徴点として検出すること
を特徴とする画像検索装置。
請求項１または２記載の画像検索装置であって、
前記特徴量抽出手段は、特徴点毎に、当該特徴点の周囲の特徴量を算出すること
を特徴とする画像検索装置。
請求項１または請求項２記載の画像検索装置であって、
前記特徴量抽出手段は、ぼかしの大きさを変えて、所定の回数ぼかし画像を生成すること
を特徴とする画像検索装置。
請求項１記載の画像検索装置であって、
前記特徴量抽出手段は、ぼかしフィルタを１画素おきに、または２画素おきに間引きして演算し、前記ぼかし画像を生成すること
を特徴とする画像検索装置。
請求項１から請求項５のいずれか一項に記載の画像検索装置としてコンピュータを機能させるための画像検索プログラム。