JP2014127094A - 語彙探索装置、語彙探索方法、及び、語彙探索プログラム - Google Patents

Abstract

【課題】高速かつ高精度に指定データ（局所特徴量）に対する最近傍の語彙を探索することのできる語彙探索装置、語彙探索方法、及び、語彙探索プログラムを提供すること。
【解決手段】コンピュータ１は、入力された画像５から複数の局所特徴量６を抽出し、入力された画像１０から複数の局所特徴量１１を抽出する局所特徴量抽出手段２ａと、局所特徴量６に対して語彙７の木構造インデックス８を生成するインデックス生成手段２ｂと、木構造インデックス８における最下層の語彙７に対応する近傍語彙リスト９を生成する近傍語彙リスト生成手段２ｃと、局所特徴量１１と語彙７との距離に基づいて、木構造インデックス８における最下層の語彙７の１つを特定語彙として特定する語彙特定手段２ｄと、特定語彙に対応する近傍語彙リスト９の中から、最近傍語彙７ｍを抽出する最近傍語彙抽出手段２ｅとを有する。
【選択図】図１

Description

本発明は、語彙探索装置、語彙探索方法、及び、語彙探索プログラムに関する。

ある画像（検索画像）に類似する画像を、多数の画像（対象画像）の中から検索する場合がある。この場合、各画像の特徴を、多次元のベクトルデータ（局所特徴量）で表し、各ベクトルデータの距離などを用いて、類似画像を抽出する方法が考えられる。類似画像の検索作業において、対象画像の数が多い場合には、検索画像と対象画像との距離を逐一計算していると、検索に要する時間が非常に長くなってしまう。そこで、木構造のインデックス（索引）を用いて、検索を高速化する方法も提案されている。

例えば、局所特徴量を用いた画像認識では、画像から抽出した局所特徴量を指定データとして、予めクラスタリングにより作成された語彙にマッピングし、そのマッピングした語彙に基づいてＢｏＦ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅ）という特徴ベクトルを生成する方法がある。語彙のマッピングにおいては、多次元空間において指定データに最も距離的に近い語彙を探索する必要がある。膨大な語彙の中から近傍の語彙を探索する方法として、語彙に対して木構造のインデックスを生成し、このインデックスを用いて語彙探索する方法が提案されている（例えば、特許文献１を参照。）。

特開２００１−１３４５９４号公報

しかしながら、特許文献１に開示のものでは、木構造インデックスを用いて語彙を探索しているので、探索速度は高速となるが、探索の精度が必ずしも高精度とはいえない。すなわち、この方法によって探索した語彙が指定データに対して距離的に近傍の語彙ではあるものの、必ずしも指定データに対して距離的に最近傍の語彙とはいえない場合があった。

本発明は、上記の事情に鑑みて為されたもので、高速かつ高精度に指定データ（局所特徴量）に対する最近傍の語彙を探索することのできる語彙探索装置、語彙探索方法、及び、語彙探索プログラムを提供することを例示的課題とする。

上記の課題を解決するために、本発明の例示的側面としての語彙探索装置は、入力された第１画像から複数の第１局所特徴量を抽出すると共に、入力された第２画像から複数の第２局所特徴量を抽出する局所特徴量抽出手段と、複数の第１局所特徴量に対して語彙の木構造インデックスを生成するインデックス生成手段と、木構造インデックスにおける最下層の語彙に対応して、当該語彙との距離が近い順に他の語彙がリスト化された近傍語彙リストを生成する近傍語彙リスト生成手段と、第２局所特徴量と語彙との距離に基づいて、木構造インデックスにおける最下層の語彙の１つを特定語彙として特定する語彙特定手段と、特定語彙に対応する近傍語彙リストの中から、第２局所特徴量との距離が最も近い語彙を抽出する最近傍語彙抽出手段と、を有する。

本発明の他の例示的側面としての語彙探索方法は、コンピュータに、入力された第１画像から複数の第１局所特徴量を抽出するステップと、入力された第２画像から複数の第２局所特徴量を抽出するステップと、複数の第１局所特徴量に対して語彙の木構造インデックスを生成するステップと、木構造インデックスにおける最下層の語彙に対応して、当該語彙との距離が近い順に他の語彙がリスト化された近傍語彙リストを生成するステップと、第２局所特徴量と語彙との距離に基づいて、木構造インデックスにおける最下層の語彙の１つを特定語彙として特定するステップと、特定語彙に対応する近傍語彙リストの中から、第２局所特徴量との距離が最も近い語彙を抽出するステップと、を実行させる。

本発明の更に他の例示的側面としての語彙探索プログラムは、コンピュータを、入力された第１画像から複数の第１局所特徴量を抽出すると共に、入力された第２画像から複数の第２局所特徴量を抽出する局所特徴量抽出手段、複数の第１局所特徴量に対して語彙の木構造インデックスを生成するインデックス生成手段、木構造インデックスにおける最下層の語彙に対応して、当該語彙との距離が近い順に他の語彙がリスト化された近傍語彙リストを生成する近傍語彙リスト生成手段と、第２局所特徴量と語彙との距離に基づいて、木構造インデックスにおける最下層の語彙の１つを特定語彙として特定する語彙特定手段、及び、特定語彙に対応する近傍語彙リストの中から、第２局所特徴量との距離が最も近い語彙を抽出する最近傍語彙抽出手段、として機能させる。

本発明の更なる目的又はその他の特徴は、以下添付図面を参照して説明される好ましい実施の形態によって明らかにされるであろう。

本発明によれば、高速かつ高精度に指定データ（局所特徴量）に対する最近傍の語彙を探索することができる。

実施形態に係る語彙探索装置（コンピュータ）の主要部としてのＣＰＵが発揮する各機能を概念的に説明するブロック図である。 入力される学習画像の一例を示す図である。 特徴量空間における局所特徴量の配置の一例を示す図である。 局所特徴量をクラスタリングすることにより生成された語彙の一例を示す図である。 木構造インデックスの一例を示す図である。 近傍語彙リストの一例を示す図である。 最下層の語彙間の距離を説明する概念図である。 最近傍語彙抽出手段による局所特徴量との距離が最も近い語彙の抽出手法を説明する説明図である。

以下、実施形態に係る語彙探索装置について、図面を用いて説明する。図１は、実施形態に係る語彙探索装置（コンピュータ）１の主要部としてのＣＰＵ２が発揮する各機能を概念的に説明するブロック図である。コンピュータ１は、内部にコンピュータの主要部としてのＣＰＵ（演算処理装置）２と記憶装置としてのメモリとを有している。メモリ内には、語彙探索プログラムが格納されている。この語彙探索プログラムが実行されることにより、ＣＰＵ２が、局所特徴量抽出手段２ａ、インデックス生成手段２ｂ、近傍語彙リスト生成手段２ｃ、語彙特定手段２ｄ、最近傍語彙抽出手段２ｅとして機能する。図１は、ＣＰＵ２が発揮する各機能を概念的に説明するブロック図である。

局所特徴量抽出手段２ａは、学習画像としての画像（第１画像）５が入力されると、その画像５から複数の局所特徴量（第１局所特徴量）６を抽出する機能を有する。なお、図２に、画像５の一例を示し、図３に特徴量空間における局所特徴量６の配置の一例を示す。局所特徴量６の抽出手法については、従来と同様の技術（例えば、ＳＩＦＴ。）を用いることができるので、詳細な説明を省略する。局所特徴量６を抽出すべき部分の特定方法としては、画像全体を所定サイズごとに分割する手法と、画像における特徴的領域を特定する手法とがあるが、どちらを採用してもよい。これらの手法についても、従来と同様の技術を用いることができるので、詳細な説明を省略する。

インデックス生成手段２ｂは、複数の局所特徴量６に対して語彙７の木構造インデックス８を生成する機能を有する。ここで、語彙７とは、局所特徴量６をクラスタリングすることにより生成される複数の局所特徴量６の集合（クラスタ）であり、ビジュアルキーワードとも呼ばれる。語彙７は、木構造インデックス８における各リーフノードに対応する。図４に、局所特徴量６をクラスタリングすることにより生成された語彙（クラスタ）７の一例を示す。クラスタリングの手法としては、例えばｋ−ｍｅａｎｓ等の従来と同様の技術を用いることができる。

図５に、木構造インデックス８の一例を示す。木構造インデックスを生成する手法としては、ｋｄ−ｔｒｅｅ、Ｒ−ｔｒｅｅ、Ｖｐ−ｔｒｅｅ等の従来と同様の手法を用いることができる。または、階層クラスタリングにより、複数の語彙が階層的に最下層から最上層にかけて木構造インデックス８を構成してもよい。このうち最下層の語彙を符号７（７ａ〜７ｃ）で示し、他の階層の語彙と区別して説明する。すなわち、相互に距離が近い１又は複数の最下層の語彙７が集合して、その上層の語彙Ｌ１を形成し、相互に距離が近い１又は複数の語彙Ｌ１が集合して、更にその上層の語彙Ｌ２を形成する。このように、相互に距離が近い語彙が集合して順次上層の語彙を形成し、最終的に最上層の１つの語彙Ｌｔを形成する。

近傍語彙リスト生成手段２ｃは、木構造インデックス８における最下層の語彙７に対応して、その語彙７との距離が近い順に他の語彙７がリスト化された近傍語彙リスト９を生成する機能を有する。そして、近傍語彙リスト生成手段２ｃは、その近傍語彙リスト９を語彙７に関連付ける機能を有する。図６は、近傍語彙リスト９の一例を示す図である。

近傍語彙リスト９は、最下層にある複数の語彙７の各々に対して生成され、関連付けられている。すなわち、語彙７ａに近傍語彙リスト９ａが関連付けられ、語彙７ｂに近傍語彙リスト９ｂが関連付けられ、語彙７ｃに近傍語彙リスト９ｃが関連付けられている。図６は、語彙７ａに対応する近傍語彙リスト９ａを例示しており、以下、近傍語彙リスト９ａについて説明するが、他の近傍語彙リスト９ｂ，９ｃについても同様である。

近傍語彙リスト９ａは、対応する語彙７ａ以外の他の最下層の語彙７と、語彙７ａと他の語彙７との間の距離とが相互に関連付けられて構成されている。図７は、最下層の語彙７間の距離を説明する概念図である。例えば、最下層の複数（この説明では１２個）の語彙７に各々ＩＤ（＃１〜＃１２の番号）が割り当てられており、語彙７ａが＃１０であるとする。＃１０の語彙７ａを中心位置とすると、＃１〜＃９，＃１１，＃１２の１１個の語彙７が図７のように各々の距離で配置されている。＃１０の語彙７ａと各々の語彙７とを結んだ直線の長さがそれぞれ語彙７ａと他の最下層の語彙７との間の距離となる。

この距離が近いものから順に近傍語彙リスト９ａにリスト化されている。例えば、図７では、＃１０の語彙７ａに近い順に＃２，＃１，＃３，＃４，＃５，＃６，＃７，＃８，＃９，＃１１，＃１２となる。近傍語彙リスト９ａは、所定個数の語彙７のみを有していてもよい。すなわち、＃１０の語彙７ａから近い他の語彙７から順に所定個数だけを近傍語彙リスト９ａにリスト化し、所定個数を超えるものについては近傍語彙リスト９ａ内にリスト化しなくてもよい。この場合、語彙７ａ〜７ｃに各々対応する近傍語彙リスト９ａ〜９ｃはそれぞれ同じ個数の語彙７を有する。しかし、近傍語彙リスト９ａ〜９ｃ内で、各語彙７ａ〜７ｃからの距離が最も遠い語彙７までそれぞれの距離は異なる。

近傍語彙リスト９ａは、＃１０の語彙７ａからの距離が所定距離の語彙７のみを有していてもよい。すなわち、＃１０の語彙７ａからの距離が所定距離以内の語彙７だけを近傍語彙リスト９ａにリスト化し、所定距離を超える語彙７についてはリスト化しなくてもよい。この場合、語彙７ａ〜７ｃに各々対応する近傍語彙リスト９ａ〜９ｃ内の語彙７の個数はそれぞれ異なる。しかし、近傍語彙リスト９ａ〜９ｃ内で、各語彙７ａ〜７ｃからの距離が最も遠い語彙７は所定距離以内である。

局所特徴量抽出手段２ａは、検索対象画像としての画像（、第２画像）１０が入力されると、その画像１０から複数の局所特徴量（第２局所特徴量）１１を抽出する機能も有する。局所特徴量１１の抽出手法については、上述したように、従来と同様の技術（例えば、ＳＩＦＴ。）を用いることができるので、詳細な説明を省略する。

語彙特定手段２ｄは、画像１０の局所特徴量１１と語彙との距離に基づいて、木構造インデックス８における最下層の語彙７の１つを特定語彙として特定する機能を有する。本実施形態においては、木構造インデックス８に基づいて、その最上層の語彙Ｌｔから順に語彙Ｌ２、語彙Ｌ１へと局所特徴量１１との距離が近い語彙を選択しつつ最下層の語彙７のうち最も局所特徴量１１との距離が近い特定語彙を選択する。本実施形態では、特定語彙が語彙７ａであるものとして説明する。

最近傍語彙抽出手段２ｅは、特定語彙７ａに対応する近傍語彙リスト９ａの中から、局所特徴量１１との距離が最も近い語彙７を最近傍語彙７ｍとして抽出する機能を有する。木構造インデックス８に基く語彙特定手段２ｄによる特定語彙の選択によって、語彙７ａが特定語彙として選択されるが、必ずしも語彙７ａ最下層の語彙７の中で最も局所特徴量１１との距離が最短であるとは限らない。最近傍語彙抽出手段２ｅによって、特定語彙７ａよりも一層局所特徴量１１との距離が近い語彙７を最下層語彙７の中から抽出することができる。

図８は、最近傍語彙抽出手段２ｅによる局所特徴量１１との距離が最も近い語彙７の抽出手法を説明する説明図である。図８では、図７と同様に、＃１０の特定語彙７ａを中心に＃１〜＃９，＃１１，＃１２の１１個の最下層の語彙７が配置されている。＃１〜＃１２の語彙の位置関係は、図７と同様である。

ここで、局所特徴量１１が、図７に示す位置にあるとする。局所特徴量１１と＃１〜＃１２の語彙７との各々の距離をすべて算出し、遠近比較を行うには、１２回の距離計算が必要となるが、本実施形態に係る最近傍語彙抽出手段２ｅによる抽出手法によれば、演算回数を減少させることができる。以下、「＃○○の語彙７」を単に「＃○○」と省略していうこととする。

まず、近傍語彙リスト９ａに基づき、＃１０に最も近い＃２と局所特徴量１１との距離ｔを算出する。＃２と局所特徴量１１との距離ｔを最短距離ｍにセットし、＃２を最近傍語彙７ｍにセットする。以下、順次＃１０に近い側から局所特徴量１１との距離を算出し、最短距離ｍとの比較を行う。すなわち、＃２の次に＃１０に近い＃１と局所特徴量１１との距離ｔを算出し、ｔ＜ｍなら＃２を最近傍語彙７ｍに更新し、＃１と局所特徴量１１との距離ｔを最短距離ｍに更新する。ｔ≧ｍなら最近傍語彙７ｍは＃２のままであり、最短距離ｍも更新しない。図８では、＃２よりも＃１の方が局所特徴量１１から遠いので、最近傍語彙７ｍは＃２のままである。

続いて、＃１の次に＃１０に近い＃３と局所特徴量１１との距離ｔを算出し、ｔ＜ｍなら＃３を最近傍語彙７ｍに更新し、＃３と局所特徴量１１との距離ｔを最短距離ｍに更新する。ｔ≧ｍなら更新せず、最近傍語彙７ｍも最短距離ｍも更新しない。図８では、最近傍語彙７ｍとしての＃２よりも＃３の方が局所特徴量１１から遠いので、最近傍語彙７ｍは＃２のまま更新しない。

更に続いて、＃３の次に＃１０に近い＃４と局所特徴量１１との距離ｔを算出し、ｔ＜ｍなら＃４を最近傍語彙７ｍに更新し、＃４と局所特徴量１１との距離ｔを最短距離ｍに更新する。ｔ≧ｍなら、最近傍語彙７ｍも最短距離ｍも更新しない。図８では、最近傍語彙７ｍとしての＃２よりも＃４の方が局所特徴量１１に近いので、最近傍語彙７ｍは＃４に更新される。最短距離ｍも＃４と局所特徴量１１との距離ｔに更新される。

このように、順次＃５，＃６・・と演算を進める。ここで、局所特徴量１１を中心として局所特徴量１１と＃４とを結ぶ線分を半径とする円Ｒ１を概念する。そして、＃１０を中心として円Ｒ１と内接する円Ｒ２と外接する円Ｒ３とを概念する。円Ｒ２の内側（中心＃１０側）であって円Ｒ３の外側に位置する語彙７は、最近傍語彙７ｍとなる可能性があるので、局所特徴量１１との距離の算出を行う必要がある。図８においては、＃５〜＃８においては、いずれも局所特徴量１１との距離は＃４よりも遠いので、距離算出の結果＃５〜＃８は最近傍語彙７ｍではないことが判明する。

しかし、円Ｒ２より外側に位置する語彙７、又は、円Ｒ３より内側に位置する語彙７、具体的には、近傍語彙リスト９ａにおいて、＃９以降の順位の語彙７（＃９以上に＃１０から離れている＃１１，＃１２）は、＃４に代わって最近傍語彙７ｍとなる可能性がない。したがって、＃８まで演算を進めた段階で、最近傍語彙７ｍが＃４である場合には、＃１１，＃１２については、局所特徴量１１との距離の演算を行う必要がない。したがって、この図８の例では、局所特徴量１１との距離の算出回数が１０回で済み、２回分の演算処理の削減を実現している。

なお、局所特徴量１１を中心として局所特徴量１１と所定の語彙とを結ぶ線分を半径とする円Ｒ１を概念すること、＃１０を中心として円Ｒ１に内接する円Ｒ２、概説する円Ｒ３を概念すること、円Ｒ２より外側、又は、円Ｒ３より内側に位置する他の語彙についての距離演算をしないと判断すること、は、近傍語彙リスト９ａに基づいて、＃２，＃１，＃３，＃４・・と順次実行される。

以上のようにして、少ない演算処理回数で、局所特徴量１１に対する最近傍語彙７ｍとして＃４の語彙７が抽出される。本実施形態に係るコンピュータ１により、木構造インデックス８を用いて高速・短時間・低演算負荷で特定語彙７ａを特定することができ、しかも、最近傍語彙抽出手段２ｅによる近傍語彙リスト９を用いた演算処理により、高速・短時間・低演算負荷で特定語彙７ａよりも一層局所特徴量１１との距離が近い最近傍語彙７ｍを抽出することができる。類似画像検索における語彙探索を高速かつ高精度に実現することができる。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらに限定されるものではなく、その要旨の範囲内で様々な変形や変更が可能である。

語彙：Ｌ１，Ｌ２，Ｌｔ
語彙探索プログラム：Ｐ
円：Ｒ１，Ｒ２，Ｒ３
コンピュータ（語彙探索装置）：１
ＣＰＵ（演算処理装置）：２
局所特徴量抽出手段：２ａ
インデックス生成手段：２ｂ
近傍語彙リスト生成手段：２ｃ
語彙特定手段：２ｄ
最近傍語彙抽出手段：２ｅ
メモリ（記憶装置）：３
画像（学習画像、第１画像）：５
局所特徴量（第１局所特徴量）：６
語彙（クラスタ）：７，７ａ〜７ｃ
最近傍語彙：７ｍ
木構造インデックス：８
近傍語彙リスト：９，９ａ〜９ｃ
画像（検索対象画像、第２画像）：１０
局所特徴量（第２局所特徴量）：１１

Claims (6)

1. 入力された第１画像から複数の第１局所特徴量を抽出すると共に、入力された第２画像から複数の第２局所特徴量を抽出する局所特徴量抽出手段と、
   前記複数の第１局所特徴量に対して語彙の木構造インデックスを生成するインデックス生成手段と、
   前記木構造インデックスにおける最下層の語彙に対応して、当該語彙との距離が近い順に他の語彙がリスト化された近傍語彙リストを生成する近傍語彙リスト生成手段と、
   前記第２局所特徴量と前記語彙との距離に基づいて、前記木構造インデックスにおける最下層の語彙の１つを特定語彙として特定する語彙特定手段と、
   前記特定語彙に対応する近傍語彙リストの中から、前記第２局所特徴量との距離が最も近い語彙を抽出する最近傍語彙抽出手段と、
   を有する、語彙探索装置。
2. 前記近傍語彙リスト生成手段は、
   前記最下層の語彙に対応して、当該語彙との距離が近い順に所定個数の他の語彙がリスト化された近傍語彙リストを生成する、請求項１に記載の語彙探索装置。
3. 前記近傍語彙リスト生成手段は、
   前記最下層の語彙に対応して、当該語彙との距離が近い順に当該距離が所定距離以内である他の語彙がリスト化された近傍語彙リストを生成する、請求項１又は請求項２に記載の語彙探索装置。
4. 前記語彙特定手段は、
   前記木構造インデックスの最上層から最下層に向けて順に、前記第２局所特徴量との距離が近い前記語彙を選択しつつ前記木構造インデックスにおける最下層の語彙の１つを特定語彙として特定する、請求項１から請求項３のうちいずれか１項に記載の語彙探索装置。
5. コンピュータに、
   入力された第１画像から複数の第１局所特徴量を抽出するステップと、
   入力された第２画像から複数の第２局所特徴量を抽出するステップと、
   前記複数の第１局所特徴量に対して語彙の木構造インデックスを生成するステップと、
   前記木構造インデックスにおける最下層の語彙に対応して、当該語彙との距離が近い順に他の語彙がリスト化された近傍語彙リストを生成するステップと、
   前記第２局所特徴量と前記語彙との距離に基づいて、前記木構造インデックスにおける最下層の語彙の１つを特定語彙として特定するステップと、
   前記特定語彙に対応する近傍語彙リストの中から、前記第２局所特徴量との距離が最も近い語彙を抽出するステップと、
   を実行させる、語彙探索方法。
6. コンピュータを、
   入力された第１画像から複数の第１局所特徴量を抽出すると共に、入力された第２画像から複数の第２局所特徴量を抽出する局所特徴量抽出手段、
   前記複数の第１局所特徴量に対して語彙の木構造インデックスを生成するインデックス生成手段、
   前記木構造インデックスにおける最下層の語彙に対応して、当該語彙との距離が近い順に他の語彙がリスト化された近傍語彙リストを生成する近傍語彙リスト生成手段と、
   前記第２局所特徴量と前記語彙との距離に基づいて、前記木構造インデックスにおける最下層の語彙の１つを特定語彙として特定する語彙特定手段、及び、
   前記特定語彙に対応する近傍語彙リストの中から、前記第２局所特徴量との距離が最も近い語彙を抽出する最近傍語彙抽出手段、
   として機能させる、語彙探索プログラム。

Images