JP2018195270A - 局所特徴表現学習装置、及び方法 - Google Patents

Abstract

【課題】幾何的及び光学的な変形に頑健な局所特徴記述子を、パッチ単位のアノテーションを用いることなく学習することができる。
【解決手段】画像データセットに含まれる各画像から複数のパッチを抽出するパッチ抽出部と、画像データセットに含まれる任意の画像ペアの幾何的な同一性を判定し、同一であると判定された画像ペアから、幾何的な変形パラメータを用いて同一物理領域を捉えたパッチのペアを抽出する同一領域パッチペア抽出部と、複数のパッチからなるパッチの集合、及びパッチのペアを用いて、局所特徴表現の学習のための学習データを構築する学習データ構築部と、学習データを用いて局所特徴表現を学習する局所特徴表現学習部と、予め定められた基準を満たすまで、局所特徴表現学習部で学習された局所特徴表現を用いて、同一領域パッチペア抽出部から局所特徴表現学習部までの処理を繰り返し行わせる終了判定部と、を備える局所特徴表現学習装置。
【選択図】図１

Description

本発明は、局所特徴表現学習装置、及び方法に係り、特に、複数の画像を含む画像データセットから局所特徴表現を学習する局所特徴表現学習装置、及び方法に関する。

画像から抽出される任意の小領域（以下、「パッチ」という）を特徴表現する局所特徴表現技術は、画像や映の像検索やステレオマッチング、及び画像編集等、非常に多くの応用用途を持つパターン認識の基本技術である。局所特徴表現技術は、ＳＩＦＴ記述子やＳＵＲＦ記述子に代表される局所特徴表現アルゴリズムが人手で設計されているものと、膨大なデータセットから機械学習により特徴表現を獲得しているものの２種類に大別できる。

非特許文献１では、ラベルが付与された大規模パッチデータセットから、同一の物理領域を捉えた（ラベルが同一な）パッチペアのＬ２距離（ノルム）が小さくなり、かつ異なる物理領域を捉えた（ラベルが異なる）パッチペアのＬ２距離は十分大きくなるような特徴表現をニューラルネットワークで学習する方法が開示されている。

一方、非特許文献２では、同一ラベルに属する２つのパッチと、それとは異なるラベルのパッチから構成されるトリプレット（三つ組）を入力の最小単位として、同一ラベルのパッチ間のＬ２距離が、異なるラベルのパッチ間のＬ２距離よりも小さくなるような特徴表現をニューラルネットワークで学習する方法が開示されている。

一方、非特許文献３では、画像単位のラベルのみが割り当てられたデータセットを入力として、局所特徴表現を学習する方法が開示されている。具体的には、画像ペアを構成する各画像から抽出される局所特徴集合間で算出される類似度を定義し、同一ラベルの画像ペア間の類似度が、異なるラベルの画像間の類似度よりも高くなるようなニューラルネットワークを学習する方法が提案されている。

E. Simo-Serra et al., Discriminative Learning of Deep Convolutional Feature Point Descriptors, in ICCV, 2015.インターネット＜URL：http://cvlabwww.epfl.ch/~trulls/pdf/iccv-2015-deepdesc.pdf＞ V. Balntas et al., Learning local feature descriptors with triplets and shallow convolutional neural networks, in BMVC, 2016. インターネット＜URL：http://www.bmva.org/bmvc/2016/papers/paper119/paper119.pdf＞ Nenad Markus et al., Learning Local Descriptors by Optimizing the Keypoint-Correspondence Criterion, in ICPR, 2016.

しかしながら、非特許文献１及び非特許文献２のいずれの手法も、パッチレベルでの正解ラベルが割り当てられた学習データの存在を仮定しており、それらを直接適用するには、膨大な数のパッチを人手でラベリングしなくてはならないという問題がある。

また、非特許文献３では、画像単位の類似度を導入することで、パッチ単位のラベルを用いずに局所特徴表現の学習を実現しているが、一方でこの類似度は、局所特徴の総当り比較のみに基づいて定義されており、局所特徴の空間的な関係については何ら考慮されていない。局所特徴の空間的な関係性は、例えば幾何的及び光学的な要因で、同一物理領域から抽出されながらも見えが異なるパッチを発見する大きな手がかりである。これらを学習データとして用いることは、幾何的及び光学的な変形に頑健な局所特徴表現の獲得に不可欠であると考えられる。

以上から、幾何的及び光学的な変形に頑健な局所特徴表現を獲得する公知の技術には、学習のためのパッチのラベリングに膨大な人手のコストがかかるという問題がある。また、パッチ単位のアノテーションを必要としない公知の技術には、局所特徴間の空間関係性を考慮する機構が含まれておらず、学習データが潜在的に有する情報を十分に活用できていないという問題があった。

本発明は上記問題点を考慮してなされたものであり、幾何的及び光学的な変形に頑健な局所特徴記述子を、パッチ単位のアノテーションを用いることなく学習することができる、局所特徴表現学習装置、及び方法を提供することを目的とする。

上記目的を達成するために、本開示の第１の態様は、複数の画像を含む画像データセットから局所特徴表現を学習する局所特徴表現学習装置であって、入力される画像データセットに含まれる各画像から複数のパッチを抽出するパッチ抽出部と、前記画像データセットに含まれる任意の画像ペアの幾何的な同一性を判定し、同一であると判定された画像ペアから、幾何的な変形パラメータを用いて同一物理領域を捉えた前記パッチのペアを抽出する同一領域パッチペア抽出部と、前記パッチ抽出部で抽出された前記複数のパッチからなるパッチの集合、及び前記同一領域パッチペア抽出部で抽出された前記パッチのペアを用いて、局所特徴表現の学習のための学習データを構築する学習データ構築部と、前記学習データ構築部で構築された前記学習データを用いて局所特徴表現を学習する局所特徴表現学習部と、予め定められた基準を満たすまで、前記局所特徴表現学習部で学習された局所特徴表現を用いて、前記同一領域パッチペア抽出部から前記局所特徴表現学習部までの処理を繰り返し行わせる終了判定部と、を備える。

本開示の第２の態様は、第１の態様の局所特徴表現学習装置において、前記同一領域パッチペア抽出部は、前記パッチ抽出部で抽出された前記複数の各パッチの各々を前記局所特徴表現を用いて特徴表現する局所特徴記述部と、前記画像データセットに含まれる画像ペアについて、前記局所特徴記述部により表現された各パッチの局所特徴に基づいて、画像ペアの幾何的な同一性の判定、及び前記幾何的な変形パラメータの推定を行う変形推定部と、前記変形推定部で同一であると判定がなされた画像ペアについて、前記変形パラメータを用いて同一物理領域を捉えた前記パッチのペアを抽出する同一領域判定部と、を備える。

本開示の第３の態様は、第１の態様または第２の態様の局所特徴表現学習装置において、前記局所特徴表現学習部は、前記学習データを用いて、前記同一領域パッチペア抽出部で、同一物理領域を捉えていると判定された前記パッチのペアの類似度は高く、かつ異なる物理領域を捉えていると判定された前記パッチのペアの類似度は低くなるような特徴空間へ、パッチを写像するニューラルネットワークを学習する。

本開示の第４の態様は、第１の態様から第３の態様のいずれか１態様の局所特徴表現学習装置において、前記学習データ構築部は、同一物理領域を捉えていないと判定された前記パッチのペアを学習データとするにあたり、前記同一領域パッチペア抽出部における同一性の判定結果を用いる。

本開示の第５の態様は、第１の態様から第３の態様のいずれか１態様の局所特徴表現学習装置において、前記学習データ構築部は、同一物理領域を捉えていないと判定された前記パッチのペアを学習データとするにあたり、前記入力される画像データセットに付与されている画像単位のラベルの情報を用いる。

また、上記目的を達成するために、本開示の第６の態様は、複数の画像を含む画像データセットから局所特徴表現を学習する局所特徴表現学習装置における局所特徴表現学習方法であって、パッチ抽出部が、入力される画像データセットに含まれる各画像から複数のパッチを抽出するステップと、同一領域パッチペア抽出部が、前記画像データセットに含まれる任意の画像ペアの幾何的な同一性を判定し、同一であると判定された画像ペアから、幾何的な変形パラメータを用いて同一物理領域を捉えた前記パッチのペアを抽出するステップと、学習データ構築部が、前記パッチ抽出部で抽出された前記複数のパッチからなるパッチの集合、及び前記同一領域パッチペア抽出部で抽出された前記パッチのペアを用いて、局所特徴表現の学習のための学習データを構築するステップと、局所特徴表現学習部が、前記学習データ構築部で構築された前記学習データを用いて局所特徴表現を学習するステップと、終了判定部が、予め定められた基準を満たすまで、前記局所特徴表現学習部で学習された局所特徴表現を用いて、前記同一領域パッチペア抽出部から前記局所特徴表現学習部までの処理を繰り返し行わせるステップと、を含む。

本開示によれば、幾何的及び光学的な変形に頑健な局所特徴記述子を、パッチ単位のアノテーションを用いることなく学習することができる、という効果が得られる。

実施形態における画像特徴装置の一例を示す構成図である。 実施形態のパッチ抽出部におけるパッチの抽出方法の一例を説明するための図である。 実施形態のパッチ抽出部におけるパッチの抽出方法の他の例を説明するための図である。 実施形態の同一領域パッチペア抽出部の構成の一例を示す構成図である。 実施形態の同一領域パッチペア抽出部の局所特徴記述部、変形推定部、及び同一領域判定部の動作を説明するための図である。 Ｓｉａｍｅｓｅネットワークの一例を示す図である。 Ｓｉａｍｅｓｅネットワークの他の例を示す図である。 Ｔｒｉｐｌｅｔネットワークの一例を示す図である。 Ｓｉａｍｅｓｅネットワークの一例の具体的な構成例を示す構成図である。 Ｔｒｉｐｌｅｔネットワークの一例の具体的な構成例を示す構成図である。 本実施形態の局所特徴表現学習装置における局所特徴表現学習処理ルーチンの一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。

＜本開示の実施形態に係る概要＞

本開示では、同一領域パッチペア抽出部において、画像データセット中の任意の画像ペアについて幾何的な同一性の判定を実施し、同一であると判定された画像間の変形パラメータを用いて、同一の物理領域（以下、単に「同一領域」という）を捉えていると考えられるパッチのペアを抽出する。さらに、局所特徴表現学習部では、同一領域パッチペア抽出部で抽出されたパッチペアが互いに類似する（あるいは距離が小さくなる）ような局所特徴表現（局所特徴記述子）をニューラルネットワークで学習する。更には、局所特徴表現学習部で学習された局所特徴記述子を用いて、同一領域パッチペア抽出部で抽出される同一領域パッチペアを更新し、得られた学習データで局所特徴表現学習部でニューラルネットワークも更新する、という繰り返し処理を、所定の条件が満たされるまで繰り返す。

本開示では、画像間の同一性の判定結果を用いて、(同一領域を捉えた）パッチペアを抽出することで、パッチ単位のアノテーションを用いずに局所特徴表現の学習が可能となり、非特許文献１及び非特許文献２のようにパッチ単位のアノテーションを事前に用意する必要がなくなる。また、単純な既知の局所特徴表現に基づくパッチ間の類似度の比較ではなく、画像間の同一性の判定の結果得られた変形パラメータを用いてパッチペアを抽出することで、既知の局所特徴表現では抽出できないようなパッチペア、例えば、同一領域を捉えているものの、一方の画像では幾何的及び光学的な変形の少なくとも一方の影響を強く受けているパッチペアを学習データに含めることが可能となり、例えば、非特許文献３で開示された技術と比較して、より上記の幾何的及び光学的な変形に頑健な局所特徴記述子を学習することができる。

＜本開示の実施形態の局所特徴表現学習装置の構成＞

本実施形態の局所特徴表現学習装置では、任意の画像を複数含む任意の画像データセットを入力として、局所特徴記述子を出力する。図１には、本実施形態の画像特徴装置の一例の構成図を示す。

図１に示した局所特徴表現学習装置２０には、一例として複数の画像１２に対して、複数のカテゴリ（図１では、カテゴリ１〜カテゴリ３を図示）のラベルが付与された（ラベリングされた）画像データセット１０を入力とした場合を示している。

パッチ抽出部３０には、画像データセット１０が入力される、パッチ抽出部３０は、画像データセット１０に含まれる各画像１２の各々から、局所特徴抽出の対象となるパッチの抽出を行う。なお、パッチ抽出部３０におけるパッチの抽出方法は任意である。例えば図２に示すように、画像１００をグリッド状に分割することにより複数のパッチ１０２を抽出することができる。また例えば、図３に示すように、非特許文献１及び非特許文献２に示すような公知の局所特徴検出器を用いて画像１１０から複数のパッチ１１２を抽出することができる。

パッチ抽出部３０は、抽出したパッチの集合を出力する。

同一領域パッチペア抽出部３２には、パッチ抽出部３０からパッチの集合が入力される。同一領域パッチペア抽出部３２は、入力されたパッチの集合から、同一ラベルの任意の画像ペアについて幾何的な同一性の判定を行い、その結果得られた変形パラメータを用いて同一領域を捉えたパッチペア（同一領域パッチペア）を抽出する。

本実施形態の同一領域パッチペア抽出部３２は、一例として図４に示すように、局所特徴記述部４０、変形推定部４２、及び同一領域判定部４４を備える。図４に示した同一領域パッチペア抽出部３２は、画像間の幾何的な変形パラメータとしてホモグラフィを仮定した場合の、同一領域パッチペアを抽出する構成を示している。

局所特徴記述部４０には、パッチ抽出部３０からパッチの集合が入力される。局所特徴記述部４０は、局所特徴記述子を用いて各パッチを特徴表現し、画像間で、得られた局所特徴の類似度及び距離の少なくとも一方に基づき、パッチの対応付けを行う。局所特徴記述子としては、例えば、当該局所特徴記述部４０における直前の処理までに得られたものや、非特許文献１、参考文献１、及び参考文献２で得られているものを用いることができる。局所特徴記述部４０は、局所特徴の対応を表す情報を出力する。

［参考文献１］D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, in IJCV, 2004.
［参考文献２］K. Mikolajczyk et al., A Comparison of Affine Region Detectors, in IJCV, 2005.

変形推定部４２には、局所特徴記述部４０から局所特徴の対応を表す情報が入力される。局所特徴記述部４０により得られた対応には、アウトライヤが含まれ得るため、ＲＡＮＳＡＣを始めとするロバスト推定手法によりそれらを除去し、画像間の幾何的な変形を推定する。

例えば、図５に示した一例では、局所特徴記述部４０は、（Ａ）に示すように、画像１３０と画像１３２との間の幾何的な変形パラメータとして、ホモグラフィ変換行列Ｈ、具体的には、

を得る。変形推定部４２は、得られた変形パラメータを出力する。

同一領域判定部４４には、変形推定部４２から変形パラメータが入力される。同一領域判定部４４が、変形パラメータを用いて、一方の画像に含まれる各パッチの代表座標を他方の画像へ投影し、座標が最も近く、かつその距離が所定の閾値よりも小さいものがあった場合、それらパッチペアを同一領域パッチペア１３８と判定する。

変形推定部４２により、局所特徴記述部４０における、局所特徴の単純な比較では抽出できなかった、幾何的及び光学的な少なくとも一方の変形を強く受けたパッチペア、例えば、図５に示した一例では、（Ｂ）に示したパッチペア１３４、及びパッチペア１３６等が抽出できる。また、変形推定部４２は、単純な見えは類似しているものの異なる物理領域から抽出されたパッチペア、すなわちアウトライヤを除去し、同一領域を捉えたパッチペアを抽出することができる。

なお、画像間の変形パラメータとしては、上記ホモグラフィ変換行列Ｈの他にもアフィン変換行列やｔｈｉｎ ｐｌａｔｅ ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍｅｒ、を用いてもよいし、各画像１２を撮影したカメラの外部パラメータも既知の場合はカメラポーズ行列を用いてもよい。また、一方の画像のパッチに対応するものを他方の画像から抽出するにあたり、パッチ抽出部３０で得られたパッチを用いず、一方の画像中のパッチそのものに変換行列を適用し、その領域を抽出することでパッチペアを抽出してもよい。

同一領域パッチペア抽出部３２の同一領域判定部４４は、抽出した同一領域パッチペア及びパッチ抽出部３０から入力されたパッチの集合を出力する。

学習データ構築部３４には、同一領域パッチペア抽出部３２から出力された同一領域パッチペア及びパッチの集合が入力される。学習データ構築部３４は、同一領域パッチペア及びパッチの集合を用いて、後段の局所特徴表現学習部３６で実際に学習に用いるデータを構築する。なお、局所特徴表現学習部３６で用いるニューラルネットワークの誤差関数の種類に応じて、データ構築が異なる。

局所特徴表現学習部３６で用いるニューラルネットワークの誤差関数がパッチペアを入力とする場合には、同一領域パッチペアの集合をｐｏｓｉｔｉｖｅなペア、パッチペアのうち同一領域を捉えていないものをｎｅｇａｔｉｖｅなペアとすればよい。ｐｏｓｉｔｉｖｅなペア及びｎｅｇａｔｉｖｅなペアの双方とも、学習データ、及び同一領域パッチペア抽出部３２から入力された全てのパッチペアを学習データとしてもよいし、あるいはその中から所定の数だけサンプリングして得られたパッチペアを学習データとしてもよい。また得られたパッチペアに、いわゆるｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎと呼ばれる簡易な変形を施し、データの水増しを行ってもよい。

また、局所特徴表現学習部３６で用いるニューラルネットワークがパッチのトリプレット（三つ組）を入力とする場合には、同一領域パッチペア集合をｐｏｓｉｔｉｖｅなパッチペアとし、ｐｏｓｉｔｉｖｅなパッチペアと、それらとは異なる物理領域から抽出されたパッチとからトリプレットを構成する。この場合も、トリプレットの数は学習データから得られる全てのトリプレットを学習データとしてもよいし、その中から所定の数だけサンプリングして得られたトリプレットを学習データとしてもよい。

なお、パッチのペア及びトリプレットを学習データとするいずれの場合においても、異なる物理領域から抽出されるｎｅｇａｔｉｖｅなパッチペアを抽出する際には、各画像のラベル情報を参照できる場合にはそれを活用してもよい。同一領域パッチペア抽出部３２で実施される幾何的な同一性の検証は、同一のラベルを持つ画像であっても同一であると判定されないことが発生し得る。その場合、ｎｅｇａｔｉｖｅなパッチをランダムにサンプリングすることで抽出すると、極稀に、本来は同一領域から抽出されたパッチであるにもかかわらず、ｎｅｇａｔｉｖｅであると判定されてしまうという問題があるが、画像のラベル情報を用いることでこれを回避することができる。入力される画像データセット１０にラベルが付与されていない場合は、画像ペアの同一性は厳密には判定できないため、例えば対応点の数がごく少ない画像ペアからｎｅｇａｔｉｖｅペアを抽出する等とすることができる。

学習データ構築部３４からは、構築された学習データが出力される。

局所特徴表現学習部３６には、学習データ構築部３４から学習データが入力される。局所特徴表現学習部３６は、入力された学習データを用いて、同一の物理領域から抽出されたパッチ間の類似度が高く（距離が小さく）、異なる物理領域から抽出されたパッチ間は類似度が低くなる（類似していない）ような特徴空間へ各パッチを写像する局所特徴記述子を学習する。ここで学習される局所特徴記述子は、パッチのペアないしはトリプレットを入力の最小単位として、学習データ構築部３４で得られたｐｏｓｉｔｉｖｅなパッチ間は類似させ、ｎｅｇａｔｉｖｅなパッチ間は類似させないようなニューラルネットワークを学習するものとする。

本実施形態では、上記を満たすニューラルネットワークであれば特に限定されず、任意のものを用いることができる。例えば、図６に示したＳｉａｍｅｓｅネットワーク１５０、及び図７に示したＳｉａｍｅｓｅネットワーク１５２、及び図８に示したＴｒｉｐｌｅｔネットワーク１５６等を用いることができる。

図６及び図７に示したようなＳｉａｍｅｓｅネットワーク１５０、１５２は、パッチペアを構成する各パッチを順伝播ネットワークに入力することで得られた中間表現間の距離ないしは類似度から誤差関数が定義されるようなニューラルネットワークである。一例として、図６に示すように、Ｓｉａｍｅｓｅネットワーク１５０では、誤差関数（ｉ）が定義され、Ｓｉａｍｅｓｅネットワーク１５２では、誤差関数（ｉｉ）が定義される。

順伝播ネットワークの重みＷはパッチペアで共有されていてもされていなくてもよい。また、距離または類似度についても、パラメータのないＬ２距離やコサイン類似度を用いても、メトリックそのものを学習するような層を順伝播ネットワークの上にスタックしてもよい。

誤差関数（ｉ）としては、例えば、下記（１）式で表されるようなＣｏｎｔｒａｓｔｉｖｅ ｌｏｓｓ関数を用いることができる。

・・・（１）

また、誤差関数（ｉｉ）としては、例えば、下記（２）式で表されるようなＢｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙ関数を用いることができる。

・・・（２）

図９には、実際に用いるＳｉａｍｅｓｅネットワークの具体例として、Ｓｉａｍｅｓｅネットワーク１５０の一例の具体的な構成例を示す。なお、Ｓｉａｍｅｓｅネットワークは、当該構成に限らず任意の順伝播ネットワークの形態を採用することができる。

なお、図９に示したＳｉａｍｅｓｅネットワーク１５０は、フィルタサイズを（ｈ×ｗ×ｃ）としている。また、Ｃｏｎｖは、畳み込み層を表し、ＭａｘＰｏｏｌｉｎｇは、プーリング層を表し、ＲｅＬｕは、活性化関数を表し、Ｆｌａｔｔｅｎは、平坦化層を表し、さらにＦＣは、全接続層を表している。また、図９では、一例として、入力されるパッチのサイズが、（３２×３２×１）である場合について示している。

一方、図８に示したようなＴｒｉｐｌｅｔネットワーク１５６は、トリプレットを構成する各パッチを順伝播ネットワークに入力することで得られた中間特徴表について、ｐｏｓｉｔｉｖｅなパッチ間の類似度が、ｎｅｇａｔｉｖｅなパッチ間の類似度よりも高くなるような（距離の場合は、ｐｏｓｉｔｉｖｅなパッチ間の距離がｎｅｇａｔｉｖｅなパッチ間の距離よりも小さくなるような）誤差関数が定義されるニューラルネットワークである。一例として、図８に示すように、Ｔｒｉｐｌｅｔネットワーク１５６では、誤差関数（ｉｉｉ）が定義される。

誤差関数（ｉｉｉ）としては、例えば、Ｒａｔｉｏ ｌｏｓｓ関数や、下記（３）式で表されるようなＭａｒｇｉｎ ｒａｎｋｉｎｇ ｌｏｓｓ関数を用いることができる。

・・・（３）

図１０には、実際に用いるＴｒｉｐｌｅｔネットワーク１５６の一例の具体的な構成例を示す。なお、Ｔｒｉｐｌｅｔネットワーク１５６は、当該構成に限らず任意の順伝播ネットワークの形態を採用することができる。

なお、上述したニューラルネットワークの誤差関数を最小化する最適化手法は任意であり、例えばＳＧＤ、ｍｏｍｅｎｔｕｍ ＳＧＤ、ＲＭＳＰｒｏｐ、参考文献３で開示されているＡｄａＧｒａｄ、参考文献４で開示されているＡｄａｄｅｌｔａ、及び参考文献５で開示されているＡｄａｍ等を用いることができる。学習率、ｗｅｉｇｈｔ ｄｅｃａｙの設定も任意である。ここで学習されたニューラルネットワークのうち、単一パッチの順伝播ネットワークから出力される任意の中間表現を局所特徴記述子として用いることができる。

［参考文献３］J. Duchi et al., Adaptive Subgradient Methods for Online Learning and Stochastic Optimization, in JMLR, 2011.
［参考文献４］M. D. Zeiler, ADADELTA: An Adaptive Learning Rate Method, in CoRR, 2012.
［参考文献５］D. P. Kingma et al., ADAM: A Method for Stochastic Optimization, in Proc. ICLR, 2015.

局所特徴表現学習部３６は、学習した局所特徴記述子を出力する。

終了判定部３８には、局所特徴表現学習部３６から局所特徴記述子が入力される。同一領域パッチペア抽出部３２から局所特徴表現学習部３６による繰り返し処理を行う場合、終了判定部３８は、当該局所特徴記述子を同一領域パッチペア抽出部３２に出力する。この場合、同一領域パッチペア抽出部３２は、終了判定部３８から入力された局所特徴記述子を用いることで、より多くのパッチペアを抽出することができる。そのため、学習データ構築部３４により、抽出されたパッチペアから再び構築された学習データを用いることで、局所特徴表現学習部３６により、局所特徴記述子そのものも更新することができる。

終了判定部３８では、上記の繰り返し処理について終了判定処理を行う。終了判定の基準は任意であり、例えば、上記の繰り返し処理の繰り返し回数を所定の回数で打ち切ったり、同一領域パッチペア抽出部３２で得られたパッチペア集合と、直前に得られたパッチペア集合とが変わらなくなったことを基準としたりすればよい。

なお、本実施形態の局所特徴表現学習装置２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、局所特徴表現学習プログラムや各種データを記憶したＲＯＭと（Read Only Memory）、を含むコンピュータで構成することができる。本実施形態のＣＰＵが局所特徴表現学習プログラムを実行することにより、局所特徴表現学習装置２０のパッチ抽出部３０、同一領域パッチペア抽出部３２、学習データ構築部３４、局所特徴表現学習部３６、及び終了判定部３８の各々として機能する。

＜本実施形態の局所特徴表現学習装置２０の作用＞

次に、本実施形態の局所特徴表現学習装置２０の作用について説明する。

パッチ抽出部３０に画像データセット１０が入力されると、局所特徴表現学習装置２０は、図１１に一例を示す、局所特徴表現学習処理ルーチンを実行する。

図１１に示したステップＳ１００でパッチ抽出部３０は、上述したように、画像データセット１０に含まれる各画像１２の各々から、局所特徴抽出の対象となるパッチの抽出を行い、抽出したパッチの集合を出力する。

次のステップＳ１０２で同一領域パッチペア抽出部３２は、上述したように、入力されたパッチの集合から、同一ラベルの任意の画像ペアについて幾何的な同一性の判定を行い、その結果得られた変形パラメータとしてホモグラフィを用いて同一領域パッチペアを抽出して出力する。

次のステップＳ１０４で学習データ構築部３４は、上述したように、入力された同一領域パッチペア及びパッチの集合を用いて、学習データ構築部３４は、同一領域パッチペア及びパッチの集合を用いて、後段の局所特徴表現学習部３６で用いるニューラルネットワークの誤差関数の種類に応じた学習データを構築して出力する。

次のステップＳ１０６で局所特徴表現学習部３６は、上述したように、入力された学習データを用いて、同一の物理領域から抽出されたパッチ間の類似度が高く、異なる物理領域から抽出されたパッチ間は類似度が低いような特徴空間へ各パッチを写像する局所特徴記述子を学習し、学習した局所特徴記述子（局所特徴表現）を出力する。

次のステップＳ１０８で終了判定部３８は、上述したように、予め定められた基準に基づいて、繰り返し処理を行うか否かを判定する。本実施形態では、一例として予め定められた基準を満たさない場合は繰り返し処理を行うため、ステップＳ１０８の判定が否定判定となり、ステップＳ１０２に戻り、上記各ステップの処理を繰り返す。この場合、終了判定部３８は、入力された局所特徴記述子を同一領域パッチペア抽出部３２に出力する。

一方、予め定められた基準を満たす場合、ステップＳ１０８の判定が肯定判定となり、本局所特徴表現学習処理ルーチンを終了する。この場合、終了判定部３８は、入力された局所特徴記述子（局所特徴表現）を局所特徴表現学習装置２０の外部に出力する。

以上説明したように、本実施形態の局所特徴表現学習装置２０は、複数の画像１２を含む画像データセット１０から局所特徴表現を学習する局所特徴表現学習装置２０であって、入力される画像データセット１０に含まれる各画像１２から複数のパッチを抽出するパッチ抽出部３０と、画像データセット１０に含まれる任意の画像ペアの幾何的な同一性を判定し、同一であると判定された画像ペアから、幾何的な変形パラメータを用いて同一物理領域を捉えたパッチのペアを抽出する同一領域パッチペア抽出部と、パッチ抽出部３０で抽出された複数のパッチからなるパッチの集合、及び同一領域パッチペア抽出部３２で抽出されたパッチのペアを用いて、局所特徴表現の学習のための学習データを構築する学習データ構築部と、学習データ構築部で構築された学習データを用いて局所特徴表現を学習する局所特徴表現学習部と、予め定められた基準を満たすまで、局所特徴表現学習部で学習された局所特徴表現を用いて、同一領域パッチペア抽出部から局所特徴表現学習部までの処理を繰り返し行わせる終了判定部と、を備える。

従って、本実施形態の局所特徴表現学習装置２０によれば、幾何的及び光学的な変形に頑健な局所特徴記述子を、パッチ単位のアノテーションを用いることなく学習することができる。また、本実施形態の局所特徴表現学習装置２０によれば、複数のパッチを人手でラベリングせずとも、自動でラベリングするため、人手による手間を省くことができる。

なお、上記実施形態では、局所特徴表現学習装置２０に入力される画像データセット１０が、一例として複数の画像１２に対して、複数のカテゴリのラベルが付与された画像データセット１０である場合について説明したが、画像データセット１０はこれに限定されない。例えば、ラベルが付与されていない複数の画像１２を含むものであってもよい。

なお、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。

２０ 局所特徴表現学習装置
３０ パッチ抽出部
３２ 同一領域パッチペア抽出部
３４ 学習データ構築部
３６ 局所特徴表現学習部
３８ 終了判定部
４０ 局所特徴記述部
４２ 変形推定部
４４ 同一領域判定部

Claims (6)

1. 複数の画像を含む画像データセットから局所特徴表現を学習する局所特徴表現学習装置であって、
   入力される画像データセットに含まれる各画像から複数のパッチを抽出するパッチ抽出部と、
   前記画像データセットに含まれる任意の画像ペアの幾何的な同一性を判定し、同一であると判定された画像ペアから、幾何的な変形パラメータを用いて同一物理領域を捉えた前記パッチのペアを抽出する同一領域パッチペア抽出部と、
   前記パッチ抽出部で抽出された前記複数のパッチからなるパッチの集合、及び前記同一領域パッチペア抽出部で抽出された前記パッチのペアを用いて、局所特徴表現の学習のための学習データを構築する学習データ構築部と、
   前記学習データ構築部で構築された前記学習データを用いて局所特徴表現を学習する局所特徴表現学習部と、
   予め定められた基準を満たすまで、前記局所特徴表現学習部で学習された局所特徴表現を用いて、前記同一領域パッチペア抽出部から前記局所特徴表現学習部までの処理を繰り返し行わせる終了判定部と、
   を備える局所特徴表現学習装置。
2. 前記同一領域パッチペア抽出部は、
   前記パッチ抽出部で抽出された前記複数の各パッチの各々を前記局所特徴表現を用いて特徴表現する局所特徴記述部と、
   前記画像データセットに含まれる画像ペアについて、前記局所特徴記述部により表現された各パッチの局所特徴に基づいて、画像ペアの幾何的な同一性の判定、及び前記幾何的な変形パラメータの推定を行う変形推定部と、
   前記変形推定部で同一であると判定がなされた画像ペアについて、前記変形パラメータを用いて同一物理領域を捉えた前記パッチのペアを抽出する同一領域判定部と、
   を備える、請求項１に記載の局所特徴表現学習装置。
3. 前記局所特徴表現学習部は、
   前記学習データを用いて、前記同一領域パッチペア抽出部で、同一物理領域を捉えていると判定された前記パッチのペアの類似度は高く、かつ異なる物理領域を捉えていると判定された前記パッチのペアの類似度は低くなるような特徴空間へ、パッチを写像するニューラルネットワークを学習する、
   請求項１または請求項２に記載の局所特徴表現学習装置。
4. 前記学習データ構築部は、
   同一物理領域を捉えていないと判定された前記パッチのペアを学習データとするにあたり、前記同一領域パッチペア抽出部における同一性の判定結果を用いる、
   請求項１から請求項３のいずれか１項に記載の局所特徴表現学習装置。
5. 前記学習データ構築部は、
   同一物理領域を捉えていないと判定された前記パッチのペアを学習データとするにあたり、前記入力される画像データセットに付与されている画像単位のラベルの情報を用いる、
   請求項１から請求項３のいずれか１項に記載の局所特徴表現学習装置。
6. 複数の画像を含む画像データセットから局所特徴表現を学習する局所特徴表現学習装置における局所特徴表現学習方法であって、
   パッチ抽出部が、入力される画像データセットに含まれる各画像から複数のパッチを抽出するステップと、
   同一領域パッチペア抽出部が、前記画像データセットに含まれる任意の画像ペアの幾何的な同一性を判定し、同一であると判定された画像ペアから、幾何的な変形パラメータを用いて同一物理領域を捉えた前記パッチのペアを抽出するステップと、
   学習データ構築部が、前記パッチ抽出部で抽出された前記複数のパッチからなるパッチの集合、及び前記同一領域パッチペア抽出部で抽出された前記パッチのペアを用いて、局所特徴表現の学習のための学習データを構築するステップと、
   局所特徴表現学習部が、前記学習データ構築部で構築された前記学習データを用いて局所特徴表現を学習するステップと、
   終了判定部が、予め定められた基準を満たすまで、前記局所特徴表現学習部で学習された局所特徴表現を用いて、前記同一領域パッチペア抽出部から前記局所特徴表現学習部までの処理を繰り返し行わせるステップと、
   を含む局所特徴表現学習方法。