JP2013120482A - 画像特徴量抽出装置およびそのプログラム - Google Patents

Abstract

【課題】概略の特徴を捉えて一般物体認識の精度を向上させる。
【解決手段】フレーム画像データから複数の特徴点を検出する特徴点検出部２０と、これら複数の特徴点それぞれについて、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値を推定する特徴点スケール検出部３０と、フレーム画像データからエッジ成分を検出し、複数の特徴点それぞれについて、特徴点近傍の局所領域におけるエッジ成分の主方向を検出する特徴点主方向検出部４０と、複数の特徴点それぞれについて、スケール推定値と主方向推定値とに基づき、特徴点に対する局所特徴量の空間的な共起に基づく共起特徴ベクトルを生成する共起特徴ベクトル生成部５０とを備えた。
【選択図】図１

Description

本発明は、画像特徴量抽出装置およびそのプログラムに関する。

画像から「自動車」や「花」といった一般的なオブジェクトを検出する一般物体認識技術が知られている（例えば、非特許文献１参照）。この一般物体認識技術は、情報処理装置が、一般名称により表現される物体を画像から認識する技術である。この一般物体認識技術は、視覚語（Ｖｉｓｕａｌ Ｗｏｒｄｓ）のクラスタである語彙を生成するための学習手続と、この学習手続により生成された語彙に基づいて特徴ベクトルを算出する算出手続とによって実現される。学習手続では、情報処理装置は、学習用の画像データから局所特徴量を算出する。局所特徴量としては、例えばＳｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）特徴量が適用される。情報処理装置は、このＳＩＦＴを適用することにより、画像の回転やスケールの変化に対して安定したオブジェクトの抽出を行うことができる。次に、学習手続において、情報処理装置は、局所特徴量のクラスタ分析処理を実行し、各クラスタの重心ベクトルを視覚語として選択する。また、算出手続では、情報処理装置は、画像認識の対象である画像データから局所特徴量を算出し、距離が最も近い視覚語に各局所特徴量を割り当てる。次に、情報処理装置は、視覚語の出現頻度ヒストグラムを算出し、この出現頻度ヒストグラムを画像の特徴ベクトルとする。

G. Csurka, C. R. Dance, Lixin Fan, J. Willamowski, C. Bray, "Visual Categorization with Bags of Keypoints", Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74, 2004.

上記のＳＩＦＴは、参照画像および対象画像、映像における前フレーム画像および現フレーム画像等の、二つの画像間の特徴点を対応付けて局所領域における特徴を厳密に規定する方式である。すなわち、ＳＩＦＴは、画像におけるオブジェクトの認識や追跡に適した方式である。また、ＳＩＦＴは、画像における特徴点間の適合性を一切考慮せず独立に扱う方式である。よって、ＳＩＦＴは、特定のオブジェクトを検出することに適した方式である。
したがって、例えばＳＩＦＴを適用した従来の一般物体認識技術は、一般名称により表現される物体、すなわち、一般的なオブジェクトの概略の特徴を捉えることが困難であった。

本発明は、上記の問題点に鑑みてなされたものであり、概略の特徴を捉えて一般物体認識の精度を向上させることができる、画像特徴量抽出装置およびそのプログラムを提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である画像特徴量抽出装置は、フレーム画像データから複数の特徴点を検出する特徴点検出部と、前記特徴点検出部が検出した前記複数の特徴点それぞれについて、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値を推定する特徴点スケール検出部と、前記フレーム画像データからエッジ成分を検出し、前記複数の特徴点それぞれについて、特徴点近傍の局所領域における前記エッジ成分の主方向を検出する特徴点主方向検出部と、前記複数の特徴点それぞれについて、前記特徴点スケール検出部が推定した前記スケール値と前記特徴点主方向検出部が検出した前記主方向とに基づき、特徴点に対する局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、を備えることを特徴とする。
［２］上記［１］記載の画像特徴量抽出装置において、前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部、をさらに備えたことを特徴とする。
［３］上記［１］または［２］記載の画像特徴量抽出装置において、前記特徴点主方向検出部は、前記複数の特徴点それぞれについて、特徴点近傍の局所領域における重み付きエッジ方向ヒストグラムを生成し、前記重み付きエッジ方向ヒストグラムから最大値に対応するエッジ方向を検出することにより、前記エッジ成分の主方向を推定することを特徴とする。
［４］上記［１］から［３］いずれか一項記載の画像特徴量抽出装置において、前記共起特徴量生成部は、前記複数の特徴点それぞれについて、特徴点を中心とした前記スケール値に対応する半径を有する円周上における２点の共起に基づく共起特徴量を、前記主方向に基づき計算することを特徴とする。
［５］上記の課題を解決するため、本発明の一態様であるプログラムは、コンピュータを、フレーム画像データから複数の特徴点を検出する特徴点検出部と、前記特徴点検出部が検出した前記複数の特徴点それぞれについて、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値を推定する特徴点スケール検出部と、前記フレーム画像データからエッジ成分を検出し、前記複数の特徴点それぞれについて、特徴点近傍の局所領域における前記エッジ成分の主方向を検出する特徴点主方向検出部と、前記複数の特徴点それぞれについて、前記特徴点スケール検出部が推定した前記スケール値と前記特徴点主方向検出部が検出した前記主方向とに基づき、特徴点に対する局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、として機能させる。

本発明によれば、概略の特徴を捉えて一般物体認識の精度を向上させることができる。

本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。 特徴点検出部が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。 特徴点近傍の局所領域に基づき求めた重み付きエッジ方向ヒストグラムを模式的に示す図である。 一特徴点に対する共起特徴ベクトルを概念的に示す図である。 特徴ベクトル生成部が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。 同実施形態において、画像特徴量抽出装置が実行する画像特徴量抽出処理の手順を示すフローチャートである。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［１ 構成］
図１は、本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。同図が示すように、画像特徴量抽出装置１は、画像データ取得部１０と、特徴点検出部２０と、特徴点スケール検出部３０と、特徴点主方向検出部４０と、共起特徴ベクトル生成部（共起特徴量生成部）５０と、特徴ベクトル生成部（特徴量生成部）６０とを備える。

画像データ取得部１０は、図示しない外部装置から供給される画像データを取り込む。外部装置は、例えば、撮影装置や記録装置である。画像データは、静止画像データまたは動画像データである。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとして特徴点検出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームをフレーム画像データとして、順次またはあらかじめ決定された所定フレーム数おきに特徴点検出部２０に供給する。

特徴点検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込み、このフレーム画像データから複数の特徴点を検出する。例えば、特徴点検出部２０は、取り込んだフレーム画像データに対し、グリッドサンプリング処理を実行してフレーム画像上の複数の特徴点を検出する。グリッドサンプリング処理は、フレーム画像に対応させた所定の格子（グリッド）における格子点に対する画素を特徴点として検出する処理である。
特徴点検出部２０は、フレーム画像データと複数の特徴点の位置を示す特徴点位置情報とを、特徴点スケール検出部３０に供給する。特徴点位置情報は、例えば、複数の特徴点に対応する各画素の座標値である。

特徴点スケール検出部３０は、特徴点検出部２０から供給されるフレーム画像データと特徴点位置情報とを取り込み、これらフレーム画像データと特徴点位置情報とに基づいて、特徴点ごとに画像スケールの最適値を推定し、スケール推定値とする。画像スケールの最適値とは、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値である。特徴点近傍の局所領域は、特徴点を含みその特徴点の近傍における局所領域である。
特徴点スケール検出部３０は、フレーム画像データと特徴点ごとのスケール推定値とを、特徴点主方向検出部４０に供給する。

特徴点主方向検出部４０は、特徴点スケール検出部３０から供給されるフレーム画像データと特徴点ごとのスケール推定値とを取り込む。特徴点主方向検出部４０は、取り込んだフレーム画像データに基づいて、特徴点近傍の局所領域からエッジ成分を検出する。エッジ成分は、画素ごとの、エッジの強度を示すエッジ強度と、エッジの方向を示すエッジ方向とを含むデータである。
また、特徴点主方向検出部４０は、取り込んだフレーム画像データと特徴点ごとのスケール推定値と検出したエッジ成分とに基づいて、特徴点ごとに主方向を検出し主方向推定値とする。主方向は、特徴点近傍の局所領域におけるエッジ成分の主方向である。
特徴点主方向検出部４０は、フレーム画像データと特徴点ごとのスケール推定値と主方向推定値とを、共起特徴ベクトル生成部５０に供給する。

共起特徴ベクトル生成部５０は、特徴点主方向検出部４０から供給される、フレーム画像データと特徴点ごとのスケール推定値と主方向推定値とを取り込む。共起特徴ベクトル生成部５０は、フレーム画像データとこれら特徴点ごとのスケール推定値と主方向推定値とに基づいて、当該特徴点に対する局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトル（共起特徴量）を生成する。共起特徴ベクトル生成部５０は、生成した特徴点ごとの共起特徴ベクトルを特徴ベクトル生成部６０に供給する。

特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される共起特徴ベクトルを取り込む。特徴ベクトル生成部６０は、フレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトル（平均共起特徴量）を計算する。特徴ベクトル生成部６０は、上記の複数のブロックすべてについての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトル（特徴量）として出力する。

なお、画像特徴量抽出装置１は、図１には図示しない制御部を備える。この制御部は、画像特徴量抽出装置１全体を制御する。制御部は、例えば、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）および半導体記憶装置を含んで構成される。

［２ 処理］
［２−１．特徴点の検出処理］
図２は、特徴点検出部２０が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。同図において、Ｐは、フレーム画像２に対応させた格子のうちの一格子点である。各格子点に対応する画素が特徴点である。なお、同図においては、図を見易くするために、各格子点を丸印で表している。また、格子点間距離（グリッドサイズ）として、ｘ軸方向の格子点間距離をＧ_ｘとし、ｙ軸方向の格子点間距離をＧ_ｙとする。格子点間距離Ｇ_ｘと格子点間距離をＧ_ｙとは、同一であってもよいし、異なっていてもよい。

特徴点検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込むと、図２に示すように、フレーム画像２に対応させた格子における格子点に対応する画素を特徴点として検出する。そして、特徴点検出部２０は、例えば、検出した複数の特徴点の座標値を示す特徴点位置情報を生成する。
特徴点検出部２０は、グリッドサンプリング処理により一定の画素間隔で特徴点を検出することにより、フレーム画像の特性（画質）によらず一定数の特徴点を得ることができる。

［２−２．画像スケールの検出処理］
特徴点スケール検出部３０は、特徴点検出部２０から供給されるフレーム画像データと特徴点位置情報とを取り込むと、例えば、特徴点位置情報により位置が特定される特徴点ごとに、Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ（ＤｏＧ）の極大値を計算し、このＤｏＧが極大値となるときのスケール値を一次スケール推定値として求める。ＤｏＧは、スケールが異なる二つの平滑化画像の差分データであり、下記の式（１）として表される。ただし、Ｇ（ｕ，ｖ，σ）は、分散をσとしたガウス窓（ガウシアンフィルタ）である。この分散σがスケール値である。Ｉ（ｘ＋ｕ，ｙ＋ｖ）はフレーム画像における座標（ｘ＋ｕ，ｙ＋ｖ）の画素値である。

特徴点スケール検出部３０は、特徴点ごとに、スケール値σを初期値σ_０からｋ倍ずつ変化させてＤ（ｘ，ｙ，σ）を計算し、このＤ（ｘ，ｙ，σ）が極大値となるときのスケール値σ_ｍを一次スケール推定値として抽出する。ｋは任意の正の係数であり、例えば√２である。

次に、特徴点スケール検出部３０は、特徴点ごとに、Ｄ（ｘ，ｙ，σ_ｍ）のスケール値σ_ｍに対する多項式近似を計算することによって、スケール推定値σ（ハット）を得る。具体的には、特徴点スケール検出部３０は、下記の式（２）を計算することにより、Ｄ（ｘ，ｙ，σ_ｍ）をスケール値σ_ｍに対しテイラー展開して二次近似を得る。

次に、特徴点スケール検出部３０は、下記の式（３）に示すとおり、式（２）による二次近似式の導関数を“０（ゼロ）”とすることにより、スケール推定値σ（ハット）を求める。

［２−３．主方向の検出処理］
特徴点主方向検出部４０は、特徴点スケール検出部３０から供給されるフレーム画像データと特徴点ごとのスケール推定値σ（ハット）とを取り込むと、フレーム画像データに基づいて各画素のエッジ成分を計算する。具体的には、特徴点主方向検出部４０は、例えば、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）を適用し、下記の式（４）により、フレーム画像における各画素のエッジ成分を計算する。ただし、同式において、フレーム画像に対応する座標系は、例えば、フレーム画像の左上端の画素の位置を原点とし、水平方向をｘ軸、垂直方向をｙ軸とした直交座標系である。また、ｍ（ｘ，ｙ）は座標値（ｘ，ｙ）の注目画素におけるエッジ強度、θ（ｘ，ｙ）は注目画素におけるエッジ方向を表す。また、Δｘは輝度勾配のｘ軸方向成分、Δｙは輝度勾配のｙ軸方向成分である。

なお、特徴点主方向検出部４０には、ソーベルフィルタ以外にも、例えば、プレウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）、ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）等を適用してもよい。

次に、特徴点主方向検出部４０は、フレーム画像データと特徴点ごとのスケール推定値σ（ハット）と検出したエッジ成分とに基づいて、特徴点ごとに、当該特徴点近傍の局所領域における重み付きエッジ方向ヒストグラムを生成する。具体的には、例えば、特徴点主方向検出部４０は、特徴点ごとに、分散Ｋσのガウス窓を空間的重み付けとした重み付きエッジ方向ヒストグラムを計算する。エッジ方向θ（ｘ，ｙ）をｎ方向に量子化する場合、ガウス窓の分散Ｋσに対する重み付きエッジ方向ヒストグラムｈ_{ｘ、ｙ、Ｋσ}は、下記の式（５）として表される。ただし、Ｇ（ｕ，ｖ，Ｋσ（ハット））は、座標（ｘ＋ｕ，ｙ＋ｖ）におけるエッジ強度ｍ（ｘ＋ｕ，ｙ＋ｖ）に対する重み係数であり、座標（ｘ＋ｕ，ｙ＋ｖ）が座標（ｘ，ｙ）から離れるほど小さな重み係数となるガウス窓である。δ_ｉ（θ（ｘ＋ｕ，ｙ＋ｖ））は、量子化されたθ（ｘ＋ｕ，ｙ＋ｖ）がｉ番目のビンに属する場合には“１”、それ以外の場合には“０（ゼロ）”となる関数である。

図３は、特徴点近傍の局所領域に基づき求めた重み付きエッジ方向ヒストグラムを模式的に示す図である。同図における上側の図は、座標値（ｘ，ｙ）の画素に対応する特徴点におけるエッジ方向θ（ｘ，ｙ）をｎ方向（ｎ＝８）に量子化する場合の、分散Ｋσのガウス窓を表している。また、同図における下側の図は、特徴点主方向検出部４０が、分散Ｋσのガウス窓を空間的重み付けとして計算した重み付きエッジ方向ヒストグラムを表している。この重み付きエッジ方向ヒストグラムは、横軸にビン数を８とした階級ごとのエッジ方向θ、縦軸に度数ｈ_ｉをとり、エッジ方向θの度数分布を表している。

次に、特徴点主方向検出部４０は、特徴点ごとに、重み付きエッジ方向ヒストグラムから最大値に対応するエッジ方向θ_ｍを検出し、ｈ_ｉのエッジ方向θ_ｍに対する多項式近似を計算することによって、エッジ方向推定値θ（ハット）を得る。具体的には、特徴点主方向検出部４０は、下記の式（６）を計算することにより、ｈ_ｉをエッジ方向θ_ｍに対しテイラー展開して二次近似を得る。

次に、特徴点主方向検出部４０は、下記の式（７）に示すとおり、式（６）による二次近似式の導関数“０（ゼロ）”とすることにより、主方向推定値θ（ハット）を求める。

［２−４．共起特徴ベクトルの生成処理］
共起特徴ベクトル生成部５０は、特徴点主方向検出部４０から供給される、フレーム画像データと特徴点ごとのスケール推定値σ（ハット）と主方向推定値θ（ハット）とを取り込むと、当該特徴点を中心とした半径Ａσ（ハット）の円周上において点対象となる２点の共起に基づく共起特徴ベクトルを計算する。上記のＡは定数である。０ラジアンからπラジアンまでの円周をＭ等分した場合の、円周上のｉ番目の点の座標値は、下記の式（８）のとおりである。

すなわち、共起特徴ベクトル生成部５０は、特徴点の半径Ａσ（ハット）の円周上の一方の点（ｘ_θｉ，ｙ_θｉ）におけるエッジ方向ヒストグラムと、特徴点の位置に対して一方の点（ｘ_θｉ，ｙ_θｉ）と点対称の位置にある他方の点（ｘ_θｉ＋π，ｙ_θｉ＋π）におけるエッジ方向ヒストグラムとの共起に基づき、下記の式（９）により２点間の共起特徴ベクトルを計算する。ただし、ｈ_{ｘ，ｙ，Ｂσ，θ（ハット）}は、前記の式（５）と同様に、座標値が（ｘ，ｙ）である画素を中心としたスケールＢσ（Ｂは定数）のガウス窓を畳み込んだ重み付きエッジ方向ヒストグラムを示している。ただし、共起特徴ベクトル生成部５０は、各画素におけるエッジ方向を特徴点の主方向推定値θ（ハット）に合わせたうえで、重み付きエッジ方向ヒストグラムを計算する。

図４は、一特徴点に対する共起特徴ベクトルを概念的に示す図である。同図は、座標値が（ｘ，ｙ）である特徴点を中心とした半径Ａσ（ハット）の円周をＭ（Ｍ＝４）等分して得られる各画素における共起特徴ベクトルＵ_θ０から共起特徴ベクトルＵ_θ３までを示している。

共起特徴ベクトル生成部５０は、特徴点を中心とした円周上のＭ点全てについて共起特徴ベクトルを計算し、これらＭ個の共起特徴ベクトルを下記の式（１０）に示すとおり連結して共起特徴ベクトルを生成する。ただし、式（９）におけるＵ_θｉは正方行列であるが、共起特徴ベクトル生成部５０は、その正方行列の各行を一列に連結した一次元の行列Ｕ’_θｉに変換してＭ個の共起特徴ベクトルを連結する。

［２−５．特徴ベクトルの生成処理］
図５（ａ），（ｂ）は、特徴ベクトル生成部６０が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。同図（ａ）は、フレーム画像をｘ軸方向において３等分し、ブロック５ａ，５ｂ，５ｃに分割した例である。また、同図（ｂ）は、フレーム画像をｘ軸方向およびｙ軸方向それぞれにおいて２等分し、ブロック５ｄ，５ｅ，５ｆ，５ｇに分割した例である。
特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される共起特徴ベクトルを取り込むと、同図（ａ）または同図（ｂ）に示すようにフレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算する。次に、特徴ベクトル生成部６０は、計算したすべての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトルとして出力する。

［３ 画像特徴量抽出装置の動作］
次に、画像特徴量抽出装置１の動作について説明する。
図６は、画像特徴量抽出装置１が実行する画像特徴量抽出処理の手順を示すフローチャートである。ただし、同図は、１フレーム画像データについての処理手順を示す図である。
ステップＳ１において、画像データ取得部１０は、外部装置から供給される画像データを取り込む。取り込まれた画像データが静止画像データである場合、画像データ取得部１０は、その画像データをフレーム画像データとして特徴点検出部２０に供給する。また、取り込まれた画像データが動画像データである場合、画像データ取得部１０は、その動画像データからキーフレームを検出し、このキーフレームをフレーム画像データとして特徴点検出部２０に供給する。

次に、ステップＳ２において、特徴点検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込み、このフレーム画像データから複数の特徴点を検出する。例えば、特徴点検出部２０は、取り込んだフレーム画像データに対し、グリッドサンプリング処理を実行してフレーム画像上の複数の特徴点を検出する。
次に、特徴点検出部２０は、フレーム画像データと複数の特徴点の位置を示す特徴点位置情報とを、特徴点スケール検出部３０に供給する。

次に、ステップＳ３において、画像特徴量抽出装置１が備える制御部は、処理対象であるフレーム画像データにおいて、未処理の特徴点があるか否かを判定する。そして、制御部は、未処理の特徴点があると判定した場合（Ｓ３：ＹＥＳ）は、一つの未処理の特徴点を指定してステップＳ４の処理に移す。一方、制御部は、全ての特徴点についての処理が完了していると判定した場合（Ｓ３：ＮＯ）は、ステップＳ７の処理に移す。

ステップＳ４において、特徴点スケール検出部３０は、特徴点検出部２０から供給されるフレーム画像データと特徴点位置情報とを取り込み、これらフレーム画像データと特徴点位置情報とに基づいて、画像スケールの最適値であるスケール推定値を推定する。
次に、特徴点スケール検出部３０は、フレーム画像データとスケール推定値とを、特徴点主方向検出部４０に供給する。

次に、ステップＳ５において、特徴点主方向検出部４０は、特徴点スケール検出部３０から供給されるフレーム画像データとスケール推定値とを取り込む。
次に、特徴点主方向検出部４０は、取り込んだフレーム画像データに基づいて、特徴点近傍の局所領域からエッジ成分を検出する。
次に、特徴点主方向検出部４０は、取り込んだフレーム画像データとスケール推定値と検出したエッジ成分とに基づいて、主方向推定値を推定する。
次に、特徴点主方向検出部４０は、フレーム画像データとスケール推定値と主方向推定値とを、共起特徴ベクトル生成部５０に供給する。

次に、ステップＳ６において、共起特徴ベクトル生成部５０は、特徴点主方向検出部４０から供給される、フレーム画像データとスケール推定値と主方向推定値とを取り込む。
次に、共起特徴ベクトル生成部５０は、フレーム画像データとスケール推定値と主方向推定値とに基づいて、当該特徴点に対する局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトルを生成する。
次に、共起特徴ベクトル生成部５０は、生成した共起特徴ベクトルを特徴ベクトル生成部６０に供給する。
次に、制御部は、ステップＳ３の処理に移す。

ステップＳ７において、特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される、特徴点ごとの共起特徴ベクトルを取り込んだ後、フレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算する。
次に、特徴ベクトル生成部６０は、上記の複数のブロックすべてについての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトルとして出力する。
次に、制御部は、本フローチャートの処理を終了させる。

以上、詳述したとおり、本発明の一実施形態である画像特徴量抽出装置１は、外部装置から供給される画像データを取り込んでフレーム画像データを出力する画像データ取得部１０と、フレーム画像データから複数の特徴点を検出する特徴点検出部２０とを備えた。
また、画像特徴量抽出装置１は、特徴点検出部２０が検出した複数の特徴点それぞれについて、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値を推定する特徴点スケール検出部３０を備えた。
また、画像特徴量抽出装置１は、フレーム画像データからエッジ成分を検出し、複数の特徴点それぞれについて、特徴点近傍の局所領域におけるエッジ成分の主方向を検出する特徴点主方向検出部を備えた。
また、画像特徴量抽出装置１は、複数の特徴点それぞれについて、特徴点スケール検出部３０が推定したスケール推定値と特徴点主方向検出部４０が推定した主方向推定値とに基づき、特徴点に対する局所特徴量の空間的な共起に基づく共起特徴ベクトルを生成する共起特徴ベクトル生成部５０を備えた。

また、画像特徴量抽出装置１は、フレーム画像データを分割して得られる複数のブロックそれぞれについて、共起特徴ベクトル生成部５０が生成した、ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、複数のブロックすべてについての平均共起特徴量を連結することにより、フレーム画像データ全体の特徴量を生成する特徴ベクトル生成部６０を備えた。

このように構成したことにより、本発明の一実施形態である画像特徴量抽出装置１は、フレーム画像データから検出した特徴点の周辺領域、つまり特徴点近傍の局所領域における局所特徴ベクトルの共起に基づいて、画像の内容を特徴付ける特徴ベクトルを生成して得ることができる。また、画像特徴量抽出装置１は、フレーム画像の回転およびスケール変化に対して不変な局所特徴ベクトルを生成することができる。
したがって、本実施形態によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
また、本実施形態によれば、フレーム画像の回転およびスケール変化に対して頑健（ロバスト）な一般物体認識を行わせることができる。

なお、上述した画像特徴量抽出装置１が出力する特徴ベクトルは、例えば、ラベルが付与された学習データとともに、画像データからのオブジェクトの認識に利用されたり、特徴ベクトル間のマッチングによって類似画像の検索に利用されたりすることができる。

また、上述した実施形態である画像特徴量抽出装置の一部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するためのプログラム（画像特徴量抽出プログラム）をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 画像特徴量抽出装置
１０ 画像データ取得部
２０ 特徴点検出部
３０ 特徴点スケール検出部
４０ 特徴点主方向検出部
５０ 共起特徴ベクトル生成部
６０ 特徴ベクトル生成部

Claims (5)

1. フレーム画像データから複数の特徴点を検出する特徴点検出部と、
   前記特徴点検出部が検出した前記複数の特徴点それぞれについて、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値を推定する特徴点スケール検出部と、
   前記フレーム画像データからエッジ成分を検出し、前記複数の特徴点それぞれについて、特徴点近傍の局所領域における前記エッジ成分の主方向を検出する特徴点主方向検出部と、
   前記複数の特徴点それぞれについて、前記特徴点スケール検出部が推定した前記スケール値と前記特徴点主方向検出部が検出した前記主方向とに基づき、特徴点に対する局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、
   を備えることを特徴とする画像特徴量抽出装置。
2. 前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部、
   をさらに備えたことを特徴とする請求項１記載の画像特徴量抽出装置。
3. 前記特徴点主方向検出部は、前記複数の特徴点それぞれについて、特徴点近傍の局所領域における重み付きエッジ方向ヒストグラムを生成し、前記重み付きエッジ方向ヒストグラムから最大値に対応するエッジ方向を検出することにより、前記エッジ成分の主方向を推定する
   ことを特徴とする請求項１または２記載の画像特徴量抽出装置。
4. 前記共起特徴量生成部は、前記複数の特徴点それぞれについて、特徴点を中心とした前記スケール値に対応する半径を有する円周上における２点の共起に基づく共起特徴量を、前記主方向に基づき計算する
   ことを特徴とする請求項１から３いずれか一項記載の画像特徴量抽出装置。
5. コンピュータを、
   フレーム画像データから複数の特徴点を検出する特徴点検出部と、
   前記特徴点検出部が検出した前記複数の特徴点それぞれについて、特徴点近傍の局所領域における画像のエッジ成分を含む範囲を示すスケール値を推定する特徴点スケール検出部と、
   前記フレーム画像データからエッジ成分を検出し、前記複数の特徴点それぞれについて、特徴点近傍の局所領域における前記エッジ成分の主方向を検出する特徴点主方向検出部と、
   前記複数の特徴点それぞれについて、前記特徴点スケール検出部が推定した前記スケール値と前記特徴点主方向検出部が検出した前記主方向とに基づき、特徴点に対する局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、
   として機能させるためのプログラム。

Images