JP2013097583A

JP2013097583A - 特徴量生成装置、方法及びプログラム

Info

Publication number: JP2013097583A
Application number: JP2011239863A
Authority: JP
Inventors: Tetsuo Ishita; 哲夫井下; Shuji Senda; 修司仙田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-11-01
Filing date: 2011-11-01
Publication date: 2013-05-20

Abstract

【課題】高い認識精度を維持しつつ特徴量の次元数を削減することができる特徴量生成装置、方法及びプログラムを提供する。
【解決手段】特徴量生成装置は、入力画像を分割し、分割された各部分領域から、例えば勾配方向をヒストグラム化した特徴量を抽出し、分割された部分領域を複数選択し、選択された部分領域を処理単位として、部分領域の位置に応じた重み付けを行い、特徴量を次元ごとに合算することにより特徴量の次元削除を行う。
【選択図】図１

Description

本発明は、特徴量生成装置、方法及びプログラムに関する。

画像の特徴量を生成し、これを用いて画像中の物体を認識する技術が知られている。画像中の物体を認識するための特徴量を生成する手法として、非特許文献１のＨＯＧ（Histograms of Orientation Gradients）特徴量や、非特許文献２のＰＨＯＧ（Pyramid of Histograms of Orientation Gradients）特徴量などが提案されている。

ＨＯＧ特徴量は、画像の局所領域における勾配方向をヒストグラム化した特徴量を生成する。例えば図３に示すような、縦に６分割、横に８分割の計４８個の部分領域に分割した入力画像についてＨＯＧ特徴量を生成する場合、まず、各部分領域について２０度ごとに算出した勾配方向のヒストグラムを生成する。２０度ごとに勾配方向を算出すると、１８０度÷２０度の９種類の勾配が定義される。したがって、図３の部分領域１からは、９次元の勾配方向ヒストグラムが生成される。残りの部分領域についても同様に勾配方向ヒストグラムを生成する。次に、ｓ部分領域ずつずらしながら、ｎ×ｎ（縦ｎ個、横ｎ個）部分領域ごとに特徴量の正規化を行い、ＨＯＧ特徴量を生成する。例えば、ｓ＝１、ｎ＝２の場合、｛１，２，７，８｝の４部分領域で正規化を行い、４部分領域×９次元の特徴量を生成する。１部分領域ずつずらしながら、｛２，３，８，９｝｛３，４，９，１０｝・・・というように特徴量を生成し、入力画像に対する特徴量として、計４部分領域×９次元×５×７＝１２６０次元の特徴量が生成される。ＨＯＧ特徴量の次元数は、入力画像を最初にｍ×ｍに分割し、部分領域ごとにｄ次元の特徴を抽出する場合、（ｎ×ｎ）×ｄ×（ｍ−（ｎ−ｓ））×（ｍ−（ｎ−ｓ））で計算できる。

ＰＨＯＧ特徴量は、ＨＯＧ特徴量を多重解像度化して生成する。２階層のＰＨＯＧ特徴量の生成では、まず1階層目は前述のＨＯＧ特徴量を用い、次に２階層目の特徴量を生成する。例えば図４に示すような、前述したＨＯＧ特徴量の部分領域１（図３参照）等をさらに半分に分割した入力画像について、｛１’，２’，１３’，１４’｝等の部分領域を作成し、解像度の高い特徴量を抽出する。分割した部分領域で、例えば、ｓ＝１、ｎ＝２の場合、｛１’，２’，１３’，１４’｝の４部分領域で正規化を行い、４部分領域×９次元の特徴量を生成する。そして１部分領域ずつずらしながら、｛２’，３’，１４’，１５’｝｛３’，４’，１５’，１６’｝・・・というように特徴量を生成し、計４部分領域×９次元×１１×１５＝５９４０次元の特徴量が生成される。最後に、１階層目と２階層目の特徴量を結合する。この例においてＰＨＯＧでは１枚の入力画像に対して、合計５９４０＋１２６０＝７２００次元の特徴量が生成される。このように解像度の高い特徴量を抽出するために、画像を一定の大きさで分割した部分領域の多階層化を行うことで、物体認識精度の向上が可能になる。

N. Dalal, B. Triggs. "Histograms of Oriented Gradients for Human Detection". Proc. CVPR, pp.886-893, 2005. A. Bosch, A. Zisserman, X. Munoz. "Representing shape with a spatial pyramid kernel". Proc. CVPR, pp.401-408, 2007.

しかしながら、上述の手法では特徴量の次元数が多いため処理に時間がかかるという問題があった。特に、非特許文献２の特徴量生成方式では、画像を一定の大きさで分割した部分領域の多階層化を行うほど、特徴量の次元数が増大し、必要なメモリ容量や処理時間が増加するという問題があった。

本発明は、上記問題点に鑑みてなされたもので、高い認識精度を維持しつつ特徴量の次元数を削減することができる特徴量生成装置、方法及びプログラムを提供することを目的とする。

本発明は、画像を分割し、分割された各部分領域から特徴量を抽出する局所特徴量手段と、前記局所特徴量抽出手段により分割された部分領域を複数選択する部分領域選択手段と、選択された部分領域を処理単位として特徴量の次元削除を行う特徴量次元削減手段と、を備えることを特徴とする特徴量生成装置である。

本発明は、画像を分割し、分割された各部分領域から特徴量を抽出し、前記局所特徴量抽出手段により分割された部分領域を複数選択し、選択された部分領域を処理単位として特徴量の次元削除を行うことを特徴とする特徴量生成方法である。

本発明は、コンピュータに、画像を分割し、分割された各部分領域から特徴量を抽出する局所特徴量処理、前記局所特徴量抽出処理により分割された部分領域を複数選択する部分領域選択処理、選択された部分領域を処理単位として特徴量の次元削除を行う特徴量次元削減処理、を実行させることを特徴とするプログラムである。

本発明によれば、高い認識精度を維持しつつ特徴量の次元数を削減することができる。

図１は本発明の第１の実施形態に係る特徴量生成装置のブロック図である。図２は本発明の第１の実施形態に係る特徴量生成装置の動作を説明するためフローチャートである。図３は縦に６分割、横に８分割の計４８個の部分領域に分割した画像を示す図である。図４は図３の画像の各部分領域をさらに半分に分割した画像を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図1は、本発明の第１の実施形態に係る特徴量生成装置のブロック図である。図示されるように、この特徴量生成装置は、画像入力装置１１０と、データ処理部１２０と、特徴量出力装置１３０とを備える。

画像入力装置１１０は、スチルカメラやビデオカメラといった撮像システムで撮影した画像をデータ処理部１２０の局所特徴量抽出部１２１に入力する。

データ処理部１２０は、局所特徴量抽出部１２１と、部分領域選択部１２２と、特徴量次元削減部１２３とを含む。

局所特徴量抽出部１２１は、入力された画像を一定の大きさの部分領域に分割し、分割した部分領域から特徴量を抽出する。部分領域選択部１２２は、分割した部分領域の中から複数の部分領域を選択する。特徴量次元削減部１２３は、部分領域選択部１２２で選択した領域間で次元削減を行う。

特徴量出力装置１３０は、特徴量次元削減部１２３によって生成された特徴量を出力する。

次に、本実施形態にかかる特徴量生成装置の動作について説明する。図２は、本特徴量生成装置による動作の一例を示すフローチャートである。

まず、画像入力装置１１０は、スチルカメラやビデオカメラから取得した画像やＷＥＢに投稿された画像を取得し、局所特徴量抽出部１２１に渡す（ステップＳ１）。

局所特徴量抽出部１２１は、入力画像を一定の大きさの部分領域に分割し、分割した部分領域から局所特徴量を抽出する（ステップＳ２）。局所特徴量の抽出は、例えば非特許文献１で採用されている勾配方向ヒストグラムを用いてもよいし、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）などを部分領域ごとに抽出する方法を用いても良い。

勾配方向ヒストグラムの場合、画素Ｘｉの勾配方向θはｄｘ＝Ｘ（ｉ＋１）−Ｘ（ｉ−１）、ｄｙ＝Ｙ（ｉ＋１）−Ｙ（ｉ−１）として、θ＝ａｒｃｔａｎ（ｄｙ／ｄｘ）で計算し、勾配強度Ｌは｜Ｌ｜＝ＳＱＲＴ（ｄｘ×ｄｘ＋ｄｙ×ｄｙ）で計算する。ブロック内部で、すべてのＸｉについて、勾配方向θと勾配強度Ｌを算出した後、θに相当するビンに勾配強度Ｌを加算する。なお、ここでは画像を分割してから勾配方向や勾配強度を算出したが、先に勾配方向や勾配強度を算出してから、画像を分割しても良い。

次に、複数の部分領域から構成される、局所特徴量の次元削減を行う単位領域（複数の部分領域）を、部分領域選択部１２２を用いて選択する（ステップＳ３）。部分領域選択部１２２は、例えば部分領域間の距離に基づいて、部分領域を複数選択する。例えば図４に示すような、縦に１２分割、横に１８分割した入力画像において、基準となる部分領域から距離が１である部分領域を選択する場合、部分領域｛１４’｝を基準として見ると、距離が1の部分領域は｛２’，１３’，１５’，２６’｝となる。また、基準となる部分領域｛１４’｝からの距離が√２以下の部分領域を選択する場合は、｛１’，２’，３’，１３’，１５’，２５’，２６’，２７’｝を選択することになる。別の例では、画像の縦軸を対称軸とし、横幅の中間位置に対して対称軸を設定した場合、｛１４’｝について距離が０の部分領域は｛２３’｝、距離が１の部分領域は｛１０’，１１’，１２’，２２’，２４’，３４’，３５’，３６’｝となる。

対称軸を設定した方がよい画像例として、洋服画像が挙げられる。洋服は左右対称になっていることが多いため、対称の位置にある部分領域の特徴量と似ている。複数の似た特徴量が選択できると１つの特徴量に集約できるため、次元削減の効果が見込まれる。

また、多階層化により特徴量を生成する場合等において、分割前の部分領域に含まれる部分領域単位で選択してもよい。例えば図３に示す入力画像で１階層目の特徴量生成を行い、この画像の各部分領域をさらに半分に分割した画像（図４）で２階層目の特徴量を生成する場合、図３の画像の部分領域｛１｝に相当する、図４の分割後の画像の部分領域｛１’，２’，１３’，１４’｝を選択するようにしてもよい。

また、予め画像中から部分領域の類似度を算出し、類似度に基づいて部分領域を複数選択してもよい。例えば、全画像から平均画像を作成し、平均画像中から部分領域ごとに局所特徴量を算出する。部分領域ごとに局所特徴量の類似度をヒストグラムインターセクションにより算出する。なお、類似度は部分領域の特徴量の差が小さい場合に類似度が大きくなる値であればよい。

最後に、選択した複数の部分領域で次元削減を、特徴量次元削減部１２３を用いて行う（ステップＳ４）。特徴量次元削減部１２３は、複数選択された部分領域の位置に応じた重み付けを行い、特徴量を次元ごとに合算する。例えば、前記１４’について距離が√２以下の部分領域を選択した場合、｛１’，２’，３’，１３’，１５’，２５’，２６’，２７’｝の部分領域について、重みを設定する。部分領域の位置（ｘ、ｙ）における次元削減後のｎ次元の特徴量Ｖは、部分領域ｖ（ｘ、ｙ）と重みα（ｘ、ｙ）を用いて、次元ごとに式１により計算される。ここで重みαを、位置（ｘ、ｙ）を中心とするガウス分布とすると、αは式２で表される。なお、ここではガウス分布は等方性を仮定したが非等方性でも良い。

また、特徴量を次元ごとに合算するのではなく、複数選択された部分領域の各次元の中央値を用いてもよい。対称の位置にある複数の部分領域に対して次元削減を行う場合は、予め対称軸に対して部分領域を反転させた後、前述の次元削減を行ってもよい。このように、本発明では部分領域に対する次元削減を行うことで、特徴量を減らすことができる。

次に、本発明の第１の実施形態の実施例について詳細に説明する。

まず、データ処理部１２０の局所特徴量抽出部１２１は、入力画像に対して縦・横方向に分割を行う。例えば、入力画像が４８０×６４０サイズで、横方向１２、縦方向１６の一定の大きさで分割する場合、１部分領域は４０ピクセル×４０ピクセルから構成される。次に、部分領域ごとに勾配方向ヒストグラムの局所特徴量を抽出する。勾配方向が２０度間隔のヒストグラムを作成する場合、０度から１８０度と、１８０度から３６０度について、例えば、方向３０度と、方向２１０度は、同じ方向として扱い、次元数は１８０÷２０＝９次元となる。

次に、部分領域選択部１２２は次元削減の処理単位となる部分領域を選択する。例えば図４の画像において２×２の部分領域を選択する場合、まず、｛１’，２’，１３’，１４’｝を選択する。更に、１部分領域ずつずらしながら｛２’，３’，１４’，１５’｝・・・を選択する。選択した部分領域は、横方向１１、縦方向１５の領域からなる。

次に、特徴量次元削減部１２３は、特徴量の次元削減を行う。例えば図４の画像では、選択された複数の部分領域毎で重みが等しい平均化を行う。この場合、各部分領域は９次元で構成され、４つの部分領域の平均化を行うため、特徴量は９次元のままである。以上から、図４の画像での全特徴量の次元数は９次元×１１×１５＝１４８５次元となる。

次に、第１の実施の形態の効果について説明する。例えば図３、図４を用いて上述したように多層化により特徴量を生成する場合であって、１階層目は通常のＨＯＧ特徴量を生成し、２階層目について本発明の手法により特徴量を生成する場合、１枚の入力画像から、（１階層目で生成した１２６０次元の特徴量）＋（２階層目で生成した１４８５次元の特徴量）＝２７４５次元の特徴量が生成される。

例えば非特許文献２に示すようなＰＨＯＧ特徴量の生成方法と、本発明による特徴量の生成方法のそれぞれで、洋服画像２５３２枚を５カテゴリに分類する実験を行ったところ、両者ともに分類精度は７３％であった。ＰＨＯＧ特徴量の特徴量の次元数は７２００次元であることから、精度は同等で、次元数を約１／３に抑えることができた。従って、本発明は、認識精度を維持しつつ特徴量の次元数を削減することができる。

また、本発明によれば、認識精度を維持しつつ特徴量の次元数を削減することができるため、画像中の物体を高速に認識するといった用途に適用できる。特に、携帯端末のようなＣＰＵスペックが比較的低い処理能力の端末においても、画像中の物体を認識し、関連する情報を、表示デバイスを通して高速に提示できることが必要なＦＡ（Factory Automation）用途に用いることができる。

上述した本発明の実施形態に係る画像処理装置の局所特徴量抽出部１２１、部分領域選択部１２２、特徴量次元削減部１２３は、本特徴量生成装置のＣＰＵ（Central Processing Unit）が記憶部に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１１０画像入力装置
１２０データ処理部
１２１局所特徴量抽出部
１２２部分領域選択部
１２３特徴量次元削減部
１３０特徴量出力装置

Claims

画像を分割し、分割された各部分領域から特徴量を抽出する局所特徴量手段と、
前記局所特徴量抽出手段により分割された部分領域を複数選択する部分領域選択手段と、
選択された部分領域を処理単位として特徴量の次元削除を行う特徴量次元削減手段と、
を備えることを特徴とする特徴量生成装置。
前記部分領域選択手段は、部分領域間の距離に基づいて、部分領域を複数選択する
ことを特徴とする請求項１に記載の特徴量生成装置。
前記次元削減手段は、前記部分領域選択手段で選択された複数の部分領域の特徴量に対して、部分領域間の距離に応じて減衰する重み付けを行い、特徴量を次元ごとに合算する
ことを特徴とする請求項１又は２に記載の特徴量生成装置。
画像を分割し、分割された各部分領域から特徴量を抽出し、
前記局所特徴量抽出手段により分割された部分領域を複数選択し、
選択された部分領域を処理単位として特徴量の次元削除を行う
ことを特徴とする特徴量生成方法。
前記部分領域間の距離に基づいて、前記複数の部分領域を選択する
ことを特徴とする請求項４に記載の特徴量生成方法。
前記特徴量の次元削減では、前記複数選択された複数の部分領域の特徴量に対して、部分領域間の距離に応じて減衰する重み付けを行い、特徴量を次元ごとに合算する
ことを特徴とする請求項４又は５に記載の特徴量生成方法。
コンピュータに、
画像を分割し、分割された各部分領域から特徴量を抽出する局所特徴量処理、
前記局所特徴量抽出処理により分割された部分領域を複数選択する部分領域選択処理、
選択された部分領域を処理単位として特徴量の次元削除を行う特徴量次元削減処理、
を実行させることを特徴とするプログラム。
前記部分領域選択処理は、部分領域間の距離に基づいて、部分領域を複数選択する
ことを特徴とする請求項７に記載のプログラム。
前記次元削減処理は、前記部分領域選択処理で選択された複数の部分領域の特徴量に対して、部分領域間の距離に応じて減衰する重み付けを行い、特徴量を次元ごとに合算する
ことを特徴とする請求項７又は８に記載のプログラム。