JP2016115226A - 特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラム - Google Patents

Abstract

【課題】画像から、該画像内に含まれる物体の認識に、より有効な特徴量を抽出する。
【解決手段】特徴量抽出装置は、画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、を備える。
【選択図】 図１

Description

本発明は、特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラムに関する。

画像認識処理を用いて、青果物等の物体を認識する方法が、例えば、特許文献１に記載されている。特許文献１には、認識対象物を撮影したカラー画像信号から、色相情報と彩度情報とのカラーヒストグラムを作成し、基準のカラーヒストグラムと比較することにより、認識対象物を認識する装置が記載されている。

また、特許文献２には、画像の領域をブロックに分割し、各ブロックを平均色などの代表色で置き換え、注目領域と非注目領域とに分割した領域の位置情報を特徴量とする方法が記載されている。

特開２０１２−１５０５５２号公報 特開２００７−１９９７４９号公報

物体を表現するためには、物体の色およびテクスチャなどの画素の特徴量が用いられる。

特許文献１に記載の技術では、画素の特徴量が、画素の空間的な配置情報を表現していない。そのため、画素の配置が異なる対象物を、認識しづらいという問題があった。

また、特許文献２に記載の技術では、特徴量が、色情報と配置情報を同時に記述しているが、特徴量抽出および類似度計算の高速化のために、代表色などを用いている。これにより、特許文献２に記載の技術では、色を大まかに量子化しており、画素の詳細な特徴を表現していない。したがって、特許文献２に記載の技術では、同一色に量子化されてしまう可能性が高い、異なる色を有する対象物同士を、区別して認識し辛いという問題があった。

さらに、特許文献１に記載のヒストグラムと、特許文献２に記載の配置情報を含む特徴量とを、画像の同一領域から取得して、併用したとする。特徴量の抽出の対象となる領域を限定することで、上記ヒストグラムは、その領域のみを表現する詳細な情報を表現する。一方、配置情報を含む特徴量は、特徴量の抽出の対象となる領域が狭く限定されるほど、分割された領域間の画素値の相関が高くなってしまう。このように、特許文献１に記載のヒストグラムによる特徴量と、特許文献２に記載の特徴量とが、最適に表現可能な領域は必ずしも一致しない。したがって、これらの組み合わせでは、十分な認識性能が得られないという問題があった。

本発明は、上記課題に鑑みてなされたものであり、その目的は、画像から、該画像内に含まれる物体の認識に、より有効な特徴量を抽出することにある。

本発明の一態様に係る特徴量抽出装置は、画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、を備える。

また、本発明の一態様に係る認識装置は、画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段と、を備える。

また、本発明の一態様に係る情報処理システムは、画像を撮影する撮像手段と、前記画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段と、認識結果を表示する表示手段と、を備える。

また、本発明の一態様に係る特徴量抽出方法は、画像の部分領域に含まれる画素値から第１の特徴量を抽出し、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出し、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する。

なお、上記各装置、情報処理システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。

本発明によれば、画像から、該画像内に含まれる物体の認識に、より有効な特徴量を抽出することができる。

本発明の第１の実施の形態に係る特徴量抽出装置の機能構成の一例を示すブロック図である。 本発明の第２の実施の形態に係る特徴量抽出装置を含む特徴量抽出システムの構成および特徴量抽出装置の機能構成の一例を示すブロック図である。 画像内における特徴量抽出領域の場所を説明するための図である。 本発明の第２の実施の形態に係る第１の特徴量抽出部が決定する部分領域および第２の特徴量抽出部が決定する周辺領域の一例を説明するための図である。 本発明の第２の実施の形態に係る第１の特徴量抽出部が決定する部分領域および第２の特徴量抽出部が決定する周辺領域の他の例を説明するための図である。 本発明の第２の実施の形態に係る特徴量抽出装置の第２の特徴量抽出部の周辺領域特徴量抽出部の動作を説明するための図である。 本発明の第２の実施の形態に係る特徴量抽出装置の動作の流れの一例を示すフローチャートである。 本発明の第３の実施の形態に係る特徴量抽出装置を含む特徴量抽出システムの構成および特徴量抽出装置の機能構成の一例を示すブロック図である。 本発明の第３の実施の形態に係る特徴量抽出装置の重要度算出部の動作を説明するための図である。 本発明の第３の実施の形態に係る特徴量抽出装置の認識部の動作を説明するための図である。 本発明の第３の実施の形態に係る特徴量抽出装置の認識部によって行われる投票結果の一例を示す図である。 本発明の第３の実施の形態に係る特徴量抽出装置の動作の流れの一例を示すフローチャートである。 本発明の第４の実施の形態に係る特徴量抽出装置を含む特徴量抽出システムの構成および特徴量抽出装置の機能構成の一例を示すブロック図である。 本発明の第４の実施の形態に係る特徴量抽出装置の動作の流れの一例を示すフローチャートである。 本発明の第５の実施の形態に係る特徴量抽出装置を含む特徴量抽出システムの構成および特徴量抽出装置の機能構成の一例を示すブロック図である。 本発明の第５の実施の形態に係る第２の特徴量抽出部が決定する周辺領域の一例を説明するための図である。 本発明の第５の実施の形態に係る第２の特徴量抽出部が決定する周辺領域の他の例を説明するための図である。 本発明の第５の実施の形態に係る特徴量抽出装置の動作の流れの一例を示すフローチャートである。 本発明の各実施の形態に係る特徴量抽出装置を適用した情報処理システムの構成の一例を示す図である。 本発明の各実施の形態を実現可能なコンピュータのハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る特徴量抽出装置１の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る特徴量抽出装置１は、第１の特徴量抽出部１１０と、第２の特徴量抽出部１２０と、特徴量生成部１３０と、を備えている。

第１の特徴量抽出部１１０は、図示しない撮像装置等によって撮影された画像内の領域であって、該画像内の部分的な領域である部分領域に含まれる画素値から第１の特徴量を抽出する。

第２の特徴量抽出部１２０は、画像内の領域のうち、部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する。

なお、第１の特徴量は、第２の特徴量よりも、詳細に記述された特徴量である。

特徴量生成部１３０は、第１の特徴量と第２の特徴量とに基づいて、第３の特徴量を生成する。

このように、本実施の形態に係る特徴量抽出装置１は、画像から第１の特徴量と、第１の特徴量を抽出した領域の周辺の領域の画素の配置情報に基づいて抽出された第２の特徴量とを、抽出する。そして、特徴量抽出装置１は、抽出した第１の特徴量および第２の特徴量に基づいて、画像内に含まれる物体を認識するための特徴量を生成する。このように、画像内に含まれる物体の認識に用いる特徴量を、第１の特徴量と、第２の特徴量とから生成するため、本実施の形態に係る特徴量抽出装置１は、画像から、該画像内に含まれる物体の認識に、より有効な特徴量を抽出することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態に係る特徴量抽出装置１を基本とする第２の実施の形態について説明する。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付す。なお、図２に示す特徴量抽出システム２は、本実施の形態に特有な構成について示したものであり、図２に示す特徴量抽出システム２が図２に示されていない部材を有していてもよいことは言うまでもない。同様に、特徴量抽出装置１００は、本実施の形態に特有な構成について示したものであり、特徴量抽出装置１００が図２に示されていない部材を有していてもよいことは言うまでもない。

図２は、本実施の形態に係る特徴量抽出装置１００を含む特徴量抽出システム２の構成および特徴量抽出装置１００の機能構成の一例を示すブロック図である。図２に示す通り、特徴量抽出システム２は、撮像装置９９と、特徴量抽出装置１００とを備えている。撮像装置９９と特徴量抽出装置１００とは、互いに有線通信または無線通信可能に接続されている。これらは、互いに、例えば、ケーブル等を介して直接接続してもよいし、ネットワークを介して接続してもよい。

撮像装置９９は、画像を表現する画像データを取得する手段である。撮像装置９９は、被写体を撮影することにより、画像データを取得する。撮像装置９９の種類は特に限定されず、たとえば、ＲＢＧカメラであってもよいし、その他の波長を用いたカメラであってもよい。また、撮像装置９９は、距離センサであってもよい。この場合、撮像装置９９は、距離画像を取得する。このように、本実施の形態で用いる撮像装置９９の種類は特に限定されるものではなく、画像を表現する画像データが取得できるものであればよい。また、撮像装置９９が取得する画像は、静止画像であってもよいし、動画像であってもよい。

撮像装置９９は、取得した画像データを特徴量抽出装置１００に送信する。

（特徴量抽出装置１００）
特徴量抽出装置１００は、撮像装置９９から画像データを受信する。特徴量抽出装置１００は、図２に示す通り、第１の特徴量抽出部１１０と、第２の特徴量抽出部１２０と、特徴量生成部１３０と、特徴量抽出領域決定部１４０と、を備える。

特徴量抽出領域決定部１４０は、撮像装置９９が取得した画像データを受け取る。なお、撮像装置９９が取得した画像データは、撮像装置９９から特徴量抽出装置１００の特徴量抽出領域決定部１４０に直接送信されるものであってもよい。また、撮像装置９９が取得した画像データは、図示しない記憶部に格納された後、特徴量抽出装置１００の特徴量抽出領域決定部１４０によって、該記憶部から取得されるものであってもよい。この記憶部は、特徴量抽出装置１００内に内蔵されるものであってもよいし、特徴量抽出装置１００とは別個の記憶装置によって実現されるものであってもよい。

特徴量抽出領域決定部１４０は、受け取った画像データによって表される画像から、特徴量の抽出を行う領域（特徴量抽出領域と呼ぶ）を決定する。特徴量抽出領域の大きさは、特に限定されるものではなく、任意の大きさであってもよい。特徴量抽出領域の大きさは、例えば、予め定めた一定値でもよいし、画像中に含まれる物体の大きさに合わせて正規化された大きさであってもよい。また、撮像装置９９が距離センサの場合、特徴量抽出領域の大きさは、該距離センサが画像データを取得可能な距離に応じて決定されるものであってもよい。

また、特徴量抽出領域決定部１４０が決定する特徴量抽出領域の画像内の場所について、図３を参照して説明する。図３は、画像内における特徴量抽出領域の場所を説明するための図である。図３に示すように画像ＩＭＧ３０内には、被写体としてりんごが含まれる。

特徴量抽出領域決定部１４０は、図３に示すように、予め定めた一定の間隔ごとに、特徴量抽出領域Ａ３１の場所を決定してもよい。また、特徴量抽出領域決定部１４０は、画像内のランダムな場所を特徴量抽出領域の場所として決定してもよい。なお、特徴量抽出領域決定部１４０が決定する特徴量抽出領域の場所は、これに限定されるものではなく、任意の条件に基づいて決定されるものであってもよい。例えば、特徴量抽出領域決定部１４０は、画像内の領域のうち、色の偏りが、その周辺の領域より高いまたは低い場所を含む領域を特徴量抽出領域として決定してもよい。また、特徴量抽出領域決定部１４０は、例えば、輝度勾配が局所的に最大になるような点の場所を含む、所定の大きさの領域を特徴量抽出領域として決定してもよい。

また、特徴量抽出領域決定部１４０が決定する特徴量抽出領域の形状は、図３に示すような円状であってもよいし、矩形であってもよいし、その他の形状であってもよい。

特徴量抽出領域決定部１４０は、撮像装置９９から受け取った画像データと、該画像データによって示される画像における決定した特徴量抽出領域を示す情報とを、第１の特徴量抽出部１１０および第２の特徴量抽出部１２０に供給する。なお、特徴量抽出領域決定部１４０は、決定した各特徴量抽出領域に含まれる画像を示す画像データ（抽出領域画像データ）を、第１の特徴量抽出部１１０および第２の特徴量抽出部１２０に供給してもよい。

第１の特徴量抽出部１１０は、特徴量抽出領域決定部１４０から、画像データと、特徴量抽出領域を示す情報とを、受け取る。または、第１の特徴量抽出部１１０は、特徴量抽出領域決定部１４０から抽出領域画像データを受け取る。第１の特徴量抽出部１１０は、図２に示す通り、部分領域決定部１１１と、部分領域特徴量抽出部１１２とを含む。

部分領域決定部１１１は、特徴量抽出領域を示す情報と、画像データとに基づいて、特徴量抽出領域内の画像から部分領域を決定する。または、部分領域決定部１１１は、特徴量抽出領域決定部１４０から抽出領域画像データを受け取った場合、該抽出領域画像データによって示される画像（特徴量抽出領域の画像）から部分領域を決定する。ここで、部分領域とは、後述する第２の特徴量抽出部１２０が抽出する特徴量よりも詳細な特徴量を抽出する領域を示す。この部分領域について、図４を参照して説明する。図４は、本実施の形態に係る第１の特徴量抽出部１１０が決定する部分領域および第２の特徴量抽出部１２０が決定する周辺領域の一例を説明するための図である。なお、周辺領域については、第２の特徴量抽出部１２０の説明のところで、詳述する。

図４では、図３を用いて説明した特徴量抽出領域Ａ３１を破線で示している。部分領域決定部１１１は、この特徴量抽出領域Ａ３１内の中央付近に、所定の面積を有するように、部分領域Ｃ４１を決定する。なお、部分領域決定部１１１が部分領域Ｃ４１を決定する方法は特に限定されず、特徴量抽出領域Ａ３１の中央付近でなくてもよい。また、部分領域決定部１１１は、部分領域Ｃ４１の面積が、他の領域（後述する周辺領域）の面積に対して所定の比となるように、部分領域Ｃ４１を決定してもよい。

部分領域決定部１１１は、決定した部分領域が、特徴量抽出領域内のどの領域であるかを示す情報（部分領域情報）を、第２の特徴量抽出部１２０に供給する。この部分領域情報には、部分領域が含まれる特徴量抽出領域を示す情報と、該特徴量抽出領域内の部分領域の位置や大きさを示す情報が含まれる。

また、部分領域決定部１１１は、決定した部分領域の画像を示す部分領域画像データを、部分領域特徴量抽出部１１２に供給する。このとき、部分領域決定部１１１は、部分領域がどの位置の部分領域か（どの特徴量抽出領域の部分領域か）を示す情報も併せて、部分領域特徴量抽出部１１２に供給する。

部分領域特徴量抽出部１１２は、部分領域決定部１１１から、該部分領域決定部１１１が決定した部分領域における画像を示す部分領域画像データを受信する。部分領域特徴量抽出部１１２は、受け取った部分領域画像データに基づいて、部分領域決定部１１１が決定した部分領域の画素値から、該画素を表現する特徴量（第１の特徴量と呼ぶ）を抽出する。部分領域特徴量抽出部１１２は、該部分領域の画素値に基づいて、該部分領域に含まれる１または複数の画素の夫々における色や濃度の特徴、該部分領域のテクスチャの特徴等の第１の特徴量を抽出する。第１の特徴量は、後述する第２の特徴量（第２の特徴量抽出部１２０が抽出する特徴量）よりも、詳細に記述された特徴量である。第１の特徴量は、例えば、第２の特徴量よりも次元数が多い特徴量であってもよい。また、第１の特徴量は、例えば、第２の特徴量を表す特徴量空間における量子化幅より狭い量子化幅を有する特徴量空間で表される特徴量であってもよい。

また、例えば、部分領域特徴量抽出部１１２は、部分領域に含まれる画素の画素値を量子化し、該部分領域において、この量子化された画素値の出現頻度をヒストグラム化する。そして、部分領域特徴量抽出部１１２は、このヒストグラムを第１の特徴量として抽出してもよい。これにより、部分領域特徴量抽出部１１２は、より詳細に記述された第１の特徴量を得ることができる。

部分領域特徴量抽出部１１２は、抽出した第１の特徴量を特徴量生成部１３０に供給する。このとき、部分領域特徴量抽出部１１２は、抽出した第１の特徴量が、どの特徴量抽出領域における部分領域の特徴量かを示す情報と共に、特徴量生成部１３０に供給することが好ましい。

第２の特徴量抽出部１２０は、特徴量抽出領域決定部１４０から、画像データと、特徴量抽出領域を示す情報とを、受け取る。または、第２の特徴量抽出部１２０は、特徴量抽出領域決定部１４０から抽出領域画像データを受け取る。また、第２の特徴量抽出部１２０は、第１の特徴量抽出部１１０の部分領域決定部１１１から、部分領域情報を受信する。第２の特徴量抽出部１２０は、図２に示す通り、周辺領域決定部１２１と、周辺領域特徴量抽出部１２２とを含む。

周辺領域決定部１２１は、特徴量抽出領域を示す情報と、画像データと、部分領域情報とに基づいて、該特徴量抽出領域内の部分領域の周辺の領域を周辺領域として決定する。なお、周辺領域決定部１２１が特徴量抽出領域決定部１４０から、抽出領域画像データを受け取った場合、該抽出領域画像データによって示される画像（特徴量抽出領域の画像）から部分領域の周辺の領域を周辺領域として決定する。

この周辺領域について、図４を参照して説明する。周辺領域決定部１２１は、図４に示す部分領域Ｃ４１の周辺の領域を周辺領域Ｐ４２として、決定する。このとき、周辺領域決定部１２１は、部分領域Ｃ４１の周囲を囲む領域を所定の大きさに分割して、該分割した各領域を夫々周辺領域Ｐ４２として決定している。なお、分割の方法はこれに限定されるものではない。図５に、本実施の形態に係る第１の特徴量抽出部１１０が決定する部分領域および第２の特徴量抽出部１２０が決定する周辺領域の他の例を示す。図５に示す通り、周辺領域Ｐ４２は、部分領域Ｃ４１の周囲に、該部分領域Ｃ４１を中心とした同心円で区切られた領域を、更に該部分領域Ｃ４１を中心として放射状に伸びた線分で区切った領域であってもよい。

また、周辺領域決定部１２１は、図５に示すような複数の周辺領域Ｐ４２の夫々と、部分領域Ｃ４１との画素情報の差を算出し、その差の値の大小に応じて、特徴量を抽出する周辺領域を決定してもよい。ここで、画素情報とは、各領域に含まれる画素値の合計であってもよいし、画素値の平均であってもよい。また、例えば、周辺領域決定部１２１は、各領域と他の領域との境界の画素値そのものを画素情報として用いて、上記周辺領域を決定してもよい。

このように、周辺領域決定部１２１は、部分領域の位置、および、部分領域と、その近傍との画素情報の少なくとも何れかに基づいて、周辺領域を決定すればよい。これにより、周辺領域決定部１２１は、認識に用いるより最適な特徴量を抽出する領域を決定することができる。

また、周辺領域決定部１２１が決定する周辺領域の形状は、特に限定されるものではなく、円形であってもよいし、矩形であってもよいし、その他の形状であってもよい。

周辺領域決定部１２１は、決定した１または複数の周辺領域の画像を示す周辺領域画像データを、周辺領域特徴量抽出部１２２に供給する。このとき、周辺領域決定部１２１は、周辺領域がどの位置の領域か（どの特徴量抽出領域の周辺領域か）を示す情報も併せて、周辺領域特徴量抽出部１２２に供給する。

周辺領域特徴量抽出部１２２は、周辺領域決定部１２１から、該周辺領域決定部１２１が決定した周辺領域における画像を示す周辺領域画像データを受信する。周辺領域特徴量抽出部１２２は、受け取った周辺領域画像データに基づいて、周辺領域決定部１２１が決定した周辺領域における画素の配置を示す情報（配置情報）から、該周辺領域の特徴量（第２の特徴量と呼ぶ）を抽出する。

ここで、図６を参照して、周辺領域特徴量抽出部１２２が抽出する第２の特徴量について説明する。図６は、本実施の形態に係る第２の特徴量抽出部１２０の周辺領域特徴量抽出部１２２の動作を説明するための図である。図６の左側の図は、図３と同様の画像ＩＭＧ３０である。そして、説明の便宜上、図６では、１箇所の特徴量抽出領域を用いて、第２の特徴量を抽出することについて説明するが、特徴量抽出領域は１箇所に限定されるものではない。

図６の左側の画像ＩＭＧ３０において、特徴量抽出領域Ａ３１内には、部分領域決定部１１１によって決定された部分領域Ｃ４１が含まれる。また、特徴量抽出領域Ａ３１内において、部分領域Ｃ４１の周辺には、周辺領域決定部１２１によって決定された８箇所の周辺領域Ｐ４２が含まれる。

周辺領域特徴量抽出部１２２は、この８箇所の周辺領域Ｐ４２の夫々において、特徴量を抽出する。例えば、周辺領域特徴量抽出部１２２は、図６の右下に示すようなヒストグラムを用いて、各周辺領域Ｐ４２の特徴量を抽出する。図６の右下に示すヒストグラムの横軸は、ビンを示す。図６では、各ビンを破線で区切って表現している。図６では、１か所の周辺領域に対し、１つのビンが関連付けられている。図６に示すヒストグラムの１つのビンは、代表的なテクスチャとして、無地の部分と、網掛けの部分を示している。また、図６に示すヒストグラムの縦軸は、各テクスチャの値を示している。

このように、周辺領域特徴量抽出部１２２は、各周辺領域に対し、該周辺領域に含まれる画素値を量子化し、周辺領域毎に量子化した画素値の出現頻度のヒストグラムを算出する。

なお、図６のヒストグラムでは、代表テクスチャを用いて、各周辺領域の特徴量を表したが、本実施の形態はこれに限定されるものではなく、各周辺領域の代表色を用いて各周辺領域の特徴量を表現してもよい。

そして、周辺領域特徴量抽出部１２２は、このように抽出されたヒストグラムを用いて、第２の特徴量を記述する。例えば、周辺領域特徴量抽出部１２２は、図６の右上に示すような、ベクトルで第２の特徴量を表現してもよい。第２の特徴量は、算出したヒストグラムの値を連結したベクトルであってもよい。また、第２の特徴量は、各周辺領域間のヒストグラム値の差を算出し、これらを連結したベクトルであってもよい。また、第２の特徴量は、各周辺領域の部分領域に対する位置を量子化したものと量子化した画素値（ヒストグラム値）とが同時に出現する頻度を示すヒストグラムであってもよい。

また、第２の特徴量は、周辺領域の位置の情報、各周辺領域に含まれる画素値、周辺領域間の画素値の差や位置の差などを並べて表現したベクトルであってもよい。また、第２の特徴量は、周辺領域間の相対位置と各周辺領域の代表色の組み合わせを並べたベクトルであってもよい。また、第２の特徴量は、これに限定されるものではなく、他の配置に関連する画素情報を表す特徴量であってもよい。このように、第２の特徴量は、周辺領域に含まれる画素の配置情報を含む特徴量であることが好ましい。

周辺領域特徴量抽出部１２２は、抽出した第２の特徴量を特徴量生成部１３０に供給する。このとき、周辺領域特徴量抽出部１２２は、抽出した第２の特徴量が、どの特徴量抽出領域における周辺領域の特徴量かを示す情報と共に、特徴量生成部１３０に供給することが好ましい。

特徴量生成部１３０は、部分領域特徴量抽出部１１２から第１の特徴量を受け取る。また、特徴量生成部１３０は、周辺領域特徴量抽出部１２２から第２の特徴量を受け取る。特徴量生成部１３０は、第１の特徴量が抽出された部分領域が含まれる特徴量抽出領域と、同じ特徴量抽出領域の周辺領域から抽出された第２の特徴量を、該特徴量抽出領域に対する特徴量（第３の特徴量）として生成する。このとき、特徴量生成部１３０は、例えば、以下の式（１）を用いて、特徴量抽出領域毎の特徴量ｖを生成する。

ここで、αおよびβは夫々スカラー係数を示す。また、ｖ_{ｆｉｒｓｔ}は、第１の特徴量を示し、ｖ_{ｓｅｃｏｎｄ}は、第２の特徴量を示す。そして、（ｖ_{ｆｉｒｓｔ}，ｖ_{ｓｅｃｏｎｄ}）は、ベクトルｖ_{ｆｉｒｓｔ}と、ベクトルｖ_{ｓｅｃｏｎｄ}とを連結することを示す。これにより、特徴量生成部１３０は、上記特徴量ｖ（統合特徴量と呼ぶ）を、特徴量抽出領域毎に生成することができる。

（特徴量抽出装置１００の動作）
次に、図７を用いて、特徴量抽出装置１００の動作（特徴量抽出処理）について説明する。図７は、本実施の形態に係る特徴量抽出装置１００の動作の流れの一例を示すフローチャートである。

図７に示す通り、まず、特徴量抽出装置１００の特徴量抽出領域決定部１４０が画像データを取得（受信）する（ステップＳ１０１）。そして、該特徴量抽出領域決定部１４０は、取得した画像データによって表される画像から、特徴量抽出領域を決定する（ステップＳ１０２）。

そして、第１の特徴量抽出部１１０の部分領域決定部１１１が、ステップＳ１０２で決定された特徴量抽出領域から部分領域を決定する（ステップＳ１０３）。このステップＳ１０３以降の処理は、ステップＳ１０２にて決定された特徴量抽出領域毎に行われる。その後、第１の特徴量抽出部１１０の部分領域特徴量抽出部１１２がステップＳ１０３で決定された部分領域から、第１の特徴量を抽出する（ステップＳ１０４）。

また、第２の特徴量抽出部１２０の周辺領域決定部１２１が、ステップＳ１０２で決定された特徴量抽出領域から、ステップＳ１０３で決定された部分領域の周辺の領域である周辺領域を決定する（ステップＳ１０５）。なお、ステップＳ１０５は、ステップＳ１０３の後であればよく、ステップＳ１０４より先に行われてもよいし、同時に行われてもよい。

その後、第２の特徴量抽出部１２０の周辺領域特徴量抽出部１２２が、ステップＳ１０５で決定された周辺領域から、第２の特徴量を抽出する（ステップＳ１０６）。

そして、特徴量生成部１３０が、ステップＳ１０４にて抽出された第１の特徴量と、ステップＳ１０６にて抽出された第２の特徴量とに基づいて、これらを統合した統合特徴量を生成し（ステップＳ１０７）、特徴量抽出装置１００の処理を終了する。

この特徴量抽出処理によって、特徴量抽出装置１００は、ステップＳ１０１で取得した画像データによって表される画像に対し、ステップＳ１０２にて決定された特徴量抽出領域の数と同数の統合特徴量を抽出することができる。

（効果）
本実施の形態に係る特徴量抽出装置１００によれば、画像から、該画像内に含まれる物体の認識に、より有効な特徴量を抽出することができる。

なぜならば、第１の特徴量抽出部１１０が、画像の部分領域に含まれる画素値から第１の特徴量を抽出し、第２の特徴量抽出部１２０が部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出するからである。そして、特徴量生成部１３０が、第１の特徴量と第２の特徴量とに基づいて、統合特徴量を生成するからである。

第１の特徴量は、特徴量抽出領域内において、第２の特徴量より詳細に記述された特徴量である。第１の特徴量抽出部１１０は、このような第１の特徴量を抽出可能な領域を部分領域として決定し、該部分領域の画素値から第１の特徴量を抽出する。また、第２の特徴量抽出部１２０は、部分領域の周辺に配置された画素の配置の特徴量を抽出するために、該部分領域の周辺の領域を周辺領域として決定する。そして、第２の特徴量抽出部１２０は、決定した周辺領域に含まれる画素の配置情報に基づいて、該周辺領域に配置された画素の画素値から第２の特徴量を抽出する。

このように、本実施の形態に係る特徴量抽出装置１００は、第１の特徴量と第２の特徴量との夫々を抽出する領域を効果的に決定している。このように決定された領域から抽出された第１の特徴量および第２の特徴量に基づいて生成された統合特徴量は、該画像内に含まれる物体の認識に、より有効な特徴量となる。

したがって、本実施の形態に係る特徴量抽出装置１００は、認識性能が高い特徴量を、画像から抽出することができる。

また、第１の特徴量が第２の特徴量よりも、詳細に記述された特徴量である。そのため、全ての周辺領域の夫々に対する第２の特徴量を、第１の特徴量と同じように詳細に記述した場合に比べ、本実施の形態に係る第２の特徴量抽出部１２０が出力する第２の特徴量のデータ量は、小さくなる。これにより、本実施の形態に係る特徴量抽出装置１００は、認識精度を下げることなく、認識に用いるデータ量を削減することができる。

また、上述したとおり、特徴量抽出領域決定部１４０が、画像データから、特徴量抽出領域を決定する。これにより、第１の特徴量抽出部１１０および第２の特徴量抽出部１２０が夫々部分領域および周辺領域を決定する際に用いるデータ量および計算量を、画像データそのものを用いて決定する場合に比べ、削減することができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。なお、説明の便宜上、前述した第１および第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

図８は、本実施の形態に係る特徴量抽出装置２００を含む特徴量抽出システム３の構成および特徴量抽出装置２００の機能構成の一例を示すブロック図である。図８に示す特徴量抽出システム３の特徴量抽出装置２００は、第２の実施の形態に係る特徴量抽出装置１００に、重要度算出部２５０と、認識部２６０とを更に備える構成である。このように、本実施の形態に係る特徴量抽出装置２００は、認識部２６０を備えた認識装置であるともいえる。つまり、本実施の形態に係る特徴量抽出装置２００は、上述した特徴量抽出装置１００を備えた認識装置と言い換えることができる。

図８に示す通り、特徴量抽出システム３は、撮像装置９９と、特徴量抽出装置２００とを備えている。撮像装置９９と特徴量抽出装置２００とは、互いに有線通信または無線通信可能に接続されている。これらは、互いに、例えば、ケーブル等を介して直接接続してもよいし、ネットワークを介して接続してもよい。

（特徴量抽出装置２００）
特徴量抽出装置２００は、撮像装置９９から画像データを受信する。特徴量抽出装置２００は、図８に示す通り、第１の特徴量抽出部１１０と、第２の特徴量抽出部１２０と、特徴量生成部１３０と、特徴量抽出領域決定部１４０と、重要度算出部２５０と、認識部２６０とを備える。

なお、第１の特徴量抽出部１１０、第２の特徴量抽出部１２０、特徴量生成部１３０および特徴量抽出領域決定部１４０については、第２の実施の形態で説明した動作と異なる点だけ説明する。

特徴量抽出領域決定部１４０は、撮像装置９９から受け取った画像データと、決定した特徴量抽出領域を示す情報とを、重要度算出部２５０に供給する。また、第１の特徴量抽出部１１０の部分領域決定部１１１は、決定した部分領域を示す情報を重要度算出部２５０に供給する。また、第２の特徴量抽出部１２０の周辺領域決定部１２１は、決定した周辺領域を示す情報を重要度算出部２５０に供給する。また、特徴量生成部１３０は、生成した特徴量抽出領域毎の統合特徴量を、どの特徴量抽出領域の統合特徴量かを示す情報と共に、認識部２６０に出力する。

重要度算出部２５０は、特徴量抽出領域決定部１４０から、画像データと、特徴量抽出領域を示す情報とを受け取る。また、重要度算出部２５０は、部分領域決定部１１１から、部分領域を示す情報を受け取る。また、重要度算出部２５０は、周辺領域決定部１２１から周辺領域を示す情報を受け取る。特徴量抽出領域決定部１４０、第１の特徴量抽出部１１０、第２の特徴量抽出部１２０の夫々から受け取った情報を用いて、画像データによって表される画像における各特徴量抽出領域に対する重要度を算出する。ここで、特徴量生成部１３０は、上述したとおり、特徴量抽出領域毎に、統合特徴量を生成するため、重要度算出部２５０が算出する重要度は、各統合特徴量に対する重要度ともいえる。重要度算出部２５０は、例えば、部分領域と、各周辺領域との画素値の差を算出し、この差に基づいて、各特徴量抽出領域の重要度を決定してもよい。

重要度算出部２５０が算出する特徴量抽出領域の重要度について、図９を参照して説明する。図９は、本実施の形態に係る特徴量抽出装置２００の重要度算出部２５０の動作を説明するための図である。図９の左図は、特徴量抽出装置２００が取得（受信）した画像データによって示される画像ＩＭＧ８０を示している。図９の左図に示すように画像ＩＭＧ８０内には、被写体としてトマト（認識対象Ｔ８１）が含まれる。特徴量抽出領域決定部１４０は、この画像ＩＭＧ８０から特徴量抽出領域を決定する。そして、第１の特徴量抽出部１１０が、各特徴量抽出領域に対し、第１の特徴量を抽出し、第２の特徴量抽出部１２０が、各特徴量抽出領域第２の特徴量を抽出しているとする。

そして、重要度算出部２５０が、特徴量抽出領域毎に、部分領域と１以上の周辺領域との画素値の差を算出する。図９の右図は、重要度算出部２５０が算出した画素値の差に応じた色を画像ＩＭＧ８０にマッピングした図（ＭＡＰ８４）である。図９の右図（ＭＡＰ８４）では、画素値の差がより大きい値の場所を白く、より小さい値の場所を黒くしている。

図９の左図に示す通り、認識対象Ｔ８１において、へたの部分（Ｔ８２）は実の部分（Ｔ８３）と異なる色である。そのため、このへたの部分（Ｔ８２）の画素値と、周辺領域（例えば、実の部分（Ｔ８３））の画素値との差は、大きい値となる。また、認識対象Ｔ８１の外周部分は、ＩＭＧ８０の背景と異なる色であるため、この部分（外周部分）と、背景部分との画素値の差は大きくなる。

したがって、図９の右図に示す通り、ＭＡＰ８４において、へたの部分に対応する箇所（Ｔ８５）、および、認識対象Ｔ８１の外周部分に対応する箇所（Ｔ８６）は、白に近い色で表現される。また、ＭＡＰ８４において、その他の部分は、より黒に近い色で表現される。

そして、重要度算出部２５０は、ＭＡＰ８４において、白い箇所をより重要度が高い箇所とし、黒い箇所をより重要度が低い箇所とする。この重要度は、０から１の数値で表されてもよい。この場合、１に近づくにつれ、重要度が高くなる。また、重要度算出部２５０は、ある特徴量抽出領域内で、重要度が高い場所と低い場所と、が存在する場合、重要度の平均を特徴量抽出領域に対する重要度としてもよいし、合計をこの特徴量抽出領域に対する重要度としてもよい。

なお、重要度算出部２５０が重要度を算出する方法は特に限定されず、例えば、重要度算出部２５０は、ある特徴量抽出領域における周辺領域の画素値が一様である場合に重要度が高くなるように、重要度を算出してもよい。また、特徴量抽出領域決定部１４０が、特徴量抽出領域を決定する際に用いたデータに基づいて、重要度を算出してもよい。特徴量抽出領域決定部１４０が特徴量抽出領域を決定する際に用いたデータとは、例えば、特徴量抽出領域決定部１４０が画像内の領域のうち、色の偏りが、その周辺の領域より高いまたは低い場所を含む領域を特徴量抽出領域として決定した場合に用いた値である。また、重要度算出部２５０は、部分領域特徴量抽出部１１２および／または周辺領域特徴量抽出部１２２が特徴量を抽出する際に用いた値（例えば、画素値）に基づいて、重要度を算出してもよい。このように、重要度算出部２５０は、部分領域の画素値および周辺領域の画素値の少なくとも何れかに基づいて、重要度を算出する。

これにより、特徴量抽出装置２００は、画像中において、どの特徴量抽出領域から抽出された統合特徴量がより重要度が高いかを示すことができる。

重要度算出部２５０は、算出した特徴量抽出領域毎の重要度を、重要度を算出した特徴量抽出領域を示す情報に関連付けて、認識部２６０に出力する。

認識部２６０は、特徴量生成部１３０から特徴量抽出領域毎の統合特徴量を受け取る。また、認識部２６０は、重要度算出部２５０から特徴量抽出領域毎の重要度を受け取る。そして、認識部２６０は、統合特徴量と、重要度とを用いて、特徴量抽出領域決定部１４０が受信（取得）した画像データによって示される画像内の物体（図９の左図においては、認識対象Ｔ８１）の認識を行う。

認識部２６０の動作について、図１０を参照して説明する。図１０は、本実施の形態に係る特徴量抽出装置２００の認識部２６０の動作の一例を説明するための図である。まず、特徴量抽出領域決定部１４０が、図９に示した画像ＩＭＧ８０から、例えば、３箇所の特徴量抽出領域を決定したとする。なお、以下では、この３箇所の特徴量抽出領域の夫々を、特徴量抽出領域（Ａ９１、Ａ９２、Ａ９３）と呼ぶ。そして、特徴量生成部１３０によって、この特徴量抽出領域（Ａ９１、Ａ９２、Ａ９３）の夫々の統合特徴量（Ｆ９１、Ｆ９２、Ｆ９３）が生成されたとする。統合特徴量（Ｆ９１、Ｆ９２、Ｆ９３）は、夫々、図１０に示す通り、（０．３、０．１、・・・）、（０．２、０．４、・・・）、（０．１、０．１、・・・）であるとする。

また、重要度算出部２５０によって、特徴量抽出領域（Ａ９１、Ａ９２、Ａ９３）の夫々の重要度（Ｗ９１、Ｗ９２、Ｗ９３）が、算出されたとする。重要度（Ｗ９１、Ｗ９２、Ｗ９３）は、夫々、図１０に示す通り、０．５、０．９、０．２であるとする。

認識部２６０は、図１０に示す通り、識別器２６１と、記憶部２６２と、投票部２６３と、選択部２６４と、を備えている。なお、図１０に示す認識部２６０の構成は、認識部２６０の動作の一例を説明するための部材であり、本実施の形態はこれに限定されるものではない。

認識部２６０の識別器２６１は、図１０に示す通り、特徴量生成部１３０から統合特徴量（Ｆ９１、Ｆ９２、Ｆ９３）を受け取る。ここで、識別器２６１は、統合特徴量（Ｆ９１、Ｆ９２、Ｆ９３）を別々に受け取ってもよいし、これらをまとめた状態で受け取ってもよい。

記憶部２６２には、識別器２６１で識別に使用するための辞書が格納されている。なお、記憶部２６２は、識別器２６１内に内蔵されるものであってもよいし、認識部２６０とは別個の記憶部であってもよい。この辞書は、予め学習用画像として用意された正解ラベル付きの画像に基づいて、第１の特徴量抽出部１１０および第２の特徴量抽出部１２０が夫々算出した第１の特徴量および第２の特徴量を用いて、識別器２６１を学習させることにより生成されたものである。識別器２６１は、例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅを用いた識別器であってもよいし、最近傍識別器であってもよいし、その他の識別器であってもよい。

識別器２６１は、統合特徴量毎に、認識を行う。そして、識別器２６１は、統合特徴量（Ｆ９１、Ｆ９２、Ｆ９３）の夫々に対する識別結果（Ｒ９１、Ｒ９２、Ｒ９３）を、投票部２６３に出力する。なお、識別器２６１は、図１０に示す通り、各識別結果を別個に出力してもよいし、まとめて出力してもよい。

投票部２６３は、重要度算出部２５０から、重要度（Ｗ９１、Ｗ９２、Ｗ９３）を受け取る。なお、投票部２６３は、重要度（Ｗ９１、Ｗ９２、Ｗ９３）を別々に受け取ってもよいし、これらをまとめた状態で受け取ってもよい。また、投票部２６３は、識別器２６１から識別結果（Ｒ９１、Ｒ９２、Ｒ９３）を受け取る。

そして、投票部２６３は、識別結果に対し、該識別結果に関連付く統合特徴量の重要度に基づいて、重みづけを行う。本実施の形態では、重要度を重みとして掛け合わせるとするが、重みづけの方法はこれに限定されるものではない。

具体的には、投票部２６３は、識別結果Ｒ９１に対し、識別を行った統合特徴量Ｆ９１に関連付けられた特徴量抽出領域Ａ９１の重要度Ｗ９１を掛け合わせる。同様に、投票部２６３は、識別結果Ｒ９２に、重要度Ｗ９２を掛け合わせ、識別結果Ｒ９３に、重要度Ｗ９３を掛け合わせる。

その後、投票部２６３は、重みづけを行った識別結果を用いて、投票を行う。図１１に投票部２６３が投票を行った結果の一例を示す。図１１に示す投票結果の横軸は、認識されたカテゴリを示す情報（例えばカテゴリ名）を示し、縦軸は各カテゴリに対するスコアを示す。このスコアは高いほど、認識の信頼度が高いことを示す。ここで、カテゴリとは、認識された物体を表すものであり、物体そのものであってもよいし、物体を示す名前や識別子であってもよいし、物体の種類であってもよい。

本実施の形態では、投票結果は、図１１に示すように、カテゴリＢＢ、カテゴリＡＡ、カテゴリＣＣの順番であるとする。投票部２６３は、このような投票結果を、選択部２６４に出力する。

選択部２６４は、投票部２６３から投票結果を受信する。選択部２６４は、投票結果に基づいて、画像ＩＭＧ８０に含まれる認識対象Ｔ８１に対する最終的な認識結果を出力する。本実施の形態では、上述したとおり、図１１に示す各カテゴリに対するスコアが高いものが認識の信頼度が高いことを示しているため、選択部２６４は、スコアが最も高いカテゴリＢＢを、認識対象Ｔ８１に対する認識結果として選択する。

これにより、認識部２６０は、選択部２６４が選択した認識結果（上記の例では、「カテゴリＢＢ」）を出力する。なお、認識部２６０が出力する認識結果は、カテゴリを表す名称、および／または、該カテゴリを示すインデックスであってもよい。また、認識部２６０は、カテゴリを表す名称および／またはインデックスに加え、上述したスコアを認識結果として出力してもよい。

（特徴量抽出装置２００の動作）
次に、図１２を用いて、特徴量抽出装置２００の動作について説明する。図１２は、本実施の形態に係る特徴量抽出装置２００の動作の流れの一例を示すフローチャートである。

図１２に示すステップＳ２０１〜ステップＳ２０７の夫々は、上述したステップＳ１０１〜ステップＳ１０７と同様の特徴量抽出処理であるため、説明を省略する。

ステップＳ２０７終了後、重要度算出部２５０は、特徴量抽出領域毎の重要度を算出する（ステップＳ２０８）。なお、ステップＳ２０８は、ステップＳ２０４およびステップＳ２０７と同時に行われてもよいし、これらの前に行われてもよい。ステップＳ２０８は、ステップＳ２０３と、ステップＳ２０５とが終了した時点で行われればよい。

そして、認識部２６０は、認識処理を行う（ステップＳ２０９）。認識部２６０が図１０に示す構成の場合、認識部２６０の識別器２６１がこの認識処理を行う。そして、認識部２６０の投票部２６３が重み付け投票を行う（ステップＳ２１０）。その後、認識部２６０は、全ての統合特徴量に対して、認識処理を行ったか否かを確認する（ステップＳ２１１）。言い換えれば、認識部２６０は、全ての特徴量抽出領域に対して、認識処理を行ったか否かを確認する。

全ての統合特徴量に対して、認識処理を行っていない場合（ステップＳ２１１にてＮＯ）、認識部２６０は、ステップＳ２０９に戻り、認識処理を行っていない統合特徴量に対し、認識処理を行う。全ての統合特徴量に対して、認識処理を行った場合（ステップＳ２１１にてＹＥＳ）、認識部２６０の選択部２６４は、投票結果に基づいて、ステップＳ２０１にて取得した画像データに含まれる認識対象（物体）の認識結果を選択（決定）し、出力する（ステップＳ２１２）。

これにより、特徴量抽出装置２００は、一連の処理を終了する。

なお、本実施の形態では、１つの画像内に１つの対象物が含まれることを例に説明を行ったが、本発明はこれに限定されるものではなく、１つの画像内に複数の対象物が含まれていてもよい。この場合、認識部２６０は、認識結果を対象物ごとに出力すればよい。また、１つの画像内に複数の対象物が含まれている場合、特徴量抽出領域決定部１４０が特徴量抽出領域を抽出する前に、対象物ごとに画像を分割して、その分割した画像ごとに、上記の一連の処理を行ってもよい。

（効果）
本実施の形態に係る特徴量抽出装置２００は、上述した第２の実施の形態と同様の効果を得ることができる。また、本実施の形態に係る特徴量抽出装置２００は、各特徴量抽出領域に対して算出された重要度を用いて、物体の認識を行うため、より高い精度で認識を行うことができる。

なお、本実施の形態に係る特徴量抽出装置（認識装置）２００は、重要度算出部２５０が重要度を算出し、この重要度を用いて認識を行ったが、本発明はこれに限定されるものではない。認識装置は、統合特徴量のみを用いて認識を行ってもよい。つまり、認識装置は、第１の実施の形態に係る特徴量抽出装置１００に認識部２６０を備える構成であってもよい。このような構成であっても、統合特徴量が部分領域の特徴量と、周辺領域の特徴量とを含んでいるため、認識装置は、精度が高い（識別性能が高い）認識を行うことができる。また、重要度を用いて認識を行うことにより、認識装置は、より高い精度で認識を行うことができる。

＜第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。なお、説明の便宜上、前述した第１から第３の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

上述した各実施の形態では、画像データを用いて、特徴量抽出処理を行った。この場合、画像データによって示される画像は、静止画像であってもよいし、動画像であってもよい。これらの画像には、ノイズが含まれる可能性がある。したがって、本実施の形態では、画像データからノイズを除去する方法について説明する。

図１３は、本実施の形態に係る特徴量抽出装置３００を含む特徴量抽出システム４の構成および特徴量抽出装置２００の機能構成の一例を示すブロック図である。図１３に示す特徴量抽出システム４の特徴量抽出装置３００は、第２の実施の形態に係る特徴量抽出装置１００に、フレーム選択部３７０と、ノイズ除去部３８０とを更に備える構成である。なお、本実施の形態に係る特徴量抽出装置３００は、第１の実施の形態に係る特徴量抽出装置１にフレーム選択部３７０と、ノイズ除去部３８０とを備える構成であってもよい。また、本実施の形態に係る特徴量抽出装置３００は、第３の実施の形態に係る特徴量抽出装置２００に、フレーム選択部３７０と、ノイズ除去部３８０とを備える構成であってもよい。

図１３に示す通り、特徴量抽出システム４は、撮像装置９９と、特徴量抽出装置３００とを備えている。撮像装置９９と特徴量抽出装置３００とは、互いに有線通信または無線通信可能に接続されている。これらは、互いに、例えば、ケーブル等を介して直接接続してもよいし、ネットワークを介して接続してもよい。

（特徴量抽出装置３００）
特徴量抽出装置３００は、撮像装置９９から画像データを受信する。特徴量抽出装置３００は、図１３に示す通り、第１の特徴量抽出部１１０と、第２の特徴量抽出部１２０と、特徴量生成部１３０と、特徴量抽出領域決定部１４０と、フレーム選択部３７０と、ノイズ除去部３８０とを備える。

ここで、本実施の形態に係る撮像装置９９が撮影し、特徴量抽出装置３００に送信する画像データは、連続したデータであるとする。例えば、撮像装置９９が撮影した画像が動画像の場合、撮像装置９９は、特徴量抽出装置３００に連続した複数枚のフレームを送信する。また、撮像装置９９が撮影した画像が静止画像であり、例えば、連写等によって連続して撮影された画像である場合、撮像装置９９は、この連続した複数枚の静止画像を送信する。本実施の形態では、このように、特徴量抽出装置３００が連続した複数枚の画像を受信することを前提に説明を行う。

以下では、連続した複数枚の画像における各画像をフレームと呼ぶこととする。

フレーム選択部３７０は、撮像装置９９が取得した、複数のフレームからなる画像データを受け取る。なお、フレーム選択部３７０は、画像データを第２の実施の形態に係る特徴量抽出領域決定部１４０と同様に、撮像装置９９から直接受信してもよいし、図示しない記憶部から取得してもよい。

フレーム選択部３７０は受信（取得）した、複数のフレームから、任意の枚数のフレームを選択する。フレーム選択部３７０は、所定の間隔のフレームを取得してもよいし、所定の枚数ごとに取得してもよい。また、フレーム選択部３７０は、例えば、あるフレームと、このあるフレームの直前のフレームまたは所定枚数分前のフレームとの間の差分値を算出し、この差分値に基づいて、フレームを選択してもよい。この場合、フレーム選択部３７０は、例えば、この差分値が所定の閾値よりも小さいフレームを選択してもよい。同様に、フレーム選択部３７０は、例えば、あるフレームと、このあるフレームの直後のフレームまたは所定枚数分後のフレームとの間の差分値を算出し、この差分値に基づいて、フレームを選択してもよい。なお、フレーム選択部３７０は、取得した複数のフレームが連続した静止画像の場合、すべてのフレーム（静止画像）を選択してもよい。

フレーム選択部３７０は、選択した１以上のフレームを、ノイズ除去部３８０に供給する。

ノイズ除去部３８０は、フレーム選択部３７０から、該フレーム選択部３７０が選択したフレームを受信する。そして、ノイズ除去部３８０は、受信した１以上のフレームを用いて、ノイズ除去を行う。

ノイズ除去部３８０は、撮像装置９９が撮影した画像が動画像の場合、ノイズ除去を行った１以上のフレームを用いて、１枚の画像を生成する。また、撮像装置９９が撮影した画像が静止画像の場合、ノイズ除去部３８０フレーム毎にフレームからノイズ除去を行い、ノイズ除去を行ったフレーム（静止画像）を生成する。

ノイズ除去部３８０は、各フレームに含まれる画素値を用いて、フレーム間の平均値や中間値を求めてノイズ除去を行ってもよいし、他の方法を用いてノイズ除去を行ってもよい。ノイズ除去部３８０が行うノイズ除去の方法は特に限定されない。

その後、ノイズ除去部３８０は、生成した画像を特徴量抽出領域決定部１４０に出力する。特徴量抽出領域決定部１４０は、ノイズ除去部３８０から出力された画像を用いて、第２の実施の形態に係る特徴量抽出領域決定部１４０と同様の処理を行う。

（特徴量抽出装置３００の動作）
次に、図１４を用いて、特徴量抽出装置３００の動作について説明する。図１４は、本実施の形態に係る特徴量抽出装置３００の動作の流れの一例を示すフローチャートである。

図１４に示す通り、まず、特徴量抽出装置３００のフレーム選択部３７０が画像データを取得（受信）する（ステップＳ３０１）。そして、フレーム選択部３７０は、ノイズ除去を行う対象となるフレーム（認識に用いる画像を生成するためのフレーム）を選択する（ステップＳ３０２）。

そして、ノイズ除去部３８０が、ステップＳ３０２で選択されたフレームに対し、ノイズ除去を行う（ステップＳ３０３）。その後、特徴量抽出領域決定部１４０が、ノイズ除去が行われたフレームから生成された画像から、特徴量抽出領域を決定する（ステップＳ３０４）。

なお、図１４に示すステップＳ３０５〜ステップＳ３０９の夫々は、上述したステップＳ１０３〜ステップＳ１０７と同様の特徴量抽出処理であるため、説明を省略する。

（効果）
本実施の形態に係る特徴量抽出装置３００は、上述した第２の実施の形態と同様の効果を得ることができる。また、本実施の形態に係る特徴量抽出装置３００は、ノイズ除去を行った画像を用いて、特徴量抽出を行うため、ノイズの影響を減らした特徴量を抽出することができる。したがって、本実施の形態に係る特徴量抽出装置３００は、より高い精度の認識を行うことが可能な統合特徴量を出力することができる。

＜第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。なお、説明の便宜上、前述した第１から第４の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

図１５は、本実施の形態に係る特徴量抽出装置４００を含む特徴量抽出システム５の構成および特徴量抽出装置４００の機能構成の一例を示すブロック図である。図１５に示す特徴量抽出システム５の特徴量抽出装置４００は、第２の実施の形態に係る特徴量抽出装置１００の第２の特徴量抽出部１２０を、第２の特徴量抽出部４２０に置き換え、更に第４の実施の形態において説明したフレーム選択部３７０を備える構成である。

なお、本実施の形態に係る特徴量抽出装置４００は、第１の実施の形態または第３の実施の形態または第４の実施の形態に係る特徴量抽出装置と組み合わせてもよい。

図１５に示す通り、特徴量抽出システム５は、撮像装置９９と、特徴量抽出装置４００とを備えている。撮像装置９９と特徴量抽出装置４００とは、互いに有線通信または無線通信可能に接続されている。これらは、互いに、例えば、ケーブル等を介して直接接続してもよいし、ネットワークを介して接続してもよい。

（特徴量抽出装置４００）
特徴量抽出装置４００は、撮像装置９９から画像データを受信する。特徴量抽出装置４００は、図１５に示す通り、第１の特徴量抽出部１１０と、第２の特徴量抽出部４２０と、特徴量生成部１３０と、特徴量抽出領域決定部１４０と、フレーム選択部３７０とを備える。特徴量抽出装置４００は、記憶部４９０を更に備える構成であってもよい。なお、記憶部４９０は、特徴量抽出装置４００に内蔵されるものであってもよいし、特徴量抽出装置４００とは別個の記憶装置によって実現されるものであってもよい。

ここで、本実施の形態に係る撮像装置９９が撮影し、特徴量抽出装置４００に送信する画像データは、第４の実施の形態と同様に、連続したデータであるとする。なお、本実施の形態では、撮像装置９９が撮影する画像は連続した静止画像であってもよいが、撮像装置９９が撮影する画像が動画像である場合、特徴量抽出装置４００は、より好適に、特徴量を抽出することが可能である。したがって、本実施の形態では、撮像装置９９が撮影する画像が動画像であることを前提に説明を行う。

フレーム選択部３７０は、第４の実施の形態に係るフレーム選択部３７０と同様の機能を有する。本実施の形態に係るフレーム選択部３７０は、更に、動画像に含まれる物体に動きが検知された場合、動きが検知されたフレームを選択してもよい。

フレーム選択部３７０は、選択した１以上のフレームを、特徴量抽出領域決定部１４０に供給する。

また、フレーム選択部３７０は、受信（取得）した複数のフレームを、記憶部４９０に格納してもよい。このとき、フレーム選択部３７０は、選択したフレームに対し選択したことを示す情報を関連付けて、受信した複数のフレームを記憶してもよい。

特徴量抽出領域決定部１４０は、フレーム選択部３７０から、該フレーム選択部３７０が選択した１以上のフレームを受信する。そして、特徴量抽出領域決定部１４０は、受信した１以上のフレームの夫々に対して、上述した第２から第４の実施の形態に係る特徴量抽出領域決定部１４０と同様に、特徴量抽出領域を決定する。本実施の形態に係る特徴量抽出領域決定部１４０は、第２から第４の実施の形態に係る特徴量抽出領域決定部１４０と同様の方法で特徴量抽出領域を決定する。また、本実施の形態に係る特徴量抽出領域決定部１４０は、例えば、フレーム内の領域のうち、色の偏りが、その前後のフレームより高いまたは低い場所を含む領域を特徴量抽出領域として決定してもよい。

第１の特徴量抽出部１１０は、フレーム選択部３７０によって選択された１以上のフレームの夫々に対して、特徴量抽出領域決定部１４０が決定した特徴量抽出領域から、部分領域を決定する。本実施の形態に係る第１の特徴量抽出部１１０が行う動作については、上述した第２の実施の形態に係る第１の特徴量抽出部１１０の動作と同様であるため、詳細な説明を省略する。

第２の特徴量抽出部４２０は、図２に示す通り、周辺領域決定部４２１と、周辺領域特徴量抽出部４２２とを含む。

周辺領域決定部４２１は、特徴量抽出領域を示す情報と、フレーム（画像データ）と、部分領域情報とに基づいて、該特徴量抽出領域内の部分領域の周辺の領域および他のフレームにおける該部分領域に対応する部分の周辺領域を周辺領域として決定する。

この周辺領域について、図１６を参照して説明する。図１６において、フレーム選択部３７０が選択したフレームを、ＦＲ１とする。ＦＲ０は、ＦＲ１より時間的に前のフレームであり、ＦＲ２は、ＦＲ１より、時間的に後ろのフレームである。ＦＲ０およびＦＲ２は、フレーム選択部３７０によって選択されたフレームであってもよいし、選択されていないフレームであってもよい。

周辺領域決定部４２１は、フレームＦＲ１における特徴量抽出領域（不図示）内の部分領域Ｃ４１の周辺の領域を周辺領域Ｐ４２として、決定する。周辺領域Ｐ４２の分割については、第２の実施の形態と同様である。

また、周辺領域決定部４２１は、部分領域Ｃ４１を含むフレームＦＲ１の前後のフレーム（ＦＲ０、ＦＲ２）を、記憶部４９０から取得する。そして、周辺領域決定部４２１は、フレームＦＲ１の前後のフレーム（ＦＲ０、ＦＲ２）において、該部分領域Ｃ４１に対応する部分（図１６では、夫々、Ｃ４１’Ｃ４１”とする）の周辺の領域も、周辺領域Ｐ４２として決定する。このとき、周辺領域決定部４２１は、フレームＦＲ０およびフレームＦＲ２に含まれる複数の周辺領域の夫々と、部分領域Ｃ４１（または、部分領域Ｃ４１’、部分領域Ｃ４１”）との画素情報の差を算出し、その差の値の大小に応じて、周辺領域を決定してもよい。

なお、周辺領域決定部４２１が周辺領域を決定する際に使用する、あるフレームの前後のフレーム（図１６においては、ＦＲ０、ＦＲ２）は、特徴量抽出領域決定部１４０によって、選択されたフレームであってもよい。また、周辺領域決定部４２１が周辺領域を決定する際に使用する、あるフレームの前後のフレーム（図１６においては、ＦＲ０、ＦＲ２）は、時間軸的にこのあるフレームの直前または直後のフレームであってもよい。また、周辺領域決定部４２１は、図１６では前後に１枚ずつを用いて周辺領域を決定したが、所定枚数前のフレームおよび／または所定枚数後のフレームを用いて周辺領域を決定してもよい。

なお、周辺領域の分割の方法は、図１６に示す方法に限定されるものではない。周辺領域決定部４２１は、上述した第２の実施の形態に係る第２の特徴量抽出部１２０と同様に、図１７に示すような複数の周辺領域Ｐ４２の夫々と、部分領域Ｃ４１との画素情報の差を算出し、その差の値の大小に応じて、特徴量を抽出する周辺領域を決定してもよい。

なお、周辺領域の形状は、図１６および図１７に示すように、同心円を用いてできる領域を所定の数に分割したアーチ形であってもよいし、球領域を分割することによってできる領域の形であってもよい。また、周辺領域の形状はこれに限定されず、例えば、略矩形の領域や略直方体の領域を分割することによってできる形であってもよい。

このように、周辺領域決定部４２１は、時空間上に存在するフレーム（ＦＲ０、ＦＲ２）における、該部分領域の周辺の領域を周辺領域として決定する。そして、周辺領域特徴量抽出部４２２は、第２の実施の形態に係る周辺領域特徴量抽出部１２２と同様に、決定した周辺領域から第２の特徴量を抽出する。周辺領域が複数のフレームにわたる領域となるため、周辺領域決定部４２１は、第２の特徴量として、複数のフレームにおける画素値の変化を抽出することができる。

（特徴量抽出装置４００の動作）
次に、図１８を用いて、特徴量抽出装置４００の動作について説明する。図１８は、本実施の形態に係る特徴量抽出装置４００の動作の流れの一例を示すフローチャートである。

図１８に示す通り、まず、まず、特徴量抽出装置４００のフレーム選択部３７０が画像データを取得（受信）する（ステップＳ４０１）。そして、フレーム選択部３７０は、認識に用いる画像を生成するためのフレームを選択する（ステップＳ４０２）。

その後、特徴量抽出領域決定部１４０が、ステップＳ４０２にて選択されたフレームから、特徴量抽出領域を決定する（ステップＳ４０３）。そして、第１の特徴量抽出部１１０の部分領域決定部１１１が、ステップＳ４０３で決定された特徴量抽出領域から部分領域を決定する（ステップＳ４０４）。このステップＳ４０４以降の処理は、ステップＳ４０３にて決定された特徴量抽出領域毎に行われる。その後、第１の特徴量抽出部１１０の部分領域特徴量抽出部１１２がステップＳ４０４で決定された部分領域から、第１の特徴量を抽出する（ステップＳ４０５）。

また、第２の特徴量抽出部４２０の周辺領域決定部４２１が、ステップＳ４０３で決定された特徴量抽出領域、および、該特徴量抽出領域が含まれるフレームの前後のフレームにおける、該特徴量抽出領域に対応する領域から、周辺領域を決定する（ステップＳ４０６）。なお、ステップＳ４０６は、ステップＳ４０４の後であればよく、ステップＳ４０５より先に行われてもよいし、同時に行われてもよい。

その後、第２の特徴量抽出部４２０の周辺領域特徴量抽出部４２２が、ステップＳ４０６で決定された周辺領域から、第２の特徴量を抽出する（ステップＳ４０７）。

そして、特徴量生成部１３０が、ステップＳ４０５にて抽出された第１の特徴量と、ステップＳ４０７にて抽出された第２の特徴量とに基づいて、これらを統合した統合特徴量を生成し（ステップＳ４０８）、特徴量抽出装置４００の処理を終了する。

この特徴量抽出処理によって、特徴量抽出装置４００は、ステップＳ４０１で取得した画像データによって表される動画像に対し、ステップＳ４０３にて決定された特徴量抽出領域の数と同数の統合特徴量を抽出することができる。

これにより、本実施の形態に係る特徴量抽出装置４００は、上述した各実施の形態と同様の効果を得ることができる。

また、本実施の形態に係る特徴量抽出装置４００は、周辺領域の特徴量として、取得した画像データによって表される動画像を構成する複数のフレームにおける画素値の変化を抽出する。これにより、特徴量抽出装置４００は、動物体についての認識精度を向上することができる。

（適用例）
次に、各実施の形態に係る特徴量抽出装置を適用したシステムの一例について説明する。図１９は、各実施の形態に係る特徴量抽出装置を適用した情報処理システム６の構成の一例を示す図である。本適用例では、上述した第３の実施の形態に係る特徴量抽出システム３を適用した情報処理システム６について、説明するとするが、その他の実施の形態に係る装置またはシステムを適用してもよい。

図１９には、ある小売店舗内の会計カウンターに特徴量抽出装置を適用した情報処理システム６が示されている。そのため、本適用例に係る情報処理システム６は、会計処理システムとも呼ぶ。情報処理システム６は、カメラ（撮像装置、撮像手段）６１と、認識装置６２と、表示装置（表示手段）６３とを備えている。カメラ６１は、第３の実施の形態に係る撮像装置９９に相当し、認識装置６２は、第３の実施の形態に係る特徴量抽出装置２００に相当する。そのため、認識装置６２の機能構成については、特徴量抽出装置２００と同様であるため、説明を省略する。

この小売店舗の店員は、購入者が購入を希望している商品を、カメラ６１を用いて撮影する（カメラ６１に読み取らせる）。これは、例えば、小売店舗の店員が、商品に記載されたバーコード等をバーコードリーダで読み取る際に行う動作と同様の動作である。

カメラ６１で撮影された画像データは、認識装置６２に入力される。これにより、認識装置６２は、上述した特徴量抽出装置２００と同様の特徴量抽出処理および認識処理を行う。そして、認識装置６２は、認識結果を表示装置６３に供給する。

表示装置６３は、認識結果を画面に表示する。具体的には、表示装置６３は、認識装置６２から供給された認識結果に基づいて、認識結果を示す画像を画面に表示する。

これにより、店員は購入された商品を画面上で確認することができ、会計作業を行うことができる。

このように、本発明の各実施の形態に係る特徴量抽出装置は、画像認識を行うＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）に好適に適用可能である。本発明の各実施の形態に係る特徴量抽出装置は、その他にも、映像監視、顔認証などのシステムにも適用可能である。

以上のように、本発明の各実施の形態に係る特徴量抽出装置および特徴量抽出装置を備えた認識装置および特徴量抽出システムは、画像から、該画像内に含まれる物体の認識に、より有効な特徴量を抽出することができる。

また、これらの特徴量抽出装置、認識装置または特徴量抽出システムによって実行される特徴量抽出方法および／または認識方法も、上記装置またはシステムと同様の効果を得ることができる。また、これらの特徴量抽出装置、認識装置または特徴量抽出システムで実行されるプログラムも、上記装置またはシステムと同様の効果を得ることができる。

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る特徴量抽出装置（１、１００、２００、３００、４００）を実現可能なハードウェアの構成例について説明する。上述した特徴量抽出装置（１、１００、２００、３００、４００）は、専用の装置として実現してもよいが、コンピュータを用いて実現してもよい。

図２０は、本発明の各実施の形態を実現可能なコンピュータのハードウェア構成を例示する図である。

図２０に示したコンピュータ１０のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、通信インタフェース（Ｉ／Ｆ）１２、入出力ユーザインタフェース１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５、記憶装置１７、及びコンピュータ読み取り可能な記憶媒体１９のドライブ装置１８を備え、これらがバス１６を介して接続された構成を有する。入出力ユーザインタフェース１３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース１２は、上述した各実施の形態に係る装置（図１、図２、図８、図１３および図１５）が、外部装置と、通信ネットワーク２０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ１１は、各実施の形態に係る特徴量抽出装置（１、１００、２００、３００、４００）を実現するコンピュータ１０について、全体の動作を司る。

上述した各実施の形態を例に説明した本発明は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２０に示すコンピュータ１０に対して供給した後、そのプログラムを、ＣＰＵ１１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図７、図１２、図１４および図１８）に記載した各種処理や、或いは、図１、図２、図８、図１０、図１３および図１５に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

また、コンピュータ１０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（１５）またはハードディスクドライブ等の不揮発性の記憶装置（１７）に格納されてもよい。即ち、記憶装置１７において、プログラム群１７Ａは、例えば、上述した各実施の形態における特徴量抽出装置（１、１００、２００、３００、４００）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報１７Ｂは、例えば、上述した各実施の形態における画像データ、選択されたフレーム、識別器において使用する学習用画像等である。ただし、コンピュータ１０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図（図１、図２、図８、図１０、図１３および図１５）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（１９）を介して当該装置内にインストールする方法や、インターネット等の通信回線（２０）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群１７Ａ）或いは係るコードが格納された記憶媒体（１９）によって構成されると捉えることができる。

以上、本発明を、上述した模範的な実施の形態およびその実施例に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態及び実施例に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、を備えることを特徴とする特徴量抽出装置。

（付記２）前記第１の特徴量は、前記第２の特徴量よりも、詳細に記述された特徴量である、ことを特徴とする付記１に記載の特徴量抽出装置。

（付記３）前記第１の特徴量抽出手段は、前記部分領域に含まれる画素値を量子化し、前記部分領域内において、前記量子化された画素値の出現頻度のヒストグラムを前記第１の特徴量として抽出する、ことを特徴とする付記１または２に記載の特徴量抽出装置。

（付記４）前記第２の特徴量抽出手段は、前記部分領域の位置、並びに、前記部分領域の画素値および該部分領域の近傍の画素値の少なくとも何れかに基づいて、前記周辺領域を決定し、該決定した周辺領域に含まれる画素の配置情報に基づいて、に基づいて、前記第２の特徴量を抽出する、ことを特徴とする付記１から３の何れか１つに記載の特徴量抽出装置。

（付記５）前記第２の特徴量抽出手段は、（ａ）前記周辺領域に含まれる画素値を量子化し、前記量子化した画素値の出現頻度のヒストグラムからなるベクトル、（ｂ）前記周辺領域間の前記ヒストグラムの差からなるベクトル、（ｃ）各周辺領域の部分領域に対する位置を量子化したものと量子化した画素値とが同時に出現する頻度を示すヒストグラム、（ｄ）前記周辺領域間の相対位置と各周辺領域の代表色の組み合わせとを並べたベクトル、の少なくともいずれかを、前記第２の特徴量として抽出する、ことを特徴とする付記１から４の何れか１つに記載の特徴量抽出装置。

（付記６）前記部分領域の画素値および前記周辺領域の画素値の少なくとも何れかに基づいて、前記第３の特徴量に対する重要度を算出する重要度算出手段を更に備えることを特徴とする、付記１から５の何れか１つに記載の特徴量抽出装置。

（付記７）前記画像は、連続したフレームからなる画像であり、前記特徴量抽出装置は、更に、該画像から所定枚数のフレームを選択するフレーム選択手段を備え、前記第２の特徴量抽出手段は、前記周辺領域として、前記選択されたフレーム内の前記部分領域の周辺に配置された領域、および、該選択されたフレームの時系列的に前後のフレームにおける前記部分領域に対応する領域の周辺の領域を、前記周辺領域として決定し、前記決定した周辺領域に含まれる画素の配置情報に基づいて、に基づいて、前記第２の特徴量を抽出する、ことを特徴とする付記１から６の何れか１つに記載の特徴量抽出装置。

（付記８）前記第１の特徴量および前記第２の特徴量を抽出するための特徴量抽出領域を決定する特徴量抽出領域決定手段を更に備え、前記第１の特徴量抽出手段は、前記決定された特徴量抽出領域内の部分領域から前記第１の特徴量を抽出し、前記第２の特徴量抽出手段は、前記部分領域の周辺に配置された領域であって、前記特徴量抽出領域内の領域である周辺領域に基づいて、前記第２の特徴量を抽出する、ことを特徴とする付記１から７の何れか１つに記載の特徴量抽出装置。

（付記９）前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段を更に備えることを特徴とする付記１から８の何れか１つに記載の特徴量抽出装置。

（付記１０）画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段と、を備えることを特徴とする認識装置。

（付記１１）前記第１の特徴量は、前記第２の特徴量よりも、詳細に記述された特徴量である、ことを特徴とする付記１０に記載の認識装置。

（付記１２）前記第１の特徴量抽出手段は、前記部分領域に含まれる画素値を量子化し、前記部分領域内において、前記量子化された画素値の出現頻度のヒストグラムを前記第１の特徴量として抽出する、ことを特徴とする付記１０または１１に記載の認識装置。

（付記１３）前記第２の特徴量抽出手段は、前記部分領域の位置、並びに、前記部分領域の画素値および該部分領域の近傍の画素値の少なくとも何れかに基づいて、前記周辺領域を決定し、該決定した周辺領域に含まれる画素の配置情報に基づいて、に基づいて、前記第２の特徴量を抽出する、ことを特徴とする付記１０から１２の何れか１つに記載の認識装置。

（付記１４）前記第２の特徴量抽出手段は、（ａ）前記周辺領域に含まれる画素値を量子化し、前記量子化した画素値の出現頻度のヒストグラムからなるベクトル、（ｂ）前記周辺領域間の前記ヒストグラムの差からなるベクトル、（ｃ）各周辺領域の部分領域に対する位置を量子化したものと量子化した画素値とが同時に出現する頻度を示すヒストグラム、（ｄ）前記周辺領域間の相対位置と各周辺領域の代表色の組み合わせとを並べたベクトル、の少なくともいずれかを、前記第２の特徴量として抽出する、ことを特徴とする付記１０から１３の何れか１つに記載の認識装置。

（付記１５）前記部分領域の画素値および前記周辺領域の画素値の少なくとも何れかに基づいて、前記第３の特徴量に対する重要度を算出する重要度算出手段を更に備え、前記認識手段は、前記重要度を、前記第３の特徴量に対する重みとして用いて、前記画像中に含まれる１以上の対象物を認識する、ことを特徴とする付記１０から１４の何れか１つに記載の認識装置。

（付記１６）前記画像は、連続したフレームからなる画像であり、前記認識装置は、更に、該画像から所定枚数のフレームを選択するフレーム選択手段を備え、前記第２の特徴量抽出手段は、前記周辺領域として、前記選択されたフレーム内の前記部分領域の周辺に配置された領域、および、該選択されたフレームの時系列的に前後のフレームにおける前記部分領域に対応する領域の周辺の領域を、前記周辺領域として決定し、前記決定した周辺領域に含まれる画素の配置情報に基づいて、に基づいて、前記第２の特徴量を抽出する、ことを特徴とする付記１０から１５の何れか１つに記載の認識装置。

（付記１７）前記第１の特徴量および前記第２の特徴量を抽出するための特徴量抽出領域を決定する特徴量抽出領域決定手段を更に備え、前記第１の特徴量抽出手段は、前記決定された特徴量抽出領域内の部分領域から前記第１の特徴量を抽出し、前記第２の特徴量抽出手段は、前記部分領域の周辺に配置された領域であって、前記特徴量抽出領域内の領域である周辺領域に基づいて、前記第２の特徴量を抽出する、ことを特徴とする付記１０から１６の何れか１つに記載の認識装置。

（付記１８）画像を撮影する撮像手段と、前記画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段と、認識結果を表示する表示手段と、を備えることを特徴とする情報処理システム。

（付記１９）画像の部分領域に含まれる画素値から第１の特徴量を抽出し、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出し、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する、ことを特徴とする特徴量抽出方法。

（付記２０）画像の部分領域に含まれる画素値から第１の特徴量を抽出し、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出し、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成し、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する、ことを特徴とする認識方法。

（付記２１）画像を撮影し、前記画像の部分領域に含まれる画素値から第１の特徴量を抽出し、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出し、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成し、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識し、認識結果を表示する、ことを特徴とする方法。

（付記２２）画像の部分領域に含まれる画素値から第１の特徴量を抽出する処理と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する処理と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する処理と、をコンピュータに実行させることを特徴とするプログラム。

（付記２３）画像の部分領域に含まれる画素値から第１の特徴量を抽出する処理と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する処理と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する処理と、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する処理と、をコンピュータに実行させることを特徴とするプログラム。

（付記２４）画像を撮影する処理と、前記画像の部分領域に含まれる画素値から第１の特徴量を抽出する処理と、前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する処理と、前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する処理と、前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する処理と、認識結果を表示する処理と、をコンピュータに実行させることを特徴とするプログラム。

（付記２５）上記付記２２から付記２４に記載のプログラムを記憶する、ことを特徴とするコンピュータ読み取り可能な記録媒体。

１ 特徴量抽出装置
２ 特徴量抽出システム
３ 特徴量抽出システム
４ 特徴量抽出システム
５ 特徴量抽出システム
９９ 撮像装置
１００ 特徴量抽出装置
１１０ 第１の特徴量抽出部
１１１ 部分領域決定部
１１２ 部分領域特徴量抽出部
１２０ 第２の特徴量抽出部
１２１ 周辺領域決定部
１２２ 周辺領域特徴量抽出部
１３０ 特徴量生成部
１４０ 特徴量抽出領域決定部
２００ 特徴量抽出装置
２５０ 重要度算出部
２６０ 認識部
２６１ 識別器
２６２ 記憶部
２６３ 投票部
２６４ 選択部
３００ 特徴量抽出装置
３７０ フレーム選択部
３８０ ノイズ除去部
４００ 特徴量抽出装置
４２０ 第２の特徴量抽出部
４２１ 周辺領域決定部
４２２ 周辺領域特徴量抽出部
４９０ 記憶部

Claims (10)

1. 画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、
   前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、
   前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、を備えることを特徴とする特徴量抽出装置。
2. 前記第１の特徴量は、前記第２の特徴量よりも、詳細に記述された特徴量である、ことを特徴とする請求項１に記載の特徴量抽出装置。
3. 前記第１の特徴量抽出手段は、前記部分領域に含まれる画素値を量子化し、前記部分領域内において、前記量子化された画素値の出現頻度のヒストグラムを前記第１の特徴量として抽出する、ことを特徴とする請求項１または２に記載の特徴量抽出装置。
4. 前記第２の特徴量抽出手段は、前記部分領域の位置、並びに、前記部分領域の画素値および該部分領域の近傍の画素値の少なくとも何れかに基づいて、前記周辺領域を決定し、該決定した周辺領域に含まれる画素の配置情報に基づいて、に基づいて、前記第２の特徴量を抽出する、ことを特徴とする請求項１から３の何れか１項に記載の特徴量抽出装置。
5. 前記第２の特徴量抽出手段は、
   （ａ）前記周辺領域に含まれる画素値を量子化し、前記量子化した画素値の出現頻度のヒストグラムからなるベクトル、
   （ｂ）前記周辺領域間の前記ヒストグラムの差からなるベクトル、
   （ｃ）各周辺領域の部分領域に対する位置を量子化したものと量子化した画素値とが同時に出現する頻度を示すヒストグラム、
   （ｄ）前記周辺領域間の相対位置と各周辺領域の代表色の組み合わせとを並べたベクトル、の少なくともいずれかを、前記第２の特徴量として抽出する、ことを特徴とする請求項１から４の何れか１項に記載の特徴量抽出装置。
6. 前記部分領域の画素値および前記周辺領域の画素値の少なくとも何れかに基づいて、前記第３の特徴量に対する重要度を算出する重要度算出手段を更に備えることを特徴とする、請求項１から５の何れか１項に記載の特徴量抽出装置。
7. 画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、
   前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、
   前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、
   前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段と、を備えることを特徴とする認識装置。
8. 画像を撮影する撮像手段と、
   前記画像の部分領域に含まれる画素値から第１の特徴量を抽出する第１の特徴量抽出手段と、
   前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する第２の特徴量抽出手段と、
   前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する特徴量生成手段と、
   前記第３の特徴量に基づいて、前記画像中に含まれる１以上の対象物を認識する認識手段と、
   認識結果を表示する表示手段と、を備えることを特徴とする情報処理システム。
9. 画像の部分領域に含まれる画素値から第１の特徴量を抽出し、
   前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出し、
   前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する、ことを特徴とする特徴量抽出方法。
10. 画像の部分領域に含まれる画素値から第１の特徴量を抽出する処理と、
    前記部分領域の周辺に配置された領域である周辺領域に含まれる画素の配置情報に基づいて、第２の特徴量を抽出する処理と、
    前記第１の特徴量と前記第２の特徴量とに基づいて、第３の特徴量を生成する処理と、をコンピュータに実行させることを特徴とするプログラム。