JP2016162072A - 特徴量抽出装置 - Google Patents

Abstract

【課題】識別対象物を高精度に識別することができる特徴量抽出装置を提供する。
【解決手段】本実施形態による特徴量抽出装置は、学習用対象物を含む複数の画像に基づき、対象物の特徴量を集計するための位置および範囲を示す複数のセルを設定するセル学習部を備える。セル学習部は、正規化部と、特徴点情報算出部と、セル決定部とを有する。正規化部は、画像内に設定され、学習用対象物を示す３箇所以上の特徴点の中から２箇所の特徴点を選択して、特徴点のサイズおよび方向を正規化する。特徴点情報算出部は、正規化された特徴点のうち、選択された２箇所の特徴点以外の特徴点のそれぞれについて、平均位置および当該平均位置からのバラツキを算出する。セル決定部は、平均位置に基づいてセル毎の位置を決定するとともに、バラツキに基づいてセル毎のサイズを決定する。
【選択図】図１

Description

本発明の実施形態は、特徴量抽出装置に関する。

画像データ中の物体を識別する技術として、例えば、物体のパーツ同士の配置を評価することによって該物体の姿勢を推定する技術がある。この技術は、画像中に識別すべき物体が存在することを前提とするため、物体の姿勢を詳細に検出するのには適しているが、該物体の有無を検出することには適さず、結果的に該物体を高精度に識別できないという問題がある。

また、全体の領域を検出した後に、該領域中の個別の局所領域ごとに特徴量を探索する技術がある。しかし、この技術は、個別の局所領域が変化すると全体の領域を精度よく検出できなくなるため、結果的に物体の識別精度が悪くなるといった問題がある。

また、検出された特徴点ごとに、コードブックとの比較によって尤度を算出し、算出された尤度を統合することによって物体を識別する技術がある。しかし、この技術は、特徴点の検出結果を用いるため、特徴点の検出精度によって識別精度が変動してしまい、識別精度が安定しないという問題がある。

特開２００８−３０５０９９号公報

本発明が解決しようとする課題は、識別対象物を高精度に識別することができる特徴量抽出装置を提供することにある。

本実施形態による特徴量抽出装置は、学習用対象物を含む複数の画像に基づき、対象物の特徴量を集計するための位置および範囲を示す複数のセルを設定するセル学習部を備える。セル学習部は、正規化部と、特徴点情報算出部と、セル決定部とを有する。正規化部は、画像内に設定され、学習用対象物を示す３箇所以上の特徴点の中から２箇所の特徴点を選択して、特徴点のサイズおよび方向を正規化する。特徴点情報算出部は、正規化された特徴点のうち、選択された２箇所の特徴点以外の特徴点のそれぞれについて、平均位置および当該平均位置からのバラツキを算出する。セル決定部は、平均位置に基づいてセル毎の位置を決定するとともに、バラツキに基づいてセル毎のサイズを決定する。

第１の実施形態を示す特徴量抽出装置１のブロック図である。 図１の特徴量抽出装置１のセル学習動作を示すフローチャートである。 セル学習動作を説明するための説明図である。 図３に続くセル学習動作を説明するための説明図である。 図１の特徴量抽出装置１の認識動作を示すフローチャートである。 認識動作を説明するための説明図である。 図６に続く認識動作を説明するための説明図である。 対象物の画像に対応するバイナリパターンの一例を示す図である。 図８のバイナリパターンを１０進数の数値で表した図である。 図９の一部に設定されたセルを示す図である。 図９の他の一部に設定されたセルを示す図である。 第２の実施形態を示す特徴量抽出装置１のブロック図である。 第３の実施形態を示す特徴量抽出装置１のブロック図である。

以下、図面を参照して本発明に係る実施形態を説明する。以下の実施形態では、特徴量抽出装置の特徴的な構成および動作を中心に説明するが、特徴量抽出装置には以下の説明で省略した構成および動作が存在しうる。これらの省略した構成および動作も本実施形態の範囲に含まれるものである。

（第１の実施形態）
図１は、第１の実施形態を示す特徴量抽出装置１のブロック図である。本実施形態の特徴量抽出装置１は、例えば、イメージセンサを搭載したカメラの撮像画像から所定の物体（以下、識別対象物ともいう）を識別するために用いる。識別対象物は、例えば人間の手などの多関節体である。識別対象物の識別結果は、ジェスチャ入力などに用いる。

特徴量抽出装置１は、画像データ取得部１２と、特徴量算出部１３と、特徴集計部１４と、認識部１５とを備える。また、特徴量抽出装置１は、セル学習部１１を備えてもよい。各構成部１１〜１５は、例えば演算処理装置や記憶装置などのハードウェアである。また、各構成部１１〜１５は、１つの機器や設備に搭載されていてもよく、または、一部の構成部が、他の構成部との間で外部ネットワークを通じて通信可能な装置（例えばクラウド上のサーバやデータベース）上にあってもよい。

（セル学習部１１）
セル学習部１１は、複数の学習用対象物の各画像の少なくとも一部に、対象物の特徴量を集計するための位置および範囲を示す複数のセルを設定する。設定された複数のセルは、特徴集計部１４においてヒストグラムを生成する際に用いられる。セル学習部１１は、例えば対象物が人間の手の場合、指の先端や根元、関節位置、手の平の中央付近などの各位置に応じた範囲のセルを設定する。特徴量は、対象物の画素ごとに得られる値であり、例えばローカルバイナリパターンまたはその亜種などのコードパターンである。

セルを設定する意義は次の通りである。対象物が識別対象物であるか否かの判断は、対象物の特徴量を集計して作成したヒストグラムに基づく。もし、特徴量を集計する領域が、画像データの全画素領域に亘る場合、特徴量の集計に時間がかかり識別対象物か否かの迅速な識別ができなくなってしまう。また、統計的に見て識別対象物の特徴点の存在確率が低い領域の特徴量を集計するといった、識別精度に殆ど影響しない無駄な処理をすることになってしまう。そこで、セル学習部１１は、特徴量の集計領域を、識別対象物の特徴点の存在確率が統計的に高い領域に限定すべく、学習用対象物の画像の複数箇所にセルを設定する。これらセルは、学習用対象物の特徴的な部分を示す領域であり、これらセルを用いることで、対象物が識別対象物であるか否かを迅速かつ高精度に識別することが可能となる。

なお、セル学習部１１は、認識部１５によって対象物が識別された場合に、この対象物を学習用対象物として用いてもよい。これにより、識別結果を学習データとして有効利用することができる。

セル学習部１１は、正規化部１１１、特徴点情報算出部１１２およびセル決定部１１３を備える。

（正規化部１１１）
正規化部１１１は、複数の学習用対象物の各画像内に設定される３箇所以上の特徴点の中から２箇所の特徴点を用いて、各特徴点のサイズおよび方向を正規化する。ここで、特徴点は、学習用対象物における特徴となり得る任意の場所に設定される。

正規化部１１１は、学習用対象物における任意の２箇所の特徴点を選択して、学習用対象物を基準の向き、基準のサイズに正規化する。２箇所の特徴点は、例えば、学習用対象物の最も中央側に位置する点である。正規化部１１１は、学習用対象物が基準の向きから回転している場合、２箇所の特徴点を結ぶ線分の傾きを補正し正規化する。また、正規化部１１１は、学習用対象物のサイズが基準のサイズと異なる場合、２箇所の特徴点間の距離を一定値に補正し正規化する。すなわち、正規化部１１１は、複数の学習用対象物の回転の有無の違いおよびサイズの違いを解消し、各学習用対象物の特徴点を同じ基準にする。なお、特徴点は、例えば入力装置の操作によって手作業で設定（教示）してもよく、または、画像認識などによって自動設定してもよい。

（特徴点情報算出部１１２）
特徴点情報算出部１１２は、正規化に用いた２箇所の特徴点以外の特徴点について、平均位置および平均位置からのバラツキを算出する。平均位置とは、正規化に用いた２箇所の特徴点以外の特徴点の位置の平均値である。バラツキは、例えば分散や標準偏差などである。例えば分散は、２箇所の特徴点の中点を原点（０、０）とし、残りの特徴点の座標（ｘ、ｙ）のベクトルをＸ、特徴点の平均位置のベクトル（平均ベクトル）をｕとした場合に、（Ｘ−ｕ）（Ｘ−ｕ）＾Ｔの固有値によって求めることができる。（Ｘ−ｕ）＾Ｔは、（Ｘ−ｕ）の転置行列である。

（セル決定部１１３）
セル決定部１１３は、算出された各特徴点の平均位置に基づいて、セルの領域を決定する。平均位置は、複数の学習用対象物における同一の特徴点の存在確率が統計的に高いとみなすことができる。したがって、セルは、該特徴点の存在確率が高い領域に設定される。もし、対象物が学習用対象物と同種物であれば、このようなセルを用いて集計された対象物の特徴量は、学習用対象物の特徴点を表す確率が高い。したがって、セル決定部１１３は、学習用対象物の特徴点を含む物体すなわち識別対象物を高精度に識別できるセルを決定する。

また、セル決定部１１３は、算出された各特徴点の平均位置のバラツキに基づいて、セルのサイズを決定する。より具体的には、セル決定部１１３は、分散を定数倍した値に基づいてセルのサイズを決定する。ここで、学習用対象物は、例えば指の関節部分のように、動きの自由度が高い（すなわち個体差が大きい）ことによって偏差が大きくなる部分を含む。偏差が大きい部分は、偏差が小さい部分に比べて、該部分の高い存在確率が広い領域に亘る。セル決定部１１３は偏差に応じた特徴点の存在確率の分布を考慮して、セルのサイズを決定する。すなわち、偏差が大きければセルのサイズを大きくする。したがって、セル決定部１１３によれば、動きが大きい部分を特徴点とするセルを取りこぼし少なく設定できる。なお、対象物の種類に応じて分散の定数倍の値を設定してもよい。このようにすれば、識別対象物の種類に応じて動きの大小が異なっても、各種類の識別対象物をいずれも取りこぼし少なくできる。

（画像データ取得部１２）
画像データ取得部１２は、対象物を含む画像データを取得し、取得した画像データを特徴量算出部１３に出力する。画像データ取得部１２は、例えばイメージセンサであってもよいし、該イメージセンサで撮像された画像データを入力する装置であってもよいし、その他の手法により画像データを取得する装置であってよい。

（特徴量算出部１３）
特徴量算出部１３は、画像データに基づいて、特徴量を画素ごとに算出する。特徴量算出部１３は、算出された特徴量を特徴集計部１４に出力する。0031

（特徴集計部１４）
特徴集計部１４は、特徴量算出部１３で算出された特徴量と、セル学習部１１によって設定されたセルとに基づいて、画像内の特徴量をセルごとに集計する。具体的には、特徴集計部１４は、対象物を含む画像内に、セル学習部１１で得られた複数のセルを、該セルの位置およびサイズに対応する画素領域に亘って設定する。例えば、特徴集計部１４は、セル学習部で使用した教師データである正規化された特徴点の分布を正規分布に当てはめ、平均位置を中心とし、標準偏差σの一定数倍（たとえば２σや３σ）の大きさの領域（矩形でも楕円でもよい）を設定してよい。このとき、画像のサイズに合わせて、セルのサイズを調整する場合もありうる。そして、特徴集計部１４は、画像内に設定されたセルごとの特徴量を集計したヒストグラムを生成する。ここで、特徴集計部１４は、特徴点の存在確率が高い領域（セル）を特徴量の集計領域としているため、特徴量（バイナリパターンの出現数）の頻度を示すヒストグラムを迅速に生成できる。そして、特徴集計部１４は、生成されたヒストグラムを認識部１５に出力する。

（認識部１５）
認識部１５は、ヒストグラムを用いて対象物が識別対象物であるか否かを判断する。ここで、認識部１５は、バイナリパターンの出現頻度の分布を示すヒストグラムを解析することで、対象物が識別対象物か否かを高精度に識別することができる。認識部１５は、サポートベクターマシン（ＳＶＭ）であってもよい。なお、認識部１５は、予め学習用対象物に基づいて作成した基準ヒストグラムと特徴集計部１４によって生成されたヒストグラムとを比較して、対象物が識別対象物であるか否かを判断してもよい。

以下、図を用いて、特徴量抽出装置１の特徴量抽出方法を、セル学習動作および認識動作に分けて説明する。

（セル学習動作）
図２は、特徴量抽出装置１のセル学習動作を示すフローチャートである。図３は、セル学習動作を説明するための図である。ここでは、人間の手を学習用対象物として説明する。
セル学習部１１は先ず、学習用対象物の画像として、人間の手Ｈの画像ＩＬを複数取得する（Ｓ１）。各画像ＩＬには、予め共通の３つ以上の特徴点Ｐｉ（ｉは自然数）が設定されている。図３に示すように、例えば中央の２箇所の特徴点Ｐ１、Ｐ２は手Ｈの中央を示し、残りの特徴点Ｐｉ（ｉ≧３）は指の関節部分などを示すものとする。なお、図３に示される特徴点Ｐｉはあくまで一例であり、実際はより多数の特徴点が設定され得る。セル学習部１１は、各画像ＩＬを、セル学習部１１の図示しない記憶領域又は外部記憶装置から取得してもよく、或いは、イメージセンサ等の撮像装置から随時取得してもよい。

次いで、正規化部１１１は、特徴点Ｐ１、Ｐ２を選択して、特徴点Ｐｉのサイズおよび方向を正規化する（Ｓ２）。正規化部１１１は、各画像ＩＬについて、例えば座標変換などにより、特徴点Ｐ１、Ｐ２間の距離および特徴点Ｐ１、Ｐ２を結ぶ線分の傾きを統一する。これにより、各画像ＩＬにおける手Ｈのサイズおよび向きを揃える。

次いで、特徴点情報算出部１１２は、画像ＩＬごとに、正規化された特徴点Ｐｉ（ｉ≧３）について、平均位置ｇｉ（ｉ≧３）および平均位置ｇｉからのバラツキとして例えば分散σｉ（ｉ≧３）を算出する（Ｓ３）。

次いで、セル決定部１１３は、平均位置ｇｉに基づいて各セルの位置を決定するとともに、分散σｉに基づいて各セルのサイズを決定する（Ｓ４）。図４は、画像ＩＬにセルが設定された図である。例えば、セル決定部１１３は、平均位置ｇｉを中心とした分散σｉの定数倍の領域Ａｉ（略円形または略楕円形領域）に外接する矩形領域を、セルＣｉに決定する。分散の定数倍の領域より若干大きな矩形領域をセルとすることで、学習用対象物と検出されるべき対象物との特徴点の分布に若干の相違があったとしても、特徴集計部１４にて特徴量の分布を精度よく検出することができる。

（認識動作）
図５は、特徴量抽出装置１の識別動作を示すフローチャートである。先ず、画像データ取得部１２は、画像データＩＦを取得する（Ｓ５）。図６には、人間の指先部分の画像データＩＦが、各画素ｐｉｘの２５６階調の画素値（輝度値）とともに示されている。図６では、明るい画素ｐｉｘほど画素値が大きく、暗い画素ｐｉｘほど画素値が小さい。

次いで、特徴量算出部１３は、画像データＩＦに基づいて、特徴量を算出する（Ｓ６）。特徴量算出部１３は、着目画素ｐｉｘ＿ｃと、これを囲む８つの周辺画素ｐｉｘ＿ｐ１〜ｐｉｘ＿ｐ８との画素値の大小関係に基づいて、バイナリパターンＢＰを算出する。このバイナリパターンは、着目画素の特徴量を表している。

図７（Ａ）は、着目画素およびその周辺画素の画素値の一例を示した図である。図７（Ｂ）は、二値化された周辺画素の画素値を示した図である。図７（Ｃ）は、バイナリ―パターンを示す図である。具体的には、特徴量算出部１３は、着目画素ｐｉｘ＿ｃの画素値“131”よりも低い周辺画素ｐｉｘ＿ｐ３〜６の画素値“109”、“103”、“98”、“125”を、二値における“0”に変換する。また、特徴量算出部１３は、着目画素ｐｉｘ＿ｃの画素値“131”よりも高い周辺画素ｐｉｘ＿ｐ１、２、７、８の画素値“144”、“134”、“142”、“144”を、二値における“1”に変換する。そして、特徴量算出部１３は、二値化した周辺画素ｐｉｘ＿ｐ１〜ｐｉｘ＿ｐ８の画素値を、図７（Ｂ）の矢印に示す順序にしたがって並べることで、バイナリパターンＢＰ“11000011” （図７（ｃ））を算出する。特徴量算出部１３は、着目画素を１画素ずつずらしながら、着目画素ごとにバイナリパターンを算出する。図８は、画素ごとのバイナリ―パターンの一例を示す図である。図９は、図８を１０進数化して表現したものであり、実体は図８と同じである。

なお、特徴量算出部１３は、図７と異なる手法でバイナリパターンを算出してもよい。例えば、特徴量算出部１３は、次の（１）式および（２）式にしたがってバイナリパターンを算出してもよい。
０ ｉｆ ｃ／（１＋α）＜Ｉｎ＜ｃ（１＋α） （１）
１ ｏｔｈｅｒｗｉｓｅ （２）
ここで、ｃは、着目画素の画素値である。αは、０より大きい閾値である。Ｉｎは、周辺画素の画素値である。この式に従えば、周辺画素の画素値Ｉｎは、着目画素の画素値ｃを１＋α（所定値）で除した値より大きく、かつ、着目画素の画素値ｃに１＋αを乗じた値より小さい場合に、“０”（第１の値）になる。一方、周辺画素の画素値Ｉｎは、着目画素の画素値ｃを１＋αで除した値以下、または、着目画素の画素値ｃに１＋αを乗じた値以上の場合に、“１”（第２の値）になる。これらの条件式により、着目画素の画素値との差が小さい周辺画素の画素値は“０”となり、着目画素の画素値との差が大きい周辺画素の画素値は“１”となる。これにより、物体に当る光が正面からの場合でも後ろからの場合（逆光）でも高い精度で検出できるという効果を奏する。

次いで、特徴集計部１４は、セル学習部１１で設定されたセルごとに、特徴量を集計したヒストグラムを生成する（Ｓ７）。

特徴集計部１４は、例えば図９に示すバイナリパターンにおいて、左上端側の８×８画素の領域が図４のセルＣ３に該当する場合、この領域に対して、図１０（Ａ）に示すようにセルＣ３を設定する。そして、特徴集計部１４は、セルのバイナリパターンを集計し、ヒストグラムを得る。図１０（Ｂ）のヒストグラムは、横軸を画素値、縦軸をセルＣ３における該画素値の発生回数としている。セルＣ３は図４の特徴点Ｐ３の平均位置および分散に基づいて設定された領域であるので、図１０（Ｂ）のヒストグラムは特徴点Ｐ３の出現頻度の分布を表している。

また、特徴集計部１４は、例えば図９に示すバイナリパターンにおいて、右下端側の１０×１０画素の領域が図４のセルＣ４に該当する場合、この領域に対して、図１１（Ａ）に示すようにセルＣ４を設定する。そして、特徴集計部１４は、バイナリパターンを集計し、ヒストグラムを得る。セルＣ４は図４の特徴点Ｐ４の平均位置および分散に基づいて設定された領域であるので、図１１（Ｂ）のヒストグラムは特徴点Ｐ４の分布を表している。

次いで、認識部１５は、生成されたヒストグラムに基づいて対象物を認識する（Ｓ８）。認識部１５は、図１０（Ｂ）、図１１（Ｂ）のヒストグラムに基づき、特徴点Ｐ３、Ｐ４を有する人間の手Ｈを識別することができる。また、ヒストグラムは、予め設定されたセルに限定して生成されており、認識部１５は、ヒストグラムを解析することで対象物の認識を短時間で済ませることができる。

以上説明したように、本実施形態によれば、セル学習部１１にて学習用対象物の複数の画像を用いてセルを設定する。そして、画像内における各セル内の特徴量を集計したヒストグラムを作成する。これにより、対象物に特徴点を設定しなくても、セル内での特徴量を集計するだけで、対象物の特徴を精度よく検出できる。このように、本実施形態によれば、特徴量の集計領域を設定したセルに限定することで、識別対象物を迅速かつ高精度に識別することができる。

（第２の実施形態）
識別したい対象物のサイズは、学習用対象物のサイズと必ずしも同一ではない。第２の実施形態は、セルのサイズに合わせて、画像のサイズを調整する第１の実施形態に対応する構成部については同一の符号を付して重複した説明は省略する。

図１２は、第２の実施形態を示す特徴量抽出装置１のブロック図である。本実施形態の特徴量抽出装置１は、画像データ取得部１２と特徴量算出部１３との間に画像サイズ調整部１６を備える。画像サイズ調整部１６は、対象物を含む画像データをセルの大きさに適合するように拡大または縮小する。また、画像サイズ調整部１６は、画像データの大きさを、正規化部１１１が正規化する画像のサイズに合致させてもよい。本実施形態によれば、画像データ取得部１２によって取得された画像データのサイズを、セル学習部１１によって決定されたセルのサイズに適合させることができるので、画像データの倍率の違いにかかわらず、識別対象物を高精度に識別できる。

（第３の実施形態）
図１３は、第３の実施形態を示す特徴量抽出装置１のブロック図である。第１の実施形態に対応する構成部については同一の符号を付して重複した説明は省略する。本実施形態は、特徴集計部１４とセル学習部１１との間にセルサイズ調整部１１４を備える。セルサイズ調整部１１４は、セルを画像データの大きさに適合するように拡大または縮小する。本実施形態によれば、セル決定部１１３によって決定されたセルのサイズを、画像データ取得部１２によって取得された画像データのサイズに適合させることができるので、画像データのサイズにかかわらず、識別対象物を高精度に識別できる。

本実施形態の特徴量抽出装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、特徴量抽出装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、特徴量抽出装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 特徴量抽出装置、１１ セル学習部、１２ 画像データ取得部、１３ 特徴量算出部、１４ 特徴集計部

Claims (5)

1. 学習用対象物を含む複数の画像に基づき、対象物の特徴量を集計するための位置および範囲を示す複数のセルを設定するセル学習部を備え、
   前記セル学習部は、
   前記画像内に設定され、前記学習用対象物を示す３箇所以上の特徴点の中から２箇所の特徴点を選択して、前記特徴点のサイズおよび方向を正規化する正規化部と、
   前記正規化された特徴点のうち、前記選択された２箇所の特徴点以外の特徴点のそれぞれについて、平均位置および当該平均位置からのバラツキを算出する特徴点情報算出部と、
   前記平均位置に基づいて前記セル毎の位置を決定するとともに、前記バラツキに基づいて前記セル毎のサイズを決定するセル決定部と、を有する特徴量抽出装置。
2. 対象物を含む画像の画像データを取得する画像データ取得部と、
   前記画像データに基づいて、前記対象物の特徴量を算出する特徴量算出部と、
   前記対象物を含む画像内の複数の領域に設定され各領域に対応したサイズを有する複数のセルのそれぞれについて、各セル内のすべての前記特徴量を集計する特徴集計部と、を備える、特徴量抽出装置。
3. 学習用対象物を含む複数の画像に基づき、前記対象物の特徴量を集計するための位置および範囲を示す前記複数のセルを設定するセル学習部と、をさらに備える請求項２に記載の特徴量抽出装置。
4. 前記特徴集計部は、前記セルごとに、前記特徴量を集計したヒストグラムを生成する請求項２に記載の特徴量抽出装置。
5. 前記特徴集計部によって生成された前記ヒストグラムを用いて前記対象物を認識する認識部を更に備える、請求項４に記載の特徴量抽出装置。

Images