JP2009146089A - 特徴抽出装置および特徴抽出方法 - Google Patents

Abstract

【課題】３次元画像データから対象物の認識等に利用可能な新規な特徴データを抽出することができる特徴抽出装置を提供すること。
【解決手段】特徴抽出装置は、例えば動画像を３次元データと見なした３次元画像データの各画素において輝度の傾斜方向の情報を含む勾配ベクトルを算出する。次に、画像内の局所領域に限定した自己相関を考え、位置の自己相関に対応する画素組に対してさらに勾配ベクトルの角度の相関を求める。特徴量はこれらの相関値の領域全体での積分値となる。輝度の傾斜方向と位置の相関情報を求めており、これは対象の輪郭曲面の傾き、及び曲率情報を抽出していることになり、対象の動きや形状などの情報が同時に、かつ効果的に抽出され、識別能力が高くなる。
【選択図】図３

Description

本発明は、特徴抽出装置および特徴抽出方法に関し、特に３次元データから対象物の形状や動作の認識等に利用可能な新規な特徴データを抽出する特徴抽出装置および特徴抽出方法に関するものである。

従来、ビデオカメラで撮影された動画像を３次元データと見なして対象物の動きを認識する技術、あるいはＣＴスキャナ装置やレンジファインダ装置（距離画像撮影装置）などから得られる３次元データから対象物の形状などを高速に、かつ高精度に認識、識別する技術は無かった。

そこで、本発明者らは動画像に対して立体高次局所自己相関特徴を抽出し、動作の認識を行う技術を開発した。本発明者らが出願した下記の特許文献１には、動画像の３次元データから、立体高次局所自己相関特徴抽出方式によって特徴データを抽出し、抽出した特徴データを多変量解析などの統計的手法によって変換することによって新たな特徴データを生成し、登録データと比較することによって判定を行う技術が開示されている。
特開２００５−９２３４６号公報

前記した従来の立体高次局所自己相関特徴は積分特徴であるために、対象の位置ずれに強いという特長（位置不変性）をもっている。しかし、画像が多値のピクセル値（画素値）を持つ場合には、そのピクセル値の単純な積和という形式から対象の画像情報が欠落してしまい、その場合には認識精度が低下してしまうという問題点があった。

本発明の目的は、上記したような従来例の問題点を解決し、３次元データから対象物の形状や動作の認識等に広く利用可能な新規な特徴データを抽出することができる特徴抽出装置および特徴抽出方法を提供する点にある。

本発明の特徴抽出装置は、３次元画像（輝度）データの場合には等輝度曲面の曲率に基づく新規な特徴データを抽出する。まず、３次元画像の各画素において勾配ベクトルを求め、勾配ベクトルの向きから輝度の傾斜角度（基準方向からの水平角度：θおよび垂直角度：φ）を算出する。次に、３次元画像データ内の局所領域に限定した自己相関を考え、位置の自己相関に対応する画素組に対してさらに勾配ベクトルの角度の相関を求める。ここでは、空間的な相関（画素組の相対的位置関係）と勾配ベクトルの相関（角度の相関）という二つの相関を組み合わせて求めている。特徴量はこれらの相関値の領域全体での積分値となる。

本発明の特徴抽出装置は、３次元データの各データ値から少なくともデータ値の傾斜方向を表す勾配ベクトルを算出する勾配ベクトル算出手段と、各勾配ベクトルについて局所自己相関値を算出する局所自己相関手段と、各勾配ベクトルについて算出された前記局所自己相関値を足し合わせる加算手段とを備えたことを主要な特徴とする。

また、前記した特徴抽出装置において、前記局所自己相関手段は、平行移動で重複しない、注目データ位置およびその近傍のデータ位置を示す複数の相関パターンを使用し、各相関パターンで表されるデータの組について勾配ベクトルの角度の相関を求める点にも特徴がある。

また、前記した特徴抽出装置において、前記勾配ベクトルは、データ値の傾斜方向を示す角度情報がそれぞれ異なる角度を表す複数の量子化要素により量子化ベクトルとして表現され、前記勾配ベクトルの角度の相関は、量子化ベクトルの量子化要素の各組み合わせに対してその量子化要素の値を掛け合わせることにより相関値を得るものである点にも特徴がある。

また、前記した特徴抽出装置において、前記勾配ベクトルはデータ値の傾斜方向を示す角度情報に加えて傾斜量に対応する情報を含む３次元ベクトルとして表現され、前記加算手段はデータ値の傾斜量により重みを付けて相関値を加算する点にも特徴がある。

また、前記した特徴抽出装置において、前記勾配ベクトル算出手段は注目データを含む局所領域に所定の係数を有するフィルタをかけて傾斜方向及び傾斜量の情報を抽出する点にも特徴がある。

本発明の特徴抽出方法は、３次元データの各データ値から少なくともデータ値の傾斜方向を表す勾配ベクトルを算出するステップ、各勾配ベクトルについて局所自己相関値を算出するステップ、各勾配ベクトルについて算出された局所自己相関値を足し合わせるステップを含むことを主要な特徴とする。

本発明によれば、以下のような効果がある。
（１）データ値の傾斜方向と位置の相関情報を求めており、これは３次元空間における対象の輪郭曲面の傾き、及び曲率情報を抽出していることになり、対象認識に必要な情報が効果的に抽出され、対象物の識別能力が高くなる。

（２）対象物の切り出しを行わず（位置不変性）に複数の対象物を同時に認識可能（加法性）であるので、対象物がどこに何個あるかを予め認識する必要が無い。

（３）全体の特徴次元としては大きくなるが、各ピクセル（画素）において計算する特徴要素数は非常に少ないため、特徴抽出のための計算量が少ない。また、計算量は対象物の個数に依らず一定である。従って、高速（実時間）処理が可能である。

以下の実施例においては、ビデオカメラで撮影した動画像データを読み込んでオフラインで処理する例について説明するが、本発明の特徴抽出、認識処理は、例えばビデオカメラで撮影した動画像に対してリアルタイムに実行することも可能である。

処理するデータとしては、実施例においては動画像を３次元データと見なして処理する例を開示するが、本発明は、例えばＣＴスキャナ装置やレンジファインダ装置（距離画像撮影装置）などから得られる３次元データなどを始め、３次元配列された任意のデータに適用可能である。

図１は、本発明による特徴抽出装置の構成を示すブロック図である。ビデオカメラ１０は対象物の動画像を撮影し、ケーブルあるいはメモリカード等を介して画像ファイルをコンピュータ１１に転送する。ビデオカメラ１０はモノクロでもよいしカラーカメラであってもよい。コンピュータ１１は例えば動画像を取り込むための汎用インターフェイス回路あるいはメモリカードリーダを備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ１１に後述する処理を実行するプログラムを作成、インストールすることにより実現される。

モニタ装置１２はコンピュータ１１の周知の出力装置であり認識結果、例えば対象物の種別や検出個数、画像などをオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。３次元画像データの入力装置としては、ビデオカメラ１０の他、ＣＴ（コンピュータ断層撮影）スキャナ装置１５、レーザ光などを使用して距離画像を撮影するレンジファインダ装置１６であってもよい。

なお、実施例においては、例えばビデオカメラ１０から入力された画像データを実時間で処理してもよいし、一旦保存してから読み出して処理してもよい。また、ビデオカメラ１０は任意の通信網を介してコンピュータ１１と接続されていてもよい。

図２は、３次元（画像）データの構造を示す説明図である。ビデオカメラ１０によって撮影された非圧縮の動画像データにおいては、データ値（画素値）として少なくとも輝度値を有するデータ（画素）が２次元（ｘｙ）平面に配列され、この２次元（画像）データが時間軸ｔ方向に順に配列されている。この時間軸ｔをｚ軸と見なすことによって動画像データを３次元（画像）データと見なす。データ値（画素値）としてＲＧＢ毎の輝度値を有している場合にはモノクロの輝度値に変換してから処理してもよいし、ＲＧＢそれぞれの輝度値について別個に処理してもよく、さらに別個に処理した結果を統合してもよい。なお、ＣＴ（コンピュータ断層撮影）スキャナ装置１５の場合には装置から３次元画像データが出力される。また、レーザ光などを使用して距離画像を撮影するレンジファインダ装置１６の場合には、距離画像データを３次元データに変換する。

図３は、本発明の特徴抽出装置における処理の内容を示すフローチャートである。Ｓ１０においては、ビデオカメラ１０あるいはハードディスク装置から画像データを読み込む。Ｓ１１においては、画像データから後述する方法で勾配ベクトル場を算出する。勾配ベクトルは輝度の傾斜方向および傾斜量を表すデータからなる３次元ベクトルである。

Ｓ１２においては、後述する方法で勾配ベクトル場の局所自己相関値を算出する。画像内の局所領域に限定した自己相関を考え、位置の自己相関に対応する画素組に対して、更に勾配ベクトルの角度の相関を求める。ここでは、空間的な相関（画素組の相対的位置関係）と勾配ベクトルの相関（角度の相関）という二つの相関を組み合わせている。この相関値は対象の輪郭曲面（等輝度曲面）の傾き、及び曲率に相当するデータを含んでいる。

Ｓ１３においては、局所自己相関値を画像全体で足し合わせて特徴データを得る。即ち、勾配ベクトル場から、局所的な自己相関（パターン）のヒストグラムを算出する。以上の処理によって抽出された本発明の特徴データは、認識対象や目的に従って公知の重回帰分析や因子分析等の多変量解析手法を利用して解析され、動きの識別や３次元形状の認識等の処理が行われる。

図４は、本発明の勾配ベクトル算出処理（Ｓ１１）の内容を示すフローチャートである。Ｓ２０においては、３次元データから未処理のデータ（注目画素）を１つ選択する。Ｓ２１においては、注目データを中心とする（含む）局所領域のデータ値に対して勾配オペレータを乗算して加算し、Ｘ、Ｙ、Ｚ方向の勾配（輝度の傾斜）データを得る。この勾配データはデータ値のＸ、Ｙ、Ｚ方向偏微分値に相当する。
データ（画素の輝度値）をＩ（ｘ,ｙ,z）とすると、３次元勾配ベクトルは数式１のように定義される。図６は、勾配ベクトルを示す説明図である。

図５は、勾配オペレータの例を示す説明図である。勾配オペレータは３次元画像データから輝度の傾斜を求めることができるフィルタである。図５に示すソベル（Sobel）フィルタはＸ、Ｙ、Ｚ方向の輝度傾斜算出用にそれぞれ図示するような３×３×３画素分の係数を備えている。注目画素におけるＸ方向の輝度傾斜値は、Ｘ方向用フィルタの中央を注目画素に合わせ、注目画素を中心とする３×３×３の画素のそれぞれに対応する（同じ位置の）フィルタ係数を乗算して乗算結果を加算することにより得られる。

例えば注目画素周辺において輝度変化がなければフィルタ演算の出力は０であるが、図５において右（Ｘ軸方向）に行くほど輝度が大きくなっていれば、Ｘ方向のフィルタ演算出力は正の値となり、右に行くほど輝度が小さくなっていれば負の値となる。算出値の大きさは輝度の傾斜が大きいほど大きくなる。Ｙ、Ｚ方向についても同様に演算する。

Ｓ２２においては、輝度の水平傾斜方向θ、垂直傾斜方向φおよび傾斜量Ｎを求める。輝度の水平傾斜方向θ、垂直傾斜方向φ、傾斜量Ｎは次の数式２のように求められる。arctanは逆正接関数である。

水平傾斜方向θ、垂直傾斜方向φはベクトルの向き、傾斜量Ｎはベクトルのノルム（大きさ）にそれぞれ対応している。求めた水平傾斜方向θ、垂直傾斜方向φおよび傾斜量Ｎは画素対応に保存する。ただし、ここでのarctanはｘ、ｙ、ｚの符号によりθ＝-π〜πの値をとる関数とする。つまり、傾斜方向（角度）は３次元球面の全方位の向きをもつものとする。なお、処理手順としては、ここで勾配ベクトル（数１）を後述の量子化ベクトルを用いて直接量子化することも可能である。

Ｓ２３においては、全画素について処理が完了したか否かが判定され、判定結果が否定の場合にはＳ２０に移行するが、肯定の場合には処理を終了して次のステップに移行する。

図８は、局所自己相関値算出処理（S12）の内容を示すフローチャートである。Ｓ３０においては、全ての勾配ベクトルの角度を量子化角度ベクトルに変換する。図７は、３次元勾配ベクトルの量子化の例を示す説明図である。３次元勾配ベクトルは、球面上にほぼ均一に分布する複数の基準ベクトル（黒点）を使用して勾配ベクトルの角度θおよびΦを量子化する。図７の例では、例えば、球面上にほぼ均一に分布する４２方向の基準ベクトルＡ０〜Ｇ０を使用して勾配ベクトルの角度θおよびΦを量子化する。

基準ベクトルの数字０〜７はＸＹ平面上における基準方向であるＸ軸からの角度を表しており、例えば０は０度、１は４５度、２は９０度である。アルファベットＡ〜ＧはＸＹ平面からの仰角を表しており、例えばＡは９０度、Ｂは６０度、Ｃは３０度である。

図７（ａ）に示した表現は、ベクトルｆ（θ，φ）の角度θ、Φに最も近い基準ベクトルと対応する要素のみを１（図７ではＢ１）、他を０とする最近傍量子化例である。図７（ｂ）に示した表現は、ベクトルｆ（θ，φ）の角度θ、Φを囲む４個の基準ベクトルと対応する要素値をθと基準ベクトルとの角度差（ｔおよび１−ｔ）、Φと基準ベクトルとの角度差（ｕおよび１−ｕ）に比例した値とした線形補間表現例である。なお、要素ベクトルの個数や配置は任意に変更可能である。
また、前述の通り、勾配ベクトルとこれらの量子化基準ベクトルとの距離を直接計算し、量子化要素値を決定することも可能である。この場合には、例えば勾配ベクトルと量子化ベクトルとの距離を計算し、距離が小さい順に上位数個の量子化基準ベクトルを探す。選ばれた量子化基準ベクトルに対する重みは、その距離が小さいほど大きくなるように決め（例えばexp（−距離）あるいは１／距離）、重みの和が１になるように正規化する。

Ｓ３１においては、未処理の相関パターンを選択する。図９は、相関パターンを示す説明図である。自己相関を取るための（１次相関までの）相関パターンは、中心の注目画素（Ｂ層の中央）のみの０次の相関を表す相関パターンが１個、注目画素と周囲の１つの画素からなる１次の相関を表す相関パターンが１３個の計１４個ある。

なお、１次の相関パターンは全部で２６種類考えられる。しかし、例えば中央の注目画素と左側の画素の組み合わせは、注目画素を１つ左に移動させると中央の注目画素と右側の画素の組み合わせパターンと同一の組み合わせとなる。従って注目画素を任意の方向に移動させることによって重複する相関パターンは１つを残して重複排除してある。この結果、実際には例えば図９に示されているように、Ｃ層のデータは使用せず、Ａ層とＢ層のデータのみで相関値を算出することができる。なお、ここでは１次の相関までを考えているが、２次以上（３点関係以上）の相関も全く同様に定義することが可能である。

Ｓ３２においては、未処理のデータ（画素）を選択する。Ｓ３３においては、相関値として、相関パターンに基づいて量子化角度ベクトルのベクトル要素間の全ての組み合わせに対する積を求める。即ち、例えば２つのｎ次元量子化角度ベクトルをa=[a_1 ... a_n], b=[b_1 ... b_n]とすると、相関値の要素は、Ｃ(i,j)=a_i×b_jとなり、ｎ×ｎ通りの組み合わせがある。しかし、量子化角度ベクトルの要素のうち、非ゼロの要素は数個なので、ここでの相関計算はそれらの非ゼロ要素にのみ行うことで、計算量は非常に少なくなる。

３次元勾配ベクトルの場合、０次の相関パターンの場合には相関値は量子化ベクトルそのものである。実施例においては、図７に示すように量子化ベクトルの次元は４２であるので、０次の相関の次元は４２となる。また、１次の相関パターンの場合には４２×４２＝１７６４次元となる。式で表すと、以下の数式３となる。なお、ｆは量子化勾配ベクトル、Ｗは相関値である。また、演算子「××」は、上記したように、それぞれの量子化勾配ベクトルの任意の要素間の積を要素とする相関値ベクトルを生成する演算子である。

Ｓ３４においては、算出した相関値を画素対応に保存する。Ｓ３５においては、全画素について処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３２に移行するが、肯定の場合にはＳ３６に移行する。Ｓ３６においては、全相関パターンについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３１に移行するが、肯定の場合には処理を終了する。全ての相関パターンについて処理が完了した場合、全ての相関値を合わせた特徴データの次元は、図７に示した量子化の場合には４２＋４２×４２×１３＝２２９７４次元となる。

図１０は、相関値積算処理（S13）の内容Ａを示すフローチャートである。Ｓ４０においては、全ての相関値を２２９７４次元の各要素毎に重み１で足し合わせる。式で示すと以下に示す数式４となる。

図１１は、相関値積算処理（S13）の内容Ｂを示すフローチャートである。Ｓ４１においては、全ての相関値を２２９７４次元の各要素毎に勾配ベクトルのノルム（傾斜量）Ｎにより重み付けして足し合わせる。重み付けの方法は、例えば相関パターンにより相関をとった２つの画素対応のノルムの最小値を重みとして乗算する方式でもよい。式で示すと以下に示す数式５となる。

また、ノルムの最大値を乗算する方式、２つのノルムの積を乗算する方式、上記したいずれかの重みの対数を取って乗算する方式等が考えられる。以上のような処理によって、多次元の特徴データが得られる。

以上、実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、画像（対象物）の回転については考慮していないが、抽出した高次元の特徴データの内、画像を回転したときに重複するデータを全て加算することにより、回転不変（対象がどの方向を向いていても同じ特徴データが得られる）の特徴データが得られる。

実施例においては、勾配ベクトルが全球面上の任意の方向に分布しているものとする例を開示したが、動画像から「動作」の特徴を抽出する場合には、３次元座標において動作が生み出す曲面の形状が重要であり、曲面の形状はそこでの法線ベクトル（群）、つまり勾配ベクトルによって特徴づけられる。この法線ベクトルは点対象に二通り取れるが、曲面（の形状）にとってはどちらも対等である。この向きは服の色などの色情報から決まり、この情報は動き情報とは無関係であることが多い。そのため、法線ベクトルにおいて点対称なベクトルを同一視すると量子化方向としては半球方向のみの基準ベクトルで量子化可能となる。このようにすれば特徴データの次元を大幅に減少させることができる。

自己相関を取るための相関パターンとして、注目画素のみの０次の相関を表す相関パターンが１個、注目画素と周囲の１つの画素からなる１次の相関を表す相関パターンが１３個の計１４個を用いる例を開示したが、動作認識の場合、１次の相関を取る方向を同一フレーム内、即ち時間（ｔ）方向の変位＝０に限定する構成も考えられる。この限定相関パターンは図９の相関パターン（１０）〜（１３）の４個に相当する。このようにすれば特徴データの次元数は減少し、動画像であればその時刻における対象の情報は十分に抽出可能である。

実施例においては、球面上にほぼ均一に分布する４２方向の基準ベクトルＡ０〜Ｇ０を使用して勾配ベクトルの角度θおよびΦを量子化する例を開示したが、この場合には１次の相関を取っても相関値ベクトルの次元が４２×４２＝１７６４次元と大きくなる。そこで、動作認識の場合には動き情報のみが重要であるので、基準ベクトルとして例えば図７において時間（ｔ）方向の成分が０である基準ベクトルＤ０〜Ｄ７を除外して、残りの３４個を使用するようにしてもよい。このようにすれば特徴データの次元数を減少させることができる。

基準ベクトルＤ０〜Ｄ７は時間（ｔ）方向の成分が０であり、量子化した結果、勾配ベクトルがこれらの基準ベクトル近傍にあると判定された画素は、時間方向の輝度変化が無いかごくわずかである背景などの静止画像部分の画素であることを示している。そのため、それらの動きに無関係な情報を事前に削除することで、認識対象が動作の場合により有効な特徴量となることが期待される。なお、実験の結果、上記方式が動作の認識において効果的であることが確かめられた。

なお、動画におけるシーン理解などの用途については背景等の静止部分の画像（形状）の情報も必要であるので、全ての基準ベクトルを用いて特徴抽出した方がよい。この場合には、特許文献１に記載されている従来の背景差分＋立体高次局所自己相関特徴方式では抽出できない、動き＋静止形状の特徴抽出が行えるという本発明の利点を生かすことができる。

実施例としては、コンピュータを使用してソフトウェア処理する例を開示したが、本発明を実施するハードウェアとしてはコンピュータに限らず、論理回路の組み合わせによっても実現可能であり、ＬＳＩ化することによってより高速な処理が可能となる。

本発明による特徴抽出装置の構成を示すブロック図である。 ３次元画像データの構造を示す説明図である。 本発明の特徴抽出装置における処理の内容を示すフローチャートである。 本発明の勾配ベクトル算出処理（Ｓ１１）の内容を示すフローチャートである。 勾配オペレータの例を示す説明図である。 勾配ベクトルを示す説明図である。 ３次元勾配ベクトルの量子化の例を示す説明図である。 局所自己相関値算出処理（S12）の内容を示すフローチャートである。 相関パターンを示す説明図である。 相関値積算処理（S13）の内容Ａを示すフローチャートである。 相関値積算処理（S13）の内容Ｂを示すフローチャートである。

符号の説明

１０…ビデオカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス
１５…ＣＴスキャナ装置

Claims (6)

1. ３次元データの各データ値から少なくともデータ値の傾斜方向を表す勾配ベクトルを算出する勾配ベクトル算出手段と、
   各勾配ベクトルについて局所自己相関値を算出する局所自己相関手段と、
   各勾配ベクトルについて算出された前記局所自己相関値を足し合わせる加算手段とを備えたことを特徴とする特徴抽出装置。
2. 前記局所自己相関手段は、平行移動で重複しない、注目データ位置およびその近傍のデータ位置を示す複数の相関パターンを使用し、各相関パターンで表されるデータの組について勾配ベクトルの角度の相関を求めることを特徴とする請求項１に記載の特徴抽出装置。
3. 前記勾配ベクトルは、データ値の傾斜方向を示す角度情報がそれぞれ異なる角度を表す複数の量子化要素により量子化ベクトルとして表現され、前記勾配ベクトルの角度の相関は、量子化ベクトルの量子化要素の各組み合わせに対してその量子化要素の値を掛け合わせることにより相関値を得るものであることを特徴とする請求項２に記載の特徴抽出装置。
4. 前記勾配ベクトルはデータ値の傾斜方向を示す角度情報に加えて傾斜量に対応する情報を含む３次元ベクトルとして表現され、
   前記加算手段はデータ値の傾斜量により重みを付けて相関値を加算することを特徴とする請求項３に記載の特徴抽出装置。
5. 前記勾配ベクトル算出手段は注目データを含む局所領域に所定の係数を有するフィルタをかけて傾斜方向及び傾斜量の情報を抽出することを特徴とする請求項１に記載の特徴抽出装置。
6. ３次元データの各データ値から少なくともデータ値の傾斜方向を表す勾配ベクトルを算出するステップ、
   各勾配ベクトルについて局所自己相関値を算出するステップ、
   各勾配ベクトルについて算出された局所自己相関値を足し合わせるステップを含むことを特徴とする特徴抽出方法。

Images