JP2004333505A - 情報抽出方法、情報抽出装置およびプログラム - Google Patents

Abstract

【課題】認識すべき動き以外の余分な動きに影響されずに、高精度に認識対象の動きを抽出できる情報抽出装置および方法を提供する。
【解決手段】対象物に発光手段により光を照射し、対象物からの反射光を受光手段で受光することにより、各素値が当該受光手段で受光された反射光の強度を示し、各素値が示す反射光の強度により対象物までの距離及び対象物の３次元形状を表す距離画像を取得する距離画像取得手段により取得された、認識対象の対象物の撮像された時系列な複数の距離画像のうちの少なくとも１つの距離画像の各素値を基に、識対象以外の画像である基盤画像を生成し、距離画像取得手段で取得された各距離画像について、基盤画像との間の差分画像を求め、各差分画像の対象物の位置を示す３次元座標から、異なる距離画像間における対象物の位置の変化量及び変化方向を求める。
【選択図】 図９

Description

本発明は、距離画像から認識対象の動きや位置等の目的とする情報を抽出する情報抽出装置および方法に関する。

従来、アーケードゲーム機などの遊具装置では、ボクシングゲームや、射撃ゲームなどの人間の動きを利用したゲームが多く開発されてきている。ボクシングゲームでは、ユーザが実際にサンドバッグを打撃したときの圧力を物理的に測定している。このとき、測定されているのは、ユーザのパンチがサンドバッグに当たった瞬間の圧力のみである。パンチがユーザからどのような経路でどのくらいの速さで繰り出されたのかという情報は用いられていない。このため、単純なパンチの強さだけを競う単調なゲームになっている。

射撃ゲームでは、おもちゃの銃の先に発光体をつけ、その発光体の光が、画面上のどこにあたるかを検知する。銃の引き金が弾かれたときに光が当たっている物体に銃弾があたったと判定するようになっている。このように単純なため、射撃の腕を競うと言うよりは、呈示された標的をいかに素早く見つけて撃つだけの反射神経を競うだけのゲームになってしまっている。

一方、ＣＣＤカメラなどを用いて撮像した画像を解析して、人間の身体の位置、動きなどを認識する方法もとられている。この方法では、進行方向をまず、ＣＣＤカメラなどの撮像装置を用いて撮影する。その画像から人間を抽出する場合では、例えば、顔や手の色が肌色なので、それ以外の背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、その処理後の画像から対象物の形状、動き等を認識する。

まず、この認識対象の切り出しという前処理部分について説明する。従来の手法では、カメラで撮影した画像から、取得したい対象物の部分のみを切り出す作業手段として、対象物と、それ以外の部分の何らかの相違点を手がかりとして対象物の切り出しが行われていた。

この手がかりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。人間を対象にする場合には、顔や手の部分の肌色に注目し、その色相部分のみを抽出しようとするものである。が、色相差を用いる方法は、照明の色や角度などにより、肌色といっても変化し、また、背景の色相が肌色に近いと、人間の肌色と識別するのが難しいなどの問題があり、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。

認識対象の撮像された画像から当該認識対象の動きや形状等の情報を抽出する際、当該認識対象が複数ある場合、例えば、人が右手と左手の双方を使って、粘土をこねるようにして、彫塑を行ったり、写真の隅をもって変形させるなどの操作を行ったりなど、両手を使う場合には、それぞれの手を別個に認識（動き、形状の抽出）する必要がある。例えば、右手と左手の画像をそれぞれ別個に取得して認識せねばならず、コストがかかった。

また、ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もあるが、この場合、動いている物体が少ないうちは問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。

また、対象物の動きを抽出するにあたり、特に、対象物が人間である場合、その動きには、目的とする動きの他にも無駄な動きも多く含まれていて不安定であるため、当該目的とする動きのみを抽出しようとすると困難な場合がある。

例えば、手を使って射撃もどきのゲームを行ったりするときに、人間の手は、ユーザが自身が意識しているよりも、位置に関して不安定である。例えば、手を拳銃の形にして、位置を決め撃つとしよう。銃口に当たる人差し指で、射撃位置と方向を決め、撃鉄に当たる親指を曲げた瞬間に弾丸が発射されるとする。ここで、問題になるのは、親指を曲げた瞬間に人差し指の指し示す方向が、射撃位置と方向を決めたときに、わずかながらではあるが、変化することである。熟練すれば、人差し指の方向が変化しないように親指を曲げることは可能であるが、このような熟練をすべてのユーザに要求するのでは、誰もが容易にゲームなどを楽しむことが難しくなる。

また、親指を曲げるのでなく、位置を決めたあと、さらに拳銃にあたる手を目標に対し、近づけることで、引き金が押され、弾丸が発射されるように、操作方法を変えた場合でも、手を近づけるために移動したときに、人差し指の方向や位置が変化してしまう。変化しないように、動かそうとすると、下肢の筋肉に不自然に負担がかかってしまい、手がつりやすくなる。

同様の問題は、カメラなどの撮影でシャッターを押した瞬間に手がぶれる手ぶれとして知られている。カメラの場合には、撮像する対象は停止している、つまり静止画であるという前提のもとに、手ぶれ防止機能が設けられている。が、手や体を使ったジェスチャでは、動いていることが前提であるので、カメラに搭載されている手ぶれ防止機能のような、手の操作を安定させる方法をとることができない。

取得した距離画像から、認識すべき動き以外の余分な動きに影響されずに、高精度に認識対象の動きを抽出できる情報抽出装置および方法を提供することを目的とする。

本発明は、対象物に発光手段により光を照射し、対象物からの反射光を受光手段で受光することにより、各素値が当該受光手段で受光された反射光の強度を示し、各素値が示す反射光の強度により対象物までの距離及び対象物の３次元形状を表す距離画像を取得する距離画像取得手段により取得された、認識対象の対象物の撮像された、時系列な複数の距離画像のうちの少なくとも１つの距離画像の各素値を基に、前記識対象以外の画像である基盤画像を生成し、前記距離画像取得手段で取得された各距離画像について、前記基盤画像との間の差分画像を求め、各差分画像の前記対象物の位置を示す３次元座標から、異なる距離画像間における前記対象物の位置の変化量及び変化方向を求めることにより、認識すべき動き以外の余分な動きに影響されずに、高精度に認識対象の動きを抽出できる。

取得した距離画像から、認識すべき動き以外の余分な動きに影響されずに、高精度に認識対象の動きを抽出できる。

以下、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報抽出装置の構成例を示したもので、１つの撮像領域内の複数の箇所から対象物の形状、動き、位置等の情報を抽出（認識）して、その抽出した情報を、例えば、モグラ叩きゲーム等の他のシステムへ入力するためのものである。

図１に示すように、本実施形態に係る情報抽出装置は、反射光を受光し、距離画像を取得する、例えば特願平９−２９９６４８号に記載されている距離画像取得部１と、取得した距離画像を別途指定された領域に分割する領域分割処理部２と、この領域分割処理部２で分割された各領域毎に距離画像を解析し、対象物の輪郭、重心の抽出や対象物までの距離の算出、対象物の移動速度、移動ベクトルの算出等の当該認識対象に関する目的とする情報を抽出する画像処理部３と、例えば、大型の液晶パネル、スピーカなどから構成される呈示部４と、上記各部の制御を司る情報管理部５とから構成されている。

画像処理部３で抽出された情報は、例えば、情報管理部５を介して他のシステムに入力される。すなわち、他のシステムとして、例えば、モグラ叩きゲーム等は情報管理部５を介して接続されている。この他のシステムは、例えば、コンピュータに実行させることのできるプログラムであってもよい。

図１に示すような構成の情報抽出装置が、例えば、提示部４の表示画面上の任意の表示領域からモグラを出現させ、ユーザがそのモグラの出現した表示領域めがけてひっぱたく動作（ユーザは表示画面に触れるほど叩く必要はない）を行って、命中したモグラの数を競うモグラ叩きゲームに接続されている場合、１つの距離画像取得部１は、ユーザが提示部４の表示画面上のどのモグラめがけてひっぱたこうとしているかを認識できるように（表示画面全体に対する対象物としての手の位置が認識できるように）設置されている。そして、領域分割処理部２では、提示部４の表示画面上のモグラの出現領域に対応して、距離画像取得部１で取得した距離画像の領域分割を行う。

ここで、距離画像取得部１および、距離画像取得部１にて取得される距離画像について簡単に説明する。

距離画像取得部１の外観を図２に示す。中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数個（例えば８個）等間隔に配置されている。

発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図４に示すような反射光の強度分布としての距離画像である。

図３は、距離画像取得部１の構成例を示したもので、主に、発光部１０２、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。

発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。

受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。

反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。

受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差をとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。

反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図４に示すような距離画像を抽出する。

図４では、簡単のため、２５６×２５６画素の距離画像の一部である８×８画素の距離画像の場合について示している。

物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、距離画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。

図４において、行列中のセルの値（画素値）は、取得した反射光の強さを２５６階調（８ビット）で示したものである。例えば、「２５５」の値があるセルは、距離画像取得部１に最も接近した状態、「０」の値があるセルは、距離画像取得部１から遠くにあり、反射光が距離画像取得部１にまで到達しないことを示している。

距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、距離画像取得部１の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図５に示したような３次元的なイメージを得ることができる。

次に、図７に示すフローチャートを参照して、図１に示すような構成の情報抽出装置の処理動作について説明する。

まず、電源の投入あるいは動作の開始指示にて起動されると、所定の初期化処理を行う。その後、距離画像取得部１は、図２に示したような発光部１０１、受光部１０３を用いて、例えば、１秒間に１枚あるいは２枚程度の速度で距離画像を取得する（ステップＳ１）。このとき取得した距離画像の一例を図８（ａ）に示す。図８（ａ）では、対象物が右手と左手の２つあり、そのそれぞれについて、動きや形状や位置等を認識する必要がある。

そこで、次に、領域分割処理部２は、情報管理部５から分割する領域に関する情報（領域情報）を受け取る。例えば、前述したようなモグラ叩きゲームの場合には、距離画像取得間隔（例えば１秒）の間に提示部４の表示画面上に出現したモグラの表示領域のそれぞれに対応した距離画像上の領域情報として、その領域の端点座標、縦の長さ、横の長さを情報管理部５から読み込む（ステップＳ２）。そして、この情報を基に、例えば、図８（ａ）に示したような距離画像を図８（ｂ）に示すように分割する。

例えば、提示部４の表示画面上に２匹のモグラが出現したとする。まず、情報管理部５から１匹目のモグラの表示領域に対応した距離画像の領域情報（左上端点Ｔ１が（ｘ１、ｙ１）、右上端点Ｔ２が（ｘ２、ｙ２）、縦の長さをＬ１、横の長さがＲ１）が与えられると、図８（ａ）に示した距離画像から、図８（ｂ）に示したような画像領域ＡＲ１を分割する。また、２匹目のモグラの表示領域に対応した距離画像の領域情報（左上端点Ｔ２が（ｘ２、ｙ２）、右上端点Ｔ３が（ｘ３、ｙ３）、縦の長さをＬ２、横の長さがＲ２）が与えられると、図８（ａ）に示した距離画像から、図８（ｂ）に示したような画像領域ＡＲ２を分割する。

図８（ｂ）では、分割した各画像領域が重ならないようになっているが、重なってもよい。分割する画像領域の数も図８（ｂ）では２つであるが、より多くの数に分割することも可能である。あるいは分割する画像領域の面積は必ずしも均等になっている必要もない。また分割する画像領域の形も矩形に限定されているわけではなく、三角形や多角形、円など種々の形に分割することが可能である。

領域分割後、領域分割処理部２は、分割された個々の画像領域それぞれについて画像処理プロセスを割り当てる（ステップＳ４）。ここで、各画像領域に割り当てる画像処理プロセスは全て同じであってもよいし、また、場合によっては、異なっていてもよい。いずれにしても、画像処理部３には、処理対象となる分割した画像領域の最大数に合わせて画像処理プロセスを予め用意しておく必要がある。

領域分割処理部２は、以上のステップＳ２〜ステップＳ４までの処理動作を情報管理部５から読み込むべき領域情報がなくなるまで繰り返す（ステップＳ５）。

画像処理部３では、距離画像取得部１から送られてきた図４に示したような距離画像データのうち、領域分割処理部２にて分割された画像領域に対応するものに対してのみ、エッジ切り出し（撮像物体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出など、撮像体の形状、動き、位置等の情報を抽出するための種々の画像処理を行う（ステップＳ６）。例えば、ここでは、２つの分割された画像領域（分割画像）のそれぞれに対し割り当てれた２つの同じ画像処理プロセスが並列に実行されているものとする。

画像処理部３の各分割画像に割り当てられた画像処理プロセスのそれぞれでは、まず、画素値が予め定められた所定値以下のセルを除き、例えば、図６に示すように当該分割画像内にある撮像された物体の輪郭情報を抽出する。

図６のような輪郭情報を抽出するには、隣り合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。

すなわち、マトリックス上の座標位置（ｉ、ｊ）にある画素値をＰ（ｉ、ｊ）とし、輪郭情報の画素値をＲ（ｉ、ｊ）とすると、
・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ＋１）｝＞α
のとき、Ｒ（ｉ、ｊ）＝２５５
・ 上記以外のとき、Ｒ（ｉ、ｊ）＝０
とすることにより、図６のような物体の輪郭情報を得ることができる。

また、画像処理部３の各画像処理プロセスは、各分割画像から抽出された図６に示したような輪郭情報を基に、当該物体の重心を計算する。

この重心位置と直前のフレームから抽出された重心位置とを比較して物体が動いているかどうかが判断できる。動いていると判断したときは、重心の変化量と変化方向とを表す動きベクトルを算出する。また、重心位置のみに限らず、連続する距離画像のそれぞれから抽出された輪郭情報を互いに比較しあって、輪郭上の任意の点の動きベクトルを求めてもよい。

輪郭の抽出された物体までの距離ｄの算定には、まず当該物体の重心位置近傍の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。当該物体からの反射光の強さは物体までの距離の２乗に反比例して小さくなる。すなわち、当該物体の画像の代表画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ^２ …（１）
と表すことができる。

ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、画素値Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離値ｄを求めることができる。

このようにして、分割画像のそれぞれから目的とする対象物の形状、動き、位置等の情報を抽出することができる。

例えば、モグラ叩きゲームの場合、距離画像取得間隔（例えば１秒）の間に提示部４の表示画面上に出現したモグラの数が２匹であるとき、画像処理部３は、距離画像取得部１で取得した距離画像のうち、２匹のモグラの表示領域に対応する分割画像に対し、上述したような画像処理を施す。この場合、当該２つの分割画像のそれぞれから前述したようにして（図８に示したようなユーザの手の）輪郭情報の重心位置（例えば、距離値を含めた３次元座標）を抽出すればよい。この各分割画像から抽出された重心位置は、情報管理部５に送られる。情報管理部５では、各分割画像から抽出された重心位置が予め定められた範囲内にであるとき、モグラが叩かれたと判断すればよい。モグラが叩かれたと判断したときは、提示部４に表示された当該叩かれたモグラに悲鳴を発せさせたり、提示部４に表示されている叩かれたモグラの数に対応する点数を加算する等の処理を行う（ステップＳ７）。

距離画像取得部１で取得した距離画像を図８に示したように、右手と左手の両方を撮像して、この双方の動きをそれぞれ認識したい場合に、距離画像取得部１が取得した距離画像全体をそのまま（領域分割せずに）画像処理を行うのでは、それに対応した画像処理プログラムを新たに開発せねばならなかった。が、本発明の情報抽出装置では、領域分割処理部２が、図８（ａ）に示したような距離画像を図８（ｂ）に示したように左右２つの領域に分割する。そして、そのそれぞれの分割画像に対し同様の画像処理を別個に実行することにより、例えば、認識対象が増えた場合でも、その数が予め用意されている画像処理プロセスの数以内であれば、例えば、当該認識対象の存在する領域を新たに分割して、画像処理プロセスを割り当てることにより、柔軟に（新たに画像処理プログラムを開発することなく）対処することができる。

すなわち、認識対象が増えれば、その増えた分の領域情報を情報管理部５が保持していればよい。あるいは、距離画像取得部１で取得した距離画像を提示部４に提示し、それを基にユーザが所望の領域を指示入力するためのユーザインタフェースを具備していてもよい。ユーザは、提示部４に提示された距離画像に対し、マウス、ペン等のポインティングデバイスを用いて、所望の認識対象の存在する位置を入力すればよい。この入力された領域情報を情報管理部５が保持する。

領域分割処理部２は、領域情報を情報管理部５から読み込んで距離画像取得部１で取得した距離画像を分割していけばよい。

例えば、図１の情報抽出装置がモグラ叩きゲームに接続されている場合、提示部４の表示画面上に表示すべく配置されているモグラにあわせて距離画像取得部１で取得した距離画像を領域分割し、各分割画像で重心位置を認識する。例えば、モグラが１６匹いて、今、叩かれるべきモグラ４匹だけであれば、その４匹のモグラの存在する分割画像に対してのみ重心位置の認識をし、どのモグラがたたかれたかを判定すればよいので、高速に処理することが可能となる。

本発明の情報抽出装置は、何もモグラ叩きゲームにのみ適用されるわけでなく、種々のシステムに適用可能である。例えば、両手を使って楽器を演奏するようなシステムに適用する場合、右手では、シンバルを、左手では、ティンパニーをというように、複数の楽器を演奏することも可能である。その場合、例えば、各画像領域に割り当てられる画像処理プロセスは、画像領域中の手の重心位置を抽出し、その奥行き（ｚ軸）方向の動きの速さと、左右（ｘ軸）方向の動きの速さとを算出するものである。この画像処理結果を受け取ったシステムは、奥行き（ｚ軸）方向の動きの速さを演奏する音の大きさ、左右（ｘ軸）方向の動きの速さを演奏する音の周波数に割り当てることで、簡単にかつ直感的に演奏することが可能である。

なお、領域分割処理部２で距離画像を分割する際、１つの分割画像の大きさがあまり小さいと、対象物の認識したい動きとは関係のない微妙な動きまで認識してしまい、好ましくない。例えば、図１の情報抽出装置が携帯可能な他のシステムに用いられている場合、人間の手は、無意識的に意味のない微動をするものであり（例えば、手ぶれ）、１つ１つの分割画像があまり小さいと、この手ぶれの影響から認識対象の動きが正確に認識できない。そのため、分割画像の大きさとしては、手ぶれが認識対象の動きの抽出に影響を与えるほど小さくならないよう、分割画像の大きさの下限をあらかじめ設けることが望ましい。

以上説明したように、上記第１の実施形態によれば、取得した距離画像に認識対象が複数ある場合でも、その認識対象の数に応じて当該距離画像を分割し、その分割画像毎に画像処理をそれぞれ施すことにより、当該距離画像から容易に複数の認識対象のそれぞれの動き、形状、位置等の情報が抽出できる。

（第２の実施形態）
図９は、本発明の第２の実施形態に係る情報抽出装置の構成例を示したものである。なお、図１と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、図１の領域分割処理部２が図９では、基盤抽出部６に置き換わっている。

基盤抽出部６は、上腕に対する下腕の相対的な動き、あるいは体に対する腕の相対的な動きを抽出したいときに、上腕や体のように、相対的な動きの基盤になる部分を抽出するものである。

人間が、例えば、道具を使ってスポーツやゲームを楽しんでいるとき、全身が動いてはいるものの、例えば、投げ込まれた玉をラケットに当てて投げ返すという動作において、その投げ込まれた玉がラケットにあったか否か、また、ラケットに当てられた球がどの方向に向かっていくのか等は、当該人物のラケットを持っている腕の部分の動きのみを解析すれば充分であり、当該人物がどのように胴体を動かしているかを解析する必要はない。そこで、本発明では、この点に着目して、認識すべき対象の動き（例えば、腕の動き）を基盤の動き（例えば、胴体の動き）に対する相対的な動きとして認識するものである。より具体的には、取得した距離画像から認識すべき対象以外のもの（基盤画像）を削除してから、当該認識すべき対象に関する目的とする情報を抽出するための画像処理を施すようになっている。

次に、図１０に示すフローチャートを参照して、図９の情報抽出装置の処理動作について説明する。

まず、電源の投入あるいは動作の開始指示にて起動されると、所定の初期化処理を行う。その後、距離画像取得部１は、図２に示したような発光部１０１、受光部１０３を用いて、例えば、１秒間に１００枚程度の速度で距離画像を取得する（ステップＳ１１）。

距離画像取得部１では、例えば、毎秒１００枚の距離画像を取得するとすると、基盤抽出部６では、その取得された距離画像のうち、毎秒１枚あるいは２枚を所定間隔おきに（基盤抽出タイミングで）取り込む（ステップＳ１２）。ある基盤抽出タイミングに基盤抽出部６が図１１に示したような距離画像を取り込んだとする。

基盤抽出部６では、図１１に示したような距離画像から、例えば、距離値が一定値以上大きい（つまり、遠方にある）画像を基盤画像として抽出する。あるいは、距離値が一定値以上近いもの、あるいは最も動きの少ない部分などの基準で基盤画像を抽出する（ステップＳ１３）。

距離値に基づき基盤画像を抽出する場合について説明する。図１１に示したような距離画像は、実際には、図４に示したような反射光の強度分布であり、前述したように、画素値は、撮像体の距離画像取得部１までの距離値を表しているとみなしてよい（例えば、画素値が大きい程、撮像体は遠方にあり、画素値が小さい程撮像体は近傍にある）。従って、距離画像取得部１が固定されているならば、試験的に取得した距離画像と（１）式とから、必要とする画素値と距離値との対応関係を予め求めることができる。基盤抽出部６は、この対応関係を記録したテーブルを予め具備していることが好ましい。抽出しようとしている基盤の特徴（あるいは、認識すべき対象の特徴）に応じて、基準となる距離値を定め、上記対応関係を参照して、当該基準となる距離値より遠方にある画素値を抽出することにより、あるいは、当該基準となる距離値より近傍にある画素値を抽出することにより、基盤画像を抽出する。

動きに基づき基盤画像を抽出する場合について説明する。基盤抽出タイミング毎に基盤抽出部６に送られてくる距離画像から、前述したように物体の輪郭情報を抽出し、当該物体の重心を求める。各距離画像から求めた該当する物体同士の重心位置を比較して、その変化量が所定値以下の物体の画像の基盤画像として抽出すればよい。

例えば、図１１に示したような距離画像から距離値が所定値以上となる（すなわち、画素値が所定値以下の）画素を抽出して得られた基盤画像の一例を図１４に示す。

基盤抽出部６は、基盤抽出タイミング毎に基盤部分を抽出すると、その後、距離画像取得部１で取得された距離画像から当該基盤画像との差分（差分画像）を求める（ステップＳ１４）。すなわち、例えば、図１４に示したように、人間の上半身を撮像した距離画像から基盤画像として胴体の画像が抽出され、その後、距離画像取得部１から、図１１、図１２、図１３に示したような人間の上半身を撮像した距離画像が取り込まれたとする。図１１に示した距離画像と図１４に示したような基盤画像との差分を求めると、図１５に示すように、差分画像として、人間の両腕の距離画像が得られる。同様にして、図１２に示した距離画像と図１４に示したような基盤画像との差分画像の一例を図１６に示す。図１３に示した距離画像と図１４に示したような基盤画像との差分画像の一例を図１７に示す。

画像処理部３は、差分画像に対し、第１の実施形態と同様にして、エッジ切り出し（撮像物体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出など、撮像体の形状、動き、位置等の情報を抽出するための種々の画像処理を行う（ステップＳ１５）。すなわち、モグラ叩きゲームの場合、例えば、図１５〜図１７に示したような両腕のみが抽出された差分画像から腕の輪郭とその重心位置（３次元座標）を抽出すればよい。

この各距離画像から抽出された重心位置は、情報管理部５に送られる。情報管理部５では、各画像領域から抽出された重心位置と提示部４の表示画面に表示されたモグラの出現位置とを比較して、予め定められた範囲内にであるとき、モグラが叩かれたと判断すればよい。モグラが叩かれたと判断したときは、提示部４に表示された当該叩かれたモグラに悲鳴を発せさせたり、提示部４に表示されている叩かれたモグラの数に対応する点数を加算する等の処理を行う（ステップＳ１６）。

第２の実施形態にかかる情報抽出装置を、例えばモグラ叩きゲームのアーケード版に用いた場合、ユーザは、肘部分を支点にして、モグラをたたいていくというごく自然なジェスチャで、モグラを叩く操作を容易に再現できる。

このように、上記第２の実施形態によれば、距離画像から、例えば、胴体に対する腕の相対的な動きのみを抽出するので、認識すべき動き以外の余分な動きに影響されずに、取得した距離画像から高精度に動きを認識できる。

（第３の実施形態）
図１８は、本発明の第３の実施形態に係る情報抽出装置の構成例を示したものである。なお、図１と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、図１８では、領域分割処理部２と基盤抽出部６とを具備したものである。

図１８の情報抽出装置の処理動作について簡単に説明する。すなわち、図７を参照して説明したように、距離画像取得部１で所定間隔毎に（例えば、毎秒２枚）に取り込まれた距離画像は、領域分割処理部２で情報管理部５から受け取った領域情報に基づき分割される。基盤抽出部６は、処理対象とすべき各分割画像から、所定間隔毎に（例えば毎秒１枚）基盤画像を抽出し、当該分割画像と当該基盤画像との差分画像を求める。各分割画像から求められた差分画像のそれぞれに対し画像処理プロセスを起動して、前述したようなエッジ切り出し（撮像物体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出など、撮像体の形状、動き、位置等の情報を抽出するための種々の画像処理を行う。

なお、図１、図９、図１８の情報抽出装置の構成において距離画像取得部１を除く各構成部の処理動作はコンピュータに実行させることのできるプログラムとして、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、半導体メモリなどの記録媒体に格納して頒布することもできる。

本発明の第１の実施形態に係る情報抽出装置の構成例を概略的に示した図。 距離画像取得部の外観の一例を示した図。 距離画像取得部の構成例を示した図。 反射光の強度を画素値とする距離画像の一例を示した図。 図３に示した様なマトリックス形式の距離画像を３次元的な表した図。 距離画像から抽出された物体の輪郭画像の一例を示した図。 図１の情報抽出装置の処理動作を説明するためのフローチャート。 距離画像取得部で取得した距離画像の具体例で、両手の撮像された距離画像と、それを基に分割画像の示した図。 本発明の第２の実施形態に係る情報抽出装置の構成例を示した図。 図９の情報抽出装置の処理動作を説明するためのフローチャート。 距離画像取得部で取得した距離画像の具体例を示した図。 距離画像取得部で取得した距離画像の具体例を示した図。 距離画像取得部で取得した距離画像の具体例を示した図。 図１１の距離画像から抽出された基盤画像の一例を示した図。 図１１の距離画像と図１４の基盤画像との差分画像。 図１２の距離画像と図１４の基盤画像との差分画像。 図１３の距離画像と図１４の基盤画像との差分画像。 本発明の第３の実施形態に係る情報抽出装置の構成例を示した図。

符号の説明

１…距離画像取得部
２…領域分割処理部
３…画像処理部
４…呈示部
５…情報管理部
６…基盤抽出部
１０１…発光部
１０２…反射光抽出部
１０３…受光部
１０４…タイミング信号生成部

Claims (9)

1. 対象物に発光手段により光を照射し、対象物からの反射光を受光手段で受光することにより、各素値が当該受光手段で受光された反射光の強度を示し、各素値が示す反射光の強度により対象物までの距離及び対象物の３次元形状を表す距離画像を取得する距離画像取得手段が、認識対象の対象物の撮像された、時系列な複数の距離画像を取得する第１のステップと、
   前記複数の距離画像のうちの少なくとも１つの距離画像の各素値を基に、前記識対象以外の画像である基盤画像を生成する第２のステップと、
   前記第１のステップで取得された各距離画像について、前記基盤画像との間の差分画像を求める第３のステップと、
   各差分画像の前記対象物の位置を示す３次元座標から、異なる距離画像間における前記対象物の位置の変化量及び変化方向を求める第４のステップをさらに有することを特徴とする請求項１記載の情報抽出方法。
2. 前記第２のステップは、前記複数の距離画像のうちの２つの距離画像から、当該２つの距離画像間で重心位置の変動が相対的に少ない前記基盤画像を抽出することを特徴とする請求項１記載の情報抽出方法。
3. 前記第２のステップは、前記認識対象の画像領域の画素値から算出される当該認識対象までの距離値に基づき定められた前記基盤画像を抽出するための基準値と、前記距離画像の各素値とを比較して、当該距離画像から当該基準値よりも大きいあるいは小さい値の画素値を抽出して前記基盤画像を生成することを特徴とする請求項１記載の情報抽出方法。
4. 前記第２のステップは、所定時間毎に、前記距離画像取得手段で取得された距離画像を基に前記基盤画像を生成することを特徴とする請求項１記載の情報抽出方法。
5. 対象物に発光手段により光を照射し、対象物からの反射光を受光手段で受光することにより、各素値が当該受光手段で受光された反射光の強度を示し、各素値が示す反射光の強度により対象物までの距離及び対象物の３次元形状を表す距離画像を取得する距離画像取得手段と、
   前記距離画像取得手段で取得された、認識対象の対象物の撮像された時系列な複数の距離画像のうちの少なくとも１つの距離画像の各素値を基に、前記識対象以外の画像である基盤画像を生成する基盤画像生成手段と、
   前記距離画像取得手段で取得された各距離画像について、前記基盤画像との間の差分画像を求める手段と、
   各差分画像の前記対象物の位置を示す３次元座標から、異なる距離画像間における前記対象物の位置の変化量及び変化方向を求める手段と、
   を具備したことを特徴とする情報抽出装置。
6. 前記基盤画像生成手段は、前記複数の距離画像のうちの２つの距離画像から、当該２つの距離画像間で重心位置の変動が相対的に少ない前記基盤画像を抽出することを特徴とする請求項５記載の情報抽出装置。
7. 前記基盤画像生成手段は、前記認識対象の画像領域の画素値から算出される当該認識対象までの距離値に基づき定められた前記基盤画像を抽出するための基準値と、前記距離画像の各素値とを比較して、当該距離画像から当該基準値よりも大きいあるいは小さい値の画素値を抽出して前記基盤画像を生成することを特徴とする請求項５記載の情報抽出装置。
8. 前記基盤画像生成手段は、所定時間毎に、前記距離画像取得手段で取得された距離画像を基に前記基盤画像を生成することを特徴とする請求項５記載の情報抽出装置。
9. 対象物に発光手段により光を照射し、対象物からの反射光を受光手段で受光することにより、各素値が当該受光手段で受光された反射光の強度を示し、各素値が示す反射光の強度により対象物までの距離及び対象物の３次元形状を表す距離画像を取得する距離画像取得手段を備えたコンピュータに、
   前記距離画像取得手段が、認識対象の対象物の撮像された、時系列な複数の距離画像を取得する第１のステップと、
   前記複数の距離画像のうちの少なくとも１つの距離画像の各素値を基に、前記識対象以外の画像である基盤画像を生成する第２のステップと、
   前記第１のステップで取得された各距離画像について、前記基盤画像との間の差分画像を求める第３のステップと、
   各差分画像の前記対象物の位置を示す３次元座標から、異なる距離画像間における前記対象物の位置の変化量及び変化方向を求める第４のステップと、
   を含む処理を実行させるためのプログラム。

Images