JP2005100466A - パターン認識装置 - Google Patents

Abstract

【課題】高速でローバストなパターン認識が可能となり、しかも小型化が容易に行えるパターン認識装置を提供する。
【解決手段】反射光の強度分布としての反射光画像を取得する画像取得手段と、この画像取得手段で取得された反射光画像と被写体の反射率とに基づき該反射光画像から予め定められたパターンを認識する認識手段とを具備する。
【選択図】 図１４

Description

本発明は、パターン認識装置に関する。

従来、ぬいぐるみやおもちゃなどでは、人の動きに反応して動くようにするには、自動ドアなどと同様に赤外線を用いるものと、超音波を用いるものと、音により反応するものとがある。

赤外線を用いるものは、人が近づくことで、照射されている一筋の赤外線が遮られることを利用している。このような方式では、ぬいぐるみやおもちゃを動かす意図なく、近づいた場合にも、赤外線がさえぎられ、無用に反応してしまうという問題点があった。また、赤外線の照射源と受光源の間に一定距離があることが必要であるので、小型化などには適さなかった。

超音波によるものは、超音波を発し、それが反射されることで、人が近づいたことを検知するようになっている。がこれも、赤外線の場合と同様に、単に遮られたかどうかだけを検知しているので、ぬいぐるみやおもちゃを動かす意図なく、近づいた場合にも、超音波がさえぎられ、無用に反応してしまうという問題点があった。

また、音により反応する方式では、音を小型マイクロフォンにより検知し、電気信号に変換し、それにより動かすようにしている。が、赤外線や超音波と同様に、単に遮られたかどうかだけを検知しているので、ぬいぐるみやおもちゃを動かす意図なく、ぬいぐるみやおもちゃのそばで音を出してしまうと、無用に反応してしまうという問題点があった。

一方、掃除ロボットなど周囲を検知し、障害物をよけて自走するようなロボット等の自走装置では、障害物を検知するために超音波による検知方法や、画像処理による検知方法、あるいはこの両者を併用して用いている。

この場合、超音波による検知方法では、２カ所から超音波を発し、三角測量の要領で対象物までの距離を測定するという、おもちゃやぬいぐるみに比べると、高価だが、高精度な障害物の検知が行える。が、この超音波による測定方法では、何らかの物体が測定した距離に存在していることはわかるが、その物体の大きさや形状などはわからない。従って、どのようなよけかたをすべきかの計画を立てにくいという問題点がある。そこで、あらかじめ、ロボットが自走する場所の地図を記憶させておき、自身の位置と向きから、検知した対象が地図上のどの物体に相当するかを推定し、自走計画を立てるようになっている。従って、あらかじめ、地図のわかっていない場所では、うまく機能できないと言う問題点があった。

一方、ＣＣＤカメラなどを用いて撮像した画像を解析して、場所に存在する物体を認識する方法もとられている。この方法では、進行方向をまず、ＣＣＤカメラなどの撮像装置を用いて撮影する。その画像から背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、その処理後の画像を用いることで、物体の形状などを認識する。

まず、この認識対象の切り出しという前処理部分について説明する。カメラで撮影した画像から、取得したい対象物の画像のみを切り出す方法として、対象物と、それ以外の部分画像領域の何らかの相違点を手がかりとして対象物の切り出しが行われていた。

この手掛かりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。室内の場合、エッジは、壁と柱の境界、ドア、床と壁の境界である。これらは、奥行き方向に消失点に向かって、斜めになってはいるが基本的には、垂直と水平の直線として、物体を認識していく。それを乱すものがあれば、建造物以外の障害物があると見なすのである。が、色相差を用いる方法は、床や壁、ドアの色相が近いと明確に区別するのは難しく、顕著な汚れがあると、それを誤ったりする。また、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。

ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ないうちは問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間の動きベクトルの算出処理の負荷が増し、リアルタイムな物体検知処理が行えない。

このような画像処理のみによる方法を補うために、超音波による距離算出方法とを併用することも行われている。が、超音波による距離算出方法では、点の観測であり、面として取得した画像すべてを補う情報を得ることは難しい。

以上説明したように、従来の撮像手段により画像を取得して解析する方法では、解析の流れ、解析すべき情報が固定的であるため、対象となる画像が外部の条件に応じて刻々に変化してしまったときに、特定の処理部に負荷がかかり、解析がその変化に追随できなくなるという問題が生じていた。

このような問題を解決するための１つの方法は、負荷が増えてもリアルタイム（例えば、秒３０枚の処理）に対応できるように、高性能の計算機や高速の伝送系を用いるなどの工夫が行われている。が、このような高性能の計算機をロボットましてやおもちゃ等の小型な装置に搭載することは困難である。

以上説明したように、物体そのものや物体の動きを検知するための従来の画像処理による物体検知方法を用いた物体検知装置では、刻々と変動する外部条件に対して、低価格でかつローバストな解析をおこなうことは難しかった。変動する外部条件に対してもローバストな解析を行えるようにするには、高性能計算機や、高速伝送系を用いるため、コストがかかりすぎ、例えば、障害物をよけて自律走行したり、人の動きに応じて行動するようなロボットやぬいぐるみ、おもちゃなどの機能を集約した簡易な自動装置には使えないという問題点があった。

また、ボクシングゲームなどの遊戯具に上記物体検知装置を組み込んだ場合には、ユーザがゲームに夢中になるあまり、物体検知装置を誤って投打してしまい、破損する危険性があった。また、画像の取得できる限界接写距離よりも近傍に手や体の一部が入り込み、正常な画像取得が妨げられると言う問題もあった。

そこで、本発明は、上記問題点に鑑み、高速でローバストなパターン認識が可能となり、しかも小型化が容易に行えるパターン認識装置を提供することを目的とする。

本発明のパターン認識装置は、反射光の強度分布としての反射光画像を取得する画像取得手段と、この画像取得手段で取得された反射光画像と被写体の反射率とに基づき該反射光画像から予め定められたパターンを認識する認識手段と、を具備したことにより、高速でローバストなパターン認識が可能となり、しかも小型化が容易に行える。

本発明によれば、高速でローバストなパターン認識が可能となり、しかも小型化が容易に行える。

以下、本発明の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る物体検知装置を用いた動作制御装置、すなわち、例えば、距離画像から予め定められた目標物を検知して、当該目標物と予め定められた距離間隔を維持しながら自走するロボットの構成例を示している。

図１に示すように、第１の実施形態に係る動作制御装置は、反射光を受光し、距離画像を取得する、例えば、特願平９−２９９６４８号に記載されている距離画像取得部１と、取得された距離画像を解析し、目標物の抽出や目標物までの距離の算出等を行う画像処理部２と、画像処理部２の解析結果に基づき、自走部４への自走のパラメータの設定、指示を行う自走制御部３と、自走制御部３からの指示に基づき、実際に本体を移動、回転等させるための機構を備えた自走部４と、画像処理結果や自走の状態などを呈示する、例えば小型の液晶パネルなどから構成される呈示部５とから構成されている。

ここで、距離画像取得部１および、距離画像取得部１にて取得される距離画像について簡単に説明する。

距離画像取得部１は、図２に示すように、主に、発光部１０２、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。

発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。

受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。

反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを反射光画像あるいは距離画像と呼ぶ。

受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差ををとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。

反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図３に示すような反射光画像（距離画像）を抽出する。

図３では、簡単のため、２５６×２５６画素の反射光画像の一部である８×８画素の反射光画像の場合について示している。

物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を錯乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。

反射光画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、錯乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を錯乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、距離画像取得部１の前方に手を差し出した場合の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図４に示したような３次元的なイメージを得ることができる。

さて、本実施形態の説明に戻り、図５（ａ）は、図１に示すような構成のロボットの外観例を示したもので、図５（ｂ）は、このロボットの目を拡大して示したものである。この目の部分には、画像取得部１の発光部１０１、受光部１０３が具備されている。

図５（ｂ）において、目の中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数（例えば６個）等間隔に配置されている。

発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図３に示すような反射光の強度分布としての距離画像である。

図３は、距離画像データの一部（２５６ｘ２５６画素の一部の８ｘ８画素）を示したものである。この例では、行列中のセルの値（画素値）は、取得した反射光の強さを２５６ビットで示したものである。例えば、「２５５」の値があるセルは、画像取得部１に最も接近した状態、「０」の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。

図３（ｂ）は、図３（ａ）に示したようなマトリックス形式の距離画像データ全体を３次元的に示したものである。この例では、人間の手の距離画像データの場合を示している。

次に、図８に示すフローチャートを参照して、図１に示すような構成のロボット（図５参照）の処理動作について説明する。

まず、電源の投入、動作の開始指示にて起動されると回転フラグＩを「０」にセットするなどして初期化処理を行う（ステップＳ１）。 その後、図５（ｂ）に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像を取得する（ステップＳ２）。図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られる。

画像処理部２では、まず、画素値が予め定められた所定値以下のセルを除き、例えば、図６に示すような撮像された物体の輪郭情報を生成することにより、物体を抽出する（ステップＳ３）。

図６のような輪郭情報を生成するには、隣り合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。

すなわち、（ｉ、ｊ）の画素値をＰ（ｉ、ｊ）とし、生成する輪郭情報の画素値をＲ（ｉ、ｊ）とすると、
・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ＋１）｝＞α
のとき、Ｒ（ｉ、ｊ）＝２５５
・ 上記以外のとき、Ｒ（ｉ、ｊ）＝０
とすることにより、図６のような輪郭情報を得ることができる。

このようにして距離画像から抽出された物体が、予め定められた目標物であるかどうかの判定は、画像処理部２が具備している、例えば、図７に示したような形式で記憶されている認識辞書にあるパターンと上記輪郭情報とのマッチングにより行う（ステップＳ４）。

図７に示すように、認識辞書には、予め定められた目標物の形状パターン（物体に動きがある場合には、その動きに応じた複数の形状パターン）が記憶されている。

認識辞書にあるパターンのうちの１つと抽出された輪郭情報とが一致し、当該目標物であると判定されたとき、次に、当該目標物までの距離ｄを算定する。このとき、回転フラグＩを「０」にクリアする（ステップＳ５）。

距離ｄの算定は、まず、抽出できた目標物の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。目標物からの反射光の強さは目標物までの距離の２乗に反比例して小さくなる。すなわち、目標物の画像の代表画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ^２ …（１）
と表すことができる。

ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離値を求めることができる。

自走制御部３では、画像処理部２にて求められた対象物までの距離ｄに基づき自走部４を制御する。

すなわち、求められた距離ｄが目標物との間に予め定められた距離Ｄより小さければ、目標物から予め定められた距離間隔内にいると判断できるので（ステップＳ６）、自走制御部３は、自走部４に対しては何もせずに、そのままステップＳ２に戻り、上記距離画像取得動作を継続する。

一方、求められた距離ｄが、目標物との間に予め定められた距離Ｄより大きければ、目標物から離れてしまったことになるので、その場合は、差分（ｄ−Ｄ）だけの前進指示を自走部４に対し指示する（ステップＳ７）。この指示に従って、自走部４が駆動されて、ロボットが前進し、目標物と予め定められた距離間隔Ｄに到達した際、その旨を呈示部５に呈示する（ステップＳ８）。その後、動作終了指示が成されるまで（ステップＳ９）、ステップＳ２に戻り上記画像取得動作を継続する。

ステップＳ４にて、認識辞書にあるパターンに輪郭情報と一致するものがなく、当該目標物を検知することができなかったときには、回転動作を行う。その際、まず、回転フラグＩに「１」を加算する（ステップＳ１０）。

例えば、１回の回転角を３０度とすると、回転フラグＩが「１２」を越えたときには、すでに１周したことを意味する。従って、１周しても目標物を検知できなかったときは、その旨を呈示部５に呈示して処理を終了する（ステップＳ１１、ステップＳ１３）。

ステップＳ１１にて、回転フラグＩが「１２」以下であるときは、ステップＳ１２に進み、自走制御部３は自走部４に対し回転指示を出す。この回転指示が出される度に、ロボットは３０度づつ回転することになる。そして、ステップＳ２に戻り、上記同様距離画像の取得動作を継続する。このようにロボットは、距離画像に目標物が検知されるまで、周囲を見回せるように回転し、画像取得を行い、目標物の探索をおこなうようになっている。

なお、ステップＳ９では、予め定められた操作を行う以外に、ロボットの目の部分を覆って真っ暗にすることで（受光部１０３に入力するような光を遮断することで）、ロボットの行動を停止することもできる。

以上説明したように、上記第１の実施形態によれば、３次元情報の得られる距離画像を用いることにより画像処理が単純化され、高速でローバストな物体検知が可能となり、しかも小型化が容易に行える。

なお、上記第１の実施形態では、図５に示したような形状のロボットについて説明したが、この場合に限らず、例えば、犬の形状のロボットであって、常に、飼い主の左側にいるように設定することも可能であるし、あるいは、ボールの形状にし、常に、持ち主のあとを転がりながらついていくようなおもちゃにすることも可能である。

前者および後者の場合、例えば、距離画像の取得範囲を予め定められた方向範囲となるように調節し、あるいは、回転角度を限定し、その範囲内で取得された距離画像に必ず目標物が検知できるように自走制御部３を介して自走部４を制御するようにすればよい。

また、上記第１の実施形態では、単純に一定距離内に追随するよう自走する例について述べたが、必ずしもこれに限定されるものではない。例えば、図９に示すように、図１の自走制御部３と自走部４をそれぞれ動作制御部６と動作部７に置き換えて、自走する以外にも、歌を歌う、あいずちをうつ、首を振る等の任意の動作をさせることも可能である。また、距離画像取得部１ではリアルタイムに画像を取得できる（例えば１秒間に３０枚距離画像を取得できる）ことを利用して、人の動作を検知し、それを模倣し、同じ動作をするように動作制御部６が動作を制御するようにすることも可能である。また、予め動作制御部６に認識辞書として記憶させている身振りのパターンと同じ身振りを人がしたときに、それぞれの身振りに対応した踊り、動作（歌を歌う、あいずちをうつ、首を振るなど）させることも可能である。あるいは、認識してほしい身振り動作のパターンを覚えさせ（例えば、当該ロボット等に具備されている距離画像取得部１、ＣＣＤカメラ等を用いてその身振りの画像を撮像し、その画像データを動作制御部６のメモリに認識パターンとして記憶させる）、その身振りに対応して予め定められた動作、すなわち、踊ったり、何かおしゃべりをさせることも可能である。

また、目標物に反射係数の大きなマーカ等を付け、遠方でも距離画像取得部１による距離画像取得が可能なようにして、使用することも可能である。

（第２の実施形態）
第１の実施形態で説明した距離画像は、反射光を用いてるため、遠方になると画像の取得が難しいという問題がある。また、距離画像を得ることはできるが、反射光であるために、色情報の取得ができないという問題がある。このような問題を解決するために、距離画像取得部１の他に通常の２次元画像を取得するＣＣＤカメラなどの２次元画像取得部２２を組み合わせて用いることにより、互いの難点を補間しあうものが、第２の実施形態に係る物体検知装置を用いた動作制御装置である。

図１０は、第２の実施形態に係る動作制御装置の構成例を示したものである。

図１０に示す動作制御装置は、第１の実施形態で説明した、反射光を受光し距離画像を取得する距離画像取得部１の他に、ＣＣＤカメラ等の被写体までの距離情報を含まない通常の写真画像と同様な２次元の画像を取得する２次元画像取得部２２と、取得された距離画像、２次元画像を解析し、目標物の抽出や目標物までの距離の算出等を行う画像処理部２３と、画像処理部２３の解析結果に基づき、動作部４への動作パラメータの設定、指示を行う動作制御部２４と、動作制御部２４からの指示に基づき本体を移動、回転等させるための機構を備えた動作部２５と、画像処理結果や動作の状態などを呈示する、例えば、小型の液晶パネルなどから構成される呈示部２６とから構成されている。

動作部２５では、自走する、歌を歌う、あいずちをうつ、首を振る、人と同じ身振りを行う等の任意の動作を行わしめるもので、ここでは、第１の実施形態の場合と同様、動作部２５にて走行動作を行う場合を例にとり説明する。

図１０に示す動作制御装置は、例えば、図５に示したような形状のロボットであってもよい。

次に、図１１に示すフローチャートを参照して、図１０に示したような構成の動作制御装置の処理動作について説明する。なお、図１１において、図８と同一部分には同一符号を付し、異なる部分について説明する。

図１１において、ステップＳ１からステップＳ９までの距離画像から目標物が検知された場合の処理は図８と同様である。

ここでは、図１０の動作制御装置は比較的狭い範囲で稼働する場合を想定しているので、距離画像取得部１、２次元画像取得部２２のうち、距離画像取得部１が主体的に使われる場合を示す。逆に広い範囲で稼働する場合には、遠方での画像取得が得意な２次元画像取得部２２が主体的に活動するようになるので、図１１に示すフローチャートとは若干異なる（後述する）。

さて、ステップＳ４にて、距離画像から目標物が検知できなかったとき、図８と同様、回転フラグＩに「１」を加算し（ステップＳ１０）、回転フラグＩが「１２」以下であるときは、ステップＳ１２に進み、動作制御部２４は動作部２５に対し回転指示を出す（ステップＳ１１、ステップＳ１２）。このようにロボットは、距離画像に目標物が検知されるまで、周囲を見回せるように回転し、画像取得を行い、目標物の探索をおこなうようになっている。

目標物が遠方にある場合、距離画像取得部１でロボット本体の近傍を探索しているだけで見つからない。そこで、ステップＳ１１で、周囲を１周しても目標物が検知できなかったときは、ステップＳ２２に移り、２次元画像取得部２２により２次元画像（カラー画像でもモノクロ画像でもよいが、ここでは、例えば、カラー画像であるとする）を取得する。すなわち、距離画像取得部１による画像取得が不可能なほど遠方にある目標物の探索を開始する。

次に、２次元画像取得部２２で取得された２次元画像から目標物を抽出する（ステップＳ２３）。２次元画像から目標物を抽出する処理は、従来の画像処理と同様であってもよい。例えば、第１の実施形態と同様に、人間を探索するには、取得された２次元画像から肌色の部分を抽出する。第１の実施形態の画像処理部２では、図７に示したような認識辞書を用いて、パターンマッチングを行っていたが、この場合には、遠方にあるので、明確に、例えば手の形や顔の形を抽出することは難しい。そこで、ここでは、単に肌色の部分が見つかれば、目標物が見つかったとして、動作制御部２４は動作部２５に対し、予め定められた距離だけ、検知された肌色の方向へ移動するための制御を行う（ステップＳ２４〜ステップＳ２５）。指示された距離を移動した後、再び、ステップＳ２に戻り、以降の処理動作を繰り返す。目標物検知のための詳細なマッチングは、ステップＳ２以降で、距離画像を彩度取得するので、その段階でおこなえばよい。

ステップＳ２５で近づきかたが十分でなかった場合には、ステップＳ４において距離画像から目標物が検知されないで、再度、ステップＳ１０、ステップＳ１１、ステップＳ２２に移り、２次元画像を取得する処理に入るので、その処理後、ステップＳ２５にて再び前進することになる。

ステップＳ２４にて２次元画像から目標物が検知できなかったときには、その旨を呈示部２６に呈示して、処理を終了する（ステップＳ２６）。

なお、前述の第１の実施形態の場合と同様、動作部２５では、自走する以外にも、歌を歌う、あいずちをうつ、首を振る等の任意の動作をさせることも可能である。また、距離画像取得部１ではリアルタイムに画像を取得できる（例えば１秒間に３０枚距離画像を取得できる）ことを利用して、人の動作を検知し、それを模倣し、同じ動作をするように動作制御部２４が動作を制御するようにすることも可能である。また、予め動作制御部２４に認識辞書として記憶させている身振りのパターンと同じ身振りを人がしたときに、それぞれの身振りに対応した踊り、動作（歌を歌う、あいずちをうつ、首を振るなど）させることも可能である。あるいは、認識してほしい身振り動作のパターンを覚えさせ（例えば、当該ロボット等に具備されている距離画像取得部１、ＣＣＤカメラ等を用いてその身振りの画像を撮像し、その画像データを動作制御部６のメモリに認識パターンとして記憶させる）、その身振りに対応して予め定められた動作、すなわち、踊ったり、何かおしゃべりをさせることも可能である。

以上説明したように、上記第２の実施形態によれば、例えば、遠方にある物体を識別したり、色情報を取得したい場合には、それに応じた画像を取得して、距離画像と組み合わせて目標物あるいは目標物の動きを検知することにより、より精度の高い物体検知が可能となる。

なお、上記第２の実施形態では、２次元画像の取得による探索は、一方向に対してしか行わなっていないが、必ずしもこれに限定されるものではない。距離画像取得に対して行うのと同様に、一方向に対する検出が失敗したときに、回転し、別方向に対して、再度探索を行うようにしてもよい。

また、上記第２の実施形態では、遠方と近傍とで複数の画像取得部を使い分けているが、使い分けの方法は必ずしもこれに限定されるものではない。例えば、２次元画像取得部２２は目標物のある方向へ移動するための暫定的な位置の算出に用い、距離画像取得部２２は、確定した目標物の正確な切り出しや動作（ジェスチャ）の認識に使うというような、使い分け方も可能である。

さらに上記第２の実施形態では、２次元画像取得部２２と距離画像取得部１の２つの画像取得部を用いる例について述べているが、必ずしもこれに限定されるわけではない。例えば、ＬＥＤの発光量を変えた複数の距離画像取得部１を具備し、発光量の大きな距離画像取得部は遠方の距離画像を取得し、発光量の小さな距離画像取得部は近傍の距離画像を取得し、図１１のフローチャートと同様に使い分けて用いることも可能である。この場合、図１１において、目標物まで距離が予め定められた値以上であったときに、遠方の距離画像の取得が可能なもう一方の距離画像取得部での画像取得に切り替えるような処理の流れにすることも可能である。このとき、遠方を取得する距離画像取得部は、発光量を変えずに、１秒あたりに取得する画像の枚数を減らすようにすることで、遠方の距離画像を取得することも可能である。あるいは３つ以上の画像取得部をもち、回転動作なしに、全周囲の画像が取得できるようにすることも可能である。

図１０の動作制御装置は比較的狭い範囲で稼働する場合を想定しているので、図１１のフローチャートは、距離画像取得部１、２次元画像取得部２２のうち、距離画像取得部１が主体的に使われる場合を示している。逆に広い範囲で稼働する場合には、遠方での画像取得が得意な２次元画像取得部２２が主体的に活動するようになるので、まず、２次元画像取得部２２で周囲を回転しながら目標物の探索を行い、目標物が検知されたら当該目標物の検知された方向へ前進した後、図１１のステップＳ２〜ステップＳ９と同様に距離画像の取得、目標物までの距離の算定等を行う。

（第３の実施形態）
第３の実施形態に係る物体検知装置は、例えば体験型ゲーム装置等の娯楽設備に適用したときに、距離画像取得部１を誤って投打されたりして破損することを防ぐものである。

本発明の物体検知装置を、ボクシングゲーム、テニスやバッティングゲーム等の人がグローブやラケット、バット等を動かして体験的にゲームを楽しむための体験型ゲーム装置に適用した場合、距離画像取得部１は、対象物である手やボールやバット等を撮像可能な位置に設置されるため、これらの位置関係によっては、ユーザが夢中になるあまり、誤って手やボールやバット等により投打され、破損することもあろう。

図１２は、第３の実施形態に係る例の物体検知装置の構成例を示したもので、距離画像取得部１、情報管理部３２、画像処理部３３、呈示部３４、緩衝部３５から構成されている。

情報管理部３２は、距離画像取得部１、画像処理部３３、呈示部３４を制御し、距離画像取得部１で取得された画像を画像処理部３３に送り、また画像処理部３３における距離画像の処理（距離画像から目標物、該目標物の動きの抽出）の結果得られた情報に基づき、当該ゲーム装置に適した判断処理等を行って、処理結果を提示部３４に提示する。

提示部３４は、小型の液晶パネルなどから構成される構成されている。

距離画像取得部１が画像を取得できる限界接写距離Ｃｄ付近には緩衝部３５が設けられている。この位置は、距離画像取得部１が距離画像を取得できる視野角（画像取得範囲）を越えたところにある。

ボクシングゲームで手がこの緩衝部３５に向かって繰り出すようにする。あるいはテニスやバッティングゲームでは、図１３に示すように、緩衝部３５の手前に対象となるボールを置くようにして、このボールは緩衝部３５に妨げられて、距離画像取得部１にぶつかることがないようにする。

距離画像取得部１にて得た距離画像は情報管理部３２を経て、画像処理部３３に送られる。画像処理部３２では、腕の動き、ボールの動きを解析し、その解析結果を情報管理部３２へ送る。情報管理部３２はそれをもとに、それぞれのゲーム毎の勝敗を判定し、その結果を呈示部５に呈示する。

以上、第３の実施形態によれば、体験型ゲーム装置等の娯楽設備に本発明の物体検知装置を適用した場合に、距離画像取得部１を誤って投打されたりして破損することを防ぐことができるだけでなく、画像取得の限界内に手や身体、バットなどの物体の一部がはいり、正常な処理を妨げることもなく、その効果は大きい。さらに、緩衝部３５の緩衝材として、適度な弾性のあるものを用いると、実際に投打した体感を得ることもできるので、その効果は絶大である。

なお、上記実施形態では、緩衝部３５の緩衝材は不透明な材質を想定しているが、必ずしもこれに限定されるわけではない。

緩衝部３５が光を透過するような透明な材質のものであれば、距離画像取得部１の画像取得範囲内に設けてもよい。すなわち、例えば透明なアクリル板あるいは、透明な材質で伸縮性のある袋に空気をつめたものを緩衝部３５として、画像取得部１の前面から限界接写距離Ｃｄの位置に配置して、距離画像取得部１を手やボール等により誤って投打されないように防御するようにしてもよい。

（第４の実施形態）
本発明の物体検知装置は、文字等のパターン認識装置にも適用できる。

図１４は、製品製作ラインに設けられる仕分け装置の構成例を示したもので、距離画像を用いて文字認識を行い、その認識結果に基づき製品の仕分けを行うものである。

ベルトコンベアなどで構成された搬送路４６上に製品（図１４では、球体であり、その表面には仕分け先別に、例えば「ＡＢＣ」、「ＤＥＦ」、「ＧＨＩ」という文字が印字されている）Ｐ１、Ｐ２、Ｐ３が搬送される。

本実施形態に係る仕分け装置は、搬送路４６上の製品の距離画像を画像取得部１で撮像し、該距離画像から抽出される対象物としての文字を認識して、製品の仕分けを行うようになっている。

距離画像取得部１は、搬送路４６上の製品が撮像できる予め定められた位置に固定され、順次搬送されてくる製品の距離画像を撮像する。

製品の表面と、そこに印字されている文字「ＡＢＣ」、「ＤＥＦ」、「ＧＨＩ」は距離画像取得部１からの照射光に対して、異なる反射率を有している。

画像処理部４２では、製品の表面からの反射光と、表面に印字されている文字からの反射光との強さの違いにより、すなわち、例えば、文字の方が反射率が低い場合、反射光画像である距離画像の各画素値が小さい画素を取り出して、文字を抽出する。さらに、予め記憶された文字辞書を用いてパターン認識を行って、文字を認識し、その認識結果を情報管理部４３に通知する。

情報管理部４３は、距離画像取得部１、画像処理部４２、呈示部４８を制御し、距離画像取得部１で取得された画像を画像処理部４２に送り、また画像処理部４２における文字認識結果に基づき、搬送路４６上の製品を仕分けするための指示を遮蔽板制御部４４に送る。また、提示部４８に文字認識結果とそれに応じた製品の仕分け先とを提示するようにしてもよい。

仕分けは、例えば、搬送路４６上に設けられた遮蔽板４５ａ、４５ｂを遮蔽板制御部４４の指示に従って立てたり倒したりすることにより、文字認識結果に応じた仕分け箱４７ａ〜４７ｃに製品を導くことより行っている。

距離画像取得部１の設置位置が固定で、搬送路４６上の製品の画像取得位置が一定であるならば（例えば、所定位置に設けられたセンサにて製品の通過を検知した際に距離画像取得部１にて画像を取得するようにする）、距離画像取得部１と製品までの距離値は予め明確に予測可能である。

球面に印字された文字を撮像した距離画像では、球体中心部に印字された文字と周辺部に印字された文字とが同一平面上にないことから反射光の強さが異なり、従って文字にゆがみが生じる。

製品が予め定められた寸法の球体で、その表面に印字される文字の位置が予め定められていて、撮像方向が一定している場合、このゆがみの量（反射光の強さの違い）も球体中心部と周辺部における距離の違いから明確に推測できうる。従って、画像処理部４２では、距離画像から文字を抽出する際に、このような文字のゆがみから予め推測される反射光の強さ（画素値）を補正することにより、より正確に文字を抽出することができる。

次に、図１５に示すフローチャートを参照して、図１４の仕分け装置の処理動作について説明する。

まず、電源の投入、動作の開始指示にて起動されると所定の初期化処理動作が行われ、搬送路４６が駆動される（ステップＳ３１）。

画像取得部１は、搬送路４６にて搬送されてくる製品Ｐ１〜Ｐ３の距離画像を順次取得し（ステップＳ３２）、画像処理部４２にて取得した距離画像中から反射率が異なる（この場合は、例えば、印字文字の反射率が低いので、画素値Ｐ（ｉ、ｊ）の値が予め定められた値より小さい）画素を抜き出して、文字を抽出する（ステップＳ３３）。その際、前述したような文字のゆがみに対応する画素値の補正を行うようにしてもよい。

次に、画像処理部４２は、予め記憶された文字辞書にある認識対象としても文字「ＡＢＣ」、「ＤＥＦ」、「ＧＨＩ」のパターンのいづれかに抽出した文字が一致するか否かを調べる。その結果を情報管理部４３に通知する。

文字辞書に（予め許容される類似度にて）一致する文字パターンがあったときは、その文字に対応する仕分け箱にいくように、遮蔽板制御部４４にて、該当する遮蔽板を操作する（ステップＳ３４〜ステップＳ３５）。

文字辞書に一致する文字パターンがないときは、、「仕分不能」を呈示部４８に呈示し（ステップＳ３７）、処理を終了する。

また、一定期間がすぎても、製品が流れてこず、取得した画像中に文字が検出されない場合には、情報管理部４３は、停止と見なし、処理終了指示を出してもよい（ステップＳ３６）。

以上説明したように、上記第４の実施形態によれば、距離画像を用いることにより、同一の距離においても、被写体の反射率の違いから明確に文字等のパターンを認識することができるので、例えば、製品番号に応じた仕分けや、さらには塗装仕上げの善し悪しによる仕分け等の複雑な制御を容易に行うことができ、製造工程の自動化に大いに貢献する。

なお、上記第４の実施形態では、印字文字が製品表面より低い反射率をもつようにしているが、必ずしもこれに限定するものではない。製品表面が黒色など低い反射率をもつ場合には、印字文字を銀地などの反射率の高いインクにするなどすることで、容易に高精度の判別を実現できる。

本発明の第１の実施形態に係る動作制御装置の構成例を示した図。 距離画像取得部の構成例を示した図。 反射光の強度を画素値とする距離画像の一例を示した図。 図３に示した様なマトリックス形式の距離画像を３次元的な表した図。 図１に示した構成の動作制御装置の一例としてのロボットの外観と、このロボットの目に具備された距離画像取得部の受光部と受光部を一例を示した図。 距離画像から抽出された物体の輪郭画像の一例を示した図。 画像処理部に記憶される認識辞書の登録されているパターンの一例を示した図。 図１の動作制御装置の処理動作を説明するためのフローチャート。 動作制御装置の他の構成例を示した図。 本発明の第２の実施形態に係る動作制御装置の構成例を示した図。 図１０の動作制御装置の処理動作を説明するためのフローチャート。 本発明の第３の実施形態に係る物体検知装置の構成とその適用例を示した図。 図１２の物体検知装置の他の適用例と示した図。 本発明の第４の実施形態に係る仕分け装置の構成例を示した図。 図１４の仕分け装置の処理動作を説明するためのフローチャート。

符号の説明

１…画像取得部
２、２３…画像処理部
３…自走制御部
４…自走部
５…提示部
６、２４…動作制御部
７、２５…動作部
２２…２次元画像取得部
３２…情報管理部
３３…画像処理部
３４…提示部
３５…緩衝部
４２…画像処理部
４３…情報管理部
４４…遮蔽板制御部
４８…提示部
１０１…発光部
１０２…反射光抽出部
１０３…受光部

Claims (1)

1. 反射光の強度分布としての反射光画像を取得する画像取得手段と、
   この画像取得手段で取得された反射光画像と被写体の反射率とに基づき該反射光画像から予め定められたパターンを認識する認識手段と、
   を具備したことを特徴とするパターン認識装置。

Images