JP2006268345A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】装置自身が移動するような動的環境下でも移動体を撮像して得られた画像から移動体を検出する画像処理装置および画像処理方法を提供する。
【解決手段】異なる二視点から第一および第二の撮像装置により移動体を撮像することにより得られる第一および第二の画像を取得する画像取得手段と、第一の画像から複数の特徴点を検出する特徴点検出手段と、第一の画像および第二の画像を用いてステレオ画像処理を行うことにより、特徴点毎の視差を表す視差分布を得るステレオ画像処理手段と、視差分布における視差に対するしきい値を決定するしきい値決定手段と、視差分布においてしきい値を上回る視差を有する特徴点を移動体内特徴点に分類する特徴点分類手段と、移動体内特徴点を用いて第一の画像中の移動体の画像領域を検出する移動体検出手段とを具備する。
【選択図】図１

Description

本発明は、異なる地点から移動体を撮像して得られた複数の画像をステレオ画像処理し、移動体を画像上で検出する画像処理装置および画像処理方法に関する。

人物に追従する移動ロボットの視覚処理系に関して種々の研究開発が進められている。移動ロボットが人物等の移動体に追従するよう移動するとき、視覚処理系はまず移動体を撮像してその３次元位置を画像処理により計測する。この計測結果に従って、ロボットは移動のための駆動系の制御量等を算出する。

従来、監視システム等で用いられてきた背景差分による人物検出技術や、画像処理により人物の頭部を認識する技術が知られており、これらの技術を移動ロボットの視覚処理系に応用することが考えられる。

しかしながら、ロボットの移動により背景画像は大きく変化することから、背景差分法は移動ロボットの視覚処理系には適さない。また、人との位置関係や遮蔽などで追従対象の頭部が必ずしもロボットの視界内にとらえられるとは限らないことから、人物の頭部認識技術も有効ではない。

さらに、移動ロボットが人間の生活空間内で活動することを考慮すると、処理対象のデータを削減して高速に処理できること、環境変化に対して頑健であることなども必要である。

なお、シーン変化に依存しない人物検出手法として、距離画像とフレーム間差分を用いる技術が例えば下記特許文献１、２に記載されている。
特開２００４−２９９０２５号公報 特開２００４−３０１６０７号公報

本発明は、移動体を撮像して得られた画像を高速に画像処理して動的な環境下で移動体を検出する画像処理装置および画像処理方法を提供することを目的とする。

本発明の一観点に係る画像処理装置は、異なる二視点から第一および第二の撮像装置により移動体を撮像することにより得られる第一および第二の画像を取得する画像取得手段と、前記第一の画像から複数の特徴点を検出する特徴点検出手段と、前記第一の画像および前記第二の画像を用いてステレオ画像処理を行うことにより、前記特徴点毎の視差を表す視差分布を得るステレオ画像処理手段と、前記視差分布における視差に対するしきい値を決定するしきい値決定手段と、前記視差分布において前記しきい値を上回る視差を有する特徴点を移動体内特徴点に分類する特徴点分類手段と、前記移動体内特徴点を用いて前記第一の画像中の前記移動体の画像領域を検出する移動体検出手段とを具備する。

本発明の別の観点に係る画像処理方法は、異なる二視点から第一および第二の撮像装置により移動体を撮像することによりフレーム単位で得られる第一および第二の画像を取得する画像取得ステップと、前記第一の画像から複数の特徴点を検出する特徴点検出ステップと、前記第一の画像および前記第二の画像を用いてステレオ画像処理を行うことにより、前記特徴点毎の視差を表す視差分布を得るステレオ画像処理ステップと、前記視差分布における視差に対するしきい値を決定するしきい値決定ステップと、前記特徴点検出ステップにより第一のフレーム時刻に検出された各特徴点と第二のフレーム時刻に検出された各特徴点との間の互いに対応する特徴点対を求めるステップと、前記特徴点対間の移動量と移動方向で示される移動速度を計測して特徴点対毎の移動速度を表す移動速度分布を求めるステップと、前記移動速度分布に対して移動体領域かそれ以外の領域かを識別するための識別境界を決定する識別境界決定ステップと、前記視差分布において前記しきい値を上回る視差を有する特徴点及び前記識別境界により識別される移動体領域に対応する特徴点を前記移動体内特徴点に分類する特徴点分類ステップと、前記移動体内特徴点を用いて前記第一の画像中の前記移動体の画像領域を検出する移動体検出ステップとを有する。

本発明によれば、装置自身が移動するような動的環境下でも移動体を撮像して得られた画像から移動体を検出する画像処理装置および画像処理方法を提供できる。

以下、図面を参照しながら本発明の実施形態を説明する。

（第１の実施形態）
本発明の第１の実施形態は、異なる地点から複数の撮像装置により移動体を撮像し、少ないデータ量で高速にステレオ画像処理を行って移動体の画像領域を検出する画像処理装置に関する。本装置は、例えば移動ロボットの視覚処理系に適用することができる。

図１は本発明の第１実施形態に係る画像処理装置のブロック図である。

撮像装置（カメラ）１０１は対象物を撮像するための手段であり、異なる二視点から移動体を撮像できるように複数台設けられる。図１には２台の撮像装置１０１が示されているが、本発明の実施にあたり、少なくとも２台以上であれば撮像装置１０１の台数に制限はない。

画像取得部１０２は、複数の撮像装置１０１により二視点から移動体を撮像して得られた第一および第二の画像の映像信号を取得し、コンピュータで処理しやすいディジタルの画像データへ変換する。

特徴点検出部１０３は、複数の撮像装置１０１により移動体を撮像して得られた第一および第二の画像のいずれか一方（本実施形態では例えば「第一の画像」とする）から複数の特徴点を検出する。撮像装置１０１を２台備える本実施形態の場合において、第一の画像は左画像に相当し、第二の画像は右画像に相当するものとする。

ステレオ画像処理部１０４は、画像取得部１０２により取得された第一の画像および第二の画像を用いてステレオ画像処理を行うことにより、特徴点検出部１０３により検出された特徴点毎の視差を表す視差分布をステレオ画像処理結果として得る。

しきい値決定部１０５は、視差分布における視差に対するしきい値を決定する。このしきい値は、画像上の背景と移動体とを視差の大小により区別するために用いられる。特徴点検出部１０３により検出された複数の特徴点は次のように分類がなされる。すなわち、前記視差分布においてしきい値を上回る視差を有する特徴点を移動体内特徴点とし、それ以外の特徴点を背景内特徴点とする。

対象物領域検出検出部１０６は、移動体特徴点が有する視差と、複数の撮像装置１０１の光学特性および撮像装置１０１間の距離とにより該複数の撮像装置１０１から移動体までの距離を算出し、算出された距離に基づいて当該移動体の画像領域を検出する。

以上のように構成された本実施形態の動作について説明する。図２は第１の実施形態に係る対象物検出の処理手順を示すフローチャートである。

先ずＳＴ２０１では、画像取得部１０２を通じて複数台の撮像装置１０１からディジタル画像データの形で画像を取得する。こうして得られる撮像装置１０１の台数分の画像において、一度のステレオ画像処理に供する画像は全ての撮像装置１０１で同時刻に撮影されたものであることが望ましい。同時刻に撮影できない場合には、撮影タイミングに応じて後で述べるステレオ画像処理結果を補正する必要がある。

次にＳＴ２０２では、複数の画像のうちの一枚（ここでは左画像としている）から複数の特徴点の抽出を行う。ここでいう特徴点とは、画像中で輝度が大きく変化している部位のことをいう。このような点を画像から数百個程度抽出し、後の処理に用いることで以降の処理を安定に、しかも高速に実行することを可能にしている。

特徴点の抽出方法について説明する。この抽出方法は周囲との間の輝度差がしきい値以上の点を特徴点として検出するものである。まず、画像中の１画素を選ぶ。これを点ｐとする。さらにｐ周辺の小領域Ｗを考える。このＷに対して以下のような行列Ｍを計算する。

Ｄ_ｘ，Ｄ_ｙはそれぞれ小領域Ｗにおいてｘ、ｙ方向に隣り合う画素同士の輝度値の差分を表す。この行列Ｍの２つの固有値λ_１，λ_２が大きい場合、点ｐの周りはｘ方向、ｙ方向ともに輝度値の変化が大きいことを表す。すなわちｐはコーナー点である。したがって、適当なしきい値λをあらかじめ決めておき、画像内の各画素をｐとして行列Ｍを求め、固有値λ_１，λ_２がともにλよりも大きいときｐを特徴点とする。この特徴点抽出方法はあくまで一例であり、この後のステレオ画像処理でのブロックマッチングにおいて正しい結果が得られる可能性が高い。尚、画像中の小領域内の輝度値の変化が大きな点が抽出できる方法であれば他の方法を用いてもよい。例えば、画像からコーナー点検出アルゴリズムやエッジ検出アルゴリズムの結果として得られる点群を特徴点としてもよい。

次にＳＴ２０３では、抽出された特徴点群に対してステレオ画像処理を行い、特徴点ごとに視差を算出する。このステレオ画像処理について説明する。図３は左右に並べた撮像装置１０１で撮影された画像であって、左画像３０１は左側の撮像装置で撮影され、右画像３０２は右側の撮像装置で撮影されたものである。特徴点はＳＴ２０２において左画像３０１から抽出されている。

このとき以下のように処理する。まず左画像３０１の各特徴点ごとにその点を中心とする小領域ｗ１を決める。小領域ｗ１の大きさはあらかじめ決めておく。次に右画像３０２から小領域ｗ１と同じ大きさの小領域ｗ２を切り出し、小領域ｗ１と比較して最も類似しているもの、すなわち小領域ｗ１と同じ部位が映っている箇所を探索する。このときの小領域ｗ１と小領域ｗ２の類似度の測定方法であるが、双方の画素値の差の絶対値の総和や２乗誤差の総和などを用いることができる。また、右画像内の探索方法（いわゆる対応点探索）については、撮像装置１０１間の相対的な位置関係が既知であれば、小領域ｗ１に対応する領域は右画像内の１つの直線上に限定される。この場合、小領域ｗ２を直線上で１画素ずつ動かして類似度を求めていけば目的の箇所が発見される。こうして得られる最も類似度が高い小領域ｗ２の中心を点ｐ’とする。以上により特徴点ｐに対応する右画像中の点ｐ’が得られる。図４に示すように、撮像装置１０１の光学特性（焦点距離）と撮像装置１０１間の位置関係（距離）とが分かれば、左画像４０１上の点ｐと右画像４０２上の点ｐ’からこれらに対応する３次元位置ｐ’’を三角測距により求めることができる。図４によれば、画像上の点ｐと点ｐ’との間の距離が離れているほど点ｐ’’は撮像装置１０１に近いことが分かる。そこで本実施形態では、実際には特徴点ごとに点ｐと点ｐ’とが何画素離れているか、つまり各特徴点の視差を求め、特徴点の属性として付与する。

次にＳＴ２０４では、視差に関する特徴点の頻度分布を算出する。視差に関する特徴点の頻度分布は、ＳＴ２０４において得られた特徴点毎の視差を表す視差分布（ステレオ画像処理結果）を用いて次のように算出する。すなわち視差０画素からD_max画素（あらかじめ決めておく）までそれぞれ何個の特徴点があるかをカウントする。背景の前に移動体が存在する場合、この段階で得られる頻度分布は図５に示すように大きく２つの山に分かれていると考えられる。このとき視差の大きな方の山に属する特徴点群は、移動体上の特徴点であると見ることができる。

次にＳＴ２０５では、図５に示した視差に関する頻度分布を２つの山に分けるための視差のしきい値Ｔを求める。しきい値Ｔの決定は例えば以下のようにして行う。最初はしきい値Ｔが（視差）０であると仮定する。仮定されたしきい値Ｔにより、特徴点群はしきい値Ｔ以下の視差のもの、しきい値Ｔよりも大きな視差を持ったものの２つのクラスに分けることができる。二分された特徴点群に対しクラス内の視差の分散値δ_Ｗ ^２、および２つのクラス間の分散値δ_Ｂ ^２を次のように求め、２つの分散値の比

を計算する。そして０からD_maxまででηが最も大きくなるような視差の値をしきい値Ｔとする。

次にＳＴ２０６では、特徴点の視差に関する頻度分布は大きく２つの山に分かれるという仮定に基づき、特徴点を２つに分類する。すなわち、ＳＴ２０５で決定されるしきい値Ｔとの比較の結果、しきい値Ｔ以下の視差を持った特徴点を背景内特徴点に、しきい値Ｔよりも大きな視差を持つ特徴点を移動体内特徴点に分類する。

次にＳＴ２０７では、移動体内特徴点に分類された特徴点群から画像中で移動体が占める画像領域を求める。その方法を図６を用いて説明する。図６において画像６０１は撮像装置１０１により撮影された画像のうち、特徴点抽出を行ったものであり、画像内には人物６０５が映っているとする。ＳＴ２０６までの処理の結果、移動体内特徴点に分類された特徴点群６０２が得られたとする。まず、画像全体を複数の大きなブロック６０３に分割する。分割ブロック６０３のサイズはあらかじめ決めておく。分割された各ブロック６０３について移動体内特徴点の数をカウントする。この数があらかじめ決めておいた数以上であればそのブロックは移動体の占める領域であると判定する。全ての判定の後、移動体領域と判定されても隣接するブロックが全て移動体領域でないものを除去し、残った領域を移動体領域６０４であると決定する。

最後にＳＴ２０８において、処理結果を出力する。ＳＴ２０７で求めた画像中の移動体領域と撮像装置１０１からの３次元位置情報を出力する。移動体の３次元位置情報については、領域の重心に近いなどの条件で移動体内特徴点を１つ選択し、その点のステレオ画像処理結果すなわち視差から図４のようにして３次元位置情報を求めて出力する。以上の処理により、移動体までの大まかな相対位置関係とその大きさを求めることができる。

以上説明した本発明の第一の実施形態によれば、撮像装置１０１から移動体までの距離情報をステレオ画像処理により求め、画像から移動体を背景と区別して検出することができる。その処理において、画像から抽出した輝度変化の大きな特徴点を用いることとしていることから、安定してステレオ画像処理を行うことができ、処理対象のデータを削減して高速に処理することが可能になる。

（第２の実施形態）
図７は本発明の第２実施形態に係る画像処理装置のブロック図である。本実施形態は画像中の特徴点の視差情報だけでなく速度情報をも取得し、速度情報に基づく判別を行っている点で上述した第１の実施形態と異なる。速度情報については速度の大小だけでなく向きをも判別の対象としているため、第２の実施形態は特に移動ロボットなど、撮像装置１０１が移動する装置構成での画像処理に有効である。

画像記録部７０３はフレーム間の特徴点の移動速度を求めるために、前のフレーム時刻の画像データを記録する。 特徴点速度計測部７０５は画像記録部７０３に記録された１つ前のフレーム時刻の画像と新たなフレーム時刻に撮影された画像との間の互いに対応する特徴点対を求め、特徴点対間の移動量と移動方向で示される移動速度を計測して特徴点対毎の移動速度を表す移動速度分布を求める。

速度判別部７０６は、移動速度分布に対し移動体領域かそれ以外の領域かを識別するための識別境界を決定し、この識別境界を用いて移動体領域に対応する特徴点を判別する（速度による判別）。

特徴点分類部７０９は視差による判別と速度による判別の結果を統合する。具体的には、視差分布においてしきい値を上回る視差を有する特徴点及び識別境界により識別される移動体領域に対応する特徴点を移動体内特徴点に分類する。

その他の構成要素は上述した第１の実施形態と同様であるので説明を省略する。

以上のように構成された本実施形態の動作について説明する。図８は第２の実施形態に係る移動体検出の処理手順を示すフローチャートである。ＳＴ８０１から８０５までの処理は第１の実施形態と基本的に同じであるが、２フレーム時刻以降の場合、ＳＴ８０３において画像記録部７０３に記録された１フレーム時刻前の画像と新たに撮像装置７０１から得られる画像とを用いて、フレーム前後での特徴点の移動速度を求める。移動速度の具体的な求め方の一例としてブロックマッチングによる手法を説明する。まず、前フレームの画像から特徴点の周りをブロックとして切り出す。このブロックに最も類似した箇所を、新たな画像から一定の範囲を探索する。これらの処理で必要なブロックサイズや探索範囲はあらかじめ決めておく。また画像ブロックとの類似度の尺度としてはステレオ画像処理と同様に絶対値誤差の総和や２乗誤差の総和などを用いることができる。これにより前フレームの特徴点が新たなフレームでどこに移動したかが求められる。また、このとき最も良い類似度が一定値以下であれば、特徴点を見失ったとみなして特徴点から除外する。以上により、残った特徴点には速度情報が付加される。尚、２フレーム間の特徴点の移動が求められれば他の方法を用いても良く、例えば一般に知られるような異なるフレームの画像間からオプティカルフローを求めるアルゴリズムを用いることも可能である。オプティカルフローについては例えば参考文献（Lucas, B. and Kanade T., "An Iterative Image Registration Technique with an Application to Stereo Vision", in Proc. DARPA Image Understanding Workshop, 1981.）に記載されている。

ＳＴ８０４の特徴点抽出について、手法自体は第１の実施形態と同じであるが、２フレーム目以降の場合、特徴点の数が一定数以下になった場合にのみ補充のためにＳＴ８０４を実行する。ＳＴ８０５は第１の実施形態と同じ処理であるので説明を省略する。ＳＴ８０６は１フレーム目の処理かどうかの分岐である。２フレーム目以降でないと特徴点の速度情報を使えないので処理を分ける。１フレーム目の場合は第１の実施形態と同じで特徴点毎の視差の分布から移動体と背景を判別する。そのため、ＳＴ８０７からＳＴ８０９までの処理は第１の実施形態と同じであるから説明を省略し、２フレーム目以降の処理について説明する。

２フレーム目以降の各特徴点には画像処理により求められた視差の値が与えられている。また、前フレームの画像とのブロックマッチングに成功している特徴点については前フレームからの移動速度も与えられている。これらの情報を用いて特徴点集合から移動体上にある特徴点を判別する。まず視差による判別を行うため、ＳＴ８１０で特徴点集合を背景とそれ以外に分けるためのしきい値を決定する。このときのしきい値の決め方としては、前のフレームでの判別結果に従うように決める。すなわち、前フレームにおいて背景であった特徴点は新たなフレームでも背景に、前フレームにおいて背景以外であったならば新たなフレームでも背景以外となるようにしきい値を決定する。これはつまり前フレームの判別結果を教師信号として判別境界を学習していることになる。この学習を実現するための具体的手法の一例を説明する。まずしきいの初期値には０と視差の最大値D_maxの平均値、もしくは前フレームのしきい値など適当な値を入れておく。さらに学習の度合いを表す定数αの値を決めておく。そして前フレームの判別結果が与えられている特徴点全てについて、現時点でのしきい値の大小で判定を行い、前フレームの判別結果と一致するかを確認する。一致するならば、しきい値はそのままとし、誤った判別がされた場合に限り、しきい値を修正する。修正の仕方は判別を誤った特徴点の視差をｄ、このときのしきい値をＴ、新たなしきい値をＴ’とすると、背景となるべき特徴点が背景以外と判別された、つまりしきい値が小さすぎた場合は、Ｔ’＝Ｔ＋αｄとする。逆に大きすぎた場合はＴ’＝Ｔ−αｄと修正する。これを前フレームの判別結果が与えられている特徴点全てについて一定回繰り返す。もし全ての特徴点で誤りが無くなればその時点で終了する。そうでなくても一定回繰り返した後に終了する。これにより視差のしきい値が決定する。なお、説明したしきい値決定の手法はあくまで一例に過ぎず、教師付きの学習の手法であればどれでも利用可能である。

ＳＴ８１０で視差を用いた判別のためのしきい値が決まるわけであるが、例えば背景と移動体との距離が近づいている場合、視差のしきい値処理で判別を行うことは困難である。このためＳＴ８１１では決定された視差のしきい値が本当に有効かを判定する。具体的な手法を説明すると、前フレームの判別結果を持った特徴点群でもう一度判定を行い、判定を誤った特徴点の数をカウントする。その数が一定の割合以上であれば視差のしきい値は有効でないと判定して前のフレームの判別結果をそのまま用いる（ＳＴ８１２）。前フレームの情報がない特徴点については「未判別」のラベルをつけておく。誤りの数が一定以下の場合は学習により決定したしきい値を用いて背景かそれ以外かを判別する。今度は前フレームの判別結果を持たない新たに追加された特徴点についても判別を行い、しきい値との大小に応じて「背景」と「背景以外」のラベルを付ける（ＳＴ８１３）。

ＳＴ８１４以降では、特徴点の移動速度分布に対して移動体領域かそれ以外の領域かを識別するための識別境界を決定し、視差分布においてしきい値を上回る視差を有する特徴点及び識別境界により識別される移動体領域に対応する特徴点を移動体内特徴点に分類する。このとき、単純に速度の大小だけでなく、速度の方向をも考慮に入れ、動的に判別境界を定めるようにしている。このため、静止物体であっても画像では見かけ上の動きが発生するような、移動ロボットなどに搭載された画像処理においても有効な手法となっている。

まずＳＴ８１４では速度を大きさと方向からなる２次元のデータと見なし、２次元空間（平面）上で静止物体と移動体とに分類するための境界線の方程式を求める。この具体的な方法は、ＳＴ８１０と同じように前フレームの判別結果を教師データとして、判別の誤りが生じたときのみ境界の修正を行う。ただし、ＳＴ８１０と異なるのは修正の対象がしきい値ではなく、境界線をあらわす直線の方程式になることである。この場合はＳＴ８１０の説明におけるｄを速度ベクトルと見なせば同様に処理可能である。以上により速度を表す２次元平面上での境界線が決まる。なお、この手法に限らず教師付きの学習手法であれば同じように境界線を決定できる。

ＳＴ８１５では、ＳＴ８１４で決定された境界線が有効かどうかを判定する。例えば移動体がたまたま停止したとき、画像内の見かけ上の動きは静止物体と全く同じになってしまうことから、速度による判別は不可能になる。判定の方法はＳＴ８１１と同じであり、前フレームの情報を持った特徴点をもう一度判別させて誤った数をカウントする。これが一定の割合以上であればＳＴ８１７に進み、静止物体か移動体かの判定は前のフレームの判定結果に従う。誤りが一定の割合よりも小さければＳＴ８１６に進み、特徴点が決定された境界線のどちらにあるかで２つに分類する。そして、分類された２つの特徴点集合のうち、ＳＴ８１３までの視差による判別で「背景」のラベルを付けられた特徴点が多い方の集合を静止物体、少ない方の集合を移動体と判別する。

ＳＴ８１８ではこれまでの特徴点の視差、速度による判別結果を統合して特徴点の分類を行う。まず、視差による判別で背景内特徴点に分類された特徴点はそのまま「背景」に属する特徴点であると判断する。一方、視差では移動体内特徴点に分類されたが、速度では「静止物体」と判別された特徴点は「障害物」に属する特徴点であると判断する。そして視差分布に基づいて移動体内特徴点に分類され、さらに速度でも「移動体」と判別されたもののみ目的の「移動体」であると判断する。このように単に移動体でないものに対しても近くにあるもの、遠くにあるものを判別することで、移動ロボットのような実施形態では目標の情報と同様に重要な障害物情報を同時に取得できるようになる。

以上の処理により１フレーム目の場合、２フレーム目以降の場合ともに「移動体」に属する特徴点集合が求まるわけであるが、ＳＴ８１９において画像中に移動体が占める領域を求める。さらにＳＴ８２０では求められた移動体領域と撮像装置７０１からの相対距離を求めて出力する。これらは第１の実施形態の場合と同じなので説明を省略する。

以上説明した第２の実施形態によれば、撮像装置７０１自身が移動するような状況下であっても安定して移動体を検出し続けることが可能である。また、過去の時刻からの経験による学習結果を新たな特徴点に対しても適用していくため、特徴点がどんどん入れ替わっていくような不安定な状況にも強くなる。さらに特徴点の視差の量、移動速度という２つの特徴量を判別に用いるかどうかを動的に判断することにより、移動体の移動の方向、速さや背景物体との位置関係など時々刻々と変化する状況にも安定して対応できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係る画像処理装置のブロック図 第１の実施形態に係る対象物検出の処理手順を示すフローチャート 画像間のブロックマッチングを説明するための図 ステレオ画像処理による３次元情報の取得について説明するための図 視差に関する頻度分布を示すグラフ 特徴点集合から対象物領域を求める方法を説明するための図 本発明の第２実施形態に係る画像処理装置のブロック図 第２の実施形態に係る移動体検出の処理手順を示すフローチャート

符号の説明

１０１…撮像装置；
１０２…画像取得部；
１０３…特徴点検出部；
１０４…ステレオ画像処理部；
１０５…しきい値決定部；
１０６…移動体領域検出部；
３０１…左画像；
３０２…右画像；
４０１…左画像；
４０２…右画像；
６０１…画像；
６０２…特徴点；
６０３…ブロック領域；
６０４…求められる移動体領域；
６０５…実際の移動体領域；
７０１…撮像装置；
７０２…画像取得部；
７０３…画像記録部；
７０４…特徴点検出部；
７０５…特徴点速度計測部；
７０６…速度判別部；
７０７…ステレオ画像処理部；
７０８…しきい値決定部；
７０９…特徴点分類部；
７１０…移動体領域検出部

Claims (14)

1. 異なる二視点から第一および第二の撮像装置により移動体を撮像することにより得られる第一および第二の画像を取得する画像取得手段と、
   前記第一の画像から複数の特徴点を検出する特徴点検出手段と、
   前記第一の画像および前記第二の画像を用いてステレオ画像処理を行うことにより、前記特徴点毎の視差を表す視差分布を得るステレオ画像処理手段と、
   前記視差分布における視差に対するしきい値を決定するしきい値決定手段と、
   前記視差分布において前記しきい値を上回る視差を有する特徴点を移動体内特徴点に分類する特徴点分類手段と、
   前記移動体内特徴点を用いて前記第一の画像中の前記移動体の画像領域を検出する移動体検出手段とを具備する画像処理装置。
2. 異なる二視点から第一および第二の撮像装置により移動体を撮像することによりフレーム単位で得られる第一および第二の画像を取得する画像取得手段と、
   前記第一の画像から複数の特徴点を検出する特徴点検出手段と、
   前記第一の画像および前記第二の画像を用いてステレオ画像処理を行うことにより、前記特徴点毎の視差を表す視差分布を得るステレオ画像処理手段と、
   前記視差分布における視差に対するしきい値を決定するしきい値決定手段と、
   前記特徴点検出手段により第一のフレーム時刻に検出された各特徴点と第二のフレーム時刻に検出された各特徴点との間の互いに対応する特徴点対を求める手段と、
   前記特徴点対間の移動量と移動方向で示される移動速度を計測して特徴点対毎の移動速度を表す移動速度分布を求める手段と、
   前記移動速度分布に対して移動体領域かそれ以外の領域かを識別するための識別境界を決定する識別境界決定手段と、
   前記視差分布において前記しきい値を上回る視差を有する特徴点及び前記識別境界により識別される移動体領域に対応する特徴点を移動体内特徴点に分類する特徴点分類手段と、
   前記移動体内特徴点を用いて前記第一の画像中の前記移動体の画像領域を検出する移動体検出手段とを具備する画像処理装置。
3. 前記特徴点検出手段は、周囲との間の輝度差がしきい値以上の点を特徴点として検出する請求項１または２記載の画像処理装置。
4. 前記しきい値決定手段は、前記複数の特徴点を２つのクラスに分類した際の、クラス内の視差の分散値とクラス間の視差の分散値との比に基づいて前記視差に対するしきい値を決定する請求項１または２記載の画像処理装置。
5. 前記しきい値決定手段は、前記特徴点分類手段により前フレームにおいて計算された特徴点の分類結果を教師信号として学習により前記視差に対するしきい値を決定する請求項１または２記載の画像処理装置。
6. 前記しきい値決定手段により決定されたしきい値の有効性を判定する手段をさらに具備する請求項５記載の画像処理装置。
7. 前記特徴点対を求める手段は、前記特徴点対をブロックマッチングにより求める請求項２記載の画像処理装置。
8. 前記複数の特徴点の数を計数する計数手段と、
   前記計数手段の結果に応じて前記ブロックマッチングにより互いに対応する特徴点対が存在しない場合に新規の特徴点を追加する手段とをさらに具備する請求項７記載の画像処理装置。
9. 前記識別境界決定手段は、前記特徴点分類手段の分類結果を教師信号として前記識別境界を学習により決定する請求項２記載の画像処理装置。
10. 前記識別境界決定手段により決定された識別境界の有効性を判定する手段をさらに具備する請求項９記載の画像処理装置。
11. 前記移動体検出手段は、前記第一の画像を複数のブロックに分割する手段と、前記ブロック内の前記移動体内特徴点の数を計数する手段とを有し、前記移動体内特徴点を一定数以上含むブロックを前記移動体の画像領域として検出する請求項１または２記載の画像処理装置。
12. 前記移動体内特徴点が有する視差と前記第一および第二の撮像装置の光学特性と前記第一および第二の撮像装置間の距離により前記の撮像装置から前記移動体までの距離を算出する手段をさらに具備する請求項１または２記載の画像処理装置。
13. 異なる二視点から第一および第二の撮像装置により移動体を撮像することにより得られる第一および第二の画像を取得する画像取得ステップと、
    前記第一の画像から複数の特徴点を検出する特徴点検出ステップと、
    前記第一の画像および前記第二の画像を用いてステレオ画像処理を行うことにより、前記特徴点毎の視差を表す視差分布を得るステレオ画像処理ステップと、
    前記視差分布における視差に対するしきい値を決定するしきい値決定ステップと、
    前記視差分布において前記しきい値を上回る視差を有する特徴点を移動体内特徴点に分類する特徴点分類ステップと、
    前記移動体内特徴点を用いて前記第一の画像中の前記移動体の画像領域を検出する移動体検出ステップとを有する画像処理方法。
14. 異なる二視点から第一および第二の撮像装置により移動体を撮像することによりフレーム単位で得られる第一および第二の画像を取得する画像取得ステップと、
    前記第一の画像から複数の特徴点を検出する特徴点検出ステップと、
    前記第一の画像および前記第二の画像を用いてステレオ画像処理を行うことにより、前記特徴点毎の視差を表す視差分布を得るステレオ画像処理ステップと、
    前記視差分布における視差に対するしきい値を決定するしきい値決定ステップと、
    前記特徴点検出ステップにより第一のフレーム時刻に検出された各特徴点と第二のフレーム時刻に検出された各特徴点との間の互いに対応する特徴点対を求めるステップと、
    前記特徴点対間の移動量と移動方向で示される移動速度を計測して特徴点対毎の移動速度を表す移動速度分布を求めるステップと、
    前記移動速度分布に対して移動体領域かそれ以外の領域かを識別するための識別境界を決定する識別境界決定ステップと、
    前記視差分布において前記しきい値を上回る視差を有する特徴点及び前記識別境界により識別される移動体領域に対応する特徴点を前記移動体内特徴点に分類する特徴点分類ステップと、
    前記移動体内特徴点を用いて前記第一の画像中の前記移動体の画像領域を検出する移動体検出ステップとを有する画像処理方法。

Images