JP2008158640A - 移動物体検出装置 - Google Patents

Abstract

【課題】監視領域を撮像してその撮像画像中から移動物体を的確に検出し、かつ、処理速度を向上することが可能な移動物体検出装置を提供する。
【解決手段】移動物体検出装置１は、ステレオカメラ２と、一対の撮像画像から距離データｄｐを算出するステレオ画像処理部６と、ステレオカメラ２の運動状態を検出する運動状態検出手段１４、１５と、一方の画像を処理対象画像Ｔ_０とし、ある時刻に撮像された処理対象画像Ｔ_０における所定の画素の画素座標に静止物体が存在するとみなした場合に、距離データｄｐとステレオカメラ２の運動状態に基づいて次時刻までに静止物体が処理対象画像Ｔ_０上で見かけ上移動する画像座標を予測する予測部１２と、予測された画像座標における輝度値ｐ１ijと、次時刻に撮像された処理対象画像Ｔ_１の画素座標における輝度値との差分に基づいて処理対象画像Ｔ_１中から移動物体を検出する検出部１３とを備える。
【選択図】図１

Description

本発明は、移動物体検出装置に係り、特に、周囲をステレオカメラで撮像しその撮像画像中から移動物体を検出する移動物体検出装置に関する。

従来より、車両や移動可能なロボット等にステレオカメラを搭載して、その前方領域などの周囲の監視領域を撮像し、それにより得られた情報に基づいて、監視領域内の状況を三次元的に認識する外界監視装置が注目されている（例えば、特許文献１等参照）。

このような外界監視装置を用いれば、例えば、自動車等の車両では、車両の前方や側方の監視領域内から車両や障害物を検出し、それらとの衝突を回避するため、運転者に警報を発したり、自動的に自車両のブレーキを作動させて減速や停止をさせたりすることが可能となる（例えば、特許文献２乃至特許文献８参照）。

また、例えば、このような外界監視装置をロボットに搭載すれば、監視領域内に検出した物体との接触を回避し、或いはその物体に対向してその物体を詳しく観察するという判断が可能となる。さらに、例えば、このような外界監視装置をパン・チルト式の監視カメラに搭載した場合、監視領域内を移動する物体を検出して、その物体を追跡したりズームアップして記録したりすることも可能となる。

外界監視装置による外界認識方法としては、撮像画像に基づいて対象物のオプティカルフローを求める方法が知られている。例えば、特許文献９では、自車両の車速やヨーレートから得られた自車両の運動情報と、距離画像を用いて算出した３次元の移動成分フローに基づいて、地面に対して移動する物体と静止する物体とを検出する手法が提案されている。また、特許文献１０には、撮像時間に時間差がある第１画像と第２画像との画像データを比較してオプティカルフローを求める際、第１画像のバターンマッチングを行う画像領域を制限し分割して行う手法が記載されている。
特開２００１−８４３８３号公報 特開平５−１１４０９９号公報 特開平５−２６５５４７号公報 特開平６−２６６８２８号公報 特開平１０−２８３４６１号公報 特開平１０−２８３４７７号公報 特開平１１−２１３１３８号公報 特開２００１−９２９７０号公報 特開２００６−１３４０３５号公報 特開平１０−２２２６６５号公報

ところで、特許文献９に記載された移動物体検出装置では、地面に対して移動する物体と静止する物体とを的確に検出することが可能となる。しかし、オプティカルフローを算出する際、異なる時刻で撮像された２つの撮像画像のうち、一方の撮像画像中の一部分について他方の撮像画像の全画像範囲を対象としてパターンマッチングを行い、それを前記一方の撮像画像の各部分について行うため、撮像画像によってはパターンマッチングの演算処理が増大して処理量が多くなる場合があり、移動物体や静止物体を検出するまでに要する時間が必ずしも短くならない場合があった。

その点、特許文献１０に記載された画像認識装置では、撮像画像の画像領域を制限したり分割したりしてオプティカルフローを求めることで演算量が低減され処理速度が向上されるとされる。しかし、画像領域を、検出対象となる移動物体の各方向における考え得る速度範囲から定まる画像の移動可能範囲に制限するため、新たに撮像画像中に現れる移動物体、すなわち例えば車両の前方に飛び出してくる歩行者などを的確に検出することが困難である。また、そのような新たな移動物体を把握しようとすれば、オプティカルフローを求めるべき画像領域は拡大せざるを得ず、その演算量が必ずしも低減できないという問題があった。

このように、撮像画像中から移動物体を検出する際にパターンマッチングによりオプティカルフローを算出する手法は、演算量の増大の問題を回避することは難しく、例えば単位時間当たりに何枚も画像を撮像し、そのつど撮像画像中から移動物体を検出してリアルタイムに物体を追跡していくことは必ずしも容易に行えない。

そこで、本発明は、監視領域を撮像してその撮像画像中から移動物体を的確に検出し、かつ、パターンマッチングによるオプティカルフローを用いることなく処理速度を向上することが可能な移動物体検出装置を提供することを目的とする。特に、ステレオカメラの前方を横方向に移動する移動物体を検出可能な移動物体検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
移動物体検出装置において、
一対の撮像画像を時系列的に出力するステレオカメラと、
前記一対の撮像画像を処理して距離データを算出するステレオ画像処理部と、
前記ステレオカメラの運動状態を検出する運動状態検出手段と、
前記ステレオカメラにより撮像された一対の撮像画像のうちの一方の画像を処理対象画像とし、ある時刻に撮像された前記処理対象画像における所定の画素についてその画素座標に静止物体が存在するとみなした場合に、前記距離データと前記ステレオカメラの運動状態に基づいて次時刻までに前記静止物体が前記処理対象画像上で見かけ上移動する画像座標を予測し、当該予測した画像座標と前記画素の輝度値とを対応付けて保存する予測部と、
前記予測部により予測された前記画像座標における前記輝度値と、前記次時刻に実際に撮像された処理対象画像の画素座標における輝度値との差分に基づいて、前記処理対象画像中から移動物体を検出する検出部と
を備えることを特徴とする。

第２の発明は、第１の発明の移動物体検出装置において、
前記予測部は、前記予測した画像座標に前記画素の輝度値を配置した予測画像を新たに生成し、
前記検出部は、前記予測部で生成された前記予測画像と、前記次時刻に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、前記処理対象画像中から移動物体を検出することを特徴とする。

第３の発明は、第１または第２の発明の移動物体検出装置において、
前記運動状態検出手段は、前記ステレオカメラの運動状態として前記ステレオカメラの移動速度およびヨーレートを検出し、
前記予測部は、前記処理対象画像中の静止物体とみなされた物体が、前記ステレオカメラ自体の前後方向の移動およびヨーイング運動により、前記ある時刻から前記次時刻までの間に前記処理対象画像中を見かけ上移動する見かけ上の移動フローを算出し、前記ある時刻に撮像された前記処理対象画像中の画像座標に前記見かけ上の移動フローを加算して、前記次時刻における画像座標を予測することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の移動物体検出装置において、前記処理対象画像における所定の画素は、前記ステレオ画像処理部により前記距離データが算出された画素であることを特徴とする。

第５の発明は、第１から第４のいずれかの発明の移動物体検出装置において、
前記ステレオ画像処理部により算出された前記距離データに基づいて前記処理対象画像中から立体物を検出する立体物検出部を有し、
前記予測部は、検出された立体物を静止物体とみなした場合に、前記立体物が次時刻において前記処理対象画像上で見かけ上移動する画像座標を予測し、
前記検出部は、検出された立体物のうち移動物体として検出した立体物の情報を出力することを特徴とする。

第１の発明によれば、ステレオカメラの運動状態に基づく静止物体の処理対象画像上での見かけ上の移動を予測する際に、理論的に求められた式に車速とヨーレートと距離データを代入するだけで容易に見かけ上の移動フローを算出することが可能となり、処理速度を向上させることが可能となる。また、処理対象画像のうち、距離データが算出された所定の画素についてのみ前記式に従って見かけ上の移動フローを算出すればよいため、処理速度がより向上される。

また、ある撮像タイミングで撮像された撮像画像中の立体物をすべて静止物体であると仮定して見かけ上の移動フローを求め、その移動フローに基づいて立体物を見かけ上移動させた画像と、次時刻に実際に撮像した画像の輝度値の差分を算出することで、実際に静止している物体に対応する輝度値はキャンセルされ、移動している物体に対応する輝度値のみがキャンセルされずに残る。そのため、移動物体を非常に容易に検出することが可能となるとともに、撮像画像中から移動物体を的確に検出することが可能となる。

さらに、ステレオカメラの前方を横方向に移動する移動物体は処理対象画像上での見かけ上の位置が大きく変化する。そのため、ステレオカメラの前方を横方向に移動する移動物体については、前記輝度値の差分のキャンセルの有無が明確に現れるため、特にそのように横方向に移動する移動物体を確実に検出することが可能となる。

第２の発明によれば、新たに生成された予測画像と、次時刻に実際に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、差分の算出を容易かつ確実に行うことが可能となり、前記第１の発明の効果がより的確に発揮される。

第３の発明によれば、ステレオカメラの移動速度とヨーレートとを検出して、静止物体とみなされた物体の処理対象画像中での見かけ上の移動フローを算出することで、ステレオカメラ自体の前後方向の移動およびヨーイング運動を的確に捉え、静止物体とみなされた物体の見かけ上の移動を正確に算出することが可能となる。そのため、前記各発明の効果がより的確に発揮される。

第４の発明によれば、処理対象画像における所定の画素をステレオ画像処理部により距離データが算出された画素に限定することで、距離データを用いて見かけ上の移動フローを正確に算出することが可能となるとともに、距離データが算出されていない画素については処理を行わないため、前記各発明の効果がより正確に発揮され、処理速度がより向上される。

第５の発明によれば、処理対象画像中から予め立体物を検出しておき、それらの立体物についてだけ前記演算処理を行って静止物体か移動物体かを判定することが可能となるため、無駄な演算処理を行う必要がなくなり、前記各発明の効果がより的確に発揮され、処理速度がより向上される。

以下、本発明に係る移動物体検出装置の実施の形態について、図面を参照して説明する。本実施形態では、装置を車両に搭載し、車両前方を撮像した撮像画像中から移動物体、特に歩行者を検出する移動物体検出装置について説明する。

本実施形態に係る移動物体検出装置１は、図１に示すように、主に、ステレオカメラ２と、ステレオ画像処理部６と、移動物体検出部８等で構成されている。

なお、ステレオカメラ２から距離データメモリ７までの構成は、前記引用文献５、６等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

ステレオカメラ２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂで構成されており、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の撮像画像を時系列的に出力するようになっている。一対のステレオカメラのうちメインカメラ２ａは、運転者に近い側のカメラであり、処理の対象となる図２に示すような処理対象画像Ｔ_０を撮像するようになっている。なお、サブカメラ２ｂで撮像された画像を比較画像という。

メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換部３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像から画素ごとに輝度値ｐ１ijを有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われ、画像データメモリ５に格納されると同時に移動物体検出部８に送信されるようになっている。

ステレオ画像処理部６では、処理対象画像Ｔ_０と比較画像の各画像データにステレオマッチング処理を施して実空間上の距離データＺに対応する視差ｄｐを算出するようになっている。以下、視差ｄｐが割り当てられた画像を距離画像という。このようにして算出された視差ｄｐの情報すなわち距離画像は、距離データメモリ７に格納されるようになっている。

なお、前記一対のカメラ２ａ、２ｂの中央真下の道路面の点を原点とし、自車両の車幅方向をＸ軸方向、車高方向をＹ軸方向、車長方向をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）は、視差ｄｐと距離画像上の点（ｉ，ｊ）とにより、下記（１）〜（３）式で表される座標変換により一意に対応づけられる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）

ここで、前記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、ステレオ画像処理部６は、視差ｄｐの信頼性を向上させるため、前記のようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば道路面の映像のように画素の輝度値ｐ１ijの特徴が乏しい画素領域では前記ステレオマッチング処理の結果の信頼性が低い。そのため、そのような画素領域では視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。

したがって、ステレオ画像処理部６から出力される処理対象画像Ｔ_０の各画素の距離データすなわち視差ｄｐは、通常、処理対象画像Ｔ_０の左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分等の特徴的な画素領域についてのみ有効な値を持つデータとなる。

移動物体検出部８は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、移動物体検出部８には、ステレオカメラ２の運動状態すなわち本実施形態ではステレオカメラ２を搭載した車両の運動状態を検出する運動状態検出手段としての車速検出手段１４およびヨーレート検出手段１５が接続されている。

本実施形態では、車速検出手段１４には車速センサが用いられ、ヨーレート検出手段１５にはヨーレートセンサが用いられており、車速センサからはステレオカメラ２の移動速度として自車両の車速Ｖが、また、ヨーレートセンサからはステレオカメラ２のヨーレートすなわち自車両のヨーレートωが入力されるようになっている。

なお、ヨーレート検出手段１５として、ヨーレートセンサの代わりに、例えば自車両の車速Ｖ等からヨーレートを推定する装置を用いたり、ヨーレートセンサの値を自車両の車速Ｖ等を用いて修正する装置を用いたりすることも可能である。

移動物体検出部８は、図１に示すように、認識部９と、フロー算出部１０と、予測画像形成部１１と、検出部１３とを備えており、さらに図示しないメモリを備えている。なお、本実施形態では、フロー算出部１０と予測画像形成部１１とにより本発明の予測部１２が構成されている。

以下、本実施形態に係る移動物体検出部８における移動物体検出処理の手順を、図３に示すフローチャートに基づいて説明する。

移動物体検出部８の認識部９は、道路形状認識部９ａと立体物検出部９ｂとで構成されている。本実施形態では、道路形状認識部９ａは前記引用文献８に記載の車線認識装置をベースに構成されており、立体物検出部９ｂは前記引用文献５、６等の車外監視装置をベースに構成されている。詳細な説明はそれらの公報に委ねるが、以下、簡単に説明する。

認識部９の道路形状認識部９ａは、まず自車両の左右の道路面に標示された追い越し禁止線や路側帯との区分線等の車線を検出し、その情報に基づいて道路モデルを形成して道路形状を認識するようになっている（ステップＳ１）。

具体的には、道路形状認識部９ａは、画像データメモリ５から処理対象画像Ｔ_０の各画素の輝度値ｐ１ijの情報を読み出し、図４に示すように処理対象画像Ｔ_０上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索して輝度値ｐ１ijが隣接する画素の輝度値から閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出する。しかし、距離データメモリ７から読み出された車線候補点（Ｉj，Ｊj）における視差ｄｐの情報および過去の道路モデル（後述）に基づいて、検出された車線候補点が道路面にない場合は車線候補点から除外して車線候補点としては検出しないようになっている。

そして、道路形状認識部９ａは、水平ラインｊを処理対象画像Ｔ_０の下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、自車両の左右にそれぞれ車線候補点を検出していく。その際、水平ラインｊ上に検出された車線候補点が処理対象画像Ｔ_０のより下側の領域で検出された車線候補点と整合性が取れない場合には水平ラインｊ上の車線候補点は破棄される。このようにして検出された車線候補点を結ぶことで、図５に示すように処理対象画像Ｔ_０上で自車両の左右に右車線位置ＬＲおよび左車線位置ＬＬが検出される。検出された左右の車線位置ＬＲ、ＬＬは前記（１）〜（３）式に従って三次元の実空間上に変換される。

また、道路形状認識部９ａは、検出した左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて道路モデルを三次元的に形成するようになっている。本実施形態では、道路形状認識部９ａは、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した道路モデルを形成するようになっている。

具体的には、道路形状認識部９ａは、自車両前方の実空間を自車両の位置からの所定の距離ごとに複数の区間に分け、検出した車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）や車線位置ＬＲ、ＬＬの情報に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似するなどして近似し、各区間ごとに下記の（４）〜（７）式のパラメータａ_Ｒ、ｂ_Ｒ、ａ_Ｌ、ｂ_Ｌ、ｃ_Ｒ、ｄ_Ｒ、ｃ_Ｌ、ｄ_Ｌを算出し、道路モデルを形成して道路形状を認識する。

［水平形状モデル］
右車線 Ｘ＝ａ_Ｒ・Ｚ＋ｂ_Ｒ …（４）
左車線 Ｘ＝ａ_Ｌ・Ｚ＋ｂ_Ｌ …（５）
［道路高モデル］
右車線 Ｙ＝ｃ_Ｒ・Ｚ＋ｄ_Ｒ …（６）
左車線 Ｙ＝ｃ_Ｌ・Ｚ＋ｄ_Ｌ …（７）

認識部９の立体物検出部９ｂは、ステレオ画像処理部６により算出された距離データである視差ｄｐに基づいて処理対象画像Ｔ_０中から道路面より上方に存在する立体物を検出するようになっている（図３のステップＳ２）。

具体的には、立体物検出部９ｂは、距離データメモリ７から前述した距離画像を読み出して、距離画像を垂直方向に延びる所定画素幅で短冊状の区分に分割し、短冊状の各区分に属する各視差ｄｐを前記（３）式に従ってそれぞれ距離Ｚに変換し、各距離Ｚのうち前記形成された道路モデルに基づいて道路面より上方に存在すると位置付けられる距離に関してヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分における立体物までの代表距離とする。これを全区分について行う。以下、各区分の代表距離を代表距離Ｚという。

例えば、図２に示した処理対象画像Ｔ_０から作成された距離画像に対して前記代表距離Ｚの算出を行い、算出された各区分ごとの代表距離Ｚを実空間上にプロットすると、図６に示すように自車両前方の立体物の自車両ＭＣに面した部分に対応する部分に多少バラツキを持って各点としてプロットされる。

立体物検出部９ｂは、このようにプロットされる各点を近接する各点の距離や方向性に基づいて互いに隣接する各点をそれぞれグループ化し、図７に示すように、グループ内の各点が自車両の車幅方向に略平行に並ぶグループには“物体”Ｏ１、Ｏ２とラベルし、グループ内の各点が自車両の進行方向に略平行な並ぶグループには“側壁”Ｓ１〜Ｓ４とラベルして分類する。立体物検出部９ｂは、このようにして、［側壁Ｓ１］、［物体Ｏ１、側壁Ｓ２］、［物体Ｏ２］、［側壁Ｓ３］、［側壁Ｓ４］をそれぞれ立体物として検出するようになっている。

また、立体物検出部９ｂは、この検出結果に基づいて、図８に示すように処理対象画像Ｔ_０上で検出された立体物Ｏ１、Ｏ２、Ｓ１〜Ｓ４を枠線で囲い、以下の移動物体検出処理のためにその枠線の内部領域を移動物体の検出範囲として決定するようになっている（図３のステップＳ３）。

認識部９は、道路形状認識部９ａで検出した左右の車線位置ＬＲ、ＬＬや車線候補点の情報および道路モデルの各パラメータａ_Ｒ〜ｄ_Ｌ等と、立体物検出部９ｂで検出した枠線を含む立体物の情報等とをそれぞれメモリに保存するとともに、予測部１２の予測画像形成部１１に送信するようになっている。

図３に示したフローチャートに従って、続いて、予測部１２のフロー算出部１０で、処理対象画像Ｔ_０中に検出された立体物をすべて静止物体とみなした場合に、その静止物体がステレオカメラ２自体の前後方向の移動およびヨーイング運動、すなわち本実施形態ではステレオカメラ２を搭載した自車両自体の前後方向の移動およびヨーイング運動により、次の撮像タイミングまでの間に処理対象画像Ｔ_０中を見かけ上移動する見かけ上の移動フローが算出されるようになっている（ステップＳ４）。

ここで、処理対象画像Ｔ_０において距離データすなわち視差ｄｐが算出されている所定の画素座標（ｉ，ｊ，ｄｐ）に対応する立体物が静止していると仮定し、車速検出手段１４から入力される自車両の車速をＶ、ヨーレート検出手段１５から入力される自車両のヨーレートをωとした場合、自車両自体の前後方向の移動およびヨーイング運動により次の撮像タイミングまでの間に処理対象画像Ｔ_０中を見かけ上移動する見かけ上の移動フローのｉ方向成分Ｆst_iおよびｊ方向成分Ｆst_jはそれぞれ下記（８）、（９）式によって表される。

ここで、ｉおよびｊは処理対象画像Ｔ_０における無限遠点を原点としたときのｉ座標およびｊ座標に変換された値であり、Ｗｉはｉ方向の撮像素子ピッチ、ｆはメインカメラ２ａおよびサブカメラ２ｂの焦点距離、Ｌはメインカメラ２ａとサブカメラ２ｂとの距離を表す。

本実施形態では、フロー算出部１０は、前記立体物検出部９ｂにより決定された移動物体の検出範囲、すなわち検出された立体物を囲む処理対象画像Ｔ_０上の枠線の内部領域に存在する視差ｄｐが算出されている各画素座標（ｉ，ｊ，ｄｐ）について前記（８）、（９）式に従ってそれぞれ見かけ上の移動フローのｉ方向成分Ｆst_iおよびｊ方向成分Ｆst_jを算出するようになっている。また、フロー算出部１０は、各枠線の各頂点の画素座標についても同様にして見かけ上の移動フローのｉ方向成分Ｆst_iおよびｊ方向成分Ｆst_jを算出するようになっている。

フロー算出部１０は、このようにして算出した各枠線および各枠線内の各画素座標の見かけ上の移動フローのｉ方向成分Ｆst_iおよびｊ方向成分Ｆst_jをメモリに保存するとともに、予測部１２の予測画像形成部１１に送信するようになっている。

図３に示したフローチャートに従って、続いて、予測部１２の予測画像形成部１１で、前記画像データメモリ５から処理対象画像Ｔ_０の画素の輝度値の情報が読み出され、認識部９から送信されてきた前記各枠線の情報に基づいて処理対象画像Ｔ_０中から各枠線の内部領域が切り出されて、フロー算出部１０で算出された各枠線および各枠線内の各画素座標についての見かけ上の移動フローのｉ方向成分Ｆst_iおよびｊ方向成分Ｆst_jに基づいて、静止物体とみなされた各立体物が次の撮像タイミング時刻で処理対象画像Ｔ_０上のどの画像座標に見かけ上移動するかを予測して予測画像が形成されるようになっている（ステップＳ５）。

具体的には、予測画像形成部１１は、図８に示したように現在の時刻において処理対象画像Ｔ_０から立体物が検出され、それを囲って移動物体の検出範囲が決定されると、図９に示すように処理対象画像Ｔ_０中から各枠線の内部領域を切り出す。そして、各枠線や各枠線内の各画素座標についての見かけ上の移動フローのｉ方向成分Ｆst_iおよびｊ方向成分Ｆst_jに基づいてそれらの画素座標が見かけ上移動する画像上の位置を算出して、元の画素座標における輝度値を移動先の画素座標に移動させて配置して図１０に示すような予測画像Ｔ_０estを新たに生成する。

予測画像形成部１１は、このようにして移動後の予測画像Ｔ_０est上の各枠線や各枠線内の各画素座標と各画素座標の輝度値とを対応付けてメモリに保存するようになっている。

図３に示したフローチャートに従って、続いて、検出部１３では、予測部１２により予測された予測画像Ｔ_０estの各枠線中の画像座標における輝度値と、次の撮像タイミングで撮像された処理対象画像Ｔ_１の対応する画素座標における輝度値との差分が算出されるようになっている（ステップＳ６）。

具体的には、検出部１３は、図１１に示すような次の撮像タイミングで実際に撮像され、［側壁Ｓ１_１］、［物体Ｏ１_１］、［物体Ｏ２_１、側壁Ｓ２_１］、［物体Ｏ３_１］、［側壁Ｓ３_１］、［側壁Ｓ４_１］として検出された立体物がそれぞれ枠線で囲まれた処理対象画像Ｔ_１が入力されると、メモリから前回の予測画像Ｔ_０estの情報を読み出して、処理対象画像Ｔ_１と予測画像Ｔ_０estの対応する枠線、すなわち図１１の処理対象画像Ｔ_１と図１０の予測画像Ｔ_０estの場合には枠線Ｓ１_１と枠線Ｓ１est、枠線Ｏ２１_１と枠線Ｏ１est、枠線Ｓ２_１と枠線Ｓ２est、枠線Ｏ３_１と枠線Ｏ２est、枠線Ｓ３_１と枠線Ｓ３est、枠線Ｓ４_１と枠線Ｓ４estとの重なり合う部分について、各枠線中の同じ画像座標における輝度値同士の差分を算出する。［物体Ｏ２_１、側壁Ｓ２_１］は、物体Ｏ２_１と側壁Ｓ２_１とで１つの立体物が構成されていることを示す。

すると、枠線Ｓ１_１と枠線Ｓ１est、枠線Ｏ２１_１と枠線Ｏ１est、枠線Ｓ２_１と枠線Ｓ２est、枠線Ｓ３_１と枠線Ｓ３est、枠線Ｓ４_１と枠線Ｓ４estのように、立体物に実空間上での動きがなく、次の撮像タイミングで撮像された立体物の処理対象画像Ｔ_１上での位置と、前回の処理対象画像Ｔ_０上の位置から自車両自体の前後方向の移動およびヨーイング運動により見かけ上移動した位置とが一致する場合には、同じ画素座標における輝度値がそれぞれキャンセルして差分が０になる。

しかし、枠線Ｏ３_１と枠線Ｏ２estのように、枠線内の立体物が実空間上で移動し、次の撮像タイミングで撮像された立体物の処理対象画像Ｔ_１上での位置と、前回の処理対象画像Ｔ_０上の位置から自車両自体の前後方向の移動およびヨーイング運動により見かけ上移動した位置とが一致しない場合には、同じ画素座標における輝度値がキャンセルされず、図１２に示すように、差分が０ではない部分が生じる。なお、図１２では、差分が０でない部分が黒く表されている。

検出部１３は、この差分が０でない部分を図１１に示した処理対象画像Ｔ_１上の立体物を囲った枠線に対応させる。そして、この場合は差分が０でない部分が枠線Ｏ３_１に対応するため、検出部１３は、枠線Ｏ３_１に対応する立体物を移動物体として検出するようになっている（図３のステップＳ７）。

ただし、処理対象画像Ｔ_０を撮像したタイミングから次の撮像タイミングまでに自車両周囲の明るさが変化している場合など、静止物体であっても差分が０にならない状況がある。そのため、本実施形態では、移動物体を検出する閾値として、差分０を基準に正と負の方向にそれぞれ所定のマージンを持たせた範囲を予め設定し、この設定した範囲外の差分を有する立体物を移動物体として検出するようになっている。

また、本実施形態では、検出部１３は、前回の処理対象画像Ｔ_０中に検出されず枠線が設定されておらず、次の撮像タイミングで撮像された立体物の処理対象画像Ｔ_１中に初めて検出された立体物、すなわち図１１の処理対象画像Ｔ_１では枠線Ｏ１_１で表される立体物についても移動物体として検出するようになっている。

検出部１３は、以上のようにして検出した移動物体すなわち上記の例では移動物体Ｏ３_１、Ｏ１_１の情報をメモリに保存するとともに、処理対象画像Ｔ_１の情報やその中に設定された枠線や立体物等の情報とともに出力するようになっている。

なお、本実施形態では、枠線に囲まれて特定される立体物の情報にＩＤナンバーを付した状態で情報が出力されるようになっており、ＩＤナンバーで特定される立体物の情報の例えばヘッダ部分にそのｉ方向やｊ方向の画素座標等とともに移動物体であることを示す情報が書き込まれて出力されるようになっている。

また、移動物体として検出された立体物の画像上または実空間上の移動方向を特定することも可能である。立体物の移動方向は、例えば、立体物を囲む枠線の動きを追跡することによって特定することができる。

本実施形態に係る移動物体検出装置１の作用については、上記構成で説明したとおりであり、説明を省略する。

以上のように、本実施形態に係る移動物体検出装置１によれば、ステレオカメラ２の運動状態に基づく静止物体の処理対象画像上での見かけ上の移動を予測する際に、パターンマッチングによって見かけ上の移動フローを求めるのではなく、理論的に求められた式に車速Ｖとヨーレートωと視差ｄｐを代入するだけで容易に見かけ上の移動フローＦst_i、Ｆst_jを算出することが可能となり、処理速度を向上させることが可能となる。

また、その際、処理対象画像のうち、視差ｄｐすなわち距離データが算出された所定の画素についてのみ前記式に従って見かけ上の移動フローを算出するため、処理対象画像の全画素について見かけ上の移動フローを算出するのに比べて、処理速度がより向上される。そのため、処理対象画像中から移動物体を検出する処理を、１秒間に数回〜数十回撮像するＣＣＤカメラ等の撮像タイミングに合わせて行うことが可能となる。

さらに、ある撮像タイミングで撮像された撮像画像中の立体物をすべて静止物体であると仮定して見かけ上の移動フローを求め、その移動フローに基づいて立体物を見かけ上移動させた画像と、次時刻に実際に撮像した画像の輝度値の差分を算出することで、実際に静止している物体に対応する輝度値はキャンセルされ、移動している物体に対応する輝度値のみがキャンセルされずに残る。そのため、移動物体を非常に容易に検出することが可能となるとともに、撮像画像中から移動物体を的確に検出することが可能となる。

また、ステレオカメラと同じ方向に移動する移動物体は、処理対象画像上で見かけ上の位置があまり変化しないが、ステレオカメラの前方を横方向に移動する移動物体は処理対象画像上での見かけ上の位置が大きく変化する。そのため、ステレオカメラの前方を横方向に移動する移動物体については、前記輝度値の差分のキャンセルの有無が明確に現れるため、本実施形態に係る移動物体検出装置１では、特にそのように横方向に移動する移動物体を確実に検出することが可能となる。

そのため、本実施形態のように移動物体検出装置１を車両前方の監視に用いた場合、車両前方を横断する歩行者や道路脇から飛び出してくる歩行者を的確に捉えることが可能となり、車両の安全走行に大いに寄与するものとなる。

なお、移動物体検出装置１は、本実施形態のように車両に搭載可能であるだけでなく、例えば移動可能なロボットに搭載してロボットの周囲の移動物体を検出したり、パン・チルト式の監視カメラに搭載して監視領域内を移動する物体を検出し、追跡するように用いることも可能である。

また、本実施形態では、演算量を軽減し、他の用途への活用を図るため、自車両の左右の車線位置を検出して道路形状を認識して、その上方に存在する立体物のみを移動物体検出の対象とする場合について述べたが、本発明は、道路面や基準面の上方に存在する立体物のみを対象とする場合に限定されず、例えば、車線等を含めて処理対象画像中に撮像されている物体すべてを移動物体検出の対象とすることも可能である。また、道路面や基準面を他の手法で検出し認識するように構成することも可能である。

本実施形態に係る移動物体検出装置の構成を示すブロック図である。 処理対象画像の一例を示す図である。 移動物体検出部における移動物体検出処理の手順を示すフローチャートである。 水平ライン上に検出された車線候補点を示す図である。 検出された左右の車線位置を示す図である。 区分ごとの代表距離を実空間上にプロットした各点を表す図である。 図６の各点に基づく各グループを表す図である。 図７の検出結果を処理対象画像に枠線で表示した図である。 図８の枠線の内部領域を切り出した図である。 図９の図の立体物を静止物体と仮定して見かけ上移動させた予測画像を表す図である。 次時刻の検出結果を処理対象画像に枠線で表示した図である。 図１０と図１１の対応する枠線で示される立体物の輝度値の差分を表す図である。

符号の説明

１ 移動物体検出装置
２ ステレオカメラ
９ｂ 立体物検出部
１２ 予測部
１３ 検出部
１４ 車速検出手段（運動状態検出手段）
１５ ヨーレート検出手段（運動状態検出手段）
ｄｐ 視差（距離データ）
Ｆst_i、Ｆst_j 見かけ上の移動フロー
ｐ１ij 輝度値
Ｔ_０ 処理対象画像
Ｔ_１ 次時刻に撮像された処理対象画像
Ｔ_０est 予測画像
Ｖ 車速（移動速度）
ω ヨーレート

Claims (5)

1. 一対の撮像画像を時系列的に出力するステレオカメラと、
   前記一対の撮像画像を処理して距離データを算出するステレオ画像処理部と、
   前記ステレオカメラの運動状態を検出する運動状態検出手段と、
   前記ステレオカメラにより撮像された一対の撮像画像のうちの一方の画像を処理対象画像とし、ある時刻に撮像された前記処理対象画像における所定の画素についてその画素座標に静止物体が存在するとみなした場合に、前記距離データと前記ステレオカメラの運動状態に基づいて次時刻までに前記静止物体が前記処理対象画像上で見かけ上移動する画像座標を予測し、当該予測した画像座標と前記画素の輝度値とを対応付けて保存する予測部と、
   前記予測部により予測された前記画像座標における前記輝度値と、前記次時刻に実際に撮像された処理対象画像の画素座標における輝度値との差分に基づいて、前記処理対象画像中から移動物体を検出する検出部と
   を備えることを特徴とする移動物体検出装置。
2. 前記予測部は、前記予測した画像座標に前記画素の輝度値を配置した予測画像を新たに生成し、
   前記検出部は、前記予測部で生成された前記予測画像と、前記次時刻に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、前記処理対象画像中から移動物体を検出することを特徴とする請求項１に記載の移動物体検出装置。
3. 前記運動状態検出手段は、前記ステレオカメラの運動状態として前記ステレオカメラの移動速度およびヨーレートを検出し、
   前記予測部は、前記処理対象画像中の静止物体とみなされた物体が、前記ステレオカメラ自体の前後方向の移動およびヨーイング運動により、前記ある時刻から前記次時刻までの間に前記処理対象画像中を見かけ上移動する見かけ上の移動フローを算出し、前記ある時刻に撮像された前記処理対象画像中の画像座標に前記見かけ上の移動フローを加算して、前記次時刻における画像座標を予測することを特徴とする請求項１または請求項２に記載の移動物体検出装置。
4. 前記処理対象画像における所定の画素は、前記ステレオ画像処理部により前記距離データが算出された画素であることを特徴とする請求項１から請求項３のいずれか一項に記載の移動物体検出装置。
5. 前記ステレオ画像処理部により算出された前記距離データに基づいて前記処理対象画像中から立体物を検出する立体物検出部を有し、
   前記予測部は、検出された立体物を静止物体とみなした場合に、前記立体物が次時刻において前記処理対象画像上で見かけ上移動する画像座標を予測し、
   前記検出部は、検出された立体物のうち移動物体として検出した立体物の情報を出力することを特徴とする請求項１から請求項４のいずれか一項に記載の移動物体検出装置。

Images