JP2014194618A - 車外環境認識装置および車外環境認識方法 - Google Patents

Abstract

【課題】自車両が旋回した場合であっても、高精度かつ低処理負荷で移動物を検出する。
【解決手段】車外環境認識装置１２０は、画像データを取得する画像データ取得部（Ｉ／Ｆ部１５０）と、画像データに基づく画像を分割したブロック毎のフローベクトルを導出するフローベクトル導出部１６２と、フローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化してブロック群を生成し、その代表値となる代表フローベクトルを求めるグループ化部１６４と、撮像装置の挙動を取得する移動状態取得部１６６と、代表フローベクトルから、挙動に対応する地面のフローベクトルのうちブロック群の代表部位に対応する部位のフローベクトルを減算するフローベクトル減算部１７０と、ブロック群のうち、減算後のフローベクトルのスカラ量に応じて、ブロック群を静止物と移動物とに区別する静止物判定部１７２とを備える。
【選択図】図１１

Description

本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法にかかり、特に、自車両外の移動物を認識し自車両との衝突判定を行う車外環境認識装置および車外環境認識方法に関する。

従来、自車両の前方に広角（広画角）カメラを搭載し、かかる広角カメラで撮像した自車両前方の環境画像を、車室内のディスプレイに表示して運転者の目視確認を補助する技術が知られている。このような技術では、例えば、自車両内の制御情報を通じて自車両が一時的に停止したことを検出し、モニタ装置の表示を広角カメラで撮像した環境画像に自動的に切り換える等の制御が行われている。

このような広角カメラを通じた環境画像から、自車両の前方に位置する車両や障害物といった物を検出するために、オプティカルフロー等の画像処理技術が検討されている。かかるオプティカルフローは、画像上の２次元速度ベクトル場、すなわち画像上の移動物の移動に伴う速度場で表される。このような技術では、例えば、所定周期で撮像された時間方向に連続する２枚の画像間において、同一の部位として認識可能な点を特徴点として設定し、この特徴点の移動をベクトル（以下、「フローベクトル」という。）として算出する。そして撮像した画像内の全領域において、このフローベクトルを算出することで、例えば、自車両が停止した状態におけるフローベクトルの有無のみによって、画像内の移動物の位置および移動物の移動速度や移動方向等の情報を検出することができる。

オプティカルフローでは上記のように自車両が停止している状態において移動物の接近を好適に検出することができるが、走行中において移動物を検出する技術も検討されている。例えば、走行中において、予め求められた移動物に対し、その正確なフローベクトルを得るために背景のフローベクトルによる補正が行われている（例えば、特許文献１）。また、このような背景のフローベクトルの基となる空間モデルが距離データを用いて生成される技術が公開されている（例えば、特許文献２）。

特許第３２３９５２１号公報 特許第３７７６０９４号公報

上述した特許文献１や特許文献２の技術では、オプティカルフローから自車両の影響を取り除くべく、自車両の移動により生じる画面全体の見かけのフローベクトルを導出し、それをオプティカルフロー全体から減算している。しかし、見かけのフローベクトルを導出するためには、自車両の進行方向や速度のみならず、自車両から背景に存在する静止物や移動物までの距離も必要となる。このような静止物や移動物までの距離は、ステレオカメラやレーザレーダ等の視覚センサを用いてその都度計測しなければならず、設置コストや処理負荷の増大を招いてしまう。また、たとえ静止物や移動物までの距離を用いることなく背景のフローベクトルを導出できたとしても、画面全体に対して補正するとなると、やはり処理負荷が増大することとなる。したがって、特許文献１や特許文献２の技術は、安価かつリアルタイム処理を要する車載用の用途には適さないといった実情がある。

本発明は、このような課題に鑑み、自車両と静止物との距離を演算する特別な装置を設けることなく、自車両が旋回した場合であっても、高精度かつ低処理負荷で移動物を検出することが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、撮像装置を通じて車外環境を撮像した画像データを取得する画像データ取得部と、画像データに基づく画像を分割したブロック毎のフローベクトルを導出するフローベクトル導出部と、フローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化してブロック群を生成し、その代表値となる代表フローベクトルを求めるグループ化部と、撮像装置の挙動を取得する移動状態取得部と、代表フローベクトルから、挙動に対応する地面のフローベクトルのうちブロック群の代表部位に対応する部位のフローベクトルを減算するフローベクトル減算部と、ブロック群のうち、減算後のフローベクトルのスカラ量に応じて、ブロック群を静止物と移動物とに区別する静止物判定部と、を備えることを特徴とする。

車外環境認識装置は、相異なる複数の挙動に対応させた複数の地面のフローベクトルを保持するデータ保持部と、データ保持部に保持された複数の地面のフローベクトルから、移動状態取得部が取得した挙動に応じて、フローベクトル減算部が用いる地面のフローベクトルを抽出する補正フローベクトル抽出部と、をさらに備えてもよい。

車外環境認識装置は、静止物判定部に移動物とされたブロック群の減算後のフローベクトルを移動物のフローベクトルとして、移動物と自車両との衝突判定を行う衝突判定部をさらに備えてもよい。

上記課題を解決するために、本発明の車外環境認識方法は、撮像装置を通じて車外環境を撮像した画像データを取得し、画像データに基づく画像を分割したブロック毎のフローベクトルを導出し、フローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化してブロック群を生成し、その代表値となる代表フローベクトルを求め、撮像装置の挙動を取得し、代表フローベクトルから、挙動に対応する地面のフローベクトルのうちブロック群の代表部位に対応する部位のフローベクトルを減算し、ブロック群のうち、減算後のフローベクトルのスカラ量に応じて、ブロック群を静止物と移動物とに区別することを特徴とする。

本発明によれば、自車両と静止物との距離を演算する特別な装置を設けないことで、コストや処理負荷の増大を回避しつつ、自車両が旋回した場合であっても、高精度かつ低処理負荷で移動物を検出することが可能となる。

環境認識システムの接続関係を示したブロック図である。 撮像装置で生成される画像を説明するための説明図である。 部分画像を説明するための説明図である。 フローベクトルによる移動物の判定処理を説明するための説明図である。 フローベクトルによる移動物の判定処理を説明するための説明図である。 自車両の移動速度の影響を説明するための説明図である。 地面のフローベクトルを示した説明図である。 自車両が直進する場合の移動速度の影響を説明するための説明図である。 画面縦方向のフローベクトルの変化を説明するための説明図である。 部分画像のフローベクトルを示した説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 フローベクトル導出部の処理を説明するための説明図である。 ブロック群を説明するための説明図である。 車外環境認識方法の全体的な処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、広角（広画角）レンズ、および、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方において、光軸を水平より少し下方に向けて設置される。撮像装置１１０は、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここで、広角レンズは、標準レンズに比べ画角（視野角）が比較的広い（例えば、１２０度以上）、または、焦点距離が比較的短いレンズをいい、例えば、広角レンズとして魚眼レンズを用い、撮像装置１１０を中心とする半球状に広がる空間を撮像することができる。

なお、本実施形態の撮像装置１１０の射影方式は、立体射影を用いているが、例えば、透視射影等、既存の様々な射影方法を採用することができる。ここでは、広角レンズとして魚眼レンズを用いる例を挙げて説明するが、円錐状（アキシコン）プリズム等、様々な広角レンズを用いることもできる。また、レンズの画角を１２０度以上としたのは、十字路またはＴ字路において、自車両１が停止線に停止した場合に、直交する道路の状況まで適切に把握させるためである。

図２は、撮像装置１１０で生成される画像を説明するための説明図である。図２を参照して理解できるように、撮像装置１１０で生成された画像（以下、「環境画像」という。）２００は、円周魚眼レンズを通じて、画像の中心からの距離に対して角度が単調増加するように描かれている（立体射影方式）。したがって、自車両１の進行方向の画像の分解能を維持しつつ、広範囲の環境画像２００を一度に取得することができる。

また、撮像装置１１０は、環境画像２００をデータ化した画像データを、例えば１／１０秒毎（１０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。したがって、各機能部は、フレーム単位で処理を繰り返すこととなる。

車外環境認識装置１２０は、撮像装置１１０から、環境画像２００を示す画像データを取得し、所謂、パターンマッチングを用いて、オプティカルフローに基づくフローベクトルを導出する。ただし、車外環境認識装置１２０では、環境画像２００中の必要な部分のみ切り出した部分画像を利用してフローベクトルを導出する。

図３は、部分画像２０２を説明するための説明図である。上述したように、図２に示した環境画像２００では、広画角の画像を一度に取得できるので、自車両１の前方のみならず、左右いずれもの方向（水平方向）から接近する移動物も特定することが可能となる。しかし、環境画像２００では、画像の中心からの距離と角度がおよそ比例するので、中心からの距離が離れるほど、画像が歪むこととなる。例えば、図２の環境画像２００における４つの角に近い領域では、実際には水平に延びている物が、環境画像２００では湾曲して表示され、その端部は垂直方向の成分を含んでいるように視認され得る。ここで、「水平」は、撮像した環境画像２００の画面横方向を示し、「垂直」は、撮像した環境画像２００の画面縦方向を示す。

そこで、車外環境認識装置１２０は、図２に示した環境画像２００のうち、交通環境において特定すべき移動物が存在する、図２中破線で示した領域、すなわち、歪みの少ない環境画像２００の中央領域と、その水平方向左右の領域とを合わせた、図３に示す部分画像２０２を切り出す。そして、その部分画像２０２に対してオプティカルフローに基づくフローベクトルを導出する。

続いて、車外環境認識装置１２０は、図１に示す、自車両１の移動速度を検出する速度センサ１２４、および、自車両１が旋回した際の鉛直軸を中心とした角速度を検出する角速度センサ１２６を通じて自車両１の挙動（撮像装置１１０の挙動）を測定する。そして、車外環境認識装置１２０は、部分画像２０２に内在する、自車両１の挙動の影響を受けた地面のフローベクトルを取得する。次に、車外環境認識装置１２０は、上記部分画像２０２に対する一部のフローベクトルから地面のフローベクトルを減算して、自車両１の挙動による影響が取り除かれたフローベクトルを導出する。そして、車外環境認識装置１２０は、自車両１の挙動による影響が取り除かれたフローベクトルに基づいて静止物や移動物を特定し、移動物に関しては、その大きさや移動速度および移動方向によって移動物の種別を判定する。ここで、静止物は、建物、道路、ガードレール、背景空間といった物を示し、移動物は、車両、自転車、歩行者といった独立して移動する物を示す。

また、車外環境認識装置１２０は、例えば、水平方向の側方から自車両１に向かって高速に接近している移動物と自車両１とが衝突する可能性が高いか否かの判定を行うことができる。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、ディスプレイ１２２を通じて運転者に報知するとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。かかる車外環境認識装置１２０の処理に関しては、後ほど詳述する。

車両制御装置１３０は、車外環境認識装置１２０で特定された移動物との衝突を回避する。具体的に、車両制御装置１３０は、操舵の角度を検出する舵角センサ１３２や、上述した速度センサ１２４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１３４を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１３４は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１３０は、移動物との衝突が想定される場合、アクチュエータ１３４を制御して自車両１を自動的に制動する。かかる車両制御装置１３０は、車外環境認識装置１２０と一体的に形成することもできる。

（フローベクトルによる移動物の判定処理）
図４および図５は、本実施形態のオプティカルフローのフローベクトルによる移動物の判定処理を説明するための説明図である。ここでは、従来の問題点と比較しつつ本実施形態の特徴を説明する。

仮に、図４（ａ）に示すように自車両１が旋回を伴うことなく直進しているときに、前方を移動物２が横切る場合を想定する。図３に示した部分画像２０２に対してフローベクトルを導出すると、フローベクトルは、図４（ｂ）のように複数の矢印で示される。かかる矢印の長さがフローベクトルの大きさ、矢印の向きがフローベクトルの向きを示す。また、フローベクトルは、本来、導出単位である、例えば、所定数の画素で構成されたブロックと同数あるが、ここでは、理解を容易にするためフローベクトルの数を制限して表している。

フローベクトルは、画像中の特徴点の移動によって生成されるので、図４（ｂ）を参照して理解できるように、自車両１の移動に伴い、移動物２のみならず、静止物３にもフローベクトルが生じる。また、本実施形態では、広角レンズが用いられているので、部分画像２０２の中心と比較して側方にずれるに連れて、静止物３のフローベクトルの大きさが大きくなっているのが分かる。

また、撮像装置１１０を自車両１の前方先端かつ車幅方向の中央に位置させ、撮像方向を進行方向と等しくなるように設置した場合、図４（ｂ）に示すように、静止物３のフローベクトルの水平方向の向きは、部分画像２０２の水平方向の中央に垂直に延長した中央基準線２０４を境に左右で反転する。

このとき、図４（ｂ）に示した部分画像２０２を、中央基準線２０４を基準に、左側領域と右側領域とに分けると、静止物３のフローベクトルが中央基準線２０４から遠ざかる方向に生じるのに対し、自車両１に接近する移動物２のフローベクトルは中央基準線２０４に近づく方向に生じているのが分かる。

したがって、中央基準線２０４に従って水平方向に領域を二分し、左側領域において右方向を向いているフローベクトル、または、図４（ｂ）の如く、右側領域において左方向を向いているフローベクトルを検出し、それらを移動物２として特定することができる。

一方、図５（ａ）に示すように、自車両１が旋回を伴いながら進行する場合、フローベクトルは、図５（ｂ）のように表される。ここでは、一点鎖線で示した領域２０６内の静止物３が中央基準線２０４の右側領域に存在するにも拘わらず、静止物３のフローベクトルが中央基準線２０４に近づく方向に生じている。これは、自車両１の直進時には、フローベクトルの水平方向の向きが左右で反転する位置が前方の消失点（無限遠）と一致するが、自車両１の旋回時には、自車両１の移動速度および角速度ならびに静止物３との距離によって水平方向（ここでは右側）に移動することに起因する。

すると、一点鎖線で示した領域２０６内のフローベクトルは、それが移動物２のものであるか静止物３のものであるかに拘わらず、右側領域において左方向を向いているフローベクトルとなるので、移動物２として誤判定されてしまう。この場合に、旋回の内側に相当する領域、すなわち、右側領域において移動物２の判定を行わないとすることも可能であるが、その領域に存在する移動物２を検知できなくなるので、衝突のリスクを高めるおそれがある。

また、自車両１が旋回を伴わない場合でも、自車両１が停止している場合と、直進している場合とでは、その前方を横切る移動物２のフローベクトルの長さが以下に説明するように異なることとなる。

図６は、自車両１の移動速度の影響を説明するための説明図である。図６（ａ）のように自車両１が停止しているときに、移動物２ａが一点鎖線の矢印の如く前方を横切ると、移動物２ａが地点Ａに位置しているときには、部分画像２０２の部位Ａ’に投影され、移動物２ａが地点Ｂに位置しているときには、部分画像２０２の部位Ｂ’に投影される。したがって、自車両１が停止しているときの移動物２ａのフローベクトルは部位Ａ’から部位Ｂ’までとなる。一方、図６（ｂ）のように自車両１が進行方向に直進しているときに、移動物２ａが前方を横切ると、移動物２ａが地点Ａに位置しているときには、部分画像２０２の部位Ａ”に投影され、移動物２ａが地点Ｂに位置しているときには、部分画像２０２の部位Ｂ”に投影される。したがって、自車両１が直進しているときの移動物２ａのフローベクトルは部位Ａ”から部位Ｂ”までとなる。

図６（ａ）と図６（ｂ）とを比較すると、移動物２ａの移動量が地点Ａから地点Ｂまでと同一であるにも拘わらず、フローベクトルの長さが図６（ａ）より図６（ｂ）の方が短くなっているのが理解できる。すると、図６（ｂ）のフローベクトルの長さから、自車両１に接近する移動物２ａの移動速度を算出して衝突時間を計算する場合、移動物２ａの移動速度が実際の速度よりも遅く誤認識されてしまい、運転者への警報が遅くなったり、衝突のリスクを高めたりするおそれがある。

図４〜図６を用いて説明したように、自車両１の移動速度や角速度に応じて、移動物２や静止物３のフローベクトルの長さや方向が異なることとなる。したがって、自車両１の挙動による影響を正確に推定することができれば、実際に観測したフローベクトルから自車両１の挙動による影響を相殺し、静止物３のフローベクトルを除外して、移動物２の絶対的な動きを正確に把握することが可能となるはずである。

しかし、自車両１の挙動に基づく移動物２や静止物３のフローベクトルを正確に推定するためには、自車両１の移動速度や角速度のみならず、自車両１から移動物２および静止物３までの距離も必要となる。このような移動物２や静止物３までの距離は、ステレオカメラを用い３点測位法に基づく演算を行ったり、レーザレーダを用いたりすることで導出することは可能であるが、その都度計測しなければならず、設置コストや処理負荷の増大を招いてしまう。

そこで、本実施形態では、地面のフローベクトル（以下、地面のフローベクトルを補正フローベクトルともいう。）に着目する。ここで地面は、撮像装置１１０を自車両１の前方先端かつ車幅方向の中央に位置させ、撮像方向を進行方向と等しく、また、光軸が水平方向かそれより下向きになるように設置した場合において撮像可能な地表面を示す。このように撮像装置１１０を設置した場合、撮像した画像には、自車両１が走行すると予想される地面が映る。自車両１と地面との位置関係は、自車両１の挙動や地面の形状等により瞬時的には変化するものの、定常的には一定の位置関係となり、その位置関係は撮像装置１１０を車両に搭載した時の設置条件から求めることができる。

図７は、地面のフローベクトルを示した説明図であり、図８は、自車両１が直進する場合の移動速度の影響を説明するための説明図である。例えば、自車両１が停止している場合、地面のフローベクトルはすべて０となる。また、自車両１が旋回を伴わず直進している場合、図７（ａ）の如く、部分画像２０２において水平方向の中央に位置する中央基準線２０４を境に左右で反転し、側方に向かうフローベクトルが表示される。さらに、自車両１が右方向に旋回を伴いながら進行している場合、図７（ｂ）の如く、中央基準線２０４よりやや右側を境に左右で反転し、側方に向かうフローベクトルが表示される。このように、撮像装置１１０で撮像した画像内に透視投影によって地面しか映っていない場合、撮像装置１１０が自車両１と一体的に前進するときには、図７（ａ）および図７（ｂ）に示すように、前方の無限遠点を消失点として放射状に、遠方ほど短く近傍ほど長いフローベクトルが生じる。これは、図８を用いた以下の説明により理解できる。

自車両１が移動速度Ｃで直進している場合、自車両１から比較的遠い位置にある静止物３ａおよび自車両１から比較的近い位置にある静止物３ｂは、相対速度Ｃで自車両１に近づいていることになり、その相対速度Ｃの相対移動が部分画像２０２に投影されてフローベクトルとなる。図８に示すように、静止物３ａと静止物３ｂとは同一の相対速度Ｃであるにも拘わらず、自車両１からの距離が異なることからフローベクトルの長さが異なり、自車両１から比較的遠い位置にある静止物３ａのフローベクトルは、自車両１から比較的近い位置にある静止物３ｂのフローベクトルより短くなる。したがって、画面中の横方向中央付近ではフローベクトルが比較的短く、そこから画像側方にずれるに連れてフローベクトルが長くなる。また、画像中の地平線付近ではフローベクトルが比較的短く、そこから画像下端、つまり地面手前側に近づくに連れてフローベクトルが長くなる。

図９は、画面縦方向のフローベクトルの変化を説明するための説明図である。図９（ｂ）は、図９（ａ）の部分画像２０２のｉ_０の画面縦方向におけるｉ方向のフローベクトルの長さを示している。図９（ｂ）を参照すると、上述したように、地面に対応する領域にあるフローベクトルは、画面下端から画面中央（地平線）にずれるに従って短くなる。ただし、立設物、例えば、図９（ａ）の静止物３に対応する領域にあるフローベクトルは長さが変化しない。したがって、フローベクトルの変化度合いが変わる境界を地面と立設物との境界（後述する代表部位）とすることができる。

また、地面のフローベクトルは、自車両１の移動速度や角速度と相関性があり、自車両１の移動速度や角速度を特定できれば、回転半径も求まり、地面の各特徴点の自車両１からの距離を把握せずとも、地面のフローベクトルも一様に定まる。したがって、自車両１の移動速度や角速度に応じて地面のフローベクトルをリアルタイムに毎回算出しなくとも、撮像装置１１０の取り付け位置および撮像装置１１０の内部パラメータ(画角や射影方式等)が定められていれば、地面のフローベクトルを予め保持しておくことができる。本実施形態では、相異なる複数の移動速度や相異なる複数の角速度に対応付けて複数の地面のフローベクトルを補正テーブルとして予め保持させる。こうして、地面のフローベクトルを計算する処理負荷を削減することが可能となる。

図１０は、部分画像２０２のフローベクトルを示した説明図である。ここでは、部分画像２０２のフローベクトルと地面のフローベクトルとの関係を説明する。自車両１の移動速度や角速度を特定し、特定された移動速度や角速度に対する地面のフローベクトルを参照して、仮に、図５（ｂ）のような部分画像２０２に対するフローベクトルから、図７（ｂ）のような、地面のフローベクトル（補正フローベクトル）を減算したとする。すると、図１０に示すように、自車両１の挙動による影響が取り除かれたフローベクトルを得ることができる。したがって、減算後のフローベクトルには、地面に立設する（鉛直方向成分がある）立設物（移動物２および静止物３）のみが残り、減算されたフローベクトルは、立設物の本来のフローベクトルを示すこととなる。

ただし、立設物のうち静止物３は、自車両１が積極的に接近しなければ衝突の危険性がないが、移動物２については、自車両１の挙動に拘わらず衝突の危険性がある。したがって、本実施形態では、特定された立設物をさらに移動物２と静止物３とに区別する。ここでは、移動物２と静止物３とを区別するために、以下のようなフローベクトルの特性に着目している。すなわち、静止物３は、地面と連続しており、かつ画面上、地面と一体的に移動するので、そのフローベクトルは、図９（ｂ）に示したように、静止物３と地面とが接している部位のフローベクトルと画面横方向の成分が等しくなる。換言すれば、部分画像２０２における静止物３のフローベクトルから地面のフローベクトルを減算すると、減算後のフローベクトルのスカラ量はほぼ０（ゼロ）となる。一方、移動物２は、地面と連続しているものの、地面の上を地面と平行して相対的に移動しているので、そのフローベクトルは、移動物２と地面とが接している部位のフローベクトルと画面横方向の成分が異なる。換言すれば、部分画像２０２における移動物２のフローベクトルから地面のフローベクトルを減算すると、減算後のフローベクトルのスカラ量は０とはならない。

したがって、特定された立設物のうち、そのフローベクトルが地面と接している部位（代表部位）のフローベクトルと画面横方向の成分が等しい物を静止物３とし、その他の物を移動物２とすることで、移動物２と静止物３とを区別することが可能となる。以上のように、本実施形態では、部分画像２０２のフローベクトルから補正フローベクトルを減算し、その減算後のフローベクトルのうち、静止物３に相当するフローベクトルを特定することで、同時に、移動物２のフローベクトルも特定する。以下に、このような処理を実現するための車外環境認識装置１２０を具体的に説明し、その後で、車外環境認識方法について詳述する。

（車外環境認識装置１２０）
図１１は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図１１に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部（画像データ取得部）１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースであり、例えば、撮像装置１１０で生成された画像データを取得する。また、Ｉ／Ｆ部１５０は、速度センサ１２４や角速度センサ１２６から、移動速度および角速度を取得する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。また、本実施形態においては、フローベクトルの導出処理におけるパターンマッチングのため、画像データを、少なくとも次のフレームまで一時的に保持する。ここで、データ保持部１５２に記憶された前回のフレームにおける画像データを「前回画像データ」といい、今回のフレームにおける画像データを「今回画像データ」という。また、データ保持部１５２は、相異なる複数の移動速度および相異なる複数の角速度に、複数の地面のフローベクトルを対応させた補正テーブルを予め保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、画像切出部１６０、フローベクトル導出部１６２、グループ化部１６４、移動状態取得部１６６、補正フローベクトル抽出部１６８、フローベクトル減算部１７０、静止物判定部１７２、移動物判定部１７４、衝突判定部１７６、報知部１７８、画像保持部１８０としても機能する。

画像切出部１６０は、Ｉ／Ｆ部１５０が取得した今回画像データに基づく図２に示したような環境画像２００から、予め定められた位置および大きさの図３に示したような部分画像２０２を切り出す。

フローベクトル導出部１６２は、所謂、パターンマッチングを通じて、画像切出部１６０が切り出した部分画像２０２を分割したブロック毎のフローベクトルを導出する。

図１２は、フローベクトル導出部１６２の処理を説明するための説明図である。フローベクトル導出部１６２は、データ保持部１５２に記憶された前回画像データに基づく図１２（ａ）に示した部分画像２０２から任意に抽出したブロック（ここでは水平８画素×垂直８画素の配列で構成される）２１０ａに対応する（相関値の高い）ブロック２１０ｂを、今回画像データに基づく図１２（ｂ）に示した部分画像２０２から検出する（パターンマッチング）。このとき前回画像データに対応するブロック２１０ａから今回画像データに対応するブロック２１０ｂまでの、図１２（ｂ）中、矢印で示す移動軌跡がオプティカルフローにおけるフローベクトルとなる。

かかるパターンマッチングとしては、前回画像データおよび今回画像データ間において、任意の画像位置を示すブロック単位で輝度値を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位のフローベクトル導出処理を部分画像２０２（例えば、６４０画素×１２８画素）に映し出されている全てのブロックについて行う。また、ブロック内の画素数は任意に設定することができるが、ここでは、ブロックを水平８画素×垂直８画素としている。

このようにして、フローベクトル導出部１６２は、図５（ｂ）の如く、前回画像データに対応する部分画像２０２のフローベクトルを導出することができる。

グループ化部１６４は、フローベクトル導出部１６２が導出したフローベクトルから隣接するブロック同士のフローベクトルを順次比較し、フローベクトルの方向およびその大きさが近似する（例えば、方向が±３０度以内かつ大きさの差分が８画素以内である）ブロックをグループ化する。そして、グループ化したブロック群を、立設物（移動物２および静止物３）の候補とする。

図１３は、ブロック群４を説明するための説明図である。例えば、図１３に示した複数のブロック群４は、ブロック内のそれぞれのフローベクトルが同方向に向いており、その長さが互いに近似しているので、グループ化される。そして、ブロック群４のフローベクトルの代表値である代表フローベクトルを求める。代表フローベクトルは、ブロック群４においてグループ化された複数のフローベクトルの平均値でもよいし、フローベクトル導出におけるＳＡＤ等の一致度の指標に基づいて算出した信頼度が高い値でもよいし、複数のフローベクトルのうち画面下側に位置するフローベクトルでもよい。

また、グループ化部１６４は、ブロック群４が地面と接している部位、すなわち、ブロック群４の下端の部位を代表部位とする。図９を用いて説明したように、立設物と地面との境界を、画面縦方向のフローベクトルの変化度合いが変わる部位とすることができる。したがって、グループ化部１６４は、グループ化されたブロック群４の縦方向に配置されたフローベクトルを画面下側から順次判定し、横方向成分が変化しなくなる部位を代表部位とすることができる。

また、本実施形態では、グループ化部１６４によってフローベクトルを予めグループ化し、その後で、代表フローベクトルから補正フローベクトルを減算しているが、かかる場合に限らず、先に補正フローベクトルを減算した後、グループ化してもよい。

移動状態取得部１６６は、広角レンズを有する撮像装置１１０の挙動、例えば、移動速度および角速度を取得する。なお、撮像装置１１０の移動速度および角速度を直接測定するとしてもよいが、本実施形態では、撮像装置１１０が固定され、撮像装置１１０とほぼ同一の移動軌跡で移動する自車両１の挙動（移動速度および角速度）を利用する。そして、自車両１の旋回中心と撮像装置１１０の設置位置との関係から撮像装置１１０の移動速度および角速度を導出している。ここで、旋回中心は自車両１の車輪の位置や舵角を用い、例えば２輪モデルなどを参照して計算することができる。また、移動速度および角速度と旋回中心との関係を予め実測しておいてもよい。また、自車両１の移動速度および角速度を特定する手段は上記の速度センサ１２４および角速度センサ１２６に限らず、例えば、単位時間あたりの走行距離を移動速度としたり、角加速度の積分値や舵角を角速度としたり、様々な検出手段に基づいて特定することができる。

補正フローベクトル抽出部１６８は、移動状態取得部１６６が取得した移動速度および角速度に応じて補正テーブルを参照し、データ保持部１５２に保持された複数の補正フローベクトルから１の補正フローベクトルを抽出する。補正テーブルの分解能は、例えば、移動速度１ｋｍ間隔（範囲１〜１５ｋｍ／ｈ）、角速度１ｄｅｇ間隔（範囲−３０〜３０ｄｅｇ／ｓ）とする。かかる分解能より高い分解能の補正フローベクトルが必要な場合、対象とする移動速度や角速度の前後複数の補正フローベクトルを用いて線形補間を行ってもよい。また、後述するフローベクトル減算部１７０において補正フローベクトルを減算することで、静止物３が移動物２として誤検出されないように補正フローベクトルを選択することも可能である。

フローベクトル減算部１７０は、グループ化部１６４が導出した代表フローベクトルから、補正フローベクトル抽出部１６８が抽出した補正フローベクトルのうちブロック群４の代表部位に対応する部位のフローベクトルを減算する。こうして、図１０に示したような、自車両１の挙動の影響が含まれない、立設物（移動物２および静止物３）自体のフローベクトルを導出することができる。ここでは、フローベクトル導出部１６２が導出したフローベクトル全体から補正フローベクトルを減算せず、ブロック群４の代表部位に対応するフローベクトルのみから補正フローベクトルを減算するので、処理負荷を大幅に低減することができる。また、フローベクトル導出部１６２における計算誤差や地面の凸凹によってフローベクトル導出部１６２が正確なフローベクトルを導出できなかったとしても、減算対象が制限されているので、減算結果への影響が少ない。

静止物判定部１７２は、フローベクトル減算部１７０が減算したフローベクトルのスカラ量、特に、画面横方向の成分に応じ、減算後にもフローベクトルが残っていない（フローベクトル＝０もしくは０近傍の所定範囲内）複数のブロック群４を静止物３と判定する。したがって、フローベクトル減算部１７０が減算したフローベクトルのスカラ量が０ではない、すなわち、ブロック群４の代表フローベクトルと、そのブロック群４が地面と接している部位の補正フローベクトルとの画面横方向の成分が異なれば、移動物２と判定する。こうして、移動物２と静止物３とを区別することができる。

移動物判定部１７４は、静止物判定部１７２により静止物３ではない、すなわち、移動物２であると判定されたブロック群４の接地位置、大きさ、および、フローベクトル減算部１７０で補正した後（減算後）のフローベクトルに応じて、そのブロック群４を構成する移動物２の位置、進行方向および速度を判定する。

衝突判定部１７６は、自車両１の進行方向および速度と、特定した移動物２の位置、進行方向および速度とに応じて、自車両１と当該移動物２が衝突する可能性が高いか否か判定する。かかる衝突判定については、既存の様々な技術を適用することが可能なので、ここではその詳細な説明を省略する。

報知部１７８は、衝突判定部１７６が衝突の可能性が高いと判定した場合、ブザー（音声出力手段）や警告灯（ディスプレイ１２２）を通じて、その旨、運転者に報知する。また、Ｉ／Ｆ部１５０を通じて、車両制御装置１３０に、その旨を示す情報を出力する。

画像保持部１８０は、データ保持部１５２の前回画像データに今回画像データを上書きする。こうして次のフレームでは、かかる今回画像データを前回画像データとして用いることができる。

（車外環境認識方法）
図１４は、車外環境認識方法の全体的な処理の流れを示したフローチャートである。図１４では、撮像装置１１０から広角レンズを通じて撮像された画像データが送信されたときの割込処理に関する全体的な流れが示されている。

当該車外環境認識方法による割込が発生すると、Ｉ／Ｆ部１５０は、撮像装置１１０から送信された今回画像データを取得する（Ｓ３００）。そして、画像切出部１６０は、取得された今回画像データに基づく環境画像２００（例えば、水平６４０画素×垂直４８０画素）から予め定められた位置および大きさの部分画像２０２（例えば、水平６４０画素×垂直１２８画素：水平８０ブロック×垂直１６ブロック）を切り出す（Ｓ３０２）。次に、フローベクトル導出部１６２は、部分画像２０２における複数のフローベクトルを導出する（Ｓ３０４）。そして、グループ化部１６４は、フローベクトル導出部１６２が導出したフローベクトルから隣接するブロック同士のフローベクトルを順次比較し、フローベクトルの方向およびその大きさが近似するブロックをグループ化し、その代表値となる代表フローベクトルを求める（Ｓ３０６）。

続いて、移動状態取得部１６６は、その時点の自車両１の移動速度および角速度を取得し（Ｓ３０８）、補正フローベクトル抽出部１６８は、補正テーブルを参照し、移動速度および角速度に応じて、データ保持部１５２から１の補正フローベクトルを抽出する（Ｓ３１０）。フローベクトル減算部１７０は、グループ化部１６４が導出した各代表フローベクトルから補正フローベクトルのうち各ブロック群４の代表部位に対応する部位のフローベクトルを減算する（Ｓ３１２）。静止物判定部１７２は、フローベクトル減算部１７０が減算したフローベクトルのスカラ量に応じて静止物３を特定し、静止物３と移動物２とを区別する（Ｓ３１４）。そして、移動物判定部１７４は、静止物判定部１７２により移動物２であると判定されたブロック群４の大きさ、および、そのブロック群４の速度に応じて、そのブロック群４を構成する移動物２の位置、進行方向および速度を判定する（Ｓ３１６）。

衝突判定部１７６は、自車両１の進行方向および速度と、特定した移動物２の位置、進行方向および速度とに応じて、自車両１と移動物２が衝突する可能性が高いか否か判定する（Ｓ３１８）。その結果、移動物２と衝突する可能性が高いと判定すると（Ｓ３１８におけるＹＥＳ）、報知部１７８は、衝突の可能性が高い旨、運転者に報知するとともに、車両制御装置１３０に、その旨を示す情報を出力する（Ｓ３２０）。また、移動物２と衝突する可能性が高いと判定されなかった場合（Ｓ３１８におけるＮＯ）、ステップＳ３２２に移行する。

最後に、画像保持部１８０は、今回画像データを次回のフレームで前回画像データとして用いるため、データ保持部１５２の前回画像データに今回画像データを上書きする（Ｓ３２２）。

以上、説明したような、車外環境認識装置１２０や車外環境認識方法によれば、自車両１が旋回した場合であっても、高精度かつ低処理負荷で移動物２を検出でき、前側方から接近する移動物２と自車両１との衝突時間を正確に予想することが可能となる。

また、従来、移動物２を適切に判断するため静止物３までの距離も得るべく、ステレオカメラやレーザレーダを用いなければならなかったが、本実施形態では、自車両１の挙動による影響の計算を、地面のフローベクトル（補正フローベクトル）の減算のみとし、かつ、補正フローベクトルを予め計算しているので、コストの削減や処理負荷の軽減を図ることができる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態において、画像切出部１６０、フローベクトル導出部１６２、グループ化部１６４、移動状態取得部１６６、補正フローベクトル抽出部１６８、フローベクトル減算部１７０、静止物判定部１７２、移動物判定部１７４、衝突判定部１７６、報知部１７８、画像保持部１８０は、中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法にかかり、特に、自車両外の移動物を認識し自車両との衝突判定を行う車外環境認識装置および車外環境認識方法に利用することができる。

１ …自車両
２ …移動物
３ …静止物
１１０ …撮像装置
１２０ …車外環境認識装置
１５０ …Ｉ／Ｆ部（画像データ取得部）
１５２ …データ保持部
１６０ …画像切出部
１６２ …フローベクトル導出部
１６４ …グループ化部
１６６ …移動状態取得部
１６８ …補正フローベクトル抽出部
１７０ …フローベクトル減算部
１７２ …静止物判定部
１７４ …移動物判定部
１７６ …衝突判定部
２０２ …部分画像

Claims (4)

1. 撮像装置を通じて車外環境を撮像した画像データを取得する画像データ取得部と、
   前記画像データに基づく画像を分割したブロック毎のフローベクトルを導出するフローベクトル導出部と、
   前記フローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化してブロック群を生成し、その代表値となる代表フローベクトルを求めるグループ化部と、
   前記撮像装置の挙動を取得する移動状態取得部と、
   前記代表フローベクトルから、前記挙動に対応する地面のフローベクトルのうち前記ブロック群の代表部位に対応する部位のフローベクトルを減算するフローベクトル減算部と、
   前記ブロック群のうち、減算後のフローベクトルのスカラ量に応じて、該ブロック群を静止物と移動物とに区別する静止物判定部と、
   を備えることを特徴とする車外環境認識装置。
2. 相異なる複数の挙動に対応させた複数の地面のフローベクトルを保持するデータ保持部と、
   前記データ保持部に保持された複数の地面のフローベクトルから、前記移動状態取得部が取得した挙動に応じて、前記フローベクトル減算部が用いる地面のフローベクトルを抽出する補正フローベクトル抽出部と、
   をさらに備えることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記静止物判定部に移動物とされた前記ブロック群の前記減算後のフローベクトルを該移動物のフローベクトルとして、該移動物と自車両との衝突判定を行う衝突判定部をさらに備えることを特徴とする請求項１または２に記載の車外環境認識装置。
4. 撮像装置を通じて車外環境を撮像した画像データを取得し、
   前記画像データに基づく画像を分割したブロック毎のフローベクトルを導出し、
   前記フローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化してブロック群を生成し、その代表値となる代表フローベクトルを求め、
   前記撮像装置の挙動を取得し、
   前記代表フローベクトルから、前記挙動に対応する地面のフローベクトルのうち前記ブロック群の代表部位に対応する部位のフローベクトルを減算し、
   前記ブロック群のうち、減算後のフローベクトルのスカラ量に応じて、該ブロック群を静止物と移動物とに区別することを特徴とする車外環境認識方法。

Images