JP2012003582A - 車外環境認識装置、車外環境認識方法 - Google Patents

Abstract

【課題】障害物となり得る物体の検出精度を向上させる。
【解決手段】画像上で同一速度で縦方向に連続する縦エッジを抽出し（Ｓ１０４）、抽出した縦エッジのうち、静止物に属する縦エッジを抽出し（Ｓ１０８）、抽出した静止物に属する縦エッジのうち、静止物における自車進路方向の切れ目に該当する縦エッジを抽出する（Ｓ１１０）。この切れ目に該当する縦エッジを切れ目抽出時縦エッジとし、切れ目抽出時縦エッジの位置を切れ目位置とし、夫々を切れ目情報として記憶する（Ｓ１１２）。そして、切れ目情報を記憶してから予め定められた移動時間ｔｓが経過した後に、改めて抽出した縦エッジの中で切れ目位置Ｘｏに最も近い縦エッジと、切れ目抽出時縦エッジＡとを比較することで、切れ目位置に最も近い縦エッジが切れ目からの飛出し物体に属する縦エッジであるか否かを判定する（Ｓ１１３〜Ｓ１１７）。
【選択図】図１４

Description

本発明は、車外環境認識装置、車外環境認識方法に関するものである。

自車両の前方をカメラで撮像し、撮像した動画像に基づいて判定対象となる物体の速度ベクトルを算出すると共に、自車両の予測進路を算出し、速度ベクトルと自車両の予測進路とに基づいて、自車進路の前方に飛出してくる障害物の検出を行うものがあった（特許文献１参照）。

特開２００５−２０９０１９号公報

しかしながら、単に速度ベクトルに基づいて障害物の検出を行う場合、自車両にとって障害物となり得る物体であっても、速度ベクトルの向きや大きさによっては、これを障害物として認識しない可能性がある。
本発明の課題は、障害物となり得る物体の検出精度を向上させることである。

本発明に係る車外環境認識装置は、自車両の車速情報を取得し、自車両の前方を撮像した画像からエッジを抽出し、エッジの画像上での移動速度及び移動方向を移動情報として算出し、抽出したエッジのうち、画像上で縦方向に連続する縦エッジを、移動情報に基づいて抽出する。また、抽出した縦エッジのうち、静止物に属する縦エッジを、移動情報、及び車速情報に基づいて抽出し、抽出した静止物に属する縦エッジのうち、静止物における自車進路方向の切れ目に該当する縦エッジを、移動体が通行可能となる予め定められた通行可能幅に基づいて抽出する。さらに、切れ目に該当する縦エッジを切れ目抽出時縦エッジとし、切れ目抽出時縦エッジの位置を切れ目位置とし、切れ目抽出時縦エッジ及び切れ目位置を切れ目情報として記憶する。そして、切れ目情報を記憶してから予め定められた時間が経過した後に、改めて抽出した縦エッジの中で切れ目位置に最も近い縦エッジと、切れ目抽出時縦エッジとを比較することで、切れ目位置に最も近い縦エッジが切れ目からの飛出し物体に属する縦エッジであるか否かを判定する。

本発明に係る車外環境認識装置によれば、静止物の切れ目に該当する縦エッジを抽出し、静止物の切れ目情報を記憶し、切れ目位置における縦エッジの経時変化に基づいて飛出し物体の検出を行うので、単に速度ベクトルに基づいて障害物の検出を行うよりも、障害物となり得る物体の検出精度を向上させることができる。

車外環境認識装置の概略構成図である。 カメラの車両への設置例を示す図である。 カメラで撮像した画像の一例を示す図である。 二値化処理、細線化処理、膨張処理、カウントアップ処理を示す図である。 速度画像の一例を示す図である。 縦エッジの抽出方法を示す図である。 縦エッジから下端点を抽出した図である。 俯瞰座標系への変換を示す図である。 静止物と判定された縦エッジを示す図である。 静止物を俯瞰座標へ投影した図である。 通行可能判定領域を示す図である。 切れ目判定を示す図である。 飛出し検出を示す図である。 車外環境認識処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
《構成》
図１は、車外環境認識装置の概略構成図である。
車外環境認識装置１０は、画像処理を行う画像処理部１００と、車両前方を撮像するカメラ１０１と、車両の車速信号や舵角信号などを入力する車両情報入力部１０２と、を備える。

画像処理部１００は、画像一時記録部１０３と、エッジ抽出部１０４と、移動情報算出部１０５と、縦エッジ抽出部１０６と、下端点抽出部１０７と、静止物エッジ抽出部１０８と、切れ目エッジ抽出部１０９と、飛出し判定部１１０と、を備える。
画像一時記録部１０３は、カメラ１０１で撮像した画像を一時的に記録する。
エッジ抽出部１０４は、画像一時記録部１０３に記憶された画像を画像処理することでエッジを抽出する。

移動情報算出部１０５は、エッジ抽出部１０４により抽出されたエッジにおける画像上の移動速度及び移動方向を、エッジの移動情報として算出する。
縦エッジ抽出部１０６は、移動情報算出部１０５で算出したエッジの移動情報のうち、縦エッジに属する縦エッジを抽出する。
下端点抽出部１０７は、縦エッジ抽出部１０６で抽出した縦エッジの移動情報における画像上の下端点を抽出する。

静止物エッジ抽出部１０８は、下端点抽出部１０７で抽出した縦エッジの下端点の画像上の位置と、車両情報入力部１０２から入力された車速信号とに基づいて、静止物に属する縦エッジを抽出する。
切れ目エッジ抽出部１０９は、静止物エッジ抽出部１０８で抽出した縦エッジと、車両情報入力部１０２から入力した少なくとも操舵角情報又はヨーレート情報とに基づいて、静止物の切れ目に該当する縦エッジを抽出する。

飛出し判定部１１０は、切れ目エッジ抽出部１０９で抽出した切れ目から飛出し物体があるか否かを判定する。
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０３に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０３に一時的に記録される。

図２は、カメラの車両への設置例を示す図である。
カメラ１０１は、室内の上部前方に設置され、その光軸ＬＳは、車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は、路面と平行となるように、撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。

図３は、カメラで撮像した画像の一例を示す図である。
カメラ１０１による撮像画像は、画像左上を原点とし、左から右へｘ軸、上から下へｙ軸とするｘｙ座標系によって表される。図３では、立体物である壁と、平面物である白線が撮像画像に含まれている。

図４は、二値化処理、細線化処理、膨張処理、カウントアップ処理を示す図である。
エッジ抽出部１０４は、カメラ１０１で撮像された画像を画像一時記録部１０３から読込み、読込んだ撮像画像を予め定められた閾値を用いて二値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）は、抽出した垂直方向のエッジを示す。次に、図４（ｂ）に示すように、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する。さらに、図４（ｃ）に示すように、細線化されたエッジのエッジ幅が一定の幅となるように、例えば三画素分の幅となるように、エッジを水平方向に拡張する。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。

移動情報算出部１０５は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合にカウンタ値が＋１加算され、画素がエッジに該当しない場合はカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素ほど画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素ほど画素カウンタのカウンタ値が小さくなる。

この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。すなわち画像のｘ座標は方位を表しているため、エッジの移動方向と移動速度を求めることができる。
以下、詳細にエッジの移動方向と移動速度を算出する方法について説明する。

先ず、エッジ画像に対して二値化処理を行う。
二値化処理とは、エッジの検出された位置の画素を『１』とし、エッジの検出されなかった位置の画素を『０』とする処理である。この二値化処理によって、図４（ａ）に示すような二値化画像を生成する。

次に、生成された二値化画像に対して、細線化処理を行う。
細線化処理とは、検出されたエッジのエッジ幅を予め定められた画素幅になるまで縮小する処理である。例えば、図４（ｂ）に示すように、エッジ幅が一画素になるまで細線化することで、エッジの中心位置を抽出する。勿論、エッジ幅を一画素よりも大きくしてもよい。

次に、細線化されたエッジのエッジ幅を膨張（拡張）させる膨張処理を行う。
膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅を膨張させると共に、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。例えば、図４（ｃ）に示すように、エッジの中心位置ｘ０からエッジの移動方向（ここではｘ軸の正方向）に一画素分だけ膨張させると共に、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ここではｘ軸の負方向）に一画素分だけ膨張させて、エッジ幅を三画素まで膨張させている。このように、細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ幅を、エッジの移動方向に向かって予め定められた幅に統一して規格化している。

次に、エッジ幅を規格化したエッジに対してカウントアップ処理を行う。
カウントアップ処理とは、エッジが検出された位置のメモリアドレスの値をカウントアップし、エッジが検出されなかった位置のメモリアドレスの値を初期化する処理である。

ここで、図４（ｃ）〜図４（ｆ）を参照し、エッジのカウントアップ処理について説明する。なお、説明を簡略にするために、エッジはｘ軸の正方向に移動するものとして説明する。勿論、エッジはｘ軸の負方向やｙ軸方向、或いは二次元的に移動するが、基本的には同様の処理である。

先ず、図４（ｃ）に示すように、エッジはあるフレームにおいて位置［ｘ０］にエッジの中心位置があり、その中心位置からエッジの移動方向に一画素隣の位置［ｘ０＋１］と、中心位置からエッジの移動方向と反対方向に一画素隣の位置［ｘ０−１］に膨張されている。
この場合、エッジが検出された位置［ｘ０−１］、［ｘ０］、［ｘ０＋１］のカウント値が『１』ずつカウントアップされ、エッジが検出されなかった位置のカウント値が『０』にリセットされる。

例えば、図４（ｄ）に示すように、時刻ｔにおいて位置［ｘ０−１］、［ｘ０］、［ｘ０＋１］にエッジが検出されているので、夫々の位置で『１』ずつカウントアップされて、位置［ｘ０＋１］のカウント値が『１』、位置［ｘ０］のカウント値が『３』、位置［ｘ０−１］のカウント値が『５』になっている。

そして、図４（ｅ）に示すように、時刻ｔ＋１でもエッジが移動していないので、位置［ｘ０−１］、［ｘ０］、［ｘ０＋１］の各位置でエッジが検出され、位置［ｘ０−１］、［ｘ０］、［ｘ０＋１］のカウント値をさらに『１』ずつカウントアップして、位置［ｘ０−１］のカウント値を『２』、位置［ｘ０］のカウント値を『４』、位置［ｘ０＋１］のカウント値を『６』としている。

さらに、図４（ｆ）に示すように、時刻ｔ＋２では、エッジがｘ軸の正方向に一画素分だけシフトして位置［ｘ０］、［ｘ０＋１］、［ｘ０＋２］の位置でエッジが検出されている。
この場合、エッジが検出された位置［ｘ０］、［ｘ０＋１］、［ｘ０＋２］のカウント値が『１』ずつカウントアップされ、エッジが検出されなかった位置［ｘ０−１］のカウント値が『０』にリセットされる。

この結果、図４（ｆ）に示すように、位置［ｘ０＋２］のカウント値が『１』、位置［ｘ０＋１］のカウント値が『３』、位置［ｘ０］のカウント値が『５』となっている。さらに、エッジが検出されなかった位置［ｘ０−１］のカウント値はリセットされて『０』になっている。

このように、エッジが検出された位置のカウント値を『１』ずつカウントアップし、エッジの検出されなかった位置のカウント値を『０』にリセットしている。したがって、エッジが検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。例えば、位置［ｘ０］では、時刻ｔと時刻ｔ＋１との二連続でエッジが検出されており、位置［ｘ０］においてエッジが検出されている時間は、フレーム数に対応する。

ここでは、カウント値を検出する位置として、エッジの中心位置［ｘ０］と、この中心位置からエッジの移動方向へ一画素隣の位置［ｘ０＋１］と、中心位置からエッジの移動方向と反対方向に一画素隣の位置［ｘ０−１］と、の三画素分の幅でカウント値を検出していたが、後述するようにカウント値の傾きが求められればよいので、エッジの移動方向に沿って二画素以上の幅であればよい。

次に、エッジの移動速度、移動方向、及び位置を算出する。
先ず、下記（１）式に示すように、カウント値の移動方向への傾きを算出する。
例えば、図４（ｅ）に示すように、位置［ｘ０−１］のカウント値が『６』、位置［ｘ０］のカウント値が『４』、位置［ｘ０＋１］のカウント値が『２』となっているときには、位置［ｘ０−１］のカウント値『６』から位置［ｘ０＋１］のカウント値『２』を引くことによって、カウント値の傾きをＨ＝（６−２）／２＝２として算出する。

これは、Ｈ＝｛（エッジが位置［ｘ０−１］に移動してから現在までの時間）−（エッジが位置［ｘ０＋１］に移動してしまった後の時間）｝／（二画素）を意味するので、これによりエッジが位置［ｘ０］のある一画素を通過するのに要した時間（フレーム数）を算出したことになる。

したがって、カウント値の傾きＨはエッジが一画素移動するために何フレームを要したかを求めることになり、このカウント値の傾きＨに基づいてエッジの移動速度（１／Ｈ）を算出することができる。図４（ｅ）では、一画素移動するのに二フレームを要したことになるので（Ｈ＝２）、エッジの移動速度は１／２（画素／フレーム）と算出することができる。

また、エッジの移動方向は、カウント値の大小によって判断することができる。
エッジが移動して新たにエッジが検出された位置のカウント値は『１』であり、各位置のカウント値の中では最も小さな値となる。したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなるので、これによってエッジの移動方向を判断する。

上記のように、エッジが検出された位置のカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出することができる。

次に、撮像画像上に存在するエッジの移動情報を、予め定められた階級値に分類して表した速度画像を生成する。

図５は、速度画像の一例を示す図である。
速度画像は、図５に示すように、移動情報が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう移動速度を黒点で表し、左へ向かう移動速度を白点で表すことによって移動方向を表している。
縦エッジ抽出部１０６は、立体物の速度の特徴として、同じ速度を持つ画素が縦に連続して存在するという特徴に基づいて、立体物の候補となる縦エッジを抽出する。

図６は、縦エッジの抽出方法を示す図である。
例えば、図６に示すように、速度画像を縦方向（ｙ軸方向）に探索していき、速度情報を持った画素Ａが見つかった場合、次の画素Ｂを探索して、画素が速度情報を持っており、且つ速度の向きが画素Ａと同じ、且つ画素Ａと画素Ｂの速度の大きさの差（Ｖ２−Ｖ１）が閾値Ｔｖ以内であれば、縦に連続していると判断する。次に、画素Ｃについても同様に速度情報の有無、速度の方向、速度の大きさの差（Ｖ３−Ｖ１）が閾値Ｔｖ以内かを判定し、以後、何れかの条件を満たさなくなるまで繰り返す。

そして、画素Ｎの次の画素で条件を満たさなくなった場合、それまで条件を満たした画素の数をカウントし、そのカウント値が閾値ＴＨ以上であれば、画素Ａから画素Ｎまでの縦エッジを縦エッジとして抽出する。

下端点抽出部１０７は、縦エッジ抽出部１０６で抽出した縦エッジの下端点を抽出する。すなわち、縦エッジ抽出部１０６で抽出した際に最後にカウントした画素Ｎを下端点として抽出する。

図７は、縦エッジから下端点を抽出した図である。
例えば、縦エッジ１〜３から夫々の下端点１〜３を抽出している。
静止物エッジ抽出部１０８では、下端点抽出部１０７で抽出した縦エッジの下端点の情報と、車両情報入力部１０２から入力された自車両の車速信号とから、静止物に属する縦エッジを抽出する。

先ず、下端点１〜３の画像上の位置から、車両に搭載したカメラ１０１を中心とした俯瞰座標上の位置を計算する。

図８は、俯瞰座標系への変換を示す図である。
画像上の座標の俯瞰座標への変換は、公知の手法を用いればよく、例えばカメラの地上からの高さ、カメラの取付俯角などの情報を用いて変換する。

そして、俯瞰座標上における下端点の位置を取得してから、静止物と仮定した場合の下端点の画像上の速度を算出する。具体的には、下端点を静止物として仮定した場合、下端点の俯瞰座標系での速度は、自車速Ｖｖと同じ大きさで向きが逆の速度とみなせる。さらに、一つのフレーム時間（例えば３３msec）をΔｔとし、車両の運動を直進運動で近似すると、下端点の速度方向は、俯瞰座標上で−Ｚ方向とみなすことができる。

したがって、下記（１）式に示すように、自車速Ｖｖ、フレーム時間Δｔ、俯瞰座標上の下端点のｘ座標値Ｘ、俯瞰座標上の下端点のｚ座標値Ｚに基づいて、Δｔにおける下端点の水平方向の角度変化Δθが求められる。

また、静止物と仮定したときの下端点を含む縦エッジの推定画像速度Ｖｇは、Ｋを下記（２）式で定義すると、下記（３）式で計算することができる。
Ｋ＝カメラの有効水平画角／カメラの有効水平画素数 ………（２）
Ｖｇ＝Ｋ×Δθ ………（３）

推定画像速度Ｖｇに対し、取得画像から算出した実際の縦エッジの画像速度をＶとすると、ＶｇとＶの差分（絶対値）が閾値ＴＨ２以下であるときに、その縦エッジは静止物であると判定する。

切れ目エッジ抽出部１０９は、静止物と判定した縦エッジが連続した静止物の切れ目の候補であるか否かを、車両情報入力部１０２から入力された車両情報と、移動体の通行可能幅を想定した判定領域とから判定する。

図９は、静止物と判定された縦エッジを示す図である。
先ず、静止物と判定された縦エッジの画像上の座標を、車載カメラを原点とした俯瞰座標へ変換する。

図１０は、静止物を俯瞰座標へ投影した図である。
変換後、夫々の静止物に対して、車両進行方向と直行する方向に、他の静止物が存在するか否かを判定する。例えば、図１０の静止物１に対して、静止物１の俯瞰座標上の座標値を（Ｘ１，Ｚ１）とした場合、ｚ方向の幅Ｚｈ以内で、ｘ軸方向に静止物が存在するかどうかを検索する。Ｚｈは例えば俯瞰座標への変換誤差、及び画像座標での座標測定誤差を考慮して決める。

この場合、静止物２の俯瞰頭上の座標を（Ｘ２，Ｚ２）とした場合、図１０に示す例では、Ｚ１−Ｚｈ≦Ｚ２≦Ｚ１＋Ｚｈであり、静止物２は静止物１の検索範囲に存在する。検索の結果、同一検索範囲に複数の静止物が存在した場合は、静止物のｘ座標がより自車両に近い、つまりＸ座標の絶対値が小さい静止物のみを選別する。例えば、静止物１と静止物２の例では、図１０に示すように｜Ｘ２｜＜｜Ｘ１｜であるから、ここでは静止物２を選別する。

静止物３以降も同様に処理を行い、各静止物の検索範囲の中で、最もＸ座標の絶対値が小さいものを選別する。図１０に示す例では、静止物２〜６が選別される。

次に、移動体の通行可能幅を想定した判定領域を設定する。
図１１は、通行可能判定領域を示す図である。
例えば、俯瞰図のｚ軸方向の長さの閾値をＷ、ｘ軸方向の長さの閾値をＬとした長方形の領域Ｒを考える。ここで、閾値Ｗは飛出しの判定を行う対象が通行可能な幅を想定して決めればよく、歩行者などを想定した場合であれば、例えばＷ＝０．６ｍ程度に設定する。閾値Ｌは前述したＺｈと同様に、俯瞰座標への変換誤差及び画像座標での座標測定誤差を考慮して決めればよい。また、車両情報により、領域Ｒの俯瞰座標のＺ軸となす角θを決定する。例えば、舵角情報を取得し、自車両の実舵角θｖを求め、θ＝θｖとしてもよいし、又は自車進路の道路曲率を求め、その道路曲率から算出した角度をθとしてもよい。

次に、領域Ｒを、選別した静止物に対して適用し、領域Ｒ内に他の静止物が存在しない場合、領域Ｒを適用した静止物を連続した静止物の切れ目候補であると判定する。

図１２は、切れ目判定を示す図である。
例えば、選別された静止物２に対して領域Ｒを設定する。ここでは、車両は直進しているものとしてθ＝０として考えると、領域Ｒを設定すると、静止物２の俯瞰座標の位置（Ｘ２，Ｚ２）に対して、Ｘ２−Ｌ／２≦Ｘ≦Ｘ２＋Ｌ／２、Ｚ２≦Ｚ≦Ｚ２＋Ｗの範囲を適用することになる。この範囲において、他の選別された静止物が存在するかしないかを判定する。図１２では、静止物２に設定した範囲の中に静止物３が存在し、静止物３に設定した範囲の中に静止物４が存在するため、静止物２〜４は連続した静止物であると判定する。また、静止物５に設定した範囲の中に静止物６が存在するため、静止物５、６を連続した静止物であると判定する。一方、静止物４に設定した範囲からは、静止物５が外れているので、この静止物４を切れ目候補と判定する。

飛出し判定部１１０では、切れ目候補として抽出された静止物に対して、飛出し判定処理を行い、飛出しを検出した場合に、検出結果を出力する。

図１３は、飛出し検出を示す図である。
図１３（ａ）には、ある時刻ｔ＝ｔ１における、切れ目に該当する縦エッジの模式図を示している。ここで、ｔ＝ｔ１のときの切れ目抽出時縦エッジＡの速度値をＶｏとすると、切れ目抽出時縦エッジＡが、画像が一ピクセル以上動く移動時間ｔｓをｔｓ＝１／Ｖｏで求めることができる。

図１３（ｂ）には、時刻ｔ＝ｔ１＋ｔｓのときに、静止物の陰から移動体が出現しなかった場合の模式図を示す。ｔ１から移動時間ｔｓが経過した後に、改めて切れ目に該当する縦エッジＢを抽出すると、それはｔ＝ｔ１のときに観測した画像速度の方向に一ピクセル移動している。図１３（ｂ）では、画像左側に一ピクセル移動している。また、このとき、切れ目に該当する縦エッジＢの速度値をＶｐ１とするとＶｐ１≧Ｖｏという関係が成り立つ。

図１３（ｃ）には、ある時刻ｔ＝ｔ１＋ｔｓのときに、静止物の陰から移動体が出現した場合の模式図を示す。ｔ１から移動時間ｔｓが経過した後に、改めて切れ目に該当する縦エッジＣを抽出すると、それはｔ＝ｔ１のときに観測したときと、ほぼ同じ位置に観測される。また、縦エッジＣの速度値をＶｐ２とするとＶｐ２≦Ｖｏという関係が成り立つ。

そこで、飛出し判定部１１０では、先ず、ｔ＝ｔ１の時点で、切れ目に該当する縦エッジＡが画像上一ピクセル以上動く移動時間ｔｓを算出する。例えば、二ピクセル以上動く移動時間ｔｓ＝２／Ｖｏとして算出する。また、ｔ＝ｔ１のときの縦エッジＡの画像上の位置Ｘｏ、速度情報Ｖｏを記憶領域へ格納する。例えば、ｔ＝ｔ１のときのある縦エッジＡを切れ目抽出時エッジとし、その画像上のｘ座標値をＸｏ、画像上のｙ座標の最小値をＹｏとし、これら（Ａ，Ｘｏ，Ｙｏ，Ｖｏ）を一セットとしてメモリ上の記憶領域へ格納する。このとき、Ｘｏを切れ目位置とする。

次に、ｔ１の時点から移動時間ｔｓが経過した後（ｔ＝ｔ１＋ｔｓ）、改めて縦エッジの位置と速度値を観測し、飛出し物体があるか否かを判定する。先ず、上記の処理で記憶した切れ目抽出時縦エッジＡに最も近い縦エッジを抽出する。ｔ＝ｔ１＋ｔｓのときに抽出されたｔ１時の切れ目抽出時縦エッジＡに最も近い縦エッジの画像上のｘ座標値をＸｐとし、｜Ｘｐ−Ｘｏ｜≧Ｘｔｈの場合には、飛出し物体はないと判断する。一方、｜Ｘｐ−Ｘｏ｜＜Ｘｔｈの場合には、速度値での判定処理を行う。ここで、Ｘｔｈは位置変化判定のための閾値であり、Ｘｔｈ＝Ｖｏ×Ｔｓで算出する。

速度値の判定処理は、例えば、ｔ＝ｔ１のときの切れ目抽出時縦エッジＡの速度値をＶｏ、ｔ＝ｔ１＋ｔｓのときに抽出された縦エッジの速度値をＶｐとした場合、｜Ｖｐ｜−｜Ｖｏ｜≦Ｖｔｈのときに、飛出し物体があると判定し、｜Ｖｐ｜−｜Ｖｏ｜＞Ｖｔｈのときに、飛出し物体は無いと判定する。ここで、Ｖｔｈは速度値判定の閾値であり、例えばＶｐがＶｏと同じ速度以下の場合を想定してＶｔｈ＝０としてもよいし、移動時間ｔｓが経過するまでの間、ある画像位置に留まった場合の画像速度をＶｆを計算し、Ｖｔｈ＝（｜Ｖｆ｜−｜Ｖ０｜）／２としてもよい。

上記の処理により、飛出し判定部１１０が飛出し判定処理を行った後に、判定結果の出力を行う。

図１４は、車外認識処理を示すフローチャートである。
この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。

先ずステップＳ１０１では、カメラ１０１で撮像された自車両前方の画像が予め定められた周期毎にエッジ抽出部１０４に出力される。
続くステップＳ１０２では、エッジ抽出部１０４が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出すると共にエッジ画像の正規化を行う（二値化処理、細線化処理、膨張処理）。

続くステップＳ１０３では、エッジ画像のカウントアップ処理を行ってから、移動情報算出部１０５がエッジの速度を算出し、算出した移動情報を予め定められた階調で表した速度画像を算出する。
続くステップＳ１０４では、算出した速度画像より、立体物の候補となる縦エッジの抽出を行う。

続くステップＳ１０５では、全ての画素に対し抽出処理をしたかを判定し、全ての抽出が完了していればステップＳ１０６に移行する。一方、全ての抽出が完了していないときには前記ステップＳ１０４に移行する。
ステップＳ１０６では、ステップＳ１０４で抽出した縦エッジの下端点の画像座標の位置を抽出する。

続くステップＳ１０７では、ステップＳ１０６で抽出した縦エッジの下端点の画像座標の位置を、カメラ１０１を原点とし、自車両進行方向をＺ軸とした俯瞰座標系へ座標変換する。
続くステップＳ１０８では、座標変換した縦エッジの下端点の位置と、車両情報入力部１０２から入力した自車両の速度情報とに基づいて、縦エッジが静止物であるか否かを判定する。

続くステップＳ１０９ではステップＳ１０８で静止物と判定した縦エッジのうち、俯瞰座標上で自車進路に近いものを抽出する。
続くステップＳ１１０では、ステップＳ１０９で抽出した自車両の進路に近い静止物と判定した縦エッジに対し、移動体の通行可能幅を想定した領域Ｒを適用し、適用した領域Ｒに二つ以上の静止物と判定した縦エッジがない場合に、領域Ｒを適用した縦エッジを、連続した静止物の切れ目候補として判定する。

続くステップＳ１１１では、ステップＳ１１０で連続した静止物の切れ目候補として判定された縦エッジの速度情報から、この縦エッジが予め定められたピクセル以上移動するのに要する移動時間ｔｓを算出する。
続くステップＳ１１２では、切れ目に該当する縦エッジを切れ目抽出時縦エッジとし、この切れ目抽出時縦エッジのｘ座標値を切れ目位置とし、これら切れ目抽出時縦エッジと切れ目位置とを切れ目情報として記憶領域へ格納する。

続くステップＳ１１３では、ステップＳ１１１で算出した移動時間ｔｓが経過したかを判断し、移動時間ｔｓが経過したらステップＳ１１４に移行する。一方、移動時間ｔｓが経過していなければ前記ステップＳ１０１に戻る。
ステップＳ１１４では、ステップＳ１１２で格納した縦エッジの位置情報に最も近い、現在観測されている縦エッジを抽出する。

続くステップＳ１１５では、ステップＳ１１２で格納したｔ１時点の切れ目抽出時縦エッジの切れ目位置と、改めてステップＳ１１４で抽出したｔｓ経過後の縦エッジの位置情報とを比較し、閾値Ｘｔｈ以上位置変化があるか否かを判定する。閾値Ｘｔｈ以上の位置変化がある場合はステップＳ１１８に移行し、閾値Ｘｔｈ以上の位置変化がない場合にはステップＳ１１６に移行する。

ステップＳ１１６では、ステップＳ１１２で格納した縦エッジの速度情報と、ステップＳ１１４で抽出した縦エッジの速度情報を比較し、閾値Ｖｔｈ以上速度が遅くなっているか否かを判定する。閾値Ｖｔｈ以上速度が遅くなっていない場合はステップＳ１１８に移行し、閾値Ｖｔｈ以上速度が遅くなっている場合にはステップＳ１１７へ移行する。
ステップＳ１１７では、ステップＳ１１５及びステップＳ１１６の判定結果を受けて、ステップＳ１１４で抽出した縦エッジが飛出し物体であると判定する。

続くステップＳ１１８では、全てのステップＳ１１０で抽出した切れ目候補に対しステップＳ１１４からステップＳ１１７の飛出し判定をしたか否かを判定し、全ての切れ目候補に対し処理を行っている場合はステップＳ１１９に移行する。一方、全てに対して行っていない場合はステップＳ１１４に移行する。
ステップＳ１１９では、飛出し物体の有無の判定結果を出力する。

続くステップＳ１２０では、イグニッションスイッチがオフになっているかを判定し、オフになっている場合は、車外環境認識処理を終了する。一方、イグニッションスイッチがオフになっていない場合は、前記ステップＳ１０１に戻る。

《作用》
先ず、自車両の前方を撮像した画像に対して、二値化処理、細線化処理、膨張処理を行うことによってエッジを抽出し（Ｓ１０２）、更にカウントアップ処理を行うことによって抽出したエッジにおける画像上での移動速度及び移動方向を算出する（Ｓ１０３）。

そして、抽出したエッジのうち、画像上で同一速度で縦方向に連続する縦エッジを抽出し（Ｓ１０４）、抽出した縦エッジのうち、静止物に属する縦エッジを抽出し（Ｓ１０８）、抽出した静止物に属する縦エッジのうち、静止物における自車進路方向の切れ目に該当する縦エッジを、予め定められた通行可能幅Ｗに基づいて抽出する（Ｓ１１０）。このとき、切れ目に該当する縦エッジを切れ目抽出時縦エッジとし、切れ目抽出時縦エッジの位置を切れ目位置とし、夫々を切れ目情報として記憶する（Ｓ１１２）。

そして、切れ目情報を記憶してから予め定められた移動時間ｔｓが経過した後に、改めて抽出した縦エッジの中で切れ目位置Ｘｏに最も近い縦エッジと、切れ目抽出時縦エッジＡとを比較することで、切れ目位置に最も近い縦エッジが切れ目からの飛出し物体に属する縦エッジであるか否かを判定する（Ｓ１１３〜Ｓ１１７）。

このように、静止物の切れ目に該当する縦エッジを抽出し、静止物の切れ目情報を記憶し、切れ目位置における縦エッジの経時変化に基づいて飛出し物体の検出を行うので、単に速度ベクトルに基づいて障害物の検出を行うよりも、障害物となり得る物体の検出精度を向上させることができる。

切れ目に該当する縦エッジの抽出は、先ず縦エッジの下端点を抽出し（Ｓ１０６）、画像を俯瞰画像に座標変換し、この俯瞰画像上に下端点を投影させて俯瞰画像を生成し（Ｓ１０７）する。

そして、静止物に属する縦エッジのうち、俯瞰画像上で、自車進路に沿って隣り合う第一の縦エッジ及び第二の縦エッジ間の距離が、通行可能幅Ｗを超えているときに、第一の縦エッジを切れ目に該当する縦エッジとして抽出する。

このように、第一の縦エッジに通行可能幅Ｗを適用し、その範囲に第二の縦エッジが含まれるか否かを判定するだけで、切れ目に属する縦エッジを容易に抽出することができる。

そして、飛出し物体の判定は、画像上で、切れ目位置に最も近い縦エッジの位置Ｘｐと切れ目位置Ｘｏとのｘ軸方向の距離（Ｘｐ−Ｘｏ）が、予め定められた距離閾値Ｘｔｈよりも短いときに（Ｓ１１５の判定が“Yes”）、その切れ目位置に最も近い縦エッジが、切れ目からの飛出し物体に属する縦エッジであると判定する（Ｓ１１７）。

このように、ｔ１から移動時間ｔｓが経過したときに改め抽出した縦エッジの位置Ｘｐと、切れ目位置Ｘｏとを比較するだけで、飛出し物体を容易に検出することができる。
また、飛出し物体の判定は、切れ目位置に最も近い縦エッジの移動速度Ｖｐが、切れ目抽出時縦エッジの移動速度Ｖｏよりも遅く、且つ速度差（｜Ｖｐ｜−｜Ｖｏ｜）が、予め定められた速度差閾値Ｖｔｈよりも大きいときに（Ｓ１１６の判定が“Yes”）、切れ目位置に最も近い縦エッジが、切れ目からの飛出し物体に属する縦エッジであると判断すると判定する。

このように、ｔ１から移動時間ｔｓが経過したときに改めて抽出した縦エッジの移動速度Ｖｐと、切れ目抽出時エッジの移動速度Ｖｏとを比較するだけで、飛出し物体を容易に検出することができる。

《効果》
以上より、車両情報入力部１０２が「車速情報取得手段」に対応し、カメラ１０１が「撮像手段」に対応し、ステップＳ１０２の処理が「エッジ抽出手段」に対応し、ステップＳ１０３の処理が「移動情報算出手段」に対応し、ステップＳ１０４の処理が「縦エッジ抽出手段」に対応する。また、ステップＳ１０８の処理が「静止物エッジ抽出手段」に対応し、ステップＳ１１０の処理が「切れ目エッジ抽出手段」に対応し、ステップＳ１１２の処理が「切れ目情報記憶手段」に対応し、ステップＳ１１１、Ｓ１１３〜Ｓ１１７の処理が「飛出し物体判定手段」に対応する。また、ステップＳ１０６の処理が「下端点抽出手段」に対応し、ステップＳ１０７の処理が「俯瞰画像生成手段」に対応する。

（１）自車両の車速情報を取得する車速情報取得手段と、自車両の前方を撮像する撮像手段と、前記撮像手段で撮像した画像からエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段で抽出したエッジにおける前記画像上での移動速度及び移動方向を移動情報として算出する移動情報算出手段と、前記エッジ抽出手段で抽出したエッジのうち、前記画像上で縦方向に連続する縦エッジを、前記移動情報算出手段で算出した移動情報に基づいて抽出する縦エッジ抽出手段と、前記縦エッジ抽出手段で抽出した縦エッジのうち、静止物に属する縦エッジを、前記移動情報算出手段で算出した移動情報、及び前記車速情報取得手段で取得した車速情報に基づいて抽出する静止物エッジ抽出手段と、前記静止物エッジ抽出手段で抽出した前記静止物に属する縦エッジのうち、前記静止物における自車進路方向の切れ目に該当する縦エッジを、移動体が通行可能となる予め定められた通行可能幅に基づいて抽出する切れ目エッジ抽出手段と、前記切れ目エッジ抽出手段で抽出した前記縦エッジを切れ目抽出時縦エッジとし、前記切れ目抽出時縦エッジの位置を切れ目位置とし、前記切れ目抽出時縦エッジ及び前記切れ目位置を切れ目情報として記憶する切れ目情報記憶手段と、前記切れ目情報記憶手段で前記切れ目情報を記憶してから予め定められた時間が経過した後に、改めて前記縦エッジ抽出手段で抽出した縦エッジの中で前記切れ目情報記憶手段で記憶した切れ目位置に最も近い縦エッジと、前記切れ目情報記憶手段で記憶した切れ目抽出時縦エッジとを比較することで、前記切れ目位置に最も近い縦エッジが前記切れ目からの飛出し物体に属する縦エッジであるか否かを判定する飛出し物体判定手段と、を備える。

このように、静止物の切れ目に該当する縦エッジを抽出し、静止物の切れ目情報を記憶し、切れ目位置における縦エッジの経時変化に基づいて飛出し物体の検出を行うので、単に速度ベクトルに基づいて障害物の検出を行うよりも、障害物となり得る物体の検出精度を向上させることができる。

（２）前記縦エッジ抽出手段で抽出した縦エッジの下端点を抽出する下端点抽出手段と、前記画像を俯瞰画像に座標変換し、且つ前記俯瞰画像上に前記下端点抽出手段で抽出した下端点を投影させて俯瞰画像を生成する俯瞰画像生成手段と、を備え、前記切れ目エッジ抽出手段は、前記静止物エッジ抽出手段で抽出した縦エッジのうち、前記俯瞰画像生成手段で生成した俯瞰画像上で、自車進路に沿って隣り合う第一の縦エッジ及び第二の縦エッジ間の距離が、前記通行可能幅を超えているときに、前記第一の縦エッジを前記切れ目に該当する縦エッジとして抽出する。

このように、第一の縦エッジに通行可能幅を適用し、その範囲に第二の縦エッジが含まれるか否かを判定するだけで、切れ目に属する縦エッジを容易に抽出することができる。

（３）前記飛出し物体判定手段は、前記画像上で、前記切れ目位置に最も近い縦エッジの位置と前記切れ目位置との横方向の距離が、予め定められた距離閾値よりも短いときに、前記切れ目位置に最も近い縦エッジが、前記切れ目からの飛出し物体に属する縦エッジであると判定する。

このように、予め定められた時間が経過したときに改め抽出した縦エッジの位置と、切れ目位置とを比較するだけで、飛出し物体を容易に検出することができる。

（４）前記飛出し物体判定手段は、前記切れ目位置に最も近い縦エッジの移動速度が、前記切れ目抽出時縦エッジの移動速度よりも遅く、且つ速度差が、予め定められた速度差閾値よりも大きいときに、前記切れ目位置に最も近い縦エッジが、前記切れ目からの飛出し物体に属する縦エッジであると判断すると判定する。

このように、予め定められた時間が経過したときに改めて抽出した縦エッジの移動速度と、切れ目抽出時エッジの移動速度とを比較するだけで、飛出し物体を容易に検出することができる。

（５）自車両の車速情報を取得し、自車両の前方を撮像した画像からエッジを抽出し、前記エッジにおける前記画像上での移動速度及び移動方向を移動情報として算出し、抽出した前記エッジのうち、前記画像上で縦方向に連続する縦エッジを、前記移動情報に基づいて抽出し、抽出した前記縦エッジのうち、静止物に属する縦エッジを、前記移動情報、及び車速情報に基づいて抽出し、抽出した前記静止物に属する縦エッジのうち、前記静止物における自車進路方向の切れ目に該当する縦エッジを、移動体が通行可能となる予め定められた通行可能幅に基づいて抽出し、前記切れ目に該当する縦エッジを切れ目抽出時縦エッジとし、前記切れ目抽出時縦エッジの位置を切れ目位置とし、前記切れ目抽出時縦エッジ及び前記切れ目位置を切れ目情報として記憶し、前記切れ目情報を記憶してから予め定められた時間が経過した後に、改めて抽出した縦エッジの中で前記切れ目位置に最も近い縦エッジと、前記切れ目抽出時縦エッジとを比較することで、前記切れ目位置に最も近い縦エッジが前記切れ目からの飛出し物体に属する縦エッジであるか否かを判定する。

１０ 車外環境認識装置
１００ 画像処理部
１０１ カメラ
１０２ 車両情報入力部
１０３ 画像一時記録部
１０４ エッジ抽出部
１０５ 移動情報算出部
１０６ 縦エッジ抽出部
１０７ 下端点抽出部
１０８ 静止物エッジ抽出部
１０９ 目エッジ抽出部
１１０ 飛出し判定部

Claims (5)

1. 自車両の車速情報を取得する車速情報取得手段と、
   自車両の前方を撮像する撮像手段と、
   前記撮像手段で撮像した画像からエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段で抽出したエッジの前記画像上での移動速度及び移動方向を移動情報として算出する移動情報算出手段と、
   前記エッジ抽出手段で抽出したエッジのうち、前記画像上で縦方向に連続する縦エッジを、前記移動情報算出手段で算出した移動情報に基づいて抽出する縦エッジ抽出手段と、
   前記縦エッジ抽出手段で抽出した縦エッジのうち、静止物に属する縦エッジを、前記移動情報算出手段で算出した移動情報、及び前記車速情報取得手段で取得した車速情報に基づいて抽出する静止物エッジ抽出手段と、
   前記静止物エッジ抽出手段で抽出した前記静止物に属する縦エッジのうち、前記静止物における自車進路方向の切れ目に該当する縦エッジを、移動体が通行可能となる予め定められた通行可能幅に基づいて抽出する切れ目エッジ抽出手段と、
   前記切れ目エッジ抽出手段で抽出した前記縦エッジを切れ目抽出時縦エッジとし、前記切れ目抽出時縦エッジの位置を切れ目位置とし、前記切れ目抽出時縦エッジ及び前記切れ目位置を切れ目情報として記憶する切れ目情報記憶手段と、
   前記切れ目情報記憶手段で前記切れ目情報を記憶してから予め定められた時間が経過した後に、改めて前記縦エッジ抽出手段で抽出した縦エッジの中で前記切れ目情報記憶手段で記憶した切れ目位置に最も近い縦エッジと、前記切れ目情報記憶手段で記憶した切れ目抽出時縦エッジとを比較することで、前記切れ目位置に最も近い縦エッジが前記切れ目からの飛出し物体に属する縦エッジであるか否かを判定する飛出し物体判定手段と、を備えることを特徴とする車外環境認識装置。
2. 前記縦エッジ抽出手段で抽出した縦エッジの下端点を抽出する下端点抽出手段と、
   前記画像を俯瞰画像に座標変換し、且つ前記俯瞰画像上に前記下端点抽出手段で抽出した下端点を投影させて俯瞰画像を生成する俯瞰画像生成手段と、を備え、
   前記切れ目エッジ抽出手段は、前記静止物エッジ抽出手段で抽出した縦エッジのうち、前記俯瞰画像生成手段で生成した俯瞰画像上で、自車進路に沿って隣り合う第一の縦エッジ及び第二の縦エッジ間の距離が、前記通行可能幅を超えているときに、前記第一の縦エッジを前記切れ目に該当する縦エッジとして抽出することを特徴とする請求項１に記載の車外環境認識装置。
3. 前記飛出し物体判定手段は、前記画像上で、前記切れ目位置に最も近い縦エッジの位置と前記切れ目位置との横方向の距離が、予め定められた距離閾値よりも短いときに、前記切れ目位置に最も近い縦エッジが、前記切れ目からの飛出し物体に属する縦エッジであると判定することを特徴とする請求項１又は２に記載の車外環境認識装置。
4. 前記飛出し物体判定手段は、前記切れ目位置に最も近い縦エッジの移動速度が、前記切れ目抽出時縦エッジの移動速度よりも遅く、且つ速度差が、予め定められた速度差閾値よりも大きいときに、前記切れ目位置に最も近い縦エッジが、前記切れ目からの飛出し物体に属する縦エッジであると判断すると判定することを特徴とする請求項１〜３の何れか一項に記載の車外環境認識装置。
5. 自車両の車速情報を取得し、自車両の前方を撮像した画像からエッジを抽出し、前記エッジの前記画像上での移動速度及び移動方向を移動情報として算出し、抽出した前記エッジのうち、前記画像上で縦方向に連続する縦エッジを、前記移動情報に基づいて抽出し、抽出した前記縦エッジのうち、静止物に属する縦エッジを、前記移動情報、及び車速情報に基づいて抽出し、抽出した前記静止物に属する縦エッジのうち、前記静止物における自車進路方向の切れ目に該当する縦エッジを、移動体が通行可能となる予め定められた通行可能幅に基づいて抽出し、前記切れ目に該当する縦エッジを切れ目抽出時縦エッジとし、前記切れ目抽出時縦エッジの位置を切れ目位置とし、前記切れ目抽出時縦エッジ及び前記切れ目位置を切れ目情報として記憶し、前記切れ目情報を記憶してから予め定められた時間が経過した後に、改めて抽出した縦エッジの中で前記切れ目位置に最も近い縦エッジと、前記切れ目抽出時縦エッジとを比較することで、前記切れ目位置に最も近い縦エッジが前記切れ目からの飛出し物体に属する縦エッジであるか否かを判定することを特徴とする車外環境認識方法。

Images