JP2006309313A - 道路認識装置 - Google Patents

Abstract

【課題】 撮像された車両前方の画像中から横断歩道の存在とその位置を正確に認識可能な道路認識装置を提供する。
【解決手段】 道路認識装置１は、道路を含む車両周辺を撮像して一対の画像を出力する撮像手段２と、一対の画像を設定領域ごとに所定の輝度階調の輝度ｐｎijを有する一対のデジタル画像に変換する変換手段３と、一対のデジタル画像に基づいて少なくとも一方のデジタル画像の各設定領域について実空間における距離を算出する画像処理手段６と、一方のデジタル画像についての設定領域ごとの輝度ｐｎijおよび距離に基づいて一方のデジタル画像上において横断歩道を検出する検出手段９とを有する。
【選択図】 図１

Description

本発明は、道路認識装置に係り、特にステレオカメラで車両前方を撮像した撮像画像から横断歩道を抽出することが可能な道路認識装置に関する。

近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のステレオカメラやビデオカメラで撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる道路形状の認識を行う道路認識装置の開発が進められている（例えば、特許文献１〜３等参照）。

車両が走行している道路の形状を認識するためには、自車両前方の道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の車線の位置を認識することが重要となる。そこで、このような道路認識装置では、通常、撮像画像の画素の輝度に着目し、車道と車線とで画素の輝度が大きく異なることを利用して輝度が大きく変わる画素部分をエッジとして抽出することで車線を認識するように構成されている。
特開２００１−９２９７０号公報 特開平５−３４７０００号公報 特開２００４−３１０５２２号公報

しかしながら、前記のようなカメラ情報に基づいた道路認識装置では、車線と似た輝度情報をもつ横断歩道等の道路標示を車線と誤認識してしまう可能性がある。特に、特許文献１に記載の車線認識装置のように車線認識において高輝度部分の間隔が車線の幅相当であることを条件としている場合には、次のような問題を有する。

すなわち、車線の規格は１０ｃｍ〜２０ｃｍに設定されているものの、実際の道路には１０ｃｍ〜５５ｃｍくらいまでの太い車線が存在するため、車線検出の幅の閾値を１０ｃｍ〜２０ｃｍに設定してしまうと太い車線を認識できなくなる。一方、実際の環境に合わせて車線検出の幅の閾値を１０ｃｍ〜５５ｃｍくらいまで拡大して設定すると、太さが５０ｃｍ前後の横断歩道まで車線として認識してしまう。このため、横断歩道と車線とを幅で区別するための閾値の設定が難しい。

また、車線認識における高輝度部分の検出幅を広げると、細めに標示された横断歩道を車道と誤認識してしまう場合がある。

一方、歩行者が多数存在し得る横断歩道を確実に認識し検出する技術は、横断歩行者の安全確保や車両側から見た場合の歩行者横断の危険度判定等の観点からも極めて重要な技術であり開発が強く望まれている分野である。

本発明は、前記事情に鑑みてなされたものであり、撮像された車両前方の画像中から横断歩道の存在とその位置を正確に認識可能な道路認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
道路認識装置において、
道路を含む車両周辺を撮像して一対の画像を出力する撮像手段と、
前記一対の画像を設定領域ごとに所定の輝度階調の輝度を有する一対のデジタル画像に変換する変換手段と、
前記一対のデジタル画像に基づいて少なくとも一方のデジタル画像の各設定領域について実空間における距離を算出する画像処理手段と、
前記一方のデジタル画像についての設定領域ごとの前記輝度および前記距離に基づいて前記一方のデジタル画像上において横断歩道を検出する検出手段と
を有することを特徴とする。

第１の発明によれば、道路認識装置は、撮像手段で車両前方の道路を含む車両周辺を撮像して一対の画像を出力し、変換手段でその一対の画像を画素ごとに所定の輝度階調の輝度を有する一対のデジタル画像に変換し、画像処理手段でその一対のデジタル画像に基づいて一方のデジタル画像の各画素について実空間における距離を算出し、検出手段ではその一方のデジタル画像についての画素ごとの輝度と距離のデータに基づいて一方のデジタル画像上で横断歩道を検出する。

第２の発明は、第１の発明の道路認識装置において、前記検出手段は、前記設定領域ごとの輝度の繰り返しパターンを認識し、前記繰り返しパターンが認識された設定領域に対応する実空間上の点が道路面上にある場合に横断歩道として検出することを特徴とする。

第２の発明によれば、道路認識装置の検出手段は、前記横断歩道の検出において、基準となる一方のデジタル画像上に高輝度の画素領域が繰り返し現れること、およびその高輝度の画素領域に対応する実空間上の点が道路面上にあることを認識して横断歩道として検出する。

第３の発明は、第１または第２の発明の道路認識装置において、前記検出手段は、道路を含む車両周辺として、自車両が走行している走行路およびそれに隣接する走行路を含む前方領域を検出対象とすることを特徴とする。

第３の発明によれば、道路認識装置の検出手段は、撮像手段により撮像された画像の中から自車両が走行している走行路上のみならず、それに隣接する走行路上の前方領域を検出対象として探索し、横断歩道を検出する。

第４の発明は、第３の発明の道路認識装置において、検出対象とされる前記前方領域は、実空間上で自車両から所定距離離れた領域であることを特徴とする。

第４の発明によれば、道路認識装置の検出手段は、一対のデジタル画像のうちの基準となる一方のデジタル画像の全画素領域を探索して横断歩道を検出するのではなく、実空間上で自車両から所定距離だけ離れた領域についてのみ監視し横断歩道を検出する。

第５の発明は、第４の発明の道路認識装置において、検出対象とされる前記前方領域は、昼間と夜間とで自車両からの所定距離の設定を可変とされていることを特徴とする。

第５の発明によれば、第４の発明における所定距離を、例えば、昼間は５０ｍ前方の領域、夜間は２０〜３０ｍ前方の領域のように昼間と夜間とで別の距離に設定する。

第６の発明は、第３から第５の発明のいずれかの発明の道路認識装置において、検出対象とされる前記前方領域は、前記一方のデジタル画像上の１画素幅のエピポーララインに対応する領域であることを特徴とする。

第６の発明によれば、第３から第５の発明における前方領域として、一対のデジタル画像のうちの基準となる一方のデジタル画像の全画素領域のうち１画素幅のエピポーララインの領域を探索して、実空間上で自車両からその１画素幅のエピポーララインに対応する所定距離だけ離れた領域についてのみ監視して横断歩道を検出する。

第１の発明によれば、道路認識装置は、撮像手段で撮像した一対の画像を変換手段で所定の輝度階調の輝度を有する一対のデジタル画像に変換して画素ごとに輝度のデータを生成する。画像処理手段ではその一対のデジタル画像に基づいて基準となる一方のデジタル画像の各画素について実空間における距離を算出して画素ごとに距離のデータを生成する。検出手段ではその一方のデジタル画像について生成された画素ごとの輝度と距離のデータに基づいて画像上で横断歩道を検出する。

そのため、横断歩道の白線の規格幅が４５〜５０ｃｍ程度と車線の規格幅１０〜２０ｃｍより広いことに対応して、画素上に現れる高輝度の画素領域、すなわち高輝度領域をその幅で峻別することで横断歩道の白線と車線とを明確に区別して認識することができるとともに、白線の幅を的確に検出することができるから、車線と誤認識することなく横断歩道の存在を正確に認識することが可能となる。

第２の発明によれば、道路認識装置の検出手段は、前記横断歩道の検出において、基準となる一方のデジタル画像上に高輝度の画素領域が繰り返し現れること、およびその高輝度の画素領域に対応する実空間上の点が道路面上にあることを認識した場合に初めてその繰り返される高輝度領域を横断歩道として検出する。

そのため、道路面より高い位置に存在するガードレールや電信柱、先行車両のピラーやバンパ等が映った高輝度の画素や、繰り返しパターンを持たない道路面上のゴミや汚れ等が映った高輝度の画素を横断歩道の白線と誤って判断することを防止することができ、前記第１の発明の効果をより有効に発揮させることが可能となる。

第３の発明によれば、道路認識装置の検出手段は、撮像手段により撮像された画像の中から自車両が走行している走行路上のみならず、それに隣接する走行路上の前方領域を検出対象として探索し、横断歩道を検出するため、例えば、先行車両が横断歩道上にあって自車両が走行している走行路上で横断歩道の検出ができない場合でもその隣接する走行路上を探索することで横断歩道を検出することが可能となり、前記各発明の効果をより的確に発揮させることができる。

第４の発明によれば、道路認識装置の検出手段は、一対のデジタル画像のうちの基準となる一方のデジタル画像の全画素領域を探索して横断歩道を検出するのではなく、実空間上で自車両から所定距離だけ離れた領域のみを監視し横断歩道を検出する。このようにすれば、前記各発明の効果に加え、基準となる一方のデジタル画像の全画素領域を探索する場合に比べて処理時間を格段に短縮することが可能となる。

また、自車両の走行にしたがって遠方から接近してくる横断歩道は必ず自車両から所定距離だけ離れた領域を通過するから、前記第３の発明のように、自車両が走行している走行路やそれに隣接している走行路を監視していれば、自車両の所定距離前方の領域を監視するだけで横断歩道を確実に検出することができる。

第５の発明によれば、第４の発明における所定距離を昼間と夜間とで別の距離に設定することで、例えば、昼間は横断歩道の早期発見の観点から５０ｍ前方の領域を監視するように設定し、夜間はヘッドライトで確実に照らされる２０〜３０ｍ前方の領域を監視するように設定することで、前記第４の発明の効果をより的確に発揮させることが可能となると同時に、それらの情報を自動変速機（ＡＴ）制御部等の各種制御部に送って各種制御部に的確に対応をとらせることができ、横断歩行者の安全確保をより確実に図ることが可能となる。

第６の発明によれば、第３から第５の発明における前方領域として、一対のデジタル画像のうちの基準となる一方のデジタル画像の全画素領域のうち１画素幅のエピポーララインの領域を探索して、実空間上で自車両からその１画素幅のエピポーララインに対応する所定距離だけ離れた領域についてのみ監視して横断歩道を検出する。そのため、２画素以上の画素幅のエピポーララインを探索する場合と比較して検出にかかる時間がより短縮されるとともに、横断歩道の位置を明確に検出することが可能となり、前記第３から第５の発明の効果がより的確に発揮される。

以下、本発明に係る道路認識装置の実施の形態について、図面を参照して説明する。

図１は、本実施形態に係る道路認識装置のブロック図である。道路認識装置１は、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とから構成されている。

撮像手段２は、車両周辺を撮像するものであり、車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられており、一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され横断歩道が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されており、Ａ／Ｄコンバータ３ａ、３ｂは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像を、それぞれ画素ごとに、例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像である基準画像と比較画像とに変換するように構成されている。

Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されており、画像補正部４は、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれや輝度の補正等の画像補正をアフィン変換等を用いて行うようになっている。

なお、本実施形態では、基準画像は、図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度からなる画像データとして、また、比較画像は水平方向が６４０画素、垂直方向が２００画素分の輝度からなる画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、それぞれの画像データは画像補正部４に接続された画像データメモリ５に格納されるようになっている。なお、図２中のドット部分は車両や電柱等の主な影を表す。

画像補正部４には、画像処理手段６が接続されており、画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とから構成されている。

イメージプロセッサ７では、画像補正部４から出力されたステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像および比較画像のデジタルデータに基づいて基準画像の各画素又または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するために視差ｄを算出するようになっている。この視差ｄの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。

イメージプロセッサ７は、５１２×２００画素を有する基準画像について４×４画素の画素ブロックごとに１つの視差ｄを算出するようになっている。１つの画素ブロックを構成する１６画素にはそれぞれ０〜２５５の輝度ｐ１ijが割り当てられており、その１６画素の輝度ｐ１ijがその画素ブロック特有の輝度特性を形成している。なお、輝度ｐ１ijの添字ｉおよびｊは、基準画像や比較画像の画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の各画素のｉ座標およびｊ座標を表す。

イメージプロセッサ７におけるステレオマッチング処理では、前記のように基準画像を４×４画素ごとに最大１２８×５０個の画素ブロックに分割し、比較画像を水平方向に延在する４画素幅のエピポーララインに分割する。そして、基準画像の１つの画素ブロックを取り出してそれに対応する比較画像のエピポーラライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となるエピポーラライン上の画素ブロック、すなわち基準画像の画素ブロックと似た輝度特性を有する比較画像上の画素ブロックを探索するようになっている。

なお、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度を表す。

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄとして基準画像上の画素ブロックに割り付けるようになっている。なお、この視差ｄは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像および比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄとは三角測量の原理に基づいて一義的に対応付けられる。

また、イメージプロセッサ７は、視差ｄの信頼性を向上させる目的から、このようにして求めた視差ｄに対してフィルタリング処理を施し、有効とされた視差ｄのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像のエピポーラライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄが算出されてもその視差ｄの信頼性は低い。そのため、そのような視差ｄは前記フィルタリング処理で無効とされ、視差ｄの値として０を出力するようになっている。

したがって、イメージプロセッサ７から出力される基準画像の各画素の距離データ、すなわち基準画像の各画素ブロックについて実空間における距離を算出するための視差ｄは、通常、図３の擬似画像に示されるように、基準画像の左右方向に隣り合う画素間で輝度ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。なお、図３では、距離データを有する画素ブロックが黒色で表されている。

イメージプロセッサ７で算出された基準画像の各画素ブロックの距離データは、画像処理手段６の距離データメモリ８に格納されるようになっている。

検出手段９は、本実施形態では、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されているが、例えば、車載の既存のＥＰＵ内に構築することも可能である。検出手段９は、基準画像についての各画素の輝度および距離に基づいて基準画像上において横断歩道を検出するようになっている。

また、検出手段９は、画像データメモリ５および距離データメモリ８に格納されている各データから道路の車線を抽出する機能をも有しており、横断歩道や車線の検出結果は、検出手段９から図示しない自動変速機（ＡＴ）制御部やエンジン制御部、アンチロックブレーキシステム（ＡＢＳ）制御部、トラクションコントロールシステム（ＴＣＳ）制御部、車両挙動制御部等の各種制御部に送信され、各制御部でそれに基づいて適切な処理を行われ、車載モニタ等の表示手段に送信されて表示され、あるいは警報装置に送信されて運転者に必要な警告が発せられるようになっている。

なお、検出手段９における車線抽出は、公知の手法を用いることができ、本実施形態では、検出手段９は、前記特許文献１に記載されている車線認識装置の機能を有するように構成されている。

検出手段９は、前記画像データメモリ５および距離データメモリ８に格納されている基準画像の各画素の輝度ｐ１ijからなる画像データおよび基準画像の各画素ブロックごとの距離データである視差ｄのデータをそれぞれ読み出して、それらのデータに基づいて基準画像上の横断歩道を検出するようになっている。

本実施形態では、検出手段９は、基準画像に撮像された前方風景の全画素領域を探索した横断歩道を検出すると処理時間が長くなるため、実空間において自車両から所定距離だけ離れた前方領域のみを探索して横断歩道を検出するように構成されている。横断歩道の検出対象となる前方領域は、例えば、昼間には横断歩道の早期発見の観点から５０ｍ前方の領域が設定され、夜間にはヘッドライトで確実に照らされる２０〜３０ｍ前方の領域が設定されるように設定を切り換えられるようになっていれば好ましい。

具体的には、検出手段９は、まず、初期設定において自車両から探索すべき前方領域までの距離Ｌ、例えば前記例では５０ｍが設定されると、予め前記前方領域に対応する基準画像上の１画素幅のエピポーララインのｊ座標ｊｒを算出しておくように構成されている。

すなわち、図４に示されるように、メインカメラ２ａの焦点距離をｆ、メインカメラ２ａの取付高さをｈとすると、メインカメラ２ａにおける結像位置における前方領域Ｒの映像と消失点とのずれｘは、ｘ＝ｈ×ｆ／Ｌで表されるから、基準画像上では、前方領域Ｒは、ピクセル長をｐとした場合、
ｘpixel＝ｘ／ｐ＝ｈ×ｆ／（Ｌ×ｐ） …（２）
だけ消失点から下方に位置するエピポーララインとして表される。従って、メインカメラ２ａの取付状態によって決まる消失点のｊ座標ｊａから前記ｘpixelを減することで前記前方領域Ｒまでの距離Ｌに対応する基準画像上のエピポーララインのｊ座標ｊｒが算出される。以下、このエピポーララインをエピポーララインｊｒという。

なお、本実施形態では、検出対象とされる前方領域は、前述したように、基準画像上の１画素幅のエピポーララインに対応する領域であるが、２画素以上の画素幅のエピポーララインに対応する前方領域を探索するように構成することも可能である。

本実施形態では、検出手段９は、画像データメモリ５から基準画像の画像データを読み出すと、図５に示されるような基準画像のエピポーララインｊｒ上を左端のｉ＝０の画素から右方向に全画素の輝度ｐ１ijrを読み取るように構成されている。すなわち、本実施形態では、自車両が走行している走行路のみならず、それに隣接する走行路も横断歩道の検出対象とされるようになっている。

このようにして読み取られる輝度ｐ１ijrは、例えば、図６に示されるような分布になる。なお、図６では、輝度ｐ１ijrは図５に示されたエピポーララインｊｒ上を走査して得られた輝度には必ずしも対応しておらず、輝度０〜２００の範囲で示している。

検出手段９がこの輝度ｐ１ijrに基づいてエピポーララインｊｒ上に横断歩道が存在すると判断する条件は以下のとおりである。

条件１：エピポーララインｊｒ上の画素中に、輝度微分値が正の閾値Ｅth以上であり、かつ、輝度が開始点輝度判定閾値Ａth１以上である画素が存在すること。以下、この画素を開始画素といい、開始画素に対応する実空間上の点を開始点という。
条件２：開始点が道路面上にあること。
条件３：エピポーララインｊｒ上の画素中に、輝度微分値が負の閾値−Ｅth以下である画素が存在すること。以下、この画素を終了画素といい、終了画素に対応する実空間上の点を終了点という。

条件４：開始点と終了点との間隔が所定の範囲内であり、かつ、開始画素から終了画素までの輝度平均値Ａaveが白線輝度判定閾値Ａth２以上である高輝度領域が存在すること。
条件５：隣接する高輝度領域の間隔が高輝度領域の幅と等しいまたは高輝度領域の幅の３倍であること。
条件６：高輝度領域が３箇所以上存在すること。

条件１での開始画素における輝度微分値の制限は、車道のアスファルトと横断歩道の白線との境界には、通常、輝度特性に強いエッジ強度が現れることによる。また、開始画素の輝度の制限は、輝度微分値の条件をクリアしても、例えば、図６に示される画素Ｓのように影を映した画素と車道のアスファルトを映した画素との境界等である場合には開始画素と判断しないようにするためのものである。

検出手段９は、基準画像のエピポーララインｊｒ上の各画素の輝度ｐ１ijrと直前の画素の輝度ｐ１i-1jrとの差分を取ってその画素が条件１を満たすか否かを判断するようになっている。

条件２は、条件１をクリアする画素であっても、例えば、その画素がガードレールや電信柱、先行車両のピラーやバンパ等である場合には開始画素から排除することを目的とするものである。ガードレールや先行車両等は道路面より高い位置にあるから、それがエピポーララインｊｒ上にある場合、すなわち、図４の前方領域Ｒとメインカメラ２ａとを結ぶ線上にある場合、そのガードレールや先行車両等までの距離は前方領域Ｒまでの距離Ｌより小さくなる。そのため、条件１をクリアする画素の距離データを調べることで、その画素に対応する実空間上の点が道路面上にあるか否かを判断することができる。

検出手段９は、条件１を満たした画素について距離データメモリ８から距離データを読み出して実空間上の距離を算出し、算出された距離が設定された距離Ｌ近傍の許容範囲内にあるか否かを判断し、例えば、図６の画素Ａのようにこの許容範囲内にある画素のみを開始画素と判断するようになっている。図６の画素Ｔのように先行車両のバンパ部分を映した画素等はこの段階で開始画素から除外されるようになっている。なお、前記許容範囲は視差ｄの精度やピクセル長ｐ等から適宜決められる。

条件３および条件４は、横断歩道の白線の開始点とは反対側の端部である終了点を見出し、開始点と終了点の間隔および両者間に存する画素の輝度が横断歩道の白線として適切であるか否かを判断するためのものである。横断歩道の白線の幅の規格は４５〜５０ｃｍ程度とされており、車線の規格１０〜２０ｃｍより広い。そのため、例えば、誤差等を含めて開始点と終了点との間隔が実空間上で２５〜７０ｃｍの範囲内であれば、横断歩道の白線であると判別することができる。

検出手段９は、条件１の判断と同様にしてエピポーララインｊｒ上の各画素が条件３を満たすか否かを判断し、例えば、図６の画素Ｂのように条件３を満たした画素を終了画素とし、距離データメモリ８から終了画素についての距離データを読み出して距離を算出し、開始画素に対応する開始点と終了画素に対応する終了点との実空間上での距離が前記所定の範囲内であるか否か、および開始画素から終了画素までの輝度平均値Ａaveが白線輝度判定閾値Ａth２以上であるか否かを判断するようになっている。

ここで、実空間上における開始点と終了点との距離は、図７に示されるように、基準画像上の開始画素に対応するように前方領域に開始点Ｐを投影し、同様に終了画素に対応するように終了点Ｑを投影して点Ｐ、Ｑ間の距離を算出することにより求めるようになっている。

また、輝度微分値の閾値Ｅthについては適宜決められるが、開始点輝度判定閾値Ａth１および白線輝度判定閾値Ａth２の設定は、本実施形態では、道路面の輝度である道路面輝度Ａroadに基づいて算出されるようになっている。

前述したように、本実施形態では、検出手段９は前記特許文献１に記載されている車線認識装置の機能を有するように構成されており、その車線認識においては、基準画像のエピポーラライン上の車線を検出するために、そのエピポーララインとその直下の４本のエピポーララインにおける車線近傍の車線外の部分に相当する画素の輝度ヒストグラムを算出し、その中で出現度数が最大となる輝度値を道路面輝度Ａroadとしている。

本実施形態においても、同様に道路面輝度Ａroadを算出してもよいが、エピポーララインｊｒの直下の４本のエピポーララインにも横断歩道が映っており道路面輝度Ａroadが算出できない場合があるので、本実施形態では、例えば、エピポーララインｊｒの下方１０本目のエピポーララインにおける車線検出に用いられた道路面輝度Ａroadが用いられるようになっている。

また、開始点輝度判定閾値Ａth１および白線輝度判定閾値Ａth２は、この道路面輝度Ａroadに定数α、β（ただし０＜α＜β）を加算することで算出されるようになっている。なお、αおよびβの値は適宜決められる。

条件５および条件６は、以上のようにして認識された画素ごとの輝度の繰り返しパターンが横断歩道の白線のように一定の間隔をおいて繰り返し検出されるか否かを判断するためのものである。横断歩道は、図８（Ａ）に示されるように理想的には白線が白線と同じ幅分の間隔を置いて繰り返し標示されるものであり、図８（Ｂ）に示されるように自動車等のタイヤ痕で一部が白線と認識されない場合でも、検出された白線同士の間隔は白線の幅の奇数倍の間隔になるはずである。

そのため、本実施形態では、検出手段９は、前記条件４までで検出された高輝度領域の開始点と終了点との距離を、距離データメモリ８から読み出したそれぞれの距離データから算出し、高輝度領域の間隔がその距離に等しいかあるいは高輝度領域の幅の３倍であり、このような高輝度領域が３回以上繰り返されている場合にそれらを横断歩道として検出するように構成されている。図８（Ｃ）に示されるように、高輝度領域、すなわち、白線部分が同じ幅であっても、その間隔が上記条件を満たさない場合には横断歩道とはみなさないようになっている。

なお、前述した白線の間隔がその幅に等しいかあるいは３倍であるかの基準には、許容される範囲が設けられており、その範囲内であれば等しいあるいは３倍であると判断されるようになっている。この範囲は適宜決められる。

次に、本実施形態に係る道路認識装置の作用について説明する。

図９は、本実施形態に係る道路認識装置の処理の基本ルーチンを示すフローチャートである。道路認識装置１は、起動されると、まず、撮像手段２、変換手段３、画像補正部４および画像処理手段６での処理により距離データおよび画像データが生成され（ステップＳ１）、画像データメモリ５および距離データメモリ８に格納される。

そして、検出手段９は、その距離データや画像データに基づいて横断歩道を検出し（ステップＳ２）、検出された開始画素や終了画素等のデータが自動変速機（ＡＴ）制御部等の各制御部に送信されて（ステップＳ３）、各制御部での処理に活用される。また、道路認識装置１は、以上の処理を繰り返して行う。

距離データや画像データの生成については、前述した画像処理手段６等の構成において述べたとおりであり、前記特許文献１や特開平５−１１４０９９号公報に詳述されているので説明は省略し、以下、検出手段９における横断歩道の検出（ステップＳ２）について説明する。

図１０は、本実施形態に係る道路認識装置の検出手段における処理ルーチンを示すフローチャートである。検出手段９では、まず、横断歩道の白線に相当する高輝度領域の検出個数ｎを０に設定した後（ステップＳ２０）、画像データメモリ５から読み出したエピポーララインｊｒ上の画素が前記条件１を満たすか否かが判断される（ステップＳ２１）。

探索開始直後では、画素が条件１を満たさない場合が多く（ステップＳ２１：ＮＯ）、その場合は、後述する開始画素候補が登録されているか否かが判断され（ステップＳ２２）、検出手段９の記憶領域には開始画素候補は登録されていないから（ステップＳ２２：ＮＯ）、エピポーララインｊｒ上の全画素が探索されたか否かが判断された後（ステップＳ２３：ＮＯ）、探索対象をその画素のエピポーララインｊｒの右隣りの画素に移しながら探索が繰り返される。

条件１を満たす画素が見出されると（ステップＳ２１：ＹＥＳ）、続いてその画素が条件２を満たすか否かが判断される（ステップＳ２４）。前述したガードレールや先行車両等を映した画素のように条件１を満たしても条件２を満たさないものは（ステップＳ２４：ＮＯ）は開始画素候補とはみなされずに、探索が続行される。

また、条件１を満たす画素に対応する実空間上の点が道路面上にあると判断されると（ステップＳ２４：ＹＥＳ）、その画素は開始画素となり得る画素であるから、開始画素候補として登録される（ステップＳ２５）。具体的には、開始画素候補の基準画像上の座標が記憶される。その際、既に登録されている開始画素候補があればその既存の開始画素候補は抹消され、新たに見出された開始画素候補が登録される。このように、終了画素が見出されないうちに新たな開始画素候補が見出されると、既存の開始画素候補は抹消される。

開始画素候補として登録された画素以降の画素の探索においては、記憶領域に開始画素候補が登録されているから（ステップＳ２２：ＹＥＳ）、条件３を満たすか否か、すなわち、終了画素であるか否かの判断が行われる（ステップＳ２６）。そして、終了画素でない（ステップＳ２６：ＮＯ）と判断された画素が続き、開始画素候補からの画素数が所定の画素範囲を越えると（ステップＳ２８：ＹＥＳ）、記憶領域中の開始画素候補を抹消する（ステップＳ２８）。

ここで、所定の画素範囲を設定する理由は、一定の距離に対応する画素範囲を探索しても終了画素が見出されないような開始画素候補は横断歩道の白線の開始点に相当する画素として適切ではなく、そのような開始画素候補を篩にかけるためである。また、所定の画素範囲は、例えば、実空間上で開始画素候補に対応する点から１ｍ離れた点に対応する画素までの範囲が設定される。

開始画素候補が登録された後、条件３を満たす画素が見出されると（ステップＳ２６：ＹＥＳ）、続いて、その画素が条件４を満たすか否か、すなわち、横断歩道の白線の終了点に対応する点としてふさわしいか否かが判断され（ステップＳ２９）、開始点と終了点との間隔が所定の範囲内にないか、あるいは開始画素から終了画素までの輝度平均値Ａaveが白線輝度判定閾値Ａth２以上でなければ（ステップＳ２９：ＮＯ）、横断歩道の白線の開始点として適切でないとして開始画素候補が抹消される（ステップＳ２８）。

また、その画素が条件４を満たすと判断されると（ステップＳ２９：ＹＥＳ）、既に登録されている開始画素および終了画素が有無が判断され（ステップＳ３０）、なければ（ステップＳ３０：ＮＯ）今回の探索で見出された開始画素候補を開始画素として終了画素とともに記憶領域に登録する（ステップＳ３１）。具体的には、開始画素と終了画素の基準画像上の座標がそれぞれ記憶される。そして、検出個数ｎを１に設定し（ステップＳ３２）、記憶領域に登録されている開始画素候補を抹消して（ステップＳ３３）、エピポーララインｊｒ上の全画素が探索されていなければ（ステップＳ２３：ＮＯ）、次の画素の探索が続行される。

既に登録されている開始画素および終了画素があれば（ステップＳ３０：ＹＥＳ）、条件５を満たすか否か、すなわち、隣接する高輝度領域の間隔が高輝度領域の幅と等しいか否かまたは高輝度領域の幅の３倍であるか否かが判断され（ステップＳ３４）、条件４を満たす場合には（ステップＳ３４：ＹＥＳ）、今回検出された開始画素候補を開始画素として終了画素とともに記憶領域に追加登録し（ステップＳ３５）、検出個数ｎを１増加させて（ステップＳ３６）、記憶領域に登録されている開始画素候補を抹消する（ステップＳ３３）。

また、図８（Ｃ）に示された白線群のように条件５を満たさない場合には（ステップＳ３４：ＮＯ）、既に登録されている開始画素や終了画素をすべて抹消して、今回検出された開始画素候補を開始画素として終了画素とともに記憶領域に登録する（ステップＳ３７）。そして、検出個数ｎを１に設定し（ステップＳ３８）、記憶領域に登録されている開始画素候補を抹消する（ステップＳ３３）。

本実施形態では、このように、画素が条件５を満たさない場合には既に登録されている開始画素や終了画素をすべて抹消して検出個数をリセットするようになっているが、例えば、既に登録されている開始画素と終了画素の組が３組以上ある場合には、横断歩道である可能性があるものとして記憶領域から抹消しないようにすることも可能である。また、画素が条件５を満たさない場合に、既に登録されている開始画素や終了画素を残し、今回検出された開始画素と終了画素を登録しないようにしてもよい。

このようにしてエピポーララインｊｒ上のすべての画素について探索が終了すると（ステップＳ２３：ＹＥＳ）、条件６を満たすか否か、すなわち、前記条件１〜５を満たした高輝度領域が３個以上存在して画素ごとの輝度の繰り返しパターンがあるか否かが判断され（ステップＳ３９）、３個以上あれば（ステップＳ３９：ＹＥＳ）、横断歩道が検出されたとして（ステップＳ４０）記憶領域に登録されている開始画素と終了画素の基準画像上の座標の組が出力される。

また、高輝度領域の検出個数ｎが３未満であれば（ステップＳ３９）、横断歩道は検出されないとして（ステップＳ４１）記憶領域に開始画素と終了画素の基準画像上の座標が登録されていてもそれらは出力されない。

以上のように、本実施形態に係る道路認識装置１によれば、横断歩道の白線の規格幅が４５〜５０ｃｍ程度と車線の規格幅１０〜２０ｃｍより広いことに着目して車線と横断歩道とをその幅で峻別して認識するものであるから、車線と誤認識することなく横断歩道の存在を的確に認識することができる。

また、基準画像上の画素の輝度に基づいて高輝度領域が繰り返しパターンを持つか否かを判断し、横断歩道の白線に対応する可能性がある高輝度領域の幅が前記規格幅にあるか否か等の判断を画像処理で得られた実区間上の距離に基づいて行うため、画素に対応する実空間上の点の位置や距離、繰り返しパターンを正確に算出することができ、正確に横断歩道を検出することが可能となる。

その際、距離データに基づいて高輝度領域の画素に対応する点が道路面上にあるか否かを確認をとりながら判断を行うことで横断歩道の検出精度をより向上させることができる。さらに、このような正確な横断歩道の情報が自動変速機（ＡＴ）制御部等の各制御部に送信されることで、それに基づいて各制御部に適切な処理を行わせることが可能となる。

なお、本実施形態では、基準画像上の１本のエピポーララインｊｒ上、あるいは昼間と夜間とで可変とされたそれぞれ１本のエピポーラライン上を探索する場合について述べたが、この他にも、例えば、各制御部での用途等に応じて、探索すべき前方領域までの距離を種々設定し、複数のエピポーラライン上を探索するように構成することも可能である。

また、本実施形態では、エピポーララインｊｒ上を左端の画素から右方向に全画素の輝度を読み取る場合を示したが、この他にも、例えば、エピポーララインｊｒのｉ方向の中心位置から左右方向に向かってそれぞれ走査するように構成することも可能である。

さらに、本実施形態では、エピポーララインｊｒ上の画素の輝度を読み出しながら、同時に開始画素および終了画素の登録、抹消を行うように構成されているが、エピポーララインｊｒ上の探索が終了するまで開始画素および終了画素の抹消を行わず、探索が終了した後、条件５に基づく開始画素および終了画素の組の選別を行うように構成してもよい。

また、図４では、道路面が水平面であると仮定して、自車両の前方領域Ｒまでの距離Ｌに対応する基準画像上のエピポーララインｊｒを算出する方法について説明したが、道路面が傾斜している場合もある。

前述したように、本実施形態では、検出手段９は前記特許文献１に記載されている車線認識装置の機能を有するように構成されており、このような場合、その車線認識においては、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点として、車幅方向をＸ軸、車高方向をＹ軸、前方方向をＺ軸とした場合に、下記（３）式および（４）式で表される道路高さに関する車線モデルを用いて車線認識を行っている（なお、ｃ_Ｌ、ｃ_Ｒ、ｄ_Ｌおよびｄ_Ｒの算出方法については特許文献１を参照）。
左車線 Ｙ＝ｃ_Ｌ・Ｚ＋ｄ_Ｌ …（３）
右車線 Ｙ＝ｃ_Ｒ・Ｚ＋ｄ_Ｒ …（４）

道路が傾斜している場合には、基準画像上のエピポーララインｊｒを定める際に、まず、前記車線認識において算出したｃ_Ｌ、ｃ_Ｒ、ｄ_Ｌおよびｄ_Ｒの値を用いてｃ＝（ｃ_Ｌ＋ｃ_Ｒ）／２、ｄ＝（ｄ_Ｌ＋ｄ_Ｒ）／２により平均値ｃ、ｄをそれぞれ算出し、次に、基準画像上の消失点からエピポーララインｊｒまでの画素数ｘpixelを求める際に前記（２）式を用いる代わりに、
ｘpixel＝ｘ／ｐ＝（ｈ−（ｃ・Ｌ＋ｄ））×ｆ／（Ｌ×ｐ） …（５）
を用いてｘpixelを算出することで正確に自車両の前方領域までの距離Ｌに対応する基準画像上のエピポーララインｊｒを算出することができる。

なお、前述したように、ｆはメインカメラ２ａの焦点距離、ｈはメインカメラ２ａの取付高さ、ｐはピクセル長を表す。

本実施形態に係る道路認識装置のブロック図である。 デジタルデータ化された基準画像を説明する図である。 基準画像に対応するように距離データを並べた擬似画像を示す図である。 距離が設定された前方領域と基準画像上のエピポーララインとの対応を説明する図である。 基準画像とエピポーララインとの関係を説明する図である。 エピポーラライン上を走査して得られる輝度の分布を例示する図である。 エピポーラライン上の点の距離の算出方法を説明する図である。 白線が検出される種々の繰り返しパターンを説明する図である。 本実施形態に係る道路認識装置の処理の基本ルーチンを示すフローチャートである。 検出手段における処理ルーチンを示すフローチャートである。

符号の説明

１ 道路認識装置
２ 撮像手段
３ 変換手段
６ 画像処理手段
９ 検出手段
ｊｒ エピポーラライン
ｐｎij 輝度

Claims (6)

1. 道路を含む車両周辺を撮像して一対の画像を出力する撮像手段と、
   前記一対の画像を設定領域ごとに所定の輝度階調の輝度を有する一対のデジタル画像に変換する変換手段と、
   前記一対のデジタル画像に基づいて少なくとも一方のデジタル画像の各設定領域について実空間における距離を算出する画像処理手段と、
   前記一方のデジタル画像についての設定領域ごとの前記輝度および前記距離に基づいて前記一方のデジタル画像上において横断歩道を検出する検出手段と
   を有することを特徴とする道路認識装置。
2. 前記検出手段は、前記設定領域ごとの輝度の繰り返しパターンを認識し、前記繰り返しパターンが認識された設定領域に対応する実空間上の点が道路面上にある場合に横断歩道として検出することを特徴とする請求項１に記載の道路認識装置。
3. 前記検出手段は、道路を含む車両周辺として、自車両が走行している走行路およびそれに隣接する走行路を含む前方領域を検出対象とすることを特徴とする請求項１または請求項２に記載の道路認識装置。
4. 検出対象とされる前記前方領域は、実空間上で自車両から所定距離離れた領域であることを特徴とする請求項３に記載の道路認識装置。
5. 検出対象とされる前記前方領域は、昼間と夜間とで自車両からの所定距離の設定を可変とされていることを特徴とする請求項４に記載の道路認識装置。
6. 検出対象とされる前記前方領域は、前記一方のデジタル画像上の１画素幅のエピポーララインに対応する領域であることを特徴とする請求項３から請求項５のいずれか一項に記載の道路認識装置。

Images