JP2008158673A - 道路区画線認識装置 - Google Patents

Abstract

【課題】道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供すること。
【解決手段】車両周辺を撮像する撮像手段（２０）を備え、撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置（１）であって、光反射材を有する第１の物標、及び該第１の物標とは異なる第２の物標により区画されている道路において道路区画線を認識する際の画像解析モードとして、撮像手段の撮像画像における第１の解析領域で少なくとも第２の物標を認識して、道路区画線を認識する第１の画像解析モードと、第１の解析領域で少なくとも第２の物標を認識すると共に、第１の解析領域よりも車両から見て遠方側の第２の解析領域で第１の物標を認識して、道路区画線を認識する第２の画像解析モードと、を有することを特徴とする。
【選択図】図１

Description

本発明は、車両周辺を撮像する撮像手段の撮像画像を解析して道路区画線を認識する道路区画線認識装置に関する。

近年、走行車線を維持して走行するように自動操舵制御を行なう制御システムが、ＬＫＡ（Lane Keeping Assist）等の名称で知られている（例えば、非特許文献１参照）。こうした制御システムにおいて重要なポイントとなるのが、走行車線を区画する道路区画線（レーンマーカ）を正確に認識し、走行車線と自車両の位置関係を把握することである。

これに関連し、ビデオカメラ等により車両前方を撮像し、撮像画像に対してエッジ抽出処理や２値化処理等を施して、道路に描画された白線を検出する装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、処理速度の向上等の観点から、エッジ抽出処理の結果やステアリング角に基づいて、撮像画像におけるサーチ範囲の幅（道路幅方向に相当する）を変更している。例えば、車両から遠い位置に相当する画像上の位置ではサーチ範囲の幅を狭くし、ステアリング角が大きいときにはサーチ範囲の幅を大きくすることが例示されている。
特開平−３５１９８号公報 トヨタ自動車株式会社、「クラウンマジェスタ新型車解説書（品番７１０９１００）」、トヨタ自動車株式会社サービス部、２００４年７月５日発行、第１０章 ボデー＆エレクトリカル、ｐ１０−２８７〜１０−３０６

しかしながら、道路区画線には、白線の実線や破線に代表される直線状の道路区画線と、ボッツドッツ（Botts Dots）やキャッツアイ等の点列状の道路区画線が存在する。ここで、ボッツドッツとは、主に北米で使用されている、道路に間隔をおいて埋め込まれた直径１０ｃｍ程度のセラミック製の円盤である。また、キャッツアイとは、道路に間隔を置いて埋め込まれた反射体であり、入射光を同じ方向に反射させる特性を有するものである。

上記特許文献１に記載の装置は、こうした点列状の道路区画線に特有の事情に基づいてサーチ範囲を変更すること、特にサーチ範囲の奥行き方向の大きさを変更することについての考慮が何らなされていない。従って、点列状の道路区画線で区画されている道路において道路区画線の位置を正確に認識することができない場合が生じる。

本発明はこのような課題を解決するためのものであり、道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の一態様は、車両周辺を撮像する撮像手段を備え、撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、光反射材を有する第１の物標、及び第１の物標とは異なる第２の物標により区画されている道路において道路区画線を認識する際の画像解析モードとして、撮像手段の撮像画像における第１の解析領域で少なくとも第２の物標を認識して、道路区画線を認識する第１の画像解析モードと、第１の解析領域で少なくとも第２の物標を認識すると共に、第１の解析領域よりも車両から見て遠方側の第２の解析領域で第１の物標を認識して、道路区画線を認識する第２の画像解析モードと、を有することを特徴とするものである。

この本発明の一態様によれば、撮像手段の撮像画像における第１の解析領域で少なくとも第２の物標を認識して道路区画線を認識する第１の画像解析モードと、第１の解析領域で少なくとも第２の物標を認識すると共に第１の解析領域よりも車両から見て遠方側の第２の解析領域で第１の物標を認識して道路区画線を認識する第２の画像解析モードと、を有するため、必要に応じて光反射材を有する第１の物標の画像上の位置を加味して道路区画線を認識することができる。この結果、第１の物標が撮像手段の撮像画像上で認識可能な場合に限定して第２の画像解析モードを選択する等の制御が可能となるため、道路区画線をより正確に認識することができる。

本発明の一態様において、夜間を検知する夜間検知手段を備え、夜間検知手段により夜間であることが検知されたことを含む所定条件を満たす場合に、第２の画像解析モードを選択することが望ましい。夜間においては車両のヘッドライトの照射光により第１の物標が認識容易となる可能性が高いからである。この場合、夜間検知手段により夜間であることが検知されなかった場合に、第１の画像解析モードを選択することが望ましい。夜間でなければ第１の物標が認識困難となる可能性が高く、画像における車両の遠方側を解析しても道路区画線認識の用に供することができず、処理速度の低下や処理負荷の増大を招く可能性があるからである。

本発明によれば、道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、本発明の一実施例に係る道路区画線認識装置１について説明する。図１は、道路区画線認識装置１の全体構成の一例を示す図である。道路区画線認識装置１は、主要な構成として、前方カメラ１０と、ライトＥＣＵ（Electronic Control Unit）２０と、ＬＫＡ用ＥＣＵ３０と、メインスイッチ４０と、を備える。また、本装置の出力を利用するものとして、ステアリング装置５０を図示する。なお、図中の矢印は、多重通信線等を介した本装置における主要な情報通信の流れを示す。当該通信は、ＣＡＮ（Controller Area Network）やＢＥＡＮ、ＡＶＣ−ＬＡＮ、ＦｌｅｘＲａｙ等の適切な通信プロトコルを用いて行なわれる。

前方カメラ１０は、例えば、ウインドシールド中央上部に配設されたＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラであり、車両前方の斜め下方に向いた光軸を有し、車両前方の道路を撮像する。前方カメラ１０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式により生成される画像信号としてＬＫＡ用ＥＣＵ３０に送信される。

ライトＥＣＵ２０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）等の記憶媒体やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。ライトＥＣＵ２０は、ヘッドライトやテールランプ等の照射制御を一元的に行なっており、ヘッドライトの照射状態をＬＫＡ用ＥＣＵ３０に送信している。

ＬＫＡ用ＥＣＵ３０は、例えば、ライトＥＣＵ２０と同様のハードウエア構成を有するコンピューターユニットである。ＬＫＡ用ＥＣＵ３０は、例えばステアリング脇に配設されるメインスイッチ４０に対するユーザー操作により起動し、前方カメラ１０の撮像画像解析に基づいてステアリング装置５０に操舵信号を送信する。当該操舵信号送信の具体的内容については、後述する。

ＬＫＡ用ＥＣＵ３０は、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭ上に展開（ロード）して実行することにより機能する主要な機能ブロックとして、画像認識部３２と、操舵信号生成部３４と、を備える。

画像認識部３２は、前方カメラ１０から送信された画像信号を解析して、道路区画線と自車両との位置関係を認識する（道路区画線を認識する）。画像解析による認識処理は、道路区画線の種類に応じて、異なる解析領域及び手法に基づいて行なわれる。本実施例は、白線や黄線の実線や破線等（以下、単に「白線等」と称する）で道路を区画する態様の道路区画線と、ボッツドッツ及びキャッツアイが共に敷設されることにより道路を区画する態様の道路区画線と、に対応可能な構成となっている。これは、ボッツドッツは夜間の視認が比較的困難であるため、ヘッドライトの照射光を反射することにより夜間視認が容易なキャッツアイが併設されていることが多い、という事実に基づくものである。

［１．白線等で道路が区画されている場合の認識手法］
画像認識部３２は、まず、前方カメラ１０の撮像画像における下部領域に解析領域を設定する。図２は、白線等を認識する際に、前方カメラ１０の撮像画像上に設定される解析領域を表す図である。当該解析領域の下端部は、自車両の数［ｍ］〜十数［ｍ］程度前方に相当し、上端部は、自車両の数十［ｍ］程度前方に相当する。前者は、前方カメラ１０の配設位置と車両ノーズを結ぶ直線が道路に接する点に相当する画像上の位置に設定され、後者は、道路区画線が正確に認識可能となるように、十分な奥行きをもった位置に設定される。また、左右の端部を画像の端部から中央寄りに狭めるのは、歩行者や建物等、画像認識において不要なノイズ要素の影響を低減するためである。

解析領域を設定すると、当該解析領域において画像横方向の輝度変化が閾値以上の点を特徴点として抽出し、ハフ変換等の直線抽出手法を用いて直線状又は曲線状に並んだ特徴点のうち長さが所定値以上のものを、道路区画線と認識する。そして、画像座標系から実座標系（上空から見た現実の座標系）への変換処理や、カーブ路の場合には曲率推定処理等を経て、道路区画線で区画される走行車線と自車両との位置関係（例えば、傾き角、及びオフセットで表される）が導出される。ここで、傾き角とは、走行車線の延在方向と自車両の進行方向とのズレ角度であり、オフセットとは、走行車線中心線からの自車両中心部の乖離である（図３参照）。

なお、本発明の中核部分ではないため詳細な説明は省略するが、画像解析の速度を向上させるため、解析領域をくまなく走査して特徴点を抽出するのではなく、適当な間隔をもって画像横方向の走査線を複数設定し、走査線上で特徴点を抽出するのが現実的である。また、カーブ路における道路区画線をより正確に認識するため、解析領域を上段と下段に分け、夫々について画像解析を行なった後にこれらを合成する処理を行なうのが現実的である。

［２．ボッツドッツとキャッツアイで道路が区画されている場合の認識手法］
この場合に対応するため、本実施例に係る画像認識部３２は、近傍領域（特許請求の範囲における第１の解析領域に相当）でボッツドッツを認識する第１の画像解析モードと、近傍領域でボッツドッツを認識すると共に遠方領域（特許請求の範囲における第２の解析領域に相当）でキャッツアイを認識する第２の画像解析モードと、を用意する。

［２−１．第１の画像解析モード］
図４は、前方カメラ１０の撮像画像上に設定される近傍領域を表す図である。当該近傍領域の下端部は、上記［１］の場合と同様、前方カメラ１０の配設位置と車両ノーズを結ぶ直線が道路に接する点に相当する画像上の位置に設定される。一方、上端部は、ボッツドッツが認識可能な限界距離付近に相当する画像上の位置に設定され、実際には上記白線等の場合の上端部に比して手前側に設定されることとなる（図２、及び図４を比較参照）。ボッツドッツは道路面（アスファルト面等）とのコントラストが白線等に比して低く、距離が遠くなると画像上での判別が困難となるからである。このように、判別不能な画像上の領域を解析対象としないことにより、処理速度の向上や処理負荷の軽減を図ることができる。

近傍領域を設定すると、近傍領域内でパターンマッチング処理やモルフォロジー演算等の処理を行なって、ボッツドッツを認識する。そして、ボッツドッツであると認識された画像要素のうち、ハフ変換や投票処理を経て抽出される直線状又は曲線状に並んだ画像要素を連ねた仮想直線（又は曲線）を、道路区画線と認識する。なお、その後の走行車線と自車両との位置関係の認識については、［１］の場合と同様である。

［２−２．第２の画像解析モード］
ところが、［２−１］においては、解析領域を［１］に比して狭く設定するため、道路区画線の認識精度が低下することとなる。認識精度の低下程度は、特にカーブ路の曲率推定処理において大きいものとなる。そこで、夜間にヘッドライトを照射している場合には、近傍領域よりも車両から見て遠方側の遠方領域でキャッツアイを認識して、近傍領域において認識されたボッツドッツと、遠方領域で認識されたキャッツアイと、を合成して道路区画線を認識することとした。

図５は、前方カメラ１０の撮像画像上に設定される近傍領域及び遠方領域を表す図である。近傍領域の設定位置については［２−１］と同様である。遠方領域の上端部は、道路区画線が正確に認識可能となるように、十分な奥行きをもった位置に設定される（結果的に、［１］の解析領域の上端部と同じ位置となることが想定される）。ヘッドライトの照射光を反射して画像上で高い輝度を有するキャッツアイは、車両からの距離が遠いものであっても、十分に認識可能だからである。

近傍領域、及び遠方領域を設定すると、夫々の領域内でパターンマッチング処理やモルフォロジー演算等の処理を行なって、ボッツドッツ、及びキャッツアイを認識する。ここで、ボッツドッツの認識とキャッツアイの認識処理は、２値化処理における輝度に関する閾値や、内部アンプによる画像全体の増幅程度、パターンマッチングにおけるテンプレートの形状等の点で、異なる処理となる。そして、ボッツドッツであると認識された画像要素、及びキャッツアイであると認識された画像要素のうち、ハフ変換や投票処理を経て抽出される直線状又は曲線状に並んだ画像要素を連ねた仮想直線（又は曲線）を、道路区画線と認識する。第２の画像解析モードでは、近傍領域において認識されたボッツドッツの位置に加えて遠方領域で認識されたキャッツアイの位置を加味して上記仮想直線等を生成するため、第１の画像解析モードに比して道路区画線をより正確に認識することができる。なお、近傍領域においてキャッツアイを認識することも考えられるが、ボッツドッツの方がキャッツアイよりも高密度で敷設されていることが多いため、認識可能な限りにおいてはボッツドッツを認識する方が、上記仮想直線等をより正確に生成することができ、好ましいのである。なお、その後の走行車線と自車両との位置関係の認識については、［１］の場合と同様である。

［認識された道路区画線の利用］
画像認識部３２により導出された走行車線と自車両の位置関係は、操舵信号生成部３４に出力される。操舵信号生成部３４は、入力された位置関係に基づいて、所定時間後（例えば０コンマ数［ｓｅｃ］〜数［ｓｅｃ］等）に走行車線から逸脱すると予想された場合に、ブザーによる警報を行なうと共に、小さい補助操舵力を短時間出力するように操舵信号を生成して、ステアリング装置５０に送信する（車線逸脱警報制御）。また、自車両が走行車線中央部付近を安定的に走行できるように、小さい補助操舵力を連続的に出力するように操舵信号を生成してステアリング装置５０に送信する（車線維持支援制御）。これらの制御により、自車両の走行車線からの逸脱を抑制することができる。

なお、厳密に言うと、操舵信号生成部３４は、特許請求の範囲における「道路区画線認識装置」の範疇を超える機能ブロックであり、本実施例の道路区画線認識装置１は、「道路区画線認識装置を含む操舵制御システム」等と換言することができる。

ステアリング装置５０は、例えば、電動パワーステアリング装置であり、操舵角センサーやトルクセンサー、アシストモータ、コントローラー等を備える。ステアリング装置５０のコントローラーは、ＬＫＡ用ＥＣＵ３０から操舵信号が送信されない通常時には、トルクセンサーからのステアリングトルク信号やその他の車両状態信号（車速やヨーレート等）に基づいて、車両の操舵に必要なトルクを出力するように、アシストモータの駆動回路に制御信号を出力する。また、ＬＫＡ用ＥＣＵ３０から操舵信号が送信されている時には、上記通常時のアシストモータ制御に加えて（又は、代えて）ＬＫＡ用ＥＣＵ３０からの操舵信号に基づいて、アシストモータを制御する。

［認識手法、及び画像解析モードの切り替え制御］
図６は、上記［１］、［２−１］、［２−２］の認識手法を切り替える制御の具体例を示すフローチャートである。本フローは、画像認識部３２により繰り返し実行される。

まず、白線等で道路が区画されているか否かを判定する（Ｓ１００）。白線等で道路が区画されている場合は、上記［１］の手法により画像解析及び走行車線認識を行なう（Ｓ１１０）。Ｓ１００の判定は、例えば、所定の長さ以上連続した特徴点が抽出された場合に白線等で道路が区画されており、所定の長さ以上連続した特徴点が抽出されなかった場合に白線等で道路が区画されていないと判断することができる。また、本判定は、上記各手法で道路区画線を認識する過程に組み込まれ、夫々の手法で認識不能となった（ロストした）際に他の手法に切り替えるようなロジックとなってもよい（但し、原理的には特徴点の連続長に基づく）。

白線等で道路が区画されていない場合は、ボッツドッツとキャッツアイで道路が区画されていると判断する。そして、続いて夜間であるか否かを判定する（Ｓ１２０）。本判定は、例えば、ライトＥＣＵ２０から送信されるヘッドライトの照射状態を参照し、ヘッドライトが照射されている場合に夜間であると判断することができる。また、夜間であることは、タイマー等により検知しても構わない。

Ｓ１２０において夜間でないと判定された場合は、上記［２−１］の手法により画像解析及び走行車線認識を行なう（Ｓ１３０）。夜間でなければ（ヘッドライトが照射されていなければ）、キャッツアイを画像上で認識することが困難であり、遠方領域で画像解析を行なうのは無駄だからである。こうすることにより、処理速度の向上及び処理負荷の軽減を図ることができる。

一方、Ｓ１２０において夜間であると判定された場合は、上記［２−２］の手法により画像解析及び走行車線認識を行なう（Ｓ１４０）。夜間であれば（ヘッドライトが照射されていれば）、キャッツアイを画像上で認識することが可能であるため、遠方領域で認識されるキャッツアイの位置を、近傍領域で認識されるボッツドッツの位置に加味することにより、道路区画線をより正確に認識することができるからである。

これらの制御により、道路区画線の態様、及びキャッツアイの認識可能性に基づいて上記［１］、［２−１］、［２−２］の認識手法を適切に切り替えることとなるから、道路区画線の位置をより正確に認識することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、Ｓ１２０の判定に代えて、ヘッドライトがロービームの状態で照射されているか否かを判定するものとしてもよい。ヘッドライトがハイビームの状態で照射されている場合は、道路上のキャッツアイにヘッドライトの照射光が届かないため、画像上でキャッツアイを認識することができない可能性が高いからである。

また、上記［１］、［２−１］、［２−２］の認識手法の切り替え制御は、実施例のものに限らず、如何なる制御を行なってもよい。例えば、乗員のマニュアル操作により切替えても構わない。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

道路区画線認識装置１の全体構成の一例を示す図である。 白線等を認識する際に、前方カメラ１０の撮像画像上に設定される解析領域を表す図である。 傾き角、及びオフセットを示す図である。 前方カメラ１０の撮像画像上に設定される近傍領域を表す図である。 前方カメラ１０の撮像画像上に設定される近傍領域及び遠方領域を表す図である。 ［１］、［２−１］、［２−２］の認識手法を切り替える制御の具体例を示すフローチャートである。

符号の説明

１ 道路区画線認識装置
１０ 前方カメラ
２０ ライトＥＣＵ
３０ ＬＫＡ用ＥＣＵ
３２ 画像解析部
３４ 操舵信号生成部
４０ メインスイッチ
５０ ステアリング装置

Claims (3)

1. 車両周辺を撮像する撮像手段を備え、該撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、
   光反射材を有する第１の物標、及び該第１の物標とは異なる第２の物標により区画されている道路において道路区画線を認識する際の画像解析モードとして、
   前記撮像手段の撮像画像における第１の解析領域で少なくとも前記第２の物標を認識して、道路区画線を認識する第１の画像解析モードと、
   前記第１の解析領域で少なくとも前記第２の物標を認識すると共に、前記第１の解析領域よりも車両から見て遠方側の第２の解析領域で前記第１の物標を認識して、道路区画線を認識する第２の画像解析モードと、
   を有することを特徴とする、道路区画線認識装置。
2. 請求項１に記載の道路区画線認識装置であって、
   夜間を検知する夜間検知手段を備え、
   該夜間検知手段により夜間であることが検知されたことを含む所定条件を満たす場合に、前記第２の画像解析モードを選択することを特徴とする、
   道路区画線認識装置。
3. 請求項２に記載の道路区画線認識装置であって、
   前記夜間検知手段により夜間であることが検知されなかった場合に、前記第１の画像解析モードを選択することを特徴とする、
   道路区画線認識装置。

Images