JP2008158674A - 道路区画線認識装置 - Google Patents

Abstract

【課題】道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供すること。
【解決手段】車両周辺を撮像する撮像手段を備え、撮像手段の撮像画像を解析することにより、道路に点列状に敷設された点列状道路区画線を含む道路区画線を認識可能な道路区画線認識装置であって、少なくとも点列状道路区画線を認識する際の制御モードとして、撮像手段の撮像画像の所定領域における輝度の平均値に基づいて点列状道路区画線を認識する第１の制御モードと、撮像手段の撮像画像の所定領域における輝度の最大値に基づいて点列状道路区画線を認識する第２の制御モードと、を有することを特徴とする。
【選択図】図１

Description

本発明は、車両周辺を撮像する撮像手段の撮像画像を解析して道路区画線を認識する道路区画線認識装置に関する。

近年、走行車線を維持して走行するように自動操舵制御を行なう制御システムが、ＬＫＡ（Lane Keeping Assist）等の名称で知られている（例えば、非特許文献１参照）。こうした制御システムにおいて重要なポイントとなるのが、走行車線を区画する道路区画線（レーンマーカ）を正確に認識し、走行車線と自車両の位置関係を把握することである。

道路区画線の認識は、主としてカメラ等の撮像手段の撮像画像を解析することにより行なわれる。また、道路区画線には、白線の実線や破線に代表される直線状の道路区画線と、ボッツドッツ（Botts Dots）やキャッツアイ等の点列状の道路区画線が存在し、夫々に適した画像解析手法が存在する。ここで、ボッツドッツとは、主に北米で使用されている、道路に間隔をおいて埋め込まれた直径１０ｃｍ程度のセラミック製の円盤であり、キャッツアイとは、道路に間隔を置いて埋め込まれた反射体であり、入射光を同じ方向に反射させる特性を有するものである。

これに関連し、直線状の道路区画線を認識する際と、点列状の道路区画線を認識する際とで異なる画像解析手法を用いて道路区画線を認識する装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、輝度変化に基づいて白線等を検出し、パターンマッチングによりボッツドッツ等を検出するものとしている。
特開２００４−１３９３３８号公報 トヨタ自動車株式会社、「クラウンマジェスタ新型車解説書（品番７１０９１００）」、トヨタ自動車株式会社サービス部、２００４年７月５日発行、第１０章 ボデー＆エレクトリカル、ｐ１０−２８７〜１０−３０６

しかしながら、上記特許文献１に記載の装置は、道路とのコントラストが比較的小さいボッツドッツと、自車両のヘッドライトにより照射された光を反射するキャッツアイと、の輝度特性の差に基づいて、撮像手段の露出制御を適切に行なうことについての考慮がなされていない。この結果、ボッツドッツを認識する際に道路との判別が困難となったり、キャッツアイを認識する際にサチュレーションが発生し、道路区画線の位置を正確に認識できない場合が生じる。

本発明はこのような課題を解決するためのものであり、道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の一態様は、車両周辺を撮像する撮像手段を備え、撮像手段の撮像画像を解析することにより、道路に点列状に敷設された点列状道路区画線を含む道路区画線を認識可能な道路区画線認識装置であって、少なくとも点列状道路区画線を認識する際の制御モードとして、撮像手段の撮像画像の所定領域における輝度の平均値に基づいて点列状道路区画線を認識する第１の制御モードと、撮像手段の撮像画像の所定領域における輝度の最大値に基づいて点列状道路区画線を認識する第２の制御モードと、を有することを特徴とするものである。

この本発明の一態様によれば、点列状道路区画線の代表的なものの一つであるボッツドッツを撮像するのに適した第１の制御モードと、同じく点列状道路区画線の代表的なものの一つであるキャッツアイを撮像するのに適した第２の制御モードを有するため、道路区画線の位置をより正確に認識することができる。

本発明の一態様において、夜間であるか否かを検知する夜間検知手段を備え、夜間検知手段により夜間であることが検知された場合に、第２の制御モードを選択するものとしてもよい。

また、本発明の一態様において、第１の制御モードと前記第２の制御モードとを交互に切替えるものとしてもよい。

また、本発明の一態様において、夜間であるか否かを検知する夜間検知手段を備え、夜間検知手段により夜間であることが検知された場合に、第１の制御モードと第２の制御モードとを交互に切替えるものとしてもよい。

本発明によれば、道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、本発明の一実施例に係る道路区画線認識装置１について説明する。

［構成］
図１は、道路区画線認識装置１の全体構成の一例を示す図である。道路区画線認識装置１は、主要な構成として、前方カメラ１０と、ライトＥＣＵ（Electronic Control Unit）２０と、ＬＫＡ用ＥＣＵ３０と、メインスイッチ４０と、を備える。また、本装置の出力を利用するものとして、ステアリング装置５０を図示する。なお、図中の矢印は、多重通信線等を介した本装置の主要な情報通信の流れを示す。当該通信は、ＣＡＮ（Controller Area Network）やＢＥＡＮ、ＡＶＣ−ＬＡＮ、ＦｌｅｘＲａｙ等の適切な通信プロトコルを用いて行なわれる。

前方カメラ１０は、例えば、ウインドシールド中央上部に配設されたＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラであり、車両前方の斜め下方に向いた光軸を有し、車両前方の道路を撮像する。前方カメラ１０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式により生成される画像信号としてＬＫＡ用ＥＣＵ３０に送信される。

ライトＥＣＵ２０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）等の記憶媒体やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。ライトＥＣＵ２０は、ヘッドライトやテールランプ等の照射制御を一元的に行なっており、ヘッドライトの照射状態をＬＫＡ用ＥＣＵ３０に送信している。

ＬＫＡ用ＥＣＵ３０は、例えば、ライトＥＣＵ２０と同様のハードウエア構成を有するコンピューターユニットである。ＬＫＡ用ＥＣＵ３０は、例えばステアリング脇に配設されるメインスイッチ４０に対するユーザー操作により起動し、前方カメラ１０の撮像画像解析に基づいてステアリング装置５０に操舵信号を送信する。当該操舵信号送信の具体的内容については、後述する。

ＬＫＡ用ＥＣＵ３０は、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭ上に展開（ロード）して実行することにより機能する主要な機能ブロックとして、画像認識部３２と、操舵信号生成部３４と、露出制御部３６と、を備える。

［基本動作］
画像認識部３２は、前方カメラ１０から送信された画像信号を解析して、道路区画線と自車両との位置関係を認識する（道路区画線を認識する）。当該画像解析は、例えば、以下の手法により行なわれる。

まず、前方カメラ１０の撮像画像の下部において解析領域を設定する。図２は、前方カメラ１０の撮像画像における解析領域の一例を示す図である。当該解析領域の下端部は、自車両の数［ｍ］〜十数［ｍ］程度前方に相当し、上端部は、自車両の数十［ｍ］程度前方に相当する。前者は、前方カメラ１０の配設位置と車両ノーズを結ぶ直線が道路に接する点に相当する画像上の位置に設定され、後者は、ボッツドッツやキャッツアイ等が認識可能な限界距離付近に相当する画像上の位置に設定される。また、左右の端部を画像の端部から中央寄りに狭めるのは、歩行者や建物等、画像認識において不要なノイズ要素の影響を低減するためである。

そして、解析領域における道路区画線認識の手法は、白線の実線や破線に代表される直線状道路区画線と、ボッツドッツ（Botts Dots）やキャッツアイ等の点列状道路区画線のいずれを認識するかによって異ならせることが妥当である。

直線状道路区画線を認識する手法としては、例えば、上記解析領域において画像横方向の輝度変化が閾値以上の画像要素を特徴点として抽出し、ハフ変換等の直線抽出手法を用いて直線状又は曲線状に並んだ特徴点のうち長さが所定値以上のものを、道路区画線と認識する。そして、画像座標系から実座標系（上空から見た現実の座標系）への変換処理を経て、道路区画線で区画される走行車線と自車両との位置関係（例えば、傾き角、及びオフセットで表される）が導出される。ここで、傾き角とは、走行車線の延在方向と自車両の進行方向とのズレ角度であり、オフセットとは、走行車線中心線からの自車両中心部の乖離である。

点列状道路区画線を認識する手法としては、パターンマッチング処理やモルフォロジー演算等が考えられる。これらの処理によりボッツドッツやキャッツアイ等であると認識された画像要素のうち、ハフ変換や投票処理を経て抽出される直線状又は曲線状に並んだものを連ねた仮想直線を、道路区画線と認識する。その後の走行車線と自車両との位置関係の認識については、直線状道路区画線の場合と同様である。

直線状道路区画線を認識する手法と、点列状道路区画線を認識する手法の切り替え制御については、例えば、直線状道路区画線を認識している最中に道路区画線をロストした際に、点列状道路区画線を認識する手法に切り替える（その逆も）等の制御が考えられる。なお、本切り替え制御については本発明の中核をなさないので、詳細な説明を省略する。

画像認識部３２により導出された走行車線と自車両の位置関係は、操舵信号生成部３４に出力される。操舵信号生成部３４は、入力された位置関係に基づいて、所定時間後（例えば０コンマ数［ｓｅｃ］〜数［ｓｅｃ］等）に走行車線から逸脱すると予想された場合に、ブザーによる警報を行なうと共に、小さい補助操舵力を短時間出力するように操舵信号を生成して、ステアリング装置５０に送信する（車線逸脱警報制御）。また、自車両が走行車線中央部付近を安定的に走行できるように、小さい補助操舵力を連続的に出力するように操舵信号を生成してステアリング装置５０に送信する（車線維持支援制御）。これらの制御により、自車両の走行車線からの逸脱を抑制することができる。

なお、厳密に言うと、操舵信号生成部３４は、特許請求の範囲における「道路区画線認識装置」の範疇を超える機能ブロックであり、本実施例の道路区画線認識装置１は、「道路区画線認識装置を含む操舵制御システム」等と換言することができる。

ステアリング装置５０は、例えば、電動パワーステアリング装置であり、操舵角センサーやトルクセンサー、アシストモータ、コントローラー等を備える。ステアリング装置５０のコントローラーは、ＬＫＡ用ＥＣＵ３０から操舵信号が送信されない通常時には、トルクセンサーからのステアリングトルク信号やその他の車両状態信号（車速やヨーレート等）に基づいて、車両の操舵に必要なトルクを出力するように、アシストモータの駆動回路に制御信号を出力する。また、ＬＫＡ用ＥＣＵ３０から操舵信号が送信されている時には、上記通常時のアシストモータ制御に加えて（又は、代えて）ＬＫＡ用ＥＣＵ３０からの操舵信号に基づいて、アシストモータを制御する。

［露出制御］
ところで、前方カメラ１０による撮像は、１秒間に数十フレーム程度の頻度で行なわれるが、車両周辺の明るさに応じてシャッタースピードを調節したり内部アンプによるゲインを変更したりして（以下、露出制御と称する；露出制御部３６が前方カメラ１０や内部アンプに指示信号を送信することにより実行される）、画像信号に含まれる画像要素の輝度を適切なものにする必要がある。露出制御が適切に行なわれないと、ボッツドッツを認識する際に道路との判別が困難となったり、キャッツアイを認識する際にサチュレーションが発生したりするからである。これらの結果、道路区画線を正確に認識できない場合が生じ、ひいては、上記の如き操舵制御を適切に行なうことができなくなる場合も生じ得る。特に夜間において、道路とのコントラストが比較的低いボッツドッツを撮像する場合と、ヘッドライトの照射光を反射して強い光を発するキャッツアイを撮像する場合とでは、夫々最適な露出制御が異なるからである。

こうした課題に対して、露出制御部３６は、点列状道路区画線を認識する際の制御モードとして、前方カメラ１０の撮像画像の解析領域における輝度の平均値に基づいてカメラ１０の露出制御を行なう第１の制御モードと、同解析領域における輝度の最大値に基づいてカメラ１０の露出制御を行なう第２の制御モードと、を用意する。前者は、ボッツドッツを撮像するのに適した制御モードであり、後者は、キャッツアイを撮像するのに適した制御モードである。

第１の制御モードでは、ボッツドッツと道路面とのコントラストを明確に把握すべく、解析領域内の各画像要素の輝度平均が目標値に一致するように、前方カメラ１０のシャッタースピード調節及び内部アンプによるゲイン調節を行なう。図３は、第１の制御モードが選択されている際に繰り返し実行される処理の流れを示すフローチャートである。

まず、解析領域内の輝度平均値を算出し（Ｓ１００）、輝度平均値が目標値を下回るか否かを判定する（Ｓ１１０）。輝度平均値が目標値を下回る場合は、次回の撮像に係る露出制御を明るい側に変更し（Ｓ１２０）、輝度平均値が目標値以上である場合は、次回の撮像に係る露出制御を暗い側に変更する（Ｓ１３０）。ここで、露出制御を明るい側に変更するとは、例えば、前方カメラ１０のシャッタースピードを前述した撮像頻度から許容される範囲内で（最大数十［ｍｓｅｃ］程度となる）長くすること、及び、シャッタースピード調節では足りない場合には、内部アンプによる画像信号のゲインを大きくすることをいう。また、シャッタースピードとゲインの調節を同時に行なう制御を基本的な制御としてもよい。このような制御を行なう結果、車外の撮像条件の変化に応じて柔軟に露出制御を行なうことができ、ボッツドッツをより正確に認識することができる。

ところが、キャッツアイを認識する場合、第１の制御モードを選択するのは妥当でない。キャッツアイは、間欠的に道路に埋設されているため、自らの高い輝度に拘らず、輝度平均を余り上昇させない。従って、輝度平均に基づいて露出制御を行なうと、キャッツアイを撮像した部分の画像要素の輝度が高くなりすぎてしまい、サチュレーションが発生してキャッツアイ部分がぼやけてしまう。この結果、キャッツアイの位置を正確に認識することができなくなる場合が生じ得るからである。

この問題を解決すべく用意された第２の制御モードでは、キャッツアイを明確に把握すべく、解析領域内の画像要素の輝度の最大値が目標値（第１の制御モードにおける目標値とは異なる）に一致するように、前方カメラ１０のシャッタースピード調節及びアンプによるゲイン調節を行なう。図４は、第２の制御モードが選択されている際に繰り返し実行される処理の流れを示すフローチャートである。

まず、解析領域内の輝度の最大値を算出し（Ｓ２００）、輝度の最大値が目標値を下回るか否かを判定する（Ｓ２１０）。輝度の最大値が目標値を下回る場合は、次回の撮像に係る露出制御を明るい側に変更し（Ｓ２２０）、輝度の最大値が目標値以上である場合は、次回の撮像に係る露出制御を暗い側に変更する（Ｓ２３０）。ここで、露出制御を明るい側、或いは暗い側に変更する具体例については、第１の制御モードと同様である。このような制御を行なう結果、強い輝度のキャッツアイを撮像することに起因するサチュレーションの発生を抑制することができ、キャッツアイをより正確に認識することができる。

これらにより、道路区画線の位置をより正確に認識することができる。

［制御モードの切り替え］
第１の制御モードと第２の制御モードとの切り替え制御については、例えば、以下の制御例が考えられる。

（１）図５のフローチャートに示す如く、ライトＥＣＵ２０から送信されるヘッドライトの照射状態を判定し（Ｓ３００）、ヘッドライトがロービームの状態で照射されているときに第２の制御モードを選択し（Ｓ３２０）、それ以外のときに第１の制御モードを選択する（Ｓ３１０）。本手法は、ヘッドライトが照射されていることにより、夜間であることが検知され、夜間においてはボッツドッツよりもキャッツアイの方が認識容易であることに基づく。また、ヘッドライトが照射されていない場合はキャッツアイが反射光を発しないため、時間帯に拘らずキャッツアイよりもボッツドッツの方が認識容易であることにも基づく。本手法は、ボッツドッツとキャッツアイが併設されている道路において、特に有効である。なお、夜間であることは、タイマー等により検知しても構わない。また、ロービームの状態で照射されているという条件は除いても構わない。

（２）図６のフローチャートに示す如く、第１の制御モードと第２の制御モードとを、例えば撮像フレーム毎に交互に切替える（Ｓ４００、４１０、４２０）。本手法によれば、夜間であるか昼間であるかを考慮せずに制御を行なうことができる。また、ボッツドッツとキャッツアイが併設されている道路においては、第１の制御モードで認識されたボッツドッツと第２の制御モードで認識されたキャッツアイの位置を総合してより正確な道路区画線認識を行なうことができる。更に、ボッツドッツとキャッツアイのいずれが敷設されているかが不明なときにも、いずれかの制御モードでボッツドッツ又はキャッツアイを認識して道路区画線認識を行なうことができる。なお、本手法を用いる場合、図３及び図４により例示した「次回の撮像に係る露出制御を明るい側（暗い側）に変更し」とは、「同一の制御モードが選択された状態における、次回の撮像に係る露出制御を明るい側（暗い側）に変更し」の意となる。

（３）図７のフローチャートに示す如く、ライトＥＣＵ２０から送信されるヘッドライトの照射状態を判定し（Ｓ５００）、ヘッドライトがロービームの状態で照射されているときに、上記（２）の如く第１の制御モードと第２の制御モードとを交互に切替える制御を行ない（Ｓ５１０、５２０、５３０）、それ以外のときに第１の制御モードを選択する（Ｓ５２０）。ヘッドライトがロービームの状態で照射されているときであっても、キャッツアイが敷設されていない道路である可能性や、昼間であるにも拘らず運転者がヘッドライトを消し忘れた可能性もあるため、第１の制御モードと第２の制御モードとを交互に切替えるのである。また、上記（１）で述べた如く、ヘッドライトが照射されていないときにはキャッツアイよりもボッツドッツの方が認識容易であるため、第１の制御モードを選択する。

なお、車載ナビゲーション装置が有する地図情報にボッツドッツやキャッツアイの敷設情報が含まれている場合、これを更に参照して制御モードの切り替え制御を行なってもよい。

これらの制御により、ボッツドッツやキャッツアイの認識容易性等に基づいて第１の制御モードと第２の制御モードとを適切に切り替えることとなるから、道路区画線の位置をより正確に認識することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、露出制御は、前方カメラ１０のシャッタースピードと内部アンプのゲインの双方を調節するものとして説明したが、いずれか一方のみを調節するものとしても構わない。

また、第１の制御モードと第２の制御モードとの切り替え制御は、実施例のものに限らず、如何なる制御を行なってもよい。乗員のマニュアル操作により切替えても構わない。

また、撮像手段として、車両後方を撮像するカメラを備えてもよい。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

道路区画線認識装置１の全体構成の一例を示す図である。 前方カメラ１０の撮像画像における解析領域の一例を示す図である。 第１の制御モードが選択されている際に繰り返し実行される処理の流れを示すフローチャートである。 第２の制御モードが選択されている際に繰り返し実行される処理の流れを示すフローチャートである。 第１の制御モードと第２の制御モードとの切り替え制御の一例を示すフローチャートである。 第１の制御モードと第２の制御モードとの切り替え制御の一例を示すフローチャートである。 第１の制御モードと第２の制御モードとの切り替え制御の一例を示すフローチャートである。

符号の説明

１ 道路区画線認識装置
１０ 前方カメラ
２０ ライトＥＣＵ
３０ ＬＫＡ用ＥＣＵ
３２ 画像解析部
３４ 操舵信号生成部
３６ 露出制御部
４０ メインスイッチ
５０ ステアリング装置

Claims (4)

1. 車両周辺を撮像する撮像手段を備え、
   該撮像手段の撮像画像を解析することにより、道路に点列状に敷設された点列状道路区画線を含む道路区画線を認識可能な道路区画線認識装置であって、
   少なくとも前記点列状道路区画線を認識する際の制御モードとして、
   前記撮像手段の撮像画像の所定領域における輝度の平均値に基づいて前記点列状道路区画線を認識する第１の制御モードと、
   前記撮像手段の撮像画像の所定領域における輝度の最大値に基づいて前記点列状道路区画線を認識する第２の制御モードと、
   を有することを特徴とする、道路区画線認識装置。
2. 請求項１に記載の道路区画線認識装置であって、
   夜間であるか否かを検知する夜間検知手段を備え、
   該夜間検知手段により夜間であることが検知された場合に、前記第２の制御モードを選択することを特徴とする、
   道路区画線認識装置。
3. 請求項１に記載の道路区画線認識装置であって、
   前記第１の制御モードと前記第２の制御モードとを交互に切替えることを特徴とする、
   道路区画線認識装置。
4. 請求項１に記載の道路区画線認識装置であって、
   夜間であるか否かを検知する夜間検知手段を備え、
   該夜間検知手段により夜間であることが検知された場合に、前記第１の制御モードと前記第２の制御モードとを交互に切替えることを特徴とする、
   道路区画線認識装置。

Images