JP2008158672A - 道路区画線認識装置 - Google Patents

Abstract

【課題】道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供すること。
【解決手段】車両周辺を撮像する撮像手段（１０）を備え、撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置（１）であって、光反射材を有する反射物標を認識して道路区画線を認識する反射物標認識時には、反射物標とは異なる非反射物標を認識して道路区画線を認識する非反射物標認識時に比して、撮像手段の撮像画像における画像解析領域を奥行き方向に拡大することを特徴とする。
【選択図】図１

Description

本発明は、車両周辺を撮像する撮像手段の撮像画像を解析して道路区画線を認識する道路区画線認識装置に関する。

近年、走行車線を維持して走行するように自動操舵制御を行なう制御システムが、ＬＫＡ（Lane Keeping Assist）等の名称で知られている（例えば、非特許文献１参照）。こうした制御システムにおいて重要なポイントとなるのが、走行車線を区画する道路区画線（レーンマーカ）を正確に認識し、走行車線と自車両の位置関係を把握することである。

これに関連し、ビデオカメラ等により車両前方を撮像し、撮像画像に対してエッジ抽出処理や２値化処理等を施して、道路に描画された白線を検出する装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、処理速度の向上等の観点から、エッジ抽出処理の結果やステアリング角に基づいて、撮像画像におけるサーチ範囲の幅（道路幅方向に相当する）を変更している。例えば、車両から遠い位置に相当する画像上の位置ではサーチ範囲の幅を狭くし、ステアリング角が大きいときにはサーチ範囲の幅を大きくすることが例示されている。
特開平−３５１９８号公報 トヨタ自動車株式会社、「クラウンマジェスタ新型車解説書（品番７１０９１００）」、トヨタ自動車株式会社サービス部、２００４年７月５日発行、第１０章 ボデー＆エレクトリカル、ｐ１０−２８７〜１０−３０６

しかしながら、道路区画線には、白線の実線や破線に代表される直線状の道路区画線と、ボッツドッツ（Botts Dots）やキャッツアイ等の点列状の道路区画線が存在する。ここで、ボッツドッツとは、主に北米で使用されている、道路に間隔をおいて埋め込まれた直径１０ｃｍ程度のセラミック製の円盤である。また、キャッツアイとは、道路に間隔を置いて埋め込まれた反射体であり、入射光を同じ方向に反射させる特性を有するものである。

上記特許文献１に記載の装置は、こうした点列状の道路区画線に特有の事情に基づいてサーチ範囲を変更すること、特にサーチ範囲の奥行き方向の大きさを変更することについての考慮が何らなされていない。従って、点列状の道路区画線で区画されている道路において道路区画線の位置を正確に認識することができない場合が生じる。

本発明はこのような課題を解決するためのものであり、道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の一態様は、車両周辺を撮像する撮像手段を備え、撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、光反射材を有する反射物標を認識して道路区画線を認識する反射物標認識時には、反射物標とは異なる非反射物標を認識して道路区画線を認識する非反射物標認識時に比して、撮像手段の撮像画像における画像解析領域を奥行き方向に拡大することを特徴とするものである。ここで、「物標」とは、白線や黄線で描画された実線及び破線を含まない概念である。

この本発明の一態様によれば、比較的遠くにあっても画像上で認識可能な反射物標を認識して道路区画線を認識するときには、反射物標とは異なる物標を認識して道路区画線を認識するときよりも、撮像手段の撮像画像における画像解析領域を奥行き方向に拡大するため、物標を連ねた仮想直線（又は曲線）をより正確に生成することができる。この結果、道路区画線をより正確に認識することができる。

なお、こうした画像解析領域の拡大制御は、反射物標と非反射物標が共に敷設された道路においてのみ行なわれるものとしてもよい。

本発明の一態様において、反射物標認識時には、道路に沿って敷設された反射物標が複数個含まれる程度に、撮像手段の撮像画像における画像解析領域を拡大することが望ましい。

また、本発明の一態様において、反射物標が道路に敷設されていることを検知する反射物標検知手段を備え、反射物標検知手段により反射物標が道路に敷設されていることが検知された場合に、反射物標を認識して道路区画線を認識することが望ましい。

また、本発明の一態様において、車両前方に向けて投光する投光手段を備え、物標検知手段により反射物標が道路に敷設されていることが検知された場合に、投光手段により投光することが望ましい。この場合、道路区画線で区画される走行車線に沿って投光するように投光手段を制御することが更に望ましい。

また、本発明の一態様において、車速を検出する車速検出手段を備え、車速検出手段により検出された車速の増加に応じて撮像手段の撮像画像における画像解析領域を拡大するものとしてもよい。

本発明によれば、道路区画線の位置をより正確に認識することが可能な道路区画線認識装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

［第１実施例］
以下、本発明の第１実施例に係る道路区画線認識装置１について説明する。図１は、道路区画線認識装置１の全体構成の一例を示す図である。また、図２は、各構成要素の配設位置と本装置の作動状況を模式的に示す図である。

道路区画線認識装置１は、主要な構成として、近赤外カメラ１０と、ライトＥＣＵ（Electronic Control Unit）２０と、近赤外投光機２５と、車速センサー３０と、ＬＫＡ用ＥＣＵ４０と、メインスイッチ５０と、を備える。また、本装置の出力を利用するものとして、ステアリング装置６０を図示する。なお、図中の矢印は、多重通信線等を介した本装置における主要な情報通信の流れを示す。当該通信は、ＣＡＮ（Controller Area Network）やＢＥＡＮ、ＡＶＣ−ＬＡＮ、ＦｌｅｘＲａｙ等の適切な通信プロトコルを用いて行なわれる。

近赤外カメラ１０は、例えば、ウインドシールド中央上部に配設されており、感度分布を近赤外線まで拡張したＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラである。必要に応じて可視光を遮断する赤外線フィルタが用いられる。近赤外カメラ１０は、車両前方の斜め下方に向いた光軸を有し、車両前方の道路を撮像する。近赤外カメラ１０の撮像画像は、画像信号としてＬＫＡ用ＥＣＵ４０に送信される。

ライトＥＣＵ２０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）等の記憶媒体やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。ライトＥＣＵ２０は、ヘッドライトやテールランプ等の照射制御を一元的に行なっており、ヘッドライトの照射状態をＬＫＡ用ＥＣＵ４０に送信している。

また、ライトＥＣＵ２０には、近赤外投光機２５が接続される。近赤外投光機２５は、近赤外カメラ１０により撮像可能な波長の近赤外線を、近赤外カメラ１０の光軸と略一致する方向に投光する。近赤外投光機２５は、例えば、ヘッドライトＡＳＳＹ内部に配設される。このように、近赤外線を投光する構成とすることにより、不要な可視光の照射により歩行者や対向車両の運転者等が眩惑されるのを抑制することができる。

車速センサー３０は、例えば、各輪に取り付けられた車輪速センサーとスキッドコントロールコンピューターからなり、車輪速センサーが出力する車輪速パルス信号をスキッドコントロールコンピューターが車速矩形波パルス信号（車速信号）に変換してＬＫＡ用ＥＣＵ４０に出力する。

ＬＫＡ用ＥＣＵ４０は、例えば、ライトＥＣＵ２０と同様のハードウエア構成を有するコンピューターユニットである。ＬＫＡ用ＥＣＵ４０は、例えばステアリング脇に配設されるメインスイッチ５０に対するユーザー操作により起動し、近赤外カメラ１０の撮像画像解析に基づいてステアリング装置６０に操舵信号を送信する。当該操舵信号送信の具体的内容については、後述する。

ＬＫＡ用ＥＣＵ４０は、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭ上に展開（ロード）して実行することにより機能する主要な機能ブロックとして、画像認識部４２と、操舵信号生成部４４と、を備える。

画像認識部４２は、近赤外カメラ１０から送信された画像信号を解析して、道路区画線と自車両との位置関係を認識する（道路区画線を認識する）。画像解析による認識処理は、道路区画線の種類に応じて、異なる解析領域及び手法に基づいて行なわれる。本実施例は、白線や黄線の実線や破線等（以下、単に「白線等」と称する）で道路を区画する態様の道路区画線と、白線等以外のボッツドッツやキャッツアイにより道路を区画する態様の道路区画線と、に対応可能な構成となっている。

［１．白線等で道路が区画されている場合］
画像認識部４２は、まず、近赤外カメラ１０の撮像画像における下部領域に解析領域を設定する。図３は、白線等を認識する際に、近赤外カメラ１０の撮像画像上に設定される解析領域を表す図である。当該解析領域の下端部は、自車両の数［ｍ］〜十数［ｍ］程度前方に相当し、上端部は、自車両の数十［ｍ］程度前方に相当する。前者は、近赤外カメラ１０の配設位置と車両ノーズを結ぶ直線が道路に接する点に相当する画像上の位置に設定され、後者は、道路区画線が正確に認識可能となるように、十分な奥行きをもった位置に設定される。また、左右の端部を画像の端部から中央寄りに狭めるのは、歩行者や建物等、画像認識において不要なノイズ要素の影響を低減するためである。

解析領域を設定すると、当該解析領域において画像横方向の輝度変化が閾値以上の点を特徴点として抽出し、ハフ変換等の直線抽出手法を用いて直線状又は曲線状に並んだ特徴点のうち長さが所定値以上のものを、道路区画線と認識する。そして、画像座標系から実座標系（上空から見た現実の座標系）への変換処理や、カーブ路の場合には曲率推定処理等を経て、道路区画線で区画される走行車線と自車両との位置関係（例えば、傾き角、及びオフセットで表される）が導出される。ここで、傾き角とは、走行車線の延在方向と自車両の進行方向とのズレ角度であり、オフセットとは、走行車線中心線からの自車両中心部の乖離である（図４参照）。

なお、本発明の中核部分ではないため詳細な説明は省略するが、画像解析の速度を向上させるため、解析領域をくまなく走査して特徴点を抽出するのではなく、適当な間隔をもって画像横方向の走査線を複数設定し、走査線上で特徴点を抽出するのが現実的である。また、カーブ路における道路区画線をより正確に認識するため、解析領域を上段と下段に分け、夫々について画像解析を行なった後にこれらを合成する処理を行なうのが現実的である。

［２．ボッツドッツやキャッツアイで道路が区画されている場合］
この場合、画像認識部４２は、原則として［１］の場合よりも小さい解析領域で画像解析を行なって、道路区画線を認識する。図５は、この場合に近赤外カメラ１０の撮像画像上に設定される解析領域を表す図である。当該解析領域の下端部は、上記［１］の場合と同様、近赤外カメラ１０の配設位置と車両ノーズを結ぶ直線が道路に接する点に相当する画像上の位置に設定される。一方、上端部は、ボッツドッツやヘッドライト等により照射されていない状態のキャッツアイが認識可能な限界距離付近に相当する画像上の位置に設定され、実際には上記白線等の場合の上端部に比して手前側に設定されることとなる（図３、及び図５を比較参照）。ボッツドッツや光が照射されていない状態のキャッツアイは道路面（アスファルト面等）とのコントラストが白線等に比して低く、距離が遠くなると画像上での判別が困難となるからである。このように、判別不能な画像上の領域を解析対象としないことにより、処理速度の向上や処理負荷の軽減を図ることができる。

解析領域を設定すると、解析領域内でパターンマッチング処理やモルフォロジー演算等の処理を行なって、ボッツドッツやキャッツアイを認識する。そして、ボッツドッツであると認識された画像要素のうち、ハフ変換や投票処理を経て抽出される直線状又は曲線状に並んだ画像要素を連ねた仮想直線（又は曲線）を、道路区画線と認識する。なお、その後の走行車線と自車両との位置関係の認識については、［１］の場合と同様である。

ところが、解析領域を［１］に比して狭く設定すると、道路区画線の認識精度が低下することとなる。認識精度の低下程度は、特にカーブ路の曲率推定処理において大きいものとなる。そこで、本実施例では、キャッツアイにより道路区画線を認識する際には、解析領域を拡大すると共に、必要に応じて近赤外投光機２５により車両前方に投光する制御を行なうこととした。近赤外投光機２５の照射光を反射して画像上で高い輝度を有するキャッツアイは、車両からの距離が遠いものであっても、十分に認識可能だからである。

図６は、画像認識部４２が繰り返し実行する特徴的な処理の流れを示すフローチャートである。本フローは、白線等を認識している最中にこれをロストした（具体的には、所定長さ以上の特徴点が抽出されなくなった）ときに開始される。

まず、図５の如く解析領域を設定する（Ｓ１００）。

そして、キャッツアイが道路に敷設されているか否かを判定する（Ｓ１１０）。本判定は、例えば、近赤外カメラ１０の撮像画像に対してパターンマッチング処理やモルフォロジー演算等の処理を行なった結果に基づき行なわれる。また、車両前方を探索するレーダー装置や、道路側インフラとの通信を行なう通信装置によりキャッツアイの存在を検知して行なってもよい。

キャッツアイが道路に敷設されていないと判定された場合は、Ｓ１００において設定した解析領域でボッツドッツを認識することにより、道路区画線を認識する（Ｓ１５０）。

一方、キャッツアイが道路に敷設されていると判定された場合は、キャッツアイを認識するのに十分な光量が照射されているか否かを判定する（Ｓ１２０）。具体的には、ライトＥＣＵ２０から送信されるヘッドライトの照射状態を参照し、ロービームでヘッドライトが照射されているときに、キャッツアイを認識するのに十分な光量が照射されていると推認することができる。また、近赤外カメラ１０の撮像画像における輝度分布に基づいて判定してもよい。

キャッツアイを認識するのに十分な光量が照射されていないと判定された場合は、近赤外投光機２５により車両前方に投光する（Ｓ１３０）。

そして、解析領域を拡大して（Ｓ１４０）、拡大された解析領域でキャッツアイを認識することにより、道路区画線を認識する（Ｓ１５０）。なお、拡大された解析領域（特に手前側の領域）でボッツドッツを更に認識し、これを加味して道路区画線を認識してもよい。

ここで、解析領域の拡大程度は、複数個のキャッツアイが含まれる程度に拡大することが望ましい（図７参照）。こうすることにより、認識されたキャッツアイの位置を連ねて生成される仮想直線（又は曲線）をより正確なものとすることができる。

このように、本実施例の道路区画線認識装置１によれば、比較的遠くにあっても画像上で認識可能なキャッツアイが道路上に存在する際には、解析領域を、ボッツドッツを認識する際に比して拡大するため、仮想直線（又は曲線）をより正確に生成することができる。この結果、道路区画線をより正確に認識することができる。

また、必要に応じて近赤外投光機２５により車両前方に投光する制御を行なうため、より確実にキャッツアイを認識することができる。

なお、上記の制御に加え、図８のフローチャートに示す如く、車速が大きい場合に解析領域を更に拡大する制御を行なってもよい。本フローは、例えば、図６のフローチャートにおけるＳ１４０の処理の一部として実行される。

まず、車速センサー３０から送信される車速が閾値以上であるか否かを判定する（Ｓ１４１）。車速が閾値未満である場合は何も処理を行なわない。

車速が閾値以上である場合は、解析領域を更に拡大する（Ｓ１４２）。こうすることにより、高速走行時において、より正確に道路区画線を認識することができる。なお、当該拡大は図８のフローチャートが繰り返し実行されるに応じて際限なく拡大することを意図するものではなく、車速が閾値以上である場合には、図６のフローチャートで設定された拡大後の解析領域を、画像奥行き方向に所定倍数拡大するという意味合いである。

なお、係る制御は、図６のフローチャートとは独立して行なわれてもよい。例えば、図９に示す如くである。すなわち、解析領域を設定し（Ｓ２００）、車速が閾値以上であるか否かを判定する（Ｓ２１０）。そして、車速が閾値未満であれば当初設定した解析領域でボッツドッツを認識して道路区画線を認識する（Ｓ２３０）。一方、車速が閾値以上であれば解析領域を拡大し（Ｓ２２０）、キャッツアイ（及びボッツドッツ）を認識して道路区画線を認識する（Ｓ２３０）。図８や図９の制御を行なわないものとすれば、車速センサー３０の存在は不要となる。

［認識された道路区画線の利用］
画像認識部４２により導出された走行車線と自車両の位置関係は、操舵信号生成部４４に出力される。操舵信号生成部４４は、入力された位置関係に基づいて、所定時間後（例えば０コンマ数［ｓｅｃ］〜数［ｓｅｃ］等）に走行車線から逸脱すると予想された場合に、ブザーによる警報を行なうと共に、小さい補助操舵力を短時間出力するように操舵信号を生成して、ステアリング装置６０に送信する（車線逸脱警報制御）。また、自車両が走行車線中央部付近を安定的に走行できるように、小さい補助操舵力を連続的に出力するように操舵信号を生成してステアリング装置６０に送信する（車線維持支援制御）。これらの制御により、自車両の走行車線からの逸脱を抑制することができる。

なお、厳密に言うと、操舵信号生成部４４は、特許請求の範囲における「道路区画線認識装置」の範疇を超える機能ブロックであり、本実施例の道路区画線認識装置１は、「道路区画線認識装置を含む操舵制御システム」等と換言することができる。

ステアリング装置６０は、例えば、電動パワーステアリング装置であり、操舵角センサーやトルクセンサー、アシストモータ、コントローラー等を備える。ステアリング装置６０のコントローラーは、ＬＫＡ用ＥＣＵ４０から操舵信号が送信されない通常時には、トルクセンサーからのステアリングトルク信号やその他の車両状態信号（車速やヨーレート等）に基づいて、車両の操舵に必要なトルクを出力するように、アシストモータの駆動回路に制御信号を出力する。また、ＬＫＡ用ＥＣＵ４０から操舵信号が送信されている時には、上記通常時のアシストモータ制御に加えて（又は、代えて）ＬＫＡ用ＥＣＵ４０からの操舵信号に基づいて、アシストモータを制御する。

［第２実施例］
以下、本発明の第２実施例に係る道路区画線認識装置２について説明する。図１０は、道路区画線認識装置２の全体構成の一例を示す図である。なお、第１実施例との重複部分については同一符号を付して説明を省略する。

道路区画線認識装置２は、第１実施例の道路区画線認識装置１が有する近赤外カメラ１０に代えて可視光カメラ１５を備え、近赤外投光機２５を除外した構成となっている。

可視光カメラ１５は、例えば、ウインドシールド中央上部に配設されたＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラであり、車両前方の斜め下方に向いた光軸を有し、車両前方の道路を撮像する。可視光カメラ１５の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式により生成される画像信号としてＬＫＡ用ＥＣＵ４０に送信される。

本実施例における投光制御は、ヘッドライトの可視光により行なわれる。すなわち、昼間であってもキャッツアイを認識困難であると判断された場合にヘッドライトを照射する。また、夜間であっても照射光が不十分であると判断された場合にヘッドライトの照射光を大きくすることが考えられる。

このため、本実施例が搭載される車両が備えるヘッドライトは、その照射方向（特に水平方向の照射方向）をある程度自在に調節可能とするためのアクチュエーターを備えることが望ましい。そして、ヘッドライトの照射方向を、車両中心軸の方向ではなく、走行車線（道路区画線）に沿った方向となるように制御するのである。この際の照射角度調節には、道路区画線認識により得られた傾き角を利用すればよい。このようにすれば、歩行者や対向車両の運転者等が眩惑されるのを抑制することができる。

なお、その他の効果、例えば解析領域を拡大してキャッツアイを認識することにより道路区画線をより正確に認識することができる効果や、各構成要素の機能、意義等については、第１実施例と同様である。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、第１実施例においてライトＥＣＵ２０を省略し、近赤外投光機２５をＬＫＡ用ＥＣＵ４０が直接制御するものとしてもよい。

また、投光制御を省略することも可能である。この場合、白線等で区画されていない道路における解析領域の拡大は、ヘッドライトが照射されているであろう夜間にのみ実行されることとすればよい。夜間であることの検知は、ヘッドライトの照射状態や内部タイマーの値を参照するものとすればよい。

また、近赤外投光機２５を常時作動させるものとしても構わない。

また、車速に応じた解析領域の拡大は、実施例で例示した閾値を基準とする２段階制御に限らず、より多段階に拡大するものとしてもよい。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

本発明の第１実施例に係る道路区画線認識装置１の全体構成の一例を示す図である。 各構成要素の配設位置と本装置の作動状況を模式的に示す図である。 白線等を認識する際に、近赤外カメラ１０の撮像画像上に設定される解析領域を表す図である。 傾き角、及びオフセットを示す図である。 ボッツドッツやキャッツアイを認識する際に、原則として近赤外カメラ１０の撮像画像上に設定される解析領域を表す図である。 画像認識部４２が繰り返し実行する特徴的な処理の流れを示すフローチャートである。 解析領域の好ましい拡大程度を示す図である。 車速が大きい場合に解析領域を更に拡大する制御の流れを示す図である。 車速が大きい場合に解析領域を拡大する制御の流れを示す図である。 本発明の第２実施例に係る道路区画線認識装置２の全体構成の一例を示す図である。

符号の説明

１、２ 道路区画線認識装置
１０ 近赤外カメラ
１５ 可視光カメラ
２０ ライトＥＣＵ
２５ 近赤外投光機
３０ 車速センサー
４０ ＬＫＡ用ＥＣＵ
４２ 画像解析部
４４ 操舵信号生成部
５０ メインスイッチ
６０ ステアリング装置

Claims (6)

1. 車両周辺を撮像する撮像手段を備え、該撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、
   光反射材を有する反射物標を認識して道路区画線を認識する反射物標認識時には、該反射物標とは異なる非反射物標を認識して道路区画線を認識する非反射物標認識時に比して、前記撮像手段の撮像画像における画像解析領域を奥行き方向に拡大することを特徴とする、道路区画線認識装置。
2. 請求項１に記載の道路区画線認識装置であって、
   前記反射物標認識時には、道路に沿って敷設された前記反射物標が複数個含まれる程度に前記撮像手段の撮像画像における画像解析領域を拡大することを特徴とする、道路区画線認識装置。
3. 請求項１又は２に記載の道路区画線認識装置であって、
   前記反射物標が道路に敷設されていることを検知する反射物標検知手段を備え、
   該反射物標検知手段により前記反射物標が道路に敷設されていることが検知された場合に、前記反射物標を認識して道路区画線を認識することを特徴とする、道路区画線認識装置。
4. 請求項３に記載の道路区画線認識装置であって、
   車両前方に向けて投光する投光手段を備え、
   前記物標検知手段により前記反射物標が道路に敷設されていることが検知された場合に、該投光手段により投光することを特徴とする、道路区画線認識装置。
5. 請求項４に記載の道路区画線認識装置であって、
   道路区画線で区画される走行車線に沿って投光するように前記投光手段を制御することを特徴とする、道路区画線認識装置。
6. 請求項１ないし５のいずれかに記載の道路区画線認識装置であって、
   車速を検出する車速検出手段を備え、
   該車速検出手段により検出された車速の増加に応じて前記撮像手段の撮像画像における画像解析領域を拡大することを特徴とする、道路区画線認識装置。

Images