JP2005258846A - 車線境界判定装置 - Google Patents

Abstract

【課題】誤判定や時間遅れのない分岐路判定方式を低コストで実現すること。
【解決手段】 ステップ３１５以降では、以下の条件式が満たされるか否かについて、各ステップ毎に判定処理を実行する。
｜Ｘ_i −Ｘ_j ｜ ≦ α１ ， ε１ ≦ ｜θ_i −θ_j ｜ ≦ β１，
｜Ｘ_i −Ｘ_k ｜ ≦ α２ ， ｜θ_i −θ_k ｜ ≦ β２．
１行目の条件式は、今回の制御周期で抽出されたエッジ線ｉ，ｊ同士が、分岐点を構成しうる角度や距離に互いに位置しているか否かを検証するためのものである。また、２行目の条件式は、エッジ線ｉと所定の基準エッジ線ｋとが、略一致する角度や距離に互いに位置しているか否かを検証するためのものである。エッジ線ｉ，ｋが同一の白線を示している場合には、エッジ線ｉ，ｊの交点を分岐点と判定することができる。
【選択図】図８

Description

本発明は、車載カメラからの入力画像に基づいて路面上に描かれた車線標示の境界位置を実時間で判定する判定装置に関し、本発明の車線境界判定装置は、例えば、車両の自動レーンキーピング動作等を実行する車両の運転支援システム等に有用な装置として、利用することができる。

路面上に描かれた車線標示の境界位置を実時間で判定する判定装置としては、例えば、下記の特許文献１や特許文献２などが一般にも広く知られている。
下記の特許文献１では、周期的に繰り返し撮像される多数の路面画像を調べて、２本の白線の相対的な位置関係の時間的な変化の特徴を分析することにより本線に分岐路が有るか否かの分岐路判定を行っている。

また、下記の特許文献２は、最終的に採択されるべき車線境界白線を決定してから、その境界白線が分岐点を有するか否かを判定するものである。
特開平１１−２３２４６７ 特開２００２−３１２７９７

上記の特許文献１は、複数或いは多数の路面画像に基づいて分岐路判定を行っているので、所望の判定結果を得るまでに時間的な遅れが生じる。
また、上記の特許文献２では、車線境界白線を決定した後に、その周辺領域（外側）に、分岐路相当の白線が存在するか否かを判定しているため、分岐路の有無判定結果に基づいて、柔軟かつ迅速に常時正しい車線境界白線を選択することは容易でない。

一般の高速道路では、車両は少なくとも秒速２０〜３０メートルで走行することが想定される。したがって、例えば、１００ｍｓｅｃ周期で路面画像を入力する場合、分岐点の判定が１画面分遅れると、その間に車両は約３メートル前進していることになる。車線の分岐点付近の路面映像の車両に対する近傍領域（特に前後方向）においては、この長さ分の路面画像は、正確な分岐判定に係わる多くの重要な情報を含んでいる。このため、１画面分の遅れは決して安易に無視できるものではない。即ち、上記の特許文献２の方式においても、判定処理の時間遅れの問題が十分には解決されているとは言い難い。
また、撮像周期をより短く設定できるより高い性能のカメラを車載すれば、新たにコスト面での問題が派生する。

更に、従来の車線境界判定装置では、車線標示が複数列の白線または点列などから複合的に構成される複合線で表示されている場合に、車載カメラの取付位置や撮像の解像度や車速や車線標示の鮮明さなどによっては、それらの分離（輪郭若しくは境界の見分け）が容易でないと言う問題もあった。このため、従来の車線境界判定装置では、曖昧な路面画像に基づく判定処理に起因して、特に分岐路の分岐点付近において白線候補などを誤検出する場合があった。

本発明は、上記の課題を解決するために成されたものであり、その目的は、分岐路判定に関して、誤判定や時間遅れのない車線境界判定装置を現実的なコストで提供することである。

上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、車両に搭載されたカメラからの入力画像に基づいてその車両の走行路面上に描かれた車線標示で規定される車線（レーン）の左右の境界位置を車両の走行中に実時間で判定する判定装置において、その入力画像から車線標示のエッジ点を抽出するエッジ点抽出手段と、抽出されたエッジ点から車線標示のエッジ線を抽出し、少なくとも２変数以上で１組の実数パラメータ（ｐ，ｑ（，．．））を用いて、走行路面上の直線としてエッジ線の位置と方向を定式化するエッジ線抽出手段と、抽出された２本のエッジ線ｉ，ｊの間で上記の実数パラメータ中の適当な任意の２変数（ｐ，ｑ）を用いて定義される特性差分ベクトル（ｐ_i −ｐ_j ，ｑ_i −ｑ_j ）が、所定の適正範囲内に納まるか否かに基づいて上記のエッジ線ｉ，ｊの交点が車線の分岐点であり得るか否かを判定する分岐点検出手段と、この分岐点検出手段の判定結果に基づいて車線の左右の境界位置を決定する車線境界決定手段とを備えることである。

ただし、上記の変数ｐ，ｑの各下付きの添え字は、対応するエッジ線の名前（ｉ，ｊ）を示している。また、２変数（ｐ，ｑ）は、エッジ線の位置や方向を表す適当な実数パラメータで良い。これらのパラメータを適当に選べば、上記の特性差分ベクトル（ｐ_i −ｐ_j ，ｑ_i −ｑ_j ）は、エッジ線ｉ，ｊの位置関係の違い（特性差分）を端的に表す評価式と成り得る。

また、本発明の第２の手段は、上記の第１の手段において、ｙ軸の正の向きを車両の前方方向に取り、ｘ軸の正の向きを車両の右向き方向に取ったｘｙ直交座標平面で走行路面を表す時、上記の２変数（ｐ，ｑ）の何れか一方を、車両の前方において、所定の距離Ｄに対してｙ＝Ｄを満たす直線上におけるエッジ線のｘ座標に略一致する変数とし、この２変数（ｐ，ｑ）の他の一方を、ｙ軸の正の向きに対してエッジ線が成す角度θに略一致する変数とすることである。

その他にも、例えば、ｙ軸の正の向きを車両の前方方向に取り、ｘ軸の正の向きを車両の右向き方向に取ったｘｙ直交座標平面で走行路面を表し、かつ、車線標示のエッジ線の方程式をｘ＝ａｙ＋ｂと表す時、この方程式の変数パラメータ（ａ，ｂ）を上記の２変数（ｐ，ｑ）として用いるなどの方式を採用しても良い。

また、本発明の第３の手段は、上記の第１又は第２の手段において、ｘ軸の正の向きを車両の右向き方向に取った座標平面で走行路面を表す時、分岐点検出手段によって左側に分岐する分岐点の有無を判定する場合に、その判定データとして使用する２本のエッジ線ｉ，ｊを何れも、入力画像中における輝度Ｌをｘ座標で偏微分した値∂Ｌ／∂ｘが負の極小値となる点の集合を代表するエッジ線にすることである。

また、本発明の第４の手段は、上記の第１乃至第３の何れか１つの手段において、ｘ軸の正の向きを車両の右向き方向に取った座標平面で走行路面を表す時、分岐点検出手段によって右側に分岐する分岐点の有無を判定する場合に、その判定データとして使用する２本のエッジ線ｉ，ｊを何れも、入力画像中における輝度Ｌをｘ座標で偏微分した値∂Ｌ／∂ｘが正の極大値となる点の集合を代表するエッジ線にすることである。

また、本発明の第５の手段は、上記の第１乃至第４の何れか１つの手段において、分岐点検出手段または車線境界決定手段の何れか一方によって、双方の交点が車線の分岐点であり得ると判定された２本のエッジ線ｉ，ｊの内の少なくとも何れか一方と、所定の比較対象である基準エッジ線ｋ（ｐ_k ，ｑ_k ）との間で実数パラメータ中の適当な任意の２変数（ｐ，ｑ）を用いて定義される特性差分ベクトル（（ｐ_i −ｐ_k ，ｑ_i −ｑ_k ）又は（ｐ_j −ｐ_k ，ｑ_j −ｑ_k ））が、所定の適正範囲内に納まるか否かに基づいて、車線の分岐点の有無を判定することである。

また、本発明の第６の手段は、上記の第１乃至第５の何れか１つの手段において、分岐点検出手段によって、エッジ線ｉ，ｊの交点が車線の分岐点であると判定された場合に、エッジ線ｉ又はエッジ線ｊをエッジ線として有する車線標示の輪郭を構成している複数のエッジ線の中から、車両が現時点で走行中の車線の中心線に対して適正距離範囲内に位置しており、かつ、最も中心線寄りに位置しているエッジ線を最終的に求めるべき車両の左右何れか一方の境界位置として、上記の車線境界決定手段により選択することである。

また、本発明の第７の手段は、車両に搭載されたカメラからの入力画像に基づいて、車両の走行路面上に描かれた車線標示で規定される車線（レーン）の左右の境界位置を車両の走行中に実時間で判定する判定装置において、入力画像から車線標示のエッジ点を抽出するエッジ点抽出手段と、抽出されたエッジ点から車線標示のエッジ線を抽出し、少なくとも２変数以上で１組の実数パラメータ（ｐ，ｑ（，．．））を用いて、走行路面上の直線として、エッジ線の位置と方向を定式化するエッジ線抽出手段と、抽出されたエッジ線ｉと所定の比較対象である基準エッジ線ｋ（ｐ_k ，ｑ_k ）との間で、上記の実数パラメータ中の適当な任意の２変数（ｐ，ｑ）を用いて定義される特性差分ベクトル（ｐ_i −ｐ_k ，ｑ_i −ｑ_k ）が、所定の適正範囲内に納まるか否かに基づいて、車両の境界位置としてのエッジ線ｉの妥当性を検証する妥当性検証手段とを備えることである。

また、本発明の第８の手段は、上記の第５乃至第７の何れか１つの手段において、上記の基準エッジ線ｋとして、直近過去に採択された車線の境界位置から予測されるエッジ線を用いることである。

また、本発明の第９の手段は、上記の第５乃至第８の何れか１つの手段において、入力画像を水平方向に複数段に分割する画像分割手段を備え、かつ、上記の基準エッジ線ｋとして、自段よりも下段に位置する水平分割画像中における車線の境界位置と一致するエッジ線を用いることである。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。

以上の本発明の手段によって得られる効果は以下の通りである。
即ち、本発明の第１の手段によれば、１画面の路面画像から簡単に本線と分岐路との分岐点を検出することができる。上記の２変数（ｐ，ｑ）として、エッジ線の位置や方向を表す実数パラメータを適当に選べば、上記の特性差分ベクトル（ｐ_i −ｐ_j ，ｑ_i −ｑ_j ）は、エッジ線ｉ，ｊの位置関係の違いを端的に表すバロメータとなる。したがって、この特性差分ベクトル（ｐ_i −ｐ_j ，ｑ_i −ｑ_j ）が適正範囲内に納まっていれば、エッジ線ｉ，ｊは、撮像された路面上で適当な角度で交差していることになる。

言い換えれば、抽出されたエッジ線ｉ，ｊが、撮像された路面上で道路の分岐として適当な角度で交差している時に、上記の特性差分ベクトル（ｐ_i −ｐ_j ，ｑ_i −ｑ_j ）が所定の範囲内に納まる様に、エッジ線の位置や向きを一意に表現しうる２変数（パラメータｐ，ｑ）を適当に選択することができる。
次の本発明の第２の手段は、その一例を示すものである。

即ち、本発明の第２の手段によれば、任意のエッジ線の位置と方向を上記のｘ座標と角度θにより一意に表現することができ、かつ、この方式に従えば、１画面の路面画像から簡単に本線と分岐路との分岐点を効率よく効果的に検出することができる。
例えば、上記の適正範囲を｜ｘ_i −ｘ_j ｜≦α１、かつ、ε１≦｜θ_i −θ_j ｜≦β１と規定すれば、車両前方のｙ＝Ｄ付近の道路の分岐を表現していると判定するのに相応しい、相互に適当な距離と角度を持つ二線一組のエッジ線を検出することができる。高速道路の場合、β１の適値は、通常２０°程度である。また、この値は、ナビゲーションシステムとの連動などにより動的に変更しても良い。

その他にも、例えば、ｙ軸の正の向きを車両の前方方向に取り、ｘ軸の正の向きを車両の右向き方向に取ったｘｙ直交座標平面で走行路面を表し、かつ、車線標示のエッジ線の方程式をｘ＝ａｙ＋ｂと表す時、この方程式の変数パラメータ（ａ，ｂ）を上記の２変数（ｐ，ｑ）として用いるなどの方式を採用しても良い。この様な変数パラメータを選択しても、同様の作用・効果を得ることができる。

車線標示が複数列の白線または点列などから成る複合線で構成されている場合に、車載カメラの撮像の解像度や車速や車線標示の鮮明さなどによっては、それらの分離（輪郭若しくは境界の見分け）が容易でないことがあるが、本発明の第３または第４の手段によれば、この様な曖昧な車線標示が撮像された場合にも、より的確なエッジ線の選択に基づいてより正確な分岐路判定を行うことができる。

また、本発明の第５の手段によれば、検出された分岐路形状の妥当性を、より確かなデータである上記の基準エッジ線ｋに照らして検証することができるので、路面上のノイズ映像による誤った分岐路判定を行うことを防止することができる。即ち、この方式は、双方の交点が車線の分岐点であると推定される２本のエッジ線ｉ，ｊの内の少なくとも何れか一方が、信頼度の高い所定の基準エッジ線ｋと略一致することを確認することにより、その交点が車線の分岐点であると判定するものである。
また、上記の第５の手段における所定の適正範囲に対してある程度の幅を持たせると、路面の凹凸によって車両の先端（ノーズ）が縦に首振り現象を起こした場合などにも、撮像角度（伏せ角）の経時的なブレなどに柔軟に対応することができて都合が良い。

また、本発明の第６の手段によれば、分岐点が検出された際に、関連する妥当なエッジ線の中から、もっとも内側のエッジ線が車線の境界位置として選択されるので、分岐路があった場合に、車両はその分岐路を無視して本線を走り続けることができる。車両の運転支援システム等では、通常、高速道路において所定の分岐路、パーキングエリア、サービスエリア、または料金所などに至るまでの本線上の継続的な走行を支援することが主目的とされているので、本発明の第６の手段は、これらの場合に都合が良い。

また、本発明の第７の手段によれば、上記の第５の手段におけるエッジ線ｉに対する妥当性の検証処理を、分岐点検出前の状態に置かれた１本のエッジ線に対しても単独で実施することができる。この様な妥当性の検証処理は、分岐点検出の判定処理前に実施しても良いし、分岐点検出処理とは無関係の任意のノイズ判定処理時に実施しても良い。この様な、エッジ線かノイズかの判定処理により、エッジ線の妥当性に係わる各種の判定処理の信頼性を向上できる場合が有る。

また、上記の基準エッジ線ｋとしては、例えば、直近過去に採択された車線の境界位置から予測されるエッジ線や、自段よりも下段に位置する水平分割画像中における車線の境界位置と一致するエッジ線などを用いることができる（本発明の第８或いは第９の手段）。

以下、本発明を具体的な実施例に基づいて説明する。
ただし、本発明の実施形態は、以下に示す個々の実施例に限定されるものではない。

図１は、本実施例１の車線境界判定装置１００の論理的なシステム構成図である。エッジ点抽出手段１は、車載カメラで撮像した路面画像（イメージデータ）に基づいて、エッジ点（白線などの車線標示の輪郭を構成する点）を抽出し、エッジ点データとして所定の記憶領域（テーブル１０）に記録する手段である。
これらの各手段１〜５は、上記の車載カメラと連動する公知の構成を有して成るコンピュータシステムによって実現されている。

エッジ線抽出手段２は、上記のエッジ点データに基づいて、車線標示の輪郭であるエッジ線を抽出して、その線を表すデータ（エッジ線データ）を所定の記憶領域（テーブル２０）に記録する手段である。
白線候補抽出手段３は、規定されている所定の白線幅や車線間隔（レーン幅）などに照らして、テーブル２０上に記憶されたエッジ線データの妥当性を検証し、テーブル２０上のノイズデータ（車線標示の輪郭を構成しない線データ）のレコードを削除する手段である。

分岐点検出手段４は、テーブル２０上に記録されたエッジ線データに基づいて、新たに分岐点データをテーブル３０上に生成する手段である。本発明は、特にこの分岐点検出手段４に深く係わる。
車線境界決定手段５は、テーブル２０に格納されたエッジ線データとテーブル３０に格納された分岐点データに基づいて、車線境界の位置を決定する手段である。

図２−Ａは、エッジ線データを格納するテーブル２０のテーブル表であり、図２−Ｂは、分岐点データを格納するテーブル３０のテーブル表である。これらのテーブルには、抽出された各エッジ線毎に以下の情報が記録される。ただし、本実施例１では、ｙ軸の正の向きを車両の前方方向に取り、ｘ軸の正の向きを車両の右向き方向に取ったｘｙ直交座標平面で走行路面を表し、原点を車両の前部中央の先端に取る。また、入力画像中における輝度Ｌをｘ座標で偏微分した値∂Ｌ／∂ｘが正の極大値となる点の集合を代表するエッジ線（即ち、白線の左側の輪郭線）を上りエッジ線などと言うことがある。下りエッジ線に付いても同様である。
（テーブル２０の変数定義）
Ｎ ： エッジ線番号
ａ ： エッジ線の方程式（ｘ＝ａｙ＋ｂ）の１次の係数
ｂ ： エッジ線の方程式（ｘ＝ａｙ＋ｂ）の定数項
ｃ ： エッジ線の区分（上り／下り）
Ｘ ： 直線ｙ＝Ｄ上におけるエッジ線のｘ座標
（ただし、直線ｙ＝Ｄの位置は、図４−Ｂ等の画像の底辺の位置に限定されるものではなく任意で良い。）
θ ： ｙ軸の正の向きに対するエッジ線の角度
（右回りに増大する。ｙ軸上はθ＝０，右に傾けばθ＞０）
Ｍ１ ： ペアで白線を構成する相手側のエッジ線番号
ｄ１ ： その白線の幅
Ｍ２ ： ペアで白線を構成する相手側のエッジ線番号（予備領域）
ｄ２ ： その白線の幅（予備領域）

（テーブル３０の変数定義）
Ｙ ： ２本のエッジ線の交点（分岐点）のｙ座標
Ｉ ： 分岐点を持つエッジ線のエッジ線番号
Ｊ ： 分岐点を持つエッジ線のエッジ線番号

図３に、車線境界判定装置１００の制御プログラム２００のゼネラルフローチャートを示す。車線境界判定装置１００では、まず最初に、ステップ２１０にて路面画像を車載カメラから入力する。図４−Ａに、この時入力された路面画像中におけるイメージデータ４１を模式的に例示する。
次に、ステップ２２０では、前述のエッジ点抽出手段１により、周知の幾何変換や微分処理などを用いてエッジ点の抽出処理を実行する。図４−Ｂに、この時上記のイメージデータ４１の図示する変換対象部を幾何変換して得られる鳥瞰画像４２を示す。また、図５−Ａのグラフ４３は、微分処理によって得られるエッジ点データのイメージを表している。

次に、ステップ２３０では、前述のエッジ線抽出手段２により、周知のハフ変換処理などを用いてエッジ線を抽出する。図５−Ｂのグラフ４４は、上記のテーブル１０上のエッジ点データに対するハフ変換によって得られるエッジ線データのイメージを表している。このエッジ線抽出処理では、図２−Ａの６変数（Ｎ，ａ，ｂ，ｃ，Ｘ，θ）で構成されるデータ２１をそれぞれ求めて更新する。例えば、エッジ線番号Ｎは、１から始まる通し番号をＸの値の上昇順に付ける。
なお、以上の各処理に係わる情報処理手順としては、例えば「特開２００３−１６８１２３」などに参考となる例示的な開示が有る。

次に、ステップ２４０では、前述の白線候補抽出手段３により、所定の整合性を満たす白線候補を抽出する。図５−Ｃのグラフ４５は、白線抽出処理によって得られる白線情報のイメージを表している。このステップ２４０では、白線の線幅や車線間隔（レーンの幅）などとの整合性に基づいて、許容され得る白線を構成するエッジ線の候補を抽出する。上りエッジ線と下りのエッジ線とのペアで、妥当な白線幅が形成でき、かつ、適当なｘ座標を有していれば、所望の白線候補となる。よって、この時白線ペアを構成する相手側のエッジ線のエッジ区分は反転している。これらの整合性を満たしたエッジ線に付いては、Ｍ１（ペアで白線を構成する相手側のエッジ線番号）とｄ１（その白線の幅）をそのエッジ線のテーブル２０上に記録する。

ただし、白線ペアを構成する相手側のエッジ線が決定できない場合でも、車線境界として想定され得る位置にあるエッジ線に付いては、そのレコードは削除しない。このレコードの変数Ｍ１，ｄ１は更新しなくても良い。なお、予備領域（Ｍ１，ｄ１）は、白線ペアの相手が２つ有った場合などに使用可能である。

以下の処理では、車両が現在走行中の車線の左側の分岐点の判定手順について説明する。右側の分岐点の判定は、同時に同様に実施することができるので、以下、あえて説明を省略する。
ステップ２４０実行後は、次のステップ２５０にて、前述の分岐点検出手段４により、現在走行中の車線（本線）からの分岐路の分岐点を検出する。

図６は、図５の左側の分岐点を検出するための処理（ステップ２５０）を説明する説明図である。実線の矢印は上りエッジ線を表しており、点線の矢印は下りエッジ線を表している。ここでは処理対象とするエッジ線ｉ，ｊのエッジ区分を下りに限定して処理を行う。

図７は、図６の処理（左側の分岐点検出処理（ステップ２５０））において下りエッジ線ｉ，ｊを用いる理由を説明する説明図である。
図７−Ａは、図４の分岐点付近の車線標示の他の例を示している。この例では、ブロック状の点列が分岐路の左側の境界線を示す白線と重なった状態で路面画像が取り込まれているため、車線標示の形状が若干曖昧であり、判定しにくい。この様な場合、下りエッジ線ｊに付いては、白線ペアが検出できていなかったり、或いは一番左側の上りエッジ線の白線ペアが２本（下りエッジ線ｉ，ｊ）仮定されていたりすることがある。

しかしながら、以下の分岐点検出処理においては、この様な場合にも、下りエッジ線ｉ，ｊに処理対象を限定するので、図７からも判る様に失敗することなく確実に処理対象を選択することができ、よって、以下に例示される様に、分岐判定を誤ることがない。
なお、右側の分岐点を判定する場合には、逆に、上りエッジ線ｉ，ｊに処理対象を限定しておけば良い。

図８は、図３のステップ２５０から呼び出されて、分岐点検出処理を実行するサブルーチン３００のフローチャートである。
本サブルーチン３００では、まず最初にステップ３０５では、前述のテーブル３０を０クリアする。ただし、本サブルーチン３００では、このテーブル３０の変数Ｉ，Ｊには、以下のように下りのエッジ線しか登録しないものとする。
Ｉ ： 分岐点を持つエッジ線（ｃ＝下り）のエッジ線番号
Ｊ ： 分岐点を持つエッジ線（ｃ＝下り）のエッジ線番号

ステップ３１０では、整数型の制御変数ｉ，ｊを初期化する。
ステップ３１５〜ステップ３４０では、以下の条件式１〜６が満たされるか否かについて、各ステップ毎に判定処理を実行する。

（条件式１）
｜Ｘ_i −Ｘ_j ｜ ≦ α１ …（１）
（条件式２）
ε１ ≦ ｜θ_i −θ_j ｜ ≦ β１ …（２）
（条件式３）
｜Ｘ_i −Ｘ_k ｜ ≦ α２ …（３）
（条件式４）
｜θ_i −θ_k ｜ ≦ β２ …（４）

上記の条件式１、２は、エッジ線ｉ，ｊ同士が、分岐点を構成しうる角度や距離に互いに位置しているか否かを検証するためのものである。
例えば、ε１やβ１の値は、２°及び２０°程度で良い。高速道路の本線に対する分岐では、急な角度のものはなく、またある程度以上の角度を持たないと分岐とは考えにくいためである。この様な境界値は、高速道路ごとに決めても良いし、ナビゲーションシステムとの連動などによって、動的に変更しても良い。

また、上記の条件式３、４は、エッジ線ｉと所定の基準エッジ線ｋとが、略一致する角度や距離に互いに位置しているか否かを検証するためのものである。

ステップ３５０では、次の手順にしたがって、テーブル３０を更新する。
（手順ａ１）エッジ線ｉ，ｊの交点のｙ座標を求め、その値を退避領域Ｙに格納する。
（手順ａ２）エッジ線ｋと略一致した方のエッジ線のエッジ線番号（＝ｉ）を退避領域Ｉに格納する。
（手順ａ３）退避領域Ｊに、もう一方のエッジ線番号ｊを格納する。

本実施例１では、１画面上に分岐点は、１点または０点しかないものと仮定するので、分岐点が１点検出された時点で、サブルーチン３００は手順ａ１〜ａ３を実施した後は呼出元に制御を戻す。

（条件式５）
｜Ｘ_j −Ｘ_k ｜ ≦ α２ …（５）
（条件式６）
｜θ_j −θ_k ｜ ≦ β２ …（６）
ただし、この条件式５、６は、エッジ線ｊと基準エッジ線ｋとが、略一致する角度や距離に互いに位置しているか否かを検証するためのものである。図９は、この検証方式を説明するものである。図９の基準エッジ線ｋは、前回の制御周期（例：０．１秒前）において、左側の車線境界位置として採用されたエッジ線の位置から予想される現在の車線境界位置を示す直線（エッジ線）である。この様なエッジ線ｊ，ｋ間の関係を条件式５、６で検証することにより、エッジ線ｊ，ｋ間の同一性（一致／不一致）を検証することができる。エッジ線ｊ，ｋが同一の白線を示している場合には、エッジ線ｉ，ｊの交点を分岐点と判定することができる。

ステップ３５５では、次の手順にしたがって、テーブル３０を更新する。
（手順ｂ１）エッジ線ｉ，ｊの交点のｙ座標を求め、その値を退避領域Ｙに格納する。
（手順ｂ２）エッジ線ｋと略一致した方のエッジ線のエッジ線番号（＝ｊ）を退避領域Ｉに格納する。
（手順ｂ３）退避領域Ｊに、もう一方のエッジ線番号ｉを格納する。

ステップ３６０〜ステップ３７５では、テーブル２０の巡回処理を制御する。この巡回処理では、各エッジ線間の組み合せに付いて漏れや重複がないように制御する。例えばここでは、Ｎ_MAX は、テーブル２０の形式で登録されている全エッジ線のレコード件数である。
以上のサブルーチン３００を実行後は、呼出元に制御を戻す。これらの処理により、ステップ２５０が実行されたことになる。図１０−Ａのグラフ４６は、以上の処理による分岐点検出結果のイメージを表している。

また、図１０−Ｂのグラフ４７は、車線境界決定結果のイメージを表すものであり、以下に述べるサブルーチン４００（図１１）のステップ４２０が実行された場合の状態を表している。
図１１は、図３のステップ２６０にて呼び出されて実行される、車線境界決定処理を実行するサブルーチン４００のフローチャートである。
ステップ４１０では、上記のテーブル３０の分岐点データを参照して、Ｙの値をチェックする。Ｙ≠０の場合には、分岐点が存在するので、ステップ４２０に処理を移す。

ステップ４２０では、テーブル３０の退避領域Ｉ，Ｊに格納されたエッジ線番号を有するエッジ線を車線の左側の境界位置として採用する。ただし、ｙ＜Ｙなる領域ではエッジ線番号が退避領域Ｉに格納されている、基準エッジ線ｋと略一致した方のエッジ線を用い、ｙ≧Ｙなる領域では、内側（角度θの大きい方）のエッジ線を用いるものとする。

これにより、分岐点が検出された際に、関連する妥当なエッジ線の中から、もっとも内側のエッジ線が車線の境界位置として選択されるので、分岐路があった場合に、車両はその分岐路を無視して本線を走り続けることができる。車両の運転支援システム等では、通常、高速道路において所定の分岐路、パーキングエリア、サービスエリア、または料金所などに至るまでの本線上の継続的な走行を支援することが主目的とされているので、これらの場合に都合が良い。

一方、Ｙ＝０の時には、分岐点は存在しなかったことになる。この時は、ステップ４３０において、テーブル２０を条件検索して、推定される車線幅に最も整合するエッジ線ｋ′を探し出す。妥当と判定されるエッジ線ｋ′が有った場合には、ステップ４５０により、そのエッジ線ｋ′の位置を新たな車線境界位置にする。
また、妥当と判定されるエッジ線ｋ′が見つからなかった場合には、ステップ４６０の例外処理を実行する。

ステップ４６０では、右側の車線境界位置と現在の車線のレーン幅から左側の車線境界位置を推定する。或いは、直近過去の基準エッジ線ｋから左側の車線境界位置を推定する。或いは、装置を異常終了させる。例えば、車線境界位置をこれらの方法で推定し、ステップ４６０の例外処理が所定の複数回連続的に実行された際に、装置を異常終了させるなどすると良い。

最後に、図３のステップ２７０では、決定された車線境界位置を、例えば自動ステアリング装置などに関する応用プログラムが参照可能な記憶領域に出力する。
例えば、以上の様な制御方式にしたがって、上記の車線境界判定装置１００を構成することにより、分岐路判定に関する誤判定や時間遅れのない車線境界判定装置を現実的なコストで提供することができる。

図１２に、前述の図９のチェック内容の変形例を例示する。この例では、入力画像を水平方向に上下２段に分割する図略の画像分割手段を備え、かつ、上記の基準エッジ線ｋとして、下段に位置する水平分割画像中における車線の境界位置と一致するエッジ線を用いる。画面の分割段数はその他、３段でも４段でも良い。
路面画像を水平方向に分割した場合、通常、下段の画像は、前回の制御周期で、少なくともその一部が既に情報処理の対象となった、路面領域を含んでいる。即ち、この領域については前回解析対象となっているので、その解析結果などに基づいて、より信頼性の高い車線境界位置が見いだせる可能性が高い。

このため、自段よりも下段に位置する水平分割画像に基づいて基準エッジ線ｋを定義しても、上記の実施例１と略同様の処理による略同様の作用・効果が期待できる。即ち、領域間の空間的な連続性の制約から、検出した分岐パターンの車線境界としての妥当性を検証し、これによってノイズ情報を効果的に排除することができる。

〔その他の変形例〕
本発明の実施形態は、上記の形態に限定されるものではなく、その他にも以下に例示される様な変形を行っても良い。この様な変形や応用によっても、本発明の作用に基づいて本発明の効果を得ることができる。
（変形例１）
例えば、上記の実施例１では、エッジ線の位置や方向（傾き）を表す指標として、直線ｙ＝Ｄ上におけるエッジ線のｘ座標や、ｙ軸に対する角度θを用いたが、エッジ線の位置や方向（傾き）を表す指標（パラメータ）としては、例えば、ｙ軸の正の向きを車両の前方方向に取り、ｘ軸の正の向きを車両の右向き方向に取ったｘｙ直交座標平面で走行路面を表し、かつ、車線標示のエッジ線の方程式をｘ＝ａｙ＋ｂと表す時に、この方程式の係数など（ａ，ｂ）を上記のパラメータ（２変数（ｐ，ｑ））として用いても良い。

本発明は、車載カメラからの入力画像に基づいて路面上に描かれた車線標示の境界位置を実時間で判定する判定装置に関する。したがって、本発明の車線境界判定装置は、例えば、車両の自動レーンキーピング動作等を実行する車両の運転支援システム等に有用な装置として利用することができる。

実施例１の車線境界判定装置１００の論理的なシステム構成図 エッジ線データを格納するテーブル２０のテーブル表 分岐点データを格納するテーブル３０のテーブル表 車線境界判定装置１００の制御プログラムのゼネラルフローチャート 入力された路面画像中におけるイメージデータ４１の図 イメージデータ４１を幾何変換して得られる鳥瞰画像４２の図 微分処理によって得られるエッジ点データのイメージを表すグラフ ハフ変換によって得られるエッジ線情報のイメージを表すグラフ 白線抽出処理によって得られる白線情報のイメージを表すグラフ 図５の分岐点を検出するための処理（ステップ２５０）を説明する説明図 図６において下りエッジ線ｉ，ｊを選択する理由を説明する説明図 図６において下りエッジ線ｉ，ｊを選択する理由を説明する説明図 分岐点検出処理を実行するサブルーチン３００のフローチャート サブルーチン３００のチェック内容を例示する説明図 分岐点検出結果のイメージを表すグラフ 車線境界決定結果のイメージを表すグラフ 車線境界決定処理を実行するサブルーチン４００のフローチャート 図９のチェック内容の変形例を例示する説明図

符号の説明

ｉ ： エッジ線（またはその番号）
ｊ ： エッジ線（またはその番号）
ｋ ： 基準エッジ線
１ ： エッジ点抽出手段
２ ： エッジ線抽出手段
３ ： 白線候補抽出手段
４ ： 分岐点検出手段
５ ： 車線境界決定手段
１０ ： テーブル（エッジ線データを格納する）
２０ ： テーブル（エッジ線データを格納する）
３０ ： テーブル（分岐点データを格納する）
１００ ： 車線境界判定装置
２００ ： 制御プログラム
３００ ： サブルーチン（分岐点検出処理）
４００ ： サブルーチン（車線境界決定処理）

Claims (9)

1. 車両に搭載されたカメラからの入力画像に基づいて、前記車両の走行路面上に描かれた車線標示で規定される車線（レーン）の左右の境界位置を前記車両の走行中に実時間で判定する判定装置であって、
   前記入力画像から前記車線標示のエッジ点を抽出するエッジ点抽出手段と、
   抽出された前記エッジ点から前記車線標示のエッジ線を抽出し、少なくとも２変数以上で１組の実数パラメータ（ｐ，ｑ（，．．））を用いて、前記走行路面上の直線として、前記エッジ線の位置と方向を定式化するエッジ線抽出手段と、
   抽出された２本のエッジ線ｉ，ｊの間で、前記実数パラメータ中の適当な任意の２変数（ｐ，ｑ）を用いて定義される特性差分ベクトル（ｐ_i −ｐ_j ，ｑ_i −ｑ_j ）が、所定の適正範囲内に納まるか否かに基づいて、前記エッジ線ｉ，ｊの交点が前記車線の分岐点であり得るか否かを判定する分岐点検出手段と、
   前記分岐点検出手段の判定結果に基づいて、前記車線の左右の前記境界位置を決定する車線境界決定手段と
   を有する
   ことを特徴とする車線境界判定装置。
2. ｙ軸の正の向きを前記車両の前方方向に取り、ｘ軸の正の向きを前記車両の右向き方向に取ったｘｙ直交座標平面で前記走行路面を表す時、
   前記２変数（ｐ，ｑ）の何れか一方は、
   前記車両の前方において、所定の距離Ｄに対してｙ＝Ｄを満たす直線上における前記エッジ線のｘ座標に略一致し、
   前記２変数（ｐ，ｑ）の他の一方は、
   前記ｙ軸の正の向きに対して前記エッジ線が成す角度θに略一致する
   ことを特徴とする請求項１に記載の車線境界判定装置。
3. ｘ軸の正の向きを前記車両の右向き方向に取った座標平面で前記走行路面を表す時、
   前記分岐点検出手段によって左側に分岐する分岐点の有無を判定する場合に、
   その判定データとして選択される２本の前記エッジ線ｉ，ｊは何れも、前記入力画像中における輝度Ｌをｘ座標で偏微分した値∂Ｌ／∂ｘが負の極小値となる点の集合を代表するエッジ線である
   ことを特徴とする請求項１または請求項２に記載の車線境界判定装置。
4. ｘ軸の正の向きを前記車両の右向き方向に取った座標平面で前記走行路面を表す時、
   前記分岐点検出手段によって右側に分岐する分岐点の有無を判定する場合に、
   その判定データとして選択される２本の前記エッジ線ｉ，ｊは何れも、前記入力画像中における輝度Ｌをｘ座標で偏微分した値∂Ｌ／∂ｘが正の極大値となる点の集合を代表するエッジ線である
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の車線境界判定装置。
5. 前記分岐点検出手段または前記車線境界決定手段の何れか一方は、
   双方の交点が前記車線の分岐点であり得ると判定された２本の前記エッジ線ｉ，ｊの内の少なくとも何れか一方と、所定の比較対象である基準エッジ線ｋ（ｐ_k ，ｑ_k ）との間で前記実数パラメータ中の適当な任意の２変数（ｐ，ｑ）を用いて定義される特性差分ベクトル（（ｐ_i −ｐ_k ，ｑ_i −ｑ_k ）又は（ｐ_j −ｐ_k ，ｑ_j −ｑ_k ））が、所定の適正範囲内に納まるか否かに基づいて、前記車線の分岐点の有無を判定する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の車線境界判定装置。
6. 前記分岐点検出手段によって、前記エッジ線ｉ，ｊの交点が前記車線の分岐点であると判定された場合に、
   前記車線境界決定手段は、
   前記エッジ線ｉ又は前記エッジ線ｊをエッジ線として有する前記車線標示の輪郭を構成している複数のエッジ線の中から、
   前記車両が現時点で走行中の車線の中心線に対して適正距離範囲内に位置しており、
   かつ、最も前記中心線寄りに位置しているエッジ線を、
   最終的に求めるべき前記車両の左右何れか一方の前記境界位置として選択する
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の車線境界判定装置。
7. 車両に搭載されたカメラからの入力画像に基づいて、前記車両の走行路面上に描かれた車線標示で規定される車線（レーン）の左右の境界位置を前記車両の走行中に実時間で判定する判定装置であって、
   前記入力画像から前記車線標示のエッジ点を抽出するエッジ点抽出手段と、
   抽出された前記エッジ点から前記車線標示のエッジ線を抽出し、少なくとも２変数以上で１組の実数パラメータ（ｐ，ｑ（，．．））を用いて、前記走行路面上の直線として、前記エッジ線の位置と方向を定式化するエッジ線抽出手段と、
   抽出されたエッジ線ｉと所定の比較対象である基準エッジ線ｋ（ｐ_k ，ｑ_k ）との間で、前記実数パラメータ中の適当な任意の２変数（ｐ，ｑ）を用いて定義される特性差分ベクトル（ｐ_i −ｐ_k ，ｑ_i −ｑ_k ）が、所定の適正範囲内に納まるか否かに基づいて、前記車両の前記境界位置としての前記エッジ線ｉの妥当性を検証する妥当性検証手段と
   を有する
   ことを特徴とする車線境界判定装置。
8. 前記基準エッジ線ｋとして、
   直近過去に採択された前記車線の前記境界位置から予測されるエッジ線を用いる
   ことを特徴とする請求項５乃至請求項７の何れか１項に記載の車線境界判定装置。
9. 前記入力画像を水平方向に複数段に分割する画像分割手段を有し、
   前記基準エッジ線ｋとして、
   自段よりも下段に位置する水平分割画像中における前記車線の前記境界位置と一致するエッジ線を用いる
   ことを特徴とする請求項５乃至請求項８の何れか１項に記載の車線境界判定装置。

Images