JP2015210764A - 走行車線認識装置、走行車線認識方法 - Google Patents

Abstract

【課題】通行区分線が破線であるときの走行車線の認識精度を向上させる。【解決手段】自車両における前方及び側方の走行路を撮像し、その前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出し、エッジの連続性に応じて、通行区分線が破線であるか否かを判定する。通行区分線が破線であると判定したときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線の補完を行い、この補完結果により車線を認識する。例えば、前方画像で検出したエッジの検出度合よりも、側方画像で検出したエッジの検出度合の方が大きいときには、側方画像で検出したエッジの検出度合に応じて、前方画像で補完を行う。【選択図】図１

Description

本発明は、走行車線認識装置、及び走行車線認識方法に関するものである。

特許文献１に記載の従来技術では、一つのカメラで進行方向の路面を撮像し、通行区分線が破線であるときには、予め定めた時刻だけ前に撮像した画像に基づいて破線の長さを延長させた合成画像を生成し、走行車線の認識を行っている。ここでは、予め定めた時刻だけ前に撮像した画像を、その時点から自車両の位置や姿勢が変化した分だけ補正し、補正された過去の画像と、現時点の画像とを合成している。

特開２００５−３３２１０５号公報

しかしながら、一つのカメラだけを用いていることもあり、破線の観測が困難な状況になると、特に遠いものほど、破線の長さを延長させることが難しくなる。また、近年では広範囲を撮像できる魚眼レンズを用いることも多いが、画像中央から外側に向かって膨らんだように見える歪曲収差により、破線の観測が困難な状況がある。
本発明の課題は、通行区分線が破線であるときの走行車線の認識精度を向上させることである。

本発明の一態様に係る走行車線認識装置は、自車両における前方及び側方の走行路を撮像し、撮像した前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出する。また、検出したエッジの連続性に応じて、通行区分線が破線であるか否かを判定し、通行区分線が破線であると判定したときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線の補完を行う。そして、この補完結果により車線を認識する。

本発明によれば、通行区分線が破線であるときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線の補完を行うことにより、走行車線の認識精度を向上させることができる。

走行車線認識装置を示す概略構成図である。 前方カメラの配置図である。 左方カメラ及び右方カメラの配置図である。 各カメラで撮像した画像を示す図である。 車線モデルについて説明した図である。 各画像に車線モデルを投影した様子を示す図である。 各画像でエッジを検出した様子を示す図である。 エッジを検出した各画像に車線モデルを投影した様子を示す図である。 車線モデルの評価値ｅについて説明した図である。 各画像で車線モデルを評価した評価値を示す図である。 ｅ_Ｓ＿Ｆ＝０、且つｅ_Ｓ＿ＳＬ＞０の場合を示す図である。 ｅ_Ｓ＿Ｆ＞ｅ_Ｓ＿ＳＬ、且つ｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜＞ｅ_ｔｈの場合を示す図である。 ｅ_Ｓ＿Ｆ≒ｅ_Ｓ＿ＳＬの場合を示す図である。 ｅ_Ｓ＿ＳＬ＞ｅ_Ｓ＿Ｆ、且つ｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜＞ｅ_ｔｈの場合を示す図である。 ｅ_Ｓ＿ＳＬ＝０、且つｅ_Ｓ＿Ｆ＞０の場合を示す図である。 走行車線認識処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
走行車線認識装置１１の構成を、図１に基づいて説明する。
本実施形態の走行車線認識装置１１は、前方カメラ１２Ｆと、左方カメラ１２ＳＬと、右方カメラ１２ＳＲと、コントローラ１３と、を備える。
前方カメラ１２Ｆは、自車両における前方の走行路を撮像し、前方画像を取得する。左方カメラ１２ＳＬは、自車両における左方の走行路を撮像し、左方画像を取得する。右方カメラ１２ＳＲは、自車両における右方の走行路を撮像し、右方画像を取得する。前方カメラ１２、左方カメラ１２ＳＬ、及び右方カメラ１２ＳＲは、夫々、魚眼レンズを用いている。前方カメラ１２Ｆ、左方カメラ１２ＳＬ、及び右方カメラ１２ＳＲは、夫々、撮像した画像データをコントローラ１３に出力する。ここでは、魚眼レンズを用いているが、これに限定されるものではなく、夫々、予め定めた領域を撮像することができれば、任意のレンズを用いてよい。

前方カメラ１２Ｆの配置を、図２に基づいて説明する。
前方カメラ１２Ｆは、例えばフロントグリルに設けられており、その取付け位置は、レンズの位置が地面からｈ１の高さであり、取付け角度は、光軸が水平面に対して下向きにθ１だけ傾いている。
左方カメラ１２ＳＬ及び右方カメラ１２ＳＲの配置を、図３に基づいて説明する。
左方カメラ１２ＳＬは、例えば左のドアミラーに設けられており、その取付け位置は、レンズの位置が地面からｈ２の高さにあり、取付け角度は、光軸が水平面に対して下向きにθ２だけ傾いている。右方カメラ１２ＳＲは、例えば右のドアミラーに設けられており、その取付け位置は、レンズの位置が地面からｈ３の高さにあり、取付け角度は、光軸が水平面に対して下向きにθ３だけ傾いている。なお、ｈ２＝ｈ３、θ２＝θ３とする。

各カメラで撮像した画像を図４に示す。
何れも魚眼レンズを用いていることで、画像中央から外側に向かって膨らんだように見える樽型の歪曲収差（ディストーション）が生じ、被写体が近くにあるほど大きく写り、被写体が遠くにあるほど小さく写る。
ここでは、一方通行の二車線道路で、自車両が右車線を走行しているときの前方画像、左方画像、及び右方画像を示す。路面には通行区分線（白線）が標示されている。左車線における左側の通行区分線ＬＬは実線で標示されている。左車線における右側（＝右車線における左側）の通行区分線ＬＳは破線で標示されており、右車線における右側の通行区分線ＬＲは実線で標示されている。前方画像には、通行区分線ＬＬ、ＬＳ、ＬＲが写っており、左方画像には、通行区分線ＬＬ、ＬＳが写っており、右方画像には、通行区分線ＬＳ、ＬＲが写っている。

コントローラ１３は、例えばマイクロコンピュータで構成され、車線モデル投影部２１と、エッジ検出部２２と、破線判定部２３と、モデル評価部２４と、破線補完部２５と、車線認識部２６と、を備える。
車線モデル投影部２１は、自車両の車線内での位置や姿勢を表す各パラメータに従い、前方画像、左方画像、及び右方画像の夫々に対して、予め定めた車線モデルを投影する。車線モデルは最適なパラメータを推定するため、前回推定結果から各パラメータを振った複数の車両モデルを用意する。前回推定結果の各パラメータは、車線認識部２６から出力される。

車線モデルを図５に基づいて説明する。
図中の（ａ）は俯瞰図であり、図中の（ｂ）は側面図である。車線モデルは、直線モデルとして四つのパラメータで与えられる。すなわち、車線幅ｗｔ、横位置ｘｔ、ヨー角θｔ、ピッチ角φｔである。車線幅ｗｔは、左側の通行区分線から右側の通行区分線までの車線幅方向の距離である。横位置ｘｔは、車線幅ｗｔの中心位置から例えば車体前端部における車幅中心位置までの車線幅方向の距離である。ヨー角θｔは、車体を平面で見て、車線中心線と車体前後方向とがなす角度である。ピッチ角φｔは、車体を側面で見て、水平面と車体前後方向とがなす角度である。

各画像に車線モデルを投影した様子を図６に示す。
ここでは、各画像に投影した車線モデルを、便宜上、太い点線で表す。前方画像では、右車線における左側の通行区分線において、その右側のエッジに対応する車線モデルＭＳ_Ｆ、及び右車線における右側の通行区分線において、その左側のエッジに対応する車線モデルＭＲ_Ｆを投影している。左方画像では、左車線における右側（＝右車線における左側）の通行区分線において、その右側のエッジに対応する車両モデルＭＳ１_ＳＬを投影している。右方画像では、右車線における右側の通行区分線において、その左側のエッジに対応する車線モデルＭＲ１_ＳＲを投影している。

エッジ検出部２２は、前方画像、左方画像、及び右方画像で、エッジを検出する。エッジの検出には、例えばＳｏｂｅｌフィルタなどを用い、その出力値を二値化して、エッジ画像を取得する。
各画像でエッジを検出した様子を図７に示す。
ここでは、各画像で検出したエッジを、便宜上、太い実線で表す。前方画像では、左車線における左側の通行区分線を構成する右側のエッジＥＬ_Ｆ、左車線における右側（＝右車線における左側）の通行区分線を構成する右側のエッジＥＳ_Ｆ、及び右車線における右側の通行区分線を構成する左側のエッジＥＲ_Ｆを検出している。左方画像では、左車線における左側の通行区分線を構成する右側エッジＥＬ_ＳＬ、並びに左車線における右側（＝右車線における左側）の通行区分線を構成する左側のエッジＥＳ１_ＳＬ、及び右側のエッジＥＳ２_ＳＬを検出している。右方画像では、右車線における右側の通行区分線を構成する左側のエッジＥＲ１_ＳＲ、及び右側のエッジＥＲ２_ＳＲを検出している。

破線判定部２３は、通行区分線が破線であるか否かを判定する。
具体的には、エッジ画像に車線モデルを投影し、車線モデル上に乗る（一致する）エッジの画素数をカウントする。車線モデルの長さをＬとし、車線モデルの長さＬに対するエッジの画素数ｍの割合をｒ（＝ｍ／Ｌ）とし、この割合ｒが予め定めた閾値ｒ１未満であるか否かを判定する。閾値ｒ１は実験等から最適な値を設定する。ここで、割合ｒが閾値ｒ１以上であるときには、通行区分線が破線ではない、つまり実線であると判定し、割合ｒが閾値ｒ１未満であるときには、通行区分線が破線であると判定する。

エッジを検出した各画像に車線モデルを投影した様子を図８に示す。
各画像で検出したエッジに対して車線モデルは略一致するが、ここでは、便宜上、エッジに対して車線モデルを少しずらして描いている。前方画像では、右車線における左側の通行区分線において、領域ＡにはエッジＥＳ_Ｆが存在せず、車線モデルＭＳ_Ｆの長さＬに対するエッジＥＳ_Ｆの画素数ｍの割合ｒが低くなるため、通行区分線が破線であると判定する。一方、右車線における右側の通行区分において、エッジＥＲ_Ｆは全て車線モデルＭＲ_Ｆに重なり、車線モデルＭＲ_Ｆの長さＬ対するエッジＥＲ_Ｆの画素数ｍの割合ｒが高くなるため、通行区分線が実線であると判定する。

左方画像では、右車線における左側の通行区分線において、エッジＥＳ２_ＳＬは全て車線モデルＭＳ_ＳＬに重なり、車線モデルＭＳ_ＳＬの長さＬに対するエッジＥＳ２_ＳＬの画素数ｍの割合ｒが高くなるが、前方画像での判定により、通行区分線は破線であると判定する。右方画像では、右車線における右側の通行区分線において、エッジＥＲ１_ＳＲは全て車線モデルＭＲ_ＳＲに重なり、車線モデルＭＲ_ＳＲの長さＬに対するエッジＥＲ１_ＳＲの画素数ｍの割合ｒが高くなるため、通行区分線は実線であると判定する。

このように、前方画像、左方画像、及び右方画像のうち、何れか一つの画像で通行区分線が破線であると判定したときには、残りの画像においても、対応する側の通行区分線が破線であると判定する。
ここでは、車線モデルの長さＬに対するエッジの画素数ｍの割合ｒに応じて、破線判定を行っているが、これに限定されるものではなく、例えば連続する画素数をカウントし、その長さに応じて破線判定を行ってもよい。要は、エッジの連続性を評価し、破線であるか否かを判定できればよい。

モデル評価部２４は、エッジと車線モデルとの一致度合を、下記の式に示すように、車線モデルの評価値ｅ_ｉとして算出する。添え字のｉは車線モデルの番号であり、ｅ_ｉはｉ番目の車線モデルを指す。例えば、前方画像では、左車線における右側の通行区分線、右車線における左側の通行区分線、左方画像では、左車線における右側の通行区分線、右方画像では、右車線における左側の通行区分線に対して、車線モデルを構成する場合には、ｉ＝１〜４となる。Ｌは車線モデルの長さである。添え字のｊは車線モデルを構成する集合の元である。ｄｘ_ｊ及びｄｙ_ｊは、画素［ｘ_ｊ，ｙ_ｊ］における車線モデルの勾配である。ｇｘ_ｊ及びｇｙ_ｊは、画素［ｘ_ｊ，ｙ_ｊ］における画像の輝度勾配である。

車線モデルの評価値ｅを、図９に基づいて説明する。
ここでは、左方画像に投影した車線モデルＭＳ_ＳＬを例に説明する。
上記の式では、画素［ｘｊ，ｙｊ］において、車線モデルの伸びていく方向と画像中の輝度が変化する方向の一致度合いを求めている。数学的には、画素ごとに車線モデルの伸びていく方向と、輝度の変化する方向の内積を求めている。したがって、単純にエッジの重なりを評価する方法と比べると、ロバストにエッジとの一致度合いを評価することができる。

各画像で車線モデルを評価した評価値を図１０に示す。
前方画像では、右車線における左側の通行区分線において、車線モデルＭＳ_Ｆの評価値をｅ_Ｓ＿Ｆとして算出し、右車線における右側の通行区分線において、車線モデルＭＲ_Ｆの評価値をｅ_Ｒ＿Ｆとして算出する。左方画像では、右車線における左側（左車線における右側）の通行区分線において、車線モデルＭＳ_ＳＬの評価値をｅ_Ｓ＿ＳＬとして算出する。右方画像では、右車線における右側の通行区分線において、車線モデルＭＲ_ＳＲの評価値をｅ_Ｒ＿ＳＲとして算出する。

破線補完部２５は、通行区分線が破線であると判定したときに、破線の補完を行う。ここでは、前方画像で検出したエッジの検出度合よりも、側方画像で検出したエッジの検出度合の方が大きいときに、側方画像で検出したエッジの検出度合に応じて、前方画像で補完を行う。また、側方画像で検出したエッジの検出度合よりも、前方画像で検出したエッジの検出度合の方が大きいときに、前方画像で検出したエッジの検出度合に応じて、側方画像で補完を行う。

エッジの検出度合とは、車線モデルの評価値ｅである。すなわち、前方画像に投影した車線モデルの評価値ｅ_Ｆよりも、側方画像に投影した車線モデルの評価値ｅ_Ｓの方が大きいときには、側方画像に投影した車線モデルの評価値ｅ_Ｓに応じて、前方画像に投影した車線モデルの評価値ｅ_Ｆを増加補正する。これにより、例えば、側方画像のエッジが車線モデルに一致していると前方画像のエッジも車線モデルに一致しているように評価されるので、側方画像で補完される。また、側方画像に投影した車線モデルの評価値ｅ_Ｓよりも、前方画像に投影した車線モデルの評価値ｅ_Ｆの方が大きいときには、前方画像に投影した車線モデルの評価値ｅ_Ｆに応じて、側方画像に投影した車線モデルの評価値ｅ_Ｓを増加補正する。これにより、例えば、前方画像のエッジが車線モデルに一致していると側方画像のエッジも車線モデルに一致しているように評価されるので、前方画像で補完される。

前方画像に投影した車線モデルの評価値ｅ_Ｆと、側方画像に投影した車線モデルの評価値ｅ_Ｓとの大小関係については、下記に示すように、５つの場合に分けることができる。ここでは、前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆと、左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬとを用い、右車線における左側の通行区分線を例にして説明する。
１．ｅ_Ｓ＿Ｆ＝０、且つｅ_Ｓ＿ＳＬ＞０の場合
前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆが０であり、且つ左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬが０よりも大きい様子を図１１に示す。
ここでは、前方カメラ１２Ｆで破線を観測できず、左方カメラ１２ＳＬのみで破線を観測できているシーンである。このように、前方画像でエッジを全く検出できていないときには、破線の補完を行わない。

２．ｅ_Ｓ＿Ｆ＞ｅ_Ｓ＿ＳＬ、且つ｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜＞ｅ_ｔｈの場合
前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆが左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬよりも大きく、且つその差分｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜が予め定めた閾値ｅ_ｔｈよりも大きい様子を図１２に示す。
ここでは、前方カメラ１２Ｆ及び左方カメラ１２ＳＬの双方で破線を観測できており、左方カメラ１２ＳＬよりも前方カメラ１２Ｆでより多く破線を観測できているシーンである。このように、左方画像で検出したエッジの検出度合よりも、前方画像で検出したエッジの検出度合の方が大きいときには、下記の式に示すように、前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆに応じて、左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬを増加補正することにより、左方画像に投影した車線モデルＭＳ_ＳＬを通行区分線として扱う。
ｅ_Ｓ＿ＳＬ ← ｅ_Ｓ＿ＳＬ＋（α・ｅ_Ｓ＿Ｆ）

αは下記の式に従って算出される。

上記の式のベクトルｇ’及びｄ’は、車線モデルの勾配ベクトルと画像中の輝度勾配をノルムが１になるように正規化したものである。Ｌ’は車線モデル上に乗る（一致する）エッジの長さである。上記の式では、輝度強度には関係なく、左方画像における破線上の画素の輝度勾配が、車線モデルの伸びていく方向に、どれだけ一致しているかを［０，１］で評価している。つまり、αの役割は、前方カメラ１２Ｆで観測した破線、及び左方カメラ１２ＳＬで観測した破線を直線と仮定して、評価値の低い曲線を補完する際に、同じ直線上にある車線モデルほど評価値が高くなり、結果、同じ直線上にあるほど高い重みで補完している。

３．ｅ_Ｓ＿Ｆ≒ｅ_Ｓ＿ＳＬの場合（｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜≦ｅ_ｔｈの場合）
前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆが左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬと略同一である、つまり差分｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜が予め定めた閾値ｅ_ｔｈ以下である様子を図１３に示す。
ここでは、前方カメラ１２Ｆ及び左方カメラ１２ＳＬの双方で破線を観測できており、夫々の観測量が同程度となるシーンである。このように、前方画像と左方画像とで、エッジの検出度合に優劣がないときには、破線の補完を行わない。

４．ｅ_Ｓ＿ＳＬ＞ｅ_Ｓ＿Ｆ、且つ｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜＞ｅ_ｔｈの場合
左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬが前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆよりも大きく、且つその差分｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜が予め定めた閾値ｅ_ｔｈよりも大きい様子を図１４に示す。
ここでは、前方カメラ１２Ｆ及び左方カメラ１２ＳＬの双方で破線を観測できており、前方カメラ１２Ｆよりも左方カメラ１２ＳＬでより多く破線を観測できているシーンである。このように、前方画像で検出したエッジの検出度合よりも、左方画像で検出したエッジの検出度合の方が大きいときには、下記の式に示すように、左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬに応じて、前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆを増加補正することにより、前方画像に投影した車線モデルＭＳ_Ｆを通行区分線として扱う。αについては、前述の場合と同様である。
ｅ_Ｓ＿Ｆ ← ｅ_Ｓ＿Ｆ＋（α・ｅ_Ｓ＿ＳＬ）

５．ｅ_Ｓ＿ＳＬ＝０、且つｅ_Ｓ＿Ｆ＞０の場合
左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬが０であり、且つ前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆが０よりも大きい様子を図１５に示す。
ここでは、左方カメラ１２ＳＬで破線を観測できず、前方カメラ１２Ｆのみで破線を観測できているシーンである。このように、左方画像でエッジを全く検出できていないときには、破線の補完を行わない。
上記が破線補完部２５の処理である。

車線認識部２６は、破線を補完した際の評価値を用いて、車線モデルの四つのパラメータを推定する。推定手法としては、エッジとパラメータを振った複数の車線モデルとの一致度合いを、それぞれの車線モデルの評価値として算出し、最適化な車両モデルを算出する、例えばParticle Filterを使うものとするが、これに限定されるものではなく、検出されたエッジおよび破線の補正結果と最適に近似する曲線を推定して、通行区分線を認識するものであれば、任意の手法を用いてもよい。ここで推定した車線モデルのパラメータは、演算周期に従った次回の演算で、車線モデルの投影に利用する。

次に、コントローラ１３で所定時間（例えば１０ｍｓｅｃ）毎に演算する走行車線認識処理を、図１６に基づいて説明する。
先ずステップＳ１０１では、前方カメラ１２Ｆで撮像した前方画像、左方カメラ１２ＳＬで撮像した左方画像、及び右方カメラ１２ＳＲで撮像した右方画像を取得する。
続くステップＳ１０２は、エッジ検出部２２での処理に対応し、前方画像、左方画像、及び右方画像で、エッジを検出する。

続くステップＳ１０３は、車線モデル投影部２１での処理に対応し、自車両の車線内での位置や姿勢を表す各パラメータに従い、前方画像、左方画像、及び右方画像の夫々に対して、予め定めた車線モデルを投影する。
続くステップＳ１０４は、モデル評価部２４での処理に対応し、エッジと車線モデルとの一致度合を、下記の式に示すように、車線モデルの評価値ｅｉとして算出する。
続くステップＳ１０５は、破線判定部２３での処理に対応し、通行区分線が破線であるか否かを判定する。

続くステップＳ１０６では、破線補完部２５での処理に対応し、通行区分線が破線であると判定したときに、車線モデルを通行区分線として認識することにより、破線の補完を行う。
続くステップＳ１０７は、車線認識部２６での処理に対応し、破線を補完した際の評価値を用いて、車線モデルの四つのパラメータを推定してから所定のメインプログラムに復帰する。
上記が走行車線認識処理である。

《作用》
次に、第１実施形態の作用について説明する。
本実施形態では、自車両における前方及び側方の走行路を個別に撮像し（ステップＳ１０１）、撮像した前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出する（ステップＳ１０２）。そして、エッジの連続性に応じて、通行区分線が破線であるか否かを判定する（ステップＳ１０５）。また、前方画像及び側方画像に対して、予め定めた車線モデルを投影し（ステップＳ１０３）、通行区分線が破線であるときに、その車線モデルを通行区分線として認識することにより、破線の補完を行う（ステップＳ１０６）。

このとき、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線の補完を行う。すなわち、前方画像と側方画像とで、エッジの検出度合に優劣があるときに、より多く破線を観測できている側で、僅かしか破線を観測できていない側を補完している。
先ず、前方画像で検出したエッジの検出度合よりも、側方画像で検出したエッジの検出度合の方が大きいときは、側方画像で検出したエッジの検出度合に応じて、前方画像で補完を行う。一方、側方画像で検出したエッジの検出度合よりも、前方画像で検出したエッジの検出度合の方が大きいときには、前方画像で検出したエッジの検出度合に応じて、側方画像で補完を行う。このように、視点の異なる二つのカメラを用い、相互に補い合う構成としたことで、走行車線の認識精度を向上させることができる。

ここで、エッジの検出度合とは、エッジと車線モデルとの一致度合を表す車線モデルの評価値ｅである。すなわち、検出できているエッジが長いほど、車線モデルに重なる度合が高くなり、その車線モデルの評価値ｅが高くなるからである。
それで、前方画像に投影した車線モデルの評価値ｅ_Ｆよりも、側方画像に投影した車線モデルの評価値ｅ_Ｓの方が大きいときには、側方画像に投影した車線モデルの評価値ｅ_Ｓに応じて、前方画像に投影した車線モデルの評価値ｅ_Ｆを増加補正することにより、前方画像に投影した車線モデルを通行区分線として扱う。具体的には、αに評価値ｅ_Ｓを乗算した値（α・ｅ_Ｓ）を、評価値ｅ_Ｆに加算して増加補正を行う。このαは、前方画像における車線モデルとエッジとが、モデル勾配及び輝度勾配という指標で、どれだけ一致しているかを評価した値である。このように、前方画像における車線モデルとエッジとの一致度合も考慮することにより、走行車線の認識精度を向上させることができる。

一方、側方画像に投影した車線モデルの評価値ｅ_Ｓよりも、前方画像に投影した車線モデルの評価値ｅ_Ｆの方が大きいときには、前方画像に投影した車線モデルの評価値ｅ_Ｆに応じて、側方画像に投影した車線モデルの評価値ｅ_Ｓを増加補正することにより、側方画像に投影した車線モデルを通行区分線として扱う。具体的には、αに評価値ｅ_Ｆを乗算した値（α・ｅ_Ｆ）を、評価値ｅ_Ｓに加算して増加補正を行う。このαは、側方画像における車線モデルとエッジとが、モデル勾配及び輝度勾配という指標で、どれだけ一致しているかを評価した値である。このように、側方画像における車線モデルとエッジとの一致度合も考慮することにより、走行車線の認識精度を向上させることができる。

なお、前方画像及び側方画像の何れか一方で、破線のエッジを全く観測することができない場合には、破線の補完を行わないようにしている。本実施形態では、多少なりとも破線のエッジを観測できているときに、それを補完して、全く観測できていないときには、補完を行わないようにしている。これにより、カーブ路などで破線の補完精度が低下することを抑制できる。ただし、これに限定されるものでなく、前方画像及び側方画像の何れか一方で、破線のエッジを全く観測することができない場合でも、破線の補完を行ってもよい。

また、前方画像及び側方画像で、エッジの検出度合が略同等である場合にも、破線の補完を行わない。したがって、例えば破線を構成する各線分が長い、又は各線分の間隔（隙間）が狭い等の理由で、前方画像及び側方画像の双方で、エッジを十分に観測できているなら、それらのエッジを通行区分線として認識することができる。逆に、例えば破線を構成する各線分が短く、且つ各線分の間隔（隙間）が長い等の理由で、前方画像及び側方画像の双方で、エッジを十分に観測できていないときには、無理して補完するようなことがないので、破線の補完精度が低下することを抑制できる。

《対応関係》
本実施形態では、前方カメラ１２Ｆ、左方カメラ１２ＳＬ、及び右方カメラ１２ＳＲが「撮像部」に対応する。エッジ検出部２２、ステップＳ１０２の処理が「エッジ検出部」に対応する。破線判定部２３、ステップＳ１０５の処理が「破線判定部」に対応する。車線モデル投影部２１、ステップＳ１０３の処理が「車線モデル投影部」に対応する。破線補完部２５、ステップＳ１０６の処理が「破線補完部」に対応する。モデル評価部２４、ステップＳ１０４の処理が「モデル評価部」に対応する。車線認識部２６、ステップＳ１０７の処理が「車線認識部」に対応する。

《効果》
次に、第１実施形態における主要部の効果を記す。
（１）本実施形態に係る走行車線認識装置は、自車両における前方及び側方の走行路を撮像し、その前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出し、エッジの連続性に応じて、通行区分線が破線であるか否かを判定する。また、通行区分線が破線であると判定したときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線の補完を行う。
このように、通行区分線が破線であるときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線を補完できることにより、走行車線の認識精度を向上させることができる。

（２）本実施形態に係る走行車線認識装置は、前方画像で検出したエッジの検出度合よりも、側方画像で検出したエッジの検出度合の方が大きいときには、側方画像で検出したエッジの検出度合に応じて、前方画像で補完を行う。
このように、側方画像で検出したエッジの検出度合が相対的に大きいときには、その検出度合を用いて、前方画像で補完を行うことにより、破線の補完精度を向上させることができる。

（３）本実施形態に係る走行車線認識装置は、側方画像で検出したエッジの検出度合よりも、前方画像で検出したエッジの検出度合の方が大きいときには、前方画像で検出したエッジの検出度合に応じて、側方画像で補完を行う。
このように、前方画像で検出したエッジの検出度合が相対的に大きいときには、その検出度合を用いて、側方画像で補完を行うことにより、破線の補完精度を向上させることができる。

（４）本実施形態に係る走行車線認識装置は、前方画像及び側方画像に対して、予め定めた車線モデルを投影し、エッジと車線モデルとの一致度合を、車線モデルの評価値として算出する。エッジの検出度合とは、この評価値である。
このように、エッジと車線モデルとの一致度合を表す車線モデルの評価値を、エッジの検出度合として利用することにより、破線の補完精度を向上させることができる。

（５）本実施形態に係る走行車線認識装置は、前方画像に投影した車線モデルの評価値よりも、側方画像に投影した車線モデルの評価値の方が大きいときには、側方画像に投影した車線モデルの評価値に応じて、前方画像に投影した車線モデルの評価値を増加補正することにより、前方画像に投影した車線モデルを通行区分線として扱う。
このように、側方画像に投影した車線モデルの評価値が相対的に大きいときには、その評価値を用いて、前方画像で補完を行うことにより、破線の補完精度を向上させることができる。

（６）本実施形態に係る走行車線認識装置は、側方画像に投影した車線モデルの評価値よりも、前方画像に投影した車線モデルの評価値の方が大きいときには、前方画像に投影した車線モデルの評価値に応じて、側方画像に投影した車線モデルの評価値を増加補正することにより、側方画像に投影した車線モデルを通行区分線として扱う。
このように、前方画像に投影した車線モデルの評価値が相対的に大きいときには、その評価値を用いて、側方画像で補完を行うことにより、破線の補完精度を向上させることができる。

（７）本実施形態に係る走行車線認識方法は、自車両における前方及び側方の走行路を撮像し、その前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出し、エッジの連続性に応じて、通行区分線が破線であるか否かを判定する。また、通行区分線が破線であると判定したときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線の補完を行う。
このように、通行区分線が破線であるときに、前方画像で検出したエッジの検出度合、及び側方画像で検出したエッジの検出度合の大小関係に応じて、破線を補完できることにより、走行車線の認識精度を向上させることができる。

《第２実施形態》
《構成》
本実施形態は、より簡易的に補完を行うものである。
装置構成は、前述した第１実施形態と同様である。
ここでは、破線補完部２５での処理について説明する。なお、他の処理については、前述した第１実施形態と同様であり、共通部分については詳細な説明を省略する。
前方画像に投影した車線モデルの評価値ｅ_Ｆと、側方画像に投影した車線モデルの評価値ｅ_Ｓとの大小関係については、下記に示すように、３つの場合に分ける。ここでは、前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆと、左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬとを用い、右車線における左側の通行区分線を例にして説明する。

１．ｅ_Ｓ＿Ｆ＞ｅ_Ｓ＿ＳＬの場合
前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆが左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬよりも大きい場合であり（図１２）、評価値ｅ_Ｓ＿ＳＬは略０であってもよい（図１５）。すなわち、左方カメラ１２ＳＬよりも前方カメラ１２Ｆでより多く破線を観測できているシーンである。このように、左方画像で検出したエッジの検出度合よりも、前方画像で検出したエッジの検出度合の方が大きいときには、下記の式に示すように、前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆに応じて、左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬを増加補正することにより、左方画像に投影した車線モデルＭＳ_ＳＬを通行区分線として扱う。
ｅ_Ｓ＿ＳＬ ← ｅ_Ｓ＿ＳＬ＋ｅ_Ｓ＿Ｆ

２．ｅ_Ｓ＿Ｆ≒ｅ_Ｓ＿ＳＬの場合（｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜≦ｅ_ｔｈの場合）
前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆが左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬと略同一である、つまり差分｜ｅ_Ｓ＿Ｆ−ｅ_Ｓ＿ＳＬ｜が予め定めた閾値ｅ_ｔｈ以下である場合である（図１３）。すなわち、前方カメラ１２Ｆ及び左方カメラ１２ＳＬの双方で破線を観測できており、夫々の観測量が同程度となるシーンである。このように、前方画像と左方画像とで、エッジの検出度合に優劣がないときには、破線の補完を行わない。

３．ｅ_Ｓ＿ＳＬ＞ｅ_Ｓ＿Ｆの場合
左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬが前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆよりも大きい場合であり（図１４）、評価値ｅ_Ｓ＿Ｆは略０であってもよい（図１１）。すなわち、前方カメラ１２Ｆよりも左方カメラ１２ＳＬでより多く破線を観測できているシーンである。このように、前方画像で検出したエッジの検出度合よりも、左方画像で検出したエッジの検出度合の方が大きいときには、下記の式に示すように、左方画像に投影した車線モデルＭＳ_ＳＬの評価値ｅ_Ｓ＿ＳＬに応じて、前方画像に投影した車線モデルＭＳ_Ｆの評価値ｅ_Ｓ＿Ｆを増加補正することにより、前方画像に投影した車線モデルＭＳ_Ｆを通行区分線として扱う。
ｅ_Ｓ＿Ｆ ← ｅ_Ｓ＿Ｆ＋ｅ_Ｓ＿ＳＬ
上記が本実施形態の構成である。

《作用》
次に、第２実施形態の作用について説明する。
前方画像に投影した車線モデルの評価値ｅ_Ｆよりも、側方画像に投影した車線モデルの評価値ｅ_Ｓの方が大きいときには、側方画像に投影した車線モデルの評価値ｅ_Ｓに応じて、前方画像に投影した車線モデルの評価値ｅ_Ｆを増加補正することにより、前方画像に投影した車線モデルを通行区分線として扱う。具体的には、評価値ｅ_Ｓを評価値ｅ_Ｆに加算して増加補正を行う。すなわち、前述した第１実施形態と比べて、αの算出を省略している。したがって、より簡易的に前方画像で破線の補完を行うことができる。

一方、側方画像に投影した車線モデルの評価値ｅ_Ｓよりも、前方画像に投影した車線モデルの評価値ｅ_Ｆの方が大きいときには、前方画像に投影した車線モデルの評価値ｅ_Ｆに応じて、側方画像に投影した車線モデルの評価値ｅ_Ｓを増加補正することにより、側方画像に投影した車線モデルを通行区分線として扱う。具体的には、評価値ｅ_Ｆを評価値ｅ_Ｓに加算して増加補正を行う。すなわち、前述した第１実施形態と比べて、αの算出を省略している。したがって、より簡易的に側方画像で破線の補完を行うことができる。
本実施形態において、その他、前述した第１実施形態と共通する部分については、同様の作用効果が得られるものとし、詳細な説明は省略する。

以上、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく実施形態の改変は、当業者にとって自明のことである。また、各実施形態は、任意に組み合わせて採用することができる。

１１ 走行車線認識装置
１２Ｆ 前方カメラ
１２ＳＬ 左方カメラ
１２ＳＲ 右方カメラ
１３ コントローラ
２１ 車線モデル投影部
２２ エッジ検出部
２３ 破線判定部
２４ モデル評価部
２５ 破線補完部
２６ 車線認識部

Claims (7)

1. 自車両における前方及び側方の走行路を撮像する撮像部と、
   前記撮像部で撮像した前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出するエッジ検出部と、
   前記エッジ検出部で検出したエッジの連続性に応じて、前記通行区分線が破線であるか否かを判定する破線判定部と、
   前記破線判定部で前記通行区分線が破線であると判定したときに、前記前方画像で検出した前記エッジの検出度合、及び前記側方画像で検出した前記エッジの検出度合の大小関係に応じて、破線の補完を行う破線補完部と、
   前記破線の補完結果により車線を認識する車線認識部と、を備えたことを特徴とする走行車線認識装置。
2. 前記破線補完部は、
   前記前方画像で検出した前記エッジの検出度合よりも、前記側方画像で検出した前記エッジの検出度合の方が大きいときには、前記側方画像で検出した前記エッジの検出度合に応じて、前記前方画像で前記補完を行うことを特徴とする請求項１に記載の走行車線認識装置。
3. 前記破線補完部は、
   前記側方画像で検出した前記エッジの検出度合よりも、前記前方画像で検出した前記エッジの検出度合の方が大きいときには、前記前方画像で検出した前記エッジの検出度合に応じて、前記側方画像で前記補完を行うことを特徴とする請求項１又は２に記載の走行車線認識装置。
4. 前記前方画像及び前記側方画像に対して、予め定めた車線モデルを投影する車線モデル投影部と、
   前記エッジと前記車線モデルとの一致度合を、前記車線モデルの評価値として算出するモデル評価部と、を備え、
   前記エッジの検出度合は、前記モデル評価部で算出した評価値であることを特徴とする請求項１〜３の何れか一項に記載の走行車線認識装置。
5. 前記破線補完部は、
   前記前方画像に投影した前記車線モデルの評価値よりも、前記側方画像に投影した前記車線モデルの評価値の方が大きいときには、前記側方画像に投影した前記車線モデルの評価値に応じて、前記前方画像に投影した前記車線モデルの評価値を増加補正することにより、前記前方画像に投影した前記車線モデルを前記通行区分線として扱うことを特徴とする請求項４に記載の走行車線認識装置。
6. 前記破線補完部は、
   前記側方画像に投影した前記車線モデルの評価値よりも、前記前方画像に投影した前記車線モデルの評価値の方が大きいときには、前記前方画像に投影した前記車線モデルの評価値に応じて、前記側方画像に投影した前記車線モデルの評価値を増加補正することにより、前記側方画像に投影した前記車線モデルを前記通行区分線として扱うことを特徴とする請求項４又は５に記載の走行車線認識装置。
7. 自車両における前方及び側方の走行路を個別に撮像し、
   撮像した前方画像及び側方画像で、路面に標示された通行区分線のエッジを検出し、
   検出した前記エッジの連続性に応じて、前記通行区分線が破線であるか否かを判定し、
   前記通行区分線が破線であるときに、前記前方画像で検出した前記エッジの検出度合、及び前記側方画像で検出した前記エッジの検出度合の大小関係に応じて、破線の補完を行い、前記破線の補完結果により車線を認識することを特徴とする走行車線認識方法。
   

Images