JP2005149022A - 走行車線認識装置 - Google Patents

Abstract

【課題】 撮像手段によって得られた画像からレーンマーキングを検出し、走行車線を認識する走行車線認識装置において、撮像手段を車両に搭載する際に発生するロール角方向の誤差を補正し、正確な走行車線情報を得ることを目的とする。
【解決手段】 本発明に係る走行車線認識装置は、車両の前方あるいは後方を撮像する撮像手段と、前記撮像手段によって得られた画像データ中から、道路平面とほぼ水平な疑似直線を検出する疑似直線検出手段と、前記疑似直線の傾きから撮像手段のロール角を算出するロール角算出手段とを備えたものである。
【選択図】図１

Description

本発明は、道路に埋設されたマーキングを検出して、走行車線を認識する走行車線認識装置に関するものである。

車両に積載した撮像装置により車両前方の画像を取得し、その画像を用いてレーンマーキングを検出し、走行車線を認識する走行車線認識装置に関する特許は数多く出願されている。また、そのアプリケーションとしては、図15（a）(b)に示すように、車両が不用意に走行車線から逸脱しそうになると警報を発生する車線逸脱警報システムや、車線逸脱が発生しないようにハンドルにトルクを加えて操舵制御を行う車線維持システムが広く知られている。

上記で述べた車線逸脱警報システムや、車線維持システムのようなアプリケーションでは、走行車線の横位置、カーブの曲率といった、走行車線認識装置によって得られた走行車線情報を用いるが、これらの走行車線情報の検出精度が低いと、車線逸脱警報システムによる警報位置が左右アンバランスになったり、車線維持システムにおいてハンドルに付加されるトルクが左右アンバランスとなったりして、ドライバに違和感を与えてしまうという問題がある。

このような走行車線情報の検出精度低下を招く要因の一つとして、撮像装置の車両への取り付け条件の誤差が挙げられる。いま、図16のような座標系を考えると、上記誤差は、x軸方向のオフセット(322a)、x軸まわりの回転角(ロール角：322b)、y軸方向のオフセット(323a)、y軸まわりの回転角(ピッチ角：323b)、z軸方向のオフセット(324a)、z軸まわりの回転角(ヨー角：324b)の6つに分類される。このうち、x軸方向のオフセットは車両進行方向の誤差であるため、前記走行車線情報の誤差要因とは成り得ない。また、y軸方向のオフセット、ピッチ角、z軸方向のオフセット、ヨー角方向の誤差については、いわゆる消失点の学習により、ある程度の補正が可能である。

残る誤差要因としてはロール角方向の誤差(322b)であるが、ここでまず、このロール角方向誤差により、どのように走行車線情報に誤差が発生するかを説明する。図17は車両前方を撮像した画像の例である。この状態ではロール角方向の誤差が0で、画像処理にて認識された走行車線は333a、333bで表され、距離334での横位置は335a、335bで表されている。図17と同じ風景を、ロール角方向の誤差が生じた状態で取り付けられた撮像装置で撮像した画像例が図18である。この場合、撮像装置は車両進行方向に向かって時計回りにロールしており、結果的に認識した走行車線としては、333a’、333b’に示すように、もとの333a、333bに対し右方向にシフトしている。これに伴い、距離334における横位置も335a’、335b’となり、もとの位置である335a、335bに対し、横位置の検出誤差が発生していることがわかる。

このロール角方向誤差の補正に関しては、例えば特開平６―２１５１３４号公報（特許文献１参照）のような方法が提案されている。この補正方法を説明したのが図19である。この補正方法では、画像の一部に車両の一部分(ボンネット)が映るように撮像装置を設置し、351で表されるボンネットの左右の線分を検出し、この2直線の二等分線353と画面の垂直方向とを比較することにより、ロール角方向の誤差量354が検出できる。この検出したロール角誤差量を用いて画像データの座標を回転させることにより種々の補正を行うようにしたものである。

特開平６−２１５１３４号公報

しかしながら、特許文献１で開示されているロール角の補正方法にはいくつかの問題点がある。それは、ボンネットの色によって補正が困難になる場合があるという点である。この様子を示したのが図20である。図20では路面とボンネットとのコントラストがなく、特許文献１で述べられているようなボンネットの直線成分を検出することは困難である。また、図21に示すようにボンネットに直線部分がない場合も、特許文献１で開示されている方法ではロール角の補正が困難である。
さらにボンネットを画角内に入れることによる弊害もある。それは図22の381のようにボンネットに太陽等の高輝度の被写体が写った場合、撮像装置に実装された撮像素子がCCD撮像素子である場合は、382に示されるようにスミアと呼ばれる帯状の高輝度部分が発生する。このスミアは走行車線認識の妨げになり、認識性能を著しく低下させる。

本発明はかかる問題点を解決するためになされたもので、撮像手段によって得られた画像からレーンマーキングを検出し、走行車線を認識する走行車線認識装置において、撮像手段を車両に搭載する際に発生するロール角方向の誤差を補正し、正確な走行車線情報を得ることを目的とする。

本発明に係る走行車線認識装置は、車両の前方あるいは後方を撮像する撮像手段と、前記撮像手段によって得られた画像データ中から、道路平面とほぼ水平な疑似直線を検出する疑似直線検出手段と、前記疑似直線の傾きから撮像手段のロール角を算出するロール角算出手段とを備えたものである。

この発明に係る走行車線認識装置によれば、搭載車両の車種、ボディ色に拘らず、しかも少ない計算量で撮像装置の取り付け条件による誤差を検出、補正することができる効果を有するものである。

実施の形態１．
以下、図を参照して本発明の実施形態について説明する。図1は実施の形態１における装置構成を示している。図中、11は車両前方を撮像する撮像手段、12は前記撮像手段によって得られた画像から疑似直線を検出する疑似直線検出手段、13はロール角算出手段である。上記疑似直線検出手段は道路に埋設されたレーンマーキングを検出するレーンマーキング検出手段12aと、そのレーンマーキングの進行方向の端点を検出するレーンマーキング端点検出手段12bとから構成されており、左右の上記端点を結ぶ直線を疑似直線として検出する。レーンマーキングの進行方向の端点とは、図2の画像例で言えば23となり、この端点23を結ぶ直線24を疑似直線として検出する。そしてロール角算出手段13では、前記で求めた疑似直線24が画面水平方向となす角をロール角とし算出する。

このような構成とすることで、レーンマーキングが両方破線の場合に、車種、ボディ色に依存することなく、かつ単純で時間のかからない計算でロール角方向の誤差を算出できる。図2に示すようにロール角方向の誤差が0degの場合は、この疑似直線24は画面水平方向と一致し、したがって算出されるロール角は0degとなる。一方、ロール角方向に誤差が発生している場合を示したのが図3である。この場合前記疑似直線は24’のように求められ、この直線と画面水平方向とのなす角を求めることにより、ロール角が算出できる。

実施の形態２．
上記実施の形態1ではレーンマーキングの進行方向の端点を1セット用いてロール角を算出したが、本実施の形態では、レーンマーキングが存在する点のフロー(その点の輝度値の時間的な変化)を算出し、算出した左右のフローの位相差を用いてロール角誤差を算出するようにしたものである。図4により本実施の形態の構成を説明する。図中、実施の形態１と同一符号は同一または相当部分を示しており、詳細説明は省略することとする。42は本実施形態による疑似直線検出手段42であり、レーンマーキング検出手段42a、進行方向フロー算出手段42b、及び左右フロー位相差算出手段42cから構成されている。

次に、この動作について説明する。まず、撮像手段11により得られた前方画像からレーンマーキング検出手段42aにてレーンマーキングを検出する。次に進行方向フロー算出手段42bでは、このレーンマーキングが存在する図5における直線53a,53b上の所定の位置(55)におけるフローを求める。このフローの例を示したのが図6である。図中、縦軸に輝度値、横軸に時間をとり、左右両レーンマーキングの所定位置(55)における輝度値の変化（フロー）61、62を求めたものである。もしロール角方向の誤差が生じた状態で撮像手段が車両に搭載されている場合、図6に示すように左側のフロー(61)と右側のフロー(62)に位相差が生じることとなる。

この位相差を求める方法は種々考えられるが、単純な方法としては、片方のフローのグラフを1サンプル幅ずつシフトさせ、左右のフローの差分をとる。この差分の総和が最小となる状態が、位相が一致した状態となる。このときのシフト量が位相差として求められる。図6の例では2サンプル幅の位相差63があることがわかる。
次にこの位相差からどのようにしてロール角を算出するかについて説明する。図6の例では、位相差が2サンプル幅であるので、このときの撮像手段のサンプル周期をT=10.0[msec]、車速を76[km/h]=20.0[m/sec]であるとすると、2×10.0×10^-3×20.0=0.4[m]が位相差に相当する実空間上の距離となる(図5における57の距離)。

次に、この実空間上の距離を画面上での画素値に換算する方法について述べる。図7は焦点距離fのレンズを有する撮像手段を地面から高さHの位置に、俯角θで取り付けた際の模式図を示している。71が撮像手段に実装された撮像素子を示し、72は撮像手段に実装されたレンズを表している。このとき、実空間上での距離xとこの距離xに相当する撮像素子面上での距離vの間に以下の関係が成り立つ。

さらに、数1の両辺をxについて微分すると以下の式が導き出せる。

今、f=6[mm], H=1.2[m], θ=0[deg]を想定し、フローを前方距離x=10.0[m]に相当する画面上で求めたとすると、数2にx=10.0、Δx=0.4をそれぞれ代入すると、Δv= 28.8[um]が得られる。さらに、これを撮像素子の画素サイズu=5.6[um]で割ることにより実空間上でΔx=0.4[m]に相当する画素数p=5[画素]が算出できる。最後にフローを求めた左右の位置の距離(図5の56)に相当する画素数が300画素だとすると、ロール角θは結果的に、θ=tan^-1(5/300)=0.95[deg]と算出できる。これは、実施の形態1と同様、擬似直線を求め、この擬似直線を用いてロール角を補正するのと等価である。

なお、実施の形態1に対する実施の形態２の優位性について簡単に説明する。実施の形態1では単純にレーンマーキングの進行方向の端点を求めるため、レーンマーキングが汚れていたり、かすれている場合は、その影響がまともに算出されたロール角の誤差となる。それに対し、実施の形態２では、片側のレーンマーキングに汚れやかすれが存在し、図8のようなフローとなった場合でも、前述したようにフローの波形を少しずつシフトさせて差分をとり、差分の総和が最小となるシフト量を位相差とすることで、ノイズに対して強いロール角算出が可能となる。

実施の形態1においても端点のペアを複数用いれば正確にロール角を算出できるようになるが、1つの画像中で検出できる端点のペアはせいぜい2〜3ペア程度で、やはり波形全体で位相差を算出する実施の形態２の方が正確にロール角を算出できる。
しかしながら、実施の形態２の方法はメモリ容量がある程度必要であるため、メモリ容量があまり使用できない場合は実施の形態1の方法が有効であると言える。

実施の形態３．
上述の実施の形態では走行車線を示すレーンマーキングを用いて、ロール角方向の誤差を検出したが、図10に示されるような車間距離確認用のマーキングを用いてロール角方向の誤差を検出してもよい。この実施例における構成を示したのが図9であり、図中、擬似直線検出装置92は車間距離確認用マーキング検出手段92aと車間距離確認用マーキング端面検出手段92bとから構成されている。

次に、動作について説明する。まず、撮像手段11で車両前方の画像を取得し、得られた前方画像を用いて車間距離確認用マーキング検出手段92aで、図10の103に示されるような車間距離確認用マーキングを検出する。次に車間距離確認用マーキング端面検出手段92bにて、図10の104に示す車間距離確認用マーキングの進行方向の端面を検出する。この例では遠方側の端面を検出しているが、手前の端面を検出してもよい。この端面を直線で結ぶことにより疑似直線が得られる。この疑似直線は図10のようにロール角方向の誤差がない場合は105のようになり、ロール角誤差が発生している図11では105’のようになる。

この疑似直線からロール角を算出する方法については、実施の形態１あるいは実施の形態２と同様の方法が適用されるものである。この実施の形態によれば、車間距離確認用マーキング検出手段92aと車間距離確認用マーキング端面検出手段92bとから構成される擬似直線検出装置92を用いることにより、車間距離確認用マーキングを用いてロール角を算出することができる。従って、実施の形態１や実施の形態２のように、レーンマーキングが両側破線でなくてもロール角を求めることができるという効果がある。

実施の形態４．
上記実施の形態１〜３では、ロール角を算出する条件については触れていなかったが、これらの実施の形態において算出しようとしているのは、カーブ路等を走行する際に発生する動的なロール角を検出するのが目的でなく、車両への取り付け時に発生する誤差や、経年変化により発生する誤差等、定常的な誤差を検出するのが目的である。
本実施の形態４では、車両から出力される舵角センサ出力、ヨーレートセンサ出力、および車速センサ出力のいずれかもしくはすべてを用いて車両が直進しているかどうかを判定し、車両が直進していると判定された場合にのみロール角を算出するようにしたものである。本実施例の構成を示したのが図12である。
上記のようにすることにより、車両が直進しているときのみのロール角が算出でき、過渡的な変動分を除去することが可能となる。

実施の形態５．
本実施の形態５は、上記実施の形態１〜４で示した、疑似直線を検出してこの検出した疑似直線からロール角を算出するという方法を用い、この求められたロール角で、走行車線認識手段によって得られた走行車線情報を補正する方法について述べている。本実施の形態の構成を示したのが図13であり、図中、走行車線認識手段131はレーンマーキング検出手段131a、道路モデル同定手段131b、車線内横位置算出手段131cとから構成されている。

次に、動作について説明する。撮像手段11によって得られた画像を用い、疑似直線を求め、ロール角を算出する方法については実施の形態１〜４で説明したので割愛する。本実施の形態では、撮像手段11によって得られた前方画像を用いてロール角を算出する一方、道路に埋設されたレーンマーキングを検出し、走行車線を認識する。以下でこの走行車線認識の部分について詳しく説明する。撮像手段11によって得られた画像データは走行車線認識手段131に転送され、レーンマーキング検出手段131aで道路に埋設されたレーンマーキングを検出し、道路モデル同定手段131bで走行車線を表すための多項式のパラメータ同定が行われる。

ある点列から所定の多項式のパラメータを同定する方法については、最小二乗法等、様々な手法が論文や特許等で公開されているため、ここでは詳細説明を割愛する。次にこの同定された道路モデルに基づき、131cの車線内横位置算出手段では、自車両の車線内における横位置を算出する。さて、ロール角算出手段13によって求められたロール角を用い、どのように走行車線情報を補正するかであるが、大きく分けて3つ考えられる。1つ目はレーンマーキング検出手段131aで得られた個々のレーンマーキング位置に補正を加える方法、2つ目は道路モデル同定手段131bで得られた多項式で表される道路モデルのパラメータに補正を加える方法、3つ目は車線内横位置算出手段131cによって得られる、自車両の車線内における横位置に補正を加える方法である。補正にかかる計算量が一番少ないのは3番目の方法だが、他の処理との兼ね合いを考慮し、1つ目の補正方法や2つめの補正方法を選択する場合もあり得る。

また、補正を実施する条件について説明しておく。基本的に算出されたロール角の信憑性が高いときのみ補正を実施するが、この信憑性を判定する指標としては、例えば算出されたロール角の時間的変動を確認し、この変動が閾値以下であれば信憑性が高いと判定する。また本実施の形態ではレーンマーキングを検出しているため、レーンマーキングの進行方向の端点を検出してロール角を検出する方法がもっとも計算量が少なく、メモリ容量も少なくて済む。このように認識された走行車線情報に補正を加えることで、冒頭で述べたように、車線逸脱警報システムの警報位置が左右アンバランスになったり、車線維持システムのトルクが左右アンバランスとなることがなくなり、結果的にドライバの違和感を払拭できる。

実施の形態６．
上記実施の形態５ではレーンマーキングの進行方向端点を用いてロール角を求め、走行車線情報を補正しているが、実施の形態2に示すようにレーンマーキング位置の進行方向のフロー(輝度値の時間的変化)を用いてロール角を求めてもよい。レーンマーキングのフローを用いてロール角を求めることで、実施の形態２でも述べたように、レーンマーキングが汚れていたり、かすれている場合でもロール角を正確に算出することができ、高精度な車線逸脱警報システムや車線維持システムを提供できる。

実施の形態７．
実施の形態６ではレーンマーキング位置のフローを用いてロール角を求めているが、実施の形態３に示すように車間距離確認用マーキングの進行方向端面を用いてロール角を求め、このロール角を用いて走行車線情報を補正してもよい。
車間距離確認用のマーキングを用いてロール角を検出することにより、レーンマーキングが両側破線でない場合でもロール角方向の誤差が補正でき、補正を実施する頻度も高く、検出精度向上に貢献できる。

実施の形態８．
本実施の形態は上記実施の形態５〜７の構成において、実施の形態４で説明した、車両が直進しているかどうかの判定を加え、車両が直進している場合にのみロール角を算出し、算出されたロール角を用いて走行車線情報を補正するようにしたものである。
図14は本実施の形態の構成を示すブロック図である。
こうすることにより、実施の形態４でも述べたように、車両が直進しているときのみのロール角が算出でき、過渡的な変動分を除去することが可能となる。したがって結果的に車線逸脱警報システムや車線維持システムの精度向上に貢献できる。

本発明の実施の形態１の構成を示すブロック図、 前方画像において、レーンマーキングの進行方向端点とその端点を結ぶ疑似直線を示す模式図、 ロール角方向の誤差が発生した場合の前方画像を示す模式図、 本発明の実施の形態２の構成を示すブロック図、 前方画像において、レーンマーキング位置のフローを求める方法を示す模式図、 図5におけるフローの一例を示す図、 撮像手段の搭載状態を示す模式図、 レーンマーキングに汚れやかすれがある場合のフローの例を示す図、 本発明の実施の形態３の構成を示すブロック図、 前方画像において、車間距離確認用マーキングとその進行方向端面およびその端面から得られる疑似直線を示す模式図、 ロール角方向の誤差が発生した場合の前方画像を示す模式図、 本発明の実施の形態４の構成を示すブロック図、 本発明の実施の形態５〜７の構成を示すブロック図、 本発明の実施の形態８の構成を示すブロック図、 走行車線認識装置の応用分野の説明図、 撮像装置の取り付けに関する誤差要因の説明図、 ロール角方向の誤差による影響を説明する模式図、 ロール角方向の誤差による影響を説明する模式図、 従来例におけるロール角検出方法を説明する模式図、 従来例の問題点を説明する模式図、 従来例の問題点を説明する模式図、 従来例の問題点を説明する模式図である。

符号の説明

11 撮像手段
12 疑似直線検出手段
12a レーンマーキング検出手段
12b レーンマーキング端点検出手段
13 ロール角算出手段
21 路面
22 レーンマーキング
23 レーンマーキングにおける進行方向の端点
24 疑似直線
24’ ロール角方向の誤差が発生した場合の疑似直線
42 疑似直線検出手段
42a レーンマーキング検出手段
42b 進行方向フロー算出手段
42c 左右フロー位相差算出手段
92 疑似直線検出手段
92a 車間距離確認用マーキング検出手段
92b 車間距離確認用マーキング端面検出手段
103 車間距離確認用マーキング
104 車間距離確認用マーキングの進行方向端面
131 走行車線認識手段
131a レーンマーキング検出手段
131b 道路モデル同定手段
131c 車線内横位置算出手段
321 車両
322b x軸まわりの回転角(ロール角)

Claims (10)

1. 車両の前方あるいは後方を撮像する撮像手段と、前記撮像手段によって得られた画像データ中から、道路平面とほぼ水平な疑似直線を検出する疑似直線検出手段と、前記疑似直線の傾きから撮像手段のロール角を算出するロール角算出手段とを備えることを特徴とする走行車線認識装置。
2. 前記疑似直線検出手段は、道路に埋設されたレーンマーキングを検出し、検出されたレーンマーキングが左右両方とも破線の場合、その左右レーンマーキングの進行方向の端点を求め、その端点を結ぶ直線を疑似直線として検出することを特徴とする請求項１に記載の走行車線認識装置。
3. 前記疑似直線検出手段は、道路に埋設されたレーンマーキングを検出し、検出された左右レーンマーキング上の進行方向のフローを算出し、左右のフローの位相差を求めることにより疑似直線を検出することを特徴とする請求項１に記載の走行車線認識装置。
4. 前記疑似直線検出手段は、路面上に埋設された車間距離確認用のマーキングを検出し、この車間距離確認用マーキングの進行方向端面を疑似直線として検出することを特徴とする請求項1に記載の走行車線認識装置。
5. 前記ロール角算出手段では、車両から得られる舵角センサ出力、ヨーレートセンサ出力、車速センサ出力のいずれか、あるいはすべてを用いて車両が直進していることを判定したときのみ、ロール角を算出することを特徴とする請求項１に記載の走行車線認識装置。
6. 車両の前方あるいは後方を撮像する撮像手段と、前記撮像手段によって得られた画像データを用いて走行車線を示すレーンマーキングを検出し、走行車線を認識する走行車線認識手段と、道路平面とほぼ水平な疑似直線を検出する疑似直線検出手段と、前記疑似直線の傾きから撮像手段のロール角を算出するロール角算出手段とを備え、上記ロール角算出手段により算出されたロール角の時間的変動が閾値以下の場合、信憑性が高いと判断し、走行車線認識手段の個々の処理、あるいは走行車線認識手段の出力に対しロール角に相当する補正をかけることを特徴とする走行車線認識装置。
7. 前記疑似直線検出手段は、道路に埋設されたレーンマーキングを検出し、検出されたレーンマーキングが左右両方とも破線の場合、その左右レーンマーキングの進行方向の端点を求め、その端点を結ぶ直線を疑似直線として検出することを特徴とする請求項６に記載の走行車線認識装置。
8. 前記疑似直線検出手段は、道路に埋設されたレーンマーキングを検出し、検出された左右レーンマーキング上の進行方向のフローを算出し、左右のフローの位相差を求めることにより疑似直線を検出することを特徴とする請求項６に記載の走行車線認識装置。
9. 前記疑似直線検出手段は、路面上に埋設された車間距離確認用のマーキングを検出し、この車間距離確認用マーキングの進行方向端面を疑似直線として検出することを特徴とする請求項6に記載の走行車線認識装置。
10. 前記ロール角算出手段では、走行車線認識手段で算出した曲率、車両から得られる舵角センサ出力、ヨーレートセンサ出力、車速センサ出力のいずれか、あるいはすべてを用いて車両が直進していることを判定したときのみ、ロール角を算出することを特徴とする請求項６に記載の走行車線認識装置。
    

Images