JP2007219767A

JP2007219767A - 車線検出方法および装置

Info

Publication number: JP2007219767A
Application number: JP2006038670A
Authority: JP
Inventors: Takio Kurita; 多喜夫栗田; Eisuke Adachi; 栄輔安達; Nobuyuki Otsu; 展之大津
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2006-02-15
Filing date: 2006-02-15
Publication date: 2007-08-30

Abstract

【課題】ハフ変換を基本とし、処理量を少なくし、リアルタイムでの処理を実現できる車線検出法を提供する。
【解決手段】撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。また上記の車線検出方法において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする。
【選択図】図１

Description

本発明は、車両に対し所定状態で取り付けられた撮像装置により取得した路面画像を画像処理して平行に描かれた車線を検出する車線検出方法および装置に関する。

車載カメラで撮影された画像上において車線を検出することは，交通の状況や車の位置を推定するための基本的な処理である。近年，様々な車線検出手法が提案されている（例えば、非特許文献１〜７参照）。車線検出は，あるモデルを画像から得られたエッジ点や車線マーカーに当てはめることにより行われる。ＭｃＤｏｎａｌｄの非特許文献２は，車線境界の消失点が画像内である特定の領域内に収まるという仮定を用いることにより，直線モデルのパラメータ空間を制限したハフ変換を用いて車線境界を検出する手法を提案している。
Ｎ．ＡｐｏｓｔｏｌｏｆｆａｎｄＡ．Ｚｅｌｉｎｓｋｙ．Ｖｉｓｉｏｎｉｎａｎｄｏｕｔｏｆｖｅｈｉｃｌｅｓ：Ｉｎｔｅｇｒａｔｅｄｄｒｉｖｅｒａｎｄｒｏａｄｓｃｅｎｅｍｏｎｉｔｏｒｉｎｇ．ＴｈｅＩｎｔｅｒｎａ−ｔｉｏｎａｌＪｏｕｒｎａｌｏｆＲｏｂｏｔｉｃｓＲｅｓｅａｒｃｈ，Ｖｏｌ．２３，Ｎｏ．４−５，ｐｐ．５１３５３８，Ａｐｒｉｌ−Ｍａｙ２００４．Ｊ．Ｂ．ＭｃＤｏｎａｌｄ．Ａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅｈｏｕｇｈｔｒａｎｓｆｏｒｍｔｏｌａｎｅｄｅｔｅｃｔｉｏｎａｎｄｆｏｌｌｏｗｉｎｇｏｎｈｉｇｈｓｐｅｅｄｒｏａｄｓ．ＩｎＰｒｏｃ．ｏｆｔｈｅＩｒｉｓｈＳｉｇｎａｌｓａｎｄＳｙｓｔｅｍｓＣｏｎｆｅｒｅｎｃｅ，２００１．Ｖ．Ｋａｓｔｒｉｎａｋｉ，Ｍ．Ｚｅｒｖａｋｉｓ，ａｎｄＫ．Ｋａｌａｉｔｚａｋｉｓ．Ａｓｕｒｖｅｙｏｆｖｉｄｅｏｐｒｏｃｅｓｓｉｎｇｔｅｃｈｎｉｑｕｅｓｆｏｒｔｒａｆｆｉｃａｐｐｌｉｃａｔｉｏｎｓ．ＩｍａｇｅａｎｄＶｉｓｉｏｎＣｏｍｐｕｔｉｎｇ，Ｖｏｌ．２１，ｐｐ．３５９３８１，２００３．Ｊ．Ｗ．Ｌｅｅ，Ｕ．Ｋ．Ｙｉ，ａｎｄＫ．Ｒ．Ｂａｒｋ．Ａｃｕｍｕｌａｔｉｖｅｄｉｓ−ｔｒｉｂｕｔｉｏｎｆｕｎｃｔｉｏｎｏｆｅｄｇｅｄｉｒｅｃｔｉｏｎｆｏｒｒｏａｄ−ｌａｎｅｄｅｔｅｃｔｉｏｎ．ＩＣＥＴｒａｎｓ．Ｉｎｆ．Ｆ４ｓｙｓｔ．，Ｖｏｌ．Ｅ８４−Ｄ，Ｎｏ．９，ｐｐ．１２０６１２１６，Ｓｅｐｔｅｍｂｅｒ２００１．Ｑ．Ｌｉ，Ｎ．Ｚｈａｎｇ，ａｎｄＨ．Ｃｈｅｎｇ．Ｓｐｒｉｎｇｒｏｂｏｔ：Ａｐｒｏｔｏ−ｔｙｐｅａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅａｎｄｉｔｓａｌｇｏｒｉｔｈｍｓｆｏｒｌａｎｅｄｅｔｅｃ−ｔｉｏｎ．ＩＥＥＥＴｒａｎｓ．Ｔｒａｎｓｐｏｒｔａｔｉｏｎｓｙｓｔｅｍｓ，Ｖｏｌ．５，Ｎｏ．４，ｐｐ．３００３０８，Ｄｅｃｅｍｂｅｒ２００４．Ｊ．Ｗ．Ｐａｒｋ，Ｊ．Ｗ．Ｌｅｅ，ａｎｄＫ．Ｙ．ｔｈｏｎｇ．Ａｌａｎｅ−ｃｕｒｖｅｄｅｔｅｃ−ｔｉｏｎｂａｓｅｄｏｎａｎｌｃｆ．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ，Ｖｏｌ．２４，ｐｐ．２３０１２３１３，２００３．Ｔ．Ｍ．ｖａｎＶｅｅｎａｎｄＦ．Ｃ．Ａ．Ｃｒｏｅｎ．Ｄｉｓｃｒｅｔｉｚａｔｉｏｎｅｒｒｏｒｓｉｎｔｈｅｈｏｕｇｈｔｒａｎｓｆｏｒｍ．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．１４，Ｎｏ．１−６，ｐｐ．１３７１４５，１９８１．

車線のモデルが複雑な場合、計算時間が増大し検出された車線も不安定になる。
そのため、問題に応じてモデルの次元数を削減する必要がある。

本発明では、車載カメラで撮影した画像から，車の姿勢を考慮することで、車線のモデルを一次元とする。本手法では，カメラを載せた車の姿勢が道路面に対して変化せず，前もって調節されていることを前提とする。
具体的には、以下の手段を採用する。
（１）少なくとも、路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置において、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。
（２）上記（１）記載の車線検出方法において、
前記車線検出装置において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項１記載の車線検出方法。
（３）上記（１）記載の車線検出方法において、
前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする。
（４）路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置であって、前記処理装置により、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。
（５）前記（４）記載の車線検出装置であって、前記処理装置により、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする。
（６）前記（４）記載の車線検出装置であって、前記処理装置により、前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする。

本発明により、想定外の直線を検出しない安定した車線検出を少ないコストで実現できる。

車両の進行方向に対し垂直な道路平面上の軸を等間隔に分割し、各領域にセルを割り当てる。画像上にエッジが検出されたら、対応するセルに対し投票を行う。このとき、セルが代表する画像上の直線からエッジまでの距離が近い程、投票する重みを増加させる。
全てのエッジに対して投票を行った後、投票値が一定値を超えかつ近傍セル内のどのセルよりも投票値が高かった場合、そのセルが代表する直線を車線とみなす。

（車線のモデル）：
図１は，カメラと道路面との位置・姿勢の関係を示す。図２は図１の座標系を示す。カメラの焦点Оを原点とした世界座標系を（Ｘ，Ｙ，Ｚ）で表す。初めに，カメラの載った車の姿勢を表す三つの単位ベクトルｐ＝（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）^Ｔ、ｑ＝（ｑ_ｘ，ｑ_ｙ，ｑ_ｚ）^Ｔ、ｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）^Ｔを導入する。但し，ベクトルｐ、ｑ、ｓは互いに直交する。ベクトルｑは車の進行方向の逆向きであり，ベクトルｓは道路平面と直交する。道路面とカメラの焦点との距離は
と正規化する。このとき、道路面上の座標系を（ｘ_ｒ，ｙ_ｒ）で表す。但し、ｘ_ｒ軸とｙ_ｒ軸は，それぞれ単位ベクトルｐ、ｑに平行とする。車線の境界はｘ_ｒ軸上の一点で表す。
画像上での座標（ｘ，ｙ）からｘ_ｒ軸への変換は、次式を用いて行う。
但し、
である。

（投票）：
ｘ_ｒ軸のある範囲を等間隔なセルに分割し、セルの番号をｊとする。セルｊの領域の中心位置をｘ_ｒ ^ｊとする。また、検出されたｉ番目のエッジ点の特徴量として、画像上の位置（ｘ_ｉ，ｙ_ｉ）とその点の輝度値勾配の方向ψ_ｉを用いる。投票は、次式のように行う。
但し、Ｎは検出されたエッジ点の数である。
はセルｊに対応する画像上の直線の角度θ_ｊからのψ_ｉのずれによる重みであり、変数ψ_ｉ、平均θ_ｊ、標準偏差σ_θのガウス関数とする(非特許文献７参照)。ここで、θ_ｊはｘ_ｒ ^ｊから次式を用いて算出される。
は同じくセルに対応する画像上の直線からエッジ点（ｘ_ｉ，ｙ_ｉ）までの距離
による重みを表し(図３、４参照)、変数ρ_ｉｊ、平均ρ_ｊ、標準偏差σ_ρのガウス関数とする。但し、ρ_ｊは式(3)から計算されるθ_ｊから次式のように算出される。
また、ρ_ｉｊはθ_ｊ方向における原点ｏとエッジ点（ｘ_ｉ，ｙ_ｉ）の間の幅であり、次式から算出される。
これは、直線度（特許第３６５３５４２号公報参照）に相当する。
式(2)を素直に実行する場合、エッジ点一つにつき全てのセルに対して重みを計算しなければならないが、それでは計算時間がかかるため、投票を行うセルはσ_ρに応じて決める。具体的には、セルｊに対応する直線とエッジ点ｉとの間の距離
が３σ_ρ以上なら、そのセルへの投票は行わないとする。

（ピーク検出）：
車線境界は、
のピークを探索することで検出する。注目しているセルｊの投票値
がその近傍セル
内で最大のとき、セルｊをピークとみなす。このとき、
を満たさないセルに関しては、探索の領域から除外する。

（実験）：
（設定条件）：
テスト動画テスト動画は高速道路を走行する車に載せたカメラから前方を撮影したものを用いた。エッジを検出するためにエッジ検出器を用いた。エッジの検出は前もって設定した“道路領域”に対して行った。図５は，幾つかのフレームにおけるエッジの検出結果を示す。但し，画像中の“黒”の領域はエッジ領域を示す。図の上段の画像は画像平面におけるエッジを示し，下段の画像は道路平面を真上から眺めたときのエッジ画像である。また，（ａ）から（ｄ）までの各列は異なるフレームにおける結果である。

（実験条件）：
車線のモデルに関する比較のため、gradient weighted Hough transform（GWHT）［７］を適用した。GWHTは，画像平面において次式のモデルを用いて直線を検出する手法である。
モデルのパラメータ空間
に関して、次の二つの場合で実行した。
A. 式(1)を用いてエッジ点（ｘ_ｉ，ｙ_ｉ）に対応するｘ_ｒ軸上の点ｘ_ｒ ^ｉを求め、ｘ_ｒ ^ｉに応じて次式のように
を決定する。

B. （投票）：の節で説明したようにガウス関数とした。但し、σ_ρ＝０．５６ [pixel]に設定した。
上述のA. B. においてパラメータ空聞
を１００個のセルに分割した。パラメータ空聞上でのピーク検出のための近傍領域は，５［cell］に設定した。また、
に対する閾値はλ＝２０とした。

（実験結果）：
図６は，GWHTによる直線の検出結果を原画像上に描いたものである。この図の（ａ）と（ｂ）において，明らかに車線境界とは違うところに直線が検出されているのがわかる。図７は，提案手法による車線境界の検出結果である。但し，上段はA.の場合，下段はB.の場合の結果を示す。図６において誤って検出された車線境界が，図７では検出されていないのがわかる。また、図７の（ａ）と（ｂ）を見ると、A.の場合で誤った所に車線境界が検出されているのがわかる。これらは，遠くの対向車のヘッドライトからのエッジに対して当てはめられたものである。図８は，提案手法におけるパラメータ空間への投票結果
である。図内の点線は検出された車線境界のパラメータを示す。対向車のヘッドライトのエッジに対応するピークは，A.の場合に比べてB.の場合の方が抑制されているのがわかる。これは、該当するエッジ点群がまばらに存在しており、直線らしさが小さいためである。
図９は図７の検出結果を撮像画像に参考のため重ねて表示した図である。この図から本発明の効果が格別なものであることがわかる。

(装置）：
本発明の装置の構成（図示省略）は、少なくとも、
上記した必要な手順および処理を行うＣＰＵ（中央演算装置）およびメモリ等からなる処理装置と、
道路の白線情報等を取得するためのビデオカメラ等の撮像装置と、
処理結果を表示するモニター等の画像表示装置を備える。
撮像装置および画像表示装置は処理装置により制御される。
処理装置により処理した結果は画像表示装置にリアルタイムで表示することができる。

以上は、車道の白線を対象とする実施例についての説明であったが、平面上に設けられた直線に沿って移動する移動体の制御に使用することができる。例えば、工場内での無人のロボット車両の運転制御等に使用できる。

カメラと道路面との位置・姿勢の関係を示す説明図である。図１の座標系を示す説明図である。画像面上における直線のパラメータ（ρ、θ）を示す図である。直線とエッジ点との距離の説明図である。幾つかのフレームにおけるエッジの検出結果を示す図である。ＧＷＨＴによる直線の検出結果を原画像上に描いたものである。提案手法による車線境界の検出結果である。提案手法による投票結果である。図７の検出結果を撮像画像に参考のため重ねて表示した図である。

符号の説明

Claims

路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置において、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする車線検出方法。
前記車線検出装置において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項１記載の車線検出方法。
前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする請求項１記載の車線検出方法。
路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置であって、前記処理装置により、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする車線検出装置。
前記車線検出装置であって、前記処理装置により、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項４記載の車線検出装置。
前記車線検出装置であって、前記処理装置により、前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする請求項４記載の車線検出装置。