JP2017146645A - 白線認識装置 - Google Patents

Abstract

【課題】白線の誤検出を抑制する。
【解決手段】白線認識装置（１０）は、車両外部を撮像した画像を構成する複数の画素のうち一の行を構成する各画素について、一の画素の左隣の画素の輝度と、該一の画素の右隣の画素の輝度とを比較し、左隣の画素の輝度が右隣の画素の輝度より小さい場合該一の画素を輝度上昇点として検出し、左隣の画素の輝度が右隣の画素の輝度より大きい場合該一の画素を輝度下降点として検出する。白線認識装置は、上記一の行において、輝度上昇点の右側に位置する第１所定数の画素をからなる領域に係る第１輝度最頻値、輝度上昇点及び輝度下降点の間に位置する第２所定数の画素からなる領域に係る第２輝度最頻値、及び輝度下降点の左側に位置する第３所定数の画素からなる領域に係る第３輝度最頻値を求め、第２輝度最頻値が、第１輝度最頻値及び第３輝度最頻値より大きいことを条件に、輝度上昇点及び輝度下降点間の画素を白線画素とする。
【選択図】図４

Description

本発明は、画像から道路上の白線を認識する白線認識装置の技術分野に関する。

この種の装置として、例えば、白線のエッジか否かの判定対象である画素と、この画素から走査方向に１〜Ｋ画素隣の画素との輝度の差分を算出し、該算出された差分のうち少なくとも一つが閾値以上である場合に、判定対象である画素を白線のエッジとする装置が提案されている（特許文献１参照）。

特開２０１２−０１８５３１号公報

路面が比較的荒れている場合、路面の凹凸に起因して、画像上では白線でない部分にも比較的大きな輝度差が生じる可能性がある。また、天候や時間帯によっては、道路上に建造物等の影が生じる可能性がある。すると、特許文献１に記載の技術のように画素単位でエッジか否かが判定されると、例えば影の輪郭線が、白線のエッジとして誤検出される可能性があるという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、白線の誤検出を抑制することができる白線認識装置を提供することを課題とする。

本発明の白線認識装置は、上記課題を解決するために、車両外部を撮像した画像に基づいて、道路上の白線を認識する白線認識装置であって、（ｉ）前記画像を構成する複数の画素のうち一の行を構成する各画素について、一の画素の前記画像上で左隣の画素の輝度と、前記一の画素の前記画像上で右隣の画素の輝度とを比較し、前記左隣の画素の輝度が前記右隣の画素の輝度より小さい場合、前記一の画素を輝度上昇点として検出し、前記左隣の画素の輝度が前記右隣の画素の輝度より大きい場合、前記一の画素を輝度下降点として検出し、（ｉｉ）前記検出された輝度上昇点のうち一の輝度上昇点と、前記検出された輝度下降点のうち一の輝度下降点との間の画素数差が所定範囲内であることを条件に、前記一の輝度上昇点と前記一の輝度下降点とを一組とし、（ｉｉｉ）前記一の行において前記一の輝度上昇点の前記画像上で左側に位置する第１所定数の画素に係る第１輝度最頻値と、前記一の行において前記一の輝度上昇点と前記一の輝度下降点との間に位置する第２所定数の画素に係る第２輝度最頻値と、前記一の行において前記一の輝度下降点の前記画像上で右側に位置する第３所定数の画素に係る第３輝度最頻値と、を求め、（ｉｖ）前記第１輝度最頻値が前記第２輝度最頻値より小さく、且つ前記第２輝度最頻値が前記第３輝度最頻値より大きいことを条件に、前記一の行において前記一の輝度上昇点から前記一の輝度下降点までの複数の画素を白線画素とする認識手段を備える。

画像において白線部分の輝度は、例えば道路のアスファルト部分の輝度よりも大きい。このため、車両外部を撮像した画像の一の行を、画像の左側から右側に見ていくと（走査すると）、アスファルトと白線との一方の境界部分で輝度の上昇が検出され、更に、白線とアスファルトとの他方の境界部分で輝度の下降が検出される。

従って、左隣の画素の輝度が右隣の画素の輝度より小さい画素を輝度上昇点として、左隣の画素の輝度が右隣の画素の輝度より大きい画素を輝度下降点として検出すれば、該輝度上昇点及び輝度下降点は、白線の境界部分に相当する可能性が高い。

ただし、例えばアスファルト部分であっても日向と日陰とでは輝度が異なるので、輝度上昇点及び輝度下降点のみから白線を認識しようとすると、誤認識が生じる可能性がある。そこで、本発明では先ず、輝度上昇点と輝度下降点との間の画素数差が所定範囲内である輝度上昇点と輝度下降点とが組にされる。これは、画像における白線の幅は所定範囲内におさまると考えられるからである。仮に、輝度上昇点と輝度下降点との間の画素数差が所定範囲よりも大きい場合は、例えば影の輪郭線（即ち、日向と日陰との境界）等によるものと考えられる。

本発明では更に、組とされた輝度上昇点及び輝度下降点の該輝度上昇点の画像上で左側に位置する第１所定数の画素に係る第１輝度最頻値が求められる。同様に、組とされた輝度上昇点及び輝度下降点の間に位置する第２所定数の画素に係る第２輝度最頻値、並びに、組とされた輝度上昇点及び輝度下降点の該輝度下降点の画像上で右側に位置する第３所定数の画素に係る第３輝度最頻値が求められる。

ここで、「輝度最頻値」は、複数の画素（例えば、第１輝度最頻値の場合、第１所定数の画素）各々の輝度値の統計から求められる最も度数の多い輝度値を意味する。つまり、第１輝度最頻値は、組とされた輝度上昇点及び輝度下降点の該輝度上昇点の画像上で左側の領域を代表する輝度値と言える。同様に、第２輝度最頻値は、組とされた輝度上昇点及び輝度下降点の間の領域を代表する輝度値と言える。第３輝度最頻値は、組とされた輝度上昇点及び輝度下降点の該輝度下降点の画像上で右側の領域を代表する輝度値と言える。

組とされた輝度上昇点及び輝度下降点が白線の境界部分である場合、白線に相当する領域を代表する第２輝度最頻値は、第１輝度最頻値及び第３輝度最頻値よりも大きいはずである。従って、本発明では、第１輝度最頻値が第２輝度最頻値より小さく（言い換えれば、第２輝度最頻値が第１輝度最頻値より大きく）、且つ第２輝度最頻値が第３輝度最頻値より大きいことを条件に、組とされた輝度上昇点及び輝度下降点の間に位置する複数の画素が白線画素（即ち、白線に相当する画素）とされる。

本発明では、組とされた輝度上昇点及び輝度下降点により規定される領域（即ち、輝度上昇点の左側の領域、輝度上昇点及び輝度下降点の間の領域、輝度下降点の右側の領域）各々の輝度最頻値を比較することにより白線画素が特定されている。このため、画素単位で白線（領域）が検出される場合に比べて、誤検出を抑制することができる。

尚、「第１所定数」、「第２所定数」及び「第３所定数」は、例えば画像の画素数（即ち、解像度）等に応じて適宜設定されてよい。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施形態に係る白線認識装置の構成を示すブロック図である。 撮像画像の一例である。 画像上の白線領域近傍の輝度分布の一例である。 実施形態に係る白線認識処理を示すフローチャートである。 実施形態に係る白線認識処理の概念を示す概念図である。

本発明の白線認識装置に係る実施形態について図面を参照して説明する。以下では、先ず、白線認識装置及び白線認識処理の概要を説明し、次に、白線認識処理の詳細について具体例を挙げつつ説明する。

（白線認識装置の概要）
実施形態に係る白線認識装置の概要について、図１を参照して説明する。図１は、実施形態に係る白線認識装置の構成を示すブロック図である。

図１において、白線認識装置１０は、白線認識処理を実行するために、その内部に実現される論理的な処理ブロック又は物理的な処理回路として、画像入力部１１、輝度上昇点検出部１２、輝度下降点検出部１３、上昇点・下降点ペア生成部１４、輝度統計量算出部１５及び判定部１６を備えて構成されている。

画像入力部１１には、自動車等の車両（図示せず）の外部（例えば車両前方、車両後方等）を撮像するカメラ２０から出力された画像情報が入力される。尚、カメラ２０は、車両に搭載されているカメラであってもよいし（つまり、車両に搭載されているカメラを流用してもよいし）、白線認識装置１０独自のカメラであってもよい。

例えば図２に示すような画像（ここでは、車両前方を撮像した画像）が、画像入力部１１に入力されたとする。輝度上昇点検出部１２、輝度下降点検出部１３、上昇点・下降点ペア生成部１４、輝度統計量算出部１５及び判定部１６は、画像を構成する複数の画素のうち一の行（ｉ行目）に属する各画素（言い換えれば、一の行を構成する各画素）について、後述する白線認識処理を施した後、一の行の次の行（ｉ＋１行目）に属する各画素について同様の処理を施す。

（白線認識処理の概要）
次に、白線認識装置１０が実行する白線認識処理の概要について、図３を参照して説明する。図３は、画像上の白線領域近傍の輝度分布の一例である。

画像上において白線部分は、その周囲に比べて輝度が大きいと考えられる。このため、図２に示すように、画像のｉ行目に属する画素を左から右に向かって走査すると、例えば道路のアスファルト部分から白線部分に変わったときに輝度が上昇し、該白線部分から例えばアスファルト部分に変わったときに輝度が下降する（図３参照）。

本実施形態に係る白線認識処理では、先ず、輝度が上昇する輝度上昇点（図３では“上昇点”）及び輝度が下降する輝度下降点（図３では“下降点”）が特定される。次に、画像上の輝度上昇点の左側の領域（図３では“左側道路領域”）、画像上の輝度上昇点及び輝度下降点の間の領域（図３では“白線相当領域”）、並びに画像上の輝度下降点の右側の領域（図３では“右側道路領域”）各々の輝度最頻値が求められる。そして、画像上の輝度上昇点及び輝度下降点の間の領域の輝度最頻値が、その他の領域の輝度最頻値よりも大きい場合、画像上の輝度上昇点及び輝度下降点の間に位置する画素が白線画素として検出される。

同様の処理が画像の全ての行について行われることにより、画像中の白線（領域）が認識される。

（白線認識処理の詳細）
白線認識処理について図４のフローチャートを参照して説明を加える。

図４において、画像入力部１１にカメラ２０からの画像情報が入力された後（ステップＳ１）、輝度上昇点検出部１２は、画像のｉ行目（図２参照）の判定対象の画素（ｊ番目の画素）の左隣の画素（ｊ−１番目の画素）の輝度と、該判定対象の画素の右隣の画素（ｊ＋１番目の画素）の輝度とを比較して、左隣の画素の輝度が右隣の画素の輝度より小さい場合、判定対象の画素を輝度上昇点として検出する（ステップＳ２）。

上記ステップＳ２の処理と並行して、輝度下降点検出部１３は、画像のｉ行目の判定対象の画素（ｊ番目の画素）の左隣の画素（ｊ−１番目の画素）の輝度と、該判定対象の画素の右隣の画素（ｊ＋１番目の画素）の輝度とを比較して、左隣の画素の輝度が右隣の画素の輝度より大きい場合、判定対象の画素を輝度下降点として検出する（ステップＳ３）。

次に、上昇点・下降点ペア生成部１４は、輝度上昇点検出部１２により検出された一又は複数の輝度上昇点と、輝度下降点検出部１３により検出された一又は複数の輝度下降点とのうち、ｉ行目内での（即ち、画像の左右方向での）画素数差が所定値（又は所定範囲内）となる一の輝度上昇点及び一の輝度下降点を、上昇点・下降点ペアとして記憶する（ステップＳ４）。

ここで、一の輝度上昇点は複数の輝度下降点とペアとなることが可能であり、一の輝度下降点も複数の輝度上昇点とペアとなることが可能である。このような場合、上昇点・下降点ペア生成部１４は、夫々異なる上昇点・下降点ペアとして記憶する（例えば、一の輝度上昇点と一の輝度下降点とで一のペア、一の輝度上昇点と他の輝度下降点とで他のペア）。

「所定値」は、例えば、カメラ２０の車両への取り付け方、カメラ２０の内部パラメータ（例えば解像度等）、カメラ２０から撮像される白線までの距離等に基づいて予め設定されている。上昇点・下降点ペア生成部１４に、例えば画像の行毎の所定値を規定するテーブルが予め格納されていてもよい。尚、白線の幅が一定ではない場合には、所定値の上限値が設定されてよい。

次に、輝度統計量算出部１５は、上昇点・下降点ペアとして記憶された一の輝度上昇点及び一の輝度下降点により規定される領域（図３における“左側道路領域”、“白線相当領域”及び“右側道路領域”）各々の輝度最頻値を、各領域の輝度特性として算出する（ステップＳ５）。

ここで、輝度特性の算出方法について、図５を参照して説明を加える。

輝度統計量算出部１５は、ｉ行目において輝度上昇点から所定画素だけ左に位置する画素を「左側道路領域開始点」とする。輝度統計量算出部１５は、ｉ行目において輝度上昇点から左側に進んで最初にエッジが生じる画素を「左側道路領域終了点」とする。エッジが生じるということは、道路と他の物との境界線である可能性が高いからである。

輝度統計量算出部１５は、ｉ行目において輝度上昇点から所定画素だけ右に位置する画素を「白線相当領域開始点」とする。輝度統計量算出部１５は、ｉ行目において輝度下降点から所定画素だけ左に位置する画素を「白線相当領域終了点」とする。

輝度統計量算出部１５は、ｉ行目において輝度下降点から所定画素だけ右に位置する画素を「右側道路領域開始点」とする。輝度統計量算出部１５は、ｉ行目において輝度下降点から右側に進んで最初にエッジが生じる画素を「右側道路領域終了点」とする。

図５に示すように、左側道路領域開始点と白線相当領域開始点との間に位置する画素、及び、白線相当領域終了点と右側道路領域開始点との間に位置する画素は、「ノイズ画素」として扱われる。これは、白線部分とアスファルト部分との境界近傍に相当する画素の画素値は、該画素に相当するカメラ２０の撮像素子の画素に、白線部分で反射された光とアスファルト部分で反射された光との両方が入射した結果を反映していると考えられるからである。

上述の「所定画素」は、例えば白線部分で反射された光とアスファルト部分で反射された光との各々の９９％が入射する撮像素子の画素数として設定すればよい。或いは、例えば道路上に引かれた白線を撮像した画像を用いて、白線部分の輝度及びアスファルト部分の輝度各々の変動が安定する範囲を求め、該求められた範囲が輝度上昇点又は輝度下降点からどの程度離れているかを求めることによって、「所定画素」を設定してもよい。

輝度統計量算出部１５は、左側道路領域開始点から左側道路領域終了点までの画素の輝度に基づいて、左側道路領域に係る輝度最頻値を求める。輝度統計量算出部１５は、白線相当領域開始点から白線相当領域終了点までの画素の輝度に基づいて、白線相当領域に係る輝度最頻値を求める。輝度統計量算出部１５は、右側道路領域開始点から右側道路領域終了点までの画素の輝度に基づいて、右側道路領域に係る輝度最頻値を求める。

尚、本実施形態に係る「左側道路領域開始点から左側道路領域終了点までの画素」、「白線相当領域開始点から白線相当領域終了点までの画素」及び「右側道路領域開始点から右側道路領域終了点までの画素」は、夫々、本発明に係る「第１所定数の画素」、「第２所定数の画素」及び「第３所定数の画素」の一例である。本実施形態に係る「左側道路領域に係る輝度最頻値」、「白線相当領域に係る輝度最頻値」及び「右側道路領域に係る輝度最頻値」は、夫々、本発明に係る「第１輝度最頻値」、「第２輝度最頻値」及び「第３輝度最頻値」の一例である。

再び図４に戻り、ステップＳ５の処理の後、判定部１６は、「左側道路領域に係る輝度最頻値＜白線相当領域に係る輝度最頻値」且つ「白線相当領域に係る輝度最頻値＞右側道路領域に係る輝度最頻値」という白線条件が成立するか否かを判定する（ステップＳ６）。白線条件が成立すると判定された場合、判定部１６は、輝度上昇点から輝度下降点までの画素を白線画素とする。他方で、白線条件が成立しないと判定された場合、判定部１６は、例えば白線画素はないと判定する。

次に、判定部１６は、ステップＳ４の処理において記憶された全ての上昇点・下降点ペアについてステップＳ５及びＳ６の処理が終了したか否かを判定する（ステップＳ７）。処理が終了したと判定された場合（ステップＳ７：Ｙｅｓ）、白線認識装置１０は、画像の次の行（ｉ＋１番目の行）について、ステップＳ１〜Ｓ６の処理を施す。他方、処理が終了していないと判定された場合（ステップＳ７：Ｎｏ）、他の上昇点・下降点ペアについてステップＳ５の処理が行われる。

（技術的効果）
上昇点・下降点ペア生成部１４により、画素数差が所定値（又は所定範囲内）となる輝度上昇点及び輝度下降点がペアとされることによって、例えば道路上における日向と日陰との境界等の、白線ではない画像上の領域が白線として誤認識されることを抑制することができる。

図５を参照して説明したように、輝度上昇点及び輝度下降点各々の近傍の画素をノイズ画素とすることによって、白線部分で反射された光とアスファルト部分で反射された光との両方を反映した画素の輝度の影響を除くことができる。この結果、白線条件の判定結果の信頼性を向上させることができる。

本実施形態では特に、ペアとされた輝度上昇点及び輝度下降点により規定される領域（図３における“左側道路領域”、“白線相当領域”及び“右側道路領域”）各々の輝度最頻値が比較されることにより白線画素が特定されている。このため、画素単位で白線が検出される場合に比べて、誤検出を抑制することができる。

本実施形態に係る「輝度上昇点検出部１２」、「輝度下降点検出部１３」、「上昇点・下降点ペア生成部１４」、「輝度統計量算出部１５」及び「判定部１６」は、本発明に係る「認識手段」の一例である。

＜変形例＞
上述の実施形態では、判定対象の画素の左隣の画素の輝度と、該判定対象の画素の右隣の画素の輝度とを比較して、輝度上昇点及び輝度下降点が検出されるが、判定対象の画素の左側に位置する複数の画素の輝度の平均値と、該判定対象の画素の右側に位置する複数の画素の輝度の平均値とを比較して、輝度上昇点及び輝度下降点が検出されてもよい。或いは、既存のＳＯＢＥＬフィルタを用いて、輝度上昇点及び輝度下降点が検出されてもよい。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う白線認識装置もまた本発明の技術的範囲に含まれるものである。

１０…白線認識装置、１１…画像入力部、１２…輝度上昇点検出部、１３…輝度下降点検出部、１４…上昇点・下降点ペア生成部、１５…輝度統計量算出部、１６…判定部、２０…カメラ

Claims (1)

1. 車両外部を撮像した画像に基づいて、道路上の白線を認識する白線認識装置であって、
   （ｉ）前記画像を構成する複数の画素のうち一の行を構成する各画素について、一の画素の前記画像上で左隣の画素の輝度と、前記一の画素の前記画像上で右隣の画素の輝度とを比較し、前記左隣の画素の輝度が前記右隣の画素の輝度より小さい場合、前記一の画素を輝度上昇点として検出し、前記左隣の画素の輝度が前記右隣の画素の輝度より大きい場合、前記一の画素を輝度下降点として検出し、（ｉｉ）前記検出された輝度上昇点のうち一の輝度上昇点と、前記検出された輝度下降点のうち一の輝度下降点との間の画素数差が所定範囲内であることを条件に、前記一の輝度上昇点と前記一の輝度下降点とを一組とし、（ｉｉｉ）前記一の行において前記一の輝度上昇点の前記画像上で左側に位置する第１所定数の画素に係る第１輝度最頻値と、前記一の行において前記一の輝度上昇点と前記一の輝度下降点との間に位置する第２所定数の画素に係る第２輝度最頻値と、前記一の行において前記一の輝度下降点の前記画像上で右側に位置する第３所定数の画素に係る第３輝度最頻値と、を求め、（ｉｖ）前記第１輝度最頻値が前記第２輝度最頻値より小さく、且つ前記第２輝度最頻値が前記第３輝度最頻値より大きいことを条件に、前記一の行において前記一の輝度上昇点から前記一の輝度下降点までの複数の画素を白線画素とする認識手段を備える
   ことを特徴とする白線認識装置。

Images