JP2017151930A - 白線認識装置 - Google Patents

Abstract

【課題】白飛びや黒潰れが発生している画像であっても白線を適切に認識する。【解決手段】白線認識装置（１０）は、車両外部を撮像した画像に基づいて道路上の白線を認識する装置である。当該白線認識装置は、画像から白線候補領域と、該白線候補領域に隣接する隣接領域とを抽出する抽出手段（１２、１４）と、白線候補領域の輝度値と隣接領域の輝度値との差が閾値より大きいことを条件に、白線候補領域を白線として認識する認識手段（１７）と、白線候補領域の画素値である第１画素値が上限の飽和値である場合、前記閾値を、第１画素値が上限の飽和値でない場合に比べて小さくし、隣接領域の画素値である第２画素値が下限の飽和値である場合、前記閾値を、第２画素値が下限の飽和値でない場合に比べて小さくする設定手段（１６）と、を備える。【選択図】図１

Description

本発明は、画像から道路上の白線を認識する白線認識装置の技術分野に関する。

この種の装置として、例えば、白線のエッジか否かの判定対象である画素と、この画素から走査方向に１〜Ｋ画素隣の画素との輝度の差分を算出し、該算出された差分のうち少なくとも一つが閾値以上である場合に、判定対象である画素を白線のエッジとする装置が提案されている（特許文献１参照）。

特開２０１２−０１８５３１号公報

ところで、強い日差しが照りつける道路が撮像された場合、撮像画像において道路上の白線部分の輝度値が上限の飽和値となることがある（所謂白飛び）。この場合、道路のアスファルト部分の輝度値も比較的大きくなるため、白線部分の輝度値とアスファルト部分の輝度値との差が比較的小さくなる。或いは、日陰の道路が撮像された場合、撮像画像においてアスファルト部分の輝度値が下限の飽和値となることがある（所謂黒潰れ）。この場合、白線部分の輝度値も比較的小さくなるため、白線部分の輝度値とアスファルト部分の輝度値との差が比較的小さくなる。

このような場合、上述の特許文献１に記載の技術では、白線のエッジを正しく認識できない可能性があるという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、白線を適切に認識することができる白線認識装置を提供することを課題とする。

本発明の白線認識装置は、上記課題を解決するために、車両外部を撮像した画像に基づいて道路上の白線を認識する白線認識装置であって、前記画像から白線候補領域と、前記白線候補領域に隣接する隣接領域とを抽出する抽出手段と、前記抽出された白線候補領域の輝度値と前記抽出された隣接領域の輝度値との差が閾値より大きいことを条件に、前記白線候補領域を白線として認識する認識手段と、前記抽出された白線候補領域の画素値である第１画素値が上限の飽和値である場合、前記閾値を、前記第１画素値が前記上限の飽和値でない場合に比べて小さくし、前記抽出された隣接領域の画素値である第２画素値が下限の飽和値である場合、前記閾値を、前記第２画素値が前記下限の飽和値でない場合に比べて小さくする設定手段と、を備える。

本発明の白線認識装置によれば、白線候補領域に係る第１画素値が上限の飽和値である場合、又は隣接領域に係る第２画素値が下限の飽和値である場合、第１画素値が上限の飽和値でない場合、又は第２画素値が下限の飽和値でない場合に比べて閾値が小さくされる。このため、当該白線認識装置は、所謂白飛びや黒潰れが生じた場合であっても、白線を適切に認識することができる。

本発明に係る「第１画素値」及び「第２画素値」の一例として、例えば輝度値やカラー値が挙げられるが、これらに限らず、所謂白飛びや黒潰れを検出可能であれば、他のパラメータであってもよい。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施形態に係る白線認識装置の構成を示すブロック図である。 実施形態に係る白線認識処理を示すフローチャートである。 道路の白線部分及びアスファルト部分の輝度値の変化の一例である。

本発明の白線認識装置に係る実施形態について図面を参照して説明する。

（白線認識装置の概要）
実施形態に係る白線認識装置の概要について、図１を参照して説明する。図１は、実施形態に係る白線認識装置の構成を示すブロック図である。

図１において、白線認識装置１０は、白線認識処理を実行するために、その内部に実現される論理的な処理ブロック又は物理的な処理回路として、画像入力部１１、白線候補領域抽出部１２、白飛び判定部１３、隣接領域抽出部１４、黒潰れ判定部１５、閾値設定部１６及び白線判定部１７を備えて構成されている。

画像入力部１１には、自動車等の車両（図示せず）の外部（例えば車両前方、車両後方等）を撮像するカメラ２０から出力された画像情報が入力される。尚、カメラ２０は、車両に搭載されているカメラであってもよいし（つまり、車両に搭載されているカメラを流用してもよいし）、白線認識装置１０独自のカメラであってもよい。

（白線認識処理）
次に、白線認識装置１０が実行する白線認識処理について、図２のフローチャートを参照して説明する。

図２において、画像入力部１１にカメラ２０からの画像情報が入力された後（ステップＳ１）、白線候補領域抽出部１２は、画像から判定対象とする一の画素を白線候補画素として抽出する。或いは、白線候補領域抽出部１２は、判定対象とする一の画素の周囲に、一の画素の画素値と、同一又は類似の画素値を有する画素が存在する場合、一の画素と一の画素の周囲の画素とを白線候補領域として抽出する。（ステップＳ２）
次に、隣接領域抽出部１４は、ステップＳ２の処理において抽出された白線候補画素又は白線候補領域に隣接する画素を隣接画素又は隣接領域として抽出する（ステップＳ３）。ここで、隣接領域は、白線候補画素又は白線候補領域に隣接する画素と、該画素の周囲に位置し、該画素の画素値と同一又は類似の画素値を有する画素とからなる画素群を意味する。

次に、白飛び判定部１３は、ステップＳ２の処理において抽出された白線候補画素又は白線候補領域の輝度値が輝度最大値と一致しているか否かを判定する（ステップＳ４）。白飛び判定部１３は、白線候補画素又は白線候補領域の輝度値が輝度最大値と一致している場合に、白飛びと判定する。他方、白飛び判定部１３は、白線候補画素又は白線候補領域の輝度値が輝度最大値と一致していない場合、白飛びではないと判定する。

尚、「輝度最大値」は、例えば符号なしの８ビットで輝度値を計測しているカメラでは“２５５”である。白線候補領域の場合、白飛び判定部１３は、該白線候補領域を構成する複数の画素に夫々対応する複数の輝度値のうち、最大輝度値や輝度の最頻値が、輝度最大値と一致しているか否かを判定すればよい。

ステップＳ４の処理と並行して、黒潰れ判定部１５は、ステップＳ３の処理において抽出された隣接画素又は隣接領域の輝度値が輝度最小値と一致しているか否かを判定する（ステップＳ５）。黒潰れ判定部１５は、隣接画素又は隣接領域の輝度値が輝度最小値と一致している場合に、黒潰れと判定する。他方、黒潰れ判定部１５は、隣接画素又は隣接領域の輝度値が輝度最小値と一致していない場合、黒潰れではないと判定する。

尚、「輝度最小値」は、例えば符号なしの８ビットで輝度値を計測しているカメラでは“０”である。隣接領域の場合、黒潰れ判定部１５は、該隣接領域を構成する複数の画素に夫々対応する複数の輝度値のうち、最小輝度値や輝度の最頻値が、輝度最小値と一致しているか否かを判定すればよい。

次に、閾値設定部１６は、白飛び判定部１３による判定結果及び黒潰れ判定部１５による判定結果に応じて、後述する白線判定に用いられる閾値を設定する（ステップＳ６）。

ここで、道路の白線部分及びアスファルト部分の輝度値の変化について、図３を参照して説明する。図３において、実線は白線部分の輝度値の変化の一例を示しており、破線は、アスファルト部分の輝度値の変化の一例を示している。

図３に示すように、白線部分の輝度値及びアスファルト部分の輝度値は、シーン（画像）の明るさに比例して変化する。白飛びや黒潰れが発生していない場合、白線部分の輝度値とアスファルト部分の輝度値との差は、「輝度差２」となる。

しかしながら、白飛びが発生している場合（図３の“白線の輝度が上に飽和している日向”領域参照）、白線部分の輝度値は輝度最大値（ここでは、２５５）で一定であるのに対して、アスファルト部分の輝度値は、シーンが明るくなるほど大きくなる。すると、白線部分の輝度値とアスファルト部分の輝度値との差は、「輝度差２」より小さい、例えば「輝度差３」となる。

同様に、黒潰れが発生している場合（図３の“アスファルトの輝度が下に飽和している日陰”参照）、アスファルト部分の輝度値は輝度最小値（ここでは、０）で一定であるのに対し、白線部分の輝度値は、シーンが暗くなるほど小さくなる。すると、白線部分の輝度値とアスファルト部分の輝度値との差は、「輝度差２」より小さい、例えば「輝度差１」となる。

このため、白線判定に用いられる閾値を、例えば輝度差２に相当する固定値としてしまうと、白飛びや黒潰れが発生している場合に、白線を認識することができない可能性がある。そこで、本実施形態に係る閾値設定部１６は、白飛びや黒潰れが発生している場合、白線判定に用いられる閾値を、白飛び及び黒潰れが発生していない場合と比べて小さくする。

つまり、ステップＳ６の処理において、白飛び判定部１３により白飛びと判定された場合、又は、黒潰れ判定部１５により黒潰れと判定された場合、閾値設定部１６は、白線判定に用いられる閾値を、白飛び判定部１３により白飛びではないと判定された場合及び黒潰れ判定部１５により黒潰れではないと判定された場合に比べて、小さく設定する。

尚、白線判定に用いられる閾値は、例えば、白線部分が白飛びしている画像での白線部分とアスファルト部分との輝度差や、アスファルト部分が黒潰れしている画像での白線部分とアスファルト部分との輝度差のサンプルを複数収集し、該収集されたサンプルに基づいて適宜設定すればよい。

或いは、白線部分が白飛びしている画像やアスファルト部分が黒潰れしている画像を用いて、白線判定に用いられる閾値を変化させたときに、白線部分ではないにもかかわらず白線として検出された画素を示す誤検出量や、白線部分であるにもかかわらず白線として検出されなかった画素を示す未検出量を求めて、該求められた誤検出量や未検出量が、当該白線認識装置１０の設計目標値を達成するような閾値を、白線判定に用いられる閾値として設定すればよい。

再び、図２に戻り、ステップＳ６の処理の後、白線判定部１７は、白線候補領域抽出部１２により抽出された白線候補画素又は白線候補領域の輝度値と、隣接領域抽出部１４により抽出された隣接画素又は隣接領域の輝度値との輝度差を求める。そして、白線判定部１７は、該求められた輝度差が、閾値設定部１６により設定された閾値より大きいか否かを判定する。（ステップＳ７）
白線判定部１７は、求められた輝度差が閾値より大きい場合に、白線候補画素又は白線候補領域を白線画素と判定する。他方、白線判定部１７は、求められた輝度差が閾値より小さい場合に、白線駆補画素又は白線候補領域を白線画素ではないと判定する。尚、求められた輝度差と閾値とが「等しい」場合には、どちらかに含めて扱えばよい。

次に、白線認識装置１０は、白線認識処理の判定対象となっていない画素があるか否かを判定する（ステップＳ８）。白線認識処理の判定対象となっていない画素があると判定された場合（ステップＳ８：Ｙｅｓ）、上述したステップＳ２以降の処理が実行される。他方、白線認識処理の判定対象となっていない画素がないと判定された場合（ステップＳ８：Ｎｏ）、白線認識装置１０は、今回の白線認識処理の対象となった画像とは異なる画像について、上述した白線認識処理を施す。

尚、白線認識処理の判定対象となる画素は、画像を構成する全ての画素に限られない。例えば、画像のうち道路領域を予め特定できるのであれば、該道路領域を構成する画素のみが、白線認識処理の判定対象とされてよい。或いは、前回の白線認識処理の結果としての白線画素が存在する範囲が特定されており、且つ、前回の白線認識処理の対象となった画像と今回の白線認識処理の対象となった画像との差分（つまり、位置の変化や動体に起因する画像の変化）が特定されるのであれば、今回の白線認識処理の対象となった画像における白線画素の推定存在範囲を構成する画素のみが、白線認識処理の判定対象とされてよい。

（技術的効果）
本実施形態では、白飛びや黒潰れが発生した場合、閾値設定部１６により、白線判定に用いられる閾値が、白飛び及び黒潰れが発生していない場合に比べて小さくされる。このため、白線認識装置１０は、白線部分の輝度値とアスファルト部分の輝度値との差が比較的小さくなる、白飛びや黒潰れが発生している画像についても、白線を適切に認識することができる。

本実施形態に係る「白線候補領域抽出部１２」及び「隣接領域抽出部１４」は、本発明に係る「抽出手段」の一例である。本実施形態に係る「閾値設定部１６」及び「白線判定部１７」は、夫々、本発明に係る「設定手段」及び「認識手段」の一例である。

＜変形例＞
上述の実施形態では、輝度値に基づいて白飛びや黒潰れの発生が判定されたが、輝度値に代えてカラー値が用いられてもよい。この場合、白飛び判定部１３は、白線候補画素又は白線候補領域のカラー値が、例えば（２２５、２２５、２２５）（ＲＧＢカラーモデルの場合）であることを条件に、白飛びと判定する。また、黒潰れ判定部１５は、隣接画素又は隣接領域のカラー値が、例えば（０、０、０）（ＲＧＢカラーモデルの場合）であることを条件に、黒潰れと判定する。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う白線認識装置もまた本発明の技術的範囲に含まれるものである。

１０…白線認識装置、１１…画像入力部、１２…白線候補領域抽出部、１３…白飛び判定部、１４…隣接領域抽出部、１５…黒潰れ判定部、１６…閾値設定部、１７…白線判定部、２０…カメラ

Claims (1)

1. 車両外部を撮像した画像に基づいて道路上の白線を認識する白線認識装置であって、
   前記画像から白線候補領域と、前記白線候補領域に隣接する隣接領域とを抽出する抽出手段と、
   前記抽出された白線候補領域の輝度値と前記抽出された隣接領域の輝度値との差が閾値より大きいことを条件に、前記白線候補領域を白線として認識する認識手段と、
   前記抽出された白線候補領域の画素値である第１画素値が上限の飽和値である場合、前記閾値を、前記第１画素値が前記上限の飽和値でない場合に比べて小さくし、前記抽出された隣接領域の画素値である第２画素値が下限の飽和値である場合、前記閾値を、前記第２画素値が前記下限の飽和値でない場合に比べて小さくする設定手段と、
   を備えることを特徴とする白線認識装置。

Images