JP2006338555A

JP2006338555A - 車両及び路面標示認識装置

Info

Publication number: JP2006338555A
Application number: JP2005164763A
Authority: JP
Inventors: Takuma Nakamori; 卓馬中森; Yukio Kobayashi; 幸男小林; Tomoyoshi Aoki; 友好青木; Naoki Mori; 直樹森
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-06-03
Filing date: 2005-06-03
Publication date: 2006-12-14
Anticipated expiration: 2025-06-03
Also published as: EP1887521A1; EP1887521A4; US8036427B2; CA2609526A1; EP1887521B1; DE602006006310D1; JP4414369B2; US20100074469A1; WO2006129492A1; CA2609526C

Abstract

【課題】道路の照射状態が部分的に異なる場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、レーンマーク等の路面標示を精度良く検出することができる車両及び路面標示認識装置を提供する。
【解決手段】撮像手段７を介して道路のカラー画像を取得する画像取得手段２と、該取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段６と、該抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段５と、該ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段６とを有する。
【選択図】図１

Description

本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理して、道路のレーンマーク等の路面標示を検出する車両及び路面標示認識装置に関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している高速道路等の路面を撮像し、得られた画像を処理して道路上の白線等のレーンマークを検出する技術が提案されている（例えば特許文献１参照）。

特許文献１の車両用白線検出装置においては、車両に搭載したカメラで取得した走行路のモノクロ画像（白黒２値画像）を用いて、画像全領域にわたって２値データが明（白）から暗（黒）に変化するエッジ点（正エッジ点）と、２値データが暗（黒）から明（白）に変化するエッジ点（負エッジ点）とを抽出する。そして、正エッジ点と負エッジ点とを別々にハフ変換して、それぞれのハフ変換の結果を組み合わせて、白線を検出する。

さらに、路面表示（レーンマークや道路標示）には、白線以外に、例えば黄線が用いられる場合もある。このような場合には、モノクロ画像から路面標示を精度良く検出することは困難である。このため、カラー画像を用いて路面表示を検出する技術が提案されている（例えば特許文献２参照）。

しかしながら、カメラで道路を撮像する際には、例えば、図３（ａ）に示すように、道路周辺の建造物により路面の一部に影ができたり、車両のヘッドライトで路面の一部が照らされたりしていることがある。そして、このように路面を照射する光源や道路周辺の環境により、路面の照射状態が部分的に異なっている状況で、道路を撮像すると、例えば、影のできている領域では、散乱光によってのみ照射され、画素データの色の特徴量が変化するため、この領域に存在する黄線が本来の黄色として認識されないものとなってしまう。よって、特許文献２のもののようにカラー画像を用いても、路面標示を適切に検出することが困難な場合があるという不都合があった。
特開平１１−８５９９９号公報特許第３３３３４６８号公報

本発明は、かかる不都合を解消し、道路の照射状態が部分的に異なる場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、レーンマーク等の路面表示を精度良く検出することができる車両及び路面標示認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の第１態様の車両は、撮像手段と、前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、該取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、該抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、該ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する。

また、本発明の第１態様の路面標示認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、該取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、該抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、該ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する。

前記本発明の第１態様の車両及び路面標示認識装置によれば、前記領域抽出手段は、前記道路のカラー画像内から色の特徴量が近似する領域を抽出する。ここで、前記道路のカラー画像には、路面を照射する光源や道路周辺の環境の影響により、路面の照射状態が異なっている領域が存在する場合がある。そして、この場合、各領域においては、明度、彩度、色相等により特定される色の特徴量が近似した値となっている。よって、色の特徴量が近似する領域を抽出することにより、各領域を区分してカラー画像から抽出することができる。これにより、例えば、道路周辺の建造物の影響で路面の一部に影ができているときに、前記画像取得手段により取得された道路のカラー画像のうちの、影になっている領域を区分して抽出することができる。

ここで、前記カラー画像内の照射状態が異なる領域間では、画素データのカラー成分間のレベルのバランス（ホワイトバランス）が相違する。そして、領域によっては、カラー成分間のレベルの偏りにより、検出対象である路面標示の色の認識が困難になる場合がある。そこで、前記ホワイトバランス処理手段は、該抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施す。これにより、照射状態の異なる領域ごとに、カラー成分間のレベルの偏りの度合を減少させることができる。例えば、影になっている領域では、散乱光のみによって照射され、青味がかった状態になるため、このような色味が加わっていない状態に対して、画素データのカラー成分間のレベルのバランスが変化している。このとき、前記ホワイトバランス処理によって、加わった色味の影響を減少させるように各画素データが補正される。そして、前記路面標示検出手段は、前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出するので、撮像された道路の照射状態が部分的に異なる場合にも、路面表示を精度良く検出することができる。

また、前記本発明の第１態様の車両及び路面標示認識装置において、前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、前記ホワイトバランス処理手段は、前記ホワイトバランス処理において、前記抽出された領域内の各画素データに対して、Ｒ値に、該抽出された領域における全体的なＲ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第1補正係数を乗じ、Ｇ値に、該抽出された領域における全体的なＧ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第２補正係数を乗じ、Ｂ値に、該抽出された領域における全体的なＢ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第３補正係数を乗じる処理を行うことを特徴とする。

これによれば、前記ホワイトバランス処理手段は、前記第１補正係数を、該抽出された領域における全体的なＲ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出し、前記第２補正係数を、該抽出された領域における全体的なＧ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出し、前記第３補正係数を、該抽出された領域における全体的なＢ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出する。これにより、該抽出した領域におけるＲ値の全体的なレベルが、該抽出した領域における輝度値に対して大きいほど、Ｒ値を小さくするように重み付けされた第１補正係数が算出される。同様に、Ｇ値、Ｂ値についても第２補正係数、第３補正係数が算出される。よって、該領域の輝度値の全体的なレベルは変化させず、Ｒ値、Ｇ値、Ｂ値間の全体的なレベルの乖離度合が縮小するように重み付けされた補正係数が算出される。

そして、前記ホワイトバランス処理手段は、前記抽出された領域内の各画素のＲ値を、前記第1補正係数を用いて補正し、Ｇ値を前記第２補正係数を用いて補正し、Ｂ値を前記第３補正係数を用いて補正する。よって、Ｒ値、Ｇ値、Ｂ値間の全体的なレベルの乖離度合が縮小されるように、各画素のＲ値、Ｇ値、Ｂ値を補正することができる。例えば、影になっている領域で、散乱光のみによって照射され、領域全体が青味がかっている場合には、Ｒ値、Ｇ値に比べて全体的にＢ値が大きくなっている。このとき、前記ホワイトバランス処理によって、全体的なＲ値、Ｇ値、Ｂ値のバランスに応じて、Ｂ値が小さくなりＲ値、Ｇ値が大きくなるように補正されるので、前記領域の青味が除去される。従って、青味がかった路面標示の色を本来の色に近づけることができ、路面標示の検出を容易にすることができる。

このとき、前記本発明の第１態様の車両及び路面標示認識装置において、前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域における全体的なＲ値のレベルとして、該抽出された領域内の全画素のＲ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用い、前記第２補正係数を算出する際に、該抽出された領域における全体的なＧ値のレベルとして、該抽出された領域内の全画素のＧ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用い、前記第３補正係数を算出する際に、該抽出された領域における全体的なＢ値のレベルとして、該抽出された領域内の全画素のＢ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用いることを特徴とする。

または、前記本発明の第１態様の車両及び路面標示認識装置において、前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域における全体的なＲ値のレベルとして、該抽出された領域内の全画素のＲ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用い、前記第２補正係数を算出する際に、該抽出された領域における全体的なＧ値のレベルとして、該抽出された領域内の全画素のＧ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用い、前記第３補正係数を算出する際に、該抽出された領域における全体的なＢ値のレベルとして、該抽出された領域内の全画素のＢ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用いることを特徴とする。

これによれば、前記ホワイトバランス処理手段は、前記第１補正係数と、前記第２補正係数と、前記第３補正係数とを算出する際に、前記抽出された領域内のＲ値、Ｇ値、Ｂ値、及び輝度値の全画素の総和値、又は中間値を用いる。ここで、前記総和値及び中間値は、いずれも、前記抽出された領域におけるＲ値、Ｇ値、Ｂ値、及び輝度値の全体的なレベルを示す値である。よって、前記抽出された領域のＲ値、Ｇ値、Ｂ値、及び輝度値の全体的なレベルに基づいて、該領域のＲ値、Ｇ値、Ｂ値のレベルの乖離度合が縮小されるように補正係数が算出されるので、該領域のカラー成分間のレベルのバランスを適切に補正することができる。

次に、本発明の第２態様の車両は、撮像手段と、前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、前記カラー画像内で前記道路が占める範囲である路面範囲を特定する路面範囲特定手段と、前記抽出された各領域に対して、該抽出された領域のうちの前記路面範囲内における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する。

また、本発明の第２態様の路面表示認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、前記カラー画像内で前記道路が占める範囲である路面範囲を特定する路面範囲特定手段と、前記抽出された各領域に対して、該抽出された領域のうちの前記路面範囲内における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する。

前記本発明の第２態様の車両及び路面標示認識装置によれば、前記第１態様の車両及び路面標示認識装置と全く同様に、前記領域抽出手段は、前記道路のカラー画像内から色の特徴量が近似する領域を抽出する。よって、前記道路のカラー画像に路面の照射状態が異なっている領域が存在する場合に、色の特徴量が近似する領域を抽出することにより、各領域を区分してカラー画像から抽出することができる。これにより、例えば、道路周辺の建造物の影響で路面の一部に影ができているときに、前記画像取得手段により取得された道路のカラー画像のうちの、影になっている領域を区分して抽出することができる。

ここで、前記カラー画像内の照射状態が異なる領域間では、画素データのカラー成分間のレベルのバランス（ホワイトバランス）が相違する。そして、領域によっては、カラー成分間のレベルの偏りにより、検出対象である路面標示の色の認識が困難になる場合がある。そこで、前記路面範囲特定手段は、前記カラー画像内の前記路面範囲を特定し、前記ホワイトバランス処理手段は、該抽出された各領域に対して、該抽出された領域のうちの前記路面範囲内における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施す。このとき、前記路面範囲以外の画像部分においては、道路周囲の様々なものが撮像されているため、色の特徴量の変動が大きくなると想定される。それに対して、前記路面範囲内の画像部分においては、画像の大部分を舗装された路面が占め、該路面の色の変動は少ないと考えられるので、前記路面範囲内における色の特徴量の変動が小さくなると想定される。

よって、色の特徴量の変動の少ない路面範囲の画素データのカラー成分間のバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正することで、カラー画像の路面範囲以外の画素データの影響を排除して、照射状態の異なる領域ごとに、カラー成分間のレベルの偏りの度合を減少させ、路面標示部分のカラー成分間のレベルのバランスをより安定に補正することができる。例えば、影になっている領域では、散乱光のみによって照射され、青味がかった状態になるため、このような色味が加わっていない状態に対して、画素データのカラー成分間のレベルのバランスが変化している。このとき、前記ホワイトバランス処理によって、加わった色味の影響を減少させるように各画素データが補正される。そして、前記路面標示検出手段は、前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出するので、撮像された道路の照射状態が部分的に異なる場合にも、路面表示を精度良く検出することができる。

また、前記本発明の第２態様の車両及び路面標示認識装置において、前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、前記ホワイトバランス処理手段は、前記ホワイトバランス処理において、前記抽出された領域内の各画素データに対して、Ｒ値に、該抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第1補正係数を乗じ、Ｇ値に、該抽出された領域のうちの該路面範囲内における全体的なＧ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第２補正係数を乗じ、Ｂ値に、該抽出された領域のうちの該路面範囲内における全体的なＢ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第３補正係数を乗じる処理を行うことを特徴とする。

これによれば、前記ホワイトバランス処理手段は、前記第１補正係数を、該抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルと、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出し、前記第２補正係数を、該抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルと、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出し、前記第３補正係数を、該抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルと、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出する。これにより、前記本発明の第１態様の車両及び路面標示認識装置と同様に、該抽出した領域のうちの前記路面範囲内におけるＲ値の全体的なレベルが、該抽出した領域のうちの前記路面範囲内における輝度値に対して大きいほど、Ｒ値を小さくするように重み付けされた第１補正係数が算出される。同様に、Ｇ値、Ｂ値についても第２補正係数、第３補正係数が算出される。よって、該領域のうちの前記路面範囲内の輝度値の全体的なレベルは変化させず、Ｒ値、Ｇ値、Ｂ値間の全体的なレベルの乖離度合が縮小するように重み付けされた補正係数が算出される。

そして、前記ホワイトバランス処理手段は、前記抽出された領域内の各画素のＲ値を、前記第1補正係数を用いて補正し、Ｇ値を前記第２補正係数を用いて補正し、Ｂ値を前記第３補正係数を用いて補正する。よって、前記本発明の第１態様の車両及び路面標示認識装置と同様に、Ｒ値、Ｇ値、Ｂ値間の全体的なレベルの乖離度合が縮小されるように、各画素のＲ値、Ｇ値、Ｂ値を補正することができる。例えば、影になっている領域で、散乱光のみによって照射され、領域全体が青味がかっている場合には、Ｒ値、Ｇ値に比べて全体的にＢ値が大きくなっている。このとき、前記ホワイトバランス処理によって、全体的なＲ値、Ｇ値、Ｂ値のバランスに応じて、Ｂ値が小さくなりＲ値、Ｇ値が大きくなるように補正されるので、前記領域の青味が除去される。従って、青味がかった路面標示の色を本来の色に近づけることができ、路面標示の検出を容易にすることができる。

このとき、前記本発明の第２態様の車両及び路面標示認識装置において、前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＲ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用い、前記第２補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＧ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用い、前記第３補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＢ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用いることを特徴とする。

または、前記本発明の第２態様の車両及び路面標示認識装置において、前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルとして、該抽出された領域のうちの前記路面範囲内の全画素のＲ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用い、前記第２補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＧ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用い、前記第３補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＢ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用いることを特徴とする。

これによれば、前記ホワイトバランス処理手段は、前記第１補正係数と、前記第２補正係数と、前記第３補正係数とを算出する際に、前記抽出された領域のうちの前記路面範囲内のＲ値、Ｇ値、Ｂ値、及び輝度値の全画素の総和値、又は中間値を用いる。ここで、前記総和値及び中間値は、いずれも、前記抽出された領域のうちの前記路面範囲内におけるＲ値、Ｇ値、Ｂ値、及び輝度値の全体的なレベルを示す値である。よって、前記抽出された領域のうちの前記路面範囲内のＲ値、Ｇ値、Ｂ値、及び輝度値の全体的なレベルに基づいて、該領域のうちの該路面範囲内のＲ値、Ｇ値、Ｂ値のレベルの乖離度合が縮小されるように補正係数が算出されるので、該領域のカラー成分間のレベルのバランスを適切に補正することができる。

本発明の一実施形態を添付の図面を参照して説明する。図１は、本発明の第１実施形態による路面標示認識装置の機能ブロック図であり、図２は、図1の路面標示認識装置における路面標示認識処理のフローチャートであり、図３（ａ），（ｂ）は図１の路面標示認識装置における路面標示認識処理の処理画像の例示図である。なお、本第１実施形態は、本発明の第２態様に対応する実施形態である。

図１を参照して、路面標示認識装置１は、マイクロコンピュータ等により構成された電子ユニットであり、道路のカラー画像を取得する画像取得手段２と、取得したカラー画像から色の特徴量の近似した領域を抽出する領域抽出手段３と、道路のカラー画像内の路面範囲を特定する路面範囲特定手段４と、抽出した各領域ごとにホワイトバランス処理を施すホワイトバランス処理手段５と、ホワイトバランス処理を施したカラー画像から路面標示を検出する路面標示検出手段６とを備えて、車両に搭載される。

画像取得手段２は、車両のフロント部分に取り付けられて車両の前方の画像を撮像するカラービデオカメラ７（ＣＣＤカメラ等、本発明の撮像手段）から出力される、道路のカラー画像を入力する。画像取得手段２は、入力したカラー画像を、画素データにより構成される画像のデータとして取得する。このとき、画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値で構成されている。なお、カラービデオカメラ７と路面表示認識装置1とを備えることにより、本発明の車両が構成される。

領域抽出手段３は、画像取得手段２により取得された道路のカラー画像から、色の特徴量が近似する領域を抽出して、カラー画像を少なくとも１つ以上の領域に区分する。領域抽出手段３は、色の特徴量として、画素データのカラー成分から算出される輝度値Ｙを用いる。

路面範囲特定手段４は、画像取得手段２により取得された道路のカラー画像内の路面範囲を特定する。ここで、路面範囲は、カラー画像内で道路が占めると想定して予め定められた範囲である。

ホワイトバランス処理手段５は、領域抽出手段３により抽出された領域のうちの、路面範囲特定手段４によって特定された路面範囲に含まれる画素データから、該抽出された領域のカラー成分間のレベルのバランスを補正するための補正係数を算出する。前記補正係数は、具体的には、画素データのＲ値を補正するための第１補正係数ＷＲ、Ｇ値を補正するための第２補正係数ＷＧ、Ｂ値を補正するための第３補正係数ＷＢである。そして、ホワイトバランス処理手段５は、ＷＲをＲ値に乗じ、ＷＧをＧ値に乗じ、ＷＢをＢ値に乗じて、前記領域のカラー成分間のレベルのバランスを補正する。

路面標示検出手段６は、ホワイトバランス処理手段５による処理を施されたカラー画像から、レーンマーク（本発明の路面標示に相当する）を検出する。レーンマークを検出する手法としては、特許文献１又は特許文献２に記載されているような一般的な手法を用いることができる。

次に、本実施形態の路面標示認識装置１の作動を、図２に示したフローチャートに従って説明する。以下では、図３（ａ），（ｂ）に示したように、道路のカラー画像内に日の当たっている領域（日向領域Ａ２）と、影になっている領域（日影領域Ａ３）とが存在する場合を例にして説明する。なお、図３（ａ），（ｂ）中の所定色（黄色等）のレーンマークＡ１が、路面標示認識装置１の検出対象である。

まず、画像取得手段２によって、カラービデオカメラ７から道路のカラー画像が入力され、各画素データがＲ値、Ｇ値、Ｂ値で構成された画像のデータとして取得される（ＳＴＥＰ００１）。

次に、領域抽出手段３によって、取得されたカラー画像の各画素の輝度値Ｙが、所定の閾値以上であるかどうかが判定される（ＳＴＥＰ００２）。ここで、輝度値Ｙは、Ｙ＝（Ｒ＋Ｇ×２＋Ｂ）／４により算出した値が用いられる。ＳＴＥＰ００２の判定結果において、画素の輝度値Ｙが閾値以上の場合には、該画素は日向領域Ａ２に含まれるものとされ、閾値未満の場合には、該画素は日影領域Ａ３に含まれるものとされる。これにより、カラー画像を、図３（ａ）に示したように、日向領域Ａ２と日影領域Ａ３とに区分することができる。

次に、ホワイトバランス処理手段５は、日向領域Ａ２及び日影領域Ａ３に対して、ホワイトバランス処理を施す。まず、ＳＴＥＰ００３〜００５で、日向領域Ａ２に対して、ホワイトバランス処理を施す。

ＳＴＥＰ００３で、日向領域Ａ２のうちの、路面範囲特定手段４によりカラー画像上で予め特定された路面範囲Ａ４に含まれる部分領域Ａ５を決定する。図３（ａ），（ｂ）において、路面範囲Ａ４は、実線αで囲まれた範囲に設定されている。路面範囲Ａ４は、カラー画像において路面部分のみが含まれる範囲を想定して設定されたものである。図３（ｂ）において、部分領域Ａ５は、日向領域Ａ２と路面範囲Ａ４との重複部分となる。そして、ＳＴＥＰ００４で、この部分領域Ａ５における画素データのカラー成分間のレベルのバランスに応じて、日向領域Ａ２に対するホワイトバランスの補正係数が算出される。これにより、色の特徴量の変動の少ない路面範囲Ａ４の画素データのみを用いて補正係数ＷＲ，ＷＧ，ＷＢが算出される。

ＳＴＥＰ００４で、ホワイトバランス処理手段５は、部分領域Ａ５内について、各画素データのＲ値，Ｇ値，Ｂ値及び輝度値Ｙの総和値Ｒsum，Ｇsum，Ｂsum，Ｙsumを求める。ここで、総和値Ｒsum，Ｇsum，Ｂsum，Ｙsumは、部分領域Ａ５内のＲ値、Ｇ値、Ｂ値、及び輝度値Ｙの全体的なレベルを示す値である。そして、補正係数ＷＲ，ＷＧ，ＷＢを次式（１）から算出する。
ＷＲ＝Ｙsum／Ｒsum，ＷＧ＝Ｙsum／Ｇsum，ＷＢ＝Ｙsum／Ｂsum ・・・（１）
これにより、部分領域Ａ５におけるＲ値、Ｇ値、Ｂ値間の全体的なレベルの乖離度合が縮小するように重み付けされた、日向領域Ａ２に対する補正係数ＷＲ，ＷＧ，ＷＢが算出される。

次に、ＳＴＥＰ００５で、ホワイトバランス処理手段５は、算出した日向領域Ａ２に対する補正係数ＷＲ，ＷＧ，ＷＢを、日向領域Ａ２内の各画素データのＲ値，Ｇ値，Ｂ値にそれぞれ乗じて、日向領域Ａ２内の画素データを補正する。これにより、日向領域Ａ２のカラー成分間のレベルの偏りが縮小される。

次に、ホワイトバランス処理手段５は、ＳＴＥＰ００６〜００８で、日影領域Ａ３に対してホワイトバランス処理を施す。なお、日影領域Ａ３に対するホワイトバランス処理は、前述した日向領域Ａ２に対するホワイトバランス処理よりも先に行われてもよい。

まず、ＳＴＥＰ００６で、日影領域Ａ３のうちの、路面範囲Ａ４に含まれる部分領域Ａ６を決定する。図３（ｂ）において、部分領域Ａ６は、日影領域Ａ３と路面範囲Ａ４との重複部分となる。そして、ＳＴＥＰ００７で、この部分領域Ａ６における画素データのカラー成分間のレベルのバランスに応じて、日影領域Ａ３に対するホワイトバランスの補正係数ＷＲ，ＷＧ，ＷＢが算出される。これにより、日向領域Ａ２の場合と同様に、色の特徴量の変動の少ない路面範囲Ａ４の画素データのみを用いて補正係数ＷＲ，ＷＧ，ＷＢが算出される。

ＳＴＥＰ００７で、ホワイトバランス処理手段５は、部分領域Ａ６内について、各画素データのＲ値，Ｇ値，Ｂ値及び輝度値Ｙの総和値Ｒsum，Ｇsum，Ｂsum，Ｙsumを求める。ここで、総和値Ｒsum，Ｇsum，Ｂsum，Ｙsumは、部分領域Ａ６内のＲ値、Ｇ値、Ｂ値、及び輝度値Ｙの全体的なレベルを示す値である。そして、補正係数ＷＲ，ＷＧ，ＷＢを、ＳＴＥＰ００４と同様に、前述の式（１）から算出する。これにより、日向領域Ａ２の場合と同様に、部分領域Ａ６のＲ値、Ｇ値、Ｂ値間の全体的なレベルの乖離度合が縮小するように重み付けされた、日影領域Ａ３に対する補正係数ＷＲ，ＷＧ，ＷＢが算出される。

次に、ＳＴＥＰ００８で、ホワイトバランス処理手段５は、算出した日影領域Ａ３に対する補正係数ＷＲ，ＷＧ，ＷＢを、日影領域Ａ３内の各画素データのＲ値，Ｇ値，Ｂ値にそれぞれ乗じて、日影領域Ａ３内の画素データを補正する。これにより、日影領域Ａ３のカラー成分間のレベルの偏りが縮小される。

次に、ＳＴＥＰ００９で、路面標示検出手段６は、ホワイトバランス処理の施された画像に対して、レーンマークを検出する処理を行う。ここで、上述したＳＴＥＰ００５，００８におけるホワイトバランス処理により、日向領域Ａ２及び日影領域Ａ３のカラー成分間のレベルの偏りがそれぞれ縮小されて、日向領域Ａ２の画素データと日影領域Ａ３の画素データ間の、カラー成分間のレベルのバランスの相違が補正されているので、所定色（黄色等）のレーンマークＡ１を精度良く検出することができる。

以上の処理により、道路の照射状態が部分的に異なる場合でも、カラービデオカメラ７により取得された道路のカラー画像から、レーンマークＡ１を精度良く検出することができる。

なお、前記第１実施形態においては、路面範囲特定手段４を備えるものとしたが、第２実施形態として、路面範囲特定手段４を備えず、ホワイトバランス処理手段５は、補正係数ＷＲ，ＷＧ，ＷＢを算出する際に、領域抽出手段２によって抽出された領域全体の画素データを用いるものとすることも可能である（これは本発明の第１態様に対応する）。

これによれば、補正係数ＷＲ，ＷＧ，ＷＢを算出する際に（第１実施形態の図２のＳＴＥＰ００４，００７）、部分領域Ａ５及び部分領域Ａ６について求めた、各画素データのＲ値，Ｇ値，Ｂ値及び輝度値Ｙの総和値Ｒsum，Ｇsum，Ｂsum，Ｙsumを用いる代わりに、日向領域Ａ２及び日影領域Ａ３について求めた、各画素データのＲ値，Ｇ値，Ｂ値及び輝度値Ｙの総和値Ｒsum'，Ｇsum'，Ｂsum'，Ｙsum'を用いる。ここで、総和値Ｒsum'，Ｇsum'，Ｂsum'，Ｙsum'は、日向領域Ａ２及び日影領域Ａ３内のＲ値、Ｇ値、Ｂ値、及び輝度値Ｙの全体的なレベルを示す値である。

このようにした場合でも、上述したＳＴＥＰ００５，００８におけるホワイトバランス処理により、日向領域Ａ２及び日影領域Ａ３のカラー成分間のレベルの偏りがそれぞれ縮小されて、日向領域Ａ２の画素データと日影領域Ａ３の画素データ間の、カラー成分間のレベルのバランスの相違が補正されるので、所定色（黄色等）のレーンマークＡ１を精度良く検出することができ、前述のように路面範囲特定手段４を備えた場合と同様の作用効果を奏する。

また、前記第１及び第２実施形態において、画像取得手段２は、画素データのカラー成分がＲ値、Ｇ値、Ｂ値で構成されるものとしたが、画素データのカラー成分として、ＣＭＹ出力を用いるものとしてもよい。

また、前記第１及び第２実施形態において、色の特徴量の近似する領域を抽出する際に（第１実施形態の図２のＳＴＥＰ００２）、輝度値Ｙを、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより算出してもよい。ここで、α、β、γは、α＋β＋γ＝１となるような所定の係数である。または、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値Ｍａｘ、最小値Ｍｉｎを用いて、Ｙ＝（Ｍａｘ＋Ｍｉｎ）／２により算出してもよい。または、輝度値ＹとしてＧ値を用いてもよい。

また、前記第１及び第２実施形態において、色の特徴量の近似する領域を抽出する際に（第１実施形態の図２のＳＴＥＰ００２）、色の特徴量として、輝度値Ｙを用いる代わりに、画素データのカラー成分から算出される彩度値Ｓまたは色相値Ｈを用いてもよい。或いは、輝度値Ｙ、彩度値Ｓ、色相値Ｈの中から選択した複数要素の組み合わせを色の特徴量としてもよい。例えば、色の特徴量として、色相値Ｈを用いる場合、カラー画像の各画素の色相値Ｈが所定の閾値以上であるかを判定する。この場合、日影領域Ａ３では、光を遮ったものの色味が加味されて、日向領域Ａ２と色味が異なっているので、色相値Ｈを用いて所定の閾値によって領域を区分することで、輝度値Ｙを用いたときと同様に、日向領域Ａ２と日影領域Ａ３とを抽出することができる。

また、前記第１実施形態において、補正係数ＷＲ，ＷＧ，ＷＢを算出する際に（第１実施形態の図２のＳＴＥＰ００４，００７）、部分領域Ａ５及び部分領域Ａ６内における総和値Ｒsum，Ｇsum，Ｂsum，Ysumを用いる代わりに、部分領域Ａ５及び部分領域Ａ６内における中間値Ｒmed，Ｇmed，Ｂmed，Ｙmedを用いて算出してもよい。この場合、中間値Ｒmed，Ｇmed，Ｂmed，Ｙmedも、部分領域Ａ５及び部分領域Ａ６内のＲ値、Ｇ値、Ｂ値、及び輝度値Ｙの全体的なレベルを示す値であるので、総和値Ｒsum，Ｇsum，Ｂsum，Ysumを用いる場合と同様に、部分領域Ａ５及び部分領域Ａ６のＲ値、Ｇ値、Ｂ値のレベルの乖離度合が縮小されるように補正係数ＷＲ，ＷＧ，ＷＢが算出される。

また、前記第２実施形態において、補正係数ＷＲ，ＷＧ，ＷＢを算出する際に、日向領域Ａ２及び日影領域Ａ３内における総和値Ｒsum'，Ｇsum'，Ｂsum'，Ysum'を用いる代わりに、日向領域Ａ２及び日影領域Ａ３内における中間値Ｒmed'，Ｇmed'，Ｂmed'，Ｙmed'を用いて算出してもよい。この場合、中間値Ｒmed'，Ｇmed'，Ｂmed'，Ｙmed'も、日向領域Ａ２及び日影領域Ａ３内のＲ値、Ｇ値、Ｂ値、及び輝度値Ｙの全体的なレベルを示す値であるので、総和値Ｒsum'，Ｇsum'，Ｂsum'，Ysum'を用いる場合と同様に、日向領域Ａ２及び日影領域Ａ３のＲ値、Ｇ値、Ｂ値のレベルの乖離度合が縮小されるように補正係数ＷＲ，ＷＧ，ＷＢが算出される。

また、前記第１及び第２実施形態において、ホワイトバランス処理の際に、補正係数ＷＲ，ＷＧ，ＷＢをカラー画像の画素データから算出する代わりに、分光計等の外部センサを備え、予め決められた車両前方の検出ポイントにおける検出結果から補正係数ＷＲ，ＷＧ，ＷＢを算出するようにしてもよい。

また、前記第１及び第２実施形態においては、路面標示として、黄線を検出したが、他の種類のレーンマーク（ＢｏｔｔｓＤｏｔｓ，キャッツアイ等）、道路標示等を検出対象とする場合にも、本発明の効果を得ることができる。

本発明の第１実施形態による路面標示認識装置の機能ブロック図。図１の路面標示認識装置の路面標示認識処理を示すフローチャート。図１の路面標示認識装置の路面標示認識処理における処理画像の例示図。

符号の説明

１…路面標示認識装置、２…画像取得手段、３…領域抽出手段、４…路面範囲特定手段、５…ホワイトバランス処理手段、６…路面標示検出手段、７…カラービデオカメラ（撮像手段）。

Claims

撮像手段と、
前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、
前記取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、
前記抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、
前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する車両。
前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、
前記ホワイトバランス処理手段は、前記ホワイトバランス処理において、前記抽出された領域内の各画素データに対して、Ｒ値に、該抽出された領域における全体的なＲ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第1補正係数を乗じ、Ｇ値に、該抽出された領域における全体的なＧ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第２補正係数を乗じ、Ｂ値に、該抽出された領域における全体的なＢ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第３補正係数を乗じる処理を行うことを特徴とする請求項１記載の車両。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域における全体的なＲ値のレベルとして、該抽出された領域内の全画素のＲ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用い、
前記第２補正係数を算出する際に、前記抽出された領域における全体的なＧ値のレベルとして、該抽出された領域内の全画素のＧ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用い、
前記第３補正係数を算出する際に、前記抽出された領域における全体的なＢ値のレベルとして、該抽出された領域内の全画素のＢ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用いることを特徴とする請求項２記載の車両。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域における全体的なＲ値のレベルとして、該抽出された領域内の全画素のＲ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用い、
前記第２補正係数を算出する際に、前記抽出された領域における全体的なＧ値のレベルとして、該抽出された領域内の全画素のＧ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用い、
前記第３補正係数を算出する際に、前記抽出された領域における全体的なＢ値のレベルとして、該抽出された領域内の全画素のＢ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用いることを特徴とする請求項２記載の車両。
撮像手段と、
前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、
前記取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、
前記カラー画像内で前記道路が占める範囲である路面範囲を特定する路面範囲特定手段と、
前記抽出された各領域に対して、該抽出された領域のうちの前記路面範囲内における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、
前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する車両。
前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、
前記ホワイトバランス処理手段は、前記ホワイトバランス処理において、前記抽出された領域内の各画素データに対して、Ｒ値に、該抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第1補正係数を乗じ、Ｇ値に、該抽出された領域のうちの該路面範囲内における全体的なＧ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第２補正係数を乗じ、Ｂ値に、該抽出された領域のうちの該路面範囲内における全体的なＢ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第３補正係数を乗じる処理を行うことを特徴とする請求項５記載の車両。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＲ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用い、
前記第２補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＧ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用い、
前記第３補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＢ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用いることを特徴とする請求項６記載の車両。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルとして、該抽出された領域のうちの前記路面範囲内の全画素のＲ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用い、
前記第２補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＧ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用い、
前記第３補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＢ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用いることを特徴とする請求項６記載の車両。
撮像手段を介して道路のカラー画像を取得する画像取得手段と、
前記取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、
前記抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、
前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する路面標示認識装置。
前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、
前記ホワイトバランス処理手段は、前記ホワイトバランス処理において、前記抽出された領域内の各画素データに対して、Ｒ値に、該抽出された領域における全体的なＲ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第1補正係数を乗じ、Ｇ値に、該抽出された領域における全体的なＧ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第２補正係数を乗じ、Ｂ値に、該抽出された領域における全体的なＢ値のレベルと、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第３補正係数を乗じる処理を行うことを特徴とする請求項９記載の路面標示認識装置。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域における全体的なＲ値のレベルとして、該抽出された領域内の全画素のＲ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用い、
前記第２補正係数を算出する際に、前記抽出された領域における全体的なＧ値のレベルとして、該抽出された領域内の全画素のＧ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用い、
前記第３補正係数を算出する際に、前記抽出された領域における全体的なＢ値のレベルとして、該抽出された領域内の全画素のＢ値の総和値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の総和値を用いることを特徴とする請求項１０記載の路面標示認識装置。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域における全体的なＲ値のレベルとして、該抽出された領域内の全画素のＲ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用い、
前記第２補正係数を算出する際に、前記抽出された領域における全体的なＧ値のレベルとして、該抽出された領域内の全画素のＧ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用い、
前記第３補正係数を算出する際に、前記抽出された領域における全体的なＢ値のレベルとして、該抽出された領域内の全画素のＢ値の中間値を用いると共に、該抽出された領域におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域内の全画素の輝度値の中間値を用いることを特徴とする請求項１０記載の路面標示認識装置。
撮像手段を介して道路のカラー画像を取得する画像取得手段と、
前記取得された道路のカラー画像から、色の特徴量が近似する領域を抽出する領域抽出手段と、
前記カラー画像内で前記道路が占める範囲である路面範囲を特定する路面範囲特定手段と、
前記抽出された各領域に対して、該抽出された領域のうちの前記路面範囲内における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施すホワイトバランス処理手段と、
前記ホワイトバランス処理を施したカラー画像から前記道路の路面標示を検出する路面標示検出手段とを有する路面標示認識装置。
前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、
前記ホワイトバランス処理手段は、前記ホワイトバランス処理において、前記抽出された領域内の各画素データに対して、Ｒ値に、該抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第1補正係数を乗じ、Ｇ値に、該抽出された領域のうちの該路面範囲内における全体的なＧ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第２補正係数を乗じ、Ｂ値に、該抽出された領域のうちの該路面範囲内における全体的なＢ値のレベルと、該抽出された領域のうちの該路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとの比に基づいて算出した第３補正係数を乗じる処理を行うことを特徴とする請求項１３記載の路面標示認識装置。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＲ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用い、
前記第２補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＧ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用い、
前記第３補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＢ値の総和値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の総和値を用いることを特徴とする請求項１４記載の路面標示認識装置。
前記ホワイトバランス処理手段は、前記第1補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＲ値のレベルとして、該抽出された領域のうちの前記路面範囲内の全画素のＲ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用い、
前記第２補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＧ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＧ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用い、
前記第３補正係数を算出する際に、前記抽出された領域のうちの前記路面範囲内における全体的なＢ値のレベルとして、該抽出された領域のうちの該路面範囲内の全画素のＢ値の中間値を用いると共に、該抽出された領域のうちの前記路面範囲内におけるカラー成分により算出した輝度値の全体的なレベルとして、該抽出された領域のうちの該路面範囲内の全画素の輝度値の中間値を用いることを特徴とする請求項１４記載の路面標示認識装置。