JP2007004668A - 車両及び車線認識装置 - Google Patents

Abstract

【課題】道路上に複数種類の色のレーンマークが存在する場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、各色のレーンマークを適切に認識することができる車両及び車線認識装置を提供する。
【解決手段】車両８に搭載された撮像手段９を介して道路のカラー画像を取得する画像取得手段２と、前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力するレーンマーク検出手段３，４と、少なくともレーンマーク検出手段３，４から出力される各所定色のレーンマーク候補データから、車両８が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定して出力する選別手段６とを有する。
【選択図】図１

Description

本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理して、道路のレーンマークを認識する車両及び車線認識装置に関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している道路の路面を撮像し、得られた画像を処理して道路上に設けられた走行車線区分用のレーンマークを検出するレーンマーク認識装置が知られている。このとき、道路上に設けられるレーンマークとして、走行区分線（白線）のような線型のレーンマークと、Botts Dots（Nonretroreflective Raised Pavement Marker）やキャッツアイ（Retroreflective Raised Pavement Marker）のように離散的に設けられる鋲型のレーンマークとが使用されている。このため、レーンマークの形状により認識アルゴリズムを切り替えることで、複数種類の形状のレーンマークを精度良く検出する技術が提案されている（例えば特許文献１参照）。

特許文献１の走行路認識装置は、撮像画像の線成分に基づき検出を行う直線検出処理部と、金属鋲等のレーンマークの形状に相当するパターンに基づき検出を行うパターンマッチング処理部とを備え、適用検出手段として指定された直線検出処理部又はパターンマッチング処理部による検出結果に基づいて走行路検出を行う。このとき、直線検出処理部又はパターンマッチング処理部の一方が適用検出手段として指定されている状態で、レーンマークを的確に検出することができなくなったときには、他方を適用検出手段として指定して切り換える。

一方、レーンマークには、白線や黄線等、形状は同じでも異なる色が用いられる場合がある。このように色が異なる場合には、形状は同じであっても、同じ認識アルゴリズムではレーンマークの検出が困難になる場合がある。例えば、黄線は白線に比べて輝度が低く、路面部分との輝度差が少ないため、輝度を用いて白線を検出するアルゴリズムでは、黄線をレーンマークとして認識できないことがある。さらに、レーンマークは、その色によって道路法規上の意味が異なることがあるため、各色のレーンマークを適切に認識することが望ましい。しかしながら、特許文献１のものにおいては、レーンマークを認識する際に、レーンマークの色は考慮されていないため、各色のレーンマークを適切に認識することができないという不都合があった。
特開２００３−３１７１０６号公報

本発明は、かかる不都合を解消し、道路上に複数種類の色のレーンマークが存在する場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、各色のレーンマークを適切に認識することができる車両及び車線認識装置を提供することを目的とする。

かかる目的を達成するために、本発明の車両は、撮像手段と、前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力するレーンマーク検出手段と、少なくとも前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データから、車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定して出力する選別手段とを有する。

また、本発明の車線認識装置は、車両に搭載された撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果を複数のレーンマーク候補データとして出力するレーンマーク検出手段と、少なくとも前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定して出力する選別手段とを有する。

前記本発明の車両及び車線認識装置によれば、前記レーンマーク検出手段は、それぞれ、前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力する。ここで、レーンマークには、白線や黄線等のように複数種類の色が用いられる場合がある。このとき、本発明によれば、各色に応じて、前記カラー画像の色情報に基づいてレーンマークを検出するので、各色のレーンマークをそれぞれ精度良く検出する処理が実行される。そして、検出の結果として出力されるレーンマーク候補データには、車両が走行している実際の車線を規定するレーンマークに対応するデータが含まれることとなる。例えば、レーンマークが黄線であれば、黄色のレーンマークを検出する処理の結果として出力されるレーンマーク候補データが、実際の車線を規定するレーンマークに対応するデータとなる。よって、前記選別手段は、出力される各所定色のレーンマーク候補データから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定することにより、車両が走行している車線の車線データを適切に決定することができる。これにより、道路上に複数種類の色のレーンマークが存在する場合でも、各色のレーンマークを精度良く認識することができ、車両が走行している車線を適切に認識することができる。なお、道路上に設けられるレーンマークとしては、例えば、走行区分線（白線）のような線型のレーンマークや、Botts Dotsやキャッツアイのように離散的に設けられる鋲型のレーンマークが挙げられる。

また、鋲型のレーンマークのように形状に特徴があるレーンマークを画像処理によって検出する際には、形状のパターンに基づいて検出することもできる。よって、前記本発明の車両及び車線認識装置は、前記カラー画像から前記車両が走行する道路上の鋲型のレーンマークを、該鋲型のレーンマークの形状のパターンに基づいて検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力する道路鋲検出手段をさらに備え、前記選別手段は、前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データと、前記道路鋲検出手段から出力されるレーンマーク候補データとから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別することが好ましい。

これによれば、前記道路鋲検出手段は、前記カラー画像から前記車両が走行する道路上の鋲型のレーンマークを、該鋲型のレーンマークの形状のパターンに基づいて検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力するので、形状に特徴のある鋲型のレーンマークを精度良く検出する処理が実行される。なお、このとき鋲型のレーンマークに特徴的な色が付されている場合には、その色情報をさらに用いて該レーンマークを検出するようにしてもよい。そして、その検出の結果として出力されるレーンマーク候補データが、前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データに加えられる。そして、前記選別手段は、これらのレーンマーク候補データから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別するので、道路上に、複数種類の色のレーンマークに加えて、形状に特徴のある鋲型のレーンマークが存在する場合でも、各レーンマークを精度良く認識することができ、車両が走行している車線を適切に認識することができる。

また、前記本発明の車両及び車線認識装置において、前記各レーンマーク候補データは、それぞれ、前記レーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記選別手段が出力する車線データは、前記実際の車線の形状情報と、該実際の車線を規定するレーンマークの色情報と、該実際の車線を規定するレーンマークの種別情報とを有し、前記選別手段は、前記選別したレーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの形状情報を決定し、該選別したレーンマーク候補データのうちの色情報に基づいて、該車線データのうちの色情報を決定し、該選別したレーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの種別情報を決定することが好ましい。

これによれば、前記各レーンマーク候補データは、それぞれ、前記レーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記選別手段が出力する車線データは、前記実際の車線の形状情報と、該実際の車線を規定するレーンマークの色情報と、該実際の車線を規定するレーンマークの種別情報とを有する。これにより、道路上に複数種類のレーンマークがある場合に、認識された車線の形状情報と共に、該車線を規定するレーンマークの色情報と種別情報とを取得することができ、これらの情報を車両の制御や運転者への報知の際に用いることができる。

さらに、前記車線を規定するレーンマークの色によって、レーンマークの道路法規上の意味が異なることがある。例えば、日本において、白い車道中央線と黄色い車道中央線とでは、道路法規上の意味が異なる。よって、前記本発明の車両及び車線認識装置は、前記選別手段が出力する車線データのうちの色情報と種別情報とに基づいて、前記車線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断手段を備えることが好ましい。

これによれば、前記意味判断手段は、前記選別手段が出力する車線データのうちの色情報と種別情報とに基づいて、前記車線を規定するレーンマークの意味を判断する処理を実行するので、レーンマークの道路法規上の意味を適切に判断することができる。そして、前記意味判断手段は、該処理の結果を該車線データと共に出力するので、レーンマークの意味に応じた車両の制御や運転者への報知を行うことができる。

また、前記本発明の車両及び車線認識装置において、前記各レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記レーンマークの経路を示す点列の座標データからなり、前記選別手段は、前記各レーンマーク候補データに対して、それぞれ、前記点列の座標データに基づき、前記点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高いレーンマーク候補データを、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データとして選別することが好ましい。

これによれば、前記選別手段は、前記各レーンマーク候補データに対して、それぞれ、前記点列の座標データに基づき、前記点列を近似する２次以上の所定次数の多項式を求める。このとき、車線の形状は一般的に滑らかであるので、車線を規定するレーンマークの位置を示す点列は、前記多項式によって適切に近似されると考えられる。よって、前記選別手段は、前記多項式による前記点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高いレーンマーク候補データを、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データとして選別することで、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データを適切に選別することができる。

このとき、前記選別したレーンマーク候補データの前記点列を近似する前記多項式は、レーンマークの経路を近似するものであり、すなわち、該レーンマークによって規定される車線の形状を的確に示すものである。よって、前記本発明の車両及び車線認識装置において、前記選別手段は、前記車線データのうちの形状情報を、前記選別したレーンマーク候補データの前記点列を近似する前記多項式に基づいて決定することが好ましい。

かかる本発明によれば、前記選別手段は、前記車線データのうちの形状情報を、前記選別したレーンマーク候補データの前記点列を近似する前記多項式に基づいて決定するので、レーンマーク候補を選別する際に算出した前記多項式を活用して、車両が走行している車線の形状情報を的確に決定することができる。

ここで、車両が走行してる車線は、一般的に、車線の左側を規定する左側線と右側を規定する右側線とによって構成されるものであり、左側線及び右側線が、それぞれレーンマークによって規定されている。よって、前記本発明の車両及び車線認識装置において、前記各レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの候補データである左レーンマーク候補データと、前記車線の右側を規定するレーンマークの候補データである右レーンマーク候補データとからなり、前記左レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記右レーンマーク候補データは、それぞれ、前記車線の右側を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記選別手段の出力する車線データは、前記実際の車線の左側を規定する左側線の形状情報である左形状情報と、該左側線を規定するレーンマークの色情報である左色情報と、該左側線を規定するレーンマークの種別情報である左種別情報と、前記実際の車線の右側を規定する右側線の形状情報である右形状情報と、該右側線を規定するレーンマークの色情報である右色情報と、該右側線を規定するレーンマークの種別情報である右種別情報とを有し、前記選別手段は、前記左レーンマーク候補データから、前記実際の車線の左側を規定するレーンマークに対応する左レーンマーク候補データを選別すると共に、前記右レーンマーク候補データから、前記実際の車線の右側を規定するレーンマークに対応する右レーンマーク候補データを選別し、前記選別した左レーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの左形状情報を決定し、該選別した左レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの左色情報を決定し、該選別した左レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの左種別情報を決定すると共に、前記選別した右レーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの右形状情報を決定し、該選別した右レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの右色情報を決定し、該選別した右レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの右種別情報を決定することが好ましい。

これによれば、前記選別手段が出力する車線データは、前記左側線の形状情報である左形状情報と、該左側線を規定するレーンマークの色情報である左色情報と、該左側線を規定するレーンマークの種別情報である左種別情報と、前記右側線の形状情報である右形状情報と、該右側線を規定するレーンマークの色情報である右色情報と、該右側線を規定するレーンマークの種別情報である右種別情報とを有する。これにより、道路上に複数種類のレーンマークがある場合に、認識された左側線及び右側線の形状情報と共に、該左側線及び右側線を規定するレーンマークの色情報と種別情報とをそれぞれ取得することができ、これらの情報を車両の制御や運転者への報知の際に用いることができる。

さらに、前記左側線及び右側線を規定するレーンマークの色によって、レーンマークの道路法規上の意味が異なることがあるので、前記本発明の車両及び車線認識装置は、前記選別手段の出力する車線データのうちの左色情報と右色情報と左種別情報と右種別情報とに基づいて、前記左側線及び右側線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断手段を備えることが好ましい。

かかる本発明によれば、前記意味判断手段は、前記選別手段が出力する車線データのうちの左色情報と右色情報と左種別情報と右種別情報とに基づいて、前記左側線及び右側線を規定するレーンマークの意味を判断する処理を実行するので、レーンマークの道路法規上の意味を適切に判断することができる。そして、前記意味判断手段は、該処理の結果を該車線データと共に出力するので、レーンマークの意味に応じた車両の制御や運転者への報知を行うことができる。

また、前記本発明の車両及び車線認識装置において、前記各左レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の左側を規定するレーンマークの経路を示す点列である左点列の座標データからなり、前記各右レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の右側を規定するレーンマークの経路を示す点列である右点列の座標データからなり、前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、前記左点列の座標データに基づき、前記左点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該左点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い左レーンマーク候補データを、前記実際の車線の左側を規定するレーンマークに対応する左レーンマーク候補データとして選別し、前記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標データに基づき、前記右点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該右点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い右レーンマーク候補データを、前記実際の車線の右側を規定するレーンマークに対応する右レーンマーク候補データとして選別することが好ましい。

かかる本発明によれば、前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、前記左点列の座標データに基づき、前記左点列を近似する２次以上の所定次数の多項式を求めると共に、前記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標データに基づき、前記右点列を近似する２次以上の所定次数の多項式を求める。

このとき、車線の形状は一般的に滑らかであるので、左側線及び右側線を規定するレーンマークの位置を示す左点列及び右点列は、それぞれ、前記多項式によって適切に近似されると考えられる。よって、前記選別手段は、前記多項式による前記左点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い左レーンマーク候補データを、前記左側線を規定するレーンマークに対応する左レーンマーク候補データとして選別し、前記多項式による前記右点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い右レーンマーク候補データを、前記右側線を規定するレーンマークに対応する右レーンマーク候補データとして選別することで、前記左側線を規定するレーンマークに対応する左レーンマーク候補データ及び前記右側線を規定するレーンマークに対応する右レーンマーク候補データを適切に選別することができる。

このとき、前記選別した左レーンマーク候補データの前記左点列を近似する多項式及び前記選別した右レーンマーク候補データの前記右点列を近似する多項式は、それぞれ、レーンマークの経路を近似するものであり、すなわち、該レーンマークによって規定される左側線及び右側線の形状を的確に示すものである。よって、前記本発明の車両及び車線認識装置において、前記選別手段は、前記車線データのうちの左形状情報を、前記選別した左レーンマーク候補データの前記左点列を近似する多項式に基づいて決定すると共に、前記車線データのうちの右形状情報を、前記選別した右レーンマーク候補データの前記右点列を近似する多項式に基づいて決定することが好ましい。

かかる本発明によれば、前記左形状情報を、前記選別した左レーンマーク候補データの前記左点列を近似する多項式に基づいて決定すると共に、前記右形状情報を、前記選別した右レーンマーク候補データの前記右点列を近似する多項式に基づいて決定するので、レーンマーク候補を選別する際に算出した前記左点列及び右点列を近似する多項式を活用して、車両が走行している車線の形状情報を的確に決定することができる。

本発明の一実施形態を添付の図面を参照して説明する。図１は、本実施形態である車線認識装置の機能ブロック図であり、図２〜図５は、図1の車線認識装置における車線認識処理のフローチャートである。また、図６（ａ），（ｂ）は、図１の車線認識装置の車線認識処理における処理画像の例示図である。

図１を参照して、車線認識装置１は、マイクロコンピュータ等により構成された電子ユニットであり、その処理機能として、道路の画像を取得する画像取得手段２と、取得した画像から道路上のレーンマークのうちの白線を検出する白線検出手段３と、取得した画像から道路上のレーンマークのうちの黄線を検出する黄線検出手段４と、取得した画像から道路上のレーンマークのうちの道路鋲を検出する道路鋲検出手段５と、各検出手段３，４，５の検出結果から、車両が走行している実際の車線を規定するレーンマークを選別する選別手段６と、選別したレーンマークの意味を判断する意味判断手段７とを備えて、車両８に搭載される。なお、本実施形態では、道路上に設けられているレーンマークは、白線、黄線、道路鋲のいずれかであるとする。また、レーンマークの種別は、線型のもの（白線、黄線）と鋲型のもの（道路鋲）とに分類される。

画像取得手段２は、車両８のフロント部分に取り付けられて車両８の前方道路を撮像するカラービデオカメラ９（ＣＣＤカメラ等、本発明の撮像手段）から出力される映像信号から、画素データにより構成されるカラー画像Ｉ０を取得する。このとき、画素データのカラー成分は、Ｒ値，Ｇ値，Ｂ値で構成されている。なお、カラービデオカメラ９と車線認識装置1とを備えることにより、本発明の車両が構成される。

白線検出手段３は、画像取得手段２により取得された道路のカラー画像Ｉ０から、白線を検出する処理を実行し、検出の結果を白線候補データとして出力する。白線候補データは、検出した白線の位置データと、色情報と、種別情報とを有する。なお、白線候補データの色情報は常に「白」で、種別情報は常に「線」である。

黄線検出手段４は、画像取得手段２により取得された道路のカラー画像Ｉ０から、黄線を検出する処理を実行し、検出の結果を黄線候補データとして出力する。黄線候補データは、検出した黄線の位置データと、色情報と、種別情報とを有する。なお、黄線候補データの色情報は常に「黄」であり、種別情報は常に「線」である。

道路鋲検出手段５は、画像取得手段２により取得された道路のカラー画像Ｉ０から、道路鋲（本発明の鋲型のレーンマークに相当する）を検出する処理を実行し、検出の結果を道路鋲候補データとして出力する。道路鋲候補データは、道路鋲の位置データと、色情報と、種別情報とを有する。なお、道路鋲候補データの種別情報は常に「鋲」である。

選別手段６は、白線検出手段３から出力された白線候補データと、黄線検出手段４から出力された黄線候補データと、道路鋲検出手段５から出力された道路鋲候補データとから、車両８が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別する。そして、選別したレーンマーク候補データに基づいて、車両８が走行している実際の車線の車線データを決定して出力する。車線データは、車両８が走行している実際の車線の形状情報と、該車線を規定するレーンマークの色情報と、該車線を規定するレーンマークの種別情報とを有する。

意味判断手段７は、選別手段６から出力された車線データのうちの色情報と種別情報とを用いて、車両８が走行している実際の車線を規定するレーンマークの意味（道路法規上の意味）を判断する。そして、判断した結果を、車線データと共に出力する。

なお、白線検出手段３及び黄線検出手段４は、本発明のレーンマーク検出手段に相当する。

次に、本実施形態の車線認識装置１の作動（車線認識処理）を、図２〜図５に示したフローチャートに従って説明する。図２は車線認識処理の全体的な作動（車線認識装置１のメインルーチン処理）を示すフローチャート、図３は白線を検出する処理（サブルーチン処理）を示すフローチャート、図４は黄線を検出する処理（サブルーチン処理）を示すフローチャート、図５は道路鋲を検出する処理（サブルーチン処理）を示すフローチャートである。なお、以下では、図６（ａ）に例示したように、車両８が走行している実際の車線の左側が白線Ａ０で規定され、車線の右側が黄線Ａ１で規定される場合と、図６（ｂ）で例示したように、車両８が走行している実際の車線の左側が道路鋲Ａ２で規定され、車線の右側が道路鋲Ａ３で規定される場合とを例にして説明する。

図２を参照して、まず、画像取得手段２は、カラービデオカメラ７から出力される映像信号から、道路のカラー画像Ｉ０を取得する（ＳＴＥＰ００１）。ここで、カラー画像Ｉ０は、ｍ×ｎ個の画素からなる画像である。カラー画像Ｉ０の各画素Ｐ０は、カラー成分としてＲ値，Ｇ値，Ｂ値のデータを有するものである。以下、各画素Ｐ０（ｉ，ｊ）のＲ値，Ｇ値，Ｂ値は、それぞれＲij，Ｇij，Ｂijで表される。ただし、ｉ，ｊは、各画素の番地であり、０≦ｉ＜ｍ，０≦ｊ＜ｎとなる整数である。

次に、白線検出手段３は、取得されたカラー画像Ｉ０から白線を検出する処理を実行する（ＳＴＥＰ００２）。白線を検出する処理は、図３に示す如く実行される。まず、白線検出手段３は、カラー画像Ｉ０から白黒画像Ｉ１を生成する（ＳＴＥＰ１０１）。このとき、カラー画像Ｉ０の各画素Ｐ０（ｉ，ｊ）のＲ値，Ｇ値，Ｂ値（Ｒij，Ｇij，Ｂij）から、Ｙij＝α×Ｒij＋β×Ｇij＋γ×Ｂijにより算出した輝度値Ｙijを各画素Ｐ１（ｉ，ｊ）のデータとする、ｍ×ｎ個の画素からなる白黒画像Ｉ１を生成する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。

次に、白黒画像Ｉ１からエッジ点を抽出する（ＳＴＥＰ１０２）。次に、エッジ点を抽出したデータをハフ変換する（ＳＴＥＰ１０３）。次に、ハフ変換したデータから、直線成分を探索して抜き出す（ＳＴＥＰ１０４）。このとき、抜き出された直線成分には、白線を構成する（白線の一部分を示す）複数の直線成分が含まれている。

次に、ＳＴＥＰ１０５で、白線検出手段３は、抜き出した直線成分から、白線候補データを決定して出力する。出力される白線候補データは、車線の左側を規定するレーンマークの候補データである左白線候補データＤ_L1と、車線の右側を規定するレーンマークの候補データである右白線候補データＤ_R1とを有する。左白線候補データＤ_L1は、車線の左側を規定するレーンマークの候補である白線に含まれる複数の点で示される点列の座標データＰ_L1と、白線の色情報と、白線の種別情報とを有する。同様に、右白線候補データＤ_R1は、車線の右側を規定するレーンマークの候補である白線に含まれる複数の点で示される点列の座標データＰ_R1と、白線の色情報と、白線の種別情報とを有する。ここで、左白線候補データＤ_L1の点列の座標データＰ_L1は、白線を構成する複数（Ｎ_L1個）の直線成分に含まれる複数の点で示される点列の座標データＰ_L1［L1］を、当該複数の直線成分の全てについて合わせた集合である（ただし、［］内のL1は、L1＝１〜Ｎ_L1の整数）。同様に、右白線候補データＤ_R1の座標データＰ_R1は、白線を構成する複数（Ｎ_R1個）の直線成分に含まれる複数の点で示される点列の座標データＰ_R1［R1］を、当該複数の直線成分の全てについて合わせた集合である（ただし、［］内のR1は、R1＝１〜Ｎ_R1の整数）。

左白線候補データＤ_L1は、以下のように決定される。まず、抜き出した直線成分から、車線の左側を規定するレーンマークの候補に含まれる直線成分を選抜する。このとき、選抜される直線成分は、Ｎ_L1個である。そして、選抜された各直線成分に含まれる複数（ｎ個）の点の座標データ｛（Ｘ１,Ｙ１）,（Ｘ２,Ｙ２）,…,（Ｘｎ,Ｙｎ）｝を、それぞれ、左白線候補データＤ_L1の点列の座標データＰ_L1[L1]として設定する。さらに、左白線候補データＤ_L1の色情報に「白」を設定し、種別情報に「線」を設定する。

次に、左白線候補データＤ_L1と同様に、右白線候補データＤ_R1を決定する。まず、抜き出した直線成分から、車線の右側を規定するレーンマークの候補に含まれる直線成分を選抜する。このとき、選抜される直線成分は、Ｎ_R1個である。そして、選抜された各直線成分に含まれる複数（ｎ個）の点の座標データ｛（Ｘ１,Ｙ１）,（Ｘ２,Ｙ２）,…,（Ｘｎ,Ｙｎ）｝を、それぞれ、右白線候補データＤ_R1の点列の座標データＰ_R1［R1］として設定する。さらに、右白線候補データＤ_R1の色情報に「白」を設定し、種別情報に「線」を設定する。

以上のＳＴＥＰ１０１〜１０５の処理により、カラー画像Ｉ０から、白線が精度良く検出され、白線候補データとして出力される。例えば、図６（ａ）に例示した場合では、白線Ａ０のデータが左白線候補データＤ_L1となる。

次に、図２に戻り、黄線検出手段４は、取得されたカラー画像Ｉ０から黄線を検出する処理を実行する（ＳＴＥＰ００３）。黄線を検出する処理は、図４に示す如く実行される。まず、黄線検出手段４は、カラー画像Ｉ０から黄色成分を抽出した画像Ｉ２を生成する（ＳＴＥＰ２０１）。このとき、カラー画像Ｉ０の各画素Ｐ０（ｉ，ｊ）のカラー成分のＲ値，Ｂ値（Ｒij，Ｂij）を用いて、ＫＹij＝Ｒij−Ｂijにより算出した特徴量ＫＹijを各画素Ｐ２（ｉ，ｊ）のデータとする、ｍ×ｎ個の画素からなる画像Ｉ２を生成する。ここで、黄色は、Ｒ値が高くＢ値が低い傾向を持つので、Ｒ値とＢ値との差Ｒij−Ｂijは、黄色成分の特徴を顕著に示す値となる。よって、特徴量ＫＹijは、黄色に対応した特徴量（黄色成分）であるので、黄色成分を適切に抽出して画像Ｉ２が生成される。

次に、画像Ｉ２からエッジ点を抽出する（ＳＴＥＰ２０２）。次に、エッジ点を抽出した画像データをハフ変換する（ＳＴＥＰ２０３）。次に、ハフ変換したデータから直線成分を探索して抜き出す（ＳＴＥＰ２０４）。このとき、抜き出された直線成分には、黄線を構成する（黄線の一部分を示す）複数の直線成分が含まれている。

次に、ＳＴＥＰ２０５で、黄線検出手段４は、抜き出した直線成分から、黄線候補データを決定して出力する。出力される黄線候補データは、車線の左側を規定するレーンマークの候補データである左黄線候補データＤ_L2と、車線の左側を規定するレーンマークの候補データである右黄線候補データＤ_R2とを有する。左黄線候補データＤ_L2は、車線の左側を規定するレーンマークの候補である黄線に含まれる複数の点で示される点列の座標データＰ_L2と、黄線の色情報と、黄線の種別情報とを有する。同様に、右黄線候補データＤ_R2は、車線の右側を規定するレーンマークの候補である黄線に含まれる複数の点で示される点列の座標データＰ_R2と、黄線の色情報と、黄線の種別情報とを有する。さらに、左黄線候補データＤ_L2の点列の座標データＰ_L2は、黄線を構成する複数（Ｎ_L2個）の直線成分に含まれる複数の点で示される点列の座標データＰ_L2［L2］を、当該複数の直線成分の全てについて合わせた集合である（ただし、［］内のL2は、L2＝１〜Ｎ_L2の整数）。同様に、右黄線候補データＤ_R2の点列の座標データＰ_R2は、黄線を構成する複数（Ｎ_R2個）の直線成分に含まれる複数の点で示される点列の座標データＰ_R2［R2］を、当該複数の直線成分の全てについて合わせた集合である（ただし、［］内のR2は、R2＝１〜Ｎ_R2の整数）。

左黄線候補データＤ_L2は、以下のように決定される。まず、抜き出した直線成分から、車線の左側を規定するレーンマークの候補に含まれる直線成分を選抜する。このとき、選抜される直線成分は、Ｎ_L2個である。そして、選抜された各直線成分に含まれる複数（ｎ個）の点の座標データ｛（Ｘ１,Ｙ１）,（Ｘ２,Ｙ２）,…,（Ｘｎ,Ｙｎ）｝を、それぞれ、左黄線候補データＤ_L2の点列の座標データＰ_L1［L1］として設定する。さらに、左黄線候補データＤ_L2の色情報に「黄」を設定し、種別情報に「線」を設定する。

次に、左黄線候補データＤ_L2と同様に、右黄線候補データＤ_R2を決定する。まず、抜き出した直線成分から、車線の右側を規定するレーンマークの候補に含まれる直線成分を選抜する。このとき、選抜される直線成分はＮ_R2個である。そして、選抜された各直線成分に含まれる複数（ｎ個）の点の座標データ｛（Ｘ１,Ｙ１）,（Ｘ２,Ｙ２）,…,（Ｘｎ,Ｙｎ）｝を、それぞれ、右黄線候補データＤ_R2の点列の座標データＰ_R2［R2］として設定する。さらに、各右黄線候補データＤ_R2［R2］の色情報に「黄」を設定し、種別情報に「線」を設定する。

以上のＳＴＥＰ２０１〜２０５の処理により、カラー画像Ｉ０から、黄線が精度良く検出され、黄線候補データとして出力される。例えば、図６（ａ）に例示した場合では、黄線Ａ１のデータが右黄線候補データＤ_R2となる。

次に、図２に戻り、道路鋲検出手段５は、取得されたカラー画像Ｉ０から道路鋲を検出する処理を実行する（ＳＴＥＰ００４）。道路鋲を検出する処理は、図５に示す如く実行される。まず、道路鋲検出手段５は、カラー画像Ｉ０から白黒画像Ｉ３を生成する（ＳＴＥＰ３０１）。このとき、図３の白線を検出する処理におけるＳＴＥＰ１０１と同様に、カラー画像Ｉ０の各画素Ｐ０（ｉ，ｊ）のＲ値，Ｇ値，Ｂ値（Ｒij，Ｇij，Ｂij）から、Ｙij＝α×Ｒij＋β×Ｇij＋γ×Ｂijにより算出した輝度値Ｙijを各画素Ｐ３（ｉ，ｊ）のデータとする、ｍ×ｎ個の画素からなる白黒画像Ｉ３を生成する。

次に、白黒画像Ｉ３内の各点で、予め記憶された道路鋲パターン（パターンマッチング用の基準形状）との相関値を計算する（ＳＴＥＰ３０２）。すなわち、各点を中心とする所定領域内のパターンと道路鋲パターンとの相関値を計算する。次に、相関値の高い点を道路鋲候補点として抽出する（ＳＴＥＰ３０３）。このとき、抽出された道路鋲候補点は、道路鋲の中心点を示すものである。なお、パターンマッチングの詳細な手法としては、上述した特許文献１に記載されているような一般的な手法を用いることができる。次に、抽出した道路鋲候補点の画素Ｐ３（ｉ，ｊ）に対応するカラー画像Ｉ０の画素Ｐ０（ｉ，ｊ）のＲ値，Ｇ値，Ｂ値（Ｒij，Ｇij，Ｂij）から、抽出した道路鋲候補点の色情報を特定する（ＳＴＥＰ３０４）。

次に、ＳＴＥＰ３０５で、道路鋲検出手段５は、道路鋲候補データを決定して出力する。出力される道路鋲候補データは、車線の左側を規定するレーンマークの候補データである左道路鋲候補データＤ_L3と、車線の左側を規定するレーンマークの候補データである右道路鋲候補データＤ_R3とを有する。左道路鋲候補データＤ_L3は、車線の左側を規定するレーンマークの候補である複数の道路鋲を示す道路鋲候補点の座標データＰ_L3と、道路鋲の色情報と、道路鋲の種別情報とを有する。同様に、右道路鋲候補データＤ_R3は、車線の右側を規定するレーンマークの候補である複数の道路鋲を示す点の座標データＰ_R3と、道路鋲の色情報と、道路鋲の種別情報とを有する。なお、本実施形態では、米国における道路鋲を想定しており、この場合、車両から見たときの道路鋲の色は、「赤」「黄」「その他」のいずれかに分類される。

左道路鋲候補データＤ_L3は、以下のように決定する。まず、抽出した道路鋲候補点から、車線の左側を規定するレーンマークの候補となる複数（ｎ個）の道路鋲候補点を選抜する。そして、選抜したｎ個の道路鋲候補点の座標データ｛（Ｘ１,Ｙ１）,（Ｘ２,Ｙ２）,…,（Ｘｎ,Ｙｎ）｝を、左道路鋲候補データＤ_L3の点列の座標データＰ_L3として設定する。さらに、選抜したｎ個の道路鋲候補点の色情報に応じて、色を「黄」「赤」「その他」に分類し、分類して得られた「黄」「赤」「その他」のいずれかを、各左道路鋲候補データＤ_L3の色情報に設定する。さらに、種別情報に「鋲」を設定する。

次に、左道路鋲候補データＤ_L3と同様に、右道路鋲候補データＤ_R3を決定する。まず、抽出した道路鋲候補点から、車線の右側を規定するレーンマークの候補となる複数（ｎ個）の道路鋲候補点を選抜する。そして、選抜したｎ個の道路鋲候補点の座標データ｛（Ｘ１,Ｙ１）,（Ｘ２,Ｙ２）,…,（Ｘｎ,Ｙｎ）｝を、右道路鋲候補データＤ_R3の点列の座標データＰ_R3として設定する。さらに、選抜したｎ個の道路鋲候補点の色情報に応じて、色を「黄」「赤」「その他」に分類し、分類して得られた「黄」「赤」「その他」のいずれかを、各右道路鋲候補データＤ_R3の色情報に設定する。さらに、種別情報に「鋲」を設定する。

以上のＳＴＥＰ３０１〜３０５の処理により、カラー画像Ｉ０から、道路鋲が精度良く検出され、道路鋲候補データとして出力される。例えば、図６（ｂ）に例示した場合では、道路鋲Ａ２のデータが左道路鋲候補データＤ_L3となり、道路鋲Ａ３のデータが右道路鋲候補データＤ_R3となる。

次に、図２に戻り、選別手段６は、白線検出手段３から出力された白線候補データ、黄線検出手段４から出力された黄線候補データ、道路鋲検出手段５から出力された道路鋲候補データから、車両８が走行している実際の車線を規定するレーンマークのデータに対応するレーンマーク候補データを選別し、車両８が走行している実際の車線の車線データを決定して出力する（ＳＴＥＰ００５）。出力する車線データは、車両８が走行している実際の車線の左側を規定する左側線の形状を示す左形状情報と、該左側線を規定するレーンマークの色を示す左色情報と、該左側線を規定するレーンマークの種別を示す左種別情報と、車両８が走行している実際の車線の右側を規定する右側線の形状を示す右形状情報と、該右側線を規定するレーンマークの色を示す右色情報と、該右側線を規定するレーンマークの種別を示す右種別情報とを有する。

まず、選別手段６は、左白線候補データＤ_L1、左黄線候補データＤ_L2、左道路鋲候補データＤ_L3に対して、それぞれの点列の座標データＰ_L1，Ｐ_L2，Ｐ_L3を用いて、その点列を近似する２次式を求める。このとき、近似法としては、最小二乗法を用いる。次に、それぞれの点列の座標データと求めた２次式とが近似する度合を示す係数である決定係数をそれぞれ求める。次に、左白線候補データＤ_L1、左黄線候補データＤ_L2、左道路鋲候補データＤ_L3のうちから、決定係数の値が最も高い候補を、実際の左側線を規定するレーンマークに対応するレーンマーク候補データＤ_L4として選別する。例えば、図６（ａ）に例示した場合では、左白線候補データＤ_L1（白線Ａ０を示すデータ）が、レーンマーク候補データＤ_L4として選別される。また、図６（ｂ）に例示した場合では、左道路鋲候補データＤ_L3（道路鋲Ａ２を示すデータ）が、レーンマーク候補データＤ_L4として選別される。これにより、レーンマーク候補データＤ_L4が適切に選別される。

次に、選別手段６は、右白線候補データＤ_R1、右黄線候補データＤ_R2、右道路鋲候補データＤ_R3に対して、それぞれの点列の座標データＰ_R1，Ｐ_R2，Ｐ_R3を用いて、その点列を近似する２次式を求める。このとき、近似法としては、最小二乗法を用いる。次に、それぞれの点列の座標データと、求めた２次式とから、それぞれの決定係数を求める。次に、右白線候補データＤ_R1、右黄線候補データＤ_R2、右道路鋲候補データＤ_R3のうちから、決定係数の値が最も高い候補を、実際の右側線を規定するレーンマークに対応するレーンマーク候補データＤ_R4として選別する。例えば、図６（ａ）に例示した場合では、右黄線候補データＤ_R2（黄線Ａ１を示すデータ）が、レーンマーク候補データＤ_R4として選別される。また、図６（ｂ）に例示した場合では、右道路鋲候補データＤ_R3（道路鋲Ａ３を示すデータ）が、レーンマーク候補データＤ_R4として選別される。これにより、レーンマーク候補データＤ_R4が適切に選別される。

次に、選別手段６は、選別したレーンマーク候補データＤ_L4，Ｄ_R4から、車線データを決定して出力する。まず、選別手段６は、レーンマーク候補データＤ_L4の点列を近似する２次式を、左形状情報に設定すると共に、レーンマーク候補データＤ_R4の点列を近似する２次式を、右形状情報に設定する。これにより、レーンマーク候補Ｄ_L4，Ｄ_R4を選別する際に算出した２次式を活用して、車両８が走行している実際の車線の形状情報を的確に決定することができる。

次に、選別手段６は、レーンマーク候補データＤ_L4の色情報を、左色情報に設定し、レーンマーク候補データＤ_L4の種別情報を、左種別情報に設定する。また、選別手段６は、レーンマーク候補データＤ_R4の色情報を、右色情報に設定し、レーンマーク候補データＤ_R4の種別情報を、右種別情報に設定する。そして、選別手段６は、決定した車線データを出力する。これにより、左側線及び右側線の形状情報と共に、該左側線及び右側線を規定するレーンマークの色情報と種別情報とが取得され、車線データとして出力される。

次に、意味判断手段７は、選別手段６から出力された車線データの左色情報、右色情報、左種別情報、右種別情報を用いて、車両８が走行している実際の車線を規定するレーンマークの意味を判断する処理を実行し、処理の結果を付加情報として車線データと共に出力する（ＳＴＥＰ００６）。出力される付加情報は、左側線を規定するレーンマークの意味を判断した結果である左付加情報と、右側線を規定するレーンマークの意味を判断した結果である右付加情報とを有する。

意味判断手段７は、予め記憶された判断データに基づいて、前記レーンマークの意味を判断し、判断の結果を左付加情報及び右付加情報に設定する。判断データは、左色情報、右色情報、左種別情報、右種別情報の組み合わせに応じて決められているものである。

例えば、米国においては、道路鋲がレーンマークとして設置された道路を車両が逆走している場合（正しい向きと逆向きに走行している場合）には、車両側から道路鋲が赤く見えるようになっている。このため、左種別情報が「鋲」で且つ左色情報が「赤」の場合、及び右種別情報が「鋲」で且つ右色情報が「赤」の場合には、車両８が道路を逆走していると判断し、左付加情報及び右付加情報に「逆走中」と設定する。また、左種別情報が「線」又は「鋲」で、且つ左色情報が「黄」の場合には、左側線は踏み越え禁止であると判断し、左付加情報に「踏み越え禁止」と設定する。また、右種別情報が「線」又は「鋲」で、且つ右色情報が「黄」の場合には、右側線は踏み越え禁止であると判断し、右付加情報に「踏み越え禁止」と設定する。また、左色情報が「白」又は「その他」で、且つ右色情報が「白」又は「その他」の場合には、左付加情報及び右付加情報に何も設定しない。

このとき、例えば、図６（ａ）に例示した場合では、左付加情報に「踏み越え禁止」と設定され、右付加情報には何も設定されない。また、図６（ｂ）に例示した場合では、左付加情報及び右付加情報に「逆走中」と設定される。これにより、車両８が走行している実際の車線を規定するレーンマークの道路法規上の意味を適切に判断することができ、出力される判断の結果を用いて、該レーンマークの意味に応じた車両８の制御や運転者への報知を行うことができる。

以上の処理によって、道路のカラー画像から、各色のレーンマークが適切に認識される。これにより、道路上に複数種類の色のレーンマークが存在する場合でも、車両８が走行している実際の車線を適切に認識することができる。

なお、本実施形態においては、意味判断手段６を備えるものとしたが、意味判断手段６を備えず、選別手段６から出力される車線データを、そのまま車両８の制御や運転者への報知の際に用いてもよい。

また、本実施形態においては、道路鋲検出手段５を備えるものとしたが、道路鋲検出手段５を備えず、選別手段６は、白線検出手段３と黄線検出手段４とから出力されるレーンマーク候補データのうちからレーンマークのデータを選別してもよい。

また、本実施形態においては、道路鋲Ａ３，Ａ４を、道路鋲検出手段５によって、形状パターンに基づいて検出するものとしたが、例えば、道路鋲Ａ３，Ａ４に特徴的な色が付されている場合には、形状パターンに加えてさらに該特徴的な色に対応した色情報を用いるか、又は該特徴的な色に対応した色情報のみを用いることによって、道路鋲Ａ３，Ａ４を検出するようにしてもよい。

また、本実施形態において、レーンマーク検出手段３，４は、白色及び黄色のレーンマークを検出したが、他色のレーンマークを検出対象とする場合には、該他色に対応した色情報に基づいてレーンマークを検出するレーンマーク検出手段を備えるようにしてもよい。

本実施形態である車線認識装置の機能ブロック図。 図１の車線認識装置の車線認識処理を示すフローチャート。 図１の車線認識装置の車線認識処理における白線検出処理を示すフローチャート。 図１の車線認識装置の車線認識処理における黄線検出処理を示すフローチャート。 図１の車線認識装置の車線認識処理における道路鋲検出処理を示すフローチャート。 図１の車線認識装置の車線認識処理における処理画像の例示図。

符号の説明

１…車線認識装置、２…画像取得手段、３，４…レーンマーク検出手段、５…道路鋲検出手段、６…選別手段、７…意味判断手段、８…車両、９…カラービデオカメラ（撮像手段）。

Claims (20)

1. 撮像手段と、
   前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力するレーンマーク検出手段と、
   少なくとも前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データから、車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定して出力する選別手段とを有する車両。
2. 前記カラー画像から前記車両が走行する道路上の鋲型のレーンマークを、該鋲型のレーンマークの形状のパターンに基づいて検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力する道路鋲検出手段をさらに備え、
   前記選別手段は、前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データと、前記道路鋲検出手段から出力されるレーンマーク候補データとから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別することを特徴とする請求項１記載の車両。
3. 前記各レーンマーク候補データは、それぞれ、前記レーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、
   前記選別手段が出力する車線データは、前記実際の車線の形状情報と、該実際の車線を規定するレーンマークの色情報と、該実際の車線を規定するレーンマークの種別情報とを有し、
   前記選別手段は、前記選別したレーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの形状情報を決定し、該選別したレーンマーク候補データのうちの色情報に基づいて、該車線データのうちの色情報を決定し、該選別したレーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの種別情報を決定することを特徴とする請求項１又は請求項２記載の車両。
4. 前記選別手段が出力する車線データのうちの色情報と種別情報とに基づいて、前記車線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断手段を備えることを特徴とする請求項３記載の車両。
5. 前記各レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記レーンマークの経路を示す点列の座標データからなり、
   前記選別手段は、前記各レーンマーク候補データに対して、それぞれ、前記点列の座標データに基づき、前記点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高いレーンマーク候補データを、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データとして選別することを特徴とする請求項３又は請求項４記載の車両。
6. 前記選別手段は、前記車線データのうちの形状情報を、前記選別したレーンマーク候補データの前記点列を近似する前記多項式に基づいて決定することを特徴とする請求項５記載の車両。
7. 前記各レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの候補データである左レーンマーク候補データと、前記車線の右側を規定するレーンマークの候補データである右レーンマーク候補データとからなり、前記左レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記右レーンマーク候補データは、それぞれ、前記車線の右側を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、
   前記選別手段が出力する車線データは、前記実際の車線の左側を規定する左側線の形状情報である左形状情報と、該左側線を規定するレーンマークの色情報である左色情報と、該左側線を規定するレーンマークの種別情報である左種別情報と、前記実際の車線の右側を規定する右側線の形状情報である右形状情報と、該右側線を規定するレーンマークの色情報である右色情報と、該右側線を規定するレーンマークの種別情報である右種別情報とを有し、
   前記選別手段は、前記左レーンマーク候補データから、前記実際の車線の左側を規定するレーンマークに対応する左レーンマーク候補データを選別すると共に、前記右レーンマーク候補データから、前記実際の車線の右側を規定するレーンマークに対応する右レーンマーク候補データを選別し、前記選別した左レーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの左形状情報を決定し、該選別した左レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの左色情報を決定し、該選別した左レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの左種別情報を決定すると共に、前記選別した右レーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの右形状情報を決定し、該選別した右レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの右色情報を決定し、該選別した右レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの右種別情報を決定することを特徴とする請求項１又は請求項２記載の車両。
8. 前記選別手段が出力する車線データのうちの左色情報と右色情報と左種別情報と右種別情報とに基づいて、前記左側線及び右側線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断手段を備えることを特徴とする請求項７記載の車両。
9. 前記各左レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の左側を規定するレーンマークの経路を示す点列である左点列の座標データからなり、前記各右レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の右側を規定するレーンマークの経路を示す点列である右点列の座標データからなり、
   前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、前記左点列の座標データに基づき、前記左点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該左点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い左レーンマーク候補データを、前記実際の車線の左側を規定するレーンマークに対応する左レーンマーク候補データとして選別し、前記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標データに基づき、前記右点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該右点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い右レーンマーク候補データを、前記実際の車線の右側を規定するレーンマークに対応する右レーンマーク候補データとして選別することを特徴とする請求項７又は請求項８記載の車両。
10. 前記選別手段は、前記車線データのうちの左形状情報を、前記選別した左レーンマーク候補データの前記左点列を近似する多項式に基づいて決定すると共に、前記車線データのうちの右形状情報を、前記選別した右レーンマーク候補データの前記右点列を近似する多項式に基づいて決定することを特徴とする請求項９記載の車両。
11. 車両に搭載された撮像手段を介して道路のカラー画像を取得する画像取得手段と、
    前記カラー画像の色情報に基づいて前記道路上の互いに異なる複数の所定色のレーンマークを検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力するレーンマーク検出手段と、
    少なくとも前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別し、該選別したレーンマーク候補データに基づき、前記実際の車線の情報を示す車線データを決定して出力する選別手段とを有する車線認識装置。
12. 前記カラー画像から前記車両が走行する道路上の鋲型のレーンマークを、該鋲型のレーンマークの形状のパターンに基づいて検出する処理を実行し、該処理の結果をレーンマーク候補データとして出力する道路鋲検出手段をさらに備え、
    前記選別手段は、前記レーンマーク検出手段から出力される各所定色のレーンマーク候補データと、前記道路鋲検出手段から出力されるレーンマーク候補データとから、前記車両が走行している実際の車線を規定するレーンマークに対応するレーンマーク候補データを選別することを特徴とする請求項１１記載の車線認識装置。
13. 前記各レーンマーク候補データは、それぞれ、前記レーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、
    前記選別手段が出力する車線データは、前記実際の車線の形状情報と、該実際の車線を規定するレーンマークの色情報と、該実際の車線を規定するレーンマークの種別情報とを有し、
    前記選別手段は、前記選別したレーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの形状情報を決定し、該選別したレーンマーク候補データのうちの色情報に基づいて、該車線データのうちの色情報を決定し、該選別したレーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの種別情報を決定することを特徴とする請求項１１又は請求項１２記載の車線認識装置。
14. 前記選別手段が出力する車線データのうちの色情報と種別情報とに基づいて、前記車線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断手段を備えることを特徴とする請求項１３記載の車線認識装置。
15. 前記各レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記レーンマークの経路を示す点列の座標データからなり、
    前記選別手段は、前記各レーンマーク候補データに対して、それぞれ、前記点列の座標データに基づき、前記点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高いレーンマーク候補データを、前記実際の車線を規定するレーンマークに対応するレーンマーク候補データとして選別することを特徴とする請求項１３又は請求項１４記載の車線認識装置。
16. 前記選別手段は、前記車線データのうちの形状情報を、前記選別したレーンマーク候補データの前記点列を近似する前記多項式に基づいて決定することを特徴とする請求項１５記載の車線認識装置。
17. 前記各レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの候補データである左レーンマーク候補データと、前記車線の右側を規定するレーンマークの候補データである右レーンマーク候補データとからなり、前記左レーンマーク候補データは、それぞれ、前記車線の左側を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、前記右レーンマーク候補データは、それぞれ、前記車線の右側を規定するレーンマークの位置を示すレーンマーク位置データと、該レーンマークの色情報と、該レーンマークの種別情報とを有し、
    前記選別手段が出力する車線データは、前記実際の車線の左側を規定する左側線の形状情報である左形状情報と、該左側線を規定するレーンマークの色情報である左色情報と、該左側線を規定するレーンマークの種別情報である左種別情報と、前記実際の車線の右側を規定する右側線の形状情報である右形状情報と、該右側線を規定するレーンマークの色情報である右色情報と、該右側線を規定するレーンマークの種別情報である右種別情報とを有し、
    前記選別手段は、前記左レーンマーク候補データから、前記実際の車線の左側を規定するレーンマークに対応する左レーンマーク候補データを選別すると共に、前記右レーンマーク候補データから、前記実際の車線の右側を規定するレーンマークに対応する右レーンマーク候補データを選別し、前記選別した左レーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの左形状情報を決定し、該選別した左レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの左色情報を決定し、該選別した左レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの左種別情報を決定すると共に、前記選別した右レーンマーク候補データのうちのレーンマーク位置データに基づいて、前記車線データのうちの右形状情報を決定し、該選別した右レーンマーク候補データのうちの色情報に基づいて、該車線データのうちの右色情報を決定し、該選別した右レーンマーク候補データのうちの種別情報に基づいて、該車線データのうちの右種別情報を決定することを特徴とする請求項１１又は請求項１２記載の車線認識装置。
18. 前記選別手段が出力する車線データのうちの左色情報と右色情報と左種別情報と右種別情報とに基づいて、前記左側線及び右側線を規定するレーンマークの意味を判断する処理を実行し、該処理の結果を該車線データと共に出力する意味判断手段を備えることを特徴とする請求項１７記載の車線認識装置。
19. 前記各左レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の左側を規定するレーンマークの経路を示す点列である左点列の座標データからなり、前記各右レーンマーク候補データのうちのレーンマーク位置データは、それぞれ、前記車線の右側を規定するレーンマークの経路を示す点列である右点列の座標データからなり、
    前記選別手段は、前記各左レーンマーク候補データに対して、それぞれ、前記左点列の座標データに基づき、前記左点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該左点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い左レーンマーク候補データを、前記実際の車線の左側を規定するレーンマークに対応する左レーンマーク候補データとして選別し、前記各右レーンマーク候補データに対して、それぞれ、前記右点列の座標データに基づき、前記右点列を近似する２次以上の所定次数の多項式を求めると共に、該多項式による該右点列の近似の度合を示す係数である決定係数を算出し、該決定係数が最も高い右レーンマーク候補データを、前記実際の車線の右側を規定するレーンマークに対応する右レーンマーク候補データとして選別することを特徴とする請求項１７又は請求項１８記載の車線認識装置。
20. 前記選別手段は、前記車線データのうちの左形状情報を、前記選別した左レーンマーク候補データの前記左点列を近似する多項式に基づいて決定すると共に、前記車線データのうちの右形状情報を、前記選別した右レーンマーク候補データの前記右点列を近似する多項式に基づいて決定することを特徴とする請求項１９記載の車線認識装置。

Images