JP2009237706A - 車両用車線認識装置、車両、及び車両用車線認識プログラム - Google Patents

Abstract

【課題】車両が走行している道路のカラー画像から、多様な色や種別のレーンマークを区別して車線を認識可能な車両用車線認識装置、車両、及び車両用車線認識プログラムを提供する。
【解決手段】車両用車線認識装置は、道路のカラー画像から、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域とそれ以外の画素からなる第２画像領域とに分けられた画像を取得するレーンマーク検出用画像取得手段１２と、第１画像領域を隣接した画素からなる部分領域に分割するクラスタリング手段１３と、各部分領域の色を判定する色判定手段１４と、色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される車線の境界位置を認識する車線認識手段１５と、車線の認識結果に応じて車両１の機器を制御する車両機器制御手段２１とを備える。
【選択図】図２

Description

本発明は、撮像手段を介して取得された道路の画像を処理して、車両が走行している車線を認識する装置、車両、及び当該装置の処理をコンピュータに実行させるためのプログラムに関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している道路の路面を撮像し、得られたカラー画像を処理して道路上の白線や黄線等のレーンマークを検出し、検出した結果から認識される車両が走行する車線（走行レーン）の情報に基づいて、車両の走行制御や運転者への情報提示を行う技術が知られている（例えば特許文献１参照）。

特許文献１の認識方法では、自車の前方画像の全画素の濃度を微分処理し、拡大焦点を中心とする放射状の画素毎の濃度微分値の合計を算出してエッジヒストグラムを導出する。そして、前記認識方法では、このエッジヒストグラムで濃度微分値がピークとなる複数の候補線から道路上の白線、黄線等を認識する。詳細には、前記認識方法では、エッジヒストグラムから選定した候補線のうちそのピーク値が極めて高いものは白線と判断し、Ｒ成分を強調した画像中に重畳した候補線のなかに強いＲ成分を含むものがあれば道路上の黄線であると判断する。
特開平１１−０５３６９１号公報

特許文献１の認識方法では、レーンマークとして白線と黄線が検出される。しかし、道路上に設けられるレーンマークには、走行区分線（白線・黄線）のような線型のレーンマーク以外にも、多様な色や種別が使用される。例えば、Botts Dotsやキャッツアイのように離散的に設けられる鋲型のレーンマークが使用されている。また、線型のレーンマークには、さらに実線と破線がある。また、例えば、レーンマークの色として、白色、黄色の他に、赤色が使用される場合もある。そして、レーンマークは、その色や種別によって道路法規上の意味が異なることがあるため、車両の走行制御や運転者への情報提示を行うためには、多様なレーンマークの色や種別を区別して認識することが望ましい。

本発明は、かかる背景に鑑みてなされたものであり、車両が走行している道路のカラー画像から、多様な色や種別のレーンマークを区別して車線を認識可能な車両用車線認識装置、車両、及び車両用車線認識プログラムを提供することを目的とする。

さらに、本発明は、車線を規定しているレーンマークの色や種別を精度良く認識し、この認識結果に基づいて車両の走行制御や運転者への情報提示を行うことが可能な車両用車線認識装置、車両、及び車両用車線認識プログラムを提供することを目的とする。

かかる目的を達成するために、本発明の車両用車線認識装置は、車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する車両用車線認識装置において、前記撮像手段を介して取得した道路のカラー画像から、前記車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得するレーンマーク検出用画像取得手段と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする（第１発明）。

第１発明の車両用車線認識装置によれば、レーンマーク検出用画像取得手段により、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像が取得される。第１画像領域は、例えばレーンマークの画像部分が一般的に有する輝度や色の特徴に基づいて、第２画像領域と分けられる。そして、クラスタリング手段により、レーンマーク検出用画像の第１画像領域を、隣接した画素からなる部分領域に分割する。このとき、例えば、レーンマークの種別が実線である場合は線全体の画像部分、レーンマークの種別が破線である場合は破線を構成する各線分の画像部分、レーンマークの種別が鋲型である場合は各鋲の画像部分が、それぞれ、画像上で隣接した画素からなる領域となると想定される。よって、実線・破線、線型・鋲型といったレーンマークの種別によらずに、１つのレーンマークの画像部分が、共通の処理で部分領域として得られる。

この部分領域について、色判定手段により色を判定し、車線認識手段は、色判定手段により色が同一であると判定された部分領域を１つのグループとして、グループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される車線の境界位置を認識する。色が同一であるグループ毎に直線成分抽出処理を行うことで、各色のレーンマークにより規定される車線に対応する直線成分を、それぞれ精度良く抽出して、車線を認識することができる。このように、多様な色や種別のレーンマークを区別して、これらのレーンマークにより規定される車線が適切に認識される。よって、車両機器制御手段により、車線認識手段の認識結果に応じて、車線からの逸脱の可能性や道路法規に合致するように車両の機器を適切に制御することができ、車両の走行制御や運転者への情報提示を行うことが可能となる。

また、第１発明の車両用車線認識装置において、前記車線認識手段は、前記直線成分が抽出された前記グループを構成する前記部分領域の色を、該直線成分から認識された車線を規定するレーンマークの色として認識し、前記車両機器制御手段は、少なくとも前記車線認識手段により認識された前記車線の境界位置と該車線を規定するレーンマークの色とに応じて、前記車両の機器を制御することが好ましい（第２発明）。

第２発明の車両用車線認識装置によれば、直線成分が抽出されたグループを構成する部分領域の色から、該直線成分から認識された車線を規定するレーンマークの色が容易に得られる。そして、車両機器制御手段により、車線の境界位置と車線を規定するレーンマークの色から、道路法規上の意味と車両の走行状況に対応して車両の機器を適切に制御することができる。

また、第１又は第２発明の車両用車線認識装置において、前記直線成分が抽出された前記グループを構成する、該直線成分の近傍の前記部分領域の分布状態に基づいて、該直線成分から認識された前記車線を規定するレーンマークの種別を判定する種別判定手段を備え、前記車両機器制御手段は、少なくとも前記車線認識手段により認識された前記車線の境界位置と該車線を規定するレーンマークの種別とに応じて、前記車両の機器を制御することが好ましい（第３発明）。

第３発明の車両用車線認識装置によれば、直線成分が抽出されたグループを構成する、該直線成分の近傍の部分領域の分布状態は、例えば、この直線成分から認識された車線を規定するレーンマークの種別が破線である場合、分布状態がレーンマークの種別が実線である場合に比べて離散的で、鋲型である場合、さらに分布状態が離散的となると想定される。よって、この分布状態に基づいて車線を規定するレーンマークの種別を認識することができる。そして、車両機器制御手段により、車線の境界位置と車線を規定するレーンマークの種別から、道路法規上の意味と車両の走行状況に対応して車両の機器を適切に制御することができる。

また、第１〜第３のうちいずれか発明の車両用車線認識装置において、前記車線認識手段は、前記部分領域のうち、所定方向の幅が、該所定方向に対応するレーンマークの幅に応じて設定された所定範囲外となる部分領域を、前記直線成分抽出処理の対象から除外することが好ましい（第４発明）。

第４発明の車両用車線認識装置によれば、部分領域のうち、所定方向の幅が、該所定方向に対応するレーンマークの幅に応じて設定された所定範囲外となる部分領域は、レーンマークの画像部分でない可能性が高い。よって、この部分領域を直線成分抽出処理の対象から除外することで、車線に対応する直線成分をより精度良く抽出して、車線を適切に認識することができる。

また、第１〜第４発明のうちいずれかの車両用車線認識装置において、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、前記取得されたカラー画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段とを備え、前記レーンマーク検出用画像取得手段は、前記画素値置換手段により画素値が置換された後のカラー画像を、前記レーンマーク検出用画像として取得することが好ましい（第５発明）。

第５発明の車両用車線認識装置によれば、カラー画像を、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化するので、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に周囲の路面の画像部分が多く含まれることとなる。よって、平滑化後のカラー画像では、路面上の局所的な補修跡や影やレーンマークの画像部分を構成する画素の画素値は、周囲の路面の画像部分を構成する画素の画素値と近い画素値となる。また、路面の画像部分のサイズはレーンマークの画像部分に比べて大きいと想定されるため、路面の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に路面の画像部分が多く含まれることとなる。よって、路面の画像部分については平滑化の影響が小さく、平滑化された後のカラー画像でも、平滑化される前のカラー画像における画素値が保持される。このため、平滑化後のカラー画像に対する、取得されたカラー画像の画素の画素値の変化度合は、路面の画像部分より画素値が大きいレーンマークの画像部分では正の大きい値となり、路面の画像部分より画素値が小さい局所的な補修跡や影の画像部分では小さい値（負の値も含む）となる。また、平滑化前後で画素値の変化が小さい路面の画像部分でも、変化度合は小さい値となる。よって、画素値置換手段により、取得されたカラー画像の、変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する。これにより、置換された後のカラー画像では、路面の画像部分や局所的な補修跡や影の画像部分の画素の画素値は一定値に置換され、レーンマークの画像部分の画素の画素値のみが保持される。よって、レーンマーク検出用画像取得手段は、画素値が保持された（画素値が一定値以外の）画素からなる領域を第１画像領域とし、この置換された後の画像をレーンマーク検出用画像として取得する。このレーンマーク検出用画像では、第１画像領域としてレーンマークに相当する画像部分が適切に分けられていることから、このレーンマーク検出用画像から車線を精度良く認識することができる。

或いは、第１〜第４発明のうちいずれかの車両用車線認識装置において、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とを、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化手段と、前記平滑化手段により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化手段により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出手段と、前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段とを備え、前記レーンマーク検出用画像取得手段は、前記画素値置換手段により画素値が置換された後のカラー画像を、前記レーンマーク検出用画像として取得することが好ましい（第６発明）。

第６発明の車両用車線認識装置によれば、白色のレーンマークの画像部分は輝度が大きく、黄色等の有色のレーンマークの画像部分は彩度が大きくなると考えられる。よって、輝度画像と彩度画像についてそれぞれ平滑化処理を行って平滑化前後の画素値の変化度合を算出し、取得されたカラー画像の、輝度画像から算出された変化度合が所定値以下となり、且つ彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換することで、多様な色のレーンマークに対応したレーンマーク検出用画像が取得される。

また、第１〜第６発明のうちいずれかの車両用車線認識装置において、前記機器は、前記車両の運転者に、複数の種類の注意喚起情報を切り替えて出力する機器であり、該車両機器制御手段は、前記車線認識手段の認識結果に応じて該機器により該運転者に出力する注意喚起情報を切り替えることが好ましい（第７発明）。

第７発明の車両用車線認識装置によれば、車両機器制御手段により、車線認識手段の認識結果に応じて、運転者に出力する注意喚起情報を切り替えることで、車線からの逸脱の可能性や道路法規により合致するように、運転者への情報提示を行うことができる。

また、第１〜第７発明のうちいずれかの車両用車線認識装置において、前記機器は、前記車両の複数の走行制御を変更する機器であり、該車両機器制御手段は、前記車線認識手段の認識結果に応じて該機器により該車両の走行制御を変更することが好ましい（第８発明）。

第８発明の車両用車線認識装置によれば、車両機器制御手段により、車線認識手段の認識結果に応じて、車両の走行制御を変更することで、車線からの逸脱の可能性や道路法規により合致するように、車両の走行制御を行うことができる。

次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得した道路のカラー画像から、走行している車線を認識する機能を有する車両であって、前記撮像手段を介して取得した道路のカラー画像から、前記車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得するレーンマーク検出用画像取得手段と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えたことを特徴とする（第９発明）。

第９発明の車両によれば、第１発明の車両用車線認識装置に関して説明したように、レーンマーク検出用画像取得手段によりレーンマーク検出用画像を取得し、クラスタリング手段により、レーンマーク検出用画像の第１画像領域を、隣接した画素からなる部分領域に分割することで、レーンマークの種別によらずに、１つのレーンマークの画像部分が、共通の処理で部分領域として得られる。また、車線認識手段により、色が同一であると判定された部分領域を１つのグループとして、グループ毎に直線成分抽出処理を行い、抽出された直線成分から車線を認識することで、共通の処理で、各色のレーンマークにより規定される車線を精度良く認識することができる。このように、多様な色や種別のレーンマークが、共通の処理でそれぞれ精度良く検出され、これらのレーンマークにより規定される車線が適切に認識される。よって、車両機器制御手段により、車線認識手段の認識結果に応じて、車線からの逸脱の可能性や道路法規に合致するように車両の機器を適切に制御することができ、車両の走行制御や運転者への情報提示を行うことが可能となる。

次に、本発明の車両用車線認識プログラムは、車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する処理をコンピュータに実行させる車両用車線認識プログラムであって、前記撮像手段を介して取得した道路のカラー画像から、前記車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得するレーンマーク検出用画像取得処理と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定処理と、前記色判定処理により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識処理と、前記車線認識処理の認識結果に応じて、前記車両の機器を制御する車両機器制御処理とをコンピュータに実行させる機能を有することを特徴とする（第１０発明）。

第１０発明の車両用画像処理用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を、図１〜図９を参照して説明する。図１を参照して、本発明の実施形態である車両用車線認識装置は、自車両１（本発明の車両）に搭載して使用され、画像処理ユニット１０とＥＣＵ（Electronic Control Unit）２０から構成される。画像処理ユニット１は、自車両１の前方を撮像するカメラ２により撮像される画像を処理するものであり、撮像された画像から、自車両１の走行している道路上のレーンマークにより規定される車線を認識する。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。また、画像処理ユニット１０により認識された車線のデータは、ＥＣＵ２０に出力される。ＥＣＵ２０は、自車両１の電気的な制御を総合的に行うものであり、入力された車線のデータに応じて、自車両１０のステアリング装置を制御して、自車両１が車線に沿って走行するようにアシストする。

次に、図２を参照して、画像処理ユニット１０は、その機能として、自車両１の前方の道路のカラー画像から車線を認識するための、画像取得手段１１と、レーンマーク検出用画像取得手段１２と、クラスタリング手段１３と、色判定手段１４と、車線認識手段１５と、種別判定手段１６とを備えている。さらに、画像処理ユニット１０は、画像取得手段１１により取得されたカラー画像を処理して、処理後の画像をレーンマーク検出用画像取得手段１２に出力するための、カーネル設定手段３１と、平滑化手段３２と、変化度合算出手段３３と、画素値置換手段３４とを備えている。これらの各機能の詳細については後述する。

また、ＥＣＵ２０は、その機能として、認識された車線のデータに応じて自車両１のステアリング装置を制御して、車線維持支援処理を実行する車両機器制御手段２１を備えている。ステアリング装置は本発明の機器に相当する。具体的には、車両機器制御手段２１は、認識された車線に沿って自車両１が走行するように、ステアリング装置（図示せず）のアクチュエータを駆動することによりトルク（操舵アシストトルク）を発生し、自車両１のステアリング装置のステアリングハンドルを介して運転者の手動操作により入力されたトルク（運転者操舵トルク）と共に、ステアリング装置の操舵機構を介して操舵輪に伝達する。このとき、車両機器制御手段２１は、認識された車線の境界位置に基づいて、自車両１が車線を逸脱する可能性があるか否か（車線維持支援処理を行うべきか否か）を判定する車線逸脱判定処理を実行する。そして、車線を逸脱する可能性がある場合に、車線を規定するレーンマークの色及び形状に基づいて制御レベルを選択し、この制御レベルに応じて操舵アシストトルクを発生して車線維持支援処理を実行する。

画像処理ユニット１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。また、ＥＣＵ２０も、各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。

画像処理ユニット１０は、そのコンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、画像取得手段１１、レーンマーク検出用画像取得手段１２、クラスタリング手段１３、色判定手段１４、車線認識手段１５、種別判定手段１６、カーネル設定手段３１、平滑化手段３２、変化度合算出手段３３、及び画素値置換手段１４として機能する。また、ＥＣＵ２０は、そのコンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、車両機器制御手段２１として機能する。

次に、車両用車線認識装置による作動（車両用車線認識処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両用車線認識装置の制御周期毎に繰り返し実行される。

図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データは、Ｒ値、Ｇ値、Ｂ値からなるカラー成分で構成されている。取得されたカラー画像はＡ／Ｄ変換されて画像メモリに格納される。図５（ａ）に、ある制御周期の時刻においてカメラ２を介して取得されるカラー画像Ｉ₁を例示する。カラー画像Ｉ₁は、図５（ａ）に例示するような、m×n個の画素からなる画像である。カラー画像Ｉ₁の各画素Ｐ₁は、カラー成分としてＲ値，Ｇ値，Ｂ値を有するものであり、Ｐ₁（i，j）＝（Ｒ_ij，Ｇ_ij，Ｂ_ij）で表される。ただし、i，jは、各画素の座標であり、0≦i＜m，0≦j＜nとなる整数である。

図５（ａ）の例では、自車両１が矢印方向に走行しており、自車両１が走行している道路の車線の左側を規定するレーンマークが破線の黄線Ａ１（レーンマークａ１〜ａ６から構成される）であり、右側を規定するレーンマークが破線の白線Ａ２（レーンマークａ７〜ａ１２から構成される）である場合を示す。

次に、ＳＴＥＰ２で、レーンマーク検出用画像取得手段１２は、ＳＴＥＰ１で取得した道路のカラー画像から、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得する。このレーンマーク検出用画像を取得する処理は、図４に示すフローチャートのように行われる。

図４を参照して、ＳＴＥＰ２１で、平滑化手段３２は、ＳＴＥＰ１で取得したカラー画像Ｉ₁の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、画素の輝度Ｙを算出し、この輝度Ｙを画素値とする輝度画像Ｉ₂を取得すると共に、画素の彩度Ｓを算出し、この彩度Ｓを画素値とする彩度画像Ｉ₃を取得する。

詳細には、平滑化手段３２は、カラー画像Ｉ₁の各画素Ｐ₁（i，j）のカラー成分（Ｒ_ij，Ｇ_ij，Ｂ_ij）から、Ｙ_ij＝α×Ｒ_ij＋β×Ｇ_ij＋γ×Ｂ_ijにより輝度Ｙ_ijを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。これにより、図６（ａ）に例示するような、輝度Ｙ_ijを各画素Ｐ₂（i，j）のデータとする、m×n個の画素からなる輝度画像Ｉ₂が取得される。なお、画像取得手段１１は、輝度Ｙ_ijを、（Ｒ_ij，Ｇ_ij，Ｂ_ij）のうちの最大値MAX_ij、最小値MIN_ijを用いて、Ｙ_ij＝（MAX_ij＋MIN_ij）／２により算出してもよい。または、平滑化手段３２は、輝度Ｙ_ijとしてＧ_ij値を用いるものとしてもよい。図６（ａ）に示すように、輝度画像Ｉ₂において、白線Ａ２の画像部分は輝度が大きく、黄線Ａ１の画像部分は白線Ａ２より輝度が小さい。また、路面の画像部分はさらに輝度が小さく平均的な路面の輝度となる。

これと共に、平滑化手段３２は、カラー画像Ｉ₁の各画素Ｐ₁（i，j）のＲ値，Ｇ値，Ｂ値（Ｒ_ij，Ｇ_ij，Ｂ_ij）から、Ｓ_ij＝（MAX_ij−MIN_ij）／MAX_ijにより彩度Ｓ_ijを算出する。これにより、図６（ｂ）に例示するような、彩度Ｓ_ijを各画素Ｐ₃（i，j）のデータとする、m×n個の画素からなる彩度画像Ｉ₃が取得される。図６（ｂ）に示すように、彩度画像Ｉ₃において、黄線Ａ１の画像部分は彩度が大きく、白線Ａ２の画像部分は黄線Ａ１より彩度が小さい。また、路面の画像部分はさらに彩度が小さく平均的な路面の彩度となる。

次に、ＳＴＥＰ２２で、カーネル設定手段３１は、ＳＴＥＰ２１で取得した輝度画像Ｉ₂と彩度画像Ｉ₃に対して、複数のサイズの平滑化用のカーネルを設定する。このとき、カーネル設定手段３１は、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定する。

図６（ｃ）に、輝度画像Ｉ₂に対して設定された５つの平滑化用のカーネルＫ₁〜Ｋ₅を例示する。なお、彩度画像Ｉ₃に対しても、輝度画像Ｉ₂と同様に平滑化用のカーネルＫ₁〜Ｋ₅が設定される。平滑化用のカーネルＫ₁〜Ｋ₅は、それぞれ、輝度画像Ｉ₂の領域Ｒ₁〜Ｒ₅に含まれる画素を中心画素として平滑化する際に用いられる。

平滑化用のカーネルＫ₁〜Ｋ₅の縦方向のサイズＹ_ｆ［Pixel］は、いずれも数画素（例えば、1〜3［Pixel］）とする。領域Ｒ₁〜Ｒ₅は、自車両１から離れるにしたがって、段階的に縦方向の幅を狭くしている。なお、サイズＹ_ｆは、自車両１からの距離が離れるほど小さくなるような値を用いてもよい。

また、平滑化用のカーネルＫ₁〜Ｋ₅の横方向のサイズＸ_ｆ［Pixel］は、実空間における所定幅ΔＸに該当する値とする。所定幅ΔＸとしては、レーンマークの幅と想定される値（例えば、0.1〜0.75［m］）より大きい値（例えば、レーンマークの幅の数倍、具体的には0.5〜1［m］）が用いられる。なお、所定幅ΔＸは、道路の幅と想定される値よりは小さい値とする。平滑化用のカーネルＫ₁〜Ｋ₅の横方向のサイズＸ_ｆは、例えば、それぞれ10，20，50，100，150［Pixel］となる。サイズＸ_ｆは、自車両１の実空間座標系と画像座標系との関係（カメラ２の取り付け位置、焦点距離、画素間隔等により定まる）から、自車両１からの距離が離れるほど小さくなるような値に設定される。

図４に戻り、次に、ＳＴＥＰ２３で、平滑化手段３２は、ＳＴＥＰ２２で設定した平滑化用のカーネルＫ₁〜Ｋ₅を用いたフィルタ処理により、輝度画像Ｉ₂と彩度画像Ｉ₃とをそれぞれ平滑化する。平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用カーネルを配置し、平滑化用カーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。

図６（ｄ）に、平滑化後の輝度画像Ｉ₄を示す。平滑化により、輝度画像Ｉ₂内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の輝度画像Ｉ₄では、白線Ａ２の画像部分の画素値も、平均的な路面の輝度に近い画素値となっている。

また、図６（ｅ）に、平滑化後の彩度画像Ｉ₅を示す。平滑化により、彩度画像Ｉ₃内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の彩度画像Ｉ₅では、黄線Ａ１の画像部分の画素値も、平均的な路面の彩度に近い画素値となっている。

次に、カラー画像₁の全画素（i＝1〜m，j＝1〜n）について、ＳＴＥＰ２４〜２７の処理が実行される。

まず、ＳＴＥＰ２４で、変化度合算出手段３３は、ＳＴＥＰ２２で取得した輝度画像Ｉ₂の画素値Ｐ₂（i，j）から、ＳＴＥＰ２３の平滑化後の輝度画像Ｉ₄の画素値Ｐ₄（i，j）を減算して、画素（i，j）の輝度の変化度合ΔＩ_Y（i，j）＝Ｐ₂（i，j）−Ｐ₄（i，j）を算出する。

次に、ＳＴＥＰ２５で、変化度合算出手段３３は、ＳＴＥＰ２２で取得した彩度画像Ｉ₃の画素値Ｐ₃（i，j）から、ＳＴＥＰ２３の平滑化後の彩度画像Ｉ₅の画素値Ｐ₅（i，j）を減算して、画素（i，j）の彩度の変化度合ΔＩ_S（i，j）＝Ｐ₃（i，j）−Ｐ₅（i，j）を算出する。

次に、ＳＴＥＰ２６で、画素値置換手段３４は、輝度の変化度合ΔＩ_Y（i，j）が所定値Ｉ_Yth以下であり、且つ彩度の変化度合ΔＩ_S（i，j）が所定値Ｉ_Sth以下であるか否かを判断する。所定値Ｉ_Ythは、レーンマーク（白線）の画像部分の輝度の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。また、所定値Ｉ_Sthは、レーンマーク（黄線）の画像部分の彩度の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。

ＳＴＥＰ２６の判断結果がＹＥＳの場合は、画素（i，j）が、輝度の変化度合ΔＩ_th（i，j）が小さく且つ彩度の変化度合ΔＩ_S（i，j）が小さい画像部分、すなわち、平滑化前後で輝度及び彩度の変化が小さい路面の画像部分と想定される。よって、ＳＴＥＰ２７に進み、画素値置換手段３４は、カラー画像Ｉ₁の画素値Ｐ₁（i，j）を予め定められた一定値Ｐ_cに置換し、ＳＴＥＰ５に戻る。なお、一定値Ｐ_cは、例えば、レーンマークの画像部分の画素値が取り得る値より十分小さい値（例えば（０，０，０））である。

一方、ＳＴＥＰ２６の判断結果がＮＯの場合は、画素（i，j）が輝度が大きい白線Ａ２の画像部分か、彩度が大きい黄線Ａ１の画像部分であると想定される。よって、画素値置換手段３４は、画素（i，j）の画素値を置換せずに、そのままＳＴＥＰ２５に戻る。

レーンマーク検出用画像取得手段１２は、カラー画像Ｉ₁の全画素についてＳＴＥＰ２４〜２６の処理が実行された結果として得られる、画素値が置換された後のカラー画像を、レーンマーク検出用画像Ｉ₆として取得する。取得されたレーンマーク検出用画像Ｉ₆を図５（ｂ）に示す。図５（ｂ）において、ハッチングを付した部分が、カラー画像Ｉ₁の画素値のまま保持された画素からなる領域であり、第１画像領域に相当する。また、それ以外の白抜きの部分が、画素値が一定値に置換された画素からなる領域であり、第２画像領域に相当する。図５（ｂ）に示すように、画素値が置換された後のカラー画像では、黄線Ａ１、白線Ａ２の画像部分のみがカラー画像Ｉ₁の画素値のまま保持されることから、この領域を、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域とすることができる。

図３に戻り、次に、ＳＴＥＰ３で、クラスタリング手段１３は、ＳＴＥＰ２で取得されたレーンマーク検出用画像の第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を実行する。具体的には、クラスタリング手段１３は、レーンマーク検出用画像Ｉ₆の第１画像領域について輪郭線追跡を行い、１つの輪郭線で囲まれた閉領域を１つの部分領域とする。例えば、図７（ａ）の領域Ｒについて、図７（ｂ）に示すように輪郭線を追跡して、１つの輪郭線Ｌで囲まれた閉領域を１つの部分領域Ｃとする。このクラスタリング処理により図８（ａ）に示すように、レーンマーク検出用画像Ｉ₆の第１画像領域が、部分領域Ｃ₁〜Ｃ₁₂に分割される。

次に、ＳＴＥＰ４で、車線認識手段１５は、ＳＴＥＰ３で得られた部分領域Ｃ₁〜Ｃ₁₂のうち、所定方向の幅が、該所定方向に対応するレーンマークの幅に応じて設定された所定範囲外となる部分領域を、処理の対象から除外する。具体的には、車線認識手段１５は、自車両１の実空間座標系と画像座標系との関係を用いて、部分領域Ｃ₁〜Ｃ₁₂を実空間座標系に変換する。図９に、実空間上での部分領域Ｃ₁〜Ｃ₁₂を例示する。次に、車線認識手段１５は、実空間上での部分領域Ｃ₁〜Ｃ₁₂の幅Ｗ₁〜Ｗ₁₂が、実空間上でのレーンマークの幅に応じて設定される範囲Ｗ_th1〜Ｗ_th2（例えば0.05〜1［m］）外か否かを判断する。そして、範囲Ｗ_th1〜Ｗ_th2外と判断された部分領域は、レーンマークの画像部分ではないと想定されることから、車線認識手段１５は、当該部分領域を、以降の処理の対象から除外する。図９に示した例では、部分領域Ｃ₁〜Ｃ₁₂の幅Ｗ₁〜Ｗ₁₂は、全て範囲Ｗ_th1〜Ｗ_th2内であると判断され、全て以降の処理の対象となる。

次に、ＳＴＥＰ５で、色判定手段１４は、クラスタリング処理により分割された第１画像領域の各部分領域の色を判定する。具体的には、色判定手段１４は、各部分領域について、所定の色（例えば白、黄、その他（青、赤、緑）等に分類）に画素毎に投票する投票処理を行い、各部分領域の色を判定する。図８（ａ）に示した例では、部分領域Ｃ₁〜Ｃ₆は色が黄色と判定され、部分領域Ｃ₇〜Ｃ₁₂は色が白色と判定される。

次に、ＳＴＥＰ６で、車線認識手段１５は、ＳＴＥＰ５で色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される車線の境界位置を認識する。直線成分を抽出する手法としては、ハフ変換や、最小２乗法による直線の当てはめ等の手法を用いることができる。そして、抽出された直線成分と、これらの直線成分と自車両１との位置関係等に基いて、車線の境界位置を認識する。図８（ａ）に示した例では、図８（ｂ）に示すように、部分領域Ｃ₁〜Ｃ₆からなるグループから、直線成分Ｌ１が抽出され、部分領域Ｃ₇〜Ｃ₁₂からなるグループから、直線成分Ｌ２が抽出される。そして、車線認識手段１５は、この抽出された直線成分Ｌ１，Ｌ２を画像上での車線の左右の境界位置として認識し、実空間座標系に変換することで、実空間上での車線の境界位置を取得する。

次に、ＳＴＥＰ７で、車線認識手段１５は、車線を規定するレーンマークの色を認識する。具体的には、車線認識手段１５は、直線成分が抽出されたグループを構成する部分領域の色を、該直線成分から認識された車線を規定するレーンマークの色として認識する。すなわち、図８（ｂ）に示した例では、車線認識手段１５は、直線成分Ｌ１が抽出されたグループを構成する部分領域Ｃ₁〜Ｃ₆についてＳＴＥＰ５で判定された色（黄色）を、直線成分Ｌ１から認識された車線を規定するレーンマークの色として認識する。また、車線認識手段１５は、直線成分Ｌ２が抽出されたグループを構成する部分領域Ｃ₇〜Ｃ₁₂についてＳＴＥＰ５で判定された色（白色）を、直線成分Ｌ２から認識された車線を規定するレーンマークの色として認識する。

次に、ＳＴＥＰ８で、種別判定手段１６は、認識された車線を規定するレーンマークの種別を判定する。このとき、種別判定手段１６は、直線成分が抽出されたグループを構成する、該直線成分の近傍の部分領域の分布状態に基づいて、該直線成分から認識された車線を規定するレーンマークの種別を判定する。具体的には、種別判定手段１６は、図９に示すように、直線成分Ｌ１のうち、部分領域Ｃ₁〜Ｃ₆の自車両１に最も近い箇所から最も遠い箇所までの線分の長さＤと、各部分領域Ｃ₁〜Ｃ₆の長さｄ₁〜ｄ₆の総和との比（（ｄ₁+ｄ₂+ｄ₃+ｄ₄+ｄ₅+ｄ₆）／Ｄ）を算出する。そして、この算出した比が所定値Ｄ_th以上の場合、この直線成分Ｌ１から認識された車線を規定するレーンマークの種別を実線と判定し、所定値Ｄ_th未満の場合、破線と判定する。直線成分Ｌ２についても同様である。図９に示した例では、直線成分Ｌ１、Ｌ２について、それぞれ破線と判定される。

次に、ＳＴＥＰ９で、車両機器制御手段２１は、認識された車線のデータに基づいて、車線逸脱判定処理を実行する。具体的には、車両機器制御手段２１は、認識された車線の境界位置と、現在の自車両１の位置や車速等とから、自車両１が認識された車線から逸脱する可能性を判定する。そして、車両機器制御手段２１は、車線から逸脱する可能性が高い場合に、車線維持支援処理を行うべきと判断する。

次に、ＳＴＥＰ１０で、車両機器制御手段２１は、ＳＴＥＰ９で車線維持支援処理を行うべきと判断された場合、認識された車線のデータに基づいて、車線維持支援処理を実行する。具体的には、車両機器制御手段２１は、認識された車線の境界位置と、現在の自車両１の位置や車速等とから、自車両１が認識された車線に沿って走行するように目標ヨーレートを設定する。そして、車両機器制御手段２１は、目標ヨーレートと、自車両１に備えられたヨーレートセンサの出力との偏差が解消するように操舵アシストトルクを算出し、この算出した操舵アシストトルクをステアリング装置のアクチュエータに発生させる。

このとき、車両機器制御手段２１は、認識された車線を規定するレーンマークの色及び種別に応じて、ステアリング装置の制御を変更する。具体的には、車両機器制御手段２１は、レーンマークの色及び種別から判断される道路法規上の意味に応じて、設定される制御量（目標ヨーレート）の大きさを変更することで、車線維持支援処理の制御レベルを変更する。これにより、車線からの逸脱の可能性や道路法規に合致するように自車両１のステアリング装置をアシスト駆動して、自車両１の走行制御を行うことができる。

例えば、日本では、道路法規上、車線を規定するレーンマークが、白色の実線の場合、はみ出し禁止を意味し、黄線の場合、追い越しのための右側はみ出し禁止を意味し、白色の破線の場合、はみ出し可を意味する。よって、車線から逸脱する可能性があると判断したとき、白色の実線の場合に、最も強い制御レベル１で車線維持支援処理を行い、黄線の場合、中の制御レベル２で車線維持支援処理を行い、白色の破線の場合、最も弱い制御レベル３で車線維持支援処理を行う。

また、例えば、米国では、道路法規上、車線を規定するレーンマークが、白色又は黄色の実線の場合、はみ出し禁止を意味し、黄色の破線の場合、追い越しのための右側はみ出し禁止を意味し、白の破線の場合、はみ出し可を意味する。よって、車線から逸脱する可能性があると判断したとき、白色又は黄色の実線の場合に、最も強い制御レベル１で車線維持支援処理を行い、黄色の破線の場合、中の制御レベル２で車線維持支援処理を行い、白の破線の場合、最も弱い制御レベル３で車線維持支援処理を行う。

以上が、本実施形態の車両用車線認識装置における車両用車線認識処理である。本実施形態によれば、自車両１が走行している道路のカラー画像から、多様な色や種別のレーンマークＡ１，Ａ２を区別して車線を認識することができる。そして、車線の境界位置と共に、車線を規定しているレーンマークＡ１，Ａ２の色や種別を精度良く認識し、この認識結果に基づいて、自車両１の走行制御を行うことができる。

なお、本実施形態では、車両機器制御手段２１は、車線を規定するレーンマークの色及び種別に応じて、車線維持支援処理の制御レベルを変更するものとしたが、他の実施形態として、車線逸脱判定処理の判定基準のレベルを変更するものとしてもよい。

また、本実施形態では、車両機器制御手段２１は、車線維持支援処理において、機
器としてステアリング装置を制御するものとしたが、他の実施形態として、自車両１のブレーキ装置やアクセル装置を制御（アシスト駆動）するものとしてもよい。また、車両機器制御手段２１は、機器として自車両１に搭載されたスピーカや表示装置を制御し、自車両１が車線から逸脱する可能性がある場合に、スピーカや表示装置を介して自車両１０の運転者に複数の種類の注意喚起情報を切り替えて出力する注意喚起出力処理を実行するものとしてもよい。このとき、車両機器制御手段２１は、認識された車線のデータに応じて、出力する注意喚起情報を切り替える。これにより、車線からの逸脱の可能性や道路法規に合致するように自車両１の機器を制御して、運転者への情報提示を適切に行うことができる。さらに、車両機器制御手段２１は、車線維持支援処理と注意喚起出力処理とを、並行して行うようにしてもよい。

なお、本実施形態では、変化度合算出手段３３は、変化度合として画素値の差を用いたが、他の実施形態において、変化度合として、取得された画像を平滑化後の画像で除算して得られる各画素の画素値の比を用いるものとしてもよい（ΔＩ_Y（i，j）＝Ｐ₂（i，j）／Ｐ₄（i，j）、ΔＩ_S（i，j）＝Ｐ₃（i，j）／Ｐ₅（i，j））。この場合、所定値Ｉ_Yth，Ｉ_Sthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、１以下の値）とする。

また、本実施形態では、画像取得手段１１は、画素データがＲ値、Ｇ値、Ｂ値からなるカラー成分で構成されるカラー画像を取得するものとしたが、他の実施形態として、画素データがＣＭＹ出力等からなるカラー成分で構成されるカラー画像を取得するものとしてもよい。

また、本実施形態では、レーンマーク検出用画像取得手段１２は、輝度画像と彩度画像のそれぞれについて平滑化処理・画素値置換処理を行った後の画像を、レーンマーク検出用画像として取得するものとしたが、輝度及び彩度のいずれか一方、或いは輝度及び彩度以外を画素値とする画像を取得して平滑化処理・画素値置換処理を行い、レーンマーク検出用画像を取得するものとしてもよい。

また、本実施形態では、レーンマーク検出用画像取得手段１２は、カラー画像に平滑化処理・画素値置換処理を行った後の画像を、レーンマーク検出用画像として取得するものとしたが、他の手法により第１画像領域と第２画像領域とを分けて、レーンマーク検出用画像を取得するものとしてもよい。

本発明の車両用車線認識装置の自車両への搭載態様を示した説明図。 本発明の車両用車線認識装置の構成図。 図２に示した車両用車線認識装置による車両用車線認識処理を示すフローチャート。 図３の車両用車線認識処理におけるレーンマーク検出用画像の取得処理を示すフローチャート。 図３の車両用車線認識処理の処理画像例及び説明図。 図４のレーンマーク検出用画像の取得処理の処理画像例及び説明図。 図３の車両用車線認識処理におけるクラスタリング処理の説明図。 図３の車両用車線認識処理における直線成分抽出処理の説明図。 図３の車両用車線認識処理における実空間上での部分領域の説明図。

符号の説明

１…車両（自車両）、２…カメラ（撮像手段）、１０…画像処理ユニット、１１…画像取得手段、１２…レーンマーク検出用画像取得手段、１３…クラスタリング手段、１４…色判定手段、１５…車線認識手段、１６…種別判定手段、２０…ＥＣＵ、２１…車両機器制御手段、３１…カーネル設定手段、３２…平滑化手段、３３…変化度合算出手段、３４…画素値置換手段。

Claims (10)

1. 車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する車両用車線認識装置において、
   前記撮像手段を介して取得した道路のカラー画像から、前記車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得するレーンマーク検出用画像取得手段と、
   前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、
   前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、
   前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、
   前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする車両用車線認識装置。
2. 請求項１記載の車両用車線認識装置において、
   前記車線認識手段は、前記直線成分が抽出された前記グループを構成する前記部分領域の色を、該直線成分から認識された車線を規定するレーンマークの色として認識し、
   前記車両機器制御手段は、少なくとも前記車線認識手段により認識された前記車線の境界位置と該車線を規定するレーンマークの色とに応じて、前記車両の機器を制御することを特徴とする車両用車線認識装置。
3. 請求項1又は２記載の車両用車線認識装置において、
   前記直線成分が抽出された前記グループを構成する、該直線成分の近傍の前記部分領域の分布状態に基づいて、該直線成分から認識された前記車線を規定するレーンマークの種別を判定する種別判定手段を備え、
   前記車両機器制御手段は、少なくとも前記車線認識手段により認識された前記車線の境界位置と該車線を規定するレーンマークの種別とに応じて、前記車両の機器を制御することを特徴とする車両用車線認識装置。
4. 請求項１〜３のうちいずれか記載の車両用車線認識装置において、
   前記車線認識手段は、前記部分領域のうち、所定方向の幅が、該所定方向に対応するレーンマークの幅に応じて設定された所定範囲外となる部分領域を、前記直線成分抽出処理の対象から除外することを特徴とする車両用車線認識装置。
5. 請求項１〜４のうちいずれか記載の車両用車線認識装置において、
   前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、
   前記取得されたカラー画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
   前記平滑化手段により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
   前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段とを備え、
   前記レーンマーク検出用画像取得手段は、前記画素値置換手段により画素値が置換された後のカラー画像を、前記レーンマーク検出用画像として取得することを特徴とする車両用車線認識装置。
6. 請求項１〜４のうちいずれか記載の車両用車線認識装置において、
   前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、
   前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化手段と、
   前記平滑化手段により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化手段により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出手段と、
   前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段とを備え、
   前記レーンマーク検出用画像取得手段は、前記画素値置換手段により画素値が置換された後のカラー画像を、前記レーンマーク検出用画像として取得することを特徴とする車両用車線認識装置。
7. 請求項１〜６のうちいずれか記載の車両用車線認識装置において、
   前記機器は、前記車両の運転者に、複数の種類の注意喚起情報を切り替えて出力する機器であり、該車両機器制御手段は、前記車線認識手段の認識結果に応じて該機器により該運転者に出力する注意喚起情報を切り替えることを特徴とする車両用車線認識装置。
8. 請求項１〜７のうちいずれか記載の車両用車線認識装置において、
   前記機器は、前記車両の複数の走行制御を変更する機器であり、該車両機器制御手段は、前記車線認識手段の認識結果に応じて該機器により該車両の走行制御を変更することを特徴とする車両用車線認識装置。
9. 撮像手段を備え、該撮像手段を介して取得した道路のカラー画像から、走行している車線を認識する機能を有する車両であって、
   前記撮像手段を介して取得した道路のカラー画像から、前記車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得するレーンマーク検出用画像取得手段と、
   前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、
   前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、
   前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、
   前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えたことを特徴とする車両。
10. 車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する処理をコンピュータに実行させる車両用車線認識プログラムであって、
    前記撮像手段を介して取得した道路のカラー画像から、前記車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得するレーンマーク検出用画像取得処理と、
    前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理と、
    前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定処理と、
    前記色判定処理により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識処理と、
    前記車線認識処理の認識結果に応じて、前記車両の機器を制御する車両機器制御処理とをコンピュータに実行させる機能を有することを特徴とする車両用車線認識プログラム。

Images