JP2006309605A - 車両、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】レーンマークの認識制度を向上させ得る画像処理システム等を提供する。
【解決手段】本発明の画像処理システムによれば、路面画像の各画素の輝度に基づき、第１処理手段１１０によってレーンマーク候補が認識される。また、レーンマーク候補のエッジの連続性を表す第１指数と、レーンマーク候補の幅とレーンマークの規格幅との整合性を表す第２指数と、レーンマーク候補に含まれる画素の輝度の一様性を表す第３指数とが評価される。そして、第１、第２及び第３指数に基づき、第２処理手段１２０によって真のレーンマークに該当する可能性が最も高いレーンマーク候補がレーンマークとして認識される。
【選択図】 図１

Description

本発明は、車両、画像処理システム、画像処理方法、及び当該画像処理機能をコンピュータに付与するプログラムに関する。

従来、車両に搭載された撮像手段により撮影された車両前方の路面画像に基づき、白線等のレーンマークを認識するための画像処理方法が提案されている（例えば、特許文献１，２参照）。レーンマークの認識結果は、例えば、車両の横位置を、車両の左右にあるレーンマークの位置を基準として制御するために利用される。先行技術によれば、路面画像に含まれる白線の輝度が他の路面部分よりも高くなるという性質を利用してその白線（又はそのエッジ）が認識される。
特開平１１−１４７４７３号公報 特開平１１−１４７４８１号公報

しかし、当該先行技術によれば、白線のそばにガードレール等の影や、道路補修跡がある場合、路面画像において輝度差が生じるため、白線ではない部分が白線であると認識される可能性があり、白線の認識結果に基づく車両の横位置制御が、実際の白線に鑑みてドライバに違和感を覚えさせる不適切なものになることを裂けるために、車両の横位置制御を停止しなければならないおそれがある。

そこで、本発明は、レーンマークの認識制度を向上させ得る画像処理システム及び画像処理方法、当該画像処理システムが搭載された車両、及び当該画像処理機能をコンピュータに付与するプログラムを提供することを解決課題とする。

前記課題を解決するための本発明の車両は、撮像手段と、撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理システムと、画像処理システムによる画像処理結果に基づいて車両の走行状態を制御する車両走行状態制御システムとが搭載され、画像処理システムが、撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理手段と、第１処理手段により認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価手段と、第１処理手段により認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価手段と、第１処理手段により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価手段と、第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理手段とを備えている。

白線等のレーンマークはそのエッジが連続しており、その幅は規格幅にほぼ一致しており、且つ、明暗領域が混在する路面と比較して輝度がほぼ一様である。本発明の車両によれば、搭載されている画像処理システムにおいて、かかる事情に鑑みて、レーンマーク候補のエッジの連続性を表す「第１指数」、レーンマーク候補の幅（複数箇所における幅の平均値が含まれる。）とレーンマークの規格幅との整合性を表す「第２指数」及びレーンマーク候補に含まれる画素の輝度の一様性を表す「第３指数」に基づき、レーンマーク候補の中からレーンマークが選定される。これにより、レーンマーク候補の中から真のレーンマークに該当する可能性が最も高いものが認識され得る。従って、レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

また、本発明の車両は、第１評価手段が、第１処理手段により認識されたレーンマーク候補の複数のエッジ点に基づき、レーンマーク候補のエッジの近似表現式を設定し、複数のエッジ点と近似表現式とのずれの増加関数に従って第１指数として評価することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、レーンマーク候補のエッジが滑らかに連続しているほど（連続性が高いほど）、当該エッジの近似表現式とエッジ点とのずれが小さく、第１指数が小さく評価される。従って、第１指数が小さいレーンマーク候補ほど、レーンマークとして認識される可能性が高くなる。これにより、レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

さらに、本発明の車両は、第２評価手段が、レーンマークの複数の規格幅のうち、第１処理手段により認識されたレーンマーク候補の幅に最も近いものを選定した上で、レーンマーク候補の幅と、レーンマークの選定された規格幅との偏差の増加関数に従って第２指数を評価することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、道路の存在する国、州、都道府県等の行政区分の違い、レーンマークを路面に設けた時期の違い等により、レーンマークの規格幅にバリエーションがあることに鑑み、該当する可能性が最も高いレーンマークの規格幅を基準として第２指数が評価される。また、レーンマーク候補の幅が、レーンマークの規格幅に一様に整合するほど（レーンマークの規格幅との整合性が高いほど）、第２指数が小さく評価される。従って、第２指数が小さいレーンマーク候補ほど、レーンマークとして認識される可能性が高くなる。これにより、レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

また、本発明の車両は、第３評価手段が、第１処理手段により認識されたレーンマーク候補の画素の輝度ヒストグラムを作成し、ヒストグラムの輝度空間におけるばらつきを表す指数を第３指数として評価することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、輝度ヒストグラムの利用によりレーンマーク候補に含まれる画素の輝度の一様性が適切に評価され得る。これにより、レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

さらに、本発明の車両は、第３評価手段が、ヒストグラムに複数のピークがある場合、１つのピークのみを含むようにヒストグラムを分割し、分割された各ヒストグラムの輝度空間におけるばらつきを表す指数を算定し、これら指数に基づいて第３指数を評価することを特徴とする。

レーンマークに部分的に影がさすことで輝度のヒストグラムが複数のピークを有する可能性がある。本発明の車両によれば、搭載されている画像処理システムにおいて、このような事情が考慮されて、影等の外来的因子によってレーンマーク候補のヒストグラムが輝度空間においてばらついても、当該レーンマーク候補の画素の輝度の一様性が適切に評価され得る。レーンマーク候補のエッジが不連続であるために第１指数が第１許容範囲から外れている場合、又はレーンマーク候補の幅がレーンマークの規格幅に整合しないために第２指数が第２許容範囲から外れている場合、白線等のレーンマークがかすれている可能性が高い。かかる事情に鑑みて、本発明の車両によれば、このような場合、搭載されている画像処理システムにおいて、エッジの連続性等よりも輝度の一様性が重視されることで、かすれているレーンマークでも精度よく認識される。レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

また、本発明の車両は、第３評価手段が、ヒストグラムの輝度空間におけるばらつきを表す指数として標準偏差を算出し、この標準偏差を第３指数として評価することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、レーンマーク候補に含まれる画素の輝度が一様であるほど、輝度ヒストグラムの標準偏差、すなわち、第３指数が小さく評価される。従って、第３指数が小さいレーンマーク候補ほど、レーンマークとして認識される可能性が高くなる。レーンマーク候補のエッジが不連続であるために第１指数が第１許容範囲から外れている場合、又はレーンマーク候補の幅がレーンマークの規格幅に整合しないために第２指数が第２許容範囲から外れている場合、白線等のレーンマークがかすれている可能性が高い。かかる事情に鑑みて、本発明の車両によれば、このような場合、搭載されている画像処理システムにおいて、エッジの連続性等よりも輝度の一様性が重視されることで、かすれているレーンマークでも精度よく認識され得る。これにより、レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

さらに、本発明の車両は、第２処理手段が、第１評価手段により評価された第１指数が第１許容範囲から外れている場合又は第２評価手段により評価された第２指数が第２許容範囲から外れている場合、第１及び第２指数の重要度よりも第３指数の重要度を高くした上で、レーンマークを認識することを特徴とする。

レーンマーク候補のエッジが不連続であるために第１指数が第１許容範囲から外れている場合、又はレーンマーク候補の幅がレーンマークの規格幅に整合しないために第２指数が第２許容範囲から外れている場合、白線等のレーンマークがかすれている可能性が高い。かかる事情に鑑みて、本発明の車両によれば、このような場合、搭載されている画像処理システムにおいて、エッジの連続性等よりも輝度の一様性が重視されることで、かすれているレーンマークでも精度よく認識され得る。レーンマーク候補のエッジが不連続であるために第１指数が第１許容範囲から外れている場合、又はレーンマーク候補の幅がレーンマークの規格幅に整合しないために第２指数が第２許容範囲から外れている場合、白線等のレーンマークがかすれている可能性が高い。かかる事情に鑑みて、本発明の車両によれば、このような場合、画像処理システムにおいて、エッジの連続性等よりも輝度の一様性が重視されることで、かすれているレーンマークでも精度よく認識され得る。これにより、レーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を、車両とレーンマークとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

前記課題を解決するための本発明の画像処理システムは、車両搭載撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理手段と、第１処理手段により認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価手段と、第１処理手段により認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価手段と、第１処理手段により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価手段と、第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理手段とを備えている。

本発明の画像処理システムによれば、レーンマーク候補のエッジの連続性を表す「第１指数」、レーンマーク候補の幅とレーンマークの規格幅との整合性を表す「第２指数」及びレーンマーク候補に含まれる画素の輝度の一様性を表す「第３指数」に基づき、レーンマーク候補の中からレーンマークが選定される。これにより、レーンマーク候補の中から真のレーンマークに該当する可能性が最も高いものが認識され得る。従って、レーンマークの認識精度を向上させることができる。

また、本発明の画像処理システムは、第１評価手段が、第１処理手段により認識されたレーンマーク候補の複数のエッジ点に基づき、レーンマーク候補のエッジの近似表現式を設定し、複数のエッジ点と近似表現式とのずれの増加関数に従って第１指数として評価することを特徴とする。

さらに、本発明の画像処理システムは、第２評価手段が、レーンマークの複数の規格幅のうち、第１処理手段により認識されたレーンマーク候補の幅に最も近いものを選定した上で、レーンマーク候補の幅とレーンマークの選定された規格幅との偏差の増加関数に従って第２指数を評価することを特徴とする。

また、本発明の画像処理システムは、第３評価手段が、第１処理手段により認識されたレーンマーク候補の画素の輝度ヒストグラムを作成し、ヒストグラムの輝度空間におけるばらつきを表す指数を第３指数として評価することを特徴とする。

さらに、本発明の画像処理システムは、第３評価手段が、ヒストグラムに複数のピークがある場合、１つのピークのみを含むようにヒストグラムを分割し、分割された各ヒストグラムの輝度空間におけるばらつきを表す指数を算定し、これら指数に基づいて第３指数を評価することを特徴とする。

また、本発明の画像処理システムは、第３評価手段が、ヒストグラムの輝度空間におけるばらつきを表す指数として標準偏差を算出し、この標準偏差を第３指数として評価することを特徴とする。

さらに、本発明の画像処理システムは、第２処理手段が、第１評価手段により評価された第１指数が第１許容範囲から外れている場合、又は第２評価手段により評価された第２指数が第２許容範囲から外れている場合、第１及び第２指数の重要度よりも第３指数の重要度を高くした上で、レーンマークを認識することを特徴とする。

前記課題を解決するための本発明の画像処理方法は、車両搭載撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理ステップと、第１処理ステップにおいて認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価ステップと、第１処理ステップにおいて認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価ステップと、第１処理ステップにおいて認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価ステップと、第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理ステップとを含んでいる。

本発明の画像処理方法によれば、レーンマークはそのエッジが連続しており、その幅は規格幅にほぼ一致しており、且つ、明暗領域が混在する路面と比較して輝度がほぼ一様であるという事情に鑑みて、レーンマーク候補の中から真のレーンマークに該当する可能性が最も高いものを認識し得る。

前記課題を解決するための本発明の画像処理プログラムは、車両搭載撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理機能と、第１処理機能により認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価機能と、第１処理機能により認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価機能と、第１処理機能により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価機能と、第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理機能とをコンピュータに付与する。

本発明の画像処理プログラムによれば、レーンマークはそのエッジが連続しており、その幅は規格幅にほぼ一致しており、且つ、明暗領域が混在する路面と比較して輝度がほぼ一様であるという事情に鑑みて、レーンマーク候補の中から真のレーンマークに該当する可能性が最も高いものを認識し得る機能がコンピュータに付与される。

本発明の車両、画像処理システム、画像処理方法、及び画像処理プログラムの実施形態について図面を用いて説明する。

図１は本発明の一実施形態における画像処理システムの構成説明図であり、図２は本発明の一実施形態における画像処理方法の説明図であり、図３は路面画像の例示図であり、図４はレーンマーク候補の認識結果の例示図であり、図５はレーンマーク候補のエッジの連続性に関する説明図であり、図６はレーンマーク候補の幅とレーンマークの規格幅との整合性に関する説明図であり、図７はレーンマーク候補に含まれる画素の輝度の一様性に関する説明図である。

図１に示されている車両１０には、電子制御ユニット（コンピュータ）１１と、前方の路面画像を撮像するカメラ（撮像手段）１２とを備えている。また、車両１０には速度センサやヨーレートセンサ等のセンサが搭載されている（図示略）。

電子制御ユニット１１は、車両１０に搭載されているハードウェアとして、電子制御ユニット１１に諸機能を付与するソフトウェアとしての本発明の「画像処理プログラム」とともに画像処理システム１００を構成している。また、電子制御ユニット１１は、画像処理システム１００の画像処理結果に基づいて車両１０の横位置を含む走行状態を制御する「車両走行状態システム」を構成している。

画像処理システム１００は、記憶手段１０１と、輝度測定手段１０２と、第１処理手段１１０と、第１評価手段１１１と、第２評価手段１２と、第３評価手段１１３と、第２処理手段１２０とを備えている。

記憶手段１０１は、白線（レーンマーク）の複数の規格幅等を記憶する。

輝度測定手段１０２は、車両１０に搭載されているカメラ（カメラ）１２により撮像された路面画像の各画素の輝度を測定する。

第１処理手段１１０は、輝度測定手段１０２により測定された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する。

第１評価手段１１１は、第１処理手段１１０により認識されたレーンマーク候補のエッジの連続性を表す「第１指数」を評価する。

第２評価手段１１２は、第１処理手段１１０により認識されたレーンマーク候補の幅と、記憶手段１０１により記憶されているレーンマークの規格幅との整合性を表す「第２指数」を評価する。

第３評価手段１１３は、第１処理手段１１０により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す「第３指数」を評価する。

第２処理手段１２０は、第１評価手段１１１、第２評価手段１１２及び第３評価手段１１３のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する。

前記構成の画像処理システムにより実施される画像処理方法について図２〜図７を用いて説明する。

第１処理手段１１０が「第１処理」を実行する（図２／Ｓ１１０）。

具体的には、まず、輝度測定ユニット１０２により測定され、記憶手段１０１に格納されている路面画像の各点（画素）の輝度に基づき、全ての白線候補のエッジ点が認識（検出）される。エッジ点の認識方法としては、例えば特開平１１−８５９９９号公報に開示されている手法が採用されればよいので、本願明細書では詳細な説明を省略する。画面走査方向を右として、高輝度（明）から低輝度（暗）に転じるエッジ点は「負エッジ点」として認識され、低輝度（暗）から高輝度（明）に転じるエッジ点は「正エッジ点」として認識される。

例えば、図３に示されているようにレーンの左右両側に白線（レーンマーク）Ｍがあり、白線Ｍからレーン中央寄りに窪み（タイヤの轍）による影Ｔがあり、左側の白線Ｍに影Ｓがかかっている路面画像が撮像されたとする。なお、白線Ｍにかかる影としては、道路脇に設置されたガードレールや標識、道路脇に立っている建造物や植物、隣のレーンを走行している自動車等によるものが考えられる。この場合、図４に示されているように各白線Ｍの左エッジ上の点が正エッジ点（「＋」で表されている）として認識されるとともに、各白線Ｍの右エッジ上の点が負エッジ点（「−」で表されている）として認識される。また、左側の白線Ｍにかかっている影Ｓの一部のエッジ上の点が正エッジ点として認識され、左側の窪みによる影Ｔの左エッジ上の点が負エッジ点として認識される。これにより、一対の正エッジ点群及び負エッジ点群により挟まれた領域、すなわち、図４に示されている左白線Ｍと、影Ｓ及び影Ｔにより挟まれた領域と、右白線Ｍとがそれぞれレーンマーク候補（白線候補）Ｍ１，Ｍ２，Ｍ３として認識される。

次に、第１評価手段が、第１処理手段１１０により認識されたレーンマーク候補のエッジの連続性を表す「第１指数」を評価する「第１評価処理」を実行する（図２／Ｓ１１１）。

具体的には、まず、第１処理手段１１０により認識されたレーンマーク候補のレーン中央寄りのエッジ上の複数のエッジ点に基づき、レーンマーク候補のエッジの近似表現式が設定される。例えば、直線（１次式）ｙ＝ａｘ＋ｂ（ｘ：画像座標系における横位置、ｙ：画像座標系における縦位置）と、記憶手段１０１から読み出されたレーンマーク候補のエッジ点の座標とに基づき、最小二乗近似等の手法によってパラメータ「ａ」及び「ｂ」の値が算出されることで、これらパラメータの算出値により特定される１次式が、レーンマーク候補のエッジの近似表現式として設定される。また、２次式Ｙ＝ａＸ^２＋ｂＸ＋ｃ等の曲線式と、記憶手段１０１から読み出されたレーンマーク候補のエッジ点の座標とに基づき、最小二乗近似等の手法によってパラメータ「ａ」「ｂ」及び「ｃ」等の値が算出されることで、これらパラメータの算出値により特定される２次式等の曲線式が、レーンマーク候補のエッジの近似表現式として設定される。なお、レーンマーク候補のエッジの近似表現式が、車両１０に搭載されているヨーレートセンサや速度センサ等（図示略）の出力に基づき、補正されてもよい。

そして、複数のエッジ点と近似表現式とのｘ方向のずれΔｘ_ｉ（ｉ＝１，２，・・，ｎ）の平均値が次式（１ａ）に従って算出された上で第１指数ｐ１として評価される。

ｐ１＝（１／ｎ）Σ_ｉ（ｆ（ｙ_ｉ）・Δｘ_ｉ）^２ ・・（１ａ）
式（１ｂ）における「ｆ（ｙ_ｉ）」は、ｙ＝ｙ_ｉにおけるｘ方向の１画素あたりの路面上の距離に比例する重み係数である。

これにより、レーンマーク候補のエッジが滑らかに連続しているほど（連続性が高いほど）、第１指数ｐ１が小さく評価される。例えば、図５（ａ）に示されているように近似表現式により表される直線（又は曲線）Ｌと、各エッジ点（「×」で表されている）とのｘ方向のずれの二乗の平均値は、図５（ｂ）に示されている直線Ｌと、各エッジ点とのｘ方向のずれの二乗の平均値よりも小さくなる。従って、図５（ａ）に示されているエッジ点群が認識された場合、図５（ｂ）に示されているエッジ点群が認識された場合よりも第１指数ｐ１が小さく評価される。

なお、エッジ点が画像座標系（ｘ，ｙ）から道路座標系（Ｘ，Ｙ）に投影変換された上で、エッジの近似表現式が設定され、複数のエッジ点と近似表現式とのＸ方向のずれΔＸ_ｉ（ｉ＝１，２，・・，ｎ）の二乗の平均値が次式（１ｂ）に従って算出された上で第１指数ｐ１として評価されてもよい。

ｐ１＝（１／ｎ）Σ_ｉ（ΔＸ_ｉ）^２ ・・（１ｂ）
また、第２評価手段１１２が、第１処理手段１１０により認識されたレーンマーク候補の幅と、記憶手段１０１により記憶されているレーンマークの規格幅との整合性を表す「第２指数」を評価する「第２評価処理」を実行する（図２／Ｓ１１２）。具体的には、まず、記憶手段１０１により記憶されているレーンマークの複数の規格幅のうち、道路座標系において各レーンマーク候補の複数箇所における正エッジ点と負エッジ点との間隔の標準偏差（又は平均値）に最も近いものが選定される。そして、各レーンマーク候補の複数箇所における正エッジ点と負エッジ点との間隔ｗ_ｉ（ｉ＝１，２，・・，ｍ）と、当該規格幅ｗ_０とのずれの二乗の平均値が次式（２）に従って算出された上で、第２指数ｐ２として評価される。

ｐ２＝（１／ｍ）Σ（ｗ_ｉ−ｗ_０）^２ ・・（２）
これにより、レーンマーク候補の幅が、レーンマークの規格幅に一様に整合するほど（レーンマークの規格幅との整合性が高いほど）、第２指数ｐ２が小さく評価される。例えば、図６（ａ）に示されているように一様な幅で延びるレーンマーク候補Ｍ１のほうが、図６（ｂ）に示されているように幅が不安定なレーンマーク候補Ｍ２よりも、複数箇所における幅ｗ_ｉが、レーンマーク幅ｗ_０に全体的に一致するので、第２指数ｐ２が小さく評価される。

なお、車両１０の速度やヨーレート、さらにはカメラ１２の露光時間によって路面画像に生じる「ぶれ」が軽減又は解消されるように、車両１０に搭載された速度センサやヨーレートセンサ（図示略）の出力、及び記憶手段１０１により記憶されているカメラ１２の露光時間に基づき、第２評価手段１１２によって記憶手段１０１から読み出されたレーンマークの規格幅が補正されてもよい。

さらに、第３評価手段１１３が、第１処理手段１１０により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す「第３指数」を評価する「第３評価処理」を実行する（図２／Ｓ１１３）。具体的には、第１処理手段１１０により認識されたレーンマーク候補の画素の輝度が記憶手段１０１から読み出された上で、輝度のヒストグラムが作成される。ヒストグラムの横軸は一定幅の輝度区間に分割され、縦軸は各輝度区間に含まれる輝度を有する画素の累積数（頻度）を表す。

例えば、図４に示されている路面画像の左側にあるレーンマーク候補Ｍ１のヒストグラムは、図７（ａ）に示されているように高輝度側と低輝度側にそれぞれピークを有する幅広のヒストグラムとなる。このようにヒストグラムの分布が広がっているのは、図３に示されているように当該レーンマーク候補Ｍ１に対応する左白線Ｍの一部に影Ｓがかかっているためである。高輝度側のヒストグラムはこの白線Ｍのうち影Ｓがかかっていない部分のヒストグラムに該当し、低輝度側のヒストグラムは白線Ｍのうち影Ｓがかかっている部分のヒストグラムに該当する。

また、図４に示されている路面画像の左側にあるレーンマーク候補Ｍ２の輝度のヒストグラムは、図７（ｂ）に示されているように低輝度側に寄った幅狭のヒストグラムとなる。これは、レーンマーク候補Ｍ２が、図３に示されている影Ｓ及び影Ｔに挟まれた路面部分に対応しており、また、この路面部分の輝度が全体的に低いためである。

さらに、図４に示されている路面画像の右側にあるレーンマーク候補Ｍ３の輝度のヒストグラムは、図７（ｃ）に示されているように高輝度側に寄った幅狭のヒストグラムとなる。これは、レーンマーク候補Ｍ３が、図３に示されている右白線Ｍに対応しており、この白線Ｍの輝度が全体的に高いためである。

そして、各レーンマーク候補について、ヒストグラムの輝度空間における標準偏差（ばらつきを表す指数）が算定されて第３指数ｐ３として評価される。具体的には、ヒストグラムの輝度区間Ｂ_ｉの輝度区間Ｂの中間値等の代表輝度値ｂ_ｉ及び頻度ｈ_ｉに基づき、次式（３）に従って第３指数ｐ３が評価される。

ｐ３＝［Σ_ｉ｛ｂ_ｉｈ_ｉ−Ｍ｝^２／（Ｎ−１）］^１／２
Ｍ＝Σ_ｉｂ_ｉｈ_ｉ／Ｎ
Ｎ＝Σ_ｉｈ_ｉ ・・（３）
但し、図４（ａ）に示されているようにヒストグラムに複数のピークが含まれている場合、１つのピークのみを含むようにヒストグラムが分割され、分割された各ヒストグラムの輝度空間における標準偏差（ばらつきを表す指数）が算定され、これら標準偏差の平均値が第３指数ｐ３として評価される。

これにより、ヒストグラムの輝度空間におけるばらつきが小さいレーンマーク候補ほど、第３指数ｐ３が小さく評価される。

次に、第１評価手段１１１、第２評価手段１１２及び第３評価手段１１３のそれぞれによって評価された第１指数ｐ１、第２指数ｐ２及び第３指数ｐ３に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する「第２処理」を実行する（図２／Ｓ１２０）。具体的には、第１指数ｐ１、第２指数ｐ２及び第３指数ｐ３の和が最小となるレーンマーク候補が路面画像の左右からそれぞれ選定された上で、真のレーンマークとして認識される。

例えば、図４に示されているレーンマーク候補Ｍ１のエッジ点が図５（ａ）に示されているようにほぼ近似表現直線Ｌに沿って点在するとともに、図６（ａ）に示されているように複数箇所での幅ｗ_ｉが規格幅ｗ_０に一致するとする。一方、図４に示されているレーンマーク候補Ｍ２のエッジ点が図５（ｂ）に示されているように近似表現直線Ｌからずれながら点在するとともに、図６（ｂ）に示されているように複数箇所での幅ｗ_ｉが規格幅ｗ_０から外れているとする。この場合、レーンマーク候補Ｍ１の第１指数ｐ１及び第２指数ｐ２は、レーンマーク候補Ｍ２の第１指数ｐ１及び第２指数ｐ２より小さくなる。従って、両者の第３指数ｐ３が同程度であったとすると、レーンマーク候補Ｍ１の指数の総和は、レーンマーク候補Ｍ２の指数の総和より小さくなる。このため、路面画像の左側のレーンマークとして、レーンマーク候補Ｍ１が選定される。

第２処理手段１２０によって認識された左右のレーンエッジに基づき、車両走行状態制御システム（電子制御ユニット１１）が車両１０の横位置を制御する。この制御方法としては、例えば前記特許文献１、２に開示されているものが採用されれば足りるので、本願明細書ではその説明を省略する。

前記方法を実施する画像処理システム１００によれば、白線等のレーンマークはそのエッジが連続しており、その幅は規格幅にほぼ一致しており、且つ、明暗領域が混在する路面と比較して輝度がほぼ一様であるという事情に鑑みて、レーンマーク候補のエッジの連続性を表す第１指数ｐ１、レーンマーク候補の幅とレーンマークの規格幅との整合性を表す第２指数ｐ２、及びレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数ｐ３に基づき、レーンマーク候補の中からレーンマークが選定される。これにより、レーンマーク候補の中から真のレーンマークに該当する可能性が最も高いものが認識され得る。従って、レーンマークの認識精度を向上させることができ、これによって、車両走行状態制御システムによる当該認識結果に基づく車両１０の走行状態制御を、車両１０とレーンマークとの実際の装置的な位置関係等に鑑みて適切なものとすることができる。

また、第２評価手段１１２により、記憶手段１０１により記憶されているレーンマークの複数の規格幅のうち、第１処理手段により認識されたレーンマーク候補の幅の平均値に最も近いものが選定された上で、これに基づいて第２指数ｐ２が評価される。このため、道路の存在する国、州、都道府県等の行政区分の違い、レーンマークを路面に設けた時期の違い等により、レーンマークの規格幅にバリエーションがあることに鑑み、該当する可能性が最も高いレーンマークの規格幅を基準として第２指数ｐ２が評価される。

さらに、輝度のヒストグラムの利用によりレーンマーク候補に含まれる画素の輝度の一様性をあらわす第３指数ｐ３が適切に評価され得る。また、図３に示されているようにレーンマークＭに部分的に影Ｓがさすことで輝度のヒストグラムが複数のピークを有する可能性があることが考慮されて、ヒストグラムが１つのピークを含むように分割された上で（図４（ａ）参照）、各分割ヒストグラムについて標準偏差が算定される。これにより、影等の外来的因子によってレーンマーク候補のヒストグラムが輝度空間においてばらついても、当該レーンマーク候補の画素の輝度の一様性をあらわす第３指数ｐ３が適切に評価され得る。

なお、第１評価手段１１１により評価された第１指数ｐ１が第１許容範囲から外れている場合、又は第２評価手段１１２により評価された第２指数ｐ２が第２許容範囲から外れている場合、第２処理手段１２０が第１指数ｐ１及び第２指数ｐ２の重要度よりも第３指数ｐ３の重要度を高くした上で、レーンマークを認識してもよい。具体的には、第１指数ｐ１、第２指数ｐ２及び第３指数ｐ３の重み付き総和が算定される際、第３指数ｐ３の重み係数が他の重み係数よりも大きく設定される。

当該実施形態によれば、レーンマーク候補のエッジが不連続であるために第１指数が第１許容範囲から外れ、又はレーンマーク候補の幅がレーンマークの規格幅に整合しないために第２指数が第２許容範囲から外れており、白線等のレーンマークがかすれている可能性が高い場合、エッジの連続性等よりも輝度の一様性が重視されることで、かすれているレーンマークでも精度よく認識され得る。

本発明の一実施形態における画像処理システムの構成説明図 本発明の一実施形態における画像処理方法の説明図 路面画像の例示図 レーンマーク候補の認識結果の例示図 レーンマーク候補のエッジの連続性に関する説明図 レーンマーク候補の幅とレーンマークの規格幅との整合性に関する説明図 レーンマーク候補に含まれる画素の輝度の一様性に関する説明図

符号の説明

１０‥車両、１１‥電子制御ユニット、１２‥カメラ（撮像手段）、１００‥画像処理システム、１０１・・記憶手段、１０２・・輝度測定手段、１１０‥第１処理手段、１１１‥第１評価手段、１１２‥第２評価手段、１１３・・第３評価手段、１２０・・第２処理手段

Claims (16)

1. 撮像手段と、
   撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理システムと、
   画像処理システムによる画像処理結果に基づいて車両の走行状態を制御する車両走行状態制御システムとが搭載され、
   画像処理システムが、撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理手段と、
   第１処理手段により認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価手段と、
   第１処理手段により認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価手段と、
   第１処理手段により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価手段と、
   第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理手段とを備えている車両。
2. 第１評価手段が、第１処理手段により認識されたレーンマーク候補の複数のエッジ点に基づき、レーンマーク候補のエッジの近似表現式を設定し、複数のエッジ点と近似表現式とのずれの増加関数に従って第１指数として評価することを特徴とする請求項１記載の車両。
3. 第２評価手段が、レーンマークの複数の規格幅のうち、第１処理手段により認識されたレーンマーク候補の幅に最も近いものを選定した上で、レーンマーク候補の幅と、レーンマークの選定された規格幅との偏差の増加関数に従って第２指数を評価することを特徴とする請求項１記載の車両。
4. 第３評価手段が、第１処理手段により認識されたレーンマーク候補の画素の輝度ヒストグラムを作成し、ヒストグラムの輝度空間におけるばらつきを表す指数を第３指数として評価することを特徴とする請求項１記載の車両。
5. 第３評価手段が、ヒストグラムに複数のピークがある場合、１つのピークのみを含むようにヒストグラムを分割し、分割された各ヒストグラムの輝度空間におけるばらつきを表す指数を算定し、これら指数に基づいて第３指数を評価することを特徴とする請求項４記載の車両。
6. 第３評価手段が、ヒストグラムの輝度空間におけるばらつきを表す指数として標準偏差を算出し、この標準偏差を第３指数として評価することを特徴とする請求項４記載の車両。
7. 第２処理手段が、第１評価手段により評価された第１指数が第１許容範囲から外れている場合又は第２評価手段により評価された第２指数が第２許容範囲から外れている場合、第１及び第２指数の重要度よりも第３指数の重要度を高くした上で、レーンマークを認識することを特徴とする請求項１記載の車両。
8. 車両搭載撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理手段と、
   第１処理手段により認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価手段と、
   第１処理手段により認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価手段と、
   第１処理手段により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価手段と、
   第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理手段とを備えている画像処理システム。
9. 第１評価手段が、第１処理手段により認識されたレーンマーク候補の複数のエッジ点に基づき、レーンマーク候補のエッジの近似表現式を設定し、複数のエッジ点と近似表現式とのずれの増加関数に従って第１指数として評価することを特徴とする請求項８記載の画像処理システム。
10. 第２評価手段が、レーンマークの複数の規格幅のうち、第１処理手段により認識されたレーンマーク候補の幅に最も近いものを選定した上で、レーンマーク候補の幅と、レーンマークの選定された規格幅との偏差の増加関数に従って第２指数を評価することを特徴とする請求項８記載の画像処理システム。
11. 第３評価手段が、第１処理手段により認識されたレーンマーク候補の画素の輝度ヒストグラムを作成し、ヒストグラムの輝度空間におけるばらつきを表す指数を第３指数として評価することを特徴とする請求項８記載の画像処理システム。
12. 第３評価手段が、ヒストグラムに複数のピークがある場合、１つのピークのみを含むようにヒストグラムを分割し、分割された各ヒストグラムの輝度空間におけるばらつきを表す指数を算定し、これら指数に基づいて第３指数を評価することを特徴とする請求項１１記載の画像処理システム。
13. 第３評価手段が、ヒストグラムの輝度空間におけるばらつきを表す指数として標準偏差を算出し、この標準偏差を第３指数として評価することを特徴とする請求項１１記載の画像処理システム。
14. 第２処理手段が、第１評価手段により評価された第１指数が第１許容範囲から外れている場合、又は第２評価手段により評価された第２指数が第２許容範囲から外れている場合、第１及び第２指数の重要度よりも第３指数の重要度を高くした上で、レーンマークを認識することを特徴とする請求項８記載の画像処理システム。
15. 車両搭載撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理ステップと、
    第１処理ステップにおいて認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価ステップと、
    第１処理ステップにおいて認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価ステップと、
    第１処理ステップにおいて認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価ステップと、
    第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理ステップとを含んでいる画像処理方法。
16. 車両搭載撮像手段により撮像された路面画像の各画素の輝度に基づき、レーンマーク候補を認識する第１処理機能と、
    第１処理機能により認識されたレーンマーク候補のエッジの連続性を表す第１指数を評価する第１評価機能と、
    第１処理機能により認識されたレーンマーク候補の幅と、レーンマークの規格幅との整合性を表す第２指数を評価する第２評価機能と、
    第１処理機能により認識されたレーンマーク候補に含まれる画素の輝度の一様性を表す第３指数を評価する第３評価機能と、
    第１、第２及び第３評価手段のそれぞれによって評価された第１、第２及び第３指数に基づき、真のレーンマークに該当する可能性が最も高いレーンマーク候補をレーンマークとして認識する第２処理機能とをコンピュータに付与する画像処理プログラム。

Images