JP2006331193A - 車両、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】点在型レーンマークにより表されるレーンエッジを精度よく認識し得る画像処理システム等を提供する。
【解決手段】本発明の画像処理システム１００によれば、第１処理手段１１０が、車両搭載カメラにより撮像された路面画像において高輝度画素又は低輝度画素により構成され、且つ、路面画像における「サイズ」「形状」及び「配置」に関する「適格条件」を満たす「小領域」を探索する。また、第２処理手段１２０が「小領域」に基づき、車両が走行する「レーンエッジ」を認識する。さらに、第３処理手段１３０が、第２処理手段１２０によるレーンエッジの先の認識結果に基づき、第１処理手段１１０による小領域の「探索範囲」を設定する。
【選択図】 図１

Description

本発明は、車両、画像処理システム、画像処理方法及び当該画像処理機能をコンピュータに付与するプログラムに関する。

従来、車両に搭載されたカメラにより撮影された車両前方の路面画像に基づき、白線等のレーンマークを認識するための画像処理方法が提案されている（例えば、特許文献１，２参照）。レーンマークの認識結果は、例えば、車両の横位置を、車両の左右にあるレーンマークの位置を基準として制御するために利用される。先行技術によれば、路面画像に含まれる白線の輝度が他の路面部分よりも高くなるという性質を利用してその白線（又はそのエッジ）が認識される。
特開平１１−１４７４７３号公報 特開平１１−１４７４８１号公報

しかし、図１０に示されているＢｏｔｔｓ Ｄｏｔｓ等、車両走行レーンの左右両側（又は片側）に沿って点在する点在型レーンマークは、連続的又は断続的な白線や黄線等、ある程度長いレーンマークよりも小さく目立たないので、画像処理による認識が困難である。

そこで、本発明は、点在型レーンマークにより表されるレーンエッジを精度よく認識し得る画像処理システム及び画像処理方法、当該画像処理システムが搭載された車両、及び当該画像処理機能をコンピュータに付与するプログラムを提供することを解決課題とする。

前記課題を解決するための本発明の車両は、撮像手段と、撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理システムと、画像処理システムによる画像処理結果に基づいて車両の走行状態を制御する車両走行状態制御システムとが搭載され、画像処理システムが、高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１処理手段と、第１処理手段により探索された小領域に基づき、車両が走行するレーンエッジを認識する第２処理手段とを備え、前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である。

本発明の車両によれば、搭載されている画像処理システムにおいて、第１処理手段が、車両搭載撮像手段により撮像された路面画像において「小領域」を探索する。また、第２処理手段が、第１処理手段により探索された「小領域」に基づき、車両が走行する「レーンエッジ」を認識する。「小領域」は路面画像において高輝度画素又は低輝度画素により構成され、且つ、「適格条件」を満たすものであり、点在型レーンマークに該当する可能性が高い部分である。「適格条件」は、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である。従って、小領域を基礎とすることにより、点在型レーンマークにより表されるレーンエッジの認識精度を向上させることができる。これにより、当該認識結果に基づく車両走行状態制御システムによる車両の走行状態制御を、車両とレーンエッジとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

なお、サイズに関する適格条件は、点在型レーンマークの規格サイズと、撮像手段の搭載状態によって定まる、路面画像における画素間の間隔に応じた路面上の実距離とに基づいて設定され得る。また、形状に関する適格条件は、点在型レーンマークの規格形状と、撮像手段の搭載状態とに基づいて設定され得る。さらに、配置に関する適格条件は、点在型レーンマークの配置パターンと、撮像手段の搭載状態とに基づいて設定され得る。

また、本発明の車両は、第１処理手段による小領域の先の探索結果、第２処理手段によるレーンエッジの先の認識結果、又は記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている。

本発明の車両によれば、画像処理システムにおいて第３処理手段が、第１処理手段による小領域の先の探索結果、又は第２処理手段による車両が走行するレーンエッジの先の認識結果に基づき、第１処理手段による小領域の「探索範囲」を設定する。これにより、路面画像における次の小領域の探索範囲が小領域の先の探索結果等に鑑みて適切に限定され、不必要な範囲での探索を省略しながら、小領域の探索精度、ひいてはレーンエッジの認識精度を向上させることができる。そして、当該認識結果に基づく車両走行状態制御システムによる車両の走行状態制御を、車両とレーンエッジとの実際の相対的な位置関係等に鑑みて適切なものとすることができる。

さらに、本発明の車両は、第３処理手段が、第１処理手段によって小領域が先に探索されていない場合、又は第１処理手段によって小領域が先に探索されながらも第２処理手段によってレーンエッジが先に認識されていない場合は、記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、点在型レーンマークの規格配置情報に基づいて小領域の探索範囲が制限される。従って、不必要な範囲での探索を省略しながら、小領域の探索精度、ひいてはレーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

また、本発明の車両は、第１処理手段によって小領域が先に探索されている場合は、第１処理手段によって小領域が先に探索されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定し、又は、第２処理手段によってレーンエッジが先に認識されている場合は、第２処理手段によってレーンエッジが先に認識されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定する第３処理手段をさらに備えている。

本発明の車両によれば、搭載されている画像処理システムにおいて、先に小領域が探索された場合は、この小領域の位置や形状等に基づいて次に探索される小領域の位置や形状等が予測され得る。また、先にレーンエッジが認識された場合は、レーンエッジの形状に基づいて次に探索される小領域の位置や形状等が予測され得る。当該事情に鑑みて探索範囲が狭くされることで、不必要な探索を省略しながら、小領域の探索精度を向上させることができる。一方、先に小領域が探索されなかった場合、又はレーンマークが認識されなかった場合は、小領域の次の探索範囲が広くされることで、位置や形状等が予測できない小領域が発見される可能性を高めることができる。以上により、小領域の探索精度、ひいてはレーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

さらに、本発明の車両は、速度センサと、ヨーレートセンサとが搭載され、速度センサにより測定された車両速度、及びヨーレートセンサにより測定された車両のヨーレートのうち一方又は両方に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている。

本発明の車両によれば、搭載されている画像処理システムにおいて、車両の速度及びヨーレートのうち一方又は両方により、路面画像における点在型レーンマークの位置が変化することが考慮されることで、小領域の探索範囲が適切に絞り込まれる。これにより、小領域の探索精度、ひいてはレーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

また、本発明の車両は、第１処理手段が、第３処理手段により設定された探索範囲における画素の輝度平均値に基づき、画素の高輝度を定義する閾値及び画素の低輝度を定義する閾値のうち一方又は両方を設定することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、探索範囲が全体的に明るい又は暗いという輝度の傾向に鑑みて、２値化処理によって点在型レーンマークを抽出するために適切な閾値が設定され得る。このため、小領域の探索精度、ひいてはレーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

さらに、本発明の車両は、第１処理手段が、路面画像において、トップハットフィルタ処理の実行による高輝度画素により構成されている小領域の探索及びボットハットフィルタ処理の実行による低輝度画素により構成されている小領域の探索のうち一方又は両方を実行することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、トップハットフィルタ処理及びボットハットフィルタ処理の実行により、高輝度又は低輝度画素により構成される小領域が、点在型レーンマークの規格サイズや撮像手段からの距離等に鑑みた所定サイズ以下であれば精度よく抽出され得る。従って、小領域に基づくレーンエッジの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

また、本発明の車両は、第１処理手段が、車両の走行速度、及び撮像手段の露光時間に基づき、適格条件を補正した上で、適格条件を満たす小領域を探索することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、車両の走行速度が大きいほど、また、車両搭載撮像手段の露光時間が長いほど、路面画像における撮像対象物がぶれるという事情に鑑みて、当該ぶれによるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置への影響を軽減又は排除して小領域が探索され得る。これにより、小領域の探索精度、ひいてはレーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

さらに、本発明の車両は、路面画像の一部又は全部の画素の輝度平均値が夜間基準値以下となった場合、第１処理手段が、路面画像において、高輝度画素により構成されている小領域のみを探索することを特徴とする。

本発明の車両によれば、本発明の画像処理システムにおいて、日が暮れたり空が曇ったりして車両の周辺が暗くなった場合等、低輝度画素により構成される小領域の探索精度が低下するような環境において、高輝度画素により構成される小領域のみが探索される。これにより、小領域の探索精度、ひいてはレーンマークの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

また、本発明の車両は、第２処理手段が、第１処理手段により探索された小領域及び記憶手段により記憶されている点在型レーンマークの陰影パターンに基づき、点在型レーンマークの輪郭を認識した上で、レーンエッジを認識することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、点在型レーンマークにおいて高輝度部分と低輝度部分とが併存するため、輝度に基づいて探索される小領域の形状が点在型レーンマークの形状と一致しないという事情に鑑みて、点在型レーンマークの陰影パターンが考慮されることにより、その輪郭（形状）が正確に認識され得る。これにより、点在型レーンマークにより表されるレーンエッジの認識精度を向上させ、当該認識結果に基づく車両の走行状態制御を適切なものとすることができる。

さらに、本発明の車両は、第２処理手段が、点在型レーンマークの輪郭上の点のうち、車両走行レーンの中央に近い点を優先的にレーンエッジの一部として認識することを特徴とする。

本発明の車両によれば、搭載されている画像処理システムにおいて、車両が走行するレーンの幅が狭く認識されるので、車両及びレーンエッジの実際の相対的な位置関係に鑑みて車両の横位置等が適切に制御され得る。

前記課題を解決するための本発明の車両用画像処理システムは、車両に搭載された撮像手段により撮像された路面画像において、高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１処理手段と、第１処理手段により探索された小領域に基づき、車両が走行するレーンエッジを認識する第２処理手段とを備え、前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である。

本発明の画像処理システムによれば、点在型レーンマークのサイズ等が考慮されることで、実際の点在型レーンマークにより表される車両走行レーンエッジが精度よく認識され得る。

また、本発明の画像処理システムは、第１処理手段による小領域の先の探索結果、第２処理手段によるレーンエッジの先の認識結果、又は記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている。

さらに、本発明の画像処理システムは、第３処理手段が、第１処理手段によって小領域が先に探索されていない場合、又は第１処理手段によって小領域が先に探索されながらも第２処理手段によってレーンエッジが先に認識されていない場合は、記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定することを特徴とする。

また、本発明の画像処理システムは、第１処理手段によって小領域が先に探索されている場合は、第１処理手段によって小領域が先に探索されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定し、又は、第２処理手段によってレーンエッジが先に認識されている場合は、第２処理手段によってレーンエッジが先に認識されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定する第３処理手段をさらに備えている。

さらに、本発明の画像処理システムは、車両に搭載されている速度センサにより測定された車両速度、及び車両に搭載されているヨーレートセンサにより測定された車両のヨーレートのうち一方又は両方に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている。

また、本発明の画像処理システムは、第１処理手段が、第３処理手段により設定された探索範囲における画素の輝度平均値に基づき、画素の高輝度を定義する閾値及び画素の低輝度を定義する閾値のうち一方又は両方を設定することを特徴とする。

さらに、本発明の画像処理システムは、第１処理手段が、路面画像において、トップハットフィルタ処理の実行による高輝度画素により構成されている小領域の探索及びボットハットフィルタ処理の実行による低輝度画素により構成されている小領域の探索のうち一方又は両方を実行することを特徴とする。

また、本発明の画像処理システムは、第１処理手段が、車両の走行速度及び撮像手段の露光時間に基づき、適格条件を補正した上で、適格条件を満たす小領域を探索することを特徴とする。

さらに、本発明の画像処理システムは、路面画像の一部又は全部の画素の輝度平均値が夜間基準値以下となった場合、第１処理手段が、路面画像において、高輝度画素により構成されている小領域のみを探索することを特徴とする。

また、本発明の画像処理システムは、第２処理手段が、第１処理手段により探索された小領域及び記憶手段により記憶されている点在型レーンマークの陰影パターンに基づき、点在型レーンマークの輪郭を認識した上で、レーンエッジを認識することを特徴とする。

さらに、本発明の画像処理システムは、第２処理手段が、点在型レーンマークの輪郭上の点のうち、車両走行レーンの中央に近い点を優先的にレーンエッジの一部として認識することを特徴とする。

前記課題を解決するための本発明の画像処理方法は、車両に搭載された撮像手段により撮像された路面画像において、輝度が高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１ステップと、第１ステップにおいて探索された小領域に基づき、車両が走行するレーンエッジを認識する第２ステップとを含み、前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である。

本発明の画像処理方法によれば、前記の画像処理システムと同様に、点在型レーンマークのサイズ等が考慮されることで、実際の点在型レーンマークにより表される車両走行レーンエッジが精度よく認識され得る。

前記課題を解決するための本発明の画像処理プログラムは、車両に搭載された撮像手段により撮像された路面画像において、高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１機能と、第１機能により探索された小領域に基づき、車両が走行するレーンエッジを認識する第２機能とをコンピュータに付与し、前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である。

本発明の画像処理プログラムによれば、点在型レーンマークのサイズ等に鑑みて、実際の点在型レーンマークにより表される車両走行レーンエッジを精度よく認識し得る機能をコンピュータに付与することができる。

本発明の車両、画像処理システム、画像処理方法、及び画像処理プログラムの実施形態について図面を用いて説明する。

図１は本発明の一実施形態における画像処理システム及びこれが搭載された車両の構成説明図であり、図２は本発明の一実施形態における画像処理方法の説明図であり、図３は第１処理の説明図であり、図４は路面画像に対するフィルタ処理の説明図であり、図５はフィルタ処理後の２値化処理により得られた小領域の例示図であり、図６は形状確認処理の説明図であり、図７は配置確認処理の説明図であり、図８は第２処理により認識されたレーンエッジの例示図であり、図９はリフレクタが含まれる路面画像の例示図であり、図１０はＢｏｔｔｓ Ｄｏｔｓが含まれる路面画像の例示図であり、図１１はＢｏｔｔｓ Ｄｏｔｓの陰影パターン及び小領域の補正の例示図である。

図１に示されている車両１０には、電子制御ユニット（コンピュータ）１１と、前方の路面画像を撮像するカメラ（撮像手段）１２と、車両１０の走行速度を測定する速度センサ１３と、車両１０のヨーレートを測定するヨーレートセンサ１４とが搭載されている。

電子制御ユニット１１は、車両１０に搭載されているハードウェアとして、ソフトウェアとしての本発明の「画像処理プログラム」とともに画像処理システム１００を構成している。また、電子制御ユニット１１は、画像処理システム１００の画像処理結果に基づいて車両１０の横位置を含む走行状態を制御する「車両走行状態制御システム」を構成している。画像処理システム１００は、記憶手段１０１と、輝度測定手段１０２と、第１処理手段１１０と、第２処理手段１２０と、第３処理手段１３０とを備えている。

記憶手段１０１は、Ｂｏｔｔｓ Ｄｏｔｓやリフレクタ等の点在型レーンマークの規格サイズや規格配置間隔、さらには後述の「（点在型レーンマークに対応する小領域としての）適格条件」等を記憶する。

輝度測定手段１０２は、カメラ１２により撮像された路面画像の各画素の輝度を測定する。

第１処理手段１１０は、車両１０に搭載されたカメラ１２により撮像された路面画像において「小領域」を探索する。「小領域」は、路面画像において高輝度又は低輝度画素により構成され、且つ、路面画像における「サイズ」及び「形状」及び「配置」に関する「適格条件」を満たすものである。

第２処理手段１２０は、第１処理手段１１０により探索された小領域に基づき、車両１０が走行する「レーンエッジ」を認識する。

第３処理手段１３０は、第１処理手段１１０による小領域の先の探索結果、又は第２処理手段１２０によるレーンエッジの先の認識結果に基づき、第１処理手段１１０による小領域の探索範囲を設定する。

前記構成の画像処理システム１００の機能、すなわち本発明の画像処理方法について図２〜図８を用いて説明する。

まず、第１処理手段１１０が、カメラ１２により撮像された路面画像において小領域を探索する「第１処理」を実行する（図２／Ｓ１１０）。第１処理の詳細について図３を用いて説明する。

具体的には、路面画像に対するトップハット（ｔｏｐｈａｔ）フィルタ処理が実行される（図３／Ｓ１１１）。これにより、第３処理手段１３０により設定された「探索範囲」に含まれるとともに、輝度測定手段１０２により測定された路面画像の輝度が高く、記憶手段１０１により記憶されている「サイズに関する適格条件」により特定される基準サイズ以下のサイズを有する一塊の画素部分が抽出される。このサイズに関する適格条件は、カメラ１２から遠くにある点在型レーンマークほど小さく見えることに鑑みて、路面画像の上側（カメラ１２から遠い側）にいくほど、基準サイズが小さくなるように設定されている。

また、路面画像に対するボットハット（ｂｏｔｈａｔ）フィルタ処理が実行される（図３／Ｓ１１２）。これにより、第３処理手段１３０により設定された「探索範囲」に含まれるとともに、輝度測定手段１０２により測定された路面画像の輝度が低く、前記のような「サイズに関する適格条件」により特定される基準サイズ以下のサイズを有する一塊の画素部分が抽出される。

具体例として、図４（ａ）に示されているように複数の矩形状の探索範囲Ａが設定されているとともに、高輝度の小領域ｐ１〜ｐ３と、低輝度の小領域ｑ１〜ｑ３とが路面に存在する場合を検討する。この場合、探索範囲Ａに含まれ、且つ、前記のようにカメラ１２から遠くにある点在型レーンマークほど小さく見えることに鑑みて設定されたサイズに関する適格条件を満たす小領域ｐ１〜ｐ３はトップハットフィルタ処理により抽出され得る。また、探索範囲Ａに含まれ、且つこのサイズに関する適格条件を満たす小領域ｑ１〜ｑ３はボットハットフィルタ処理により抽出され得る。

一方、探索範囲Ａから外れている小領域ｑ０は当該フィルタ処理の対象外となる。また、小領域ｐ０は探索範囲Ａに含まれているものの、路面画像における位置及び点在型レーンマークの規格サイズに鑑みて大きく、サイズに関する適格条件により特定されるサイズを超えているので、トップハットフィルタ処理により除去される。

従って、図４（ａ）に示されている路面画像に基づき、トップハットフィルタ処理（図２／Ｓ１１１）及びボットハットフィルタ処理（図２／Ｓ１１２）により、図４（ｂ）に示されているように高輝度の小領域ｐ１〜ｐ３と、低輝度の小領域ｑ１〜ｑ３とが抽出される。

さらに、トップハットフィルタ処理された路面画像の各画素の輝度が「明閾値以上」であるか「明閾値未満」であるかの別に応じた２値化処理が実行される（図３／Ｓ１１３）。これにより、図５（ａ）に示されているような高輝度（白）の小領域ｐを含む２値化画像が得られる（各升目は画素を表している）。「明閾値」は、画素の平均輝度等に基づいて探索範囲ごとに個別に設定されてもよい。

同様に、ボットハットフィルタ処理された路面画像の各画素の輝度が「暗閾値以下」であるか「暗閾値超過」であるかの別に応じた２値化処理が実行される（図３／Ｓ１１４）。これにより、図５（ｂ）に示されているような低輝度（黒）の小領域ｑを含む２値化画像が得られる（各升目は画素を表している）。「暗閾値」は、画素の平均輝度等に基づいて探索範囲ごとに個別に設定されてもよい。

続いて、２値化処理により得られた小領域の代表点の座標（位置）が認識される「位置認識処理」が実行される（図３／Ｓ１１５）。小領域の代表点として、この小領域の重心や、画面中央より右にある小領域の最も左端の点、画面中央より左にある小領域の最も右端の点等が認識され得る。

さらに、２値化処理により得られた小領域が「形状に関する適格条件」を満たすか否かを判定する「形状確認処理」が実行される（図３／Ｓ１１６）。「形状に関する適格条件」は、点在型レーンマークの規格形状と、カメラの搭載状態（路面からの高さ、路面に対する傾斜角度）とに基づいて設定される。形状に関する適格条件には、例えば、小領域に含まれるＮｘ（横）×Ｎｙ（縦）の基準領域から縦へのはみ出し画素数がｎ１以下であるとか、当該基準領域における欠損画素数がｎ２以下であるとかいう条件が含まれる。この基準領域の形状及びサイズ、はみ出し画素数や欠損画素数は、路面画像における上下方向の位置、すなわち、実空間におけるカメラ１２からの距離に応じて可変的に設定される。

具体例として、図６（ａ）〜６（ｄ）に示されている小領域が、４×３の基準領域から縦へのはみ出し画素数が３以下であり、且つ、当該基準領域の欠損画素数が２以下であることが形状に関する適格条件を満たすか否かについて検討する。図５（ａ）の明領域に応じた図６（ａ）の小領域は、基準領域（太枠）から縦へのはみ出し画素数が「０」であり、且つ、基準領域の欠損画素数が「０」なので、この形状に関する適格条件を満たしていると判断される。図５（ｂ）の暗領域に応じた図６（ｂ）の小領域は、基準領域から縦へのはみ出し画素数が「１」であり、且つ、基準領域の欠損画素数が「０」なので、この形状に関する適格条件を満たしていると判断される。一方、図６（ｃ）の小領域は、基準領域から縦へのはみ出し画素数が「４」であり、３以下ではないので、この形状に関する適格条件を満たしていないと判断される。また、図６（ｄ）の小領域は、基準領域の欠損画素数が「３」であり、２以下ではないので、この形状に関する適格条件を満たしていないと判断される。なお、４×３の基準領域の重心位置が、位置認識処理により座標が認識された小領域の重心等、代表点に合わせられた上で、当該形状に関する適格条件が満たされているか否かが判断されてもよい。

次に、小領域が「配置に関する適格条件」を満たすか否かが判定される「配置確認処理」が実行される（図３／Ｓ１１７）。「配置に関する適格条件」は、点在型レーンマークの規格配置パターンと、カメラの搭載状態とに基づいて設定される。「配置に関する適格条件」には、例えば、路面画像において離間している２つの小領域の距離が、カメラ１２から当該小領域までの実距離に鑑みて、点在型レーンマークのレーン左右方向やレーン前後方向の規格間隔と一定の誤差範囲内で一致するという条件が含まれる。２つの小領域の間隔は、位置認識処理により座標が認識された各小領域の重心等の代表点の間隔により算定される。

具体例として、図７に示されている路面画像の左側に上から順に並んでいる小領域ｐ１〜ｐ３と、路面画像の右側に上から順に並んでいる小領域ｑ１〜ｑ３とについて、配置に関する適格条件が満たされているか否かについて検討する。小領域ｐ１及びｑ１の間隔ｗ１と、小領域ｐ２及びｑ２の間隔ｗ２とが、それぞれ点在型レーンマークの規格間隔に鑑みて適当である場合、小領域ｐ１及びｑ１の組と、小領域ｐ２及びｑ２の組とは「配置に関する適格条件」を満たしていると判断される。一方、小領域ｐ３及びｑ３の間隔ｗ３がこの規格間隔よりも広すぎ不適当である場合、小領域ｐ３及びｑ３の組は「配置に関する適格条件」を満たしていないと判断される。

これら一連の処理により、例えば、図４（ａ）の路面画像において、高輝度又は低輝度画素より構成され、サイズに関する適格条件、形状に関する適格条件及び配置に関する適格条件を満たす小領域として小領域ｐ１、ｐ２、ｑ１、ｑ２が探索される。これにより１サイクル分の第１処理が完了する。

なお、車両１０の走行速度が大きいほど、また、車両搭載カメラ１２の露光時間が長いほど、図９に示されているように路面画像においてリフレクタ（点在型レーンマーク）Ｍ等の撮像対象物がぶれる。この点を考慮して、第１処理手段１１０が、車両１０の走行速度と、カメラ１２の露光時間とに基づき、サイズに関する適格条件、形状に関する適格条件及び配置に関する適格条件のうち一部又は全部を補正した上で、サイズに関する適格条件、形状に関する適格条件及び配置に関する適格条件をそれぞれ満たす小領域を探索してもよい。これにより、当該ぶれによる路面画像における点在型レーンマーク等の対象物のサイズ、形状、配置への影響を軽減又は排除して小領域が探索され得る。

続いて、第２処理手段１２０が、第１処理手段１１０により探索された「小領域」に基づき、車両が走行する「レーンエッジ」を認識する「第２処理」を実行する（図２／Ｓ１２０）。具体的には、第１処理手段１１０により探索された小領域の代表点の座標に基づき、基礎式Ｙ＝Ｆ（Ｘ，ａ，ｂ，・・）におけるパラメータａ，ｂ，・・が最小二乗近似法等の手法により算定され、当該算定パラメータが基礎式に代入されることによって近似式Ｙ＝ｆ（Ｘ）が導出される。これにより、例えば、図８に示されているような左右に配置されている点在型レーンマークＭに基づき、当該近似式によって表される左右のレーンエッジＥ１，Ｅ２が認識される。

第２処理手段１２０によって認識された左右のレーンエッジＥ１，Ｅ２に基づき、車両走行状態制御システム（電子制御ユニット１１）が車両１０の横位置を制御する。この制御方法としては、例えば前記特許文献１、２に開示されているものが採用されれば足りるので、本願明細書ではその説明を省略する。

さらに、第３処理手段１３０が、第２処理手段１２０によるレーンエッジの先の認識結果に基づき、図４（ａ）に示されているような第１処理手段１１０による小領域の「探索範囲」を設定する「第３処理」を実行する（図２／Ｓ１３０）。具体的には、探索範囲の重心が第２処理手段１２０により先のサイクルで認識されたレーンエッジ上に位置するように、且つ、路面画像の上に行くほど小さくなるように探索範囲が設定される。また、速度センサ１３により測定された車両速度及びヨーレートセンサ１４により測定された車両のヨーレートのうち一方又は両方に基づき、探索範囲が設定され得る。

一方、第２処理手段１２０により先のサイクルでレーンエッジが認識されていない場合、第３処理手段１３０は、記憶手段１０１により記憶されている点在型レーンマークの規格配置情報に基づき、小領域の探索範囲を設定する。また、このとき、探索範囲のサイズは、第１処理手段１１０によって先のサイクルで小領域が探索された場合よりも大きく設定される。

前記機能を発揮する本発明の画像処理システム１００によれば、第１処理手段１１０により探索された「小領域」に基づき、点在型レーンマークにより表されるレーンエッジが第２処理手段１２０によって認識される（図８／Ｅ１，Ｅ２参照）。小領域は、路面画像において高輝度画素又は低輝度画素により構成され、且つ、路面画像における「サイズ」「形状」及び「配置」に関する「適格条件」を満たすものであり、点在型レーンマークに該当する可能性が高い部分である。従って、このような小領域を基礎とすることにより、点在型レーンマークにより表されるレーンエッジの認識精度を向上させることができる。

さらに、レーンエッジの先のサイクルでの認識結果に基づき、小領域の「探索範囲（図４（ａ）／Ａ参照）」が第３処理手段１３０によって設定される。これにより、路面画像における次のサイクルでの小領域の探索範囲が小領域の先のサイクルにおける探索結果等に鑑みて適切に限定され、不必要な範囲での探索を省略しながら、小領域の探索精度、ひいてはレーンエッジの認識精度を向上させることができる。そして、当該レーンエッジの認識結果に基づく、車両走行状態制御システムによる車両１０の走行状態の制御を、車両１０と点在型レーンマークにより表されるレーンエッジとの実際の相対位置関係に鑑みて適切なものとすることができる。

また、トップハットフィルタ処理（図３／Ｓ１１１）及びボットハットフィルタ処理（図３／Ｓ１１２）の実行により、高輝度又は低輝度画素により構成される小領域がある程度のサイズがあれば精度よく抽出され得るので（図４（ａ）（ｂ）参照）、これによってもレーンエッジの認識精度を向上させることができる。

さらに、第３処理手段１３０により設定された探索範囲における画素の輝度平均値に基づき、画素の高輝度又は低輝度を区分する閾値が第１処理手段１１０によって設定される。これにより、探索範囲が全体的に明るい又は暗いという輝度の傾向に鑑みて、２値化処理によって点在型レーンマークに対応する小領域を抽出するために適切な閾値が設定され得るので、小領域の探索精度を向上させることができる。

また、第２処理手段１２０によってレーンエッジが先のサイクルで認識されている場合、第２処理手段１２０によってレーンエッジが先のサイクルで認識されていない場合よりも、第１処理手段１１０による小領域の探索範囲が小さく設定される。先のサイクルでレーンエッジが認識された場合、レーンエッジの形状に基づいて次に探索される小領域の位置や形状等が予測され得ることに鑑みて探索範囲が狭くされる。これにより、不必要な探索を省略しながら、小領域の探索精度を向上させることができる。一方、先のサイクルでレーンエッジが認識されなかった場合、小領域の次の探索範囲が広くされることで、位置や形状等が予測できない小領域が発見される可能性を高めることができる。以上により、小領域の探索精度、ひいてはレーンエッジの認識精度を向上させることができる。なお、第１処理手段１１０により先のサイクルで小領域が探索されたか否かの別に応じて、次サイクルでの小領域の探索範囲の広狭が決定されてもよい。

さらに、第２処理手段１２０によってレーンエッジが先のサイクルで認識されていない場合、記憶手段１０１により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段１１０による小領域の探索範囲が設定される。これにより、小領域の探索範囲が合理的に制限され、不必要な範囲での探索を省略しながら、小領域の探索精度を向上させることができる。

また、車両１０に搭載されている速度センサ１３により測定された車両速度、及び車両１０に搭載されているヨーレートセンサ１４により測定されたヨーレートに基づき、第１処理手段１１０による小領域の探索範囲が設定される。車両１０の速度やヨーレートにより、路面画像における点在型レーンマークの位置が変化することが考慮されることで、小領域の探索範囲が適切に絞り込まれる。これにより、小領域の探索精度、ひいてはレーンエッジの認識精度を向上させることができる。車両１０の速度及びヨーレートのうち一方に基づいて小領域の探索範囲が設定されてもよい。

なお、路面画像の一部又は全部の画素の輝度平均値が夜間基準値以下となった場合、第１処理手段１１０が、路面画像において高輝度画素により構成されている小領域のみを探索してもよい。具体的には、ボットハットフィルタ処理（図３／Ｓ１１２）が省略される一方、トップハットフィルタ処理のみが実行されてもよい。当該実施形態によれば、日が暮れたり空が曇ったりして車両の周辺が暗くなった場合等、低輝度画素により構成される小領域の探索精度が低下するような環境において、高輝度画素により構成される小領域のみが探索される。これにより、小領域の探索精度、ひいてはレーンエッジの認識精度を向上させることができる。

また、点在型レーンマークにおいて高輝度部分と低輝度部分とが併存するため、輝度に基づいて探索される小領域の形状が点在型レーンマークの形状と一致しないという事情が考慮され、第２処理手段１２０が、第１処理手段１１０により探索された小領域と、記憶手段１０１により記憶されている点在型レーンマークの陰影パターンとに基づき、点在型レーンマークの輪郭を認識した上で、レーンエッジを認識してもよい。

例えば、図１１（ａ）に示されているようにＢｏｔｔｓ Ｄｏｔｔｓの右斜め下部分にのみ影ができているという陰影パターンに基づき、図１１（ｂ）に示されているようにこの影の部分を考慮して画素（６，１）及び画素（７，２）の分だけ拡張された小領域の輪郭がＢｏｔｔｓ Ｄｏｔｓの輪郭であると認識される。なお、点在型レーンマークの複数の陰影パターンのうち、高輝度画素（又は低輝度画素）により構成される小領域がレーン右側にあるか又は左側にあるか等に応じて、適当なものが選択され得る。

当該実施形態によれば、点在型レーンマークの陰影パターンが考慮されることにより、その輪郭（形状）が正確に認識され得るので、点在型レーンマークにより表されるレーンエッジの認識精度を向上させ得る。

さらに、第２処理手段１２０が、点在型レーンマークの輪郭のうち、車両走行レーンの中央側に最も近い点を、レーンエッジの一部として認識してもよい。当該実施形態によれば、車両１０が走行するレーンの幅が狭く認識されるので、車両１０とレーンエッジとの実際の相対位置関係に鑑みて車両１０の走行状態の制御を適切なものとすることができる。

前記実施形態では第３処理の結果が反映されて第１処理が実行されたが、他の実施形態として第３処理が省略され、路面画像の全部を対象として第１処理が実行されてもよい。

前記実施形態では路面画像における「サイズ」「形状」及び「配置」の全部に関する（点在型レーンマークに対応する小領域としての）適格条件を満たす小領域が第１処理において抽出されたが、他の実施形態として路面画像における「サイズ」に関する適格条件、「サイズ」及び「形状」に関する適格条件、又は「サイズ」及び「配置」に関する適格条件を満たす小領域が第１処理において抽出されてもよい。

前記実施形態では路面画像において第３処理手段１３０により先のサイクルで設定された探索範囲のみが次のサイクルでのトップハット処理（図３／Ｓ１１１）及びボットハット処理（図３／Ｓ１１２）の対象範囲とされたが（図４（ａ）参照）、他の実施形態として路面画像の全部がトップハット処理及びボットハット処理の対象とされた上で、位置認識処理（図３／Ｓ１１５）、形状確認処理（図３／Ｓ１１６）、又は配置確認処理（図３／Ｓ１１７）の対象となる路面画像の範囲が、第３処理手段１３０により先のサイクルで設定された探索範囲に絞り込まれてもよい。

本発明の一実施形態における画像処理システム及びこれが搭載された車両の構成説明図 本発明の一実施形態における画像処理方法の説明図 第１処理の説明図 路面画像に対するフィルタ処理の説明図 フィルタ処理後の２値化処理により得られた小領域の例示図 形状確認処理の説明図 配置確認処理の説明図 第２処理により認識されたレーンエッジの例示図 リフレクタが含まれる路面画像の例示図 Ｂｏｔｔｓ Ｄｏｔｓが含まれる路面画像の例示図 Ｂｏｔｔｓ Ｄｏｔｓの陰影パターン及び小領域の補正の例示図

符号の説明

１０‥車両、１１・・電子制御ユニット（車両走行状態制御システム）、１２・・カメラ（撮像手段）、１３・・速度センサ、１４・・ヨーレートセンサ、１００‥画像処理システム、１０１‥記憶手段、１０２‥輝度測定手段、１１０‥第１処理手段、１２０‥第２処理手段、１３０・・第３処理手段

Claims (24)

1. 撮像手段と、
   撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理システムと、
   画像処理システムによる画像処理結果に基づいて車両の走行状態を制御する車両走行状態制御システムとが搭載され、
   画像処理システムが、高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１処理手段と、
   第１処理手段により探索された小領域に基づき、車両が走行するレーンエッジを認識する第２処理手段とを備え、
   前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である車両。
2. 第１処理手段による小領域の先の探索結果、第２処理手段によるレーンエッジの先の認識結果、又は記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている請求項１記載の車両。
3. 第３処理手段が、第１処理手段によって小領域が先に探索されていない場合、又は第１処理手段によって小領域が先に探索されながらも第２処理手段によってレーンエッジが先に認識されていない場合は、記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定することを特徴とする請求項２記載の車両。
4. 第１処理手段によって小領域が先に探索されている場合は、第１処理手段によって小領域が先に探索されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定し、又は、第２処理手段によってレーンエッジが先に認識されている場合は、第２処理手段によってレーンエッジが先に認識されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定する第３処理手段をさらに備えている請求項１記載の車両。
5. 速度センサと、
   ヨーレートセンサとが搭載され、
   速度センサにより測定された車両速度、及びヨーレートセンサにより測定された車両のヨーレートのうち一方又は両方に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている請求項１記載の車両。
6. 第１処理手段が、第３処理手段により設定された探索範囲における画素の輝度平均値に基づき、画素の高輝度を定義する閾値及び画素の低輝度を定義する閾値のうち一方又は両方を設定することを特徴とする請求項２、３、４又は５記載の車両。
7. 第１処理手段が、路面画像において、トップハットフィルタ処理の実行による高輝度画素により構成されている小領域の探索及びボットハットフィルタ処理の実行による低輝度画素により構成されている小領域の探索のうち一方又は両方を実行することを特徴とする請求項１、２、３、４、５又は６記載の車両。
8. 第１処理手段が、車両の走行速度及び撮像手段の露光時間に基づき、適格条件を補正した上で、適格条件を満たす小領域を探索することを特徴とする請求項１、２、３、４、５、６又は７記載の車両。
9. 路面画像の一部又は全部の画素の輝度平均値が夜間基準値以下となった場合、第１処理手段が、路面画像において、高輝度画素により構成されている小領域のみを探索することを特徴とする請求項１、２、３、４、５、６、７又は８記載の車両。
10. 第２処理手段が、第１処理手段により探索された小領域及び記憶手段により記憶されている点在型レーンマークの陰影パターンに基づき、点在型レーンマークの輪郭を認識した上で、レーンエッジを認識することを特徴とする請求項１、２、３、４、５、６、７、８又は９記載の車両。
11. 第２処理手段が、点在型レーンマークの輪郭上の点のうち、車両走行レーンの中央に近い点を優先的にレーンエッジの一部として認識することを特徴とする請求項１０記載の車両。
12. 車両に搭載された撮像手段により撮像された路面画像において、高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１処理手段と、
    第１処理手段により探索された小領域に基づき、車両が走行するレーンエッジを認識する第２処理手段とを備え、
    前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である画像処理システム。
13. 第１処理手段による小領域の先の探索結果、第２処理手段によるレーンエッジの先の認識結果、又は記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている請求項１２記載の画像処理システム。
14. 第３処理手段が、第１処理手段によって小領域が先に探索されていない場合、又は第１処理手段によって小領域が先に探索されながらも第２処理手段によってレーンエッジが先に認識されていない場合は、記憶手段により記憶されている点在型レーンマークの規格配置情報に基づき、第１処理手段による小領域の探索範囲を設定することを特徴とする請求項１３記載の画像処理システム。
15. 第１処理手段によって小領域が先に探索されている場合は、第１処理手段によって小領域が先に探索されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定し、又は、第２処理手段によってレーンエッジが先に認識されている場合は、第２処理手段によってレーンエッジが先に認識されていない場合よりも第１処理手段による小領域の探索範囲を小さく設定する第３処理手段をさらに備えている請求項１２記載の画像処理システム。
16. 車両に搭載されている速度センサにより測定された車両速度、及び車両に搭載されているヨーレートセンサにより測定された車両のヨーレートのうち一方又は両方に基づき、第１処理手段による小領域の探索範囲を設定する第３処理手段をさらに備えている請求項１２記載の画像処理システム。
17. 第１処理手段が、第３処理手段により設定された探索範囲における画素の輝度平均値に基づき、画素の高輝度を定義する閾値及び画素の低輝度を定義する閾値のうち一方又は両方を設定することを特徴とする請求項１３、１４、１５又は１６記載の画像処理システム。
18. 第１処理手段が、路面画像において、トップハットフィルタ処理の実行による高輝度画素により構成されている小領域の探索及びボットハットフィルタ処理の実行による低輝度画素により構成されている小領域の探索のうち一方又は両方を実行することを特徴とする請求項１２、１３、１４、１５、１６又は１７記載の画像処理システム。
19. 第１処理手段が、車両の走行速度及び撮像手段の露光時間に基づき、適格条件を補正した上で、適格条件を満たす小領域を探索することを特徴とする請求項１２、１３、１４、１５、１６、１７又は１８記載の画像処理システム。
20. 路面画像の一部又は全部の画素の輝度平均値が夜間基準値以下となった場合、第１処理手段が、路面画像において、高輝度画素により構成されている小領域のみを探索することを特徴とする請求項１２、１３、１４、１５、１６、１７、１８又は１９記載の画像処理システム。
21. 第２処理手段が、第１処理手段により探索された小領域及び記憶手段により記憶されている点在型レーンマークの陰影パターンに基づき、点在型レーンマークの輪郭を認識した上で、レーンエッジを認識することを特徴とする請求項１２、１３、１４、１５、１６、１７、１８、１９又は２０記載の画像処理システム。
22. 第２処理手段が、点在型レーンマークの輪郭上の点のうち、車両走行レーンの中央に近い点を優先的にレーンエッジの一部として認識することを特徴とする請求項２１記載の画像処理システム。
23. 車両に搭載された撮像手段により撮像された路面画像において、輝度が高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１ステップと、
    第１ステップにおいて探索された小領域に基づき、車両が走行するレーンエッジを認識する第２ステップとを含み、
    前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である画像処理方法。
24. 車両に搭載された撮像手段により撮像された路面画像において、高輝度又は低輝度画素により構成され、且つ、適格条件を満たす小領域を探索する第１機能と、
    第１機能により探索された小領域に基づき、車両が走行するレーンエッジを認識する第２機能とをコンピュータに付与し、
    前記適格条件が、路面画像におけるサイズ、サイズ及び形状、サイズ及び配置、又はサイズ及び形状及び配置に関する条件である画像処理プログラム。

Images