JP2015219774A - レーンマーク認識装置 - Google Patents

Abstract

【課題】影の影響がある場合においても、レーンマークの検知精度を向上させることができるレーンマーク認識装置を提供する。
【解決手段】色判定部１４は、ＲＧＢ方式のカラーカメラ２の撮像画像２１に対して、道路の画像部分であると推定される道路領域内の対象領域画素のＢの値がレーンマーク以外の道路の画像部分を含む道路領域内の比較領域画素のＢの値より小さいこと及び当該対象領域画素のＲの値からＢの値を引いた値Ｔ_Ｒ−Ｂが比較領域画素のＲの値からＢの値を引いた値Ｃ_Ｒ−Ｂより大きいことの少なくとも１つを要件として、当該対象領域の画素の色を黄色とみなす。
【選択図】図１

Description

本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。

従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられたレーンマークの色を識別することにより、レーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１参照）。

特許文献１に記載されたレーンマーク認識装置は、撮影された画像のうち、道路部分について、ＲＧＢ値と、明度値との差分を補正値とすることにより、レーンマークに映り込む有彩色の光の影響を低減している。

より詳しくは、特許文献１に記載されたレーンマーク認識装置は、撮像装置より入力された道路領域ＡＲ１のＲＧＢの各信号の平均値Ｒｍｅａｎ、Ｇｍｅａｎ、Ｂｍｅａｎを平均して、下式のように、道路領域の明度値Ｇｒａｙを算出する。

Ｇｒａｙ＝（Ｒｍｅａｎ＋Ｇｍｅａｎ＋Ｂｍｅａｎ）／３
そして、レーンマーク認識装置は、道路領域ＡＲ１の色成分（Ｒｏｆｆ，Ｇｏｆｆ，Ｂｏｆｆ）としての、
（Ｒｏｆｆ，Ｇｏｆｆ，Ｂｏｆｆ）＝（Ｇｒａｙ−Ｒｍｅａｎ，Ｇｒａｙ−Ｇｍｅａｎ，Ｇｒａｙ−Ｂｍｅａｎ）
を算出する。

この値は、道路領域ＡＲ１が無彩色（Ｇｒａｙ＝Ｒｍｅａｎ＝Ｇｍｅａｎ＝Ｂｍｅａｎ）だと仮定したときに、道路灯等から照射される有彩色の光の影響を撮像画像から低減するための補正値である。

当該レーンマーク認識装置は、入力画像信号の各画素の信号値（Ｒｓｏｕｒｃｅ，Ｇｓｏｕｒｃｅ，Ｂｓｏｕｒｃｅ）に、上記式により求められた道路領域ＡＲ１の色成分（Ｒｏｆｆ，Ｇｏｆｆ，Ｂｏｆｆ）を加えることにより、以下のように補正された画像信号値（Ｒｍｏｄｉｆｙ，Ｇｍｏｄｉｆｙ，Ｂｍｏｄｉｆｙ）を求める。

（Ｒｍｏｄｉｆｙ，Ｇｍｏｄｉｆｙ，Ｂｍｏｄｉｆｙ）＝（Ｒｓｏｕｒｃｅ＋Ｒｏｆｆ，Ｇｓｏｕｒｃｅ＋Ｇｏｆｆ，Ｂｓｏｕｒｃｅ＋Ｂｏｆｆ）
この値は、道路灯等由来の有彩色の光が照射されていない場合の、道路、白線、又は黄線等の色を示すＲＧＢ値となる。レーンマーク認識装置は、当該ＲＧＢ値を基に、白線、黄線を検出することによって、レーンマークを認識するように構成されている。

特許第４５２６９６３号公報

しかしながら、特許文献１の技術は、無彩色の道路に、道路灯等由来の有彩色の光が照射されていることによる影響を軽減するものである。このため、有彩色の光の照射以外の影響、たとえば、影の影響がある場合には、特許文献１の技術の道路部分について、各色のＲＧＢ信号値と明度との差分によって前記補正値を算出することは困難である。この結果、特許文献１の技術では、影の影響がある場合において、レーンマークを精度よく認識することが困難である。

本発明はかかる背景に鑑みてなされたものであり、影の影響がある場合においても、レーンマークの検知精度を向上させることができるレーンマーク認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたＲＧＢ方式のカラーカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置、車両、及びレーンマーク認識方法に関する。

そして、本発明のレーンマーク認識装置は、
前記カラーカメラの撮像画像に対して、道路の画像部分であると推定される道路領域内の対象領域のＢの値がレーンマーク以外の道路の画像部分を含む前記道路領域内の比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が前記比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすように構成されている色判定部を備えることを特徴とする。

本発明の発明者の検討によれば、道路領域にある黄色のレーンマークは、Ｂの値が当該黄色のレーンマーク以外の道路の画像部分を含む領域のＢの値よりも小さい又はＲの値からＢの値を引いた値が当該黄色のレーンマーク以外の道路の画像部分のＲの値からＢの値を引いた値よりも大きいことが多い。

この点に着目して構成された本発明のレーンマーク認識装置によれば、対象領域のＢの値が比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすので、黄色のレーンマークを精度よく検出することができる。

この結果、本発明のレーンマーク認識装置によれば、影の影響がある場合においても、黄色のレーンマークの検知精度が向上しうる。

本発明のレーンマーク認識装置において、
前記撮像画像のＲＧＢ値に基づき、影の領域か否かを判定する影判定部を備え、
前記色判定部は、前記対象領域のうち、影判定部により影の領域であると判定された前記対象領域である対象影領域のＢの値が、前記比較領域のうち前記影判定部により影の領域であると判定された前記比較領域である比較影領域のＢの値より小さいこと、及び当該対象影領域のＲの値からＢの値を引いた値が当該比較影領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象影領域の色を黄色とみなすように構成されていることが好ましい。

当該構成のレーンマーク認識装置によれば、影の領域と判定された対象領域である対象影領域については、影の領域と判定された比較領域である比較影領域との比較により当該対象影領域の色が判定される。この結果、影の領域においても黄色のレーンマークが精度よく検出される。

本発明のレーンマーク認識装置において、
前記色判定部により黄色と判定された画像部分に基づいて、レーンマークの候補画像を認識する候補画像抽出部を備えることが好ましい。

前記したように、影でない領域のレーンマークの画像部分の色と、影の領域のレーンマークの画像部分の色とは異なることが多いところ、当該構成のレーンマーク認識装置によれば、影の領域のレーンマークの画像部分の色が想定の色（黄色）とは異なる場合であっても、当該画像部分の色が色判定部によって黄色と判定された場合には、当該画像部分に基づいて、レーンマークの候補画像部分が認識される。この結果、レーンマークの検知精度が向上しうる。

本発明の車両は、
前記カラーカメラの撮像画像に対して、道路の画像部分であると推定される道路領域内の対象領域のＢの値がレーンマーク以外の道路の画像部分を含む前記道路領域内の比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が前記比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすように構成されている色判定部を備えることを特徴とする。

本発明の車両によれば、上述した本発明のレーンマーク認識装置と同様の作用効果を得ることができる。

当該構成の車両において、前記色判定部により黄色と判定された画像部分に基づいて、黄色のレーンマークを認識するように構成されているレーンマーク認識部と、
前記レーンマーク認識部によって認識された黄色のレーンマークを越えないように前記車両の操舵制御を行う操舵制御部とを備えることが好ましい。

当該構成の車両によれば、黄色のレーンマークが車線変更の禁止を指示している場合にこの指示に応じた操舵制御を行って車両をレーンマークで区画されたレーン内に留めることが可能となる。

本発明のレーンマーク認識方法は、
前記カラーカメラの撮像画像に対して、道路の画像部分であると推定される道路領域内の対象領域のＢの値がレーンマーク以外の道路の画像部分を含む前記道路領域内の比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が前記比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすように構成されている色判定工程を含むことを特徴とする。

本発明のレーンマーク認識方法を車両に適用して実施することによって、上述した本発明のレーンマーク認識装置と同様の作用効果を得ることができる。

レーンマーク認識装置の構成図。 レーンマーク認識処理のフローチャート。 撮像画像及びエッジ画像を説明する図で、（ａ）は撮像画像を説明する図、（ｂ）はエッジ画像を説明する図。 レーンマーク及び障害物の認識と操舵制御との関係を説明する図。 他の実施形態のレーンマーク認識装置の構成図。 他の実施形態のレーンマーク認識処理のフローチャート。

本発明のレーンマーク認識装置の実施形態について、図１〜図４を参照して説明する。

（レーンマーク認識装置の構成）
図１を参照して、レーンマーク認識装置１０は、カメラ２（ＲＧＢ方式のカラーカメラ）、スピーカ５、表示器６、及び操舵機構７を備えた車両１（本発明の車両に相当する）に搭載されている。

レーンマーク認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識及び操舵制御用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、色判定部１４、候補画像部分抽出部１５、レーンマーク認識部１６及び操舵制御部１７として機能する。また、レーンマーク認識装置１０により、本発明のレーンマーク認識方法が実施される。

（レーンマーク認識処理）
以下、図２に示したフローチャートに従って、レーンマーク認識装置１０により、道路に設けられたレーンマークを認識する処理について説明する。レーンマーク認識装置１０は、所定の制御周期毎に図２に示したフローチャートによる処理を実行して、車両１が走行している道路のレーンマーク（連続線レーンマーク、及び破線レーンマーク）を認識する。

図２／ＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、カメラ２から出力される車両１の前方（本発明の車両周囲に相当する）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。取得された撮像画像２１のデータは画像メモリ２０に保持される。

ここで、図３（ａ）に示したＩｍ１は撮像画像２１を白黒で示した画像の例であり、車両１（自車両）が走行している車線を区画する左側の実線レーンマークの画像部分５１ａ（黄色線）と、右側の破線レーンマークの画像部分６１ａ〜６４ａ（白色線）と、実線レーンマークの画像部分７１ａ（白色線）とが含まれている。また、Ｉｍ１には、左側の実線レーンマークの画像部分５１ａの手前側領域（実空間において車両１（カメラ２）に近い領域）に延在する影領域８１ａが含まれている。

この撮像画像Ｉｍ１において、黄色レーンマークの画像部分５１ａのうち、影領域８１ａに含まれない画素Ｐ１のＲＧＢ値は、Ｒ＝２００、Ｇ＝１５０、Ｂ＝３０であり、画素Ｐ１の色は黄色である。また、黄色レーンマークの画像部分５１ａのうち、影領域８１ａに含まれる画素Ｐ２のＲＧＢ値は、Ｒ＝６０、Ｇ＝７５、Ｂ＝６０であり、画素Ｐ２の色は黄色と異なる。また、影領域８１ａに含まれる部分のうち、道路の画素Ｐ３のＲＧＢ値は、Ｒ＝４５、Ｇ＝６８，Ｂ＝７０であり、画素Ｐ３の色は、黄色と異なる。

続く図２／ＳＴＥＰ３〜図２／ＳＴＥＰ６は、色判定部１４による処理である。なお、色判定部１４による処理工程は、本発明のレーンマーク認識方法の色判定工程に相当する。

色判定部１４は、撮像画像２１に含まれる画素のうち道路領域の一つの画素（本発明の「対象領域」に相当する。）を選択する（図２／ＳＴＥＰ３）。道路領域は、実空間上の道路に対応する撮像画像上の領域であって、車両１の左右方向の中心を当該道路領域の横方向の中心として、所定の横幅を有する領域として定義される。当該所定の横幅は、車両１の横幅及び法規上の道路の幅から定められる道路とレーンマークとを含む程度の幅である。

また、たとえば、色判定部１４は、図２／ＳＴＥＰ３の処理の前に、撮像画像から、周囲とＲＧＢ値が異なる画素を抽出し、抽出した画素がレーンマークの画像部分の一部を構成するか否か（当該抽出した画素が直線形状又は曲線形状の物体の画像部分の一部を構成するか否か）を判定してもよい。この場合、色判定部１４は、図２／ＳＴＥＰ３において、抽出した画素がレーンマークの画像部分を構成する場合に限り、当該抽出した画素のうちの一つを選択し、図２／ＳＴＥＰ４Ａ〜図２／ＳＴＥＰ５Ｂの処理を実行する。

色判定部１４は、選択された画素（以下「対象画素」という。）のＲ値からＢ値を引いた値Ｔ_Ｒ−Ｂが、レーンマーク以外の道路の画像部分を含む比較領域のＲ値からＢ値を引いた値Ｃ_Ｒ−Ｂより大きいか否かを判定する（図２／ＳＴＥＰ４Ａ）。

ここで、レーンマーク以外の道路の画像部分を含む比較領域とは、対象画素がレーンマークの画像部分の画素であった場合に、レーンマーク以外の道路の画像部分となる蓋然性が高い画素を含む領域をいう。

より具体的には、比較領域として、対象画素から車両１の中央に向けた水平方向に実空間上で所定距離（たとえば１ｍ）離れた地点を含む領域が採用されうる。たとえば、図３（ａ）に示されるように、対象画素がＰ２である場合に、対象画素Ｐ２の水平方向の車両１（カメラ２）の中央側に所定距離離れて存在する画素Ｐ３を含む領域が比較領域として採用されうる。

この場合、色判定部１４は、対象画素Ｐ２について、対象画素Ｐ２のＲ値からＢ値を引いた値Ｔ_Ｒ−Ｂは０であるのに対し、比較領域としての画素Ｐ３のＲ値からＢ値Ｃ_Ｒ−Ｂを引いた値が−２５であるから、当該判定結果は肯定的な結果となる。

また、比較領域として、対象画素を中心とした所定範囲（たとえば実空間での半径５０ｃｍの円に相当するサイズの範囲）の領域が採用されうる。

比較領域として複数の画素を選択し、それらの画素のうちのＲ値からＢ値を引いた値の最低値、中央値、平均値等を上記図２／ＳＴＥＰ４Ａの比較閾値Ｃ_Ｒ−Ｂとしてもよい。

図２／ＳＴＥＰ４Ａの判定結果が肯定的である場合（図２／ＳＴＥＰ４Ａ‥ＹＥＳ、たとえば画素Ｐ２に対する判定結果が肯定的な場合）、色判定部１４は、対象画素の色を黄色と判定する（図２／ＳＴＥＰ５Ａ）。他方、図２／ＳＴＥＰ４Ａの判定結果が否定的である場合（図２／ＳＴＥＰ４Ａ‥ＮＯ、たとえば画素Ｐ３に対する判定結果が否定的な場合）、色判定部１４は、対象画素の色を黄色以外の色と判定する（図２／ＳＴＥＰ５Ｂ）。当該黄色以外の色としては、たとえば、影の領域でない道路部分の色が対象画素の色として判定される。

また、色判定部１４は、図２／ＳＴＥＰ４Ａの処理の前に、対象画素のＲＧＢ値が黄色のＲＧＢ値であるか否かを判定し、対象画素のＲＧＢ値が黄色のＲＧＢ値でない場合に限り、図２／ＳＴＥＰ４Ａの処理を行ってもよい。これにより、色判定部１４は、より確実に黄色の画像部分を抽出することができる。なお、対象画素のＲＧＢ値が黄色のＲＧＢ値であるか否かの判定は、対象画素のＲＧＢ値が黄色及びその類似色を示すＲ値、Ｂ値、及びＧ値の所定範囲（たとえば、Ｒ値が１５０〜２５６、Ｇ値が１５０〜２５６、Ｂ値が０〜５０の範囲）に含まれるか否かにより判定される。

また、色判定部１４は、上記処理において対象画素のＲＧＢ値が黄色のＲＧＢ値でないと判定した場合において、図２／ＳＴＥＰ４Ａの処理の前に、当該対象画素の周囲の画素のＲＧＢ値を参照して、当該周囲の画素のＲ値からＢ値を引いた値が所定値よりも低い場合に限り、図２／ＳＴＥＰ４Ａの処理を行ってもよい。なお、ここで、対象画素の周囲の画素のＲＧＢ値とは、対象画素の周囲の１画素のＲＧＢ値、又は対象画素の周囲の複数画素のＲＧＢ値のそれぞれの平均値、中央値、最高値又は最低値等を意味する。

図２／ＳＴＥＰ５Ａ〜図２／ＳＴＥＰ５Ｂのいずれかの処理の後、色判定部１４は、すべての画素に対して図２／ＳＴＥＰ３〜図２／ＳＴＥＰ５Ｂの処理を行ったか否かを判定する（図２／ＳＴＥＰ６）。

当該判定結果が肯定的である場合（図２／ＳＴＥＰ６‥ＹＥＳ）、エッジ画像生成部１２によってＳＴＥＰ７の処理が実行される。

当該判定結果が否定的である場合（図２／ＳＴＥＰ６‥ＮＯ）、色判定部１４は、ＳＴＥＰ３からの処理を次の対象画素について実行する。

エッジ画像生成部１２は、撮像画像２１から、黄色と判定された画素のみを抽出した黄色線特徴画像を生成し、当該黄色線特徴画像と、黄色と判定されなかった画素との各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像２２（図１参照）を生成する（図２／ＳＴＥＰ７）。

図３（ｂ）に示したＩｍ２は、グレースケール画像に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ２においては、左側実線レーンマークの画像部分５１ｃにおいて、影領域８１ａとの間にエッジ点が存在する一方、影領域８１ａに含まれない左側実線レーンマークの部分と影領域８１ａに含まれる左側実線レーンマークの部分との間にエッジ点が存在しないように抽出される。また、エッジ画像Ｉｍ２において、左側の実線レーンマークの画像部分５１ｃと、右側の破線レーンマークの画像部分６１ｃ〜６４ｃと、実線レーンマークの画像部分７１ｃと、直線的に連続したエッジ点を多く含む画像部分となる。また、影領域８１ｃがエッジ点で囲まれた領域となる。

続く図２／ＳＴＥＰ８〜図２／ＳＴＥＰ１０は、候補画像部分抽出部１５による処理である。候補画像部分抽出部１５は、エッジ画像Ｉｍ２に対して、ひとかたまりになっているエッジ点（以下、エッジ部分という）にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う。

また、候補画像部分抽出部１５は、図２／ＳＴＥＰ９で、クラスタリングにより抽出された画像部分のうち、線特徴性を有する画像部分（例えば、直線的に連続したエッジ点の割合が所定レベル以上である画像部分）を、レーンマークの画像部分の候補である候補画像部分として抽出する。

候補画像部分抽出部１５は、図２／ＳＴＥＰ９で抽出された各候補画像部分に対して、カメラ座標から実空間座標への逆射影変換を行って、各候補画像部分に対応する実空間での物体の位置を算出する（図２／ＳＴＥＰ１０）。なお、大きさが所定サイズ（レーンマークの画像部分ではないと想定されるサイズ）以下である画像部分が候補画像部分から除外されてもよい。

続く図２／ＳＴＥＰ１１〜図２／ＳＴＥＰ１２は、レーンマーク認識部１６による処理である。なお、レーンマーク認識部１６による処理工程は、本発明のレーンマーク認識方法のレーンマーク認識工程に相当する。

レーンマーク認識部１６は、図２／ＳＴＥＰ１０で求められた対応する実空間での長さが所定範囲（法規で定められた破線レーンマークの長さ（規定長）を基準として設定される）内であって、一定方向に連続した候補画像部分に基づいて、破線レーンマークの候補を検出する。

また、レーンマーク認識部１６は、車線が連続線レーンマーク（白線、黄線等）で区画されているときには、例えば特開平１１−２１９４３５号公報に記載された公知の手法により、連続線レーンマークの候補を検出する。

レーンマーク認識部１６は、これらのレーンマークの候補に基づき、レーンマークを認識する（図２／ＳＴＥＰ１１）。

例えば、図４に示されているように、車両１が走行している車線の左側に左レーンマーク５１ｂ、右側に右レーンマーク６１ｂ〜６４ｂ、７１ｂが認識される。

続く図２／ＳＴＥＰ１２で、レーンマーク認識部１６は、左右のレーンマークの位置に基づいて、車線の中心位置を認識する。図４の例では、左側の左レーンマーク５１ｂの内側位置ＸＬ１と、右側の右レーンマーク６１ｂ〜６４ｂの内側位置ＸＲ１との中心位置Ｘｃを認識する。

次の図２／ＳＴＥＰ１３は操舵制御部１７による処理である。操舵制御部１７は、車両１が車線内の中心位置Ｘｃ付近を走行するように、操舵機構７を作動させて車両１の運転者の運転操作をアシストする。また、操舵制御部１７は、車両１の運転者に対し、必要に応じてスピーカ５及び表示器６の少なくとも一方による注意喚起を行う。

ここで、操舵制御部１７は、車両１と中心位置Ｘｃとのずれが大きくなって、車両１と右レーンマーク６１ｂ〜６４ｂとの間隔ＷＲ、又は車両１と左レーンマーク５１ｂとの間隔ＷＬが予め設定された判定値以下になったときに、操舵機構７を作動させて車両１を中心位置Ｘｃに近づける制御を行う。

また、操舵制御部１７は、車両１と右レーンマーク６１ｂ〜６４ｂとの間隔ＷＲ、又は車両１と左レーンマーク５１ｂとの間隔ＷＬについて、左右のレーンマークの色ごとに異なる判定値を用いてもよい。たとえば、左レーンマーク５１ｂが黄色線であり、右レーンマーク６１ｂ〜６４ｂが白色線である場合、車両１と左レーンマーク５１ｂとの間隔ＷＬの判定値を、車両１と右レーンマーク６１ｂ〜６４ｂとの間隔ＷＬの判定値よりも小さく設定してもよい。このようにすることで、車両１が右レーンマークに比べ、左レーンマーク５１ｂから逸脱させないように操舵制御をすることができる。

（本実施形態の作用・効果）
本願発明者の検討によれば、道路領域にある黄色のレーンマークは、Ｒの値からＢの値を引いた値が当該レーンマーク以外の道路の画像部分のＲの値からＢの値を引いた値よりも大きいことが多い。

この点に着目して構成された本発明のレーンマーク認識装置によれば、当該対象領域（画素Ｐ２）のＲの値からＢの値を引いた値（０）が比較領域（画素Ｐ３）のＲの値からＢの値を引いた値（−２５）より大きいことの少なくとも１つを要件として、当該対象領域（画素Ｐ２）の色を黄色とみなすので、黄色のレーンマークを検出することができる。

前記したように、影でない領域のレーンマークの画像部分（画素Ｐ１）の色と、影の領域８１ａのレーンマークの画像部分（画素Ｐ２）の色とは異なることが多いところ、当該構成のレーンマーク認識装置１０によれば、影の領域８１ａのレーンマークの画像部分（画素Ｐ２）の色が想定の色（黄色）とは異なる場合であっても、当該画像部分（画素Ｐ２）の色が色判定部によって黄色と判定された場合には、当該画像部分（画素Ｐ２）に基づいて、レーンマークの候補画像部分５１ｃが認識される。この結果、レーンマークの検知精度が向上しうる。

当該構成のレーンマーク認識装置１０によれば、黄色のレーンマーク５１ｂと白色のレーンマーク６１ｂ〜６４ｂとで異なる態様で車両の操舵が制御される。この結果、それぞれのレーンマークの存在意義に応じた操舵制御が可能となる。

（変形態様）
図５に示されるように、レーンマーク認識装置１０は、影判定部１３を備えてもよい。なお、以下において、前述した実施形態と重複する構成及び処理については説明を省略し、前述した実施形態と相違する構成又は処理について説明する。

この場合、図６／ＳＴＥＰ３の前に、影判定部１３は、撮像画像２１の各画像部分について、他の画像部分との輝度の高低を判定することにより、影の領域に含まれる画像部分か否かを判定する（図６／ＳＴＥＰ２）。他の画像部分の平均輝度から所定の輝度を引いた値よりも輝度が低い画像部分は、影の領域に含まれる画像部分と判定される。

なお、各部分の輝度Ｌ（Ｐ）は、たとえば以下の式により求められる。

Ｌ（Ｐ）＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ
たとえば、図３（ａ）において、他の画像部分の平均輝度から所定の輝度を引いた値が１００とすると、画素Ｐ１は、その輝度（Ｌ（Ｐ１）＝１５３）が他の画像部分の平均輝度から所定の輝度を引いた値（１００）より高いため、影領域と判定されない。

一方、画素Ｐ２及びＰ３は、その輝度（Ｌ（Ｐ２）＝６９、Ｌ（Ｐ３）＝約６１）が他の画像部分の平均輝度から所定の輝度を引いた値（１００）より低いため、影領域と判定される。

この場合、色判定部１４が一つの画素を選択した後（図６／ＳＴＥＰ３）、色判定部１４は、対象画素に対し、図６／ＳＴＥＰ２で影領域と判定された画素（本発明の「対象影領域」に相当する。）であるか否かを判定する（図６／ＳＴＥＰ４Ｂ）。たとえば、影領域８１ａに含まれない画素Ｐ１については、当該判定結果は否定的となる一方、影領域８１ａに含まれる画素Ｐ２及び画素Ｐ３については、当該判定結果は肯定的となる。

図６／ＳＴＥＰ４Ｂの判定結果が否定的である場合（図６／ＳＴＥＰ４Ｂ‥ＮＯ、たとえば対象画素Ｐ１に対する判定結果が否定的な場合）、色判定部１４は、対象画素のＲＧＢ値に対応する色をその画素の色と判定する（図６／ＳＴＥＰ５Ｃ）。たとえば、色判定部１４は、影領域８１ａに含まれない対象画素Ｐ１の色について、そのＲＧＢ値に基づいて黄色と判定する。

図６／ＳＴＥＰ４Ｂの判定結果が肯定的である場合（図６／ＳＴＥＰ４Ｂ‥ＹＥＳ、たとえば対象画素Ｐ２、Ｐ３に対する判定結果が肯定的な場合）、色判定部１４は、対象画素（対象領域）のＲ値からＢ値を引いた値Ｔ_Ｒ−Ｂが、レーンマーク以外の道路の画像部分を含む比較影領域のＲ値からＢ値を引いた値Ｃ_Ｒ−Ｂよりも大きいか否か黄色か否かを判定する（図６／ＳＴＥＰ４Ｃ）。

ここで、レーンマーク以外の道路の画像部分を含む比較影領域とは、影領域のうち、対象画素がレーンマークの画像部分の画素であった場合に、レーンマーク以外の道路の画像部分となる蓋然性が高い画素を含む領域をいう。

より具体的には、比較影領域として、影領域のうち、対象画素から車両１の中央に向けた水平方向に実空間上で所定距離（たとえば１ｍ）離れた地点を含む領域が採用されうる。

また、比較影領域として、影領域のうち、対象画素を中心とした所定範囲（たとえば実空間の半径５０ｃｍの円に相当する範囲）の領域が採用されうる。

比較影領域として複数の画素が指定された場合には、それらの画素のうちのＲ値からＢ値を引いた値の最低値、中央値、平均値等が上記図６／ＳＴＥＰ４Ｃの比較閾値Ｔ_Ｒ−Ｂとして採用されてもよい。

当該構成のレーンマーク認識装置１０によれば、影の領域８１ａと判定された対象領域である対象影領域（画素Ｐ２）については、影の領域８１ａと判定された比較領域である比較影領域（画素Ｐ３）との比較により当該対象影領域（画素Ｐ２）の色が判定される。この結果、影の領域においても黄色のレーンマークが精度よく検出される。

また、図２／ＳＴＥＰ４Ａ又は図６／ＳＴＥＰ４ＣのＲ値からＢ値を引いた値Ｔ_Ｒ−Ｂの判定に代えてまたは加えて、対象画素のＢの値が比較領域又は比較影領域のＢの値と比較して小さい場合に対象画素の色を黄色と判定してもよい。

この場合、比較領域又は比較影領域として複数の画素が指定された場合には、それらの画素のうちのＢ値の最高値、中央値、平均値等を上記判定の比較閾値としてもよい。

また、一つの画素が対象画素（対象領域）とされたが、これに代えて、所定範囲の複数の画素が対象領域として採用されてもよい。この場合、それらのうちのＲ値からＢ値を引いた値の最低値、中央値、平均値等、又はＢ値の最高値、中央値、平均値等が上記判定において、比較値と比較されてもよい。

また、図２／ＳＴＥＰ７（図６／ＳＴＥＰ７）において、黄色線特徴画像を作成するのに代えて、図２／ＳＴＥＰ９（図６／ＳＴＥＰ９）において、候補画像部分抽出部１５が、複数の候補画像のＲＧＢ値が異なっていても、色判定部１４により、それらの候補画像が黄色であると判定されたことを要件として、隣接する複数の候補画像を一つのレーンマークの候補画像として認識するように構成されてもよい。

１…車両（自車両）、２…カメラ、７…操舵機構、１０…レーンマーク認識装置、１１…撮像画像取得部、１２…エッジ画像生成部、１３…影判定部、１４‥色判定部、１５‥候補画像部分抽出部、１６…レーンマーク認識部、１７…操舵制御部、２０…画像メモリ、２１…撮像画像、２２…エッジ画像。

Claims (6)

1. 車両に搭載されたＲＧＢ方式のカラーカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
   前記カラーカメラの撮像画像に対して、道路の画像部分であると推定される道路領域内の対象領域のＢの値がレーンマーク以外の道路の画像部分を含む前記道路領域内の比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が前記比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすように構成されている色判定部を備えることを特徴とするレーンマーク認識装置。
2. 請求項１記載のレーンマーク認識装置において、
   前記撮像画像のＲＧＢ値に基づき、影の領域か否かを判定する影判定部を備え、
   前記色判定部は、前記対象領域のうち、影判定部により影の領域であると判定された前記対象領域である対象影領域のＢの値が、前記比較領域のうち前記影判定部により影の領域であると判定された前記比較領域である比較影領域のＢの値より小さいこと、及び当該対象影領域のＲの値からＢの値を引いた値が当該比較影領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象影領域の色を黄色とみなすように構成されていることを特徴とするレーンマーク認識装置。
3. 請求項１または２記載のレーンマーク認識装置において、
   前記色判定部により黄色と判定された画像部分に基づいて、レーンマークの候補画像を認識する候補画像抽出部を備えることを特徴とするレーンマーク認識装置。
4. 車両に搭載されたＲＧＢ方式のカラーカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識する車両であって、
   前記カラーカメラの撮像画像に対して、道路の画像部分であると推定される道路領域内の対象領域のＢの値がレーンマーク以外の道路の画像部分を含む前記道路領域内の比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が前記比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすように構成されている色判定部を備えることを特徴とする車両。
5. 請求項４記載の車両において、
   前記色判定部により黄色と判定された画像部分に基づいて、黄色のレーンマークを認識するように構成されているレーンマーク認識部と、
   前記レーンマーク認識部によって認識された黄色のレーンマークを越えないように前記車両の操舵制御を行う操舵制御部とを備えることを特徴とする車両。
6. 車両に搭載されたＲＧＢ方式のカラーカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識方法であって、
   前記カラーカメラの撮像画像に対して、道路の画像部分であると推定される道路領域内の対象領域のＢの値がレーンマーク以外の道路の画像部分を含む前記道路領域内の比較領域のＢの値より小さいこと及び当該対象領域のＲの値からＢの値を引いた値が前記比較領域のＲの値からＢの値を引いた値より大きいことの少なくとも１つを要件として、当該対象領域の色を黄色とみなすように構成されている色判定工程を含むことを特徴とするレーンマーク認識方法。