JP2015210608A - 道路環境認識装置 - Google Patents

Abstract

【課題】道路周辺の突出物の認識にあたって、当該突出物の認識精度を向上させることができる道路環境認識装置を提供する。【解決手段】第１領域抽出部１３は、エッジ画像２２から、エッジ点で区画され、周囲部よりも輝度が高い第１領域６１ｄ〜６３ｄを抽出する。物体認識部１４は、エッジ画像２２において、周囲部よりも輝度が低い第２領域６１ｅ〜６３ｅが第１領域６１ｄ〜６３ｄの周囲に存在しているときに、第１領域６１ｄ〜６３ｄと当該第２領域６１ｅ〜６３ｅとを合わせた領域である第３領域に基づいて道路に存在する突出物を認識する。【選択図】 図４

Description

本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路周辺の突出物を認識する道路環境認識装置に関する。

従来より、車載カメラにより撮像された車両前方の道路の画像から、道路周辺の突出物を認識する道路環境認識装置が知られている（例えば、特許文献１及び特許文献２参照）。

特許文献１には、撮影手段が撮影した走行道路の画像の水平方向の一ライン上にある画素群毎に、所定閾値以上の輝度を有する水平方向の一ライン上で連続する画素群に基づいて道路鋲を認識する車線境界導出装置が記載されている。

特許文献２には、撮像画像のエッジ画像に対し、閾値以上のエッジ強度を有する画素を白色に変換し、閾値よりも小さなエッジ強度を有する画素を黒色に変換した後、モルフォロジー演算などを用いて全方向に膨張させた白色領域のうち、面積及びアスペクト比が所定以上となる白色領域に基づいて道路鋲を認識する車線認識装置が記載されている。

特許第５１９５３７７号公報 特許第５１５２００２号公報

しかしながら、従来の技術には、太陽光等による影の影響で、道路周辺に突出物が存在しているにもかかわらずその突出物を検出できなかったりするおそれがあり、道路周辺の突出物の認識精度の向上の観点から改良の余地がある。

たとえば、特許文献１の技術では、太陽光等により道路鋲の一部が影で覆われていた場合には、所定以上の閾値以上の輝度を有する画素群の数が少なくなるので、当該輝度を有する水平方向の一ライン以上で連続する画素群が抽出できないおそれがある。この結果、道路鋲が存在するにもかかわらず、当該道路鋲を認識できない可能性がある。

一方、特許文献２の技術では、太陽光等により道路鋲の一部が影で覆われていた場合には、膨張された白色領域の領域が所定よりも小さくなる。この結果、当該白色領域に相当する部分に道路鋲が存在していたとしても、当該道路鋲を認識できないおそれがある。

本発明はかかる背景に鑑みてなされたものであり、道路周辺の突出物の認識にあたって、当該突出物の認識精度を向上させることができる道路環境認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、カメラにより撮像された該車両周囲の画像に基づいて、道路周辺の突出物を認識する道路環境認識装置、車両、及び道路環境認識方法に関する。

本発明の道路環境認識装置は、
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第１領域を抽出する第１領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第２領域が前記第１領域の周囲に存在しているときに、当該第１領域と当該第２領域とを合わせた領域である第３領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする。

本願発明者の検討によって、道路に存在する突出物のうち光（太陽光等）が当たっている部分の画像部分は周囲の道路よりも輝度が高く、突出物のうち影となっている部分の画像部分は周囲の道路よりも輝度が低いことが多いことが判明した。

この点に着目して構成された当該構成の道路環境認識装置によれば、周囲部よりも輝度が高い第１領域と、第１領域の周囲に存在し、周囲部よりも輝度が低い第２領域とを合わせた領域である第３領域に基づいて道路に存在する突出物が認識される。この結果、突出物の一部が当該突出物の影で覆われていたとしても、影で覆われていない箇所の画像部分である第１領域と影で覆われている箇所の画像部分である第２領域とを合わせた第３領域に基づいて突出物が認識される。この結果、突出物が存在しているにもかかわらず、突出物の一部が影で覆われているために当該突出物が存在しないとするような誤認識の蓋然性が低下する。

したがって、当該構成の道路環境認識装置によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

本発明の道路環境認識装置において、
前記第１領域抽出部は、当該エッジ点で囲まれることにより区画される領域を前記第１領域として抽出するように構成されていることが好ましい。

当該構成の道路環境認識装置によれば、エッジ点で囲まれることにより区画される領域が第１領域として抽出される。エッジ点で囲まれる領域は立体物である蓋然性が高い。したがって、当該構成の道路環境認識装置によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

本発明の道路環境認識装置において、
前記物体認識部は、前記第１領域の色相が道路鋲を示す所定の第１色であり、かつ、前記第１領域の大きさが前記道路鋲の実空間上の大きさから定められた第１範囲である場合に、当該第１領域を前記突出物としての前記道路鋲の画像部分と認識するように構成されていることが好ましい。

当該構成の道路環境認識装置によれば、第１色を有する第１領域の大きさが道路鋲の大きさに対応した第１範囲であるときに当該第１領域が道路鋲の画像部分と認識されるので、道路鋲が精度よく認識されうる。

当該構成の道路環境認識装置において、
前記物体認識部は、
前記第１領域の大きさが前記第１範囲の下限未満である場合、前記第１領域の周囲に存在し、かつ、色相が前記第１色よりも暗い第２色である領域を第２領域として探索し、
当該第２領域が検出された場合には前記第３領域の大きさが、前記道路鋲の大きさから定まる第２範囲の大きさであることを条件として当該第３領域を前記道路鋲の画像部分と認識するように構成されていることが好ましい。

ここで、太陽等の光源の方向によっては、当該光源により照射されている道路鋲の部分に相当する第１領域の大きさは変化しうるが、道路鋲の部分に道路鋲の影部分に相当する第２領域を合わせた第３領域の大きさは、道路鋲の大きさに応じたものとなるため、変化の度合いは小さいと推察される。

したがって、第３領域の大きさが突出物の大きさから定まる所定範囲の大きさである場合には、第３領域は、道路鋲の画像部分である蓋然性が高い。

この点に着目して構成された当該構成の道路環境認識装置によれば、道路周辺の道路鋲の認識にあたって、道路鋲の認識精度の向上が図られうる。

本発明の道路環境認識装置において、
前記物体認識部は、前記突出物として道路鋲を認識するように構成され、
前記道路環境認識装置は、
認識された前記道路鋲に基づいて車線を認識する車線認識部と、
認識された車線に基づいて車両の操舵制御を行う操舵制御部とを備えることが好ましい。

当該構成の道路環境認識装置によれば、道路鋲が敷設されている道路において当該道路鋲を境界とする車線に基づいた車両の制御が可能となる。

当該構成の道路環境認識装置において、
前記物体認識部は、前記道路鋲と、当該道路鋲と異なる道路上の突出物とを区別して認識するように構成され、
前記操舵制御部は、前記道路鋲が認識された場合と、当該道路鋲と異なる道路上の突出物が認識された場合とで異なる制御を行うように構成されていることが好ましい。

当該構成の道路環境認識装置によれば、道路鋲と道路鋲と異なる道路上の突出物とが区別されて車両が制御されるので、実際の道路環境に即した車両の制御が可能となる。

当該構成の道路環境認識装置において、
前記物体認識部は、前記突出物の高さに応じて当該突出物が障害物か否かを判定し、
前記操舵制御部は、前記突出物を障害物と認識した場合に当該突出物の回避制御を実行し、前記突出物を障害物と認識しなかった場合に当該突出物の回避制御を実行しないことが好ましい。

当該構成の道路環境認識装置によれば、突出物が障害物と認識された場合に回避制御がされ、当該突出物が障害物と認識されなかった場合には回避制御が行われないので、すべての突出物に対して回避制御を行う場合に比べ、車両の制御が安定する。

本発明の道路環境認識装置において、
前記物体認識部は、前記第１領域の周囲であり、かつ、日光の向きに基づいて推定される前記突出物の影の画像部分が存在する可能性が高い領域内において、前記第２領域を探索するように構成されていることが好ましい。

当該構成の道路環境認識装置によれば、第１領域の周辺かつ、日光の向きに基づいて推定される突出物の影の画像部分が存在する可能性が高い領域において第２領域が探索されるので、計算コストが削減される。

本発明の車両は、
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第１領域を抽出する第１領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第２領域が前記第１領域の周囲に存在しているときに、当該第１領域と当該第２領域とを合わせた領域である第３領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする車両。

本発明の道路環境認識方法は、
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第１領域を抽出する第１領域抽出工程と、
前記エッジ画像において、周囲部よりも輝度が低い第２領域が前記第１領域の周囲に存在しているときに、当該第１領域と当該第２領域とを合わせた領域である第３領域に基づいて前記道路に存在する突出物を認識する物体認識工程とを含むことを特徴とする。

道路環境認識装置の構成図。 ボッツドッツ認識処理のフローチャート。 ボッツドッツ認識処理のフローチャート。 ボッツドッツの影の部分が比較的小さい場合の説明図で、（ａ）が撮像画像、（ｂ）がエッジ処理されたエッジ画像、（ｃ）がエッジ方向が算出された後の第１領域を示す図。 ボッツドッツの影の部分が比較的大きい場合の説明図で、（ａ）が撮像画像、（ｂ）がエッジ処理されたエッジ画像、（ｃ）がエッジ方向が算出された後の第１領域及び第２領域を示す図。 ボッツドッツに基づく車線の認識処理の説明図。

（道路環境認識装置の構成）
本発明の道路環境認識装置の実施形態について、図１〜図５を参照して説明する。

図１を参照して、道路環境認識装置１０は、カメラ２（カラーカメラ）、スピーカ５、表示器６、及び操舵機構７を備えた車両１（本発明の車両に相当する）に搭載されている。

道路環境認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたボッツドッツ認識及び操舵制御用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、第１領域抽出部１３、物体認識部１４、及び操舵制御部１５として機能する。また、道路環境認識装置１０により、本発明の道路環境認識方法が実施される。

（道路環境認識処理）
以下、図２（ａ）及び図２（ｂ）に示したフローチャートに従って、道路環境認識装置１０により、道路に設けられたボッツドッツ（道路鋲）を認識する処理について説明する。道路環境認識装置１０は、所定の制御周期毎に図２（ａ）及び図２（ｂ）に示したフローチャートによる処理を実行して、車両１が走行している道路のボッツドッツを認識する。

図２（ａ）／ＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、カメラ２から出力される車両１の前方（本発明の車両周囲に相当する）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。そして、この撮像画像２１のデータを画像メモリ２０に保持する。

続く図２（ａ）／ＳＴＥＰ２〜図２（ａ）／ＳＴＥＰ３はエッジ画像生成部１２による処理である。なお、エッジ画像生成部１２による処理工程は、本発明の道路環境認識方法におけるエッジ画像生成工程に相当する。

エッジ画像生成部１２は、撮像画像２１の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像２２（図１参照）を生成する。

なお、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。

ここで、図３（ａ）に示されるＩｍ１は撮像画像２１から生成されたグレースケール画像の例であり、車両１（自車両）が走行している車線を区画するボッツドッツの画像部分５１ａ〜５４ａが含まれている。

図３（ｂ）に示されるＩｍ２は、グレースケール画像Ｉｍ１に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ２において、ボッツドッツの画像部分５１ｃ〜５４ｃは、日光により照射されている箇所の画像部分がエッジ点によって囲まれている。

また、図４（ａ）に示されるＩｍ４は撮像画像２１から生成されたグレースケール画像の例であり、一部に影を有するボッツドッツの画像部分６１ａ〜６３ａが含まれている。

図４（ｂ）に示したＩｍ５は、グレースケール画像Ｉｍ４に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ５において、ボッツドッツの画像部分６１ｃ〜６３ｃは、日光により照射されている箇所の画像部分と影の画像部分とがそれぞれエッジ点によって囲まれている。

エッジ画像生成部１２は、撮像画像２１からエッジ点ごとに輝度の変化の方向であるエッジ方向を検出することにより、エッジ線を検出する（図２（ａ）／ＳＴＥＰ３）。ここで、エッジ方向とは輝度の濃淡の変化の方向をいう。同一のエッジ方向を持つエッジ点がひとまとめにされることにより、輝度が異なる区域を分けるエッジ線が検出される。このようなエッジ線は、所定の輝度を有する１つの領域を区画する１つの区画線となる。

この結果、図３（ｃ）のＩｍ３に示されるように、ボッツドッツの日光の当たっている部分に相当する画像部分（領域５１ｄ〜５４ｄ）が複数のエッジ線で区画される。また、図４（ｃ）に示されるように、ボッツドッツの日の当たっている部分に相当する画像部分（領域６１ｄ〜６３ｄ）がエッジ線で区画されるとともに、影の部分に相当する画像部分（領域６１ｅ〜６３ｅ）がエッジ線で区画される。

続く図２（ａ）／ＳＴＥＰ４は、第１領域抽出部１３による処理である。各領域を区画する複数のエッジ線によって区画された領域５１ｄ〜５４ｄ、６１ｄ〜６３ｄ、６１ｅ〜６３ｅのうち、当該領域の輝度（領域の輝度の平均値、領域の画素の最大値等）が所定の第１輝度以上である第１領域５１ｄ〜５４ｄ、６１ｄ〜６３ｄを抽出する。当該所定の第１輝度は、当該領域の周囲（道路）よりも輝度が高い輝度という観点で定められ、たとえば当該領域を含む所定の大きさの領域の平均輝度が当該所定の第１輝度として採用される。

なお、第１領域抽出部１３による処理工程は、本発明の道路環境認識方法における第１領域抽出工程に相当する。

続く図２（ａ）／ＳＴＥＰ５（図２（ａ）／ＳＴＥＰ５１〜図２（ａ）／ＳＴＥＰ５８）、図２（ｂ）／ＳＴＥＰ６〜図２（ｂ）／ＳＴＥＰ８は物体認識部１４による処理である。なお、物体認識部１４による処理工程は、本発明の道路環境認識方法における物体認識工程に相当する。

物体認識部１４は、第１領域抽出部１３によって抽出された第１領域５１ｄ〜５４ｄ、６１ｄ〜６３ｄのそれぞれについて図２（ａ）／ＳＴＥＰ５１〜図２（ａ）／ＳＴＥＰ５８の処理を実行する（図２（ａ）／ＳＴＥＰ５）。なお、図２（ａ）／ＳＴＥＰ５１〜図２（ａ）／ＳＴＥＰ５８の処理対象となっている第１領域を「今回の第１領域」という。

物体認識部１４は、今回の第１領域に対して、カメラ座標から実空間座標への逆射影変換を行って、今回の第１領域に対応する実空間での突出物の位置を算出する（図２（ａ）／ＳＴＥＰ５１）。

物体認識部１４は、当該算出された位置に基づいて推定された今回の第１領域に対応する実空間上の突出物の高さが所定の高さ以上であるか否かを判定する（図２（ａ）／ＳＴＥＰ５２）。当該判定結果が肯定的な結果である場合（図２（ａ）／ＳＴＥＰ５２‥ＹＥＳ）、物体認識部１４は、今回の第１領域を突起物の画像部分の候補であると認識する（図２（ａ）／ＳＴＥＰ５６）。

当該判定結果が否定的な結果である場合（図２（ａ）／ＳＴＥＰ５２‥ＮＯ）、物体認識部１４は、今回の第１領域の大きさが所定の範囲に含まれるか否かを判定する（図２（ａ）／ＳＴＥＰ５３）。当該所定の範囲は、今回の第１領域に対応する実空間上の位置にボッツドッツが存在したときの当該ボッツドッツの画像部分の大きさを想定して設定された範囲である。また、大きさに加え、第１領域の色相が所定の色相（ボッツドッツの表面の色から定まる色相で、たとえば白）であるか否かが判定されてもよい。

たとえば、図３（ｃ）のＩｍ３に示されるように、物体認識部１４は、横幅ｘ１と縦幅ｙ１とから求められる第１領域５１ｄの大きさが、第１領域５１ｄに対応する実空間上の位置から推定されるボッツドッツの画像部分の大きさの範囲内であるか否かを判定する。図３（ａ）に示されるボッツドッツの画像部分５１ａは、影で覆われている部分がほとんどないため、ボッツドッツの画像部分５１ａに対応する第１領域５１ｄの大きさは、実空間上の距離から推定されるボッツドッツの画像部分の大きさの範囲内となる。

また、図４（ｃ）のＩｍ６に示されるように、物体認識部１４は、横幅ｘ２と縦幅ｙ２とから求められる第１領域６２ｄの大きさが、第１領域６２ｄに対応する実空間上の位置から推定される所定の大きさ以上であるか否かを判定する。図４（ａ）に示されるボッツドッツの画像部分６２ａは、一部が影で覆われているため、ボッツドッツの画像部分６２ａの日が当たっている部分に対応する第１領域６２ｄの大きさは、実空間上の距離から推定されるボッツドッツの画像部分の大きさの範囲外となる。

図２（ａ）／ＳＴＥＰ５３の判定結果が肯定的な結果である場合（図２（ａ）／ＳＴＥＰ５３‥ＹＥＳ）、物体認識部１４は、今回の第１領域をボッツドッツの画像部分の候補であると認識する（図２（ａ）／ＳＴＥＰ５７）。

図２（ａ）／ＳＴＥＰ５３の判定結果が否定的な結果である場合（図２（ａ）／ＳＴＥＰ５３‥ＮＯ）、物体認識部１４は、今回の第１領域の周辺部において、所定の第２輝度よりも低い輝度を有する第２領域を探索する（図２（ａ）／ＳＴＥＰ５４）。ここで、第２領域の探索領域は、ボッツドッツの大きさから定められる領域と日光の向きから推定される影ができる領域との重なった領域である。また、当該所定の第２輝度は、第２領域の周囲（道路等）よりも低い輝度であり、たとえば、第２領域を含む領域の平均輝度が採用されうる。第１輝度と第２輝度とは同一の輝度であってもよい。なお、今回の第１領域の大きさが所定の範囲の上限値を超えている場合、物体認識部１４は、図２（ａ）／ＳＴＥＰ５４〜図２（ａ）／ＳＴＥＰ５７の処理を省略して、図２（ａ）／ＳＴＥＰ５８の処理を行ってもよい。

ここで、ボッツドッツの大きさから定められる領域として、たとえば、ボッツドッツの所定の横幅ｘと縦幅ｙと、第１領域６２ｄの横幅ｘ２、縦幅ｙ２に基づき、第１領域６２ｄの左右方向に横幅の差分（ｘ−ｘ２）だけずれた領域、上下方向に縦幅の差分（ｘ−ｙ２）だけずれた領域が採用されうる。

また、日光の向きは、たとえば、車両１の進行方向及びカメラ２の傾斜角度等から推定されるカメラ２の撮像方向と、日時とに基づき推定されうる。日光により影ができる領域の推定は、種々の公知の技術が採用されうる。

なお、当該第１領域の色相が想定と異なる場合、物体認識部１４は、当該第２領域の探索を行わず、図２（ａ）／ＳＴＥＰ５８の処理を行ってもよい。

物体認識部１４は、今回の第１領域と第２領域とを合わせた第３領域の大きさが所定の範囲に含まれるか否かを判定する（図２（ａ）／ＳＴＥＰ５５）。当該所定の範囲は、第３領域に対応する実空間上の位置から推定されるボッツドッツの画像部分の大きさの範囲である。なお、当該第２領域が抽出されなかった場合、物体認識部１４は、ＳＴＥＰ５５以下の判定を行わずに、図２（ａ）／ＳＴＥＰ５８の処理を行う。

例えば、図４（ｃ）に示されるように、物体認識部１４は、横幅ｘ３と縦幅ｙ３とから求められる第１領域６２ｄ及び第２領域６２ｅを合わせた第３領域の大きさが、第３領域に対応する実空間上の位置から推定される所定の大きさ以上であるか否かを判定する。

当該判定結果が肯定的な結果である場合（図２（ａ）／ＳＴＥＰ５５‥ＹＥＳ）、物体認識部１４は、第３領域をボッツドッツの画像部分の候補であると認識する（図２（ａ）／ＳＴＥＰ５７）。たとえば、図４（ｃ）に示されている横幅ｘ３と縦幅ｙ３とから求められる第１領域６２ｄ及び第２領域６２ｅを合わせた第３領域の大きさが、第３領域に対応する実空間上の位置から推定される所定の大きさ以上である場合、物体認識部１４は、当該第３領域をボッツドッツの画像部分であると認識する。

一方、当該判定結果が否定的な結果である場合（図２（ａ）／ＳＴＥＰ５５‥ＮＯ）、物体認識部１４は、第１領域を、ボッツドッツの画像部分の候補でも、突起物の画像部分の候補でもないと認識する（図２（ａ）／ＳＴＥＰ５８）。

物体認識部１４は、各第１領域に対して図２（ａ）／ＳＴＥＰ５（図２（ａ）／ＳＴＥＰ５１〜図２（ａ）／ＳＴＥＰ５８）の処理が終了すると、認識したボッツドッツの候補をボッツドッツとして認識する（図２（ｂ）／ＳＴＥＰ６）。この際に、さらに他の道路環境と照合してボッツドッツ候補がボッツドッツか否かが判定されてもよい。

図５は、車両１が走行している車線の左右に複数のボッツドッツが敷設されている例を示ししている。

図５の場合は、左右両側において、合計６つのボッツドッツ候補７１ｂ〜７６ｂが検出されている。これらのボッツドッツ候補７１ｂ〜７６ｂは、ボッツドッツ（以下、単にボッツドッツ７１ｂ〜７６ｂという。）として認識される。

また、物体認識部１４は、認識した突起物の候補を突起物として認識する（図２（ｂ）／ＳＴＥＰ７）。この際に、詳細な突起物の形状に基づき、その突起物がどの種類の突起物かであるかが判定されてもよい。また、物体認識部１４は、突起物の大きさに基づき、障害物であるか否かを判定してもよい。

図５の場合、車両の右側前方に突起物の候補８１ｂが検出されている。これらの突起物候補８１ｂは、突起物（以下単に「突起物８１ｂ」という。）として認識される。

続く図２（ｂ）／ＳＴＥＰ８で、物体認識部１４は、左右のボッツドッツ７１ｂ〜７６ｂの位置に基づいて、車線の中央位置を認識する。図５の例では、左側のボッツドッツ７１ｂ〜７３ｂの内側位置ＸＬ１と右側のボッツドッツ７４ｂ〜７６ｂの内側位置ＸＲ１との中央位置Ｘｃを認識する。

また、図５の例では、左側のボッツドッツ７１ｂ〜７３ｂの内側位置ＸＬ１と、右側のボッツドッツ７４ｂ〜７６ｂの内側位置ＸＲ１との中央位置Ｘｃが、車線の中央位置として認識される。

次の図２（ｂ）／ＳＴＥＰ９は操舵制御部１５による処理である。操舵制御部１５は、車両１が車線内の中心位置Ｘｃ付近を走行するように、操舵機構７を作動させて車両１の運転者の運転操作をアシストする。

ここで、操舵制御部１５は、車両１と中心位置Ｘｃとのずれが大きくなって、車両１と右ボッツドッツ７４ｂ〜７６ｂとの間隔ＷＲ、又は車両１と左ボッツドッツ７１ｂ〜７３ｂとの間隔ＷＬが予め設定された判定値以下になったときに、操舵機構７を作動させて車両１を中心位置Ｘｃに近づける制御を行う。

また、操舵制御部１５は、認識された突起物８１ｂについて、車両１と当該突起物８１ｂとの接触を避けるための回避制御を行う。なお、操舵制御部１５は、当該回避制御を、突起物８１が障害物と認識された場合にのみ行ってもよい。

（道路環境認識装置の作用効果）
当該構成の道路環境認識装置１０によれば、突出物の一部が当該突出物の影で覆われていたとしても、影で覆われていない箇所の画像部分である第１領域６１ｄ〜６３ｄと影で覆われている箇所の画像部分である第２領域６１ｅ〜６３ｅとが抽出された場合に、それらを合わせた第３領域に基づいて突出物が認識される。この結果、突出物が存在しているにもかかわらず、突出物の一部が影で覆われているために当該突出物が存在しないとするような誤認識の蓋然性が低下する。

したがって、当該構成の道路環境認識装置１０によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

また、当該構成の道路環境認識装置１０によれば、算出されたエッジ方向に基づいて第１領域５１ｄ〜５４ｄ、６１ｄ〜６３ｄが抽出されるので、所定以上の輝度を有する第１領域の抽出精度が向上する。この結果、当該構成の道路環境認識装置１０によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

また、当該構成の道路環境認識装置１０によれば、第１色（白色）を有する第１領域５１ｄ〜５４ｄの大きさが突出物の大きさに対応した第１範囲であるときに当該第１領域５１ｄ〜５４ｄが突出物の画像部分と認識されるので、突出物が精度よく認識されうる。

当該構成の道路環境認識装置において、
ここで、太陽等の光源の方向によっては、当該光源により照射されている突出物の部分に相当する第１領域６１ｄ〜６３ｄの大きさは変化しうるが、当該突出物の部分に突出物の影部分に相当する第２領域６１ｅ〜６３ｅを合わせた第３領域の大きさは、突出物の大きさに応じたものとなるため、変化の度合いは小さいと推察される。

したがって、第３領域の大きさが突出物の大きさから定まる所定範囲の大きさである場合には、第３領域は、当該突出物の画像部分である蓋然性が高い。

この点に着目して構成された当該構成の道路環境認識装置１０によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

また、当該構成の道路環境認識装置１０によれば、道路鋲（ボッツドッツ）が敷設されている道路において当該道路鋲を境界とする車線（の内側位置ＸＬ、ＸＲ、及び中央位置Ｘｃ）に基づいて車両１の制御が可能となる。

また、当該構成の道路環境認識装置１０によれば、道路鋲と道路鋲と異なる道路上の突出物とが区別されて車両１が制御されるので、実際の道路環境に即した車両１の制御が可能となる。

また、当該構成の道路環境認識装置１０によれば、突出物が障害物と認識された場合に回避制御がされ、当該突出物が障害物と認識されなかった場合には回避制御が行われないので、すべての突出物に対して回避制御を行う場合に比べ、車両１の制御が安定する。

当該構成の道路環境認識装置１０によれば、第１領域６１ｄ〜６３ｄの周辺かつ、日光の向きに基づいて推定される突出物の影の画像部分が存在する可能性が高い領域において第２領域６１ｅ〜６３ｅが探索されるので、計算コストが削減される。

（変形態様）
本実施形態ではボッツドッツと突起物とが認識対象とされたが、これに限られず、たとえばキャッツアイ、パイロン等が認識対象とされてもよい。

１…車両（自車両）、２…カメラ、７…操舵機構、１０…道路環境認識装置、１１…撮像画像取得部、１２…エッジ画像生成部、１３…第１領域抽出部１３…物体認識部１４…操舵制御部、２０…画像メモリ、２１…撮像画像、２２…エッジ画像。

Claims (10)

1. カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
   前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第１領域を抽出する第１領域抽出部と、
   前記エッジ画像において、周囲部よりも輝度が低い第２領域が前記第１領域の周囲に存在しているときに、当該第１領域と当該第２領域とを合わせた領域である第３領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする道路環境認識装置。
2. 請求項１記載の道路環境認識装置において、
   前記第１領域抽出部は、当該エッジ点で囲まれることにより区画される領域を前記第１領域として抽出するように構成されていることを特徴とする道路環境認識装置。
3. 請求項１又は２記載の道路環境認識装置において、
   前記物体認識部は、前記第１領域の色相が道路鋲を示す所定の第１色であり、かつ、前記第１領域の大きさが前記道路鋲の実空間上の大きさから定められた第１範囲である場合に、当該第１領域を前記突出物としての前記道路鋲の画像部分と認識するように構成されていることを特徴とする道路環境認識装置。
4. 請求項３記載の道路環境認識装置において、
   前記物体認識部は、
   前記第１領域の大きさが前記第１範囲の下限未満である場合、前記第１領域の周囲に存在し、かつ、色相が前記第１色よりも暗い第２色である領域を第２領域として探索し、
   当該第２領域が検出された場合には前記第３領域の大きさが、前記道路鋲の大きさから定まる第２範囲の大きさであることを条件として当該第３領域を前記道路鋲の画像部分と認識するように構成されていることを特徴とする道路環境認識装置。
5. 請求項１〜４のいずれか１項記載の道路環境認識装置において、
   前記物体認識部は、前記突出物として道路鋲を認識するように構成され、
   前記道路環境認識装置は、
   認識された前記道路鋲に基づいて車線を認識する車線認識部と、
   認識された車線に基づいて車両の操舵制御を行う操舵制御部とを備えることを特徴とする道路環境認識装置。
6. 請求項５記載の道路環境認識装置において、
   前記物体認識部は、前記道路鋲と、当該道路鋲と異なる道路上の突出物とを区別して認識するように構成され、
   前記操舵制御部は、前記道路鋲が認識された場合と、当該道路鋲と異なる道路上の突出物が認識された場合とで異なる制御を行うように構成されていることを特徴とする道路環境認識装置。
7. 請求項６記載の道路環境認識装置において、
   前記物体認識部は、前記突出物の高さに応じて当該突出物が障害物か否かを判定し、
   前記操舵制御部は、前記突出物を障害物と認識した場合に当該突出物の回避制御を実行し、前記突出物を障害物と認識しなかった場合に当該突出物の回避制御を実行しないことを特徴とする道路環境認識装置。
8. 請求項１〜７のいずれか１項記載の道路環境認識装置において、
   前記物体認識部は、前記第１領域の周囲であり、かつ、日光の向きに基づいて推定される前記突出物の影の画像部分が存在する可能性が高い領域内において、前記第２領域を探索するように構成されていることを特徴とする道路環境認識装置。
9. カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
   前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第１領域を抽出する第１領域抽出部と、
   前記エッジ画像において、周囲部よりも輝度が低い第２領域が前記第１領域の周囲に存在しているときに、当該第１領域と当該第２領域とを合わせた領域である第３領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする車両。
10. カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
    前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第１領域を抽出する第１領域抽出工程と、
    前記エッジ画像において、周囲部よりも輝度が低い第２領域が前記第１領域の周囲に存在しているときに、当該第１領域と当該第２領域とを合わせた領域である第３領域に基づいて前記道路に存在する突出物を認識する物体認識工程とを含むことを特徴とする道路環境認識方法。