JP2008262333A - 路面判別装置および路面判別方法 - Google Patents

Abstract

【課題】撮像画像内にエッジ強度が大きい線分が検出されない場合であっても、撮像画像に存在する路面や立体物の判別を行うことができるようにする。
【解決手段】画像処理部１０が、車両に搭載されたカメラＣで取得した車両の周囲の路面の画像から撮像画像を生成し、領域設定部２１が、撮像画像を区画して、エッジ強度が第１の閾値以上となる強エッジの線分を含まない弱エッジ領域を設定し、特徴抽出部２２が、エッジ強度が第１の閾値よりも小さい第２の閾値以上となる弱エッジを、弱エッジ領域内において検索すると共に、検索された弱エッジからなるテクスチャの特徴を抽出し、領域判定部２３が、車両の直進走行時におけるテクスチャの特徴の経時的変化に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定し、路面判別部２４が、判定結果に基づいて、撮像画像における路面の判別を行う構成とした。
【選択図】図１

Description

本発明は、車両の周囲を撮像して得られた撮像画像に基づいて、車両の周囲の路面の判別や、車両の周囲に存在する障害物（立体物）の有無を判定する路面判別方法、および路面判別装置に関するものである。

近年、車両の周囲に存在する障害物を検出し、車両の駐車支援、車間距離制御、そして衝突防止制御などを行う運転支援装置が種々提案されている。
そして、車両の周囲に存在する障害物を検出するための装置として、例えば、特許文献１に開示された装置がある。この特許文献１に開示された装置では、カメラなどの撮像手段により車両の周囲を撮像して得られた撮像画像において線分を検出し、検出した線分に基づいて障害物の候補を設定し、障害物の候補と路面との運動視差に基づいて、障害物の候補が路面なのか、それとも路面上にある障害物（立体物）であるのかを判断している。
特開２００４−０３２４６０号公報

しかし、特許文献１に開示された発明の場合、エッジ強度が大きい線分が撮像画像内において検出されない場合には、障害物の候補を設定することができず、撮像画像に存在する路面や立体物の判別ができないという問題があった。

よって、本発明は、撮像画像内にエッジ強度が大きい線分が検出されない場合であっても、撮像画像に存在する路面や立体物の判別を行うことができる装置およびその方法を提供することを目的とする。

本発明は、車両に搭載されて車両の周囲の路面を撮像するカメラで撮像した撮像画像において、（ａ）エッジ強度が第１の閾値以上となる強エッジの線分を検索すると共に、強エッジの線分を含まない領域を第１対象領域として設定し、（ｂ）エッジ強度が第１の閾値よりも小さい第２の閾値以上となる弱エッジからなるテクスチャを、第１対象領域において検索すると共に、検索されたテクスチャの特徴を抽出し、（ｃ）車両の直進走行時におけるテクスチャの特徴の経時的変化に基づいて、第１対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定し、（ｄ）判定結果に基づいて路面の判別を行う構成とした。

本発明によれば、車両の周囲の路面の撮像により得られる撮像画像において、エッジ強度が第１の閾値以上となる強エッジの線分を含まない領域が、第１対象領域として設定される。続いて、エッジ強度が第２の閾値以上となる弱エッジからなるテクスチャが、第１対象領域内において検索されると共に、検索されたテクスチャの特徴が抽出される。そして、車両の直進走行時におけるテクスチャの特徴の経時的な変化に基づいて、第１対象領域が路面領域と立体物の領域とのうちの何れであるのかが判定されると共に、判定結果に基づいて路面の判別が行われる。
従って、特徴抽出をした際に特徴が顕著に表れる強エッジの線分を含まない領域の特徴に基づいて路面の判別が行われる。すなわち、特徴抽出をした際に特徴が顕著に表れる強エッジの線分の特徴ではなく、エッジ強度の小さい弱エッジからなる線分や模様などのテクスチャから抽出した特徴に基づいて路面の判別を行うので、撮像画像内に強エッジの線分が存在しない場合であっても、路面の判別を行える。

以下、本発明の好ましい実施形態を、添付図面を参照しながら説明する。
図１は、本実施形態に係る路面判別装置の構成を示すブロック図である。

路面判別装置１は、カメラＣと、画像処理部１０と、制御部２０と、記憶部３０とを含んで構成される。

カメラＣは、車両の外部を撮像した映像をデジタルデータとして取り込むことができるものであり、広い範囲の撮像が可能な広角カメラが、カメラＣとして車両に設けられている。

図２の（ａ）に示すように、車両の前方領域を撮像する前カメラＣ１と、車両の右側領域を撮像する右カメラＣ２と、車両の左側領域を撮像する左カメラＣ３と、車両の後方領域を撮像する後カメラＣ４とにより、車両の周囲全体の撮像が行われるように構成されている。
なお、以下の説明においては、これらカメラ（Ｃ１〜Ｃ４）を特に区別しない場合は、単にカメラＣと表記する。

図１を参照して、画像処理部１０は、撮像画像を生成し、生成した撮像画像を後記する制御部２０に出力すると共に、記憶部３０の画像メモリ３１に格納する。
画像処理部１０は、撮像画像生成部１１と、撮像画像補正部１２とを含んで構成される。

撮像画像生成部１１は、各カメラＣ（Ｃ１〜Ｃ４）から入力される４つのそれぞれの画像から、車両の上方から見た画像である俯瞰画像を生成すると共に、この４つの俯瞰画像を合成し、この合成された俯瞰画像を制御部に出力する。また、この際に画像の中央部に、予め記憶しておいた車両を示すマークＶを重畳（インポーズ）させて、制御部２０に出力する。なお、今後、この車両マークＶは、インポーズされたマークそのものと、実際の車両を模式的に現す際にも、「車両マークＶ」として表現することもある。また、この車両を示すマークＶのインポーズは撮像画像生成部１１でなく、制御部２０で行っても良い。

図２の（ｂ）に示すように、俯瞰画像では、車両マークＶを中心にして、前カメラＣ１から入力される画像ＩＭ１が車両マークＶの進行方向における前側（図面において上側）に、右カメラＣ２から入力される画像ＩＭ２が車両マークＶの進行方向右側（図面において右側）に、左カメラＣ３から入力される画像ＩＭ３が車体の進行方向左側（図面において左側）に、そして後カメラＣ４から入力される画像ＩＭ４が車両マークＶの進行方向における後側に、それぞれ配置されている。

図１に示すように、記憶部３０には、各カメラＣから入力される画像の各画素が、所定の画素範囲を有する俯瞰画像のどの位置の画素に対応するのかを示す設定テーブル３２が予め用意されている。よって、撮像画像生成部１１は、カメラＣから画像が入力されると、設定テーブル３２を参照して入力画像を変換して俯瞰画像を生成する。

図３は、撮像画像生成部１１が生成する俯瞰画像において、車両の周囲がどのように現れるのかを説明する説明図である。なお、この説明図で、車両は符号Ｖで、路面に描かれた白線は符号Ｗで、路面は符号Ｒで、塀は符号Ｂで、それぞれ示されている。

撮像画像生成部１１は、各カメラＣ（Ｃ１〜Ｃ４）から入力される広角画像の変換により俯瞰画像を生成する。この際、車両の周囲はすべて路面と同じ高さであるという仮定のもとで変換が行われる。
そのため、路面に描かれた白線のように路面と同じ高さにあるものは、俯瞰画像においても、車両の上方から見た場合と同じように現れる。すなわち、車両の側面に対して平行に位置する白線Ｗは、車両マークＶの側面に平行に位置して現れる（図３の（ａ））。

しかし、路面上に存在する立体物の場合、立体物の側面が広角画像に映るので、俯瞰画像では、立体物の側面が一定の面積を有する領域として現れる。
例えば、車両の左斜め前方に位置すると共に路面Ｒに対して垂直方向に延出する円柱Ｐ１の場合、実際に車両の上方から見ると、３の（ｃ）に示すように円で見えるが、円柱Ｐが高さを持っており、路面と同じ高さにないために、俯瞰変換を行った画像では、車両マークＶから斜め左上方向に延出すると共に円柱Ｐ１の上部側が外側の位置に歪んだ略台形の形状として現れる（図３の（ｂ）参照）。また、円柱Ｐ１に雨の汚れなどに起因する縦線がある場合には、その縦線に起因する線分が略台形の形状の領域に現れる。

俯瞰画像内に現れる立体物の形状は、立体物と車両との位置関係により変化する。車両の左側の側方に位置する円柱Ｐ２は、車両マークＶから左方向に延出する略矩形の形状として、車両の左斜め後方に位置する円柱Ｐ３は、車両マークＶから斜め左下方向に延出する略台形の形状として現れる。
また、路面に対して垂直方向に延出する壁Ｂの場合、車両の上方から見ると図３の（ｃ）に示すように矩形で見えるが、俯瞰画像では、車両マークＶの側方において一定の範囲を有する略矩形領域として現れる（図３の（ｂ）参照）。そして、壁Ｂの表面の模様、例えば図３の（ｃ）に示すような、路面に対して垂直となる方向に延びる模様Ｍ（Ｍ１〜Ｍ３）の場合、車両マークＶの右斜め前方に位置する模様Ｍ１は、車両マークＶから右斜め上方向に延出する略台形形状、車両マークＶの右側の側方に位置する模様Ｍ２は、車両マークＶから右方向に延出する略矩形形状、そして車両マークＶの右斜め後方に位置する模様Ｍ３は、車両マークＶから右斜め下方向に延出する略台形形状としてそれぞれ現れる。
このように、実際に車両を上方から見た場合とは若干異なると共に、立体物の側面が一定の面積を有する領域として現れる俯瞰画像が、撮像画像として採用されている。

撮像画像補正部１２は、広角カメラのレンズ系の特徴に起因する影響を除外するように、撮像画像を補正する。
広角カメラの場合、レンズの周縁側に入射する光の量は、レンズの中心側に比べて少なくなる。そのため、撮像画像における４隅の領域は、広角カメラの撮像範囲の周縁側の領域に対応するので、撮像画像の中央側に比べて暗い画像となる。
また、広角画像の変換により撮像画像を生成する場合、撮像画像の４隅の領域の画像は、中央側の領域の画像に比べて引き延ばされることになるので、撮像画像の４隅の領域に存在するテクスチャは、その形状が歪んだ状態で撮像画像内に表示される。

このため、広角カメラで取得した画像から撮像画像を生成した際に生ずる画像の歪みや明るさの違いを補正する変換式が、レンズ系の特徴に基づいて、撮像画像内の位置ごとにあらかじめ設定されており、撮像画像補正部１２は、変換式に基づいて撮像画像を補正して、広角カメラの撮像範囲内における位置に関係なく、同じ物体や同じテクスチャが撮像画像内において常に同じように表示されるようにする。

これにより、撮像画像内に存在する画像の歪み、暗さ、そして粗さなどの影響が除外されるので、補正後の撮像画像に基づいてより正確な特徴抽出を行うことができる。また、安定した特徴量の抽出が可能となり、領域判定部２３における判別の精度を向上させることができる。

撮像画像の補正が完了すると、撮像画像補正部１２は、補正後の撮像画像を制御部２０に出力すると共に、記憶部３０の画像メモリ３１に格納する。

図１を参照して、制御部２０は、画像処理部１０から入力される撮像画像の処理により路面の判別を行い、判別結果を示す情報を出力する。
制御部２０は、領域設定部２１と、特徴抽出部２２と、領域判定部２３と、路面判別部２４とを備えて構成される。

領域設定部２１は、強エッジ検索部２１ａと設定部２１ｂとを含んで構成される。
強エッジ検索部２１ａは、エッジ強度が第１の閾値よりも大きく、かつエッジ長さが所定長さ以上となるエッジの線分、すなわち強エッジ線分を撮像画像において検索する。この強エッジ線分は、特徴抽出をした際に特徴が顕著に現れる線分である。
そして、強エッジ線分が検出された場合に、撮像画像を構成する画素のうちのどの画素が強エッジ線分に対応する画素であるのかを示す強エッジ線分情報を生成する。
ここで、エッジの検索は、例えばＳｏｂｅｌフィルタ用いる従来公知の方法で行い、エッジの長さは、連なっている画素の数に基づいて算出する。
また、エッジ長さが所定長さ以上の線分とは、第１の閾値以上のエッジ強度を有するエッジが所定数以上連なって形成される直線や曲線などの線分を意味する。

設定部２１ｂは、強エッジ線分情報に基づいて強エッジ線分の位置を特定すると共に、撮像画像を区画して、強エッジ線分を含まない弱エッジ領域（第１対象領域）と、含む強エッジ領域（第２対象領域）とを設定する。
なお、強エッジ線分が撮像画像内に存在しない場合には、弱エッジ領域のみが設定される。
例えば、図４の（ａ）に示す撮像画像の場合、図中において太線で示した円柱Ｐのエッジと、白線Ｗのエッジと、壁Ｂの模様Ｍ（Ｍ１〜Ｍ３）のエッジとが、強エッジ線分として検索されるので、図４の（ｂ）に示すように、設定部２１ｂは、これら強エッジ線分を内部に含む所定の大きさの領域を強エッジ領域（図中、実線で囲んだ矩形の領域）として設定すると共に、強エッジ線分を含まない所定の大きさの領域を弱エッジ領域（図中、点線で囲んだ矩形の領域）として設定する。
強エッジ領域や弱エッジ領域の大きさは、予め決められていても良いが、検索された強エッジ線分の範囲に合わせて、それぞれ変更できるようにしても良い。また、強エッジ領域を矩形形状とせずに、強エッジ線分で囲まれた領域のみを切り出すような形状としても良い。

図５を参照して、特徴抽出部２２は、弱エッジ領域や強エッジ領域の特徴を抽出するものであり、強エッジ領域内の強エッジ線分の特徴を抽出する強エッジ特徴抽出部２２ａと、弱エッジ領域内のテクスチャの特徴を抽出する弱エッジ特徴抽出部２２ｂと、弱エッジ領域内に存在するグラデーションの特徴を抽出するグラデーション特徴抽出部２２ｃと、弱エッジ領域内に存在する注目領域の特徴を抽出する注目領域特徴抽出部２２ｄとを備えて構成される。

強エッジ特徴抽出部２２ａは、領域設定部２１において生成された強エッジ線分情報を参照して、強エッジ領域内に存在する強エッジ線分の位置を特定すると共に、強エッジ線分の強エッジ領域内における位置、形状、そして傾きなどを示す強エッジ特徴情報を生成し、強エッジ領域の特徴とする。

例えば、図６に示すように、強エッジ線分が直線Ｓｏである場合、始点Ｓ１、終点Ｓ２、そして始点Ｓ１と終点Ｓ２とを結ぶ直線Ｓｏ上の複数の経路点Ｓ３、Ｓ４の座標データ、直線Ｓｏの傾き、そして直線Ｓｏを現す数式などが、強エッジ特徴情報の情報項目となる。
ここで、強エッジ線分の位置や傾きは、例えば、図６に示す撮像画像における左上の角を原点とし、図中右方向をＸ軸、下方向をＹ軸とした座標系を設定した場合、この座標系における座標を用いて現すことができ、始点Ｓ１の座標を（０、ｙ０）、終点Ｓ２の座標を（ｘ２、ｙ２）とすると、直線Ｓｏの形状は、次式（１）で現すことができ、傾きは、（ｙ２−ｙ０）／ｘ２となる。
ｙ＝（ｙ２−ｙ０）／ｘ２・ｘ＋ｙ０・・・（１）

また、強エッジ線分が曲線Ｖｏである場合、始点Ｖ１、終点Ｖ２、そして曲線Ｖｏ上の変曲点Ｖ３、Ｖ４、Ｖ５の座標データが、強エッジ特徴情報の情報項目となる。
なお、強エッジ領域内に強エッジ線分が複数存在する場合は、各々の線分について強エッジ特徴情報が生成される。
そして、強エッジ特徴抽出部２２ａは、強エッジ特徴情報を記憶部３０の特徴履歴テーブル３３に記憶すると共に、領域判定部２３に出力する。

弱エッジ特徴抽出部２２ｂは、特徴抽出の際に顕著な特徴となる線分が存在しない弱エッジ領域において、エッジ強度が第２の閾値以上となる弱エッジを検索し、検索された弱エッジからなる線分や模様などのテクスチャの特徴を示す弱エッジ特徴情報を生成し、弱エッジ領域の特徴とする。
なお、第２の閾値は、エッジ強度の小さいエッジを検出可能にするために、上記した第１の閾値よりも小さい値に設定されている。

弱エッジ領域において検索された弱エッジからなる線分が、所定の長さを有する直線や曲線などの線分である場合には、上記した強エッジ特徴抽出部２２ａの場合と同様にして、直線や曲線の始点、終点、経路点、変曲点などの座標データ、そして傾きなどを情報項目として含む弱エッジ特徴情報が生成される。

検索された弱エッジが、線分ではなく、図７の（ａ）に示すような、人工的な模様のテクスチャのエッジである場合には、テクスチャを構成する弱エッジの方向の頻度（エッジ方向ヒストグラム）が、弱エッジ特徴情報の情報項目となる。
ちなみに、図７の（ａ）に示すテクスチャは、エッジの方向が４５度方向に揃った細かいエッジから構成されるので、図７の（ｂ）に示すような４５度の近辺に分布が集中したエッジ方向ヒストグラムが得られる。

グラデーション特徴抽出部２２ｃは、弱エッジ領域内に存在するグラデーションを検出し、検出されたグラデーションの方向を示すグラデーション情報を、弱エッジ領域の特徴として生成する。
ここで、グラデーションとは、隣接する画素間における輝度の差は小さいものの、複数の画素から構成される所定範囲全体としては輝度がなだらかに変化する領域をいう。

図８の（ａ）乃至（ｃ）は、エッジの方向が９０度、４５度、０度である強エッジを含む領域の画像を、図８の（ｄ）乃至（ｆ）は、エッジの方向が、９０度、４５度、０度であるグラデーションを含む領域の画像を示す図である。
図９の（ａ）乃至（ｃ）は、強エッジの領域を検出するための強エッジ検出用フィルタであり、（ｅ）乃至（ｇ）は、グラデーションの領域を検出するためのグラデーション検出用フィルタである。そして、図９の（ｄ）は、（ａ）に示す強エッジ検出用フィルタのＸ方向における輝度の変化を示し、（ｈ）は、（ｅ）のグラデーション検出用フィルタのＸ方向における輝度の変化を示す図である。図１０は、グラデーションの領域と強エッジの領域とが存在する画像を示す図である。

図８の（ａ）乃至（ｃ）に示すような隣り合う画素間における輝度の差が大きい領域の場合、図９の（ａ）乃至（ｃ）に示すような輝度変化の勾配が急な強エッジ検出用フィルタとの間でコンボリューションをそれぞれ計算すると、高いコンボリューション値が得られる。すなわち、正規化相関を計算すると、同じ輝度変化を持つ画像との正規化相関となり、高い相関が得られるので、画像内における輝度変化の大きい領域を検索することができる。
しかし、図８の（ｄ）乃至（ｆ）のように、輝度変化がなだらかなグラデーションの領域を含む画像の場合、図９の（ａ）乃至（ｃ）に示すようなフィルタを用いると、エッジの方向が同じであっても、輝度変化の勾配が異なるので、高いコンボリューション値は得られない。すなわち、輝度変化がなだらかなグラデーションの領域を検索することはできない。

このようなグラデーションの領域は、輝度変化の勾配が小さいものの、複数の画素から構成される所定範囲全体としては輝度がなだらかに変化するフィルタにより検出できる。
例えば、図８の（ｄ）に示すような、左から右に進むに従って輝度が徐々に低くなる領域の場合、輝度変化の状態が、図９の（ｅ）示すグラデーション検出用フィルタの輝度の変化と似ているので、図８の（ｄ）に示す画像と、図９の（ｅ）に示すフィルタとのコンボリューション（正規化相関）を計算すれば、高いコンボリューション値が得られる。
よって、輝度変化がなだらかなグラデーションは、輝度の変化の方向と輝度の変化の勾配が近似しているフィルタとの相関を求めることで、検索することができる。

よって、グラデーション特徴抽出部２２ｃは、図９の（ａ）乃至（ｃ）そして（ｅ）乃至（ｇ）に示すような輝度変化の方向と輝度変化の勾配とが異なる複数のグラデーション検出用フィルタや強エッジ検出用フィルタを予め用意し、各弱エッジ領域とこれらのフィルタとのコンボリューションを計算し、高いコンボリューション値が得られたフィルタがグラデーション検出用フィルタである場合に、弱エッジ領域内にグラデーションが存在すると判断する。
そして、高いコンボリューション値が得られたグラデーション検出用フィルタの輝度変化の方向を、当該弱エッジ領域の特徴として求める。

例えば、図１０の（ａ）に示す範囲が弱エッジ領域として設定された場合、領域αは、図１０の（ｂ）に示す部分拡大図から判るように、図９の（ｆ）に示すグラデーション検出用フィルタとの相関が最も高くなる。また、領域βは（ｂ）に示すフィルタ、そして領域γは（ａ）に示すフィルタとの相関がそれぞれ最も高くなる。
この場合、グラデーション特徴抽出部２２ｃは、弱エッジ領域内にグラデーションが存在すると判断し、（ｆ）に示すフィルタにより特定されるグラデーションの方向、すなわち「０度」を情報項目の内容として含むグラデーション情報を生成し、弱エッジ領域の特徴とする。

注目領域特徴抽出部２２ｄは、弱エッジ領域内において注目領域を検索し、検索された注目領域の位置を示す注目領域情報を生成し、弱エッジ領域の特徴とする。
注目領域の位置は、上記した強エッジ特徴抽出部２２ａが生成する強エッジ特徴情報の場合と同様に、撮像画像においてＸ−Ｙ座標系を設定し、この座標系における座標で表される。

ここで、注目領域とは、路面や壁などに存在する汚れや石などに起因するテクスチャからなる領域を意味し、例えば、撮像画像内における弱エッジで囲まれた円形や三角形の領域や、任意の角度で交差する短いエッジ、そして線分と円形や三角形の領域との組み合わせなどがこれに相当する。なお、これらの領域は、円形エッジ検出用フィルタ、三角形検出用フィルタ、そしてコーナ検出用フィルタなどの従来公知のフィルタを用いて検索される。
そして、注目領域特徴抽出部２２ｄは、注目領域情報を記憶部３０の特徴履歴テーブル３３に記憶すると共に、領域判定部２３に出力する。

図５を参照して、領域判定部２３は、強エッジ領域や弱エッジ領域から抽出した特徴の、車両の直進走行時における経時的な変化に基づいて、撮像画像において設定された強エッジ領域や弱エッジ領域の各々が、路面領域と立体物の領域とのうちの何れであるのかを判定する。

領域判定部２３は、強エッジ特徴情報比較部２３ａと、弱エッジ特徴情報比較部２３ｂと、グラデーション情報比較部２３ｃと、注目領域情報比較部２３ｄと、判定部２３ｅとを含んで構成される。

強エッジ特徴情報比較部２３ａは、記憶部３０の特徴履歴テーブル３３を参照して、時刻ｔにおける強エッジ特徴情報と、時刻ｔ＋△ｔにおける強エッジ特徴情報とを比較し、強エッジ領域内に存在する強エッジ線分の位置、形状、傾きなどの経時的な変化の有無を確認する。

車両が直進走行している場合、強エッジ線分は、路面領域内にある場合と、立体物の領域内にある場合とでは、異なる経時的な挙動を示す。
例えば、図１１に示すように、強エッジ線分が建物の影による直線状の線分Ｓｏであり、かかる線分Ｓｏが路面領域にある場合、撮像画像は、車両の上方から見た画像であるので、時刻ｔの撮像画像における線分Ｓｏは、時刻ｔ＋△ｔの撮像画像では、車両の進行方向における後側（図中、下方向）に平行移動するのみで、形状と傾きは経時的に変化しない。

一方、図１２を参照して、強エッジ線分が、路面に対して垂直となる方向へ延出する立体物、例えば円柱Ｐのエッジの線分Ｐｏである場合、線分Ｐｏの位置と傾きは、円柱と車両との位置関係に応じて変化する。これは、撮像画像は、カメラＣから入力される広角画像を、車両の周囲はすべて路面と同じ高さであるという仮定のもとで変換して生成されるので、撮像画像内では立体物の側面が現れており、この側面の現れ方は、円柱と車両との位置関係に応じて変化するからである。
よって、時刻ｔの撮像画像における線分Ｐｏは、時刻ｔ＋△ｔの撮像画像では車両の進行方向における後側に移動すると共に、車両と円柱Ｐとの位置関係の変化により傾きも変化する。すなわち、線分Ｐｏの位置と傾きが経時的に変化する。
従って、強エッジ線分が直線である場合、直線の傾きの経時的な変化の有無により、強エッジ線分が、路面領域のものであるのか、それとも立体物の領域のものであるのかが判る。

また、図１１を参照して、強エッジ線分が、車両の影による曲線状の線分Ｖｏであり、かかる線分が路面領域にある場合、時刻ｔの撮像画像における線分Ｖｏの位置は、時刻ｔ＋△ｔの撮像画像でも変わらず、形状も経時的に変化しない。
一方、強エッジの線分が、壁などの立体物の表面に現れている線分である場合、線分の位置と形状は、立体物と車両との位置関係の変化に応じて、経時的に変化する。
従って、強エッジ線分が曲線である場合、曲線の形状の経時的な変化の有無により、強エッジ線分が、路面領域のものであるのか、それとも立体物の領域のものであるのかが判る。

よって、強エッジ特徴情報比較部２３ａは、強エッジ特徴情報を参照して、強エッジ線分が直線であるのかそれとも曲線であるのかを確認し、強エッジ線分が直線である場合には、時刻ｔにおける直線の傾きと、時刻ｔ＋△ｔにおける直線の傾きとを比較する。そして、傾きに変化がない場合、かかる強エッジ線分が存在する強エッジ領域が、路面領域に対応する旨の比較結果を生成する。
一方、傾きに変化がある場合、強エッジ領域は、立体物の領域に対応する旨の比較結果を生成する。

また、強エッジ線分が曲線である場合には、強エッジ特徴情報比較部２３ａは、時刻ｔにおける曲線の形状と、時刻ｔ＋△ｔにおける曲線の形状とを比較し、形状が同じである場合には、強エッジ領域が路面領域に対応する旨の比較結果を生成し、形状が異なる場合には、立体物の領域に対応する旨の比較結果を生成する。

弱エッジ特徴情報比較部２３ｂは、記憶部３０の特徴履歴テーブル３３を参照して、時刻ｔにおける弱エッジ特徴情報と、時刻ｔ＋△ｔにおける弱エッジ特徴情報とを比較し、弱エッジ領域内に存在する弱エッジからなるテクスチャの経時変化の有無を確認する。

ここで、弱エッジからなるテクスチャが直線や曲線などの線分である場合における比較結果の生成は、上記した強エッジ特徴情報比較部２３ａにおける処理と同じであるので、説明は省略する。
そこで、弱エッジからなるテクスチャが線分ではなく、図１３の（ａ）に示したような人工的な模様のテクスチャａである場合について説明をする。

車両が直進走行している場合、テクスチャは、路面領域内にある場合と、立体物の領域内にある場合とでは、異なる経時的な挙動を示す。
例えば、テクスチャａが路面領域に現れるテクスチャである場合、図１３に示すテクスチャａから抽出されるエッジの方向の頻度は、車両の上方から見た画像である撮像画像では、経時的に変化せず４５度のままである。
一方、テクスチャａが、例えば車両の右側にある壁などの立体物の表面に現れるテクスチャである場合、テクスチャａから抽出されるエッジの方向の頻度は、壁と車両との位置関係の変化に応じて変化する。
この場合、図１３の（ａ）に示すテクスチャは、（ｂ）に示すテクスチャ、（ｃ）に示すテクスチャというように経時的に変化して、テクスチャから抽出されるエッジの方向の頻度も、４５度、９０度、１３５度というように経時的に変化する。

よって、弱エッジ領域内で弱エッジからなる線分のテクスチャが検出されない場合であっても、弱エッジからなる模様のテクスチャから抽出したエッジの方向の頻度の経時的な変化の有無を確認することで、弱エッジからなるテクスチャが、路面領域にあるのか、それとも立体物の領域にあるのかが判る

従って、弱エッジからなる線分が直線である場合には、弱エッジ特徴情報比較部２３ｂは、時刻ｔにおける直線の傾きと、時刻ｔ＋△ｔにおける直線の傾きとを比較し、傾きに変化がない場合、かかる弱エッジ線分が存在する弱エッジ領域が平面の領域に対応する旨の比較結果を生成する。
一方、傾きに変化がある場合、弱エッジ領域は、立体物の領域に対応する旨の比較結果を生成する。
また、弱エッジ線分が曲線である場合には、弱エッジ特徴情報比較部２３ｂは、時刻ｔにおける曲線の形状と、時刻ｔ＋△ｔにおける曲線の形状とを比較し、形状が同じである場合には、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、形状が異なる場合には、立体物の領域に対応する旨の比較結果を生成する。

さらに、弱エッジからなるテクスチャが、線分ではなく、例えば人工的な模様のテクスチャである場合、時刻ｔにおけるエッジの方向の頻度と、時刻ｔ＋△ｔにおけるエッジの方向の頻度とを比較し、頻度に変化がない場合は、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、頻度に変化がある場合は、弱エッジ領域が立体物の領域に対応する旨の比較結果を生成する。

グラデーション情報比較部２３ｃは、記憶部３０の特徴履歴テーブル３３を参照して、時刻ｔにおけるグラデーション情報と、時刻ｔ＋△ｔにおけるグラデーション情報とを比較し、弱エッジ領域内に存在するグラデーションの経時変化の有無を確認する。

車両が直進走行している場合、グラデーションは、路面領域内にある場合と、立体物の領域内にある場合とでは、異なる経時的な挙動を示す。
図１４に示す撮像画像において、グラデーションＧ１が路面領域内にあり、グラデーションＧ２が立体物の領域にある場合を例に挙げて説明をする。
撮像画像は車両の上方から見た画像であるので、時刻ｔの撮像画像おけるグラデーションＧ１は、時刻ｔ＋△ｔの撮像画像では、車両の進行方向における後側（図中、下方向）に平行移動するのみであり、グラデーションの方向は変化しない。一方、グラデーションＧ２は、車両と立体物との位置関係に応じて変化するので、時刻ｔ＋△ｔの撮像画像では、車両の進行方向における後側に移動すると共に、グラデーションの方向が変化する。

よって、弱エッジ領域内で弱エッジからなるテクスチャが検出されない場合であっても、弱エッジ領域内に存在するグラデーションの方向の経時的な変化を確認することで、弱エッジ領域が、路面領域にあるのか、それとも立体物の領域にあるのかが判る。

従って、グラデーション情報比較部２３ｃは、時刻ｔにおけるグラデーションの方向と、時刻ｔ＋△ｔにおけるグラデーションの方向とを比較し、同じであれば、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、異なる場合には、立体物の領域に対応する旨の比較結果を生成する。

注目領域情報比較部２３ｄは、記憶部３０の特徴履歴テーブル３３を参照して、時刻ｔにおける注目領域情報と、時刻ｔ＋△ｔにおける注目領域情報とを比較し、弱エッジ領域内に存在する注目領域の中から選択した少なくとも２つの注目領域の位置関係の経時的変化の有無を確認する。

車両が直進走行している場合、撮像画像内で検索された注目領域のうちの任意の二つの位置関係は、注目領域が路面領域内にある場合と、立体物の領域にある場合とでは、異なる経時的な挙動を示す。
図１５に示す撮像画像において検出された注目領域Ｑ１乃至Ｑ４のうち、注目領域Ｑ１および注目領域Ｑ２が路面領域内にあり、注目領域Ｑ３および注目領域Ｑ４が立体物の領域内にある場合を例に挙げて説明をする。
撮像画像は車両の上方から見た画像であるので、時刻ｔにおける注目領域Ｑ１と注目領域Ｑ２との相対的な位置関係は、時刻ｔ＋△ｔにおいても変化せず、注目領域Ｑ１と注目領域Ｑ２は、車両の進行方向とは反対の方向に平行移動するのみである。
一方、立体物の領域内にある注目領域の位置は、立体物と車両との位置関係により変化するので、時刻ｔにおける注目領域Ｑ３と注目領域Ｑ４との相対的な位置関係は、時刻ｔ＋△ｔにおいて変化し、この際、車両マークＶから離れた位置にある注目領域ほど、経時的な移動量が大きくなる。

よって、弱エッジ領域内に、弱エッジからなる線分や模様などのテクスチャや、グラデーションが存在しない場合であっても、弱エッジ領域内に存在する注目領域の相対的な位置関係の経時的な変化を確認することで、弱エッジ領域が、路面領域にあるのか、それとも立体物の領域にあるのかが判る。

従って、注目領域情報比較部２３ｄは、記憶部３０の特徴履歴テーブル３３に格納されている注目領域情報を参照して、弱エッジ領域内において２つ以上の注目領域が抽出されているか否かを確認する。そして、２つ以上の注目領域が抽出されている場合には、例えば、その中から任意に選択した２つの注目領域を結ぶ線分を設定し、その線分の傾きの経時的な変化を確認することで、注目領域の相対的な位置関係の経時的な変化の有無を確認する。

図１５に示す撮像画像の場合、時刻ｔにおける注目領域Ｑ１と注目領域Ｑ２とを結ぶ線分Ｌ１の傾きが、時刻ｔ＋△ｔにおける線分Ｌ１の傾きと同じであるので、これらの注目領域Ｑ１とＱ２が存在する弱エッジ領域が、路面領域に対応する旨の比較結果を生成する。
一方、注目領域Ｑ３と注目領域Ｑ４とを結ぶ線分Ｌ２の傾きは、時刻ｔと時刻ｔ＋△ｔとでは異なるので、これらの注目領域Ｑ３、Ｑ４が存在する弱エッジ領域が、立体物の領域に対応する旨の比較結果を生成する。

図５を参照して、判定部２３ｅは、強エッジ特徴情報比較部２３ａ、弱エッジ特徴情報比較部２３ｂ、グラデーション情報比較部２３ｃ、そして注目領域情報比較部２３ｄにおいて生成された比較結果に基づいて、強エッジ領域と弱エッジ領域とが、それぞれ路面の領域に対応するのか、それとも立体物の領域に対応するのかを判定する。
ここで、強エッジ領域については、強エッジ特徴情報比較部２３ａのみから判断結果が出力されるので、判定部２３ｅは、強エッジ特徴情報比較部２３ａから比較結果が入力されると、比較結果により特定される種別が、強エッジ領域の種別であると判定する。
例えば、路面領域に対応する旨の比較結果が入力された場合は、当該比較結果が生成された強エッジ領域が、路面領域であると判定する。

一方、弱エッジ領域については、弱エッジ特徴情報比較部２３ｂ、グラデーション情報比較部２３ｃ、そして注目領域情報比較部２３ｄから、比較結果が入力されるので、判定部２３ｅは、入力された比較結果のうちの少なくとも一つに基づいて、弱エッジ領域が路面領域であるのか、それとも立体物の領域であるのかを判定する。よって、複数の比較結果に基づいて、路面領域と立体物の領域の判定が行うこともできるので、判定の信頼性が向上する。

ここで、各比較部（弱エッジ特徴情報比較部２３ｂ、グラデーション情報比較部２３ｃ、注目領域情報比較部２３ｄ）の優先順位を決めておき、優先順位の高い比較部から入力された比較結果に基づいて、弱エッジ領域の種別を判定するようにしても良い。また、各比較部から入力される比較結果が整合した場合にのみ、弱エッジ領域の種別を判別するようにしても良い。

さらに、総ての比較部（強エッジ特徴情報比較部２３ａ、弱エッジ特徴情報比較部２３ｂ、グラデーション情報比較部２３ｃ、そして注目領域情報比較部２３ｄ）から入力される比較結果の互いの妥当性を考慮して、強エッジ領域と弱エッジ領域がそれぞれ、路面領域であるのか、それとも立体物の領域であるのかを判定する構成としても良い。
通常、路面や立体面は、ある程度の大きさの面積を有しているので、撮像画像において所定の大きさの範囲として現れる。そのため、路面領域と立体物の領域の連続性や、位置関係の妥当性を確認し、確認結果をふまえて、路面領域と立体物の領域との判定をするようにしても良い。
これにより、比較結果に基づいて判定した路面領域と立体物の領域と隣接関係などが明らかにおかしい場合には、弱エッジ領域や強エッジ領域の特徴の抽出をやり直すことができるので、強エッジ領域と弱エッジ領域の各々の種別の判定、そして路面判別部２４における判別をより正確に行うことができる。

そして、判定部２３ｅは、撮像画像において設定された総ての強エッジ領域および弱エッジ領域についての判定が完了すると、判定結果を示す判定結果情報を生成し、路面判別部２４に出力する。

路面判別部２４は、判定結果情報に基づいて、撮像画像におけるどの部分が路面領域であり、どの部分が壁などの立体物の領域であるのかを特定した上で、路面の判別を行い、判別結果を示す情報を路面判別装置１に接続された外部機器に出力する。
一般に、路面領域は、撮像画像において一定の大きさを占める連続する範囲として現れるので、路面判別部２４は、路面領域と判定された領域が連続している部分を撮像画像において検索し、検索結果に基づいて路面の判別を行う。また、路面領域と立体物の領域、例えば壁の領域との境界を示す境界エッジが検出されている場合には、境界エッジも参照して路面の判別を行う。

ここで、判別結果が入力される外部機器が、車両と立体物との離間距離が所定距離以下となったときに警報を発する警報装置（図示せず）である場合には、車両の周囲に存在する立体物の位置と、車両と立体物との離間距離とが特定できるので、必要な場合に車両の運転者に注意を喚起することができる。

また、外部機器が、車両の駐車支援を行う駐車支援装置である場合には、車両内に設置された車両の周囲の状態を表示する表示部（図示せず）上で、車両の周囲が、路面の領域であるのか、立体物の領域であるのかを、重畳して表示させることができる。
また、車両の運転者が、表示部に表示された車両の周囲を示す画像において車両の駐車場所として指定した領域が、立体物の領域である場合、指定した場所には車両を駐車させることができない旨を運転者に通知して注意喚起することができる。

図１６は、路面判別装置１における処理を説明するメインフローチャートである。

はじめに、ステップ１０１において、画像処理部１０は、車両に設置された各カメラＣから画像が入力されると、撮像画像を生成し制御部２０に入力する。
ステップ１０２において、制御部２０の領域設定部２１では、強エッジ検索部２１ａが、撮像画像内に含まれるエッジ強度が第１の閾値以上となる線分、すなわち強エッジ線分を検索し、ステップ１０３において、設定部２１ｂが、撮像画像を分割して領域設定をする。すなわち、強エッジ線分を含む強エッジ領域と、含まない弱エッジ領域を設定する。

強エッジ領域が撮像画像内において設定されている場合（ステップ１０４、Ｙｅｓ）、ステップ１０５において、特徴抽出部２２の強エッジ特徴抽出部２２ａは、強エッジ領域内に含まれる強エッジ線分を特定する強エッジ特徴情報を生成し、強エッジ領域の特徴とする。
ステップ１０６において、領域判定部２３の強エッジ特徴情報比較部２３ａは、強エッジ領域内に存在する強エッジ線分の経時変化の有無を確認するために、時刻ｔにおける強エッジ特徴情報と、時刻ｔ＋△ｔにおける強エッジ情報とを比較し、強エッジ領域が、路面領域と立体物の何れの領域に対応するのかを示す比較結果を生成する。
なお、強エッジ領域が撮像画像内において設定されていない場合（ステップ１０４、Ｎｏ）、ステップ１０７の処理に移行する。

弱エッジ領域が撮像画像内において設定されている場合（ステップ１０７、Ｙｅｓ）、ステップ１０８において、特徴抽出部２２は、弱エッジ領域内において、エッジ強度の弱いエッジからなるテクスチャやグラデーションに基づく特徴を、弱エッジ領域の特徴として抽出する。
ステップ１０９において、領域判定部２３は、弱エッジ領域から抽出された特徴の経時的な変化を確認するために、時刻ｔにおける弱エッジ特徴情報と、時刻ｔ＋△ｔにおける弱エッジ特徴情報とを比較し、弱エッジ領域が、路面領域と立体物の何れの領域に対応するのかを示す比較結果を生成する。

ステップ１１０において、領域判定部２３の判定部２３ｅは、強エッジ領域についての比較結果と、弱エッジ領域についての比較結果とに基づいて、強エッジ領域と弱エッジ領域が、路面領域であるのか、それとも立体物の領域であるのかを判定し、判定結果を示す判定結果情報を生成する。

ステップ１１１において、路面判別部２４は、判定結果情報に基づいて、撮像画像におけるどの部分が路面の領域であり、どの部分が壁などの立体物であるのかを判別する。

図１７は、ステップ１０８の処理の詳細を示すフローチャートである。
ステップ２０１において、特徴抽出部２２の弱エッジ特徴抽出部２２ｂは、弱エッジ領域においてエッジ強度が第２の閾値以上となるエッジ、すなわち弱エッジを検索し、ステップ２０２において、検索された弱エッジの中で、エッジ長さが所定長さ以上となる弱エッジ線分の有無を確認する。
弱エッジ線分が存在する場合（ステップ２０２、Ｙｅｓ）、ステップ２０３において、弱エッジ特徴抽出部２２ｂは、弱エッジ線分の始点、終点、経路点、曲点、そして傾きなどを情報項目として含む弱エッジ特徴情報を生成し、弱エッジ領域の特徴とする。
一方、弱エッジ線分が存在しない場合（ステップ２０２、Ｎｏ）、ステップ２０４の処理に移行する。

ステップ２０４において、弱エッジ特徴抽出部２２ｂは、弱エッジ領域において、テクスチャの模様を構成する細かいエッジ、すなわち弱エッジの有無を確認する。
かかる弱エッジが存在する場合（ステップ２０４、Ｙｅｓ）、ステップ２０５において、検索された弱エッジの方向の頻度を、弱エッジ領域の特徴として抽出する。一方、弱エッジが存在しない場合（ステップ２０４、Ｎｏ）、ステップ２０６の処理に移行する。

ステップ２０６において、グラデーション特徴抽出部２２ｃは、弱エッジ領域内において、輝度変化の勾配と変化の方向が異なる複数のグラデーション検出用フィルタの各々とのコンボリューションを求めて、グラデーションの有無を確認する。
グラデーションが存在する場合（ステップ２０６、Ｙｅｓ）、ステップ２０７において、コンボリューションの値が最も大きいグラデーション検出用フィルタのグラデーションの方向を情報項目の内容として含むグラデーション情報を生成し、これを弱エッジ領域の特徴とする。
一方、グラデーションが存在しない場合（ステップ２０６、Ｎｏ）、ステップ２０８の処理に移行する。

ステップ２０８において、注目領域特徴抽出部２２ｄは、弱エッジ領域内において、少なくとも二つの注目領域が存在するか否かを確認する。
存在する場合（ステップ２０８、Ｙｅｓ）、任意に選択された二つの注目領域を結ぶ線分を設定し、その線分の傾きを情報項目の内容として含む注目領域情報を生成し、これを弱エッジ領域の特徴とする。一方、存在しない場合（ステップ２０８，Ｎｏ）、処理は終了する。

図１８は、ステップ１０６の処理の詳細を示すフローチャートである。
はじめに、領域判定部２３の強エッジ特徴情報比較部２３ａは、強エッジ特徴情報が入力されると（ステップ３０１、Ｙｅｓ）、ステップ３０２において、時刻ｔにおける強エッジ特徴情報と、時刻ｔ＋△ｔにおける強エッジ特徴情報とを比較し、強エッジ領域内に存在する強エッジ線分の位置、形状、傾きなどの経時的な変化の有無を確認する。

ステップ３０３において、確認された経時的な変化に基づいて、強エッジ領域が路面領域と立体物の領域とのうちの何れに対応するのかを示す比較結果を生成する。
ここで、強エッジ領域内の強エッジ線分が直線である場合、直線の傾きが経時的に変化しないときは、強エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
また、強エッジ線分が曲線である場合、曲線の形状が経時的に変化しないときは、強エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。

図１９は、ステップ１０９の処理の詳細を示すフローチャートである。
はじめに、弱エッジ特徴情報比較部２３ｂは、弱エッジ特徴情報が入力されると（ステップ４０１、Ｙｅｓ）、ステップ４０２において、時刻ｔにおける弱エッジ特徴情報と、時刻ｔ＋△ｔにおける弱エッジ特徴情報とを比較し、弱エッジ領域内に存在する線分や模様などのテクスチャの経時的な変化の有無を確認する。

ステップ４０３において、確認された経時的な変化に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れに対応するのかを示す比較結果を生成する。
ここで、弱エッジ領域内に存在するテクスチャが線分のテクスチャであり、線分が直線である場合、直線の傾きが経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
また、弱エッジ線分が曲線である場合、曲線の形状が経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
さらに、弱エッジ領域内に存在するテクスチャが模様である場合、模様を構成する弱エッジの方向の頻度が経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。
なお、弱エッジ特徴情報が入力されない場合は（ステップ４０１、Ｎｏ）、ステップ４０４の処理に移行する。

グラデーション情報比較部２３ｃは、グラデーション情報が入力されると（ステップ４０４、Ｙｅｓ）、ステップ４０５において、時刻ｔにおけるグラデーション情報と、時刻ｔ＋△ｔにおけるグラデーション情報とを比較して、弱エッジ領域内に存在するグラデーションの方向の経時的変化を確認する。
ステップ４０６において、グラデーションの方向が経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。

注目領域情報比較部２３ｄは、注目領域情報が入力されると（ステップ４０７、Ｙｅｓ）、ステップ４０８において、時刻ｔにおける注目領域情報と、時刻ｔ＋△ｔにおける注目領域情報とを比較し、弱エッジ領域内に存在する注目領域の中から選択した少なくとも２つの注目領域を結ぶ線分の傾きの経時的変化を確認する。
ステップ４０９において、２つの注目領域を結ぶ線分の傾きが経時的に変化しないときは、弱エッジ領域が路面領域に対応する旨の比較結果を生成し、経時的に変化するときは、立体物の領域に対応する旨の比較結果を生成する。

これにより、図１６のステップ１１０において、判定部２３ｅが、強エッジ特徴情報比較部２３ａ、弱エッジ特徴情報比較部２３ｂ、グラデーション情報比較部２３ｃ、そして注目領域情報比較部２３ｄにおいて生成された比較結果のうちの少なくともひとつに基づいて、強エッジ領域と弱エッジ領域とが、それぞれ路面の領域であるのか、それとも立体物の領域であるのかを判定し、判定結果を示す判定結果情報が生成されることになる。

本実施形態では、図１６のフローチャートにおけるステップ１０２およびステップ１０３が、発明における領域設定部および領域設定段階に対応し、ステップ１０４およびステップ１０５並びにステップ１０７及びステップ１０８が、特徴抽出部及び特徴抽出段階に対応し、ステップ１０６、ステップ１０９、そしてステップ１１０が、領域判定部および領域判定段階に対応し、ステップ１１１が路面判別部および路面判別段階に対応している。
また、発明における第１対象領域は弱エッジ領域に、第２対象領域は強エッジ領域にそれぞれ対応する。

以上の通り、本実施形態では、車両に搭載されて車両の周囲の路面を撮像するカメラＣで撮像した撮像画像に基づいて、車両周囲の路面の判別を行う路面判別装置１であって、エッジ強度が第１の閾値以上となる強エッジの線分を撮像画像において検索すると共に、撮像画像における強エッジの線分を含まない領域を弱エッジ領域として設定し、エッジ強度が第１の閾値よりも小さい第２の閾値以上となる弱エッジからなるテクスチャを、弱エッジ領域において検索すると共に、検索されたテクスチャの特徴を抽出し、車両の直進走行時におけるテクスチャの特徴の経時的変化に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定し、判定結果に基づいて、路面の判別を行う構成とした。
よって、特徴抽出をした際に特徴が顕著に表れる強エッジの線分が含まれない弱エッジ領域においてエッジ強度の小さい弱エッジを検索し、検索された弱エッジからなるテクスチャの特徴に基づいて、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定し、判定結果に基づいて路面の判別を行うので、強エッジの線分が撮像画像内に存在しない場合であっても、撮像画像における路面領域と立体物の領域の判定と、路面の判別が行えるという効果が得られる。

さらに、テクスチャが、弱エッジからなる線分であり、弱エッジからなる線分の位置および形状を特定する座標データを、テクスチャの特徴とする構成とした。特に、線分が直線である場合には直線の位置や傾きを、曲線である場合は曲線の位置や形状を示すための座標データをテクスチャの特徴とし、これらの経時的変化に基づいて、弱エッジ領域が路面領域であるのか、それとも立体物の領域にあるのかを判定する構成とした。
よって、異なる時刻における直線の位置や傾き、曲線の位置や形状を、それぞれ比較するだけで、経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。

また、テクスチャが、弱エッジからなる模様であり、テクスチャの特徴を、模様を構成する弱エッジの方向の頻度とし、弱エッジの方向の頻度の経時的変化に基づいて、弱エッジ領域が路面領域であるのか、それとも立体物の領域にあるのかを判定する構成とした。
よって、異なる時刻における弱エッジの方向の頻度を比較するだけで経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。

また、弱エッジ領域においてグラデーションを検索すると共に、検索されたグラデーションの特徴を抽出し、テクスチャの特徴の経時的変化と、グラデーションの特徴の経時的変化とのうちの少なくとも一方に基づいて、弱エッジ領域が、路面領域と立体物の領域とのうちの何れであるのかを判定する構成とした。
よって、弱エッジ領域内で弱エッジからなるテクスチャが検出されない場合であっても、弱エッジ領域内に存在するグラデーションの経時的な変化を確認することで、弱エッジ領域が、路面領域と立体物の領域とのうちの何れの種別であるのかの判定を行うことができ、また判定結果に基づいて路面の判別とが行えるという効果が得られる。
また、テクスチャの特徴の経時的変化と、グラデーションの特徴の経時的変化の両方に基づいて、弱エッジ領域の種別の判定を行うことができ、また判定結果に基づいて路面の判別を行うこともできるので、路面の判別の確度がより向上するという効果が得られる。

さらに、弱エッジ領域と、輝度変化の勾配と変化の方向が異なる複数のグラデーション検出用フィルタの各々とのコンボリューションを求め、求めたコンボリューションの値が最も大きいグラデーション検出用フィルタのグラデーションの方向を、前記グラデーションの特徴とする構成としたので、従来のエッジフィルタでは、輝度変化が小さいために検索できなかったグラデーションの有無を確認できるという効果が得られる。
また、コンボリューション値の最も大きいグラデーション検出用フィルタのグラデーションの方向を、弱エッジ領域の特徴とする構成としたので、異なる時刻におけるグラデーションの方向を比較するだけで経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。

また、弱エッジ領域において注目領域を検索すると共に、検索された注目領域の中から選択した少なくとも二つの注目領域の位置関係を特徴として抽出し、位置関係の経時的変化を確認することで、弱エッジ領域が路面領域と立体物の領域とのうちの何れであるのかを判定する構成とした。
よって、弱エッジ領域内でテクスチャやグラデーションが検出されない場合であっても、弱エッジ領域内において、たとえばゴミや汚れなどに起因する小さな円形や三角形の領域、すなわち注目領域が検出できれば、少なくとも二つの注目領域の位置関係の経時的な変化を確認することで、弱エッジ領域が路面領域と立体物の領域とのうちの何れの種別であるのかの判定、そして路面の判別が行えるという効果が得られる。
また、テクスチャの特徴の経時的変化と、グラデーションの特徴の経時的変化と、注目領域の経時的な変化の少なくとも一つに基づいて、弱エッジ領域の種別の判定を行うことができ、判定結果に基づいて路面の判別とを行うこともできるので、複数の特徴の経時的変化に基づいて路面の判別を行うと、判別の確度がより向上するという効果が得られる。

特に、弱エッジ領域内に存在する注目領域の中から選択した任意の二つの注目領域の位置関係の経時的な変化を確認するために、これら二つの注目領域を結ぶ線分の傾きを弱エッジ領域の特徴とする構成としたので、異なる時刻における線分の傾きを比較するだけで、経時的な変化が判るので、複雑な計算を必要とせずに経時的な変化の確認が行えるという効果が得られる。

ここで、注目領域は、円形領域と直線線分とが組み合わさった領域、任意の角度で交差する短いエッジの領域、そして円形領域のいずれかである構成としたので、弱エッジ領域内に僅かでも弱エッジが存在すれば、検出された弱エッジの経時的な変化を確認することができ、対象領域が路面領域と立体物の領域とのうちの何れであるのかを判別することが可能となる。

また、強エッジの線分を含む領域を強エッジ領域として設定し、強エッジの線分の特徴を強エッジ領域の特徴として抽出し、車両の直進走行時における強エッジの線分の特徴の経時的変化に基づいて、強エッジ領域が、路面領域と立体物の領域とのうちの何れであるのかを判定し、強エッジ領域についての判定結果と、弱エッジ領域についての判定結果とに基づいて路面の判別を行う構成とした。
よって、弱エッジの線分、グラデーション、そして注目領域のうちの少なくともひとつの特徴の経時的な変化に基づく判定結果の他に、特徴抽出をした際に特徴が顕著に表れる強エッジの線分の特徴の経時的な変化に基づく判定結果を加味した上で、路面領域の判別が行えるので、路面判別の確度がより向上するという効果が得られる。

特に、強エッジ線分が直線である場合には直線の位置や傾き、曲線である場合には曲線の位置や形状を、強エッジ線分の特徴とすると、異なる時刻における直線の位置や傾き、曲線の位置や形状をそれぞれ比較するだけで、経時的な変化が簡単に判るという効果が得られる。
また、強エッジ線分の特徴のみならず、テクスチャ、グラデーション、そして注目領域などの弱エッジに起因する特徴も加味した上で、路面の判別が行われるので、強エッジ線分に基づいてのみ路面の判別などを行っている従来の路面判別法に比べ、判別の確度が向上するという効果が得られる。

さらに、撮像画像において弱エッジ領域と強エッジ領域とをそれぞれ複数設定し、弱エッジ領域の各々において、テクスチャの検索と検索されたテクスチャの特徴の抽出を行うと共に、強エッジ領域の各々において強エッジ線分の特徴の抽出を行い、弱エッジ領域と強エッジ領域の各々について、路面領域と立体物の領域とのうちの何れであるのかを判定する構成とした。
よって、路面領域と立体物の領域とのうちの何れの領域であるのかの判定をより細かく行うことができるので、判別結果に基づいて行われる路面判別の確度がより向上するという効果が得られる。

また、撮像画像は、カメラＣからの画像データを、車両の上方から見た俯瞰画像に変換したものであり、画像の中央部に位置する車両を取り囲むように、車両の周囲の画像が配置されている構成としたので、車両が直進走行している際の、撮像画像内のテクスチャ（線分、模様、そしてグラデーションなど）の経時的な変化を確認することで、路面領域と立体物の領域との判別が容易に行える。例えば、路面に描かれた停止線を車両が横切る場合、撮像画像において停止線は車両の進行方向とは反対の方向に平行移動するが、壁の表面に存在する線分の場合には、平行移動ではなく線分の角度が撮像画像において変化するので、線分などの経時的な変化を確認することで、路面領域と立体物の領域との判別が容易に行える。従って、直線の平行移動の検出のような非常に簡単な検出処理を行うだけで、路面の検出が行えるという効果が得られる。

なお、本実施の形態では、撮像画像における強エッジ領域の設定は、設定部２１ｂが、検索された強エッジ線分の位置に基づいて行う構成としたが、例えば、図１９の（ａ）に示すように、撮像画像を格子状に区画して、区画された領域内に強エッジ線分が存在する場合には強エッジ領域と決定し、存在しない場合には弱エッジ領域とする構成としても良い。
例えば、図１９の（ａ）に示す撮像画像の領域αと領域βの場合、領域αには強エッジ線分が含まれており、領域βには含まれていないので、領域αは強エッジ領域であり、領域βは弱エッジ領域であると、それぞれ決定されることになる。
これにより、強エッジ領域と弱エッジ領域の設定を画一的に短時間で行うことができる。

さらに、このようにして強エッジ領域と弱エッジ領域とを設定した後に、隣接する領域をまとめて、強エッジ領域と弱エッジ領域を再編成する構成としても良い。
例えば、図１７の（ｂ）に示す撮像画像では、車両マークＶの前方と後方に位置する弱エッジ領域をそれぞれひとつに纏めることができるので、特徴抽出部２２が特徴抽出をする際の処理の負担を軽減させることができる。

実施形態に係る路面判別装置の構成図である。 車両に搭載されたカメラの配置と画像処理部において生成される撮像画像の説明図である。 俯瞰画像の例を示す説明図である。 撮像画像における強エッジ領域と弱エッジ領域を示す説明図である。 路面判別装置の制御部の構成図である。 強エッジ特徴情報を説明する説明図 エッジの方向の頻度を説明する説明図である。 強エッジとグラデーションを説明する説明図である。 強エッジやグラデーションを検出するためのフィルタを説明する説明図である。 グラデーションの検出を説明する説明図である。 強エッジ線分の経時変化の判断要領を説明する説明図である 強エッジ線分の経時変化の判断要領を説明する説明図である エッジの方向の頻度の経時変化の判断要領を説明する説明図である。 グラデーションの経時変化の判断要領を説明する説明図である。 注目領域の相対的位置関係の経時変化の判断要領を説明する説明図である。 実施形態に係る路面判別装置における処理を説明するフローチャートである。 制御部の特徴抽出部における処理を説明するフローチャートである。 制御部の領域判定部における処理を説明するフローチャートである。 制御部の領域判定部における処理を説明するフローチャートである。 強エッジ領域と弱エッジ領域の設定の変形例を示す説明図である。

符号の説明

１ 路面判別装置
１０ 画像処理部
１１ 撮像画像生成部
１２ 撮像画像補正部
２０ 制御部
２１ 領域設定部
２１ａ 強エッジ検索部
２１ｂ 設定部
２２ 特徴抽出部
２２ａ 強エッジ特徴抽出部
２２ｂ 弱エッジ特徴抽出部
２２ｃ グラデーション特徴抽出部
２２ｄ 注目領域特徴抽出部
２３ 領域判定部
２３ａ 強エッジ特徴情報比較部
２３ｂ 弱エッジ特徴情報比較部
２３ｃ グラデーション情報比較部
２３ｄ 注目領域情報比較部
２３ｅ 判定部
２４ 路面判別部
３０ 記憶部
３１ 画像メモリ
３２ 設定テーブル
３３ 特徴履歴テーブル

Claims (12)

1. 車両に搭載されて車両の周囲の路面を撮像するカメラで撮像した撮像画像に基づいて、車両周囲の路面の判別を行う路面判別装置であって、
   エッジ強度が第１の閾値以上となる強エッジの線分を前記撮像画像において検索すると共に、前記撮像画像における前記強エッジの線分を含まない領域を第１対象領域として設定する領域設定部と、
   エッジ強度が前記第１の閾値よりも小さい第２の閾値以上となる弱エッジからなるテクスチャを、前記第１対象領域において検索すると共に、検索されたテクスチャの特徴を抽出する特徴抽出部と、
   前記車両の直進走行時における前記テクスチャの特徴の経時的変化に基づいて、前記第１対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定する領域判定部と、
   判定結果に基づいて路面の判別を行う路面判別部と
   から構成されることを特徴とする路面判別装置。
2. 前記テクスチャは、弱エッジからなる線分であり、前記テクスチャの特徴は、前記線分の位置および形状を特定する座標データであることを特徴とする請求項１に記載の路面判別装置。
3. 前記テクスチャは、弱エッジからなる模様であり、前記テクスチャの特徴は、前記模様を構成する弱エッジの方向の頻度であることを特徴とする請求項１または請求項２に記載の路面判別装置。
4. 前記特徴抽出部は、さらに、前記第１対象領域においてグラデーションを検索すると共に、検索されたグラデーションの特徴を抽出し、
   前記領域判定部は、前記テクスチャの特徴の経時的変化と、前記グラデーションの特徴の経時的変化とのうちの少なくとも一方に基づいて、前記第１対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項１乃至請求項３のうちの何れか一項に記載の路面判別装置。
5. 前記特徴抽出部は、前記第１対象領域と、輝度変化の勾配と変化の方向が異なる複数のグラデーション検出用フィルタの各々とのコンボリューションを求め、求めたコンボリューションの値が最も大きいグラデーション検出用フィルタのグラデーションの方向を、前記グラデーションの特徴とすることを特徴とする請求項４に記載の路面判別装置。
6. 前記特徴抽出部は、さらに、前記第１対象領域において注目領域を検索すると共に、検索された注目領域の中から選択した少なくとも二つの注目領域の位置関係を特徴として抽出し、
   前記領域判定部は、前記テクスチャの特徴の経時的変化と、前記注目領域の特徴の経時的変化とのうちの少なくとも一方に基づいて、前記第１対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項１乃至請求項３のうちの何れか一項に記載の路面判別装置。
7. 前記特徴抽出部は、さらに、前記第１対象領域において注目領域を検索すると共に、検索された注目領域の中から選択した少なくとも二つの注目領域の位置関係を特徴として抽出し、
   前記領域判定部は、前記テクスチャの特徴の経時的変化と、前記グラデーションの特徴の経時的変化と、前記注目領域の特徴の経時的変化とのうちの少なくとも一つに基づいて、前記第１対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項４または請求項５に記載の路面判別装置。
8. 前記注目領域は、円形領域と直線線分との組み合わせ、任意の角度で交差する短いエッジ、円形領域のいずれかであることを特徴とする請求項７に記載の路面判別装置。
9. 前記領域設定部は、前記強エッジの線分を含む領域を第２対象領域として設定し、
   前記特徴抽出部は、前記強エッジの線分の特徴を前記第２対象領域の特徴として抽出し、
   前記領域判定部は、前記車両の直進走行時における前記強エッジの線分の特徴の経時的変化に基づいて、前記第２対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定し、
   前記路面判別部は、前記第２対象領域についての判定結果と、前記第１対象領域についての判定結果とに基づいて、路面の判別を行うことを特徴とする請求項１乃至請求項８のうちの何れか一項に記載の路面判別装置。
10. 前記領域設定部は、前記撮像画像において第１対象領域と第２対象領域とをそれぞれ複数設定し、
    前記特徴抽出部は、前記第１対象領域の各々において、テクスチャの検索と検索されたテクスチャの特徴の抽出を行うと共に、前記第２対象領域の各々において、強エッジの線分の特徴の抽出を行い、
    前記領域判定部は、前記第１対象領域と第２対象領域の各々について、路面領域と立体物の領域とのうちの何れであるのかを判定することを特徴とする請求項９に記載の路面判別装置。
11. 前記撮像画像は、前記カメラからの画像データを、車両の上方から見た俯瞰画像に変換したものであり、画像の中央部に配置された車両マークを取り囲むように、車両の周囲の俯瞰画像が配置されていることを特徴とする請求項１乃至請求項１０のうちの何れか一項に記載の路面判別装置。
12. 車両に搭載されて車両の周囲の路面を撮像するカメラで撮像した撮像画像に基づいて、車両周囲の路面の判別を行う路面判別方法であって、
    エッジ強度が第１の閾値以上となる強エッジの線分を前記撮像画像において検索すると共に、前記撮像画像における前記強エッジの線分を含まない領域を第１対象領域として設定する領域設定段階と、
    エッジ強度が前記第１の閾値よりも小さい第２の閾値以上となる弱エッジからなるテクスチャを、前記第１対象領域において検索すると共に、検索されたテクスチャの特徴を抽出する特徴抽出段階と、
    前記車両の直進走行時における前記テクスチャの特徴の経時的変化に基づいて、前記第１対象領域が、路面領域と立体物の領域とのうちの何れであるのかを判定する領域判定段階と、
    判定結果に基づいて路面の判別を行う路面判別段階とから構成されることを特徴とする路面判別方法。
    

Images