JP2016009333A - 走路境界推定装置及び走路境界推定方法 - Google Patents

走路境界推定装置及び走路境界推定方法 Download PDF

Info

Publication number
JP2016009333A
JP2016009333A JP2014129601A JP2014129601A JP2016009333A JP 2016009333 A JP2016009333 A JP 2016009333A JP 2014129601 A JP2014129601 A JP 2014129601A JP 2014129601 A JP2014129601 A JP 2014129601A JP 2016009333 A JP2016009333 A JP 2016009333A
Authority
JP
Japan
Prior art keywords
road boundary
image
detection
boundary
search area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014129601A
Other languages
English (en)
Other versions
JP6046666B2 (ja
Inventor
嘉修 竹前
Kashu Takemae
嘉修 竹前
清澄 城殿
Kiyosumi Shirodono
清澄 城殿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2014129601A priority Critical patent/JP6046666B2/ja
Priority to US14/744,869 priority patent/US20150367781A1/en
Priority to CN201510346727.XA priority patent/CN105206107A/zh
Priority to EP15173207.0A priority patent/EP2960829A3/en
Publication of JP2016009333A publication Critical patent/JP2016009333A/ja
Application granted granted Critical
Publication of JP6046666B2 publication Critical patent/JP6046666B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Mechanical Engineering (AREA)

Abstract

【課題】遠方の領域における立体走路境界の推定が出来なくなる状況が発生することを低減可能な走路境界推定装置及び走路境界推定方法を提供することを課題とする。【解決手段】本発明は、段差検出による立体走路境界の検出結果、及び、テンプレート照合による境界候補点の検出結果に基づいて、車両周囲の交通環境における立体走路境界を検出する。ここで、本発明は、段差検出による立体走路境界の検出評価値が低く、且つ、テンプレート照合による境界候補点の照合評価値が低い探索領域である低評価探索領域がある場合には、当該低評価探索領域よりも車両近傍側における所定領域分の画像データをテンプレート画像として再設定し、低評価探索領域を遠方方向にスキップした画像領域から、より遠方に向かって新たな探索領域を再設定し、再設定された探索領域内でテンプレート照合を継続して実施する。【選択図】図２

Description

本発明は、走路境界推定装置及び走路境界推定方法に関する。
従来、走路境界推定技術が報告されている。
例えば、特許文献１に記載の技術では、車両周囲の交通環境における高さ変化がある位置を検出する段差検出結果に基づき、縁石などの立体的な走路境界（立体走路境界）を車両近傍側から遠方側に向かって検出する。その後、検出された立体走路境界の最遠方領域における輝度画像をテンプレート照合用の画像として取得し、当該最遠方領域からより遠方に向かってテンプレート照合を実施することにより、段差検出結果からでは立体走路境界が検出されない遠方の領域における立体走路境界の推定を行う。
また、特許文献２に記載の技術では、車両の近傍領域の撮影画像から道路境界の画像を切り出してテンプレートを作成し、車両から車両の遠方領域までの距離に応じてテンプレートの縮尺を変更して、テンプレートのマッチング処理により遠方領域の撮影画像から道路境界を検出し、道路境界の検出結果に基づいて車両の前方の走行路を認識する。
特開２０１３−１６１１９０号公報 特開２０１３−１４２９７２号公報
しかしながら、従来技術では、例えば、縁石などの立体走路境界が、車両の出入り等の為に途切れていたり、電柱などの他の立体構造物の影になっていたりするなどの理由で、当該立体走路境界を空間的に連続的なものとして検出し難い場合がある。そのような場合、従来技術においては、段差検出に基づく立体走路境界の検出、及び、テンプレート照合に基づく立体走路境界の検出が中断され、遠方の領域における立体走路境界の推定が出来なくなる可能性がある。
一例として、遠方の領域における立体走路境界の推定が出来なくなる可能性が高い状況を図１を参照して説明する。図１は、テンプレート照合による遠方探索が困難となるシーンの一例を示す。図１（ａ）は縁石境界が途切れ途切れの状態にあるシーンであり、図１（ｂ）は陸橋の影が縁石境界上に落ちているシーンである。
ここで、テンプレート画像は、高さやエッジを手掛かりに、画像の一部を切り出す形で設定される。例えば、図１（ａ）の点線枠（ｉ）がテンプレート画像として設定されたとする。それを基に、隣接する遠方領域を探索しても、実線枠（ｉｉ）内の縁石境界は、縁石が途切れている部分であるため、テンプレート照合では良好に検出できなくなる。また、一般にテンプレート照合は輝度情報に基づくため、図１（ｂ）のように陸橋などの周辺構造物の影が縁石境界上に落ちている点線枠の領域（ｉｉｉ）では濃淡変化が乏しくなり、テンプレート照合が不安定になり正しい位置が検出できなくなることがある。
そのため、従来技術では、図１（ａ）に示すように縁石が途切れていたり、図１（ｂ）に示すように路面に他の周辺構造物（陸橋など）の影が落ちていたり、その他側溝の蓋が有ったり無かったりする場合には、切り出したテンプレートでは必ずしも精度よく一致する場所が見つけられず、遠方探索が中断してしまう。ここで、テンプレート画像の明度を操作したり、幾何変換により予測テンプレートを生成したりすることも考えられるが、このような局所的なテクスチャ変化は予測が難しいため困難である。仮にそのように生成されたテンプレートと照合する場所が見つかった場合であっても、それが正しい道路境界であることが確認できない。
本発明は、上記の事情に鑑みてなされたものであって、走路境界推定技術において、遠方の領域における立体走路境界の推定が出来なくなる状況が発生することを低減可能な走路境界推定装置及び走路境界推定方法を提供することが目的とする。
本発明の走路境界推定装置は、車両周囲の交通環境を撮影した画像データを取得する画像取得手段と、前記画像データに基づいて距離画像を生成する距離画像生成手段と、前記距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍側から遠方側に向かって検出する段差検出手段と、前記段差検出手段によって検出された前記立体走路境界上において前記車両から最も遠方の画像領域である最遠方領域における所定領域分の前記画像データをテンプレート画像として設定する基準画像設定手段と、前記立体走路境界上の最遠方領域から更に遠方に向かって、前記段差検出手段によって検出されなかった立体走路境界を探索するための探索領域を設定する探索領域設定手段と、前記探索領域内で前記テンプレート画像と一致する領域を走査するテンプレート照合を実施することで、前記段差検出手段により検出されなかった前記立体走路境界の候補となる境界候補点を、前記最遠方領域から更に遠方に向かって検出する照合判定手段と、前記立体走路境界の検出結果、及び、前記境界候補点の検出結果に基づいて、前記交通環境における前記立体走路境界を検出する道路境界検出手段と、を備え、前記基準画像設定手段は、前記段差検出手段によって検出された前記立体走路境界の検出評価値が所定値よりも低く、且つ、前記照合判定手段によって検出された前記境界候補点の照合評価値が所定値よりも低い探索領域である低評価探索領域がある場合には、当該低評価探索領域よりも車両近傍側における所定領域分の前記画像データを前記テンプレート画像として再設定し、前記探索領域設定手段は、前記低評価探索領域を遠方方向にスキップした画像領域から、より遠方に向かって新たな探索領域を再設定し、前記照合判定手段は、再設定された前記探索領域内で前記テンプレート照合を継続して実施することを特徴とする。
前記走路境界推定装置は、前記探索領域内で、前記照合判定手段による前記テンプレート照合に加えて、前記段差検出手段による前記段差検出を更に実施し、前記道路境界検出手段は、前記段差検出手段によって検出された前記立体走路境界の検出評価値が高い場合は、当該検出評価値が低い場合と比して、前記照合判定手段による前記境界候補点の検出結果よりも、前記段差検出手段による前記立体走路境界の検出結果をより優先させて、前記交通環境における前記立体走路境界を検出することが好ましい。
前記道路境界検出手段は、前記段差検出手段によって検出された前記立体走路境界の検出評価値が基準値よりも高い場合は、前記照合判定手段による前記境界候補点の検出結果よりも、前記段差検出手段による前記立体走路境界の検出結果をより優先させて、前記交通環境における前記立体走路境界を検出する一方で、前記段差検出手段によって検出された前記立体走路境界の検出評価値が基準値未満である場合には、前記段差検出手段による前記立体走路境界の検出結果よりも、前記照合判定手段による前記境界候補点の検出結果をより優先させて、前記交通環境における前記立体走路境界を検出することが好ましい。
前記探索領域設定手段は、前記段差検出手段による前記立体走路境界の検出結果に基づいて、前記境界候補点が存在する可能性が高い領域を予測し、予測した領域周辺に前記探索領域を設定することが好ましい。
本発明の走路境界推定方法は、車両周囲の交通環境を撮影した画像データを取得する画像取得工程と、前記画像データに基づいて距離画像を生成する距離画像生成工程と、前記距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍側から遠方側に向かって検出する段差検出工程と、前記段差検出工程で検出された前記立体走路境界上において前記車両から最も遠方の画像領域である最遠方領域における所定領域分の前記画像データをテンプレート画像として設定する基準画像設定工程と、前記立体走路境界上の最遠方領域から更に遠方に向かって、前記段差検出工程で検出されなかった立体走路境界を探索するための探索領域を設定する探索領域設定工程と、前記探索領域内で前記テンプレート画像と一致する領域を走査するテンプレート照合を実施することで、前記段差検出工程で検出されなかった前記立体走路境界の候補となる境界候補点を、前記最遠方領域から更に遠方に向かって検出する照合判定工程と、前記立体走路境界の検出結果、及び、前記境界候補点の検出結果に基づいて、前記交通環境における前記立体走路境界を検出する走路境界検出工程と、を含み、前記基準画像設定工程において、前記段差検出工程で検出された前記立体走路境界の検出評価値が所定値よりも低く、且つ、前記照合判定工程で検出された前記境界候補点の照合評価値が所定値よりも低い探索領域である低評価探索領域がある場合には、当該低評価探索領域よりも車両近傍側における所定領域分の前記画像データが前記テンプレート画像として再設定され、前記探索領域設定工程において、前記低評価探索領域を遠方方向にスキップした画像領域からより遠方に向かって新たな探索領域が再設定され、前記照合判定工程において、再設定された前記探索領域内で前記テンプレート照合が継続して実施されることを特徴とする。
本発明にかかる走路境界推定装置及び走路境界推定方法は、走路境界推定技術において、遠方の領域における立体走路境界の推定が出来なくなる状況が発生することを低減できるという効果を奏する。
図１は、テンプレート照合による遠方探索が困難となるシーンの一例を示す図である。 図２は、実施形態１に係る走路境界推定装置の構成を示す図である。 図３は、入力画像と距離画像の一例を示す図である。 図４は、立体走路境界の検出処理の一例を示す図である。 図５は、路面領域の設定例を示す図である。 図６は、探索領域の設定例とスキップ探索の一例を示す図である。 図７は、境界候補点群への直線あてはめ処理の一例を示す図である。 図８は、スキップ探索の効果例を示す図である。 図９は、実施形態１に係る走路境界推定装置の基本処理の一例を示すフローチャートである。 図１０は、テンプレート切替えロジックＡの一例を示す図である。 図１１は、テンプレート切替えロジックＡの処理の詳細を示すフローチャートである。 図１２は、テンプレート切替えロジックＢの一例を示す図である。 図１３は、テンプレート切替えロジックＢの処理の詳細を示すフローチャートである。 図１４は、実施形態２に係る走路境界推定装置の構成を示す図である。 図１５は、実施形態２に係る走路境界推定装置の基本処理の一例を示すフローチャートである。
以下に、本発明にかかる走路境界推定装置及び走路境界推定方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。
［実施形態１］
図２〜図８を参照して、実施形態１に係る走路境界推定装置の構成について説明する。ここで、図２は、実施形態１に係る走路境界推定装置の構成を示す図である。図３は、入力画像と距離画像の一例を示す図である。図４は、立体走路境界の検出処理の一例を示す図である。図５は、路面領域の設定例を示す図である。図６は、探索領域の設定例とスキップ探索の一例を示す図である。図７は、境界候補点群への直線あてはめ処理の一例を示す図である。図８は、スキップ探索の効果例を示す図である。
図２に示すように、実施形態１に係る走路境界推定装置は、車両（自車両）に搭載され、典型的には、ＥＣＵ１と、撮像装置２と、アクチュエータ３と、を備える。
ＥＣＵ１は、車両の各部の駆動を制御するものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子制御ユニットである。ＥＣＵ１は、撮像装置２と電気的に接続され、撮像装置２の検出結果に対応した電気信号が入力される。そして、ＥＣＵ１は、検出結果に対応した電気信号に応じて各種演算処理を行う。例えば、ＥＣＵ１は、撮像装置２の検出結果に基づいて走路上に存在する縁石等の立体的な走路境界（立体走路境界）を推定する。また、ＥＣＵ１は、立体走路境界の検出結果等を含む演算結果に対応した制御指令を出力することで、ＥＣＵ１と電気的に接続されたアクチュエータ３の作動を制御する。例えば、ＥＣＵ１は、この演算処理結果に基づいた制御信号をアクチュエータ３へ出力して、アクチュエータ３を作動させることで車両の挙動を制御する運転支援制御を行う。
ＥＣＵ１の各種処理部の詳細について説明する。ＥＣＵ１は、画像取得部１ａと、距離画像生成部１ｂと、段差検出部１ｃと、基準画像設定部１ｄと、探索領域設定部１ｅと、照合判定部１ｆと、道路境界検出部１ｇと、車両制御部１ｈとを、少なくとも備える。以下、図２に示すＥＣＵ１の各種処理部（画像取得部１ａ〜車両制御部１ｈ）の詳細について、適宜図３〜図８を参照しつつ説明する。
ＥＣＵ１のうち、画像取得部１ａは、車両周囲の交通環境を撮影した画像データを取得する画像取得手段である。本実施形態において、車両周囲の交通環境は、車両前方、車両側方、車両後方などの車両周囲の道路環境を含む。以下の実施形態では、車両周囲の交通環境として車両前方（すなわち、車両の進行方向）の道路環境を一例に説明する。画像取得部１ａは、撮像装置２の右カメラ２ａ及び左カメラ２ｂからそれぞれ出力される輝度画像Ｒおよび輝度画像Ｌを画像データとして取得する。画像データはモノクロでもカラーでもよい。画像取得部１ａは、更に、画像歪補正処理として、右カメラ２ａと左カメラ２ｂのレンズ歪みがなくなるように輝度画像Ｒおよび輝度画像Ｌを補正し、右カメラ２ａと左カメラ２ｂの光軸が平行になるように輝度画像Ｒおよび輝度画像Ｌを補正する処理を行う機能も有する。画像取得部１ａにより取得されかつ歪みを補正された輝度画像Ｒおよび輝度画像Ｌは、距離画像生成部１ｂの処理に用いられる。
ここで、撮像装置２は、車両の進行方向の交通環境を撮像する撮像手段である。撮像装置２の撮像波長帯は、可視または近赤のいずれでもよい。撮像装置２は、撮像可能な右カメラ２ａと左カメラ２ｂとから構成される。右カメラ２ａは、車両前方右側に設置され、左カメラ２ｂは、車両前方左側に設置される。右カメラ２ａ及び左カメラ２ｂは、例えば、ステレオカメラである。右カメラ２ａは、車両の進行方向を撮像した画像である輝度画像Ｒを画像データとしてＥＣＵ１の画像取得部１ａへ出力する。左カメラ２ｂは、車両の進行方向を撮像した画像である輝度画像Ｌを画像データとしてＥＣＵ１の画像取得部１ａへ出力する。なお、本実施形態では、後述の距離画像生成部１ｂにより距離画像を生成するため、撮像装置２としてステレオ構成のカメラを一例に説明するが、距離以外の情報（例えば、エッジ等）に基づいて、後述の基準画像設定部１ｄによりテンプレート画像を設定する場合には必ずしもステレオ構成である必要はなく、撮像装置２は単眼カメラであってもよい。また、距離情報の取得はレーザレーダ等の別センサから取得してもよく、この場合にもカメラは単眼であってもよい。
ＥＣＵ１のうち、距離画像生成部１ｂは、画像取得部１ａにより取得される画像データに基づいて距離画像を生成する距離画像生成手段である。距離画像生成部１ｂは、画像取得部１ａにより取得されかつ歪み補正された輝度画像Ｒおよび輝度画像Ｌに基づいて、視差を算出し距離を測定することで距離画像を生成する。本実施形態において、距離画像生成部１ｂは、図３（ａ）に示すような車両の進行方向の道路環境を撮像したステレオ画像（輝度画像Ｒおよび輝度画像Ｌを含む画像）を入力画像とし、ステレオ画像から図３（ｂ）に示すような距離画像を生成する。ステレオ画像は、輝度画像Ｒおよび輝度画像Ｌを含む画像であるが、説明の便宜上、図３（ａ）には１枚の画像を例示している。本実施形態の距離画像の生成には、図３（ｂ）に示すように、画像全体で密な距離情報が求められるdense stereo技術の利用を想定している。dense stereo技術としては、例えば、ＳＧＭ法やＥＬＡＳ法などを利用する。一例として、ＳＧＭ法としては、文献１「H.Hirschumuller, “Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information,” Proc.IEEE Conf. on Computer Vision and Pattern Recognition, vol.2, pp.807-814, 2005」に記載の手法を利用してもよい。また、ＥＬＡＳ法としては、文献２「A.Geiger, M.Roser and R.Urtasun, “Ecient large-scale stereo matching,” Proc.Asian Conf. on Computer Vision, 2010.」に記載の手法を利用してもよい。本実施形態において、画像取得部１ａにより画像データとして取得された輝度画像Ｒおよび輝度画像Ｌは、距離画像生成部１ｂにより距離画像を生成する際に輝度画像Ｒおよび輝度画像Ｌの両方が用いられるが、以降の処理では、輝度画像Ｒまたは輝度画像Ｌのいずれか一方が画像データとして用いられるものとする。
ＥＣＵ１のうち、段差検出部１ｃは、距離画像生成部１ｂにより生成された距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍側から遠方側に向かって検出する段差検出手段である。本実施形態において、立体走路境界は、道路に沿って遠方へ連続的に延在する立体的な走路境界を意味する。立体走路境界としては、例えば、縁石、側溝、カードレール、歩道帯等が挙げられる。ここでは、段差検出部１ｃは、距離画像生成部１ｂにより生成された距離画像から道路領域の段差を算出し、主に近傍領域で縁石や側溝などの立体走路境界を検出する。具体的には、段差検出部１ｃは、距離画像生成部１ｂにより生成された距離画像に基づいて路面領域内で高さ変化のある位置を抽出する。ここで、段差検出部１ｃは、距離画像から各画素の３次元高さを抽出し、高さマップを生成してそのエッジ部分を抽出してもよい。一例として、高さマップの生成には、文献３「T.Michalke, R.Kastner, J.Fritsch, C.Goerick, “A Self-Adaptive Approach for Curbstone/Roadside Detection based on Human-Like Signal Processing and Multi-Sensor Fusion,” Proc.2010 IEEE Intelligent Vehicles Symp., pp.307-312, 2010.」の記載の手法を利用してもよい。また、段差検出部１ｃは、距離画像の勾配変化を検出することで段差を抽出してもよい。一例として、図４に、距離画像の勾配変化に基づいて抽出された段差候補に直線を当てはめて段差検出した例を示す（図４（ｉ）の一点鎖線部分）。ここで、段差検出部１ｃは、後述の基準画像設定部１ｄによるテンプレート画像抽出のために、段差候補に直線等のモデルをフィッティングしておくことが好ましい。本実施形態において、路面領域は、図４の入力画像及び距離画像に示すように、カメラの姿勢等から予め設定された領域であってもよいし、図５に示すように、距離画像から高さの高い立体物の足元を抽出して、それよりも下の領域である３次元空間中で近傍の領域に限定してもよい。
本実施形態において、段差検出部１ｃによる段差検出は、視差量が十分に大きくなる画素領域内でのみ実施される。例えば、段差検出は、視差が一定値以上である画素領域（すなわち、近方領域）でのみで実行される。一定値は、視差情報に基づいて立体走路境界を精度良く認識することができる視差の下限値に対応してよい。この一定値は、撮像装置２の性能や要求される精度等に応じて変化し、実験等により適合されてよい。なお、視差が一定値未満の画素領域（すなわち、遠方領域）では、道路脇の縁石のような高さの低い立体走路境界に対する段差検出は困難となる。これらを考慮して、本実施形態では、視差が一定値以上である画素領域については段差検出による立体走路境界の検出評価値が高いものとし、視差が一定値未満である画素領域については段差検出による立体走路境界の検出評価値が低いものとする。
ＥＣＵ１のうち、基準画像設定部１ｄは、段差検出部１ｃによって検出された立体走路境界上において車両から最も遠方の画像領域である最遠方領域における所定領域分の画像データをテンプレート画像として設定する基準画像設定手段である。ここでは、基準画像設定部１ｄは、画像取得部１ａにより取得した画像データから立体走路境界の最遠点を含む小領域を抽出し、テンプレート画像として設定する。例えば、基準画像設定部１ｄは、図６に示すように、検出された立体走路境界の最遠点を中心とする指定サイズの領域をテンプレート画像として抽出する。この図６に示したテンプレート画像は、図４（ｉｉ）で示した範囲の最下部の矩形に対応する。テンプレート画像のサイズは一定値でもよいが、入力画像の解像度や画角、段差検出により検出された立体走路境界の最遠点までの距離等に応じて設定してもよい。また、図４（ｉｉ）及び図６の例では、横長の矩形をテンプレート画像としているが、テンプレート画像の縦横比はこれに限らない。
ＥＣＵ１のうち、探索領域設定部１ｅは、段差検出部１ｃにより検出された立体走路境界上の最遠方領域から更に遠方に向かって、段差検出部１ｃにより検出されなかった立体走路境界を探索するための探索領域を設定する探索領域設定手段である。ここでは、探索領域設定部１ｅは、基準画像設定部１ｄにより設定されたテンプレート画像に基づいて立体走路境界を探索するために遠方領域を探索領域として設定する。具体的には、探索領域設定部１ｅは、設定されたテンプレート画像を用いてテンプレート照合を実施することで立体走路境界を探索する領域を画像データ中の遠方領域で設定する。本実施形態では、図６に示すように、探索領域設定部１ｅは、テンプレート画像のサイズを基準に探索領域を設定する。例えば、探索領域設定部１ｅは、探索領域を、切り出したテンプレート画像の上面に接するように設定する（図６中の探索領域１）。この探索領域の高さはテンプレート画像の高さと一致させる。これにより、テンプレート照合は画像横方向（ｘ方向）の１次元探索となる。横幅はテンプレート画像の横幅を想定する道路曲率に基づいて決定すればよい。このように、本実施形態では、探索領域設定部１ｅは、遠方領域を探索領域として設定する場合に、探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定することが好ましい。なお、道路曲率は想定値でもよいが、前フレームの道路境界検出部１ｇの結果を利用してもよい。
ここで、探索領域設定部１ｅは、画像データ内で段差検出により検出された立体走路境界の傾きを利用して探索領域を設定してもよい。つまり、探索領域設定部１ｅは、段差検出部１ｃによる立体走路境界の検出結果に基づいて、境界候補点が存在する可能性が高い領域を予測し、予測した領域周辺に探索領域を設定してもよい。例えば、段差検出によって検出された立体走路境界が右肩上がりの場合、立体走路境界の連続性を仮定すれば急に左に曲がる可能性は低いと考えられるので、テンプレート画像よりも左側の探索領域を小さくすることができる。このように、段差検出による立体走路境界の検出評価値が十分に高くない場合であっても、ある程度の検出評価値があれば、段差検出による立体走路境界の検出結果を探索領域の設定に有効活用できる。その結果、探索領域を適切に設定できれば、テンプレート照合範囲が絞られるため計算負荷を低減可能となる。また、テンプレート照合の演算量を削減できるだけでなく、誤検出を減らすことにも繋がる。
ＥＣＵ１のうち、照合判定部１ｆは、探索領域設定部１ｅにより設定された探索領域内でテンプレート画像と一致する領域を走査するテンプレート照合を実施することで、段差検出部１ｃにより検出されなかった立体走路境界の候補となる境界候補点を、段差検出部１ｃにより検出された立体走路境界上の最遠方領域から更に遠方に向かって検出する照合判定手段である。ここでは、照合判定部１ｆは、テンプレート照合によりテンプレート画像と一致する領域を検出する。具体的には、照合判定部１ｆは、探索領域設定部１ｅにより設定された探索領域内を走査してテンプレート照合を繰り返し、テンプレート画像と最も類似した場所を探索する。本実施形態において、テンプレート照合手法は、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いた類似性判定手法や正規化相互相関などの既存の手法を用いてもよい。また、テンプレート画像からＳＩＦＴ特徴などの特徴量を抽出して照合する方法も可能である。探索の結果、テンプレート画像との類似度を示す照合評価値（すなわち、境界候補点の照合評価値）とその矩形位置が得られる。照合判定部１ｆは、照合評価値が設定した閾値より高ければ、そのテンプレート画像と一致する矩形領域の中心位置を立体走路境界の候補となる境界候補点として登録する。そして、ＥＣＵ１は、図４（ｉｉ）で示した範囲のように、照合判定部１ｆによりその矩形位置を基準画像設定部１ｄに出力し、ＥＣＵ１は、基準画像設定部１ｄによりテンプレート画像を再度設定し、探索領域設定部１ｅにより探索領域を再度設定しながら同様の手順で境界候補点の探索を繰り返す。
ＥＣＵ１のうち、道路境界検出部１ｇは、段差検出部１ｃによる立体走路境界の検出結果、及び、照合判定部１ｆによる境界候補点の検出結果に基づいて、車両周囲の交通環境における立体走路境界を検出する道路境界検出手段である。ここでは、道路境界検出部１ｇは、段差検出部１ｃの検出段差および照合判定部１ｆの照合位置に基づいて、立体走路境界を検出する。例えば、道路境界検出部１ｇは、段差検出部１ｃにより検出した段差位置と、照合判定部１ｆによりテンプレート照合で抽出した境界候補点にフィットする走路モデルを推定することで、図４（ｉｉｉ）に示す一点鎖線部分のように最終的な検出結果として立体走路境界を決定する。走路モデルとしては直線やクロソイドを用い、パラメータ推定には最小自乗法や非線形最適化手法、ＲＡＮＳＡＣ等を利用すればよい。例えば、道路境界検出部１ｇは、非線形最適化手法を用いて候補点群ｘｉ（ｉ＝０，…，Ｎ）に直線を当てはめる場合（図７参照）、点群と直線の一致度を表す以下の関数ｆ１（ｓ）を定義し、ｆ１（ｓ）が最大となる直線パラメータｓ＝｛Ｓ０，Ｓ１｝を推定してもよい。図７は、３次元空間の俯瞰図を表しており、原点がカメラ位置とすると、直線の近傍に点が多く分布するほど一致度が大きくなることを示している。一例として、非線形最適化手法としては、文献４「S.Johnson, The NLopt nonlinear-optimization package, http://ab-intio.mit.edu/nlopt」に記載の手法を利用してもよい。
式（２）のｇ（ｘ）は、ｘが０に近いほど大きな値を返す関数である。非線形最適化手法により、式（１）の関数ｆ１（ｓ）およびパラメータの初期値、値域から最適なパラメータを求めることができる。二次曲線やクロソイド曲線を当てはめる場合には式（１）と推定パラメータｓを変更すればよい。
本実施形態において、照合判定部１ｆは、テンプレート画像との類似度を示す照合評価値（すなわち、境界候補点の照合評価値）が設定した閾値より高ければ、そのテンプレート画像と一致する矩形領域の中心位置を立体走路境界の候補となる境界候補点として登録するが、一方、境界候補点の照合評価値が閾値より低い場合、テンプレート照合の結果の信頼性は低くなるため、テンプレート画像と一致する矩形領域の中心位置を立体走路境界の候補となる境界候補点として登録しない。これは、上述の図１に示したように、一般にテンプレート照合は輝度情報に基づくため、例えば図１（ｂ）のように陸橋などの周辺構造物の影が縁石境界上に落ちている領域（ｉｉｉ）では濃淡変化が乏しくなり、テンプレート照合が不安定になり正しい位置が検出できなくなることがあるからである。上述の図４（ｉｉ）にも示すように、影が縁石境界上に落ちている領域に差し掛かると、境界候補点の照合評価値が閾値より低くなり、テンプレート照合の結果の信頼性は低くなるため、照合判定部１ｆは、テンプレート画像と一致する矩形領域の中心位置を立体走路境界の候補となる境界候補点として登録していない。
このような場合、本実施形態に係るＥＣＵ１では、例えば図６に示すように、探索領域１においてはテンプレート照合により一致する領域は該当なしと判断し、テンプレート画像をそのまま用いて、探索領域設定部１ｅにより次の探索領域２〜３を設定してテンプレート照合を実行する。このように探索領域内でテンプレートに類似する場所が信頼性が高い状態で見つからない場合には、ＥＣＵ１は、照合判定部１ｆによる境界候補点の登録をスキップして、探索領域設定部１ｅにより探索領域を更に遠方へシフトさせながら、照合判定部１ｆによる境界候補点の探索を継続する。このように、本実施形態では、照合判定部１ｆでテンプレート照合の照合評価値が高い場所が見つからなかった場合に、探索領域設定部１ｅで更に遠方の領域を新たな探索領域として再設定し、探索を継続する。ＥＣＵ１は、照合判定部１ｆによる境界候補点の登録をスキップした場合、探索領域設定部１ｅにより次の探索領域を、図６に示すように手前（下段）の探索領域よりも左右に広げるように設定するとよい。このときも道路曲率や境界候補点の連続性などから次の探索領域を決定することが好ましい。図８にこのスキップ探索処理により、陸橋の影を超えて遠方まで縁石境界を推定できた例を示す。図８（ｉｖ）に示す部分は、図４（ｉｉ）に示す部分とは異なり、影領域による探索打ち切りを防止できた状態を示している。
なお、探索領域設定部１ｅは、規定の距離まで探索した時点、もしくは規定のスキップ幅を超えた時点で探索を終了し、道路境界検出部１ｇの処理に移行する。スキップする幅は３次元空間における距離を基準に設定すればよい。一例として、縁石が途切れる箇所は車両の出入りが必要な箇所であるため、規程の距離もしくは規定のスキップ幅を、例えば、車両２台の幅（約５ｍ）程度としてもよい。このように、本実施形態では、探索領域設定部１ｅでさらに遠方へ探索領域を設定する場合に、スキップする最大幅（画像データ中における高さ）は３次元空間での奥行き幅を基準に設定し、その幅を超える場合には探索を打ち切ることが好ましい。
以上説明したように、本実施形態では、基準画像設定部１ｄは、段落検出部１ｃによって検出された立体走路境界の検出評価値が所定値よりも低く、且つ、照合判定部１ｆによって検出された境界候補点の照合評価値が所定値よりも低い探索領域である低評価探索領域がある場合には、当該低評価探索領域よりも車両近傍側における所定領域分の画像データをテンプレート画像として再設定する。ここで、立体走路境界に関する所定値とは、立体走路境界として一定の精度以上で検出可能な値として予め実験結果等に基づいて設定された閾値である。また、境界候補点に関する所定値とは、境界候補点として一定の精度以上で照合可能な値として予め実験結果等に基づいて設定された閾値である。そして、探索領域設定部１ｅは、低評価探索領域を遠方方向にスキップした画像領域から、より遠方に向かって新たな探索領域を再設定する。照合判定部１ｆは、再設定された探索領域内でテンプレート照合を継続して実施する。これにより、本実施形態によれば、段差検出及びテンプレート照合による立体走路境界の検出が共に出来ない領域に差し掛かった場合は、当該領域をスキップして、より遠い領域からテンプレート照合を開始することができる。具体的には、段差検出時又はテンプレート照合時に、立体走路境界が途切れたり影に入ったりして、段差検出に基づく立体走路境界の検出評価値が低いため立体走路境界が検出されず、且つ、テンプレート照合に基づく立体走路境界の照合評価値が低いため立体走路境界が検出されない場合であっても、当該領域をスキップして、より遠い領域からのテンプレート照合を開始することができる。その結果、走路境界推定技術において、遠方の領域における立体走路境界の推定が出来なくなる状況が発生することを低減できる。
また、本実施形態では、照合判定部１ｆは、再設定された探索領域内でテンプレート照合を行う場合には、テンプレート画像との類似度を示す照合評価値に対する閾値を高く再設定するか、または、テンプレート画像をぼかすことのいずれかを実施することが好ましい。これにより、本実施形態によれば、照合判定部１ｆにおいてスキップ後に再設定された探索領域内でテンプレート照合を行う場合に、テンプレート画像との類似度を示す照合評価値に対する閾値を高く再設定することで、または、テンプレート画像をぼかすことで誤検出を抑制して照合精度を向上させることができる。これは、スキップするとテンプレート画像との乖離が大きくなるので信頼できる場合にのみ境界候補点を検出するために、テンプレート画像との類似度を示す照合評価値に対する閾値を上げることが有効になるからである。また、遠方の空間解像度の低下の影響への対策としてテンプレート画像をぼかすことで、照合精度の向上を図ることができる。
また、本実施形態では、再設定された探索領域内でテンプレート照合を行う場合には、基準画像設定部１ｄによりテンプレート画像を距離に基づいてリサイズする、もしくは、サイズ変更して再抽出することが好ましい。これにより、本実施形態によれば、再設定された探索領域内でテンプレート照合を行う場合に、基準画像設定部１ｄによりテンプレート画像を距離に基づいてリサイズする、もしくは、サイズ変更して再抽出することで誤検出を抑制して照合精度を向上させることができる。このリサイズには距離情報を使うことができる。例えば、テンプレート画像の３次元空間における奥行ｚＴと、探索領域の奥行ｚＳからテンプレート画像の縮小率γは以下の式（３）で決定できる。
なお、撮像装置２がステレオカメラの場合、奥行ｚを算出する必要はなく、視差ｄ（テンプレート画像の視差ｄＴと、探索領域の視差ｄＳ）から直接求めることも可能である（式４）。
ＥＣＵ１のうち、車両制御部１ｈは、道路境界検出部１ｇにより検出された車両周囲の交通環境における立体走路境界に基づいて、当該立体走路境界に沿ったＬＫＡ制御等の運転支援制御を行う車両制御手段である。車両制御部１ｈは、例えば、車両の車速及び加速度、検出された立体走路境界に基づく車両が走行可能な領域を示す各種情報などに基づいて、車両の走行軌跡や走行速度等を演算する。そして、車両制御部１ｈは、この演算処理結果に基づいた制御信号をアクチュエータ３へ出力して、アクチュエータ３を作動させることで運転支援制御を実行する。
以上で、実施形態１に係る走路境界推定装置の構成についての説明を終える。
続いて、上述のように構成される実施形態１に係る走路境界推定装置により実行される実施形態１に係る走路境界推定方法について、図９〜図１３を参照して説明する。ここで、図９は、実施形態１に係る走路境界推定装置の基本処理の一例を示すフローチャートである。図１０は、テンプレート切替えロジックＡの一例を示す図である。図１１は、テンプレート切替えロジックＡの処理の詳細を示すフローチャートである。図１２は、テンプレート切替えロジックＢの一例を示す図である。図１３は、テンプレート切替えロジックＢの処理の詳細を示すフローチャートである。
図９に示すように、画像取得部１ａは、車両周囲の交通環境を撮影した画像データを取得する（ステップＳ１１）。そして、距離画像生成部１ｂは、ステップＳ１１において画像取得部１ａの処理により取得される画像データに基づいて距離画像を生成する（ステップＳ１２）。そして、段差検出部１ｃは、ステップＳ１２において距離画像生成部１ｂの処理により生成された距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍側から遠方側に向かって検出する（ステップＳ１３）。
基準画像設定部１ｄは、ステップＳ１３において段差検出部１ｃの処理により検出された立体走路境界上において車両から最も遠方の画像領域である最遠方領域における所定領域分の画像データをテンプレート画像として設定する（ステップＳ１４）。そして、探索領域設定部１ｅは、ステップＳ１５において段差検出部１ｃの処理により検出された立体走路境界上の最遠方領域から更に遠方に向かって、段差検出部１ｃの処理により検出されなかった立体走路境界を探索するための探索領域を設定する（ステップＳ１５）。ここで、ステップＳ１５において、探索領域設定部１ｅは、段差検出部１ｃの処理による立体走路境界の検出結果に基づいて、境界候補点が存在する可能性が高い領域を予測し、予測した領域周辺に探索領域を設定してもよい。そして、照合判定部１ｆは、ステップＳ１６において探索領域設定部１ｅの処理により設定された探索領域内でテンプレート画像と一致する領域を走査するテンプレート照合を実施することで、ステップＳ１５において段差検出部１ｃの処理により検出されなかった立体走路境界の候補となる境界候補点を、段差検出部１ｃの処理により検出された立体走路境界上の最遠方領域から更に遠方に向かって検出する（ステップＳ１６）。ここで、ステップＳ１４〜Ｓ１６において、基準画像設定部１ｄは、段差検出部１ｃの処理により検出された立体走路境界の検出評価値が所定値よりも低く、且つ、照合判定部１ｆの処理により検出された境界候補点の照合評価値が所定値よりも低い探索領域である低評価探索領域がある場合には、当該低評価探索領域よりも車両近傍側における所定領域分の画像データをテンプレート画像として再設定する。この場合、探索領域設定部１ｅは、低評価探索領域を遠方方向にスキップした画像領域からより遠方に向かって新たな探索領域を再設定する。そして、照合判定部１ｆは、探索領域設定部１ｅの処理により再設定された探索領域内でテンプレート照合を継続して実施する。このステップＳ１４〜Ｓ１６の処理の詳細については、後述する。
ステップＳ１６の処理の後、ＥＣＵ１は、所定範囲の境界候補点の探索を終了したか否かを判定する（ステップＳ１７）。ステップＳ１７において、ＥＣＵ１は、例えば路面領域内で最大限探索可能な境界候補点の探索を終了していないと判定した場合（ステップＳ１７：Ｎｏ）、ステップＳ１４の処理へ戻る。一方、ＥＣＵ１は、ステップＳ１７において、ＥＣＵ１は、路面領域内で最大限探索可能な境界候補点の探索を終了したと判定した場合（ステップＳ１７：Ｙｅｓ）、次のステップＳ１８の処理へ移行する。
続いて、道路境界検出部１ｇは、ステップＳ１３における段差検出部１ｃの処理による立体走路境界の検出結果、及び、ステップＳ１６における照合判定部１ｆの処理による境界候補点の検出結果に基づいて、車両周囲の交通環境における立体走路境界を検出する（ステップＳ１８）。その後、本処理を終了する。
本実施形態において、テンプレート画像の切替方法は、図１０及び図１１に示すように、テンプレート切替えロジックＡとして、テンプレート画像の照合度が低下した際にテンプレート画像を変更する方法を用いてもよいし、図１２及び図１３に示すように、テンプレート切替えロジックＢとして、テンプレート画像を逐次切替える方法を用いてもよい。図１１及び図１３は、上述の図９のステップＳ１４〜Ｓ１７の処理の詳細を示すものである。
まず、テンプレート切替えロジックＡの詳細について、図１０及び図１１を参照して説明する。図１０では、段差検出によって検出された立体走路境界上の最遠点を中心位置とする所定領域の矩形領域ａを初期テンプレート画像として設定した場合に、矩形領域ａに対応するテンプレート画像で矩形領域ｂ〜ｄを夫々含む探索領域に対して順にテンプレート照合を行った結果、矩形領域ａに対応するテンプレート画像では、矩形領域ｄを含む探索領域３において境界候補点を検出できなかったため、テンプレート画像を矩形領域ａから矩形領域ｃに切替えるテンプレート画像の切替例を示している。この図１０のテンプレート画像の切替例に対応する処理について、図１１を参照して説明する。図１１は、上述の図９のステップＳ１４〜Ｓ１７の処理の詳細を示すものであり、図１１の処理は上述の図９のステップＳ１３の処理の後に実行される。
図１１に示すように、基準画像設定部１ｄは、初期テンプレート画像を設定する（ステップＳ１０１）。ステップＳ１０１において、基準画像設定部１ｄは、例えば図１０に示したように、段差検出によって検出された立体走路境界上の最遠点を中心位置とする所定領域の矩形領域ａを初期テンプレート画像として設定する。基準画像設定部１ｄは、ステップＳ１０１で設定した初期テンプレート画像を修正する（ステップＳ１０２）。ステップＳ１０２において、基準画像設定部１ｄは、テンプレート照合の誤検出を抑制して照合精度を向上させるために、例えば図１０に示す矩形領域ａに対応する初期テンプレート画像を距離に応じてリサイズ、ぼかす等の画像処理を行うことで修正する。そして、探索領域設定部１ｅは、ステップＳ１０２で修正した初期テンプレート画像に基づいてテンプレート照合を行うための探索領域を設定する（ステップＳ１０３）。ステップＳ１０３において、探索領域設定部１ｅは、例えば図１０に示す矩形領域ｂを含む探索領域１を設定する。具体的には、図１０に示すように、探索領域設定部１ｅは、初期テンプレート画像（図１０中の矩形領域ａ）のサイズを基準に探索領域を設定する。例えば、探索領域設定部１ｅは、探索領域を、設定した初期テンプレート画像としての矩形領域ａの上面に接するように設定する（図１０中の探索領域１）。この探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定することが好ましい。
照合判定部１ｆは、ステップＳ１０３で設定した探索領域内でテンプレート画像を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する（ステップＳ１０４）。照合判定部１ｆは、ステップＳ１０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、照合判定部１ｆは、評価値が閾値以上であると判定した場合（ステップＳ１０５：Ｙｅｓ）、検出位置を境界候補点として登録する（ステップＳ１０６）。ステップＳ１０６において、照合判定部１ｆは、例えば図１０に示す矩形領域ｂの中心位置を境界候補点として登録する。
基準画像設定部１ｄは、ステップＳ１０１で設定した初期テンプレート画像を再度修正する（ステップＳ１１５）。ステップＳ１１５において、基準画像設定部１ｄは、例えば図１０に示す矩形領域ａに対応する初期テンプレート画像を距離に応じてリサイズ、ぼかす等の画像処理を行うことで再度修正する。そして、探索領域設定部１ｅは、ステップＳ１１５で再度修正した初期テンプレート画像に基づいてテンプレート照合を行うための次の探索領域を設定する（ステップＳ１１６）。ステップＳ１１６において、探索領域設定部１ｅは、例えば図１０に示す矩形領域ｃを含む探索領域２を設定する。具体的には、図１０に示すように、探索領域設定部１ｅは、前回設定した探索領域（図１０中の探索領域１）のサイズを基準に次の探索領域を設定する。例えば、探索領域設定部１ｅは、次の探索領域（図１０中の探索領域２）を、前回設定された探索領域１の上面に接するように設定する。この探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定し、前回の探索領域の横位置と幅よりも大きくなるように設定することが好ましい。
ＥＣＵ１は、規程範囲の探索を終了したか否かを判定する（ステップＳ１１７）。ステップＳ１１７において、ＥＣＵ１は、例えば路面領域内で最大限探索可能な境界候補点の探索を終了していないと判定した場合（ステップＳ１１７：Ｎｏ）、ステップＳ１０４の処理へ戻る。一方、ＥＣＵ１は、ステップＳ１１７において、ＥＣＵ１は、路面領域内で最大限探索可能な境界候補点の探索を終了したと判定した場合（ステップＳ１１７：Ｙｅｓ）、本処理を終了し、上述図９に示したステップＳ１８の処理へ移行する。
ここでは、ステップＳ１１７においてＥＣＵ１により規程範囲の探索が終了していないと判定された場合（ステップＳ１１７：Ｎｏ）について説明する。この場合、照合判定部１ｆは、ステップＳ１１６で設定した探索領域（例えば図１０に示す矩形領域ｃを含む探索領域２）内でテンプレート画像を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する（ステップＳ１０４）。照合判定部１ｆは、ステップＳ１０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、照合判定部１ｆは、評価値が閾値以上であると判定した場合（ステップＳ１０５：Ｙｅｓ）、検出位置を境界候補点として登録する（ステップＳ１０６）。ステップＳ１０６において、照合判定部１ｆは、例えば図１０に示す矩形領域ｃの中心位置を境界候補点として登録する。
続いて、基準画像設定部１ｄは、ステップＳ１０１で設定した初期テンプレート画像を再度修正する（ステップＳ１１５）。ステップＳ１１５において、基準画像設定部１ｄは、例えば図１０に示す矩形領域ａに対応する初期テンプレート画像を距離に応じてリサイズ、ぼかす等の画像処理を行うことで再度修正する。そして、探索領域設定部１ｅは、ステップＳ１１５で再度修正した初期テンプレート画像に基づいてテンプレート照合を行うための次の探索領域を設定する（ステップＳ１１６）。ステップＳ１１６において、探索領域設定部１ｅは、例えば図１０に示す矩形領域ｄを含む探索領域３を設定する。具体的には、図１０に示すように、探索領域設定部１ｅは、前回設定した探索領域（図１０中の探索領域２）のサイズを基準に次の探索領域を設定する。例えば、探索領域設定部１ｅは、次の探索領域（図１０中の探索領域３）を、前回設定された探索領域２の上面に接するように設定する。この探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定し、前回の探索領域の横位置と幅よりも大きくなるように設定することが好ましい。
ＥＣＵ１は、規程範囲の探索を終了したか否かを判定する（ステップＳ１１７）。ここでは、再度ステップＳ１１７においてＥＣＵ１により規程範囲の探索が終了していないと判定された場合（ステップＳ１１７：Ｎｏ）について説明する。この場合、照合判定部１ｆは、ステップＳ１１６で設定した探索領域（例えば図１０に示す矩形領域ｄを含む探索領域３）内でテンプレート画像を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する（ステップＳ１０４）。照合判定部１ｆは、ステップＳ１０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ１０５）。
ステップＳ１０５において、照合判定部１ｆは、ステップＳ１０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値より小さいと判定した場合（ステップＳ１０５：Ｎｏ）、登録された一つ前の境界候補点を中心にテンプレート画像を更新する（ステップＳ１０７）。ステップＳ１０７において、照合判定部１ｆは、例えば図１０に示すように矩形領域ｃを新しいテンプレート画像として設定する。この場合、ＥＣＵ１は、スキップ回数の登録値を１にし（ステップＳ１０８）、スキップ幅を計算する（ステップＳ１０９）。そして、照合判定部１ｆは、評価値が閾値未満だった探索領域をスキップした先の領域を、新しい探索領域に設定し、最も評価値の高い位置を検出する（ステップＳ１１０）。ステップＳ１１０において、照合判定部１ｆは、ステップＳ１１６で設定した探索領域（例えば図１０に示す矩形領域ｄを含む探索領域３）をスキップした先の領域である新しい探索領域内で、ステップＳ１０７で更新した新しいテンプレート画像（例えば、図１０に示す矩形領域ｃ）を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する。この場合、ＥＣＵ１は、スキップ回数の登録値をインクリメントする（ステップＳ１１１）。そして、照合判定部１ｆは、ステップＳ１１０で検出した新しいテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ１１２）。ステップＳ１１２において、照合判定部１ｆは、評価値が閾値以上であると判定した場合（ステップＳ１１２：Ｙｅｓ）、ステップＳ１１５の処理へ移行する。一方、照合判定部１ｆは、ステップＳ１１２において、ステップＳ１１０で検出した新しいテンプレート画像と一致する矩形領域の評価値が閾値より小さいと判定した場合（ステップＳ１１２：Ｎｏ）、次のステップＳ１１３の処理へ移行する。
ここでは、ステップＳ１１２において照合判定部１ｆによりステップＳ１１０で検出した新しいテンプレート画像と一致する矩形領域の評価値が閾値より小さいと判定された場合（ステップＳ１１２：Ｎｏ）について説明する。この場合、ＥＣＵ１は、ステップＳ１１１でインクリメントしたスキップ回数の登録値が閾値以上またはステップＳ１０９で計算したスキップ幅が閾値以上であるか否かを判定する（ステップＳ１１３）。
ステップＳ１１３において、ＥＣＵ１は、スキップ回数が閾値より少なくかつスキップ幅が閾値より小さいと判定した場合（ステップＳ１１３：Ｎｏ）、ステップＳ１０５及びステップＳ１１２の判定処理で用いた評価値の閾値を変更する（ステップＳ１１４）。ステップＳ１１４において、例えば、ＥＣＵ１は、テンプレート照合の誤検出を抑制して照合精度を向上させるために、テンプレート画像との類似度を示す照合評価値に対する閾値を高く設定する。その後、ステップＳ１０９の処理へ移行する。
一方、ステップＳ１１３において、ＥＣＵ１は、スキップ回数が閾値以上またはスキップ幅が閾値以上であると判定した場合（ステップＳ１１３：Ｙｅｓ）、本処理を終了し、上述図９に示したステップＳ１８の処理へ移行する。
次に、テンプレート切替えロジックＢの詳細について、図１２及び図１３を参照して説明する。図１２では、段差検出によって検出された立体走路境界上の最遠点を中心位置とする所定領域の矩形領域ａを初期テンプレート画像として設定した場合に、矩形領域ａに対応するテンプレート画像で矩形領域ｂを含む探索領域１に対しテンプレート照合を行った後、テンプレート画像を矩形領域ａから矩形領域ｂに切り替え、次は同様にテンプレート画像を矩形領域ｂから矩形領域ｃに切り替え、更に矩形領域ｃから矩形領域ｄに逐次切替えるテンプレート画像の切替例を示している。この図１２のテンプレート画像の切替例に対応する処理について、図１３を参照して説明する。図１３は、上述の図９のステップＳ１４〜Ｓ１７の処理の詳細を示すものであり、図１３の処理は上述の図９のステップＳ１３の処理の後に実行される。
図１３に示すように、基準画像設定部１ｄは、初期テンプレート画像を設定する（ステップＳ２０１）。ステップＳ２０１において、基準画像設定部１ｄは、例えば図１２に示したように、段差検出によって検出された立体走路境界上の最遠点を中心位置とする所定領域の矩形領域ａを初期テンプレート画像として設定する。基準画像設定部１ｄは、ステップＳ２０１で設定した初期テンプレート画像を修正する（ステップＳ２０２）。ステップＳ２０２において、基準画像設定部１ｄは、テンプレート照合の誤検出を抑制して照合精度を向上させるために、例えば図１２に示す矩形領域ａに対応する初期テンプレート画像を距離に応じてリサイズ、ぼかす等の画像処理を行うことで修正する。そして、探索領域設定部１ｅは、ステップＳ２０２で修正した初期テンプレート画像に基づいてテンプレート照合を行うための探索領域を設定する（ステップＳ２０３）。ステップＳ２０３において、探索領域設定部１ｅは、例えば図１２に示す矩形領域ｂを含む探索領域１を設定する。具体的には、図１２に示すように、探索領域設定部１ｅは、初期テンプレート画像（図１２中の矩形領域ａ）のサイズを基準に探索領域を設定する。例えば、探索領域設定部１ｅは、探索領域を、設定した初期テンプレート画像としての矩形領域ａの上面に接するように設定する（図１２中の探索領域１）。この探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定することが好ましい。
照合判定部１ｆは、ステップＳ２０３で設定した探索領域内でテンプレート画像を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する（ステップＳ２０４）。照合判定部１ｆは、ステップＳ２０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５において、照合判定部１ｆは、評価値が閾値以上であると判定した場合（ステップＳ２０５：Ｙｅｓ）、検出位置を境界候補点として登録する（ステップＳ２０６）。ステップＳ２０６において、照合判定部１ｆは、例えば図１２に示す矩形領域ｂの中心位置を境界候補点として登録する。
基準画像設定部１ｄは、照合位置でテンプレート画像を切り出して更新する（ステップＳ２０７）。ステップＳ２０７において、基準画像設定部１ｄは、例えば図１２に示す矩形領域ｂを新しいテンプレート画像として設定する。基準画像設定部１ｄは、ステップＳ２０７で設定したテンプレート画像を修正する（ステップＳ２１６）。ステップＳ２１６において、基準画像設定部１ｄは、例えば図１２に示す矩形領域ｂに対応するテンプレート画像を距離に応じてリサイズ、ぼかす等の画像処理を行うことで再度修正する。そして、探索領域設定部１ｅは、ステップＳ２１６で修正したテンプレート画像に基づいてテンプレート照合を行うための次の探索領域を設定する（ステップＳ２１７）。ステップＳ２１７において、探索領域設定部１ｅは、例えば図１２に示す矩形領域ｃを含む探索領域２を設定する。具体的には、図１２に示すように、探索領域設定部１ｅは、前回設定した探索領域（図１２中の探索領域１）のサイズを基準に次の探索領域を設定する。例えば、探索領域設定部１ｅは、次の探索領域（図１２中の探索領域２）を、前回設定された探索領域１の上面に接するように設定する。この探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定し、前回の探索領域の横位置と幅よりも大きくなるように設定することが好ましい。
ＥＣＵ１は、規程範囲の探索を終了したか否かを判定する（ステップＳ２１８）。ステップＳ２１８において、ＥＣＵ１は、例えば路面領域内で最大限探索可能な境界候補点の探索を終了していないと判定した場合（ステップＳ２１８：Ｎｏ）、ステップＳ２０４の処理へ戻る。一方、ＥＣＵ１は、ステップＳ２１８において、ＥＣＵ１は、路面領域内で最大限探索可能な境界候補点の探索を終了したと判定した場合（ステップＳ２１８：Ｙｅｓ）、本処理を終了し、上述図９に示したステップＳ１８の処理へ移行する。
ここでは、ステップＳ２１８においてＥＣＵ１により規程範囲の探索が終了していないと判定された場合（ステップＳ２１８：Ｎｏ）について説明する。この場合、照合判定部１ｆは、ステップＳ２１７で設定した探索領域（例えば図１２に示す矩形領域ｃを含む探索領域２）内で、ステップＳ２０７で設定したテンプレート画像を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する（ステップＳ２０４）。照合判定部１ｆは、ステップＳ２０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５において、照合判定部１ｆは、評価値が閾値以上であると判定した場合（ステップＳ２０５：Ｙｅｓ）、検出位置を境界候補点として登録する（ステップＳ２０６）。ステップＳ２０６において、照合判定部１ｆは、例えば図１２に示す矩形領域ｃの中心位置を境界候補点として登録する。
基準画像設定部１ｄは、照合位置でテンプレート画像を切り出して更新する（ステップＳ２０７）。ステップＳ２０７において、基準画像設定部１ｄは、例えば図１２に示す矩形領域ｃを新しいテンプレート画像として設定する。基準画像設定部１ｄは、ステップＳ２０７で設定したテンプレート画像を修正する（ステップＳ２１６）。ステップＳ２１６において、基準画像設定部１ｄは、例えば図１２に示す矩形領域ｃに対応するテンプレート画像を距離に応じてリサイズ、ぼかす等の画像処理を行うことで再度修正する。そして、探索領域設定部１ｅは、ステップＳ２１６で修正したテンプレート画像に基づいてテンプレート照合を行うための次の探索領域を設定する（ステップＳ２１７）。ステップＳ２１７において、探索領域設定部１ｅは、例えば図１２に示す矩形領域ｄを含む探索領域３を設定する。具体的には、図１２に示すように、探索領域設定部１ｅは、前回設定した探索領域（図１２中の探索領域２）のサイズを基準に次の探索領域を設定する。例えば、探索領域設定部１ｅは、次の探索領域（図１２中の探索領域３）を、前回設定された探索領域２の上面に接するように設定する。この探索領域の高さはテンプレート画像の高さに一致させ、探索領域の横位置と幅はテンプレート切り出し位置と道路曲率に基づいて設定し、前回の探索領域の横位置と幅よりも大きくなるように設定することが好ましい。
ＥＣＵ１は、規程範囲の探索を終了したか否かを判定する（ステップＳ２１８）。ここでは、再度ステップＳ２１８においてＥＣＵ１により規程範囲の探索が終了していないと判定された場合（ステップＳ２１８：Ｎｏ）について説明する。この場合、照合判定部１ｆは、ステップＳ２１７で設定した探索領域（例えば図１０に示す矩形領域ｄを含む探索領域３）内で、ステップＳ２０７で設定したテンプレート画像を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する（ステップＳ２０４）。照合判定部１ｆは、ステップＳ２０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ２０５）。
ステップＳ２０５において、照合判定部１ｆは、ステップＳ２０４で検出したテンプレート画像と一致する矩形領域の評価値が閾値より小さいと判定された場合（ステップＳ２０５：Ｎｏ）、登録された一つ前の境界候補点を中心にテンプレート画像を更新する（ステップＳ２０８）。ステップＳ２０８において、照合判定部１ｆは、例えば図１２に示すように矩形領域ｃを新しいテンプレート画像として設定する。この場合、ＥＣＵ１は、スキップ回数の登録値を１にし（ステップＳ２０９）、スキップ幅を計算する（ステップＳ２１０）。そして、照合判定部１ｆは、評価値が閾値未満だった探索領域をスキップした先の領域を、新しい探索領域に設定し、最も評価値の高い位置を検出する（ステップＳ２１１）。ステップＳ２１１において、照合判定部１ｆは、ステップＳ２１７で設定した探索領域（例えば図１２に示す矩形領域ｄを含む探索領域３）をスキップした先の領域である新しい探索領域内で、ステップＳ２０８で更新した新しいテンプレート画像（例えば、図１２に示す矩形領域ｃ）を走査してテンプレート照合を行い、テンプレート照合の結果、最も評価値の高い位置を検出する。この場合、ＥＣＵ１は、スキップ回数の登録値をインクリメントする（ステップＳ２１２）。そして、照合判定部１ｆは、ステップＳ２１１で検出した新しいテンプレート画像と一致する矩形領域の評価値が閾値以上であるか否かを判定する（ステップＳ２１３）。ステップＳ２１３において、照合判定部１ｆは、評価値が閾値以上であると判定した場合（ステップＳ２１３：Ｙｅｓ）、ステップＳ２１６の処理へ移行する。一方、照合判定部１ｆは、ステップＳ２１３において、ステップＳ２１１で検出した新しいテンプレート画像と一致する矩形領域の評価値が閾値より小さいと判定した場合（ステップＳ２１３：Ｎｏ）、次のステップＳ２１４の処理へ移行する。
ここでは、ステップＳ２１３おいて照合判定部１ｆによりステップＳ２１１で検出した新しいテンプレート画像と一致する矩形領域の評価値が閾値より小さいと判定された場合（ステップＳ２１３：Ｎｏ）について説明する。この場合、ＥＣＵ１は、ステップＳ２１２でインクリメントしたスキップ回数の登録値が閾値以上またはステップＳ２１０で計算したスキップ幅が閾値以上であるか否かを判定する（ステップＳ２１４）。
ステップＳ２１４において、ＥＣＵ１は、スキップ回数が閾値より少なくかつスキップ幅が閾値より小さいと判定した場合（ステップＳ２１４：Ｎｏ）、ステップＳ２０５及びステップＳ２１３の判定処理で用いた評価値の閾値を変更する（ステップＳ２１５）。ステップＳ２１５において、例えば、ＥＣＵ１は、テンプレート照合の誤検出を抑制して照合精度を向上させるために、テンプレート画像との類似度を示す照合評価値に対する閾値を高く設定する。その後、ステップＳ２１０の処理へ移行する。
一方、ステップＳ２１４において、ＥＣＵ１は、スキップ回数が閾値以上またはスキップ幅が閾値以上であると判定した場合（ステップＳ２１４：Ｙｅｓ）、本処理を終了し、上述図９に示したステップＳ１８の処理へ移行する。
以上で、実施形態１に係る走路境界推定方法についての説明を終える。
実施形態１に係る走路境界推定装置により実行される走路境界推定方法によれば、ステレオカメラを用いて、縁石や歩道帯縁、側溝などの立体走路境界を遠方まで検出することができる。ここで、従来技術では、高さ情報に基づいて近傍で検出した道路境界からテンプレート画像を切り出し、類似パターンを遠方領域で探索する手法があったが、この従来技術の手法では、店舗等の入り口で縁石が途切れていたり、周辺構造物が影を落としていたりする場所ではテンプレート画像を良好に照合できなかった。一方、本実施形態によれば、このような急激なテクスチャ変化がある場合でも遠方まで立体走路境界を検出することができる。その結果、本実施形態によれば、走路境界推定技術において、遠方の領域における立体走路境界の推定が出来なくなる状況が発生することを低減可能となる。
［実施形態２］
図１４を参照して、実施形態２に係る走路境界推定装置の構成について説明する。図１４は、実施形態２に係る走路境界推定装置の構成を示す図である。実施形態２では、実施形態１と重複する説明を省略し、実施形態１と異なる部分について説明する。
図１４に示すように、実施形態２に係る走路境界推定装置のＥＣＵ１は、画像取得部１ａと、距離画像生成部１ｂと、段差検出部１ｃと、基準画像設定部１ｄと、探索領域設定部１ｅと、照合判定部１ｆと、道路境界検出部１ｇと、車両制御部１ｈと、基準画像格納部１ｉと、照合位置格納部１ｊとを、少なくとも備える。以下、図１４に示すＥＣＵ１の各種処理部（画像取得部１ａ〜照合位置格納部１ｊ）の詳細については、図２に示した実施形態１に係る走路境界想定装置のＥＣＵ１の構成と異なる部分についてのみ説明する。
ＥＣＵ１のうち、基準画像格納部１ｉは、前フレームまでに抽出された立体走路境界を含む所定領域のテンプレート画像を格納する。基準画像格納部１ｉは、基準画像設定部１ｄにおいて前フレームで切り出されたテンプレート画像を格納してもよいし、道路境界検出部１ｇにより検出された最終的な立体走路境界の検出結果に基づいて切り出すようにしてもよい。格納画像は距離を基準に分類し、複数の画像サイズ（解像度）に対応できる形で保存することが好ましい。格納画像は必ずしも毎フレーム更新する必要はなく、数フレームに一度でもよい。また、更新の要否を照合判定部１ｆにおける照合評価値で判定し、評価値が高く、照合結果が信頼できる場合に格納画像を更新するようにしてもよい。
ここで、基準画像設定部１ｄでは、まず段差検出部１ｃによる段差検出結果に応じてテンプレート画像を切り出す。しかし、段差検出部１ｃで必ずしも段差が求められるとは限らない。これは、車両近傍であっても照明条件（例えば、路面に影が落ちていたり、テクスチャがなかったりする等）によって十分な密度や精度で視差情報が求まらない場合もあるからである。このような場合でも、基準画像設定部１ｄは、基準画像格納部１ｉに保存された格納画像をテンプレート画像として設定するので、立体走路境界の探索および推定が可能となる。
ＥＣＵ１のうち、照合位置格納部１ｊは、テンプレート画像に類似した領域の位置情報を格納する。格納情報は観測間の自車両の運動量（並進量や回転量等）を考慮して、次フレームで画像中のどこに位置するかが予測される。この情報は道路境界の候補位置の情報である。この予測領域内で検出された段差情報は他に比べて信頼できるため、道路境界検出部１ｇで立体走路境界を検出する際に優先的に利用できるよう、段差検出部１ｃで信頼度フラグを付与する。なお、予測領域内に対する段差検出処理は他の領域に比べて検出閾値を低めに変更し、段差を拾いやすくするようにしてもよい。
実施形態２では、照合判定部１ｆは、テンプレート画像と類似する領域が検出された場合に、その領域周辺で段差検出結果が得られていれば、そこから遠方に向かって連続する段差を立体走路境界として抽出して追加する。上述の実施形態１では、近傍領域で段差検出、遠方領域ではテンプレート照合というように距離に応じて分割処理していたが、実施形態２では、実施形態１のような段差検出とテンプレート照合の分担を取り払い、段差検出も可能な限り遠くまで利用し、近傍でもテンプレート照合の機能が使えるようにしている。これにより、実施形態２によれば、近傍領域で段差検出、遠方領域でテンプレート照合という距離に応じた分担を取り払い、段差検出も可能な限り遠くまで活用し、近傍でもテンプレート照合の機能を使うことができる。例えば、路側物の影の影響で近傍領域でも路面上の視差が十分な密度や精度で検出できない場合を考える。このような場合、近傍領域で部分的に視差が求まらない範囲があると、その先はテンプレート照合で道路境界探索を行う。視差が求まらないとテクスチャ照合も難しいため、いくつかの探索領域がスキップされ、影領域を抜けた先でテクスチャ照合の結果が得られる。このとき、影領域を抜けた先で段差情報が十分取得できれば、そのままテンプレート照合を継続するのではなく、再度、段差ベースの境界抽出に戻す。これにより演算量を小さくすることができ、高速な処理を実現できる。
また、実施形態２では、照合判定部１ｆにおいてテンプレートに類似する領域を判定する際に、テンプレート照合の評価値と段差検出の評価値を合わせて評価する。これにより、実施形態２では、テンプレート照合の位置決めに段差検出の結果を加味することで精度を向上することができる。上述したようにテンプレート照合の探索領域で段差検出結果が得られていれば、見つけた立体走路境界はテンプレートが一致し、さらに段差も検出されている場所であると想定される。実施形態２では両方の評価値を考慮することで、テンプレート照合の間違いを防止することができる。
また、実施形態２では、照合位置格納部１ｊは、前回フレームまでにテンプレート照合で検出された候補位置を保存し、現フレームの段差検出では候補位置内で検出された段差を優先的に抽出し、道路境界検出部１ｇにおいて立体走路境界を検出する。これにより、実施形態２によれば、前フレームまでにテンプレート照合の評価値が高く、候補と思われる領域では段差情報を抽出しやすくし、より遠方まで信頼できる段差情報を多く抽出することで、検出性能を向上することができる。
続いて、上述のように構成される実施形態２に係る走路境界推定装置により実行される実施形態２に係る走路境界推定方法について、図１５を参照して説明する。図１５は、実施形態２に係る走路境界推定装置の基本処理の一例を示すフローチャートである。
図１５に示すように、画像取得部１ａは、車両周囲の交通環境を撮影した画像データを取得する（ステップＳ２１）。そして、距離画像生成部１ｂは、ステップＳ２１において画像取得部１ａの処理により取得される画像データに基づいて距離画像を生成する（ステップＳ２２）。そして、段差検出部１ｃは、ステップＳ２２において距離画像生成部１ｂの処理により生成された距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍から遠方に向かって検出する（ステップＳ２３）。
段差検出部１ｃは、段差検出による立体走路境界を構成する段差の選別を行う（ステップＳ２４）。ステップＳ２４において、段差検出部１ｃは、立体走路境界を構成する段差の画素領域に対して、段差検出による検出評価値に応じて検出評価値の高低を示す信頼度フラグを付与する。基準画像設定部１ｄは、ステップＳ２４において選別した結果、段差検出による立体走路境界の検出評価値が低い画素領域がある場合には、ステップＳ２３において段差検出部１ｃの処理により検出された立体走路境界上の最遠方領域における所定領域分の画像データをテンプレート画像として設定する（ステップＳ２５）。ステップＳ２５において、基準画像設定部１ｄは、基準画像格納部１ｉに保存された格納画像をテンプレート画像として設定してもよい。
探索領域設定部１ｅは、ステップＳ２３において段差検出部１ｃの処理により検出された立体走路境界上の最遠方領域から遠方に向かって、段差検出部１ｃの処理により検出されなかった立体走路境界を探索するための探索領域を設定する（ステップＳ２６）。ここで、ステップＳ２６において、探索領域設定部１ｅは、段差検出部１ｃの処理による立体走路境界の検出結果に基づいて、境界候補点が存在する可能性が高い領域を予測し、予測した領域周辺に探索領域を設定してもよい。
照合判定部１ｆは、ステップＳ２６において探索領域設定部１ｅの処理により設定された探索領域内でテンプレート画像と一致する領域を走査するテンプレート照合を実施することで、ステップＳ２３において段差検出部１ｃの処理により検出されなかった立体走路境界の候補となる境界候補点を、段差検出部１ｃの処理により検出された立体走路境界上の最遠方領域から遠方に向かって検出する（ステップＳ２７）。ステップＳ２７において、ＥＣＵ１は、探索領域内で、照合判定部１ｆによるテンプレート照合に加えて、段差検出部１ｃによる段差検出を更に実施してもよい。
ここで、ステップＳ２５〜Ｓ２７において、基準画像設定部１ｄは、立体走路境界の検出評価値が低く、且つ、境界候補点の照合評価値が低い探索領域がある場合には、当該境界候補点の照合評価値が低い探索領域よりも車両近傍側における所定領域分の画像データをテンプレート画像として再設定する。この場合、探索領域設定部１ｅは、境界候補点の照合評価値が低い探索領域をスキップして、当該探索領域から遠方に向かって新たな探索領域を再設定する。そして、照合判定部１ｆは、探索領域設定部１ｅの処理により再設定された探索領域内でテンプレート照合を継続して実施する。このステップＳ２５〜Ｓ２７の処理の詳細については、上述の実施形態１と同様である。
ステップＳ２７の処理の後、ＥＣＵ１は、対応する段差候補がないか判定する（ステップＳ２８）。ステップ２８では、ＥＣＵ１は、段差検出部１ｃによる段差検出が可能な画素領域がないか判定する。ステップＳ２８において、ＥＣＵ１の処理により対応する段差候補があると判定された場合（ステップＳ２８：Ｎｏ）、ステップＳ２４の処理へ戻る。一方、ステップＳ２８において、ＥＣＵ１の処理により対応する段差候補がないと判定された場合（ステップＳ２８：Ｙｅｓ）、ステップＳ２９の処理へ移行する。
ステップＳ２８において対応する段差候補なしと判定された場合（ステップＳ２８：Ｙｅｓ）、ＥＣＵ１は、所定範囲の境界候補点の探索を終了したか否かを判定する（ステップＳ２９）。ステップＳ２９において、ＥＣＵ１は、例えば路面領域内で最大限探索可能な境界候補点の探索を終了していないと判定した場合（ステップＳ２９：Ｎｏ）、ステップＳ２５の処理へ戻る。一方、ＥＣＵ１は、ステップＳ２９において、ＥＣＵ１は、路面領域内で最大限探索可能な境界候補点の探索を終了したと判定した場合（ステップＳ２９：Ｙｅｓ）、次のステップＳ３０の処理へ移行する。
続いて、道路境界検出部１ｇは、ステップＳ２３における段差検出部１ｃの処理による立体走路境界の検出結果、及び、ステップＳ２７における照合判定部１ｆの処理による境界候補点の検出結果と段差検出部１ｃの処理による立体走路境界の検出結果に基づいて、車両周囲の交通環境における立体走路境界を検出する（ステップＳ３０）。ステップＳ３０において、道路境界推定部１ｇは、段差検出部１ｃによって検出された立体走路境界の検出評価値が高い場合は、当該検出評価値が低い場合と比して、照合判定部１ｆによる境界候補点の検出結果よりも、段差検出部１ｃによる立体走路境界の検出結果をより優先させて、車両周囲の交通環境における立体走路境界を検出する。また、ステップＳ３０において、段差検出部１ｃによる立体走路境界の検出評価値が基準値よりも高い場合は、照合判定部１ｆによる境界候補点の検出結果よりも、段差検出部１ｃによる立体走路境界の検出結果をより優先させて、車両周囲の交通環境における立体走路境界を検出する一方で、段差検出部１ｃによる立体走路境界の検出評価値が基準値未満である場合には、段差検出部１ｃによる立体走路境界の検出結果よりも、照合判定部１ｆによる境界候補点の検出結果をより優先させて、車両周囲の交通環境における立体走路境界を検出する。その後、本処理を終了する。
ここで、設定された探索領域が十分に車両近傍である場合や、探索領域をスキップ中に立体走路境界が車両に接近する場合などの状況で、設定された探索領域からテンプレート照合が開始される場合、段差検出による検出評価値が高いにも関わらず、当該段差検出結果に基づく立体走路境界の推定が、テンプレート照合による立体走路境界の推定に優先されてしまう状況が考えらえる。しかし、このような状況であっても、本実施形態２によれば、上述のように段差検出の検出評価値に応じて、適切に検出方法を切替えて立体走路境界の推定を行うことができる。
１ ＥＣＵ
１ａ 画像取得部
１ｂ 距離画像生成部
１ｃ 段差検出部
１ｄ 基準画像設定部
１ｅ 探索領域設定部
１ｆ 照合判定部
１ｇ 道路境界検出部
１ｈ 車両制御部
１ｉ 基準画像格納部
１ｊ 照合位置格納部
２ 撮像装置
２ａ 右カメラ
２ｂ 左カメラ
３ アクチュエータ

Claims (5)

  1. 車両周囲の交通環境を撮影した画像データを取得する画像取得手段と、
    前記画像データに基づいて距離画像を生成する距離画像生成手段と、
    前記距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍側から遠方側に向かって検出する段差検出手段と、
    前記段差検出手段によって検出された前記立体走路境界上において前記車両から最も遠方の画像領域である最遠方領域における所定領域分の前記画像データをテンプレート画像として設定する基準画像設定手段と、
    前記立体走路境界上の最遠方領域から更に遠方に向かって、前記段差検出手段によって検出されなかった立体走路境界を探索するための探索領域を設定する探索領域設定手段と、
    前記探索領域内で前記テンプレート画像と一致する領域を走査するテンプレート照合を実施することで、前記段差検出手段により検出されなかった前記立体走路境界の候補となる境界候補点を、前記最遠方領域から更に遠方に向かって検出する照合判定手段と、
    前記立体走路境界の検出結果、及び、前記境界候補点の検出結果に基づいて、前記交通環境における前記立体走路境界を検出する道路境界検出手段と、
    を備え、
    前記基準画像設定手段は、
    前記段差検出手段によって検出された前記立体走路境界の検出評価値が所定値よりも低く、且つ、前記照合判定手段によって検出された前記境界候補点の照合評価値が所定値よりも低い探索領域である低評価探索領域がある場合には、当該低評価探索領
    域よりも車両近傍側における所定領域分の前記画像データを前記テンプレート画像として再設定し、
    前記探索領域設定手段は、
    前記低評価探索領域を遠方方向にスキップした画像領域から、より遠方に向かって新たな探索領域を再設定し、
    前記照合判定手段は、
    再設定された前記探索領域内で前記テンプレート照合を継続して実施することを特徴とする走路境界推定装置。
  2. 前記走路境界推定装置は、
    前記探索領域内で、前記照合判定手段による前記テンプレート照合に加えて、前記段差検出手段による前記段差検出を更に実施し、
    前記道路境界検出手段は、
    前記段差検出手段によって検出された前記立体走路境界の検出評価値が高い場合は、当該検出評価値が低い場合と比して、前記照合判定手段による前記境界候補点の検出結果よりも、前記段差検出手段による前記立体走路境界の検出結果をより優先させて、前記交通環境における前記立体走路境界を検出する請求項１に記載の走路境界推定装置。
  3. 前記道路境界検出手段は、
    前記段差検出手段によって検出された前記立体走路境界の検出評価値が基準値よりも高い場合は、前記照合判定手段による前記境界候補点の検出結果よりも、前記段差検出手段による前記立体走路境界の検出結果をより優先させて、前記交通環境における前記立体走路境界を検出する一方で、
    前記段差検出手段によって検出された前記立体走路境界の検出評価値が基準値未満である場合には、前記段差検出手段による前記立体走路境界の検出結果よりも、前記照合判定手段による前記境界候補点の検出結果をより優先させて、前記交通環境における前記立体走路境界を検出する請求項２に記載の走路境界推定装置。
  4. 前記探索領域設定手段は、
    前記段差検出手段による前記立体走路境界の検出結果に基づいて、前記境界候補点が存在する可能性が高い領域を予測し、予測した領域周辺に前記探索領域を設定する請求項１から３のいずれか一項に記載の走路境界推定装置。
  5. 車両周囲の交通環境を撮影した画像データを取得する画像取得工程と、
    前記画像データに基づいて距離画像を生成する距離画像生成工程と、
    前記距離画像に基づいて高さ変化がある位置を抽出する段差検出を実施することで、立体的な走路境界である立体走路境界を車両近傍側から遠方側に向かって検出する段差検出工程と、
    前記段差検出工程で検出された前記立体走路境界上において前記車両から最も遠方の画像領域である最遠方領域における所定領域分の前記画像データをテンプレート画像として設定する基準画像設定工程と、
    前記立体走路境界上の最遠方領域から更に遠方に向かって、前記段差検出工程で検出されなかった立体走路境界を探索するための探索領域を設定する探索領域設定工程と、
    前記探索領域内で前記テンプレート画像と一致する領域を走査するテンプレート照合を実施することで、前記段差検出工程で検出されなかった前記立体走路境界の候補となる境界候補点を、前記最遠方領域から更に遠方に向かって検出する照合判定工程と、
    前記立体走路境界の検出結果、及び、前記境界候補点の検出結果に基づいて、前記交通環境における前記立体走路境界を検出する走路境界検出工程と、
    を含み、
    前記基準画像設定工程において、
    前記段差検出工程で検出された前記立体走路境界の検出評価値が所定値よりも低く、且つ、前記照合判定工程で検出された前記境界候補点の照合評価値が所定値よりも低い探索領域である低評価探索領域がある場合には、当該低評価探索領域よりも車両近傍側における所定領域分の前記画像データが前記テンプレート画像として再設定され、
    前記探索領域設定工程において、
    前記低評価探索領域を遠方方向にスキップした画像領域からより遠方に向かって新たな探索領域が再設定され、
    前記照合判定工程において、
    再設定された前記探索領域内で前記テンプレート照合が継続して実施されることを特徴とする走路境界推定方法。
JP2014129601A 2014-06-24 2014-06-24 走路境界推定装置及び走路境界推定方法 Expired - Fee Related JP6046666B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014129601A JP6046666B2 (ja) 2014-06-24 2014-06-24 走路境界推定装置及び走路境界推定方法
US14/744,869 US20150367781A1 (en) 2014-06-24 2015-06-19 Lane boundary estimation device and lane boundary estimation method
CN201510346727.XA CN105206107A (zh) 2014-06-24 2015-06-19 车道边界估计装置和车道边界估计方法
EP15173207.0A EP2960829A3 (en) 2014-06-24 2015-06-22 Lane boundary estimation device and lane boundary estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014129601A JP6046666B2 (ja) 2014-06-24 2014-06-24 走路境界推定装置及び走路境界推定方法

Publications (2)

Publication Number Publication Date
JP2016009333A true JP2016009333A (ja) 2016-01-18
JP6046666B2 JP6046666B2 (ja) 2016-12-21

Family

ID=53488202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014129601A Expired - Fee Related JP6046666B2 (ja) 2014-06-24 2014-06-24 走路境界推定装置及び走路境界推定方法

Country Status (4)

Country Link
US (1) US20150367781A1 (ja)
EP (1) EP2960829A3 (ja)
JP (1) JP6046666B2 (ja)
CN (1) CN105206107A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066937A (zh) * 2016-01-28 2017-08-18 罗伯特·博世有限公司 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统
CN107194334A (zh) * 2017-05-10 2017-09-22 武汉大学 基于光流模型的视频卫星影像密集匹配方法及系统
WO2018016394A1 (ja) 2016-07-22 2018-01-25 日立オートモティブシステムズ株式会社 走路境界推定装置及びそれを用いた走行支援システム
CN110809766A (zh) * 2017-06-28 2020-02-18 华为技术有限公司 高级驾驶员辅助系统和方法
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6657618B2 (ja) * 2015-06-30 2020-03-04 株式会社デンソー 逸脱回避装置
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
WO2018105476A1 (ja) * 2016-12-05 2018-06-14 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN109960983A (zh) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 基于梯度与图像对比度的车辆左右边界定位方法
US10540554B2 (en) * 2018-03-29 2020-01-21 Toyota Jidosha Kabushiki Kaisha Real-time detection of traffic situation
WO2021037350A1 (en) * 2019-08-28 2021-03-04 Toyota Motor Europe Method and system for processing a plurality of images so as to detect lanes on a road
JP7469896B2 (ja) * 2020-02-06 2024-04-17 本田技研工業株式会社 周辺認識装置、周辺認識方法、およびプログラム
CN111551958B (zh) * 2020-04-28 2022-04-01 北京踏歌智行科技有限公司 一种面向矿区无人驾驶的高精地图制作方法
CN113836978A (zh) * 2020-06-24 2021-12-24 富士通株式会社 道路区域确定装置及方法、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303638A (ja) * 1992-04-27 1993-11-16 Omron Corp 平行線抽出装置
JP2010128949A (ja) * 2008-11-28 2010-06-10 Hitachi Automotive Systems Ltd カメラ装置
JP2014002608A (ja) * 2012-06-19 2014-01-09 Toyota Motor Corp 路側物検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237857A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 画像における顔の器官の画像に対応する器官領域の設定
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
ATE527620T1 (de) * 2009-02-17 2011-10-15 Autoliv Dev Verfahren und system zur automatischen detektion von objekten vor einem kraftfahrzeug
CN101608924B (zh) * 2009-05-20 2011-09-14 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN102201167B (zh) * 2010-04-07 2013-03-06 宫宁生 基于视频的汽车车道自动识别方法
JP5258859B2 (ja) * 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
CN102184535B (zh) * 2011-04-14 2013-08-14 西北工业大学 一种车辆所在车道边界检测方法
JP2013142972A (ja) * 2012-01-10 2013-07-22 Toyota Motor Corp 走行路認識装置
JP2013161190A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303638A (ja) * 1992-04-27 1993-11-16 Omron Corp 平行線抽出装置
JP2010128949A (ja) * 2008-11-28 2010-06-10 Hitachi Automotive Systems Ltd カメラ装置
JP2014002608A (ja) * 2012-06-19 2014-01-09 Toyota Motor Corp 路側物検出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066937A (zh) * 2016-01-28 2017-08-18 罗伯特·博世有限公司 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统
CN107066937B (zh) * 2016-01-28 2022-01-04 罗伯特·博世有限公司 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统
WO2018016394A1 (ja) 2016-07-22 2018-01-25 日立オートモティブシステムズ株式会社 走路境界推定装置及びそれを用いた走行支援システム
US10832061B2 (en) 2016-07-22 2020-11-10 Hitachi Automotive Systems, Ltd. Traveling road boundary estimation apparatus and traveling assistance system using same
CN107194334A (zh) * 2017-05-10 2017-09-22 武汉大学 基于光流模型的视频卫星影像密集匹配方法及系统
CN107194334B (zh) * 2017-05-10 2019-09-10 武汉大学 基于光流模型的视频卫星影像密集匹配方法及系统
CN110809766A (zh) * 2017-06-28 2020-02-18 华为技术有限公司 高级驾驶员辅助系统和方法
CN110809766B (zh) * 2017-06-28 2022-08-09 华为技术有限公司 高级驾驶员辅助系统和方法
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置

Also Published As

Publication number Publication date
EP2960829A3 (en) 2016-01-20
EP2960829A2 (en) 2015-12-30
US20150367781A1 (en) 2015-12-24
CN105206107A (zh) 2015-12-30
JP6046666B2 (ja) 2016-12-21

Similar Documents

Publication Publication Date Title
JP6046666B2 (ja) 走路境界推定装置及び走路境界推定方法
JP6606610B2 (ja) 走路境界推定装置及びそれを用いた走行支援システム
RU2634852C1 (ru) Устройство обнаружения светофора и способ обнаружения светофора
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP5829980B2 (ja) 路側物検出装置
JP5407898B2 (ja) 対象物検出装置及びプログラム
JP6626410B2 (ja) 自車位置特定装置、自車位置特定方法
KR20200036335A (ko) 차로를 결정하는 방법 및 장치
JP5999127B2 (ja) 画像処理装置
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
US20140002655A1 (en) Lane departure warning system and lane departure warning method
JP6331811B2 (ja) 信号機検出装置及び信号機検出方法
JP2015179368A (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
US10474884B2 (en) Action determination device
JP6837262B2 (ja) 走行可能領域検出装置及び走行支援システム
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
KR20210061069A (ko) 3차원 객체를 표시하는 방법 및 장치
CN107430821B (zh) 图像处理装置
US11619495B2 (en) Position estimating apparatus and position estimating method
JP2024038322A (ja) 測定装置、測定方法およびプログラム
EP3649571A1 (en) Advanced driver assistance system and method
JP2017182139A (ja) 判定装置、判定方法、および判定プログラム
JP2015215235A (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161117

R151 Written notification of patent or utility model registration

Ref document number: 6046666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees