JP2005165726A - 走行路境界検出装置及び走行路境界検出方法 - Google Patents

Abstract

【課題】 誤った検出が行われず、アルゴリズムが破綻することがなく、実際の世界における走行路のパラメータの推定を行うことができる走行路境界検出装置及び走行路境界検出方法を提供する。
【解決手段】 走行路の画像を取得する画像取得手段１０１と、画像信号のノイズを除去する前処理手段１０２と、勾配情報を算出する勾配算出手段１０３と、所定の基準関数を記憶する記憶手段１０５と、基準点列４０１を算出する基準点列算出手段１０６と、過去走行路境界点列４００を外部から取得し又は基準点列を取得する過去走行路境界点列取得手段１０４と、過去走行路境界点列又は基準点列を含む所定の領域に２次元的に検索点を配置し、除去後走行路画像の勾配情報、検索点間の相互配置情報、過去走行路境界点列又は基準点列から各検索点までの距離情報が反映される所定の関数の値が最大となる走行路境界候補点列を算出する候補点列算出手段１０７とを備える。
【選択図】 図１

Description

本発明は、車両の走行路の境界を検出する走行路境界検出装置及び走行路境界検出方法に関する。

近年、車載カメラなどによって撮影された画像に基づいて車両の走行路の境界を検出し、その検出結果を車両の走行のための制御に用いる技術が開発されている。従来、車両の走行路の境界の検出は、走行路の形状をあらかじめ実際の世界との関係を考慮した多項式などの曲線で近似し、近似曲線を画像平面上に投影し、投影した近似曲線と画像における白線の候補点とを適合させて行われていた。このような走行路の境界の検出を行う技術が下記の特許文献１に開示されている。
特開平８−２６１７５６号公報（段落０１６３、図１５）

しかしながら、特許文献１に開示されているような技術では、近似曲線は発散する性質を有するため、近似曲線を画像平面上に投影したとき、投影された曲線は漸近線が地平線の双曲線になる。投影された曲線が示された画像平面を図９に示す。図９に示すように、地平線９００付近では近似曲線が発散するため双曲線は地平線９００へ収束する。これにより、地平線９００付近では走行路の境界９０１の検出が不安定になり誤った検出が行われ、誤った検出結果によるルーチンを行うことでアルゴリズムが破綻することがあるという問題があった。一方、走行路の形状を実際の世界との関係を考慮せず、適当な近似曲線を走行路の境界の検出に用いれば発散することはないが、実際の世界との関連が失われ、実際の世界における走行路のパラメータの推定をすることができなくなる。

本発明は、上記問題を解決するためのものであり、誤った検出が行われず、アルゴリズムが破綻することがなく、実際の世界における走行路のパラメータの推定を行うことができる走行路境界検出装置及び走行路境界検出方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、車両が走行する走行路の画像を取得する画像取得手段と、前記画像取得手段によって取得された前記走行路の画像を示す画像信号中のノイズを除去する前処理手段と、前記前処理手段によって前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出する勾配算出手段と、前記走行路の境界の候補の点列となる走行路境界候補点列を算出するための基準となる所定の基準関数を記憶する記憶手段と、以前に算出された前記走行路境界候補点列に基づいて、前記記憶手段に記憶された前記所定の基準関数に含まれるパラメータを求め、求められた前記パラメータを含む前記所定の基準関数及び前記基準関数上の法線に基づいて前記走行路境界候補点列を算出するための基準点列を算出する基準点列算出手段と、過去のある時点に前記画像取得手段によって取得された前記走行路の画像に基づいて算出された前記走行路の境界を示す過去走行路境界点列を外部から取得し、または前記基準点列算出手段によって算出された前記基準点列を取得する過去走行路境界点列取得手段と、前記過去走行路境界点列取得手段によって取得された前記過去走行路境界点列又は前記基準点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記勾配算出手段によって算出された前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列又は前記基準点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である前記走行路境界候補点列を算出する候補点列算出手段とを備える走行路境界検出装置が提供される。

また、本発明によれば、車両が走行する走行路の画像を取得するステップと、前記取得された前記走行路の画像を示す画像信号中のノイズを除去するステップと、前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出するステップと、以前に算出された前記走行路の境界の候補の点列である走行路境界候補点列に基づいて、所定の領域に記憶された前記走行路境界候補点列を算出するための基準となる所定の基準関数に含まれるパラメータを求め、求められた前記パラメータを含む前記所定の基準関数及び前記基準関数上の法線に基づいて前記走行路境界候補点列を算出するための基準点列を算出するステップと、過去のある時点に取得された前記走行路の画像に基づいて算出された前記走行路の境界を示す過去走行路境界点列を外部から取得し、または前記算出された前記基準点列を取得するステップと、前記取得された前記過去走行路境界点列又は前記基準点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記算出された前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列又は前記基準点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である前記走行路境界候補点列を算出するステップとを有する走行路境界検出方法が提供される。

本発明の走行路境界検出装置及び走行路境界検出方法は、上記構成を有し、誤った検出が行われず、アルゴリズムが破綻することがなく、実際の世界における走行路のパラメータの推定を行うことができる。

以下、本発明の実施の形態について、図１から図８を用いて説明する。図１は、本発明の実施の形態に係る走行路境界検出装置の構成及び周辺機器を示す図である。図２は、本発明の実施の形態に係る走行路境界検出装置における車載カメラから撮影された走行路の画像を示す図である。図３は、本発明の実施の形態に係る走行路境界検出装置における勾配情報について説明するための図である。図４は、本発明の実施の形態に係る走行路境界検出装置における過去走行路境界点列又は基準点列を含む所定の領域に２次元的に配置された検索点を示す図である。図５は、本発明の実施の形態に係る走行路境界検出装置におけるＥｇの評価について説明するための図である。図６は、本発明の実施の形態に係る走行路境界検出装置におけるＥｃの評価について説明するための図である。図７は、本発明の実施の形態に係る走行路境界検出装置におけるＥｄの評価について説明するための図である。図８は、本発明の実施の形態に係る走行路境界検出装置における処理フローについて説明するための図である。

まず、本発明の実施の形態に係る走行路境界検出装置の構成について図１を用いて説明する。図１に示すように、走行路境界検出装置１００は、車載カメラ１０１、前処理部１０２、勾配算出部１０３、過去走行路境界点列取得部１０４、記憶部１０５、基準点列算出部１０６、候補点列算出部１０７から構成されている。車載カメラ１０１は、車両が走行する走行路の画像を撮影する。撮影される走行路の画像は、例えば図２に示すようなものである。図２に示すように、車載カメラ１０１によって撮影された画像２００には、走行路２０１、車両２０２、走行路の境界２０３が写っている。ここで、走行路の境界２０３とは、例えば道路と非道路との境や、走行車線、すなわち走行レーンが複数ある場合の走行レーンの境を言う。なお、非道路とは、車両２０２が走行しない道路であって、例えば歩行レーンなどを言う。また、図２において、車両２０２は、四輪車のように描かれているが二輪車であっても構わない。

前処理部１０２は、車載カメラ１０１によって撮影された走行路２０１が写る画像２００を示す画像信号中のノイズを除去する。ここでノイズとは、例えば熱などの影響により車載カメラ１０１と不図示の撮像素子とで発生する雑音を言う。ただし、画像に発生するノイズに関してはここに挙げたものに限られない。撮像素子とは、光を受けて電気信号に変換する電子部品を言う。勾配算出部１０３は、前処理部１０２によってノイズが除去された画像２００中の位置による濃淡差を示す勾配情報を算出する。勾配情報は、例えば図３に示すように画像２００の濃い側３００から淡い側３０１を指すベクトル情報である。過去走行路境界点列取得部１０４は、後述する初期検出部１０９から新規に走行路の境界の候補点列である走行路境界候補点列の算出を開始するときに、過去のある時点に車載カメラ１０１によって取得された走行路の画像に基づいて算出された走行路の境界を示す後述する過去走行路境界点列４００を取得し、または基準点列算出部１０６から後述する基準点列算出部１０６によって算出された基準点列４０１を取得する。

ここで、初期検出部１０９から取得する過去走行路境界点列４００とは、後述する候補点列算出部１０７によって走行路の境界の検出を新規に開始するときに用いられる過去の走行路境界点列であって、後述するＣＡＮＮＹエッジ検出部１０８及び初期検出部１０９によって求められるものを言う。ＣＡＮＮＹエッジ検出部１０８及び初期検出部１０９による過去走行路境界点列４００の算出については後述する。また、基準点列算出部１０６から取得する基準点列４０１に関しても後述する。

記憶部１０５は、走行路境界候補点列を算出するための基準となる所定の基準関数を記憶する。この所定の基準関数とは、あらかじめ決められたモデル関数であり、例えば２次多項式によって表されるものを言う。基準点列算出部１０６は、以前算出された走行路境界候補点列に基づいて、記憶部１０５に記憶された所定の基準関数に含まれるパラメータを求め、求められたパラメータを含む所定の基準関数及び基準関数上の法線に基づいて走行路境界候補点列を算出するための基準点列４０１を算出する。算出された基準点列４０１は、上述した過去走行路境界点列取得部１０４へ引き渡される。ここで、以前とは前回を意味するが、前回以外であっても構わない。

候補点列算出部１０７は、過去走行路境界点列取得部１０４によって取得された過去走行路境界点列４００又は基準点列４０１を含む所定の領域に２次元的に検索点を配置し、配置された検索点のうち、勾配算出部１０３によって算出されたノイズ除去後の走行路画像の勾配情報と、検索点間の位置関係情報と、過去走行路境界点列４００又は基準点列４０１から各検索点までの距離情報とを要素とする所定の関数の値が最大になるような検索点の列である走行路境界候補点列を算出する。ここで、所定の領域とは、あらかじめ決められた規則に基づいて決められた領域を言い、走行路境界候補点列を算出できる程度の検索点を含む領域を言う。また２次元的に配置とは、例えばメッシュ状、格子状、放射線状に配置することを言う。具体的な例を図４に示す。図４（ａ）及び（ｂ）に示すように、過去走行路境界点列４００又は基準点列４０１の周囲に検索点を配置する。候補点列算出部１０７によって算出された走行路境界候補点列は、基準点列算出部１０６及び後述する走行路モデル更新部１１０へ引き渡される。ここで、基準点列算出部１０６に引き渡された走行路境界候補点列は、上述した以前算出された走行路境界候補点列に相当する。

走行路モデル更新部１１０は、候補点列算出部１０７から引き渡された走行路境界候補点列に基づいて、走行路を真上から見た場合の座標である実世界座標の走行路の形状を画像平面上に公知の投影方程式によって投影された走行路関数のパラメータを推定する。前処理部１０２、勾配算出部１０３、過去走行路境界点列取得部１０４、基準点列算出部１０６、候補点列算出部１０７は、例えばＣＰＵに相当する。また、記憶部１０５は、例えばＨＤＤ、ＲＯＭ、ＲＡＭに相当する。ここで、上述した走行路境界候補点列を算出する際に用いられる所定の関数について説明する。所定の関数Ｊ(ｓ)は下記の式（１）のように表される。

Ｊ(ｓ)＝Ｅｇ（ｓ）＋α×Ｅｃ（ｓ）＋β×Ｅｄ（ｓ）・・・（１）

Ｊ(ｓ)＞０である。ｓは走行路境界候補点列であり、Ｅｇは画像の勾配、Ｅｃは隣り合う検索点間の滑らかさ、Ｅｄは過去走行路境界点列４００又は基準点列４０１からの距離を示し、α及びβは係数である。画像の勾配とは、上述する勾配情報を言う。Ｊ(ｓ)を構成するＥｇ、Ｅｃ、Ｅｄの評価の仕方について説明する。まず、Ｅｇの評価の仕方について図５を用いて説明する。Ｅｇの評価は、例えば勾配情報、すなわち勾配ベクトルの和の絶対値によって評価する。走行路境界候補点列ｓが図５（ａ）の場合には、各検索点における勾配ベクトルの和の絶対値は小さい。一方、図５（ｂ）の場合には、各検索点における勾配ベクトルの和の絶対値は大きい。図５（ｂ）のように、勾配ベクトルの和の絶対値が大きくなればＪ(ｓ)は大きくなるが、Ｅｃ及びＥｄとの関係があるため勾配ベクトルの和の絶対値が大きいものが採用されるとは限らない。

次に、Ｅｃの評価の仕方について図６を用いて説明する。Ｅｃの評価は、例えば走行路境界候補点列ｓの接線ベクトルの内積の和によって評価する。走行路境界候補点列ｓが図６（ａ）の場合には、接線ベクトルの内積の和が小さい。一方、図６（ｂ）の場合には、接線ベクトルの内積の和が大きい。ただし、この場合も上述したＥｇと同様、図６（ｂ）のような接線ベクトルの内積の和が大きいものが採用されるとは限らない。次に、Ｅｄの評価の仕方について図７を用いて説明する。Ｅｄの評価は、例えば過去走行路境界点列４００又は基準点列４０１から走行路境界候補点列ｓの各検索点までの距離によって評価する。

走行路境界候補点列ｓが図７（ａ）の場合の過去走行路境界点列４００から走行路境界候補点列ｓの各検索点までの距離の和は、図７（ｂ）の場合の過去走行路境界点列４００から走行路境界候補点列ｓの各検索点までの距離の和より大きい。ただし、この場合も上述したＥｇ及びＥｃと同様、図７（ｂ）のような距離の和の小さいものが採用されるとは限らない。なお、図７（ｃ）、（ｄ）に示す基準点列４０１の場合も同様に考えられる。上述したＥｇ、Ｅｃ、Ｅｄの和に基づいて、候補点列算出部１０７は式（１）が最大となるように走行路境界候補点列ｓを検出する。ここで、α及びβには、Ｅｇ、Ｅｃ、Ｅｄのそれぞれの桁数が揃うような値が選択される。

ここで、上述した初期検出部１０９による過去走行路境界点列４００の算出について図１を用いて説明する。まず、図１に示すようにＣＡＮＮＹエッジ検出部１０８が勾配算出部１０３から勾配情報を取得する。ＣＡＮＮＹエッジ検出部１０８は、取得した勾配情報に基づいて、ゼロ交差を用いて走行路のエッジを検出する。初期検出部１０９は、ＣＡＮＮＹエッジ検出部１０８によって検出された走行路のエッジの情報から、Ｈｏｕｇｈ変換によって直線的な走行路を検出する。この検出された走行路上の点列が過去走行路境界点列４００に相当する。走行路上の点列は、例えばあらかじめ決められた間隔で取得される点の列である。なお、ＣＡＮＮＹエッジ検出部１０８によるエッジの検出やＨｏｕｇｈ変換による直線的な走行路の検出は、公知の技術として利用されている。

次に、本発明の実施の形態に係る走行路境界検出装置における処理フローについて図８を用いて説明する。図８に示すように、車載カメラ１０１は、車両が走行する走行路を撮影し、撮影した画像を前処理部１０２へ引き渡す（ステップＳ８０１）。前処理部１０２は、車載カメラ１０１から引き渡された画像を示す画像信号中のノイズを除去し、勾配算出部１０３へ引き渡す（ステップＳ８０２）。勾配算出部１０３は、前処理部１０２から引き渡されたノイズが除去された画像の勾配情報を算出し、候補点列算出部１０７へ引き渡す（ステップＳ８０３）。候補点列算出部１０７は、過去走行路境界点列取得部１０４によって取得された過去走行路境界点列４００又は基準点列４０１を含む所定の領域に２次元的に検索点を配置し、配置された検索点のうち、上述した式（１）の値が最大になるような検索点の列である走行路境界候補点列を算出する（ステップＳ８０４）。候補点列算出部１０７は、算出された走行路境界候補点列を基準点列算出部１０６又は走行路モデル更新部１１０へ引き渡す（ステップＳ８０５）。走行路境界候補点列を引き渡された走行路モデル更新部１１０は、走行路パラメータを推定する。

本発明に係る走行路境界検出装置及び走行路境界検出方法は、誤った検出が行われず、アルゴリズムが破綻することがなく、実際の世界における走行路のパラメータの推定を行うことができるため、車両の走行路の境界を検出する走行路境界検出装置及び走行路境界検出方法などに有用である。

本発明の実施の形態に係る走行路境界検出装置の構成及び周辺機器を示す図である。 本発明の実施の形態に係る走行路境界検出装置における車載カメラから撮影された走行路の画像を示す図である。 本発明の実施の形態に係る走行路境界検出装置における勾配情報について説明するための図である。 本発明の実施の形態に係る走行路境界検出装置における過去走行路境界点列又は基準点列を含む所定の領域に２次元的に配置された検索点を示す図である。 本発明の実施の形態に係る走行路境界検出装置におけるＥｇの評価について説明するための図である。 本発明の実施の形態に係る走行路境界検出装置におけるＥｃの評価について説明するための図である。 本発明の実施の形態に係る走行路境界検出装置におけるＥｄの評価について説明するための図である。 本発明の実施の形態に係る走行路境界検出装置における処理フローについて説明するための図である。 投影された曲線が示された画像平面を示す図である。

符号の説明

１００ 走行路境界検出装置
１０１ 車載カメラ（画像取得手段）
１０２ 前処理部（前処理手段）
１０３ 勾配算出部（勾配算出手段）
１０４ 過去走行路境界点列取得部（過去走行路境界点列取得手段）
１０５ 記憶部（記憶手段）
１０６ 基準点列算出部（基準点列算出手段）
１０７ 候補点列算出部（候補点列算出手段）
１０８ ＣＡＮＮＹエッジ検出部
１０９ 初期検出部
１１０ 走行路モデル更新部
２００ 画像
２０１ 走行路
２０２ 車両
２０３、９０１ 走行路の境界
３００ 画像の濃い側
３０１ 画像の淡い側
４００ 過去走行路境界点列
４０１ 基準点列
９００ 地平線

Claims (2)

1. 車両が走行する走行路の画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記走行路の画像を示す画像信号中のノイズを除去する前処理手段と、
   前記前処理手段によって前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出する勾配算出手段と、
   前記走行路の境界の候補の点列となる走行路境界候補点列を算出するための基準となる所定の基準関数を記憶する記憶手段と、
   以前に算出された前記走行路境界候補点列に基づいて、前記記憶手段に記憶された前記所定の基準関数に含まれるパラメータを求め、求められた前記パラメータを含む前記所定の基準関数及び前記基準関数上の法線に基づいて前記走行路境界候補点列を算出するための基準点列を算出する基準点列算出手段と、
   過去のある時点に前記画像取得手段によって取得された前記走行路の画像に基づいて算出された前記走行路の境界を示す過去走行路境界点列を外部から取得し、または前記基準点列算出手段によって算出された前記基準点列を取得する過去走行路境界点列取得手段と、
   前記過去走行路境界点列取得手段によって取得された前記過去走行路境界点列又は前記基準点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記勾配算出手段によって算出された前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列又は前記基準点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である前記走行路境界候補点列を算出する候補点列算出手段とを、
   備える走行路境界検出装置。
2. 車両が走行する走行路の画像を取得するステップと、
   前記取得された前記走行路の画像を示す画像信号中のノイズを除去するステップと、
   前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出するステップと、
   以前に算出された前記走行路の境界の候補の点列である走行路境界候補点列に基づいて、所定の領域に記憶された前記走行路境界候補点列を算出するための基準となる所定の基準関数に含まれるパラメータを求め、求められた前記パラメータを含む前記所定の基準関数及び前記基準関数上の法線に基づいて前記走行路境界候補点列を算出するための基準点列を算出するステップと、
   過去のある時点に取得された前記走行路の画像に基づいて算出された前記走行路の境界を示す過去走行路境界点列を外部から取得し、または前記算出された前記基準点列を取得するステップと、
   前記取得された前記過去走行路境界点列又は前記基準点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記算出された前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列又は前記基準点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である前記走行路境界候補点列を算出するステップとを、
   有する走行路境界検出方法。