JP2007334450A - 車両用道路区画線認識装置、及び、車両用制御装置 - Google Patents

Abstract

【課題】車両から撮像した画像における道路区画線の位置を適切に認識することが可能な車両用道路区画線認識装置、及びこれを利用した車両用制御装置を提供すること。
【解決手段】車両前方の道路に関する情報を取得する道路情報取得手段と、車両前方を撮像する撮像手段と、道路情報取得手段により取得された情報に基づいて仮想道路区画線を作成する仮想道路区画線作成手段と、を備え、仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定を用いて撮像手段の撮像画像を解析することにより、撮像手段の撮像画像における道路区画線の位置を認識することを特徴とする、車両用道路区画線認識装置。
【選択図】図１

Description

本発明は、車載カメラ等により撮像された画像を解析して、画像上の道路区画線の位置を認識する車両用道路区画線認識装置、及びこれを利用して車両制御を行なう車両用制御装置に関する。

近年、車線を維持して走行するように操舵力出力制御を行なったり、交差点や一時停止線の手前で自動停止させるように制動力出力制御を行なったりする車両制御技術についての研究が進められ、操舵力出力制御については既に実用化がなされている。こうした車両制御技術において重要な要素となるのが、道路区画線（白線や黄線、ボッツドッツ、キャッツアイ等、車線を区画するための道路上の線又は点列をいう）と自車両の位置関係を正確に認識することである。

道路区画線と自車両の位置関係を認識する一手法として、車載カメラ等により撮像された画像を解析して画像上の道路区画線の位置を認識する技術についての研究が進められている。この画像解析においては、動的輪郭モデル（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ；スネークスと称される）を用いた解析手法や、ハフ変換を用いた解析手法等が用いられる。

スネークスでは、まず、画像上に複数の制御点を含む曲線を設定する。そして、曲線の滑らかさを表す内部エネルギーと、画像の輝度勾配に基づく画像エネルギーと、任意に与えられる外部エネルギーと、の和が小さくなる方向に制御点を動かすことにより、曲線が画像上の対象物の輪郭に収束する性質を利用して、画像上の対象物を認識する。

スネークスを応用して画像に含まれる道路位置を検出する装置についての発明が開示されている（例えば、特許文献１参照）。この発明によれば、特定の制御点（文献中では、主制御点）について、上記エネルギー和のみに基づく方向ではなく、画像における特定方向に移動方向を制限することにより、曲線が道路区画線の輪郭に収束しやすくなるものとしている。また、上記主制御点の初期位置と移動方向の制限に関する情報を記述したテンプレートを複数用意し、直進道路や交差点、三叉路等の道路形状に応じてテンプレートを使い分けることを提案している。
特開２００５−５６１２８号公報

上記特許文献１に記載の装置の例に限らず、スネークスやハフ変換を適用する際には、何らかの工夫、応用を行なうことにより、処理時間の低減や誤検出の抑制を図ることができる。しかしながら、上記特許文献１に記載の装置では、画像の端部に制御点の初期位置を設定しており、これが道路区画線の輪郭に収束するまでに、各制御点は画像上のかなりの距離を移動しなければならず、途中で画像上のノイズ要素に固着してしまったり、処理時間が過大なものとなる場合が生じ得る。

本発明はこのような課題を解決するためのものであり、車両から撮像した画像における道路区画線の位置を適切に認識することが可能な車両用道路区画線認識装置、及びこれを利用した車両用制御装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の第１の態様は、車両前方の道路に関する情報を取得する道路情報取得手段と、車両前方を撮像する撮像手段と、道路情報取得手段により取得された情報に基づいて仮想道路区画線を作成する仮想道路区画線作成手段と、を備え、仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定を用いて撮像手段の撮像画像を解析することにより、撮像手段の撮像画像における道路区画線の位置を認識することを特徴とする、車両用道路区画線認識装置である。ここで、「撮像画像における道路区画線の位置」とは、一点を指すものではなく、例えば、道路区画線上の点の座標の集合であってよい。

この本発明の第１の態様によれば、道路情報取得手段により取得された情報に基づいて仮想道路区画線を作成するから、仮想道路区画線は、撮像手段の撮像画像における道路区画線に近いものとなる。そして、この仮想道路区画線に基づく初期設定を用いて撮像手段の撮像画像を解析するから、撮像画像の解析を適切に行なうことができる。

また、本発明の第１の態様は、仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定を動的輪郭モデルに与えることにより、撮像手段の撮像画像を解析することを特徴とするものであってもよいし、仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定によりハフ空間を限定したハフ変換を行なうことにより、撮像手段の撮像画像を解析することを特徴とするものであってもよい。

また、本発明の第１の態様において、道路情報取得手段が取得する情報は、例えば、車両前方の道路における所定区間毎の情報であって、各所定区間における車線幅及び道路曲率を少なくとも含む。この場合、各所定区間における道路勾配を更に含むと好適である。

また、本発明の第１の態様において、道路情報取得手段は、地図情報を記憶する記憶手段と、自車両の現在位置を特定する現在位置特定手段とを備える。この場合、現在位置特定手段は、相対測定法により自車両の現在位置を特定する手段であると好適である。

また、本発明の第１の態様において、仮想道路区画線作成手段は仮想平面上で仮想道路区画線を作成する手段であり、仮想平面から撮像手段の撮像画像への写像を行なう写像処理手段を備えることを特徴とするものであってよい。これとは別に、仮想道路区画線作成手段は、前記撮像手段の撮像画像上で仮想道路区画線を作成する手段であってもよい。

また、本発明の第１の態様において、撮像手段の撮像画像における道路区画線の変曲点の位置を認識することを特徴とするものとすると好適である。

本発明の第２の態様は、本発明の第１の態様の車両用道路区画線認識装置により認識された撮像手段の撮像画像における道路区画線の位置に関する情報に基づいて、道路区画線に対する車両姿勢を導出する車両姿勢導出手段を備え、車両姿勢導出手段により導出された道路区画線に対する車両姿勢に基づいて車両制御を行なうことを特徴とするものである。

また、本発明の第２の態様において、車両姿勢導出手段は、好ましくは、本発明の第１の態様の車両用道路区画線認識装置により認識された前記撮像手段の撮像画像における道路区画線の位置に関する情報のうち、撮像手段の撮像画像における自車両側から前記変曲点までの範囲内に存在する道路区画線の位置に関する情報に基づいて、道路区画線に対する車両姿勢を導出する手段である。

本発明によれば、車両から撮像した画像における道路区画線の位置を適切に認識することが可能な車両用道路区画線認識装置、及びこれを利用した車両用制御装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、図１〜８を用いて、本発明に係る車両用道路区画線認識装置、及びこれを利用した車両用制御装置の一実施例について説明する。図１は、本発明の一実施例に係る車両用道路区画線認識装置１及び車両用制御装置１１の全体構成の一例を示す図である。車両用道路区画線認識装置１は、主要な構成として、カメラ２０と、ナビゲーション装置３０と、画像解析装置４０と、を備える。そして、車両用道路区画線認識装置１０の構成要素に車線維持制御用ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０を付加したものが、車両用制御装置１１を構成する。また、車両用制御装置１１の制御対象として、ステアリング装置６０を図示する。なお、以下の説明における車両内の機器間の通信は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の適切な通信プロトコルを用いて行なわれる。

カメラ２０は、例えば、ウインドシールド中央上部に配設されたＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラであり、車両前方の斜め下方に向いた光軸を有し、車両前方の道路を撮像する。カメラ２０が撮像した画像は、画像解析装置４０に送信される。

ナビゲーション装置３０は、地図データベース３２と、現在位置特定装置３４と、ナビゲーション装置用ＥＣＵ３６と、を備える。これらの他にも、入力デバイスを兼ねるタッチパネルディスプレイやスピーカー等を備える。

地図データベース３２は、ハードディスクやＤＶＤ、ＣＤ−ＲＯＭ等の記憶媒体上に実現されるデータベースである。地図データベース３２に記憶される道路は、一定区間（例えば、数［ｍ］〜数十［ｍ］等；以下、この間隔をノード点間隔Ｎと称する）毎に設けられたノード点が接続されたものとして表現される。そして、各ノード点に付随して、次のノード点までの区間における車線幅、道路曲率、道路勾配等の情報が記憶されている。

現在位置特定装置３４は、例えば、ＲＴＫ−ＧＰＳ（リアルタイム・キネマチック全地球測位システム）により、自車両の現在位置（緯度、経度、及び高度）を特定する。従って、現在位置特定装置３４は、ＧＰＳ受信機、無線通信機、及び情報処理装置等から構成される。また、車速センサーやヨーレートセンサーを更に含み、これらのセンサー出力値により適宜補正を行なう構成としてもよいし、ビーコン受信機やＦＭ多重放送受信機を備えてもよい。

ナビゲーション装置用ＥＣＵ３６は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、入出力インターフェイスやタイマー、カウンター等を備える。ナビゲーション装置用ＥＣＵ３６は、通常のナビゲーション装置３０の機能として、現在位置特定装置３４により特定された自車両の現在位置を用いて地図データベース３２を検索し、ユーザーにより予め入力された目的地までの経路案内を行なう。また、本発明に特徴的な機能として、自車両前方の道路における複数区間分の（合計十数［ｍ］〜数百［ｍ］程度あればよい；上記単位区間の距離により必要な区画数は変動する）、車線幅、道路曲率、道路勾配を、画像解析装置４０に出力する。

画像解析装置４０は、例えば、ナビゲーション装置用ＥＣＵ３６と同様の構成を有するコンピューターユニットである。また、画像解析装置４０は、主要な機能ブロックとして、仮想道路区画線作成部４２と、写像処理部４４と、スネークス処理部４６と、を備える。これらの機能ブロックは、車両用制御装置１１が適切な車両制御を行なうことができるように、カメラ２０の撮像画像における道路区画線（白線や黄線、ボッツドッツ、キャッツアイ等、車線を区画するための道路上の線又は点列をいう）を効率的かつ正確に認識するためのものである。

ここで、スネークス（動的輪郭モデル）の一般的な原理について説明する。スネークスは、画像において他の部分との輝度差を有する対象物体の輪郭を認識するための一手法である。スネークスでは、まず、画像上に複数の制御点を含む初期曲線を設定する。そして、次式（１）〜（３）で表される、曲線の滑らかさを表す内部エネルギーＥｉｎｔ（ｖ（ｓ））と、画像の輝度勾配に基づく画像エネルギーＥｉｍａｇｅ（ｖ（ｓ））と、任意に与えられる外部エネルギーＥｃｏｎ（ｖ（ｓ））と、の和が小さくなる方向に制御点を動かすことにより、曲線が画像上の対象物の輪郭に収束する性質を利用して、最終的に得られた曲線を対象物の輪郭であると認識する。なお、式中、ｖ_ｓ（ｓ）及びｖ_ｓｓ（ｓ）は、それぞれ曲線ｖ（ｓ）の一次微分及び二次微分であり、▽Ｉは、制御点における輝度勾配であり、α、β、γは重み成分である。なお、本実施例において外部エネルギーＥｃｏｎ（ｖ（ｓ））は考慮しないこととした。実際の動作としては、各制御点において微小移動後の関数値の変化を計算し、関数値の変化率が最小となる方向に各制御点を移動させることにより、最小化を実現する。

Ｅｓｎａｋｅｓ＝∫｛Ｅｉｎｔ（ｖ（ｓ））＋Ｅｉｍａｇｅ（ｖ（ｓ））＋Ｅｃｏｎ（ｖ（ｓ））｝ｄｓ ‥（１）
Ｅｉｎｔ（ｖ（ｓ））＝｛α｜ｖ_ｓ（ｓ）｜^２＋β｜ｖ_ｓｓ（ｓ）｜^２｝／２ ‥（２）
Ｅｉｍａｇｅ（ｖ（ｓ））＝−γ｜▽Ｉ（ｖ（ｓ））｜^２ ‥（３）

ところで、カメラ２０の撮像画像には、上記道路区画線以外のものであって、道路面との輝度差が比較的大きいノイズ要素が種々存在し得る。従って、スネークスを適用して画像上の道路区画線を認識しようとすると、曲線が道路区画線に収束するまでにいずれかの制御点がノイズ要素に固着するという問題が生じ得る。また、制御点を微小移動させる処理が繰り返し行なわれるため、初期曲線が道路区画線から余り遠いと処理時間が過大なものとなる問題が生じ得る。

そこで、本実施例では、仮想道路区画線作成部４２が後述する仮想平面上で仮想道路区画線を作成し、写像処理部４４が仮想道路区画線を画像平面に写像して初期曲線を設定することにより、上記の如き不都合を回避するものとした。以下、仮想道路区画線作成部４２が仮想平面上で仮想道路区画線を作成し、写像処理部４４が仮想道路区画線を画像平面に写像して初期曲線を設定する際の処理について説明する。図２は、本処理の流れを示すフローチャートである。

仮想道路区画線作成部４２は、まず、ナビゲーション装置用ＥＣＵ３６から自車両前方の道路における複数区間分の車線幅、道路曲率、及び道路勾配を入力する（Ｓ１００）。

そして、ＲＡＭ等の所定領域において、二次元平面（以下、仮想平面と称する）を設定し、各区間（ノード点間）の車線幅及び道路曲率に基づいて、仮想平面上に仮想道路区画線を作成する（Ｓ１１０）。実際の道路は直線ではなく幅をもつ平面であるため、仮想平面上では、各ノード点は道路幅方向に長さを持つ直線となる（以下、この直線をノード線と称する）。そして、仮想道路区画線は、各区間における自車両に近い方のノード線上に設定される起点から所定の向きをもってスタートし、道路曲率に応じてカーブしながら自車両に遠い方のノード線に至るように作成される。なお、「スタートし」というのは便宜的な表現であり、実際にはカーブ全体が一括導出されて作成されてもよい。すなわち、起点の位置及び起点における接線の向き、曲率を入力すると一の仮想道路区画線を得るような関数又はマップ等を予め作成しておき、これを用いることとしてもよい。

図３は、仮想道路区画線作成部４２が設定する仮想平面上の各要素を示す図である。自車両に最も近いノード線から順に、ノード線１、ノード線２、ノード線３、ノード線４と表する。また、ノード線１からノード線２までの車線幅及び道路曲率を車線幅１及び道路曲率１と表し、ノード線２からノード線３までの車線幅及び道路曲率を車線幅２及び道路曲率２と表し、ノード線３からノード線４までの車線幅及び道路曲率を車線幅３及び道路曲率３と表する。また、仮想平面における道路幅方向をｘ軸、道路長手方向をｙ軸とする。

まず、仮想平面の最初の区間（ノード線１からノード線２まで）における仮想道路区画線の作成手法について説明する。当該区間における仮想道路区画線は、図４に示す如く、自車両が車線の中央に位置し、且つ道路区画線に並行に走行しているとの仮定の下、仮想平面の道路幅方向に関する中心線Ｍとノード線１の交点Ｍ＊から、車線幅１の半分だけｘ軸方向に（正方向及び負方向に）移動した位置をそれぞれ起点とし、ｙ軸に平行な向きをもってスタートする。そして、ノード線２に至るまでの間、道路曲率１に応じてカーブするように作成される。

次の区間（ノード線２からノード線３まで）における仮想道路区画線の起点、及びスタート時の向きは、図５に示す如く、最初の区間における仮想道路区画線の終点（ノード線２との交点）、及び終点における接線の向きが引き継がれる。そして、ノード線３に至るまでの間、道路曲率２に応じてカーブするように作成される。

同様に、その後の区間（ノード線３からノード線４まで、及びそれ以降）についても、前の区間における仮想道路区画線の終点、及び終点における接線の向きを、起点において引き継いで、仮想道路区画線が作成される。このように、仮想道路区画線作成部４２は、各区間における仮想道路区画線を必要な回数だけ順次作成し、必要な距離分の仮想道路区画線を作成する。なお、前の区間と当該区間との車線幅が異なる場合が問題となるが、例えば、起点においては前の区間における車線幅を引き継ぎ、当該区間内において徐々に拡大又は縮小させ、終点において当該区間の車線幅になるような修正を加えればよい。

このような仮想道路区画線作成部４２の処理により、仮想平面上に、あたかも上空から見たかのような道路区画線の延在態様が表現されることとなる。

仮想道路区画線作成部４２が仮想平面上に仮想道路区画線を作成すると、写像処理部４４は、これを画像平面に写像してスネークス処理における初期曲線とする（Ｓ１２０）。この写像は、基本的には、カメラ２０の光軸角度や焦点距離、設置された高さ等に基づいて行なわれ、各区間の道路勾配が加味される。これは、一般的にカメラの撮像画像は、登り勾配である場合には、画像上の見かけの車線幅が狭くなり、且つ見かけのノード間隔Ｎが長くなる性質を有し、また、下り勾配である場合には、画像上の見かけの車線幅が広くなり、且つ見かけのノード間隔Ｎが短くなる性質を有することに基づく。

図６は、仮想平面上に作成された仮想道路区画線と、各区間の勾配との対応関係の一例を模式的に示す図である。この例では、右から（自車両手前から）２番目の区間が登り坂となっており、１番目及び３番目の区間が平坦である。この例において、道路勾配を加味せずに写像を行なった場合の画像平面上の初期曲線の一例を図７（Ａ）に、道路勾配を加味して写像を行なった場合の画像平面上の初期曲線の一例を図７（Ｂ）に、それぞれ示す。図示する如く、道路勾配を加味して写像を行なった場合、登り坂区間において、見かけのノード間隔Ｎはより長く、その終点における見かけの車線幅はより短くなる。上記カメラの撮像画像の性質より、カメラ２０の実際の撮像画像は、図７（Ｂ）の方により近いものであることが推察されるため、道路勾配を加味して写像を行なうことにより、初期曲線と画像上の道路区画線との誤差を小さくすることができる。

このように、仮想道路区画線作成部４２は、上空から見た道路区画線に相当する仮想道路区画線を仮想平面上に作成し、写像処理部４４は、道路勾配を加味して適切に画像平面への写像を行なう。この結果、設定される初期曲線は、実際にカメラ２０の画像に表示されている道路区画線に近いものとなる。

スネークス処理部４６は、仮想道路区画線作成部４２及び写像処理部４４が設定した初期曲線を用いて、前述したスネークスの処理を行ない、カメラ２０の撮像画像における道路区画線を認識する。仮想道路区画線作成部４２及び写像処理部４４が設定した初期曲線は、撮像画像上の道路区画線に近いものとなっているため、ノイズ要素に固着するという問題や処理時間が過大なものとなる問題が抑制される。従って、撮像画像上の道路区画線を効率的かつ正確に認識することができる。

こうして画像上の道路区画線の位置を認識すると、画像解析装置４０は、道路区画線上の変曲点の位置を認識し、自車両手前側から最初の変曲点までに限定して道路区画線の位置に関する情報を（より現実的には、道路区画線に相当する撮像素子の座標の集合を）、道路曲率１及び車線幅１と共に、車線維持制御用ＥＣＵ５０に送信する。変曲点の位置は、例えば、上記曲線の二次微分ｖ_ｓｓ（ｓ）の符号が変化する点を変曲点と認識すればよい。

図８（Ａ）は、図７（Ｂ）に例示した初期曲線を用いてスネークスを行なった結果、認識された画像上の道路区画線と、当該道路区画線上で認識された変曲点を示す図であり、図８（Ｂ）は、車線維持制御用ＥＣＵ５０に送信される道路区画線の位置に関する情報を表す図である。

車線維持制御用ＥＣＵ５０は、画像解析装置４０から送信される道路区画線の位置に関する情報に基づいて道路区画線に対する車両姿勢を導出し、この車両姿勢に基づいてステアリング装置６０に指示信号を送信することにより、車線維持制御を行なう。車線維持制御としては、例えば、車線からの逸脱が予想される場合にスピーカー等により警報を行なうと共に小さい補助操舵力を短時間出力することでドライバーの注意を喚起する車線逸脱警報制御、及び、小さい補助操舵力を連続的に出力することで車線中央付近を走行しやすいようにドライバーのステアリング操作を支援する車線維持支援制御が、選択的に又は同時に実行される。なお、これらの制御の詳細については本実施例の中核をなさないので説明を省略する。

車両姿勢とは、例えば、ヨー角、オフセット、ピッチ角（自車両の幅方向の軸まわりの角度変位）であり、その他、ロール角（自車両の進行方向の軸まわりの角度変位）等が導出されてもよい。車両姿勢は、例えば、図８（Ｂ）に例示したような自車両の左右に存する道路区画線のうち、いずれかの線上で複数個の点（例えば数点〜十数点など）を設定し、更に自車両に最も近い区間における道路曲率を前提条件として与え、設定した点に対してカルマンフィルタ、Ｈ∞フィルタ、逐次モンテカルロ法等を行なって導出する。なお、ヨー角、及びオフセットは、一般的には、車線長手方向と自車両の進行方向との相対角度、及び道路区画線の中間線からの自車両基準点（例えば、重心）の変位等とそれぞれ定義されるものであり、自車両の直前の道路区画線の位置が認識できれば導出は可能であるが、車線維持制御に用いるには、より前方の道路区画線の位置が考慮されることが望ましい。従って、本実施例の車両用道路区画線認識装置１の如く変曲点に至るまでの道路区画線の位置を認識する装置を用いると、画像のごく手前側の領域のみを解析する場合に比して、より適切な車両制御を行なうことができるのである。また、変曲点以降の道路区画線については、車両制御に用いられることが少ないため、画像解析装置４０から送信される情報から省いている。これにより、通信負荷を低減したり制御を簡略化することができる。

なお、ステアリング装置６０は、例えば、ステアリングコラム内部に配設され、操舵角信号をコントローラー６８及び車線維持制御用ＥＣＵ５０に送信する操舵角センサー６２と、入力軸と出力軸との間に取り付けられたトーションバーの捩じれを検出することにより、ステアリングトルク応じた信号をコントローラー６８に送信するトルクセンサー６４と、車両の操舵に必要なトルクを出力して運転者のステアリング操作をアシストするアシストモータ６６と、コントローラー６８と、を備える電動パワーステアリング装置である。アシストモータ６６が出力するトルクは、ウォームギヤ及びホイールギヤによって偏向されると共に減速されてコラムシャフトに伝達され、最終的に車輪の向きを変える。

コントローラー６８は、車線維持制御が行なわれない通常時には、トルクセンサー６４からのステアリングトルク信号やその他の車両状態信号（車速やヨーレート等）に基づいて、車両の操舵に必要なトルクを出力するように、アシストモータ６６の駆動回路に制御信号を出力する。また、車線維持制御が行なわれている時には、上記通常時のアシストモータ６６制御に加えて（又は、代えて）車線維持制御用ＥＣＵ５０からの指示信号に基づいて、アシストモータ６６を制御する。

以上説明した本実施例の車両用道路区画線認識装置１によれば、ナビゲーション装置３０から送信される車線幅、道路曲率、道路勾配に基づいて、実際にカメラ２０の画像に表示されている道路区画線に近い曲線を初期曲線として設定するから、スネークス処理部４６において、カメラ２０の撮像画像における道路区画線の位置を効率的且つ正確に認識することができる。

また、本実施例の車両用制御装置１１によれば、車両用道路区画線認識装置１により変曲点に至るまでの道路区画線の位置を送信させ、これを用いて車両制御を行なうから、画像のごく手前側の領域のみを解析するものに比して、より適切な車両制御を行なうことができる。また、変曲点以降の道路区画線については、画像解析装置４０から送信される情報から省いているため、通信負荷を低減したり制御を簡略化することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、仮想平面上に仮想道路区画線を作成し、これを画像平面に写像するものとしたが、最初から画像上で仮想道路区画線を作成するものとしてもよい。具体的には、写像に関する関係式等を含めた仮想道路区画線の作成手法を用いることとすればよい。但し、原理的には実施例で例示した手法と同一の範囲内である。

また、動的輪郭モデルにより初期曲線を与えることにより画像上の道路区画線を認識するものに限られず、ハフ変換を行なうことにより道路区画線を認識するものとしてもよい。この場合、例えば、図９に示す如く、各区間に対して初期曲線を包含する領域を設定し、当該領域内の直線のみを網羅するようにハフ空間の限定を行なった上でハフ変換を行なうことにより、カメラ２０の撮像画像における道路区画線の位置を効率的且つ正確に認識することができる。また、この場合であっても、変曲点の認識は可能である。例えば、図１０に示す如く、手前の区間における道路区画線に対する角度が逆の符号となる区間を見つけ、当該区間の手前側の境界と道路区画線との交点を変曲点とすればよい。

また、車線幅、道路曲率、道路勾配等の情報の取得手法については、実施例のものに限らず、如何なる手法を用いてもよい。例えば、車外設備から通信により取得してもよい。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

本発明の一実施例に係る車両用道路区画線認識装置１及び車両用制御装置１１の全体構成の一例を示す図である。 仮想道路区画線作成部４２が仮想平面上で仮想道路区画線を作成し、写像処理部４４が仮想道路区画線を画像平面に写像して初期曲線を設定する際の処理の流れを示すフローチャートである。 仮想道路区画線作成部４２が設定する仮想平面上の各要素を示す図である。 仮想平面の最初の区間における仮想道路区画線の作成手法について説明する説明図である。 仮想平面の２番目の区間における仮想道路区画線の作成手法について説明する説明図である。 仮想平面上の仮想道路区画線と、各区間の勾配との対応関係の一例を模式的に示す図である。 道路勾配を加味しない場合と加味した場合の、写像後の画像平面における初期曲線の一例を示す図である。 スネークスを行なった結果認識された画像上の道路区画線と変曲点を示す図、及び、車線維持制御用ＥＣＵ５０に送信される道路区画線の位置に関する情報を表す図である。 本発明の他の実施例において、ハフ変換を行なうことにより道路区画線を認識する様子を示す図である。 本発明の他の実施例において、変曲点を認識する様子を示す図である。

符号の説明

１ 車両用道路区画線認識装置
１１ 車両用制御装置
２０ カメラ
３０ ナビゲーション装置
３２ 地図データベース
３４ 現在位置特定装置
３６ ナビゲーション装置用ＥＣＵ
４０ 画像解析装置
４２ 仮想道路区画線作成部
４４ 写像処理部
４６ スネークス処理部
５０ 車線維持制御用ＥＣＵ
６０ ステアリング装置
６２ 操舵角センサー
６４ コントローラー
６６ トルクセンサー
６８ アシストモータ

Claims (12)

1. 車両前方の道路に関する情報を取得する道路情報取得手段と、
   車両前方を撮像する撮像手段と、
   前記道路情報取得手段により取得された情報に基づいて仮想道路区画線を作成する仮想道路区画線作成手段と、を備え、
   前記仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定を用いて前記撮像手段の撮像画像を解析することにより、前記撮像手段の撮像画像における道路区画線の位置を認識することを特徴とする、車両用道路区画線認識装置。
2. 請求項１に記載の車両用道路区画線認識装置であって、
   前記仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定を動的輪郭モデルに与えることにより、前記撮像手段の撮像画像を解析することを特徴とする、車両用道路区画線認識装置。
3. 請求項１に記載の車両用道路区画線認識装置であって、
   前記仮想道路区画線作成手段により作成された仮想道路区画線に基づく初期設定によりハフ空間を限定したハフ変換を行なうことにより、前記撮像手段の撮像画像を解析することを特徴とする、車両用道路区画線認識装置。
4. 請求項１ないし３のいずれかに記載の車両用道路区画線認識装置であって、
   前記道路情報取得手段が取得する情報は、車両前方の道路における所定区間毎の情報であって、各所定区間における車線幅及び道路曲率を少なくとも含む、車両用道路区画線認識装置。
5. 請求項４に記載の車両用道路区画線認識装置であって、
   前記道路情報取得手段が取得する情報は、各所定区間における道路勾配を更に含む、車両用道路区画線認識装置。
6. 請求項１ないし５のいずれかに記載の車両用道路区画線認識装置であって、
   前記道路情報取得手段は、地図情報を記憶する記憶手段と、自車両の現在位置を特定する現在位置特定手段とを備える、車両用道路区画線認識装置。
7. 請求項６に記載の車両用道路区画線認識装置であって、
   前記現在位置特定手段は、相対測定法により自車両の現在位置を特定する手段である、車両用道路区画線認識装置。
8. 請求項１ないし７のいずれかに記載の車両用道路区画線認識装置であって、
   前記仮想道路区画線作成手段は、仮想平面上で仮想道路区画線を作成する手段であり、
   該仮想平面から前記撮像手段の撮像画像への写像を行なう写像処理手段を備えることを特徴とする、車両用道路区画線認識装置。
9. 請求項１ないし７のいずれかに記載の車両用道路区画線認識装置であって、
   前記仮想道路区画線作成手段は、前記撮像手段の撮像画像上で仮想道路区画線を作成する手段である、車両用道路区画線認識装置。
10. 請求項１ないし９のいずれかに記載の車両用道路区画線認識装置であって、
    前記撮像手段の撮像画像における道路区画線の変曲点の位置を認識することを特徴とする、車両用道路区画線認識装置。
11. 請求項１ないし１０のいずれかに記載の車両用道路区画線認識装置により認識された前記撮像手段の撮像画像における道路区画線の位置に関する情報に基づいて、道路区画線に対する車両姿勢を導出する車両姿勢導出手段を備え、
    該車両姿勢導出手段により導出された道路区画線に対する車両姿勢に基づいて車両制御を行なうことを特徴とする、車両用制御装置。
12. 請求項１０に係る請求項１１に記載の車両用制御装置であって、
    前記車両姿勢導出手段は、請求項１ないし９のいずれかに記載の車両用道路区画線認識装置により認識された前記撮像手段の撮像画像における道路区画線の位置に関する情報のうち、前記撮像手段の撮像画像における自車両側から前記変曲点までの範囲内に存在する道路区画線の位置に関する情報に基づいて、道路区画線に対する車両姿勢を導出する手段である、車両用制御装置。

Images