JP2004038760A

JP2004038760A - 車両用走行路認識装置

Info

Publication number: JP2004038760A
Application number: JP2002197375A
Authority: JP
Inventors: Ryota Shirato; 白土　良太
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-07-05
Filing date: 2002-07-05
Publication date: 2004-02-05
Anticipated expiration: 2022-07-05
Also published as: JP3985610B2

Abstract

【課題】定常誤差の発生を防止すると共に、実際の車両の動きでは起こり得ない道路形状の変化を推定することを回避する。
【解決手段】カメラ１による撮像画像に対し、Ｓｏｂｅｌフィルタ処理等の前処理を施した後（ステップＳ１、Ｓ２）、検出領域を設定してレーンマーカ候補点を算出し（ステップＳ３、Ｓ４）、各検出領域毎のレーンマーカ候補点に基づいて、道路形状を推定する（ステップＳ５）。このとき、道路モデルを直線道路モデルとし、且つ、車速と操舵角とを入力とする車両運動モデルを用い、さらに、この車両運動モデルにヨーレート及び横加速度を打ち消すように作用する仮想操舵角を推定項目として設定し、これら直線道路モデル及び車両運動モデルを用いて各状態量を推定し、道路形状の推定を行う。
【選択図】　　　　　図３

Description

【０００１】
【発明の属する技術分野】
この発明は、車両に搭載された車載カメラによって車両周辺を撮像し、撮像された画像に基づいて自車両の走行路を認識するようにした車両用走行路認識装置に関する。
【０００２】
【従来の技術】
従来、車両に搭載された車載カメラによって車両の前方や後方を撮像し、これによって撮像された画像中の白線やガードレールを検出し、走行路左右の白線やガードレールの交点から道路が画面内において消失する点、いわゆる道路消失点を求め、この道路消失点の位置座標と、画面中の白線やガードレールといった道路構成物の配置とに基づいて車両の位置及び姿勢を計測する方法が知られている。
【０００３】
例えば、特開平８−１５９７１６号公報には、撮像された画像から、道路に沿って表示された白線を抽出し、これを画像上で双曲線近似し、この双曲線の漸近線を求め、この求められた漸近線の交点から道路消失点を求めるようにした方法が記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述の特開平８−１５９７１６号公報に記載の方法にあっては、道路形状を推定する際に、レーンマーカ候補点を、双曲線形状にあてはめる構成となっている。このため、撮像画像から検出することのできたレーンマーカ候補点数が少ない場合や、また、図１０に示すように、レーンマーカの検出範囲が自車両近傍のみで、比較的自車両の周辺でしかレーンマーカ候補点を検出することができなかった場合等には、近似精度が低下するため、直線路においても、これを曲線に近似したことによる誤差が残ることから、真の消失点よりもずれた位置が消失点として検出されることになって、道路形状の推定精度が低下するという問題がある。
【０００５】
また、道路形状の推定結果をレーンキープシステムに適用した場合には、真の車線の中心位置と、自車両が認識している車線の中心位置とがずれているため、車線の中央からずれた位置を走行しようとする等といった問題が生じることになる。
また、道路形状の推定に、双曲線形状をあてはめる際には、車両の動きを考慮せずにあてはめるような構成となっているため、実際の車両の動きでは、生じないような道路形状の変化を推定する場合があるという問題がある。
【０００６】
そこで、この発明は、上記従来の未解決の問題点に着目してなされたものであり、より的確に道路形状を推定することの可能な車両用走行路認識装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る車両用走行路認識装置は、車両に搭載された撮像手段によって車両周辺を撮像し、この撮像画像からレーンマーカに相当する画像を構成するレーンマーカ候補点を複数検出し、これらレーンマーカ候補点に基づいて道路形状を推定する。このとき、道路形状を直線道路モデルにより表し、この直線道路モデルと、道路形状の時系列変化に車速及び操舵角を入力とする車両運動モデルとに基づいて道路形状を推定し、さらに、車両運動モデルには、この車両運動モデルと直線道路モデルとの整合性をとるように作用する仮想操舵角を設定しこれを用いて推定する。
【０００８】
ここで、車速及び操舵角を入力とする車両運動モデルと、直線道路モデルとに基づいて道路形状を推定した場合、例えばカーブ路を走行しているような場合には、ヨーレートや横加速度が発生していないにも関わらず、直線道路モデル上では、ヨーレートや横加速度が発生することになる。しかしながら、この矛盾が発生しないよう車両運動モデルと直線道路モデルとの整合性をとるように作用する仮想操舵角を車両運動モデルに設定し、これを用いて道路形状を推定するようにしたから、矛盾が生じることはない。
【０００９】
【発明の効果】
本発明による車両用走行路認識装置によれば、撮像画像から検出したレーンマーカ候補点に基づいて道路形状を推定する際に、道路形状を直線道路モデルとし、道路形状の時系列変化に車速及び操舵角を入力とする車両運動モデルであり且つ車両運動モデルと直線道路モデルとの整合性をとるように作用する仮想操舵角を有する車両運動モデルに基づいて、道路形状を推定するようにしたから、定常誤差が生じることなく、また、実際に生じないような道路形状が推定されることを回避し、的確に道路形状を推定することができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、第１の実施の形態を説明する。
図１は、本発明を適用した車両用走行路認識装置の一実施形態を示す概略構成図である。
【００１１】
図１において、ＣＣＤカメラ等で構成されるカメラ１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前方の道路を含む車両の周囲環境を撮像する。カメラ１で撮像した撮像情報は、処理装置２に入力され、処理装置２では、カメラ１からの撮像情報に基づいてレーンマーカの候補点の検出を行い、検出したレーンマーカ候補点に基づいてレーンマーカの形状を推測し、これに基づいて走行路の形状や走行路に対する自車両の相対関係を表す道路パラメータの算出等を行う。
【００１２】
図２は、処理装置２の機能構成を示すブロック図であって、カメラ１の撮像情報は、前処理部２１に入力され、ここで、撮像情報に対しレーンマーカの特徴を強調するためのＳｏｂｅｌフィルタ処理等の処理が行われた後、画像処理部２２に出力される。画像処理部２２では、前処理後の撮像情報に基づいて、レーンマーカ候補点の検出を行い、画像処理部２２において検出されたレーンマーカ候補点と、操舵角センサ３で検出された操舵角θ及び車速センサ４で検出された車速Ｖとに基づいて道路形状推定部２３において、走行路の道路形状の推定を行う。
【００１３】
図３は、処理装置２で実行される道路形状の推定を行うための道路形状推定処理の処理手順の一例を示すフローチャートである。なお、この道路形状推定処理は、予め設定した所定周期で実行されるようになっている。
この道路形状推定処理では、起動されるとまずステップＳ１で、車両前方の走行風景が撮像されるように車両に取り付けたカメラ１から、例えば図４に示すような車両前方画像を取得する。なお、図４では、レーンマーカを、白線で表記しているが、これに限定されるものではなく、例えば、破線或いは金属鋲等からなるレーンマーカであっても適用することができる。
【００１４】
次いで、ステップＳ２に移行し、車両前方画像において、レーンマーカの特徴を強調するような処理を施す前処理を実行する。例えばＳｏｂｅｌフィルタを用いた一次微分成分の強調処理といったものを適用することができる。
次いでステップＳ３に移行し、例えば図５に示すように、レーンマーカを検出するための検出領域を設定する。この検出領域は、例えば次のようにして設定する。つまり、前回の画像処理結果から道路形状が推定できた場合、この道路形状を表わすレーンマーカに近い形状で、今回の画面上にもレーンマーカが存在する可能性が高いと考えられる。したがって、前回の道路形状推定結果からレーンマーカに相当する画像が撮像されている位置を算出し、この位置を中心として画面上下方向もしくは左右方向に所定の幅を持つ検出領域を設定する。
【００１５】
なお、この検出領域の幅に関しては、一定値を用いても良いし、道路形状の時系列的な変化からレーンマーカの位置の変動幅を見積もって設定するようにしても良い。また、前回の画面から道路形状が推定できなかった場合は、それ以前の画面での推定結果を用いるようにすればよく、また、起動時に用いる検出領域の初期位置を適用するようにしてもよい。
【００１６】
次いで、ステップＳ４に移行し、ステップＳ３の処理で設定されたレーンマーカの検出領域内から、レーンマーカに相当する画像を構成するレーンマーカ候補点の座標値を算出する。このレーンマーカ候補点の座標値の検出は、公知の手順で行うようにすればよく、例えば、本出願人が先に提案した特願２０００−３０１４５３号に記載されているように、検出領域毎にハフ変換を用いて白線候補線を求め、この白線候補線上の点をレーンマーカ候補点としてもよく、また、本出願人が先に提案した特願２００２−１２６２８８号公報に記載されているように、撮像画像の水平方向一次元成分、つまり、撮像画像を水平方向にサンプリングしたときの撮像画像の特徴に基づいてレーンマーカ候補点を検出するようにしてもよい。
【００１７】
これら方式を用いて、レーンマーカ候補点の算出を行うことにより、例えば、図６に示すような、白線候補線とレーンマーカ候補点とが得られる。
次いで、ステップＳ５に移行し、ステップＳ４で算出した各検出領域毎のレーンマーカ候補点に基づいて、自車両前方の道路形状を算出する。
すなわち、まず、道路モデルを設定するための座標系を図７のように定義する。図７において、（Ｘ，Ｙ，Ｚ）は、絶対空間の３次元座標（原点はカメラ１のレンズ中心）、（ｘ，ｙ）は、カメラ１による撮像画像上の２次元平面座標である。（Ｘ，Ｙ，Ｚ）と（ｘ，ｙ）との間には、次式（１）及び（２）の関係が成り立つ。なお、式（１）及び（２）中のｆは、カメラ１のレンズの焦点距離である。
【００１８】
ｘ＝−ｆ・Ｘ／Ｚ　　　　　　……（１）
ｙ＝−ｆ・Ｙ／Ｚ　　　　　　……（２）
次に、走行路面は平面、つまり縦断勾配、横断勾配はないものと仮定し、さらに、走行路には、大きな曲率は存在しないという仮定のもとで、図８に示すように、平面（図８（ａ））、側面（図８（ｂ））共に１次式として、走行路をモデル化する。図８から次式（３）及び（４）を得ることができる。
【００１９】
【数１】

【００２０】
前記（１）〜（４）式から次式（５）を得ることができる。この（５）式は、拡張カルマンフィルタを定式化する時の出力方程式であって、車両状態量及び道路形状と、撮像画像上のｙ座標とからｘ座標を算出することができることを表している。
【００２１】
【数２】

【００２２】
ここで、車両運動モデルは、図９に示すような一般的な二輪モデルから、（６）式のように表すことができる。なお、式（６）中の各係数は、車両諸元によって決まる定数である。
【００２３】
【数３】

【００２４】
この（６）式から、次式（７）に示す車両運動モデルの状態方程式を得ることができる。
【００２５】
【数４】

【００２６】
この（７）式の状態変数を保存しつつ、離散化した式を簡略化して（７）式を次式（８）のように表す。
【００２７】
【数５】

【００２８】
ここで、前記（７）式において、右辺第２項は、操舵角入力によりヨーレートと横速度が発生することを表している。したがって、自車両が、車線中央をカーブに沿って、ヨーレートと横速度が発生しないように走行した場合であっても、操舵を行っていることから、状態方程式上ではヨーレートと横速度が発生することになる。これを回避するために、前記（７）式に示すように、仮想操舵角θｏｆｆ　を設定している。（７）式に示すように、仮想操舵角θｏｆｆ　は、操舵角θを打ち消すように作用するから、カーブ路で操舵角が発生しても、ヨーレートと横速度が発生しないように各状態量を推定することができる。
【００２９】
なお、前記（８）式においては、撮像画像上の座標ｘと区別をつけるために、状態変数ベクトルには、“ｘ_Ｓ”のように、添字“ｓ”を付加している。
一方、前記（５）式における出力“ｘ”は、撮像画像上の画素のｘ座標値である。このｘ座標値の出力方程式は（５）式で表されるように、状態変数の非線形関数となる。
【００３０】
また、（５）式における（ｘ，ｙ）の座標値は、具体的にはレーンマーカの候補点座標であって、ｙ座標値は固定値としている。ｊ番目（ｊ＝１〜最大検出点数）のｘ座標の出力方程式は、前記（５）式から、次式（９）で表すことができる。
【００３１】
【数６】

【００３２】
この（９）式を簡略化し、次式（１０）と表す。なお、（１０）式の右辺は、（ｘ_Ｓ，ｙ）の非線形関数を表す。
ｘ＝ｇ（ｘ_Ｓ，ｙ）　　　　　　……（１０）
そして、前記（８）式に示す状態方程式と、（１０）式に示す出力方程式とから、各状態量を、拡張カルマンフィルタを用いて公知の手順で求める。この拡張カルマンフィルタは次式（１１）で表される。
【００３３】
【数７】

【００３４】
ここで、道路モデルを、前記（５）式に示すように直線道路モデルとし、また、車両運動モデルを、前記（７）式に示すように道路形状の時系列変化に車速と操舵角とを入力とするモデルとし、さらに、推定項目に仮想操舵角を設定している。したがって、直線路を走行しているときに定常的な誤差が生じることはなく、また、実際に生じないような道路形状の変化を推定することを回避することができる。また、曲線路を走行している場合には、道路モデルを直線道路モデルとして推定しているため、車両運動モデル上では操舵を行っているのに対し、直線道路モデル上ではヨー角や横変位が変化しない直線路という矛盾した状態となり定常的な誤差が発生することになるが、前述のように仮想操舵角を設定し、前述の定常的な誤差を打ち消すように、仮想操舵角を推定することによって、定常的な誤差を除去し、曲線路であっても的確に道路形状を推定することができる。
【００３５】
次に、本発明の第２の実施の形態を説明する。
この第２の実施の形態は、上記第１の実施の形態において、車両運動モデルの状態方程式が異なること以外は、同様である。すなわち、この第２の実施の形態においては、車両運動モデルの状態方程式を、次式（１２）に示すように設定する。
【００３６】
【数８】

【００３７】
なお、上記（１２）式において、θｐは、前回処理実行時の操舵角である。つまり、（１２）式は、前記（７）式において、仮想操舵角θｏｆｆとして前回処理実行時の操舵角θｐを設定したものである。
したがって、この第２の実施の形態においては、仮想操舵角θｏｆｆを推定する代わりに、前回の操舵角θｐに基づいて前述の定常的な誤差を除去するように、各状態量が推定されるから、実際の操舵角θｐに応じて推定することによって、より確実に、ヨー角や横変位に起因する誤差を打ち消す推定を行うことができ、より的確に道路形状の推定を行うことができる。
ここで、カメラ１が撮像手段に対応し、図３のステップＳ１〜ステップＳ４の処理がマーカ候補点検出手段に対応し、ステップＳ５の処理が道路形状推定手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、車両用走行路認識装置の一例を示す概略構成図である。
【図２】図１の車両用走行路認識装置の機能構成を示すブロック図である。
【図３】道路形状推定処理の処理手順の一例を示すフローチャートである。
【図４】撮像画像の一例である。
【図５】検出領域の設定位置を説明するための説明図である。
【図６】レーンマーカ候補点の一例である。
【図７】道路座標系から平面座標系への座標変換を説明するための説明図である。
【図８】直線道路モデルを説明するための説明図である。
【図９】車両運動モデルを説明するための説明図である。
【図１０】従来の方法による道路形状の推定結果の一例である。
【符号の説明】
１　カメラ
２　処理装置
３　操舵角センサ
４　車速センサ
２１　前処理部
２２　画像処理部
２３　道路形状推定部

Claims

車両に搭載された撮像手段により撮像された車両周辺の撮像画像から、レーンマーカに相当する画像を構成するレーンマーカ候補点を複数検出し、これらレーンマーカ候補点に基づいて道路形状を推定するようにした車両用走行路認識装置において、
前記道路形状を、直線道路モデルと、前記道路形状の時系列変化に自車速及び操舵角を入力とする車両運動モデルとに基づいて推定し、且つ当該車両運動モデルは、この車両運動モデルと前記直線道路モデルとの整合性をとるように作用する仮想操舵角を有することを特徴とする車両用走行路認識装置。
車両に搭載された撮像手段と、
当該撮像手段で撮像された車両周辺の撮像画像から、レーンマーカに相当する画像を構成するレーンマーカ候補点を複数検出するマーカ候補点検出手段と、
当該マーカ候補点検出手段で検出したレーンマーカ候補点に基づいて道路形状を推定する道路形状推定手段と、を備えた車両用走行路認識装置において、
前記道路形状推定手段は、前記道路形状を、直線道路モデルと、前記道路形状の時系列変化に自車速及び操舵角を入力とする車両運動モデルとに基づいて推定し、且つ当該車両運動モデルは、この車両運動モデルと前記直線道路モデルとの整合性をとるように作用する仮想操舵角を有することを特徴とする車両用走行路認識装置。
前記仮想操舵角を、前記車両運動モデルの推定項目として設定することを特徴とする請求項１又は２記載の車両用走行路認識装置。
前記仮想操舵角として、前回処理実行時における操舵角を用いることを特徴とする請求項１又は２記載の車両用走行路認識装置。
前記仮想操舵角は、前記車両運動モデル上において、ヨーレート及び横加速度が発生しないように作用することを特徴とする請求項１乃至４の何れかに記載の車両用走行路認識装置。