JP2006285493A

JP2006285493A - 道路モデル推定装置及び道路モデル推定方法

Info

Publication number: JP2006285493A
Application number: JP2005102724A
Authority: JP
Inventors: Motoi Masuda; 基増田
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2006-10-19

Abstract

【課題】道路モデル推定に用いるカルマンフイルタ等の状態空間フイルタの追従の安定性と高速性の両立を図り、前記状態空間フイルタを車両挙動に応じた適切な追従特性に設定する。
【解決手段】推定処理ＥＣＵ４により、車両１に搭載されたカメラ２の撮影画像に基づくエッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用し、道路形状、車両状態のパラメータを導出して道路モデルを推定し、その際、舵角センサ３の検出舵角変化速度の大小に応じて状態空間フイルタの駆動行列の動特性を高低可変し、状態空間フイルタの追従特性を可変する。
【選択図】図１

Description

この発明は、車両前方の撮影画像を処理して走行中の道路状態及び車両状態を推定する道路モデル推定装置及び道路モデル推定方法に関する。

従来、走行中の車両に搭載したカメラにより車両前方を撮像して得られる時々刻々の撮影画像にいわゆる最適フイルタ処理を施し、走行中の道路のレーン幅や直線路、カーブ路を示す道路曲率などの道路状態及びその車両の横変位、ヨー角、ピッチ角などの車両状態のパラメータを導出して道路モデルを推定することが行われている。

この場合、前記の最適フイルタ処理の状態空間フイルタには、一般にカルマンフイルタ（拡張カルマンフイルタ）が用いられ、車両前方の撮影画像から得られた走行中の道路の各レーンマーカ（車線区分線）候補点の画像平面上の座標を観測ベクトルに含む道路モデルとしての状態空間モデル（非線形モデル）に前記カルマンフイルタを適用することで、その状態方程式の状態推定量としての前記の横変位、道路曲率や車両のヨー角、ピッチ角等の道路パラメータを導出し、これらのパラメータ及び撮像部の取付位置の地上高さを用いて道路モデルを推定する（例えば、特許文献１参照。）。

特開２００２−１０９６９５号公報（第３−６頁）

ところで、前記のカルマンフイルタ等の状態空間フイルタは、その追従特性の設定が容易でない。

そして、フイルタの追従特性を高く設定すると、ノイズ（外乱）に対する追従特性までも大きくなってしまい、推定結果が非常に暴れて不安定になり、とくに直進走行中に問題となる。

また、フイルタの追従特性を低く設定すると、フイルタの応答が遅いので、例えば車線変更等の比較的素早いステアリング操作（操舵）が発生したときに、推定の遅れが生じる問題がある。

本発明は、道路モデル推定に用いるカルマンフイルタ等の状態空間フイルタの追従の安定性と高速性の両立を図り、前記状態空間フイルタを車両挙動に応じた適切な追従特性に設定することを目的とする。

上記した目的を達成するために、本発明の道路モデル推定装置は、車両に搭載されて車両前方を撮像するカメラと、前記車両のステアリング操作を検出する舵角センサと、前記カメラの撮影画像から前記車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定する推定処理部とを備え、前記推定処理部に、前記カメラの撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成するエッジ画像形成手段と、前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出するパラメータ導出手段と、前記舵角センサの検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前記状態空間フイルタの追従特性を可変する駆動行列特性調整手段とを設けたことを特徴としている（請求項１）。

また、本発明の道路モデル推定装置は、前記駆動行列特性調整手段が、舵角センサの検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の動特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とし（請求項２）、前記状態空間フイルタがカルマンフイルタであることも特徴としている（請求項３）。

つぎに、本発明の道路モデル推定方法は、車両前方の撮影画像から車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定するときに、前記撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成し、前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出し、かつ、前記車両の検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前記状態空間フイルタの追従特性を可変することを特徴としている（請求項４）。

また、本発明の道路モデル推定方法は、検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の応答特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とし（請求項５）、前記状態空間フイルタがカルマンフイルタであることも特徴としている（請求項６）。

まず、請求項１、４の発明によれば、舵角センサの検出操舵角変化速度に基づき、ドライバが素早くステアリング操作を行う車線変更時等には、状態空間フイルタの駆動行列の動特性が高くなって状態空間フイルタの追従が高速になり、推定の遅れが生じることがない。また、ドライバのステアリング操作がゆっくりとしている直進走行時等には、状態空間フイルタの駆動行列の動特性が低くなって状態空間フイルタの安定性が向上し、推定結果が暴れることがない。

したがって、道路モデル推定に用いる状態空間フイルタの追従の安定性と高速性の両立を図ることができ、その状態空間フイルタを車両挙動に応じた適切な追従特性に設定することができる。

また、請求項２、５の発明によれば、前記の状態空間フイルタの駆動行列の動特性の高低可変を、舵角センサの検出舵角変化速度と閾値との比較に基づく駆動行列の動特性の切り換えにより実現することができる。

さらに、請求項３、６の発明によれば、前記の状態空間フイルタをカルマンフイルタで形成した実用的な構成で上記の各効果を得ることができる。

つぎに、本発明をより詳細に説明するため、その一実施形態について、図１〜図３にしたがって詳述する。

図１は車両１に搭載された道路モデル推定装置のブロック図、図２はその状態空間フイルタの追従特性調整のフローチャート、図３の（ａ）、（ｂ）は撮影画像、そのエッジ画像の例示図である。

そして、図１において、２は車両１に搭載されて車両前方を撮像するカメラであり、例えばＣＣＤの単眼カメラからなる。３は車両１の舵角センサであり、ドライバのステアリング操作に基づく車両１の舵角変化速度を検出する。

４は推定処理部を形成する推定処理ＥＣＵであり、時々刻々のカメラ２の撮影画像及び舵角センサ３の検出舵角変化速度θｖを取り込むとともに、予め設定された道路モデル推定のプログラムを実行してソフトウエアで構成されたつぎの（ｉ）〜（ｉｉｉ）の各手段を有する。

（ｉ）エッジ画像形成手段
この手段は、カメラ２の例えば図３の（ａ）の撮像画像Ｐから車両１が走行中の道路のレーンマーカを含む同図の（ｂ）のエッジ画像Ｐ＊を形成する。

（ｉｉ）パラメータ導出手段
この手段は、前記のエッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む道路モデルとしての状態空間モデルΓに所定の状態空間フィルタを適用して道路形状、車両状態のパラメータを導出する。そして、この実施形態にあっては、前記状態空間フイルタはカルマンフイルタ（詳しくは拡張カルマンフイルタ）からなる。

（ｉｉｉ）駆動行列特性調整手段
この手段は、舵角センサ３の検出舵角変化速度θｖの大小に応じて前記の状態空間フイルタの駆動行列の動特性を高低可変し、状態空間フイルタの追従特性を可変する。そして、この実施形態の場合、前記の動特性の可変は、舵角センサ３の検出舵角変化速度θｖと予め設定された所定の閾値との比較に基づき、状態空間フイルタの駆動行列の動特性を高、低の２値に切り換える。すなわち、検出舵角変化速度θｖが閾値より大きときは前記駆動行列の対角成分を大きくしてその動特性を高くし、検出舵角変化速度θｖが閾値以下のときは前記駆動行列の対角成分を小さくしてその動特性を低くする。

なお、検出舵角変化速度θｖは前後する時刻（時点）ｋ−１、ｋのステアリング角度θ_ｋ−１、θ_ｋの差の絶対値、換言すれば、微分値であり、θｖ＝｜θ_ｋ−θ_ｋ−１｜である。

さらに、図１の５、６はアクチュエータＥＣＵ、警報ＥＣＵであり、推定処理ＥＣＵ４の前記各パラメータの変化等に基づく追従走行制御や自動ブレーキ制御に基づき、車両１のスロットル、ブレーキのアクチュエータ制御、ブレーキや衝突の警報制御それぞれを行う。

そして、カメラ２の毎フレームの撮像画像Ｐが推定処理ＥＣＵ４に取り込まれると、このＥＣＵ４は、そのエッジ画像形成手段により、取り込んだ画像の全画素の濃度値を微分２値化処理してエッジ画像Ｐ＊を形成する。

さらに、パラメータ導出手段により、形成したエッジ画像Ｐ＊から、道路のレーンマーカに対応するレーンマーカ候補点を複数抽出し、抽出した複数のレーンマーカ候補点の画像平面上の座標を求め、これらの座標を観測ベクトルに含む道路モデルとしての状態空間モデル（非線形モデル）Γにカルマンフイルタを適用する。

つぎに、このカルマンフイルタについて説明する。

まず、道路モデルは、よく知られているように、つぎの数１の（１）式、数２の（２）式で示される。

この両式において、Ｘ、Ｙ、Ｚは道路座標系の横幅方向、高さ方向、車両進行方向の直交３軸の位置座標のパラメータ、ｘ、ｙはＸ、Ｙ座標に平行な画像座標系の横軸、縦軸の位置座標のパラメータであり、いずれの座標系もカメラ２のレンズ中心が原点であり、カメラ２の焦点距離をｆとして、ｘ＝−ｆ（Ｘ／Ｚ）、ｙ＝−ｆ（Ｙ／Ｚ）である。

また、ｙ_０は車両１の横変位、ρは道路曲率、φは車両１のヨー角、Ｗ_Ｌは道路幅、βはカメラ２のカメラピッチ、ｈ_０はカメラ２の路面からの高さそれぞれのパラーメータである。

さらに、（１）式、（２）式等を整理すると、画像平面上のレーンマーカ候補点の各座標Ｐ（ｘ、ｙ）と推定すべきパラメータ（ρ、φ、ｙｃ、Ｗ_Ｌ、β）との関係を示す、つぎの数３の（３）式が得られる。

つぎに、前記（１）式〜（３）式の道路モデルから、対応する状態空間モデルΓの時刻（時点）ｋの状態ベクトルξｋ、観測ベクトルζｋは、つぎの数４の（４）式、数５の（５）式それぞれで表すことができ、観測ベクトルζｋに、前記の各レーンマーカ候補点のｘ座標値が含まれる。

そして、状態空間モデルΓの状態方程式はつぎの数６の（６）式で与えられる。なお、（６）式において、ｋは０、１、…、Ｎの各時刻であり、Ｆｋは状態遷移行列であり、ここでは単位行列とする。Ｇｋは駆動行列である。

そのため、（３）式〜（５）式に基き、状態空間モデルΓは、つぎの数７の（７）式〜数１１の（１１）式に示すようになる。なお、Ｌｋはいわゆるゲインの行列であり、式中のＴは転置行列であることを示す。

そして、この状態空間モデルΓに適用する拡張カルマンフイルタは、つぎの数１２の（１２）式〜数１６の（１６）式のアルゴリズムのフイルタである。

なお、（１２）式〜（１６）式において、Ｒｋは観測雑音ｖｋの共分散行列、Ｑｋはいわゆるシステム雑音ｗｋの共分散行列、Ｈｋはつきの数１７の（１７）式で示される観測行列である。

また、行列Ｑｋがカルマンフイルタの駆動行列であり、例えばつぎの数１８の（１８）式の対角行列で表わされる。

そして、この実施形態においては、行列Ｑｋとして、その動特性の高、低に対応する、対角成分が異なる２種類の対角行列を、駆動行列特性調整手段の書き換え自在の不揮発性メモリ（図示せず）に保持する。

さらに、ドライバのステアリング操作の緩、急に応じて、すなわち、舵角センサ３の検出舵角速度θｖの高、低にしたがってカルマンフイルタの駆動行列の動特性を高、低に２値切り換えで可変し、カルマンフイルタの追従特性を遅、速に切り換えて可変するため、駆動行列特性調整手段により、例えば図２のステップＳ１〜Ｓ４の手順で行列Ｑｋを前記の２種類の対角行列に択一的に切り換えて設定する。

具体的には、ステップＳ１により舵角センサ３の検出舵角速度θｖを取り込むと、ステップＳ２により検出舵角速度θｖと設定された閾値Ｔｈと比較する。

そして、車線変更等行なうためにドライバがステアリングをすばやく操作し、検出舵角速度θｖが閾値Ｔｈより大きくなるときは、ステップＳ２からステップＳ３に移行し、行列Ｑｋを動特性の高い一方の対角行列に切り換える。

また、直進走行等のドライバがステアリングをゆっくり操作するときは、検出舵角速度θｖが閾値Ｔｈ以下になることから、ステップＳ２からステップＳ４に移行し、行列Ｑｋを動特性の低い他方の対角行列に切り換える。

そして、パラメータ導出手段により、状態空間モデルΓに上記のように検出舵角速度θｖの高、低にしたがって駆動行列を切り換えて追従特性を可変したカルマンフイルタを適用して道路形状、車両状態のパラメータρ、φ、ｙｃ、Ｗ_Ｌ、βを導出し、道路モデルを推定する。

なお、前記の２種類の対角行列は、カルマンフイルタの追従特性の変化等を考慮して実験等に基いて設定され、例えば、低特性の行列が対角成分（ｑ１、…、ｑ５）＝（１０、５、３０、４０、５）であれば、高特性の行列は対角成分（ｑ１、…、ｑ５）＝（１００、５０、３００、４００、５０）に設定される。

したがって、この実施形態の場合、状態空間フイルタをカルマンフイルタとし、その駆動行列の動特性を、舵角センサ３の検出舵角変化速度θｖと閾値との比較に基づいて２値に切り換える簡単な構成で、ドライバが素早くステアリング操作を行う車線変更時等には、状態空間フイルタの駆動行列の動特性を高くして状態空間フイルタの追従性を高速にし、推定の遅れをが生じないようにすることができ、また、ドライバのステアリング操作がゆっくりとしている直進走行時等には、状態空間フイルタの駆動行列の動特性を低くして状態空間フイルタの安定性を向上し、推定結果が暴れることがないようにすることができる。

したがって、道路モデル推定に用いる状態空間フイルタの追従の安定性と高速性の両立を、簡単な構成で図ることができ、状態空間フイルタを車両挙動に応じた適切な追従特性に設定することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。

例えば、前記実施形態においては、閾値を１個設定して状態空間フィルタ（カルマンフイルタ）の駆動行列の動特性を高、低の２値に切り換えたが、異なる複数個の閾値を設定して状態空間フィルタの駆動行列の動特性を検出舵角変化速度θｖの大きさにしたがって高から低、その逆にステップ状に切り換えるようにしてもよく、この場合は、状態空間フイルタの追従特性のより細やかな調整が行なえる。また、場合によっては、前記駆動行列の動特性を検出舵角変化速度θｖの大きさにしたがて連続的に可変し、状態空間フイルタの追従特性の一層細やかな調整をするようにしてもよい。

また、状態空間フイルタがＨ∞フィルタ等の場合にも本発明を同様に適用できるのは勿論である。

この発明の一実施形態のブロック図である。図１の推定処理部の状態空間フイルタの追従特性調整のフローチャートである。（ａ）、（ｂ）は図１のカメラの撮影画像、そのエッジ画像の例示図である。

符号の説明

１車両
２カメラ
３舵角センサ
４推定処理ＥＣＵ

Claims

車両に搭載されて車両前方を撮像するカメラと、
前記車両のステアリング操作を検出する舵角センサと、
前記カメラの撮影画像から前記車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定する推定処理部とを備え、
前記推定処理部に、
前記カメラの撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成するエッジ画像形成手段と、
前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出するパラメータ導出手段と、
前記舵角センサの検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前前記状態空間フイルタの追従特性を可変する駆動行列特性調整手段とを設けたことを特徴とする道路モデル推定装置。
駆動行列特性調整手段が、舵角センサの検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の動特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とする請求項１に記載の道路モデル推定装置。
状態空間フイルタがカルマンフイルタであることを特徴とする請求項１または２に記載の道路モデル推定装置。
車両前方の撮影画像から車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定するときに、
前記撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成
し、
前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出し、
かつ、前記車両の検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前記状態空間フイルタの追従特性を可変することを特徴とする道路モデル推定方法。
検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の応答特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とする請求項４に記載の道路モデル推定方法。
状態空間フイルタがカルマンフイルタであることを特徴とする請求項４または５に記載の道路モデル推定方法。