JP2015199423A - 走路推定装置及び走路推定プログラム - Google Patents

Abstract

【課題】走行環境が急変する場合に、適切なタイミングで走路パラメータの推定の応答性を高くすることが可能な走路推定装置を提供する。【解決手段】車載カメラ１０により撮影された画像から、走路の区画線を構成するエッジ点の座標を算出する算出手段と、算出されたエッジ点の座標に基づき、所定のフィルタを用いて、走路パラメータを推定する推定手段と、所定のフィルタのパラメータであって、走路パラメータの推定の応答性に関するフィルタパラメータを設定する設定手段と、車両が進入する前に急カーブを予告する情報に基づいて、急カーブを検出する検出手段と、を備え、設定手段は、検出手段により急カーブが検出されてから車両が急カーブに進入するまでに、所定のフィルタのフィルタパラメータを、急カーブが検出される前よりも応答性が高くなるように設定する。【選択図】 図１

Description

本発明は、車載カメラにより撮影された画像に基づいて、走路パラメータを推定する走路推定装置及び走路推定プログラムに関する。

車載カメラで車両の前方を撮影した画像から、走路の区画線のエッジ点を抽出し、状態空間フィルタを用いて、曲率、ヨー角、ピッチ角等の走路パラメータを推定する装置が提案されている。

上記状態空間フィルタは、パラメータを推定するときのフィルタの応答性を高く設定すると、ノイズに対する応答性まで大きくなるために、走路パラメータの推定が不安定となり問題となる。一方、フィルタの応答性を低く設定すると、車両の状態や走路の形状が急変したときに、走路パラメータの推定の遅れが生じる。そこで、状態空間フィルタの追従特性を、車両の挙動に応じて設定することが提案されている。

例えば、特許文献１では、ステアリング操舵角の変化速度の大小に応じて、状態空間フィルタの駆動行列の動特性を高特性と低特性とで可変にし、状態空間フィルタの応答性を可変にしている。

特開２００６−２８５４９３号公報

特許文献１では、ステアリング操舵角の変化速度が変化してから、状態空間フィルタの応答性を変更している。そのため、走行環境が急変する場合に、推定の応答性を高くするタイミングが遅れるおそれがある。

特に、急カーブでは、急カーブに進入してから状態空間フィルタの応答性が高く変更されるため、推定された走路パラメータに基づいて車両の走行支援を行うと、操舵が切り遅れて、車両が急カーブで膨らんで走行するおそれがある。

本発明は、上記実情に鑑み、走行環境が急変する場合に、適切なタイミングで走路パラメータの推定の応答性を高くすることが可能な走路推定装置を提供することを主たる目的とする。

上記課題を解決するため、請求項１に記載の発明は走路推定装置であって、車両の前方の走路を撮影する車載カメラにより撮影された画像から、前記走路の区画線を構成するエッジ点の座標を算出する算出手段と、前記算出手段により算出された前記エッジ点の座標に基づき、所定のフィルタを用いて、前記車両に対する前記走路の状態及び前記走路の形状に関する走路パラメータを推定する推定手段と、前記所定のフィルタのパラメータであって、前記推定手段による前記走路パラメータの推定の応答性に関するフィルタパラメータを設定する設定手段と、前記車両が進入する前に急カーブを予告する情報に基づいて、前記急カーブを検出する検出手段と、を備え、前記設定手段は、前記検出手段により急カーブが検出されてから前記車両が前記急カーブに進入するまでに、前記フィルタパラメータを、前記急カーブが検出される前よりも前記応答性が高くなるように設定する。

請求項１に記載の発明によれば、車載カメラにより撮影された画像から、走路の区画線を構成するエッジ点の座標が算出され、算出されたエッジ点の座標に基づき、所定のフィルタを用いて走路パラメータが推定される。

さらに、車両が進入する前に急カーブを予告する情報に基づいて、急カーブが検出される。そして、急カーブが検出されてから車両が急カーブに進入するまでに、走路パラメータの推定の応答性に関するフィルタパラメータが、急カーブが検出される前よりも推定の応答性が高くなるように設定される。

よって、車両が急カーブに進入する前に、走路パラメータの推定の応答性を高くすることができる。ひいては、走路パラメータに基づいて走行支援を行う場合でも、急カーブで操舵が切り遅れるおそれがない。すなわち、走路が急カーブになっている場合に、適切なタイミングで走路パラメータの推定の応答性を高くすることができる。

また、請求項３に記載の発明は走路推定装置であって、車両の前方の走路を撮影する車載カメラにより撮影された画像から、前記走路の区画線を構成するエッジ点の座標を算出する算出手段と、前記算出手段により算出された前記エッジ点の座標に基づき、所定のフィルタを用いて、前記車両に対する前記走路の状態及び前記走路の形状に関する走路パラメータを推定する推定手段と、前記所定のフィルタのパラメータであって、前記推定手段による前記走路パラメータの推定の応答性に関するフィルタパラメータを設定する設定手段と、前記車両が進入する前に前記区画線の状態が急変する急変部を予告する情報に基づいて、前記急変部を検出する検出手段と、を備え、前記設定手段は、前記検出手段により前記急変部が検出されてから前記車両が前記急変部に進入するまでに、前記フィルタパラメータを、前記急変部が検出される前よりも前記応答性が高くなるように設定する。

請求項３に記載の発明によれば、請求項１と同様に、車両が走行区画線の状態が急変する急変部に進入する前に、走路パラメータの推定の応答性を高くすることができる。ひいては、走路パラメータに基づいて走行支援を行う場合でも、急変部で操舵が切り遅れるおそれがない。すなわち、走路が急変している場合に、適切なタイミングで走路パラメータの推定の応答性を高くすることができる。

走路推定装置の構成を示すブロック図。 カルマンフィルタを用いた走路パラメータの算出を示すブロック図。 急カーブの予告情報を示す図。 走路パラメータを推定する処理手順を示すフローチャート。 急カーブを検出する処理手順を示すフローチャート。

以下、走路推定装置を具現化した実施形態について、図面を参照しつつ説明する。まず、本実施形態に係る走路推定装置２０の構成について、図１を参照して説明する。走路推定装置２０は、車載カメラ１０により撮影された画像から、車両前方の道路（走路）の白線（区画線）を検出し、検出した白線に基づいて、レーンキーピング制御（ＬＫＡ制御）に用いる走路パラメータを算出する。

車載カメラ１０は、ＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等であり、車両の前方の道路を撮影するように、車両に搭載されている。詳しくは、車載カメラ１０は、車両の中央前方側に取り付けられており、車両前方へ向けて所定角度範囲で広がる領域を撮影する。

走路推定装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏ等を備えたコンピュータとして構成されている。ＣＰＵが、ＲＡＭ等のメモリにインストールされているプログラム（走路推定プログラム）を実行することにより、白線算出手段２１、急カーブ検出手段２２、フィルタパラメータ設定手段２３、走路パラメータ推定手段２４の各種手段を実現する。

白線算出手段２１は、車載カメラ１０により撮影された画像を取得し、取得した画像にsobelフィルタ等を適用して、エッジ点を抽出する。そして、白線算出手段２１は、抽出したエッジ点をハフ変換して白線候補となる直線を検出し、検出した白線候補の中から、左右の白線として最も白線らしい白線候補を左右一本ずつ選択する。さらに、白線算出手段２１は、選択した白線を構成するエッジ点の画像平面上の座標を算出する。画像平面座標は、画像処理画面の水平方向をｍ軸、垂直方向をｎ軸とした座標系である。

走路パラメータ推定手段２４は、白線算出手段２１により算出されたエッジ点の座標に基づき、カルマンフィルタ（詳しくは拡張カルマンフィルタ）を用いて、車両に対する走路の状態及び走路の形状に関する走路パラメータを算出する。車両に対する走路の状態に関するパラメータは、車線位置ｙｃ、車線傾きφ、ピッチング量βである。走路の形状に関するパラメータは、車線曲率ρ、車線幅Ｗｌである。

車線位置ｙｃは、車載カメラ１０を中心として進行方向に伸びる中心線から、道路の幅方向の中心までの距離であり、車両の道路幅方向の変位を表す。車両が道路の中央を走行している場合に、車線位置ｙｃは０となる。車線傾きφは、左右の白線の中央を通過する仮想的な中央線の接線の車両進行方向に対する傾きであり、車両のヨー角を表す。ピッチング量βは、車載カメラ１０のピッチ角であり、道路に対する車両のピッチ角を表す。車線曲率ρは、左右の白線の中央を通過する仮想的な中央線の曲率である。車線幅Ｗｌは、車両の中心線と直交する方向における左右の白線の間隔であり、道路の幅を表す。

走路パラメータ推定手段２４は、算出されたエッジ点の座標を観測値として、カルマンフィルタを用いて上記走路パラメータを算出する。カルマンフィルタを用いた走路パラメータ算出の概要を、図２を参照して説明する。前回の走路パラメータの推定値を、所定の遷移行列２４５により今回の走路パラメータの予測値２４６に変換する。また、今回の走路パラメータの予測値２４６を、今回観測値２４１（ｎ座標値）及び後述する式（１）を用いて、予測観測値２４２（ｍ座標値）に変換する。さらに、観測値と予測値とのずれである差分２４３を、今回観測値２４１（ｍ座標値）と予測観測値２４２とから算出し、算出した差分２４３をカルマンゲインで重み付け処理２４５する。そして、走路パラメータの予測値２４６と、カルマンゲインで重み付けした差分２４４とを合成処理２４７し、走路パラメータの今回推定値２４８を算出する。

次に、カルマンフィルタについて説明する。ここで、算出した白線エッジ点の座標Ｐ（ｍ，ｎ）と、推定すべき走路パラメータ（ｙｃ，φ，ρ，Ｗｌ，β）との関係を次の式（１）で示す。なお、ｈ０は車載カメラ１０の道路面からの高さを表し、ｆは車載カメラ１０の焦点距離を表す。この式（１）は、カルマンフィルタを構成する際の観測方程式に用いられる。

次に、時点ｋ（ｋ＝０，１，…Ｎ）における状態ベクトルｘｋを式（２）のように表す。式中のＴは転置行列であることを示す。

このとき、状態方程式と観測方程式は、次の式（３）〜（４）で表される。

ここで、ｙｋは観側ベクトル、Ｆｋは遷移行列、Ｇｋは駆動行列、ｗｋはシステム雑音、ｈｋは観測関数、ｖｋは観測雑音である。

そして、式（３）〜（４）に適用するカルマンフィルタは、次の式（５）〜（９）として表される。

式（５）〜（９）において、Ｋｋはカルマンゲイン、Ｒｋは観測雑音ｖｋの共分散行列であり、Ｑｋはシステム雑音ｗｋの共分散行列で例えば式（１０）で表される。Ｑｋは、予測値に対する信頼度を表し、一般的にＱｋが大きいほど、システム雑音ｗｋが大きいことを意味し、予測値に対する信頼度は低くなる。同様に、一般的にＲｋが大きいほど、観測値に対する信頼度は低くなる。また、Ｈｋは式（１１）で表される観測行列である。

式（５）で表されるように、所定時点ｋの走路パラメータは、一つ前の時点ｋ−１の走路パラメータ、すなわち過去に推定した走路パラメータから予測した所定時点ｋの予測値と、所定時点ｋの観測値と予測値とのずれをカルマンゲインＫｋで加重した値と、の和となっている。よって、カルマンゲインＫｋは、走路パラメータの推定の応答性を表す。予測値に対して観測値の重みを大きくすれば、走路パラメータの推定の応答性、すなわち白線の状態の変化への追従性が向上する。一方、観測値に対して予測値の重みを大きくすれば、走路パラメータの推定の応答性が低下するとともに、耐ノイズ性が向上する。

カルマンゲインＫｋの値は、システム雑音ｗｋの共分散行列Ｑｋ、及び観測雑音ｖｋの共分散行列Ｒｋを変更することで変化する。すなわち、システム雑音ｗｋの共分散行列Ｑｋ及び観測雑音ｖｋの共分散行列Ｒｋは、走路パラメータの推定の応答性に関するフィルタパラメータであり、システム雑音ｗｋの共分散行列Ｑｋ、及び観測雑音ｖｋの共分散行列Ｒｋを変更することで、走路パラメータの推定の応答性を変更できる。

急カーブ検出手段２２は、車両が進入する前に急カーブを予告する情報に基づいて、車両前方の急カーブを検出する。急カーブを予告する情報としては、図３に示すように、道路面に描かれたペイント、道路標識、車線幅の増加、白線算出手段２１により検出された白線の内側に描かれた補助線、先行車両のブレーキランプの点灯等がある。急カーブ検出手段２２は、車載カメラ１０により撮影された画像に基づいて、上記急カーブを予告する情報を検出する。

また、急カーブを予告する情報として、ナビ装置１１により作成された経路案内情報において、進行方向で示される急カーブ情報がある。さらに、急カーブを予告する情報として、自車両の減速度が閾値よりも大きいこと、及び先行車両の減速度が閾値よりも大きいことがある。通常、急カーブの進入前では、操舵が行われる前に減速が行われる。よって、急カーブ検出手段２２は、自車両の加速度及び減速度を検出する加速度センサ１２の検出値、及び先行車両の速度を検出する超音波センサ１３の検出値に基づいて、急カーブを予告する情報を検出する。

さらに、急カーブ検出手段２２は、Ｓ＝α・ｆ１＋β・ｆ２＋γ・ｆ３＋…の式を用いて、検出した複数の急カーブの予告情報を重み付けして統合し、複数の予告情報を統合した統合値Ｓ基づいて、車両が進入する前に急カーブを検出する。なお、α，β，γ，…は各予告情報に対する重みを示し、ｆ１，ｆ２，ｆ３，…は各予告情報を検出した場合に１、検出しなかった場合に０とする。予告情報のうち、道路ペイント、道路標識、ナビ情報は、車両の進路に急カーブがある蓋然性が高いので、他の予告情報よりも重く重み付けする。

フィルタパラメータ設定手段２３は、急カーブ検出手段２２により急カーブが検出されてから、車両が検出された急カーブに進入するまでに、推定の応答性に関するフィルタパラメータを、急カーブが検出される前よりも応答性が高くなるように設定する。急カーブでは、操舵が切り遅れないように、道路の曲率を推定する応答性を高くする必要がある。そこで、フィルタパラメータ設定手段２３は、急カーブが検出された場合、車両が急カーブに進入する前に、走路パラメータの推定の応答性が高くなるように、システム雑音ｗｋの共分散行列Ｑｋ（ａ，ｂ，ｃ，ｄ，ｅ）を設定する。フィルタパラメータ設定手段２３は、急カーブが検出された場合、同様に、観測雑音ｖｋの共分散行列Ｒｋを設定してもよいし、システム雑音ｗｋの共分散行列Ｑｋと、観測雑音ｖｋの共分散行列Ｒｋの両方を設定してもよい。これにより、車両が急カーブに進入する前に道路の曲率を推定する速度が向上するため、走路パラメータに基づいてＬＫＡ制御を行っても、操舵が切り遅れるおそれがない。

次に、走路パラメータを推定する処理手順について図４のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により画像が撮影される度に、走路推定装置２０が実行する。

まず、車載カメラ１０により撮影された画像を取得する（Ｓ１０）。続いて、Ｓ１０で取得した画像からエッジ点を抽出し、抽出したエッジ点から左右の白線を検出する。そして、検出した白線を構成するエッジ点の座標を算出する（Ｓ１１）。

続いて、車両が進入する前に急カーブを検出する（Ｓ１２）。急カーブの検出処理については後で説明する。急カーブの検出中は急カーブフラグをオンにし、急カーブを検出していない間は急カーブフラグをオフにする。

続いて、急カーブフラグがオンかオフか判定する（Ｓ１３）。すなわち、急カーブの検出中か否か判定する。急カーブフラグがオン、すなわち急カーブ検出中の場合は（Ｓ１３：ＯＮ）、カルマンフィルタのフィルタパラメータであるシステム雑音ｗｋの共分散行列Ｑｋを、急カーブ用の共分散行列Ｑｋに設定する（Ｓ１４）。急カーブ用の共分散行列Ｑｋは、通常の共分散行列Ｑｋよりも、観測値の重みを大きくし、走路パラメータの推定の応答性を向上させる。一方、急カーブフラグがオフ、すなわち急カーブを検出していない間は（Ｓ１３：ＯＦＦ）、システム雑音ｗｋの共分散行列Ｑｋを、通常の共分散行列Ｑｋに設定する（Ｓ１５）。通常の共分散行列Ｑｋは、急カーブ用の共分散行列Ｑｋよりも、予測値の重みを大きくし、走路パラメータの推定の安定性を向上させる。

続いて、Ｓ１１で算出したエッジ点の座標に、Ｓ１４又はＳ１５で設定したフィルタパラメータを用いたカルマンフィルタを適用して、走路パラメータ、車線位置ｙｃ、車線傾きφ、ピッチング量β、車線曲率ρ、車線幅Ｗｌを推定する。以上で本処理を終了する。

次に、車両が進入する前に急カーブを検出する処理（図４のＳ１２）の手順について、図５のフローチャートを参照して説明する。

まず、急カーブ進入前の特徴、すなわち急カーブの予告情報を検出しているか否か判定する（Ｓ１２１）とともに、急カーブ終了時の特徴を検出しているか否か判定する（Ｓ１２４）。

急カーブ進入前の特徴を検出しているか否かの判定は、上述した統合値Ｓが第１閾値以上か否か判定して行う。統合値Ｓが第１閾値以上の場合は、進入前に急カーブを検出したと判定して（Ｓ１２１：ＹＥＳ）、急カーブ進入フラグをオンにする（Ｓ１２２）。一方、統合値Ｓが第１閾値よりも小さい場合は、急カーブを検出していないと判定して（Ｓ１２１：ＮＯ）、急カーブ進入フラグをオフにする（Ｓ１２３）。

また、急カーブ終了時の特徴を検出しているか否かの判定は、統合値Ｓ＜第２閾値（第１閾値以下の値）の条件を満たしている継続時間ｔが、判定時間（例えば１０秒）以上であるか否か判定して行う。統合値Ｓが判定時間以上続けて第２閾値よりも小さい場合に、急カーブの終了を検出したと判定して（Ｓ１２４：ＹＥＳ）、急カーブ終了フラグをオンにする（Ｓ１２５）。一方、統合値Ｓ＜第２閾値の条件を満たしている継続時間ｔが判定時間未満の場合に、急カーブの終了を検出していないと判定して（Ｓ１２４：ＮＯ）、急カーブ終了フラグをオフにする（Ｓ１２６）。なお、急カーブ終了フラグがオンのときは、急カーブ進入フラグはオフになる。

続いて、急カーブフラグオンの状態で、急カーブ終了フラグがオンになった場合には、急カーブフラグをオフにする（Ｓ１２７）。また、急カーブフラグオフの状態で、急カーブ進入フラグオンになった場合には、急カーブフラグをオンにする（Ｓ１２８）。これにより、車両の進入前に急カーブを検出してから、急カーブが検出されなくなるまでの間、急カーブフラグがオンになる。その後、Ｓ１３の処理に進む。

以上説明した本実施形態によれば、以下の効果を奏する。

・急カーブが検出されてから、検出された急カーブに車両が進入するまでに、走路パラメータの推定の応答性に関するフィルタパラメータが、急カーブが検出される前よりも、応答性が高くなるように設定される。よって、車両が急カーブに進入する前に、走路パラメータの推定の応答性を高くすることができる。ひいては、走路パラメータに基づいてＬＫＡ制御を行う場合でも、急カーブで操舵が切り遅れるおそれがない。すなわち、道路が急カーブになっている場合に、適切なタイミングで走路パラメータの推定の応答性を高くすることができる。

・車両が急カーブに進入する前に、急カーブ進入前を示す特徴である予告情報が複数検出され、検出された複数の予告情報はそれぞれ重み付けされて統合される。そして、統合された複数の予告情報に基づいて急カーブが検出される。よって、複数の予告情報に基づいて高精度に急カーブを検出することができる。ひいては、適切なタイミングで走路パラメータの推定の応答性を高くすることができる。

・カルマンフィルタを適用する場合、過去に推定された走路パラメータに基づいた時点ｋの予測値に対して、時点ｋの観測値の重みを大きくすることにより、走路パラメータの推定の応答性は高くなる。また、時点ｋの予測値に対して時点ｋの観測値の重みを小さくすることにより、走路パラメータの推定の応答性は低くなる。よって、急カーブが前方にある場合に、予測値と観測値との重みに関するフィルタパラメータを、通常時のフィルタパラメータから急カーブ用のフィルタパラメータに切り替えることで、走路パラメータの推定の応答性を高くすることができる。

（他の実施形態）
・車両が進入する前に、白線の状態が急変する急変部を予告する情報に基づいて、急変部を検出し、急変部が検出されてから、検出された急変部に車両が進入するまでに、推定の応答性に関するフィルタパラメータを応答性が高くなるように設定してもよい。急変部には、急カーブが含まれる。なお、推定の応答性に関するフィルタパラメータを設定する際に、応答性が段階的に高くなるように設定してもよい。

このようにすると、車両が白線の状態が急変する急変部に進入する前に、走路パラメータの推定の応答性を高くすることができる。ひいては、走路パラメータに基づいてＬＫＡ制御を行う場合でも、急変部で操舵が切り遅れるおそれがない。すなわち、道路が急変している場合に、適切なタイミングで走路パラメータの推定の応答性を高くすることができる。

・走路パラメータの算出に適用するフィルタは、カルマンフィルタに限らない。設定により、推定の応答性を調整できるフィルタであればよく、例えば、Ｈ∞フィルタ等の状態空間フィルタでもよい。

１０…車載カメラ、２０…走路推定装置、２１…白線算出手段、２２…急カーブ検出手段、２３…フィルタパラメータ設定手段、２４…走路パラメータ推定手段。

Claims (5)

1. 車両の前方の走路を撮影する車載カメラ（１０）により撮影された画像から、前記走路の区画線を構成するエッジ点の座標を算出する算出手段（２１）と、
   前記算出手段により算出された前記エッジ点の座標に基づき、所定のフィルタを用いて、前記車両に対する前記走路の状態及び前記走路の形状に関する走路パラメータを推定する推定手段（２４）と、
   前記所定のフィルタのパラメータであって、前記推定手段による前記走路パラメータの推定の応答性に関するフィルタパラメータを設定する設定手段（２３）と、
   前記車両が進入する前に急カーブを予告する情報に基づいて、前記急カーブを検出する検出手段（２２）と、を備え、
   前記設定手段は、前記検出手段により急カーブが検出されてから前記車両が前記急カーブに進入するまでに、前記フィルタパラメータを、前記急カーブが検出される前よりも前記応答性が高くなるように設定することを特徴とする走路推定装置。
2. 前記検出手段は、前記急カーブを予告する情報を複数検出するとともに、検出した複数の前記情報をそれぞれ重み付けして統合し、統合した複数の前記情報に基づいて、前記車両が進入する前に急カーブを検出する請求項１に記載の走路推定装置。
3. 車両の前方の走路を撮影する車載カメラにより撮影された画像から、前記走路の区画線を構成するエッジ点の座標を算出する算出手段と、
   前記算出手段により算出された前記エッジ点の座標に基づき、所定のフィルタを用いて、前記車両に対する前記走路の状態及び前記走路の形状に関する走路パラメータを推定する推定手段と、
   前記所定のフィルタのパラメータであって、前記推定手段による前記走路パラメータの推定の応答性に関するフィルタパラメータを設定する設定手段と、
   前記車両が進入する前に前記区画線の状態が急変する急変部を予告する情報に基づいて、前記急変部を検出する検出手段と、を備え、
   前記設定手段は、前記検出手段により前記急変部が検出されてから前記車両が前記急変部に進入するまでに、前記フィルタパラメータを、前記急変部が検出される前よりも前記応答性が高くなるように設定することを特徴とする走路推定装置。
4. 前記所定のフィルタはカルマンフィルタであり、
   前記フィルタパラメータは、過去に推定された前記走路パラメータに基づいた所定時点の予測値と、前記所定時点の観測値との重みに関するパラメータである請求項１〜３のいずれかに記載の走路推定装置。
5. コンピュータにインストールされるプログラムであって、
   前記コンピュータに、請求項１〜４のいずれかに記載の走路推定装置（２０）が備える各手段を実現させることを特徴とする走路推定プログラム。

Images