JP2001266163A - 車両用画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理に含まれる白線検出結果の不安定要
因を最少限に抑制しながら、実際の値からの遅れが少な
い車両の横変位とヨー角および道路の曲率を演算する。 【解決手段】車両周辺の撮像画像を処理して車両と道路
との関係を表す物理量を演算し、平滑化対象の物理量以
外の物理量に基づいて平滑化対象の物理量の変化率を予
測する。そして、平滑化対象の物理量の予測変化率に応
じて可変特性型デジタルフィルターの周波数特性を変更
し、その可変特性型デジタルフィルターを用いて平滑化
対象の物理量を平滑化する。これにより、画像処理によ
る白線検出結果が不安定になっても、車両の走行状態に
応じて可変特性型デジタルフィルターの周波数特性をリ
アルタイムに変更することができ、画像処理に含まれる
白線検出結果の不安定要因を最少限に抑制して安定な物
理量を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両前方の撮像画
像を処理して道路の白線を検出し、白線検出結果に基づ
いて車両の横変位とヨー角、および道路の曲率を検出す
る装置に関する。

【０００２】

【従来の技術】車両前方の画像を撮像し、撮像画像を処
理して道路の白線を検出し、白線検出結果に基づいて車
両の横変位とヨー角、および道路の曲率を演算する車両
用画像処理装置が知られている（例えば、特開平１１−
２９６６６０号公報参照）。

【０００３】

【発明が解決しようとする課題】ところで、車両前方を
撮像した画像には、白線自体が不鮮明または欠落してい
たり、車両の振動、道路の凹凸やアップダウンなどによ
り白線が検出できなかったり、撮像画像にノイズが混入
したりして、白線検出結果が不安定になることがあり、
そのような不安定な白線検出結果に基づいて車両の横変
位とヨー角、および道路の曲率を演算すると、それらの
物理量も変動するという問題がある。

【０００４】そこで、演算結果の車両の横変位とヨー
角、および道路の曲率にローパスフィルター処理を施
し、それらの物理量を平滑化することが考えられる。

【０００５】しかし、演算結果の物理量にローパスフィ
ルター処理を施して平滑化すると、車両の挙動変化が激
しくなったときにフィルター処理後の物理量が実際の値
より遅れるという問題がある。また、このような遅れを
なくすためにローパスフィルターの折れ点角周波数を大
きくし、フィルターの周波数特性を高周波数側に変更す
ると、遅れは小さくなるが逆に不安定な白線検出結果の
影響を受けやすくなるという問題がある。

【０００６】本発明の目的は、画像処理に含まれる白線
検出結果の不安定要因を最少限に抑制しながら、実際の
値からの遅れが少ない車両の横変位とヨー角および道路
の曲率を演算することにある。

【０００７】

【課題を解決するための手段】一実施の形態の構成を示
す図１に対応づけて本発明を説明すると、 （１） 請求項１の発明は、車両に搭載されて車両周辺
を撮像する撮像手段１と、撮像画像を処理して車両と道
路との関係を表す物理量を演算する画像処理手段２と、
可変特性型デジタルフィルターを用いて画像処理による
演算結果の物理量の内のいずれかを平滑化する平滑化手
段２と、平滑化対象の物理量以外の物理量に基づいて平
滑化対象の物理量の変化率を予測する変化率予測手段２
と、平滑化対象の物理量の予測変化率に応じて可変特性
型デジタルフィルターの周波数特性を変更する特性変更
手段２とを備え、これにより上記目的を達成する。 （２） 請求項２の車両用画像処理装置は、特性変更手
段２によって、平滑化対象の物理量の予測変化率が大き
いほど可変特性型デジタルフィルターの周波数特性を高
周波数側に変更するようにしたものである。 （３） 請求項３の車両用画像処理装置では、画像処理
手段２により演算され、平滑化手段２により平滑化対象
とされる物理量に、車両の横変位ｈとヨー角φ、および
道路の曲率ｒが含まれる。 （４） 請求項４の車両用画像処理装置は、変化率予測
手段２によって、画像処理によらずに検出した車両の状
態を表す物理量に基づいて平滑化対象の物理量の変化率
を予測するようにしたものである。 （５） 請求項５の車両用画像処理装置では、画像処理
によらずに検出した車両の状態を表す物理量に、車速、
操舵角検出値、操舵角指令値、ナビゲーション装置３か
ら得た道路の曲率が含まれる。 （６） 請求項６の車両用画像処理装置は、変化率予測
手段２によって、平滑化対象の物理量以外の平滑化手段
２により平滑化した物理量に基づいて、平滑化対象の物
理量の変化率を予測するようにしたものである。 （７） 請求項７の車両用画像処理装置は、画像処理手
段２によって、撮像画像を処理して車両の横変位ｈとヨ
ー角φを演算し、変化率予測手段２によって、画像処理
による演算結果のヨー角φと画像処理によらずに検出し
た車速とに基づいて横変位ｈの変化率dｈ/dtを予測し、
特性変更手段２によって、可変特性型デジタルフィルタ
ーの周波数特性を横変位変化率dｈ/dtに応じて変更し、
平滑化手段２によって、画像処理による演算結果の横変
位ｈを可変特性型デジタルフィルターにより平滑化する
ようにしたものである。 （８） 請求項８の車両用画像処理装置は、画像処理手
段２によって撮像画像を処理して車両のヨー角φを演算
し、変化率予測手段２によって、画像処理によらずに検
出した車速と操舵角指令値とに基づいてヨー角φの変化
率dφ/dtを予測し、特性変更手段２によって、ヨー角変
化率dφ/dtに応じて可変特性型デジタルフィルターの周
波数特性を変更し、平滑化手段２によって、画像処理に
よる演算結果のヨー角φを可変特性型デジタルフィルタ
ーにより平滑化するようにしたものである。 （９） 請求項９の車両用画像処理装置は、変化率予測
手段２によって、ヨー角変化率dφ/dtの平均値(dφ/dt)
avを求め、特性変更手段２によって、ヨー角変化率の平
均値(dφ/dt)avに応じて可変特性型デジタルフィルター
の周波数特性を変更するようにしたものである。 （１０） 請求項１０の車両用画像処理装置は、画像処
理手段２によって撮像画像を処理してヨー角φの他に道
路の曲率ｒを演算し、変化率予測手段２によって、ヨー
角変化率dφ/dtまたはその平均値(dφ/dt)avを道路曲率
ｒにより補正するようにしたものである。 （１１） 請求項１１の車両用画像処理装置は、画像処
理手段２によって撮像画像を処理して道路の曲率ｒを演
算し、変化率予測手段２によって、ナビゲーション装置
３から得た道路の曲率に基づいて曲率ｒの変化率dｒ/dt
を予測し、特性変更手段２によって、曲率変化率dｒ/dt
に応じて可変特性型デジタルフィルターの周波数特性を
変更し、平滑化手段２によって、画像処理による演算結
果の道路の曲率ｒを可変特性型デジタルフィルターによ
り平滑化するようにしたものである。 （１２） 請求項１２の車両用画像処理装置は、画像処
理手段２によって撮像画像を処理して車両の横変位ｈと
ヨー角φを演算し、変化率予測手段２によって、画像処
理による演算結果のヨー角φを平滑化し、平滑化したヨ
ー角Φに基づいて横変位ｈの変化率dｈ/dtを推定し、特
性変更手段２によって、横変位変化率dｈ/dtに応じて可
変特性型デジタルフィルターの周波数特性を変更し、平
滑化手段２によって、画像処理による演算結果の車両の
横変位ｈを可変特性型デジタルフィルターにより平滑化
するようにしたものである。

【０００８】上述した課題を解決するための手段の項で
は、説明を分かりやすくするために一実施の形態の図を
用いたが、これにより本発明が一実施の形態に限定され
るものではない。

【０００９】

【発明の効果】（１） 請求項１の発明によれば、車両
周辺の撮像画像を処理して車両と道路との関係を表す物
理量を演算し、平滑化対象の物理量以外の物理量に基づ
いて平滑化対象の物理量の変化率を予測する。そして、
平滑化対象の物理量の予測変化率に応じて可変特性型デ
ジタルフィルターの周波数特性を変更し、その可変特性
型デジタルフィルターを用いて平滑化対象の物理量を平
滑化するようにしたので、白線自体が不鮮明または欠落
していたり、車両の振動、道路の凹凸やアップダウンな
どにより白線が検出できなかったり、撮像画像にノイズ
が混入したりして、白線検出結果が不安定になっても、
このような車両の走行状態に応じて可変特性型デジタル
フィルターの周波数特性をリアルタイムに変更すること
ができ、画像処理に含まれる白線検出結果の不安定要因
を最少限に抑制して安定な物理量を得ることができる。 （２） 請求項２の発明によれば、平滑化対象の物理量
の予測変化率が大きいほど可変特性型デジタルフィルタ
ーの周波数特性を高周波数側に変更するようにしたの
で、画像処理に含まれる白線検出結果の不安定要因を最
少限に抑制しながら、実際の値からの遅れが少ない物理
量を得ることができる。 （３） 請求項３の発明によれば、画像処理に含まれる
白線検出結果の不安定要因を最少限に抑制しながら、実
際の値からの遅れが少ない車両の横変位とヨー角、およ
び道路の曲率を得ることができる。 （４） 請求項４および請求項５の発明によれば、画像
処理によらずに検出した車両の状態を表す物理量に基づ
いて平滑化対象の物理量の変化率を予測するようにした
ので、変化率予測結果には画像処理による不安定な白線
検出結果の影響が含まれず、正確な変化率予測結果を得
ることができ、実際の値から遅れの少ない安定な物理量
を得ることができる。 （５） 請求項６の発明によれば、平滑化対象の物理量
以外の平滑化手段により平滑化した物理量に基づいて、
平滑化対象の物理量の変化率を予測するようにしたの
で、変化率予測結果に含まれる画像処理による不安定な
白線検出結果の影響が抑制され、正確な変化率予測結果
を得ることができ、実際の値から遅れの少ない安定な物
理量を得ることができる。 （６） 請求項７の発明によれば、撮像画像を処理して
車両の横変位ｈとヨー角φを演算し、画像処理による演
算結果のヨー角φと画像処理によらずに検出した車速と
に基づいて横変位ｈの変化率dｈ/dtを予測し、可変特性
型デジタルフィルターの周波数特性を横変位変化率dｈ/
dtに応じて変更し、その可変特性型デジタルフィルター
によって画像処理による演算結果の横変位ｈを平滑化す
るようにしたので、画像処理に含まれる白線検出結果の
不安定要因を最少限に抑制しながら、実際の値からの遅
れが少ない車両の横変位を得ることができる。 （７） 請求項８の発明によれば、撮像画像を処理して
車両のヨー角φを演算し、画像処理によらずに検出した
車速と操舵角指令値とに基づいてヨー角φの変化率dφ/
dtを予測し、ヨー角変化率dφ/dtに応じて可変特性型デ
ジタルフィルターの周波数特性を変更し、その可変特性
型デジタルフィルターによって画像処理による演算結果
のヨー角φを平滑化するようにしたので、画像処理に含
まれる白線検出結果の不安定要因を最少限に抑制しなが
ら、実際の値からの遅れが少ない車両のヨー角を得るこ
とができる。 （８） 請求項９の発明によれば、ヨー角変化率dφ/dt
の平均値(dφ/dt)avを求め、ヨー角変化率の平均値(dφ
/dt)avに応じて可変特性型デジタルフィルターの周波数
特性を変更するようにしたので、請求項８の上記効果に
加え、さらに正確で安定したヨー角を得ることができ
る。 （９） 請求項１０の発明によれば、撮像画像を処理し
てヨー角φの他に道路の曲率ｒを演算し、ヨー角変化率
dφ/dtまたはその平均値(dφ/dt)avを道路曲率ｒにより
補正するようにしたので、請求項８の上記効果に加え、
さらに正確で安定したヨー角を得ることができる。 （１０） 請求項１１の発明によれば、撮像画像を処理
して道路の曲率ｒを演算し、ナビゲーション装置から得
た道路の曲率に基づいて曲率ｒの変化率dｒ/dtを予測
し、曲率変化率dｒ/dtに応じて可変特性型デジタルフィ
ルターの周波数特性を変更し、その可変特性型デジタル
フィルターによって画像処理による演算結果の道路の曲
率ｒを平滑化するようにしたので、画像処理に含まれる
白線検出結果の不安定要因を最少限に抑制しながら、実
際の値からの遅れが少ない道路の曲率を得ることができ
る。 （１１） 請求項１２の発明によれば、撮像画像を処理
して車両の横変位ｈとヨー角φを演算し、画像処理によ
る演算結果のヨー角φを平滑化し、平滑化したヨー角Φ
に基づいて横変位ｈの変化率dｈ/dtを推定し、横変位変
化率dｈ/dtに応じて可変特性型デジタルフィルターの周
波数特性を変更し、その可変特性型デジタルフィルター
によって画像処理による演算結果の車両の横変位ｈを平
滑化するようにしたので、画像処理に含まれる白線検出
結果の不安定要因を最少限に抑制しながら、実際の値か
らの遅れが少ない車両の横変位を得ることができる。

【００１０】

【発明の実施の形態】《発明の第１の実施の形態》図１
は第１の実施の形態の構成を示す図である。ＣＣＤカメ
ラ１は車両の前方を撮像する撮像装置である。画像処理
装置２はマイクロコンピューターとメモリなどの周辺部
品から構成され、ＣＣＤカメラ１による撮像画像を処理
して車両の横変位Ｈとヨー角Φおよび道路の曲率Ｒを求
める。すなわち、撮像画像を処理して道路の白線を検出
し、白線検出結果に基づいて車両の横変位ｈとヨー角
φ、および道路の曲率ｒを演算し、さらにそれらを可変
特性型デジタルフィルターにより平滑化して車両の横変
位Ｈとヨー角Φおよび道路の曲率Ｒを求める。

【００１１】この実施の形態で用いる可変特性型デジタ
ルフィルターには、ローパスフィルターの折れ点角周波
数を変えてフィルターの周波数特性を任意に変更可能な
可変特性型デジタルローパスフィルターか、または、バ
ンドパスフィルターの高周波数側の折れ点角周波数を変
えてフィルターの周波数特性を任意に変更可能な可変特
性型デジタルバンドパスフィルターを用いる。いずれの
フィルターもこの明細書では単に可変特性型デジタルフ
ィルターと呼ぶ。

【００１２】この明細書ではまた、車両の横変位ｈとそ
れをデジタルフィルターにより平滑化した値Ｈ、ヨー角
φとそれをデジタルフィルターにより平滑化した値Φ、
および道路の曲率ｒとそれをデジタルフィルターにより
平滑化した値Ｒを、車両と道路との関係を表す物理量と
呼ぶ。

【００１３】画像処理装置２にはナビゲーション装置
３、車速検出装置４および操舵角検出装置５が接続され
る。ナビゲーション装置３は、衛星航法および自立航法
により車両の位置と進行方向を検出する。このナビゲー
ション装置３には道路地図データを記憶するメモリが内
蔵されており、任意の地点の道路の曲率ＲNなどの情報
を提供することができる。また、車速検出装置４は自車
の車速ｖspを検出し、操舵角検出装置５は前輪の操舵角
θを検出する。操舵アクチュエーター６は前輪を駆動し
て転舵を行う。

【００１４】この明細書では、車速ｖspと操舵角θを車
両の状態を表す物理量と呼ぶ。これらの車両の状態を表
す物理量は、画像処理によらず専用の検出装置により検
出した物理量であり、画像処理に含まれる白線検出結果
の不安定要因の影響のない物理量である。

【００１５】操舵角制御装置７は、画像処理装置２によ
り演算された車両の横変位Ｈとヨー角Φ、道路の曲率
Ｒ、車速検出装置４により検出された車速ｖspなどに基
づいて操舵角指令値θrを求め、操舵角検出装置５から
実際の操舵角θをフィードバックして操舵アクチュエー
ター６を制御し、車両が走行レーン内を走行するように
操舵角θを制御する、いわゆるレーンキープ制御を行
う。

【００１６】なお、この実施の形態では本発明の車両用
画像処理装置をレーンキープ制御装置に応用した例を示
すが、本発明の車両用画像処理装置はレーンキープ制御
装置のみに限定されず、例えば走行レーンからの逸脱を
警報する車線逸脱警報装置などにも応用することができ
る。

【００１７】《画像処理による演算結果の車両の横変位
ｈとヨー角φおよび道路の曲率ｒの平滑化の概要》長い
直線路をまっすぐに走行しているときの車両の横変位ｈ
とヨー角φおよび道路の曲率ｒについて考える。このよ
うな走行条件下では、演算結果の物理量ｈ、φ、ｒが急
に変化するようなことはないが、白線の不鮮明や欠落、
車両の振動、道路の凹凸やアップダウン、画像信号への
ノイズの混入などが起因して画像処理による白線検出結
果が不安定になり、それにともなって演算結果の物理量
ｈ、φ、ｒが変動することがある。

【００１８】そこで、この実施の形態では、画像処理に
よる演算結果の車両と道路との関係を表す物理量ｈ、
φ、ｒにフィルター処理を施して平滑化し、画像処理に
含まれる白線検出結果の不安定要因を最少限に抑制す
る。

【００１９】しかしながら、上述したように車両の挙動
変化が激しくなって画像処理による白線検出結果の変動
が急激になると、フィルター処理後の物理量ｈ、φ、ｒ
が実際の値から遅れを生じる。このような遅れをなくす
ためにフィルターの高周波数側の折れ点角周波数を大き
くし、フィルターの周波数特性を高周波数側に変更する
と、遅れは小さくなるが逆に画像処理による不安定な白
線検出結果の影響を受けやすくなってしまう。

【００２０】そこで、この実施の形態では、平滑化対象
の物理量ｈ、φ、ｒの変化率dｈ/dt、dφ/dt、dｒ/dtを
求め、これらの平滑化対象の物理量の変化の急激さ、す
なわち変化率に応じて可変特性型デジタルフィルターの
周波数特性を変更する。つまり、平滑化対象の物理量の
変化率が大きくなるほどデジタルフィルターの周波数特
性を高周波数側へ変更し、平滑化した物理量の真値から
の遅れを少なくする。逆に、平滑化対象の物理量の変化
率が小さくなるほどデジタルフィルターの周波数特性を
低周波数側へ変更し、画像処理による不安定な白線検出
結果の影響を最少限に抑制する。

【００２１】ところが、平滑化対象の物理量の変化率d
ｈ/dt、dφ/dt、dｒ/dtを、画像処理による演算結果の
物理量ｈ、φ、ｒから求めると、それらの物理量ｈ、
φ、ｒには画像処理による不安定な白線検出結果の影響
が含まれているため、その影響により変化率dｈ/dt、d
φ/dt、dｒ/dtも不安定に変動してしまい、可変特性型
デジタルフィルターの周波数特性を正しく変更すること
ができない。

【００２２】そこで、この実施の形態では、画像処理に
よる演算結果の物理量ｈ、φ、ｒの内のいずれか、例え
ば横変位ｈに可変特性型デジタルフィルターによる処理
を施して平滑化する場合に、横変位ｈ以外の画像処理に
よる演算結果の物理量φ、ｒや、車速ｖspや操舵角θな
どの画像処理によらずに検出した車両状態を表す物理量
や、ナビゲーション装置３により検出した道路の曲率Ｒ
Nなどに基づいて横変位ｈの変化率dｈ/dtを予測し、横
変位ｈの予測変化率dｈ/dtに応じて可変特性型デジタル
フィルターの周波数特性を変更する。

【００２３】このような車両と道路との関係を表す物理
量の変化率予測方法によれば、物理量ｈ、φ、ｒの内の
例えば横変位ｈの変化率dｈ/dtを、画像処理結果の横変
位ｈを用いずに、横変位ｈ以外の物理量φ、ｒ、ｖsp、
θ、ＲNなどを用いて予測するので、画像処理による白
線検出結果の不安定要因が最少限に抑制され、横変位ｈ
の変化率dｈ/dtを正確に予測することができる。ここで
は、画像処理による演算結果の車両の横変位ｈを例に上
げて説明したが、車両と道路との関係を表す他の物理
量、すなわち車両のヨー角φおよび道路の曲率ｒに関し
ても同様である。

【００２４】もちろん、画像処理によらずに検出した車
速ｖspや操舵角θなどの物理量に基づいて平滑化対象の
物理量の変化率を予測すれば、その変化率予測結果には
画像処理による不安定な白線検出結果の影響が含まれ
ず、正確な変化率予測結果を得ることができる。

【００２５】デジタルフィルターの特性を変える際に
は、車両と道路との関係を表す物理量、例えば上述した
例では車両の横変化ｈの予測変化率dｈ/dtが大きいほ
ど、可変特性型デジタルフィルターの周波数特性を高周
波数側に滑らかに広げ、逆に横変位ｈの予測変化率dｈ/
dtが小さいほど、可変特性型デジタルフィルターの周波
数特性を低周波数側に滑らかに狭める。車両のヨー角φ
および道路の曲率ｒに関しても同様とする。

【００２６】可変特性型デジタルフィルターの周波数特
性を滑らかに広げたり、滑らかに狭めたりするのは、物
理量の変化率予測においてたとえ可変特性型デジタルフ
ィルターの周波数特性を急激に変えるような予測結果が
出たとしても、デジタルフィルターの特性変化に制限を
設けて特性変化を緩やかにし、フィルター処理後の物理
量Ｈ、Φ、Ｒの急激な変化を避ける。

【００２７】このように、画像処理により得られた横変
位ｈ、ヨー角φ、道路曲率ｒを可変特性型デジタルフィ
ルターにより平滑化する際に、平滑化対象でない物理量
に基づいて平滑化対象の物理量の変化率を予測し、予測
変化率に応じて可変特性型デジタルフィルターの周波数
特性を緩やかに変えるようにしたので、可変特性型デジ
タルフィルターの周波数特性が車両の走行状態に応じて
リアルタイムに緩やかに変化し、画像処理に含まれる白
線検出結果の上述した不安定要因を最少限に抑制しなが
ら、実際の走行状態において真値からの遅れが小さい車
両の横変位Ｈとヨー角Φ、および道路の曲率Ｒを得るこ
とができる。

【００２８】《画像処理による車両と道路との関係を表
す物理量ｈ、φ、ｒの演算》ここで、画像処理により道
路白線を検出し、白線検出結果に基づいて車両と道路と
の関係を表す物理量、すなわち車両の横変位ｈとヨー角
φ、および道路の曲率ｒを演算する方法について説明す
る。

【００２９】図２は、画像処理装置２の車両と道路との
関係を表す物理量ｈ、φ、ｒの演算処理を示すフローチ
ャートである。画像処理装置２のマイクロコンピュータ
ーは、画像処理装置２に電源が投入されている間、繰り
返しこの物理量演算処理プログラムを実行する。

【００３０】ステップ１において、道路形状や車両挙動
を表すパラメーター（以下、道路パラメーターと呼ぶ）
を初期設定する。図３に示すような画面座標系ｘｙ上に
おいて、道路パラメーターを用いて白線モデルを次式で
表す。

【数１】 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ ・・・（１） （１）式において、ａ〜ｅは道路パラメーターであり、
路面からのカメラの高さを一定とすると、ぞれぞれの道
路パラメーターは次のような道路および白線の形状また
は車両挙動を表す。すなわち、ａは走行レーン内の自車
両の横変位を、ｂは道路の曲率を、ｃは自車両（カメラ
の光軸）の道路に対するヨー角を、ｄは自車両（カメラ
の光軸）の道路に対するピッチ角を、ｅは道路のレーン
幅を、それぞれ表す。

【００３１】また、初期状態では道路および白線の形状
や車両挙動が不明であるから、各道路パラメーターには
中央値に相当する値を初期値として設定する。すなわ
ち、横変位ａには走行レーン中央を設定し、道路曲率ｂ
には直線を設定し、走行レーンに対するヨー角ｃには０
度を設定する。また、走行レーンに対するピッチ角ｄに
は停止状態のα度を設定し、走行レーン幅ｅには道路構
造令に示される高速道路の車線幅を設定する。

【００３２】なお、車両の挙動をセンサーにより検出
し、検出結果に基づいて道路パラメーターを初期設定し
てもよい。例えば初期状態においてステアリングが右ま
たは左に転舵されている場合には、操舵角に応じた曲率
の道路を走行していると判断し、パラメーターｂに操舵
角に応じた値を設定してもよい。同様に、初期状態にお
いてピッチングが発生している場合には、パラメーター
ｄの初期値をピッチ角検出値だけずらすようにしてもよ
い。

【００３３】ステップ２において、図４に示すように、
白線候補点を検出するための小領域の初期設定を行う。
初期状態においては、道路パラメーターに初期値を設定
した白線モデルと、実際の画面上の道路白線との間には
大きな開きがあると予想されるので、できる限り大きな
領域を設定するのが望ましい。図４に示す例では、左右
の白線に５個づつ、計１０個の白線候補点検出領域を設
定する。なお、前回の処理までに道路白線がすでに検出
されている場合には、実際の道路白線と白線モデルとの
差は小さいと考えられるので、図５に示すようになるべ
く小さい領域を設定する方が、白線以外のものを誤検出
する可能性が低く、しかも処理速度を向上させることが
できる。

【００３４】ステップ３において、道路画像上に白線候
補点の検出領域を設定する。このとき、ステップ２で設
定した白線候補点検出領域と、ステップ１で算出した道
路パラメーターによる白線モデルとに基づいて、図６に
示すように、前回の処理で求めた白線モデルが領域の中
心になるように、白線候補点検出領域を設定する。図６
に示す例では、左右の白線に５個づつ、計１０個の白線
候補点検出領域を設定する。なお、過去の白線モデルの
変化の様子から、白線モデルの変化方向にオフセットし
た位置に白線候補点検出領域を設定するようにしてもよ
い。

【００３５】ステップ４で、白線候補点検出領域におい
て白線候補点の検出を行う。白線候補点の検出は、ま
ず、入力画像にｓｏｂｅｌフィルターなどを施して微分
画像を生成する。次に、白線候補点検出領域の上底の一
点と下底の一点とを結んでできるすべての線分に対し、
図７に示すように、その線分上の画素の濃度が所定値以
上の画素の数を計測する。さらに、すべての線分の中
で、濃度が所定値以上の画素が最も多い線分を検出直線
とし、その線分の始点と終点を白線候補点とする。

【００３６】このとき、検出直線上にある濃度が所定値
以上の画素の数が、検出領域の長さに対する所定の割合
よりも少ない場合は、白線候補点が検出されなかったも
のとみなす。例えば、長さが１５画素の検出領域であっ
て、所定値以上の濃度の画素が１／２以上、すなわち８
画素以上検出されれば白線候補点が検出されたとする検
出領域において、所定値以上の濃度の画素数が最も多い
線分上における画素数が、７画素未満の場合はその検出
領域において白線候補点が検出されなかったものとす
る。一方、９画素の場合は白線候補点が検出されたもの
とし、その線分の始点と終点を検出結果とする。

【００３７】以上の処理をすべての白線候補点検出領域
に対して実行する。このとき、白線候補点の検出の有無
を判断するための、検出領域の長さに対する判定基準割
合は、すべての領域に対して同一値としてもよいし、検
出領域ごとに設定してもよい。また、上記濃度の所定値
もすべての検出領域に対して同一としてもよいし、検出
領域ごとに変えてもよい。

【００３８】ステップ５では、すべての白線候補点検出
領域で検出した白線候補点の点数が所定値以上かどうか
を確認し、所定値より少なければ白線候補点検出領域内
に道路白線が含まれていなかったと判断し、ステップ２
へ戻って上述したように白線候補点検出領域を初期設定
する。一方、白線候補点が所定値以上検出された場合に
はステップ７へ進み、図８に示すように、検出した白線
候補点と前回の処理で求めた白線モデル上の点とのずれ
量を各点ごとに算出する。

【００３９】続くステップ７で、各点のずれ量に基づい
て道路パラメーターの変化量Δａ〜Δｅを算出する。こ
の変化量の算出方法は、例えば特開平８−５３８８号公
報に示されるような方法を用いることができる。ステッ
プ８では、算出した道路パラメーターの変化量Δａ〜Δ
ｅにより道路パラメーターａ〜ｅを補正する。例えば、
（１）式に示す白線モデルの場合には、次式により道路
パラメーターａ〜ｅの補正を行う。

【数２】 ａ＝ａ＋Δａ， ｂ＝ｂ＋Δｂ， ｃ＝ｃ＋Δｃ， ｄ＝ｄ＋Δｄ， ｅ＝ｅ＋Δｅ ・・・（２）

【００４０】ステップ９において、道路パラメーターが
正常かどうかを確認する。この実施の形態では、各パラ
メーターごとに予め設定された所定の範囲を超える場合
は正常でないと判断する。道路パラメーターが正常な場
合はステップ３へ戻り、上述した処理を繰り返す。一
方、道路パラメーターが正常でない場合はステップ１０
へ進み、道路パラメーターの初期化を行ってステップ３
へ戻り、上述した処理を繰り返す。

【００４１】このようにして求めた二次元座標系におけ
る道路パラメーター、車両の横変位ａとヨー角ｃおよび
道路の曲率ｂを透視変換により三次元座標系へ変換する
と、車両と道路との関係を表す物理量、すなわち車両の
横変位ｈとヨー角φおよび道路の曲率ｒを求めることが
できる。

【数３】 （３）式において、ｈcはＣＣＤカメラ１の道路面から
の取り付け高さを、ｆはＣＣＤカメラ１の焦点距離を、
Ｚは注視点までの距離をそれぞれ表す。

【００４２】《車両と道路との関係を表す物理量の変化
率予測》次に、車両と道路との関係を表す物理量、車両
の横変位ｈとヨー角φおよび道路の曲率ｒの変化率dｈ/
dt、dφ/dt、dｒ/dtを予測する方法について説明する。

【００４３】上述したように、画像処理による演算結果
の物理量ｈ、φ、ｒの変化率dｈ/dt、dφ/dt、dｒ/dt
を、画像処理による演算結果の物理量ｈ、φ、ｒの内の
平滑化対象でない物理量や、画像処理によらずに検出し
た車速ｖspや操舵角θなどの車両状態を表す物理量や、
道路曲率ＲNなどのナビゲーション装置３から得られる
道路情報などに基づいて推定する。

【００４４】例えば、道路の曲率ｒの変化率dｒ/dtは、
ナビゲーション装置３から車両の現在地の道路曲率と進
行方向道路上の次の地点の道路曲率との差を求め、その
差と両地点間の距離とに基づいて予測することができ
る。また、白線に対する車両のヨー角φの変化率（ヨー
レート）dφ/dtは、車速ｖspと操舵角θとに基づいて演
算したヨー角変化率（dφ/dt）により、あるいはこれに
曲率補正を施した値により、予測することができる。さ
らに、白線に対する車両の横変位ｈの変化率dｈ/dtは、
ヨー角φおよび／または曲率ｒと車速ｖspとに基づいて
予測することができる。これらの予測方法については、
以下に述べる画像処理による演算結果の物理量ｈ、φ、
ｒの平滑化例の中で詳述する。

【００４５】《車両の横変位ｈの平滑化例》図９に示す
フローチャートにより、車速ｖspと画像処理による演算
結果のヨー角φとに基づいて、画像処理による演算結果
の車両の横変位ｈを可変特性型デジタルフィルターで平
滑化する処理を説明する。

【００４６】ステップ２１において、上述した図２に示
す物理量演算処理を行い、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を表す物理量の車両横変位ｈとヨー角
φを演算する。

【００４７】ステップ２２で、平滑化対象の横変位ｈ以
外の物理量であるヨー角φと、画像処理によらず車速検
出装置４により検出した車速ｖspとに基づいて、次の画
像処理による物理量の更新時点における横変位ｈの変化
量Δｈを次式により予測する。

【数４】 Δｈ＝ｖsp・ｔv・sinφ ・・・（４） （４）式において、ｔvは画像処理による物理量の更新
周期であり、この実施の形態ではビデオレートの１／３
０[ｓ]とする。

【００４８】この車両の横変位ｈの平滑例では、物理量
ｈの変化量Δｈをその更新周期ｔvで除したものが横変
位ｈの変化率dｈ/dtであるから、横変位ｈの変化率dｈ/
dtの代わりに横変位ｈの更新周期ｔvにおける変化量Δ
ｈを用いる。つまり、物理量ｈ、φ、ｒの所定時間当た
りの変化量Δｈ、Δφ、Δｒに応じて可変特性型デジタ
ルフィルターの周波数特性を変えても、物理量ｈ、φ、
ｒの変化率dｈ/dt、dφ/dt、dｒ/dtに応じて可変特性型
デジタルフィルターの周波数特性を変えた場合と同様な
効果が得られる。

【００４９】ステップ２３では、横変位変化量Δｈに応
じた可変特性型デジタルフィルターの特性Ｔc1を次式に
より求める。

【数５】 Ｔc1＝func1（Δｈ） ・・・（５） （５）式において、func1（ ）は、図１０に示すよう
な横変位変化量に対するフィルター特性を表す関数であ
り、横変位変化量Δｈに応じたフィルター特性Ｔc1を返
す。この関数func1（ ）は、次回の画像処理による物
理量更新時点で許容される真値からの遅れを表す指標で
あり、レーンキープ制御装置や車線逸脱警報装置の仕様
から予め決定されるものである。

【００５０】ステップ２４において、特性Ｔc1により可
変特性型デジタルフィルターの係数αを次式により求め
る。

【数６】 α＝func2（Ｔc1） ・・・（６） （６）式において、func2（ ）は、図１１に示すよう
なデジタルフィルター特性Ｔcに対する係数を表す関数
であり、デジタルフィルター特性Ｔc1に応じた係数αを
返す。この関数func2（ ）は予め設定される。可変特
性型デジタルフィルターは、係数αを用いて次式により
表される。

【数７】 β・ｚ／（ｚ−α）， （β＝１−α） ・・・（７） （７）式において、ｚは時間進め演算子である。この可
変特性型デジタルフィルターを画像処理により得られた
横変位ｈに施し、画像処理により演算された車両横変位
ｈを平滑化して横変位Ｈを得る。

【数８】 Ｈ＝（β・ｚ）／（ｚ−α）・ｈ ・・・（８）

【００５１】このように、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を示す物理量の車両横変位ｈとヨー角
φを演算し、平滑化対象の車両横変位ｈ以外の物理量、
すなわち車両ヨー角φと車速ｖspとに基づいて、画像処
理による物理量更新周期における横変位ｈの変化量Δｈ
を予測する。そして、所定時間当たりの横変位変化量Δ
ｈに応じて可変特性型デジタルフィルターの周波数特性
を決定し、画像処理により求めた車両横変位ｈを可変特
性型デジタルフィルターにより平滑化して横変位Ｈを得
る。これにより、画像処理に含まれる白線検出結果の不
安定要因を最少限に抑制しながら、実際の値からの遅れ
が少ない車両の横変位Ｈを得ることができる。

【００５２】《車両のヨー角φの平滑化例》図１２に示
すフローチャートにより、車速ｖsp、操舵角θおよび画
像処理による演算結果の道路曲率ｒに基づいて、画像処
理による演算結果の車両のヨー角φを可変特性型デジタ
ルフィルターで平滑化する処理を説明する。

【００５３】ステップ３１において、上述した図２に示
す物理量演算処理を行い、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を表す物理量の車両ヨー角φと道路曲
率ｒを演算する。続くステップ３２で、車速検出装置４
から車速ｖspを、操舵角制御装置７から操舵角指令値θ
rをそれぞれ読み込む。

【００５４】ステップ３３では、車速ｖspと操舵角指令
値θrとに基づいて次式によりヨー角φの変化率、すな
わちヨーレートdφ/dtを予測する。

【数９】 （９）式において、ｍは車重を表し、Ｋf、Ｋrはそれぞ
れ前輪タイヤと後輪タイヤのコーナリングパワーを表
す。また、Ｌf、Ｌrはそれぞれ前輪と後輪から重心まで
の距離を表し、βは車両の横滑り角度を表し、ｓはラプ
ラス演算子を表す。

【００５５】続くステップ３４で、ヨー角変化率dφ/dt
の平均値(dφ/dt)avを求める。この実施の形態では、画
像処理による道路曲率ｒの演算と、車速ｖspおよび操舵
角指令値θrによるヨー角変化率（ヨーレート）dφ/dt
の演算とを画像処理装置２で許容できる最高速度で実行
するとともに、画像処理によるヨー角φの演算とヨー角
変化率の平均値(dφ/dt)avの演算とを画像処理による物
理量の更新周期（ビデオレート）ごとに実行するものと
する。そして、後者のヨー角φとヨー角変化率の平均値
(dφ/dt)avの演算が実行されるまで、

【数１０】 φtemp＝φtemp＋dφ/dt ・・・（１０） を繰り返し演算する。後者のヨー角φとヨー角変化率の
平均値(dφ/dt)avの演算実行時までに、上記（１０）式
による演算をｔ回実行したとすると、ヨー角変化率の平
均値(dφ/dt)avは、

【数１１】 (dφ/dt)av＝φtemp／ｔ ・・・（１１） として求められる。そして、次回のヨー角変化率の平均
値(dφ/dt)avの演算に備えてφtempに０を設定し、リセ
ットする。

【００５６】ステップ３５において、道路曲率ｒにより
ヨー角変化率の平均値(dφ/dt)avを補正する。

【数１２】 (dφ/dt)av＝(dφ/dt)av−func3｛sign(ｒ)，abs(ｒ)，ｖsp｝・・・（１２） （１２）式の右辺第２項のfunc3｛sign(ｒ)，abs(ｒ)，
ｖsp｝は、図１３に示すように、sign(ｒ)＝＋１で左カ
ーブ、sign(ｒ)＝−１で右カーブで表されるカーブの方
向と、abs(ｒ)で表される道路曲率の絶対値と、車速ｖs
pとを入力とし、ヨー角変化率の平均値(dφ/dt)avに対
する補正値を返す関数である。

【００５７】ステップ３６では、ヨー角変化率の平均値
(dφ/dt)avに応じた可変特性型デジタルフィルターの特
性Ｔc2を次式により求める。

【数１３】 Ｔc2＝func4（(dφ/dt)av） ・・・（１３） （１３）式において、func4（ ）は、図１４に示すよ
うなヨー角変化率の平均値に対するフィルター特性を表
す関数であり、ヨー角変化率の平均値(dφ/dt)avに応じ
たフィルター特性Ｔc2を返す。この関数func4（ ）
は、次回の画像処理による物理量更新時に許容される真
値からの遅れを示す指標であり、レーンキープ制御装置
や車線逸脱警報装置の仕様から予め決定されるものであ
る。

【００５８】ステップ３７において、特性Ｔc2により可
変特性型デジタルフィルターの係数αを次式により求め
る。

【数１４】 α＝func2（Ｔc2） ・・・（１４） （１４）式において、func2（ ）は、例えば図１１に
示すようなデジタルフィルター特性Ｔcに対する係数を
表す関数であり、デジタルフィルター特性Ｔc2に応じた
係数αを返す。可変特性型デジタルフィルターは係数α
を用いて次式により表される。

【数１５】β・ｚ／（ｚ−α）， （β＝１−α） ・・・（１５） （１５）式において、ｚは時間進め演算子である。この
可変特性型デジタルフィルターを画像処理により得られ
たヨー角φに施し、画像処理により演算された車両ヨー
角φを平滑化してヨー角Φを得る。

【数１６】 Φ＝（β・ｚ）／（ｚ−α）・φ ・・・（１６）

【００５９】このように、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を示す物理量の車両ヨー角φと道路曲
率ｒを演算し、平滑対象の車両ヨー角φ以外の物理量、
すなわち車速ｖspと操舵角指令値θrとに基づいてヨー
角変化率（ヨーレート）の平均値(dφ/dt)avを予測し、
さらに道路曲率ｒによりヨー角変化率の平均値(dφ/dt)
avを補正する。そして、ヨー角変化率の平均値(dφ/dt)
avに応じて可変特性型デジタルフィルターの周波数特性
を決定し、画像処理により求めたヨー角φを可変特性型
デジタルフィルターにより平滑化してヨー角Φを得る。
これにより、画像処理に含まれる白線検出結果の不安定
要因を最少限に抑制しながら、実際の値からの遅れが少
ない車両のヨー角Φを検出することができる。

【００６０】なお、上述したヨー角φの平滑化例におい
て、ヨー角変化率dφ/dtの平均値(dφ/dt)avを求め、さ
らにその平均値(dφ/dt)avを画像処理による演算結果の
道路曲率ｒにより補正する例を示したが、ヨー角変化率
の平均値(dφ/dt)avの代わりにヨー角変化率dφ/dtを用
いてもよいし、道路曲率ｒによるヨー角変化率dφ/dtあ
るいはその平均値(dφ/dt)avの補正を省略してもよい。

【００６１】《道路の曲率ｒの平滑化例》図１５に示す
フローチャートにより、車速ｖspとナビゲーション装置
３により検出した道路曲率ＲNとに基づいて、画像処理
による演算結果の道路の曲率ｒを可変特性型デジタルフ
ィルターで平滑化する処理を説明する。

【００６２】ステップ４１において、上述した図２に示
す物理量演算処理を行い、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を示す物理量の道路曲率ｒを演算す
る。

【００６３】続くステップ４２で、ナビゲーション装置
３により道路の曲率を検出する。具体的には、ナビゲー
ション装置３の道路地図データの中から現在地の道路曲
率ＲN1とＰ[ｍ]前方の道路曲率ＲN2とを検索する。ここ
で、Ｐ[ｍ]は、現在地から、自車走行レーンの進行方向
において道路地図データに道路の曲率データが存在する
地点までの距離である。ステップ４２ではさらに、車速
検出装置４から車速ｖspを読み込む。

【００６４】ステップ４３では、距離Ｐ進むのに要する
時間Ｔpとナビゲーション装置３から得た曲率の変化量
（ＲN1−ＲN2）とに応じた可変特性型デジタルフィルタ
ーの特性Ｔc3を次式により求める。

【数１７】 Ｔp＝Ｐ／ｖsp， Ｔc3＝func5(Ｔp，abs(ＲN1−ＲN2)) ・・・（１７） （１７）式において、func5( )は、図１６に示すよう
な走行時間と曲率変化量に対するフィルター特性を表す
関数であり、Ｐ[ｍ]進むのに要する時間Ｔpと曲率変化
量（ＲN1−ＲN2）に応じたフィルター特性Ｔc3を返す。
この関数func5()は、次回の画像処理による物理量更新
時に許容される真値からの遅れを示す指標であり、レー
ンキープ制御装置や車線逸脱警報装置の仕様から予め決
定されるものである。

【００６５】なお、この曲率ｒの平滑化例では、ナビゲ
ーション装置３から得た曲率変化量（ＲN1−ＲN2）とそ
の変化時間Ｔpとに応じて可変特性型デジタルフィルタ
ーの周波数特性を変更する例を示すが、曲率変化量（Ｒ
N1−ＲN2）をその変化時間Ｔpで除した値（ＲN1−ＲN
2）／Ｔpが曲率の変化率となるので、結局、上述した曲
率ｒの平滑化例は、曲率ｒの変化率dｒ/dtに応じて可変
特性型デジタルフィルターの周波数特性を変更するのと
同様である。

【００６６】ステップ４４において、特性Ｔc3により可
変特性型デジタルフィルターの係数αを次式により求め
る。

【数１８】 α＝func2（Ｔc3） ・・・（１８） （１８）式において、func2（ ）は、例えば図１１に
示すようなデジタルフィルター特性Ｔcに対する係数を
表す関数であり、デジタルフィルター特性Ｔc3に応じた
係数αを返す。可変特性型デジタルフィルターは係数α
を用いて次式により表される。

【数１９】β・ｚ／（ｚ−α）， （β＝１−α） ・・・（１９） （１９）式において、ｚは時間進め演算子である。この
可変特性型デジタルフィルターを画像処理により得られ
た道路の曲率ｒに施し、画像処理により演算された道路
曲率ｒを平滑化して道路曲率Ｒを得る。

【数２０】 Ｒ＝（β・ｚ）／（ｚ−α）・ｒ ・・・（２０）

【００６７】このように、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を示す物理量の道路の曲率ｒを演算
し、平滑対象の道路曲率ｒ以外の物理量、すなわち車速
ｖspとナビゲーション装置３から得た道路曲率変化量
（ＲN1−ＲN2）とに基づいて道路曲率の変化率を予測す
る。そして、道路曲率の変化率に応じて可変特性型デジ
タルフィルターの周波数特性を決定し、画像処理により
求めた道路曲率ｒを可変特性型デジタルフィルターによ
り平滑化して道路曲率Ｒを得る。これにより、画像処理
に含まれる白線検出結果の不安定要因を最少限に抑制し
ながら、実際の値からの遅れが少ない道路の曲率Ｒを検
出することができる。

【００６８】《道路の曲率および車両のヨー角と横変位
の平滑化例》道路曲率、車両のヨー角、横変位のそれぞ
れに対して周波数特性の異なる可変特性型デジタルフィ
ルターを用いることによって、車両の走行状態に応じた
平滑化を行うようにした実施例を説明する。なお、上述
した図９、図１２および図１５に示す処理と同様な処理
を行うステップに対しては同一のステップ番号を付して
相違点を中心に説明する。

【００６９】ステップ５１において、上述した図２に示
す物理量演算処理を行い、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を表す物理量の車両の横変位ｈとヨー
角Φ、および道路の曲率ｒを演算する。

【００７０】ステップ５２では、車速検出装置４により
車速ｖspを検出し、操舵角検出装置５により操舵角θを
検出し、ナビゲーション装置３により現在地と距離Ｐ前
方の道路の曲率ＲN1、ＲN2を検出する。ステップ４３
で、上述したように道路曲率の変化率（ＲN1−ＲN2）／
Ｔpに応じて画像処理により演算した道路曲率ｒを平滑
化するための可変特性型デジタルフィルターの周波数特
性を決定し、続くステップ４４では、上述したように画
像処理により求めた道路曲率ｒを可変特性型デジタルフ
ィルターにより平滑化して道路曲率Ｒを得る。

【００７１】ステップ３３，３４では、上述したように
車速ｖspと操舵角θとに基づいてヨー角φの変化率（ヨ
ーレート）dφ/dtを予測し、ヨー角変化率の平均値(dφ
/dt)avを演算する。ステップ３５’において、ステップ
４４で平滑化された道路曲率Ｒを用いて上述した手順で
ヨー角変化率の平均値(dφ/dt)avを補正する。

【数２１】 (dφ/dt)av＝(dφ/dt)av−func3｛sign(Ｒ)，abs(Ｒ)，ｖsp｝・・・（２１） （２１）式の右辺第２項のfunc3｛sign(Ｒ)，abs(Ｒ)，
ｖsp｝は、図１３（ｒをＲに読み替える）に示すよう
に、sign(Ｒ)＝＋１で左カーブ、sign(Ｒ)＝−１で右カ
ーブで表されるカーブの方向と、abs(Ｒ)で表される道
路曲率の絶対値と、車速ｖspとを入力とし、ヨー角変化
率の平均値(dφ/dt)avに対する補正値を返す関数であ
る。

【００７２】ステップ３６，３７では、上述したように
ヨー角変化率の平均値(dφ/dt)avに応じた可変特性型デ
ジタルフィルターの周波数特性を決定し、画像処理によ
り演算したヨー角φを可変特性型デジタルフィルターに
より平滑化してヨー角Φを得る。

【００７３】ステップ２２’において、上記ステップ３
７で平滑化したヨー角Φと、車速検出装置４により検出
した車速ｖspとに基づいて、上述した手順で次の画像処
理による物理量更新時点における横変位ｈの変化量Δｈ
を次式により予測する。

【数２２】 Δｈ＝ｖsp・ｔv・sinΦ ・・・（２２） ステップ２３，２４では、上述したように画像処理によ
る物理量更新周期ｔvの間の横変位変化量Δｈ、すなわ
ち横変位変化率dｈ/dt（＝Δｈ／ｔv）に応じた可変特
性型デジタルフィルターの周波数特性を決定し、画像処
理により演算した横変位ｈを可変特性型デジタルフィル
ターで平滑化して横変位Ｈを得る。

【００７４】このように、画像処理により道路の曲率ｒ
を演算し、車速ｖspとナビゲーション装置３からの道路
曲率変化量（ＲN1−ＲN2）とに基づいて道路曲率の変化
率を推定し、道路曲率の変化率に応じて可変特性型デジ
タルフィルターの周波数特性を決定し、画像処理により
求めた道路曲率ｒを可変特性型デジタルフィルターによ
り平滑化して道路曲率Ｒを得る。次に、車速ｖspと操舵
角θとに基づいてヨー角φの変化率（ヨーレート）dφ/
dtを予測し、ヨー角変化率の平均値(dφ/dt)avを演算す
る。そして、平滑化した道路曲率Ｒを用いてヨー角変化
率の平均値(dφ/dt)avを補正し、ヨー角変化率の平均値
(dφ/dt)avに応じた可変特性型デジタルフィルターの周
波数特性を決定し、画像処理により演算したヨー角φを
可変特性型デジタルフィルターにより平滑化してヨー角
Φを得る。さらに、平滑化したヨー角Φと車速ｖspとに
基づいて画像処理による物理量更新周期における横変位
ｈの変化率dｈ/dtを予測し、横変位変化率dｈ/dtに応じ
た可変特性型デジタルフィルターの周波数特性を決定
し、画像処理により演算した横変位ｈを可変特性型デジ
タルフィルターで平滑化して横変位Ｈを得る。このよう
に、道路曲率、車両のヨー角、横変位のそれぞれに対し
て周波数特性の異なる可変特性型デジタルフィルターを
用いることによって、車両の走行状態に応じた平滑化を
行うことができ、画像処理に含まれる白線検出結果の不
安定要因を最少限に抑制しながら、実際の値からの遅れ
が少ない車両と道路との関係を表す物理量Ｈ、Φ、Ｒを
得ることができる。

【００７５】《横変位平滑化の変形例》上述した車両の
横変位ｈの平滑化例では、画像処理により車両横変位ｈ
とヨー角φを演算し、平滑化対象外のヨー角φと車速ｖ
spとに基づいて平滑化対象の横変位ｈの変化率を求め、
横変位変化率に応じた可変特性型デジタルフィルターの
周波数特性を決定し、画像処理により演算した横変位ｈ
を可変特性型デジタルフィルターにより平滑化して横変
位Ｈを得る例を示した。この変形例では、車両の状態を
表す物理量の車速ｖspを用いずに、画像処理により算出
した車両のヨー角φだけを用いて車両の横変位ｈの変化
率を予測する。

【００７６】なお、この横変位平滑化の変形例は、所定
車速以上で走行中のとき、または高速道路を走行中のと
きのみ、レーンキープ制御あるいは車線逸脱警報制御を
行う装置に適用することができる。

【００７７】図１９に示すフローチャートにより、画像
処理による演算結果のヨー角φのみを用いて画像処理に
よる演算結果の横変位ｈを可変特性型デジタルフィルタ
ーで平滑化する処理を説明する。

【００７８】ステップ６１において、上述した図２に示
す物理量演算処理を行い、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を表す物理量の横変位ｈとヨー角φを
演算する。

【００７９】ステップ６２では、画像処理による演算結
果のヨー角φを次式により平滑化する。

【数２３】 Φ＝０．５２ｚ／（ｚ−０．５）・φ ・・・（２３） （２３）式において、ｚは時間進め演算子である。な
お、上述した図１２に示す処理により平滑化したヨー角
Φを用いてもよい。

【００８０】レーンキープ制御装置が動作可能な車速下
限値と、画像処理による物理量の更新周期とは既知であ
るから、（２３）式により算出したヨー角Φのみに基づ
いて、次の画像処理による物理量更新時点の横変位変化
量Δｈを次式により予測する。

【数２４】 Δｈ＝func6(Φ) ・・・（２４） ここで、func6( )は、図２０に示すようなヨー角に対
する横変位変化量を表す関数であり、主にレーンキープ
制御装置などが動作できる車速下限値により設定され、
ヨー角Φに応じた横変位変化量Δｈを返す。

【００８１】横変位ｈの変化量Δｈをその更新周期（ビ
デオレート）ｔvで除したものが横変位ｈの変化率dｈ/d
tであるから、この車両の横変位ｈの平滑化例では、横
変位ｈの変化率dｈ/dtの代わりに横変位ｈの更新周期ｔ
vにおける変化量Δｈを用いる。

【００８２】ステップ６３では、横変位変化量Δｈに応
じた可変特性型デジタルフィルターの特性Ｔc4を次式に
より求める。

【数２５】 Ｔc4＝func1（Δｈ） ・・・（２５） （２５）式において、func1（ ）は、例えば図１０に
示すような横変位変化量に対するフィルター特性を表す
関数であり、横変位変化量Δｈに応じたフィルター特性
Ｔc4を返す。この関数func1（ ）は、次回の画像処理
による物理量更新時点で許容される真値からの遅れを表
す指標であり、レーンキープ制御装置や車線逸脱警報装
置の仕様から予め決定されるものである。

【００８３】ステップ６４において、特性Ｔc4により可
変特性型デジタルフィルターの係数αを次式により求め
る。

【数２６】 α＝func2（Ｔc4） ・・・（２６） （２６）式において、func2（ ）は、例えば図１１に
示すようなデジタルフィルター特性Ｔcに対する係数を
表す関数であり、デジタルフィルター特性Ｔc4に応じた
係数αを返す。可変特性型デジタルフィルターは、係数
αを用いて次式により表される。

【数２７】β・ｚ／（ｚ−α）， （β＝１−α） ・・・（２７） （２７）式において、ｚは時間進め演算子である。この
可変特性型デジタルフィルターを画像処理により得られ
た横変位ｈに施し、画像処理により演算された車両横変
位ｈを平滑化して横変位Ｈを得る。

【数２８】 Ｈ＝（β・ｚ）／（ｚ−α）・ｈ ・・・（２８）

【００８４】このように、撮像した画像から走行レーン
における白線の認識を行い、白線認識結果に基づいて車
両と道路との関係を示す物理量の車両横変位ｈとヨー角
φを演算し、車両ヨー角φのみに基づいて画像処理によ
る物理量更新周期における横変位ｈの変化量Δｈを予測
する。そして、所定時間当たりの横変位変化量Δｈに応
じて可変特性型デジタルフィルターの周波数特性を決定
し、画像処理により求めた車両横変位ｈを可変特性型デ
ジタルフィルターにより平滑化して横変位Ｈを得る。こ
れにより、画像処理に含まれる白線検出結果の不安定要
因を最少限に抑制しながら、実際の値からの遅れが少な
い車両の横変位Ｈを得ることができる。

【００８５】以上のようにして求めた車両と道路との関
係を表す物理量の車両の横変位Ｈとヨー角Φおよび道路
の曲率Ｒをレーンキープ制御に用いることによって、白
線自体が不鮮明または欠落していたり、また車両の振
動、道路の凹凸やアップダウンなどにより白線が検出で
きなかったり、あるいは撮像画像にノイズが混入して
も、変動のない安定な車両の横変位Ｈとヨー角Φおよび
道路曲率Ｒが得られるから、走行レーン内を正確に走行
させることができる。

【００８６】また、以上のようにして求めた車両と道路
との関係を表す物理量の車両の横変位Ｈとヨー角Φおよ
び道路の曲率Ｒを車線逸脱警報装置に用いることによっ
て、画像処理による白線検出結果に上記のような不安定
要因があっても、変動のない安定は車両の横変位Ｈとヨ
ー角Φおよび道路曲率Ｒが得られるから、車両が走行レ
ーンを逸脱したとき、あるいは逸脱するおそれがあると
きに、速やかにそれを検知して警報することができる。

【図面の簡単な説明】

【図１】 一実施の形態の構成を示す図である。

【図２】 車両と道路との関係を表す物理量の車両の横
変位ｈとヨー角φおよび道路の曲率ｒの演算処理を示す
フローチャートである。

【図３】 車両前方画像の画面座標系ｘｙにおける白線
モデルを表す図である。

【図４】 車両前方画像から白線候補点を検出するため
の小領域を示す図である。

【図５】 車両前方画像から白線候補点を検出するため
の小領域を示す図である。

【図６】 白線候補点検出領域の設定方法を説明するた
めの図である。

【図７】 白線候補点の検出方法を説明するための図で
ある。

【図８】 今回検出した白線候補点と前回求めた白線モ
デル上の点とのずれを示す図である。

【図９】 画像処理による演算結果の車両横変位ｈを可
変特性型デジタルフィルターにより平滑化する処理を示
すフローチャートである。

【図１０】 横変位変化量Δｈに対する返り値を与える
関数図である。

【図１１】 可変特性型デジタルフィルターの特性Ｔc
に対する返り値を与える関数図である。

【図１２】 画像処理による演算結果の車両ヨー角を可
変特性型デジタルフィルターにより平滑化する処理を示
すフローチャートである。

【図１３】 道路曲率に対するヨー角変化率の平均値を
補正量を示す図である。

【図１４】 ヨー角変化率の平均値に対する返り値を与
える関数図である。

【図１５】 画像処理による演算結果の道路の曲率を可
変特性型デジタルフィルターにより平滑化する処理を示
すフローチャートである。

【図１６】 走行時間と曲率変化量に対する返り値を与
える関数図である。

【図１７】 道路曲率、車両のヨー角、横変位のそれぞ
れに対して周波数特性の異なる可変特性型デジタルフィ
ルターを用いることにより、車両の走行状態に応じた平
滑化を行う処理を示すフローチャートである。

【図１８】 図１７に続く、道路曲率、車両のヨー角、
横変位のそれぞれに対して周波数特性の異なる可変特性
型デジタルフィルターを用いることにより、車両の走行
状態に応じた平滑化を行う処理を示すフローチャートで
ある。

【図１９】 横変位平滑化の変形例の処理を示すフロー
チャートである。

【図２０】 平滑化後のヨー角Φに対する返り値を与え
る関数図である。

【符号の説明】

１ ＣＣＤカメラ ２ 画像処理装置 ３ ナビゲーション装置 ４ 車速検出装置 ５ 操舵角検出装置 ６ 操舵アクチュエーター ７ 操舵角制御装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２４ Ｂ６０Ｒ 21/00 ６２４Ｇ ６２６ ６２６Ａ ６２８ ６２８Ｃ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ａ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ａ (72)発明者 木村 健 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 (72)発明者 豊田 博充 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 5B057 AA16 BA02 CA08 CA12 CA16 CE05 CE06 DA07 DB02 DB09 DC08 DC30 DC36 5H180 AA01 CC04 LL09 LL15 5L096 AA06 BA04 CA02 CA14 DA02 EA06 FA03 FA32 FA67 FA68 GA55 HA04

Claims (12)

【特許請求の範囲】
1. 【請求項１】車両に搭載されて車両周辺を撮像する撮像
   手段と、 撮像画像を処理して車両と道路との関係を表す物理量を
   演算する画像処理手段と、 可変特性型デジタルフィルターを用いて画像処理による
   演算結果の物理量の内のいずれかを平滑化する平滑化手
   段と、 平滑化対象の物理量以外の物理量に基づいて平滑化対象
   の物理量の変化率を予測する変化率予測手段と、 平滑化対象の物理量の予測変化率に応じて前記可変特性
   型デジタルフィルターの周波数特性を変更する特性変更
   手段とを備えることを特徴とする車両用画像処理装置。
2. 【請求項２】請求項１に記載の車両用画像処理装置にお
   いて、 前記特性変更手段は、平滑化対象の物理量の予測変化率
   が大きいほど前記可変特性型デジタルフィルターの周波
   数特性を高周波数側に変更することを特徴とする車両用
   画像処理装置。
3. 【請求項３】請求項１または請求項２に記載の車両用画
   像処理装置において、 前記画像処理手段により演算され、前記平滑化手段によ
   り平滑化対象とされる物理量には、車両の横変位ｈとヨ
   ー角φ、および道路の曲率ｒが含まれることを特徴とす
   る車両用画像処理装置。
4. 【請求項４】請求項１〜３のいずれかの項に記載の車両
   用画像処理装置において、 前記変化率予測手段は、画像処理によらずに検出した車
   両の状態を表す物理量に基づいて平滑化対象の物理量の
   変化率を予測することを特徴とする車両用画像処理装
   置。
5. 【請求項５】請求項４に記載の車両用画像処理装置にお
   いて、 画像処理によらずに検出した車両の状態を表す物理量に
   は、車速、操舵角検出値、操舵角指令値、ナビゲーショ
   ン装置から得た道路の曲率が含まれることを特徴とする
   車両用画像処理装置。
6. 【請求項６】請求項１〜３のいずれかの項に記載の車両
   用画像処理装置において、 前記変化率予測手段は、平滑化対象の物理量以外の前記
   平滑化手段により平滑化した物理量に基づいて、平滑化
   対象の物理量の変化率を予測することを特徴とする車両
   用画像処理装置。
7. 【請求項７】請求項１または請求項２に記載の車両用画
   像処理装置において、 前記画像処理手段は、撮像画像を処理して車両の横変位
   ｈとヨー角φを演算し、 前記変化率予測手段は、画像処理による演算結果のヨー
   角φと画像処理によらずに検出した車速とに基づいて横
   変位ｈの変化率dｈ/dtを予測し、 前記特性変更手段は、前記可変特性型デジタルフィルタ
   ーの周波数特性を横変位変化率dｈ/dtに応じて変更し、 前記平滑化手段は、画像処理による演算結果の横変位ｈ
   を前記可変特性型デジタルフィルターにより平滑化する
   ことを特徴とする車両用画像処理装置。
8. 【請求項８】請求項１または請求項２に記載の車両用画
   像処理装置において、 前記画像処理手段は撮像画像を処理して車両のヨー角φ
   を演算し、 前記変化率予測手段は、画像処理によらずに検出した車
   速と操舵角指令値とに基づいてヨー角φの変化率dφ/dt
   を予測し、 前記特性変更手段は、ヨー角変化率dφ/dtに応じて前記
   可変特性型デジタルフィルターの周波数特性を変更し、 前記平滑化手段は、画像処理による演算結果のヨー角φ
   を前記可変特性型デジタルフィルターにより平滑化する
   ことを特徴とする車両用画像処理装置。
9. 【請求項９】請求項８に記載の車両用画像処理装置にお
   いて、 前記変化率予測手段は、ヨー角変化率dφ/dtの平均値(d
   φ/dt)avを求め、 前記特性変更手段は、ヨー角変化率の平均値(dφ/dt)av
   に応じて前記可変特性型デジタルフィルターの周波数特
   性を変更することを特徴とする車両用画像処理装置。
10. 【請求項１０】請求項８または請求項９に記載の車両用
    画像処理装置において、 前記画像処理手段は、撮像画像を処理してヨー角φの他
    に道路の曲率ｒを演算し、 前記変化率予測手段は、ヨー角変化率dφ/dtまたはその
    平均値(dφ/dt)avを道路曲率ｒにより補正することを特
    徴とする車両用画像処理装置。
11. 【請求項１１】請求項１または請求項２に記載の車両用
    画像処理装置において、 前記画像処理手段は撮像画像を処理して道路の曲率ｒを
    演算し、 前記変化率予測手段は、ナビゲーション装置から得た道
    路の曲率に基づいて曲率ｒの変化率dｒ/dtを予測し、 前記特性変更手段は、曲率変化率dｒ/dtに応じて前記可
    変特性型デジタルフィルターの周波数特性を変更し、 前記平滑化手段は、画像処理による演算結果の道路の曲
    率ｒを前記可変特性型デジタルフィルターにより平滑化
    することを特徴とする車両用画像処理装置。
12. 【請求項１２】請求項１または請求項２に記載の車両用
    画像処理装置において、 前記画像処理手段は撮像画像を処理して車両の横変位ｈ
    とヨー角φを演算し、 前記変化率予測手段は、画像処理による演算結果のヨー
    角φを平滑化し、平滑化したヨー角Φに基づいて横変位
    ｈの変化率dｈ/dtを推定し、 前記特性変更手段は、横変位変化率dｈ/dtに応じて前記
    可変特性型デジタルフィルターの周波数特性を変更し、 前記平滑化手段は、画像処理による演算結果の車両の横
    変位ｈを前記可変特性型デジタルフィルターにより平滑
    化することを特徴とする車両用画像処理装置。