JP2005145402A - 車両のレーンキープ制御装置 - Google Patents

Abstract

【課題】 簡素化された画像処理を用いると共に、車体のピッチ変動に影響を受けることなく、適切な操舵制御を行う車両のレーンキープ制御装置を提供する。
【解決手段】 ＣＣＤカメラにより撮影された画像の平面画面上において、道路の左右の白線を検出して、両白線を直線近似した２つの直線を求め（Ｓ１、Ｓ２）、正しく認識された場合（Ｓ３）、２つの直線の延長線上の交点である消失点を求めると共に、消失点と平面画面の中心線との水平方向の消失点ずれを求め（Ｓ５）、消失点から平面画面上鉛直方向下方に所定量離れた位置の水平直線における両白線間の中点を求めると共に、中点と平面画面の中心線との水平方向の中点ずれを求め（Ｓ６）、消失点ずれを車両のヨー角のずれ、中点ずれを車両の横ずれとして用いて操舵制御量を決定して（Ｓ７）、操舵制御を行う車両のレーンキープ制御装置。
【選択図】 図２

Description

本発明は、道路の走行レーンに沿った走行を制御する車両のレーンキープ制御装置に関する。

車両を運転中のドライバは、外界から多くの情報を収集し、それらの多くの情報に基づいて判断を行って、様々な運転操作を行う。このようなドライバの運転負担を軽減し、運転ミスを防止して、ドライバの運転支援を行うものの１つに、車両のレーンキープ制御装置がある。これは、具体的には、脇見、居眠り等、ドライバの不注意によるレーンの逸脱を防止して、事故の発生を未然に防ぐものである。

車両のレーンキープ制御装置は、これまでも数多くのシステムが開発されてきた。その概略の構成としては、レーンを検出するためのカメラ等を備え、検出されたレーンの位置や車速、ハンドル角、ヨー角等に基づいて、ステアリングの操舵制御や警報の表示等を行って、車両のレーンからの逸脱を防止する。

特開２００１−７６１４７号公報 特開２００２−２５９９９５号公報 特開２００３−８３７４２号公報

従来のレーンキープ制御装置では、車両前方の道路を撮影したカメラの画像から、車両前方の白線の位置を検出して、自車の走行レーンを認識し、自車の走行レーンに対する横ずれとヨー角ずれに基づいて、ステアリングの操舵制御を行っている。その際、これらを制御する制御装置内では、カメラの取付け俯角を座標変換のパラメータとして用いて、カメラ画像の画面視から仮想の上面視（つまり、車両の上方側から車両及び道路を見た状態）に変換した後、横ずれ、ヨー角ずれを演算している。

ところが、車両の走行中には、車体自体のピッチ変動により、カメラの俯角が、時々刻々と変化してしまい、その結果、画面視から上面視への変換時に変換誤差が生じてしまい、横ずれとヨー角ずれにも演算誤差が生じ、ステアリングの適切な操舵制御が行えないおそれがある。

又、カメラの俯角は、車両の搭乗者や荷物の重量による影響も受ける。従来のレーンキープ制御装置には、搭乗者や荷物の重量によるカメラの俯角への影響を、学習機能により補正するものもあったが、走行中のピッチ変動による影響は、依然として避けることができなかった。更に、走行中のピッチ変動による影響の補正を行ったとしても、画面視から上面視への座標変換は膨大な演算処理が必要とされ、処理時間がかかってしまい、瞬時の変化に追従できないおそれもある。

本発明は上記課題に鑑みなされたもので、簡素化された画像処理を用いると共に、車体のピッチ変動に影響を受けることなく、車両の横ずれ、ヨー角ずれを正確に算出して、ステアリングの適切な操舵制御を行う車両のレーンキープ制御装置を提供することを目的とする。

上記課題を解決する本発明に係る車両のレーンキープ制御装置は、
車両に搭載され、車両の前方の道路を撮影する撮影手段と、
車両のステアリングを操舵する操舵手段と、
撮影手段により撮影された画像情報を用いて、操舵手段を制御する制御手段とを備える。
そして、上記制御手段は、
撮影手段により撮影された画像情報を平面画面として扱うと共に、
平面画面における道路の左右の白線を検出して、左右の白線を直線近似した２つの直線を求める直線近似手段と、
２つの直線の延長線上の交点を求めて、交点と平面画面の中心線との平面画面上水平方向の第１のずれを求める第１演算手段と、
交点から平面画面上鉛直方向下方に所定量離れた位置に水平直線をひき、この水平直線における左右の白線間の中点を求めて、中点と平面画面の中心線との平面画面上水平方向の第２のずれを求める第２演算手段と、
第１のずれを車両のヨー角のずれに相関する量、第２のずれを車両の横ずれに相関する量として用いて、これらの数値の演算により操舵手段の操舵制御量を決定する操舵制御量演算手段とを、有する。

上記課題を解決する本発明に係る車両のレーンキープ制御装置は、
上記車両のレーンキープ制御装置において、
上記制御手段は、
直線近似手段により、いずれか一方の白線の検出、若しくは、いずれか一方の白線の直線近似ができなかった場合には、
全ての演算手段、つまり、第１演算手段、第２演算手段及び操舵制御量演算手段の実行を中止して、操舵手段による操舵を禁止する操舵禁止手段を有する。
この場合、ステアリングの操舵は、例えば、操舵手段により現状の操舵位置に維持するようにするか、若しくは、ドライバの操舵操作に委ねるようにする。

本発明によれば、カメラに撮影された画像情報の画像視を上面視に座標変換する必要がなく、画面視をそのまま平面画面として扱って演算処理を行うので、車体のピッチ変動の影響を受けるカメラの取付け俯角を座標変換の演算のパラメータとして用いる必要がなくなる。その結果、車体のピッチ変動があっても、何ら影響を受けることなく、車体の横ずれ、ヨー角ずれを正確に算出することができ、ステアリングの操舵制御を適切に行うことができる。

又、本発明によれば、カメラに撮影された画像情報の画面視を上面視に座標変換する必要がなく、画面視をそのまま平面画面として扱って演算処理を行うので、画像情報の演算処理が簡素化され、処理速度の向上を図れると共に、処理速度の大きいＣＰＵを用いる必要もなくなるため、制御装置のコストダウンを図ることができる。

本発明に係る車両のレーンキープ制御装置は、車両に搭載され、車両の前方の道路を撮影する撮影手段と、車両のステアリングを操舵する操舵手段と、撮影手段により撮影された画像情報を用いて、操舵手段を制御する制御手段とを備えるものである。

特徴としては、その制御手段にあり、撮影手段により撮影された画面情報（画面視）を、上面視に座標変換することなく、平面画面として扱って演算処理を行うところにある。更に、平面画面の中心線に対して、道路の左右の白線の近似直線の交点の水平方向ずれ、及び、平面画面の中心線に対して、所定位置の水平直線における左右の白線間の中点の水平方向ずれを求めることで、実際の車両の横ずれ、ヨー角ずれに相関する量を求めるものである。上記構成により、簡単、正確、且つ、迅速に車両の横ずれ、ヨー角ずれを算出して、ステアリングの操舵制御を適切に行うことが可能となり、その結果、車両を走行レーンに沿って走行させるレーンキープ制御が実現できる。

図１は、本発明に係る車両のレーンキープ制御装置の概略を示す構成図である。
図１に示すように、本発明に係る車両のレーンキープ制御装置は、車両１に搭載され、車両１の前方の道路を撮影するＣＣＤカメラ（撮影手段）２と、車両１のステアリング４を操舵するアクチュエータ（操舵手段）５と、ＣＣＤカメラ２により撮影された画像情報を用いて、アクチュエータ５を制御する制御装置（制御手段）３とを備える。

ＣＣＤカメラ２は、その光軸が車両１の中心線に一致するように設置されており、例えば、ルームミラー等に内蔵して設置されている。又、制御装置３は、所謂、ＥＣＵと呼ばれる電子制御装置を用いており、ＥＣＵ自体は、制御プログラム、制御マップや演算用に用いる記憶装置（ＲＯＭ、ＲＡＭ等）、演算処理を行う中央処理装置（ＣＰＵ）、タイマカウンタ、制御信号の入出力を担うインターフェース等からなる。又、アクチュエータ５は、ステアリング４の操舵位置を検出する操舵角センサ、電動モータ及び複数のギヤ等から構成され、アクチュエータ５によるステアリング４の操舵制御時には、適切な操舵トルクを付加して操舵量を制御すると共に、ドライバによるステアリング４の操舵時には、余分な操舵トルクを解消して、ドライバの操舵を妨げないようになっている。

更に、本発明に係る車両のレーンキープ制御装置には表示装置６が備えられており、制御装置３によりステアリング４の操舵位置を変更する時には、警告等を行って、ドライバに注意を促している。又、レーンキープ制御は、図示していない開始ボタンを押印することで開始し、開始ボタンが再度押印された場合、ドライバによるステアリング４の切り角が所定角度以上の場合、方向指示器を操作した場合等に、レーンキープ制御が解除される。

本発明に係る車両のレーンキープ制御装置では、レーンキープ制御は、ドライバの運転操作状況や車両の走行状況、具体的には、車速、ハンドル角、ヨー角等の情報をベースにして、走行レーン中央の所定範囲から逸脱しないように、後述する制御手段（図２、図３参照）により算出された操舵制御量を用いて、制御装置３がアクチュエータ５を介してステアリング４の操舵制御を行う。このとき、表示装置６により警告表示や警報音等により、ドライバへ適切な操舵修正を促すようにしてもよい。なお、アクチュエータ５によるステアリング４への操舵トルクは大きいものではなく、ドライバの積極的なステアリング操作を妨げるものではない。例えば、レーンキープ制御が動作中であっても、レーンチェンジや緊急回避等の急なステアリング操作の際には、自動的にレーンキープ制御を中断して、ドライバのステアリング操作を優先するように設定されている。

図２は、本発明に係る車両のレーンキープ制御装置における制御フローチャートであり、図３は、撮影画面（画面視）上での画像処理を説明する図である。
以下、制御装置３における具体的な制御手順を、図３を参照しながら、図２のフローチャートに従って、詳細に説明する。

本発明に係る車両のレーンキープ制御は、車両の操作パネルに装備した開始ボタン等を押すことによって開始する。

（ステップＳ１）
レーンキープ制御が始まると、ＣＣＤカメラ２により連続的に撮影された車両前方の道路の画像情報から所定時間間隔毎の静止画像を取り込み、取り込まれた静止画像に対して以下のステップの演算処理を行う。この制御ループは、何らかの条件によりレーンキープ制御が解除されるまで連続的に行う。例えば、ステップＳ４の操舵制御禁止の場合においても、安全のため実際の操舵制御を一時的に禁止し、次の制御ループにおいて、左右の白線を検出等した場合には、以下の演算処理及び操舵制御を行うようにしてもよい。

（ステップＳ２）
取り込まれた静止画像は、上面視に座標変換されることなく、平面画面（画面視）として扱われる（図３参照）。この平面画面において、道路の走行レーンの両端を示す左右の白線Ｌｌ、Ｌｒを検出して、それらの両白線を直線近似した２つの直線Ｌｌａ、Ｌｒａを求める（直線近似手段）。左右の白線Ｌｌ、Ｌｒの直線近似を行うことで、演算処理の負荷も小さくなり、演算時の計算誤差も小さくなる。

（ステップＳ３、Ｓ４）
このとき、両白線のうち、いずれか一方の白線が検出できなかった場合、又は、両白線を検出した場合でも、長さ方向の情報が十分でなく、いずれか一方の白線の直線近似ができなかった場合、ステップＳ５以降の演算処理を中止すると共に、操舵制御も禁止する（操舵禁止手段）。この後、ステップＳ１へ戻り、制御ループを継続する。なお、所定時間以上の間、連続して、両白線の検出又は両白線の直線近似ができない場合には、自動的にレーンキープ制御自体を解除するようにしてもよい。

（ステップＳ５）
ステップＳ３において、両側の白線Ｌｌ、Ｌｒを検出でき、両側の白線とも直線近似ができた場合、直線近似された２つの直線Ｌｌａ、Ｌｒａの延長線上の交点を求める。この交点は消失点Ｐｆであり、この消失点Ｐｆを通過する水平方向の直線を地平線Ｌｈとみなせる。ここで、消失点Ｐｆと平面画面の中心線Ｌｃ（車両の中心線に該当する。）との平面画面上水平方向のずれ、つまり、消失点ずれ（第１のずれ）Ｗｆを演算して求める（第１演算手段）。これは、車両のヨー角ずれに相関する量であり、これに所定係数ｋ１かけることで、車両のヨー角ずれが求められ、車両のステアリングの操舵制御量を正確に求めることが可能となる。この所定係数ｋ１は、曲線道路の場合には、制御装置３が有するマップデータから曲線道路の曲率に応じた係数に変換されて用いられる。

（ステップＳ６）
消失点Ｐｆから平面画面上鉛直方向下方の所定画素数Ｈｐ離れた位置に水平直線Ｌｐをひく。この水平直線Ｌｐ上における両白線Ｌｌ、Ｌｒ間の中点Ｐｃを演算して求める。このとき、水平直線Ｌｐ上における両白線Ｌｌ、Ｌｒ間の幅をＷｐとすると、中点Ｐｃは、白線Ｌｌ、Ｌｒから、それぞれＷｐ／２の幅の位置にある。そして、求めた中点Ｐｃと平面画面の中心線Ｌｃとの平面画面上水平方向のずれ、つまり、中点ずれ（第２のずれ）Ｗｃを演算して求める（第２演算手段）。これは、車両の横ずれに相関する量であり、これに所定係数ｋ２をかけることで、車両の横ずれが求められ、車両のステアリングの操舵制御量を正確に求めることが可能となる。つまり、中点Ｐｃを求めることで、走行レーンの中心位置を求めることとなり、車両中心線となる画面の中心線Ｌｃとの比較により、車両の横ずれが算出できることとなる。

（ステップＳ７）
上記ステップにおいて求められた消失点ずれＷｆ、中点ずれＷｃを用いて、以下の式により操舵制御量を算出して、決定する（操舵制御量演算手段）。
（操舵制御量）＝ｋ１×（消失点ずれＷｆ）＋ｋ２×（中点ずれＷｃ）
つまり、｛ｋ１×（消失点ずれＷｆ）｝が車両のヨー角ずれに相当し、｛ｋ２×（中点ずれＷｃ）｝が車両の横ずれに相当し、求められたヨー角ずれ、横ずれに基づき、操舵制御量が演算されたこととなる。なお、操舵制御量の具体的な対象としては、目標ヨーレート、目標操舵角、操舵トルク出力等が該当する。

（ステップＳ８）
求められた操舵制御量を用いて、制御装置３がアクチュエータ５を介してステアリング４を駆動制御し、ステップＳ１へループバックする。

レーンキープ制御中に、何らかの解除要求があった場合には、直ちに、レーンキープ制御は解除され、ドライバのステアリング操作に委ねられる。解除要求としては、開始ボタンが再度押印された場合、ドライバによるステアリング４の切り角が所定角度以上の場合、方向指示器を操作した場合、所定時間以上の間、連続して、両白線の検出又は両白線の直線近似ができない場合等が該当する。

図３について、補足して説明を行う。車両前方の道路の撮影画像は、ＣＣＤカメラ２により連続的に取り込まれており、図３は、連続的に取り込まれた撮影画像のうち、所定時間間隔で順次取り込んだ１つの瞬間の道路画像を示すものである。本発明に係る車両のレーンキープ制御装置では、所定時間間隔の道路画像（画面視）を上面視に座標変換することなく、画像の認識処理、演算処理を順次行って、ステアリング４の操舵制御量を決定して、操舵制御を行っている。

画像の認識処理、具体的には、道路の左右の白線Ｌｌ、Ｌｒの検出は、白線が道路より輝度の高い線であるという特性を利用して、白線の位置の検出を行っている。本発明では、撮影画像（画面視）の下方側の所定範囲内で、両白線を検出している。これは、車両と道路の相対位置の関係で述べれば、車両前方の２０ｍ程度以内の、比較的近距離の範囲の白線を検出していることになる。この白線は、例えば、ＣＣＤカメラ２の撮影素子の露光時間を適切に制御することで、夜間やトンネル出口等でも、安定して検出を行うことが可能となる。又、認識処理を工夫することにより、特殊な形状の白線や黄線等も安定して検出を行うことが可能となる。

又、本発明に係る車両のレーンキープ制御では、従来とは異なり、ＣＣＤカメラ２の俯角が車体１のピッチ変動により変動したとしても、その認識処理、演算処理結果には、何ら影響が無い。具体的には、たとえ、ＣＣＤカメラ２の俯角が変動したとしても、本発明では画面視の座標変換を行っていないため、ＣＣＤカメラ２の取付け俯角をパラメータとした演算が不要となり、そもそもこの演算誤差がでない。又、本発明の演算対象となる消失点Ｐｆ、中点Ｐｃは、ＣＣＤカメラ２の俯角が変動したとしても、それらの位置が平面画面上において鉛直方向に変わるだけであり、その水平方向の変動は無く、その認識処理、演算処理には全く影響しない。

なお、図３では、説明を単純化するため、直線道路上の白線Ｌｌ、Ｌｒを用いて、レーンキープ制御を行う制御手順を説明したが、曲線道路上の白線でも、曲線道路の曲率が極端に小さい場合を除き、同様の制御を用いてレーンキープ制御を行うことができる。特に、本発明の場合、座標変換の演算を必要としないため、１つの制御ループの処理時間が早く、リアルタイムの制御が可能であるため、曲線道路において、時々刻々と変化していく消失点Ｐｆの変化に追従するように、操舵制御量を制御することにより、曲線道路においても、適切なレーンキープを可能としている。つまり、曲線道路の場合、その曲率は、消失点Ｐｆの水平方向のずれ（消失点ずれＷｆ）、つまり、車両のヨー角ずれに含まれる量として演算できるため、同様の制御を用いても、曲線道路でのレーンキープを可能としている。

本発明に係る車両のレーンキープ制御装置の概略の構成図である。 本発明に係る車両のレーンキープ制御装置における制御フローチャートである。 本発明に係る車両のレーンキープ制御装置における撮影画面上での画像処理を説明する図である。

符号の説明

１ 車両
２ ＣＣＤカメラ
３ 制御装置
４ ステアリング
５ アクチュエータ
６ 表示装置
Ｈｐ 所定画素数
Ｌｃ 画像中心線
Ｌｈ 水平線
Ｌｌ 検出された左白線
Ｌｌａ 直線近似された直線
Ｌｐ 所定画素数下方の水平直線
Ｌｒ 検出された右白線
Ｌｒａ 直線近似された直線
Ｐｃ 中点
Ｐｆ 消失点
Ｗｃ 横ずれ
Ｗｆ 消失点ずれ
Ｗｐ 所定画素数下方の水平直線での両白線間の幅

Claims (2)

1. 車両の前方の道路を撮影する撮影手段と、
   前記車両のステアリングを操舵する操舵手段と、
   前記撮影手段により撮影された画像情報を用いて、前記操舵手段を制御する制御手段とを備え、
   前記制御手段は、
   前記撮影手段により撮影された画像情報を平面画面として扱うと共に、
   前記平面画面における道路の左右の白線を検出して、前記左右の白線を直線近似した２つの直線を求める直線近似手段と、
   前記２つの直線の延長線上の交点を求めて、前記交点と前記平面画面の中心線との平面画面上水平方向の第１のずれを求める第１演算手段と、
   前記交点から平面画面上鉛直方向下方に所定量離れた位置の水平直線における前記左右の白線間の中点を求めて、前記中点と前記平面画面の中心線との平面画面上水平方向の第２のずれを求める第２演算手段と、
   前記第１のずれを車両のヨー角のずれとし、前記第２のずれを車両の横ずれとして用いて、前記操舵手段の操舵制御量を決定する操舵制御量演算手段とを、
   有することを特徴とする車両のレーンキープ制御装置。
2. 請求項１記載の車両のレーンキープ制御装置において、
   前記制御手段は、
   前記直線近似手段により、いずれか一方の白線の検出、若しくは、いずれか一方の白線の直線近似ができなかった場合には、
   前記全ての演算手段の実行を中止して、前記操舵手段による操舵を禁止する操舵禁止手段を有すること特徴とする車両のレーンキープ制御装置。

Images