JP2005258936A - 車両走行状態判定装置 - Google Patents

Abstract

【課題】 路面に白線が無くても車両の蛇行を判定することができる車両走行状態判定装置を提供すること。
【解決手段】 車両の走行方向路面を撮像するカメラ１１と、このカメラ１１によって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた車両走行状態判定装置において、前記蛇行状態検出手段は、前回記憶された路面画像と今回撮像記憶された路面画像を比較することにより路面画像の速度ベクトルを算出する速度ベクトル算出手段（ステップＳ２）と、この速度ベクトル検出手段で算出された路面画像の速度ベクトルに基づいて車両の蛇行を判定する判定手段（ステップＳ１０）とを具備したことを特徴とする。
【選択図】 図３

Description

本発明は、例えばドライバが、運転中に覚醒状態を低下させ、居眠り運転に入りかけたか否かを判定することができる車両走行状態判定装置に関する。

近年、道路網の発達や余暇の増加などによって自動車を運転する機会が増えてきており、この自動車の運転走行に際して運転者は常に安定した心身の健康が望まれる。しかし、自己の体調不良を自覚しながらハンドルを握る場合も考えられる。この場合自動車の運転に際し、長時間や少なく連続して運転すると、運転者に疲労が蓄積して集中力が低下することで、覚醒状態が低下し、眠気を誘う場合がある。

このようなことを防止するために、車両にカメラを搭載し、このカメラにより撮像された前方画像により道路白線を認識して車両の蛇行を判定し、ドライバが居眠り状態に入りかけたか否かを検出し、警報するようにしている（例えば、特許文献１を参照）。
特許第3039327号公報

上記文献では、走行帯区分線を撮像し、それを基に蛇行を判定しているが、道路の両側の白線を認識して蛇行判定する方法もある。しかしながら、この方法では、路面全体に雪が積もっているような場合や、積雪がなくても両側に白線が無いような場合には、車両の蛇行を判定することができなかった。

本発明は、上記の点に鑑みてなされたもので、その目的は、路面に白線が無くても車両の蛇行を判定することができる車両走行状態判定装置を提供することにある。

請求項1記載の発明は、車両の走行方向路面を撮像するカメラと、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた車両走行状態判定装置において、前記蛇行状態検出手段は、前記カメラで撮像された路面画像と前記カメラで撮像された現在の路面画像を比較することにより路面画像の速度ベクトルを算出する速度ベクトル算出手段と、この速度ベクトル検出手段で算出された路面画像の速度ベクトルに基づいて車両の蛇行を判定する判定手段とを具備したことを特徴とする。

請求項２記載の発明は、請求項１記載の蛇行状態検出手段はこのカメラによって撮像された路面画像の手前側の画像データに基づいて蛇行量を求めることを特徴とする。

請求項３記載の発明は、請求項1の前記判定手段は、前記速度ベクトル検出手段で検出された速度ベクトルと完全直進時の速度ベクトルとを比較することにより差分の速度ベクトルを算出する算出手段と、この算出手段で算出された差分の速度ベクトルの水平成分値を求める水平成分値算出手段と、この水平成分値算出手段で算出された前記差分の速度ベクトルの水平成分値の平均値に基づいて車両の蛇行量を算出する蛇行量算出手段とを具備し、この蛇行量算出手段で算出された蛇行量に基づいて車両の蛇行を判定することを特徴とする。

請求項４記載の発明は、請求項1記載の前記蛇行状態検出手段は、更に撮像された路面画像のエッジを検出するエッジ検出手段を備え、前記速度ベクトルは、エッジのグレイ値に基づいて算出されることを特徴とする。

請求項１記載の発明によれば、路面に白線が無い場合でも、車両の蛇行を精度よく検出することができる。

請求項２記載の発明によれば、カメラで撮像された前方路上画像に基づいて蛇行量を求めるようにしたので、蛇行と判断する際の精度を向上させることができる。

請求項３記載の発明によれば、差分の速度ベクトルの水平成分値の平均値に基づいて車両の蛇行量を算出するようにしたので、車両の蛇行を精度良く検出することができる。

請求項４記載の発明によれば、速度ベクトルをエッジのグレイ値に基づいて算出するようにしたので、車両の蛇行を精度良く検出することができる。

以下、図面を参照して本発明の一実施の形態について説明する。図１は車両走行状態判定装置を示すブロック図である。図において、１１はＣＣＤカメラである。このカメラ１１で撮像された車両前方の路面画像は画像処理装置１２に入力される。この画像処理装置１２はカメラ１１で撮像された画像を処理する画像処理部１２ａと、この画像処理部１２ａで処理された画像データを記憶する画像データ記憶部１２ｂを有する。

この画像処理装置１２は制御部１３に接続されている。この制御部１３はマイクロプロセッサを中心に構成されており、蛇行率判定手段１４を含む。

なお、カメラ１１は図２に示すように、例えば車両のキャビン内中央上部に取り付けられている。カメラ１１は、車両の走行方向前方の路面１を撮像するもので、その画像を図５に示す。

次に、上記のように構成された本発明の一実施の形態の動作について図３のフローチャートを参照しながら説明する。

（ステップＳ１）
まず、カメラ１１で撮像された路面画像は画像処理装置１２に入力される。この路面画像は画像処理された後、画像データ記憶部１２ｂへ記憶され次のステップＳ２に移る。

このステップＳ１での画像データ記憶部１２ｂへの記憶処理は、具体的には以下のように行われる。なお、本実施の形態での走行路は、図５に示すように、路面１の両側は白線が存在しておらず、路面上にひび割れ２があるものとする。まず、カメラ１１で取り込まれる路面画像は、ＣＣＤ上で画像認識される。このＣＣＤは、本実施の形態では５１２画素×５１２画素の大きさとしてある。そして、ＣＣＤの水平方向をｘ軸方向、垂直方向をｙ軸方向とするとき、ｘ軸方向に並んだ各画素群（水平方向画素群）上のグレイ値を算出し、これをｙ軸方向に並んだ水平方向画素群毎に行う。なお、グレイ値とは、白が“０”、黒が“２５５”、中間はその濃淡に応じて決定される値である。例えば、ひび割れ２は、他の路面より黒ずんでいるため、ひび割れ２部分のグレー値は他の路面のグレイ値より大きくなる。

次に、算出されたグレイ値から、ｘ軸方向におけるエッジを算出する。エッジとは、算出されたグレイ値の微分値として定義したもので、色調の変化が発生した箇所で検出されることとなる。

そして、エッジの発生した箇所におけるグレイ値の絶対値（グレイ値レベル）を算出し、制御周期毎に所定のメモリへ記憶される。このように、撮像された画像はエッジ処理されて画像データ記憶部１２ｂに記憶される。

（ステップＳ２）
今回の処理画像をｎ番目とすると、ｎ番目の処理画像のエッジとｎ−１番目の処理画像のエッジを比較し、オプティカルフロー法により各エッジでのオプティカルフローを算出し、ステップＳ３へ移る（図７−ｃ参照）。なお、図７中、ａはｎ番目の撮像画像、ｂはｎ−１番目の撮像画像を示している。

ここで、一般に画像のオプティカルフローとは、画像範囲内にある物体上の点（ｘ，ｙ）及び時間ｔにおける画像のグレイ値をＩ（ｘ，ｙ，ｔ）として、物体が移動してもある点の濃淡値は変化しないと仮定すると、
dI/dt＝０ …（１）
テイラー展開により（１）式は
数１
となり、ｘ成分をｕ＝dx/dt、ｙ成分をν＝dy /dtとした（ｕ，ｖ）として定義される速度ベクトルのことである。

（ステップＳ３）
ステップＳ２により得られたオプティカルフロー（図８−ｄ）と、予め別途記憶させておいた完全直進走行時における直進時オプティカルフロー（図８−ｅ）とを比較し、差分オプティカルフロー（図８−ｆ）を算出する。ここで、直進時オプティカルフローは、図８のｅのように表すことができ、ある消失点ｈから同心円上に所定長さのオプティカルフローが夫々均等に分布されている（図１５参照）。

また、消失点とは、カメラの取り付け位置とその取付角（俯角）により決定される値で、ある平行線を斜め上から見たとき交わる、ある一点のことであり（図９−ｄ１参照）、上述した直進時オプティカルフローの消失点ｈも予め記憶されている。

（ステップＳ４）
一方、ステップＳ２で得られたオプティカルフローの向きに基づき、消失点ｇも推定する。

（ステップＳ５）
さらに、直進時オプティカルフローの消失点ｈとステップＳ４で推定した消失点ｇとを比較し、ｘ軸方向のズレ（偏位量）を算出し、この偏位置からヨー角を推定する。つまり、偏位置は、例えば左方向へハンドルを操舵したとすると、図１１中ｘで示す距離に相当するから、車両の直進線Ｐと左方向に向かう線Ｑとがなす角度をθとすれば、距離ｘと撮像している箇所までの距離Ｌとから三角関数によってθを略推定できることになる。そして、このθが所謂ヨー角となる。

（ステップＳ６）
次に、ステップＳ３にて算出した差分オプティカルフローをステップＳ５で推定したヨー角で補正する。

（ステップＳ７）
そして、その補正された差分オプティカルフローをｘ軸方向（水平成分）、ｙ軸方向（垂直成分）に分解する（図１２、図１３参照）。

（ステップＳ８）
次に、ステップＳ７にて求められた水平成分のスカラー平均値を算出する。この平均値とは通常の算術平均であり、水平成分の長さをスカラー量として、向きを±（例えば、右方向を正）として表す。

（ステップＳ９）
そして、一処理毎、つまりこのステップＳ９にくる度に、この差分オプティカルフローの水平成分のスカラー平均値を時刻歴で集計し、蛇行量とみなす。この蛇行量は単位が画素であるため、１画素当りの実際長（画像分解能）で除することにより、実際長さでの蛇行した距離が計測できることとなる。

（ステップＳ１０）
次に、ステップＳ９で算出された蛇行量を微分して車両の進行方向を判定する。

（ステップＳ１１）
一方、ステップＳ７で分解されたオプティカルフロー垂直成分の長さ分布を求める（図１４参照）。

（ステップＳ１２）
そして、ステップＳ１１で求められた長さ分布から、車両の回頭方向を推定する。ここで、オプティカルフロー垂直成分の長さは、物体移動量を示し、短ければ遅く、長ければ速いことを表す。従って、この分布から車両の回頭方向を推定することができる。図１３には、右に長い垂直成分が多く分布している例が示されているが、このことから本実施の形態では、車両が右方向に回頭していることがわかる。

（ステップＳ１３）
次に、先のステップＳ１０で算出された蛇行量微分値とステップＳ１２で推定された回頭方向の一致を確認し、回頭方向を判定する。このように判定された回頭方向は、例えば走行逸脱警報装置（レーンキーパーシステム）に利用することができる。これによれば、車両が走行路を逸脱しそうにあるか否かを白線のない走行路においても判断することができ、逸脱判断されたときドライバに対して操舵を促すよう、ステアリング機構に現操舵方向と逆方向にトルクを加える制御を実施することができる。

ステップＳ１３終了後、リターンとなり、同フローを終了する。

なお、前述したステップＳ９で算出された蛇行量が基準レベル以上になったかを判定する判定手段を設け、この判定手段で「ＹＥＳ」と判定された場合に蛇行していると判定するようにしても良い。そして、蛇行が判定されたとき、図示しない警報手段により、ドライバに警告を発するようにすれば良い。

ここで、基準レベルは、運転開始から一定時間経過するまでの蛇行量を平均することにより求められる。つまり、運転開始から一定時間経過するまでは運転者はいねむりをしないと判断し、この一定時間内の蛇行量を平均している。また、予め実験的に設定するようにしても良い。

また、カメラ１１で撮像された画像のうち、下半分（例えば、画像領域が５１２画素×５１２画素の大きさであれば、０〜２５５画素までの範囲）、即ち、路面画像のうち車両に近い側を画像処理対象とするようにしてもよい。この構成によれば、画像分解能が高く精度の良い蛇行判定が可能となる。また、使用するメモリ容量を抑えることができる上に、画像処理速度も向上するという効果を奏する。

以上のように本発明によれば、カメラで撮像された路面画像に基づいて速度ベクトルを算出し、この速度ベクトルに基づいて蛇行判定をしている。従って、路面上に白線が存在しなくても速度ベクトルを算出することができるので、路面上に白線が存在しなくても車両の蛇行を判定することができるという効果を奏する。

本発明の一実施の形態に係わる車両走行状態判定装置を説明するためのブロック図。 同実施の形態に係わる車両走行状態判定装置のカメラの搭載場所を示す図 同実施の形態の動作を説明するためのフローチャートの一部。 同実施の形態の動作を説明するためのフローチャートの一部。 車両に搭載されたカメラにより撮像された車両前方の映像を示す図。 同実施の形態に係わるエッジのグレイ値を示す図。 同実施の形態に係わるオプティカルフロー画像を抽出する過程を説明するための図。 同実施の形態に係わる差分オプティカルフロー画像を抽出する仕方を説明するための図。 同実施の形態に係わる消失点の算出を説明するための図。 同実施の形態に係わるヨー角を説明するための図。 同実施の形態に係わるヨー角を説明するための図。 同実施の形態に係わる差分オプティカルフロー画像の水平成分を示す図。 同実施の形態に係わる差分オプティカルフロー画像の垂直成分を示す図。 同実施の形態に係わる差分オプティカルフロー画像の長さ分布を示す図。 同実施の形態に係わる車両が完全直進時のオプティカルフロー画像の長さ分布を示す図。

符号の説明

１１…ＣＣＤカメラ、１２…画像処理装置、１３…制御部。

Claims (4)

1. 車両の走行方向路面を撮像するカメラと、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた車両走行状態判定装置において、
   前記蛇行状態検出手段は、
   前記カメラで撮像された路面画像と前記カメラで撮像された現在の路面画像を比較することにより路面画像の速度ベクトルを算出する速度ベクトル算出手段と、
   この速度ベクトル検出手段で算出された路面画像の速度ベクトルに基づいて車両の蛇行を判定する判定手段とを具備したことを特徴とする車両走行状態判定装置。
2. 前記蛇行状態検出手段はこのカメラによって撮像された路面画像の手前側の画像データに基づいて蛇行量を求めることを特徴とする請求項１記載の車両走行状態判定装置。
3. 前記判定手段は、前記速度ベクトル検出手段で検出された速度ベクトルと完全直進時の速度ベクトルとを比較することにより差分の速度ベクトルを算出する算出手段と、
   この算出手段で算出された差分の速度ベクトルの水平成分値を求める水平成分値算出手段と、
   この水平成分値算出手段で算出された前記差分の速度ベクトルの水平成分値の平均値に基づいて車両の蛇行量を算出する蛇行量算出手段とを具備し、
   この蛇行量算出手段で算出された蛇行量に基づいて車両の蛇行を判定することを特徴とする請求項1記載の車両走行状態判定装置。
4. 前記蛇行状態検出手段は、更に撮像された路面画像のエッジを検出するエッジ検出手段を備え、前記速度ベクトルは、エッジのグレイ値に基づいて算出されることを特徴とする請求項1記載の車両走行状態判定装置。

Images