JP2005010892A - 車両用道路形状認識装置 - Google Patents

車両用道路形状認識装置 Download PDF

Info

Publication number
JP2005010892A
JP2005010892A JP2003171750A JP2003171750A JP2005010892A JP 2005010892 A JP2005010892 A JP 2005010892A JP 2003171750 A JP2003171750 A JP 2003171750A JP 2003171750 A JP2003171750 A JP 2003171750A JP 2005010892 A JP2005010892 A JP 2005010892A
Authority
JP
Japan
Prior art keywords
road
vehicle
curvature radius
deli
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003171750A
Other languages
English (en)
Other versions
JP4100269B2 (ja
Inventor
Migaku Takahama
琢 高浜
Takeshi Kimura
健 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003171750A priority Critical patent/JP4100269B2/ja
Publication of JP2005010892A publication Critical patent/JP2005010892A/ja
Application granted granted Critical
Publication of JP4100269B2 publication Critical patent/JP4100269B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】レーザ等の電磁波レーダを用いて、道路形状を認識するようにした車両において、常に安定して道路形状を認識する。
【解決手段】前方物体センサで検出している前方物体が、自車両が走行している道路形状を形成する路側構造物候補であるか否かを判断し、路側構造物であると判断された物体のうち最も自車両に接近している物体の位置情報と道路曲率半径とに基づいて、自車走行中の道路形状を認識して路側構造物側の道路端から自車両までの車幅方向距離を演算する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、例えばレーザ等の電磁波レーダを用いて、道路形状を認識するようにした車両用道路形状認識装置に関する。
【0002】
【従来の技術】
従来の車両用道路形状認識装置としては、自車両の両サイドにレーダを配置して自車両からガードレール等の路側物体までの車幅方向距離を測定し、測定した距離と全地球測位システム(GPS:global positioning system)で検出したレーン情報(2車線か否か)によって自車走行レーン位置を判定するというものが知られている(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開2002−225657号公報(第3頁、第2図)
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来の車両用道路形状認識装置にあっては、自車両の車幅方向距離検出用に左右2セットのレーダが必要となり、前方車両等を検知するシステムが加わる場合には、さらに前方検出用のレーダが別途必要となるので、部品点数が増大すると共に、高コストなシステムとなるという未解決の課題がある。
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、低コストなシステムで精度良く道路形状を認識することが可能な車両用道路形状認識装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る車両用道路形状認識装置は、前方物体検出手段で自車両前方の物体を検出し、道路曲率半径検出手段で自車走行路の道路曲率半径を検出し、路側構造物判断手段で、前記前方物体検出手段で検出した前方物体について、自車両が走行している道路形状を形成する路側構造物であるか否かを判断し、車幅方向距離演算手段で、該路側構造物判断手段で路側構造物であると判断された物体のうち最も自車両に接近している物体の位置情報と、前記道路曲率半径検出手段で検出した道路曲率半径とに基づいて、路側構造物側の道路端から自車両までの車幅方向距離を演算する。
【0006】
【発明の効果】
本発明によれば、自車両前方の物体を検出するためのレーダ等により検出した前方物体が道路形状を形成する路側構造物であるか否かを判断し、最も自車両に近い路側構造物の物体位置と道路曲率半径とに基づいて、路側構造物側の道路端から自車両までの車幅方向距離を算出するので、複数のレーダを配置する必要がなく、1つの前方検出用のレーダ等により車幅方向距離を精度良く検知することができるという効果が得られる。
【0007】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本発明を後輪駆動車に適用した場合の実施形態を示す概略構成図であり、図中、1FL,1FRは従動輪としての前輪、1RL,1RRは駆動輪としての後輪であって、後輪1RL,1RRは、エンジン2の駆動力が自動変速機3、プロペラシャフト4、最終減速装置5及び車軸6を介して伝達されて回転駆動される。
【0008】
前輪1FL,1FR及び後輪1RL,1RRには、夫々制動力を発生する例えばディスクブレーキで構成されるブレーキアクチュエータ7が設けられていると共に、これらブレーキアクチュエータ7の制動油圧が制動制御装置8によって制御される。
ここで、制動制御装置8は、図示しないブレーキペダルの踏込みに応じて制動油圧を発生すると共に、後述するブレーキ制御用コントローラ19からの制動圧指令値PBRに応じて制動油圧を発生し、これをブレーキアクチュエータ7に出力するように構成されている。
【0009】
また、エンジン2には、その出力を制御するエンジン出力制御装置11が設けられている。このエンジン出力制御装置11では、図示しないアクセルペダルの踏込量及び後述するブレーキ制御用コントローラ19からのスロットル開度指令値θに応じてエンジン2に設けられたスロットル開度を調整するスロットルアクチュエータ12を制御するように構成されている。
また、自動変速機3の出力側に配設された出力軸の回転速度を検出することにより、自車速Vを検出する車速センサ13が配設されている。
【0010】
一方、車両の前方側の車体下部には、前方物体検出手段としての前方物体センサ14が設けられている。この前方物体センサ14は、スキャニング式のレーザレーダで構成され、一定角度ずつ水平方向にずれながら周期的に車両の前方方向に所定の照射範囲内で細かいレーザ光を照射し、前方物体から反射して戻ってくる反射光を受光して、出射タイミングから反射光の受光タイミングまでの時間差に基づいて、各角度における自車両と前方物体との間の前後方向距離Pyを検出する。また、その前後方向距離Py及びスキャニング角度θに基づいて、前方物体までの横方向距離Pxを検出し、さらに前方物体の幅W及び相対速度Vrを検出する。このようにして検出した前方物体との相対距離Px、Py、前方物体の幅W及び相対速度Vrには、夫々物体のIDに相当する番号(例えば、0からの連番)が振られ、この物体ID番号順に並んだ配列変数として管理される。したがって、ID=1の物体はPy[1]、ID=3の物体はPy[3]となる。
【0011】
また、車両前方には、自車両前方の状況を高速に把握するための外界認識センサとして、CCDカメラ15及びカメラコントローラ16を備えている。このカメラコントローラ16では、道路区画線等のレーンマーカを検出して走行車線を検出すると共に、走行車線の道路曲率半径候補Rを検出することができるように構成されている。その方法としては、先ず、自車走行車線の道路区画線の形状を数式化モデル(以下、白線モデルと称す)で表す。この白線モデルは道路パラメータを用いて次式のように表される。
【0012】
X=(a+ie)(Y−d)+b/(Y−d)+c ………(1)
ここで、a〜eは道路パラメータであり、aは車線内の自車両の横変位量、bは道路曲率半径、cは自車両(カメラ光軸)の道路に対するヨー角、dは自車両(カメラ光軸)の道路に対するピッチ角、eは道路の車線幅である。
初期状態では、各道路パラメータには中央値に相当する値を初期値として設定する。車線内の位置aには車線中央値を設定し、道路曲率半径bには直線値を設定し、車線に対するヨー角cには0度を設定し、車線に対するピッチ角dには停止状態のα度を設定し、車線幅eには道路構造令に示される高速道路の車線幅を設定する。
【0013】
そして、CCDカメラ15で所定値以上の白線上の検出点を捕捉したときに、今回のサンプリングで求めた白線検出点と前回のサンプリングで求めた白線モデル上の点とのずれ量を各点ごとに算出し、このずれ量に基づいて道路パラメータの変動量Δa〜Δeを算出する。変動量Δa〜Δeの算出方法は、例えば特開平8−5388号公報に示されるような方法を用いることができる。次いで、算出した道路パラメータの変動量Δa〜Δeにより、下記(2)式をもとに新しい道路パラメータa〜eを算出する。
【0014】
a=a+Δa,
b=b+Δb,
c=c+Δc,
d=d+Δd,
e=e+Δe ………(2)
【0015】
このように算出した道路パラメータbが道路曲率半径Rとして外界認識コントローラ20に入力される。また、道路曲率半径候補Rは、右カーブを正の値、左カーブを負の値とする。
また、車体には、自車両の走行位置を検出する走行地点検出手段としての全地球測位システム(GPS:global positioning system)17と、全地球測位システム17から入力された自車位置データとマッチングするための道路情報を格納した、例えばカーナビゲーションシステムで構成される道路情報提供手段としての道路地図データ格納部18が設けられており、自車走行路の道路曲率半径Rや自車走行車線の分岐路の数NBranchなどを検出できるように構成されている。また、道路曲率半径Rは、右カーブを正の値、左カーブを負の値とする。
さらに、この車両には、自車両に発生するヨーレートωを検出するヨーレートセンサ22、図示しないステアリングホイールの操舵角δを検出する操舵角センサ23が備えられ、これらの検出信号は外界認識コントローラ20に入力される。
【0016】
そして、車速センサ13から出力される自車速Vと前方物体センサ14から出力される相対距離Px、Py、前方物体の幅W、相対速度Vrとカメラコントローラ16から出力される道路曲率半径候補R、全地球測位システム17と道路地図データ格納部18とから出力された道路曲率半径候補R及び分岐路の数NBranch、ヨーレートセンサ22から出力されるヨーレートω、操舵角センサ23から出力される操舵角δとが外界認識コントローラ20に入力され、この外界認識コントローラ20によって、前方物体センサ14で検出している停止物体が路側構造物であるか否かを判断し、自車速Vとヨーレートωとに基づいて道路曲率半径候補Rを算出し、道路曲率半径候補R及び分岐路の数NBranchに応じて走行路状況を判定し、道路曲率半径候補R〜Rから適切な道路曲率半径Rを選択する。そして、図2に示すように、自車両MCに最も近い路側構造物Pの物体位置と道路曲率半径Rとに基づいて、図2の斜線部分に示すように仮想的に道路形状構造物DEを生成し、路側構造物側の道路端A点から自車両MCまでの車幅方向距離D2Wallを算出する。
【0017】
ブレーキ制御用コントローラ21では、外界認識コントローラ20によって認識された車幅方向距離、即ち道路形状に基づいて、前方物体センサ14で検出した各物体が自車両にとって制動回避すべき障害物であるか否かを判断し、制動回避すべきであると判断されたときに所定の制動圧指令値PBRを制動制御装置8に出力して自車両の自動ブレーキ制御を行う。
次に、第1の実施形態の動作を外界認識コントローラ20で実行する路側構造物判断処理手順を示す図3及び図4を伴って説明する。
【0018】
この路側構造物判断処理は、所定時間(例えば100msec)毎のタイマ割込処理として実行され、先ず、ステップS1で、前方物体センサ14で検出した相対距離Px、Py、前方物体の幅W及び相対速度Vr、車速センサ13で検出した自車速V、ヨーレートセンサ22で検出したヨーレートω、操舵角センサ23で検出した操舵角δを読込む。ここで、前方物体との相対距離Px、Py、前方物体の幅W及び相対速度Vrは、物体のIDに相当する番号順に並んだ配列変数として管理され、例えば、ID=1の物体はPy[1]、ID=3の物体はPy[3]となる。
【0019】
次にステップS2に移行して、検出中の各物体が停止物であるか否かを判定する。この判定は自車速Vと物体との相対速度Vrによって行い、V≒Vrであるときに、この物体は停止物体であると判断する。そして、検知物体が停止物であるときにはステップS3に移行してその物体の停止物フラグFStopObjを“1”にセットし、停止物でないときにはステップS4に移行してその物体の停止物フラグFStopObjを“0”にリセットする。
【0020】
次にステップS5に移行して、自車速V及びヨーレートωを用いて、自車両の道路曲率半径候補R[m]を下記(3)式をもとに算出する。
=V/ω ………(3)
また、道路曲率半径候補Rの符号は、右カーブを正、左カーブを負とする。次にステップS6で、全地球測位システム17から入力される自車走行地点データを読込み、この自車走行地点データをもとに道路地図データ格納部18をアクセスして、自車両の走行車線の道路曲率半径候補Rと分岐路の数NBranchを読込み、次いでステップS7に移行して、カメラコントローラ16から道路曲率半径候補Rを読込む。
【0021】
次に、前方物体センサ14で検出した各物体が、道路形状を形成する路側構造物の候補であるか否かを判定する。先ずステップS8で路側構造物候補格納変数PyDeli及びPxDeliに格納する物体の数NDeliを“0”にリセットすると共に、ループ変数iを“0”にリセットする。また、前方物体センサ14で現在検知中の物体数NObjを、相対距離格納変数Pyに格納されている値の数に基づいて算出する。
【0022】
次いで、ステップS9に移行して、ループ変数iが前方物体センサ14で検知中の物体数NObjより小さいか否かを判定し、i<NObjであるときにはステップS10に移行し、ID番号iの検知物体の停止物フラグFStopObjが“1”にセットされており、且つ物体の幅Wが予め設定した閾値WTHより小さいか否かを判定する。ここで、閾値WTHは、検知物体が車両でない小さい物体であることを意味する閾値である。
【0023】
ステップS10の判定結果が、FStopObj=1且つW<WTHであるときには、判定中の物体は車両でない停止物体であると判断してステップS11に移行し、下記(4)及び(5)式をもとに路側構造物候補格納変数に現在の物体位置座標を格納すると共に、下記(6)式をもとに物体数NDeliをインクリメントしてステップS12に移行する。
【0024】
PyDeli[NDeli]=Py[i] ………(4)
PxDeli[NDeli]=Px[i] ………(5)
Deli=NDeli+1 ………(6)
一方、前記ステップS10の判定結果が、FStopObj=0又はW≧WTHであるときには、ステップS12に移行する。
【0025】
このステップS12では、ループ変数iをインクリメントして前記ステップS9に移行し、i≧NObjとなるまでステップS10からステップS12までの処理を繰り返す。そして、ステップS9の判定結果がi≧NObjとなったときには、検知中の全物体に対して路側構造物候補であるか否かの判断を行ったと判断してステップS13に移行する。
【0026】
ステップS13では、下記(7)式をもとに操舵角δの標準偏差δvを算出し、運転者操作における修正操舵量を把握する。
δv=√[{(δ[0]−A)+…+(δ[9]−A)}/10] ………(7)
ここで、δ[n]はn回前のサンプリングにおいて検出した操舵角であり、δ[0]は今回検出した操舵角である。また、Aは過去10回分のサンプリング(1秒間)における操舵角δの平均値であり、下記(8)式で表される。
【0027】
A=(δ[0]+δ[1]+…+δ[9])/10 ………(8)
次にステップS14で、自車両の走行車線が直線路であり、且つ分岐路がないか否かを判定する。この判定は、道路曲率半径候補Rが直線路に相当する曲率半径を意味する曲率半径閾値RTHより大きく、且つ分岐路の数NBranchが、分岐路がない一本道であることを意味する“1”であるか否かで判定し、R>RTH且つNBranch=1であるときにはステップS15に移行して、道路曲率半径Rを、次式をもとに設定して後述するステップS19に移行する。
【0028】
R=R ………(9)
一方、前記ステップS14の判定結果が、R≦RTH又はNBranch≠1であるときにはステップS16に移行して、前記ステップS13で算出した操舵角の標準偏差δvが標準偏差閾値STR_VTHより大きいか否かを判定する。ここで、STR_VTHは運転操作における修正操舵量を判定する閾値であり、CCDカメラの白線検知精度の高さに応じて決定される。
【0029】
そして、ステップS16の判定結果がδv>STR_VTHであるときには、運転操作における修正操舵量が多いと判断してステップS17に移行し、道路曲率半径Rを、次式をもとに設定して後述するステップS19に移行する。
R=R ………(10)
一方、前記ステップS16の判定結果がδv≦STR_VTHであるときには、ステップS18に移行して、道路曲率半径Rを、次式をもとに設定してステップS19に移行する。
【0030】
R=R ………(11)
ステップS19では、ループ変数loop1及びloop2を下記(12)及び(13)式をもとに初期化し、さらに路側構造物候補格納変数の中に路側構造物が存在する数NOfInfraと、路側構造物が存在するか否かを判断する道路形状算出フラグFDeliOKとをゼロリセットし、路側構造物が存在しない状態にセットする。
【0031】
loop1=NDeli−1 ………(12)
loop2=loop1−1 ………(13)
OfInfra=0 ………(14)
DeliOK=0 ………(15)
また、路側構造物候補格納変数PyDeliに格納されている前後方向距離を距離の短い順に並び替えて、格納変数Py2Deliに新たにID番号を振りなおして格納すると共に、格納変数Px2Deliには、格納変数Py2Deliに格納された物体の前後方向距離に対応する横方向距離を格納する。これにより、loop1はloop2と比較して自車両から遠方の物体ID番号となる。
【0032】
この路側構造物候補格納変数Py2Deli及びPx2Deliに格納されている各物体について、路側構造物であるか否かを判定し、路側構造物である場合には、路側構造物格納変数PyDeli_near、PyDeli_far、PxDeli_near、PxDeli_farに物体位置座標をそれぞれ格納する。
先ず、ステップS20で、路側構造物候補の物体位置Py2Deli[loop1]及びPy2Deli[loop2]が、それぞれ道路曲率半径Rの絶対値|R|より小さいか否かを判定し、Py2Deli[loop1]≧|R|又はPy2Deli[loop2]≧|R|であるときには、路側構造物候補物体は道路曲率半径より遠方に存在しており、路側構造物でないと判断して後述するステップS29に移行する。一方、ステップS20の判定結果が、Py2Deli[loop1]<|R|且つPy2Deli[loop2]<|R|であるときには、ステップS21に移行する。
【0033】
ステップS21では、道路曲率半径Rに対して、ID番号loop1及びloop2の2つの検知物体間の車幅方向距離tempを算出する。
temp=√(R−Py2Deli[loop1])−√(R−Py2Deli[loop2]) ………(16)
次にステップS22で、道路曲率半径Rの符号を判定し、R>0即ち右カーブであるときには、ステップS23に移行して、(17)式に示すように検知物間の車幅方向距離tempの符号を反転させてからステップS24に移行する。一方、ステップS22の判定結果がR≦0であるときには、そのままステップS24に移行する。
【0034】
temp=−temp ………(17)
ステップS24では、ID番号loop1及びloop2の2つの検知物体の横位置ずれを判定し、下記(18)式が成立する場合には、これらの物体は路側構造物であると判断してステップS25に移行し、不成立の場合には後述するステップS29に移行する。
【0035】
|temp−(Py2Deli[loop1]−Py2Deli[loop2])|<GTH ………(18)
ここで、GTHは2つの検知物体が路側構造物であると判断する際に許容する横位置ずれに関する閾値である。
ステップS25では、路側構造物体数NOfInfraをインクリメントしてから、前記ステップS24で路側構造物であると判断された2つの検知物体について、下記(19)〜(22)式をもとに路側構造物格納変数PyDeli_near、PyDeli_far、PxDeli_near、PxDeli_farに物体位置座標をそれぞれ格納する。
【0036】
PxDeli_near[NOfInfra]=Px2Deli[loop2] ………(19)
PxDeli_far[NOfInfra]=Px2Deli[loop1] ………(20)
PyDeli_near[NOfInfra]=Py2Deli[loop2] ………(21)
PyDeli_far[NOfInfra]=Py2Deli[loop1] ………(22)
次に、ステップS26で、前後方向距離PyDeli_near[NOfInfra]が前後方向距離閾値D_nearTHより小さいか否かを判定し、下記(23)式が成立するときにはステップS27に移行し、不成立のときには後述するステップS29に移行する。
【0037】
PyDeli_near[NOfInfra]<D_nearTH ………(23)
ここで、前後方向距離閾値D_nearTHは、ガードレール等に相当する路側物体から自車両までの車幅方向距離算出の際に基点とする物体が自車両から遠方に存在することに起因する、車幅方向距離の算出精度悪化を防止するための閾値である。
【0038】
ステップS27では、2つの物体間の前後方向距離が物体間距離閾値D_pairTHより大きいか否かを判定し、下記(24)式が成立するときには2つの物体の位置は接近していないと判断してステップS28に移行し、不成立のときには後述するステップS29に移行する。
PyDeli_far[NOfInfra]−PyDeli_near[NOfInfra]>D_pairTH………(24)
次にステップS28では、自車両に接近している路側構造物の物体位置を基点として道路形状構造物を生成し、ガードレール等に相当する路側物体から自車両までの車幅方向距離候補D2Wallを算出し、道路形状算出フラグFDeliOKを“1”にセットする。
【0039】
図5に示す斜線部分は、検知物Pnearを基点に仮想的に生成した道路形状構造物DEである。道路形状構造物DEから自車両MCまでの車幅方向距離の絶対値は、検知物Pnearの横方向距離PxDeli_nearの絶対値に、道路形状構造物DEから検知物Pnearまでの車幅方向距離Dを加算した値となる。ここで、距離Dは下記(25)式で表される。
【0040】
=|R|−√(R−PyDeli_near[NOfInfra) ………(25)
この距離Dは常に正の値となる。したがって、道路形状構造物DEから自車両MCまでの車幅方向距離候補D2Wallは、下記(26)式をもとに算出される。
2Wall[NOfInfra]=PxDeli_near[NOfInfra]−sign(R)・{|R|−√(R−PyDeli_near[NOfInfra)} ………(26)
ここで、sign( )は括弧内の値が正の場合には+1を、負の場合には−1を返す関数である。
【0041】
図5に示すように自車走行車線が右カーブであるとすると、道路曲率半径Rは正の値であるので、前記(26)式においてsign(R)は+1となり、道路形状構造物DEから自車両MCまでの車幅方向距離候補D2Wallは、D2Wall=PxDeli_near−Dにより算出されることになる。ここで、検知物Pnearは自車両の左側に存在するため、横位置PxDeli_nearは負の値である。
【0042】
一方、自車走行車線が左カーブであるとすると、道路曲率半径Rは負の値であるので、前記(26)式においてsign(R)は−1となり、道路形状構造物DEから自車両MCまでの車幅方向距離候補D2Wallは、D2Wall=PxDeli_near+Dにより算出されることになる。ここで、検知物Pnearは自車両の右側に存在するため、横位置PxDeli_nearは正の値である。
【0043】
次にステップS29で、ループ変数loop1及びloop2をデクリメントしてからステップS30に移行し、ループ変数loop2が0以上であるか否かを判定する。ステップS30の判定結果が、loop2≧0であるときには、前記ステップS20に移行して路側構造物判断を繰り返す。一方、loop2<0であるときには、全ての路側構造物候補の物体に対して路側構造物判断を行ったと判断してステップS31に移行する。
【0044】
そして、ステップS31で、前記ステップS28で道路形状算出フラグFDeliOKが、車幅方向距離候補D2Wallが1つ以上算出されていることを意味する“1”にセットされており、最終的な車幅方向距離D2Wall_outが算出可能であるか否かを判定し、算出可能であるときにはステップS32に移行して、車幅方向距離候補D2Wallの採用判定を行う。この判定は、算出された車幅方向距離候補D2Wallの符号を判断することで行い、車幅方向距離候補D2Wallの符号が全て同符号である場合には、全ての車幅方向距離候補D2Wallを採用してステップS33に移行する。一方、車幅方向距離候補D2Wallの符号に異符号が含まれる場合には、路側構造物が自車両の両側に存在するため片側のみに絞り込む必要があると判断して、算出頻度の高い方の符号の車幅方向距離候補D2Wallのみを採用してステップS33に移行する。なお、車幅方向距離候補D2Wallの符号の算出頻度が正負で同じ場合には、予め設定した符号(例えば、負)の車幅方向距離候補D2Wallを採用する。
【0045】
ステップS33では、前記ステップS32で採用された車幅方向距離候補D2Wallの平均値を下記(27)式をもとに算出し、最終的な車幅方向距離D2Wall_outとして設定してからタイマ割込処理を終了して所定のメインプログラムに復帰する。
2Wall_out=ave(D2Wall,1,NOfInfra) ………(27)
ここで、ave(Arg,Start,End)は配列変数ArgにおけるStart番目からEnd番目までの平均値を出力する関数である。
【0046】
一方、前記ステップS31の判定結果が、車幅方向距離候補D2Wallが算出されておらず最終的な車幅方向距離D2Wall_outが算出不可能であるときには、ステップS34に移行し、D2Wall_out=NoDataとして最終的な車幅方向距離が出力できないことを意味する値を設定してからタイマ割込処理を終了して所定のメインプログラムに復帰する。
【0047】
図3の処理において、ステップS14〜S18の処理が道路曲率半径検出手段に対応し、図4の処理において、ステップS20〜S27の処理が路側構造物判断手段に対応し、ステップS28、ステップS31〜S34の処理が車幅方向距離算出手段に対応している。
したがって、今、図6に示すように、自車両MCが分岐路のない直線路を走行中であり、自車前方左側にデリニエータ等の路側停止物体DEが存在しているとする。このとき、前方物体センサ14で物体a〜cを検知しているとすると、図3の路側構造物判断処理において、ステップS2で物体a〜cが停止物体であると判断され、ステップS3で停止物フラグFStopObjが“1”にセットされる。物体a〜cは停止車両でないため、ステップS10の判定で路側構造物候補として判断され、ステップS11で路側構造物候補格納変数PyDeli及びPxDeliに夫々位置情報を格納する。自車走行車線は直線路且つ分岐路が存在しないので、ステップS14からステップS15に移行して全地球測位システム17及び道路地図データ格納部18から得られた道路曲率半径候補Rを道路曲率半径Rとして設定する。
【0048】
次いで、路側構造物候補として格納された物体a〜cについて、路側構造物であるかの判断を行い、路側構造物であると判断された場合には、その物体位置情報と前記ステップ15で設定した道路曲率半径Rとに基づいて、道路端の路側停止物体から自車両までの車幅方向距離候補を算出する。ここで、物体a〜cは自車両から近い位置に存在しており、個々の物体の位置は接近していないとすると、先ず、図4のステップS19でループ変数が初期化され、路側構造物候補の物体数NDeliは“3”であるので、loop1=2、loop2=1に設定される。そして、物体cの位置情報Py2Deli[2]、Px2Deli[2]、及びbの位置情報Py2Deli[1]、Px2Deli[1]に基づいて物体c及びbの路側構造物判定が行われ、ステップS25で路側構造物体数NOfInfraをインクリメントして“1”にセットしてから、路側構造物格納変数PyDeli_near[1]、PxDeli_near[1]に物体bの物体位置座標、路側構造物格納変数PyDeli_far[1]、PxDeli_far[1]に物体cの物体位置座標をそれぞれ格納し、ステップS28で、前記(26)式をもとに物体bの位置情報PyDeli_near[1]、PxDeli_near[1]に基づいて車幅方向距離候補D2Wall[1]を算出する。
【0049】
次いで、ステップS29でループ変数loop1及びloop2をデクリメントしてステップS30に移行する。ループ変数loop2=0であるので、ステップS30からステップS20に移行し、物体bの位置情報Py2Deli[1]、Px2Deli[1]、及びaの位置情報Py2Deli[0]、Px2Deli[0]に基づいて物体b及びaの路側構造物判定が行われる。そして、ステップS25で路側構造物体数NOfInfraをインクリメントして“2”にセットしてから、路側構造物格納変数PyDeli_near[2]、PxDeli_near[2]に物体aの物体位置座標、路側構造物格納変数PyDeli_far[2]、PxDeli_far[2]に物体bの物体位置座標をそれぞれ格納し、ステップS28で、前記(26)式をもとに物体aの位置情報PyDeli_near[2]、PxDeli_near[2]に基づいて車幅方向距離候補D2Wall[2]を算出する。
【0050】
次に、ステップS29でループ変数loop1及びloop2をデクリメントするとloop2<0となり、ステップS30からステップS31に移行する。前記ステップS28で車幅方向距離候補D2Wallは算出されおり、道路形状算出フラグFDeliOKは“1”にセットされているので、ステップS31からステップS32に移行して、車幅方向距離候補D2Wall[1]とD2Wall[2]の採用判定を行い、これらは同符号(マイナスの値)で算出されているので、両者を採用してステップS33に移行し、車幅方向距離候補D2Wall[1]とD2Wall[2]の平均値を算出することで最終的な車幅方向距離D2Wall_outが設定される。
【0051】
また、図7に示すように、自車両MCが分岐路のない直線路を走行中であり、自車前方左側にデリニエータ等の路側停止物体DEが存在し、自車前方右側に停止物体Pが存在しているとする。このとき、前方物体センサ14で物体a〜dを検知しているとすると、図3のステップS10の判定で物体a〜dが路側構造物候補として判断され、ステップS11で路側構造物候補格納変数PyDeli及びPxDeliに夫々位置情報を格納する。
【0052】
ここで、物体a〜dは自車両から近い位置に存在しており、個々の物体の位置は接近していないとすると、先ず、物体c及びbの路側構造物判定が行われ、ステップS25で路側構造物体数NOfInfraをインクリメントして“1”にセットしてから、路側構造物格納変数PyDeli_near[1]、PxDeli_near[1]に物体bの物体位置座標、路側構造物格納変数PyDeli_far[1]、PxDeli_far[1]に物体cの物体位置座標をそれぞれ格納し、ステップS28で、前記(26)式をもとに物体bの位置情報PyDeli_near[1]、PxDeli_near[1]に基づいて車幅方向距離候補D2Wall[1]を算出する。次いで、物体b及びaの路側構造物判定が行われ、ステップS28で、前記(26)式をもとに物体aの位置情報PyDeli_near[2]、PxDeli_near[2]に基づいて車幅方向距離候補D2Wall[2]を算出する。次いで、物体a及びdの路側構造物判定が行われ、ステップS28で、前記(26)式をもとに物体dの位置情報PyDeli_near[3]、PxDeli_near[3]に基づいて車幅方向距離候補D2Wall[3]を算出する。
【0053】
そして、ステップS32で、車幅方向距離候補D2Wallの採用判定が行われ、車幅方向距離候補D2Wall[1]及びD2Wall[2]は負の値、車幅方向距離候補D2Wall[3]は正の値であるので、車幅方向距離候補D2Wall[1]及びD2Wall[2]のみ採用してステップS33に移行し、車幅方向距離候補D2Wall[1]とD2Wall[2]の平均値を算出することで最終的な車幅方向距離D2Wall_outが設定される。
【0054】
一方、図8に示すように、自車両MCが分岐路のない曲線路を走行中であり、自車前方にデリニエータ等の路側停止物体DE、先行車両PC、遠方停止物体Pが存在しているとする。このとき、前方物体センサ14で物体a〜eを検知しているとすると、物体a〜c、eは車両でない停止物体であり、物体dは非停止物体であるため、図3のステップS10の判定で物体a〜c、eが路側構造物候補として判断され、ステップS11で路側構造物候補格納変数PyDeli及びPxDeliに夫々位置情報を格納する。自車走行車線は曲線路であるので、ステップS14からステップS16に移行して運転者操作によるハンドル操舵量のばらつきを判定し、ばらつきが少ない場合にはステップS18に移行して、自車速V及びヨーレートωを用いて前記(3)式をもとに算出した道路曲率半径候補Rを道路曲率半径Rとして設定する。
【0055】
ここで、物体a〜cは自車両から近い位置に存在しており、個々の物体の位置は接近していないとすると、先ず、物体e及びcの路側構造物判定が行われ、物体eは道路曲率半径Rより遠方に存在しているため、ステップS20からステップS29に移行してループ変数loop1及びloop2をデクリメントする。次いで、物体c及びbの路側構造物判定が行われ、ステップS25で路側構造物体数NOfInfraをインクリメントして“1”にセットしてから、路側構造物格納変数PyDeli_near[1]、PxDeli_near[1]に物体bの物体位置座標、路側構造物格納変数PyDeli_far[1]、PxDeli_far[1]に物体cの物体位置座標をそれぞれ格納し、ステップS28で、前記(26)式をもとに物体bの位置情報PyDeli_near[1]、PxDeli_near[1]に基づいて車幅方向距離候補D2Wall[1]を算出する。
【0056】
次いで、物体b及びaの路側構造物判定が行われ、ステップS25で路側構造物体数NOfInfraをインクリメントして“2”にセットしてから、路側構造物格納変数PyDeli_near[2]、PxDeli_near[2]に物体aの物体位置座標、路側構造物格納変数PyDeli_far[2]、PxDeli_far[2]に物体bの物体位置座標をそれぞれ格納し、ステップS28で、前記(26)式をもとに物体aの位置情報PyDeli_near[2]、PxDeli_near[2]に基づいて車幅方向距離候補D2Wall[2]を算出する。そして、ステップS33で、車幅方向距離候補D2Wall[1]とD2Wall[2]の平均値を算出することで最終的な車幅方向距離D2Wall_outが設定される。
【0057】
また、図9に示すように、自車両MCが分岐路の存在する直線路を走行中であり、自車前方にデリニエータ等の路側停止物体DEが存在しているとする。このとき、前方物体センサ14で物体a〜cを検知しているとすると、物体a〜cは車両でない停止物体であるため、図3のステップS10の判定で物体a〜cが路側構造物候補として判断され、ステップS11で路側構造物候補格納変数PyDeli及びPxDeliに夫々位置情報を格納する。自車走行車線は分岐路であるので、ステップS14からステップS16に移行して運転者操作によるハンドル操舵量のばらつきを判定し、ばらつきが多い場合にはステップS17に移行して、カメラコントローラ16から得られた道路曲率半径候補Rを道路曲率半径Rとして設定する。
【0058】
ここで、物体a〜cは自車両から近い位置に存在しており、個々の物体の位置は接近していないとすると、先ず、物体c及びbの路側構造物判定が行われ、ステップS25で路側構造物体数NOfInfraをインクリメントして“1”にセットしてから、路側構造物格納変数PyDeli_near[1]、PxDeli_near[1]に物体bの物体位置座標、路側構造物格納変数PyDeli_far[1]、PxDeli_far[1]に物体cの物体位置座標をそれぞれ格納し、ステップS28で、前記(26)式をもとに物体bの位置情報PyDeli_near[1]、PxDeli_near[1]に基づいて車幅方向距離候補D2Wall[1]を算出する。次いで、物体b及びaの路側構造物判定が行われ、ステップS28で、前記(26)式をもとに物体aの位置情報PyDeli_near[2]、PxDeli_near[2]に基づいて車幅方向距離候補D2Wall[2]を算出する。そして、ステップS33で、車幅方向距離候補D2Wall[1]とD2Wall[2]の平均値を算出することで最終的な車幅方向距離D2Wall_outが設定される。
【0059】
このように、上記実施形態では、自車両前方に検出している停止物体が路側構造物であるか否かの判断を行い、物体が路側構造物であると判断された物体のうち最も自車両に接近している物体位置情報と道路曲率半径とに基づいて、道路端から自車両までの車幅方向距離を算出するので、複数のレーダを配置する必要がなく、自車前方物体を検出するためのレーダを1つ配置することにより道路端から自車両までの車幅方向距離を精度良く検知することができる。
【0060】
また、道路曲率半径は、自車両の走行状況に応じて、複数の道路曲率半径候補の中から適切な1種類の道路曲率半径を選択するため、自車走行車線が直線路であり且つ分岐路が存在しない場合には、カーナビゲーションシステム等から得られる道路曲率半径を選択するので、実際は直線路を走行中であるにも関わらず、運転者操作による操舵量により緩いカーブ路を走行していることに相当する道路曲率半径を算出してしまうことを防止することができると共に、分岐路が存在することにより誤って把握した自車走行路とは異なる走行路の道路曲率半径を算出してしまうことを防止することができる。また、自車走行車線が曲線路であり且つ分岐路が存在する場合には、運転者操作によるハンドル操舵の修正量を判定し、修正操舵量が多い場合には白線等の道路区画線を検出するカメラから得られる道路曲率半径を選択し、修正操舵量が少ない場合には、滑らかなカーブ路を走行していると判断して自車両の運動量から算出した道路曲率半径を選択するので、より高精度の道路曲率半径を得ることができる。
【0061】
さらに、路側構造物候補として格納された非車両停止物体のうち、自車両から所定距離以内に存在する物体のみ路側構造物であると判断するので、道路端から自車両までの車幅方向距離算出の際に基点とする停止物体までの距離が長くなり過ぎることに起因する、車幅方向距離の算出精度悪化を確実に防止することができる。
【0062】
また、路側構造物候補として格納された非車両停止物体の個々の位置が接近している場合には、それらの停止物体は非路側構造物であると判断するので、例えば、ガードレールの奥に存在する標識など、道路端から自車両までの車幅方向距離算出の際の基点として相応しくない物体を除外するので、車幅方向距離の算出精度悪化を確実に防止することができる。
【0063】
なお、上記実施形態においては、道路曲率半径候補Rを前記(3)式をもとに自車速Vとヨーレートωとに基づいて算出する場合について説明したが、これに限定されるものではなく、操舵角センサ23で検出した操舵角δを用いて次式をもとに算出するようにしてもよい。
=(1+AV)LWB/δ ………(28)
ここで、Aは車両固有の値であるスタビリティファクタ(車重、ホイールベース長、重心位置、タイヤの横力で決まる定数)、LWBはホイールベース長である。
【0064】
また、上記実施形態においては、車幅方向距離候補D2Wallの符号により採用判定を行う場合について説明したが、これに限定されるものではなく、採用判定を行わずに、算出された車幅方向距離候補D2Wallをすべて適用して最終的な車幅方向距離D2Wall_outを求めるようにしてもよい。
さらに、上記実施形態においては、車幅方向距離候補D2Wallの平均値を最終的な車幅方向距離D2Wall_outとして設定する場合について説明したが、これに限定されるものではなく、車幅方向距離候補D2Wallの中央値や、ヒストグラムから求まる最多頻度の距離値を選択して最終的な車幅方向距離D2Wall_outを設定するようにしてもよい。
【0065】
また、上記実施形態においては、前方物体センサ14としてスキャニング式のレーザレーダを使用した場合について説明したが、これに限定されるものではなく、マイクロ波やミリ波レーダ等の他の測距装置を適用することができる。
さらにまた、上記実施形態においては、後輪駆動車に本発明を適用した場合について説明したが、前輪駆動車に本発明を適用することもでき、また回転駆動源としてエンジン2を適用した場合について説明したが、これに限定されるものではなく、電動モータを適用することもでき、さらには、エンジンと電動モータとを使用するハイブリッド仕様車にも本発明を適用することができる。
【図面の簡単な説明】
【図1】本発明の実施形態を示す概略構成図である。
【図2】路側構造物側の道路端から自車両までの車幅方向距離の説明図である。
【図3】本発明の実施形態における外界認識コントローラで実行する路側構造物判断処理を示すフローチャートである。
【図4】本発明の実施形態における外界認識コントローラで実行する路側構造物判断処理を示すフローチャートである。
【図5】路側構造物側の道路端から自車両までの車幅方向距離の算出方法を説明する図である。
【図6】本発明の実施形態の動作を説明する図である。
【図7】本発明の実施形態の動作を説明する図である。
【図8】本発明の実施形態の動作を説明する図である。
【図9】本発明の実施形態の動作を説明する図である。
【符号の説明】
2 エンジン
3 自動変速機
7 ディスクブレーキ
8 制動制御装置
11 エンジン出力制御装置
12 スロットルアクチュエータ
13 車速センサ
14 前方物体センサ
15 CCDカメラ
16 カメラコントローラ
17 全地球測位システム(GPS)
18 道路地図データ格納部
20 外界認識コントローラ
22 操舵角センサ
23 ヨーレートセンサ

Claims (7)

  1. 自車両前方の物体を検出する前方物体検出手段と、自車走行路の道路曲率半径を検出する道路曲率半径検出手段と、前記前方物体検出手段で検出した前方物体について、自車両が走行している道路形状を形成する路側構造物であるか否かを判断する路側構造物判断手段と、該路側構造物判断手段で路側構造物であると判断された物体のうち最も自車両に接近している物体の位置情報と、前記道路曲率半径検出手段で検出した道路曲率半径とに基づいて、路側構造物側の道路端から自車両までの車幅方向距離を演算する車幅方向距離演算手段とを備えていることを特徴とする車両用道路形状認識装置。
  2. 前記道路曲率半径検出手段は、自車両の走行状況に応じて、複数の道路曲率半径候補の中から適切な1種類を選択して道路曲率半径を設定するように構成されていることを特徴とする請求項1に記載の車両用道路形状認識装置。
  3. 自車両の走行地点を検出する走行地点検出手段と、自車両が走行する道路情報を有する道路情報提供手段とを有し、前記道路曲率半径検出手段は、前記走行地点検出手段で検出した走行地点及び前記道路情報提供手段で提供される道路情報に基づいて自車両の走行車線が直線路であることを検出し、且つ自車両の走行車線が非分岐路であることを検出したとき、前記走行地点検出手段及び前記道路情報提供手段により得られた道路曲率半径候補を道路曲率半径として設定するように構成されていることを特徴とする請求項2に記載の車両用道路形状認識装置。
  4. 自車両の走行地点を検出する走行地点検出手段と、自車両が走行する道路情報を有する道路情報提供手段とを有し、前記道路曲率半径検出手段は、前記走行地点検出手段で検出した走行地点及び前記道路情報提供手段で提供される道路情報に基づいて、少なくとも自車両の走行車線が曲線路であること、及び自車両の走行車線に分岐路が存在することの何れかを検出したとき、自車両の運動情報から演算した道路曲率半径候補を道路曲率半径として設定するように構成されていることを特徴とする請求項2又は3の何れかに記載の車両用道路形状認識装置。
  5. 自車両の走行地点を検出する走行地点検出手段と、自車両が走行する道路情報を有する道路情報提供手段と、自車走行車線の道路区画線を検出する道路区画線検出手段とを有し、前記道路曲率半径検出手段は、前記走行地点検出手段で検出した走行地点及び前記道路情報提供手段で提供される道路情報に基づいて、少なくとも自車両の走行車線が曲線路であること、及び自車両の走行車線に分岐路が存在することの何れかを検出した場合で、運転者操作におけるハンドル操舵の修正量が多い場合に、前記道路区画線検出手段により得られた道路曲率半径候補を道路曲率半径として設定するように構成されていることを特徴とする請求項2乃至4の何れかに記載の車両用道路形状認識装置。
  6. 前記路側構造物判断手段は、前記前方物体検出手段で検出した停止物体が自車両から所定距離内に存在するとき、路側構造物であると判断するように構成されていることを特徴とする請求項1乃至5の何れかに記載の車両用道路形状認識装置。
  7. 前記路側構造物判断手段は、前記前方物体検出手段で検出した停止物体の個々の位置が接近しているとき、それらの停止物体は非路側構造物であると判断するように構成されていることを特徴とする請求項1乃至6の何れかに記載の車両用道路形状認識装置。
JP2003171750A 2003-06-17 2003-06-17 車両用道路形状認識装置 Expired - Fee Related JP4100269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003171750A JP4100269B2 (ja) 2003-06-17 2003-06-17 車両用道路形状認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003171750A JP4100269B2 (ja) 2003-06-17 2003-06-17 車両用道路形状認識装置

Publications (2)

Publication Number Publication Date
JP2005010892A true JP2005010892A (ja) 2005-01-13
JP4100269B2 JP4100269B2 (ja) 2008-06-11

Family

ID=34096107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003171750A Expired - Fee Related JP4100269B2 (ja) 2003-06-17 2003-06-17 車両用道路形状認識装置

Country Status (1)

Country Link
JP (1) JP4100269B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133446A (ja) * 2010-12-20 2012-07-12 Nissan Motor Co Ltd 車両運転支援装置
JP2014086071A (ja) * 2012-10-26 2014-05-12 Hyundai Motor Company Co Ltd 車路認識方法及びシステム
US8970397B2 (en) 2010-07-05 2015-03-03 Denso Corporation Roadside detection system, driver assistance system and roadside detecting method
KR20150034400A (ko) * 2013-09-26 2015-04-03 현대모비스 주식회사 차선 유지 제어 장치 및 방법
US11983937B2 (en) 2018-07-12 2024-05-14 Denso Corporation Intersecting road estimation device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011196699A (ja) 2010-03-17 2011-10-06 Denso Corp 道路端検出装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970397B2 (en) 2010-07-05 2015-03-03 Denso Corporation Roadside detection system, driver assistance system and roadside detecting method
JP2012133446A (ja) * 2010-12-20 2012-07-12 Nissan Motor Co Ltd 車両運転支援装置
JP2014086071A (ja) * 2012-10-26 2014-05-12 Hyundai Motor Company Co Ltd 車路認識方法及びシステム
US9470788B2 (en) 2012-10-26 2016-10-18 Hyundai Motor Company Lane recognition method and system
KR20150034400A (ko) * 2013-09-26 2015-04-03 현대모비스 주식회사 차선 유지 제어 장치 및 방법
KR102072356B1 (ko) * 2013-09-26 2020-03-02 현대모비스 주식회사 차선 유지 제어 장치 및 방법
US11983937B2 (en) 2018-07-12 2024-05-14 Denso Corporation Intersecting road estimation device

Also Published As

Publication number Publication date
JP4100269B2 (ja) 2008-06-11

Similar Documents

Publication Publication Date Title
US7433772B2 (en) Target speed control system for a vehicle
CN110053619B (zh) 车辆控制装置
US10909855B2 (en) Driving support apparatus
US20210188356A1 (en) Vehicle control device
JP6376059B2 (ja) 自動運転車両の制御装置
US7248962B2 (en) System for influencing the speed of a motor vehicle
US20190092330A1 (en) Vehicle driving support apparatus
US20210188258A1 (en) Vehicle control device
US20210188262A1 (en) Vehicle control device
US7386385B2 (en) System for recognising the lane-change manoeuver of a motor vehicle
JP6525413B1 (ja) 車両制御装置
US8150591B2 (en) Vehicle travel speed control method
US7840330B2 (en) System for influencing the speed of a motor vehicle
US7212907B2 (en) System for influencing the speed of a motor vehicle
US10967864B2 (en) Vehicle control device
CN106394554A (zh) 驾驶辅助装置
US7831367B2 (en) System for influencing the speed of a motor vehicle
JP6825528B2 (ja) 車両運転支援装置
US20050216180A1 (en) System for influencing the speed of a motor vehicle
WO2019044641A1 (ja) 車両制御装置
JP2019043192A (ja) 車両制御装置
JP3931760B2 (ja) 車両用障害物検知装置
JP2019043190A (ja) 車両制御装置
JP4100269B2 (ja) 車両用道路形状認識装置
JP6609292B2 (ja) 車外環境認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080310

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees