JP2001023093A - 車両の走行監視装置 - Google Patents

車両の走行監視装置

Info

Publication number
JP2001023093A
JP2001023093A JP11194983A JP19498399A JP2001023093A JP 2001023093 A JP2001023093 A JP 2001023093A JP 11194983 A JP11194983 A JP 11194983A JP 19498399 A JP19498399 A JP 19498399A JP 2001023093 A JP2001023093 A JP 2001023093A
Authority
JP
Japan
Prior art keywords
monitoring area
traveling
lane
information
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11194983A
Other languages
English (en)
Other versions
JP3856276B2 (ja
Inventor
Akihiro Shin
章宏 新
Hiroshi Fujii
啓史 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP19498399A priority Critical patent/JP3856276B2/ja
Publication of JP2001023093A publication Critical patent/JP2001023093A/ja
Application granted granted Critical
Publication of JP3856276B2 publication Critical patent/JP3856276B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

(57)【要約】 【課題】 雨天時等、走行中にカメラからの鮮明な画像
が得られ難い状況下にあっても、常時走行レーンの認識
を確実に行ない得るようにすることにより、白線や後方
接近車両の状態を確実に把握可能として走行中の事故の
発生を防止する。 【解決手段】 車両の前方走行路の状況を撮像する前方
用撮像手段と、該前方用撮像手段からの画像情報に基づ
き走行レーンの白線を検知する前方用走行レーン検知手
段と、前記車両の後方走行路の状況を撮像する後方用撮
像手段と、該後方用撮像手段からの画像情報に基づき走
行レーンの白線を検知する後方用走行レーン検知手段
と、前記前方用走行レーン検知手段及び前記後方用走行
レーン検知手段からの両方の走行レーン情報より走行路
の監視領域を設定する監視領域設定手段とを備えたこと
を特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は自動車等の車両にお
いて、車両の走行レーンを認識し監視領域を設定して車
両の走行監視を行う装置に関する。
【0002】
【従来の技術】自動車においては、車体後部に後方撮像
用のカメラ(後方用カメラ)を設置して、走行レーンに
おける接近車の状況や車線の状態を監視する走行監視シ
ステムが装備されるようになってきている。かかる走行
監視システムとして、特開平9−91594号公報の発
明等が提供されている。
【0003】本願出願人の出願に係る特開平9−915
94号公報の発明においては、前方用カメラからの撮像
が入力される前方白線認識手段にて求められた道路前方
の白線情報を、車両挙動センサにて検出される自車の挙
動情報に従って座標変換し、その変換座標を車両後方の
白線情報として認識するようにし、さらに車線変更が検
出された場合には、上記座標変換によって求められた後
方白線情報を新たな白線の位置座標に変更することで、
車線変更に追従させて後方白線情報を求めることによ
り、車両後方の道路画像を求めることなしに車両後方の
白線情報を求めて車両周辺の障害物認識処理に役立てる
後方白線認識装置を実現するように構成されている。
【0004】また、特開平9−156437号公報の発
明においては、撮像部で得られた後側方画像データに基
づいてレーン有無判別部では、隣接レーンの白線を検出
して隣接レーンが存在するか否かを判別し、一方、障害
物検出部7では後ろ側方領域の障害物を検出し、障害物
の移動速度と自車両からの距離を算出し、さらに、走行
状態検出部9では、現在自車両が進路を変更しようとし
ているか否かを検出する。
【0005】そして、綜合判断部11で、ウィンカスイ
ッチがON状態の場合、かつ、ウィンカスイッチの指示
方向に隣接レーンが存在する場合、かつ、他車両や障害
物との接触の可能性がある場合には、出力指示信号を出
力し、警報部で出力指示信号に応じて運転者に車両が接
触の可能性があることを音や表示で報知する。これによ
り、道路状況や交通状況に応じて警報を必要なときに確
実に運転者に接触の可能性を報知することができる警報
装置が得られる。
【0006】
【発明が解決しようとする課題】しかしながら前記従来
技術には次のような解決すべき課題を有している。特開
平9−91594号公報の発明においては前方用カメラ
による撮像情報から後方白線情報を求め、後方の道路状
況を撮像するための専用カメラを省略可能としている
が、雨天時等において雨水が直接に、あるいは自車が巻
き上げる水しぶきによって前方用カメラの保護部が汚れ
るような事態になると、該前方用カメラからの鮮明な画
像が得られ難く、白線の認識が困難となる。
【0007】また、特開平9−156437号公報の発
明においても、車の後方側の1箇所に設けた撮像部(カ
メラ)によって白線等、走行レーンの状況を撮像してい
るため、カメラ保護部の汚れが発生すると後方接近車両
や白線の認識が困難となる。
【0008】本発明はかかる従来技術の課題の鑑み、雨
天時等、走行中にカメラからの鮮明な画像が得られ難い
状況下においても、常時走行レーンの認識を確実に行い
得るようにすることにより、白線や後方接近車の状態を
確実に把握可能として走行中の事故の発生を防止するこ
とを目的とする。
【0009】
【課題を解決するための手段】本発明はかかる課題を解
決するため、請求項1記載の発明として、車両の前方走
行路の状況を撮像する前方用撮像手段と、該前方用撮像
手段からの画像情報に基づき走行レーンの白線を検知す
る前方用走行レーン検知手段と、前記車両の後方走行路
の状況を撮像する後方用撮像手段と、該後方用撮像手段
からの画像情報に基づき走行レーンの白線を検知する後
方用走行レーン検知手段と、前記前方用走行レーン検知
手段及び前記後方用走行レーン検知手段からの両方の走
行レーン情報より走行路の監視領域を設定する監視領域
設定手段とを備えたことを特徴とする車両の走行監視装
置を提供する。
【0010】かかる発明によれば、前方用及び後方用撮
像手段からの双方の撮像情報に基づき走行レーンを認識
できるので、高精度で以って走行レーンの認識及び監視
領域の設定ができ、監視領域の設定が不正確なために、
該監視領域内に入ってきた接近車を検出できず、衝突事
故の発生を招くような事態の発生を回避できる。
【0011】請求項2記載の発明は請求項1に加えて、
前記監視領域設定手段は、前記前方用撮像手段からの前
方撮像情報及び前記後方用撮像手段からの後方撮像情報
のうち少なくとも一方の撮像情報により、前記監視領域
の白線の傾き及び/又は位置を補正する補正手段を備え
るようにしたことにある。
【0012】かかる発明によれば、前記のようにして2
つの走行レーン情報により設定した監視領域を、さらに
後方用撮像手段からの撮像情報と突き合わせることによ
って補正するので、自車の走行状態に適応したさらに高
精度の監視領域を設定することができる。
【0013】また、請求項3記載の発明として、車両の
前方走行路の状況を撮像する前方用撮像手段と、該前方
用撮像手段からの画像情報に基づき走行レーンの白線を
検知する前方用走行レーン検知手段と、前記車両の後方
走行路の状況を撮像する後方用撮像手段と、該後方用撮
像手段からの画像情報に基づき走行レーンの白線を検知
する後方用走行レーン検知手段と、該後方用走行レーン
検知手段からの走行レーン情報より後方走行路の監視領
域を設定する監視領域設定手段とを備え、前記後方走行
路の監視領域の設定において前記後方走行レーン情報又
はその精度が不足すると判断した場合には前記前方用走
行レーン検知手段から得られた前方走行レーン情報を利
用して前記監視領域を補正する補正手段とを備えたこと
を特徴とする車両の走行監視装置を提供する。
【0014】かかる発明によれば、後方用撮像手段の汚
れ等により、該撮像手段からの画像が不鮮明な場合にお
いても、前方用撮像手段による撮像情報により白線を検
知して走行レーン認識を行うとともに監視領域を設定
し、これと後方撮像情報とにより走行監視を行なうの
で、かかる後方用撮像が不鮮明な事態となっても、走行
レーン認識及び監視領域の設定を高精度で以って行なう
ことができ、監視領域の設定不良による接近車の誤検出
や不検出の発生を防止できる。
【0015】
【発明の実施の形態】以下、本発明を図に示した実施例
を用いて詳細に説明する。但し、この実施例に記載され
る構成部品の寸法、材質、形状、その相対配置などは特
に特定的な記載が無い限り、この発明の範囲をそれのみ
に限定する趣旨ではなく単なる説明例に過ぎない。
【0016】図1は本発明の実施形態に係る自動車の走
行監視装置の制御ブロック図、図2は制御フローチャー
ト、図3は全体構成図、図4は監視領域の設定要領を示
す説明図、図5は監視領域の補正要領を示す説明図であ
る。
【0017】全体構成を示す図3において、10は自動
車(以下車という)、1は前記車10の前部に取付けら
れ、前方の走行路状況を撮像する前方用カメラ(撮像手
段)、2は前記車10の後部に取付けられ、後方の走行
路状況を撮像する後方用カメラ(撮像手段)である。ま
た、3は後述する演算、制御を行なうコントローラであ
り、前記前方用カメラ1及び後方用カメラ2から、車1
0の前方の走行路及び後方の走行路の状況を撮影した画
像信号が入力されている。4は運転室内の前部に設けら
れた警報、表示装置で、前記コントローラ3から、後述
する制御、演算に基づく出力信号が入力されるようにな
っている。
【0018】図1〜図2において、後方用カメラ2で撮
影された車10の後方の画像はコントローラ3の後方画
像入力部32に入力される(図2のステップS1)。該
後方画像のデータは後方側の走行レーン検知部34に入
力され、ここで画像処理が施されて図4に示すように、
白線11a、11bが検知される(ステップS2)。1
1cは自車の走行レーンである。そして、この画像信号
は監視領域設定部35に送られる。
【0019】該監視領域設定部35においては、後方用
カメラ2における監視領域12を、例えば、図4に示す
ように、車10の後方の白線の外側のレーン、つまり、
自車の走行レーンの両隣りのレーンに設定する。
【0020】一方、前方用カメラ1で撮影された車10
の前方の画像はコントローラ3の前方画像入力部31に
入力される(図2のステップS4)。該前方画像入力部
31に受け入れられた前方画像のデータは前方側の走行
レーン検知部33に入力され、ここで画像処理が施され
て、図4に示すように、白線11a、11bが検知され
る(ステップS5)。そして、この画像信号は監視領域
設定部35に入力される。
【0021】該監視領域設定部35においては、前記走
行レーン検知部34にて白線が検知された後方側の走行
レーン情報及び前記走行レーン検知部33にて白線が検
知された前方側の走行レーン情報に、前記後方用カメラ
2から後方画像入力部32に入力されている後方画像を
突き合わせて、前記のようにして認識されている走行レ
ーンに対する自車の走行方向角度のずれ量:Δθ及び走
行方向に直角方向の位置のずれ量:ΔSを算出する。
(ステップS6)。
【0022】そして、該監視領域設定部35において
は、前記ステップS3において設定した後方用カメラ2
からの画像に基づく、白線11a、11bにて形成され
た基準の監視領域12を図5の(A)に示すように、前
記のようにして算出した角度のずれ量Δθだけ、11a
→11a、11b→11bのように補正する(ステ
ップS7)。また、前記監視領域設定部35において
は、図5の(B)に示すように、前記のようにして算出
した位置のずれ量ΔSだけ、11a→11a、11b
→11bのように補正する(ステップS8)。上記角
度Δθ及び位置ΔSの補正により、自車の走行状態を盛
り込んだ監視領域12が設定される。
【0023】接近車検出部36においては、後方用カメ
ラ2からの画像により、前記のようにして補正、設定さ
れた監視領域12内にある物体の中から自車への接近車
を検出する(ステップS9)。そして、警報判定部37
においては、検出された接近車の自車への接近状況から
警報発信の要否を判定し、警報発信を要するときはこの
指令信号を警報、表示出力部38に出力する(ステップ
S10)。
【0024】警報、表示出力部38においては、前記警
報発信の指令信号に従い警報信号を運転室内の警報、表
示装置4に出力する(ステップS11)。これにより、
ドライバーは前記監視領域12内に他の車が接近中であ
ることを認識することが可能となる。
【0025】従って、かかる実施形態によれば前方用カ
メラ1からの撮像情報及び後方用カメラ2からの撮像情
報の双方に基づき走行レーンを認識できるので、高精度
で以って走行レーン認識及び監視領域12の設定が可能
となる。また、前記走行レーン情報により設定した監視
領域を後方用カメラ2からの撮像情報とを突き合わせる
ことにより補正して監視領域を設定するので、自車の走
行状態に適応した監視領域を設定することができる。
【0026】また、雨天時等の水しぶきや埃により、後
方用カメラ2の保護カバーに汚れが発生し、該後方用カ
メラ2から鮮明な画像が得られない事態となった場合に
は、前方用カメラ1にて撮影された画像に基づき走行レ
ーン検知部33によって白線11a、11bを検知し、
監視領域設定部35に入力する。
【0027】該監視領域設定部35においては、走行レ
ーン検知部33にて白線11a、11bが認識された前
方カメラ1からの画像による走行レーン情報によって基
準となる監視領域12を設定する。そして、該監視領域
設定部35においては、後方用カメラ2から後方画像入
力部32に入力される後方画像を突き合わせて、図2の
ステップS6と同様に、前記により認識されている走行
レーンに対する自車の走行方向角度のずれ量Δθ及び位
置のずれ量ΔSを算出し、図2のステップS7、S8の
ようにして監視領域12の補正を行なう。以下の動作は
前記ステップS9ないしS11と同様である。
【0028】従って、かかる実施形態によれば、後方用
カメラ2の保護カバーの汚れ等により、後方用カメラか
らの画像が不鮮明な場合には、前方用カメラ1による撮
像情報に基づき白線を検知して走行レーン認識を行なう
とともに監視領域を設定し、この走行レーン情報と後方
用カメラからの画像情報とにより、接近車の検知及び警
報の要否判定を行うことができる。
【0029】
【発明の効果】以上記載のごとく、請求項1記載の発明
によれば、前方用及び後方用撮像手段からの双方の撮像
情報に基づき走行レーンを認識できるので、高精度で以
って走行レーンの認識及び監視領域の設定ができ、監視
領域の設定不良による接近車の誤検出や不検出の発生及
びこれにより引き起こされる衝突事故の発生を未然に防
止でき、安全運転が実現できる。
【0030】また請求項2のように構成すれば、前記に
加えて、前記のようにして、前後2つの走行レーン情報
により設定した監視領域を、さらに後方用撮像手段から
の撮像情報によって補正した監視領域とするので、自車
の走行状態に適応したさらに高精度の監視領域設定がで
きる。
【0031】また請求項3の発明によれば、後方用撮像
手段からの画像が不鮮明な場合においても、前方用撮像
手段による撮像情報により白線を検知して走行レーン認
識を行なうとともに監視領域を設定するので、かかる後
方用撮像が不鮮明な事態となっても、走行レーン認識及
び監視領域の設定を高精度でもって行なうことができ、
監視領域の設定不良による接近車の誤検出や不検出の発
生を防止できる。
【図面の簡単な説明】
【図1】 本発明の実施形態に係る自動車の走行監視装
置の制御ブロック図である。
【図2】 上記実施形態における制御フローチャートで
ある。
【図3】 上記実施形態における全体構成図である。
【図4】 上記実施形態における監視領域の説明図であ
る。
【図5】 上記実施形態における監視領域の補正要領の
説明図である。
【符号の説明】
1 前方用カメラ 2 後方用カメラ 3 コントローラ 4 警報、表示装置 10 車 33 走行レーン検知部(前方用) 34 走行レーン検知部(後方用) 35 監視領域設定部 36 接近車検出部 37 警報判定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 J Fターム(参考) 5C054 CC00 CE11 CH08 FC12 FC15 FE28 FF02 HA30 5C086 AA51 BA22 CA28 CB36 DA08 DA33 DA40 FA18 5C087 AA02 AA09 AA24 AA25 BB03 BB63 DD03 DD14 EE07 EE18 GG02 GG06 GG19 5H180 AA01 CC04 CC24 CC30 LL01 LL02 LL04 LL06

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 車両の前方走行路の状況を撮像する前方
    用撮像手段と、該前方用撮像手段からの画像情報に基づ
    き走行レーンの白線を検知する前方用走行レーン検知手
    段と、前記車両の後方走行路の状況を撮像する後方用撮
    像手段と、該後方用撮像手段からの画像情報に基づき走
    行レーンの白線を検知する後方用走行レーン検知手段
    と、前記前方用走行レーン検知手段及び前記後方用走行
    レーン検知手段からの両方の走行レーン情報より走行路
    の監視領域を設定する監視領域設定手段とを備えたこと
    を特徴とする車両の走行監視装置。
  2. 【請求項2】 前記監視領域設定手段は、前記前方用撮
    像手段からの前方撮像情報及び前記後方用撮像手段から
    の後方撮像情報のうち少なくとも一方の撮像情報によ
    り、前記監視領域の白線の傾き及び/又は位置を補正す
    る補正手段を備えたことを特徴とする請求項1記載の車
    両の走行監視装置。
  3. 【請求項3】 車両の前方走行路の状況を撮像する前方
    用撮像手段と、該前方用撮像手段からの画像情報に基づ
    き走行レーンの白線を検知する前方用走行レーン検知手
    段と、前記車両の後方走行路の状況を撮像する後方用撮
    像手段と、該後方用撮像手段からの画像情報に基づき走
    行レーンの白線を検知する後方用走行レーン検知手段
    と、該後方用走行レーン検知手段からの走行レーン情報
    より後方走行路の監視領域を設定する監視領域設定手段
    とを備え、前記後方走行路の監視領域の設定において前
    記後方走行レーン情報又はその精度が不足すると判断し
    た場合には前記前方用走行レーン検知手段から得られた
    前方走行レーン情報を利用して前記監視領域を補正する
    補正手段とを備えたことを特徴とする車両の走行監視装
    置。
JP19498399A 1999-07-08 1999-07-08 車両の走行監視装置 Expired - Lifetime JP3856276B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19498399A JP3856276B2 (ja) 1999-07-08 1999-07-08 車両の走行監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19498399A JP3856276B2 (ja) 1999-07-08 1999-07-08 車両の走行監視装置

Publications (2)

Publication Number Publication Date
JP2001023093A true JP2001023093A (ja) 2001-01-26
JP3856276B2 JP3856276B2 (ja) 2006-12-13

Family

ID=16333598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19498399A Expired - Lifetime JP3856276B2 (ja) 1999-07-08 1999-07-08 車両の走行監視装置

Country Status (1)

Country Link
JP (1) JP3856276B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017601A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017601A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
RU2576315C1 (ru) * 2012-07-27 2016-02-27 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов
JPWO2014017601A1 (ja) * 2012-07-27 2016-07-11 日産自動車株式会社 立体物検出装置および立体物検出方法
US9589193B2 (en) 2012-07-27 2017-03-07 Nissan Motor Co., Ltd Three-dimensional object detection device and three-dimensional object detection method

Also Published As

Publication number Publication date
JP3856276B2 (ja) 2006-12-13

Similar Documents

Publication Publication Date Title
US7190282B2 (en) Nose-view monitoring apparatus
JP3287117B2 (ja) 撮像装置を用いた車両用の環境認識装置
US8305204B2 (en) Vehicle surrounding confirmation apparatus
EP2093129B1 (en) Parking assist apparatus and method
EP1094337B1 (en) Parking assistance system
JP3239521B2 (ja) 移動体認識装置
US10974649B2 (en) Vehicular parking assist system using backup camera
JP3704987B2 (ja) 車両走行制御装置
JP3246243B2 (ja) 車線逸脱警報装置
JP2007124097A (ja) 車両周辺視認装置
JP2004310522A (ja) 車両用画像処理装置
JP4184485B2 (ja) カメラ付ドアミラー及び車両周辺認識システム
JP5136315B2 (ja) 運転支援装置
US20190362164A1 (en) Image recognition device, image recognition method, and parking assist system
JP3868915B2 (ja) 前方監視装置及びその方法
JP2008059324A (ja) 車線逸脱判定装置および車線逸脱回避システム
JP2003036500A (ja) 車両の走行区分線認識装置
JP5011186B2 (ja) 運転支援装置および運転支援システム
JP3402075B2 (ja) 車両用車線認識装置
JPH0981757A (ja) 車両位置検出装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
JP2002104113A (ja) 後方監視装置
JP2007038773A (ja) 車載カメラ点検装置
JP4563619B2 (ja) 車両用運転支援装置
JPH06130076A (ja) 斜め後方走行車検出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050420

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060907

R151 Written notification of patent or utility model registration

Ref document number: 3856276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 8

EXPY Cancellation because of completion of term