JP3351247B2 - Travel control device - Google Patents

Travel control device

Info

Publication number
JP3351247B2
JP3351247B2 JP19944996A JP19944996A JP3351247B2 JP 3351247 B2 JP3351247 B2 JP 3351247B2 JP 19944996 A JP19944996 A JP 19944996A JP 19944996 A JP19944996 A JP 19944996A JP 3351247 B2 JP3351247 B2 JP 3351247B2
Authority
JP
Japan
Prior art keywords
lane boundary
lane
vehicle
white line
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19944996A
Other languages
Japanese (ja)
Other versions
JPH1049672A (en
Inventor
邦彦 足立
芳宏 大桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP19944996A priority Critical patent/JP3351247B2/en
Publication of JPH1049672A publication Critical patent/JPH1049672A/en
Application granted granted Critical
Publication of JP3351247B2 publication Critical patent/JP3351247B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、白線等の走路境界
線を検出して走路を検出し自動走行を行う走行制御装
置、特に現在の撮像データから走路の検出に用いる位置
に走路境界線が検出できなかった場合における走行制御
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a traveling control device for detecting a lane boundary such as a white line to detect a lane and perform automatic traveling. It relates to traveling control in the case where detection has not been performed.

【0002】[0002]

【従来の技術】例えば、車両を先行車との車間距離を維
持しつつ自動追従走行させる走行制御装置、走行速度の
自動調整をしながら先行車との車間距離を維持するため
の装置の他に、車両の走路を決定し自動操舵を行うため
の装置が必要である。この自動操舵を行うための装置
は、車両の走路前方の撮像データから車両の両側に位置
する白線を検出し、その検出した白線の特定位置の位置
情報を用いて走路を検出し、その走路に沿って走行する
ように逐次操舵量を算出する。
2. Description of the Related Art For example, in addition to a travel control device for automatically following a vehicle while maintaining a distance between the vehicle and a preceding vehicle, and a device for maintaining a distance between the vehicle and a preceding vehicle while automatically adjusting a traveling speed. Therefore, a device for determining the traveling path of the vehicle and performing automatic steering is required. The device for performing this automatic steering detects a white line located on both sides of the vehicle from image data in front of the vehicle's road, detects a road using position information of a specific position of the detected white line, and detects the road. The steering amount is sequentially calculated so as to travel along.

【0003】しかし、白線のかすれや白線上にできた水
溜まりの照り返しなどの道路上における環境によって
は、白線の一部が検出できない場合が起こりうる。この
ように白線が検出できない位置が走路の検出の際に用い
る特定位置(白線検出位置)に一致した場合は、走路を
求めることができなくなってしまうため自動走行制御を
中止せざるを得ない。また、先行車に接近すると、その
先行車の存在により白線検出位置に存在する白線が検出
できなくなってしまうため、検出できるよう車間距離を
十分に取って先行車に後続して停止しなければならなく
なる。
[0003] However, depending on the environment on the road, such as blurring of the white line or reflection of a puddle formed on the white line, a part of the white line may not be detected. When the position where the white line cannot be detected coincides with the specific position (white line detection position) used for detecting the lane, the lane cannot be obtained, and the automatic traveling control has to be stopped. In addition, when approaching the preceding vehicle, the presence of the preceding vehicle makes it impossible to detect the white line at the white line detection position.Therefore, it is necessary to provide a sufficient inter-vehicle distance to detect the white line and stop following the preceding vehicle. Disappears.

【0004】そこで、特開平4−306709号公報で
は、走行途中に得た既に通過した部分の白線情報を一時
記憶しておき、その白線情報に基づいて車両前方の白線
を推定することにより道路線形を推定し車両速度を調節
しつつ走行を継続できるようにしている。
In Japanese Patent Application Laid-Open No. Hei 4-306709, white line information of a portion that has already passed during traveling is temporarily stored, and a white line ahead of the vehicle is estimated based on the white line information. Is estimated so that traveling can be continued while adjusting the vehicle speed.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、従来に
おいては、既に通過した部分の白線情報に基づいてこれ
から通過する前方の道路上の白線の位置を推定している
ため、先方にカーブや曲がり角などが出現する道路の場
合は、その推定が外れることになる。すなわち、推定結
果が必ずしも正確なものであるとは限らない。
However, in the prior art, the position of the white line on the road ahead of which is to be passed is estimated on the basis of the white line information of the portion which has already passed. In the case of a appearing road, the estimation is incorrect. That is, the estimation result is not always accurate.

【0006】本発明は以上のような問題を解決するため
になされたものであり、その目的は、走路の検出に用い
る白線などの走路境界線を直接検出できなくなった時
に、より精度良く推定することであり、更には走行制御
を中止せずに信頼性の高い走行制御を行えるようにする
ことである。
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to more accurately estimate a lane boundary such as a white line used for lane detection when the lane cannot be directly detected. In addition, it is an object of the present invention to enable highly reliable travel control without stopping travel control.

【0007】[0007]

【課題を解決するための手段及び発明の効果】以上のよ
うな目的を達成するために、第1の発明は、車両の走路
前方に位置する走路境界線を検出し、その検出した走路
境界線に基づき求めた走路に沿って車両を自動走行させ
る走行制御装置において、撮像データから車両の走路前
方に位置する走路境界線を逐次検出する走路境界線検出
手段と、撮像データ上において前記走路境界線検出手段
が検出した走路境界線のうち走路の検出に用いる第一の
走路境界線検出位置及び第一の走路境界線検出位置より
先方に位置する第二の走路境界線検出位置に存在する各
走路境界線の位置情報を抽出し一時記憶する走路境界線
情報記憶手段と、前記第一の走路境界線検出位置に存在
する走路境界線の位置情報に基づき走路を検出する走路
検出手段とを有し、前記走路検出手段は、第一の走路境
界線検出位置に走路境界線が検出できない場合、当該走
路境界線が第二の走路境界線検出位置に存在したときに
抽出し前記走路境界線情報記憶手段に記憶した過去の走
路境界線の位置情報を用いて走路を推定することを特徴
とする。
Means for Solving the Problems and Effects of the Invention In order to achieve the above object, a first invention is to detect a lane boundary located in front of a lane of a vehicle, and to detect the lane boundary detected. A traveling control device for automatically traveling the vehicle along the lane determined on the basis of: lane boundary detecting means for sequentially detecting lane boundaries located in front of the lane of the vehicle from the image data; and the lane boundary on the image data. A first lane boundary line detection position used for detecting a lane among the lane boundary lines detected by the detection means, and each lane existing at a second lane boundary line detection position located ahead of the first lane boundary line detection position Lane boundary line information storage means for extracting and temporarily storing boundary line position information, and lane line detection means for detecting a lane based on positional information of the lane boundary line existing at the first lane boundary line detection position. If the lane boundary line cannot be detected at the first lane boundary line detection position, the lane boundary line is extracted when the lane boundary line exists at the second lane boundary line detection position, and the lane boundary line information storage means A lane is estimated using the past lane boundary line position information stored in.

【0008】第2の発明は、車両の走路前方に位置する
走路境界線を検出し、その検出した走路境界線に基づき
求めた走路に沿って車両を自動走行させる走行制御装置
において、撮像データから車両の走路前方に位置する走
路境界線を逐次検出する走路境界線検出手段と、前記走
路境界線検出手段が検出した走路境界線のうち自車より
前方に位置する走路境界線を記憶する走路境界線情報記
憶手段と、前記走路境界線情報記憶手段が記憶する走路
境界線のうち走路の検出に用いる走路境界線検出位置に
存在する走路境界線の位置情報に基づき走路を検出する
走路検出手段とを有し、前記走路検出手段は、走路境界
線検出位置に走路境界線が検出できない場合、過去に検
出し前記走路境界線情報記憶手段に記憶したその検出で
きなかった走路境界線に対応する過去の走路境界線の位
置情報を用いて走路を推定することを特徴とする。
According to a second aspect of the present invention, there is provided a travel control device for detecting a lane boundary located in front of a lane of a vehicle and automatically driving the vehicle along a lane determined based on the detected lane boundary. A lane boundary detecting means for sequentially detecting a lane boundary located in front of the lane of the vehicle, and a lane boundary storing a lane boundary located ahead of the own vehicle among the lane boundaries detected by the lane boundary detecting means. A lane information storage unit, a lane detection unit that detects a lane based on the lane boundary line position information existing at a lane boundary detection position used for lane detection among lane boundary lines stored by the lane boundary information storage unit. When the lane boundary line cannot be detected at the lane boundary line detection position, the lane boundary line that has been detected in the past and stored in the lane boundary line information storage unit cannot be detected. And estimating the road by using the positional information of the past lane boundary line corresponding to the line.

【0009】すなわち、上記各発明によれば、走路の検
出に用いる走路境界線検出位置において走路境界線が検
出できなかった場合でも、その検出できなかった走路境
界線自身を過去に検出したときの位置情報を用いて走路
境界線検出位置における走路境界線の位置を求めるよう
にしたので、走路を精度良く推定することができる。
In other words, according to the above inventions, even if the lane boundary line cannot be detected at the lane boundary detection position used for lane detection, the undetectable lane boundary line itself is detected in the past. Since the position of the lane boundary line at the lane boundary line detection position is obtained using the position information, the lane can be accurately estimated.

【0010】第3の発明は、上記第1又は2の発明にお
いて、前記走路境界線情報記憶手段に記憶された過去の
走路境界線の位置情報を用いて追従走行を行う追従走行
手段を有することを特徴とする。これにより、走路境界
線が検出できなかった場合でも精度良く推定した走路に
基づいて中止することなく自動追従走行制御を継続させ
ることができ、かつ信頼性の高い走行制御を行うことが
できる。
[0010] In a third aspect based on the first or second aspect, there is provided a follow-up running means for performing a follow-up run using the past runway boundary line position information stored in the runway boundary line information storage means. It is characterized by. As a result, even when the lane boundary cannot be detected, the automatic following travel control can be continued without stopping based on the lane accurately estimated, and highly reliable travel control can be performed.

【0011】第4の発明は、上記第1又は2の発明にお
いて、前記走路境界線情報記憶手段に記憶された過去の
走路境界線の位置情報を用いて先行車への接近停止を行
う停止時車間距離制御手段を有することを特徴とする。
これにより、走路境界線検出位置で走路境界線を実際に
検出しなくても、記憶した過去の位置情報を用いること
により走路境界線検出位置における走路境界線の位置を
推定できるので、走路を求めることができ、従来と比較
して自車を先行車により接近させて停止することができ
る。
According to a fourth aspect of the present invention, in the first or second aspect, when stopping to approach the preceding vehicle using the past lane boundary position information stored in the lane boundary information storage means. It is characterized by having inter-vehicle distance control means.
Thus, even if the lane boundary line is not actually detected at the lane boundary detection position, the position of the lane boundary line at the lane boundary line detection position can be estimated by using the stored past position information. This makes it possible to bring the own vehicle closer to the preceding vehicle and stop it as compared with the related art.

【0012】[0012]

【発明の実施の形態】実施の形態1. 以下、図面に基づいて、本発明の好適な
実施の形態について説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiment 1 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

【0013】図1は、本発明に係る走行制御装置の一実
施の形態を示したブロック構成図である。追従走行EC
U(Electronic Control Uni
t)10には、画像ECU12と、DGPS(Diff
erential Global Positioni
ng System)14と、地図データベース16
と、車間距離センサ18と車速センサ20とが接続され
ている。画像ECU12は、車載カメラ22により撮像
された画像データに基づいて走路前方の白線を逐次検出
する。DGPS14は、通信衛星からの衛星信号を利用
して現在地を検出するGPS装置からの位置情報に疑似
距離補正情報、搬送波位相補正情報を合わせ、センチメ
ータのレベルまで高精度な測位を行うことで正確な車両
の現在位置を取得する。地図データベース16は、全国
の道路情報などを含む地図情報を記憶する。車間距離セ
ンサ18は、例えば赤外線レーダを前方に向けて照射
し、反射波を受信することによって先行車との車間距離
を検出する。車速センサ20は、車輪軸の回転数を検出
する回転センサ等で構成され、自車の走行速度を検出す
る。
FIG. 1 is a block diagram showing an embodiment of a travel control device according to the present invention. Following EC
U (Electronic Control Uni)
t) 10, the image ECU 12 and the DGPS (Diff)
erential Global Positionion
ng System) 14 and a map database 16
And the inter-vehicle distance sensor 18 and the vehicle speed sensor 20 are connected. The image ECU 12 sequentially detects a white line in front of the track on the basis of image data captured by the on-board camera 22. The DGPS 14 combines pseudo-range correction information and carrier phase correction information with position information from a GPS device that detects the current position using satellite signals from communication satellites, and performs high-precision positioning up to the centimeter level. Obtain the current position of the vehicle. The map database 16 stores map information including nationwide road information and the like. The inter-vehicle distance sensor 18 detects, for example, an inter-vehicle distance from a preceding vehicle by irradiating an infrared radar toward the front and receiving a reflected wave. The vehicle speed sensor 20 is configured by a rotation sensor or the like that detects the number of rotations of the wheel shaft, and detects the traveling speed of the own vehicle.

【0014】また、この他にも追従走行ECU10に
は、追従走行のための制御対象となるスロットルやブレ
ーキ等の加減速手段24等が接続されている。追従走行
ECU10は、前述した画像ECU12からの白線検出
情報、DGPS14からの現在位置情報、地図データベ
ース16からの道路幅を含むリンク情報などのデータに
基づいて走路を検出し自動操舵制御を行うとともに車間
距離センサ18からの車間距離データ及び車速センサ2
0からの車速に基づいて加減速手段24等の制御を行う
ことで自動追従走行制御を行う。特に、本実施の形態に
おける追従走行ECU10は、撮像データから画像EC
U12が検出した白線のうち、図2に示したように走路
の検出に用いる第一の白線検出位置P1及び第一の白線
検出位置P1より先方に位置する第二の白線検出位置P
2に存在する各白線の位置情報を抽出し一時記憶してお
く走路境界線位置記憶手段であり、また、白線検出位置
P1に存在する白線の位置情報(白線情報)に基づき走
路を検出する走路検出手段である。なお、本実施の形態
において、例えば5m先の白線の位置情報に基づいて走
路を決定しているとすると、白線検出位置P1は自車の
5m先である。また、白線検出位置P2は、例えば白線
検出位置P1の5m先方つまり自車の10m先とする。
In addition, the following cruise control ECU 10 is connected to acceleration / deceleration means 24 such as a throttle and a brake, which are to be controlled for the following cruise. The following cruise ECU 10 detects a lane based on data such as the above-described white line detection information from the image ECU 12, current position information from the DGPS 14, and link information including the road width from the map database 16, performs automatic steering control, and performs headway control. Inter-vehicle distance data from the distance sensor 18 and the vehicle speed sensor 2
By controlling the acceleration / deceleration means 24 and the like based on the vehicle speed from 0, the automatic following travel control is performed. In particular, the following cruise control ECU 10 in the present embodiment performs the image EC
Of the white lines detected by U12, as shown in FIG. 2, the first white line detection position P1 used for detecting the lane and the second white line detection position P located ahead of the first white line detection position P1.
2 is a lane boundary line position storage means for extracting and temporarily storing the position information of each white line existing in the line 2, and detecting the lane based on the position information (white line information) of the white line existing at the white line detection position P1. It is a detecting means. In the present embodiment, assuming that the lane is determined based on, for example, the position information of the white line 5 m ahead, the white line detection position P1 is 5 m ahead of the own vehicle. The white line detection position P2 is, for example, 5 m ahead of the white line detection position P1, that is, 10m ahead of the host vehicle.

【0015】本実施の形態において特徴的なことは、走
路の検出に用いる第一の白線検出位置P1に存在すべき
白線が検出できなかったとしてもその検出できなかった
白線が白線検出位置P2で既に検出されていれば、その
白線検出位置P2で検出したときの当該白線の位置情報
を用いて走路を検出することである。このように、白線
検出位置P1で検出できなかった白線を過去に実際に撮
像した時に得た白線情報を用いて白線検出位置P1にお
ける白線の位置を推定するので、信頼度の高い白線の位
置を得ることができる。
A feature of the present embodiment is that even if a white line to be present at the first white line detection position P1 used for detecting a lane cannot be detected, the white line that could not be detected is detected at the white line detection position P2. If it has already been detected, the lane is detected using the position information of the white line detected at the white line detection position P2. As described above, the position of the white line at the white line detection position P1 is estimated using the white line information obtained when the white line that could not be detected at the white line detection position P1 was actually imaged in the past. Obtainable.

【0016】次に、本実施の形態において自動追従走行
制御を行う場合の動作を図3及び図4に示したフローチ
ャートに基づいて説明する。
Next, the operation in the case of performing the automatic following running control in the present embodiment will be described with reference to the flowcharts shown in FIGS.

【0017】図3において、運転者が自動追従走行モー
ドを選択したとき、現時点の車速及び車間距離等所定の
条件を満たすことにより自動追従走行制御が開始される
と(ステップ101)、車載カメラ22が撮像した画像
データに基づいて白線を検出し自動操舵を行う自動操舵
制御処理が行われる(ステップ102)。この自動操舵
制御処理について図4に示したフローチャートを用いて
説明する。
In FIG. 3, when the driver selects the automatic following mode, the automatic following control is started by satisfying predetermined conditions such as the current vehicle speed and the following distance (step 101). An automatic steering control process for detecting a white line based on the image data captured by the camera and performing automatic steering is performed (step 102). This automatic steering control process will be described with reference to the flowchart shown in FIG.

【0018】まず、画像ECU12は、車載カメラ22
が撮像した画像データから白線を検出する(ステップ1
21)。図5は、車載カメラ22が走行中に撮像した画
像例であり、このうち図5(b)は、図5(a)を撮像
してから少し時間が経過したときに撮像された画像例で
ある。例えば、走路前方の白線の一部分B(以下、単に
「白線B」という)が、ある時点で10m先の白線検出
位置P2で検出されたとすると(図5(a))、車両が
走行することによりいずれ5m先の白線検出位置P1で
検出されるはずである(図5(b))。
First, the image ECU 12 includes a vehicle-mounted camera 22.
Detects a white line from the captured image data (step 1
21). FIG. 5 is an example of an image captured while the vehicle-mounted camera 22 is traveling. Of these, FIG. 5B is an example of an image captured when a short time has elapsed since the image of FIG. is there. For example, if a part B of a white line ahead of the runway (hereinafter, simply referred to as “white line B”) is detected at a certain point at a white line detection position P2 10 m ahead (FIG. 5A), the vehicle travels. Eventually, it should be detected at the white line detection position P1 5 m ahead (FIG. 5B).

【0019】追従走行ECU10は、白線検出位置P1
及び白線検出位置P2において白線を検出することがで
きれば(ステップ122)、各白線の位置情報を抽出し
内蔵メモリに一時記憶しておく(ステップ123)。そ
して、追従走行ECU10は、白線検出位置P1におけ
る白線の位置情報に基づいて走路の検出を行う(ステッ
プ124)。例えば、図5(a)において白線検出位置
P1に存在すべき白線の一部分A(以下、単に「白線
A」という)が検出できたときは、検出した白線Aの位
置情報を用いて走路を検出することになる。そして、追
従走行ECU10は現在の車両位置の検出した走路から
のずれ量等に基づいて操舵量を算出し(ステップ12
5)、自動操舵を行う(ステップ126)。
The follow-up traveling ECU 10 detects a white line detection position P1.
If the white line can be detected at the white line detection position P2 (step 122), the position information of each white line is extracted and temporarily stored in the built-in memory (step 123). Then, the following vehicle ECU 10 detects the traveling path based on the position information of the white line at the white line detection position P1 (step 124). For example, in FIG. 5A, when a part A of the white line to be present at the white line detection position P1 (hereinafter, simply referred to as “white line A”) can be detected, the travel path is detected using the detected position information of the white line A. Will do. Then, the following vehicle ECU 10 calculates the amount of steering based on the amount of deviation of the current vehicle position from the detected lane (step 12).
5) Perform automatic steering (step 126).

【0020】一方、追従走行ECU10は、白線検出位
置P1に存在すべき白線が検出できなかったとき(ステ
ップ122)、その存在すべき白線の過去の位置情報を
読み込み、その位置情報を用いて走路を算出する(ステ
ップ128)。この動作について具体例をあげて説明す
る。例えば、図5(b)において本来なら5m先の白線
検出位置P1に存在すべき白線Bが水溜まりの照り返し
等何らかの理由により検出できなかったとする。この白
線Bは、図5(a)に示すように、白線Bの5m前に位
置する白線Aが白線検出位置P1に存在するとき、白線
検出位置P2に存在するはずである。つまり、この白線
Aが白線検出位置P1に存在するときの図5(a)に示
した状態の白線情報は、ステップ123において追従走
行ECU10の内蔵メモリに記憶されているので、白線
Bが白線検出位置P2に存在しているときの白線情報か
ら、白線検出位置P1における白線Bの位置を算出する
ことができる。従って、白線Bが白線検出位置P1に存
在しているときに検出できなかったとしても容易に推定
することができることになる。白線Bを過去に実際に撮
像したデータと、白線Bが白線検出位置P2から白線検
出位置P1まで到達したときまでの操舵量等走行実績と
に基づいて白線検出位置P1における白線Bの位置を推
定するので、曲がり角等これから走行する道路形状等に
変化があったとしてもより誤った推定を行うことはな
い。従って、過去の白線情報に基づいて走路を算出でき
たときは(ステップ129)、その走路から操舵量を算
出し、自動操舵を行う(ステップ125,126)。そ
して、自動操舵制御が可能である旨をセットする(ステ
ップ127)。もし、ステップ128において走路の算
出ができなければ(ステップ129)、自動操舵制御が
不可である旨をセットする(ステップ130)。
On the other hand, when the following cruise ECU 10 cannot detect a white line that should exist at the white line detection position P1 (step 122), it reads past positional information of the white line that should exist, and uses the positional information to read the running path. Is calculated (step 128). This operation will be described with a specific example. For example, in FIG. 5B, it is assumed that the white line B, which should originally exist at the white line detection position P1 5 m ahead, could not be detected for some reason such as reflection of a puddle. As shown in FIG. 5A, this white line B should exist at the white line detection position P2 when the white line A located 5 m before the white line B exists at the white line detection position P1. That is, since the white line information in the state shown in FIG. 5A when this white line A exists at the white line detection position P1 is stored in the internal memory of the following vehicle ECU 10 in step 123, the white line B is detected. The position of the white line B at the white line detection position P1 can be calculated from the white line information when it exists at the position P2. Therefore, even if the white line B cannot be detected when it exists at the white line detection position P1, it can be easily estimated. The position of the white line B at the white line detection position P1 is estimated based on data obtained by actually imaging the white line B in the past and the running results such as the steering amount from when the white line B reaches the white line detection position P1 to the white line detection position P1. Therefore, even if there is a change in the shape of the road on which the vehicle is going to travel, such as a turning angle, no more erroneous estimation is performed. Therefore, when the lane can be calculated based on the past white line information (step 129), the steering amount is calculated from the lane and the automatic steering is performed (steps 125 and 126). Then, the fact that automatic steering control is possible is set (step 127). If the runway cannot be calculated in step 128 (step 129), it is set that automatic steering control cannot be performed (step 130).

【0021】図3に戻ると、ステップ103において自
動操舵制御が不可であれば、自動追従走行制御を終了す
る。自動操舵制御が可能であれば、先行車への追従走行
制御を行う(ステップ104)。追従走行ECU10
は、先行車との車間距離と車速とを逐次検出しながら所
定の車間距離を保ちつつ自車を走行させるわけである
が、本実施の形態においては、従来と同様な手法により
追従走行を行えばよいので詳細な説明を省略する。先行
車が停止しているとき、白線検出位置P1で白線を実際
に検出しなくても、記憶した過去の白線情報を用いるこ
とにより白線の位置を推定できるので、従来と比較して
自車を先行車により接近させて停止することができる。
なお、本実施の形態では、10m先の白線情報を必要と
しているので、自車の停止後の発進は、先行車との車間
距離が10m以上開き、白線検出位置P2において白線
が撮像データから検出できるようになってから行うこと
が望ましい。
Returning to FIG. 3, if the automatic steering control cannot be performed in step 103, the automatic follow-up running control ends. If the automatic steering control is possible, the running control to follow the preceding vehicle is performed (step 104). Following ECU 10
In this embodiment, the own vehicle travels while maintaining a predetermined inter-vehicle distance while sequentially detecting the inter-vehicle distance to the preceding vehicle and the vehicle speed.In the present embodiment, the following traveling is performed by a method similar to the conventional method. The detailed description is omitted. When the preceding vehicle is stopped, the position of the white line can be estimated using the stored past white line information without actually detecting the white line at the white line detection position P1. The vehicle can be stopped closer to the preceding vehicle.
In the present embodiment, since the white line information of 10 m ahead is required, the start after the own vehicle is stopped, the inter-vehicle distance with the preceding vehicle is opened by 10 m or more, and the white line is detected from the image data at the white line detection position P2. It is desirable to do this when it is possible.

【0022】この追従走行制御が可能であれば(ステッ
プ105)、運転者等による自動追従走行制御の終了指
示がなければ、上記処理を繰り返し行う(ステップ10
6)。
If the following running control is possible (step 105), the above processing is repeated unless there is an instruction from the driver or the like to end the automatic following running control (step 10).
6).

【0023】以上のように、本実施の形態によれば、走
路の検出の際に用いる白線検出位置に白線が検出できな
かったとしても、その白線自身を過去に撮像した白線情
報を用いて補正を行いその白線の位置を推定するように
したので、走路を求めることができる。その結果、自動
追従走行制御を中止することなく継続させることができ
る。また、本実施の形態においては、検出できなかった
白線自身の過去の白線情報を有効に利用して白線の位置
の推定を行うようにしたので、より正確な走路を得るこ
とができ、その結果、信頼性の高い追従走行制御が可能
となる。
As described above, according to the present embodiment, even if a white line cannot be detected at the white line detection position used for detecting a lane, the white line itself is corrected using white line information obtained in the past. And the position of the white line is estimated, so that the running path can be obtained. As a result, the automatic following travel control can be continued without being stopped. Further, in the present embodiment, since the position of the white line is estimated by effectively utilizing the past white line information of the white line that could not be detected, a more accurate running path can be obtained, and as a result, Thus, it is possible to perform highly reliable following running control.

【0024】なお、本実施の形態では、自車から5m先
と10m先であり、図5に示したように両側に位置する
白線を検出できるような領域を白線検出位置としている
が、白線検出位置の設定に関してはこれに限られること
はなく、適宜変更可能である。
In this embodiment, the white line detection positions are 5 m and 10 m away from the host vehicle, and the white line detection positions are located on both sides as shown in FIG. The setting of the position is not limited to this, and can be changed as appropriate.

【0025】また、上記実施の形態においては、走路境
界線として走路両側に存在するであろう白線を利用して
走路を検出するようにしたが、これに限らず走路に沿っ
て存在する例えば電線や溝等を検出するようにしても実
現可能である。
In the above-described embodiment, the lane is detected by using a white line which may exist on both sides of the lane as the lane boundary. However, the present invention is not limited to this. It is also feasible to detect grooves and grooves.

【0026】実施の形態2.本実施の形態における自動
追従走行制御は、上記第1の実施の形態とほぼ同様であ
る。但し、本実施の形態においては、先行車が停車して
いるときの走行制御を特徴としている。次に、本実施の
形態における自動追従走行制御について図6に示したフ
ローチャートを用いて説明する。
Embodiment 2 FIG . The automatic follow-up running control in the present embodiment is almost the same as in the first embodiment. However, the present embodiment is characterized by running control when the preceding vehicle is stopped. Next, the automatic following driving control in the present embodiment will be described with reference to the flowchart shown in FIG.

【0027】運転者が自動追従走行モードを選択したと
き、現時点の車速及び車間距離等所定の条件を満たすこ
とにより自動追従走行制御が開始されると(ステップ2
01)、画像ECU12は、車載カメラ22により撮像
された画像データから第1の実施の形態と同様に白線を
検出する(ステップ202)。白線が検出できたら(ス
テップ203)、追従走行ECU10は、検出した白線
の位置情報(白線情報)を内蔵メモリに記憶する(ステ
ップ204)。また、検出した白線の位置に基づき走路
の検出を行う(ステップ205)。通常の場合、走路は
検出できるので、その走路に沿って走行するように自動
操舵制御が行われる(ステップ207)。そして、先行
車が停止していないときは(ステップ208)、必要量
の車間距離を保つような車間距離制御を行い、自動追従
走行を行う(ステップ209)。この場合は、走路の検
出に必要な白線検出位置の白線も先行車により隠れ検出
できないようなことはない。
When the driver selects the automatic following travel mode, the automatic following travel control is started by satisfying predetermined conditions such as the current vehicle speed and the following distance (step 2).
01), the image ECU 12 detects a white line from the image data captured by the onboard camera 22 in the same manner as in the first embodiment (step 202). When the white line is detected (step 203), the following vehicle ECU 10 stores the detected position information of the white line (white line information) in the built-in memory (step 204). Further, the lane is detected based on the detected position of the white line (step 205). In a normal case, since the track can be detected, automatic steering control is performed so as to travel along the track (step 207). When the preceding vehicle is not stopped (step 208), the vehicle distance control is performed so as to maintain the required amount of vehicle distance, and the automatic following operation is performed (step 209). In this case, the white line at the white line detection position necessary for detecting the traveling road is not hidden by the preceding vehicle and cannot be detected.

【0028】ここで、先行車が停止し、その後ろに自車
を停止させるための本実施の形態の特徴的な車間距離制
御(ステップ210)の処理について図7を用いて説明
する。図7は、停止中の先行車30の後ろから次第に近
づき、自車32を停止させるまでの遷移を示した図であ
る。
Here, a description will be given of a process of the inter-vehicle distance control (step 210) according to the present embodiment for stopping the preceding vehicle and stopping the own vehicle behind the preceding vehicle, with reference to FIG. FIG. 7 is a diagram showing the transition from the rear of the stopped preceding vehicle 30 gradually approaching until the own vehicle 32 is stopped.

【0029】まず、ステップ204において車載カメラ
22が撮像した画像データから画像ECU12が検出し
た白線の位置情報を追従走行ECU10の内蔵メモリに
記憶しておくことは前述した。図7(a)においては、
車載カメラ22により撮像される白線の先方は、先行車
30の後尾部分により制限されるので、追従走行ECU
10には、位置Eまでの白線情報が記憶されることにな
る。なお、本実施の形態では、自車32が通過した走路
の白線情報は不要なので随時内蔵メモリから削除してよ
い。また、本実施の形態においては、走路を検出するた
めの白線検出位置を位置Sとする。この位置Sは、上記
実施の形態1の白線検出位置P1に相当する。
First, as described above, in step 204, the position information of the white line detected by the image ECU 12 from the image data captured by the vehicle-mounted camera 22 is stored in the internal memory of the following vehicle ECU 10. In FIG. 7A,
Since the front of the white line imaged by the on-vehicle camera 22 is limited by the rear part of the preceding vehicle 30, the following traveling ECU
10 stores the white line information up to the position E. In the present embodiment, the white line information of the track on which the vehicle 32 has passed is unnecessary, and may be deleted from the internal memory as needed. In the present embodiment, a white line detection position for detecting a lane is defined as a position S. This position S corresponds to the white line detection position P1 in the first embodiment.

【0030】自車32が車速を落としながら先行車30
に徐々に近づく。図7(b)に示したように白線検出位
置Sが後尾部分により検出できなくなるまでは、撮像デ
ータに基づいて検出した白線検出位置Sの白線に基づき
走路を検出し追従走行制御を行うことができる(ステッ
プ202〜207)。ここで、自車が更に先行車30に
近づき、図7(c)に示したように、白線検出位置Sが
後尾部分により検出できなくなったとする(ステップ2
03)。ここで、本実施の形態においては過去に記憶し
た白線情報に読み込んで走路を算出することになる(ス
テップ211)。すなわち、従来であれば、白線検出位
置Sの白線が後尾部分により検出できなくなると追従走
行制御はできなくなるため、その地点で自車32を停止
させなければならないが、本実施の形態においては、位
置Eまでの白線情報を過去に取得し記憶しているので、
この過去に検出済みの白線情報を用いることで実際には
検出できない白線の位置S´を容易に推定することがで
きる。従って、位置S´における白線の位置推定結果に
基づき走路を算出できるので、白線検出位置Sが後尾部
分により検出できなくなった場合でも更に自車32を進
め、車間距離をより短くして自車32を停止することが
できる。この停止時の車間距離は、走行時に保つべき車
間距離と異なることは言うまでもないが、従来であれ
ば、白線が検出できる位置までしか停止時車間距離を縮
めることができなかったが、本実施の形態においては、
目標設定された停止時車間距離まで先行車30に追従さ
せて停止させることができる。
The own vehicle 32 reduces the vehicle speed while the preceding vehicle 30
Gradually approach. Until the white line detection position S can no longer be detected by the trailing portion as shown in FIG. 7B, it is possible to detect the lane based on the white line at the white line detection position S detected based on the image data and perform follow-up traveling control. (Steps 202 to 207). Here, it is assumed that the own vehicle further approaches the preceding vehicle 30, and as shown in FIG. 7C, the white line detection position S cannot be detected by the tail part (step 2).
03). Here, in the present embodiment, the lane is calculated by reading the white line information stored in the past (step 211). That is, in the related art, if the white line at the white line detection position S cannot be detected by the trailing portion, the follow-up traveling control cannot be performed. Therefore, the vehicle 32 must be stopped at that point, but in the present embodiment, Since the white line information up to position E has been acquired and stored in the past,
By using the white line information that has been detected in the past, the position S ′ of the white line that cannot be actually detected can be easily estimated. Therefore, since the travel path can be calculated based on the result of the white line position estimation at the position S ′, even if the white line detection position S cannot be detected by the tail portion, the own vehicle 32 is further advanced, and the inter-vehicle distance is further reduced to make the own vehicle 32 Can be stopped. Needless to say, the inter-vehicle distance at the time of the stop is different from the inter-vehicle distance to be maintained at the time of traveling, but in the past, the inter-vehicle distance at the stop could only be reduced to a position where a white line could be detected. In the form,
The vehicle can be stopped by following the preceding vehicle 30 up to the target inter-vehicle distance at stop.

【0031】図8は、車速と車間距離との関係を示した
図である。図8における直線Aは停止時車間距離制御
(ステップ210)によるものであり、直線Bは走行時
車間距離制御(ステップ209)によるものであるが、
本実施の形態においては、停止時車間距離を非常に短く
することができる。
FIG. 8 is a diagram showing the relationship between the vehicle speed and the inter-vehicle distance. The straight line A in FIG. 8 is based on the inter-vehicle distance control during stop (step 210), and the straight line B is based on the inter-vehicle distance control during traveling (step 209).
In the present embodiment, the inter-vehicle distance at stop can be made very short.

【0032】以上のように、本実施の形態によれば、白
線検出位置Sで白線を実際に検出しなくても、記憶した
過去の白線情報を用いることにより白線の位置を推定で
きるので、従来と比較して自車32を先行車30により
接近させて停止することができる。なお、本実施の形態
では、先行車30は発進し、白線検出位置Sに白線が撮
像データより検出できるようになれば、自動追従走行を
行うことができるようになるので、先行車30がその距
離だけ進んだ時点で自車32を発進させればよい。
As described above, according to the present embodiment, the position of the white line can be estimated by using the stored past white line information without actually detecting the white line at the white line detection position S. The vehicle 32 can be brought closer to the preceding vehicle 30 and stopped. In the present embodiment, if the preceding vehicle 30 starts moving and a white line can be detected from the image data at the white line detection position S, the vehicle can perform automatic following travel. The self-vehicle 32 may be started when the vehicle travels a distance.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明に係る走行制御装置の一実施の形態を
示したブロック構成図である。
FIG. 1 is a block diagram showing an embodiment of a travel control device according to the present invention.

【図2】 撮像データから検出された白線を示した概念
図である。
FIG. 2 is a conceptual diagram showing a white line detected from imaging data.

【図3】 第1の実施の形態において行われる自動追従
走行制御の動作を示したフローチャートである。
FIG. 3 is a flowchart showing an operation of automatic following running control performed in the first embodiment.

【図4】 第1の実施の形態における自動追従走行制御
において行われる自動操舵制御の動作を示したフローチ
ャートである。
FIG. 4 is a flowchart illustrating an operation of an automatic steering control performed in the automatic following control according to the first embodiment.

【図5】 車載カメラが撮像した画像例を示した図であ
る。
FIG. 5 is a diagram illustrating an example of an image captured by a vehicle-mounted camera.

【図6】 第2の実施の形態において行われる自動追従
走行制御の動作を示したフローチャートである。
FIG. 6 is a flowchart illustrating an operation of an automatic following running control performed in a second embodiment.

【図7】 第2の実施の形態における停止時車間距離制
御を説明するために用いる図である。
FIG. 7 is a diagram used to explain inter-vehicle distance control at a stop in a second embodiment.

【図8】 車速と車間距離との関係を示した図である。FIG. 8 is a diagram showing a relationship between a vehicle speed and an inter-vehicle distance.

【符号の説明】[Explanation of symbols]

10 追従走行ECU、12 画像ECU、14 DG
PS、16 地図データベース、18 車間距離セン
サ、20 車速センサ、22 車載カメラ、24加減速
手段、30 先行車、32 自車。
10 Following running ECU, 12 Image ECU, 14 DG
PS, 16 map database, 18 inter-vehicle distance sensor, 20 vehicle speed sensor, 22 vehicle-mounted camera, 24 acceleration / deceleration means, 30 preceding vehicle, 32 own vehicle.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−303625(JP,A) 特開 平6−225308(JP,A) 特開 平7−198349(JP,A) 特開 平8−96299(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/60 B60R 21/00 620 G05D 1/02 G06T 1/00 G08G 1/16 JICSTファイル(JOIS)──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-5-303625 (JP, A) JP-A-6-225308 (JP, A) JP-A-7-198349 (JP, A) JP-A-8-1983 96299 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G06T 7/60 B60R 21/00 620 G05D 1/02 G06T 1/00 G08G 1/16 JICST file (JOIS)

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 車両の走路前方に位置する走路境界線を
検出し、その検出した走路境界線に基づき求めた走路に
沿って車両を自動走行させる走行制御装置において、 撮像データから車両の走路前方に位置する走路境界線を
逐次検出する走路境界線検出手段と、 撮像データ上において前記走路境界線検出手段が検出し
た走路境界線のうち走路の検出に用いる第一の走路境界
線検出位置及び第一の走路境界線検出位置より先方に位
置する第二の走路境界線検出位置に存在する各走路境界
線の位置情報を抽出し一時記憶する走路境界線情報記憶
手段と、 前記第一の走路境界線検出位置に存在する走路境界線の
位置情報に基づき走路を検出する走路検出手段と、 を有し、 前記走路検出手段は、第一の走路境界線検出位置に走路
境界線が検出できない場合、当該走路境界線が第二の走
路境界線検出位置に存在したときに抽出し前記走路境界
線情報記憶手段に記憶した過去の走路境界線の位置情報
を用いて走路を推定することを特徴とする走行制御装
置。
1. A travel control device for detecting a lane boundary located ahead of a lane of a vehicle and automatically driving the vehicle along a lane determined based on the detected lane boundary. A lane boundary line detecting means for sequentially detecting lane boundary lines located at a first lane boundary line detection position and a first lane boundary line detection position used for detecting a lane among lane boundary lines detected by the lane boundary line detection means on image data; Lane boundary information storage means for extracting and temporarily storing position information of each lane boundary present at a second lane boundary detection position located ahead of one lane boundary detection position; and the first lane boundary Lane detection means for detecting a lane based on the position information of the lane boundary present at the line detection position, and the lane detection means cannot detect the lane boundary at the first lane boundary detection position. In the case, the lane boundary is extracted when the lane boundary line is present at the second lane boundary line detection position, and the lane is estimated using the past lane boundary line position information stored in the lane boundary information storage means. Traveling control device.
【請求項2】 車両の走路前方に位置する走路境界線を
検出し、その検出した走路境界線に基づき求めた走路に
沿って車両を自動走行させる走行制御装置において、 撮像データから車両の走路前方に位置する走路境界線を
逐次検出する走路境界線検出手段と、 前記走路境界線検出手段が検出した走路境界線のうち自
車より前方に位置する走路境界線を記憶する走路境界線
情報記憶手段と、 前記走路境界線情報記憶手段が記憶する走路境界線のう
ち走路の検出に用いる走路境界線検出位置に存在する走
路境界線の位置情報に基づき走路を検出する走路検出手
段と、 を有し、 前記走路検出手段は、走路境界線検出位置に走路境界線
が検出できない場合、過去に検出し前記走路境界線情報
記憶手段に記憶したその検出できなかった走路境界線に
対応する過去の走路境界線の位置情報を用いて走路を推
定することを特徴とする走行制御装置。
2. A travel control device for detecting a lane boundary located in front of a lane of a vehicle and automatically driving the vehicle along a lane determined based on the detected lane boundary. Lane boundary line detecting means for sequentially detecting lane boundary lines located in the vehicle; lane boundary line information storage means for storing lane boundary lines located ahead of the vehicle among the lane boundary lines detected by the lane boundary line detecting means And lane detection means for detecting a lane based on position information of lane boundary lines existing at lane boundary detection positions used for lane detection among lane boundary lines stored in the lane boundary information storage means. When the lane boundary line cannot be detected at the lane boundary line detection position, the lane line detecting means detects the lane boundary line that has been detected in the past and stored in the lane boundary line information storage means and cannot be detected. Travel control device and estimates the road by using the position information of the past lane boundary lines.
【請求項3】 請求項1又は2いずれかに記載の走行制
御装置において、 前記走路境界線情報記憶手段に記憶された過去の走路境
界線の位置情報を用いて追従走行を行う追従走行手段を
有することを特徴とする走行制御装置。
3. The traveling control device according to claim 1, wherein the following traveling unit performs the following traveling using the past lane boundary position information stored in the lane boundary information storage unit. A travel control device comprising:
【請求項4】 請求項1又は2いずれかに記載の走行制
御装置において、 前記走路境界線情報記憶手段に記憶された過去の走路境
界線の位置情報を用いて先行車への接近停止を行う停止
時車間距離制御手段を有することを特徴とする走行制御
装置。
4. The travel control device according to claim 1, wherein the approach to the preceding vehicle is stopped using the past lane boundary position information stored in the lane boundary information storage means. A travel control device comprising stop-time inter-vehicle distance control means.
JP19944996A 1996-07-29 1996-07-29 Travel control device Expired - Fee Related JP3351247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19944996A JP3351247B2 (en) 1996-07-29 1996-07-29 Travel control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19944996A JP3351247B2 (en) 1996-07-29 1996-07-29 Travel control device

Publications (2)

Publication Number Publication Date
JPH1049672A JPH1049672A (en) 1998-02-20
JP3351247B2 true JP3351247B2 (en) 2002-11-25

Family

ID=16408008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19944996A Expired - Fee Related JP3351247B2 (en) 1996-07-29 1996-07-29 Travel control device

Country Status (1)

Country Link
JP (1) JP3351247B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111231965A (en) * 2020-01-14 2020-06-05 北京小马智行科技有限公司 Method and device for adjusting vehicle control mode and unmanned vehicle

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3859905B2 (en) * 1999-07-05 2006-12-20 本田技研工業株式会社 Vehicle steering control device
JP4626054B2 (en) * 2000-12-21 2011-02-02 日産自動車株式会社 Vehicle travel control device
JP4092974B2 (en) * 2002-08-01 2008-05-28 日産自動車株式会社 Vehicle travel control device
JP4389567B2 (en) * 2003-12-03 2009-12-24 日産自動車株式会社 Lane departure prevention device
JP5594246B2 (en) * 2011-07-20 2014-09-24 株式会社デンソー Lane recognition device
KR102040705B1 (en) * 2013-08-16 2019-11-05 현대모비스 주식회사 Apparatus and method for compensating vehicle lane
JP5991340B2 (en) 2014-04-28 2016-09-14 トヨタ自動車株式会社 Driving assistance device
JP6256207B2 (en) * 2014-05-30 2018-01-10 株式会社Jvcケンウッド Lane recognition device, lane recognition method, and program
JP6589760B2 (en) * 2016-07-07 2019-10-16 株式会社デンソー Vehicle control device
JP6614354B2 (en) * 2016-07-12 2019-12-04 日産自動車株式会社 Travel control method and travel control apparatus
EP3486133B1 (en) * 2016-07-12 2023-05-10 Nissan Motor Co., Ltd. Travel control method and travel control device
JP6633041B2 (en) 2017-10-25 2020-01-22 本田技研工業株式会社 Vehicle, travel control device, and travel control method
JP7006146B2 (en) * 2017-11-06 2022-02-10 いすゞ自動車株式会社 Steering control device and steering control method
JP6614229B2 (en) * 2017-12-06 2019-12-04 株式会社Jvcケンウッド Lane recognition device and lane recognition method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111231965A (en) * 2020-01-14 2020-06-05 北京小马智行科技有限公司 Method and device for adjusting vehicle control mode and unmanned vehicle

Also Published As

Publication number Publication date
JPH1049672A (en) 1998-02-20

Similar Documents

Publication Publication Date Title
JP3351247B2 (en) Travel control device
JP3183501B2 (en) Travel control device for vehicles
JP7119428B2 (en) Driving support device
US10053087B2 (en) Driving assistance apparatus
US8165797B2 (en) Vehicular control object determination system and vehicular travel locus estimation system
CN108688662A (en) The travel controlling system of vehicle
US11468772B2 (en) Vehicle drive-assist apparatus
JP2004341941A (en) Traveling lane estimation device, branch lane entry estimation device, vehicle speed control device, and program
JP2882061B2 (en) Vehicle preceding vehicle detection device
CN111918803B (en) Driving support control device, driving support system, and driving support control method
JP4134885B2 (en) Curve estimation device and travel control device using the same
JP2000293782A (en) Automatic running controller
JP7149060B2 (en) Moving object recognition device
US20200384992A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP3948409B2 (en) Vehicle traveling path estimation device
JP7087896B2 (en) Driving lane estimation device, driving lane estimation method, and control program
JPH1044826A (en) Follow-up running controller
JPH1068777A (en) On-vehicle preceding car detecting device
US11260884B2 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JPH1040379A (en) Device for detecting traveling path
JP7014858B2 (en) Vehicle control device, vehicle, operation method and program of vehicle control device
WO2019176197A1 (en) Vehicle position determination device
JP3797188B2 (en) Corner start point / road junction detection device
US11361199B2 (en) Traveling environment recognition apparatus
US11919567B2 (en) Automatic steering control apparatus

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070920

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080920

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080920

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090920

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110920

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110920

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120920

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120920

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130920

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees