JP2000078566A - Parking auxiliary device - Google Patents

Parking auxiliary device

Info

Publication number
JP2000078566A
JP2000078566A JP10244555A JP24455598A JP2000078566A JP 2000078566 A JP2000078566 A JP 2000078566A JP 10244555 A JP10244555 A JP 10244555A JP 24455598 A JP24455598 A JP 24455598A JP 2000078566 A JP2000078566 A JP 2000078566A
Authority
JP
Japan
Prior art keywords
vehicle
parking
trajectory
displayed
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10244555A
Other languages
Japanese (ja)
Other versions
JP2000078566A5 (en
JP3562335B2 (en
Inventor
Keiji Kuzutani
啓司 葛谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP24455598A priority Critical patent/JP3562335B2/en
Publication of JP2000078566A publication Critical patent/JP2000078566A/en
Application granted granted Critical
Publication of JP3562335B2 publication Critical patent/JP3562335B2/en
Publication of JP2000078566A5 publication Critical patent/JP2000078566A5/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a parking auxiliary device by which even a beginner conducts parking operation without care and the packing operation is properly assisted. SOLUTION: In the parking auxiliary device 1 where a camera 17 picks-up an image of a back side of a vehicle at the time of parking operation and a display device 13 provided in the vehicle displays a video from the camera as a backside image and displays a driving estimate orbit 20 changing with a state of a steering angle superimposingly on the backside image, the device assists the parking operation by displaying a fixed locus denoting a vehicle locus at a maximized steering angle superimposingly on the backside image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、車両の駐車を補助
する駐車補助装置に関するものであり、特に、後方画像
をカメラにより撮影し、車内の表示器(モニタディスプ
レィ)に後方画像を表示させ、駐車操作時にドライバー
の駐車操作を補助する駐車補助装置に係わる。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a parking assist device for assisting parking of a vehicle, and more particularly, to capturing a rear image with a camera and displaying the rear image on a display (monitor display) in the vehicle. The present invention relates to a parking assist device that assists a driver in a parking operation during a parking operation.

【0002】[0002]

【従来の技術】従来、縦列駐車や車庫入れ等の駐車に不
慣れな初心者を駐車操作時に補助する方法が知られてい
る。例えば、特開平7−17328号公報では車体の周
囲にCCDカメラや距離測定を行う距離センサを設け、
車両の周辺の様子を探知し、車両の室内に設けられたデ
ィスプレィ上に車両周辺の周辺画像を鳥瞰図的に表示し
てドライバに周囲の状況を提供している。
2. Description of the Related Art Conventionally, there has been known a method of assisting a beginner who is unfamiliar with parking such as parallel parking or garage parking during a parking operation. For example, in JP-A-7-17328, a CCD camera and a distance sensor for measuring a distance are provided around the vehicle body,
The surroundings of the vehicle are detected, and a surrounding image of the surroundings of the vehicle is displayed in a bird's-eye view on a display provided inside the vehicle to provide the driver with the surrounding situation.

【0003】また、特開昭59−201082号公報に
おいては、ステアリング舵角をステアリングセンサによ
り検出し、ステアリング操舵角を計算して簡易なディス
プレィにより出力するもの、また、特開平8−2357
号公報に示されるものでは車両の後方に設けられた物体
検知用の測距センサにより、障害物(特に、駐車しよう
とする駐車スペースの隣りに駐車している車等)との距
離を測り、その距離に応じて最大舵角による転舵開始位
置を検出し、転舵開始位置をドライバに報知する方法が
知られている。
In Japanese Patent Application Laid-Open No. 59-201082, a steering angle is detected by a steering sensor, the steering angle is calculated and output by a simple display.
In the device disclosed in Japanese Patent Application Laid-Open Publication No. H10-260, a distance to an obstacle (particularly, a car parked next to a parking space to be parked) is measured by a distance measuring sensor for detecting an object provided behind the vehicle, There is known a method of detecting a turning start position based on the maximum steering angle in accordance with the distance and notifying the driver of the turning start position.

【0004】[0004]

【本発明が解決しようとする課題】しかしながら、上記
した従来の方法では様々なセンシング技術を用いて、車
両の周辺の障害物を検知することが前提となっており、
その処理のためのシステムが複雑になってしまう。ま
た、測距センサ等により近くにある障害物との距離を測
り報知する方法では、駐車スペースの隣りに駐車してい
る車がない場合や人や物等の急な飛び出しに対しての対
応が困難で、適切に駐車を補助するものではない。
However, the above-described conventional method is based on the premise that obstacles around the vehicle are detected using various sensing techniques.
The system for the processing becomes complicated. In addition, the method of measuring and notifying the distance to a nearby obstacle by using a distance measurement sensor or the like can be used when there is no car parked next to the parking space or when a person or object suddenly jumps out. It is difficult and does not assist parking properly.

【0005】そこで、このような問題点を解決するた
め、簡易な方法により駐車を補助し、駐車操作時にドラ
イバーに対して有用な情報を適切に提供することを目的
とした駐車補助装置を、特願平10−141474号に
おいて提案した。この装置は車両(自車)の後方を車両
後方に設けられたカメラにより検出し、車内の表示器に
カメラで撮像した映像を後方画像として表示するもので
あり、駐車操作時においては、車両のステアリング舵角
(操舵角または実舵角)により変化する走行予想軌跡を
後方画像に重ねて表示することにより、ドライバーに対
して駐車の補助を行うものである。
[0005] In order to solve such a problem, a parking assist device for assisting parking by a simple method and appropriately providing useful information to a driver at the time of parking operation has been proposed. It was proposed in Japanese Patent Application No. 10-141474. This device detects the rear of a vehicle (own vehicle) by a camera provided at the rear of the vehicle, and displays an image captured by the camera on a display in the vehicle as a rear image. The vehicle assists the driver in parking by displaying a predicted traveling trajectory that changes according to the steering angle (the steering angle or the actual steering angle) on the rear image.

【0006】しかしながら、走行予想軌跡を後方画像に
重ねて表示するこのような装置は、ドライバーに対して
車両がバックで駐車する際、周囲の有益な情報を提供で
きるという点において利点があるが、実際の使用を考え
た場合には、以下に示す点において操作状況がわかりに
くく、特に、運転歴が浅い、初心者ドライバーにとって
は、ある程度の慣れを必要とする。
[0006] However, such a device that displays the predicted travel trajectory on the rear image is advantageous in that it can provide useful information about the surroundings to the driver when the vehicle is parked in the back. Considering actual use, the following points make it difficult to understand the operation situation, and in particular, a beginner driver who has a short driving history needs some familiarization.

【0007】つまり、(1)バック開始の適切な位置判
断が難しい、(2)ステアリングホイール(ステアリン
グ)の切り始め位置および切り量が判別しにくい、
(3)駐車区画に入った後にステアリングを戻すタイミ
ングが判別しにくい、(4)駐車区画で最終停止位置の
判断がし難いといったことが挙げられる。
That is, (1) it is difficult to judge the appropriate position of the back start, (2) it is difficult to determine the starting position and the amount of turning of the steering wheel (steering),
(3) It is difficult to determine the timing of returning the steering wheel after entering the parking section, and (4) it is difficult to determine the final stop position in the parking section.

【0008】そこで、本発明は上記の問題点に鑑みてな
されたものであり、初心者でも安心して駐車操作が行
え、駐車操作時の補助が適切になされる駐車補助装置を
提供することを技術的課題とする。
Accordingly, the present invention has been made in view of the above problems, and it is a technical object of the present invention to provide a parking assist device in which even a beginner can perform a parking operation with a sense of security and appropriately assist the parking operation. Make it an issue.

【0009】[0009]

【課題を解決するための手段】上記の課題を解決するた
めに講じた技術的手段は、駐車操作時に車両の後方をカ
メラにより撮像し、カメラからの映像を後方画像として
車内に設けられた表示器に表示し、後方画像にステアリ
ング舵角の状態により変化する走行予想軌跡を重ねて表
示する駐車補助装置において、ステアリング舵角を最大
としたときの車両軌跡を示す固定軌跡を後方画像に重ね
て表示するようにした。
The technical means taken to solve the above-mentioned problem is that a rear view of the vehicle is picked up by a camera at the time of parking operation, and an image from the camera is displayed as a rear image in the vehicle. In a parking assist device that displays on a vehicle and superimposes a predicted traveling trajectory that changes according to the state of the steering angle on the rear image, a fixed trajectory that indicates the vehicle trajectory when the steering angle is maximized is superimposed on the rear image. Displayed.

【0010】これによれば、ステアリング舵角を最大に
したときの車両軌跡を示す固定軌跡が後方画像に重なっ
て表示されるので、転舵せずに駐車補助基準位置を決定
でき、その後、走行予想軌跡を固定軌跡に一致させるよ
うにドライバーはステアリングの転舵を行えば、ステア
リングの切り始め位置および切り量がわかり易くなり、
初心者でも安心して駐車操作が行える。
[0010] According to this, since the fixed trajectory indicating the vehicle trajectory when the steering angle is maximized is displayed so as to be superimposed on the rear image, the parking assist reference position can be determined without turning, and then the vehicle is driven. If the driver turns the steering so that the expected trajectory matches the fixed trajectory, the steering start position and the steering amount can be easily understood,
Even beginners can perform parking operations with peace of mind.

【0011】具体的には、固定軌跡が後方画面における
遠方側の駐車区画(駐車場等での1台分の駐車スペース
を指す)の白線の中心よりも前側に接するよう車両をバ
ックさせ、白線に大体接する程度の位置を駐車補助基準
位置とする。駐車補助基準位置になったら、走行予想軌
跡を固定軌跡へ合わせるようにステアリングを転舵し、
走行予想軌跡に一致する舵角でステアリングを保持しな
がら、駐車区画に接近する位置までバックする。駐車区
画に対し車両がまっすぐな状態になったら、ステアリン
グ舵角を直進状態に戻し、表示画面および目視により後
方に注意しながらバックして駐車区画に平行な状態で完
全に入った位置で停車することで、初心者でも簡単に駐
車を行うことが可能となる。
More specifically, the vehicle is backed up so that the fixed trajectory is in front of the center of the white line of the parking section on the far side on the rear screen (indicating one parking space in a parking lot or the like), A position that is approximately in contact with the vehicle is set as a parking assist reference position. When the parking assist reference position is reached, the steering wheel is steered so that the predicted running trajectory matches the fixed trajectory,
The driver backs up to a position approaching the parking section while holding the steering wheel at the steering angle that matches the predicted travel trajectory. When the vehicle is straight with respect to the parking section, return the steering angle to the straight-ahead state, and pay attention to the back of the display screen and visually, paying attention to the back, and stop at a position completely in parallel with the parking section. Thus, even a beginner can easily park.

【0012】この場合、固定軌跡は、駐車操作時におけ
る旋回外輪側の車両軌跡とすれば、旋回外輪が通る位置
に着目して、旋回外輪が駐車区画の白線にかかるように
することで駐車補助基準位置の判断をし易くすることが
可能である。
In this case, if the fixed trajectory is a vehicle trajectory on the turning outer wheel side during the parking operation, the position of the turning outer wheel passes, and the turning outer wheel touches the white line of the parking section. It is possible to easily determine the reference position.

【0013】また、固定軌跡は、ステアリング舵角が中
立位置近傍では固定軌跡が左右共に表示されるようにす
れば、ステアリング舵角を右または左に最大に切ったと
きの車両が通る軌跡がわかり、駐車操作時に直進バック
状態から右旋回または左旋回する場合のどちらにおいて
も固定軌跡を駐車区画の白線に合わせ易い。
The fixed trajectory is such that if the fixed trajectory is displayed on both the right and left sides when the steering angle is in the vicinity of the neutral position, the trajectory through which the vehicle passes when the steering angle is turned to the right or left is obtained. In both cases of turning right or left from the straight-back state during the parking operation, the fixed trajectory can be easily adjusted to the white line of the parking section.

【0014】固定軌跡は、駐車操作時に転舵方向のみ表
示されるようにすれば、転舵方向のみ固定軌跡が表示さ
れるので、ドライバーはどちらの方向の駐車区画に駐車
したいかの意図を読み取った上で、画面上には必要な情
報だけを表示させた状態で適切な駐車補助が可能とな
る。
If the fixed trajectory is displayed only in the steering direction at the time of the parking operation, the fixed trajectory is displayed only in the steering direction. Therefore, the driver reads the intention of the parking stall in which direction. In addition, appropriate parking assistance can be performed while only necessary information is displayed on the screen.

【0015】走行予想軌跡が表示される画面の自車側に
は注意領域が更に表示されるようにすれば、駐車操作時
に車両がぶつかり易いところが注意領域として表示され
るので、ドライバーはバック時にこの領域を特に注意す
れば、車両のぶつかりが防止されるものとなり、安全性
が向上する。
If a caution area is further displayed on the own vehicle side of the screen on which the predicted traveling trajectory is displayed, a place where the vehicle is likely to collide during the parking operation is displayed as a caution area. If the area is given special attention, the collision of the vehicle is prevented and the safety is improved.

【0016】また、注意領域は、自車に近い側と遠い側
で表示形態を変化させるようにすれば、ぶつかる危険度
の高い領域をより明確化して表示することが可能とな
り、安全性がより向上する。
If the display area of the caution area is changed between the side closer to the vehicle and the side farther from the own vehicle, it is possible to more clearly display the area having a high risk of collision, thereby improving safety. improves.

【0017】[0017]

【発明の実施の形態】以下、本発明の実施形態を図面を
参照して説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0018】図1は駐車補助装置1のシステム構成図で
ある。この図において、駐車補助装置1を制御するコン
トローラ16には車両の後方を撮影するCCDカメラ
(以下、カメラと称す)17、ステアリングホイール
(ステアリング)21の操舵角(転舵角ともいう)を検
出するステアリングセンサ2、トランスミッションのシ
フトレバーのリバース(後退)状態を検出するシフトレ
バーリバーススイッチ3、駐車操作時に駐車アシスト機
能を動作させる駐車スイッチ4、および、従動輪の左右
の車輪速度を検出する車輪速センサ5,6からの信号が
入力されており、これらの信号を基にコントローラ16
はディスプレィ13上に車両の後方画像と後述する走行
予想軌跡20等を表示できるようになっている。また、
この装置1には音声合成機能が付加されており、音声合
成回路7により音声合成出力がなされ、スピーカ8から
ドライバに対して音声合成による出力が発せられるよう
になっている。
FIG. 1 is a system configuration diagram of the parking assist device 1. In this figure, a controller 16 for controlling the parking assist device 1 detects a CCD camera (hereinafter, referred to as a camera) 17 for photographing the rear of the vehicle and a steering angle (also referred to as a turning angle) of a steering wheel (steering) 21. Sensor 2, a shift lever reverse switch 3 for detecting a reverse (reverse) state of a transmission shift lever, a parking switch 4 for activating a parking assist function at the time of a parking operation, and wheels for detecting left and right wheel speeds of driven wheels. Signals from the speed sensors 5 and 6 are input, and the controller 16
Can display a rear image of the vehicle, a predicted travel locus 20 described later, and the like on the display 13. Also,
The apparatus 1 is provided with a voice synthesizing function. A voice synthesis circuit 7 outputs a voice synthesis output, and a speaker 8 outputs an output by voice synthesis to a driver.

【0019】コントローラ16の内部には制御を司るC
PU11、ディスプレィ13にグラフィックスを描画す
るグラフィックス描画回路12、グラフィックス信号と
カメラ17からの後方画像を重ね合わせるスーパーイン
ポーズ回路9、カメラ画像から同期信号を抽出してグラ
フィックス描画回路12へ供給する同期分離回路10、
カメラ17からの信号を受けて駐車区画(駐車スペー
ス)30の画像認識を行う駐車区画検出用の画像認識装
置15が設けられている。尚、この画像認識装置15は
コントローラ16に別体で設けることも可能である。
In the controller 16, C for controlling
PU 11, a graphics drawing circuit 12 for drawing graphics on the display 13, a superimposing circuit 9 for superimposing a graphics signal and a rear image from the camera 17, a synchronization signal is extracted from the camera image and sent to the graphics drawing circuit 12. Supply synchronization separation circuit 10,
An image recognition device 15 for detecting a parking section that receives a signal from the camera 17 and performs image recognition of the parking section (parking space) 30 is provided. The image recognition device 15 can be provided separately from the controller 16.

【0020】ディスプレィ13には、ステアリング舵角
の状態により点灯状態が変化する舵角表示マーカー14
が設けられており、ステアリング舵角の状態により表示
マーカー14は左,右,中央のいずれかが点灯し、ステ
アリング21がどちら方向に転舵されているかが、後方
画像と一緒にわかるようになっている。尚、ここでいう
ステアリング舵角とは、ステアリング21を回したとき
の中立位置からの操舵角(転舵角)であっても、左右の
車輪が進行方向から向く実舵角であっても良い。また、
駐車区画30の画像認識および駐車操作時における音声
合成については、ここでは説明を省略する。
The display 13 has a steering angle display marker 14 whose lighting state changes according to the state of the steering angle.
The left, right, or center of the display marker 14 is illuminated according to the state of the steering angle, so that it is possible to know in which direction the steering 21 is being turned together with the rear image. ing. Note that the steering steering angle here may be a steering angle (turning angle) from a neutral position when the steering wheel 21 is turned, or an actual steering angle in which the left and right wheels face from the traveling direction. . Also,
The description of the image recognition of the parking section 30 and the speech synthesis at the time of the parking operation is omitted here.

【0021】図2は、駐車補助装置1を車両に取り付け
た場合の取付図を示す。後方を撮像するカメラ17は車
両後方のナンバープレートの上中央付近に取り付けら
れ、光軸を水平方向から下方に向けて設置される。具体
的には、図3に示されるように、車両後方の中央に水平
状態からの下方角度θが約30度の状態で取り付けら
れ、カメラ自体は広角レンズにより左右140度の視野
を確保し、後方8m程度までの領域を撮影できる。
FIG. 2 is a mounting diagram when the parking assist device 1 is mounted on a vehicle. A camera 17 for imaging the rear is mounted near the upper center of the license plate behind the vehicle, and is installed with the optical axis directed downward from the horizontal direction. Specifically, as shown in FIG. 3, it is attached to the center of the rear of the vehicle at a downward angle θ of about 30 degrees from a horizontal state, and the camera itself secures a 140 ° left and right view with a wide-angle lens, An area up to about 8 m behind can be photographed.

【0022】また、車両の室内のセンターコンソールに
はパネル面にディスプレィ13が備え付けられ、グロー
ブボックス上方にはコントローラ16が内部に設けられ
ている。更に、駐車操作時に駐車補助を要求する駐車ス
イッチ4は、ドライバが操作し易いセンターコンソール
近傍に設けられている。
A display 13 is provided on a panel surface of a center console in the cabin of the vehicle, and a controller 16 is provided above the glove box. Further, the parking switch 4 for requesting the parking assistance at the time of the parking operation is provided near the center console which is easy for the driver to operate.

【0023】次に、ステアリングセンサ2について、図
4を参照して説明する。このステアリングセンサ2は市
販のものを用いており、ステアリング21の操舵角を検
出するものである。これは、ステアリングコラムシャフ
ト23と一体回転するようにスリット板2aが取付けら
れており、90°の位相差がついた2組のフォトインタ
ラプタ2c,2bが取付けられている。この構成におい
て、ディスク板2aに円周状に設けられた複数のスリッ
トの回転により、光を通過または遮断してフォトトラン
ジスタをオン/オフさせることにより、A相、B相の2
つの信号パルスを出力している。これは、ステアリング
21の回転方向によりA相に対し、B相は90°位相が
遅れるか、または、進んで出力されるようになってお
り、ここでは、ステアリング舵角が1°/パルスのもの
を用いている。
Next, the steering sensor 2 will be described with reference to FIG. This steering sensor 2 is a commercially available one, and detects the steering angle of the steering 21. In this case, a slit plate 2a is mounted so as to rotate integrally with the steering column shaft 23, and two sets of photo interrupters 2c and 2b having a phase difference of 90 ° are mounted. In this configuration, by turning on / off the phototransistor by passing or blocking light by rotating a plurality of slits provided in a circumferential shape on the disk plate 2a, the A-phase and the B-phase
Two signal pulses are output. This means that the phase B is delayed by 90 ° or advanced ahead of the phase A depending on the rotation direction of the steering 21. In this case, the steering angle is 1 ° / pulse. Is used.

【0024】次に、図5を参照してコントローラ16の
処理について説明する。コントローラ16は電源オン
(アクセサリスイッチがオン)により、図5に示される
プログラムが実行されるようになっている。まず最初の
ステップS101ではこの処理に必要なメモリに各種初
期値を設定し、その後のステップS102においてシフ
トリバーススイッチ3の状態をチェックする。ここで、
シフトリバーススイッチ3がオフ(リバースでない)な
らば、ステップS120において表示画面、即ち、ディ
スプレィ13の画面をオフし、後述する状態変化フラグ
および継続時間タイマ等をクリアして、所定舵角θREF
に初期値(=10°)を代入して、ステップS102に
戻る。
Next, the processing of the controller 16 will be described with reference to FIG. The controller 16 executes the program shown in FIG. 5 when the power is turned on (the accessory switch is turned on). First, in a first step S101, various initial values are set in a memory required for this processing, and in a subsequent step S102, the state of the shift reverse switch 3 is checked. here,
If the shift reverse switch 3 is off (not reverse), the display screen, that is, the screen of the display 13 is turned off in step S120, and a state change flag and a duration timer, which will be described later, are cleared, and the predetermined steering angle θREF is cleared.
Is substituted for the initial value (= 10 °), and the process returns to step S102.

【0025】一方、シフトリバーススイッチ3がオン
(リバースの状態)になるとステップS103を行う。
ステップS103ではディスプレィ13をカメラ画像モ
ードに切り換えて、車両後方の画像を生画像として表示
できるモードにする。つまり、この場合には通常のバッ
クモニタとなる。
On the other hand, when the shift reverse switch 3 is turned on (reverse state), step S103 is performed.
In step S103, the display 13 is switched to the camera image mode so that the image behind the vehicle can be displayed as a raw image. That is, in this case, a normal back monitor is used.

【0026】次に、ステップS104において描画を行
うグラフィックス画面(ディスプレィ画面)をクリアし
た後、ステップS105においてステアリングセンサ2
からステアリングセンサ値Nを読み込み、その値を基に
駐車操作時の現在の旋回半径Rの算出を行う。具体的に
は、ステアリングセンサ2の読み込みをA相信号の立ち
上がりエッジ検出時にメインプログラムに割り込みを発
生させ、図6に示す割り込み処理を実行する。つまり、
図6のステップS201においてB相信号の状態をチェ
ックし、B相信号がハイ(H:高電位)なら、ステップ
S202においてステアリングカウント値Nをインクリ
メントし、ロー(L:低電位)ならデクリメントしてそ
の値をメモリに記憶する。この場合、ステアリングカウ
ント値Nは、1パルスが1°のため、θ=Nとなる。
Next, after clearing the graphics screen (display screen) for drawing in step S104, the steering sensor 2 is cleared in step S105.
From the steering sensor value N, and the current turning radius R at the time of the parking operation is calculated based on the steering sensor value N. Specifically, when the reading of the steering sensor 2 is detected at the time of detecting the rising edge of the A-phase signal, an interrupt is generated in the main program, and the interrupt processing shown in FIG. 6 is executed. That is,
In step S201 of FIG. 6, the state of the B-phase signal is checked. If the B-phase signal is high (H: high potential), the steering count value N is incremented in step S202, and if it is low (L: low potential), it is decremented. The value is stored in the memory. In this case, the steering count value N is θ = N because one pulse is 1 °.

【0027】しかし、上記に示すステアリング値Nのカ
ウントのみではステアリング21の絶対舵角が不定とな
ってしまうため、図7に示す中立点処理によりステアリ
ング舵角の中立点を検出し、N=0として中立点を決め
る。そこで、図7を参照して中立点決定について説明す
る。この処理では1秒周期のタイマ割り込みで実行され
る。ここでは、通常、車輪に備えつけられている公知の
左右の車輪速センサ5,6からの信号により車体速度も
算出する。
However, since the absolute steering angle of the steering wheel 21 is indeterminate only by counting the steering value N shown above, the neutral point of the steering angle is detected by the neutral point processing shown in FIG. And determine the neutral point. Therefore, the neutral point determination will be described with reference to FIG. This process is executed by a timer interrupt having a one-second cycle. Here, the vehicle speed is also normally calculated from signals from the known left and right wheel speed sensors 5 and 6 provided on the wheels.

【0028】ステップS301,ステップS302では
左右の車輪速センサ5,6からの信号(パルス)はコン
トローラ内部のCPU11に内蔵されたハードウェアカ
ウンタによりカウントされ、このタイマ割り込みルーチ
ンで左右の車輪速が読み出され、車輪速センサ値が記憶
されるメモリのNR,NLに記憶される。読み出しの後、
カウンタ自体はクリアされ、NR,NLは1秒毎のパルス
数を示すものとなる。
In steps S301 and S302, the signals (pulses) from the left and right wheel speed sensors 5 and 6 are counted by a hardware counter built in the CPU 11 in the controller, and the left and right wheel speeds are read out in this timer interrupt routine. Then, the wheel speed sensor values are stored in the memories NR and NL. After reading,
The counter itself is cleared, and NR and NL indicate the number of pulses per second.

【0029】次のステップS303においてNR,NLか
らその平均値(NR+NL)/2を演算し、この値にタイ
ヤの周長を乗算し、公知の方法により容易に車速Vが求
められる。次に、ステアリングセンサ2の基準設定であ
るが、ステップS304からステップS306では車速
V、所定速度(10Km/h)以上の時に左右の車輪速
センサ5,6のパルス差がほとんどない状態をもって車
両が直進状態であるとみなし、ステップS306でステ
アリングカウンタNを零にしてリセットすることで、ス
テアリング舵角の中立点が求められる。
In the next step S303, the average value (NR + NL) / 2 is calculated from NR and NL, and this value is multiplied by the circumference of the tire, so that the vehicle speed V can be easily obtained by a known method. Next, regarding the reference setting of the steering sensor 2, in steps S304 to S306, when the vehicle speed is equal to or higher than the predetermined speed (10 km / h), the vehicle is driven in a state where there is almost no pulse difference between the left and right wheel speed sensors 5 and 6. Assuming that the vehicle is in the straight traveling state, the steering counter N is reset to zero in step S306, and the neutral point of the steering angle is obtained.

【0030】ステップS105によりステアリング舵角
θが求まったら、図5のメインルーチンに戻り、次にス
テップS106においてステアリング舵角θより直進状
態、右旋回、左旋回といった場合分けが行われる。つま
り、所定ステアリング舵角をθREF(>0)とし、θREF
が負の場合を右旋回、θREFが正の場合を左旋回とした
とき、θが−θREF以上であり且つθREF以下の場合(状
態1)にはステップS107を実行する。また、ここで
右旋回でありθが−θREFよりも小さい場合(状態2)
にはステップS112を実行し、左旋回でありθがθRE
Fよりも大きい場合(状態3)にはステップS113を
実行する。
When the steering angle .theta. Is determined in step S105, the process returns to the main routine of FIG. 5, and then, in step S106, different cases such as a straight running state, a right turn, and a left turn are performed based on the steering angle .theta. That is, when the predetermined steering angle is θREF (> 0), θREF
Is negative and θREF is positive, left rotation is performed. If θ is equal to or more than −θREF and equal to or less than θREF (state 1), step S107 is executed. When the vehicle is turning right and θ is smaller than −θREF (state 2).
In step S112, the vehicle is turning left and θ is θRE.
If it is larger than F (state 3), step S113 is executed.

【0031】ステップS106において状態1の場合に
は、次にステップS107において次に、状態変化フラ
グがクリアであるか否かがチェックされる。この状態変
化フラグは駐車区画30に入った後に固定軌跡26,2
7を消去するためのものである。ここで、状態変化フラ
グがセット(状態変化有)されていればステップS11
1に進むが、状態変化フラグがクリアされていれば、ス
テップS108において左右両側の固定軌跡26,27
の表示をディスプレィ13上の後方画像が表示されてい
る画面上に重ねる。
In the case of state 1 in step S106, it is next checked in step S107 whether or not the state change flag is clear. This state change flag indicates the fixed trajectory 26, 2 after entering the parking section 30.
7 is to be erased. Here, if the state change flag is set (state change is present), step S11 is performed.
1, but if the state change flag is cleared, the fixed trajectories 26 and 27 on both the left and right sides are determined in step S108.
Is superimposed on the screen of the display 13 on which the rear image is displayed.

【0032】この固定軌跡26,27はステアリング2
1を右または左に一杯または略一杯近く切ったときの後
輪外輪が通る軌跡を基準として表示されるものであっ
て、駐車操作時にドライバーの駐車操作を補助するのに
使用される指標である。
The fixed trajectories 26 and 27 correspond to the steering 2
It is displayed on the basis of the trajectory of the rear outer wheel when 1 is fully or almost fully cut to the right or left, and is an index used to assist the driver in the parking operation during the parking operation. .

【0033】次のステップS109において、旋回状態
の状態変化があってからの継続時間を計数する継続時間
タイマをチェックし、ここでは、継続時間タイマが所定
時間(ここでは、例えば5sec)経過したかが判定さ
れる。継続時間タイマが所定時間(5sec)経過して
いない場合(状態が変わってから間もない場合)にはス
テップS111に進むが、所定時間経過した場合にはス
テップS110において、状態変化フラグをセットし、
ステップS111においてθREFに所定舵角(=10
°)を代入する。
In the next step S109, a duration timer for counting the duration after the change of the turning state is checked, and here, it is determined whether the duration timer has passed a predetermined time (here, for example, 5 seconds). Is determined. If the duration timer has not elapsed the predetermined time (5 seconds) (if the state has just been changed), the process proceeds to step S111. If the predetermined time has elapsed, the state change flag is set in step S110. ,
In step S111, a predetermined steering angle (= 10
°).

【0034】一方、ステップS106においてステアリ
ング舵角がθ<−θREF(右旋回)の場合には右側の固
定軌跡26のみを表示させる。また、同様にして、θ>
θREF(左旋回)の場合には左側の固定軌跡27のみを
表示させ、転舵している方向(右または左)のみの固定
軌跡26,27の表示を行う。従って、ステアリング舵
角が中立位置近傍(−θREF≦θ≦θREF)では、最初、
所定時間の間だけ固定軌跡26,27が左右に表示さ
れ、ドライバーはステアリング舵角を右または左に最大
に切ったときの車両が通る軌跡がわかる。この場合、ス
テアリング21を転舵したときには転舵方向のみの固定
軌跡26,27のいずれか一方を表示させることによっ
て、ドライバーはどちら方向の駐車区画30に駐車した
いかといった意図を読み取った上で、駐車操作状況に応
じた駐車補助が可能となる。
On the other hand, if the steering angle is θ <−θREF (turn right) in step S106, only the right fixed trajectory 26 is displayed. Similarly, θ>
In the case of θREF (left turn), only the left fixed trajectory 27 is displayed, and the fixed trajectories 26 and 27 only in the steered direction (right or left) are displayed. Therefore, when the steering angle is near the neutral position (−θREF ≦ θ ≦ θREF),
The fixed trajectories 26 and 27 are displayed on the left and right only for a predetermined time, and the driver can know the trajectory of the vehicle when the steering angle is turned to the right or left to the maximum. In this case, when the steering wheel 21 is turned, one of the fixed trajectories 26 and 27 only in the turning direction is displayed, so that the driver can read the intention to park in the parking section 30 in which direction. Parking assistance according to the parking operation situation becomes possible.

【0035】その後、ステップS114において状態変
化フラグのセットを行い、ステップS115においてス
テアリング舵角の遷移状態を切り換える所定舵角θREF
を5°とする。即ち、θREFの値を変化させることで右
転舵、中立位置、左転舵へと状態遷移が切りかわり舵角
(ここでは±θREFとなる)近傍で頻繁に行われたとき
のハンチングをヒステリシス特性をもたせることにより
防止する。
Thereafter, in step S114, a state change flag is set, and in step S115, a predetermined steering angle θREF for switching the transition state of the steering angle is set.
Is set to 5 °. That is, by changing the value of θREF, the state transition is switched to the right steering, the neutral position, and the left steering, and the hunting when frequently performed near the steering angle (here ± θREF) is performed in a hysteresis characteristic. To prevent this.

【0036】その後、ステップS116において以下に
示す走行予想軌跡20の演算を行う。
Thereafter, in step S116, the following predicted travel locus 20 is calculated.

【0037】次に、走行予想軌跡20の求め方につい
て、以下に説明する。これは、図8に示されるように低
速時(ここでは、10Km/h以下とする)の旋回中心
Oは車両後方の車軸の延長線上に存在し、幾何学的関係
によりステアリング操舵角(ステアリング舵角)θと車
両のホイールベースLとから、旋回半径Rは、R=L/
tanθという関係式により求まる。この場合、ステア
リング舵角θ=0の場合には、車両は直進している状態
であり、R=∞となる。
Next, a method of obtaining the predicted traveling locus 20 will be described below. This is because, as shown in FIG. 8, the turning center O at a low speed (here, 10 km / h or less) exists on the extension of the axle behind the vehicle, and the steering angle (steering angle) Corner) θ and the wheelbase L of the vehicle, the turning radius R is R = L /
It is obtained by the relational expression tan θ. In this case, when the steering angle θ = 0, the vehicle is traveling straight, and R = ∞.

【0038】図10ではカメラ上でのグラフィックス表
示座標(x,y)を示し、図示の座標系を使用し、座標
変換の方法を図12に示す。カメラ17は図11に示さ
れるように路面から上方Hcの高さで光軸を水平状態か
ら下方にθ=30°だけ傾けて取り付けられており、カ
メラ17のレンズは広角で焦点深度が深くとられて、路
面の画像をCCDデバイスに描画するように構成されて
いる。このため、路面座標系(X,Z)とディスプレィ
上での座標系(x,y)には以下に示すような写像関係
が成立する。
FIG. 10 shows the coordinates (x, y) of graphics display on the camera, and FIG. 12 shows a method of coordinate conversion using the illustrated coordinate system. As shown in FIG. 11, the camera 17 is mounted at a height of Hc above the road surface with the optical axis inclined downward from the horizontal by θ = 30 °. The lens of the camera 17 is wide-angled and has a large depth of focus. The image of the road is drawn on the CCD device. Therefore, the following mapping relationship is established between the road surface coordinate system (X, Z) and the coordinate system (x, y) on the display.

【0039】具体的には、(X,Y,Z):路面座標、
(x,y):CCD素子面のカメラ座標、f:カメラの
レンズ焦点距離、(x’,y’,z’):レンズ座標、
θ:カメラ取付け角度、Hc:路面からの取付け高さと
すると、 x=f・x’/z’,y=f・y’/z’・・・(1) x’=X として、 y’=Zsinθ+(Y−Hc)cosθ} ・・・(2) z’=Zcosθ−(Y−Hc)sinθ ・・・(3) という関係式が成立する。ここで、路面上の座標のみに
限定すれば、Y=0となり、x,yを上記の関係式によ
り求めれば、 x=f・X/(Zcosθ+Hc・sinθ) ・・・(4) y=f・(Zsinθ+Hc・cosθ)/(Zcosθ+Hc・sinθ) ・・・(5) となる。つまり、路面上の点(X,Z)をカメラ17で
撮影した場合のディスプレィ上でのグラフィックス画面
上での座標(x,y)を(4),(5)の関係式より求
めることができる。
Specifically, (X, Y, Z): road surface coordinates,
(X, y): camera coordinates on the CCD element surface, f: lens focal length of the camera, (x ′, y ′, z ′): lens coordinates,
θ: Camera mounting angle, Hc: Mounting height from the road surface, x = fxx / z ′, y = fy ′ / z ′ (1) x ′ = X, y ′ = x Zsinθ + (Y−Hc) cosθ} (2) The relational expression z ′ = Zcosθ− (Y−Hc) sinθ (3) holds. Here, if it is limited to only the coordinates on the road surface, Y = 0, and if x and y are obtained by the above relational expression, x = f × X / (Zcos θ + Hc × sin θ) (4) y = f (Zsin θ + Hc · cos θ) / (Zcos θ + Hc · sin θ) (5) That is, when the point (X, Z) on the road surface is photographed by the camera 17, the coordinates (x, y) on the graphics screen on the display can be obtained from the relational expressions of (4) and (5). it can.

【0040】上記の方法により求めた(x,y)の走行
予想軌跡20をディスプレィ上に表示する場合、その表
示方法は、図9に示されるように各種の方法が考えられ
る。つまり、(a)では車両の左右輪が通過する予想轍
による表示する方法、(b)では駐車時に車両が走行す
る走行エリアをベクトル表示する方法、(3)は一定距
離間隔(はしご間隔:50cm)がわかるようにしたは
しご状に表示する方法等があり、ここでは(c)を用い
て、駐車操作時に距離感や各位置での車体の角度が分か
り易い方法を採用している。この場合、車両予想軌跡2
0の長さlは固定長(例えば、3m)にしたり、一定の
角度分とし、旋回状態(緑色とする)と直進状態(青色
とする)で色を変化させたり、更には、予想軌跡先端部
のみを区別し易い表示にしたりする方法をとることもで
きる。
When the (x, y) predicted travel locus 20 obtained by the above method is displayed on the display, various display methods are conceivable as shown in FIG. In other words, (a) shows a method of displaying the predicted track through which the left and right wheels of the vehicle pass, (b) shows a vector of the traveling area where the vehicle travels during parking, and (3) shows a constant distance interval (ladder interval: 50 cm). ) May be displayed in a ladder shape so that the user can easily understand the distance and the angle of the vehicle body at each position during the parking operation using (c). In this case, the expected vehicle trajectory 2
The length l of 0 is a fixed length (for example, 3 m), or a fixed angle, and the color is changed between a turning state (green) and a straight traveling state (blue). It is also possible to adopt a method of displaying only the parts easily.

【0041】図13はディスプレィ13上での実際の表
示画面の例であり、固定軌跡26,27も含め、ステア
リング舵角により走行予想軌跡20が変化する状態を示
したものである。これは車両後方の実画像に、例えば、
ドライバーの好みに応じて、駐車スイッチ4がオンして
いる(駐車補助要求ありの状態)場合にのみ、はしご状
になった走行予定軌跡20が重なり合って表示されるよ
うにすることもできる。この場合、どれだけドライバー
がステアリング21を転舵しているかがわかるように、
ディスプレィ13の上または下側の一部に舵角の転舵状
態を表示する表示マーカー14を一緒に表示すること
で、実際にどれだけ転舵しているかが視覚的にわかるよ
うになっている。
FIG. 13 is an example of an actual display screen on the display 13, showing a state in which the predicted traveling trajectory 20, including the fixed trajectories 26 and 27, changes depending on the steering angle. This is the actual image behind the vehicle, for example,
According to the driver's preference, the ladder-like traveling schedules 20 can be displayed in an overlapping manner only when the parking switch 4 is turned on (a state where a parking assistance request is made). In this case, to know how much the driver is turning the steering wheel 21,
By displaying a display marker 14 for indicating the steering state of the steering angle together with a portion above or below the display 13, it is possible to visually recognize how much the steering is actually being performed. .

【0042】次に、ステップS117においてステップ
S116で求められた走行予想軌跡20をディスプレィ
13上に後方画像と重ねてグラフィック描画し、更に、
ステップS118において注意領域28の表示を行う。
この注意領域28は後方画像が表示されるディスプレィ
表示画面の自車側に表示されるものであって、駐車操作
時に車両がぶつかり易いところが走行予想軌跡20とは
表示形態が異なる別枠形状で表示される。この注意領域
28は車両がぶつかり易い場所へドライバーの注意を促
し、安全性を向上させるものである。具体的にこの注意
領域28は、例えば長方形状の表示枠において、画面上
で自車に近い側28bと遠い側28aで表示形態、特に
表示色を異なる(28bの横のラインでは赤色、28a
の横のラインでは黄色等で表示する)ようにすれば、自
車のバンパー等がぶつかり易い、危険度の高い領域をよ
り明確化して表示することができる。
Next, in step S117, the predicted travel trajectory 20 obtained in step S116 is graphically drawn on the display 13 so as to overlap the rear image.
At step S118, the attention area 28 is displayed.
The attention area 28 is displayed on the own vehicle side of the display screen on which the rear image is displayed, and a place where the vehicle is likely to collide during the parking operation is displayed in a different frame shape having a display form different from that of the predicted travel locus 20. You. The caution area 28 is to alert the driver to a place where the vehicle is likely to collide, and to improve safety. Specifically, in the attention area 28, for example, in a rectangular display frame, the display form, particularly the display color, differs between the side 28b closer to the vehicle and the side 28a farther from the vehicle on the screen (red in the line next to 28b, 28a
(Displayed in yellow or the like on the line next to), it is possible to more clearly display the high-risk area where the bumper or the like of the own vehicle is likely to collide.

【0043】その後、ステップS119において再びシ
フトリバーススイッチ3の状態をチェックし、リバース
(後進)でない場合にはステップS120においてディ
スプレィ13の表示画面をオフし、この処理に用いるフ
ラグおよびタイマをクリアして、更にθREFに初期値
(10°)を代入した後にステップS102に戻るが、
シフトレバースイッチ3の状態がリバース状態の場合に
は、ステップS104に戻り、ステップS104からの
上記した処理を繰り返す。つまり、駐車操作時には、固
定軌跡26,27がステアリング舵角の状態に応じて表
示が制御された状態の基に走行予想軌跡20が算出され
て表示され、固定軌跡26,27に対して走行予想軌跡
20をステアリング舵角に応じて可変表示されるように
なっている(図13参照)。
Thereafter, in step S119, the state of the shift reverse switch 3 is checked again. If it is not reverse (reverse), the display screen of the display 13 is turned off in step S120, and the flag and timer used for this processing are cleared. After further substituting the initial value (10 °) for θREF, the process returns to step S102.
If the state of the shift lever switch 3 is the reverse state, the process returns to step S104, and the above-described processing from step S104 is repeated. That is, at the time of the parking operation, the predicted traveling trajectory 20 is calculated and displayed based on the state in which the display of the fixed trajectories 26 and 27 is controlled according to the state of the steering angle. The trajectory 20 is variably displayed according to the steering angle (see FIG. 13).

【0044】次に、以上のような処理に基づき、本発明
における駐車操作時の駐車シーケンスについて、順を追
って説明する。(a)では最初に、固定軌跡26,27
が遠方側の駐車区画30の白線31に接するように車両
をバックさせることにより、車両を駐車補助基準位置を
合わせる。この場合、カメラ17は車両後部中央で地面
より一定の高さの位置に光軸を下方に向けて後方の路面
の様子が映るように設置されており、最初に適切な駐車
補助基準位置に設定することにより始まる。まず、白線
31の中央よりも前方において固定軌跡27が略かかる
ようにして、駐車補助基準位置に車両を停車させる。こ
の場合、シフトレバーをリバース状態にしていると
(a)に示す画面となる。尚、この場合では、最初舵角
が真っ直ぐ(直進状態)になっている場合について一例
として説明する。
Next, the parking sequence at the time of the parking operation according to the present invention will be described step by step based on the above processing. In (a), first, the fixed trajectories 26 and 27
Makes the vehicle back so that it touches the white line 31 of the parking section 30 on the far side, thereby adjusting the vehicle to the parking assist reference position. In this case, the camera 17 is installed at a position at a certain height above the ground at the center of the rear of the vehicle so that the optical axis is directed downward so that the state of the road surface behind is reflected, and the camera 17 is first set to an appropriate parking assistance reference position. Start by doing. First, the vehicle is stopped at the parking assist reference position such that the fixed trajectory 27 substantially extends ahead of the center of the white line 31. In this case, when the shift lever is in the reverse state, the screen shown in FIG. In this case, a case where the rudder angle is initially straight (straight traveling state) will be described as an example.

【0045】ディスプレィ13の画面には後方の駐車場
の生映像(後方画像)と共に駐車予想軌跡20、右側の
固定軌跡線26、左側の固定軌跡線27、および、注意
領域28が重ねて表示される。固定軌跡線26,27は
上記したようにステアリング21を右または左に一杯近
く切ったときの車両の後輪軌跡の内、外側ライン(外輪
ライン)に対応しており、注意領域28は、後方との近
接距離の目安を与えるもので、走行予想軌跡20は一定
距離のはしご状表示としていることから、路面上に投影
された距離スケールで表示される。この場合、バックし
て後方の物体が接近した場合、物体の路面からの高さの
影響により、例えば、後方車両のバンパーはその高さの
ために表示上はA’の距離位置であるが、実際はより近
いAに接近していることとなる(図11参照)。注意領
域28の表示ではその差を解消するために平均的なバン
パー高さの位置で表示枠が水平に表示されるものであっ
て、危険度の度合により表示色または表示線の太さを変
え、バック時の接触の危険をドライバーに対して伝える
ようにしている。
On the screen of the display 13, a predicted parking trajectory 20, a fixed trajectory line 26 on the right side, a fixed trajectory line 27 on the left side, and a caution area 28 are displayed together with a live image (rear image) of the rear parking lot. You. The fixed trajectory lines 26 and 27 correspond to the outer line (outer wheel line) of the rear wheel trajectory of the vehicle when the steering wheel 21 is turned almost to the right or left as described above. The estimated travel distance 20 is displayed as a ladder-like display of a fixed distance, and is displayed on a distance scale projected on the road surface. In this case, when an object behind and approaching behind is approached by the influence of the height of the object from the road surface, for example, the bumper of the rear vehicle is at the distance position of A 'on the display due to its height, In fact, it is closer to A (see FIG. 11). In the display of the attention area 28, the display frame is horizontally displayed at an average bumper height position to eliminate the difference, and the display color or the thickness of the display line is changed according to the degree of danger. The driver is informed of the danger of back contact.

【0046】(b)において、次にステアリング21を
回して、走行予想軌跡20をこの場合では左側の固定軌
跡27に合わせるようにする。これは、基本的には停車
した状態においてすえ切りを行って走行予想軌跡20線
を固定軌跡27に一致させるようにするのであるが、こ
の場合、ステアリング21をドライバーの意図する方向
に一定舵角θREF以上に転舵すると、転舵側でない固定
軌跡26は表示画面から消え、転舵方向のみの固定軌跡
27の表示となる。
In (b), the steering wheel 21 is then turned so that the predicted traveling trajectory 20 matches the fixed trajectory 27 on the left side in this case. Basically, the vehicle is stationary when the vehicle is stopped so that the predicted traveling trajectory 20 line coincides with the fixed trajectory 27. In this case, the steering wheel 21 is moved in a direction intended by the driver by a constant steering angle. When the steering is turned by θREF or more, the fixed trajectory 26 which is not on the turning side disappears from the display screen, and the fixed trajectory 27 only in the steering direction is displayed.

【0047】(c)ではステアリング21を(b)の状
態において保持した状態で、ドライバーは画面および直
接目視を行って後方または側方の安全確認をしながら車
両をバックさせ、駐車区画30へ車両を接近させる。
In (c), with the steering wheel 21 held in the state shown in (b), the driver looks back at the screen and directly and confirms the safety of the vehicle rearward or laterally and backs the vehicle. Approach.

【0048】(d)では車両が駐車区画内へ入り、ステ
アリング21を直進状態に戻すようにする。この場合、
注意領域28と駐車区画30の線との水平/垂直度合を
ドライバーは目視により判断し、ステアリング21を直
進状態に戻すと固定軌跡線27の表示は消失する。
In (d), the vehicle enters the parking space, and the steering wheel 21 is returned to the straight traveling state. in this case,
The driver visually determines the horizontal / vertical degree between the caution area 28 and the line of the parking section 30, and the display of the fixed trajectory line 27 disappears when the steering 21 is returned to the straight traveling state.

【0049】(5)では後方に注意しながらバックして
停車するのであるが、駐車区画30への最後の接近状態
では現在のカメラ取り付けでは駐車白線31を視野内に
捕らえることはできず、後端部停止位置の確認ができな
くなるが、自車の後方に別の車両が駐車する場合に後の
車両のバンパーがあろう位置の高さ((e)の斜線部)
に注意領域28が表示されるので、駐車時の衝突および
物体と接触しないように、ドライバーに対して注意を促
し、駐車を適切に補助することができる。このため、運
転歴が浅いドライバーでも駐車基準位置から舵角の切り
始め位置および切り量の判断が容易になされ、簡単に駐
車を行うことができる。
In (5), the driver stops backing while paying attention to the rear. However, in the last approaching state to the parking section 30, the parking white line 31 cannot be captured in the field of view with the current camera installation. Although the end stop position cannot be confirmed, when another vehicle is parked behind the own vehicle, the height of the position where the bumper of the subsequent vehicle will be (hatched portion (e))
Since the attention area 28 is displayed, the driver can be alerted to avoid collision during parking and contact with an object, and can appropriately assist parking. For this reason, even a driver who has a short driving history can easily determine the turning start position and the turning amount of the steering angle from the parking reference position, and can easily park.

【0050】このように駐車補助が行われている場合、
音声合成回路7により予め決められた音声信号をスピー
カ8より出力し、その時の操作状況に応じて予め決めら
れた音声メッセージをドライバーに対して出力し、音声
により駐車操作時の案内を行うことも可能である。
When the parking assistance is performed as described above,
A predetermined voice signal is output from the speaker 8 by the voice synthesizing circuit 7, a predetermined voice message is output to the driver in accordance with the operation situation at that time, and guidance at the time of the parking operation is provided by voice. It is possible.

【0051】[0051]

【効果】本発明によれば、駐車操作時に車両の後方をカ
メラにより撮像し、カメラからの映像を後方画像として
車内に設けられた表示器に表示し、後方画像にステアリ
ング舵角の状態により変化する走行予想軌跡を重ねて表
示する駐車補助装置において、ステアリング舵角を最大
としたときの車両軌跡を示す固定軌跡を後方画像に重ね
て表示するようにしたことにより、ステアリング舵角を
最大にしたときの車両軌跡を示す固定軌跡が後方画像に
重なって表示されるので、走行予想軌跡を固定軌跡に一
致させるようにドライバーはステアリングの転舵を行え
ば、ステアリングの切り始め位置および切り量がわかり
易くなり、初心者でも安心して駐車操作が行える。
According to the present invention, the rear of the vehicle is imaged by the camera during the parking operation, the image from the camera is displayed as a rear image on a display provided in the vehicle, and the rear image changes according to the state of the steering angle. In the parking assist device that displays the predicted traveling trajectory in a superimposed manner, the steering trajectory is maximized by displaying the fixed trajectory indicating the vehicle trajectory when the steering rudder angle is maximized on the rearward image. Since the fixed locus indicating the vehicle locus at the time is superimposed on the rear image, the driver turns the steering so that the predicted running locus coincides with the fixed locus. In other words, even beginners can perform parking operations with peace of mind.

【0052】この場合、固定軌跡は、駐車操作時におけ
る旋回外輪側の車両軌跡とすれば、旋回外輪が通る位置
に着目して、旋回外輪が駐車区画の白線にかかるように
することで駐車補助基準位置の判断をし易くなる。
In this case, assuming that the fixed trajectory is the vehicle trajectory on the turning outer wheel side during the parking operation, paying attention to the position through which the turning outer wheel passes, the turning outer wheel touches the white line of the parking section to assist parking. It is easy to determine the reference position.

【0053】また、固定軌跡は、ステアリング舵角が中
立位置近傍では固定軌跡が左右共に表示されるようにす
れば、ステアリング舵角を右または左に最大に切ったと
きの車両が通る軌跡がわかり、駐車操作時に直進バック
状態から右旋回または左旋回する場合のどちらにおいて
も固定軌跡を駐車区画の白線に合わせ易い。
When the fixed trajectory is displayed on both the right and left sides when the steering angle is near the neutral position, the trajectory of the vehicle when the steering angle is turned to the right or left can be determined. In both cases of turning right or left from the straight-back state during the parking operation, the fixed trajectory can be easily adjusted to the white line of the parking section.

【0054】固定軌跡は、駐車操作時に転舵方向のみ表
示されるようにすれば、転舵方向のみ固定軌跡が表示さ
れるので、ドライバーはどちらの方向の駐車区画に駐車
したいかの意図を読み取った上で、画面上には必要な情
報だけを表示させた状態で適切な駐車補助が行える。
If the fixed trajectory is displayed only in the turning direction at the time of the parking operation, the fixed trajectory is displayed only in the turning direction. Therefore, the driver reads the intention of the parking section in which direction. In addition, appropriate parking assistance can be performed while only necessary information is displayed on the screen.

【0055】走行予想軌跡が表示される画面の自車側に
は注意領域が更に表示されるようにすれば、駐車操作時
に車両がぶつかり易いところが注意領域として表示され
るので、ドライバーはバック時にこの領域を特に注意す
れば、車両のぶつかりが防止されるものとなり、安全性
が向上する。
If a caution area is further displayed on the own vehicle side of the screen on which the predicted traveling trajectory is displayed, a place where the vehicle is likely to collide during the parking operation is displayed as a caution area. If the area is given special attention, the collision of the vehicle is prevented and the safety is improved.

【0056】また、注意領域は、自車に近い側と遠い側
で表示形態を変化させるようにすれば、ぶつかる危険度
の高い領域をより明確化して表示することが可能とな
り、安全性がより向上するものとなる。
If the display area of the caution area is changed between the side closer to the own vehicle and the side farther from the own vehicle, it is possible to more clearly display the area with a high danger of collision, thereby improving safety. It will improve.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の一実施形態における駐車補助装置の
システム構成図である。
FIG. 1 is a system configuration diagram of a parking assist device according to an embodiment of the present invention.

【図2】 本発明の一実施形態における駐車補助装置を
車両へ取付けた場合の取付図である。
FIG. 2 is a mounting diagram when the parking assist device according to the embodiment of the present invention is mounted on a vehicle.

【図3】 本発明の一実施形態におけるカメラの検出範
囲を示した図である。
FIG. 3 is a diagram illustrating a detection range of a camera according to an embodiment of the present invention.

【図4】 本発明の一実施形態におけるステアリングセ
ンサを示し、(a)はステアリングコラムシャフトへ取
り付けた場合のステアリングセンサの平面図、(b)は
ステアリングセンサのスリット板とフォトインタラプタ
の概要を示した斜視図、(c)はステアリングセンサの
A相とB相の出力を示す図である。
4A and 4B show a steering sensor according to an embodiment of the present invention, wherein FIG. 4A is a plan view of the steering sensor when attached to a steering column shaft, and FIG. 4B shows an outline of a slit plate and a photo interrupter of the steering sensor. FIG. 3C is a diagram showing the outputs of the A and B phases of the steering sensor.

【図5】 本発明の一実施形態におけるコントローラの
処理を示すフローチャートである。
FIG. 5 is a flowchart illustrating processing of a controller according to the embodiment of the present invention.

【図6】 本発明の一実施形態におけるコントローラの
ステアリングセンサ信号処理を示すフローチャートであ
る。
FIG. 6 is a flowchart illustrating steering sensor signal processing of a controller according to an embodiment of the present invention.

【図7】 本発明の一実施形態におけるコントローラの
ステアリングセンサの中立点処理を示すフローチャート
である。
FIG. 7 is a flowchart illustrating a neutral point process of the steering sensor of the controller according to the embodiment of the present invention.

【図8】 本発明の一実施形態における走行予想軌跡の
算出に用いる説明図である。
FIG. 8 is an explanatory diagram used for calculating a predicted traveling trajectory according to an embodiment of the present invention.

【図9】 本発明の一実施形態における走行予想軌跡の
表示例を示した図であり、(a)は予想轍による表示、
(b)は車幅分の走行エリアベルト表示、(c)ははし
ご状表示を示す図である。
FIG. 9 is a diagram showing a display example of a predicted traveling trajectory according to an embodiment of the present invention, wherein (a) shows a display based on a predicted rut;
(B) is a diagram showing a running area belt display for the vehicle width, and (c) is a diagram showing a ladder-like display.

【図10】 本発明の一実施形態におけるカメラおよび
ディスプレィのグラフィックス表示座標である。
FIG. 10 shows graphics display coordinates of a camera and a display according to an embodiment of the present invention.

【図11】 本発明の一実施形態における駐車補助装置
のカメラを車両へ取り付けた場合の取り付け状態を示し
た図である。
FIG. 11 is a diagram illustrating an attached state when the camera of the parking assist device according to the embodiment of the present invention is attached to a vehicle.

【図12】 本発明の一実施形態における駐車補助装置
の座標変換方法を説明する説明図である。
FIG. 12 is an explanatory diagram illustrating a coordinate conversion method of the parking assist device according to the embodiment of the present invention.

【図13】 本発明の一実施形態におけるディスプレィ
の表示画面例である。
FIG. 13 is a display screen example of a display according to the embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 駐車補助装置 2 ステアリングセンサ 3 シフトレバーリバーススイッチ 5 右車輪速センサ 6 左車輪速センサ 13 ディスプレィ(表示器) 17 CCDカメラ(カメラ) 20 走行予想軌跡 21 ステアリングホイール(ステアリング) 26,27 固定軌跡 28 注意領域 30 駐車区画 31 白線 DESCRIPTION OF SYMBOLS 1 Parking assistance device 2 Steering sensor 3 Shift lever reverse switch 5 Right wheel speed sensor 6 Left wheel speed sensor 13 Display (display) 17 CCD camera (camera) 20 Expected trajectory 21 Steering wheel (steering) 26, 27 Fixed trajectory 28 Attention area 30 Parking lot 31 White line

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 駐車操作時に車両の後方をカメラにより
撮像し、該カメラからの映像を後方画像として車内に設
けられた表示器に表示し、前記後方画像にステアリング
舵角の状態により変化する走行予想軌跡を前記後方画像
に重ねて表示する駐車補助装置において、 前記ステアリング舵角を最大としたときの車両軌跡を示
す固定軌跡を前記後方画像に重ねて表示することを特徴
とする駐車補助装置。
An image of the rear of a vehicle is taken by a camera during a parking operation, and an image from the camera is displayed as a rear image on a display provided in the vehicle, and the rear image changes depending on the state of a steering angle. A parking assist device for displaying an expected trajectory superimposed on the rear image, wherein a fixed trajectory indicating a vehicle trajectory when the steering angle is maximized is displayed superimposed on the rear image.
【請求項2】 前記固定軌跡は、駐車操作時における旋
回外輪側の車両軌跡である請求項1に記載の駐車補助装
置。
2. The parking assist device according to claim 1, wherein the fixed trajectory is a vehicle trajectory on a turning outer wheel side during a parking operation.
【請求項3】 ステアリング舵角が中立位置近傍では前
記固定軌跡は左右共に表示される請求項2に記載の駐車
補助装置。
3. The parking assist device according to claim 2, wherein the fixed trajectory is displayed on both the left and right sides when the steering angle is near the neutral position.
【請求項4】 前記固定軌跡は、駐車操作時に転舵方向
のみ表示される請求項3に記載の駐車補助装置。
4. The parking assist device according to claim 3, wherein the fixed trajectory is displayed only in a steering direction during a parking operation.
【請求項5】 前記走行予想軌跡が表示される画面の自
車側には注意領域が更に表示される請求項1に記載の駐
車補助装置。
5. The parking assist device according to claim 1, wherein a caution area is further displayed on the host vehicle side of the screen on which the predicted travel locus is displayed.
【請求項6】 前記注意領域は、自車に近い側と遠い側
で表示形態を変化させる請求項4に記載の駐車補助装
置。
6. The parking assist device according to claim 4, wherein the display area of the attention area changes between a side closer to the own vehicle and a side farther from the own vehicle.
JP24455598A 1998-08-31 1998-08-31 Parking assistance device Expired - Lifetime JP3562335B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24455598A JP3562335B2 (en) 1998-08-31 1998-08-31 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24455598A JP3562335B2 (en) 1998-08-31 1998-08-31 Parking assistance device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004116962A Division JP3767610B2 (en) 2004-04-12 2004-04-12 Parking assistance device

Publications (3)

Publication Number Publication Date
JP2000078566A true JP2000078566A (en) 2000-03-14
JP3562335B2 JP3562335B2 (en) 2004-09-08
JP2000078566A5 JP2000078566A5 (en) 2004-09-09

Family

ID=17120459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24455598A Expired - Lifetime JP3562335B2 (en) 1998-08-31 1998-08-31 Parking assistance device

Country Status (1)

Country Link
JP (1) JP3562335B2 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344595A (en) * 2000-05-31 2001-12-14 Aisin Seiki Co Ltd Parking auxiliary device
EP1170172A2 (en) * 2000-07-03 2002-01-09 Toyota Jidosha Kabushiki Kaisha Apparatus for displaying rear view from moving body and method of displaying the rear view
JP2002087191A (en) * 2000-06-30 2002-03-26 Matsushita Electric Ind Co Ltd Driving supporting system
JP2002314991A (en) * 2001-02-09 2002-10-25 Matsushita Electric Ind Co Ltd Image synthesizer
JP2002316603A (en) * 2001-04-24 2002-10-29 Aisin Seiki Co Ltd Reversing support device of vehicle
EP1253065A2 (en) 2001-04-24 2002-10-30 Matsushita Electric Industrial Co., Ltd. Parking assistance apparatus
US6476730B2 (en) 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
JP2003501917A (en) * 1999-06-04 2003-01-14 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Method and apparatus for visualizing the course of a vehicle
WO2003030551A1 (en) * 2001-09-28 2003-04-10 Matsushita Electric Industrial Co., Ltd. Drive support display apparatus
US6564130B2 (en) 1999-12-24 2003-05-13 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Steering assist apparatus
JP2005047495A (en) * 2003-07-29 2005-02-24 Robert Bosch Gmbh Driving-aid device
WO2005108171A1 (en) * 2004-05-06 2005-11-17 Matsushita Electric Industrial Co., Ltd. Parking assisting apparatus
JP2006298208A (en) * 2005-04-21 2006-11-02 Aisin Aw Co Ltd Parking support method and parking support device
US7295227B1 (en) 1999-01-19 2007-11-13 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Apparatus for assisting steering of vehicle when backing
DE102007051532A1 (en) 2007-04-30 2008-11-06 Hyundai Motor Co. Method for guiding a parking process for a vehicle
JP2009241925A (en) * 2009-04-17 2009-10-22 Fujitsu Ten Ltd Vehicular driving support device
KR100936921B1 (en) 2007-12-21 2010-01-18 주식회사 현대오토넷 Vehicle Parking Guide Apparatus and Method
KR101023334B1 (en) 2009-06-02 2011-03-22 삼성전기주식회사 Automobile camera module and method to indicate a moving guide line
WO2011108811A2 (en) * 2010-03-02 2011-09-09 (주)엔네비솔루션 Parking guidance system and method using a rotational-angle sensor
JP2012106732A (en) * 2011-11-25 2012-06-07 Aisin Seiki Co Ltd Vehicle periphery display device
EP1160146B2 (en) 2000-05-30 2013-07-24 Aisin Seiki Kabushiki Kaisha Parking assistive apparatus
JP2014033800A (en) * 2012-08-08 2014-02-24 Canon Inc Mobile carriage
US20160094807A1 (en) * 2014-09-26 2016-03-31 Fujitsu Ten Limited Image processing apparatus
WO2021131785A1 (en) * 2019-12-26 2021-07-01 パナソニックIpマネジメント株式会社 Information processing method and information processing system

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295227B1 (en) 1999-01-19 2007-11-13 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Apparatus for assisting steering of vehicle when backing
JP2003501917A (en) * 1999-06-04 2003-01-14 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Method and apparatus for visualizing the course of a vehicle
US6564130B2 (en) 1999-12-24 2003-05-13 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Steering assist apparatus
US6476730B2 (en) 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
EP1160146B2 (en) 2000-05-30 2013-07-24 Aisin Seiki Kabushiki Kaisha Parking assistive apparatus
JP2001344595A (en) * 2000-05-31 2001-12-14 Aisin Seiki Co Ltd Parking auxiliary device
JP4583553B2 (en) * 2000-05-31 2010-11-17 アイシン精機株式会社 Parking assistance device
JP4493885B2 (en) * 2000-06-30 2010-06-30 パナソニック株式会社 Driving support system
JP2002087191A (en) * 2000-06-30 2002-03-26 Matsushita Electric Ind Co Ltd Driving supporting system
EP1170172A2 (en) * 2000-07-03 2002-01-09 Toyota Jidosha Kabushiki Kaisha Apparatus for displaying rear view from moving body and method of displaying the rear view
EP1170172A3 (en) * 2000-07-03 2004-02-04 Toyota Jidosha Kabushiki Kaisha Apparatus for displaying rear view from moving body and method of displaying the rear view
JP2002314991A (en) * 2001-02-09 2002-10-25 Matsushita Electric Ind Co Ltd Image synthesizer
KR100481248B1 (en) * 2001-02-09 2005-04-08 마쯔시다덴기산교 가부시키가이샤 Picture synthesizing apparatus for presenting circumferencial images to driver, and display apparatus, warning apparatus and position recognition apparatus using it
JP2002316603A (en) * 2001-04-24 2002-10-29 Aisin Seiki Co Ltd Reversing support device of vehicle
US7012549B2 (en) 2001-04-24 2006-03-14 Matsushita Electric Industrial Co., Ltd. Parking assistance apparatus
EP1253065A2 (en) 2001-04-24 2002-10-30 Matsushita Electric Industrial Co., Ltd. Parking assistance apparatus
US7256688B2 (en) 2001-09-28 2007-08-14 Matsushita Electric Industrial Co., Ltd. Drive support display apparatus
WO2003030551A1 (en) * 2001-09-28 2003-04-10 Matsushita Electric Industrial Co., Ltd. Drive support display apparatus
JP2005047495A (en) * 2003-07-29 2005-02-24 Robert Bosch Gmbh Driving-aid device
JPWO2005108171A1 (en) * 2004-05-06 2008-03-21 松下電器産業株式会社 Parking assistance device
US7599771B2 (en) 2004-05-06 2009-10-06 Panasonic Corporation Parking assisting apparatus
WO2005108171A1 (en) * 2004-05-06 2005-11-17 Matsushita Electric Industrial Co., Ltd. Parking assisting apparatus
JP4561456B2 (en) * 2005-04-21 2010-10-13 アイシン・エィ・ダブリュ株式会社 Parking support method and parking support device
JP2006298208A (en) * 2005-04-21 2006-11-02 Aisin Aw Co Ltd Parking support method and parking support device
US8258933B2 (en) 2007-04-30 2012-09-04 Hyundai Motor Company Parking guidance method for vehicle
DE102007051532A1 (en) 2007-04-30 2008-11-06 Hyundai Motor Co. Method for guiding a parking process for a vehicle
KR100936921B1 (en) 2007-12-21 2010-01-18 주식회사 현대오토넷 Vehicle Parking Guide Apparatus and Method
JP2009241925A (en) * 2009-04-17 2009-10-22 Fujitsu Ten Ltd Vehicular driving support device
KR101023334B1 (en) 2009-06-02 2011-03-22 삼성전기주식회사 Automobile camera module and method to indicate a moving guide line
US8405724B2 (en) 2009-06-02 2013-03-26 Samsung Electro-Mechanics Co., Ltd. Automobile camera module and method to indicate moving guide line
WO2011108811A3 (en) * 2010-03-02 2012-02-09 (주)엔네비솔루션 Parking guidance system and method using a rotational-angle sensor
WO2011108811A2 (en) * 2010-03-02 2011-09-09 (주)엔네비솔루션 Parking guidance system and method using a rotational-angle sensor
JP2012106732A (en) * 2011-11-25 2012-06-07 Aisin Seiki Co Ltd Vehicle periphery display device
JP2014033800A (en) * 2012-08-08 2014-02-24 Canon Inc Mobile carriage
US20160094807A1 (en) * 2014-09-26 2016-03-31 Fujitsu Ten Limited Image processing apparatus
US10124728B2 (en) * 2014-09-26 2018-11-13 Fujitsu Ten Limited Image processing apparatus
WO2021131785A1 (en) * 2019-12-26 2021-07-01 パナソニックIpマネジメント株式会社 Information processing method and information processing system

Also Published As

Publication number Publication date
JP3562335B2 (en) 2004-09-08

Similar Documents

Publication Publication Date Title
JP4096445B2 (en) Parking assistance device
JP3562335B2 (en) Parking assistance device
JP3575279B2 (en) Parking assistance device
EP3470303B1 (en) Parking support device
US6476730B2 (en) Assistant apparatus and method for a vehicle in reverse motion
JP4108210B2 (en) Vehicle parking assist device
US8633811B2 (en) Driving assist apparatus
US8319614B2 (en) Parking assistance apparatus and parking assistance method
JP5713623B2 (en) Driver assistance method
JP3951465B2 (en) Parking assistance device
US10179608B2 (en) Parking assist device
EP2130736B1 (en) Surrounding recognition support system
WO2006016433A1 (en) Drive assisting device and drive assisting method
CN107298096B (en) Driving assistance device
JP4563531B2 (en) Vehicle driving support device
JP2009040319A (en) Driving assistant device
JP3726175B2 (en) Parking assistance device
JP2010215027A (en) Driving assistant device for vehicle
JP2001315600A (en) Vehicular retreat support device and retreat support method
JP5617396B2 (en) Driving assistance device
JP2002205615A (en) Visual field auxiliary device for vehicle
JP2004306814A (en) Parking support device
JP3767610B2 (en) Parking assistance device
JP2004017702A (en) Parking assisting device
JP2004051063A (en) Device for visual recognition around vehicle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040412

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080611

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

EXPY Cancellation because of completion of term