JP2000172996A - Driving support device - Google Patents

Driving support device

Info

Publication number
JP2000172996A
JP2000172996A JP36190998A JP36190998A JP2000172996A JP 2000172996 A JP2000172996 A JP 2000172996A JP 36190998 A JP36190998 A JP 36190998A JP 36190998 A JP36190998 A JP 36190998A JP 2000172996 A JP2000172996 A JP 2000172996A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
vehicle
image
display
monitor
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP36190998A
Other languages
Japanese (ja)
Other versions
JP4258048B2 (en )
Inventor
Nobuaki Miki
Seiji Sakakibara
修昭 三木
聖治 榊原
Original Assignee
Aisin Aw Co Ltd
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To support driving by synthesizing and displaying a criterion line, by which the position of user's own vehicle with respect to a target can be confirmed independently of steering, in a picture where dead angle information is displayed. SOLUTION: The driving support device is provided with an image pickup device, a controller which processes the picture taken in by the image pickup device, and a monitor on which the processed picture is displayed. The controller is provided with a picture compositing means which superimposes outermost extension lines LBL and LBR, which are obtained by perpendicularly drawing outermost lines WBL and WBR of the vehicle to the ground and extending these lines in the longitudinal direction of the vehicle, on the display on the monitor where the picture taken-in by the image pickup device is displayed.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、運転者の死角となる車両周辺の情報を撮像装置で取込み、取込み画像を車室内モニターで表示して、運転者の視界を補完するとともに、運転操作の助けとなる補助情報をスーパーインポーズする支援装置に関する。 BACKGROUND OF THE INVENTION The present invention takes the information of the vehicle around the blind spot of the driver in the imaging device, and displays the captured image in the passenger compartment monitoring, with compensate for the view of the driver, the driving operation the auxiliary information to help on the support device to superimpose.

【0002】 [0002]

【従来の技術】自動車は運転者の四囲を囲む車体を持つことから、運転者の視界が窓部を除く車体部により遮られる死角部分を生じることは避け難いが、狭い道路上での特に背の低い障害物の回避や、移動する障害物に対する安全の確保上、死角の解消が望ましい。 Since the an automobile having a vehicle body surrounding the four sides of the driver, is inevitable to cause blind spot of the driver's field of vision is blocked by the body portion except the window, but especially the back on a narrow road avoidance or low obstacles of, on ensuring safety for moving obstacles, eliminating blind spots is desirable. そこで、こうした死角部分の情報が間接的に得られるように、車両には、従来から、大型車両のアンダーミラーに代表されるような、死角解消手段が設置されている。 Therefore, as information of such blind spot is obtained indirectly, the vehicle, conventionally, as typified by the under mirror heavy vehicles, blind spot eliminating means is disposed. また、近時の映像機器の高性能化と小型化に伴って、これを利用した装置も種々提案されている。 Moreover, with the high performance and downsizing of recent video devices it has also been proposed various devices using the same. こうした提案の中で、カメラで撮影した後方視界を運転席近傍のモニター画面に表示することで死角範囲をカバーし、かつ、ハンドル舵角に対応した後進予想軌跡をモニター画面に重畳して表示する軌跡表示手段を備えるものがある。 Among these proposals, covering blind spot by displaying rear view taken by the camera on the monitor screen near the driver's seat, and, superimposed and displayed on the backward predicted locus corresponding to steering angle on the monitor screen there is provided a trajectory display unit. そして、こうしたものにおいて、更に、上記後進予想軌跡を、車体後部の上方部付近の後進軌跡とすることで、障害物に対する回避識別を一層容易にしたものとして、特開平1−16 At such, further, the reverse predicted locus, by the backward locus near the upper portion of the rear vehicle body, as those easier to avoid identification for obstacle, JP 1-16
8538号公報に開示の技術がある。 In 8538 JP there is disclosed technology.

【0003】 [0003]

【発明が解決しようとする課題】ところで、上記提案の技術は、予想軌跡をハンドル舵角に対応して変化させるものであるため、ハンドルを一定量切った後の舵角の修正には有効に機能すると考えられるが、ハンドルを切る前や、途中でハンドルの切返しを伴うような操作での進路予測には役立たず、表示上の予想軌跡の変化が却って煩わしいものとなる場合がある。 Meanwhile [0006] The proposed technique, since they are to be changed corresponding to the expected trajectory steering angle, effectively to fix the steering angle after turned the steering wheel fixed amount are believed to function, but and before turning the handle, the way does not lend itself to the course prediction of the operation involving the turning-back of the handle, there is a case where a change in the predicted locus on the display becomes rather cumbersome. こうした操作の典型例として、路肩等への幅寄せ操作がある。 Typical examples of such operations, there is the centering operation to the road shoulder and the like. この操作の場合、一般に、左側通行の道路では、前進又は後進状態で、ハンドルを左に若干切りながら車両を路肩に近づけ、適所でハンドルを右に切返し、最後に中央に戻す操作となるが、この場合の予想軌跡は、当初の左切り状態から右切り状態となるまでは路肩と交差する表示となり、幅寄せのための目安とはなり得ず、煩わし表示となる。 For this operation, generally, the road left side of the road, forward or backward state, close to the shoulder of the vehicle while slightly off the handle to the left, place at the turning-back of the handle to the right, but the last return to center operation, It predicted locus in this case, from the beginning of the left turn state until the right cut state becomes a display that crosses the shoulder, not give it is a measure for the side-to-side, becomes a hassle display. したがって、複雑なハンドル操作を伴う状態での運転支援においては、進路を予測するよりは、幅寄せする対象としての目標物の背丈に応じて、それに干渉する可能性の高い自車の特定の高さ位置での外側の位置を表示する方が有効である。 Therefore, in the driving support in a state with complex steering than it predicts the course, according to stature of the target as a target to be submitted width, likely vehicle for specific high interfere with it it is effective better to view the outside of the position in the position is.

【0004】本発明は、こうした事情に鑑みなされたものであり、外界を写し込んだモニター画像上に、自車の外側位置を表示することで、ハンドル操作開始時から操作終了に至るまで、目標物に対する自車の位置を常時的確に確認することができる運転支援装置を提供することを主たる目的とする。 [0004] The present invention has been made in view of these circumstances, on a monitor image imprinted the outside world, by displaying the outer position of the vehicle, until the end of the operation from the steering wheel operation start, the target to provide a driving support apparatus that can be confirmed at all times accurately the position of the vehicle relative to the object to the main object.

【0005】 [0005]

【課題を解決するための手段】上記の目的を達成するため、本発明は、車両に設置され、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を処理する制御装置と、該制御装置により処理される画像を表示するモニターとを備える運転支援装置において、前記制御装置は、撮像装置により取り込まれる画像のモニター上の表示に、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ラインをスーパーインポーズする画像合成手段を備えることを特徴とする。 To achieve the above object, according to an aspect of the present invention is installed in a vehicle, an imaging device for capturing the external world information, and control device for processing an image imaging apparatus captures, the control the driving assist apparatus and a monitor for displaying an image to be processed by the apparatus, wherein the control device, the display on the monitor of the image captured by the imaging device, lowered vertically outermost line of the vehicle on the ground, the line the characterized in that it comprises an image synthesizing means for outermost extension line superimpose that extends in the longitudinal direction of the vehicle.

【0006】次に、本発明は、車両に設置され、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を処理する制御装置と、該制御装置により処理される画像を表示するモニターとを備える運転支援装置において、前記制御装置は、撮像装置により取り込まれる画像のモニター上の表示に、タイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインをスーパーインポーズする画像合成手段を備えることを特徴とする。 [0006] Next, the present invention is installed in a vehicle, an imaging device for capturing the external world information, and control device for processing an image imaging device captures a monitor for displaying an image processed by the control device the driving assist apparatus comprising, said control device causes the display on the monitor of the image captured by the imaging device includes an image synthesizing means for superimposing the tire outer extension line extended outer line of the tire in the vehicle longitudinal direction it is characterized in.

【0007】そして、表示される延長ラインの意味の把握を容易にするには、前記タイヤ外側延長ラインは、タイヤの絵柄を伴うものとするのが有効である。 [0007] Then, in order to facilitate the understanding of the meaning of the extension line to be displayed, the tire outer extension line, it is effective to those with a pattern of the tire.

【0008】また、表示されるラインと映像上の地面との位置関係の把握を容易にする意味で、前記延長ラインは、映像上の地面に対する垂直面を表す絵柄を伴うものとするのが有効である。 Further, in the sense that facilitates grasping of the positional relationship with the ground on the line and the image to be displayed, the extension line is effective to those with a pattern representing a vertical plane relative to the ground on the video it is.

【0009】 [0009]

【発明の作用及び効果】上記請求項1記載の構成では、 In [Action and Effect of the Invention The configuration of the first aspect,
画像のモニター上に表示される延長ラインは、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ラインであり、車両の諸元に関連した固定の線であるため、モニター画面上で目標物と自車の外側位置との間隔を、目標物に対する自車の姿勢や隔たりの如何を問わず、路面上の間隔として常時確認することができる。 Extension line displayed on the monitor of the image is lowered vertically outermost line of the vehicle on the ground, a top outer extension line extending the line in the longitudinal direction of the vehicle, a line of fixed related to specifications of the vehicle because it is, the distance between the outside position of the target and the vehicle on the monitor screen, irrespective of the vehicle attitude and deviation from the target can be confirmed at all times as the interval on the road surface. そのため、各操作に応じた実際のハンドル操作に入る前の段階から、目標物と自車の位置関係の把握を容易に行うことができ、ハンドル操作に伴うこの位置関係の変化を見ながら姿勢を修正することで、自車を容易に目標物との所期の位置関係に導くことができる。 Therefore, from a stage before entering the actual steering wheel operation corresponding to each operation, to grasp the positional relationship between the target and the vehicle can be easily performed, the posture while watching the change of the positional relationship with the handle operation by modifying, it can be guided to the desired positional relationship between the easy target the vehicle. したがって、目標物を壁面や柱とする幅寄せ時に、表示されるラインとそれら目標物との間隔を所期の間隔となるようにハンドル操作することで、容易に意図する位置に自車を停止させることができる。 Therefore, the target during the centering of the wall or pillar, by steered into the spacing between the lines and their target displayed the desired interval, stop the host vehicle in a position to readily contemplated it can be.

【0010】また、請求項2記載の構成では、画像のモニター上に表示されるラインは、タイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインであり、 [0010] In the configuration according to claim 2, line displayed on the monitor of the image is the tire outer extension line extended outer line of the tire in the vehicle longitudinal direction,
固定の線であるため、モニター画面上で目標物と自車のタイヤ外側との間隔を、目標物に対する自車の姿勢や隔たりの如何を問わず、路面上の間隔として常時確認することができる。 Since a line of fixed, the distance between the target and the vehicle tire outer on monitor screen, irrespective of the vehicle attitude and deviation from the target can be confirmed at all times as the interval on the road surface . そのため、各操作に応じた実際のハンドル操作に入る前の段階から、目標物と自車のタイヤ位置関係を把握した容易に行うことができ、ハンドル操作に伴うこの位置関係の変化を見ながら姿勢を修正することで、自車を容易に目標物との所期の位置関係に導くことができる。 Posture Therefore, from a stage before entering the actual steering corresponding to the operation, the tire positional relationship between the target and the vehicle can be easily performed after grasping the while watching the change of the positional relationship with the handle operation by modifying the can be guided to the intended positional relationship easily target the vehicle. したがって、目標物を溝や縁石とする幅寄せ時に、表示されるラインとそれら目標物との間隔を所期の間隔となるようにハンドル操作することで、容易に意図する位置に自車を停止させることができる。 Therefore, the target during the centering of the groove or curb, by steered into the spacing between the lines and their target displayed the desired interval, stop the host vehicle in a position to readily contemplated it can be.

【0011】また、請求項3記載の構成では、上記の効果に加えて、表示される延長ラインの意味を直観的、かつ瞬時に把握することができる効果が得られる。 [0011] In the configuration according to claim 3, in addition to the above effects, intuitive meaning of the extension line to be displayed, and an advantage of being able to grasp instantly obtained.

【0012】そして、請求項4記載の構成では、上記の各効果に加えて、地面上での目標物と自車外側の間隔の把握が視覚的に更に容易となる効果が得られる。 [0012] In the configuration according to claim 4, in addition to the effects described above, the effect of grasp is visually more easily the target and the vehicle outer side spacing on the ground is obtained.

【0013】 [0013]

【発明の実施の形態】以下、図面に沿い、本発明の実施形態を説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, along the drawings, an embodiment of the present invention. 本発明の思想を適用した運転支援装置の概要を、図2及び図3に示す。 The outline of the driving support apparatus according to the spirit of the present invention, shown in FIGS. 図2にシステム構成をブロックで示すように、この装置は、画像合成手段をプログラムとして内蔵する制御装置1を主体として、制御に必要な各種情報を取り込む入力装置2と、運転者が運転操作のために必要とする情報を適宜選択する選択スイッチ3とから構成され、更に、ナビゲーション装置との情報交換が可能なように、データベース4とディスプレー5とを具備するナビゲーション装置のナビECU6に接続されている。 As indicated by block the system configuration in FIG. 2, the apparatus, a control apparatus 1 which incorporates the image synthesizing unit as a program mainly an input device 2 for receiving various information required to control the driver driving operation It consists selection switch 3 for appropriately selecting the information required for further so as to allow information exchange with the navigation device is connected to the navigation ECU6 navigation apparatus and a database 4 and the display 5 there. これにより、本形態では、ディスプレー5を本装置の情報表示のためのモニターに利用している。 Thus, in this embodiment, utilizes display 5 on the monitor for displaying information of the device. なお、図中の選択スイッチ3については、本装置に専用のものを設けてもよいが、ナビゲーション装置のディスプレー5を利用したタッチパネル方式や音声認識装置を用いた音声入力方式としてもよい。 Note that the selection switch 3 in the figure, may be provided dedicated to the apparatus, but may be a speech input method using a touch panel and voice recognition apparatus using the display 5 of the navigation device.

【0014】図3に配置を示すように、入力装置の1つを構成する撮像装置として、図に○印で示すCCDカメラ21(以下、カメラと略記し、個々のカメラを区別するとき、符号に代えて位置を表す添字付きの略号C [0014] As shown the arrangement in FIG. 3, as an imaging apparatus constituting one of the input device, figure ○ CCD camera 21 shown by the symbol (hereinafter, abbreviated as camera, when distinguishing the individual cameras, code abbreviations C with the subscript of the location instead of
FL ,FR ,RL ,RR ,ML ,MRを付す)が、車両の4箇所の角部と左右両側の中央に設置され、また、△印で示す距離検出装置としての障害物検出センサー28(同様に、略号S FL ,FR ,RL , FL, C FR, C RL, C RR, C ML, subjecting the C MR) is placed in the center of the left and right sides and the corners of the four positions of the vehicle, also obstacle as the distance detecting device shown in △ mark detection sensor 28 (likewise, the abbreviation S FL, S FR, S RL ,
RR ,ML ,MR ,S FM ,RMを付す)が、 S RR, S ML, S MR , S FM, given the S RM) is,
カメラ21と同様の位置近傍に設置されている他、前後端部の中央にも設置されている。 Other installed in the vicinity of a position similar to the camera 21 are installed in the middle of the front and rear end portions. これら距離検出装置2 These distance detecting apparatus 2
8は、超音波センサーやレーザー、ミリ波レーダー等の距離を直接検出する既知の装置とすることも、上記複数のカメラ21の取込み画像を制御装置1内で画像処理することにより間接的に距離を求める演算手段とすることもできる。 8, it is a known device for detecting an ultrasonic sensor or a laser, a distance such as a millimeter-wave radar also directly, indirectly distance by image processing of the captured image of the plurality of cameras 21 within the controller 1 It may be a computing means for obtaining.

【0015】本発明の主題とするところは、外界を写し込んだモニター画像上に、自車の外側位置を表示することで、目標物に対する自車の位置を的確に確認可能とすることにあるが、そのための前提として、写し込む画像情報を、運転者が運転席に座っている状態での視界感覚に一致させるように工夫している。 [0015] It is a subject of the present invention is, on the monitor image that imprinted the outside world, by displaying the outside position of the vehicle, there is to be a precisely possible to confirm the position of the vehicle relative to the target object but, as a prerequisite for the, the image information imprinted, is devised to match the sight sense in a state in which the driver is sitting in the driver's seat. したがって、それを実現するために、撮像装置については、カメラ21の取付け方法、より詳しくは、設置姿勢と設置位置が工夫され、制御装置については、画像の表示方法と表示タイミングに工夫が加えてある。 Therefore, in order to realize it, for the imaging apparatus, the mounting method of the camera 21, more specifically, is devised installation position and installation posture, the control device is devised to display method and the display timing of the image in addition is there. これらの点について、まず、 For these points, first,
カメラ21の設置姿勢から順次説明する。 It will be described in order from the installation orientation of the camera 21.

【0016】(撮像装置の設置姿勢)図1に示すように、運転席に座った運転者から物理的に見えない死角範囲は、点D FL ,D FR ,D RR ,D RLに囲まれる図に斜線を付した範囲となる。 [0016] As shown in FIG. 1 (installation posture of the imaging device), blind spots that do not physically visible to the driver sitting in the driver's seat, the point D FL, D FR, D RR , FIG surrounded by D RL a range that was hatched in. ただし、ドアの窓枠や屋根を支えるピラーにより見えない部分は図示を省略している。 However, the part that can not be seen by the pillars supporting the window frame and roof of the door is not shown. これに対して、この見えない範囲をカバーし、しかも得られる画像情報を運転者の感覚に一致させるために、設置姿勢の第1の工夫として、各カメラ21は、その取込み画像上の上側を車両の前方に向け、かつ垂直下方に光軸を向けた姿勢を基準とし、車両に対する配設位置の前後左右に応じ、基準の姿勢に対して前後左右方向に傾斜を付し、少なくとも車両の縁部、すなわち前後については前後の端部、左右については左右側端部を写し込む姿勢で設置する。 In contrast, in order to match cover this invisible range, yet the image information obtained driver's feeling, as the first device of the installation arrangement, each of the cameras 21, the upper on that captured image toward the front of the vehicle, and with reference to the posture with its optical axis vertically downward, depending on the front and rear left and right arrangement positions with respect to the vehicle, given the inclined longitudinal and lateral directions with respect to the reference position, at least the vehicle rim parts, namely the front and rear front and rear ends, for lateral installation in a posture imprint the left and right side end portions.

【0017】この趣旨に沿い、車両角部に設置する各カメラ21については、その設置位置に対応する車両の縁部としての自車体の角部と、その近傍を含む車両周辺と、無限遠方を同時に俯瞰するような方向になるように設置する。 [0017] along this purpose, for each camera 21 installed in the vehicle corners includes a self vehicle corners as the edge of a vehicle corresponding to its installation position, and a peripheral vehicle including its vicinity, the infinity be installed so that the direction such that the bird's-eye view at the same time. この車両の角部について、特に近時の乗用車等においては、デザイン上の工夫から丸みを持たせてあるため、必ずしも判然としないが、本発明に言う車両の角部とは、自車両を平面で見たときの縁部すなわち最外縁を含むその近傍を意味し、より具体的には、車両の前端及び側端又は後端及び側端が延在する方向が推測できる形状になる範囲、例えば角部をバンパーとする場合、 The corners of the vehicle, particularly in recent passenger car or the like, because you have rounded from contrivance of design necessarily unclear is the corners of the vehicle referred to in the present invention, plane vehicle means the vicinity including the edge or outermost edge when in saw, more specifically, the range to be shaped direction can be inferred that the front and side edge or the trailing edge and side edge of the vehicle extends, for example, If you want a corner and bumper,
バンパーの角の丸みがほぼ直線に近い曲率まで小さくなることで、バンパーの前縁及び側縁又は後縁及び側縁の延びる方向から、車両の前端及び側端又は後端及び側端がどのへんの位置となるかを推測できる範囲を言う。 Rounded corners of the bumper that is reduced to approximately straightest curvature, from the direction of extension of the front and side edges or trailing edge and side edges of the bumper, which side is front and side edge or trailing edge and side edge of the vehicle It refers to a range that can guess the position. そのため、図4に各角部のカメラの画像例P FL , Therefore, the image example P FL of the camera in each corner in FIG. 4, P
FR ,RL ,RRを示すように、各々車体の前後端、左右端の延長が推測できる形状になる範囲まで画像に含むように、各カメラC FL ,FR ,RL , FR, P RL, to indicate P RR, respectively front and rear ends of the vehicle body, so as to include the image to the extent that the extension of the right and left ends is shaped to guess, the camera C FL, C FR, C RL , C
RRの姿勢を設定する。 To set the orientation of the RR. 図において、略号W LL ,W In the figure, the abbreviation W LL, W
LRは路面の白線、W' LL ,W' LRは映像上の白線、符号90'は映像上の自車角部としてのバンパーを示す。 LR represents the white line on the road surface, W 'LL, W' LR white line on the video, reference numeral 90 'is a bumper as the vehicle corners on the image. この場合、カメラ21の取付け位置については、 For this case, the mounting position of the camera 21,
後に詳述するが、概括的には、車体の各必要箇所において、可能な限り高い所に設置し、広い視界を確保するようにする。 It described in detail later, but in general, at each required position on the body frame, placed at a high as possible, so as to ensure a wide field of view.

【0018】設置姿勢の第2の工夫として、カメラ21 [0018] As a second device of the installation posture, camera 21
の水平方向の向きは、図1に示すように運転者が運転席に座って、その必要方向を見るときの視線の方向と概略一致するような方向、すなわち、光軸Xが、運転者とカメラ21を結ぶ直線を含む垂直面の方向と実質上同様の方向を向く姿勢に設置され、前記第1の工夫による姿勢との関係で、光軸Xが地面と交わる点は、図中で点A Horizontal orientation is sitting in the driver the driver's seat as shown in FIG. 1, a direction such as to match the direction and outline of sight when viewing the required direction, i.e., the optical axis X is the driver installed in position facing the direction substantially the same direction of the vertical plane including the straight line connecting the camera 21, the in relation to the first orientation due contrivance that the optical axis X intersects the ground, the point in the figure A
FL ,FR ,RL ,RRとなる。 FL, A FR, A RL, the A RR. これにより、各々のカメラ21のカバーする上下方向の画角範囲をα F ,α R 、横方向の画角範囲をα FL ,α FR ,α Thus, the angle range in the vertical direction to cover each of the cameras 21 alpha F, alpha R, the angle range of lateral α FL, α FR, α
RL , α RRで示す。 RL, shown by the α RR. なお、上記の運転者とカメラ21 The above driver and the camera 21
を結ぶ直線は、運転者の体格や好みの姿勢によりシートのスライド位置やリクライニングの傾きが異なり、更には各時々の姿勢の変化によっても異なるため、厳密には、それらに伴って向きが変動し、上記直線を含む垂直面の向きも変動することになるが、本発明にいう垂直面の方向と実質上同様の方向とは、こうした運転者の位置のずれや姿勢の変化に伴う方向のずれを許容する範囲での同方向であればよく、例えば、こうした全ての要素を加味した標準的な位置を統計的に割り出して運転者の位置を決定する等の手法で、それに合わせて方向を設定すればよい。 A straight line connecting the different inclination of the slide position and the reclining of the seat by the posture of the driver's physique and preference, furthermore are different in accordance with a change in the times of posture, strictly, orientation vary with their Although will vary also the direction of the vertical plane containing the straight line, the direction substantially the same direction of the vertical plane according to the present invention, the direction of deviation caused by the change in the displacement or attitude of the position of these driver may be a same direction within a range that allows, for example, by a technique such as determining the statistical indexing the position of the driver's standard position considering all these factors, sets the direction accordingly do it.

【0019】そして、このままカメラ21の映像上の横軸が水平になるように設置したのでは、図4を参照して、自車のバンパー角部90'は、例えばカメラC FL [0019] Then, the horizontal axis was set to be horizontal on the image of the left camera 21, with reference to FIG. 4, the vehicle bumper corner 90 ', for example a camera C FL
について、画面の中央下方に位置することになり、自車両と並行する路面の白線W LLが画面を左下(又は右下)から右上(又は左上)方向に対角線状に横切る映像となってしまう。 For, will be located in the center bottom of the screen, the white line W LL of road surface running parallel with the own vehicle becomes the image across the screen from the lower left (or right) in the upper right (or upper left) diagonally in the direction. そこで、更に設置姿勢の第3の工夫として、カメラ21を光軸X周りに傾斜を付した姿勢に設置する。 Therefore, further as the third contrivance installation posture, placing the camera 21 to the position marked with tilted about the optical axis X. 例えば、車両に対して左側のカメラについては、光軸周りに右に捩じることで右回り傾斜を付す。 For example, for the left side of the camera to the vehicle, given the clockwise inclined by twisting the right around the optical axis. これにより画面は、図4に示すように前進方向が運転者の感覚に合うような向きとなる。 Thus the screen is directed as is the forward direction as shown in FIG. 4 match driver's feeling. 具体的には、画像P FL Specifically, the image P FL
は左前角部に設置のカメラC FLの画像であり、右下隅に左前角部90'が写し込まれ、前進方向への直線状の白線W' LLが画面中央下方から斜め右上方向へ、概ね直線で写り、運転席から実際に自車の左側白線W LLを見たときの角度と遠近感に実感が合うようになる。 Is the image of camera C FL installation left front corner, 'is imprinted, straight white lines W in the forward direction' left corner 90 to the lower right corner to the LL is upper right direction from the center bottom of the screen, generally Ballmer in a straight line, so actually feel the angle and perspective when viewing the left side white line W LL of the vehicle is fit from the driver's seat. 更に言えば、この画像は、例えば、前左の画像P FLと前右の画像P FRを同時に画面の左右に配置した場合に、そのときの画像P FL上の自車線左側白線W' LLと、画像P FR上の自車線右側白線W' LRが、あたかも一つのカメラで前方を撮影したときのように、無限遠方で交わるように見える配置である。 More, this image is, for example, before the case of arranging the images P FL and the front right of the image P FR of the left simultaneously on the left and right of the screen, and the subject lane left white line W 'LL on the image P FL at that time , the own lane right white line W 'LR on the image P FR is, as if upon shooting forward one camera is positioned to appear to intersect at infinity. このように画面に与える傾斜は、右側及び後ろ左右についても同様である。 Thus inclined to provide the screen is the same for the right and rear left and right.

【0020】(撮像装置の設置位置)次に、撮像装置の設置位置について、図5及び図6に左前角部へのカメラC FLの取付け例を示し、詳細に説明する。 [0020] Next (installation position of the imaging device), the installation position of the imaging device, shows the mounting of the camera C FL to the left front corner in FIG. 5 and FIG. 6, it will be described in detail. 本例ではカメラC FLは、図に示すように前照灯91と一体構成されたサイドランプ92に組み込む構成となっており、この構造により既存の車両にも僅かな改変で安価に取り付け可能としている。 The camera C FL in this embodiment has a structure incorporated in the side lamp 92 which is integrally configured with the headlight 91, as shown in the figure, as attachable and cheap even slight modifications to existing vehicles by the structure there. 当然のことながら、ランプを小さくして、その余ったスペースに組み込んだり、ランプ以外の外板に組み込んだり、車体表面に直接取り付けることも可能である。 Of course, to reduce the lamp, incorporate into their extra space, incorporate the outer skin other than the lamp, it is also possible to mount directly to the vehicle body surface. これによって、前記のようにカメラC Thereby, the camera C as described above
FL直下の自車体左前角部最外縁(図では前バンパーの左角部)90と同時に車両周辺及び無限遠方を取り込むわけであるが、上記の諸条件を満足するように、できるだけ広い範囲を取り込むためには、車種によっても異なるが、上下方向の画角α Fについて概ね90°程度からそれより若干大きく、左右方向の画角α FLについても概ね90°程度からそれより若干大きいて程度を確保できる広角レンズのカメラC FLが必要となる。 Although (in FIG front left corner of the bumper) own vehicle left front corner outermost edge just below FL is not capturing 90 simultaneously with the vehicle periphery and infinity, so as to satisfy the conditions described above, it captures the widest possible range the, varies depending on the model, the vertical angle of view alpha generally slightly larger than the order of 90 ° for F, ensuring extent have slightly larger than that from approximately 90 ° about also angle alpha FL of the right and left directions for camera C FL of wide-angle lens may be required. しかしながら、あまり画角を広くすると、運転者の見る実体の距離感とのずれが大きくなるので、自ずと限界がある。 However, widening the less angle, since deviation between the sense of distance entity seen by the driver is large, there is naturally a limit. そのため、本実施形態では、一例として、上下方向の画角α Fを97°、左右方向の画角α FLを125°としたカメラC FLを使用している。 Therefore, in this embodiment, as an example, 97 ° the angle alpha F in the vertical direction, and the angle alpha FL of the right and left directions using the camera C FL which was 125 °.

【0021】このような設置姿勢と設置位置により本発明の狙いとする自然な画像が得られる。 The natural image to aim of the present invention by the installation position and such installation posture is obtained. 図7に自車前左角部のカメラC FLの画像P FLの詳細例を示す。 Figure 7 shows a detailed example of the image P FL of the camera C FL of the subject vehicle front left corner. 図では、路面上に描いた進行方向の白線W LLと、それに直交する白線W LCの交点の垂直上方に自車の左前角部を合わせた場合の画像の見え方を表している。 In the figure, it represents the white line W LL traveling direction drawn on the road surface, the appearance of an image when combined left front corner vertically above the vehicle at the intersection of the white lines W LC orthogonal thereto. この画面では、自車のバンパー角部90'を基準にして、自車の進行方向の右側白線W' LRを含めた自車走行車線L' 1 、左隣の車線L' 2 、更に直交する白線W' LC In this screen, 'based on the right white line W in the traveling direction of the vehicle' vehicle bumper corner 90 the host vehicle traveling lane L, including LR '1, lane L to the left' 2, further orthogonal white line W 'LC
左側方向までの広い範囲を見渡し、無限遠方(図に破線で示す)を、画面の左右幅全体に写すことが可能となっている。 Overlooks a wide range up to the left direction, the infinite distance (indicated by a broken line in the figure), it is possible to copy the entire lateral width of the screen. そして、このように左右幅全体に写る無限遠方の中に、車両の正面、すなわち車両の前後方向中心軸の延長上の無限遠方が含まれ、この正面の無限遠方は、モニター上で自車両のバンパー角部90'の上方に、水平に表示される。 Then, in the infinity in this way caught on whole lateral width, the front of the vehicle, i.e., contains infinity on an extension of the longitudinal center axis of the vehicle, infinite distance of the front, on the monitor of the vehicle above the bumper corner 90 ', it is displayed horizontally.

【0022】(制御装置の画像表示方法)次に、表示手段としてのモニターは、本形態では、ナビゲーション装置のディスプレー5を用いている。 [0022] (image display method of the control apparatus) Next, the monitor as a display means, in the present embodiment uses a display 5 of the navigation device. こうしたモニターは、運転者の正面のインストゥルメントパネル近辺に設置されている。 Such a monitor is installed in the instrument panel near the front of the driver. そして、運転者がこの画面を覗くときの感覚は、画面上方を物理学的な上と捉えると同時に、道路上の交通標識や案内図等が全て表示面の上方が前方を示す表記とされているように、進行方向の前方と自ずと認識することになる。 Then, a sense of when the driver looks into the screen, at the same time regarded as on the screen above a physical, above the traffic signs or information map such that all display surface on the road is a notation indicating the forward as there will be naturally recognize the front of the traveling direction. 画面下方が物理学的な下と捉えると同時に、後方と認識されることもまた自然である。 At the same time the lower part of the screen is taken as the physics underlying it is also natural is recognized as the rear. そこで、本発明の画面表示は、こうした認識を原則としてなされている。 Therefore, the screen display of the present invention has been made such recognition principle.

【0023】実際の方法は、図4に示す各画像が得られるようにカメラ21の姿勢を設定する。 [0023] Actual methods sets the orientation of the camera 21 so that the images shown in FIG. 4 is obtained. 具体的には車両後方のカメラC RL ,C RRの向きは、いわゆる上下逆さに取り付ける。 Specifically camera C RL of the vehicle rear, orientation of the C RR is attached to the so-called upside down. 即ち、図1に示すように、まず、運転者が運転席に座った状態の垂直線に光軸を合わせ、車体前方が画面上方となるようにして真下を俯瞰するカメラC Oを仮想して、その状態から光軸を前方かつ左方に傾け、更に光軸回りに右に傾けたのがカメラC FLであり、同様に光軸を前方かつ右方に傾け、更に光軸回りに左に傾けたのがカメラC FRである。 That is, as shown in FIG. 1, first, align the optical axis in a vertical line in the state in which the driver sits in the driver's seat, and the virtual to bird's-eye camera C O beneath as the front of the vehicle body is screen upward , tilted from the state of the optical axis in front and left, a further camera C FL that inclined to the right to the optical axis, similarly tilted optical axis forward and rightward, further to the left to the optical axis the tilted is a camera C FR. また、同様にして、光軸を後方かつ左右に傾け、更に光軸回りに左右に捩じったのがカメラC RL ,RRである。 Similarly, tilting the optical axis backward and to the left and right, a further camera was twisted to the left and right about the optical axis is C RL, C RR. ただし、図には前後方向の傾き及び左右方向の傾きが示され、光軸回りの捩じりは示されていない。 However, shows the inclination of the longitudinal direction of the inclination and the left-right direction in the figure, torsional about the optical axis is not shown. このような姿勢に設定すると、ディスプレー5にはそのまま表示するだけで所望の画面が得られる。 When set to such orientation, the desired screen can be obtained only by directly displayed on the display 5. この点に関して、後方をカメラで撮影し、その画像情報を左右反転処理してモニターに表示するという、いわゆるバックミラーで覗くような鏡像とすることも考えられるが、システムが複雑化する割に感覚的には合わないので、本装置ではこうした形態は採らない。 In this regard, photographing the rear camera, of displaying on a monitor the image information horizontally reversed processing, although it is conceivable to mirror images as peek in a so-called rear-view mirror, feeling in spite of the system is complicated since manner to not agree, such form is not taken in this device. こうして得られる画像は、図4に示すように、 Thus the resulting image, as shown in FIG. 4,
画面上の左右の白線W' LL ,W' LRが運転者の位置から見た実際の白線W LL ,W LRの向きに合致するようになる。 Actual white line W LL white line W 'LL, W' of the left and right on the screen LR is seen from the driver's position, so to match the orientation of the W LR.

【0024】こうして得られる画像情報は、その表示を運転者の要求に応じた必要最小限に留めることを基本原則として、場所、状況等に応じて選択して運転者に提供するものとしている。 [0024] Thus the image information obtained is that kept to the minimum necessary in response to a request of the driver to the display as a basic principle, the location, and selected depending on the situation or the like are intended to provide to the driver. この趣旨に沿って構成されたシステム全体の処理フローを図8に示す。 The processing flow of the entire system configured along this effect is shown in FIG. このシステムは基本的に、運転者操作の種類に沿って分けられ、図上で○ This system basically is divided along with the type of driver operation, ○ on the diagram
印を付した符号Aで示す縁寄せ操作、同じくBで示す障害物回避操作、以下同様にCで示す駐車操作、Dで示すブラインドコーナー操作、Eの後方死角確認、及びFの白線確認をそれぞれ支援する意図で構成されている。 Edge shifting operations indicated at A in which marked, like obstacle avoidance operation indicated by B, the following likewise parking operation shown in C, and a blind corner operation indicated by D, the rear blind spot confirmation E, and F of the white line confirmation of each It is constructed with the intention of support to.

【0025】上記のA〜Fの支援内容を実現すべく、最初のステップS−1では、図2のシステムを構成する入力装置2からデータ読込みを行う。 [0025] In order to realize the support the contents of the above to F, in the first step S-1, performs data read from the input device 2 constituting the system of FIG. そして、次のステップS−2で、速度域により安全性、必要性を考慮して、 In the next step S-2, the safety by speed range, taking into account the need,
作動する機能を分ける。 Divide the function to operate. すなわち、車速センサー25の入力から低車速域の判断が成立するときは、次のステップS−3で、選択SW(スイッチ)のオン判断を行い、 That is, when the determination of the low vehicle speed region from the input of the vehicle speed sensor 25 is established, the next step S-3, performs on-determination of the selection SW (switch),
これが成立するときには、Aの縁寄せ操作、Bの障害物回避操作、Cの駐車操作又はDのブラインドコーナー操作の選択に応じた画面表示を行う。 When this is satisfied, the edge shifting operation A, obstacle avoidance operation B, and screen display in accordance with the parking operation or selection of blind corner operation D of C performed. 一方、ステップS− On the other hand, Step S-
2の低車速域の判断が不成立の中高車速域のときは、E When the second low vehicle speed region determination is middle and high vehicle speed range not satisfied, E
の後方死角確認、Fの白線確認の表示処理を行う。 Carried out of the rear blind spot check, the display processing of the white line confirmation of F. なお、詳細な速度域については、それぞれの機能毎に異なる基準が必要であるが、それらの具体的な設定は試験評価等により、個別に設定すればよい。 The detailed speed range, it is necessary different criteria for each function, their specific configuration by the test evaluation, etc., it may be set individually.

【0026】次に、低車速の場合にA〜Dの何れかのスイッチ選択がなされたときに、その選択SWに対応した機能が作動する。 Next, when any of the switches selection of A~D is made in the case of low vehicle speed, a function corresponding to the selection SW is activated. これらの機能は、基本的には独立した別目的の機能なので、複数選択はできないように構成している。 These features are so basic another object of the functions which is independent of the make up so as not to be in multiple selections. なお、スイッチが選択されてない場合でも、B It should be noted that, even if the switch is not selected, B
の障害物回避操作とDのブラインドコーナー操作の表示機能については安全性を考慮して、自動的に作動するようにシステムを構成している。 The obstacle avoidance operation and a display function of the blind corner operation D is for safety reasons, and configure the system to operate automatically. これらについて、図中に○印を付した符号B'、D'で示している。 These, code B marked with ○ mark in Fig. ', D' are indicated by. また、中高速域の場合には、Fの白線確認の機能からEの後方死角確認の機能に繋がって行く。 In addition, in the case of medium and high speed range, it will lead from the function of the white line confirmation of F in the rear blind spot check of the function of E. 以下にこれら個別の機能について、本発明の主題に係るAの縁寄せ操作を主として、他の操作については、概略を説明する。 These individual functions below, primarily edge shifting operation A in accordance with the subject-matter of the present invention, another run, an outline.

【0027】(縁寄せ操作)縁寄せ操作における表示方法は、図9に示すように、車両の最外側ラインW BL The display method in (edge shifting operation) edge shifting operation, as shown in FIG. 9, the outermost line W BL of the vehicle,
BRを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ライン(車両中心軸に平行)L W BR down vertically to the ground, (parallel to the vehicle center axis) and the line outermost extension line that extends in the vehicle longitudinal direction L
BL ,L BRを画面上に重ねて表示することを基本とする。 BL, basic to that displayed over the L BR on the screen. この場合、最外側延長ラインL BL ,L BRの代わりにタイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインを表示してもよい。 In this case, the outermost extension line L BL, the outer line of the tire may be displayed tire outer extension line extending in the longitudinal direction of the vehicle instead of L BR. 更に、これら外側延長ラインは、必ずしも厳密な車両の最外側あるいはタイヤの最外側に合わせる必要はなく、それらの最外側から20cmぐらいまでのマージンを持たせたラインとすることも可能である。 In addition, these outer extension line is not necessarily match the outermost outermost or tire strict vehicle, it is also possible to those lines which gave a margin of from the outermost to about 20 cm. これら延長ラインの絵柄については、図9に示すように単一の直線、あるいは10cm間隔程度の複数のラインとしたり、図10(1)に示すようにタイヤの絵T Iを付けてタイヤ外側延長ラインL These will be the pattern of extension lines, a single straight line as shown in FIG. 9 or or a plurality of lines of about 10cm interval, the tire outer extension with a picture T I of the tire as shown in FIG. 10 (1), line L
TLをイメージさせたり、図10(2)に示すように地面G I 、車両9の外側面B Iを地面に対する垂直面としてイメージできるように立体的な表現にする等の様々な形態が考えられる。 Or to an image of TL, can be considered various forms such that a three-dimensional representation so that it can image a vertical plane relative to the ground on the ground G I, the outer surface B I of the vehicle 9 as shown in FIG. 10 (2) .

【0028】次に表示を行う条件は、図2に示す選択S The next condition for the display, selection S shown in FIG. 2
Wにより、運転者が縁寄せを選択することを条件とする。 W by, with the proviso that the driver selects the edge shifting. この選択による処理フローを図11に示す。 It shows a process flow according to this selection in Figure 11. 縁寄せ操作は低車速のみとし、高車速では作動させない。 Edge shifting operation as only a low vehicle speed, without operating at high speed. 何故なら、高速走行時はこのような縁寄せ操作は危険であり、また、画像情報そのものが運転者の注意力を分散させる可能性があるからである。 Because at high speeds such edge shifting operation is dangerous, also because the image information itself is likely to disperse the driver's attention. まず、前進走行中に左側にある溝にできるだけ寄せて停車することを意図する場合、運転者は左寄せSWを選択する。 First, if it is intended to possible asked to stop the groove on the left side during the forward travel, the driver selects a left-justified SW. この選択は、ステップSA−1で判定される。 This selection is determined in step SA-1. その状態であらかじめ設定した車速以下になると、ステップSA−2の判断により前進走行中が成立するので、ステップSA−4の処理画像P FLが表示される。 It becomes below a vehicle speed set in advance in this state, since the established traveling forward by decision step SA-2, the processing image P FL of Step SA-4 is displayed. そこで、運転者は画面上の溝を目標に、スーパーインポーズされる自車の最左外側ラインL BLを合わせるように運転操作することで、容易に縁寄せができる。 Therefore, the driver with the goal of grooves on the screen, by driving operation so as to match the leftmost outer lines L BL of the vehicle is superimposed, can be easily edge shifting. 縁寄せが終わり、シフトレバーを“P”レンジポジションに入れれば、それによるポジションSW(スイッチ)23の入力がステップSA−11 Ends and edges jogger, If you put the shift lever in the "P" range position, it by the input position SW (switch) 23 Step SA-11
で判断されて、ステップSA−12で選択SWが解除され、縁寄せ支援は完了する。 In is determined, selected SW is released in step SA-12, the edge shifting assistance is completed. この解除条件は、他に、シフトレバーが“N”レンジポジションで車両停止一定時間以上、ブレーキSW(スイッチ)オンで車両停止一定時間以上、あるいは、エンジン停止等も考えられる。 The release condition is otherwise the shift lever is "N" range position vehicle stopped for a certain time or longer, the brake SW (switch) on the vehicle stopped for a certain time or longer, or engine stop or the like is also conceivable. 縁寄せ操作の途中、状況により後進する必要がある場合には、シフトレバーを“R”レンジポジションにすると、 Middle of the edge shifting operation, when it is necessary to reverse the situation, when the shift lever "R" range position,
ポジションSW(スイッチ)23の入力によるステップSA−2の判断で、ステップSA−5により画像がP In Step SA-2 in the determination by the input position SW (switch) 23, an image P in step SA-5
RLに代わり、後進支援画面となる。 Instead RL, the reverse support screen. 特に、後進の場合は、車両の前左角部が左右に振れるので、図11の右上に示すように画像P FL 、P RLを同時に表示する表示方法を採るのが有効である。 Particularly, in the case of reverse, so front left corner of the vehicle sways from side to side it is effective to adopt a display method for displaying images P FL, the P RL simultaneously as shown in the upper right of FIG. 11. なお、以上の説明は、一般的な前輪ステアリング機構を前提にしているが、一部の車に採用されている4輪ステアリング機構の場合には、 The above description has been assumes general front wheel steering mechanism, in the case of a four-wheel steering mechanism which is adopted in a part of the car,
前進時にも、図11右上に示すように2画像同時表示とするのが有効である。 Even during forward, it is effective to two-picture simultaneous display as shown in FIG. 11 upper right.

【0029】一方、状況により、車両を右側に寄せたい場合には、右寄せSWの選択によりステップSA−1の右寄せ判断が成立し、ステップSA−3の前後進判断に応じてステップSA−6又はステップSA−7の画面表示となる。 On the other hand, the situation, if you want asked the vehicle to the right, satisfied right-justified decision step SA-1 by selection of right justified SW, Step SA-6 or according to the reverse judgment before step SA-3 a screen display in step SA-7. また、狭い道ですれ違う時や障害物等で狭くなっている所を通過するとき等は、縁寄せ中央SWを選択すれば、ステップSA−1、ステップSA−8による判断で、前・後進いずれかの左右画像をステップSA− Also, such as when passing through a place which is narrowed in a narrow when passing each other on the road and obstacles, by selecting the edge shifting central SW, step SA-1, as determined by the step SA-8, both front and reverse the Kano left and right image step SA-
9又はステップSA−10により一画面に同時に表示することができ、運転操作に合った支援を行うことができる。 By 9 or step SA-10 can be simultaneously displayed on one screen, it is possible to provide support for your driving operation. なお、図11における左縁寄せ画面以外は、取込み画像を一部省略して画面を簡略化して示したもので、実際の表示画面は、左縁寄せ画面と同様に撮像画像を含むものとなる。 Incidentally, other than the left edge shifting screen in FIG. 11, those showing a simplified screen partly omitted captured image, the actual display screen, the ones similar to the left edge shifting screen including a captured image .

【0030】(障害物回避操作)障害物回避操作の場合の表示を行う条件は、図12に示す処理フローに従い、 The conditions for the display in the case of (obstacle avoidance operation) obstacle avoidance operation, in accordance with the process flow shown in FIG. 12,
縁寄せ操作の場合と同じく低車速時に限定する。 Also limited at low vehicle speed as in the case of edge shifting operation. 運転者が図2に示す選択SW(例えば前左等)を操作した場合は、それに応じたステップSB−1の判断で、ステップSB−2により対応する角部の画像(図4参照)を表示する。 If the driver operates the selection SW shown in FIG. 2 (e.g., front left, etc.), in step SB-1 of the decision accordingly, display images of the corresponding corner (see FIG. 4) in step SB-2 to. その時にステアリング舵角センサー26の入力を基に、ステアリング舵角、前後進に対応した車体角部の予測軌跡を併せて表示する。 Based on the input of the steering angle sensor 26 at that time, the steering angle, and displays pre together predicted trajectory of the vehicle body corners corresponding to the reverse. この表示は、ステップSB This display, step SB
−3の判断により距離センサー28の検出距離が全て基準値以上となったときに、ステップSB−4による全ての角部SWの解除処理により終了させる。 When the detection distance of the distance sensor 28 becomes the all reference values ​​or the judgment of -3, it is terminated by the release process for all corners SW in step SB-4. また、スイッチが選択されない場合には、ステップSB−1の判断でB'に進み、ステップSB−5の判断で各角部の距離センサー28の検出距離が一つ以上基準値以下になり、ステップSB−6の判断で更にその距離が近付きつつある場合に、ステップSB−7により、該当する角部の画像を表示するとともにステップSB−8により運転者に警告する。 Also, when the switch is not selected, the flow proceeds to B 'at decision step SB-1, the detection distance of the distance sensor 28 of each corner is determined in step SB-5 is below one or more reference values, step If there being further its distance closer at the discretion of the SB-6, in step SB-7, to alert the driver in step SB-8 displays an image of the corresponding corner.

【0031】(駐車操作)駐車操作の場合の表示を行う条件は、図13に示す操作の処理フローに従う。 [0031] (parking operation) condition for display when the parking operation is in accordance with the processing flow of the operation shown in FIG. 13. この場合も前記2操作と同様に低車速時のみ支援するものとする。 In this case also intended to support only at low vehicle speed as in the second operation. このフローは、図4に示す駐車SWを運転者が選択することで開始する。 This flow driver parking SW shown in FIG. 4 is started by selecting. 左後ろ駐車の場合は、運転者はS In the case of left behind parking, the driver S
WP Lを、また右後ろ駐車の場合はSWP Rを選択することになる。 The WP L, also in the case of the right rear parking will select the SWP R. この選択に応じたステップSC−1の判断により左後ろ駐車の場合で説明すると、ステップSC− To describe the case of the left rear parking by decision step SC-1 in accordance with the selection, step SC-
2の判断がポジションスイッチ23の入力で前進時は、 2 When the decision is advancing at the input of the position switch 23,
ステップSC−4により左後ろ画像P RLに駐車枠範囲Z Iをスーパーインポーズし、運転者がこの範囲Z Iに実際の目標駐車スペースが入るように運転操作すると、 Step by SC-4 the parking space range Z I left behind the image P RL superimposed, the driver is driving operation such that the actual target parking space in the range Z I enters,
後進を開始すべき位置に車両を停止させることができる。 It is possible to stop the vehicle to start the reverse position. 運転者がこの状態を確認して後進にシフトレバーを入れると、ステップSC−5により後ろの二つの画像P When the driver puts the shift lever to the reverse check this condition, the two images P behind the step SC-5
RL 、P RRを同時に画面表示し、各々の角部にステアリング舵角に応じた予測軌跡線L BSRをスーパーインポーズする。 RL, at the same time the screen displays the P RR, to superimpose the predicted locus line L BSR in accordance with the steering angle to each of the corners. 運転者はこれを参考にして、画面に映っている実際の目標駐車スペースU'に入るように運転操作をする。 Driver is doing this in reference to the driving operation to enter the actual of the target parking space U that 'reflected on the screen. このフローは、ステップSC−8のパーキングレンジへのシフト判断によるステップSC−9のスイッチ解除で終了させる。 The flow terminates at a switch releasing step SC-9 by the shift determination to the parking range in step SC-8.

【0032】ところで、この駐車操作においても、上記ステアリング舵角に応じた予測軌跡線L BSRに代えて、図14に示すように、本発明の主題とする最外側延長ラインL BL ,L BRをスーパーインポーズするようにしてもよい。 [0032] Incidentally, also in this parking operation, instead of the predicted locus line L BSR corresponding to the steering angle, as shown in FIG. 14, the outermost extension line L BL to the subject of the present invention, the L BR it is also possible to superimpose. この場合の表示タイミングは、後進にシフトレバーを入れて、ステップSC−5により後ろの二つの画像P RL 、P RRを同時に画面表示されたときとし、舵角センサー26により実際にハンドルが切られたことを検出するまで、あるいは駐車操作終了までの間表示を継続するのが有効である。 Display timing of this case, putting the shift lever to the reverse, and when the two images P RL behind, the P RR are simultaneously screen display in step SC-5, the handle is turned off actually by the steering angle sensor 26 until it detects that the, or it is effective to continue the display until the parking operation ends. また、これに併せて、図に符号W Iで示すように、目標駐車枠基準線をスーパーインポーズしてもよい。 Further, in addition thereto, as indicated by reference numeral W I in FIG, the target parking frame reference line may be superimposed. この枠基準線は、車両の後端位置と車両最外側に対して所定幅だけゆとりを持たせた位置を地面に投影した位置を示す。 The frame reference line indicates the position obtained by projecting the ground the position which gave clear predetermined width with respect rear end position and the vehicle outermost vehicle. したがって、この枠基準線は、目標駐車スペースU'内の中央位置かつ後方いっぱいに車両を誘導する目安に使用するのに有効である。 Therefore, the frame reference line is effective to use a guide for guiding the vehicle to the center position and the rear fill of the target parking space U '.

【0033】(ブラインドコーナー)ブラインドコーナーの場合の表示を行う条件は、図15に示すブラインドコーナー表示の概略処理フローに従う。 The conditions for the display when the (blind corner) blind corner follows a schematic process flow of the blind corner display shown in FIG. 15. このフローは、 This flow,
前記メインフローで説明したように、低車速時のみ作動するものとする。 As described in the main flow, it is assumed to operate only at low vehicle speed. そして運転者がブレーキを踏み、ブレーキスイッチ24の入力によるステップSD−1の判断で、図2に示すブラインドSW(前左、前右、後左、後右)が選択されていることを条件として、ステップSD The driver depressing the brake, in step SD-1 in the determination by the input of the brake switch 24, the blind SW (front left, front right, rear left, rear right) shown in FIG. 2 on condition that is selected , step SD
−2のポジションスイッチ23の入力判断による前・後進に応じて、図29に示す片側画面若しくは図の画面(1)又は(2)を表示する。 Depending on the pre-reverse by the input determination -2 position switch 23, displays a screen on one side screen or FIG is shown in FIG. 29 (1) or (2). 画面(1)の場合で説明すると、前左画像P FLと前右画像P FRを自車の絵M To describe the case of the screen (1), before the left image P FL and the front right image P FR of the vehicle painting M
Iと対応させる位置に配置し、図15のように距離標L Disposed at a position to correspond with I, the distance as shown in FIG. 15 standard L
Kをスーパーインポーズする。 The K superimposed. そして、この距離標L K Then, the distance target L K
は運転者の注視方向をも示しており、注視時のポイントが解りやすくなっている。 Also shows the gaze direction of the driver, the point of time of the gaze has become easier to understand. なお、図において符号N'は視界障害物を示す。 Reference numeral N in Figure 'shows the view obstacles.

【0034】(後方死角確認)図16に後方死角確認の表示の流れを示す。 [0034] showing the flow of the display of the confirmation rear blind spot (rear blind spot confirmation) Figure 16. この表示は、設定車速以上で、ナビ情報から解るステップSE−1の判断で片側2車線以上、更にステップSE−2の判断で交差点近くでない所で走行中に、ステップSE−3によるウィンカー操作が判断された場合に、追い越し、又は割り込みと判断することで実行し、該当する後方画像をステップSE−4又はステップSE−5で表示する。 This display is above the set vehicle speed, two lanes or more in the judgment step SE-1 can be seen from the navigation information further during traveling at not near intersection decision step SE-2, blinker operation by the step SE-3 If it is determined, overtaking, or interrupt the running by determining the corresponding rearward image displayed in step SE-4 or step SE-5. 運転者はこの画像を参考にして運転操作をする。 The driver to a driving operation by the image as a reference. 車線判断に関しては、後に述べる白線検出技術を用いて、走行している道路の車線数、自車の走行している車線等は容易に解る。 With respect to the lane determination using the white line detection techniques to be described later, the number of lanes the vehicle is traveling, lane, etc. running of the vehicle is seen easily. また、主要道路に設置されている光ビーコンの信号を用いても、 Further, even when using the signal of the light beacon installed in the main road,
同じ事が容易に可能となる。 The same thing is easily possible. これらの情報を用いるだけでもウィンカー操作と組み合わせて追い越し又は割り込みの判断は容易にできる。 In combination with blinker operation alone using these information overtaking or interrupt judgment can be easily. 勿論、ナビ情報と組み合わせれば、更に情報精度が高まるのは当然である。 Of course, when combined with the navigation information, and further that the increased information accuracy is a matter of course.

【0035】(白線確認)図17に白線確認の処理フローを示す。 [0035] shows a processing flow of the white line confirmation (white line check) Figure 17. 条件としては、ある一定車速以上で、ステップSF−1によるヘッドライト点灯判断が成立し、ステップSF−2によるワイパー作動判断が成り立つ時を夜間、雨の中を走行中と判断し、ステップSF−4によりサイドランプを点灯し、左側面から前方の路面を照射し、ステップSF−5により画面を表示する。 The conditions, at a certain speed or more, headlights determination is satisfied in step SF-1, when the wiper operation judgment is satisfied in step SF-2 at night, it is determined that traveling in the rain, step SF- 4 the side lamp lit by irradiates road surface in front of the left side, and displays the screen in step SF-5. なお、上記のフローにおいて、夜間、雨中の判断が不成立のときは、前記後方死角確認の処理フローに移り、上記両判断が成立のときでも、ウィンカー作動時は、後方死角確認のフローの判断要件を跳ばして後方死角画面を表示することになる。 In the above flow, at night, when judged in the rain is not satisfied, the shift to the rear blind spot check of the processing flow, even when the both determination is satisfied, when turn signal operation, the rear blind spot check of the flow of judgment requirements the then jumped will display the rear blind spot screen. また、サイドランプ点灯は、必ずしも必要条件ではない。 In addition, side lamps lit, not necessarily a requirement. それは、対向車等の前照灯の方向に対して、前左右のカメラC FL ,FRの光軸方向は大きく異なるため、対向車の光が水膜に鏡面反射してきても、 It to the direction of the headlamp oncoming vehicle or the like, before the left and right cameras C FL, because different optical axis direction of the C FR large, even if the light of the oncoming vehicle have been specularly reflected on the water film,
カメラのCCDには入らず、眩惑されることはなく、白線からの反射光は乱反射であるため、CCDで捉えることが可能であるためである。 Not enter the camera's CCD, not be dazzled, because the reflected light from the white line is irregularly reflected, because it is possible to capture at the CCD. したがって、対向車や後続の車、隣の車、更には自車等の照明を使って自車の横から、やや前方まで充分に検出可能である。 Therefore, an oncoming vehicle and subsequent cars, next to the car, even from the side of the vehicle with an illumination, such as the vehicle, a sufficiently detectable slightly to the front. このように、 in this way,
サイドランプ点灯は更に見えやすくするためのものである。 Side lamp lighting is meant to be more easily seen.

【0036】(白線の検出)なお、本実施形態の運転支援装置は、白線の検出にも使用することができる。 [0036] (Detection of white line) In addition, the driving support apparatus of this embodiment can also be used for detection of the white line. 白線検出の具体的手法については、周知であるので説明を省略するが、それらの多くは、カメラを車室内のフロントガラス近辺に専用に設置している。 A specific method for the white line detection, is omitted because it is well known, many of them are installed in a dedicated camera near the windshield of the vehicle compartment. それに対して、本装置では、前記のように死角検出用に設けた車両前左右角部の二つのカメラを用いて白線検出を行わせることができる。 In contrast, in the present apparatus can carry out the white line detection by using the two cameras of the vehicle front right and left corner portions provided for the blind spot detection as described above. こうすることによって、本運転支援装置の特徴である横方向の視界の広さを利用した自車近辺の横の白線の検出で、自車体との相対位置関係を精度良く検出できるとともに、前記の白線の表示で説明したように、夜間降雨時や霧の時にも検出可能である等の利点が得られる。 By doing so, the detection of the horizontal white line of the vehicle around using wide lateral field of view, which is a feature of the present driving support device, with the relative positional relationship between the own vehicle can be detected accurately, the as described in the display of white line, advantages such is detectable even when the night during rain or fog are obtained. しかも、他の機能と兼用のため安価となる。 In addition, less expensive for shared with the other functions.

【0037】以上、本発明の技術思想の理解の便宜のために、一実施形態を基に若干の変形例を挙げて説明したが、本発明は、例示の実施形態や変形例に限定されるものではなく、特許請求の範囲の個々の請求項に記載の事項の範囲内で、種々に具体的な構成を変更して実施することができるものである。 [0037] Thus, for the convenience of understanding of the technical idea of ​​the present invention have been described using a slight modification on the basis of an embodiment, the present invention is limited to the illustrated embodiments and modifications not, are those that can be in a range of matters described in the individual patent claims, carried out by changing variously specific configuration.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明を適用した運転支援装置の一実施形態における撮像装置の設置姿勢を示す説明図である。 It is an explanatory view illustrating the orientation of the image pickup apparatus in an embodiment of FIG. 1 driving support apparatus according to the present invention.

【図2】運転支援装置のシステム構成を示すブロック図である。 2 is a block diagram showing the system configuration of a driving support device.

【図3】運転支援装置の撮像装置と距離検出装置の車両への配置を模式化して示す平面図である。 3 is a plan view showing a schematic of the arrangement of the vehicle of the imaging device and the distance detecting device of the driving support device.

【図4】車両の各角部に設置した撮像装置の方向とモニター表示画面の関係を示す説明図である。 4 is an explanatory diagram showing the relationship between the direction and the monitor display screen of the installed imaging device at each corner of the vehicle.

【図5】車両角部に対する撮像装置の具体的配設位置と設置姿勢を模式化して例示する断面図である。 5 is a cross-sectional view illustrating a the installation posture specific arrangement position of the imaging device schematic form for the vehicle corners.

【図6】撮像装置の具体的設置位置を例示する車両正面図である。 6 is a vehicle front view illustrating the specific installation position of the imaging device.

【図7】自車左前角部を表示するモニター表示画面を例示する画面説明図である。 7 is a screen diagram illustrating the monitor display screen for displaying the vehicle left front corner.

【図8】運転支援装置のシステム全体の処理フロー示すフローチャートである。 8 is a flowchart showing process flow of the entire system of the driving support device.

【図9】縁寄せ操作時のモニター表示画面を車両各部との位置関係と併せて示す説明図である。 [9] The monitor display screen when the edge shifting operation is an explanatory diagram shown together with the positional relationship between the vehicle units.

【図10】ライン表示の図形例を対比して示すイメージ図である。 Figure 10 is an image diagram showing in comparison the figure example of the line display.

【図11】縁寄せ操作時の処理フローを示すフローチャートである。 11 is a flowchart showing a processing flow when the edge shifting operation.

【図12】障害物回避操作時の処理フローを示すフローチャートである。 12 is a flowchart showing a processing flow during obstacle avoidance operation.

【図13】駐車操作時の処理フローを示すフローチャートである。 13 is a flowchart showing a processing flow during the parking operation.

【図14】駐車操作時の表示画面の変形例を示す画面説明図である。 14 is a screen explanatory view showing a modified example of the display screen when the parking operation.

【図15】ブラインドコーナー表示の処理フローを示すフローチャートである。 15 is a flowchart showing the processing flow of the blind corner display.

【図16】後方死角表示の処理フロー示すフローヂャートである。 16 is a Furodjato showing processing flow of the rear blind spot display.

【図17】白線表示時の処理フローを示すフローチャートである。 17 is a flowchart showing the processing flow at the time of white display.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 制御装置(画像合成装置) 5 ディスプレー(モニター) 9 車両 21 CCDカメラ(撮像装置) L BL ,L BR最外側延長ライン L TLタイヤ外側延長ライン T Iタイヤの絵柄 B I垂直面を表す絵柄 1 control device (image synthesizer) 5 display (monitor) 9 vehicle 21 picture representing a CCD camera (image pickup apparatus) L BL, L BR outermost extension line L TL tire outer extension line T I picture B I vertical plane of the tire

───────────────────────────────────────────────────── ────────────────────────────────────────────────── ───

【手続補正書】 [Procedure amendment]

【提出日】平成11年4月23日(1999.4.2 [Filing date] 1999 April 23 (1999.4.2
3) 3)

【手続補正1】 [Amendment 1]

【補正対象書類名】図面 [Correction target document name] drawings

【補正対象項目名】全図 [Correction target item name] all the drawings

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【図5】 [Figure 5]

【図6】 [Figure 6]

【図10】 [Figure 10]

【図1】 [Figure 1]

【図2】 [Figure 2]

【図3】 [Figure 3]

【図14】 [Figure 14]

【図4】 [Figure 4]

【図7】 [7]

【図8】 [Figure 8]

【図9】 [9]

【図11】 [11]

【図12】 [Figure 12]

【図13】 [13]

【図15】 [Figure 15]

【図16】 [Figure 16]

【図17】 [Figure 17]

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 3D053 FF11 FF17 FF28 5H180 AA01 CC03 CC04 CC07 CC11 CC14 CC24 FF27 FF32 LL02 LL08 LL11 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 3D053 FF11 FF17 FF28 5H180 AA01 CC03 CC04 CC07 CC11 CC14 CC24 FF27 FF32 LL02 LL08 LL11

Claims (4)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 車両に設置され、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を処理する制御装置と、該制御装置により処理される画像を表示するモニターとを備える運転支援装置において、 前記制御装置は、撮像装置により取り込まれる画像のモニター上の表示に、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長した最外側延長ラインをスーパーインポーズする画像合成手段を備えることを特徴とする運転支援装置。 1. A is installed in the vehicle, an imaging device for capturing the external world information, and control device for processing an image imaging apparatus captures, the driving support apparatus and a monitor for displaying an image processed by the control device in the control device, the display on the monitor of the image captured by the imaging device, lowered vertically outermost line of the vehicle on the ground, to superimpose the outermost extension line extending the line in the longitudinal direction of the vehicle driving support apparatus characterized by comprising image synthesizing means.
  2. 【請求項2】 車両に設置され、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を処理する制御装置と、該制御装置により処理される画像を表示するモニターとを備える運転支援装置において、 前記制御装置は、撮像装置により取り込まれる画像のモニター上の表示に、タイヤの外側ラインを車両前後方向に延長したタイヤ外側延長ラインをスーパーインポーズする画像合成手段を備えることを特徴とする運転支援装置。 2. A is installed in the vehicle, an imaging device for capturing the external world information, and control device for processing an image imaging apparatus captures, the driving support apparatus and a monitor for displaying an image processed by the control device in the control device, the display on the image monitor captured by the imaging device, characterized in that it comprises an image synthesizing means for superimposing the tire outer extension line of the outer line extending in the vehicle longitudinal direction of the tire driving support system.
  3. 【請求項3】 前記タイヤ外側延長ラインは、タイヤの絵柄を伴うものである、請求項2記載の運転支援装置。 Wherein the tire outer extension line is accompanied by the pattern of the tire, the driving support apparatus according to claim 2, wherein.
  4. 【請求項4】 前記延長ラインは、映像上の地面に対する垂直面を表す絵柄を伴うものである、請求項1、2又は3記載の運転支援装置。 Wherein said extension lines, is accompanied by a picture representing a vertical plane relative to the ground on the video, the driving support apparatus according to claim 1, wherein.
JP36190998A 1998-12-03 1998-12-03 Driving support system Expired - Fee Related JP4258048B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36190998A JP4258048B2 (en) 1998-12-03 1998-12-03 Driving support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36190998A JP4258048B2 (en) 1998-12-03 1998-12-03 Driving support system

Publications (2)

Publication Number Publication Date
JP2000172996A true true JP2000172996A (en) 2000-06-23
JP4258048B2 JP4258048B2 (en) 2009-04-30

Family

ID=18475263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36190998A Expired - Fee Related JP4258048B2 (en) 1998-12-03 1998-12-03 Driving support system

Country Status (1)

Country Link
JP (1) JP4258048B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002080558A1 (en) * 2001-03-29 2002-10-10 Matsushita Electric Industrial Co., Ltd. Method and device for image display on rear view camera
JP2003061085A (en) * 2001-08-10 2003-02-28 Human Rinku:Kk Vehicle-user supervisory device
EP1350671A2 (en) 2001-11-12 2003-10-08 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitor
EP1383332A1 (en) * 2001-04-24 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying pickup image of camera installed in vehicle

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002080558A1 (en) * 2001-03-29 2002-10-10 Matsushita Electric Industrial Co., Ltd. Method and device for image display on rear view camera
EP1377062A4 (en) * 2001-03-29 2006-04-05 Matsushita Electric Ind Co Ltd Method and device for image display on rear view camera
EP1377062A1 (en) * 2001-03-29 2004-01-02 Matsushita Electric Industrial Co., Ltd. Method and device for image display on rear view camera
US6970184B2 (en) 2001-03-29 2005-11-29 Matsushita Electric Industrial Co., Ltd. Image display method and apparatus for rearview system
CN100463518C (en) 2001-03-29 2009-02-18 松下电器产业株式会社 Method and device for image display on rear view system
EP1383332A1 (en) * 2001-04-24 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying pickup image of camera installed in vehicle
EP1383332A4 (en) * 2001-04-24 2006-03-29 Matsushita Electric Ind Co Ltd Method and apparatus for displaying pickup image of camera installed in vehicle
JP2003061085A (en) * 2001-08-10 2003-02-28 Human Rinku:Kk Vehicle-user supervisory device
JP4530392B2 (en) * 2001-08-10 2010-08-25 日本精機株式会社 The vehicle monitoring device
EP1350671A2 (en) 2001-11-12 2003-10-08 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitor
US7248283B2 (en) 2001-11-12 2007-07-24 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitor
EP2395493A1 (en) 2001-11-12 2011-12-14 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitor

Also Published As

Publication number Publication date Type
JP4258048B2 (en) 2009-04-30 grant

Similar Documents

Publication Publication Date Title
US20030080877A1 (en) Device for monitoring area around vehicle
US5588733A (en) Head lamp device for vehicle
US6735517B2 (en) Windshield display for a navigation system
US20110181728A1 (en) Electronic side view display system
US7136091B2 (en) Vehicle imaging apparatus, vehicle monitoring apparatus, and rearview mirror
US20090140845A1 (en) Head-up display device for vehicle
US20090231116A1 (en) In-vehicle display device
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US20030045973A1 (en) Motor vehicle parking support unit and method thereof
US20040036764A1 (en) Operator identifying device
US7259746B2 (en) Display apparatus and method for automotive vehicle
US20120044090A1 (en) Motor vehicle with digital projectors
JP2007104373A (en) On-vehicle image displaying device
US7640107B2 (en) Vehicle drive assist system
US20050240342A1 (en) Vehicle periphery display control system
JPH10257482A (en) Vehicle surrounding condition display device
JP2001055100A (en) Multi-function on-board camera system and image display method of multi-function on-board camera system
JP2003196645A (en) Image processing device of vehicle
JP2003081014A (en) Vehicle periphery monitoring device
JP2005223524A (en) Supervisory apparatus for surrounding of vehicle
JP2001006097A (en) Device for supporting driving for vehicle
JP2007183877A (en) Driving support device for vehicle and display method for bird's-eye video
US20060132601A1 (en) Vehicular visual assistance system
US6476731B1 (en) Driving support device
JP2010176591A (en) Display device for vehicle

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081110

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees