JP2008090664A - Driving support device and program - Google Patents
Driving support device and program Download PDFInfo
- Publication number
- JP2008090664A JP2008090664A JP2006271822A JP2006271822A JP2008090664A JP 2008090664 A JP2008090664 A JP 2008090664A JP 2006271822 A JP2006271822 A JP 2006271822A JP 2006271822 A JP2006271822 A JP 2006271822A JP 2008090664 A JP2008090664 A JP 2008090664A
- Authority
- JP
- Japan
- Prior art keywords
- parking
- vehicle
- information
- predicted
- traveling direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両の周囲を監視して運転の支援を行う運転支援装置及びプログラムに関する。 The present invention relates to a driving support apparatus and a program for monitoring driving around a vehicle and supporting driving.
運転者が車両の発進をする時には、車両の周辺の安全を確認するが、近年では、運転者の安全確認の支援用の周辺監視装置(運転支援装置)として、モニタに車両進行方向の映像を表示するものがある。 When the driver starts the vehicle, the safety around the vehicle is confirmed. Recently, however, as a peripheral monitoring device (driving support device) for assisting the driver in confirming safety, an image of the vehicle traveling direction is displayed on the monitor. There is something to display.
例えば、下記特許文献1には、シフトをバックギアに入れた時、進行方向と予想される後方の映像を表示し、安全確認を支援する技術が開示されている。
また、下記特許文献2には、車両周辺(前方、側方、後方)に備えられたカメラの映像を、運転者のスイッチ操作により表示して、安全確認を支援する技術が開示されている。この技術では、スイッチ操作によって、「表示する/表示しない」の切替や、映像の切替(前方/側方/後方)が可能である。
Patent Document 2 below discloses a technique for supporting safety confirmation by displaying a video image of a camera provided around a vehicle (front, side, rear) by a driver's switch operation. With this technology, switching between “display / not display” and video switching (front / side / back) is possible by switch operation.
しかし、前記特許文献1の技術では、ギア操作によって映像の表示を行うため、ギア操作前に進行方向と予想される映像の確認ができない。特に、発進時において、ギア操作前に早期に進行方向の安全確認を行うことができれば、事故発生率低下、運転者へのストレス軽減につながるが、その対策が十分ではない。 However, in the technique of Patent Document 1, since an image is displayed by a gear operation, it is not possible to confirm an image that is expected to be a traveling direction before the gear operation. In particular, when starting, if the safety in the direction of travel can be confirmed at an early stage before operating the gear, the accident rate will be reduced and the stress on the driver will be reduced, but the countermeasures are not sufficient.
また、前記特許文献2の技術では、運転者操作によって映像の表示・映像切替を行うため、運転者が操作するまでは映像表示することができない。また、操作ミスにより、運転者が安全確認のため選択した映像と車両進行方向に不一致が起こる可能性がある。特に、発進時の運転者の操作ミスは、事故発生の危険性が高くなるという問題がある。 Further, in the technique of Patent Document 2, since video display / video switching is performed by a driver's operation, video cannot be displayed until the driver operates. In addition, due to an operation error, there is a possibility that the image selected by the driver for safety confirmation and the vehicle traveling direction may be inconsistent. In particular, a driver's operation mistake at the time of starting has a problem that the risk of an accident increases.
本発明は、上述した問題を解決するためになされたものであり、車両発進時に着目し、運転者がギア操作やスイッチ操作をする前から進行方向を予測し、進行方向と予想される映像を表示できる運転支援装置及びプログラムを提供することを目的としている。 The present invention has been made in order to solve the above-described problems. Attention is paid to the time when the vehicle starts, and the driver predicts the traveling direction before the gear operation or switch operation, and the image predicted as the traveling direction is displayed. An object of the present invention is to provide a driving support device and a program that can be displayed.
(1)請求項1の発明は、車両の周辺を撮影する撮影手段からの信号に基づいて、前記車両の周辺の映像をモニタに表示する運転支援装置に関するものであり、駐車時の情報に基づいて、発進時の車両の進行方向を予測する予測手段と、前記発進時には、前記撮影手段によって撮影された映像のうち、前記予測手段によって予測された車両の進行方向の映像を表示する表示制御手段と、を備えたことを特徴とする。 (1) The invention of claim 1 relates to a driving support device for displaying an image of the periphery of the vehicle on a monitor based on a signal from a photographing means for photographing the periphery of the vehicle, and based on information at the time of parking. Predicting means for predicting the traveling direction of the vehicle at the start, and display control means for displaying a video of the traveling direction of the vehicle predicted by the predicting means out of the images photographed by the photographing means at the time of starting. And.
本発明では、駐車時の情報に基づいて、発進時における車両の進行方向の予測を行って、発進時には、その予測した進行方向の映像をモニタ等に表示するので、運転者がギア操作やスイッチ操作をする前から進行方向を予測することができる。これにより、発進時の進行方向の安全確認が、早期に且つ確実に可能となり、運転者への負荷軽減及び事故発生率低下が期待できる。 In the present invention, based on the information at the time of parking, the direction of travel of the vehicle at the time of start is predicted, and at the time of start, the image of the predicted direction of travel is displayed on a monitor or the like. The direction of travel can be predicted before the operation. As a result, it is possible to quickly and surely confirm the direction of travel at the time of departure, and it can be expected that the load on the driver is reduced and the accident rate is reduced.
(2)請求項2の発明では、前記駐車時に、前記進行方向の予測を行うことを特徴とする。
本発明では、駐車時に、次回発進する際の進行方向の予測を行うので、発進時おける演算の負担を軽減することができる。つまり、駐車時に、演算によって求めた進行方向の予測情報を(同じく駐車時に)メモリに記憶しておけば、発進時には、メモリから予測情報を読み出すだけで使用できるので、発進時の演算の負担が軽減される。
(2) The invention of claim 2 is characterized in that the traveling direction is predicted at the time of parking.
In the present invention, since the direction of travel at the next start is predicted at the time of parking, the calculation burden at the start can be reduced. In other words, if the prediction information of the direction of travel obtained by calculation is stored in the memory at the time of parking (also at the time of parking), it can be used simply by reading the prediction information from the memory at the time of starting. It is reduced.
(3)請求項3の発明では、駐車時の情報は、駐車場所の情報及び駐車時の進行方向の情報(前進で駐車、後進で駐車等)のうち、少なくとも1種であることを特徴とする。
本発明は、進行方向の予測の演算に使用するデータを例示したものである。
(3) In the invention of claim 3, the information at the time of parking is at least one of the information on the parking place and the information on the traveling direction at the time of parking (parking forward, parking backward, etc.). To do.
The present invention exemplifies data used for calculation of the prediction of the traveling direction.
(4)請求項4の発明では、前記駐車場所の情報は、路上駐車又は駐車場駐車の情報であることを特徴とする。
本発明は、駐車場所の情報を例示したものである。なお、路上駐車の情報としては、車両の前方や後方の進行が可能か否かの情報を含むことが好ましい。また、駐車場駐車の情報としては、駐車場の区画の情報(例えばどの様な区画か、前進駐車の区画か後進駐車の区画か等)を含むことが好ましい。
(4) The invention of claim 4 is characterized in that the parking place information is information on street parking or parking lot parking.
The present invention exemplifies information on a parking place. The road parking information preferably includes information on whether or not the vehicle can travel forward or backward. Moreover, it is preferable that the parking lot parking information includes information on parking lot divisions (for example, what kind of division, forward parking division or reverse parking division, etc.).
(5)請求項5の発明では、前記駐車場所の情報は、駐車場の傾斜の状態を示す情報であることを特徴とする。
本発明は、駐車場所の情報を例示したものである。なお、傾斜の情報としては、傾斜方向や傾斜の程度(傾斜角度)が挙げられる。
(5) The invention of claim 5 is characterized in that the information on the parking place is information indicating a state of inclination of the parking lot.
The present invention exemplifies information on a parking place. The tilt information includes the tilt direction and the degree of tilt (tilt angle).
(6)請求項6の発明は、前記発進時の車両の進行方向の予測方向と前記駐車場の下がり方向とが異なる場合には、車両前後の映像を表示することを特徴とする。
駐車場の傾きが大きな場合には、運転者の意図にかかわらず、発進時に車両がその傾きの方向に僅かに移動することが考えられる。
(6) The invention of claim 6 is characterized in that when the predicted direction of the traveling direction of the vehicle at the time of starting is different from the descending direction of the parking lot, images before and after the vehicle are displayed.
When the inclination of the parking lot is large, it is conceivable that the vehicle slightly moves in the direction of the inclination at the start regardless of the driver's intention.
したがって、発進時の車両の進行方向の予測方向と駐車場の下がり方向とが異なる場合(特に傾斜が大きな場合)には、車両前後の映像を表示する。これにより、一層安全性が向上する。 Therefore, when the predicted direction of the traveling direction of the vehicle at the time of departure and the descending direction of the parking lot are different (particularly when the inclination is large), images before and after the vehicle are displayed. This further improves safety.
(7)請求項7の発明は、コンピュータを、前記予測手段及び前記表示制御手段として機能させるためのプログラムである。
このプログラムは、例えば、FD、CD−ROM、メモリーカードなどの記録媒体、インターネットなどの通信回線網を介して、プログラム書込装置自身、コンピュータシステム、または、これらを利用する利用者に提供される。
(7) The invention of claim 7 is a program for causing a computer to function as the prediction means and the display control means.
This program is provided to the program writing apparatus itself, a computer system, or a user who uses these programs via a recording medium such as an FD, a CD-ROM, or a memory card, or a communication network such as the Internet. .
以下に本発明の実施形態の例(実施例)を図面と共に説明する。 Hereinafter, an example (example) of an embodiment of the present invention will be described with reference to the drawings.
本実施例の運転支援装置は、前回の駐車時の情報に基づいて、車両の発進時における進行方向(発進方向)を予測し、発進時には予測した進行方向の映像(画像)をモニタに表示するものである。 The driving support device of the present embodiment predicts the traveling direction (starting direction) at the start of the vehicle based on the information at the time of the previous parking, and displays a video (image) of the predicted traveling direction on the monitor at the start. Is.
a)まず、本実施例の運転支援装置の構成について、図1に基づいて説明する。
図1に示す様に、本実施例の運転支援装置は、カーナビゲーションシステムを利用したものであり、カーナビゲーションシステムの基本的な構成として、位置検出器1、地図データ入力器3、操作スイッチ群5、外部メモリ7、表示装置(モニタ)9、送受信機11、音声コントローラ13、スピーカ15、音声認識装置17、マイク19、リモコンセンサ21、及びリモートコントロール端末(リモコン)23と、これら各装置が接続された制御装置25を備えている。
a) First, the structure of the driving assistance apparatus of a present Example is demonstrated based on FIG.
As shown in FIG. 1, the driving assistance apparatus of the present embodiment uses a car navigation system. As a basic configuration of the car navigation system, a position detector 1, a map data input device 3, an operation switch group. 5, external memory 7, display device (monitor) 9, transmitter / receiver 11, voice controller 13, speaker 15, voice recognition device 17, microphone 19, remote control sensor 21, and remote control terminal (remote control) 23. A connected control device 25 is provided.
また、特に運転支援に用いるシステムでは、前記カーナビゲーションシステムに加え、撮像装置27、パーキングブレーキスイッチ29、車両駆動センサ(ギアセンサ、車速センサ)33、及び傾斜センサ35を利用し、これらの各装置も制御装置25に接続されている。 In particular, in the system used for driving assistance, in addition to the car navigation system, an imaging device 27, a parking brake switch 29, a vehicle drive sensor (gear sensor, vehicle speed sensor) 33, and a tilt sensor 35 are used. It is connected to the control device 25.
このうち、位置検出器1は、地磁気センサ37、ジャイロスコープ39、距離センサ41、及びGPS受信機43を有している。これらのセンサ等37〜43は、各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。 Among these, the position detector 1 includes a geomagnetic sensor 37, a gyroscope 39, a distance sensor 41, and a GPS receiver 43. Since these sensors 37 to 43 have errors of different properties, they are configured to be used while being complemented by a plurality of sensors.
地図データ入力器3は、記憶媒体(不図示)が装着され、該記憶媒体に格納されている位置検出の精度向上のためのいわゆるマップマッチング用データ、地図データ及び目印データを含む各種データを入力するための装置である。なお、記憶媒体としては、そのデータ量からCD−ROMまたはDVD−ROMを用いるのが一般的であるが、メモリ−カード、HDD等を用いてもよい。 The map data input device 3 is loaded with a storage medium (not shown), and inputs various data including map matching data, map data, and landmark data for improving the accuracy of position detection stored in the storage medium. It is a device for doing. As a storage medium, a CD-ROM or a DVD-ROM is generally used because of the amount of data, but a memory card, HDD, or the like may be used.
操作スイッチ群5は、例えば表示装置9と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられ、スイッチ操作により、制御装置25へ各種機能(例えば、地図縮尺変更、メニュー表示選択、目的地設定、経路探索、経路案内開始、現在位置修正、表示画面変更、音量調整等)の操作指示を行う。 For example, a touch switch or a mechanical switch integrated with the display device 9 is used as the operation switch group 5, and various functions (for example, map scale change, menu display selection, destination setting) are performed by the switch operation. , Route search, route guidance start, current position correction, display screen change, volume adjustment, etc.).
リモコン23には、複数の操作スイッチ(不図示)が設けられ、スイッチ操作によりリモコンセンサ21を介して各種指令信号を制御装置25に入力し、制御装置25にて各種機能を実行する。 The remote controller 23 is provided with a plurality of operation switches (not shown), and various command signals are input to the control device 25 via the remote control sensor 21 by the switch operation, and the control device 25 executes various functions.
外部メモリ7は、HDD等の書き込み可能な大容量記憶装置である。外部メモリ7には大量のデータや電源をOFFしても消去してはいけないデータを記憶したり、頻繁に使用するデータを地図データ入力器3からコピーして利用する等の用途がある。なお、外部メモリ7は、比較的記憶容量の小さいリムーバルなメモリであってもよい。 The external memory 7 is a writable mass storage device such as an HDD. The external memory 7 has applications such as storing a large amount of data and data that should not be erased even when the power is turned off, and copying frequently used data from the map data input device 3 for use. The external memory 7 may be a removable memory having a relatively small storage capacity.
表示装置9は、ナビゲーションとして地図や目的地選択画面等を表示するものであって、フルカラー表示が可能なものであり、液晶、有機EL等を用いて構成することができる。また、この表示装置9は、ナビゲーションのモニタとして使用しないときは、後述する様に、撮像装置27により撮影された車両前後の映像を表示できる。 The display device 9 displays a map, a destination selection screen, and the like as navigation, and can display full color, and can be configured using liquid crystal, organic EL, or the like. When the display device 9 is not used as a navigation monitor, the front and rear images of the vehicle taken by the imaging device 27 can be displayed as will be described later.
送受信機11は、外部(例えばVICSシステムなどのインフラ:VICSセンサ45)から提供される交通情報、気象情報、施設情報、広告情報等を受信し、また外部へ、車両情報、運転者情報等を発信する装置である。なお、外部から受け取った情報は、制御装置25で処理する。また必要であれば、その制御装置25で処理した情報を送受信機11から出力することもできる。 The transceiver 11 receives traffic information, weather information, facility information, advertisement information, etc. provided from the outside (for example, infrastructure such as a VICS system: VICS sensor 45), and also provides vehicle information, driver information, etc. to the outside. It is a device to send. Information received from the outside is processed by the control device 25. If necessary, information processed by the control device 25 can be output from the transceiver 11.
スピーカ15は、音声コントローラ13から入力された音声出力信号に基づき所定の音声(案内のための音声や画面操作の説明、音声認識結果等)を外部に報知する。
マイク19は、操作者が発声した音声を電気信号として音声認識装置17に入力する。
The speaker 15 notifies the outside of a predetermined voice (guidance for guidance, explanation of screen operation, voice recognition result, etc.) based on the voice output signal input from the voice controller 13.
The microphone 19 inputs the voice uttered by the operator to the voice recognition device 17 as an electrical signal.
音声認識装置17は、操作者の入力音声と、内部に記憶する認識辞書(不図示)中の語彙データとを照合し、最も一致度の高いものを認識結果として音声コントローラ13に入力する。 The voice recognition device 17 collates the operator's input voice with vocabulary data in a recognition dictionary (not shown) stored therein, and inputs the highest matching score to the voice controller 13 as a recognition result.
音声コントローラ13は、音声認識装置17を制御すると共に、音声入力のあった操作者に対し、スピーカ15を通じてトークバック出力制御(音声出力)する。また、音声認識装置17の認識結果を制御装置25に入力する処理も行う。 The voice controller 13 controls the voice recognition device 17 and controls talkback output (voice output) through the speaker 15 for an operator who has input voice. Moreover, the process which inputs the recognition result of the speech recognition apparatus 17 to the control apparatus 25 is also performed.
撮像装置27は、車両前方、後方の状況を映像として捉える機能を有しており、例えばカメラ、赤外線監視装置などを使用できる。ここでは、車両前方カメラ27a及び車両後方カメラ27bを用いる。この撮像装置27は、制御装置25に容易に着脱可能なように接続されている。勿論、撮像装置27を制御装置25に容易に着脱できないように組み込んでもよい。 The imaging device 27 has a function of capturing the situation in front of and behind the vehicle as an image, and for example, a camera or an infrared monitoring device can be used. Here, the vehicle front camera 27a and the vehicle rear camera 27b are used. The imaging device 27 is connected to the control device 25 so as to be easily detachable. Of course, the imaging device 27 may be incorporated in the control device 25 so that it cannot be easily attached and detached.
車両駆動センサ33は、車両のギア(P、R、D)を検出するギアセンサとしての機能と、車速を検出する車速センサとしての機能を有している。
傾斜センサ35は、車両の傾斜方向及び傾斜角度の傾斜情報を測定し、制御装置25に傾斜情報を通信する機能を有している。なお、傾斜センサ35には、ジャイロスコープ39に組み込んでもよい。
The vehicle drive sensor 33 has a function as a gear sensor that detects a gear (P, R, D) of the vehicle and a function as a vehicle speed sensor that detects a vehicle speed.
The inclination sensor 35 has a function of measuring inclination information of the inclination direction and inclination angle of the vehicle and communicating the inclination information to the control device 25. Note that the tilt sensor 35 may be incorporated in the gyroscope 39.
制御装置25は、通常のコンピュータとして構成されており、内部には周知のCPU、ROM、RAM、I/O及びこれらの構成を接続するバスライン(いずれも不図示)が備えられている。 The control device 25 is configured as a normal computer, and includes a well-known CPU, ROM, RAM, I / O, and a bus line (all not shown) for connecting these configurations.
この制御装置25は、ナビゲーション機能として、位置検出器1、地図データ入力器3、操作スイッチ群5、外部メモリ7、送受信機11、音声コントローラ13、音声認識装置17、リモコンセンサ21などから入力された各種情報に基づき、所定の処理(例えば、地図縮尺変更処理、メニュー表示選択処理、目的地設定処理、経路探索実行処理、経路案内開始処理、現在位置修正処理、表示画面変更処理、音量調整処理等)を実行し、その結果を、表示装置9及びスピーカ15により出力する。 This control device 25 is input as a navigation function from the position detector 1, the map data input device 3, the operation switch group 5, the external memory 7, the transceiver 11, the voice controller 13, the voice recognition device 17, the remote control sensor 21, and the like. Based on the various information, predetermined processing (for example, map scale change processing, menu display selection processing, destination setting processing, route search execution processing, route guidance start processing, current position correction processing, display screen change processing, volume adjustment processing) And the result is output by the display device 9 and the speaker 15.
例えば、リモコン23あるいは操作スイッチ群5により目的地が設定されると、制御装置25は、位置検出器1により検出された現在位置からその目的地までの最適な経路を自動的に探索して誘導経路を設定し表示する。 For example, when the destination is set by the remote controller 23 or the operation switch group 5, the control device 25 automatically searches for and guides the optimum route from the current position detected by the position detector 1 to the destination. Set and display the route.
設定された経路は、地図データ入力器3の情報に基づき表示装置9に表示される表示地図上に、位置検出器1により検出された現在位置マークと共に重畳表示される。なお、表示地図には、現在位置、経路のほかに、現在時刻、渋滞情報など他の情報表示も付加表示することもできる。 The set route is superimposed and displayed together with the current position mark detected by the position detector 1 on the display map displayed on the display device 9 based on the information of the map data input device 3. In addition to the current position and route, other information displays such as the current time and traffic jam information can be additionally displayed on the display map.
特に、本実施例では、後述する様に、制御装置25により、カーナビゲーションシステムからの車両の位置や地図の情報、車両駆動センサ33及び傾斜センサ35からの情報などに基づいて、駐車時に、車両の進行方向を予測し、次回の発進時には、その予測した車両の進行方向の映像(即ち撮像装置27にて撮影した映像)を、表示装置9に表示する。 In particular, in this embodiment, as will be described later, the vehicle is controlled by the control device 25 based on the position of the vehicle from the car navigation system, information on the map, information from the vehicle drive sensor 33 and the inclination sensor 35, etc. Is predicted, and at the next start, an image of the predicted traveling direction of the vehicle (that is, an image captured by the imaging device 27) is displayed on the display device 9.
b)次に、制御装置25で実施される本実施例の主要な処理内容、即ち、進行方向を予測する手順について説明する。
本実施例では、進行方向の予測においては、駐車場所と駐車時の進行方向の情報を使用する。以下、詳細に説明する。
b) Next, a description will be given of the main processing contents of the present embodiment performed by the control device 25, that is, the procedure for predicting the traveling direction.
In the present embodiment, in the prediction of the traveling direction, information on the parking location and the traveling direction at the time of parking is used. Details will be described below.
(1)駐車時の状況の取得
駐車時に取得する情報を下記表1に示す。
(1) Acquisition of the situation at the time of parking Information acquired at the time of parking is shown in Table 1 below.
進行方向は、下記表2のアルゴリズムにより予測する。
(4)次回、イグニッションスイッチ(図示せず)の「ACC ON」後に、外部メモリ7から前記(3)で記憶したデータを抽出する。
(5)駐車場の傾斜が大きい場合は、重力の影響により発進時に車両が標高の低い方向に多少動くことがある。よって、予測した進行方向と標高の低い方向が逆の場合には、車両前後のどちらに動くが不明であるので、この場合は、前後の映像を同じ表示装置9に表示する。
(4) Next time after “ACC ON” of an ignition switch (not shown), the data stored in (3) is extracted from the external memory 7.
(5) If the parking lot has a large slope, the vehicle may move slightly in the direction of low altitude when starting due to the influence of gravity. Therefore, when the predicted traveling direction is opposite to the direction where the altitude is low, it is unclear which one moves forward and backward of the vehicle. In this case, the front and rear images are displayed on the same display device 9.
c)次に、制御装置25にて実施される本実施例の主要な処理について、図2〜図9に基づいて詳細に説明する。
(1)駐車時の処理
本処理は、「ACC ON」の時に開始される。
c) Next, the main processing of the present embodiment performed by the control device 25 will be described in detail with reference to FIGS.
(1) Processing at the time of parking This processing is started when “ACC ON”.
・図2のフローチャートに示す様に、ステップ(S)100では、車両駆動センサ33からのギア位置を示す信号により、車両が前進か後進かの情報を取得する。
続くステップ110では、駐車か否かを判定する。具体的には、エンジンがオフ、ギア位置がP(パーキング)、且つ、ハンドブレーキが引かれているか否かを判定し、全てが肯定判断された場合には、駐車であると判定する。なお、ハンドブレーキが引かれているか否かは、パーキングブレーキスイッチ29のオン/オフにより判断できる。
As shown in the flowchart of FIG. 2, in step (S) 100, information indicating whether the vehicle is moving forward or backward is acquired from a signal indicating the gear position from the vehicle drive sensor 33.
In the following step 110, it is determined whether or not the vehicle is parked. Specifically, it is determined whether or not the engine is off, the gear position is P (parking), and the handbrake is applied. If all the determinations are affirmative, it is determined that the vehicle is parked. Whether the hand brake is applied or not can be determined by turning on / off the parking brake switch 29.
続くステップ120では、カーナビゲーションシステムにより、駐車場所の位置情報を取得する。具体的には、駐車した車両の現在位置(駐車場所:駐車位置)を求め、その駐車位置が駐車場か路上かの情報を取得する。そして、駐車位置が駐車場の場合には、その駐車場の駐車区画の情報を取得する。一方、駐車位置が路上の場合には、前方に通行できる道があるか否かの情報や、後方に通行できる道があるか否かの情報を取得する。 In the following step 120, the position information of the parking place is acquired by the car navigation system. Specifically, the current position of the parked vehicle (parking place: parking position) is obtained, and information on whether the parking position is a parking lot or on the road is acquired. And when a parking position is a parking lot, the information of the parking area of the parking lot is acquired. On the other hand, when the parking position is on the road, information on whether or not there is a road that can pass forward and information on whether or not there is a road that can pass behind are acquired.
続くステップ130では、傾斜センサ35からの信号に基づいて、傾斜角度及び傾斜方向の傾斜情報を取得する。
続くステップ140では、後述する様にして、前記表2のアルゴリズムに基づいて、次回発進時の進行方向(前進/後進)を予測する。
In the subsequent step 130, the tilt information of the tilt angle and the tilt direction is acquired based on the signal from the tilt sensor 35.
In the following step 140, the traveling direction (forward / reverse) at the next start is predicted based on the algorithm shown in Table 2 as described later.
続くステップ150では、前記ステップ130で求めた傾斜情報や、前記ステップ140で予測した次回発進時の進行方向を、外部メモリ7に記憶し、一旦本処理を終了する。
・ここで、前記ステップ140の進行方向の予測の処理を詳しく説明する。
In subsequent step 150, the inclination information obtained in step 130 and the traveling direction at the next start predicted in step 140 are stored in the external memory 7, and the present process is temporarily terminated.
Here, the process of predicting the traveling direction in step 140 will be described in detail.
図3のフローチャートに示す様に、ステップ200では、前記表1に示す様に、カーナビゲーションシステムの地図データから取得した情報に基づいて、駐車場所が路上か駐車場かを判定する。 As shown in the flowchart of FIG. 3, in step 200, as shown in Table 1, it is determined whether the parking place is on the road or on the basis of information acquired from the map data of the car navigation system.
路上である場合には、ステップ210にて、同様な地図データに基づいて、前方通行不可か後方通行不可か、或いは前方後方とも通行可能かを判定する。
そして、図4に示す様に、前方通行不可の場合には、ステップ220にて、次回の進行方向を後進発進と予測し、一旦本処理を終了する。
If the vehicle is on the road, it is determined in step 210 whether the vehicle cannot pass forward, cannot pass backward, or can pass both forward and backward.
Then, as shown in FIG. 4, when forward traffic is impossible, in step 220, the next traveling direction is predicted to be a backward start, and this process is temporarily terminated.
また、図5に示す様に、後方通行不可の場合には、ステップ230にて、次回の進行方向を前進発進と予測し、一旦本処理を終了する。
更に、図6に示す様に、前方、後方とも通行可能の場合には、ステップ240にて、次回の進行方向を前進発進と予測し、一旦本処理を終了する。
Further, as shown in FIG. 5, when it is not possible to pass backward, in step 230, the next advancing direction is predicted to be forward start, and the present process is temporarily terminated.
Furthermore, as shown in FIG. 6, when both forward and backward passages are possible, the next traveling direction is predicted to be forward start in step 240, and this process is temporarily terminated.
一方、前記ステップ200で駐車場での駐車であると判断されて進むステップ250では、同様な地図データに基づいて、前進発進の駐車区画か後進発進の駐車区画か、或いは駐車区画の情報が無いかを判定する。 On the other hand, in step 250, which is determined to be parking at the parking lot in step 200, there is no information on the parking area for forward start or the reverse start based on similar map data, or there is no information on the parking area. Determine whether.
そして、図7に示す様に、前進発進の駐車区画の場合は、ステップ260にて、次回の進行方向を前進発進と予測し、一旦本処理を終了する。
また、図8に示す様に、後進発進の駐車区画の場合には、ステップ270にて、次回の進行方向を後進発進と予測し、一旦本処理を終了する。
Then, as shown in FIG. 7, in the case of a forward start parking section, in step 260, the next advancing direction is predicted to be forward start, and this process is temporarily terminated.
Further, as shown in FIG. 8, in the case of a parking area for backward start, in step 270, the next advancing direction is predicted to be reverse start, and this process is temporarily terminated.
更に、駐車区画の情報が無い場合は、ステップ280にて、車両駆動センサ33からの信号に基づいて、駐車時の進行方向の判定を行う。
そして、駐車時のギア位置が前進(Dレンジ)であった場合には、ステップ290にて、次回の進行方向を後進発進と予測し、一旦本処理を終了する。
Further, when there is no information on the parking section, in step 280, the traveling direction during parking is determined based on the signal from the vehicle drive sensor 33.
If the gear position at the time of parking is forward (D range), the next traveling direction is predicted to be backward starting at step 290, and this processing is temporarily terminated.
また、駐車時のギア位置が後進(Rレンジ)であった場合には、ステップ295にて、次回の進行方向を前進発進と予測し、一旦本処理を終了する。
(2)発進時の処理
本処理は、「ACC ON」の時に開始される。
If the gear position at the time of parking is reverse (R range), the next advancing direction is predicted to be forward start in step 295, and this process is temporarily terminated.
(2) Start process This process starts when “ACC ON”.
図9のフローチャートに示す様に、ステップ300では、車両の発進時には、前回の駐車時に外部メモリ7に記憶された進行方向の予測情報や傾斜情報を、外部メモリ7から読み出す(抽出する)。なお、「ACC ON」になれば、車両の発進時と判断する。 As shown in the flowchart of FIG. 9, in step 300, when the vehicle starts, the prediction information and the inclination information of the traveling direction stored in the external memory 7 at the time of previous parking are read (extracted) from the external memory 7. If “ACC ON” is set, it is determined that the vehicle is starting.
続くステップ310では、読み出した進行方向の予測情報に基づいて、予測した進行方向が前進か後進かを判定する。
そして、前進の場合は、ステップ320にて、傾斜情報に基づいて、後方に大きく傾斜しているか否かを判定する。ここで肯定判断されるとステップ330に進み、一方否定判断されるとステップ350に進む。
In the subsequent step 310, it is determined whether the predicted traveling direction is forward or backward based on the read prediction information of the traveling direction.
If the vehicle is moving forward, it is determined in step 320 whether or not the vehicle is largely inclined backward based on the inclination information. If an affirmative determination is made here, the process proceeds to step 330, while if a negative determination is made, the process proceeds to step 350.
ステップ330では、予測した進行方向が前進であるが、路面が後方に大きく傾斜しており、最初に僅かに後方に進む可能性があるので、表示装置9に車両前方及び後方の映像を表示する。 In step 330, the predicted traveling direction is forward, but the road surface is greatly inclined backward, and there is a possibility that the road surface may slightly move backward first. Therefore, the front and rear images of the vehicle are displayed on the display device 9. .
続くステップ340では、車両駆動センサ33からの車速信号に基づいて(即ち車速に基づいて)、発進状態が完了したか否か(即ち所定以上の車速か否か)を判定する。ここで、肯定判断されるとステップ420に進み、一方否定判断されるとステップ330に戻る。 In the following step 340, it is determined based on the vehicle speed signal from the vehicle drive sensor 33 (that is, based on the vehicle speed) whether the start state is completed (that is, whether the vehicle speed is equal to or higher than a predetermined value). If an affirmative determination is made here, the process proceeds to step 420, while if a negative determination is made, the process returns to step 330.
一方、前記ステップ320で否定判断されて進むステップ350では、予測した進行方向が前進であり、路面の傾斜は少ないので、表示装置9に車両前方の映像を表示する。
続くステップ360では、車両駆動センサ33からの車速信号に基づいて、発進状態が完了したか否かを判定する。ここで、肯定判断されるとステップ420に進み、一方否定判断されるとステップ350に戻る。
On the other hand, in step 350, which is determined to be negative in step 320 and proceeds, the predicted traveling direction is forward, and the road surface is less inclined, so an image in front of the vehicle is displayed on the display device 9.
In the subsequent step 360, it is determined whether or not the start state has been completed based on the vehicle speed signal from the vehicle drive sensor 33. Here, if an affirmative determination is made, the process proceeds to step 420, while if a negative determination is made, the process returns to step 350.
また、前記ステップ310で後進発進と予測されて進むステップ370では、傾斜情報に基づいて、前方に大きく傾斜しているか否かを判定する。ここで肯定判断されるとステップ380に進み、一方否定判断されるとステップ400に進む。 In step 370, which is predicted to be a backward start in step 310, it is determined whether or not the vehicle is largely inclined forward based on the inclination information. If an affirmative determination is made here, the process proceeds to step 380, whereas if a negative determination is made, the process proceeds to step 400.
ステップ380では、予測した進行方向が後進であるが、路面が前方に大きく傾斜おり、最初に僅かに前方に進む可能性があるので、表示装置9に車両前方及び後方の映像を表示する。 In step 380, although the predicted traveling direction is backward, the road surface is greatly inclined forward and may move slightly forward at first, so the images of the vehicle front and rear are displayed on the display device 9.
続くステップ390では、車両駆動センサ33からの車速信号に基づいて、発進状態が完了したか否かを判定する。ここで、肯定判断されるとステップ420に進み、一方否定判断されるとステップ380に戻る。 In the following step 390, it is determined whether or not the start state has been completed based on the vehicle speed signal from the vehicle drive sensor 33. Here, if an affirmative determination is made, the process proceeds to step 420, while if a negative determination is made, the process returns to step 380.
一方、前記ステップ370で否定判断されて進むステップ400では、予測した進行方向が後進であり、路面の傾斜は少ないので、表示装置9に車両後方の映像を表示する。
続くステップ410では、車両駆動センサ33からの車速信号に基づいて、発進状態が完了したか否かを判定する。ここで、肯定判断されるとステップ420に進み、一方否定判断されるとステップ400に戻る。
On the other hand, in Step 400, which is determined to be negative in Step 370 and proceeds, the predicted traveling direction is backward, and the road surface is less inclined, so an image behind the vehicle is displayed on the display device 9.
In the subsequent step 410, it is determined whether or not the start state has been completed based on the vehicle speed signal from the vehicle drive sensor 33. Here, if an affirmative determination is made, the process proceeds to step 420, while if a negative determination is made, the process returns to step 400.
そして、前記ステップ340、360、390、410で肯定判断されて進むステップ420では、必要な方向の映像表示が完了したので、その映像表示を終了し、一旦本処理を終了する。 In step 420, which is determined as affirmative in steps 340, 360, 390, and 410, the video display in the necessary direction is completed. Therefore, the video display is terminated, and the process is temporarily terminated.
d)この様に、本実施例では、駐車時に次回の発進時の進行方向を予測し、発進時には傾斜情報を加味して必要な方向の映像を表示するので、発進時の進行方向の安全確認が、早期に且つ確実に可能となる。これにより、運転者への負荷軽減及び事故発生率低下が期待できる。 d) In this way, in this embodiment, the direction of travel at the next start is predicted at the time of parking, and the image of the necessary direction is displayed with the tilt information at the time of start. However, this is possible early and reliably. As a result, it is possible to expect a reduction in the load on the driver and a reduction in the accident rate.
なお、例えば、前記ステップ140が予測手段に該当し、ステップ330、350、380、400が表示制御手段に該当する。 For example, step 140 corresponds to the prediction unit, and steps 330, 350, 380, and 400 correspond to the display control unit.
次に、実施例2の運転支援装置について説明するが、前記実施例1と同様な内容の説明は省略する。
本実施例は、路上駐車の際に、進行方向を再予測するものである。
Next, the driving support device of the second embodiment will be described, but the description of the same contents as the first embodiment will be omitted.
The present embodiment re-predicts the traveling direction when parking on the road.
図10に示す様に、駐車時に前方発進と予測した場合であっても、その後、自車の前方に他の車両が駐車することがある。
このような場合には、発進時に、車両前方カメラ27aによって撮影された画像の処理によって、前方の他車を認識したときには、前方への発進はできないので、後方発進と再予測するものである。
As shown in FIG. 10, even when it is predicted that the vehicle will start ahead when parking, another vehicle may park in front of the host vehicle.
In such a case, when the other vehicle ahead is recognized by the processing of the image taken by the vehicle front camera 27a at the start, the vehicle cannot start forward, so that it is predicted again as a backward start.
これにより、状況の変化に好適に対応することが可能となる。 Thereby, it becomes possible to cope with the change of the situation suitably.
次に、実施例3の運転支援装置について説明するが、前記実施例1と同様な内容の説明は省略する。
本実施例は、路上駐車の際に、進行方向を再予測するものである。
Next, the driving support device of the third embodiment will be described, but the description of the same contents as the first embodiment will be omitted.
The present embodiment re-predicts the traveling direction when parking on the road.
図11に示す様に、道路の前方が交通規制等により通行不可とされていた場合には、通常は、駐車時には後方発進と予測される。
しかし、後方発進と予測した場合であっても、その後、自車の後方に他の車両が駐車することがある。
As shown in FIG. 11, when the road ahead is not allowed due to traffic restrictions or the like, it is normally predicted that the vehicle will start backward when parking.
However, even if it is predicted to start backward, another vehicle may park behind the host vehicle.
このような場合には、発進時に、車両後方カメラ27bによって撮影された画像の処理によって、後方の他車を認識したときには、後方への発進はできないので、前方発進と再予測するものである。 In such a case, when the other vehicle behind is recognized by processing the image captured by the vehicle rear camera 27b at the time of starting, the vehicle cannot start backward, so that it is predicted again as starting forward.
これにより、状況の変化に好適に対応することが可能となる。
尚、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
Thereby, it becomes possible to cope with the change of the situation suitably.
In addition, this invention is not limited to the said embodiment, It is possible to implement in various aspects.
例えば進行方向の予測は、駐車時に行うと、発進時の演算の負担が軽減されるので好適であるが、発進時に進行方向の予測を行うことも可能である。
また、発進時に傾斜情報を加味してモニタに表示する映像の判断を行うのではなく、駐車時に傾斜情報を加味して最終的に表示する映像の判断を行ってもよい。
For example, the prediction of the traveling direction is preferable when performed at the time of parking because the calculation burden at the time of starting is reduced, but it is also possible to predict the traveling direction at the time of starting.
Further, instead of determining the video to be displayed on the monitor in consideration of the tilt information at the time of departure, the video to be finally displayed may be determined in consideration of the tilt information at the time of parking.
更に、前記各実施例の処理内容を含むプログラムも本発明の範囲である。 Furthermore, a program including the processing content of each of the above embodiments is also within the scope of the present invention.
1…位置センサ
7…外部メモリ
9…表示装置
25…制御装置
27…撮像装置
33…車両駆動センサ
35…傾斜センサ
DESCRIPTION OF SYMBOLS 1 ... Position sensor 7 ... External memory 9 ... Display apparatus 25 ... Control apparatus 27 ... Imaging device 33 ... Vehicle drive sensor 35 ... Tilt sensor
Claims (7)
駐車時の情報に基づいて、発進時の車両の進行方向を予測する予測手段と、
前記発進時には、前記撮影手段によって撮影された映像のうち、前記予測手段によって予測された車両の進行方向の映像を表示する表示制御手段と、
を備えたことを特徴とする運転支援装置。 In a driving support device that displays a video of the periphery of the vehicle on a monitor based on a signal from an imaging unit that captures the periphery of the vehicle,
A prediction means for predicting the traveling direction of the vehicle at the start based on the information at the time of parking;
Display control means for displaying an image of the traveling direction of the vehicle predicted by the prediction means among the images taken by the photographing means at the time of starting,
A driving support apparatus comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006271822A JP4872580B2 (en) | 2006-10-03 | 2006-10-03 | Driving support device and program |
US11/812,392 US7970535B2 (en) | 2006-07-04 | 2007-06-19 | Drive assist system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006271822A JP4872580B2 (en) | 2006-10-03 | 2006-10-03 | Driving support device and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011120789A Division JP5099246B2 (en) | 2011-05-30 | 2011-05-30 | Driving assistance device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008090664A true JP2008090664A (en) | 2008-04-17 |
JP4872580B2 JP4872580B2 (en) | 2012-02-08 |
Family
ID=39374727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006271822A Expired - Fee Related JP4872580B2 (en) | 2006-07-04 | 2006-10-03 | Driving support device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4872580B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010149538A (en) * | 2008-12-23 | 2010-07-08 | Toyota Motor Corp | Hydraulic control device of vehicle power transmission |
WO2014083763A1 (en) | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Vehicle acceleration restriction device and vehicle acceleration restriction method |
KR101743647B1 (en) * | 2011-01-21 | 2017-06-05 | 현대모비스 주식회사 | Apparatus And Method correcting guideline of rear image using vehicle |
CN110126817A (en) * | 2018-12-16 | 2019-08-16 | 初速度(苏州)科技有限公司 | A kind of method and system parked or recalled between adaptive arbitrary point and fixed point |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000127581A (en) * | 1998-06-26 | 2000-05-09 | Acer Peripherals Inc | Ink ribbon positioning system |
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
JP2002127855A (en) * | 2000-10-27 | 2002-05-09 | Nissan Motor Co Ltd | Start alarming, start stopping, and start suppressing device for vehicle |
JP2003163925A (en) * | 2001-11-26 | 2003-06-06 | Toyota Motor Corp | Circumference monitor for vehicle |
JP2003306105A (en) * | 2002-04-11 | 2003-10-28 | Mitsubishi Motors Corp | Start supporting device |
JP2007118876A (en) * | 2005-10-31 | 2007-05-17 | Aisin Seiki Co Ltd | Vehicle drive support device |
-
2006
- 2006-10-03 JP JP2006271822A patent/JP4872580B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000127581A (en) * | 1998-06-26 | 2000-05-09 | Acer Peripherals Inc | Ink ribbon positioning system |
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
JP2002127855A (en) * | 2000-10-27 | 2002-05-09 | Nissan Motor Co Ltd | Start alarming, start stopping, and start suppressing device for vehicle |
JP2003163925A (en) * | 2001-11-26 | 2003-06-06 | Toyota Motor Corp | Circumference monitor for vehicle |
JP2003306105A (en) * | 2002-04-11 | 2003-10-28 | Mitsubishi Motors Corp | Start supporting device |
JP2007118876A (en) * | 2005-10-31 | 2007-05-17 | Aisin Seiki Co Ltd | Vehicle drive support device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010149538A (en) * | 2008-12-23 | 2010-07-08 | Toyota Motor Corp | Hydraulic control device of vehicle power transmission |
KR101743647B1 (en) * | 2011-01-21 | 2017-06-05 | 현대모비스 주식회사 | Apparatus And Method correcting guideline of rear image using vehicle |
WO2014083763A1 (en) | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Vehicle acceleration restriction device and vehicle acceleration restriction method |
US9561721B2 (en) | 2012-11-27 | 2017-02-07 | Nissan Motor Co., Ltd. | Vehicle acceleration suppression device and vehicle acceleration suppression method |
CN110126817A (en) * | 2018-12-16 | 2019-08-16 | 初速度(苏州)科技有限公司 | A kind of method and system parked or recalled between adaptive arbitrary point and fixed point |
CN110126817B (en) * | 2018-12-16 | 2023-01-06 | 魔门塔(苏州)科技有限公司 | Method and system for self-adapting to parking or recalling between any point and fixed point |
Also Published As
Publication number | Publication date |
---|---|
JP4872580B2 (en) | 2012-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008302711A (en) | Start support device | |
JP2007145251A (en) | Driving support device | |
JP2008026118A (en) | Driving supporting system and vehicle-use navigation apparatus | |
JP2011196346A (en) | On-vehicle apparatus | |
JP2006292701A (en) | On-vehicle device and road state display method | |
JP5099246B2 (en) | Driving assistance device | |
JP4506617B2 (en) | Vehicle driving support device | |
JP2011235677A (en) | Parking support system and navigation device | |
JP2008308063A (en) | Navigation apparatus, display control method and program | |
JP2007223505A (en) | Vehicular road surface contact suppressing device | |
JP4872580B2 (en) | Driving support device and program | |
JP2009053231A (en) | Road information generating device, road information generating method, and program | |
JP2009008646A (en) | Onboard navigation device | |
JP2007237764A (en) | On-vehicle situation storing device | |
JP2011235847A (en) | Navigation device | |
JP2008090654A (en) | Driving operation support device | |
JP5803624B2 (en) | Vehicle control system, vehicle control device, vehicle control method, and computer program | |
JP4825555B2 (en) | Display control apparatus, display control method, display control program, and computer-readable recording medium | |
JP2008305101A (en) | Warning device upon vehicle right or left turn | |
WO2009101692A1 (en) | Forward looking device, forward looking method and forward looking program | |
JP4940587B2 (en) | Road imaging device | |
JP7215184B2 (en) | ROUTE GUIDANCE CONTROL DEVICE, ROUTE GUIDANCE CONTROL METHOD, AND PROGRAM | |
JP2005308460A (en) | Vehicle recovery system | |
JP4254473B2 (en) | Car navigation system | |
JPH10318765A (en) | Vehicle-mounted navigation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4872580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |