JP2012243303A - 車両用端末のためのユーザーインターフェース方法、装置、及びこれを具備する車両 - Google Patents
車両用端末のためのユーザーインターフェース方法、装置、及びこれを具備する車両 Download PDFInfo
- Publication number
- JP2012243303A JP2012243303A JP2012048437A JP2012048437A JP2012243303A JP 2012243303 A JP2012243303 A JP 2012243303A JP 2012048437 A JP2012048437 A JP 2012048437A JP 2012048437 A JP2012048437 A JP 2012048437A JP 2012243303 A JP2012243303 A JP 2012243303A
- Authority
- JP
- Japan
- Prior art keywords
- road
- vehicle
- information
- user interface
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3635—Guidance using 3D or perspective road maps
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Graphics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】位置情報を獲得してどの道路のどの地点であるかを把握する段階S401と、運行方向の道路の画像を獲得して、獲得した道路の画像に示される車路を認識してどの車路に位置するのかを把握する段階S403と、前記の認識された車路に対する仮想車路を生成して、これを前記の運行方向の道路の画像に付け加えて表出する段階S405及び前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階S407を含む。
【選択図】図4
Description
一般的に従来のナビゲーション端末は出発地から目的地までの経路だけを提示するが、車路別交通情報を提供しない。従って、車路の前方、車路の後方、車路の側方に位置する車両による交通事故の危険性はいつも潜んでいるので、これを解決できる方案が模索されている。
本発明のまた他の目的は車両の運行において、車路別交通情報及び周辺情報を提供する車両用端末のためのユーザーインターフェース方法及び装置を提供することにある。
本発明のまた他の目的は車両運行の時に車路を変更しようとする場合、変更しようとする車路の交通情報及び周辺情報を優先的に提供する車両用端末のためのユーザーインターフェース方法及び装置を提供することにある。
本発明のまた他の目的は実際の道路を示す画像に車路別交通情報及び周辺情報を付け加えて示すことでユーザーの安全運行をもっと誘導できる車両用端末のためのユーザーインターフェース方法及び装置を提供することにある。
前記の制御部は、運行方向の道路の画像から車路を認識してどの車路に位置するのかを把握して、前記の認識された車路に対する仮想車路を生成した後にこれを前記の運行方向の道路の画像に付け加えて表出して、位置情報からどの道路のどの地点であるかを把握して、前記の把握された該当の道路の地点での車路別交通情報及び周辺情報を前記の仮想の車路別に表出することを特徴とする。
図1を参照すれば、本発明の一実施例に係る車両用端末10は外観を形成するケースのフレーム11と、ケースのフレーム11に内挿される下記の構成要素を含んでいる。車両用端末10は、画像データを表示するディスプレー12と、音声データを出力するスピーカー13と、入力のためのボタン14と、撮影のための前方カメラ15−1と後方カメラ15−2(図1では車両用端末10の背面にあって、図示せず)と、無線信号の送受信に必要なアンテナ16と、外部機器に電気的に接続されて相互通信するための外部コネクター17と、を含む。ディスプレー12にタッチパネルを加えると、タッチスクリーンを構成できる。車両用端末10はGPS(Global Positioning System)センサーを持っていて、位置及び移動速度を把握できる。その上に、車両用端末10は保存されたマップを利用して経路を提供して、運行経路に対する交通情報を画像または音声で提供する。運行に関する交通情報は多様なネットワークを通じて受信できる。
図2(a)を参照すれば、本発明の一実施例に係る車両20は前方、後方、側方に備えられる一つ以上の距離センサー(21−1、21−2、21−3、21−4)及び車両カメラ(22−1、22−2)を含んでいる。前記の距離センサーは障害物との距離を感知するものであり、具体的には超音波または赤外線センサーである。
図2(b)を参照すれば、前記の車両内装置200は全般的な動作の制御を遂行する制御部210と、制御部210に情報を提供する下記の各種の構成部と、車両用端末10と通信するための通信部270を含んでいる。制御部210に情報を提供する構成部は、距離センサー部220、方向指示灯の点滅感知部230、ブレーキの動作感知部240、操向感知部250、車両カメラ部260などを含む。これらの構成部は、車両内の各所に分散配置されており、上述の図2(A)に示した距離センサー及び車両カメラはその一例である。
図3を参照すれば、本発明の一実施例による車両用端末のためのユーザーインターフェース装置は、画像受信部310、センサー受信部320、車両の動作情報の受信部330、交通情報の受信部340、出力部350、保存部360、眼球追跡部370及び制御部380を含んでいる。
保存部360は経路を提示するためのマップデータと、全般的な動作を制御する所定のプログラム及び制御動作が遂行される時に入出力される各種のデータを保存する。
位置確認部382は端末センサー受信部322から位置情報の提供を受けてどの道路のどの地点であるかを把握する。
特に、制御部380は複数の仮想車路の中で眼球追跡部370が把握するユーザーの視線に応じて、該当の仮想車路及びこれに対する交通情報及び周辺情報を知らせるように前記の構成部を制御できる。例えば、ユーザーが車両前方の道路の画像で左側の車路を眺めると、左側の車路に対する仮想車路及びこれに対する交通情報及び周辺情報が表出される。
図4を参照すれば、制御部380は位置情報を獲得してどの道路のどの地点であるかを把握する。(401段階)
その次に、制御部380は、前記の把握された道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる。(407段階)
図5を参照すれば、一実施例による車両前方の道路の画像500は、車両用端末の後方カメラ316または車両カメラ260により運行方向を注視して撮像した画像を例示するものであり、周りの車両、建物、車路511、512、513、514、及び車路を区分する車線501、502を示す。この場合、車両及び車両用端末は画面の中央の車路512に位置する。
図6を参照すれば、本発明の一実施例による車両用端末におけるユーザーインターフェースは、運行方向の道路の画像600の上に認識された車路に相応する仮想車路を付け加えて画像出力部351に表出する。特に、前記の各仮想車路は交通情報及び周辺情報によって運行の円滑度を示す色が指定されて表出される。例えば、運行の円滑度は上、中、下に区分され各円滑度に対応する色が指定される。一例として、運行の円滑度が下の仮想車路611は赤色に表示され、運行の円滑度が上の仮想車路612は青色に表示され、運行の円滑度が中の仮想車路613は黄色に表示される。
図8(図9)に示すように、例えば車両の左側(右側)の方向指示灯が点灯される場合、及び/又は、ユーザーが道路の画像の左側(右側)の車路を注視する場合、左側(右側)の車路に相応する仮想車線の運行の円滑度及びこれに対する交通情報と周辺情報に対する表示子が表出される。
図10の(A)及び(B)に示すように、経路が指定されている場合、前記の経路はリアルタイムで示す車両前方の道路の画像1000の上に、経路1010が表出される。なお、図10の(A)と(B)に示すように、経路は現在の車両が位置する車路を基準に示される。
一方、本発明の詳細な説明では具体的な実施例に関して説明したが、本発明の範囲から脱しない限度内でさまざまな変形が可能である。そのため本発明の範囲は説明の実施例に限定されてはならず、後述する特許請求の範囲だけではなくこの特許請求の範囲と均等なものを含むものである。
11 ケースのフレーム
12 ディスプレー
13 スピーカー
14 ボタン
15−1 前方カメラ
15−2 後方カメラ
16 アンテナ
17 外部コネクター
20 車両
21−1、21−2、21−3、21−4 距離センサー
22−1、22−2 車両カメラ
200 車両内装置
210 制御部
220 距離センサー部
230 方向指示灯の点滅感知部
240 ブレーキの動作感知部
250 操向感知部
260 カメラ部、車両カメラ
270 通信部
310 画像受信部
311 車両カメラの画像受信部
312 端末カメラの画像受信部
313 前方カメラの画像受信部
314 後方カメラの画像受信部
315 前方カメラ
316 後方カメラ
320 センサー受信部
321 車両センサー受信部
322 端末センサー受信部
323 加速度センサー(もしくは、傾きセンサ)
324 ジャイロセンサー
325 GPSセンサー
330 車両の動作情報の受信部
340 交通情報の受信部
350 出力部
351 画像出力部
352 音声出力部
360 保存部
370 眼球追跡部
380 制御部
381 経路生成部
382 位置確認部
383 車路捕捉部
384 仮想車路生成部
385 交通情報表示子生成部
386 周辺情報表示子生成部
387 音声生成部
500、600、1000 車両前方の道路の画像
501、502 車線
511,512、513、514 車路
611、612、613 仮想車路
621、622、623 表示子
1010 経路
Claims (27)
- 車両用端末のためのユーザーインターフェース方法において、
位置情報を獲得してどの道路のどの地点であるかを把握する段階と、
運行方向の道路の画像を獲得して、獲得した道路の画像に示される車路を認識してどの車路に位置するのかを把握する段階と、
前記の認識された車路に対する仮想車路を生成して、これを前記の運行方向の道路の画像に付け加えて表出する段階と、
前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階と、を含むことを特徴とするユーザーインターフェース方法。 - 前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階は、
前記の交通情報及び周辺情報から車路別運行の円滑な度合いを決める段階と、
前記の決定された運行の円滑な度合いによって該当の仮想車路を表示する段階と、を含むことを特徴とする請求項1に記載のユーザーインターフェース方法。 - 前記の決定された運行の円滑な度合いによって該当の仮想車路を表示する段階は、
運行の円滑な度合いが上ならば該当の仮想車路を青色で表示して、運行の円滑な度合いが中ならば該当の仮想車路を黄色で表示して、運行の円滑な度合いが下ならば該当の仮想車路を赤色で表示することを特徴とする請求項2に記載のユーザーインターフェース方法。 - 前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階は、
少なくとも一つ以上のネットワークを通じて把握された道路の地点に対する前記の車路別交通情報を獲得する段階と、
車両と有線または無線通信して、前記の車両から前記の車路別周辺情報を獲得する段階と、を含むことを特徴とする請求項1に記載のユーザーインターフェース方法。 - 前記の交通情報は、区間別交通状況、事故や工事のうち少なくともいずれかを含むことを特徴とする請求項4に記載のユーザーインターフェース方法。
- 前記の周辺情報は、前の車両との距離、後の車両との距離及びそばの車両との距離のうち少なくともいずれかを含むことを特徴とする請求項4に記載のユーザーインターフェース方法。
- 前記の車両と通信して前記の車両から車両の動作情報を獲得し、前記の獲得した車両の動作情報によって前記の仮想車路、前記の交通情報及び前記の周辺情報のうち少なくともいずれかを表示する段階をもっと含むことを特徴とする請求項1に記載のユーザーインターフェース方法。
- 前記の車両の動作情報は、方向指示灯の点滅、ステアリングホイールの操向のうちいずれかであることを特徴とする請求項7に記載のユーザーインターフェース方法。
- 前記の車両と通信して前記の車両から車両の動作情報を獲得し、前記の獲得した車両の動作情報によって前記の仮想車路、前記の交通情報及び前記の周辺情報のうち少なくともいずれかを表示する段階は、
車両の左側の方向指示灯が点灯されるとか左側の方向にステアリングホイールが操向されることが感知されれば左側の車路に対する仮想車路または交通情報または周辺情報を表示して、車両の右側の方向指示灯が点灯されるとか右側の方向にステアリングホイールが操向されることが感知されれば右側の車路に対する仮想車路または交通情報または周辺情報を表示することを特徴とする請求項7に記載のユーザーインターフェース方法。 - 前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階は、
現在属している車路に相応する仮想車路及びこれに対する交通情報及び周辺情報を知らせることを特徴とする請求項1に記載のユーザーインターフェース方法。 - 前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階は、
ユーザーの視線を追跡して、前記の道路の画像で前記の追跡された視線が向かう車路に相応する前記の仮想車路と、ここに相応する前記の交通情報及び前記の周辺情報のうち少なくともいずれかを表示することを特徴とする請求項1に記載のユーザーインターフェース方法。 - 前記の把握された該当の道路の地点で車路別交通情報及び周辺情報を獲得して、これを前記の仮想の車路別に知らせる段階は、
前記の交通情報及び周辺情報に関する表示子をローディングしてこれを該当の仮想車路に付け加えて表示することを特徴とする請求項1に記載のユーザーインターフェース方法。 - 車両と有線または無線通信して、車両に前記の運行方向の道路の画像、前記の仮想車路、前記の交通情報のうち少なくともいずれかを送る段階をもっと含むことを特徴とする請求項1に記載のユーザーインターフェース方法。
- 車両用端末のためのユーザーインターフェース装置において、
画像データ及び音声データを出力する出力部と、
位置情報を獲得する位置情報の受信部と、
運行方向の道路の画像を撮像する後方カメラと、
少なくとも一つ以上のネットワークを通じて車路別交通情報を受信する交通情報の受信部と、
車両と有線または無線通信して、前記の車両から車路別周辺情報を獲得する車両センサー受信部と、
全般的な動作を制御する所定のプログラム及び制御動作が遂行される時に入出力される各種データを保存する保存部と、
全般的な制御を遂行する制御部と、を含み、
前記の制御部は、
運行方向の道路の画像から車路を認識してどの車路に位置するのかを把握して、前記の認識された車路に対する仮想車路を生成した後にこれを前記の運行方向の道路の画像に付け加えて表出して、位置情報からどの道路のどの地点であるかを把握して、前記の把握された該当の道路の地点での車路別交通情報及び周辺情報を前記の仮想の車路別に表出することを特徴とするユーザーインターフェース装置。 - 前記の制御部は、前記の交通情報及び周辺情報から車路別運行の円滑な度合いを決めて、前記の決定された運行の円滑な度合いによって該当の仮想車路を表示することを特徴とする請求項14に記載のユーザーインターフェース装置。
- 前記の制御部は、前記の運行の円滑な度合いを上、中、下に区分して、運行の円滑な度合いが上ならば該当の仮想車路を青色で表示して、運行の円滑な度合いが中ならば該当の仮想車路を黄色で表示して、運行の円滑な度合いが下ならば該当の仮想車路を赤色で表示することを特徴とする請求項15に記載のユーザーインターフェース装置。
- 前記の交通情報は、区間別交通状況、事故や工事のうち少なくともいずれかを含むことを特徴とする請求項14に記載のユーザーインターフェース装置。
- 前記の周辺情報は、前の車両との距離、後の車両との距離及びそばの車両との距離のうち少なくともいずれかを含むことを特徴とする請求項14に記載のユーザーインターフェース装置。
- 車両と有線または無線通信して、前記の車両から車両の動作情報を獲得する車両の動作情報受信部をもっと含むことを特徴とする請求項14に記載のユーザーインターフェース装置。
- 前記の制御部は、前記の車両の動作情報によって前記の仮想車路、前記の交通情報及び前記の周辺情報のうち少なくともいずれかを表示することを特徴とする請求項19に記載のユーザーインターフェース装置。
- 前記の車両の動作情報は、方向指示灯の点滅、ステアリングホイールの操向のうちいずれかであることを特徴とする請求項19に記載のユーザーインターフェース装置。
- 前記の制御部は、車両の左側の方向指示灯が点灯されるとか左側の方向にステアリングホイールが操向されることが感知されれば左側の車路に対する仮想車路または交通情報または周辺情報を表示して、車両の右側の方向指示灯が点灯されるとか右側の方向にステアリングホイールが操向されることが感知されれば右側の車路に対する仮想車路または交通情報または周辺情報を表示することを特徴とする請求項21に記載のユーザーインターフェース装置。
- 前記の制御部は、現在属している車路に相応する仮想車路及びこれに対する交通情報及び周辺情報を出力させることを特徴とする請求項14に記載のユーザーインターフェース装置。
- ユーザーの眼球を注視する前方カメラ及び前記の前方カメラを通じて前記の運行方向の道路の画像を眺めるユーザーの視線を追跡する眼球追跡部をもっと含むことを特徴とする請求項14に記載のユーザーインターフェース装置。
- 前記の制御部は、前記の道路の画像で前記の追跡された視線が向かう車路に相応する前記の仮想車路と、ここに相応する前記の交通情報及び前記の周辺情報のうち少なくともいずれかを出力させることを特徴とする請求項24に記載のユーザーインターフェース装置。
- 前記の制御部は、前記の交通情報及び周辺情報に関する表示子をローディングしてこれを該当の仮想車線に付け加えて表示することを特徴とする請求項14に記載のユーザーインターフェース装置。
- 請求項14ないし請求項26のいずれか一項に記載のユーザーインターフェース装置を具備する車両。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2011-0045568 | 2011-05-16 | ||
KR1020110045568A KR20120127830A (ko) | 2011-05-16 | 2011-05-16 | 차량용 단말을 위한 사용자 인터페이스 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012243303A true JP2012243303A (ja) | 2012-12-10 |
JP6002405B2 JP6002405B2 (ja) | 2016-10-05 |
Family
ID=46022004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012048437A Expired - Fee Related JP6002405B2 (ja) | 2011-05-16 | 2012-03-05 | 車両用端末のためのユーザーインターフェース方法、装置、及びこれを具備する車両 |
Country Status (5)
Country | Link |
---|---|
US (3) | US8626427B2 (ja) |
EP (1) | EP2525335B1 (ja) |
JP (1) | JP6002405B2 (ja) |
KR (1) | KR20120127830A (ja) |
CN (1) | CN102785620B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9639939B2 (en) | 2014-01-10 | 2017-05-02 | Industrial Technology Research Institute | Apparatus and method for vehicle positioning |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120127830A (ko) * | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | 차량용 단말을 위한 사용자 인터페이스 방법 및 장치 |
US10387960B2 (en) | 2012-05-24 | 2019-08-20 | State Farm Mutual Automobile Insurance Company | System and method for real-time accident documentation and claim submission |
JP5811975B2 (ja) * | 2012-09-14 | 2015-11-11 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR20140070861A (ko) * | 2012-11-28 | 2014-06-11 | 한국전자통신연구원 | 멀티 모달 hmi 제어 장치 및 방법 |
DE102013210826A1 (de) * | 2013-06-11 | 2014-12-11 | Robert Bosch Gmbh | Verfahren zum Betreiben einer Anzeigevorrichtung, Computer-Programmprodukt, Anzeigevorrichtung |
CN104424808B (zh) * | 2013-08-27 | 2016-12-28 | 上海博泰悦臻电子设备制造有限公司 | 一种导航提示方法及装置、导航系统 |
CN103557859B (zh) * | 2013-10-10 | 2015-12-23 | 北京智谷睿拓技术服务有限公司 | 图像采集定位方法及图像采集定位系统 |
US9212926B2 (en) * | 2013-11-22 | 2015-12-15 | Ford Global Technologies, Llc | In-vehicle path verification |
JP6264870B2 (ja) * | 2013-12-13 | 2018-01-24 | 富士通株式会社 | 情報提供装置、プログラム、及びシステム |
DE102014204002A1 (de) * | 2014-03-05 | 2015-09-10 | Conti Temic Microelectronic Gmbh | Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug |
KR20150113589A (ko) * | 2014-03-31 | 2015-10-08 | 팅크웨어(주) | 전자 장치 및 그의 제어 방법 |
US10279742B2 (en) * | 2014-05-29 | 2019-05-07 | Nikon Corporation | Image capture device and vehicle |
US9961188B2 (en) * | 2014-07-01 | 2018-05-01 | Ford Global Technologies, Llc | Vehicle to device communication over wired audio connection |
EP4254383A3 (en) | 2014-08-18 | 2023-12-20 | Mobileye Vision Technologies Ltd. | Recognition and prediction of lane constraints |
DE102014225686A1 (de) * | 2014-12-12 | 2016-06-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur videobasierten Vorschau eines vorausliegenden Straßenabschnitts für ein Fahrzeug sowie Verfahren und Vorrichtung zum videobasierten Aufzeichnen eines Straßenabschnitts für ein Fahrzeug |
KR101682880B1 (ko) * | 2015-03-19 | 2016-12-20 | 현대자동차주식회사 | 차량 및 이를 포함하는 원격 차량 조작 시스템 |
KR101714185B1 (ko) * | 2015-08-05 | 2017-03-22 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
JP6657245B2 (ja) * | 2015-10-16 | 2020-03-04 | 日立オートモティブシステムズ株式会社 | 車両制御システム、車両制御装置 |
CN105430325A (zh) * | 2015-11-03 | 2016-03-23 | 苏交科集团股份有限公司 | 在道路的监控视频图像中快速定位车流方向的方法与系统 |
US20180031849A1 (en) * | 2016-07-29 | 2018-02-01 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Augmented reality head-up display road correction |
FR3056805B1 (fr) * | 2016-09-28 | 2020-10-30 | Valeo Schalter & Sensoren Gmbh | Dispositif d'aide a la conduite d'un vehicule a conduite manuelle, semi-autonome ou autonome |
CN106364403A (zh) * | 2016-10-14 | 2017-02-01 | 深圳市元征科技股份有限公司 | 一种车道识别方法及移动终端 |
US11622275B2 (en) | 2017-02-21 | 2023-04-04 | Scorpion Security Products, Inc. | Geo-radius based mobile device management |
EP3586531A4 (en) | 2017-02-21 | 2020-11-18 | Scorpion Security Products, Inc. | SYSTEM AND METHOD FOR MANAGING MOBILE DEVICES |
CN107089192A (zh) * | 2017-03-07 | 2017-08-25 | 吉利汽车研究院(宁波)有限公司 | 一种实时路况映射仪表显示系统 |
US10633027B2 (en) | 2017-06-21 | 2020-04-28 | Toyota Research Institute, Inc. | Enhanced virtual lane marker data for conveying a vehicle operational state |
US10586456B2 (en) | 2018-04-27 | 2020-03-10 | TuSimple | System and method for determining car to lane distance |
FR3082320B1 (fr) * | 2018-06-06 | 2022-05-27 | Valeo Comfort & Driving Assistance | Dispositif d'affichage pour l'aide a la conduite |
KR102521834B1 (ko) * | 2018-08-21 | 2023-04-17 | 삼성전자주식회사 | 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치 |
US11282225B2 (en) | 2018-09-10 | 2022-03-22 | Mapbox, Inc. | Calibration for vision in navigation systems |
JPWO2020070766A1 (ja) * | 2018-10-01 | 2021-05-13 | 三菱電機株式会社 | 地図表示装置および地図表示方法 |
KR102483649B1 (ko) * | 2018-10-16 | 2023-01-02 | 삼성전자주식회사 | 차량 위치 결정 방법 및 차량 위치 결정 장치 |
US11561100B1 (en) | 2018-10-26 | 2023-01-24 | Allstate Insurance Company | Exit routes |
US10755571B1 (en) * | 2019-03-01 | 2020-08-25 | Amazon Technologies, Inc. | Identifying parking location using single camera reverse projection |
CN109991978B (zh) * | 2019-03-19 | 2021-04-02 | 莫日华 | 一种基于网络的智能自动驾驶的方法及装置 |
JP7212761B2 (ja) * | 2019-03-22 | 2023-01-25 | 本田技研工業株式会社 | 交通環境認識装置及び車両制御装置 |
CN111009148A (zh) * | 2019-12-18 | 2020-04-14 | 斑马网络技术有限公司 | 车辆导航方法、终端设备及服务器 |
KR20210131129A (ko) * | 2020-04-23 | 2021-11-02 | 현대자동차주식회사 | 이동 수단용 ui 생성 장치 및 ui 생성 방법 |
KR20220037026A (ko) * | 2020-09-16 | 2022-03-24 | 현대자동차주식회사 | 증강 현실 기반의 정보 표시 장치 |
JP7400688B2 (ja) | 2020-10-19 | 2023-12-19 | トヨタ自動車株式会社 | 表示装置及び表示方法 |
USD985607S1 (en) | 2021-08-23 | 2023-05-09 | Waymo Llc | Display screen or portion thereof with graphical user interface |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04219900A (ja) * | 1990-12-20 | 1992-08-10 | Mazda Motor Corp | 車間距離確認装置 |
JPH082356A (ja) * | 1994-06-15 | 1996-01-09 | Alpine Electron Inc | 走行安全指示装置 |
JP2004101280A (ja) * | 2002-09-06 | 2004-04-02 | Denso Corp | カーナビゲーション装置 |
JP2005202787A (ja) * | 2004-01-16 | 2005-07-28 | Denso Corp | 車両用表示装置 |
JP2006027427A (ja) * | 2004-07-15 | 2006-02-02 | Nissan Motor Co Ltd | 車両用誘導システム、車両用誘導方法、および車載装置 |
JP2006175936A (ja) * | 2004-12-21 | 2006-07-06 | Nissan Motor Co Ltd | 車両用運転操作補助装置用の表示装置および表示方法 |
JP2007334566A (ja) * | 2006-06-14 | 2007-12-27 | Honda Motor Co Ltd | 運転支援装置 |
JP2009168779A (ja) * | 2008-01-21 | 2009-07-30 | Toyota Motor Corp | 車載ナビゲーション装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2669043B2 (ja) * | 1989-04-12 | 1997-10-27 | 日産自動車株式会社 | 自律走行車両 |
JP2570500B2 (ja) * | 1990-12-19 | 1997-01-08 | 三菱電機株式会社 | 車載用ナビゲーション装置 |
US6385539B1 (en) * | 1999-08-13 | 2002-05-07 | Daimlerchrysler Ag | Method and system for autonomously developing or augmenting geographical databases by mining uncoordinated probe data |
JP2002133117A (ja) * | 2000-10-19 | 2002-05-10 | Hirofumi Kawahara | 自動車保険システム、自動車保険センターおよび自動車 |
DE10138719A1 (de) | 2001-08-07 | 2003-03-06 | Siemens Ag | Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen |
DE10245334A1 (de) * | 2002-09-27 | 2004-04-08 | Robert Bosch Gmbh | Navigationsvorrichtung |
KR20050081492A (ko) | 2004-02-13 | 2005-08-19 | 디브이에스 코리아 주식회사 | 전방 실제 영상을 사용한 자동차 항법 장치 및 그 제어 방법 |
JP4361389B2 (ja) * | 2004-02-26 | 2009-11-11 | 本田技研工業株式会社 | 道路交通シミュレーション装置 |
KR101098687B1 (ko) | 2004-09-23 | 2011-12-23 | 엘지전자 주식회사 | 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법 |
JP4696248B2 (ja) * | 2004-09-28 | 2011-06-08 | 国立大学法人 熊本大学 | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 |
JP2006105640A (ja) | 2004-10-01 | 2006-04-20 | Hitachi Ltd | ナビゲーション装置 |
DE102005033641A1 (de) * | 2005-07-19 | 2007-01-25 | Robert Bosch Gmbh | Anzeigevorrichtung |
DE102005035412A1 (de) * | 2005-07-28 | 2007-02-01 | Robert Bosch Gmbh | Fahrerassistenzvorrichtung |
KR20070030449A (ko) | 2005-09-13 | 2007-03-16 | 엘지전자 주식회사 | 텔레매틱스 단말기를 이용한 차선변경 표시장치 |
KR100867592B1 (ko) | 2006-08-10 | 2008-11-10 | 엘지전자 주식회사 | 차선별 교통정보를 제공하고 이를 이용하는 방법 및 장치 |
JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
KR100921427B1 (ko) | 2007-12-17 | 2009-10-14 | 한국전자통신연구원 | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 |
JP5124875B2 (ja) * | 2008-03-12 | 2013-01-23 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
JP5070171B2 (ja) * | 2008-09-19 | 2012-11-07 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
US8704653B2 (en) * | 2009-04-02 | 2014-04-22 | GM Global Technology Operations LLC | Enhanced road vision on full windshield head-up display |
US8482486B2 (en) * | 2009-04-02 | 2013-07-09 | GM Global Technology Operations LLC | Rear view mirror on full-windshield head-up display |
CN102667888B (zh) * | 2009-11-27 | 2014-12-31 | 丰田自动车株式会社 | 驾驶辅助装置以及驾驶辅助方法 |
KR20120127830A (ko) * | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | 차량용 단말을 위한 사용자 인터페이스 방법 및 장치 |
-
2011
- 2011-05-16 KR KR1020110045568A patent/KR20120127830A/ko not_active Application Discontinuation
-
2012
- 2012-03-05 JP JP2012048437A patent/JP6002405B2/ja not_active Expired - Fee Related
- 2012-03-16 US US13/422,235 patent/US8626427B2/en active Active
- 2012-03-28 EP EP12161841.7A patent/EP2525335B1/en active Active
- 2012-05-11 CN CN201210146670.5A patent/CN102785620B/zh active Active
-
2014
- 2014-01-06 US US14/147,724 patent/US9318018B2/en active Active
-
2016
- 2016-03-09 US US15/065,178 patent/US9723243B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04219900A (ja) * | 1990-12-20 | 1992-08-10 | Mazda Motor Corp | 車間距離確認装置 |
JPH082356A (ja) * | 1994-06-15 | 1996-01-09 | Alpine Electron Inc | 走行安全指示装置 |
JP2004101280A (ja) * | 2002-09-06 | 2004-04-02 | Denso Corp | カーナビゲーション装置 |
JP2005202787A (ja) * | 2004-01-16 | 2005-07-28 | Denso Corp | 車両用表示装置 |
JP2006027427A (ja) * | 2004-07-15 | 2006-02-02 | Nissan Motor Co Ltd | 車両用誘導システム、車両用誘導方法、および車載装置 |
JP2006175936A (ja) * | 2004-12-21 | 2006-07-06 | Nissan Motor Co Ltd | 車両用運転操作補助装置用の表示装置および表示方法 |
JP2007334566A (ja) * | 2006-06-14 | 2007-12-27 | Honda Motor Co Ltd | 運転支援装置 |
JP2009168779A (ja) * | 2008-01-21 | 2009-07-30 | Toyota Motor Corp | 車載ナビゲーション装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9639939B2 (en) | 2014-01-10 | 2017-05-02 | Industrial Technology Research Institute | Apparatus and method for vehicle positioning |
Also Published As
Publication number | Publication date |
---|---|
EP2525335B1 (en) | 2019-07-31 |
US9723243B2 (en) | 2017-08-01 |
KR20120127830A (ko) | 2012-11-26 |
US20160191840A1 (en) | 2016-06-30 |
US9318018B2 (en) | 2016-04-19 |
US20120296561A1 (en) | 2012-11-22 |
JP6002405B2 (ja) | 2016-10-05 |
US20140107911A1 (en) | 2014-04-17 |
CN102785620A (zh) | 2012-11-21 |
EP2525335A2 (en) | 2012-11-21 |
CN102785620B (zh) | 2017-04-12 |
EP2525335A3 (en) | 2014-04-16 |
US8626427B2 (en) | 2014-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6002405B2 (ja) | 車両用端末のためのユーザーインターフェース方法、装置、及びこれを具備する車両 | |
KR102126824B1 (ko) | 주차 지원 정보의 표시 방법 및 주차 지원 장치 | |
US11364930B2 (en) | Vehicle control system, vehicle control method and program | |
JP6642972B2 (ja) | 車輌用画像表示システム及び方法 | |
JP4807263B2 (ja) | 車両用表示装置 | |
JP5160564B2 (ja) | 車両情報表示装置 | |
JP5217950B2 (ja) | 運転支援装置 | |
EP3100913A2 (en) | Vehicle display apparatus and vehicle including the same | |
JP6206378B2 (ja) | 運転支援装置 | |
KR102227103B1 (ko) | 차량 탑재 통신 장치 및 차량 | |
KR20190001145A (ko) | 차량용 인터페이스 시스템 | |
CN106394553A (zh) | 驾驶员辅助设备及其控制方法 | |
JPWO2008038370A1 (ja) | 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体 | |
CN103707811A (zh) | 视线引导系统 | |
CN107054218A (zh) | 标识信息显示装置和方法 | |
US20170178591A1 (en) | Sign display apparatus and method for vehicle | |
JP2007164328A (ja) | 車両走行支援装置 | |
WO2017115371A1 (en) | Apparatus and method for avoiding vehicular accidents | |
US11749105B2 (en) | Vehicular communication system with turn signal identification | |
JP2006088758A (ja) | 車両用表示装置 | |
JP4561338B2 (ja) | 走行支援装置 | |
JP5274984B2 (ja) | 運転支援システム | |
JP2004341893A (ja) | 車載システム | |
JP2017134490A (ja) | 車両用情報提供装置 | |
JP7215191B2 (ja) | 運転支援制御装置、運転支援制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6002405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |