JP2019011983A - Travel information guide device and computer program - Google Patents
Travel information guide device and computer program Download PDFInfo
- Publication number
- JP2019011983A JP2019011983A JP2017127744A JP2017127744A JP2019011983A JP 2019011983 A JP2019011983 A JP 2019011983A JP 2017127744 A JP2017127744 A JP 2017127744A JP 2017127744 A JP2017127744 A JP 2017127744A JP 2019011983 A JP2019011983 A JP 2019011983A
- Authority
- JP
- Japan
- Prior art keywords
- information
- vehicle
- display
- driver
- travel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 11
- 239000004973 liquid crystal related substance Substances 0.000 description 23
- 238000000034 method Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Abstract
Description
本発明は、車両の走行に関する情報を案内する走行情報案内装置及びコンピュータプログラムに関する。 The present invention relates to a travel information guide device and a computer program for guiding information related to vehicle travel.
従来より、車両の運転者に対して車両の走行に関する各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、車両の機能が多機能化するのに伴って、運転者に対して提供すべき情報の量も増加することとなっている。例えば、車速やシフト位置以外に、ＡＣＣ（Adaptive Cruise Control）の設定値、エコインジケータ、レーン案内、交差点拡大図等である。 2. Description of the Related Art Conventionally, various means have been used as information providing means for providing various information related to vehicle travel to a vehicle driver. For example, display on a liquid crystal display installed in a vehicle, sound output from a speaker, and the like. In recent years, as the functions of vehicles become multifunctional, the amount of information to be provided to the driver has also increased. For example, in addition to the vehicle speed and shift position, there are set values of ACC (Adaptive Cruise Control), eco indicators, lane guidance, intersection enlarged view, and the like.
しかしながら、このような多量の情報を走行中の運転者に対して同時に提供することは難しい。従って、運転者の操作によって情報提供対象となる情報の種類を選択することが行われている。また、例えば特開２０１６−１９０６３４号公報には、提供する情報の種類や提供方法が異なる複数の情報提供フォーマットを備え、所定時間間隔で情報提供フォーマットを順次切り替えることによって、多量の情報を運転者に提供する技術について開示されている。 However, it is difficult to provide such a large amount of information to a traveling driver at the same time. Therefore, the type of information to be provided is selected by the driver's operation. Further, for example, Japanese Patent Laid-Open No. 2006-190634 has a plurality of information providing formats that differ in the type of information to be provided and the providing method, and sequentially switches the information providing format at predetermined time intervals so that a large amount of information is transferred to the driver. The technology to be provided is disclosed.
ここで、運転者が必要とする情報の種類は、現在の車両の状況によって予め絞られる。例えば、高速道路の走行中であれば交差点拡大図はあまり必要とされず、ＡＣＣによる走行が一般的に行われない一般道の走行中であればＡＣＣの設定値はあまり必要とされない。しかしながら、運転者の操作によって情報提供対象となる情報の種類を選択する方法では、車両の状況が変わる度に運転者が提供対象となる情報を切り替える為の操作を行う必要があった。一方、上記特許文献１に記載の技術では、フォーマットが切り替わる過程で運転者にとって必要な情報が表示されない期間や、あまり必要でない情報が表示される期間が生じる。 Here, the type of information required by the driver is narrowed down in advance according to the current vehicle conditions. For example, if the vehicle is traveling on an expressway, an enlarged view of an intersection is not so necessary, and if the vehicle is traveling on a general road where ACC is generally not performed, the set value of ACC is not so necessary. However, in the method of selecting the type of information to be provided by the driver's operation, it is necessary for the driver to perform an operation for switching the information to be provided every time the vehicle situation changes. On the other hand, in the technique described in Patent Document 1, a period in which information necessary for the driver is not displayed and a period in which information that is not necessary is displayed are generated in the process of switching the format.
本発明は前記従来における問題点を解消するためになされたものであり、車両の走行に関する情報を表示領域に表示することによって提供する場合において、車両の状況に応じて項目間で表示態様に差を設けて表示することにより、運転者に必要な情報を適切に提供することを可能にした走行情報案内装置及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in order to solve the above-described conventional problems. In the case where information relating to vehicle travel is provided by being displayed in a display area, the display mode differs depending on the vehicle condition. It is an object of the present invention to provide a travel information guidance device and a computer program that can appropriately provide necessary information to a driver by providing and displaying.
前記目的を達成するため本発明に係る走行情報案内装置は、現在の車両状況を取得する状況取得手段と、運転者の視線位置を取得する視線位置取得手段と、車両の走行に関する情報を運転者が視認可能な表示領域に表示する情報表示手段と、を有し、前記情報表示手段は、前記車両の走行に関する情報として表示対象候補となる各項目について、項目間で前記現在の車両状況と前記運転者の視線位置との組み合わせに応じて表示態様に差を設けて表示する。
尚、「運転者の視線位置」とは、運転者の視線が位置する地点であり、運転者が視認する対象物（例えば表示領域）と運転者の視線（視軸）とが交わる地点とする。また、「運転者の視線位置」としては、運転者の視線位置そのものに加えて、運転者の視線位置を特定し得るものであれば良く、運転者の目元の画像等についても含む。
In order to achieve the above object, a travel information guidance device according to the present invention provides status acquisition means for acquiring the current vehicle status, gaze position acquisition means for acquiring the gaze position of the driver, and information on the vehicle travel. Information display means for displaying in a display area that can be visually recognized, the information display means for each item that is a candidate for display as information relating to travel of the vehicle, The display mode is displayed with a difference depending on the combination with the driver's line of sight position.
The “driver's line-of-sight position” is a point where the driver's line of sight is located, and is a point where an object (for example, a display area) visually recognized by the driver intersects with the driver's line of sight (visual axis). . In addition to the driver's line-of-sight position itself, the “driver's line-of-sight position” may be anything that can specify the driver's line-of-sight position, and includes an image of the driver's eyes.
また、本発明に係るコンピュータプログラムは、車両に対して走行に関する各種情報を提供するプログラムである。具体的には、コンピュータを、現在の車両状況を取得する状況取得手段と、運転者の視線位置を取得する視線位置取得手段と、車両の走行に関する情報を運転者が視認可能な表示領域に表示する情報表示手段と、して機能させる為のコンピュータプログラムである。また、前記情報表示手段は、前記車両の走行に関する情報として表示対象候補となる各項目について、項目間で前記現在の車両状況と前記運転者の視線位置との組み合わせに応じて表示態様に差を設けて表示する。 Further, the computer program according to the present invention is a program that provides various information related to traveling to the vehicle. Specifically, the computer displays status acquisition means for acquiring the current vehicle status, gaze position acquisition means for acquiring the driver's gaze position, and information related to vehicle travel in a display area that is visible to the driver. And a computer program for functioning as information display means. Further, the information display means may display a difference in display mode according to a combination of the current vehicle state and the driver's line-of-sight position between items for each item that is a candidate for display as information relating to the traveling of the vehicle. Provide and display.
前記構成を有する本発明に係る走行情報案内装置及びコンピュータプログラムによれば、車両の走行に関する情報を表示領域に表示することによって提供する場合において、車両の状況に応じて項目間で表示態様に差を設けて表示することにより、提供する対象となる情報が多数ある場合においても、運転者に必要な情報を適切に提供することが可能となる。 According to the traveling information guide device and the computer program according to the present invention having the above-described configuration, when information related to traveling of the vehicle is provided by being displayed in the display area, the display mode differs depending on the situation of the vehicle. By providing and displaying, it is possible to appropriately provide necessary information to the driver even when there is a large amount of information to be provided.
以下、本発明に係る走行情報案内装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る走行情報案内装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る走行情報案内装置１の概略構成図である。 Hereinafter, based on one embodiment which materialized the run information guidance device concerning the present invention, it explains in detail, referring to drawings. First, a schematic configuration of the travel information guide device 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a schematic configuration diagram of a travel information guide device 1 according to the present embodiment.
図１に示すように走行情報案内装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたヘッドアップディスプレイ装置（以下、ＨＵＤという）４とを基本的に有する。 As shown in FIG. 1, a travel information guide device 1 includes a navigation device 3 mounted on a vehicle 2 and a head-up display device (hereinafter referred to as HUD) 4 that is also mounted on the vehicle 2 and connected to the navigation device 3. And basically.
ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った移動案内や車両２の走行に関する各種情報の案内をＨＵＤ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも車両２の走行に関する各種情報の案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。 Here, the navigation device 3 searches for a recommended route to the destination, displays a map image around the current position of the vehicle 2 based on the map data acquired from the server or stored in the memory, and is set. It has a function of performing, along with the HUD 4, guidance on various information related to travel guidance and travel of the vehicle 2 along the guidance route. Note that the navigation device 3 does not have to have all of the above functions, and the present invention can be configured as long as it has at least a function of guiding various information related to the traveling of the vehicle 2. Details of the structure of the navigation device 3 will be described later.
一方、ＨＵＤ４は、車両２のダッシュボード５内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ６を有する。そして、液晶ディスプレイ６に投射された映像を、後述のようにＨＵＤ４が備える凹面鏡７等を介し、更に運転席の前方のフロントウィンドウ８に反射させて車両２の乗員９に視認させるように構成されている。尚、液晶ディスプレイ６に表示される映像としては、車両２に関する情報や乗員９の運転の支援の為に用いられる各種情報がある。例えば乗員９に対して警告対象となる対象物（他車両や歩行者）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、現在車速、シフト位置、レーン案内、交差点拡大図、ＡＣＣ（Adaptive Cruise Control）の設定値、エコインジケータ、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。 On the other hand, the HUD 4 is installed inside the dashboard 5 of the vehicle 2 and has a liquid crystal display 6 as a video display surface on which video is displayed. Then, the image projected on the liquid crystal display 6 is reflected on the front window 8 in front of the driver's seat through the concave mirror 7 provided in the HUD 4 as will be described later, so that the passenger 9 of the vehicle 2 can visually recognize the image. ing. The video displayed on the liquid crystal display 6 includes information related to the vehicle 2 and various information used for assisting the driving of the occupant 9. For example, a warning for an object (another vehicle or a pedestrian) that is a warning target for the occupant 9, guidance information set by the navigation device 3, guidance information based on the guidance route (an arrow indicating a right / left turn direction, etc.), Warnings to be displayed (attention for rear-end collision, speed limit, etc.), current vehicle speed, shift position, lane guidance, intersection enlarged view, set value of ACC (Adaptive Cruise Control), eco indicator, guidance sign, map image, traffic information, news, weather There are forecasts, times, connected smartphone screens, TV programs, and so on.
また、本実施形態のＨＵＤ４では、フロントウィンドウ８を反射して乗員９が液晶ディスプレイ６に表示された映像を視認した場合に、乗員９にはフロントウィンドウ８の位置ではなく、フロントウィンドウ８の先の遠方の位置に液晶ディスプレイ６に表示された映像が虚像１０として視認されるように構成される。また、虚像１０は乗員９の視野に重畳して表示されることとなり、例えば乗員９の視野領域内に位置する任意の対象物（警告対象となる物等）に重畳させて表示させることも可能である。尚、乗員９が視認できる虚像１０は液晶ディスプレイ６に表示された映像であるが、凹面鏡７やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ６の映像の表示を行う必要がある。また、凹面鏡７を介することによってサイズも変更する。 Further, in the HUD 4 of the present embodiment, when the occupant 9 visually reflects the image displayed on the liquid crystal display 6 by reflecting the front window 8, the occupant 9 is not at the position of the front window 8 but at the tip of the front window 8. The image displayed on the liquid crystal display 6 at a distant position is visually recognized as a virtual image 10. Further, the virtual image 10 is displayed so as to be superimposed on the field of view of the occupant 9. For example, the virtual image 10 can be displayed while being superimposed on an arbitrary object (such as an object to be warned) located in the field of view of the occupant 9. It is. The virtual image 10 that can be seen by the occupant 9 is an image displayed on the liquid crystal display 6, but the vertical direction and the horizontal direction may be reversed through the concave mirror 7 and other mirrors. Therefore, it is necessary to display an image on the liquid crystal display 6. In addition, the size is changed through the concave mirror 7.
ここで、虚像１０を生成する位置、より具体的には乗員９から虚像１０までの距離（以下、虚像生成距離という）Ｌについては、ＨＵＤ４が備える凹面鏡７の曲率、液晶ディスプレイ６と凹面鏡７との相対位置等によって適宜設定することが可能である。例えば、凹面鏡７の曲率が固定であれば、液晶ディスプレイ６において映像の表示された位置から凹面鏡７までの光路に沿った距離（光路長）によって虚像生成距離Ｌが決定される。例えば虚像生成距離Ｌが２５ｍとなるように光路長が設定されている。 Here, regarding the position where the virtual image 10 is generated, more specifically, the distance from the occupant 9 to the virtual image 10 (hereinafter referred to as the virtual image generation distance) L, the curvature of the concave mirror 7 included in the HUD 4, the liquid crystal display 6 and the concave mirror 7 It is possible to set as appropriate depending on the relative position of the. For example, if the curvature of the concave mirror 7 is fixed, the virtual image generation distance L is determined by the distance (optical path length) along the optical path from the position where the image is displayed on the liquid crystal display 6 to the concave mirror 7. For example, the optical path length is set so that the virtual image generation distance L is 25 m.
また、本実施形態では乗員９の視野に重畳する画像を表示する手段としてＨＵＤ４を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ８に対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。例えば、フロントウィンドウ８をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ８を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントウィンドウ８に対して表示された画像は、ＨＵＤ４と同様に乗員９の視野に重畳する画像となる。 In this embodiment, the HUD 4 is used as a means for displaying an image to be superimposed on the field of view of the occupant 9, but other means may be used. For example, a window shield display (WSD) that displays an image on the front window 8 may be used. For example, an image may be displayed from a projector using the front window 8 as a screen, or the front window 8 may be a transmissive liquid crystal display. The image displayed on the front window 8 by the WSD is an image superimposed on the field of view of the occupant 9 as with the HUD 4.
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ８越しに乗員９に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。 A front camera 11 is installed above the front bumper of the vehicle, behind the rearview mirror, and the like. The front camera 11 is an imaging device having a camera using a solid-state imaging device such as a CCD, for example, and is installed with the optical axis direction facing forward in the traveling direction of the vehicle. Then, by performing image processing on the captured image captured by the front camera 11, the situation of the front environment (that is, the environment in which the virtual image 10 is superimposed) that is visually recognized by the occupant 9 through the front window 8 is detected. Is done. A sensor such as a millimeter wave radar may be used instead of the front camera 11.
また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員９の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員９の目の位置（視線開始点）や視線方向を検出する。 An in-vehicle camera 12 is installed on the upper surface of the instrument panel of the vehicle. The in-vehicle camera 12 is an imaging device having a camera using a solid-state imaging device such as a CCD, for example, and is installed with the optical axis direction facing the driver's seat. Then, the face of the occupant 9 sitting in the driver's seat is imaged. Then, image processing is performed on the captured image captured by the in-vehicle camera 12 to detect the eye position (gaze start point) and the gaze direction of the occupant 9.
次に、上記走行情報案内装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は本実施形態に係るナビゲーション装置３を示したブロック図である。 Next, a schematic configuration of the navigation device 3 constituting the travel information guide device 1 will be described with reference to FIG. FIG. 2 is a block diagram showing the navigation device 3 according to the present embodiment.
図２に示すように本実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したＨＵＤ４、フロントカメラ１１及び車内カメラ１２等が接続されている。 As shown in FIG. 2, the navigation device 3 according to the present embodiment includes a current position detection unit 13 that detects the current position of the vehicle 2 on which the navigation device 3 is mounted, and a data recording unit 14 that records various data. The navigation ECU 15 that performs various arithmetic processes based on the input information, the operation unit 16 that receives operations from the user, and the liquid crystal display 17 that displays facility information related to the map and facilities around the vehicle to the user. And a speaker 18 that outputs voice guidance related to route guidance, a DVD drive 19 that reads a DVD as a storage medium, and a communication that communicates with an information center such as a VICS (registered trademark: Vehicle Information and Communication System) center. And a module 20. The navigation device 3 is connected to the HUD 4, the front camera 11, the in-vehicle camera 12, and the like described above via an in-vehicle network such as CAN.
以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。
Below, each component which the navigation apparatus 3 has is demonstrated in order.
The current position detection unit 13 includes a GPS 21, a vehicle speed sensor 22, a steering sensor 23, a gyro sensor 24, and the like, and can detect the current vehicle position, direction, vehicle traveling speed, current time, and the like. . Here, in particular, the vehicle speed sensor 22 is a sensor for detecting a moving distance and a vehicle speed of the vehicle, generates a pulse according to the rotation of the driving wheel of the vehicle, and outputs a pulse signal to the navigation ECU 15. And navigation ECU15 calculates the rotational speed and moving distance of a driving wheel by counting the generated pulse. In addition, it is not necessary for the navigation device 3 to include all the four types of sensors, and the navigation device 3 may include only one or a plurality of types of sensors.
また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や学習ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１や学習ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。 Further, the data recording unit 14 reads an external storage device and a hard disk (not shown) as a recording medium, a map information DB 31 and a learning DB 32 recorded on the hard disk, a predetermined program, and the like, and writes predetermined data to the hard disk. And a recording head (not shown) which is a driver for this purpose. The data recording unit 14 may include a flash memory, a memory card, an optical disk such as a CD or a DVD, instead of the hard disk. Further, the map information DB 31 and the learning DB 32 may be stored in an external server, and the navigation device 3 may acquire the information by communication.
ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ３３、ノード点に関するノードデータ３４、施設等の地点に関する地点データ３５、各交差点に関する交差点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。 Here, the map information DB 31 is, for example, link data 33 relating to roads (links), node data 34 relating to node points, point data 35 relating to points such as facilities, intersection data relating to each intersection, and map display data for displaying a map. The storage means stores search data for searching for routes, search data for searching for points, and the like.
ここで、リンクデータ３３としては、例えば、該リンクを識別するリンクＩＤ、該リンクの端部に位置するノードを特定する端部ノード情報、該リンクが構成する道路の道路種別等が記憶される。また、ノードデータ３４としては、該ノードを識別するノードＩＤ、該ノードの位置座標、該ノードがリンクを介して接続される接続先ノードを特定する接続先ノード情報等が記憶される。また、地点データ３５としては、目的地への設定対象となる施設に関する各種情報が記憶される。例えば、施設を特定するＩＤ、施設名称、位置座標、ジャンル、住所等が記憶される。 Here, as the link data 33, for example, a link ID for identifying the link, end node information for specifying a node located at the end of the link, a road type of a road formed by the link, and the like are stored. . The node data 34 stores a node ID for identifying the node, position coordinates of the node, connection destination node information for specifying a connection destination node to which the node is connected via a link, and the like. Further, as the point data 35, various types of information related to the facility to be set as the destination are stored. For example, an ID for specifying a facility, a facility name, position coordinates, a genre, an address, and the like are stored.
また、学習ＤＢ３２は、ＨＵＤ４によって表示対象候補となる車両の走行に関する各種情報に対して、情報の項目毎の車両の乗員９の視線位置の滞在態様を累積して記憶した記憶手段である。また、本実施形態では特に車両状況毎（より具体的には車両が走行する道路種別毎）に乗員９の視線位置の滞在態様の学習を行う。即ち、学習ＤＢ３２には、車両状況毎に、車両の乗員９がＨＵＤ４によって表示対象候補となる各情報のどの項目をどの程度視認したか（視認回数、視認時間、視認割合等）について学習値として累積記憶されることとなる。そして、ナビゲーションＥＣＵ１５は、後述のように学習ＤＢ３２に記憶された学習値に基づいてＨＵＤ４の情報の表示態様を設定する。尚、学習ＤＢ３２に記憶される学習値の詳細については後述する。 Further, the learning DB 32 is a storage unit that accumulates and stores the staying mode of the line-of-sight position of the vehicle occupant 9 for each item of information with respect to various types of information related to the traveling of the vehicle that is a display target candidate by the HUD 4. In the present embodiment, learning of the stay mode of the sight line position of the occupant 9 is performed particularly for each vehicle situation (more specifically, for each road type on which the vehicle travels). That is, in the learning DB 32, for each vehicle situation, as a learning value, which item of each information that is a candidate for display by the HUD 4 is visually recognized by the vehicle occupant 9 (number of times of viewing, viewing time, viewing ratio, etc.). Cumulatively stored. And navigation ECU15 sets the display mode of the information of HUD4 based on the learning value memorize | stored in learning DB32 as mentioned later. Details of the learning value stored in the learning DB 32 will be described later.
一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の基本表示データテーブル（図４）や走行情報案内処理プログラム（図３）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、状況取得手段は、現在の車両状況を取得する。視線位置取得手段は、運転者の視線位置を取得する。情報表示手段は、車両の走行に関する情報を運転者が視認可能な表示領域に表示する。 On the other hand, the navigation ECU (Electronic Control Unit) 15 is an electronic control unit that controls the entire navigation device 3, and includes a CPU 41 as an arithmetic device and a control device, and a working memory when the CPU 41 performs various arithmetic processes. As well as a RAM 42 for storing route data when a route is searched, a control program, a basic display data table (FIG. 4) described later, a travel information guidance processing program (FIG. 3), etc. And an internal storage device such as a flash memory 44 for storing a program read from the ROM 43. The navigation ECU 15 has various means as processing algorithms. For example, the status acquisition unit acquires the current vehicle status. The line-of-sight position acquisition means acquires the line-of-sight position of the driver. The information display means displays information related to vehicle travel in a display area that is visible to the driver.
操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。 The operation unit 16 is operated when inputting a starting point as a travel start point and a destination as a travel end point, and has a plurality of operation switches (not shown) such as various keys and buttons. Then, the navigation ECU 15 performs control to execute various corresponding operations based on switch signals output by pressing the switches. The operation unit 16 may have a touch panel provided on the front surface of the liquid crystal display 17. Moreover, you may have a microphone and a speech recognition apparatus.
また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてＨＵＤ４を備えているので、上記地図画像等の表示をＨＵＤ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。 The liquid crystal display 17 includes a map image including a road, traffic information, operation guidance, an operation menu, key guidance, a guidance route from the departure point to the destination, guidance information along the guidance route, news, weather forecast, Time, mail, TV program, etc. are displayed. In this embodiment, since the HUD 4 is provided as the information display means, the liquid crystal display 17 may be omitted if the map image or the like is displayed on the HUD 4.
また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。 Further, the speaker 18 outputs voice guidance for guiding traveling along the guidance route and traffic information guidance based on an instruction from the navigation ECU 15.
また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。 The DVD drive 19 is a drive that can read data recorded on a recording medium such as a DVD or a CD. Based on the read data, music and video are reproduced, the map information DB 31 is updated, and the like. A card slot for reading / writing a memory card may be provided in place of the DVD drive 19.
また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。 The communication module 20 is a communication device for receiving traffic information composed of information such as traffic jam information, regulation information, traffic accident information transmitted from a traffic information center, for example, a VICS center or a probe center, For example, a mobile phone or DCM is applicable.
続いて、前記構成を有する走行情報案内装置１の内、特にナビゲーション装置３において実行する走行情報案内処理プログラムについて図３に基づき説明する。図３は本実施形態に係る走行情報案内処理プログラムのフローチャートである。ここで、走行情報案内処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、ＨＵＤ４を用いて車両２の乗員９に車両の走行に関する各種情報の案内を行うプログラムである。尚、以下の図３にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。 Next, a travel information guidance processing program executed in the navigation device 3 in the travel information guidance device 1 having the above configuration will be described with reference to FIG. FIG. 3 is a flowchart of the travel information guidance processing program according to the present embodiment. Here, the travel information guidance processing program is a program that is executed after the ACC power supply (accessory power supply) of the vehicle is turned on and guides various information related to the travel of the vehicle to the passenger 9 of the vehicle 2 using the HUD 4. Note that the program shown in the flowchart of FIG. 3 below is stored in the RAM 42 or ROM 43 provided in the navigation device 3 and is executed by the CPU 41.
先ず、走行情報案内処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、現在の車両状況を取得する。本実施形態では、車両状況として特に車両が現在走行する道路の道路種別を取得する。具体的には、先ずＣＰＵ４１は現在位置検出部１３により車両の現在位置を特定するとともに、地図情報ＤＢ３１に記憶された地図データを用いてマップマッチング処理を行い、車両が走行するリンクを特定する。その後、リンクデータ３３を用いて車両が走行するリンクの道路種別を特定する。尚、以下の説明では、道路種別を『高速道路』、『一般道（国道、県道等）』、『細街路』の３種類で定義することとする。 First, in step (hereinafter abbreviated as S) 1 in the travel information guidance processing program, the CPU 41 acquires the current vehicle situation. In this embodiment, the road type of the road on which the vehicle is currently traveling is acquired as the vehicle status. Specifically, the CPU 41 first specifies the current position of the vehicle by the current position detection unit 13 and performs map matching processing using the map data stored in the map information DB 31 to specify the link on which the vehicle travels. Thereafter, the link type 33 is used to identify the road type of the link on which the vehicle travels. In the following description, the road type is defined by three types: “highway”, “general road (national road, prefectural road, etc.)”, and “narrow street”.
次に、Ｓ２においてＣＰＵ４１は、前記Ｓ１で取得した車両状況に基づいて、車両の走行に関する情報として表示対象候補となる複数の項目の内、表示対象とする項目を選択する。特に本実施形態では、図４に示すように基本表示データテーブルによって、車両状況（車両が走行する道路種別）毎に予め表示対象とする項目が予め設定されている。尚、基本表示データテーブルは、ＲＯＭ４３やフラッシュメモリ４４等に格納されている。 Next, in S2, CPU41 selects the item made into display object among the several items used as a display object candidate as information regarding driving | running | working of a vehicle based on the vehicle condition acquired by said S1. In particular, in the present embodiment, as shown in FIG. 4, items to be displayed are set in advance for each vehicle situation (the road type on which the vehicle travels) by the basic display data table. The basic display data table is stored in the ROM 43, the flash memory 44, or the like.
図４に示すように本実施形態において車両の走行に関する情報として表示対象候補となる項目は、『車速』、『シフト位置』、『ＡＣＣ（Adaptive Cruise Control）の設定値』、『交差点拡大図』、『レーン案内』、『エコインジケータ』の６項目がある。 As shown in FIG. 4, items that are candidates for display as information related to vehicle travel in this embodiment are “vehicle speed”, “shift position”, “ACC (Adaptive Cruise Control) set value”, “intersection enlarged view”. , “Lane guidance” and “Eco indicator”.
ここで、『車速』は車両の現在の車速に関する情報である。『シフト位置』は車両の現在のシフト位置に関する情報である。『ＡＣＣ（Adaptive Cruise Control）の設定値』はＡＣＣの設定値である前方車両との車間距離や走行車速に関する情報である。『交差点拡大図』は車両が次に通過する案内交差点の形状や案内交差点における車両の進行方向に関する情報である。『レーン案内』は車両が走行するリンクの車線毎の進行方向区分に関する情報である。『エコインジケータ』は運転者のエコ運転のレベルに関する情報である。 Here, “vehicle speed” is information relating to the current vehicle speed of the vehicle. “Shift position” is information relating to the current shift position of the vehicle. “Set value of ACC (Adaptive Cruise Control)” is information related to the distance between the vehicle and the traveling vehicle speed, which is the set value of ACC. The “intersection enlarged view” is information relating to the shape of the guidance intersection where the vehicle passes next and the traveling direction of the vehicle at the guidance intersection. “Lane guidance” is information relating to the direction of travel for each lane of the link on which the vehicle travels. The “eco indicator” is information on the level of eco-driving of the driver.
そして、図４に示すように基本表示データテーブルでは、特に車両が高速道路を走行する場合には、『車速』、『シフト位置』、『ＡＣＣ（Adaptive Cruise Control）の設定値』、『エコインジケータ』の４項目が表示対象として対応付けられている。また、車両が一般道を走行する場合には、『車速』、『シフト位置』、『交差点拡大図』、『レーン案内』、『エコインジケータ』の５項目が表示対象として対応付けられている。更に、車両が細街路を走行する場合には、『車速』、『シフト位置』、『交差点拡大図』の３項目が表示対象として対応付けられている。尚、基本表示データテーブルで各車両状況に表示対象として対応付けられた項目は、その車両状況において運転者が必要と予測される情報の項目である。一方で、基本表示データテーブルで各車両状況に表示対象として対応付けられていない項目は、その車両状況において運転者が必要としないと予測される情報の項目である。即ち、車両が高速道路を走行する場合には、ＡＣＣを用いられる可能性があることから『ＡＣＣの設定値』は表示対象とする一方、交差点は基本的に存在しないことから『交差点拡大図』は表示対象から除く。 As shown in FIG. 4, in the basic display data table, particularly when the vehicle travels on a highway, “vehicle speed”, “shift position”, “set value of ACC (Adaptive Cruise Control)”, “eco indicator” ] Are associated as display objects. Further, when the vehicle travels on a general road, five items of “vehicle speed”, “shift position”, “intersection enlarged view”, “lane guidance”, and “eco indicator” are associated as display objects. Further, when the vehicle travels on a narrow street, three items of “vehicle speed”, “shift position”, and “intersection enlarged view” are associated as display objects. In addition, the item matched with each vehicle situation as a display object in the basic display data table is an item of information predicted to be required by the driver in the vehicle situation. On the other hand, an item that is not associated with each vehicle situation as a display target in the basic display data table is an item of information that is predicted to be unnecessary for the driver in the vehicle situation. That is, when the vehicle travels on an expressway, ACC may be used, so “ACC setting value” is displayed, but there is basically no intersection. Is excluded from the display target.
続いて、Ｓ３においてＣＰＵ４１は、学習ＤＢ３２を参照し、前記Ｓ１で取得した現在の車両状況に対応する学習結果が存在するか否か判定する。ここで、本実施形態では車両状況毎（より具体的には車両が走行する道路種別毎）に、ＨＵＤ４によって表示対象候補となる車両の走行に関する各種情報に対して、情報の項目毎の車両の乗員９の視線位置の滞在態様を学習する。より具体的には、“運転者が視認した回数”又は“運転者が視認した時間”の割合（即ち視線位置の滞在割合）を学習する。 Subsequently, in S3, the CPU 41 refers to the learning DB 32 and determines whether there is a learning result corresponding to the current vehicle situation acquired in S1. Here, in the present embodiment, for each vehicle condition (more specifically, for each road type on which the vehicle travels), various information related to the travel of the vehicle that is a candidate for display by the HUD 4, the vehicle information for each item of information. The stay mode of the line-of-sight position of the occupant 9 is learned. More specifically, the ratio of “the number of times the driver visually recognizes” or “the time when the driver visually recognizes” (that is, the staying ratio of the line-of-sight position) is learned.
例えば、車両が高速道路を走行する場合については、高速道路の走行を開始してから終了するまでの期間において、ＨＵＤ４により表示された情報の項目毎に“運転者が視認した回数”又は“運転者が視認した時間”を学習値としてカウントして学習ＤＢ３２に格納する。そして、カウントした回数又は時間を項目毎に統計し、“運転者が視認した回数”又は“運転者が視認した時間”の割合を学習結果として学習ＤＢ３２に対して更に格納する。また、車両が走行を行う度に学習ＤＢ３２は随時更新される。 For example, in the case where the vehicle travels on an expressway, “the number of times the driver visually recognizes” or “driving” for each item of information displayed by the HUD 4 during the period from the start to the end of the travel on the expressway The time “viewed by the person” is counted as a learning value and stored in the learning DB 32. Then, the counted number or time is counted for each item, and the ratio of “number of times the driver visually recognizes” or “time that the driver visually recognizes” is further stored in the learning DB 32 as a learning result. Further, the learning DB 32 is updated as needed whenever the vehicle travels.
ここで、図５は学習ＤＢ３２に格納される学習結果の一例を示した図である。図５に示すように学習ＤＢ３２には、車両状況（車両が走行する道路種別）毎に“運転者が視認した回数”又は“運転者が視認した時間”の割合が学習結果として格納されている。例えば、図５に示す学習結果では、車両が高速道路を走行する場合には、『車速』を３０％、『シフト位置』を１０％、『ＡＣＣの設定値』を５０％、『エコインジケータ』を１０％の割合で視認していることが分かる。 Here, FIG. 5 is a diagram showing an example of a learning result stored in the learning DB 32. As shown in FIG. 5, in the learning DB 32, the ratio of “the number of times the driver visually recognizes” or “the time that the driver visually recognizes” is stored as a learning result for each vehicle situation (the road type on which the vehicle travels). . For example, in the learning result shown in FIG. 5, when the vehicle travels on an expressway, “vehicle speed” is 30%, “shift position” is 10%, “ACC setting value” is 50%, and “eco indicator” Is seen at a rate of 10%.
そして、前記Ｓ１で取得した現在の車両状況に対応する学習結果が学習ＤＢ３２に存在すると判定された場合（Ｓ３：ＹＥＳ）には、Ｓ７へと移行する。それに対して、前記Ｓ１で取得した現在の車両状況に対応する学習結果が学習ＤＢ３２に存在しないと判定された場合（Ｓ３：ＮＯ）には、Ｓ４へと移行する。 And when it determines with the learning result corresponding to the present vehicle condition acquired by said S1 existing in learning DB32 (S3: YES), it transfers to S7. On the other hand, when it is determined that the learning result corresponding to the current vehicle situation acquired in S1 does not exist in the learning DB 32 (S3: NO), the process proceeds to S4.
Ｓ４においてＣＰＵ４１は、前記Ｓ２で表示対象として選択された各情報の項目について、同一の表示輝度を一旦設定する。その後、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して虚像１０を生成する為の映像を設定された輝度で出力する。例えば、車両が一般道を走行する場合には、『車速』、『シフト位置』、『交差点拡大図』、『レーン案内』、『エコインジケータ』の５項目に関する情報の映像が液晶ディスプレイ６に出力される。その結果、上記情報の映像の虚像１０が乗員９の視認可能な前方の表示領域（例えば２５ｍ前方の運転者の視野領域）に表示される。 In S4, the CPU 41 once sets the same display brightness for each item of information selected as a display target in S2. Thereafter, a control signal is transmitted to the HUD 4 and an image for generating a virtual image 10 is output to the liquid crystal display 6 of the HUD 4 with a set luminance. For example, when the vehicle travels on a general road, an image of information relating to five items of “vehicle speed”, “shift position”, “intersection enlarged view”, “lane guidance”, and “eco indicator” is output to the liquid crystal display 6. Is done. As a result, the virtual image 10 of the image of the above information is displayed in the front display area (for example, the driver's visual field area 25 m ahead) visible to the occupant 9.
ここで、図６は前記Ｓ４においてＨＵＤ４によって表示される情報の一例を示した図である。特に図６は車両が一般道を走行する場合について示す。
図６に示すように車両が一般道を走行する場合には、車両の進行方向の所定距離（２５ｍ）前方の位置に、車両の現在の車速を示す虚像５１、車両の現在のシフト位置を示す虚像５２、交差点拡大図を示す虚像５３、レーン案内を示す虚像５４、エコインジケータを示す虚像５５をそれぞれ生成する。尚、各虚像５１〜５５は同一の輝度で表示される。その結果、乗員９は進行方向から視線を逸脱させることなく各虚像５１〜５５に基づく情報を把握することが可能である。
Here, FIG. 6 is a diagram showing an example of information displayed by the HUD 4 in S4. In particular, FIG. 6 shows a case where the vehicle travels on a general road.
As shown in FIG. 6, when the vehicle travels on a general road, a virtual image 51 indicating the current vehicle speed and the current shift position of the vehicle are shown at a position ahead of a predetermined distance (25 m) in the traveling direction of the vehicle. A virtual image 52, a virtual image 53 showing an enlarged intersection, a virtual image 54 showing lane guidance, and a virtual image 55 showing an eco indicator are generated. The virtual images 51 to 55 are displayed with the same luminance. As a result, the occupant 9 can grasp information based on the virtual images 51 to 55 without deviating the line of sight from the traveling direction.
次に、Ｓ５においてＣＰＵ４１は、車内カメラ１２の撮像画像に基づいて、乗員９の視線開始点（目の位置）及び視線方向を検出する。車内カメラ１２は前記したように車両のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には乗員９の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。 Next, in S <b> 5, the CPU 41 detects the gaze start point (eye position) and the gaze direction of the occupant 9 based on the captured image of the in-vehicle camera 12. As described above, the in-vehicle camera 12 is installed on the instrument panel or the ceiling of the vehicle, and is installed with the imaging direction facing the driver's seat, and the captured image includes the face of the occupant 9. As a method for detecting the line-of-sight start point and the line-of-sight direction, there is a method of detecting using the center position of the pupil or the Purkinje image measured by the corneal reflection method, for example. Since these methods are already known techniques, details are omitted.
続いて、前記Ｓ５においてＣＰＵ４１は、検出された乗員９の視線開始点及び視線方向に基づいて、現時点における乗員９の視線位置を特定する。具体的には、図８に示すように、ＣＰＵ４１は視線開始点Ｐから視線方向αへと延長した直線と検出面６１との交点を視線位置Ｑとする。そして、視線位置Ｑは検出面６１上を座標系としたＸ座標及びＹ座標によって特定される。尚、本実施形態では検出面６１はＨＵＤ４による虚像の表示領域とする。即ち、前記Ｓ５で特定された視線位置は、現時点のＨＵＤ４の虚像の表示領域における乗員９の視線位置となる。尚、前記Ｓ５では視線位置として特に乗員９の注視点を特定しても良い。その場合には、乗員９の視線が所定時間以上留まった注視点を視線位置として特定する。 Subsequently, in S5, the CPU 41 specifies the line-of-sight position of the occupant 9 at the current time based on the detected line-of-sight start point and line-of-sight direction of the occupant 9. Specifically, as shown in FIG. 8, the CPU 41 sets a line-of-sight position Q as an intersection of a straight line extending from the line-of-sight start point P in the line-of-sight direction α and the detection surface 61. The line-of-sight position Q is specified by the X and Y coordinates with the detection surface 61 as a coordinate system. In the present embodiment, the detection surface 61 is a virtual image display area by the HUD 4. That is, the line-of-sight position specified in S5 is the line-of-sight position of the occupant 9 in the virtual image display area of the current HUD 4. In S5, the gazing point of the occupant 9 may be specified as the line-of-sight position. In that case, the gazing point where the sight line of the occupant 9 remains for a predetermined time or more is specified as the sight line position.
続いて、Ｓ６においてＣＰＵ４１は、前記Ｓ５で取得した乗員９の視線位置に基づいて学習ＤＢ３２を更新する。具体的には現在の車両状況に対応付けて、情報の項目毎に“運転者が視認した回数”又は“運転者が視認した時間”を学習値としてカウントする。乗員９がＨＵＤ４に表示された項目の内、どの項目を視認しているかについては、前記Ｓ５で取得した乗員９の視線位置の座標と、ＨＵＤ４の表示領域に対して情報を表示した位置座標とに基づいて判定される。そして、十分な学習値が取得できた時点で、カウントした回数又は時間を項目毎に統計し、“運転者が視認した回数”又は“運転者が視認した時間”の割合を学習結果として学習ＤＢ３２に対して更に格納する（図５参照）。その後、Ｓ３へと戻る。 Subsequently, in S6, the CPU 41 updates the learning DB 32 based on the line-of-sight position of the occupant 9 acquired in S5. Specifically, “the number of times the driver visually recognizes” or “the time that the driver visually recognizes” is counted as a learning value for each information item in association with the current vehicle situation. Regarding which item the occupant 9 is viewing on the HUD 4, the coordinates of the line-of-sight position of the occupant 9 acquired in S 5 and the position coordinates on which information is displayed on the display area of the HUD 4 It is determined based on. Then, when a sufficient learning value can be acquired, the counted number or time is statistically calculated for each item, and the learning DB 32 uses the ratio of “number of times the driver visually recognizes” or “time that the driver visually recognizes” as a learning result. Are further stored (see FIG. 5). Thereafter, the process returns to S3.
尚、前記Ｓ４〜Ｓ６の処理は学習結果が算出されるまで、車両の走行中において一定時間毎（例えば２００ｍｓ毎）に継続して実施される。また、学習結果が一旦算出された後においても、車両が走行を行う度に学習ＤＢ３２は随時更新される。 Note that the processes of S4 to S6 are continuously performed at regular intervals (for example, every 200 ms) while the vehicle is traveling until the learning result is calculated. Further, even after the learning result is once calculated, the learning DB 32 is updated as needed whenever the vehicle travels.
一方、Ｓ７においてＣＰＵ４１は、前記Ｓ１で取得した現在の車両状況に対応する学習結果を学習ＤＢ３２から読み出す。特に本実施形態では、学習結果として情報の項目毎の車両の乗員９の視線位置の滞在態様を取得する。より具体的には、“運転者が視認した回数”又は“運転者が視認した時間”の割合（即ち視線位置の滞在割合）を取得する。 On the other hand, in S7, the CPU 41 reads from the learning DB 32 the learning result corresponding to the current vehicle situation acquired in S1. In particular, in the present embodiment, the staying mode of the line-of-sight position of the vehicle occupant 9 for each item of information is acquired as a learning result. More specifically, the ratio of “the number of times the driver visually recognizes” or “the time when the driver visually recognizes” (that is, the staying rate of the line-of-sight position) is acquired.
次に、Ｓ８においてＣＰＵ４１は、前記Ｓ７で読み出した学習結果に基づいて、前記Ｓ２で表示対象として選択された各情報の項目に対して表示輝度を設定する。ここで、本実施形態では運転者の視線位置が滞在する割合の高い項目ほど、より強調して表示する態様とし、より高い輝度を設定する。具体的には、最も滞在割合の高い項目を１００％の輝度とし、他の項目は滞在割合に応じて輝度を減少させる。例えば、図５に示す高速道路の例では、最も滞在割合の高い『ＡＣＣ設定』を１００％の輝度とし、『車速』を６０％の輝度、『シフト位置』と『エコインジケータ』を２０％の輝度とする。それによって、項目毎に表示態様（特に表示輝度）に差が生じることとなる。 Next, in S8, the CPU 41 sets display luminance for each item of information selected as a display target in S2, based on the learning result read in S7. Here, in the present embodiment, an item with a higher ratio of staying at the driver's line-of-sight position is displayed with more emphasis and higher luminance is set. Specifically, the item with the highest stay rate is set to 100% brightness, and the brightness of other items is decreased according to the stay rate. For example, in the example of the expressway shown in FIG. 5, “ACC setting” with the highest stay ratio is set to 100% brightness, “vehicle speed” is set to 60% brightness, “shift position” and “eco indicator” are set to 20%. Let it be luminance. As a result, a difference occurs in the display mode (particularly the display luminance) for each item.
その後、Ｓ９においてＣＰＵ４１は、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して虚像１０を生成する為の映像を、前記Ｓ８で設定された輝度で出力する。尚、表示対象となるのは前記Ｓ２で表示対象として選択された各情報の項目である。例えば、車両が一般道を走行する場合には、『車速』、『シフト位置』、『交差点拡大図』、『レーン案内』、『エコインジケータ』の５項目に関する情報の映像が、それぞれ異なる輝度で液晶ディスプレイ６に出力される。その結果、上記情報の映像の虚像１０が乗員９の視認可能な前方の表示領域（例えば２５ｍ前方の運転者の視野領域）に表示される。 Thereafter, in S9, the CPU 41 transmits a control signal to the HUD 4, and outputs a video for generating the virtual image 10 to the liquid crystal display 6 of the HUD 4 with the brightness set in S8. The items to be displayed are the items of information selected as the display targets in S2. For example, when a vehicle travels on a general road, the information images related to the five items of “vehicle speed”, “shift position”, “intersection enlarged view”, “lane guidance”, and “eco indicator” have different brightnesses. It is output to the liquid crystal display 6. As a result, the virtual image 10 of the image of the above information is displayed in the front display area (for example, the driver's visual field area 25 m ahead) visible to the occupant 9.
ここで、図８は前記Ｓ９においてＨＵＤ４によって表示される情報の一例を示した図である。特に図８は車両が一般道を走行する場合について示す。
図８に示すように車両が一般道を走行する場合には、車両の進行方向の所定距離（２５ｍ）前方の位置に、車両の現在の車速を示す虚像５１、車両の現在のシフト位置を示す虚像５２、交差点拡大図を示す虚像５３、レーン案内を示す虚像５４、エコインジケータを示す虚像５５をそれぞれ生成する。また、各虚像５１〜５５は前記Ｓ８で設定された輝度で表示される。例えば図８に示す例では車両の現在の車速を示す虚像５１が他の虚像５２〜５５よりも高い輝度で表示された例を示す。その結果、乗員９は進行方向から視線を逸脱させることなく各虚像５１〜５５に基づく情報を把握することが可能である。更に、過去において運転者の視線の滞在割合が高い情報項目（図８では現在の車速）については他の項目よりも強調して表示されるので、情報が多数ある場合であっても運転者が必要とする情報について適切に提供することが可能となる。
Here, FIG. 8 is a diagram showing an example of information displayed by the HUD 4 in S9. In particular, FIG. 8 shows a case where the vehicle travels on a general road.
As shown in FIG. 8, when the vehicle travels on a general road, a virtual image 51 indicating the current vehicle speed of the vehicle and a current shift position of the vehicle are shown at a position ahead of a predetermined distance (25 m) in the traveling direction of the vehicle. A virtual image 52, a virtual image 53 showing an enlarged intersection, a virtual image 54 showing lane guidance, and a virtual image 55 showing an eco indicator are generated. The virtual images 51 to 55 are displayed with the luminance set in S8. For example, the example shown in FIG. 8 shows an example in which the virtual image 51 indicating the current vehicle speed of the vehicle is displayed with higher brightness than the other virtual images 52 to 55. As a result, the occupant 9 can grasp information based on the virtual images 51 to 55 without deviating the line of sight from the traveling direction. Furthermore, since information items with a high staying rate of the driver's line of sight in the past (the current vehicle speed in FIG. 8) are displayed with emphasis over other items, the driver can display even if there is a lot of information. It is possible to appropriately provide necessary information.
以上詳細に説明した通り、本実施形態に係る走行情報案内装置１及び走行情報案内装置１で実行されるコンピュータプログラムでは、現在の車両状況を取得するとともに（Ｓ１）、運転者の視線位置を取得し（Ｓ５）、車両の走行に関する情報を運転者が視認可能な表示領域に表示する際において、車両の走行に関する情報として表示対象候補となる各項目について、項目間で現在の車両状況と運転者の視線位置との組み合わせに応じて表示態様に差を設けて表示する（Ｓ９）ので、提供する対象となる情報が多数ある場合においても、運転者に必要な情報を適切に提供することが可能となる。 As described in detail above, the travel information guide device 1 and the computer program executed by the travel information guide device 1 according to the present embodiment acquire the current vehicle situation (S1) and acquire the driver's line-of-sight position. (S5) When displaying information related to vehicle travel in a display area visible to the driver, for each item that is a candidate for display as information related to vehicle travel, the current vehicle status and driver between the items are displayed. Since the display mode is displayed with a difference depending on the combination with the line-of-sight position (S9), even when there is a large amount of information to be provided, it is possible to appropriately provide necessary information to the driver. It becomes.
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではＨＵＤ４によって車両２のフロントウィンドウ８の前方に虚像を生成する構成としているが、フロントウィンドウ８以外のウィンドウの前方に虚像を生成する構成としても良い。また、ＨＵＤ４により映像を反射させる対象はフロントウィンドウ８自身ではなくフロントウィンドウ８の周辺に設置されたバイザー（コンバイナー）であっても良い。
Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in the present embodiment, the virtual image is generated in front of the front window 8 of the vehicle 2 by the HUD 4, but the virtual image may be generated in front of a window other than the front window 8. In addition, the object to be reflected by the HUD 4 may be a visor (combiner) installed around the front window 8 instead of the front window 8 itself.
また、本実施形態では、車両の走行に関する情報を表示する手段としてＨＵＤ４を用いているが、フロントウィンドウ８に対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。更に、車内のインストルメントパネル等に設置された液晶ディスプレイであっても良い。尚、ウインドウシールドディスプレイを用いる場合には情報の表示領域は車両のフロントウィンドウ８となり、液晶ディスプレイを用いる場合には情報の表示領域は液晶ディスプレイの表示画面となる。 In the present embodiment, the HUD 4 is used as a means for displaying information related to vehicle travel. However, a window shield display (WSD) that displays an image on the front window 8 may be used. Further, it may be a liquid crystal display installed on an instrument panel or the like in the vehicle. When the window shield display is used, the information display area is the front window 8 of the vehicle. When the liquid crystal display is used, the information display area is the display screen of the liquid crystal display.
また、本実施形態では、情報の項目毎に表示態様に差を設ける手段として、表示する輝度に差を設けることとしているが、他の手段を用いても良い。例えば、表示するサイズ、表示位置等で差を設けても良い。例えば、表示するサイズで差を設ける場合には、視線位置の滞在する割合の高い項目ほど、大きいサイズで表示する。また、表示する位置で差を設ける場合には、視線位置の滞在する割合の高い項目ほど、運転者の視野の中央寄りの位置に表示する。 In this embodiment, as a means for providing a difference in display mode for each item of information, a difference is provided in the luminance to be displayed, but other means may be used. For example, a difference may be provided depending on the display size, display position, and the like. For example, when a difference is provided in the display size, an item having a higher rate of staying at the line-of-sight position is displayed in a larger size. Further, when providing a difference in the display position, an item with a higher rate of staying at the line-of-sight position is displayed at a position closer to the center of the driver's field of view.
また、本実施形態では、車両状況として車両が走行する道路の道路種別を取得し、道路種別毎に表示対象とする項目の有無や輝度差を設定することとしているが、道路種別以外の車両状況を用いても良い。例えば、天候、渋滞状況等がある。 In the present embodiment, the road type of the road on which the vehicle travels is acquired as the vehicle status, and the presence or absence of items to be displayed and the luminance difference are set for each road type. May be used. For example, there are weather and traffic conditions.
また、本実施形態では、走行情報案内処理プログラム（図３）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、ＨＵＤ４の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、ＨＵＤ４の制御部が実行する場合には、本発明に係る走行情報案内装置はＨＵＤ４のみで構成することも可能である。 In the present embodiment, the navigation ECU 15 of the navigation device 3 executes the processing of the travel information guidance processing program (FIG. 3), but the execution subject can be changed as appropriate. For example, it is good also as a structure which the control part of HUD4, vehicle control ECU, and another vehicle equipment perform. In addition, when the control part of HUD4 performs, the driving | running | working information guidance apparatus which concerns on this invention can also be comprised only with HUD4.
また、本発明に係る走行情報案内装置を具体化した実施例について上記に説明したが、走行情報案内装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。 Moreover, although the embodiment which actualized the traveling information guide device according to the present invention has been described above, the traveling information guide device can also have the following configuration, and in that case, the following effects can be obtained.
例えば、第１の構成は以下のとおりである。
現在の車両状況を取得する状況取得手段（４１）と、運転者の視線位置を取得する視線位置取得手段（４１）と、車両の走行に関する情報を運転者が視認可能な表示領域に表示する情報表示手段（４１）と、を有し、前記情報表示手段は、前記車両の走行に関する情報として表示対象候補となる各項目について、項目間で前記現在の車両状況と前記運転者の視線位置との組み合わせに応じて表示態様に差を設けて表示する。
上記構成を有する走行情報案内装置によれば、車両の走行に関する情報を表示領域に表示することによって提供する場合において、車両の状況に応じて項目間で表示態様に差を設けて表示することにより、提供する対象となる情報が多数ある場合においても、運転者に必要な情報を適切に提供することが可能となる。
For example, the first configuration is as follows.
Status acquisition means (41) for acquiring the current vehicle status, line-of-sight position acquisition means (41) for acquiring the driver's line-of-sight position, and information for displaying information relating to vehicle travel in a display area visible to the driver Display means (41), wherein the information display means includes, for each item that is a display target candidate as information relating to the travel of the vehicle, between the current vehicle situation and the driver's line-of-sight position. A display mode is displayed with a difference depending on the combination.
According to the travel information guide device having the above-described configuration, when providing information related to the travel of the vehicle by displaying it in the display region, the display mode is displayed with a difference between the items depending on the situation of the vehicle. Even when there is a lot of information to be provided, it is possible to appropriately provide necessary information to the driver.
また、第２の構成は以下のとおりである。
車両状況毎に前記表示領域に表示された項目に対する前記運転者の視線位置の滞在態様を学習する学習手段（４１）を有し、前記情報表示手段（４１）は、前記現在の車両状況に対応する前記学習手段の学習結果に基づいて表示態様に差を設けて表示する。
上記構成を有する走行情報案内装置によれば、運転者毎且つ車両状況毎にどのような情報を必要としているかを学習結果から把握することが可能となる。その結果、提供する対象となる情報が多数ある場合においても、運転者に必要な情報を適切に提供することが可能となる。
The second configuration is as follows.
It has a learning means (41) for learning a stay mode of the driver's line-of-sight position with respect to an item displayed in the display area for each vehicle situation, and the information display means (41) corresponds to the current vehicle situation. A display mode is displayed with a difference based on a learning result of the learning means.
According to the travel information guide device having the above configuration, it is possible to grasp from the learning result what information is required for each driver and for each vehicle situation. As a result, even when there is a large amount of information to be provided, it is possible to appropriately provide necessary information to the driver.
また、第３の構成は以下のとおりである。
前記情報表示手段（４１）は、前記車両の走行に関する情報として表示対象となる各項目の内、前記運転者の視線位置が滞在する割合の高い項目ほど、より強調して表示する。
上記構成を有する走行情報案内装置によれば、運転者が必要とする情報程、より強調して表示することによって、提供する対象となる情報が多数ある場合においても、運転者に必要な情報を適切に提供することが可能となる。
The third configuration is as follows.
The information display means (41) displays more emphasized items having a higher ratio of staying at the driver's line-of-sight position among items to be displayed as information relating to the traveling of the vehicle.
According to the travel information guide device having the above-described configuration, the information necessary for the driver can be obtained even when there is a lot of information to be provided by displaying the information required by the driver more emphasized. It becomes possible to provide appropriately.
また、第４の構成は以下のとおりである。
前記情報表示手段（４１）は、前記車両の走行に関する情報として表示対象となる各項目について、項目間で表示する輝度に差を設けて表示する。
上記構成を有する走行情報案内装置によれば、運転者が必要とする情報程、より高い輝度で強調して表示することによって、提供する対象となる情報が多数ある場合においても、運転者に必要な情報を適切に提供することが可能となる。
The fourth configuration is as follows.
The information display means (41) displays each item to be displayed as information relating to the traveling of the vehicle with a difference in luminance displayed between the items.
According to the travel information guide device having the above configuration, the information necessary for the driver is emphasized with higher brightness and displayed by the driver even when there is a lot of information to be provided. Information can be provided appropriately.
また、第５の構成は以下のとおりである。
前記状況取得手段（４１）は、車両が現在走行する道路の道路種別を前記車両状況として取得する。
上記構成を有する走行情報案内装置によれば、車両が走行する道路種別に応じて項目間で表示態様に差を設けて表示することにより、提供する対象となる情報が多数ある場合においても、現在走行する道路の道路種別に応じた必要な情報を適切に提供することが可能となる。
The fifth configuration is as follows.
The situation acquisition means (41) acquires the road type of the road on which the vehicle is currently traveling as the vehicle situation.
According to the travel information guidance device having the above configuration, even when there is a large amount of information to be provided by displaying a difference in display mode between items according to the road type on which the vehicle travels, It is possible to appropriately provide necessary information according to the road type of the road on which the vehicle is traveling.
１ 走行支援装置
２ 車両
３ ナビゲーション装置
４ ＨＵＤ
６ 液晶ディスプレイ
８ フロントウィンドウ
１０、５１〜５５ 虚像
１２ 車内カメラ
１５ ナビゲーションＥＣＵ
３２ 学習ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
1 driving support device 2 vehicle 3 navigation device 4 HUD
6 Liquid crystal display 8 Front window 10, 51-55 Virtual image 12 In-car camera 15 Navigation ECU
32 Learning DB
41 CPU
42 RAM
43 ROM
Claims (6)
運転者の視線位置を取得する視線位置取得手段と、
車両の走行に関する情報を運転者が視認可能な表示領域に表示する情報表示手段と、を有し、
前記情報表示手段は、前記車両の走行に関する情報として表示対象候補となる各項目について、項目間で前記現在の車両状況と前記運転者の視線位置との組み合わせに応じて表示態様に差を設けて表示する走行情報案内装置。 Status acquisition means for acquiring the current vehicle status;
Gaze position acquisition means for acquiring the driver's gaze position;
Information display means for displaying information relating to driving of the vehicle in a display area visible to the driver,
The information display means provides a difference in display mode for each item that is a candidate for display as information related to traveling of the vehicle, depending on the combination of the current vehicle status and the driver's line-of-sight position among the items. A travel information guide device to display.
前記情報表示手段は、前記現在の車両状況に対応する前記学習手段の学習結果に基づいて表示態様に差を設けて表示する請求項１に記載の走行情報案内装置。 Learning means for learning a stay mode of the driver's line-of-sight position with respect to an item displayed in the display area for each vehicle situation;
The travel information guidance device according to claim 1, wherein the information display unit displays a difference in display mode based on a learning result of the learning unit corresponding to the current vehicle situation.
現在の車両状況を取得する状況取得手段と、
運転者の視線位置を取得する視線位置取得手段と、
車両の走行に関する情報を運転者が視認可能な表示領域に表示する情報表示手段と、して機能させる為のコンピュータプログラムであって、
前記情報表示手段は、前記車両の走行に関する情報として表示対象候補となる各項目について、項目間で前記現在の車両状況と前記運転者の視線位置との組み合わせに応じて表示態様に差を設けて表示するコンピュータプログラム。 Computer
Status acquisition means for acquiring the current vehicle status;
Gaze position acquisition means for acquiring the driver's gaze position;
A computer program for functioning as information display means for displaying information related to vehicle travel in a display area visible to the driver,
The information display means provides a difference in display mode for each item that is a candidate for display as information related to traveling of the vehicle, depending on the combination of the current vehicle status and the driver's line-of-sight position among the items. Computer program to display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017127744A JP6939147B2 (en) | 2017-06-29 | 2017-06-29 | Driving information guidance device and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017127744A JP6939147B2 (en) | 2017-06-29 | 2017-06-29 | Driving information guidance device and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019011983A true JP2019011983A (en) | 2019-01-24 |
| JP6939147B2 JP6939147B2 (en) | 2021-09-22 |
Family
ID=65226301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017127744A Active JP6939147B2 (en) | 2017-06-29 | 2017-06-29 | Driving information guidance device and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6939147B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112082569A (en) * | 2019-06-12 | 2020-12-15 | 丰田自动车株式会社 | Information display device, control method, and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010256554A (en) * | 2009-04-23 | 2010-11-11 | Pioneer Electronic Corp | Information processor and image display control method |
| JP2014106750A (en) * | 2012-11-28 | 2014-06-09 | Toyota Motor Corp | Image display device and image display method |
| WO2014181543A1 (en) * | 2013-05-09 | 2014-11-13 | 株式会社デンソー | Line of sight input device |
| WO2016143744A1 (en) * | 2015-03-12 | 2016-09-15 | 日本精機株式会社 | Head mounted display device |
-
2017
- 2017-06-29 JP JP2017127744A patent/JP6939147B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010256554A (en) * | 2009-04-23 | 2010-11-11 | Pioneer Electronic Corp | Information processor and image display control method |
| JP2014106750A (en) * | 2012-11-28 | 2014-06-09 | Toyota Motor Corp | Image display device and image display method |
| WO2014181543A1 (en) * | 2013-05-09 | 2014-11-13 | 株式会社デンソー | Line of sight input device |
| WO2016143744A1 (en) * | 2015-03-12 | 2016-09-15 | 日本精機株式会社 | Head mounted display device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112082569A (en) * | 2019-06-12 | 2020-12-15 | 丰田自动车株式会社 | Information display device, control method, and storage medium |
| CN112082569B (en) * | 2019-06-12 | 2023-12-05 | 丰田自动车株式会社 | Information display device, control method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6939147B2 (en) | 2021-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6658905B2 (en) | Travel support device and computer program | |
| JP5327025B2 (en) | Vehicle travel guidance device, vehicle travel guidance method, and computer program | |
| US11493357B2 (en) | Superimposed image display device, superimposed image drawing method, and computer program | |
| JP2014120111A (en) | Travel support system, travel support method, and computer program | |
| JP2019095215A (en) | Superimposed image display device and computer program | |
| JP6825433B2 (en) | Virtual image display device and computer program | |
| JP2014120114A (en) | Travel support system, travel support method, and computer program | |
| JP2019056884A (en) | Superimposed image display device | |
| WO2018180756A1 (en) | Drive assistance system | |
| JP6136238B2 (en) | Driving support system, driving support method, and computer program | |
| JP2014120113A (en) | Travel support system, travel support method, and computer program | |
| JP2014052345A (en) | Navigation device and display control method for navigation information | |
| JP6805974B2 (en) | Driving support device and computer program | |
| JP6939147B2 (en) | Driving information guidance device and computer program | |
| US20210323403A1 (en) | Image control apparatus, display apparatus, movable body, and image control method | |
| JP2010085203A (en) | Navigation device and guidance method | |
| JP6435798B2 (en) | Vehicle information guidance system, vehicle information guidance method, and computer program | |
| JP6136237B2 (en) | Driving support system, driving support method, and computer program | |
| JP6582798B2 (en) | Driving support system, driving support method, and computer program | |
| JP2014154125A (en) | Travel support system, travel support method and computer program | |
| JP2019194925A (en) | Information creation device, control method, program and storage medium | |
| JP2019087259A (en) | Superposition image display device and computer program | |
| JP6946962B2 (en) | Driving support device and computer program | |
| JP2021081232A (en) | Superimposed image display device and computer program | |
| WO2020084827A1 (en) | Superimposed-image display device, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6939147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |