JP2019010919A - Travel support device and computer program - Google Patents

Travel support device and computer program Download PDF

Info

Publication number
JP2019010919A
JP2019010919A JP2017127743A JP2017127743A JP2019010919A JP 2019010919 A JP2019010919 A JP 2019010919A JP 2017127743 A JP2017127743 A JP 2017127743A JP 2017127743 A JP2017127743 A JP 2017127743A JP 2019010919 A JP2019010919 A JP 2019010919A
Authority
JP
Japan
Prior art keywords
image
visual field
driver
vehicle
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017127743A
Other languages
Japanese (ja)
Other versions
JP6805974B2 (en
Inventor
深谷 哲也
Tetsuya Fukaya
哲也 深谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2017127743A priority Critical patent/JP6805974B2/en
Publication of JP2019010919A publication Critical patent/JP2019010919A/en
Application granted granted Critical
Publication of JP6805974B2 publication Critical patent/JP6805974B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

To provide a travel support device and a computer program capable of guiding more surely a visual line of a driver to an object outside a vehicle by using a recognition image superposed on a visual field of the driver.SOLUTION: In a travel support device, a position of an object outside a vehicle is acquired to a crewman 9 of the vehicle, a central visual field and a peripheral visual field of the crewman 9 are acquired respectively, a recognition image for recognizing the object is displayed superposedly on a visual field of a driver, and the displayed recognition image is constituted so as to use a position where at least a part is superposed on the peripheral visual field of the crewman 9 as a display start position, and to travel from the display start position to a direction of the object across the central visual field.SELECTED DRAWING: Figure 8

Description

本発明は、運転者の物体への視線誘導を行う走行支援装置及びコンピュータプログラムに関する。   The present invention relates to a driving support apparatus and a computer program that guide a driver's line of sight to an object.

従来より、車両の運転者に対して経路案内や障害物の警告等の運転情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ(以下、HUDという)やウインドウシールドディスプレイ(以下、WSDという)のように運転者の視野に重畳する画像を表示することによって、情報の提供を行う装置がある。   Conventionally, various means have been used as information providing means for providing driving information such as route guidance and obstacle warning to a vehicle driver. For example, display on a liquid crystal display installed in a vehicle, sound output from a speaker, and the like. In recent years, as one of such information providing means, an image superimposed on a driver's field of view such as a head-up display (hereinafter referred to as HUD) or a window shield display (hereinafter referred to as WSD) is displayed. There are devices that provide information.

ここで、上記のようなHUDやWSDでは、運転者の視線方向を前方から逸らすことなく、運転者の視界にある運転者に認識させたい物体(例えば、歩行者や他車両)に対して効果的な視線の誘導案内を行うことが可能となる。特に運転者の周辺視野領域にある物体については、運転者が気付き難く、認識が遅れることから、物体へと運転者の視線を迅速に誘導させる案内を行うことが重要である。例えば、特開2003−291688号公報には、運転者の周辺視野領域に歩行者等の物体がある場合において、運転者の視界を妨げないように周辺視野領域中を物体の方向へと移動する認識画像を表示することによって、物体へと運転者の視線誘導を行う技術について開示されている。   Here, HUD and WSD as described above are effective for an object (for example, a pedestrian or another vehicle) that the driver wants to recognize in the driver's field of view without deviating the driver's line of sight from the front. It is possible to perform guidance for guiding the gaze. In particular, for objects in the peripheral visual field of the driver, it is difficult for the driver to notice and recognition is delayed, so it is important to provide guidance that promptly guides the driver's line of sight to the object. For example, in Japanese Patent Application Laid-Open No. 2003-291688, when there is an object such as a pedestrian in the driver's peripheral visual field, the object moves in the peripheral visual field in the direction of the object so as not to disturb the driver's view. A technique for guiding a driver's line of sight to an object by displaying a recognition image is disclosed.

特開2003−291688号公報(第6頁、図7)Japanese Patent Laying-Open No. 2003-291688 (page 6, FIG. 7)

ここで、上記特許文献1の技術では運転者の視野を妨げないことを目的として認識画像は中心視野領域には表示せず、周辺視野領域中のみに表示させる。しかしながら、周辺視野領域は中心視野領域に比べると認識能力が劣るので、状況によっては運転者が認識画像に気付かない虞があった。また、特に車両を高速で走行する場合には周辺視野が狭くなり、認識画像に気付かない可能性がより高くなる。   Here, in the technique of the above-mentioned Patent Document 1, the recognition image is not displayed in the central visual field region but is displayed only in the peripheral visual field region for the purpose of not obstructing the driver's visual field. However, since the peripheral visual field area has a lower recognition ability than the central visual field area, the driver may not notice the recognition image depending on the situation. In particular, when the vehicle is driven at a high speed, the peripheral visual field is narrowed, and the possibility of not recognizing the recognition image becomes higher.

本発明は前記従来における問題点を解消するためになされたものであり、運転者の視野に重畳する認識画像を用いて、車外にある物体へと運転者の視線をより確実に誘導させることを可能にした走行支援装置及びコンピュータプログラムを提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and more reliably guides the driver's line of sight to an object outside the vehicle using a recognition image superimposed on the driver's field of view. It is an object to provide a travel support device and a computer program that are made possible.

前記目的を達成するため本発明に係る走行支援装置は、車外にある物体の位置を取得する位置取得手段と、運転者の中心視野及び周辺視野をそれぞれ取得する視野取得手段と、前記物体を運転者に認識させる認識画像を運転者の視野に重畳して表示する画像表示手段と、を有し、前記画像表示手段は、前記周辺視野に少なくとも一部が重畳する位置を表示開始位置とし、前記表示開始位置から前記中心視野を横切って前記物体の方向へと移動する前記認識画像を表示する。
尚、「物体」とは構造物以外に、車両や人等の移動体についても含む。
In order to achieve the above object, a driving support apparatus according to the present invention includes position acquisition means for acquiring the position of an object outside the vehicle, visual field acquisition means for acquiring a central visual field and a peripheral visual field of the driver, and driving the object. Image display means for displaying a recognition image to be recognized by the driver superimposed on the visual field of the driver, and the image display means uses a position at least a part of which is superimposed on the peripheral visual field as a display start position, The recognition image that moves in the direction of the object across the central visual field from the display start position is displayed.
The “object” includes not only a structure but also a moving body such as a vehicle or a person.

また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、コンピュータを、車外にある物体の位置を取得する位置取得手段と、運転者の中心視野及び周辺視野をそれぞれ取得する視野取得手段と、前記物体を運転者に認識させる認識画像を運転者の視野に重畳して表示する画像表示手段と、して機能させる為のコンピュータプログラムである。また、前記画像表示手段は、前記周辺視野に少なくとも一部が重畳する位置を表示開始位置とし、前記表示開始位置から前記中心視野を横切って前記物体の方向へと移動する前記認識画像を表示する。   The computer program according to the present invention is a program for supporting driving of a vehicle. Specifically, the computer acquires position acquisition means for acquiring the position of an object outside the vehicle, visual field acquisition means for acquiring the central visual field and peripheral visual field of the driver, and a recognition image for causing the driver to recognize the object. It is a computer program for functioning as image display means for displaying in a superimposed manner on the driver's field of view. The image display means displays the recognition image that moves from the display start position across the central visual field in the direction of the object, with the position at least partially overlapping the peripheral visual field as a display start position. .

前記構成を有する本発明に係る走行支援装置及びコンピュータプログラムによれば、周辺視野から運転者の中心視野を横切って車外の物体へと移動する認識画像を表示することによって、車外にある物体へと運転者の視線をより確実に誘導させることが可能となる。それによって、物体を運転者に確実に視認させることが可能となる。特に車両が高速で走行する場合においても、物体へと運転者の視線を確実に誘導させることが可能となる。   According to the driving support device and the computer program according to the present invention having the above-described configuration, an object outside the vehicle is displayed by displaying a recognition image that moves from the peripheral visual field to the object outside the vehicle across the central visual field of the driver. It is possible to guide the driver's line of sight more reliably. Thereby, it becomes possible to make the driver visually recognize the object. In particular, even when the vehicle travels at a high speed, the driver's line of sight can be reliably guided to the object.

本実施形態に係る走行支援装置の概略構成図である。It is a schematic block diagram of the driving assistance device concerning this embodiment. 本実施形態に係るナビゲーション装置を示したブロック図である。It is the block diagram which showed the navigation apparatus which concerns on this embodiment. 本実施形態に係る走行支援処理プログラムのフローチャートである。It is a flowchart of the driving assistance processing program concerning this embodiment. HUDにより画像を表示可能なエリアを示した図である。It is the figure which showed the area which can display an image by HUD. 乗員の視線中心の特定方法について説明した図である。It is the figure explaining the identification method of a passenger | crew's eyes | visual_axis center. 乗員の中心視野及び周辺視野を示した図である。It is the figure which showed the center visual field and peripheral visual field of a passenger | crew. 認識画像として表示する円弧の初期半径の算出方法を説明した図である。It is a figure explaining the calculation method of the initial radius of the circular arc displayed as a recognition image. 警告対象物に対する認識画像の表示例を示した図である。It is the figure which showed the example of a display of the recognition image with respect to a warning target object. 警告対象物に対する認識画像の表示例を示した図である。It is the figure which showed the example of a display of the recognition image with respect to a warning target object. 認識画像の変形例について示した図である。It is the figure shown about the modification of a recognition image.

以下、本発明に係る走行支援装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る走行支援装置1の概略構成について図1を用いて説明する。図1は本実施形態に係る走行支援装置1の概略構成図である。   Hereinafter, based on one embodiment which materialized the driving support device concerning the present invention, it explains in detail, referring to drawings. First, a schematic configuration of the driving support device 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a schematic configuration diagram of a driving support device 1 according to the present embodiment.

図1に示すように走行支援装置1は、車両2に搭載されたナビゲーション装置3と、同じく車両2に搭載されるとともにナビゲーション装置3と接続されたヘッドアップディスプレイ装置(以下、HUDという)4とを基本的に有する。   As shown in FIG. 1, a driving support device 1 includes a navigation device 3 mounted on a vehicle 2, and a head-up display device (hereinafter referred to as HUD) 4 that is also mounted on the vehicle 2 and connected to the navigation device 3. Basically has.

ここで、ナビゲーション装置3は、目的地までの推奨経路を探索したり、車両2の現在位置を検出したり、サーバから取得したりメモリに格納された地図データに基づいて車両2の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った移動案内や障害物に対する警告案内をHUD4とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置3が備えている必要はなく、少なくとも障害物に対する警告案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置3の構造の詳細については後述する。   Here, the navigation device 3 searches for a recommended route to the destination, detects the current position of the vehicle 2, obtains it from the server, or based on map data stored in the memory, around the current position of the vehicle 2 The map image is displayed, and the movement guidance along the set guidance route and the warning guidance for obstacles are performed together with the HUD 4. Note that the navigation device 3 does not have to have all the functions described above, and the present invention can be configured if it has at least a function of performing warning guidance for an obstacle. Details of the structure of the navigation device 3 will be described later.

一方、HUD4は、車両2のダッシュボード5内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ6を有する。そして、液晶ディスプレイ6に投射された映像を、後述のようにHUD4が備える凹面鏡7等を介し、更に運転席の前方のフロントウィンドウ8に反射させて車両2の乗員9に視認させるように構成されている。尚、液晶ディスプレイ6に表示される映像としては、車両2に関する情報や乗員9の運転の支援の為に用いられる各種情報がある。例えば乗員9に対して警告対象となる対象物(他車両や歩行者)に対する警告、ナビゲーション装置3で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、路面に表示する警告(追突注意、制限速度等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。   On the other hand, the HUD 4 is installed inside the dashboard 5 of the vehicle 2 and has a liquid crystal display 6 as a video display surface on which video is displayed. Then, the image projected on the liquid crystal display 6 is reflected on the front window 8 in front of the driver's seat through the concave mirror 7 provided in the HUD 4 as will be described later, so that the passenger 9 of the vehicle 2 can visually recognize the image. ing. The video displayed on the liquid crystal display 6 includes information related to the vehicle 2 and various information used for assisting the driving of the occupant 9. For example, a warning for an object (another vehicle or a pedestrian) that is a warning target for the occupant 9, guidance information set by the navigation device 3, guidance information based on the guidance route (such as an arrow indicating a right / left turn direction) There are warnings to be displayed (such as rear-end collision warnings, speed limits, etc.), current vehicle speed, information signs, map images, traffic information, news, weather forecasts, times, connected smartphone screens, TV programs, and the like.

また、本実施形態のHUD4では、フロントウィンドウ8を反射して乗員9が液晶ディスプレイ6に表示された映像を視認した場合に、乗員9にはフロントウィンドウ8の位置ではなく、フロントウィンドウ8の先の遠方の位置に液晶ディスプレイ6に表示された映像が虚像10として視認されるように構成される。また、虚像10は乗員9の視野に重畳して表示されることとなり、例えば乗員9の視野領域内に位置する任意の対象物(警告対象となる物等)に重畳させて表示させることも可能である。尚、乗員9が視認できる虚像10は液晶ディスプレイ6に表示された映像であるが、凹面鏡7やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ6の映像の表示を行う必要がある。また、凹面鏡7を介することによってサイズも変更する。   Further, in the HUD 4 of the present embodiment, when the occupant 9 visually reflects the image displayed on the liquid crystal display 6 by reflecting the front window 8, the occupant 9 is not at the position of the front window 8 but at the tip of the front window 8. The image displayed on the liquid crystal display 6 at a distant position is visually recognized as a virtual image 10. Further, the virtual image 10 is displayed so as to be superimposed on the field of view of the occupant 9. For example, the virtual image 10 can be displayed while being superimposed on an arbitrary object (such as an object to be warned) located in the field of view of the occupant 9. It is. The virtual image 10 that can be seen by the occupant 9 is an image displayed on the liquid crystal display 6, but the vertical direction and the horizontal direction may be reversed through the concave mirror 7 and other mirrors. Therefore, it is necessary to display an image on the liquid crystal display 6. In addition, the size is changed through the concave mirror 7.

ここで、虚像10を生成する位置、より具体的には乗員9から虚像10までの距離(以下、虚像生成距離という)Lについては、HUD4が備える凹面鏡7の曲率、液晶ディスプレイ6と凹面鏡7との相対位置等によって適宜設定することが可能である。例えば、凹面鏡7の曲率が固定であれば、液晶ディスプレイ6において映像の表示された位置から凹面鏡7までの光路に沿った距離(光路長)によって虚像生成距離Lが決定される。例えば虚像生成距離Lが25mとなるように光路長が設定されている。   Here, regarding the position where the virtual image 10 is generated, more specifically, the distance from the occupant 9 to the virtual image 10 (hereinafter referred to as the virtual image generation distance) L, the curvature of the concave mirror 7 included in the HUD 4, the liquid crystal display 6 and the concave mirror 7 It is possible to set as appropriate depending on the relative position of the. For example, if the curvature of the concave mirror 7 is fixed, the virtual image generation distance L is determined by the distance (optical path length) along the optical path from the position where the image is displayed on the liquid crystal display 6 to the concave mirror 7. For example, the optical path length is set so that the virtual image generation distance L is 25 m.

また、本実施形態では乗員9の視野に重畳する画像を表示する手段としてHUD4を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ8に対して映像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。例えば、フロントウィンドウ8をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ8を透過液晶ディスプレイとしても良い。WSDによってフロントウィンドウ8に対して表示された画像は、HUD4と同様に乗員9の視野に重畳する画像となる。   In this embodiment, the HUD 4 is used as a means for displaying an image to be superimposed on the field of view of the occupant 9, but other means may be used. For example, a window shield display (WSD) that displays an image on the front window 8 may be used. For example, an image may be displayed from a projector using the front window 8 as a screen, or the front window 8 may be a transmissive liquid crystal display. The image displayed on the front window 8 by the WSD is an image superimposed on the field of view of the occupant 9 as with the HUD 4.

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ11が設置される。フロントカメラ11は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ11により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ8越しに乗員9に視認される前方環境(即ち虚像10が重畳される環境)の状況等が検出される。尚、フロントカメラ11の代わりにミリ波レーダ等のセンサを用いても良い。   A front camera 11 is installed above the front bumper of the vehicle, behind the rearview mirror, and the like. The front camera 11 is an imaging device having a camera using a solid-state imaging device such as a CCD, for example, and is installed with the optical axis direction facing forward in the traveling direction of the vehicle. Then, by performing image processing on the captured image captured by the front camera 11, the situation of the front environment (that is, the environment in which the virtual image 10 is superimposed) that is visually recognized by the occupant 9 through the front window 8 is detected. Is done. A sensor such as a millimeter wave radar may be used instead of the front camera 11.

また、車両のインストルメントパネルの上面には車内カメラ12が設置される。車内カメラ12は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員9の顔を撮像する。そして、車内カメラ12により撮像された撮像画像に対して画像処理が行われることによって、乗員9の目の位置(視線開始点)や視線方向を検出する。   An in-vehicle camera 12 is installed on the upper surface of the instrument panel of the vehicle. The in-vehicle camera 12 is an imaging device having a camera using a solid-state imaging device such as a CCD, for example, and is installed with the optical axis direction facing the driver's seat. Then, the face of the occupant 9 sitting in the driver's seat is imaged. Then, image processing is performed on the captured image captured by the in-vehicle camera 12 to detect the eye position (gaze start point) and the gaze direction of the occupant 9.

次に、上記走行支援装置1を構成するナビゲーション装置3の概略構成について図2を用いて説明する。図2は本実施形態に係るナビゲーション装置3を示したブロック図である。   Next, a schematic configuration of the navigation device 3 configuring the travel support device 1 will be described with reference to FIG. FIG. 2 is a block diagram showing the navigation device 3 according to the present embodiment.

図2に示すように本実施形態に係るナビゲーション装置3は、ナビゲーション装置3が搭載された車両2の現在位置を検出する現在位置検出部13と、各種のデータが記録されたデータ記録部14と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU15と、ユーザからの操作を受け付ける操作部16と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ17と、経路案内に関する音声ガイダンスを出力するスピーカ18と、記憶媒体であるDVDを読み取るDVDドライブ19と、VICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール20と、を有する。また、ナビゲーション装置3はCAN等の車載ネットワークを介して、前述したHUD4、フロントカメラ11及び車内カメラ12等が接続されている。   As shown in FIG. 2, the navigation device 3 according to the present embodiment includes a current position detection unit 13 that detects the current position of the vehicle 2 on which the navigation device 3 is mounted, and a data recording unit 14 that records various data. The navigation ECU 15 that performs various arithmetic processes based on the input information, the operation unit 16 that receives operations from the user, and the liquid crystal display 17 that displays facility information related to the map and facilities around the vehicle to the user. And a speaker 18 that outputs voice guidance related to route guidance, a DVD drive 19 that reads a DVD as a storage medium, and a communication that communicates with an information center such as a VICS (registered trademark: Vehicle Information and Communication System) center. And a module 20. The navigation device 3 is connected to the HUD 4, the front camera 11, the in-vehicle camera 12, and the like described above via an in-vehicle network such as CAN.

以下に、ナビゲーション装置3が有する各構成要素について順に説明する。
現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
Below, each component which the navigation apparatus 3 has is demonstrated in order.
The current position detection unit 13 includes a GPS 21, a vehicle speed sensor 22, a steering sensor 23, a gyro sensor 24, and the like, and can detect the current vehicle position, direction, vehicle traveling speed, current time, and the like. . Here, in particular, the vehicle speed sensor 22 is a sensor for detecting a moving distance and a vehicle speed of the vehicle, generates a pulse according to the rotation of the driving wheel of the vehicle, and outputs a pulse signal to the navigation ECU 15. And navigation ECU15 calculates the rotational speed and moving distance of a driving wheel by counting the generated pulse. In addition, it is not necessary for the navigation device 3 to include all the four types of sensors, and the navigation device 3 may include only one or a plurality of types of sensors.

また、データ記録部14は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部14はハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクを有していても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置3が通信により取得する構成としても良い。   The data recording unit 14 is also a hard disk (not shown) as an external storage device and a recording medium, and a driver for reading the map information DB 31 and a predetermined program recorded on the hard disk and writing predetermined data on the hard disk And a recording head (not shown). The data recording unit 14 may include a flash memory, a memory card, an optical disk such as a CD or a DVD, instead of the hard disk. The map information DB 31 may be stored in an external server, and the navigation device 3 may be configured to acquire by communication.

ここで、地図情報DB31は、例えば、道路(リンク)に関するリンクデータ32、ノード点に関するノードデータ33、施設等の地点に関する地点データ34、各交差点に関する交差点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。   Here, the map information DB 31 is, for example, link data 32 regarding roads (links), node data 33 regarding node points, point data 34 regarding points such as facilities, intersection data regarding each intersection, and map display data for displaying a map. The storage means stores search data for searching for routes, search data for searching for points, and the like.

ここで、リンクデータ32としては、例えば、該リンクを識別するリンクID、該リンクの端部に位置するノードを特定する端部ノード情報、該リンクが構成する道路の道路種別等が記憶される。また、ノードデータ33としては、該ノードを識別するノードID、該ノードの位置座標、該ノードがリンクを介して接続される接続先ノードを特定する接続先ノード情報等が記憶される。また、地点データ34としては、目的地への設定対象となる施設に関する各種情報が記憶される。例えば、施設を特定するID、施設名称、位置座標、ジャンル、住所等が記憶される。   Here, as the link data 32, for example, a link ID for identifying the link, end node information for specifying a node located at the end of the link, a road type of a road formed by the link, and the like are stored. . The node data 33 stores a node ID for identifying the node, position coordinates of the node, connection destination node information for specifying a connection destination node to which the node is connected through a link, and the like. Further, as the point data 34, various types of information related to the facility to be set as the destination are stored. For example, an ID for specifying a facility, a facility name, position coordinates, a genre, an address, and the like are stored.

一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)15は、ナビゲーション装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図3)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU15は、処理アルゴリズムとしての各種手段を有する。例えば、位置取得手段は、車外にある物体の位置を取得する。視野取得手段は、運転者の中心視野及び周辺視野をそれぞれ取得する。画像表示手段は、物体を運転者に認識させる認識画像を運転者の視野に重畳して表示する。   On the other hand, the navigation ECU (Electronic Control Unit) 15 is an electronic control unit that controls the entire navigation device 3, and includes a CPU 41 as an arithmetic device and a control device, and a working memory when the CPU 41 performs various arithmetic processes. Read out from the ROM 43 and the ROM 43 in which a RAM 42 that stores route data when a route is searched, a control program, and a driving support processing program (FIG. 3) described later are recorded. An internal storage device such as a flash memory 44 for storing the program is provided. The navigation ECU 15 has various means as processing algorithms. For example, the position acquisition unit acquires the position of an object outside the vehicle. The visual field acquisition means acquires the central visual field and the peripheral visual field of the driver, respectively. The image display means superimposes and displays a recognition image that allows the driver to recognize the object in the field of view of the driver.

操作部16は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU15は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部16は液晶ディスプレイ17の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。   The operation unit 16 is operated when inputting a starting point as a travel start point and a destination as a travel end point, and has a plurality of operation switches (not shown) such as various keys and buttons. Then, the navigation ECU 15 performs control to execute various corresponding operations based on switch signals output by pressing the switches. The operation unit 16 may have a touch panel provided on the front surface of the liquid crystal display 17. Moreover, you may have a microphone and a speech recognition apparatus.

また、液晶ディスプレイ17には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてHUD4を備えているので、上記地図画像等の表示をHUD4で行う構成とすれば液晶ディスプレイ17は省略しても良い。   The liquid crystal display 17 includes a map image including a road, traffic information, operation guidance, an operation menu, key guidance, a guidance route from the departure point to the destination, guidance information along the guidance route, news, weather forecast, Time, mail, TV program, etc. are displayed. In this embodiment, since the HUD 4 is provided as the information display means, the liquid crystal display 17 may be omitted if the map image or the like is displayed on the HUD 4.

また、スピーカ18は、ナビゲーションECU15からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。   Further, the speaker 18 outputs voice guidance for guiding traveling along the guidance route and traffic information guidance based on an instruction from the navigation ECU 15.

また、DVDドライブ19は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ19に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。   The DVD drive 19 is a drive that can read data recorded on a recording medium such as a DVD or a CD. Based on the read data, music and video are reproduced, the map information DB 31 is updated, and the like. A card slot for reading / writing a memory card may be provided in place of the DVD drive 19.

また、通信モジュール20は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。   The communication module 20 is a communication device for receiving traffic information composed of information such as traffic jam information, regulation information, traffic accident information transmitted from a traffic information center, for example, a VICS center or a probe center, For example, a mobile phone or DCM is applicable.

続いて、前記構成を有する走行支援装置1の内、特にナビゲーション装置3において実行する走行支援処理プログラムについて図3に基づき説明する。図3は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、HUD4を用いて車両2の乗員9に警告対象となる対象物への警告を行うプログラムである。尚、以下の図3にフローチャートで示されるプログラムは、ナビゲーション装置3が備えているRAM42やROM43に記憶されており、CPU41により実行される。   Next, a driving support processing program executed in the navigation device 3 in the driving support device 1 having the above configuration will be described with reference to FIG. FIG. 3 is a flowchart of the driving support processing program according to the present embodiment. Here, the driving support processing program is a program that is executed after the ACC power supply (accessory power supply) of the vehicle is turned on, and warns the occupant 9 of the vehicle 2 of the object to be warned using the HUD 4. Note that the program shown in the flowchart of FIG. 3 below is stored in the RAM 42 or ROM 43 provided in the navigation device 3 and is executed by the CPU 41.

先ず、走行支援処理プログラムではステップ(以下、Sと略記する)1において、CPU41は、車両の周辺情報を取得する。本実施形態では、車両の周辺情報として特にフロントカメラ11により車両の進行方向前方を撮像した撮像画像を取得する。尚、周辺情報としては、フロントカメラ11の撮像画像以外に車両に設置されたミリ波レーダ等のセンサの検出結果を取得しても良いし、車車間通信や外部サーバとの通信によって車両の周囲に位置する他車両や歩行者の位置を取得しても良い。   First, in step (hereinafter abbreviated as S) 1 in the driving support processing program, the CPU 41 obtains vehicle peripheral information. In the present embodiment, a captured image obtained by imaging the front direction of the vehicle with the front camera 11 is acquired as the surrounding information of the vehicle. As the peripheral information, the detection result of a sensor such as a millimeter wave radar installed in the vehicle other than the captured image of the front camera 11 may be acquired, or the surroundings of the vehicle may be obtained by inter-vehicle communication or communication with an external server. You may acquire the position of the other vehicle and pedestrian who are located in.

次に、S2において、車両の進行方向前方に車両の乗員に対して警告対象となる対象物(以下、警告対象物という)があるか否か判定する。ここで、警告対象物は車両に乗車する乗員が注視すべき物とし、例えば他車両、歩行者、2輪車とする。尚、標識や信号機等の乗員が注視すべき他の物についても警告対象物に含めても良い。   Next, in S <b> 2, it is determined whether there is a target object (hereinafter referred to as a warning target object) that is a warning target for the vehicle occupant in the forward direction of the vehicle. Here, the warning object is an object to be watched by a passenger who rides the vehicle, for example, another vehicle, a pedestrian, or a two-wheeled vehicle. It should be noted that other objects that should be watched by the passenger, such as signs and traffic lights, may be included in the warning object.

また、車両の進行方向前方にある警告対象物の有無の判定は、前記S1で取得した周辺情報に基づいて行う。例えば前記S1でフロントカメラ11により撮像した撮像画像を取得した場合には、撮像画像に対してテンプレートマッチング等の画像処理を行うことによって判定する。   Further, the presence / absence of the warning object in front of the traveling direction of the vehicle is determined based on the peripheral information acquired in S1. For example, when a captured image captured by the front camera 11 is acquired in S1, the determination is performed by performing image processing such as template matching on the captured image.

そして、車両の進行方向前方に警告対象物があると判定された場合(S2:YES)には、S3へと移行する。それに対して、車両の進行方向前方に警告対象物がないと判定された場合(S2:NO)には、当該走行支援処理プログラムを終了する。   And when it determines with there being a warning target object ahead of the advancing direction of a vehicle (S2: YES), it transfers to S3. On the other hand, when it is determined that there is no warning object ahead in the traveling direction of the vehicle (S2: NO), the driving support processing program is terminated.

S3においてCPU41は、車両の進行方向前方にあると判定された警告対象物の具体的な位置を取得する。尚、警告対象物の位置は、例えばフロントカメラ11により撮像した撮像画像に対して画像処理を行うことによって取得しても良いし、ミリ波レーダ等のセンサを用いて取得しても良い。また、車車間通信や外部サーバとの通信によって取得しても良い。また、警告対象物の位置は、HUD4により画像を表示可能となるエリアを対象とした直交座標系により特定する。ここで、HUD4により画像を表示可能となるエリアは、運転者の視点(目の位置)やHUD4の設計値に基づいて決定され、例えば2次元の平面で示した運転者の視野(運転者の視線を光軸方向とした撮像画像)上で特定される。例えば、図4に示す例ではHUD4により画像を表示することが可能となるエリアは、矩形形状を有するエリア50となる。そこで、エリア50の最も左下の点を原点としてxy座標を設定し、警告対象物の位置をxy座標により特定する。尚、警告対象物が複数ある場合には、複数の警告対象物の位置をそれぞれ取得する。   In S3, the CPU 41 obtains a specific position of the warning object that is determined to be ahead of the vehicle in the traveling direction. Note that the position of the warning object may be acquired by performing image processing on a captured image captured by the front camera 11, for example, or may be acquired using a sensor such as a millimeter wave radar. Moreover, you may acquire by communication with a vehicle-to-vehicle communication or an external server. The position of the warning object is specified by an orthogonal coordinate system for an area where an image can be displayed by the HUD 4. Here, the area in which the image can be displayed by the HUD 4 is determined based on the driver's viewpoint (eye position) and the design value of the HUD 4, and for example, the driver's field of view (driver's field of view shown in a two-dimensional plane). (Specified image) with the line of sight as the optical axis direction). For example, in the example illustrated in FIG. 4, an area where an image can be displayed by the HUD 4 is an area 50 having a rectangular shape. Therefore, the xy coordinates are set with the lower left point of the area 50 as the origin, and the position of the warning object is specified by the xy coordinates. In addition, when there are a plurality of warning objects, the positions of the plurality of warning objects are acquired.

例えば以下ではフロントカメラ11により撮像した撮像画像に対して画像処理を行うことによって警告対象物の位置を特定する方法について説明する。   For example, a method for specifying the position of a warning object by performing image processing on a captured image captured by the front camera 11 will be described below.

先ず、CPU41は警告対象物のテンプレート画像のデータを生成する。例えば警告対象物が歩行者である場合には歩行者のテンプレート画像のデータを生成し、警告対象物が他車両である場合には車両のテンプレート画像のデータを生成し、フラッシュメモリ44等に格納する。尚、テンプレート画像のデータの生成方法については既に公知(例えば特開2011−223242号公報参照)であるので詳細は省略する。   First, the CPU 41 generates template image data of a warning object. For example, when the warning object is a pedestrian, the template image data of the pedestrian is generated, and when the warning object is another vehicle, the template image data of the vehicle is generated and stored in the flash memory 44 or the like. To do. The template image data generation method is already known (see, for example, Japanese Patent Laid-Open No. 2011-223242).

そしてCPU41は、生成されたテンプレート画像を用いて、車両の進行方向前方にある警告対象物の位置をテンプレートマッチング処理により、当該走行支援処理プログラムが終了するまで以後継続的に検出する。   Then, the CPU 41 uses the generated template image to continuously detect the position of the warning object ahead of the traveling direction of the vehicle by the template matching process until the driving support processing program ends.

次に、S4においてCPU41は、乗員9の視野領域の内、特に乗員9の視線位置(注視点)を含む中心付近の一部の領域である中心視野領域51と、乗員9の視野領域の内、中心視野領域51を除いた周辺視野領域52とをそれぞれ取得する。ここで、中心視野領域51は、分能が高く、物を詳細に見ることに適した領域である。一方で周辺視野領域52は、詳細に見る点については劣るが、移動する対象に対して中心視野領域より優れた認識力を持つ領域である。   Next, in S <b> 4, the CPU 41 determines, among the visual field areas of the occupant 9, in particular, a central visual field area 51 that is a partial area near the center including the sight line position (gaze point) of the occupant 9, The peripheral visual field region 52 excluding the central visual field region 51 is acquired. Here, the central visual field region 51 is a region that has a high power and is suitable for viewing an object in detail. On the other hand, the peripheral visual field region 52 is a region having a recognition power superior to that of the central visual field region with respect to a moving object, although it is inferior in terms of details.

以下に中心視野領域51及び周辺視野領域52の取得方法について説明する。
先ずCPU41は、CPU41は車内カメラ12の撮像画像に基づいて、乗員9の視線開始点(目の位置)及び視線方向を検出する。車内カメラ12は前記したように車両のインストルメントパネルに設置され、撮像方向を運転席に向けて設置されており(図1)、撮像画像には乗員9の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。
A method for acquiring the central visual field 51 and the peripheral visual field 52 will be described below.
First, the CPU 41 detects the gaze start point (eye position) and the gaze direction of the occupant 9 based on the captured image of the in-vehicle camera 12. The in-vehicle camera 12 is installed on the instrument panel of the vehicle as described above, and is installed with the imaging direction facing the driver's seat (FIG. 1), and the captured image includes the face of the occupant 9. As a method for detecting the line-of-sight start point and the line-of-sight direction, there is a method of detecting using the center position of the pupil or the Purkinje image measured by the corneal reflection method, for example. Since these methods are already known techniques, details are omitted.

次に、CPU41は検出された乗員9の視線開始点及び視線方向に基づいて、前記S3で直交座標系を設定したエリア50(HUD4により画像を表示することが可能となるエリア(図4参照))に対して運転者の視線が位置する視線位置を特定する。具体的には、図5に示すように、視線開始点Pから視線方向αへと延長した直線とエリア50との交点を視線位置Qとする。尚、視線位置Qはエリア50上を直交座標系としたxy座標によって一定時間毎(例えば200ms毎)に特定され、フラッシュメモリ44等に累積的に記憶される。そして、本実施形態ではサッケード(Saccade)による視線位置Qの変位を考慮し、過去所定時間内(例えば数秒間)の視線位置Qが納まる範囲53(サッケード範囲ともいう)を特定し、その範囲53の中心を視線中心として特定する。   Next, based on the detected line-of-sight start point and line-of-sight direction of the occupant 9, the CPU 41 sets an orthogonal coordinate system in S3 (an area where an image can be displayed by the HUD 4 (see FIG. 4)). ) Specifies the line-of-sight position where the driver's line of sight is located. Specifically, as shown in FIG. 5, a line-of-sight position Q is an intersection of a straight line extending from the line-of-sight start point P in the line-of-sight direction α and the area 50. The line-of-sight position Q is specified at regular intervals (for example, every 200 ms) by xy coordinates on the area 50 and is stored in the flash memory 44 or the like. In this embodiment, the range 53 (also referred to as a saccade range) in which the line-of-sight position Q within a predetermined period of time (for example, several seconds) is accommodated is specified in consideration of the displacement of the line-of-sight position Q due to a saccade. Is specified as the center of gaze.

その後、CPU41は図6に示すように乗員9の視線中心への視線方向を軸とした有効視野角θ1の範囲を、乗員9の中心視野領域51として特定する。尚、有効視野角θ1は水平30度、垂直20度程度とする。一方、乗員9が視認可能な視野領域(視野角で水平200度、垂直120度程度)の内、中心視野領域51を除いた領域を周辺視野領域52とする。尚、中心視野領域51及び周辺視野領域52は、前記S3と同じくHUD4により画像を表示可能となるエリアを対象とした直交座標系(図4参照)におけるxy座標より特定される。   Thereafter, as shown in FIG. 6, the CPU 41 specifies the range of the effective viewing angle θ <b> 1 around the direction of the line of sight to the center of the occupant 9 as the center visual field region 51 of the occupant 9. The effective viewing angle θ1 is about 30 degrees horizontally and 20 degrees vertically. On the other hand, a region excluding the central visual field region 51 out of the visual field region (a viewing angle of about 200 degrees in the horizontal direction and about 120 degrees in the vertical direction) visible to the occupant 9 is defined as the peripheral visual field region 52. The central visual field area 51 and the peripheral visual field area 52 are specified by xy coordinates in an orthogonal coordinate system (see FIG. 4) for an area where an image can be displayed by the HUD 4 as in S3.

続いて、S5においてCPU41は、車両の進行方向前方にあると判定された警告対象物が、乗員9の周辺視野領域52内にあるか否かを判定する。具体的には、前記S3で特定された警告対象物のxy座標が、前記S4で特定された周辺視野領域52内に位置するか否かが判定される。   Subsequently, in S <b> 5, the CPU 41 determines whether or not the warning object that is determined to be ahead in the traveling direction of the vehicle is in the peripheral visual field region 52 of the occupant 9. Specifically, it is determined whether or not the xy coordinates of the warning object specified in S3 are located within the peripheral visual field region 52 specified in S4.

そして、車両の進行方向前方にあると判定された警告対象物が、乗員9の周辺視野領域52内にあると判定された場合(S5:YES)には、S6へと移行する。それに対して、車両の進行方向前方にあると判定された警告対象物が、乗員9の周辺視野領域52内にないと判定された場合(S5:NO)、即ち、警告対象物が乗員9の中心視野領域や視野領域外にある場合には、警告対象物に対する案内を行うことなく当該走行支援処理プログラムを終了する。   And when it determines with the warning target object determined to be ahead of the advancing direction of a vehicle being in the periphery visual field area | region 52 of the passenger | crew 9 (S5: YES), it transfers to S6. On the other hand, when it is determined that the warning object determined to be ahead of the traveling direction of the vehicle is not in the peripheral visual field region 52 of the occupant 9 (S5: NO), that is, the warning object is the occupant 9 If it is outside the central visual field area or the visual field area, the driving support processing program is terminated without providing guidance for the warning object.

但し、警告対象物が乗員9の中心視野領域や視野領域外にある場合においても、警告対象物に対する案内を行っても良い。例えば、HUD4を動作させ、乗員9が警告対象物と重畳する位置に、警告対象物を警告するマークや文字の虚像10を表示しても良い。   However, even when the warning object is outside the center visual field area or the visual field area of the occupant 9, guidance for the warning object may be performed. For example, the HUD 4 may be operated, and a mark or character virtual image 10 for warning the warning object may be displayed at a position where the occupant 9 overlaps the warning object.

一方、S6においてCPU41は、警告対象物を認識させる為の画像(以下、認識画像という)としてHUD4により表示する円弧の半径Rの初期値R0を算出する。後述するように本実施形態では認識画像として、警告対象物の位置を中心点とした円弧形状を有する虚像10を表示する。更に、認識画像を最初に表示する表示開始位置は、周辺視野に少なくとも一部が重畳する位置とし、より具体的には中心視野と周辺視野の境界であって警告対象物の位置から最も離れた地点に重畳する位置とする。   On the other hand, in S6, the CPU 41 calculates an initial value R0 of the radius R of the arc displayed by the HUD 4 as an image for recognizing the warning object (hereinafter referred to as a recognition image). As will be described later, in this embodiment, a virtual image 10 having an arc shape with the position of the warning object as a center point is displayed as a recognition image. Furthermore, the display start position where the recognition image is first displayed is a position where at least a part is superimposed on the peripheral visual field, and more specifically, the boundary between the central visual field and the peripheral visual field, which is farthest from the position of the warning object. The position to be superimposed on the point.

従って、図7に示すように乗員9の周辺視野領域52内に警告対象物55が位置する場合において、警告対象物55の位置を(x1、y1)、中心視野領域51と周辺視野領域52の境界の内、警告対象物55から最も離れた地点を(x2、y2)とすると、以下の式(1)によりR0が算出される。

Figure 2019010919
警告対象物の位置を中心点とし、上記式(1)により算出された半径R0を有する円弧の虚像10は、乗員9の中心視野と周辺視野の境界であって警告対象物の位置から最も離れた地点に重畳することとなる。 Therefore, when the warning object 55 is located in the peripheral visual field 52 of the occupant 9 as shown in FIG. 7, the position of the warning target 55 is (x1, y1), and the central visual field 51 and the peripheral visual field 52 If the point farthest from the warning object 55 in the boundary is (x2, y2), R0 is calculated by the following equation (1).
Figure 2019010919
The virtual image 10 of the circular arc having the radius R0 calculated by the above formula (1) with the position of the warning object as the center point is the boundary between the center visual field and the peripheral visual field of the occupant 9 and is the farthest from the position of the warning object. It will be superimposed on the spot.

その後、S7においてCPU41は、HUD4に対して制御信号を送信し、HUD4の液晶ディスプレイ6に対して虚像10を生成する為の映像を出力する。例えば、本実施形態では円弧の映像を出力する構成とする。その結果、警告対象物を認識させる為の認識画像として円弧の虚像10が表示される。また、円弧の虚像10の表示開始位置は、車両の乗員9の中心視野と周辺視野の境界を通過する位置とし、具体的には警告対象物の位置を中心点として前記S6で算出された半径R0の円弧とする。更に、その後にCPU41は、HUD4に対して制御信号を送信して液晶ディスプレイ6に表示する映像を変化させ、円弧の半径Rを段階的に短くする。それによって、乗員9の中心視野を横切って警告対象物の方向へと円弧の虚像10を移動させることが可能となる。尚、半径Rを短くする速度は、適宜設定可能であるが少なくとも車両の乗員9が移動する虚像10を目で追うことができる速度とする。そして、最終的に半径Rが0となった時点で、円弧の虚像10の表示は終了し、警告対象物に重畳する位置に輝点(点滅する画像)の虚像10を表示する(S8)。   Thereafter, in S <b> 7, the CPU 41 transmits a control signal to the HUD 4 and outputs a video for generating the virtual image 10 to the liquid crystal display 6 of the HUD 4. For example, in the present embodiment, an arc image is output. As a result, the virtual arc image 10 is displayed as a recognition image for recognizing the warning object. The display start position of the arcuate virtual image 10 is a position that passes through the boundary between the central visual field and the peripheral visual field of the vehicle occupant 9, and more specifically, the radius calculated in S6 with the position of the warning object as the central point. The arc is R0. Further, after that, the CPU 41 transmits a control signal to the HUD 4 to change the image displayed on the liquid crystal display 6, and shortens the radius R of the arc in a stepwise manner. Thereby, it becomes possible to move the virtual image 10 of the arc across the central visual field of the occupant 9 toward the warning object. Note that the speed at which the radius R is shortened can be set as appropriate, but is at least a speed at which the virtual image 10 at which the vehicle occupant 9 moves can be followed. Then, when the radius R finally becomes 0, the display of the virtual image 10 of the circular arc is finished, and the virtual image 10 of the bright spot (flashing image) is displayed at a position superimposed on the warning object (S8).

また、円弧の虚像10は、フロントウィンドウ8の位置ではなく、乗員9から所定距離(例えば25m)前方の位置に視認されることとなり、乗員9は虚像10を視認する際に視線移動を極力少なくすることが可能である。   Further, the arcuate virtual image 10 is visually recognized not at the position of the front window 8 but at a predetermined distance (for example, 25 m) from the occupant 9, and the occupant 9 moves the line of sight as little as possible when viewing the virtual image 10. Is possible.

ここで、図8及び図9は前記S7において表示される円弧の虚像10(認識画像)の一例を示した図である。
図8に示すように前記S7において最初に表示される円弧の虚像10は、車両の乗員9の中心視野領域51と周辺視野領域52の境界を通過し、且つ、警告対象物55の位置を中心点とした円弧となる。その後、円弧の半径Rが徐々に短くなり、円弧の虚像10は、中心視野領域51を横切って徐々に警告対象物55側へと移動する。また、円弧の虚像10は警告対象物の位置を中心点とした半径Rの円の内、HUD4により画像を表示することが可能となるエリアに含まれる円弧部分とする。したがって、円弧の虚像10は、半径Rが短くなるのに従って円形状に徐々に近づく(角度が大きくなる)こととなり、最終的には警告対象物55を中心とした円形状となる。
そして、図9に示すように最終的に警告対象物55の位置に円弧の虚像10が収束する(警告対象物55に虚像10が重畳する)と、その後は警告対象物55に重畳する位置に輝点(点滅する画像)の虚像10を表示する。その結果、警告対象物55へと車両の乗員9の視線を確実に誘導させ、警告対象物55を乗員9に確実に視認させることが可能となる。尚、警告対象物が複数ある場合には、車両に最も近い警告対象物や、最も危険度が高いと判定される警告対象物を対象として上記認識画像の表示を行う。
Here, FIGS. 8 and 9 are diagrams showing an example of the virtual image 10 (recognition image) of the arc displayed in S7.
As shown in FIG. 8, the virtual image 10 of the arc first displayed in S <b> 7 passes through the boundary between the central visual field region 51 and the peripheral visual field region 52 of the vehicle occupant 9 and is centered on the position of the warning object 55. It becomes a circular arc with points. Thereafter, the radius R of the arc gradually decreases, and the virtual image 10 of the arc gradually moves toward the warning object 55 across the central visual field region 51. The arc virtual image 10 is an arc portion included in an area in which an image can be displayed by the HUD 4 in a circle having a radius R with the position of the warning object as a center point. Therefore, the arcuate virtual image 10 gradually approaches a circular shape (the angle increases) as the radius R becomes shorter, and finally becomes a circular shape with the warning object 55 as the center.
Then, as shown in FIG. 9, when the virtual image 10 of the arc finally converges at the position of the warning object 55 (the virtual image 10 is superimposed on the warning object 55), thereafter, the position is superimposed on the warning object 55. A virtual image 10 of a bright spot (flashing image) is displayed. As a result, it is possible to reliably guide the line of sight of the vehicle occupant 9 to the warning object 55 and to make the vehicle occupant 9 visually recognize the warning object 55. When there are a plurality of warning objects, the recognition image is displayed on the warning object closest to the vehicle or the warning object determined to have the highest degree of danger.

以上詳細に説明した通り、本実施形態に係る走行支援装置1及び走行支援装置1で実行されるコンピュータプログラムでは、車両の乗員9に対して警告対象となる警告対象物の位置を取得し(S3)、乗員9の中心視野及び周辺視野をそれぞれ取得し(S4)、警告対象物を認識させる為の認識画像を運転者の視野に重畳して表示するとともに、表示された認識画像は、乗員9の周辺視野に少なくとも一部が重畳する位置を表示開始位置とし、表示開始位置から中心視野を横切って警告対象物の方向へと移動させる(S7)ので、警告対象となる対象物へと車両の乗員9の視線をより確実に誘導させることが可能となる。それによって、警告対象となる対象物を車両の乗員9に確実に視認させることが可能となる。特に車両が高速で走行する場合においても、警告対象物へと乗員9の視線を確実に誘導させることが可能となる。   As described in detail above, the driving support device 1 and the computer program executed by the driving support device 1 according to the present embodiment acquire the position of the warning object that is a warning target for the vehicle occupant 9 (S3). ), The center visual field and the peripheral visual field of the occupant 9 are respectively acquired (S4), and a recognition image for recognizing the warning object is superimposed on the driver's visual field and displayed. The position at least a part of which is superimposed on the peripheral visual field is set as the display start position and moved from the display start position to the direction of the warning object across the central visual field (S7). It becomes possible to guide the line of sight of the occupant 9 more reliably. Thereby, it becomes possible to make the vehicle occupant 9 visually recognize the object to be warned. In particular, even when the vehicle travels at a high speed, the line of sight of the occupant 9 can be reliably guided to the warning object.

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではHUD4によって車両2のフロントウィンドウ8の前方に虚像を生成する構成としているが、フロントウィンドウ8以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD4により映像を反射させる対象はフロントウィンドウ8自身ではなくフロントウィンドウ8の周辺に設置されたバイザー(コンバイナー)であっても良い。
Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in the present embodiment, the virtual image is generated in front of the front window 8 of the vehicle 2 by the HUD 4, but the virtual image may be generated in front of a window other than the front window 8. In addition, the object to be reflected by the HUD 4 may be a visor (combiner) installed around the front window 8 instead of the front window 8 itself.

また、本実施形態では、警告対象物を認識させる為の認識画像を表示する手段としてHUD4を用いているが、フロントウィンドウ8に対して映像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。その場合においても、HUD4と同様に円弧の画像を乗員の視野に重畳して表示させることが可能である。   In this embodiment, the HUD 4 is used as means for displaying a recognition image for recognizing the warning object. However, a window shield display (WSD) that displays an image on the front window 8 may be used. . Even in that case, it is possible to display an arc image superimposed on the occupant's field of view in the same manner as the HUD 4.

また、本実施形態では、警告対象物を認識させる為の認識画像として円弧の画像を用いた場合について説明したが、認識画像としては他の画像を用いても良い。例えば、図10に示すようなエクスクラメーションマークや矢印の画像としても良い。図10に示す画像を用いる場合であっても、画像の表示開始位置は車両の乗員9の中心視野と周辺視野の境界を通過する位置とし、その後は乗員9の中心視野を横切って警告対象物の方向へと移動させるようにする。   In the present embodiment, the case where an arc image is used as a recognition image for recognizing a warning object has been described. However, another image may be used as a recognition image. For example, an exclamation mark or an arrow image as shown in FIG. 10 may be used. Even when the image shown in FIG. 10 is used, the display start position of the image is a position that passes the boundary between the central visual field and the peripheral visual field of the occupant 9 of the vehicle, and thereafter the warning object crosses the central visual field of the occupant 9. Move in the direction of.

また、本実施形態では特に車両の乗員(運転者)に対して警告対象となる対象物(例えば歩行者、他車両等)を、乗員に対して認識させる為の認識画像を表示しているが、認識画像により認識させる対象となるのは必ずしも警告対象となる対象物である必要は無い。例えば、標識や看板等の警告対象ではないが乗員に対して認識させるのが望ましい物体を対象として、上記認識画像を表示させても良い。   In this embodiment, a recognition image for causing the occupant to recognize an object (for example, a pedestrian or another vehicle) that is a warning target for the occupant (driver) of the vehicle is displayed. The object to be recognized by the recognition image does not necessarily need to be the object to be warned. For example, the recognition image may be displayed for an object that is not a warning target, such as a sign or a signboard, but is preferably recognized by the occupant.

また、本実施形態では特に車両の乗員の周辺視野領域52に警告対象物がある場合に、認識画像を表示することとしているが、警告対象物が周辺視野領域52以外にある場合においても実施可能である。   Further, in this embodiment, the recognition image is displayed particularly when there is a warning object in the peripheral visual field region 52 of the vehicle occupant. However, the present invention can also be performed when the warning target is outside the peripheral visual field region 52. It is.

また、本実施形態では、走行支援処理プログラム(図3)の処理をナビゲーション装置3のナビゲーションECU15が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、HUD4の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。尚、HUD4の制御部が実行する場合には、本発明に係る走行支援装置はHUD4のみで構成することも可能である。   Further, in the present embodiment, the processing of the driving support processing program (FIG. 3) is executed by the navigation ECU 15 of the navigation device 3, but the execution subject can be changed as appropriate. For example, it is good also as a structure which the control part of HUD4, vehicle control ECU, and another vehicle equipment perform. In addition, when the control part of HUD4 performs, the driving assistance device which concerns on this invention can also be comprised only with HUD4.

また、本発明に係る走行支援装置を具体化した実施例について上記に説明したが、走行支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。   Moreover, although the embodiment which actualized the driving support device according to the present invention has been described above, the driving support device can also have the following configuration, and in that case, the following effects can be obtained.

例えば、第1の構成は以下のとおりである。
車外にある物体(55)の位置を取得する位置取得手段(41)と、運転者の中心視野(51)及び周辺視野(52)をそれぞれ取得する視野取得手段(41)と、前記物体を運転者に認識させる認識画像(10)を運転者の視野に重畳して表示する画像表示手段(41)と、を有し、前記画像表示手段は、前記周辺視野に少なくとも一部が重畳する位置を表示開始位置とし、前記表示開始位置から前記中心視野を横切って前記物体の方向へと移動する前記認識画像を表示する。
上記構成を有する走行支援装置によれば、周辺視野から運転者の中心視野を横切って車外の物体へと移動する認識画像を表示することによって、車外にある物体へと運転者の視線をより確実に誘導させることが可能となる。それによって、物体を運転者に確実に視認させることが可能となる。特に車両が高速で走行する場合においても、物体へと運転者の視線を確実に誘導させることが可能となる。
For example, the first configuration is as follows.
Position acquisition means (41) for acquiring the position of the object (55) outside the vehicle, visual field acquisition means (41) for acquiring the driver's central visual field (51) and peripheral visual field (52), respectively, and driving the object An image display means (41) for displaying a recognition image (10) to be recognized by the driver superimposed on the visual field of the driver, wherein the image display means has a position at least partially superimposed on the peripheral visual field. The recognition image that is set as a display start position and moves from the display start position across the central visual field toward the object is displayed.
According to the driving support apparatus having the above configuration, the driver's line of sight is more reliably displayed on the object outside the vehicle by displaying the recognition image that moves from the peripheral vision to the object outside the vehicle across the driver's central vision. Can be induced. Thereby, it becomes possible to make the driver visually recognize the object. In particular, even when the vehicle travels at a high speed, the driver's line of sight can be reliably guided to the object.

また、第2の構成は以下のとおりである。
前記画像表示手段(41)は、前記中心視野と前記周辺視野の境界であり、前記物体の位置から最も離れた地点に重畳する位置を表示開始位置として前記認識画像(10)を表示する。
上記構成を有する走行支援装置によれば、運転者の中心視野において最も長い距離を移動することによって中心視野を横切り、物体へと移動する認識画像を表示することが可能となる。従って、認識画像について確実に運転者に気付かせることが可能となる。
The second configuration is as follows.
The image display means (41) displays the recognition image (10) with a position that is a boundary between the central visual field and the peripheral visual field and is superimposed on a point farthest from the position of the object as a display start position.
According to the driving support apparatus having the above-described configuration, it is possible to display a recognition image that moves across the central visual field and moves to the object by moving the longest distance in the central visual field of the driver. Therefore, the driver can be surely made aware of the recognized image.

また、第3の構成は以下のとおりである。
前記認識画像(10)は、前記物体(55)の位置を中心点とした円弧形状を有する画像である。
上記構成を有する走行支援装置によれば、他の形状を有する画像と比較して中心視野を横切ったとしてもユーザの視界を邪魔する虞が少ない。その一方で、認識画像を運転者に見逃させることなく確実に把握させることが可能である。
The third configuration is as follows.
The recognition image (10) is an image having an arc shape with the position of the object (55) as a center point.
According to the driving support apparatus having the above configuration, there is less possibility of disturbing the user's field of view even if the central visual field is crossed compared to images having other shapes. On the other hand, it is possible to reliably recognize the recognized image without causing the driver to miss it.

また、第4の構成は以下のとおりである。
前記画像表示手段(41)は、前記円弧形状の半径を段階的に短くすることによって、前記中心視野(51)を横切って前記物体の方向へと移動する前記認識画像(10)を表示する。
上記構成を有する走行支援装置によれば、物体に対して収束する円を表示することによって、運転者の視線を物体へとより確実に誘導することが可能となる。
The fourth configuration is as follows.
The image display means (41) displays the recognition image (10) moving in the direction of the object across the central visual field (51) by shortening the radius of the arc shape stepwise.
According to the driving support apparatus having the above-described configuration, it is possible to more reliably guide the driver's line of sight to the object by displaying a circle that converges on the object.

また、第5の構成は以下のとおりである。
前記画像表示手段(41)は、映像表示面(6)に表示された映像を前記運転者に視認させることによって、前記映像の虚像を前記運転者の視線前方に前記認識画像(10)として視認させる。
上記構成を有する走行支援装置によれば、特にヘッドアップディスプレイを用いることによって、運転者の視野に重畳する認識画像を表示することが可能となる。従って、運転者の視線を進行方向から逸脱させることなく、物体へと誘導することが可能となる。
The fifth configuration is as follows.
The image display means (41) visually recognizes the virtual image of the video as the recognition image (10) in front of the driver's line of sight by causing the driver to visually recognize the video displayed on the video display surface (6). Let
According to the driving support apparatus having the above configuration, it is possible to display a recognition image superimposed on the driver's field of view, particularly by using a head-up display. Therefore, it is possible to guide the driver to the object without deviating from the traveling direction.

また、第6の構成は以下のとおりである。
前記画像表示手段(41)は、車両のウィンドウ(8)に前記認識画像(10)を表示する。
上記構成を有する走行支援装置によれば、特にウインドウシールドディスプレイを用いることによって、運転者の視野に重畳する認識画像を表示することが可能となる。従って、運転者の視線を進行方向から逸脱させることなく、物体へと誘導することが可能となる。
The sixth configuration is as follows.
The image display means (41) displays the recognition image (10) on a vehicle window (8).
According to the driving support apparatus having the above-described configuration, it is possible to display a recognition image superimposed on the driver's field of view, particularly by using a window shield display. Therefore, it is possible to guide the driver to the object without deviating from the traveling direction.

また、第7の構成は以下のとおりである。
前記物体(55)は、運転者に対して警告対象となる対象物である。
上記構成を有する走行支援装置によれば、周辺視野から運転者の中心視野を横切って警告対象となる対象物へと移動する認識画像を表示することによって、警告対象となる対象物へと運転者の視線をより確実に誘導させることが可能となる。それによって、警告対象となる対象物を運転者に確実に視認させることが可能となる。
The seventh configuration is as follows.
The said object (55) is a target object used as a warning object with respect to a driver | operator.
According to the driving support apparatus having the above-described configuration, the driver is moved to the target object to be warned by displaying a recognition image that moves from the peripheral view to the target object to be warned across the driver's central field of view. It is possible to more reliably guide the line of sight. Thereby, it is possible to make the driver visually recognize the target object to be warned.

1 走行支援装置
2 車両
3 ナビゲーション装置
4 HUD
6 液晶ディスプレイ
8 フロントウィンドウ
10 虚像
15 ナビゲーションECU
41 CPU
42 RAM
43 ROM
51 中心視野領域
52 周辺視野領域
55 警告対象物
1 driving support device 2 vehicle 3 navigation device 4 HUD
6 Liquid crystal display 8 Front window 10 Virtual image 15 Navigation ECU
41 CPU
42 RAM
43 ROM
51 Central visual field 52 Peripheral visual field 55 Warning object

Claims (8)

車外にある物体の位置を取得する位置取得手段と、
運転者の中心視野及び周辺視野をそれぞれ取得する視野取得手段と、
前記物体を運転者に認識させる認識画像を運転者の視野に重畳して表示する画像表示手段と、を有し、
前記画像表示手段は、前記周辺視野に少なくとも一部が重畳する位置を表示開始位置とし、前記表示開始位置から前記中心視野を横切って前記物体の方向へと移動する前記認識画像を表示する走行支援装置。
Position acquisition means for acquiring the position of an object outside the vehicle;
Visual field acquisition means for acquiring a driver's central visual field and peripheral visual field, respectively;
An image display means for displaying a recognition image that causes the driver to recognize the object in a superimposed manner on the driver's field of view;
The image display means sets a position where at least a part overlaps the peripheral visual field as a display start position, and displays the recognition image that moves in the direction of the object across the central visual field from the display start position. apparatus.
前記画像表示手段は、前記中心視野と前記周辺視野の境界であり、前記物体の位置から最も離れた地点に重畳する位置を表示開始位置として前記認識画像を表示する請求項1に記載の走行支援装置。   2. The driving support according to claim 1, wherein the image display means displays the recognition image using a position that is a boundary between the central visual field and the peripheral visual field and is superimposed on a point farthest from the position of the object as a display start position. apparatus. 前記認識画像は、前記物体の位置を中心点とした円弧形状を有する画像である請求項1又は請求項2に記載の走行支援装置。   The travel support apparatus according to claim 1, wherein the recognition image is an image having an arc shape with the position of the object as a center point. 前記画像表示手段は、前記円弧形状の半径を段階的に短くすることによって、前記中心視野を横切って前記物体の方向へと移動する前記認識画像を表示する請求項3に記載の走行支援装置。   The driving support device according to claim 3, wherein the image display means displays the recognition image that moves in the direction of the object across the central visual field by gradually shortening the radius of the arc shape. 前記画像表示手段は、映像表示面に表示された映像を前記運転者に視認させることによって、前記映像の虚像を前記運転者の視線前方に前記認識画像として視認させる請求項1乃至請求項4のいずれかに記載の走行支援装置。   The said image display means makes the said driver | operator visually recognize the image | video displayed on the image | video display surface, and visually recognizes the virtual image of the said image | video as the said recognition image ahead of the said driver | operator's eyes | visual_axis. The driving support device according to any one of the above. 前記画像表示手段は、車両のウィンドウに前記認識画像を表示する請求項1乃至請求項4のいずれかに記載の走行支援装置。   The travel support apparatus according to any one of claims 1 to 4, wherein the image display means displays the recognition image on a window of a vehicle. 前記物体は、運転者に対して警告対象となる対象物である請求項1乃至請求項6のいずれかに記載の走行支援装置。   The travel support apparatus according to claim 1, wherein the object is an object to be a warning target for a driver. コンピュータを、
車外にある物体の位置を取得する位置取得手段と、
運転者の中心視野及び周辺視野をそれぞれ取得する視野取得手段と、
前記物体を運転者に認識させる認識画像を運転者の視野に重畳して表示する画像表示手段と、して機能させる為のコンピュータプログラムであって、
前記画像表示手段は、前記周辺視野に少なくとも一部が重畳する位置を表示開始位置とし、前記表示開始位置から前記中心視野を横切って前記物体の方向へと移動する前記認識画像を表示するコンピュータプログラム。
Computer
Position acquisition means for acquiring the position of an object outside the vehicle;
Visual field acquisition means for acquiring a driver's central visual field and peripheral visual field, respectively;
A computer program for functioning as an image display means for displaying a recognition image that causes the driver to recognize the object superimposed on the driver's field of view,
The image display means displays a recognition image that moves from the display start position across the central visual field in the direction of the object, with the position at least partially overlapping the peripheral visual field as a display start position. .
JP2017127743A 2017-06-29 2017-06-29 Driving support device and computer program Active JP6805974B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017127743A JP6805974B2 (en) 2017-06-29 2017-06-29 Driving support device and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017127743A JP6805974B2 (en) 2017-06-29 2017-06-29 Driving support device and computer program

Publications (2)

Publication Number Publication Date
JP2019010919A true JP2019010919A (en) 2019-01-24
JP6805974B2 JP6805974B2 (en) 2020-12-23

Family

ID=65226242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017127743A Active JP6805974B2 (en) 2017-06-29 2017-06-29 Driving support device and computer program

Country Status (1)

Country Link
JP (1) JP6805974B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170380A1 (en) * 2019-02-21 2020-08-27 三菱電機株式会社 Display control device and display control method
CN114999225A (en) * 2022-05-13 2022-09-02 海信集团控股股份有限公司 Information display method for road object and vehicle
WO2024084647A1 (en) * 2022-10-20 2024-04-25 三菱電機株式会社 Illumination control device and illumination control method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013203103A (en) * 2012-03-27 2013-10-07 Denso It Laboratory Inc Display device for vehicle, control method therefor, and program
JP2016172469A (en) * 2015-03-16 2016-09-29 株式会社デンソー Image forming apparatus
JP2017001525A (en) * 2015-06-10 2017-01-05 トヨタ自動車株式会社 Vehicular display apparatus
WO2017013739A1 (en) * 2015-07-21 2017-01-26 三菱電機株式会社 Display control apparatus, display apparatus, and display control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013203103A (en) * 2012-03-27 2013-10-07 Denso It Laboratory Inc Display device for vehicle, control method therefor, and program
JP2016172469A (en) * 2015-03-16 2016-09-29 株式会社デンソー Image forming apparatus
JP2017001525A (en) * 2015-06-10 2017-01-05 トヨタ自動車株式会社 Vehicular display apparatus
WO2017013739A1 (en) * 2015-07-21 2017-01-26 三菱電機株式会社 Display control apparatus, display apparatus, and display control method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170380A1 (en) * 2019-02-21 2020-08-27 三菱電機株式会社 Display control device and display control method
JPWO2020170380A1 (en) * 2019-02-21 2021-05-20 三菱電機株式会社 Display control device and display control method
CN114999225A (en) * 2022-05-13 2022-09-02 海信集团控股股份有限公司 Information display method for road object and vehicle
CN114999225B (en) * 2022-05-13 2024-03-08 海信集团控股股份有限公司 Information display method of road object and vehicle
WO2024084647A1 (en) * 2022-10-20 2024-04-25 三菱電機株式会社 Illumination control device and illumination control method

Also Published As

Publication number Publication date
JP6805974B2 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
JP6700623B2 (en) Driving support device and computer program
US9827907B2 (en) Drive assist device
US11511627B2 (en) Display device and computer program
WO2019097762A1 (en) Superimposed-image display device and computer program
JP7151073B2 (en) Display device and computer program
JP2014229997A (en) Display device for vehicle
JP2014120111A (en) Travel support system, travel support method, and computer program
JP6805974B2 (en) Driving support device and computer program
JP2014120114A (en) Travel support system, travel support method, and computer program
JP2019056884A (en) Superimposed image display device
JP6825433B2 (en) Virtual image display device and computer program
JP6136238B2 (en) Driving support system, driving support method, and computer program
JP2014120113A (en) Travel support system, travel support method, and computer program
JP2015074391A (en) Head-up display device
JP2017062706A (en) Travel support system, travel support method, and computer program
JP6939147B2 (en) Driving information guidance device and computer program
JP7143728B2 (en) Superimposed image display device and computer program
JP6136237B2 (en) Driving support system, driving support method, and computer program
JP6946962B2 (en) Driving support device and computer program
JP2016215770A (en) Image display apparatus for vehicle driver
JP2016085651A (en) Information processor, method for guiding information of traffic light, and computer program
JP6984341B2 (en) Superimposed image display device and computer program
JP2014154125A (en) Travel support system, travel support method and computer program
JP7484132B2 (en) Superimposed image display device and computer program
JP2017062527A (en) Travel support system, travel support method, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201117

R150 Certificate of patent or registration of utility model

Ref document number: 6805974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150