JP2017167623A - Information display device, information display method, and program - Google Patents

Information display device, information display method, and program Download PDF

Info

Publication number
JP2017167623A
JP2017167623A JP2016049516A JP2016049516A JP2017167623A JP 2017167623 A JP2017167623 A JP 2017167623A JP 2016049516 A JP2016049516 A JP 2016049516A JP 2016049516 A JP2016049516 A JP 2016049516A JP 2017167623 A JP2017167623 A JP 2017167623A
Authority
JP
Japan
Prior art keywords
information
display
display control
display device
caution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016049516A
Other languages
Japanese (ja)
Inventor
啓太 田中
Keita Tanaka
啓太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2016049516A priority Critical patent/JP2017167623A/en
Publication of JP2017167623A publication Critical patent/JP2017167623A/en
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information display device that can reduce a possibility of a traffic accident caused by a reduction in driver's attention and illusion.SOLUTION: An information display device displays movement support information including attention information to be apparently overlapped on the front landscape of a movable body, and acquires driving state information on the movable body. The information display device displays the attention information in a mode to prevent a vision drawing effect on a driver of the movable body on the basis of the driving state information.SELECTED DRAWING: Figure 2

Description

本発明は、移動体に搭載される情報表示装置に関する。   The present invention relates to an information display device mounted on a moving body.

車両に搭載され、運転支援情報を表示する装置が知られている。特許文献1に記載の運転支援装置は、車両に搭載されるGPS、VICS(登録商標)、車車間通信機、路車間通信機、レーダ、カメラなどを用いて自車両の周辺に存在する周辺車両の状態を検出し、検出された周辺車両の状態に基づいて、当該周辺車両により自車両が交通事故に遭遇する危険度を予測して、予測された危険度を自車両の運転者に報知している。   Devices that are mounted on vehicles and display driving assistance information are known. The driving support device described in Patent Document 1 is a peripheral vehicle that exists in the vicinity of the host vehicle using GPS, VICS (registered trademark), a vehicle-to-vehicle communication device, a road-to-vehicle communication device, a radar, a camera, and the like mounted on the vehicle. Based on the detected state of the surrounding vehicle, the degree of risk that the surrounding vehicle will encounter a traffic accident is predicted by the surrounding vehicle, and the predicted degree of danger is notified to the driver of the own vehicle. ing.

特開2010−67235号公報JP 2010-67235 A

特許文献1は、無謀運転を行う車などの周辺車両の情報から危険度を予測しているに過ぎない。よって、自車両が単独で走行している場合に起こす可能性のある、運転者の注意力低下や錯覚などによる交通事故を防ぐことができなかった。   Patent Document 1 merely predicts the degree of risk from information on surrounding vehicles such as a car that performs reckless driving. Therefore, it has not been possible to prevent a traffic accident caused by a driver's reduced attention and an illusion that may occur when the vehicle is traveling alone.

本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、運転者の注意力低下や錯覚などによる交通事故の可能性を低減することが可能な情報表示装置を提供することを目的とする。   Examples of the problem to be solved by the present invention include the above. An object of the present invention is to provide an information display device capable of reducing the possibility of a traffic accident due to a driver's attention reduction or illusion.

請求項1に記載の発明は、情報表示装置であって、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御手段と、前記移動体の運転状況情報を取得する運転状況情報取得手段と、を備え、前記表示制御手段は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示することを特徴とする。   The invention according to claim 1 is an information display device, wherein the display control means for displaying the movement support information including the caution information so as to overlap the scenery in front of the moving body, and the driving status information of the moving body. Driving status information acquisition means for acquiring, wherein the display control means displays the caution information in a manner that prevents a visual suction action for a driver of the moving body based on the driving status information. It is characterized by.

請求項12に記載の発明は、情報表示装置により実行される情報表示方法であって、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御工程と、前記移動体の運転状況情報を取得する運転状況情報取得工程と、を備え、前記表示制御工程は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示することを特徴とする。   The invention according to claim 12 is an information display method executed by the information display device, the display control step for displaying the movement support information including the caution information so as to overlap the scenery in front of the moving body, and A driving status information acquisition step of acquiring driving status information of the moving body, wherein the display control step is based on the driving status information and prevents a visual suction action on the driver of the moving body. The caution information is displayed.

請求項13に記載の発明は、コンピュータを備える情報表示装置により実行されるプログラムであって、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御手段、前記移動体の運転状況情報を取得する運転状況情報取得手段、として前記コンピュータを機能させ、前記表示制御手段は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示することを特徴とする。   The invention according to claim 13 is a program executed by an information display device including a computer, wherein the display control means displays the movement support information including the caution information so as to overlap the front scenery of the moving body, The computer functions as driving status information acquisition means for acquiring driving status information of a moving body, and the display control means prevents a visual suction action for a driver of the moving body based on the driving status information. The attention information is displayed in such a manner.

実施例に係る情報表示装置の概略構成を示す。1 shows a schematic configuration of an information display apparatus according to an embodiment. 注意表示の例を示す。An example of a caution display is shown. 注意表示の他の例を示す。The other example of a caution display is shown. 注意表示を行う処理のフローチャートである。It is a flowchart of the process which performs a caution display. 変形例による注意表示の例を示す。The example of the caution display by a modification is shown. 変形例による注意表示を行う処理のフローチャートである。It is a flowchart of the process which performs the caution display by a modification.

本発明の1つの好適な実施形態では、情報表示装置は、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御手段と、前記移動体の運転状況情報を取得する運転状況情報取得手段と、を備え、前記表示制御手段は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示する。   In one preferred embodiment of the present invention, the information display device displays the display control means for displaying the movement support information including the attention information so as to overlap the scenery in front of the moving body, and the driving status information of the moving body. Driving status information acquisition means for acquiring, and the display control means displays the caution information in a manner that prevents a visual suction action for a driver of the mobile body based on the driving status information.

上記の情報表示装置は、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示するとともに、移動体の運転状況情報を取得する。そして、運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で注意情報を表示する。これにより、運転者が特定の箇所を凝視してしまうことによって交通事故などが発生する可能性を低減することができる。   The information display device displays the movement support information including the caution information so as to overlap the scenery in front of the moving body, and acquires the driving state information of the moving body. And based on driving | running condition information, attention information is displayed in the aspect which prevents a visual attraction effect | action with respect to the driver | operator of the said mobile body. Thereby, possibility that a traffic accident etc. will occur when a driver stares at a specific part can be reduced.

上記の情報表示装置の一態様では、前記表示制御手段は、前記運転者に視覚吸引作用が生じる条件が具備された場合に、前記注意情報を表示する。この態様では、運転者に視覚吸引作用が生じることを防止することにより、交通事故などの可能性を低減する。   In one aspect of the information display device, the display control means displays the caution information when a condition that causes a visual suction action to the driver is provided. In this aspect, the possibility of a traffic accident or the like is reduced by preventing the driver from having a visual suction action.

上記の情報表示装置の一態様では、前記表示制御手段は、前記移動体の運転者が任意の箇所を注視することのないような態様で前記注意情報を表示する。これにより、運転者が運転中に任意の箇所を注視することを防止できる。 In one aspect of the information display device, the display control means displays the caution information in such a manner that the driver of the moving body does not gaze at an arbitrary location. Thereby, it can prevent that a driver | operator gazes at arbitrary locations during a driving | operation.

上記の情報表示装置の他の一態様では、前記表示制御手段は、前記注意情報として、前記運転者が運転中に意識すべき領域の少なくとも一部を示す線を表示する。この態様では、運転者の視線を、運転中に意識すべき領域、具体的には前方の運転視野全体に誘導することができる。   In another aspect of the information display device, the display control means displays a line indicating at least a part of a region that the driver should be aware of during driving as the attention information. In this aspect, the driver's line of sight can be guided to an area to be conscious of during driving, specifically, the entire driving field of view ahead.

好適な例では、前記表示制御手段は前記注意情報として文字を表示する。他の好適な例では、前記表示制御手段は前記注意情報を点滅表示する。   In a preferred example, the display control means displays characters as the attention information. In another preferred example, the display control means blinks the caution information.

上記の情報表示装置の他の一態様では、前記運転状況情報取得手段により前記運転者の疲労、眠気、よそ見のうちの少なくともいずれかが検出された場合に、前記表示制御手段は、前記注意情報をより強調する点滅表示を行う。この態様では、運転者の疲労、眠気、よそ見などが生じている場合には、注意情報をより強調して表示する。   In another aspect of the above information display device, when at least one of the driver's fatigue, drowsiness, and looking away is detected by the driving status information acquisition unit, the display control unit is configured to display the attention information. Blinks to emphasize more. In this aspect, when the driver is tired, drowsy, looking away, etc., the attention information is displayed more emphasized.

上記の情報表示装置の他の一態様では、前記表示制御手段は、前記注意情報を、前記注意情報以外の移動支援情報と重ならないように表示する。これにより、注意情報とそれ以外の情報をいずれも見やすく表示することができる。   In another aspect of the information display device, the display control means displays the caution information so as not to overlap with movement support information other than the caution information. Thereby, both the caution information and other information can be displayed in an easy-to-see manner.

上記の情報表示装置の他の一態様では、前記表示制御手段は、前記移動体が走行している走行レーンに重なるように前記注意情報を表示する。この態様では、運転者の視線を自車の走行レーンに誘導することができる。   In another aspect of the information display device, the display control means displays the caution information so as to overlap a traveling lane in which the moving body is traveling. In this aspect, the driver's line of sight can be guided to the traveling lane of the host vehicle.

上記の情報表示装置の他の一態様では、前記運転状況情報取得手段により前方に前方車両が存在することが検出された場合に、前記表示制御手段は、当該前方車両と重なるように前記注意情報を表示する。この態様では、運転者の視線を前方車両の付近に誘導することができる。   In another aspect of the information display device, when the driving state information acquisition unit detects that a preceding vehicle is present ahead, the display control unit overlaps the preceding vehicle with the attention information. Is displayed. In this aspect, the driver's line of sight can be guided in the vicinity of the preceding vehicle.

上記の情報表示装置の他の一態様は、地図情報を取得する地図情報取得手段をさらに備え、前記表示制御手段は、前記地図情報に基づいて注意情報を表示する。この態様では、地図情報に含まれる標識、看板、ヒヤリハットデータなどに基づいて、注意情報を表示することができる。   Another aspect of the information display device further includes map information acquisition means for acquiring map information, and the display control means displays attention information based on the map information. In this aspect, caution information can be displayed based on signs, signboards, near-miss data, etc. included in the map information.

本発明の他の好適な実施形態では、情報表示装置により実行される情報表示方法は、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御工程と、前記移動体の運転状況情報を取得する運転状況情報取得工程と、を備え、前記表示制御工程は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示する。これにより、運転者が特定の箇所を凝視してしまうことにより交通事故などが発生する可能性を低減することができる。   In another preferred embodiment of the present invention, the information display method executed by the information display device includes a display control step of displaying the movement support information including the caution information so as to overlap the scenery in front of the moving body, A driving status information acquisition step of acquiring driving status information of the moving body, wherein the display control step is based on the driving status information and prevents a visual suction action on the driver of the moving body. The attention information is displayed. Thereby, possibility that a traffic accident etc. will occur because a driver stares at a specific part can be reduced.

本発明の他の好適な実施形態では、コンピュータを備える情報表示装置により実行されるプログラムは、注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御手段、前記移動体の運転状況情報を取得する運転状況情報取得手段、として前記コンピュータを機能させ、前記表示制御手段は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示する。このプログラムをコンピュータで実行することにより、上記の情報表示装置を実現することができる。このプログラムは、記憶媒体に記憶して取り扱うことができる。   In another preferred embodiment of the present invention, a program executed by an information display device including a computer displays display support means for displaying movement support information including caution information so as to overlap the front scenery of the moving body, The computer functions as driving status information acquisition means for acquiring driving status information of a moving body, and the display control means prevents a visual suction action for a driver of the moving body based on the driving status information. The attention information is displayed in such a manner. By executing this program on a computer, the above information display device can be realized. This program can be stored and handled in a storage medium.

以下、図面を参照して本発明の好適な実施例について説明する。
[装置構成]
図1は、実施例に係る情報表示装置の概略構成を示す。情報表示装置1は、車両などの移動体に搭載されるものであり、車速検出部11と、車両周辺情報検出部12と、交通情報受信部13と、生体情報検出部14と、表示情報決定部15と、地図データベース(以下、「DB」と記す。)16と、走行時間DB17と、ヘッドアップディスプレイ(以下、「HUD」と記す。)20と、を備える。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[Device configuration]
FIG. 1 shows a schematic configuration of an information display apparatus according to an embodiment. The information display device 1 is mounted on a moving body such as a vehicle, and includes a vehicle speed detection unit 11, a vehicle surrounding information detection unit 12, a traffic information reception unit 13, a biological information detection unit 14, and display information determination. A unit 15, a map database (hereinafter referred to as “DB”) 16, a travel time DB 17, and a head-up display (hereinafter referred to as “HUD”) 20 are provided.

車速検出部11は、車速センサなどにより構成され、車両の速度を検出する。車両周辺情報検出部12は、カメラ、センサ、車車間通信ユニットなどにより構成され、自車の周囲の走行車両、道路上の落下物、周辺の危険対象物(例えば、看板、建物など)、走行中の道路上の車線(白線)などを検出し、車両の周辺の状況を示す車両周辺情報を生成する。交通情報受信部13は、交通情報を提供するサーバとの通信機、VICSの通信機などにより構成され、サーバに蓄積された情報(例えば、ヒヤリハットデータなど)や、VICSの交通事故情報などを受信する。生体情報検出部14は、心拍測定器、顔画像検出装置、視線検出装置などにより構成され、運転者の生体情報を検出する。具体的には、生体情報検出部14は、運転者の心拍や表情、姿勢などから疲労・眠気の状態を検出したり、視線検出装置により運転者の視線の方向を検出したりする。   The vehicle speed detection part 11 is comprised by a vehicle speed sensor etc., and detects the speed of a vehicle. The vehicle surrounding information detection unit 12 includes a camera, a sensor, a vehicle-to-vehicle communication unit, and the like. A traveling vehicle around the vehicle, a falling object on the road, a surrounding dangerous object (for example, a signboard, a building, etc.), a traveling A lane (white line) or the like on the inside road is detected, and vehicle surrounding information indicating the situation around the vehicle is generated. The traffic information receiving unit 13 includes a communication device with a server that provides traffic information, a VICS communication device, and the like, and receives information stored in the server (for example, near-miss data), VICS traffic accident information, and the like. To do. The biological information detection unit 14 includes a heart rate measuring device, a face image detection device, a line-of-sight detection device, and the like, and detects the biological information of the driver. Specifically, the biological information detection unit 14 detects the state of fatigue / sleepiness from the heartbeat, facial expression, posture, etc. of the driver, or detects the direction of the driver's line of sight using the line-of-sight detection device.

地図DB16は、地図データを記憶している。なお、地図データには、過去に複数の事故が発生している事故多発地点などの情報も含まれている。走行時間DB17は、車両の過去の走行時間の履歴、及び、現在の走行時間(即ち、現在の連続走行時間)を記憶している。   The map DB 16 stores map data. Note that the map data also includes information such as frequent accident points where a plurality of accidents have occurred in the past. The travel time DB 17 stores a history of past travel times of the vehicle and the current travel time (that is, the current continuous travel time).

表示情報決定部15は、CPUなどを備えるコンピュータとして構成され、典型的にはカーナビゲーション装置などとすることができる。表示情報決定部15は、運転者に対して表示すべき情報である表示情報を決定する。具体的には、表示情報決定部15は、車速検出部11から取得した車速情報、車両周辺情報検出部12から取得した車両周辺情報、交通情報受信部13から取得した交通情報、生体情報検出部14から取得した生体情報、地図DB16から取得した地図データ、及び、走行時間DB17から取得した走行時間などに基づいて表示情報を決定し、HUD20へ供給する。   The display information determination unit 15 is configured as a computer including a CPU and can be typically a car navigation device. The display information determination unit 15 determines display information that is information to be displayed to the driver. Specifically, the display information determination unit 15 includes vehicle speed information acquired from the vehicle speed detection unit 11, vehicle peripheral information acquired from the vehicle peripheral information detection unit 12, traffic information acquired from the traffic information reception unit 13, and biological information detection unit. Display information is determined based on the biological information acquired from 14, the map data acquired from the map DB 16, the travel time acquired from the travel time DB 17, and the like, and supplied to the HUD 20.

HUD20は、映像出力部と、コンバイナなどの光学系とを含み、表示情報決定部15から供給された表示情報を含む画像を車両のコンバイナやフロントガラスなどに投影する。運転者は、フロントガラスに投影された画像を見ることにより、車両の前方にその画像の虚像を視認する。通常の走行中には、HUD20は、運転支援情報として、車速、進行方向、目的地への案内情報などを表示する。   The HUD 20 includes a video output unit and an optical system such as a combiner, and projects an image including display information supplied from the display information determination unit 15 onto a combiner or a windshield of the vehicle. The driver visually recognizes a virtual image of the image in front of the vehicle by viewing the image projected on the windshield. During normal traveling, the HUD 20 displays vehicle speed, traveling direction, guidance information for a destination, and the like as driving support information.

上記の構成において、表示情報決定部15は本発明の運転状況情報取得手段及び地図情報取得手段の一例であり、表示情報決定部15及びHUD20は本発明の表示制御手段の一例である。また、本発明における運転状況情報は、上記の車速情報、車両周辺情報、交通情報、生体情報、地図データ、及び、走行時間を含む概念とする。   In said structure, the display information determination part 15 is an example of the driving condition information acquisition means and map information acquisition means of this invention, and the display information determination part 15 and HUD20 are examples of the display control means of this invention. Further, the driving status information in the present invention is a concept including the vehicle speed information, vehicle surrounding information, traffic information, biometric information, map data, and travel time.

[注意表示]
本実施例は、視覚吸引作用によって運転者の視線が一点に集中してしまうことにより事故が発生することを防止するために、走行時の車両周辺情報や交通情報、及び、長時間運転などによる運転者の疲労・眠気状態に応じて、運転者に注意を促す表示(以下、「注意表示」と呼ぶ。)をHUD20に表示することを特徴とする。
[Caution]
In this embodiment, in order to prevent an accident from occurring due to the driver's line of sight being concentrated on one point by the visual suction action, the vehicle periphery information and traffic information at the time of traveling, and long-time driving, etc. According to the driver's fatigue / drowsiness state, a display (hereinafter, referred to as “caution display”) for prompting the driver to pay attention is displayed on the HUD 20.

ここで、視覚吸引作用について説明する。人間の視覚は意識と深く結びついており、興味を惹かれるものや危険を感じるものなど、より強く意識が向くものに視線が集中してしまう。これを「視覚吸引作用」という。視覚吸引作用は疲れや眠気などによっても生じやすくなる。視覚吸引作用が発生すると、対象物から目が離せなくなり、凝視したものに対してさらに近寄ってしまうことで運転中の事故の原因となる場合がある。対策としては、凝視している対象物から目を離すことが挙げられる。そこで、本実施例では、運転者に視覚吸引作用が発生していると考えられる状況において、HUD20により注意表示を行い、運転者の目を凝視の対象物から引き離すようにする。   Here, the visual suction action will be described. Human vision is deeply linked to consciousness, and the line of sight concentrates on things that are stronger and more conscious, such as those that are of interest and those that feel dangerous. This is called “visual suction action”. Visual aspiration is likely to occur due to fatigue or sleepiness. When the visual suction action occurs, it is impossible to keep an eye on the object, and it may cause an accident during driving by moving closer to the staring object. One measure is to keep an eye on the object you are staring at. Therefore, in this embodiment, in a situation where a visual suction action is considered to occur in the driver, a caution display is performed by the HUD 20 so that the driver's eyes are separated from the object to be stared.

具体的に、まず、表示情報決定部15は、車速検出部11から得られる車速情報に基づいて、自車が一定速度以上で走行しているか否かを判定する。そして、自車が一定速度以上で走行している場合、表示情報決定部15は、車両周辺情報検出部12、交通情報受信部13、生体情報検出部14などから取得した運転状況情報に基づいて、以下に例示する視覚吸引作用が発生する条件(以下、「視覚吸引作用発生条件」とも呼ぶ。)が具備されている否かを判定し、視覚吸引作用発生条件が具備されていると判定した場合に、HUD20により注意表示を行う。   Specifically, first, the display information determination unit 15 determines whether or not the host vehicle is traveling at a certain speed or more based on the vehicle speed information obtained from the vehicle speed detection unit 11. When the host vehicle is traveling at a certain speed or higher, the display information determination unit 15 is based on the driving situation information acquired from the vehicle surrounding information detection unit 12, the traffic information reception unit 13, the biological information detection unit 14, and the like. Then, it is determined whether or not a condition for generating visual suction action exemplified below (hereinafter also referred to as “visual suction action generation condition”) is provided, and it is determined that a condition for generating visual suction action is provided. In such a case, a caution display is performed by the HUD 20.

(1)自車の斜め前方に大型車両(トラックなど)が走行している、又は、車線変更してくる場合。
(2)自車が走行している道路上に落下物が検出された場合。
(3)地図データから、危険対象物(看板、建物など)を取得した場合。
(4)サーバに蓄積されたデータ(ヒヤリハットなど)から、その地点が危険地点であると判断した場合。
(5)交通情報から、その地点が事故多発地点であることを検出した場合。
(6)脈拍などの生体情報に基づき、運転者の疲労・眠気が上昇していることを検出した場合。
(7)連続運転時間が一定時間を超え、注意力の低下が予測される場合。
(1) A large vehicle (such as a truck) is traveling diagonally ahead of the host vehicle, or the lane changes.
(2) When a fallen object is detected on the road on which the vehicle is traveling.
(3) When dangerous objects (signboards, buildings, etc.) are acquired from map data.
(4) When it is determined that the point is a dangerous point based on data (such as a near-miss) stored in the server.
(5) When it is detected from traffic information that the point is a frequent accident point.
(6) When it is detected that the driver's fatigue / drowsiness is rising based on biological information such as a pulse.
(7) When the continuous operation time exceeds a certain time and a decline in attention is predicted.

このように、本実施例では、視覚吸引作用により運転者の視線が一点に集中してしまう可能性を事前に予測して運転者に視覚的に通知する。また、そのように予測された状態で、運転者が一時的に何かしらの対象物を思わず凝視してしまった場合でも、視界範囲内で注意表示を行うことにより、視線を元に戻すきっかけを与えることができる。こうして、視覚吸引作用により運転者の視線が一点に集中することを防止し、それによる事故などが生じる可能性を低減することができる。   As described above, in this embodiment, the driver is visually notified of the possibility that the driver's line of sight is concentrated on one point due to the visual suction action. In addition, even if the driver temporarily stares at something unexpectedly in such a predicted state, it gives a chance to restore the line of sight by displaying a caution within the field of view. be able to. In this way, it is possible to prevent the driver's line of sight from being concentrated on a single point due to the visual suction action, and to reduce the possibility of an accident or the like due to this.

次に、注意表示について説明する。図2(A)は、HUD20により車両のフロントガラス領域30に表示される画像の例を示す。図2(A)に示すように、運転者は、フロントガラス越しに前方の風景を見る。図2(A)の例では、フロントガラス領域30内に、自車の走行レーン及び隣接レーンを規定する車線(白線)31が見える。ここで、HUD20により情報が表示される領域(以下、「HUD表示領域」と呼ぶ。)34を一点鎖線で示す。なお、図2(A)では説明の便宜上、HUD表示領域34には何も表示していない。   Next, the warning display will be described. FIG. 2A shows an example of an image displayed on the windshield region 30 of the vehicle by the HUD 20. As shown in FIG. 2 (A), the driver views the scenery in front through the windshield. In the example of FIG. 2A, a lane (white line) 31 that defines the traveling lane and the adjacent lane of the vehicle can be seen in the windshield region 30. Here, an area 34 in which information is displayed by the HUD 20 (hereinafter referred to as “HUD display area”) 34 is indicated by a one-dot chain line. In FIG. 2A, nothing is displayed in the HUD display area 34 for convenience of explanation.

図2(B)は、注意表示の例を示す。HUD表示領域34内に、運転者が運転中に意識すべき領域として、車両の前方の一定範囲の領域を囲う表示線35を点滅表示する。表示線35により一定範囲の領域を表示するのは、視覚吸引作用により一点に視線が集中してしまうことを避けるためである。また、表示線35を点滅させるのは、一時的に運転者の視線が前方道路から外れていたり、注意力が低下している場合に、視界の端でも盲点の影響を受けずに表示線35を認識しやすくするためである。このように、比較的広いエリアを表示線35で示すことにより、運転者の視点を広いエリアに誘導して一点への凝視を解除させ、運転者が視覚吸引作用から脱するようにする。なお、表示線35の点滅パターンにより運転者による認識のしやすさが変わるため、運転者が認識しやすい点滅パターンを使用することが好ましい。また、運転中は運転者の視線は自車が走行している走行レーン上にあることが好ましいので、表示線35を自車の走行レーン内に表示することが好ましい。図2(B)の例では、表示線35は、自車の走行している走行レーンを規定する白線31の間の領域に表示されている。なお、情報表示装置1は、地図データや車線認識情報などを利用して自車の走行レーンの位置を特定し、表示線35を表示すればよい。   FIG. 2B shows an example of a caution display. In the HUD display area 34, a display line 35 surrounding a certain area in front of the vehicle is blinked and displayed as an area that the driver should be aware of during driving. The reason why the region of a certain range is displayed by the display line 35 is to prevent the line of sight from being concentrated on one point due to the visual suction action. In addition, the display line 35 is blinked when the driver's line of sight is temporarily off the road ahead, or when attention is reduced, the display line 35 is not affected by the blind spot even at the edge of the field of view. This is to make it easier to recognize. In this way, by displaying the relatively wide area with the display line 35, the driver's viewpoint is guided to the wide area to release the staring at one point, and the driver is released from the visual suction action. Since the ease of recognition by the driver varies depending on the blinking pattern of the display line 35, it is preferable to use a blinking pattern that is easy for the driver to recognize. Moreover, since it is preferable that a driver | operator's eyes | visual_axis exists on the driving | running lane in which the own vehicle is drive | operating during driving | running | working, it is preferable to display the display line 35 in the driving | running lane of the own vehicle. In the example of FIG. 2B, the display line 35 is displayed in the area between the white lines 31 that define the traveling lane in which the vehicle is traveling. In addition, the information display apparatus 1 should just display the display line 35, specifying the position of the driving lane of the own vehicle using map data, lane recognition information, etc.

図3(A)は、注意表示の他の例を示す。図3(A)は、車両が曲線8(カーブ)道路を走行している場合の表示例を示しており、道路の湾曲形状に合わせて表示線35が白線31の間に表示されている。   FIG. 3A shows another example of a caution display. FIG. 3A shows a display example when the vehicle is traveling on a curve 8 (curve) road, and the display line 35 is displayed between the white lines 31 according to the curved shape of the road.

図3(B)は、注意表示のさらに他の例を示す。通常、HUD表示領域34内には、速度表示、進行方向表示などの他の情報(以下、「通常表示情報」と呼ぶ。)が表示される。よって、通常表示情報に加えて注意表示を行う場合には、図3(B)に示すように、通常表示情報の表示(本例では「50km」の表示)を妨げないように表示線35を表示する。例えば、通常表示情報と注意表示の表示線35を別レイヤーで表示すればよい。   FIG. 3B shows still another example of the caution display. Normally, other information such as speed display and traveling direction display (hereinafter referred to as “normal display information”) is displayed in the HUD display area 34. Therefore, when a caution display is performed in addition to the normal display information, as shown in FIG. 3B, the display line 35 is set so as not to hinder the display of the normal display information (in this example, “50 km”). indicate. For example, the normal display information and the caution display line 35 may be displayed in separate layers.

[表示処理]
次に、注意表示を行う処理について説明する。図4は、注意表示を行う処理のフローチャートである。この処理は、主として情報表示装置1がHUD20を制御することにより、一定時間間隔で繰り返し実行される。
[Display processing]
Next, processing for displaying a warning will be described. FIG. 4 is a flowchart of processing for displaying a warning. This process is repeatedly executed at regular time intervals mainly by the information display apparatus 1 controlling the HUD 20.

まず、情報表示装置1は、車速検出部11により自車速度を検出し(ステップS11)、車両が走行中であるか否かを判定する(ステップS12)。走行中でない場合(ステップS12:No)、処理はステップS20へ進む。一方、走行中である場合(ステップS12:Yes)、情報表示装置1は、車両周辺情報検出部12により車両周辺情報を検出する(ステップS13)。また、情報表示装置1は、交通情報受信部13により交通情報を受信し(ステップS14)、生体情報検出部14により生体情報を検出し(ステップS15)、地図DB16から地図データを取得し(ステップS16)、走行時間DB17から走行時間(現在の連続走行時間)を取得する(ステップS17)。   First, the information display apparatus 1 detects the own vehicle speed by the vehicle speed detection part 11 (step S11), and determines whether the vehicle is traveling (step S12). When the vehicle is not traveling (step S12: No), the process proceeds to step S20. On the other hand, when the vehicle is running (step S12: Yes), the information display device 1 detects vehicle surrounding information by the vehicle surrounding information detection unit 12 (step S13). Further, the information display device 1 receives traffic information by the traffic information receiving unit 13 (step S14), detects the biological information by the biological information detection unit 14 (step S15), and acquires map data from the map DB 16 (step S14). S16) The travel time (current continuous travel time) is acquired from the travel time DB 17 (step S17).

次に、情報表示装置1は、ステップS13〜S17で取得した情報に基づいて、前述の視覚吸引作用発生条件が具備されているか否かを判定する(ステップS18)。視覚吸引作用発生条件が具備されていると判定された場合(ステップS18:Yes)、情報表示装置1は、HUD20を制御して図2(A)〜図3(B)などに例示するような注意表示を行う(ステップS19)。一方、視覚吸引作用発生条件が具備されていないと判定された場合(ステップS18:No)、処理はステップS20へ進む。   Next, the information display device 1 determines whether or not the above-described visual suction action generation condition is satisfied based on the information acquired in steps S13 to S17 (step S18). When it is determined that the condition for generating the visual suction action is satisfied (step S18: Yes), the information display device 1 controls the HUD 20 to exemplify in FIGS. 2 (A) to 3 (B). Attention is displayed (step S19). On the other hand, when it is determined that the condition for generating the visual suction action is not satisfied (step S18: No), the process proceeds to step S20.

ステップS20では、情報表示装置1は、注意表示を非表示とする。具体的には、その時点で注意表示が行われていない場合にはそのままとし、既に注意表示が行われている場合には注意表示を除去する。そして、処理は終了する。   In step S20, the information display device 1 hides the caution display. Specifically, if the caution display is not performed at that time, it is left as it is. If the caution display is already performed, the caution display is removed. Then, the process ends.

[変形例]
(変形例1)
上記の実施例では、注意表示として表示線35を点滅表示しているが、機器によって点滅表示が他の意味や用途で用いられているような場合には、図5(A)に示すように、表示線35の点滅表示に加えて文字や記号の表示を追加してもよい。この例では、注意表示として「前方・周囲を確認」との説明表示36を追加している。これにより、そのときの表示線35の点滅表示が注意表示の意味を持っていることを運転者に伝えることができる。
[Modification]
(Modification 1)
In the above embodiment, the display line 35 is blinked as a caution display. However, when the blinking display is used for other meanings or applications depending on the device, as shown in FIG. In addition to the blinking display of the display line 35, display of characters and symbols may be added. In this example, an explanation display 36 of “confirm front / around” is added as a caution display. Thus, the driver can be informed that the blinking display of the display line 35 at that time has the meaning of a caution display.

(変形例2)
情報表示装置1がフロントカメラ情報などを利用することにより、前方車両及びその位置を検出できる場合には、図5(B)の例に示すように、注意表示として前方車両33を強調する形で表示線35を表示してもよい。例えば、前方車両33と重なるように、又は、前方車両33を囲むように表示線35を表示すればよい。
(Modification 2)
When the information display device 1 can detect the front vehicle and its position by using the front camera information or the like, as shown in the example of FIG. 5B, the front vehicle 33 is emphasized as a caution display. The display line 35 may be displayed. For example, the display line 35 may be displayed so as to overlap the front vehicle 33 or surround the front vehicle 33.

(変形例3)
情報表示装置1が生体情報として運転者の視線の方向を検出している状況において、視覚吸引作用発生条件が具備されており、かつ、運転者の視線が一定時間以上前方道路以外に向けられている場合には、通常の注意表示よりもさらに運転者が認識しやすい点滅パターンに変更して注意表示を行っても良い。この場合の処理を図6に示す。なお、図6のフローチャートは、ステップS18−1〜S18−3が追加されている点以外は図4のフローチャートと同様であるので、同様のステップについての説明は省略する。
(Modification 3)
In a situation where the information display device 1 detects the direction of the driver's line of sight as biometric information, a condition for generating visual suction is provided, and the driver's line of sight is directed to a road other than the front road for a certain time or more. If it is, the warning display may be changed to a blinking pattern that is easier for the driver to recognize than the normal warning display. The process in this case is shown in FIG. The flowchart in FIG. 6 is the same as the flowchart in FIG. 4 except that steps S18-1 to S18-3 are added, and thus the description of the same steps is omitted.

ステップS18において、視覚吸引作用発生条件が具備されていると判定された場合、情報表示装置1は、運転者の視線が車両前方から一定時間以上外れているか否かを判定する(ステップS18−1)。運転者の視線が車両前方から一定時間以上外れていない場合(ステップS18−1:No)、情報表示装置1は、表示線35の点滅パターンを通常の点滅パターンに設定する(ステップS18−3)。一方、運転者の視線が車両前方から一定時間以上外れている場合(ステップS18−1:Yes)、情報表示装置1は、表示線35の点滅パターンを、通常の点滅パターンより認識しやすい、強調パターンに設定する(ステップS18−2)。   In step S18, when it is determined that the condition for generating the visual suction action is satisfied, the information display device 1 determines whether or not the driver's line of sight has deviated from the front of the vehicle for a certain time or more (step S18-1). ). When the driver's line of sight has not deviated from the front of the vehicle for a certain time (step S18-1: No), the information display device 1 sets the blinking pattern of the display line 35 to a normal blinking pattern (step S18-3). . On the other hand, when the driver's line of sight has deviated from the front of the vehicle for a certain time or more (step S18-1: Yes), the information display device 1 can easily recognize the blinking pattern of the display line 35 as compared with the normal blinking pattern. The pattern is set (step S18-2).

なお、図6のフローチャートの例では、ステップS18−1において、運転者の視線が前方道路から一定時間以上外れたか否かを判定しているが、その代わりに、生体情報に基づいて運転者の眠気が一定値以上に達したか否かを判定することとしてもよい。   In the example of the flowchart of FIG. 6, in step S18-1, it is determined whether or not the driver's line of sight has deviated from the road ahead for a certain period of time. Instead, based on the biological information, It may be determined whether or not sleepiness has reached a certain value or more.

1 情報表示装置
11 車速検出部
12 車両周辺情報検出部
13 交通情報受信部
14 生体情報検出部
15 表示情報決定部
20 ヘッドアップディスプレイ
DESCRIPTION OF SYMBOLS 1 Information display apparatus 11 Vehicle speed detection part 12 Vehicle periphery information detection part 13 Traffic information reception part 14 Biometric information detection part 15 Display information determination part 20 Head-up display

Claims (14)

注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御手段と、
前記移動体の運転状況情報を取得する運転状況情報取得手段と、を備え、
前記表示制御手段は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示することを特徴とする情報表示装置。
Display control means for displaying movement support information including attention information so as to overlap the scenery in front of the moving body;
Driving status information acquisition means for acquiring driving status information of the mobile body,
The information display device, wherein the display control means displays the caution information in a manner that prevents a visual suction action for a driver of the moving body based on the driving situation information.
前記表示制御手段は、前記運転者に視覚吸引作用が生じる条件が具備された場合に、前記注意情報を表示することを特徴とする請求項1に記載の情報表示装置。   The information display device according to claim 1, wherein the display control unit displays the caution information when a condition that causes a visual suction action to the driver is provided. 前記表示制御手段は、前記移動体の運転者が任意の箇所を注視することのないような態様で前記注意情報を表示することを特徴とする請求項1又は2に記載の情報表示装置。   The information display device according to claim 1, wherein the display control unit displays the caution information in a manner such that a driver of the moving body does not gaze at an arbitrary place. 前記表示制御手段は、前記注意情報として、前記運転者が運転中に意識すべき領域の少なくとも一部を示す線を表示することを特徴とする請求項1乃至3のいずれか一項に記載の情報表示装置。   The said display control means displays the line which shows at least one part of the area | region which the said driver should be aware during a driving | operation as said caution information, The Claim 1 thru | or 3 characterized by the above-mentioned. Information display device. 前記表示制御手段は、前記注意情報として文字を表示することを特徴とする請求項4に記載の情報表示装置。   The information display apparatus according to claim 4, wherein the display control unit displays a character as the attention information. 前記表示制御手段は、前記注意情報を点滅表示することを特徴とする請求項1乃至5のいずれか一項に記載の情報表示装置。   The information display device according to claim 1, wherein the display control unit blinks the caution information. 前記運転状況情報取得手段により前記運転者の疲労、眠気、よそ見のうちの少なくともいずれかが検出された場合に、前記表示制御手段は、前記注意情報をより強調する点滅表示を行うことを特徴とする請求項6に記載の情報表示装置。   When at least one of the driver's fatigue, drowsiness, and looking away is detected by the driving status information acquisition unit, the display control unit performs a blinking display that emphasizes the attention information more. The information display device according to claim 6. 前記表示制御手段は、前記注意情報を、前記注意情報以外の移動支援情報と重ならないように表示することを特徴とする請求項1乃至7のいずれか一項に記載の情報表示装置。   The information display device according to any one of claims 1 to 7, wherein the display control unit displays the caution information so as not to overlap movement assistance information other than the caution information. 前記表示制御手段は、前記移動体が走行している走行レーンに重なるように前記注意情報を表示することを特徴とする請求項1乃至8のいずれか一項に記載の情報表示装置。   The information display device according to claim 1, wherein the display control unit displays the caution information so as to overlap a traveling lane in which the moving body is traveling. 前記運転状況情報取得手段により前方に前方車両が存在することが検出された場合に、前記表示制御手段は、当該前方車両と重なるように前記注意情報を表示することを特徴とする請求項1乃至8のいずれか一項に記載の情報表示装置。   The display control means displays the caution information so as to overlap the preceding vehicle when the driving condition information obtaining means detects that a preceding vehicle is present ahead. The information display device according to any one of claims 8 to 9. 地図情報を取得する地図情報取得手段をさらに備え、
前記表示制御手段は、前記地図情報に基づいて注意情報を表示することを特徴とする請求項1乃至10のいずれか一項に記載の情報表示装置。
It further comprises a map information acquisition means for acquiring map information,
The information display device according to any one of claims 1 to 10, wherein the display control means displays attention information based on the map information.
情報表示装置により実行される情報表示方法であって、
注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御工程と、
前記移動体の運転状況情報を取得する運転状況情報取得工程と、を備え、
前記表示制御工程は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示することを特徴とする情報表示方法。
An information display method executed by an information display device,
A display control process for displaying the movement support information including the attention information so as to overlap the scenery in front of the moving body;
A driving status information acquisition step of acquiring driving status information of the mobile body,
The information display method, wherein the display control step displays the caution information in a manner that prevents a visual suction action for the driver of the moving body based on the driving situation information.
コンピュータを備える情報表示装置により実行されるプログラムであって、
注意情報を含む移動支援情報を移動体の前方風景に見かけ上重なるように表示する表示制御手段、
前記移動体の運転状況情報を取得する運転状況情報取得手段、として前記コンピュータを機能させ、
前記表示制御手段は、前記運転状況情報に基づいて、前記移動体の運転者に対して視覚吸引作用を防止する態様で前記注意情報を表示することを特徴とするプログラム。
A program executed by an information display device including a computer,
Display control means for displaying movement support information including caution information so as to superimpose the scenery in front of the moving object;
Operating the computer as driving status information acquisition means for acquiring driving status information of the moving body,
The said display control means displays the said caution information in the aspect which prevents a visual attraction effect | action with respect to the driver | operator of the said moving body based on the said driving condition information.
請求項13に記載のプログラムを記憶したことを特徴とする記憶媒体。   A storage medium storing the program according to claim 13.
JP2016049516A 2016-03-14 2016-03-14 Information display device, information display method, and program Pending JP2017167623A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016049516A JP2017167623A (en) 2016-03-14 2016-03-14 Information display device, information display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016049516A JP2017167623A (en) 2016-03-14 2016-03-14 Information display device, information display method, and program

Publications (1)

Publication Number Publication Date
JP2017167623A true JP2017167623A (en) 2017-09-21

Family

ID=59913305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016049516A Pending JP2017167623A (en) 2016-03-14 2016-03-14 Information display device, information display method, and program

Country Status (1)

Country Link
JP (1) JP2017167623A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017220070A (en) * 2016-06-09 2017-12-14 マツダ株式会社 Drive support device
JP2019121192A (en) * 2018-01-05 2019-07-22 アルパイン株式会社 Evaluation information generation system, evaluation information generation device, evaluation information generation method, and program
JP2021096220A (en) * 2019-12-17 2021-06-24 バイドゥ・インターナショナル・テクノロジー・(シェンチェン)・カンパニー・リミテッドBaidu International Technology (Shenzhen) Co., Ltd. Method, apparatus, electronic device and storage medium for displaying ar navigation
JP7491059B2 (en) 2020-05-28 2024-05-28 株式会社デンソー Driving assistance control device, driving assistance control program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (en) * 1993-06-29 1995-01-13 Hitachi Ltd Drive information device for vehicle
JP2006088722A (en) * 2004-09-21 2006-04-06 Nissan Motor Co Ltd Display device and method for vehicle
JP2009137341A (en) * 2007-12-04 2009-06-25 Calsonic Kansei Corp Head-up display device for vehicle
JP2015134521A (en) * 2014-01-16 2015-07-27 三菱電機株式会社 vehicle information display control device
JP2015161651A (en) * 2014-02-28 2015-09-07 アイシン・エィ・ダブリュ株式会社 Driving support system, driving support method, and driving support program
JP2016031603A (en) * 2014-07-28 2016-03-07 日本精機株式会社 Display system for vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (en) * 1993-06-29 1995-01-13 Hitachi Ltd Drive information device for vehicle
JP2006088722A (en) * 2004-09-21 2006-04-06 Nissan Motor Co Ltd Display device and method for vehicle
JP2009137341A (en) * 2007-12-04 2009-06-25 Calsonic Kansei Corp Head-up display device for vehicle
JP2015134521A (en) * 2014-01-16 2015-07-27 三菱電機株式会社 vehicle information display control device
JP2015161651A (en) * 2014-02-28 2015-09-07 アイシン・エィ・ダブリュ株式会社 Driving support system, driving support method, and driving support program
JP2016031603A (en) * 2014-07-28 2016-03-07 日本精機株式会社 Display system for vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017220070A (en) * 2016-06-09 2017-12-14 マツダ株式会社 Drive support device
JP2019121192A (en) * 2018-01-05 2019-07-22 アルパイン株式会社 Evaluation information generation system, evaluation information generation device, evaluation information generation method, and program
JP7016578B2 (en) 2018-01-05 2022-02-07 アルパイン株式会社 Evaluation information generation system, evaluation information generation device, evaluation information generation method, and program
JP2021096220A (en) * 2019-12-17 2021-06-24 バイドゥ・インターナショナル・テクノロジー・(シェンチェン)・カンパニー・リミテッドBaidu International Technology (Shenzhen) Co., Ltd. Method, apparatus, electronic device and storage medium for displaying ar navigation
US11566913B2 (en) 2019-12-17 2023-01-31 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method, apparatus, electronic device and storage medium for displaying AR navigation
JP7266556B2 (en) 2019-12-17 2023-04-28 阿波▲羅▼智▲聯▼(北京)科技有限公司 AR navigation display method, device, electronic device and storage medium
JP7491059B2 (en) 2020-05-28 2024-05-28 株式会社デンソー Driving assistance control device, driving assistance control program

Similar Documents

Publication Publication Date Title
JP7080598B2 (en) Vehicle control device and vehicle control method
CN110914884B (en) Vehicle controller and vehicle control method
US11993293B2 (en) Information processing apparatus, moving apparatus, and method, and program
CN110168581B (en) Maintaining awareness of occupants in a vehicle
EP2993083B1 (en) Apparatus, method and computer program for controlling road user acknowledgement
EP2857886A2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
EP2767450A1 (en) Lane departure warning system and a method for a lane departure warning system
JP2017151637A (en) Display device
JP2011242769A (en) Method and system for presenting information
US9969266B2 (en) Display control device, projection device, and non-transitory storage medium for vehicle speed limit notifications
US11148671B2 (en) Autonomous systems human controller simulation
JP2015232859A (en) Safety confirmation support system and safety confirmation support method
JP2017167623A (en) Information display device, information display method, and program
CN110116619B (en) Method for displaying information in a head-up display HUD of a vehicle
KR20210113070A (en) Attention-based notifications
JP2018185654A (en) Head-up display device
CN113525389A (en) Driver alertness detection method, device and system
JP6891926B2 (en) Vehicle systems, methods performed on vehicle systems, and driver assistance systems
JP2007286959A (en) Operation support device
JP2019086985A (en) Driving support device, driving condition information acquisition system, driving support method, and program
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
JP6428376B2 (en) Information display device
EP4124492A1 (en) Vehicle display control device, vehicle display device, vehicle display control method, and vehicle display control program
JP2008162550A (en) External environment display device
JP2017039461A (en) Vehicle display and control method of the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210105