JP2021082354A - Information providing device for automatic driving vehicle - Google Patents

Information providing device for automatic driving vehicle Download PDF

Info

Publication number
JP2021082354A
JP2021082354A JP2021031307A JP2021031307A JP2021082354A JP 2021082354 A JP2021082354 A JP 2021082354A JP 2021031307 A JP2021031307 A JP 2021031307A JP 2021031307 A JP2021031307 A JP 2021031307A JP 2021082354 A JP2021082354 A JP 2021082354A
Authority
JP
Japan
Prior art keywords
information
vehicle
driver
driving state
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021031307A
Other languages
Japanese (ja)
Inventor
晋吾 山下
Shingo Yamashita
晋吾 山下
神谷 玲朗
Reiro Kamiya
玲朗 神谷
真紀子 杉浦
Makiko Sugiura
杉浦  真紀子
政治 河合
Seiji Kawai
政治 河合
山本 博之
Hiroyuki Yamamoto
博之 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2021031307A priority Critical patent/JP2021082354A/en
Publication of JP2021082354A publication Critical patent/JP2021082354A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

To provide a technique for enabling a driver to sufficiently prepare psychologically or physiologically for switching from automatic driving to manual driving.SOLUTION: An information providing apparatus comprises: an information presentation unit (700) for presenting information to a driver in a vehicle; and an information provision control unit (230) for presenting information to the driver using the information presentation unit. The information provision control unit is arranged to set a higher degree of interruption of information provided by the information presentation unit than when the vehicle is in a manual driving state, under the condition that the vehicle is in an automatic driving state; and when the vehicle is switched from the automatic driving to the manual driving, the information provision control unit performs a switching preparation processing including reducing a degree of information interruption before switching to the manual driving state, so that the driver recognizes to be switched from the automatic driving state to the manual driving state.SELECTED DRAWING: Figure 6

Description

本発明は、車両の自動運転から手動運転への切り換え時の情報提供技術に関する。 The present invention relates to an information providing technique when switching from automatic driving to manual driving of a vehicle.

特許文献1には、車両が自動運転から手動運転に切り換える際に、自動運転機能の一部を停止して運転者に切り換え練習を行わせることによって、運転操作に対する慣れを図る技術が開示されている。 Patent Document 1 discloses a technique for accustoming to a driving operation by stopping a part of the automatic driving function and having the driver practice switching when the vehicle switches from automatic driving to manual driving. There is.

特開2017−199299号公報JP-A-2017-199299

しかしながら、従来技術では、自動運転から手動運転への切り換え時の心理的又は生理的な状態を考慮した情報の提供については、十分な工夫が行われていないのが実情であった。 However, in the prior art, the actual situation is that sufficient ingenuity has not been made in providing information in consideration of the psychological or physiological state at the time of switching from automatic driving to manual driving.

本発明の一形態によれば、自動運転可能な車両に設けられた情報提供装置が提供される。この情報提供装置は、前記車両の中の機器を介して前記車両内の運転者に伝達される車両内部情報および前記車両の中の機器を介さずに前記車両の外部から前記運転者に到達する視覚情報および聴覚情報を含む車両外部情報を含む情報の内、前記運転者に前記車両内部情報を提示するための情報提示部を利用して前記運転者に前記車両内部情報を提示する情報提供制御部、を備える。前記情報提供制御部は、前記車両が自動運転状態にある場合には、前記車両が手動運転状態にある場合に比べて前記情報提示部により提供する前記車両内部情報の遮断度を高く設定し、前記車両が前記自動運転状態から前記手動運転状態に切り換えられる場合に、前記車両内部情報の遮断度を低下させることを含む切換準備処理を実行することによって、前記運転者に前記自動運転状態から前記手動運転状態への切り換えが行われることを認識させるように構成されている。
本発明の一形態によれば、自動運転可能な車両に設けられた情報提供装置が提供される。この情報提供装置は、前記車両の中の機器を介して前記車両内の運転者に伝達される車両内部情報および前記車両の中の機器を介さずに前記車両の外部から前記運転者に到達する視覚情報および聴覚情報を含む車両外部情報を含む情報の内、前記運転者に前記車両内部情報を提示するための情報提示部を利用して前記運転者に前記車両内部情報を提示する情報提供制御部、を備える。前記情報提供制御部は、前記車両が自動運転状態にある場合には、前記車両が手動運転状態にある場合に比べて前記情報提示部により提供する前記車両外部情報の遮断度を高く設定し、前記車両が前記自動運転状態から前記手動運転状態に切り換えられる場合に、前記車両外部情報の遮断度を低下させることを含む切換準備処理を実行することによって、前記運転者に前記自動運転状態から前記手動運転状態への切り換えが行われることを認識させるように構成されている。
本発明の一形態によれば、自動運転可能な車両に設けられた情報提供装置が提供される。この情報提供装置は、前記車両の中の機器を介して前記車両内の運転者に伝達される車両内部情報を、前記運転者に提示するための情報提示部を利用して前記運転者に前記車両内部情報を提示する情報提供制御部、を備える。前記情報提供制御部は、前記車両が自動運転状態にある場合には、前記車両が手動運転状態にある場合に比べて前記情報提示部により提供する前記車両内部情報の遮断度を高く設定し、前記車両が前記自動運転状態から前記手動運転状態に切り換えられる場合に、前記手動運転状態への切り換え前に前記車両内部情報の遮断度を低下させることを含む切換準備処理を実行することによって、前記運転者に前記自動運転状態から前記手動運転状態への切り換えが行われることを認識させるように構成されている。
According to one embodiment of the present invention, an information providing device provided in a vehicle capable of autonomous driving is provided. This information providing device reaches the driver from the outside of the vehicle without the vehicle internal information transmitted to the driver in the vehicle via the equipment in the vehicle and the equipment in the vehicle. Information provision control for presenting the vehicle internal information to the driver by using the information presenting unit for presenting the vehicle internal information to the driver among the information including the vehicle external information including visual information and auditory information. It has a part. When the vehicle is in the automatic driving state, the information providing control unit sets a higher degree of blocking of the vehicle internal information provided by the information presenting unit than when the vehicle is in the manual driving state. When the vehicle is switched from the automatic driving state to the manual driving state, by executing a switching preparatory process including reducing the degree of blocking of the vehicle internal information, the driver is notified from the automatic driving state to the manual driving state. It is configured to recognize that a switch to the manual operation state is being performed.
According to one embodiment of the present invention, an information providing device provided in a vehicle capable of autonomous driving is provided. This information providing device reaches the driver from the outside of the vehicle without the vehicle internal information transmitted to the driver in the vehicle via the equipment in the vehicle and the equipment in the vehicle. Information provision control for presenting the vehicle internal information to the driver by using the information presenting unit for presenting the vehicle internal information to the driver among the information including the vehicle external information including visual information and auditory information. It has a part. When the vehicle is in the automatic driving state, the information providing control unit sets a higher degree of blocking of the vehicle external information provided by the information presenting unit than when the vehicle is in the manual driving state. When the vehicle is switched from the automatic driving state to the manual driving state, by executing a switching preparatory process including reducing the degree of blocking of the vehicle external information, the driver is notified from the automatic driving state to the manual driving state. It is configured to recognize that a switch to the manual operation state is being performed.
According to one embodiment of the present invention, an information providing device provided in a vehicle capable of autonomous driving is provided. This information providing device uses an information presenting unit for presenting the vehicle internal information transmitted to the driver in the vehicle via the device in the vehicle to the driver. It is equipped with an information providing control unit that presents vehicle internal information. When the vehicle is in the automatic driving state, the information providing control unit sets a higher degree of blocking of the vehicle internal information provided by the information presenting unit than when the vehicle is in the manual driving state. When the vehicle is switched from the automatic driving state to the manual driving state, the switching preparatory process including lowering the degree of blocking of the vehicle internal information is executed before switching to the manual driving state. It is configured to make the driver aware that the automatic operation state is switched to the manual operation state.

本発明の一形態に係る情報提供装置によれば、自動運転から手動運転に切り換える前に運転者に提供される情報の遮断度を低下させるので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備することが可能である。 According to the information providing device according to one embodiment of the present invention, the degree of blocking of information provided to the driver before switching from automatic driving to manual driving is reduced, so that the driver is psychologically affected by the switching of the driving state. Alternatively, it is possible to prepare sufficiently physiologically.

第1実施形態としての自動運転制御システムの構成を示すブロック図。The block diagram which shows the structure of the automatic operation control system as 1st Embodiment. 第1実施形態における車内設備の例を示す説明図。The explanatory view which shows the example of the in-vehicle equipment in 1st Embodiment. 自動運転区間と手動運転区間の例を示す説明図。Explanatory drawing which shows an example of an automatic operation section and a manual operation section. 第1実施形態における自動運転時の車内環境を示す説明図。Explanatory drawing which shows the vehicle interior environment at the time of automatic driving in 1st Embodiment. 第1実施形態における手動運転への切換準備処理の例を示す説明図。The explanatory view which shows the example of the switching preparation process to the manual operation in 1st Embodiment. 第1実施形態における運転切換処理の手順を示すフローチャート。The flowchart which shows the procedure of the operation switching processing in 1st Embodiment. 第2実施形態としての自動運転制御システムの構成を示すブロック図。The block diagram which shows the structure of the automatic operation control system as a 2nd Embodiment. 第2実施形態における車内設備の例を示す説明図。Explanatory drawing which shows the example of the in-vehicle equipment in 2nd Embodiment. 第2実施形態における自動運転時の車内環境を示す説明図。Explanatory drawing which shows the vehicle interior environment at the time of automatic driving in 2nd Embodiment. 第2実施形態における手動運転への切換準備処理の例を示す説明図。The explanatory view which shows the example of the switching preparation process to the manual operation in 2nd Embodiment. 第2実施形態における運転切換処理の手順を示すフローチャート。The flowchart which shows the procedure of the operation switching processing in 2nd Embodiment.

A.第1実施形態:
図1に示すように、第1実施形態の車両50は、自動運転制御システム100を備える。自動運転制御システム100は、自動運転ECU200(Electronic Control Unit)と、車両制御部300と、前方検出装置410と、後方検出装置420と、支援情報取得部500と、運転者状態監視部600と、情報提示部700とを備える。これらの装置は、CAN(Controller Area Network)などの車載ネットワークを介して互いに接続されている。なお、本明細書において、車両50を「自車両50」とも呼ぶ。
A. First embodiment:
As shown in FIG. 1, the vehicle 50 of the first embodiment includes an automatic driving control system 100. The automatic driving control system 100 includes an automatic driving ECU 200 (Electronic Control Unit), a vehicle control unit 300, a front detection device 410, a rear detection device 420, a support information acquisition unit 500, a driver status monitoring unit 600, and the like. It is provided with an information presentation unit 700. These devices are connected to each other via an in-vehicle network such as CAN (Controller Area Network). In addition, in this specification, a vehicle 50 is also referred to as "own vehicle 50".

自動運転ECU200は、図示しない記憶部に格納されたコンピュータプログラムを実行することによって、自動運転制御部210と、状況認知部220と、情報提供制御部230の機能をそれぞれ実現する。なお、自動運転ECU200の機能の一部をハードウェア回路で実現するようにしてもよい。 The automatic driving ECU 200 realizes the functions of the automatic driving control unit 210, the situation recognition unit 220, and the information provision control unit 230 by executing a computer program stored in a storage unit (not shown). In addition, a part of the functions of the automatic operation ECU 200 may be realized by a hardware circuit.

自動運転制御部210は、状況認知部220で認知される各種の状況を使用して、自車両50の自動運転の制御を実行する。具体的には、自動運転制御部210は、駆動部(エンジンやモータ)の動作状態を示す駆動指示値を駆動部制御装置310に送信し、ブレーキ機構の動作状態を示すブレーキ指示値をブレーキ制御装置320に送信し、車輪の操舵角を示す操舵角指示値を操舵角制御装置330に送信する。各制御装置310,320,330は、与えられた指示値に従ってそれぞれの制御対象機構の制御を実行する。なお、自動運転制御部210の各種の機能は、例えばディープラーニングなどの機械学習を利用した人工知能により実現可能である。 The automatic driving control unit 210 controls the automatic driving of the own vehicle 50 by using various situations recognized by the situation recognition unit 220. Specifically, the automatic operation control unit 210 transmits a drive instruction value indicating the operating state of the drive unit (engine or motor) to the drive unit control device 310, and brake controls the brake instruction value indicating the operating state of the brake mechanism. It is transmitted to the device 320, and a steering angle instruction value indicating the steering angle of the wheel is transmitted to the steering angle control device 330. Each of the control devices 310, 320, and 330 executes the control of the respective controlled target mechanism according to the given indicated value. It should be noted that various functions of the automatic operation control unit 210 can be realized by artificial intelligence using machine learning such as deep learning.

本明細書において「自動運転」とは、ドライバ(運転者)が運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。従って、自動運転では、駆動部の動作状態と、ブレーキ機構の動作状態と、車輪の操舵角が、自動的に決定される。「手動運転」とは、駆動部制御のための操作(アクセルペダルの踏込)と、ブレーキ制御のための操作(ブレーキベダルの踏込)と、操舵角制御のための操作(ステアリングホイールの回転)を、ドライバが実行する運転を意味する。 In the present specification, the "automatic operation" means an operation in which the driver (driver) automatically executes all of the drive unit control, the brake control, and the steering angle control without performing a driving operation. Therefore, in automatic driving, the operating state of the drive unit, the operating state of the brake mechanism, and the steering angle of the wheels are automatically determined. "Manual operation" refers to the operation for controlling the drive unit (depressing the accelerator pedal), the operation for controlling the brake (depressing the brake pedal), and the operation for controlling the steering angle (rotation of the steering wheel). , Means the operation performed by the driver.

本実施形態において、自動運転としては、SAEレベル4での自動運転を想定している。すなわち、予め設定された自動運転区間では自動運転制御システム100がすべての運転タスクを実施し、自動運転区間が終了すると手動運転に切り換えられる。 In the present embodiment, as the automatic operation, automatic operation at SAE level 4 is assumed. That is, in the preset automatic operation section, the automatic operation control system 100 executes all the operation tasks, and when the automatic operation section ends, the operation is switched to the manual operation.

状況認知部220は、前方検出装置410と、後方検出装置420と、支援情報取得部500と、一般センサ類340から提供される各種の情報や検出値を利用して、自車両50及び他車両60の走行状況や、周囲の環境を認知する。 The situation recognition unit 220 uses the front detection device 410, the rear detection device 420, the support information acquisition unit 500, and various information and detection values provided by the general sensors 340 to use the own vehicle 50 and other vehicles. Recognize the driving situation of 60 and the surrounding environment.

情報提供制御部230は、情報提示部700を用いて、自動運転状態や手動運転状態などの運転状態に適した情報を運転者に提示する制御を実行する。本実施形態において、情報提示部700は、メーターパネル710と、ナビゲーションパネル720と、音響装置730とを含んでいる。ナビゲーションパネル720は、ナビゲーション装置520の一部であるが、本実施形態では、情報提示部700の一部としても機能する。情報提供制御部230と情報提示部700の動作の内容については後述する。 The information providing control unit 230 uses the information presenting unit 700 to execute control for presenting information suitable for an operating state such as an automatic driving state or a manual driving state to the driver. In the present embodiment, the information presentation unit 700 includes a meter panel 710, a navigation panel 720, and an audio device 730. The navigation panel 720 is a part of the navigation device 520, but in the present embodiment, it also functions as a part of the information presentation unit 700. The details of the operations of the information providing control unit 230 and the information presenting unit 700 will be described later.

車両制御部300は、車両50の運転のための各種の制御を実行する部分であり、自動運転と手動運転のいずれの場合にも利用される。車両制御部300は、駆動部制御装置310と、ブレーキ制御装置320と、操舵角制御装置330と、一般センサ類340とを含む。駆動部制御装置310は、車両50の車輪を駆動する駆動部(図示せず)を制御する機能を有する。車輪の駆動部としては、内燃機関と電動モータのうちの1つ以上の原動機を使用可能である。ブレーキ制御装置320は、車両50のブレーキ制御を実行する。ブレーキ制御装置320は、例えば電子制御ブレーキシステム(ECB)として構成される。操舵角制御装置330は、車両50の車輪の操舵角を制御する。「操舵角」とは、車両50の2つの前輪の平均操舵角を意味する。操舵角制御装置330は、例えば電動パワーステアリングシステム(EPS)として構成される。一般センサ類340は、車速センサ342と操舵角センサ344とヨーレートセンサ346を含んでおり、車両50の運転に必要とされる一般的なセンサ類である。一般センサ類340は、自動運転と手動運転のいずれの場合にも利用されるセンサを含んでいる。 The vehicle control unit 300 is a part that executes various controls for driving the vehicle 50, and is used in both automatic driving and manual driving. The vehicle control unit 300 includes a drive unit control device 310, a brake control device 320, a steering angle control device 330, and general sensors 340. The drive unit control device 310 has a function of controlling a drive unit (not shown) that drives the wheels of the vehicle 50. As the wheel drive unit, one or more prime movers of an internal combustion engine and an electric motor can be used. The brake control device 320 executes the brake control of the vehicle 50. The brake control device 320 is configured as, for example, an electronically controlled brake system (ECB). The steering angle control device 330 controls the steering angle of the wheels of the vehicle 50. The "steering angle" means the average steering angle of the two front wheels of the vehicle 50. The steering angle control device 330 is configured as, for example, an electric power steering system (EPS). The general sensors 340 include a vehicle speed sensor 342, a steering angle sensor 344, and a yaw rate sensor 346, and are general sensors required for driving the vehicle 50. The general sensors 340 include sensors used in both automatic operation and manual operation.

前方検出装置410は、車載センサを使用して、自車両50の前方に存在する物体や道路設備(車線、交差点、信号機等)等の各種の対象物に関する情報を取得する。本実施形態において、前方検出装置410は、カメラ412と、レーダー装置414とを含んでいる。カメラ412としては、ステレオカメラや単眼カメラを使用可能である。また、カメラ412は、対象物の色(例えば白線の走路区画線と黄線の走路区画線)を区別するために、カラーカメラであることが好ましい。レーダー装置414としては、光を放射するLIDAR(Light Detection and Ranging)や、電波を放射するレーダー(例えばミリ波レーダー)など、電磁波を放射する各種のレーダーを使用可能である。後方検出装置420は、自車両50の後方に存在する物体や道路設備等の各種の対象物に関する情報を取得する。後方検出装置420も、前方検出装置410と同様な車載センサを含むように構成可能である。 The front detection device 410 uses an in-vehicle sensor to acquire information on various objects such as objects existing in front of the own vehicle 50 and road equipment (lanes, intersections, traffic lights, etc.). In this embodiment, the forward detection device 410 includes a camera 412 and a radar device 414. As the camera 412, a stereo camera or a monocular camera can be used. Further, the camera 412 is preferably a color camera in order to distinguish the color of the object (for example, the track marking line of the white line and the track marking line of the yellow line). As the radar device 414, various radars that radiate electromagnetic waves, such as LIDAR (Light Detection and Ranging) that radiates light and a radar that radiates radio waves (for example, millimeter-wave radar), can be used. The rear detection device 420 acquires information on various objects such as objects and road equipment existing behind the own vehicle 50. The rear detection device 420 can also be configured to include an in-vehicle sensor similar to the front detection device 410.

支援情報取得部500は、自動運転のための各種の支援情報を取得する。支援情報取得部500は、GNSS受信機510と、ナビゲーション装置520と、無線通信装置530とを含んでいる。GNSS受信機510は、GNSS(Global Navigation Satellite System)を構成する人工衛星から受信した航法信号に基づいて、自車両50の現在位置(経度・緯度)を測位する。ナビゲーション装置520は、目的地とGNSS受信機510で検出される自車位置とに基づいて、自動運転における予定ルートを決定する機能を有する。予定ルートの決定や修正のために、GNSS受信機510に加えて、ジャイロ等の他のセンサを利用してもよい。無線通信装置530は、高度道路交通システム70(Intelligent Transport System)との無線通信によって自車両50の状況や周囲の状況に関する状況情報を交換することが可能であり、また、他車両60との車車間通信や、道路設備に設置された路側無線機との路車間通信を行って状況情報を交換することも可能である。支援情報取得部500は、このような無線通信を介して得られる状況情報を利用して、自車の走行状況に関する情報の一部を取得するようにしてもよい。支援情報取得部500によって取得された各種の支援情報は、自動運転ECU200に送信される。 The support information acquisition unit 500 acquires various support information for automatic driving. The support information acquisition unit 500 includes a GNSS receiver 510, a navigation device 520, and a wireless communication device 530. The GNSS receiver 510 positions the current position (longitude / latitude) of the own vehicle 50 based on the navigation signal received from the artificial satellites constituting the GNSS (Global Navigation Satellite System). The navigation device 520 has a function of determining a planned route in automatic driving based on the destination and the position of the own vehicle detected by the GNSS receiver 510. In addition to the GNSS receiver 510, other sensors such as a gyro may be used to determine or modify the planned route. The wireless communication device 530 can exchange status information regarding the status of the own vehicle 50 and the surrounding conditions by wireless communication with the intelligent transport system 70 (Intelligent Transport System), and also has a vehicle with another vehicle 60. It is also possible to exchange status information by performing inter-vehicle communication or road-to-vehicle communication with a roadside radio installed in road equipment. The support information acquisition unit 500 may acquire a part of the information regarding the traveling status of the own vehicle by using the status information obtained via such wireless communication. Various types of support information acquired by the support information acquisition unit 500 are transmitted to the automatic operation ECU 200.

運転者状態監視部600は、カメラや脈拍センサなどのセンサを用いて運転者の状態を検出する機能を有する。例えば、運転者状態監視部600は、運転者の目線の動きや、瞼の開度、頭の動きなどをカメラで監視することによって、運転者が十分に覚醒した状態にあるか否かや、車両50の前方に集中しているか否か、等の複数の項目を推定することが可能である。また、運転者状態監視部600は、運転者の心拍数や、体温、呼吸数等の生体情報を検出する生体センサを利用して、睡眠のリズムを含む運転者の状態を推定するように構成されていてもよい。 The driver condition monitoring unit 600 has a function of detecting the driver's condition by using a sensor such as a camera or a pulse sensor. For example, the driver condition monitoring unit 600 monitors the movement of the driver's eyes, the opening of the eyelids, the movement of the head, and the like with a camera to determine whether or not the driver is sufficiently awake. It is possible to estimate a plurality of items such as whether or not the vehicle is concentrated in front of the vehicle 50. Further, the driver condition monitoring unit 600 is configured to estimate the driver's condition including the sleep rhythm by using a biological sensor that detects biological information such as the driver's heart rate, body temperature, and respiratory rate. It may have been done.

図2に示すように、第1実施形態では、車両50の車内設備として、ダッシュボード10に、空調装置の送風口14と、メーターパネル710と、ナビゲーションパネル720と、運転者状態監視部600と、が設けられている。運転者状態監視部600は、運転者の目や頭の動きを監視可能なカメラを含んでいる。フロントウィンドウ40の上方にはバックミラー460が設けられている。また、左右のドア20には音響装置730としてのスピーカーがそれぞれ設けられている。図2は手動運転時の状態であり、メーターパネル710とナビゲーションパネル720の表示が行われている。 As shown in FIG. 2, in the first embodiment, as the in-vehicle equipment of the vehicle 50, the dashboard 10, the air conditioner air outlet 14, the meter panel 710, the navigation panel 720, and the driver condition monitoring unit 600 are provided. , Are provided. The driver condition monitoring unit 600 includes a camera capable of monitoring the movement of the driver's eyes and head. A rear-view mirror 460 is provided above the front window 40. Further, the left and right doors 20 are provided with speakers as an audio device 730, respectively. FIG. 2 shows a state during manual operation, and the instrument panel 710 and the navigation panel 720 are displayed.

図3に示すように、車両50は、自動運転区間ADAを走行しており、自動運転区間ADAが終了すると、手動運転区間MADに入るものと仮定する。なお、自動運転区間ADAには、パーキングエリアやサービスエリアなどの退避場所が設けられている。車内設備の動作状態としての車内環境は、自動運転時と手動運転時では異なる状態に設定される。 As shown in FIG. 3, it is assumed that the vehicle 50 is traveling in the automatic driving section ADA and enters the manual driving section MAD when the automatic driving section ADA ends. The automatic operation section ADA is provided with evacuation areas such as a parking area and a service area. The in-vehicle environment as the operating state of the in-vehicle equipment is set to a different state during automatic driving and manual driving.

図4に示すように、情報提供制御部230は、自動運転時にはメーターパネル710とナビゲーションパネル720の表示を停止させるか、もしくは表示画面の一部をマスクしたり、表示画面の輝度、彩度、コントラストを下げたりすることで、表示画面の“遮蔽度”を制御する。例えば、図2に示した手動運転時の状態では、メーターパネル710には車速が表示されているが、自動運転時には車速を含む情報の表示が停止される。情報提供制御部230は、更に、音響装置730を用いたナビゲーション音声の発行を停止したり、音量を下げたりしてもよい。メーターパネル710とナビゲーションパネル720の表示の停止等は、視覚情報の遮蔽度を高めていることと考えることが可能である。また、音響装置730の動作の停止、もしくは音量を下げる制御は、聴覚情報の“遮蔽度”を高めていることと考えることが可能である。 As shown in FIG. 4, the information providing control unit 230 stops the display of the meter panel 710 and the navigation panel 720 during automatic operation, masks a part of the display screen, or determines the brightness and saturation of the display screen. By lowering the contrast, the "shielding degree" of the display screen is controlled. For example, in the state of manual driving shown in FIG. 2, the vehicle speed is displayed on the instrument panel 710, but the display of information including the vehicle speed is stopped during automatic driving. The information providing control unit 230 may further stop issuing the navigation voice using the sound device 730 or lower the volume. It can be considered that the stop of the display of the instrument panel 710 and the navigation panel 720 enhances the degree of shielding of visual information. Further, it can be considered that the control of stopping the operation of the audio device 730 or lowering the volume increases the "shielding degree" of the auditory information.

図4の例において、自動運転時に遮蔽度が高められている情報は、いずれも車両50の中の機器を介して運転者に伝達される情報である。このように、車両50の中の機器を介して運転者に伝達される情報を、「車両内部情報」と呼ぶ。車両内部情報には、車速などの視覚情報や、ナビゲーション音声などの聴覚情報が含まれる。第1実施形態では、自動運転時には、手動運転時に比べて車両内部情報の遮蔽度が高めれているものと考えることができる。なお、本明細書において、「運転者」という用語は、自動運転中は運転操作を行わないが、手動運転時には運転操作を行う者を意味する。 In the example of FIG. 4, the information whose degree of shielding is increased during automatic driving is information transmitted to the driver via the device in the vehicle 50. The information transmitted to the driver via the device in the vehicle 50 in this way is called "vehicle internal information". Vehicle internal information includes visual information such as vehicle speed and auditory information such as navigation voice. In the first embodiment, it can be considered that the degree of shielding of vehicle internal information is higher during automatic driving than during manual driving. In the present specification, the term "driver" means a person who does not perform a driving operation during automatic driving but performs a driving operation during manual driving.

このように、情報提供制御部230は、車両50が自動運転状態にある場合には、車両50が手動運転状態にある場合に比べて情報提示部700により提供する情報の遮断度を高く設定している。こうすることによって、自動運転中において、運転者は、よりリラックスした状態で休息を取ることが可能となる。 In this way, the information providing control unit 230 sets the degree of blocking of the information provided by the information presenting unit 700 higher when the vehicle 50 is in the automatic driving state than when the vehicle 50 is in the manual driving state. ing. By doing so, the driver can take a rest in a more relaxed state during automatic driving.

図5に示すように、情報提供制御部230は、自動運転から手動運転に切り換える際の切換準備処理として、メーターパネル710とナビゲーションパネル720の表示を開始する。切換準備処理では、更に、音響装置730の動作を開始してもよい。これらの切換準備処理は、手動運転に切り換える前に自動運転が行われている間に実行される。換言すれば、情報提供制御部230は、手動運転状態への切り換え前に情報の遮断度を低下させる。こうすれば、運転者に自動運転状態から手動運転状態への切り換えが行われることを認識させることができるので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備することが可能である。 As shown in FIG. 5, the information providing control unit 230 starts displaying the meter panel 710 and the navigation panel 720 as a switching preparatory process when switching from the automatic operation to the manual operation. In the switching preparation process, the operation of the audio device 730 may be further started. These switching preparatory processes are executed while the automatic operation is being performed before switching to the manual operation. In other words, the information providing control unit 230 lowers the degree of blocking information before switching to the manual operation state. In this way, the driver can be made aware that the switching from the automatic driving state to the manual driving state is performed, so that the driver is sufficiently prepared psychologically or physiologically for the switching of the driving state. Is possible.

なお、運転状態を自動運転から手動運転に切り換える前の切換準備処理としては、情報の遮断度の低下の他に、他の処理を実行してもよい。この具体例については第2実施形態で説明する。 As the switching preparatory process before switching the operation state from the automatic operation to the manual operation, other processes may be executed in addition to the reduction of the information blocking degree. This specific example will be described in the second embodiment.

図6に示すように、自動運転から手動運転への運転切換処理において、ステップS110では運転者状態監視部600が運転者の状態を検出し、ステップS120では自動運転制御部210が走行計画を読み込む。走行計画は、自動運転区間ADAをどこまで走行するかの計画であり、自動運転区間ADAでの走行を開始する前に予め決定されて、自動運転ECU200内の図示しない記憶装置に記憶されている。ステップS130では、自動運転ECU200が、自動運転から手動運転への切換が必要か否かを判定する。この判定は、例えば、走路が自動運転区間ADAから手動運転区間MDAに切り換わる時点から予め定めた時間(例えば30分)前に達したか否かを判断することによって実行される。時間の代わりに、距離を用いて判定してもよい。運転の切換が不要な場合にはステップS110,S120に戻り、運転の切換が必要な場合にはステップS140に進む。 As shown in FIG. 6, in the operation switching process from automatic operation to manual operation, the driver condition monitoring unit 600 detects the driver's condition in step S110, and the automatic operation control unit 210 reads the travel plan in step S120. .. The travel plan is a plan of how far the vehicle travels in the automatic driving section ADA, is determined in advance before starting traveling in the automatic driving section ADA, and is stored in a storage device (not shown) in the automatic driving ECU 200. In step S130, the automatic operation ECU 200 determines whether or not switching from automatic operation to manual operation is necessary. This determination is performed, for example, by determining whether or not the track has reached a predetermined time (for example, 30 minutes) before the time when the automatic driving section ADA is switched to the manual driving section MDA. Distance may be used instead of time. If it is not necessary to switch the operation, the process returns to steps S110 and S120, and if it is necessary to switch the operation, the process proceeds to step S140.

ステップS140では、運転者状態監視部600が、運転者の状態が、情報提示部700により提供される情報を受け取れる状態にあるか否かを判定する。この判定は、例えば、運転者状態監視部600が運転者の適合度を推定するとともに、その適合度が予め定めた適合度閾値に達しているか否かによって判定を実行してもよい。「運転者の適合度」とは、情報提示部700により提供される情報を運転者が受け取れる状態に達している程度を示す値である。運転者の適合度は、例えば、運転者の目線の動きや、瞼の開度、頭の動きなどをカメラで監視することによって、運転者が十分に覚醒した状態にあるか否か、及び、車両50の前方に集中しているか否か、等の複数の項目を推定し、これらの推定結果から適合度を決定することが可能である。運転車の適合度が予め定めた適合度閾値に達している場合には、運転者が情報提示部700により提供される情報を受け取れる状態にあるものと判定され、一方、適合度が適合度閾値に達していない場合にはこのような状態に無いものと判定される。 In step S140, the driver condition monitoring unit 600 determines whether or not the driver's condition is in a state where the information provided by the information presentation unit 700 can be received. For this determination, for example, the driver condition monitoring unit 600 may estimate the goodness of fit of the driver and execute the determination based on whether or not the goodness of fit reaches a predetermined goodness-of-fit threshold. The “driver's goodness of fit” is a value indicating the degree to which the driver has reached a state where the information provided by the information presentation unit 700 can be received. The goodness of fit of the driver is, for example, whether or not the driver is sufficiently awake by monitoring the movement of the driver's eyes, the opening of the eyelids, the movement of the head, etc. with a camera. It is possible to estimate a plurality of items such as whether or not the vehicle is concentrated in front of the vehicle 50, and determine the goodness of fit from these estimation results. When the goodness of fit of the driving vehicle reaches a predetermined goodness-of-fit threshold, it is determined that the driver is in a state of receiving the information provided by the information presenting unit 700, while the goodness of fit is the goodness-of-fit threshold. If it does not reach, it is determined that this is not the case.

運転者が情報提示部700により提供される情報を受け取れる状態にない場合には、ステップS180に進み、自動運転区間ADAに十分な余裕があるか否かが判定される。十分な余裕があるか否かは、例えば、現時点から自動運転区間ADAの終点までの予測時間が予め定められた閾値以上か否かによって判断できる。十分な余裕がある場合には、前述したステップS140に戻る。十分な余裕が無い場合には、ステップS190に進み、自動運転ECU200がサービスエリアやパーキングエリアのような退避場所に車両50を導いて駐車させる。 If the driver is not in a state of being able to receive the information provided by the information presenting unit 700, the process proceeds to step S180, and it is determined whether or not there is a sufficient margin in the automatic driving section ADA. Whether or not there is a sufficient margin can be determined, for example, by whether or not the predicted time from the present time to the end point of the automatic operation section ADA is equal to or greater than a predetermined threshold value. If there is sufficient margin, the process returns to step S140 described above. If there is not enough room, the process proceeds to step S190, and the automatic driving ECU 200 guides the vehicle 50 to a shelter such as a service area or a parking area to park the vehicle.

ステップS150では、運転環境を切り換えるタイミングに達したか否かが判定される。このタイミングは、前述した図4に示したような自動運転時の車内環境から、図5に示したような車内環境に変更するタイミングを意味する。この切換タイミングは、自動運転区間ADAの終点に到達するよりも前であって、運転者が手動運転に向けて心理的/生理的準備を十分に行える時間を考慮して予め決定される。運転環境の切換タイミングに達していない場合には、ステップS150からステップS140に戻る。一方、運転環境の切換タイミングに達した場合には、ステップS160に進み、図5で説明したように、情報提示部700により提供される情報の遮蔽度を低下させて、より多くの情報を運転者に提示する。 In step S150, it is determined whether or not the timing for switching the operating environment has been reached. This timing means the timing of changing from the in-vehicle environment during automatic driving as shown in FIG. 4 to the in-vehicle environment as shown in FIG. This switching timing is determined in advance in consideration of the time before reaching the end point of the automatic driving section ADA and when the driver can sufficiently prepare psychologically / physiologically for manual driving. If the switching timing of the operating environment has not been reached, the process returns from step S150 to step S140. On the other hand, when the switching timing of the operating environment is reached, the process proceeds to step S160, and as described with reference to FIG. 5, the degree of shielding of the information provided by the information presenting unit 700 is lowered to drive more information. Present to the person.

その後、自動運転区間ADAが終了して手動運転区間MDAが開始される時に、ステップS170において自動運転から手動運転への切り換えが実行される。 After that, when the automatic operation section ADA ends and the manual operation section MDA starts, the switching from the automatic operation to the manual operation is executed in step S170.

以上のように、第1実施形態では、車両50が自動運転状態から手動運転状態に切り換えられる場合に、手動運転状態への切り換え前に情報の遮断度を低下させることを含む切換準備処理を実行することによって、運転者に自動運転状態から手動運転状態への切り換えが行われることを認識させる。こうすれば、自動運転から手動運転に切り換える前に運転者に提供される情報の遮断度を低下させるので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備することが可能である。 As described above, in the first embodiment, when the vehicle 50 is switched from the automatic driving state to the manual driving state, a switching preparation process including lowering the degree of blocking of information before switching to the manual driving state is executed. By doing so, the driver is made aware that the automatic operation state is switched to the manual operation state. In this way, the degree of blocking of the information provided to the driver before switching from automatic driving to manual driving is reduced, so that the driver can be sufficiently prepared psychologically or physiologically for the switching of the driving state. It is possible.

B.第2実施形態:
図7に示すように、第2実施形態の自動運転制御システム100aは、第1実施形態の自動運転制御システム100に準備促進部800とモチベーション促進部900とを追加し、また、情報提示部700に含まれる機器として、電子ミラー740と、ヘッドアップディスプレイ750と、透過率変更ガラス760とを追加したものであり、他の構成は第1実施形態と同じである。なお、前方検出装置410や支援情報取得部500の構成は第1実施形態と同じであるが、図7ではその内部の構成を省略している。
B. Second embodiment:
As shown in FIG. 7, the automatic operation control system 100a of the second embodiment adds a preparation promotion unit 800 and a motivation promotion unit 900 to the automatic operation control system 100 of the first embodiment, and also adds an information presentation unit 700. As the equipment included in the above, an electronic mirror 740, a head-up display 750, and a transmittance changing glass 760 are added, and other configurations are the same as those of the first embodiment. The configuration of the front detection device 410 and the support information acquisition unit 500 is the same as that of the first embodiment, but the internal configuration is omitted in FIG. 7.

準備促進部800は、警告発生部810と、座席振動部820とを有する。警告発生部810は、手動運転に切り換わる旨の警告を音声で発生する。座席振動部820は、座席を振動させる。警告発生部810と座席振動部820は、自動運転から手動運転に切り換える際に、情報提示部700により提供される情報を運転者が受け取れる状態に達するように、運転者の準備を促進させる機能を有する。すなわち、警告発生部810は、手動運転への切換前に手動運転に切り換わる旨の警告を発生することによって、運転者の準備を促進させることができる。また、座席振動部820は、手動運転への切換前に運転席を振動させることによって、運転者の準備を促進させることができる。 The preparation promotion unit 800 has a warning generation unit 810 and a seat vibration unit 820. The warning generation unit 810 issues a voice warning to the effect that the operation will be switched to manual operation. The seat vibrating unit 820 vibrates the seat. The warning generation unit 810 and the seat vibration unit 820 have a function of promoting the driver's preparation so that the driver can receive the information provided by the information presentation unit 700 when switching from the automatic operation to the manual operation. Have. That is, the warning generation unit 810 can accelerate the preparation of the driver by issuing a warning that the operation is switched to the manual operation before switching to the manual operation. Further, the seat vibration unit 820 can accelerate the preparation of the driver by vibrating the driver's seat before switching to the manual operation.

モチベーション促進部900は、内装ディスプレイ910と、音響効果部920とを有し、自動運転から手動運転に切り換える際に、手動運転に対する運転者のモチベーションを促進する機能を有する。内装ディスプレイ910は、車両の内装を視覚的に変化させる内装状態変化部に相当する。音響効果部920は、運転者に手動運転状態に適した聴覚情報を伝達する聴覚情報伝達部に相当する。モチベーション促進部900の動作や機能については後述する。 The motivation promoting unit 900 has an internal display 910 and a sound effect unit 920, and has a function of promoting the driver's motivation for manual driving when switching from automatic driving to manual driving. The interior display 910 corresponds to an interior state changing portion that visually changes the interior of the vehicle. The sound effect unit 920 corresponds to an auditory information transmission unit that transmits auditory information suitable for a manual driving state to the driver. The operation and function of the motivation promotion unit 900 will be described later.

図8に示すように、第2実施形態の車両50の車内設備は、以下の点で図2に示した第1実施形態と異なっている。
(a)バックミラー46が電子ミラー740に置き換えられている。
(b)ヘッドアップディスプレイ750が追加されている。
(c)フロントウィンドウ(ウィンドシールド)のガラスが透過率変更ガラス760に変更されている。透過率変更ガラス760の代わりに、ブラインドやカーテンを用いて外界の視覚情報の遮蔽度を変更するようにしてもよい。
(d)ダッシュボード10やドア20の内装として、内装ディスプレイ910が利用されている。内装ディスプレイ910は、例えば、種々の画像を表示可能なシート状の表示装置である。或いは、投影装置を用いて内装ディスプレイ910と同様な表示を実現してもよい。
As shown in FIG. 8, the in-vehicle equipment of the vehicle 50 of the second embodiment is different from that of the first embodiment shown in FIG. 2 in the following points.
(A) The rearview mirror 46 has been replaced by an electronic mirror 740.
(B) A head-up display 750 has been added.
(C) The glass of the front window (windshield) has been changed to the transmittance changing glass 760. Instead of the transmittance changing glass 760, a blind or a curtain may be used to change the degree of shielding of visual information in the outside world.
(D) The interior display 910 is used as the interior of the dashboard 10 and the door 20. The interior display 910 is, for example, a sheet-shaped display device capable of displaying various images. Alternatively, a projection device may be used to realize a display similar to that of the internal display 910.

図9に示すように、第2実施形態において、自動運転時には以下のような制御が実行される。
<情報提供制御部230の制御による情報遮蔽度の増大>
(A1)メーターパネル710の表示を停止、もしくは一部をマスクしたり、表示の輝度、彩度、コントラストを下げたりする。
(A2)ナビゲーションパネル720の表示を停止、もしくは一部をマスクしたり、表示の輝度、彩度、コントラストを下げたりする。
(A3)電子ミラー740の表示を停止、もしくは一部をマスクしたり、表示の輝度、彩度、コントラストを下げたりする。
(A4)ヘッドアップディスプレイ750の表示を停止、もしくは一部をマスクしたり、表示の輝度、彩度、コントラストを下げたりする。
(A5)音響装置730を用いたナビゲーション音声の発行を停止、もしくは音量を下げたりする。
(A6)透過率変更ガラス760の透過率を低下させる。
(A7)音響装置730にアクティブノイズキャンセリング動作を実行させて、車外からの雑音や路面振動音を軽減する。
<モチベーション促進部900の制御による動作>
(A8)内装ディスプレイ910の表示を、自動運転用に変更する。
As shown in FIG. 9, in the second embodiment, the following control is executed during automatic operation.
<Increasing the degree of information shielding by controlling the information providing control unit 230>
(A1) The display of the instrument panel 710 is stopped or partially masked, or the brightness, saturation, and contrast of the display are lowered.
(A2) The display of the navigation panel 720 is stopped or partially masked, or the brightness, saturation, and contrast of the display are lowered.
(A3) The display of the electronic mirror 740 is stopped, a part of the display is masked, or the brightness, saturation, and contrast of the display are lowered.
(A4) The display of the head-up display 750 is stopped or partially masked, or the brightness, saturation, and contrast of the display are lowered.
(A5) The issuance of navigation voice using the sound device 730 is stopped or the volume is lowered.
(A6) Transmittance change The transmittance of the glass 760 is reduced.
(A7) The sound device 730 is made to perform an active noise canceling operation to reduce noise from outside the vehicle and road surface vibration noise.
<Operation under the control of the motivation promotion unit 900>
(A8) The display of the internal display 910 is changed for automatic operation.

上記項目(A1)〜(A5)で動作の停止等が行われる情報は、いずれも車両の中の機器を介して運転者に伝達される情報なので、「車両内部情報」に該当する。一方、項目(A6)において透過率変更ガラス760を介して運転者に視認される外界の景色は、車両の中の機器を介さずに運転者に伝達される視覚情報である。また、項目(A7)において軽減される車外の雑音や路面振動音も、車両の中の機器を介さずに運転者に伝達される聴覚情報である。このように、車両の中の機器を介さずに運転者に伝達される情報を「車両外部情報」と呼ぶ。第2実施形態では、自動運転時には、車両内部情報のみでなく、車両外部情報についても、手動運転時に比べて情報の遮蔽度が高められている。 The information in which the operation is stopped or the like in the above items (A1) to (A5) is all information transmitted to the driver via the equipment in the vehicle, and therefore corresponds to "vehicle internal information". On the other hand, in the item (A6), the scenery of the outside world visually recognized by the driver through the transmittance changing glass 760 is visual information transmitted to the driver without going through the equipment in the vehicle. Further, the noise outside the vehicle and the vibration noise of the road surface, which are reduced in the item (A7), are also auditory information transmitted to the driver without going through the equipment inside the vehicle. Information transmitted to the driver without going through the equipment inside the vehicle in this way is called "vehicle external information". In the second embodiment, not only the information inside the vehicle but also the information outside the vehicle during automatic driving has a higher degree of shielding than during manual driving.

なお、自動運転と手動運転で遮蔽度を変更する情報としては、車両内部情報と車両外部情報の少なくとも一方を選択することができる。例えば、運転者の好みに合わせて、遮蔽度を変更する情報の種類を予め情報提供制御部230に登録しておくようにしてもよい。こうすれば、運転者の好みに合わせて自動運転と手動運転における環境を適切に切り換えることが可能となる。 As the information for changing the degree of shielding between automatic driving and manual driving, at least one of vehicle internal information and vehicle external information can be selected. For example, the type of information for which the degree of shielding is changed may be registered in advance in the information providing control unit 230 according to the driver's preference. In this way, it is possible to appropriately switch the environment between automatic driving and manual driving according to the driver's preference.

上記項目(A8)において、内装ディスプレイ910で表示される画像は、車両の運転に直接的な関係が無く、運転者に対して運転状態(自動運転か手動運転か)に応じた好ましい車内環境を提供する手段として利用される。例えば、自動運転中は、自宅の居間にいるような車内環境とするように内装ディスプレイ910の表示を設定することができる。 In the above item (A8), the image displayed on the interior display 910 is not directly related to the driving of the vehicle, and gives the driver a favorable in-vehicle environment according to the driving state (automatic driving or manual driving). It is used as a means of providing. For example, during automatic driving, the display of the interior display 910 can be set so as to create an in-vehicle environment such as that of a living room at home.

図10に示すように、第2実施形態において、自動運転から手動運転に切り換える際には、以下のような各種の処理を含む切換準備処理が実行される。
<情報提供制御部230の制御による情報遮蔽度の低下>
(B1)メーターパネル710の表示を開始したり、もしくはマスクを停止したり、表示の輝度、再度、コントラストを上げたりする。
(B2)ナビゲーションパネル720の表示を開始したり、もしくはマスクを停止したり、表示の輝度、再度、コントラストを上げたりする。
(B3)電子ミラー740の表示を開始したり、もしくはマスクを停止したり、表示の輝度、再度、コントラストを上げたりする。
(B4)ヘッドアップディスプレイ750の表示を開始したり、もしくはマスクを停止したり、表示の輝度、再度、コントラストを上げたりする。
(B5)音響装置730を用いたナビゲーション音声の発行を開始、もしくは音量を上げたりする。
(B6)透過率変更ガラス760の透過率を増加させる。
(B7)音響装置730にアクティブノイズキャンセリング動作を停止したり、ノイズキャンセリング効果を低下させたりする。
<準備促進部800の制御による準備促進動作>
(B8)警告発生部810を用いて手動運転に切り換わる旨の警告を発生させる。
(B9)座席振動部820を用いて座席を振動させる。
<モチベーション促進部900の制御によるモチベーション促進動作>
(B10)内装ディスプレイ910の表示を、手動運転に切り換えることを示す特定の表示内容や画像に変更し、運転者の手動運転へのモチベーションを向上させる。
(B11)音響効果部920を用いて、手動運転に切り換えることを示す特定の音楽などの聴覚情報を音響装置730から提供し、運転者の手動運転へのモチベーションを向上させる。
As shown in FIG. 10, in the second embodiment, when switching from the automatic operation to the manual operation, a switching preparation process including various processes as described below is executed.
<Reduction of information shielding degree by control of information provision control unit 230>
(B1) The display of the instrument panel 710 is started, the mask is stopped, the brightness of the display is increased, and the contrast is increased again.
(B2) The display of the navigation panel 720 is started, the mask is stopped, the brightness of the display is increased, and the contrast is increased again.
(B3) The display of the electronic mirror 740 is started, the mask is stopped, the brightness of the display is increased, and the contrast is increased again.
(B4) The display of the head-up display 750 is started, the mask is stopped, the brightness of the display is increased, and the contrast is increased again.
(B5) Start issuing navigation voice using the sound device 730, or raise the volume.
(B6) Transmittance change Increases the transmittance of the glass 760.
(B7) The sound device 730 stops the active noise canceling operation or reduces the noise canceling effect.
<Preparation promotion operation under the control of the preparation promotion unit 800>
(B8) The warning generation unit 810 is used to generate a warning to the effect that the operation is switched to manual operation.
(B9) The seat is vibrated by using the seat vibrating unit 820.
<Motivation promotion operation under the control of the motivation promotion unit 900>
(B10) The display of the internal display 910 is changed to a specific display content or image indicating switching to manual driving, and the motivation of the driver to manual driving is improved.
(B11) The sound effect unit 920 is used to provide auditory information such as specific music indicating switching to manual driving from the sound device 730 to improve the driver's motivation for manual driving.

上記項目(B1)〜(B7)の動作は、情報提供制御部230が、手動運転状態への切り換え前に情報の遮断度を低下させる動作である。こうすれば、運転者に自動運転状態から手動運転状態への切り換えが行われることを認識させることができるので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備することが可能である。 The operations of the above items (B1) to (B7) are operations in which the information providing control unit 230 lowers the degree of information blocking before switching to the manual operation state. In this way, the driver can be made aware that the switching from the automatic driving state to the manual driving state is performed, so that the driver is sufficiently prepared psychologically or physiologically for the switching of the driving state. Is possible.

上記項目(B8),(B9)の動作は、運転者の適合度が予め定めた適合度閾値に達するように運転者の準備状態を促進する動作である。なお、第1実施形態で説明したように、運転者の適合度は、情報提示部700により提供される情報を運転者が受け取れる状態に達している程度を示す値である。 The operations of the above items (B8) and (B9) are operations that promote the driver's ready state so that the driver's goodness of fit reaches a predetermined goodness-of-fit threshold. As described in the first embodiment, the goodness of fit of the driver is a value indicating the degree to which the driver can receive the information provided by the information presenting unit 700.

上記項目(B10),(B11)の動作は、運転者の手動運転に対するモチベーションを促進する動作である。これらの例のように、モチベーション促進動作としては、車両の内装を視覚的に変化させる動作と、運転者に手動運転状態への切換えに適した聴覚情報を伝達する動作とを利用可能である。このようなモチベーション促進動作を行えば、自動運転から手動運転に切り換える前に運転者の手動運転に対するモチベーションを促進できるので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備することが可能となる。 The operations of the above items (B10) and (B11) are operations that promote the motivation of the driver for manual operation. As in these examples, as the motivation promoting operation, an operation of visually changing the interior of the vehicle and an operation of transmitting auditory information suitable for switching to the manual driving state to the driver can be used. By performing such a motivation promoting operation, the driver's motivation for manual driving can be promoted before switching from automatic driving to manual driving, so that the driver is psychologically or physiologically sufficiently prepared for the switching of the driving state. It becomes possible to do.

図11に示すように、第2実施形態における運転切換処理は、図6のステップS130,S140の間にステップS310,S320を追加し、また、ステップS160,S170の間にステップS330を追加したものであり、他のステップは第1実施形態と同じである。 As shown in FIG. 11, in the operation switching process in the second embodiment, steps S310 and S320 are added between steps S130 and S140 in FIG. 6, and steps S330 are added between steps S160 and S170. The other steps are the same as in the first embodiment.

ステップS130において自動運転から手動運転への切換が必要と判定されると、ステップS310において、準備促進部800が準備促進動作の動作タイミングを決定する。準備促進動作の動作タイミングは、例えば、手動運転区間MDAに切り換わるまでの時間又は距離のみで決定してもよいが、運転者の状態に応じて変更することが好ましい。例えば、自動運転中に運転者が睡眠を取っている場合には、運転者状態監視部600が運転者の睡眠状態を推定し、睡眠のリズムに応じて準備促進動作を開始するものと決定しても良い。例えば、覚醒しやすいレム睡眠の状態になると推定されるタイミングで準備促進動作を開始するものと決定しても良い。なお、運転者の睡眠のリズムは、運転者の個性によっても変わる可能性がある。このような場合を考慮して、運転者毎に準備促進動作の動作タイミングを決定するための条件を予め登録しておき、登録された条件に従って準備促進動作の動作タイミングを決定するようにしてもよい。 When it is determined in step S130 that switching from automatic operation to manual operation is necessary, the preparation promotion unit 800 determines the operation timing of the preparation promotion operation in step S310. The operation timing of the preparation promotion operation may be determined only by the time or distance until switching to the manual operation section MDA, for example, but it is preferable to change the operation timing according to the driver's condition. For example, when the driver is sleeping during automatic driving, the driver condition monitoring unit 600 estimates the driver's sleep state and determines that the preparation promotion operation is started according to the sleep rhythm. You may. For example, it may be determined that the preparation promotion operation is started at the timing estimated to be in the state of REM sleep in which awakening is likely to occur. The sleep rhythm of the driver may change depending on the individuality of the driver. In consideration of such a case, the conditions for determining the operation timing of the preparation promotion operation may be registered in advance for each driver, and the operation timing of the preparation promotion operation may be determined according to the registered conditions. Good.

ステップS320では、ステップS310で決定されたタイミングにおいて、準備促進部800が運転者の準備を促進する準備促進動作を実行する。前述したように、この準備促進動作としては、警告の発生や座席の振動などが実行される。 In step S320, at the timing determined in step S310, the preparation promotion unit 800 executes the preparation promotion operation for promoting the preparation of the driver. As described above, as the preparation promotion operation, the generation of a warning, the vibration of the seat, and the like are executed.

ステップS320の後はステップS140に進み、運転者の状態が、情報提示部700により提供される情報を受け取れる状態にあるかが判定される。この判定は、第1実施形態と同様に、運転者状態監視部600によって推定される運転者の適合度が、予め定めた閾値に達しているか否かによって行うことが可能である。運転者が情報提示部700により提供される情報を受け取れる状態になっていない場合には、ステップS180に進み、自動運転区間ADAに余裕があれば、ステップS320に戻って準備促進動作が継続される。なお、ステップS320における準備促進動作は、自動運転区間ADAの終点に近づくほど動作強度を高めるようにしても良い。例えば、自動運転区間ADAの終点に近づくほど運転席の振動を大きくするようにしてもよい。 After step S320, the process proceeds to step S140, and it is determined whether the driver's state is in a state where the information provided by the information presenting unit 700 can be received. Similar to the first embodiment, this determination can be made based on whether or not the goodness of fit of the driver estimated by the driver condition monitoring unit 600 has reached a predetermined threshold value. If the driver is not ready to receive the information provided by the information presenting unit 700, the process proceeds to step S180, and if there is a margin in the automatic driving section ADA, the process returns to step S320 to continue the preparation promotion operation. .. The preparation promotion operation in step S320 may increase the operation intensity as it approaches the end point of the automatic operation section ADA. For example, the vibration of the driver's seat may be increased as it approaches the end point of the automatic driving section ADA.

こうして、運転者が心理的・生理的な準備ができた状態になり、かつ、ステップS150において運転環境の切り換えタイミングに達すると、ステップS160において図10で説明した情報の遮蔽度の低下動作が実行される。また、ステップS330では、モチベーション促進部900によって運転者の手動運転へのモチベーションが促進され、ステップS170で手動運転への切り換えが実行される。 In this way, when the driver is in a state of being psychologically and physiologically ready and the timing of switching the driving environment is reached in step S150, the operation of reducing the degree of shielding of information described in FIG. 10 is executed in step S160. Will be done. Further, in step S330, the motivation promoting unit 900 promotes the motivation of the driver to manual operation, and in step S170, switching to manual operation is executed.

以上のように、第2実施形態においても、第1実施形態と同様に、車両50が自動運転状態から手動運転状態に切り換えられる場合に、手動運転状態への切り換え前に情報の遮断度を低下させることを含む切換準備処理を実行することによって、運転者に自動運転状態から手動運転状態への切り換えが行われることを認識させるので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備することが可能である。 As described above, also in the second embodiment, when the vehicle 50 is switched from the automatic driving state to the manual driving state, the degree of information blocking is reduced before switching to the manual driving state, as in the first embodiment. By executing the switching preparatory process including the operation, the driver is made to recognize that the switching from the automatic driving state to the manual driving state is performed, so that the driver can psychologically or physiologically respond to the switching of the driving state. It is possible to prepare well.

また、第2実施形態では、切換準備処理において、運転者状態監視部600で推定される運転者の手動運転への適合度が所定の適合度閾値に達するように準備促進部800による準備促進動作を実行し、適合度が適合度閾値に達してから情報の遮断度の低下を実行するので、運転状態の切り換えに対して運転者の状態を心理的又は生理的に十分に準備させることが可能である。 Further, in the second embodiment, in the switching preparation process, the preparation promotion operation by the preparation promotion unit 800 so that the goodness of fit of the driver to the manual operation estimated by the driver state monitoring unit 600 reaches a predetermined goodness threshold. Is executed, and after the goodness of fit reaches the goodness-of-fit threshold, the degree of blocking of information is lowered, so that it is possible to sufficiently prepare the driver's state psychologically or physiologically for the switching of the driving state. Is.

さらに、第2実施形態では、切換準備処理において、モチベーション促進部900を動作させることによって運転者の手動運転に対するモチベーションを促進するので、運転状態の切り換えに対して運転者が心理的又は生理的に十分に準備させることが可能である。 Further, in the second embodiment, in the switching preparatory process, the motivation promoting unit 900 is operated to promote the driver's motivation for manual driving, so that the driver psychologically or physiologically responds to the switching of the driving state. It is possible to prepare well.

C.他の実施形態:
上述した第1実施形態では、自動運転と手動運転において車両内部情報の遮蔽度を変更し、第2実施形態では、車両内部情報と車両外部情報の両方の遮蔽度を変更していた。自動運転と手動運転で遮蔽度を変更する情報としては、車両内部情報と車両外部情報の少なくとも一方を選択できるようにしても良い。例えば、運転者の好みに合わせて、遮蔽度を変更する情報の種類を予め情報提供制御部230に登録しておくようにしてもよい。この点は、切換準備処理における準備促進部800の動作やモチベーション促進部900の動作も同様である。こうすれば、運転者の好みに合わせて自動運転と手動運転における環境を適切に切り換えることが可能となる。
C. Other embodiments:
In the first embodiment described above, the degree of shielding of vehicle internal information is changed in automatic driving and manual driving, and in the second embodiment, the degree of shielding of both vehicle internal information and vehicle external information is changed. As the information for changing the degree of shielding between automatic driving and manual driving, at least one of vehicle internal information and vehicle external information may be selected. For example, the type of information for which the degree of shielding is changed may be registered in advance in the information providing control unit 230 according to the driver's preference. This point is the same as the operation of the preparation promotion unit 800 and the operation of the motivation promotion unit 900 in the switching preparation process. In this way, it is possible to appropriately switch the environment between automatic driving and manual driving according to the driver's preference.

また、切換準備処理において、情報の遮蔽度を低下させるタイミングは、すべて同一に設定してもよく、或いは、情報に応じた異なるタイミングに設定してもよい。情報に応じた異なるタイミングに設定すれば、運転者が心理的又は生理的な準備を更にうまく行える可能性が高くなるという利点がある。更に、運転者状態監視部600で検出された運転者の状態に応じて、情報の遮蔽度の低下タイミングを変更するようにしてもよい。この場合にも、運転者が心理的又は生理的な準備を更にうまく行える可能性が高くなることが期待される。 Further, in the switching preparation process, the timings for lowering the degree of information shielding may be set to be the same, or may be set to different timings according to the information. Setting different timings according to the information has the advantage that the driver is more likely to make better psychological or physiological preparations. Further, the timing of lowering the degree of information shielding may be changed according to the driver's condition detected by the driver condition monitoring unit 600. Again, it is expected that the driver will be more likely to be better able to make psychological or physiological preparations.

第2実施形態において、準備促進部800による準備促進動作としては、警告の発生と運転席の振動とを例示したが、これ以外の準備促進動作を行っても良い。例えば、送風口14から強い風を吹き出すことによって、運転者の準備を促進するようにしてもよい。また、特定の匂いを発生させることによって、運転者の準備を促進するようにしてもよい。 In the second embodiment, the generation of a warning and the vibration of the driver's seat are exemplified as the preparation promotion operation by the preparation promotion unit 800, but other preparation promotion operations may be performed. For example, the driver's preparation may be promoted by blowing a strong wind from the air outlet 14. In addition, the driver's preparation may be promoted by generating a specific odor.

第2実施形態において、情報提示部700により提供される情報を運転者が受け取れる状態に達してから情報の遮断度の低下を実行するようにしていたが、この代わりに、運転者の適合度に応じて情報の遮断度を低下させるタイミングを調整ようにしてもよい。例えば、運転者の適合度が低い場合には情報提示部700により提供される情報を運転者が受け取れる状態に達するのに時間を要する可能性があるので、運転者の適合度が低いほど情報の遮断度を低下させるタイミングを遅くするようにしてもよい。逆に、運転者の適合度が低いほど情報の遮断度を低下させるタイミングを早くするようにしてもよい。或いは、運転者の適合度に応じて情報の遮断度の低下速度を調整するようにしてもよい。例えば、運転者の適合度が低いほど情報の遮断度の低下速度を小さくするようにしてもよく、逆に、運転者の適合度が低いほど情報の遮断度の低下速度を大きくするようにしてもよい。 In the second embodiment, the degree of blocking of information is reduced after the driver reaches a state in which the information provided by the information presenting unit 700 can be received, but instead, the degree of suitability of the driver is adjusted. The timing for lowering the degree of blocking of information may be adjusted accordingly. For example, if the driver's goodness of fit is low, it may take time for the driver to receive the information provided by the information presentation unit 700. Therefore, the lower the driver's goodness of fit, the more information the information is. The timing for lowering the degree of blocking may be delayed. On the contrary, the lower the goodness of fit of the driver, the earlier the timing of lowering the degree of blocking of information may be made. Alternatively, the rate of decrease in the degree of blocking of information may be adjusted according to the degree of suitability of the driver. For example, the lower the goodness of fit of the driver, the lower the rate of decrease in the degree of information blockage, and conversely, the lower the goodness of fit of the driver, the greater the rate of decrease in the degree of information blockage. May be good.

第2実施形態において、モチベーション促進部900によるモチベーション促進動作としては、内装の表示などの視覚情報の変更と、特定の音楽などの聴覚情報の提供とを例示したが、これ以外のモチベーション促進動作を行っても良い。例えば、ヘッドアップディスプレイ750等の表示部を用いて、手動運転の目的地に関する情報(例えば観光情報)を表示してもよい。また、モチベーション促進動作として、臭気発生装置を用いて、特定の匂い(アロマ)や、外気の匂いを発生するようにしてもよい。 In the second embodiment, as the motivation promotion operation by the motivation promotion unit 900, the change of visual information such as the display of the interior and the provision of auditory information such as specific music are exemplified. You may go. For example, information (for example, tourist information) regarding the destination of manual driving may be displayed using a display unit such as a head-up display 750. Further, as a motivation promoting operation, an odor generator may be used to generate a specific odor (aroma) or the odor of the outside air.

本発明は上述した実施形態やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。 The present invention is not limited to the above-described embodiments and modifications thereof, and can be implemented in various embodiments without departing from the gist thereof.

230…情報提供制御部、600…運転者状態監視部、700…情報提示部、800…準備促進部、900…モチベーション促進部 230 ... Information provision control unit, 600 ... Driver status monitoring unit, 700 ... Information presentation unit, 800 ... Preparation promotion department, 900 ... Motivation promotion department

Claims (4)

自動運転可能な車両に設けられた情報提供装置であって、
前記車両の中の機器を介して前記車両内の運転者に伝達される車両内部情報および前記車両の中の機器を介さずに前記車両の外部から前記運転者に到達する視覚情報および聴覚情報を含む車両外部情報を含む情報の内、前記運転者に前記車両内部情報を提示するための情報提示部(700)を利用して前記運転者に前記車両内部情報を提示する情報提供制御部(230)、
を備え、
前記情報提供制御部は、
前記車両が自動運転状態にある場合には、前記車両が手動運転状態にある場合に比べて前記情報提示部により提供する前記車両内部情報の遮断度を高く設定し、
前記車両が前記自動運転状態から前記手動運転状態に切り換えられる場合に、前記車両内部情報の遮断度を低下させることを含む切換準備処理を実行することによって、前記運転者に前記自動運転状態から前記手動運転状態への切り換えが行われることを認識させるように構成されている、情報提供装置。
An information providing device installed in a vehicle that can be driven automatically.
Vehicle internal information transmitted to the driver in the vehicle via the device in the vehicle and visual information and auditory information reaching the driver from the outside of the vehicle without going through the device in the vehicle. Among the information including the vehicle external information including, the information providing control unit (230) that presents the vehicle internal information to the driver by using the information presenting unit (700) for presenting the vehicle internal information to the driver. ),
With
The information provision control unit
When the vehicle is in the automatic driving state, the degree of blocking of the vehicle internal information provided by the information presenting unit is set higher than in the case where the vehicle is in the manual driving state.
When the vehicle is switched from the automatic driving state to the manual driving state, by executing a switching preparatory process including reducing the degree of blocking of the vehicle internal information, the driver is notified from the automatic driving state to the manual driving state. An information providing device configured to recognize that a switch to a manual operation state is being performed.
自動運転可能な車両に設けられた情報提供装置であって、
前記車両の中の機器を介して前記車両内の運転者に伝達される車両内部情報および前記車両の中の機器を介さずに前記車両の外部から前記運転者に到達する視覚情報および聴覚情報を含む車両外部情報を含む情報の内、前記運転者に前記車両内部情報を提示するための情報提示部(700)を利用して前記運転者に前記車両内部情報を提示する情報提供制御部(230)、
を備え、
前記情報提供制御部は、
前記車両が自動運転状態にある場合には、前記車両が手動運転状態にある場合に比べて前記情報提示部により提供する前記車両外部情報の遮断度を高く設定し、
前記車両が前記自動運転状態から前記手動運転状態に切り換えられる場合に、前記車両外部情報の遮断度を低下させることを含む切換準備処理を実行することによって、前記運転者に前記自動運転状態から前記手動運転状態への切り換えが行われることを認識させるように構成されている、情報提供装置。
An information providing device installed in a vehicle that can be driven automatically.
Vehicle internal information transmitted to the driver in the vehicle via the device in the vehicle and visual information and auditory information reaching the driver from the outside of the vehicle without going through the device in the vehicle. Among the information including the vehicle external information including, the information providing control unit (230) that presents the vehicle internal information to the driver by using the information presenting unit (700) for presenting the vehicle internal information to the driver. ),
With
The information provision control unit
When the vehicle is in the automatic driving state, the degree of blocking of the vehicle external information provided by the information presenting unit is set higher than when the vehicle is in the manual driving state.
When the vehicle is switched from the automatic driving state to the manual driving state, by executing a switching preparatory process including reducing the degree of blocking of the vehicle external information, the driver is notified from the automatic driving state to the manual driving state. An information providing device configured to recognize that a switch to a manual operation state is being performed.
自動運転可能な車両に設けられた情報提供装置であって、
前記車両の中の機器を介して前記車両内の運転者に伝達される車両内部情報を、前記運転者に提示するための情報提示部(700)を利用して前記運転者に前記車両内部情報を提示する情報提供制御部(230)、
を備え、
前記情報提供制御部は、
前記車両が自動運転状態にある場合には、前記車両が手動運転状態にある場合に比べて前記情報提示部により提供する前記車両内部情報の遮断度を高く設定し、
前記車両が前記自動運転状態から前記手動運転状態に切り換えられる場合に、前記手動運転状態への切り換え前に前記車両内部情報の遮断度を低下させることを含む切換準備処理を実行することによって、前記運転者に前記自動運転状態から前記手動運転状態への切り換えが行われることを認識させるように構成されている、情報提供装置。
An information providing device installed in a vehicle that can be driven automatically.
The vehicle internal information transmitted to the driver in the vehicle via the device in the vehicle is presented to the driver by using the information presenting unit (700) for presenting the vehicle internal information to the driver. Information provision control unit (230),
With
The information provision control unit
When the vehicle is in the automatic driving state, the degree of blocking of the vehicle internal information provided by the information presenting unit is set higher than when the vehicle is in the manual driving state.
When the vehicle is switched from the automatic driving state to the manual driving state, the switching preparatory process including lowering the degree of blocking of the vehicle internal information is executed before switching to the manual driving state. An information providing device configured to make the driver aware that a switch from the automatic driving state to the manual driving state is performed.
請求項1から請求項3のいずれか一項に記載の情報提供装置において、さらに、 前記運転者の手動運転に対するモチベーションを促進するモチベーション促進部(900)を備え、
前記情報提供制御部は、前記切換準備処理において、遮断度を低下させた後、前記モチベーション促進部を動作させることによって前記運転者の手動運転に対するモチベーションを促進する、情報提供装置。
The information providing device according to any one of claims 1 to 3, further comprising a motivation promoting unit (900) for promoting the motivation of the driver for manual driving.
The information providing control unit is an information providing device that promotes the motivation of the driver for manual operation by operating the motivation promoting unit after lowering the degree of interruption in the switching preparation process.
JP2021031307A 2021-03-01 2021-03-01 Information providing device for automatic driving vehicle Pending JP2021082354A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021031307A JP2021082354A (en) 2021-03-01 2021-03-01 Information providing device for automatic driving vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021031307A JP2021082354A (en) 2021-03-01 2021-03-01 Information providing device for automatic driving vehicle

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018077217A Division JP6848927B2 (en) 2018-04-13 2018-04-13 Information providing device for autonomous vehicles

Publications (1)

Publication Number Publication Date
JP2021082354A true JP2021082354A (en) 2021-05-27

Family

ID=75965799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021031307A Pending JP2021082354A (en) 2021-03-01 2021-03-01 Information providing device for automatic driving vehicle

Country Status (1)

Country Link
JP (1) JP2021082354A (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122245A1 (en) * 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Method for operating a motor vehicle with a state monitoring device, driver assistance system and motor vehicle
JP2017178131A (en) * 2016-03-31 2017-10-05 株式会社デンソー Display control device and display control program
JP2017206196A (en) * 2016-05-20 2017-11-24 本田技研工業株式会社 Vehicle control system, vehicle control method, and vehicle control program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122245A1 (en) * 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Method for operating a motor vehicle with a state monitoring device, driver assistance system and motor vehicle
JP2017178131A (en) * 2016-03-31 2017-10-05 株式会社デンソー Display control device and display control program
JP2017206196A (en) * 2016-05-20 2017-11-24 本田技研工業株式会社 Vehicle control system, vehicle control method, and vehicle control program

Similar Documents

Publication Publication Date Title
JP6848927B2 (en) Information providing device for autonomous vehicles
JP6292218B2 (en) Information presenting apparatus and information presenting method
JP6519435B2 (en) Notification management apparatus and notification management method
WO2016157816A1 (en) Information presentation device and information presentation method
US20190344790A1 (en) Travel support device
JP2019206339A (en) Travel control device and on-vehicle system
WO2016013153A1 (en) Notification system for vehicle, notification control device, and notification device
JP6489084B2 (en) Automated driving system
US10101737B2 (en) Remote operation system, vehicle, and remote operation apparatus
JP2018027726A (en) Control system and control method of automatic driving vehicle
JP6555646B2 (en) Vehicle driving support system
US20210276561A1 (en) Vehicle Travel Control Method and Vehicle Travel Control Apparatus
JP6662080B2 (en) Driver status judgment device
JP2018167775A (en) Vehicle drive assisting system and vehicle drive assisting method
WO2020100585A1 (en) Information processing device, information processing method, and program
JP6856086B2 (en) Notification management device and notification management program
JP6471575B2 (en) Vehicle display control device and vehicle display unit
CN111746389A (en) Vehicle control system
JP7087286B2 (en) Awakening maintenance device
JP2020050204A (en) Vehicular travel control method and travel control apparatus
JP6945774B2 (en) Autonomous driving support device, automatic driving support system and automatic driving support method
JP6586874B2 (en) Travel control device
JP2021082354A (en) Information providing device for automatic driving vehicle
WO2018235469A1 (en) Alertness maintenance device
US20240183680A1 (en) Route guide device, route guide method, and route guide program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230307