JP2018008575A - Vehicle control device - Google Patents

Vehicle control device Download PDF

Info

Publication number
JP2018008575A
JP2018008575A JP2016137711A JP2016137711A JP2018008575A JP 2018008575 A JP2018008575 A JP 2018008575A JP 2016137711 A JP2016137711 A JP 2016137711A JP 2016137711 A JP2016137711 A JP 2016137711A JP 2018008575 A JP2018008575 A JP 2018008575A
Authority
JP
Japan
Prior art keywords
control
vehicle
control device
determined
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016137711A
Other languages
Japanese (ja)
Other versions
JP6756174B2 (en
Inventor
佑美 芝垣
Yumi Shibagaki
佑美 芝垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016137711A priority Critical patent/JP6756174B2/en
Publication of JP2018008575A publication Critical patent/JP2018008575A/en
Application granted granted Critical
Publication of JP6756174B2 publication Critical patent/JP6756174B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To restrain a vehicle's occupant from feeling anxious during execution of automatic operation control.SOLUTION: A vehicle control device determines whether or not occupants are in an all-occupants secure state in which all the occupants are at ease, when determining that automatic operation control is executed. The vehicle control device makes a driver's own vehicle execute secure control for bringing comfort and relief to the occupants subjected to a determination that they are not at ease, in steps S121, S127, S130 and S131, when determining that the occupants are not in the all-occupants secure state.SELECTED DRAWING: Figure 3

Description

本開示は、車両制御装置に関する。   The present disclosure relates to a vehicle control device.

特許文献1には、ドライバの運転操作の一部を支援する運転支援制御を車両に実行させる車両制御装置が開示されている。この車両制御装置では、車両の外部環境によりドライバの運転操作に要求される環境難易度と、ドライバの運転技量と、の関係から、ドライバの感情が推定される。そして、推定された感情に基づいて、ドライバが楽しいと感じながら運転を行うことができるように、運転支援制御における車両の制御量が決定される。   Patent Document 1 discloses a vehicle control device that causes a vehicle to execute driving support control that supports a part of a driver's driving operation. In this vehicle control device, the driver's emotion is estimated from the relationship between the environmental difficulty level required for the driving operation of the driver by the external environment of the vehicle and the driving skill of the driver. Then, based on the estimated emotion, the control amount of the vehicle in the driving support control is determined so that the driver can drive while feeling happy.

特開2015−130178号公報JP2015-130178A

ところで、運転支援制御、より一般には、車速制御及び操舵制御のうちの少なくとも一方を自動で行う自動運転制御の実行中に、車両の乗員がその自動運転制御に対して不安を感じる場合がある。ここでいう自動運転制御には、運転支援制御に加え、車速制御及び操舵制御の両方が実行されている間においてドライバの操作を一切必要としない完全自動運転制御も含まれる。具体的には、車両の周囲の状況に適した自動運転制御が行われている場合であっても、例えば、車速が高すぎる、車両が周囲の車両等に接近しすぎていると乗員が感じるときには、乗員が不安を感じることがある。   Incidentally, during the execution of driving support control, more generally, automatic driving control that automatically performs at least one of vehicle speed control and steering control, a vehicle occupant may feel anxious about the automatic driving control. The automatic driving control here includes fully automatic driving control that does not require any driver operation while both vehicle speed control and steering control are being executed, in addition to driving support control. Specifically, even when automatic driving control suitable for the situation around the vehicle is performed, for example, the occupant feels that the vehicle speed is too high or the vehicle is too close to the surrounding vehicle, etc. Sometimes passengers feel uneasy.

本開示の一局面は、自動運転制御が実行されている間において、車両の乗員が不安を感じることを抑制することを目的とする。   An object of one aspect of the present disclosure is to prevent a vehicle occupant from feeling uneasy while automatic driving control is being performed.

本開示の一態様は、車速制御及び操舵制御のうちの少なくとも一方を自動で行う自動運転制御が可能な車両に搭載される車両制御装置(15)であって、運転判定部(S108,S109)と、状態取得部(S110)と、安心判定部(S111,S129)と、実行部(S121,S127,S130,S131)と、を備える。運転判定部は、自動運転制御が実行されているか否かを判定する。状態取得部は、車両の乗員の状態を表す情報である状態情報を取得する。安心判定部は、運転判定部により自動運転制御が実行されていると判定された場合に、状態情報に基づいて乗員が安心しているか否かを判定し、少なくとも一人の乗員が安心していないと判定したことを要件とする所定の制御実行条件が成立したか否かを判定する。実行部は、安心判定部により制御実行条件が成立したと判定された場合に、安心していないと判定された乗員を安心させるための制御である安心制御を車両に実行させる。   One aspect of the present disclosure is a vehicle control device (15) mounted on a vehicle capable of automatic driving control that automatically performs at least one of vehicle speed control and steering control, and a driving determination unit (S108, S109). And a state acquisition unit (S110), a safety determination unit (S111, S129), and an execution unit (S121, S127, S130, S131). The driving determination unit determines whether automatic driving control is being executed. A state acquisition part acquires the state information which is the information showing the passenger | crew's state of a vehicle. The safety determination unit determines whether or not the occupant is relieved based on the state information when the driving determination unit determines that automatic driving control is being executed, and if at least one occupant is not relieved It is determined whether or not a predetermined control execution condition requiring the determination is satisfied. The execution unit causes the vehicle to execute safety control, which is control for reassuring an occupant who is determined not to be safe, when the safety determination unit determines that the control execution condition is satisfied.

このような構成によれば、自動運転制御が実行されている間において、車両の乗員が不安を感じることを抑制することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、1つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
According to such a structure, it can suppress that the passenger | crew of a vehicle feels anxiety while automatic driving control is performed.
In addition, the code | symbol in the parenthesis described in this column and a claim shows the correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this indication is shown. It is not limited.

車両制御システムの構成を示すブロック図である。It is a block diagram which shows the structure of a vehicle control system. 安心制御処理のフローチャート(1)である。It is a flowchart (1) of a relief control process. 安心制御処理のフローチャート(2)である。It is a flowchart (2) of a relief control process. 安心領域、イライラ領域及び不安領域を示す図である。It is a figure which shows a safe area, an irritated area, and an anxiety area.

以下、図面を参照しながら、発明を実施するための形態を説明する。
[1.構成]
図1に示す車両制御システム1は、車両に搭載される車載システムである。以下では、車両制御システム1が搭載された車両を「自車両」という。
Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
[1. Constitution]
A vehicle control system 1 shown in FIG. 1 is an in-vehicle system mounted on a vehicle. Hereinafter, the vehicle on which the vehicle control system 1 is mounted is referred to as “own vehicle”.

自車両は、車速制御及び操舵制御のうちの少なくとも一方を自動で行う自動運転制御を実行可能である。詳細には、自車両は、自動運転制御として、運転支援制御と完全自動運転制御とを実行可能である。運転支援制御は、ドライバの運転操作の一部を支援する車両制御である。本実施形態では、運転支援制御は、先行車両と自車両との車間を所定距離に維持するように車速制御を行う車間距離維持支援や、自車両が走行レーンから逸脱しないように操舵制御を行う車線維持支援等である。   The host vehicle can execute automatic driving control that automatically performs at least one of vehicle speed control and steering control. Specifically, the host vehicle can execute driving support control and fully automatic driving control as automatic driving control. The driving support control is vehicle control that supports a part of the driving operation of the driver. In the present embodiment, the driving support control performs inter-vehicle distance maintenance support for performing vehicle speed control so that the distance between the preceding vehicle and the host vehicle is maintained at a predetermined distance, and performs steering control so that the host vehicle does not deviate from the travel lane. Lane maintenance support.

一方、完全自動運転制御は、車速制御及び操舵制御の両方が実行されている間においてドライバの運転操作を一切必要としない車両制御である。本実施形態では、運転支援制御と自動運転制御とは、ドライバの意思により切替可能であるとともに、車両制御システム1により自動的に切り替えられる。   On the other hand, the fully automatic driving control is a vehicle control that does not require any driving operation of the driver while both the vehicle speed control and the steering control are being executed. In the present embodiment, driving support control and automatic driving control can be switched by the driver's intention, and are automatically switched by the vehicle control system 1.

車両制御システム1は、周囲検出装置群10、生体情報センサ11、乗員カメラ12、走行検出センサ群13、安心DB14、車両制御装置15、走行制御装置群16、体感速度装置群17、オプション装置群18及びディスプレイ19を備える。   The vehicle control system 1 includes a surrounding detection device group 10, a biological information sensor 11, an occupant camera 12, a travel detection sensor group 13, a safety DB 14, a vehicle control device 15, a travel control device group 16, a sensation speed device group 17, and an optional device group. 18 and a display 19.

周囲検出装置群10は、自車両の周囲の状況(以下、周囲状況)を検出するように構成された各種装置である。周囲検出装置群10は、レーザレーダ101、前方カメラ102、地図DB103及びGPS受信機104を備える。   The surrounding detection device group 10 is various devices configured to detect a situation around the host vehicle (hereinafter, ambient situation). The surrounding detection device group 10 includes a laser radar 101, a front camera 102, a map DB 103, and a GPS receiver 104.

レーザレーダ101は、自車両の周囲における他車両等の物体の大きさや自車両を基準とした相対位置や相対速度等を検出する。
前方カメラ102は、自車両の前方を撮像し、路面の凍結の有無等を含む道路状態や道路区画線等を検出する。
The laser radar 101 detects the size of an object such as another vehicle around the host vehicle, the relative position and the relative speed based on the host vehicle, and the like.
The front camera 102 images the front of the host vehicle and detects road conditions, road marking lines, and the like including the presence or absence of freezing of the road surface.

地図DB103は、地図データが記憶されたデータベースである。本実施形態では、地図データには、道路の制限速度の情報が含まれる。
GPS受信機104は、人工衛星から発信された電波を受信し、受信した電波情報に基づいて自車両の現在位置をリアルタイムで検出する。
The map DB 103 is a database in which map data is stored. In the present embodiment, the map data includes road speed limit information.
The GPS receiver 104 receives radio waves transmitted from artificial satellites and detects the current position of the host vehicle in real time based on the received radio wave information.

周囲検出装置群10は、レーザレーダ101による検出結果、前方カメラ102による撮像画像のデータ、地図DB103による地図データ及びGPS受信機104による自車両の現在位置の情報を、周囲状況を表す情報である周囲情報として車両制御装置15に入力する。   The surrounding detection device group 10 is information representing the surrounding situation, the detection result by the laser radar 101, the data of the captured image by the front camera 102, the map data by the map DB 103, and the information of the current position of the host vehicle by the GPS receiver 104. It inputs to the vehicle control apparatus 15 as surrounding information.

生体情報センサ11は、自車両の乗員の生体情報を検出するように構成されたセンサである。生体情報とは、心拍、呼吸、脳波、脈拍、血圧、血糖値、血中酸素濃度、発汗、体温などの生体現象の状態を表す情報である。本実施形態では、生体情報は、心拍数を表す情報であり、生体情報センサ11は、自車両における各座席のシートベルトに設けられた心拍センサである。生体情報センサ11は、検出した各乗員の生体情報を車両制御装置15に入力する。   The biological information sensor 11 is a sensor configured to detect biological information of an occupant of the own vehicle. The biological information is information representing the state of biological phenomena such as heartbeat, respiration, brain wave, pulse, blood pressure, blood glucose level, blood oxygen concentration, sweating, and body temperature. In the present embodiment, the biological information is information representing the heart rate, and the biological information sensor 11 is a heart rate sensor provided on the seat belt of each seat in the host vehicle. The biological information sensor 11 inputs the detected biological information of each occupant to the vehicle control device 15.

乗員カメラ12は、自車両における各座席ごとに設けられた複数台のカメラである。乗員カメラ12のそれぞれは、対応する各座席に座っている乗員の顔を含む範囲を撮像する。乗員カメラ12は、撮像した画像のデータを画像情報として車両制御装置15に入力する。   The occupant camera 12 is a plurality of cameras provided for each seat in the host vehicle. Each of the occupant cameras 12 images a range including the face of the occupant sitting in each corresponding seat. The occupant camera 12 inputs captured image data to the vehicle control device 15 as image information.

走行検出センサ群13は、車速センサ、ジャイロセンサ、加速度センサ、操舵角センサ、方位センサ等の自車両の走行状態を検出するように構成された各種センサである。走行検出センサ群13は、各種センサの検出値を走行情報として車両制御装置15に入力する。   The travel detection sensor group 13 is a variety of sensors configured to detect the travel state of the host vehicle, such as a vehicle speed sensor, a gyro sensor, an acceleration sensor, a steering angle sensor, and an orientation sensor. The travel detection sensor group 13 inputs detection values of various sensors to the vehicle control device 15 as travel information.

安心DB14は、安心制御に関するデータを記憶するデータベースである。すなわち、後述するように、本実施形態では乗員が安心しているか否かが判定され、少なくとも一人の乗員が安心していないと判定された場合に、安心していないと判定された乗員を安心させるための車両制御である安心制御が実行される。安心DB14には、過去に実行された安心制御に関するデータが個人ごとに記憶されている。安心DB14は、安心制御に関するデータを車両制御装置15に入力する。   The safety DB 14 is a database that stores data related to safety control. That is, as will be described later, in this embodiment, it is determined whether or not the occupant is relieved, and when it is determined that at least one occupant is not relieved, the occupant determined not relieved is relieved. Safety control that is vehicle control is executed. The safety DB 14 stores data related to safety control executed in the past for each individual. The safety DB 14 inputs data related to safety control to the vehicle control device 15.

車両制御装置15は、CPU、ROM及びRAM等を構成要素とするマイクロコンピュータを備える。車両制御装置15は、CPUがROM等の非遷移的実体的記憶媒体に格納されているプログラムを実行することにより、入力された周囲情報等の各種情報に基づき、後述する図2及び図3に示す安心制御処理を実行する。   The vehicle control device 15 includes a microcomputer including a CPU, a ROM, a RAM, and the like as constituent elements. In the vehicle control device 15, the CPU executes a program stored in a non-transitional tangible storage medium such as a ROM, and based on various information such as ambient information input, the later-described FIG. 2 and FIG. The safety control process shown is executed.

走行制御装置群16は、車両制御装置15からの出力に従い、自車両の走行を制御する各種アクチュエータを操作する。具体的には、走行制御装置群16は、車速制御装置161と、操舵制御装置162と、を備える。   The travel control device group 16 operates various actuators that control the travel of the host vehicle according to the output from the vehicle control device 15. Specifically, the travel control device group 16 includes a vehicle speed control device 161 and a steering control device 162.

車速制御装置161は、車速を制御するアクチュエータであるアクセルアクチュエータ及びブレーキアクチュエータを操作する。
操舵制御装置162は、操舵を制御するアクチュエータであるステアリングアクチュエータを操作する。
The vehicle speed control device 161 operates an accelerator actuator and a brake actuator that are actuators for controlling the vehicle speed.
The steering control device 162 operates a steering actuator that is an actuator that controls steering.

体感速度装置群17は、車両制御装置15からの出力に従い、乗員の体感速度を調節するように構成された装置である。具体的には、体感速度装置群17は、座席調節装置171と、窓表示装置172と、を備える。   The sensation speed device group 17 is a device configured to adjust the sensation speed of the occupant according to the output from the vehicle control device 15. Specifically, the sensation speed device group 17 includes a seat adjustment device 171 and a window display device 172.

座席調節装置171は、自車両における各座席に設けられ、各座席の高さを調節する。
窓表示装置172は、自車両の側方に設けられた開閉可能な各窓の近傍に設置され、これらの窓に画像を投射することにより当該窓に画像を表示する。
The seat adjustment device 171 is provided in each seat in the host vehicle and adjusts the height of each seat.
The window display device 172 is installed in the vicinity of each openable / closable window provided on the side of the host vehicle, and displays an image on the window by projecting an image on these windows.

オプション装置群18は、車両制御装置15からの出力に従い、乗員を落ち着かせるように車室内環境を調節する。オプション装置群18は、車室内に香りを発生させる香り発生装置181と、車室内に音楽を流すオーディオ182と、室内温度を調節するエアコン183と、を備える。   The optional device group 18 adjusts the vehicle interior environment so as to calm the occupant according to the output from the vehicle control device 15. The optional device group 18 includes a scent generating device 181 that generates scent in the vehicle interior, an audio 182 that sends music into the vehicle interior, and an air conditioner 183 that adjusts the room temperature.

ディスプレイ19は、画像を表示可能に構成された装置であり、すべての乗員が視認できるような位置に設けられる。
[2.処理]
次に、車両制御装置15が実行する安心制御処理について、図2及び図3のフローチャートを用いて説明する。なお、安心制御処理は、自車両のイグニッションスイッチがオンにされることにより実行される。
The display 19 is a device configured to be able to display an image, and is provided at a position where all the passengers can visually recognize the image.
[2. processing]
Next, the relief control process executed by the vehicle control device 15 will be described with reference to the flowcharts of FIGS. The safe control process is executed when the ignition switch of the host vehicle is turned on.

S101で、車両制御装置15は、乗員カメラ12からドライバの画像情報を取得する。
S102で、車両制御装置15は、S101で取得した画像情報に基づいて、ドライバが起きているか否かを判定する。本実施形態では、車両制御装置15は、ドライバが所定時間以上目をつぶっていると判定した場合に、起きていない、つまり、眠っていると判定する。車両制御装置15は、ドライバが起きていないと判定した場合には、S103に移行する。
In S <b> 101, the vehicle control device 15 acquires driver image information from the occupant camera 12.
In S102, the vehicle control device 15 determines whether or not the driver is awake based on the image information acquired in S101. In the present embodiment, the vehicle control device 15 determines that the driver is not waking up, that is, is sleeping when it is determined that the driver has closed his eyes for a predetermined time or more. If the vehicle control device 15 determines that the driver has not woken up, the vehicle control device 15 proceeds to S103.

S103で、車両制御装置15は、走行制御装置群16を介して自車両に完全自動運転制御を実行させる。なお、完全自動運転制御が既に実行されている場合には、完全自動運転制御が継続される。   In S <b> 103, the vehicle control device 15 causes the host vehicle to execute fully automatic driving control via the travel control device group 16. Note that when the fully automatic operation control has already been executed, the fully automatic operation control is continued.

S104で、車両制御装置15は、一定時間待機する。
S105で、車両制御装置15は、イグニッションスイッチがオフであるか否かを判定する。車両制御装置15は、イグニッションスイッチがオフであると判定した場合には、安心制御処理を終了する。一方、車両制御装置15は、イグニッションスイッチがオフでない、つまり、オンであると判定した場合には、前述したS101に戻り、S101以降の処理を実行する。
In S104, the vehicle control device 15 waits for a predetermined time.
In S105, the vehicle control device 15 determines whether or not the ignition switch is off. When it is determined that the ignition switch is off, the vehicle control device 15 ends the safety control process. On the other hand, if the vehicle control device 15 determines that the ignition switch is not OFF, that is, it is ON, the vehicle control device 15 returns to the above-described S101 and executes the processing after S101.

一方、車両制御装置15は、前述したS102で、ドライバが起きていると判定した場合には、S106に移行する。
S106で、車両制御装置15は、S101で取得した画像情報に基づいて、ドライバの視線及び所定時間内の瞬きの回数を検出する。
On the other hand, if the vehicle control device 15 determines in S102 described above that the driver is waking up, the vehicle control device 15 proceeds to S106.
In S106, the vehicle control device 15 detects the driver's line of sight and the number of blinks within a predetermined time based on the image information acquired in S101.

S107で、車両制御装置15は、検出した視線及び瞬きの回数に基づいて、ドライバが自車両の前方を確認しているか否かを判定する。本実施形態では、車両制御装置15は、ドライバがぼんやりしている又は脇見をしていると判定した場合に、ドライバが自車両の前方を確認していないと判定する。一方、車両制御装置15は、ドライバがぼんやりしておらず、かつ、脇見をしていないと判定した場合に、ドライバが自車両の前方を確認していると判定する。ここで、車両制御装置15は、ドライバの所定時間内の瞬きの回数が所定回数以下である場合に、ドライバがぼんやりしていると判定する。また、車両制御装置15は、ドライバの視線が自車両の横方向、換言すれば、運転席から見て運転席ドア又は助手席ドアがある方向を向いている状態が所定時間以上継続したと判定した場合に、ドライバが脇見をしていると判定する。   In S107, the vehicle control device 15 determines whether or not the driver confirms the front of the host vehicle based on the detected line of sight and the number of blinks. In this embodiment, the vehicle control device 15 determines that the driver has not confirmed the front of the host vehicle when it is determined that the driver is blurred or looking aside. On the other hand, the vehicle control device 15 determines that the driver confirms the front of the host vehicle when it is determined that the driver is not blurred and is not looking aside. Here, the vehicle control device 15 determines that the driver is blurred when the number of blinks within a predetermined time of the driver is equal to or less than the predetermined number. In addition, the vehicle control device 15 determines that the driver's line of sight is in the lateral direction of the host vehicle, in other words, the state in which the driver's seat door or the passenger's seat door is facing in a certain direction as viewed from the driver's seat continues for a predetermined time or more. If it is determined that the driver is looking aside.

このS107で、車両制御装置15は、ドライバが自車両の前方を確認していないと判定した場合には、前述したS103に移行する。一方、車両制御装置15は、ドライバが自車両の前方を確認していると判定した場合には、S108に移行する。   When the vehicle control device 15 determines in S107 that the driver has not confirmed the front of the host vehicle, the vehicle control device 15 proceeds to S103 described above. On the other hand, if the vehicle control device 15 determines that the driver confirms the front of the host vehicle, the vehicle control device 15 proceeds to S108.

S108で、車両制御装置15は、完全自動運転制御が実行されているか否かを判定する。車両制御装置15は、完全自動運転制御が実行されていないと判定した場合には、S109に移行する。   In S108, the vehicle control device 15 determines whether or not fully automatic driving control is being executed. If the vehicle control device 15 determines that the fully automatic driving control is not being executed, the vehicle control device 15 proceeds to S109.

S109で、車両制御装置15は、運転支援制御が実行されているか否かを判定する。車両制御装置15は、運転支援制御が実行されていないと判定した場合には、前述したS104に移行する。   In S109, the vehicle control device 15 determines whether or not driving support control is being executed. If it is determined that the driving support control is not being executed, the vehicle control device 15 proceeds to S104 described above.

このように、完全自動運転制御及び運転支援制御のいずれも実行されていない、つまり、通常の運転である手動運転が実行されている場合には、S110以降の処理は実行されない。   Thus, when neither fully automatic driving control nor driving support control is executed, that is, when manual driving, which is normal driving, is executed, the processing after S110 is not executed.

一方、車両制御装置15は、前述したS108で完全自動運転制御が実行されていると判定した場合又は前述したS109で運転支援制御が実行されていると判定した場合に、S110に移行する。   On the other hand, the vehicle control device 15 proceeds to S110 when it is determined that the fully automatic driving control is being executed at S108 described above or when it is determined that the driving support control is being executed at S109 described above.

S110で、車両制御装置15は、生体情報センサ11からすべての乗員の生体情報を取得し、乗員カメラ12からすべての乗員の画像情報を取得する。
S111で、車両制御装置15は、S110で取得した生体情報及び画像情報に基づいて、乗員の状態が、すべての乗員が安心している状態である全員安心状態であるか否かを判定する。ここで、車両制御装置15は、S111の判定を次のように行う。すなわち、乗員のそれぞれについて、その乗員が安心、イライラ及び不安のいずれの状態であるかを判定する。この判定は次のように行われる。
In S <b> 110, the vehicle control device 15 acquires biological information of all occupants from the biological information sensor 11, and acquires image information of all occupants from the occupant camera 12.
In S111, the vehicle control device 15 determines whether or not the occupant is in a safe state where all occupants are relieved based on the biological information and image information acquired in S110. Here, the vehicle control device 15 performs the determination of S111 as follows. That is, for each occupant, it is determined whether the occupant is in a state of relief, irritation, or anxiety. This determination is performed as follows.

まず、車両制御装置15は、生体情報が表す指標値である心拍数が、平常時の領域に含まれるか否かを判定し、平常時の領域に含まれると判定した場合に、その乗員が安心していると判定する。換言すれば、車両制御装置15は、心拍数が、あらかじめ定められた第1のしきい値以下であるか否かを判定し、第1のしきい値以下であると判定した場合に、その乗員が安心していると判定する。この第1のしきい値は、心拍数の平常時の領域に対応するものとしてあらかじめ設定された所定の領域の上限値として設定される。   First, the vehicle control device 15 determines whether or not the heart rate that is the index value represented by the biological information is included in the normal region. Judge that you are safe. In other words, the vehicle control device 15 determines whether or not the heart rate is equal to or lower than a predetermined first threshold, and when determining that the heart rate is equal to or lower than the first threshold, It is determined that the passenger is relieved. The first threshold value is set as an upper limit value of a predetermined area that is set in advance as corresponding to the normal area of the heart rate.

一方、車両制御装置15は、心拍数が平常時の領域に含まれないと判定した場合には、画像情報における乗員の目元の画像を基に、乗員の眉間に皺が寄っているか否かを判定する。乗員の眉間に皺が寄っていると判定した場合には、乗員がイライラしていると判定し、乗員の眉間に皺が寄っていないと判定した場合には、乗員が不安であると判定する。   On the other hand, if the vehicle control device 15 determines that the heart rate is not included in the normal region, the vehicle control device 15 determines whether there is a wrinkle between the eyebrows of the occupant based on the image of the occupant's eye in the image information. judge. If it is determined that there is a heel between the eyebrows of the occupant, it is determined that the occupant is frustrated, and if it is determined that there is no heel between the eyebrows of the occupant, it is determined that the occupant is uneasy. .

本実施形態では、乗員の眉間に皺が寄っているか否かを判定するに当たり、まずは、画像情報における乗員の目元の画像と、眉間に皺が寄っている画像としてあらかじめ記憶されたマスター画像と、の比較により、両画像の類似度が算出される。そして、算出された類似度が、あらかじめ設定された第2のしきい値よりも大きいか否かが判定される。この判定で、類似度が第2のしきい値よりも大きいと判定された場合に、両画像が類似している、つまり、乗員の眉間に皺が寄っていると判定される。一方、類似度が第2のしきい値以下であると判定された場合に、両画像が類似していない、つまり、乗員の眉間に皺が寄っていないと判定される。   In this embodiment, in determining whether or not the eyelid is between the eyebrows of the occupant, first, an image of the occupant's eyes in the image information, a master image stored in advance as an image where the eyelid is between the eyebrows, Thus, the similarity between the two images is calculated. Then, it is determined whether the calculated similarity is greater than a preset second threshold value. In this determination, when it is determined that the degree of similarity is greater than the second threshold value, it is determined that the two images are similar, that is, a wrinkle is placed between the eyebrows of the occupant. On the other hand, when it is determined that the similarity is equal to or less than the second threshold value, it is determined that the two images are not similar, that is, that no eyelids are between the eyebrows of the occupant.

このように本実施形態では、図4に示すように、心拍数と類似度とを座標軸とする座標系が、あらかじめ設定された3つの数値領域である、安心領域、イライラ領域及び不安領域に区分されている。安心領域は、乗員が安心していると判定される領域である。イライラ領域は、乗員がイライラしていると判定される領域である。不安領域は、乗員が不安であると判定される領域である。なお、図4に示すような、生体情報等が表す指標値と乗員の状態とがあらかじめ対応づけられたマップやテーブルは安心DB14等に記憶されていてもよい。   As described above, in this embodiment, as shown in FIG. 4, the coordinate system having the heart rate and the similarity as the coordinate axes is divided into three preset numerical areas, which are a relief area, an irritated area, and an anxiety area. Has been. The safe area is an area where it is determined that the passenger is relieved. The frustrated area is an area where it is determined that the occupant is frustrated. The anxiety region is a region where it is determined that the passenger is anxious. Note that a map or table in which index values represented by biometric information and the like are associated in advance with each other as shown in FIG. 4 may be stored in the safety DB 14 or the like.

車両制御装置15は、各乗員の状態をこのように判定し、各乗員の判定結果を踏まえ、乗員の状態が全員安心状態であるか否かを判定する。車両制御装置15は、乗員の状態が全員安心状態でない、つまり、少なくとも一人の乗員が安心していないと判定した場合に、S112に移行する。   The vehicle control device 15 determines the state of each occupant in this way, and determines whether or not all of the occupants are in a safe state based on the determination result of each occupant. If the vehicle control device 15 determines that all the passengers are not in a safe state, that is, at least one passenger is not in a safe state, the vehicle control device 15 proceeds to S112.

S112で、車両制御装置15は、周囲検出装置群10から周囲情報を取得し、走行検出センサ群13から走行情報を取得する。
S113で、車両制御装置15は、S112で取得した周囲情報及び走行情報に基づいて、周囲原因の特定を試みる。ここでいう周囲原因とは、少なくとも一人の乗員が安心していないと感じる原因のうち周囲状況による原因である。本実施形態では、周囲原因は次のように特定される。
In S <b> 112, the vehicle control device 15 acquires ambient information from the ambient detection device group 10 and acquires travel information from the travel detection sensor group 13.
In S113, the vehicle control device 15 attempts to specify the cause of the surroundings based on the surrounding information and the traveling information acquired in S112. The ambient cause here is a cause due to the surrounding situation among the causes that at least one occupant feels uncomfortable. In the present embodiment, the ambient cause is specified as follows.

すなわち、自車両の前方の路面に凍結があると判定された場合には、周囲原因は路面の凍結であると特定される。また、先行車両が大型車両であり、かつ、当該大型車両と自車両との車間距離が所定距離以下であると判定された場合には、周囲原因が当該大型車両及びその車間距離であると特定される。さらに、自車両の走行速度が自車両が走行している道路の制限速度を超過していると判定された場合には、周囲原因が制限速度であると特定される。なお、これらの判定のうちの複数が成立した場合には、周囲原因は複数特定される。   That is, when it is determined that there is freezing on the road surface ahead of the host vehicle, the surrounding cause is identified as freezing of the road surface. If it is determined that the preceding vehicle is a large vehicle and the distance between the large vehicle and the host vehicle is equal to or less than a predetermined distance, the surrounding cause is identified as the large vehicle and the distance between the vehicles. Is done. Furthermore, when it is determined that the traveling speed of the host vehicle exceeds the speed limit of the road on which the host vehicle is traveling, the surrounding cause is identified as the speed limit. When a plurality of these determinations are established, a plurality of surrounding causes are specified.

また、大型車両及びその車間距離に関する周囲原因ついては、完全自動運転制御又は運転支援制御によって先行車両と自車両との車間距離が所定値に保たれている場合であっても乗員が不安に感じている場合が前提とされている。   In addition, the occupants feel uneasy about the surrounding causes related to the large vehicle and the distance between the vehicles even when the distance between the preceding vehicle and the host vehicle is maintained at a predetermined value by the fully automatic driving control or the driving support control. It is assumed that there is.

また、自車両が走行している道路の制限速度の情報は、周囲情報に含まれる自車両の現在位置の情報と地図データとに基づき、地図データにおける自車両が現在走行している道路を特定し、地図データに含まれるその道路の制限速度の情報を読み取ることで取得される。車両制御装置15は、S113の処理を実行すると、S114に移行する。   In addition, the information on the speed limit of the road on which the vehicle is traveling is based on the information on the current position of the vehicle included in the surrounding information and the map data, and the road on which the vehicle is currently traveling is identified in the map data. And it is acquired by reading the information on the speed limit of the road included in the map data. The vehicle control apparatus 15 will transfer to S114, if the process of S113 is performed.

S114で、車両制御装置15は、乗員が安心していないと感じる原因が周囲状況にあるか否かを判定する。ここで、車両制御装置15は、前述したS113で周囲原因が特定された場合に、乗員が安心していないと感じる原因が周囲状況にあると判定する。一方、周囲原因が特定されなかった場合に、乗員が安心していないと感じる原因が周囲状況にない、つまり、当該原因が自車両の内部にあると判定する。車両制御装置15は、当該原因が周囲状況にあると判定した場合に、S115に移行する。   In S114, the vehicle control device 15 determines whether or not the cause that the occupant feels uneasy is in the surrounding situation. Here, when the surrounding cause is specified in S113 described above, the vehicle control device 15 determines that the cause that the occupant feels uneasy is in the surrounding situation. On the other hand, when the surrounding cause is not specified, it is determined that there is no cause in the surrounding situation that the occupant feels uneasy, that is, the cause is inside the host vehicle. If the vehicle control device 15 determines that the cause is the surrounding situation, the vehicle control device 15 proceeds to S115.

S115で、車両制御装置15は、制御内容を決定する。本実施形態では、制御内容の決定は次のように行われる。すなわち、前述したS113で特定された周囲原因が路面の凍結又は制限速度である場合には、制御内容は、車速を低くする減速制御に決定される。一方、周囲原因が大型車両及びその車間距離である場合には、制御内容は、車間距離を大きくする車間距離制御に決定される。なお、例えば、周囲原因に路面の凍結と大型車両及びその車間距離とが含まれる場合などには、制御内容は、減速制御及び車間距離制御の両方に決定される。   In S115, the vehicle control device 15 determines the control content. In the present embodiment, the control content is determined as follows. That is, when the surrounding cause identified in S113 described above is road surface freezing or speed limit, the control content is determined to be deceleration control that lowers the vehicle speed. On the other hand, when the surrounding cause is a large vehicle and its inter-vehicle distance, the control content is determined as inter-vehicle distance control for increasing the inter-vehicle distance. For example, when the surrounding causes include freezing of the road surface and a large vehicle and the inter-vehicle distance, the control content is determined as both the deceleration control and the inter-vehicle distance control.

S116で、車両制御装置15は、安心していないと判定された乗員すべての安心逸脱度を比較する。ここでいう安心逸脱度とは、その乗員が安心領域からどの程度逸脱しているのかを示す指標値であり、本実施形態では、その乗員の生体情報が表す指標値である心拍数から第1のしきい値を差分したものである。   In S <b> 116, the vehicle control device 15 compares the degree of safe departure of all the occupants determined not to be relieved. Here, the degree of safety departure is an index value indicating how far the occupant has deviated from the safety area, and in the present embodiment, the first is determined from the heart rate that is the index value represented by the biological information of the occupant. This is a difference between the threshold values.

S117で、車両制御装置15は、S116の比較結果に基づいて、安心逸脱度が最も大きいと判定した乗員について、安心DB14に事例があるか否かを判定する。前述したように、安心DB14には、過去の安心制御の関するデータが個人ごとに記憶されている。具体的には、過去に乗員が安心していないと判定された際に特定された周囲原因、その周囲原因に対して決定された制御内容、及び、その制御内容に用いられる制御パラメータの値、が記憶されている。本実施形態では、制御パラメータは、制御内容が減速制御である場合には制御後の車速であり、制御内容が車間距離制御である場合には制御後の車間距離である。また、本実施形態では、乗員カメラ12を用いて周知技術である顔認識を行うことにより、安心DB14に個人ごとにデータを記憶する際の個人の識別が行われる。   In S117, the vehicle control device 15 determines whether or not there is a case in the safety DB 14 for the occupant who has determined that the safety deviation degree is the highest based on the comparison result in S116. As described above, the safety DB 14 stores data related to past safety control for each individual. Specifically, the ambient cause identified when it was determined that the passenger was not relieved in the past, the control content determined for the ambient cause, and the value of the control parameter used for the control content, Is remembered. In the present embodiment, the control parameter is the vehicle speed after the control when the control content is the deceleration control, and the inter-vehicle distance after the control when the control content is the inter-vehicle distance control. Further, in the present embodiment, by performing face recognition, which is a well-known technique, using the occupant camera 12, an individual is identified when data is stored for each individual in the secure DB 14.

S117では、車両制御装置15は、安心DB14に、安心逸脱度が最も大きいと判定した乗員についての、最新のS113で特定された周囲原因と同一の原因に対して実行された過去の制御内容のデータがある場合に、安心DB14に事例があると判定する。一方、車両制御装置15は、安心DB14に安心逸脱度が最も大きいと判定した乗員の上記データがない場合に、安心DB14に事例がないと判定する。車両制御装置15は、安心DB14に事例があると判定した場合に、S118に移行する。   In S117, the vehicle control device 15 stores the past control contents executed for the same cause as the surrounding cause specified in the latest S113 for the occupant determined to have the highest degree of safety departure in the safety DB 14. When there is data, it is determined that there is a case in the secure DB 14. On the other hand, the vehicle control device 15 determines that there is no case in the safety DB 14 when the safety DB 14 does not have the above data of the occupant determined to have the highest safety departure. If the vehicle control device 15 determines that there is a case in the secure DB 14, the vehicle control device 15 proceeds to S118.

S118で、車両制御装置15は、制御内容に用いられる制御パラメータの値を、安心DB14に記憶された値に決定する。詳細には、制御パラメータの値は、安心逸脱度が最も大きいと判定された乗員に関する制御パラメータの値であって、最新のS113で特定された周囲原因と同一の原因に対して過去に用いられた制御パラメータの値のうち最新のものに決定される。車両制御装置15は、S118の処理を実行すると、S121に移行する。   In S <b> 118, the vehicle control device 15 determines the value of the control parameter used for the control content as the value stored in the safety DB 14. Specifically, the value of the control parameter is the value of the control parameter related to the occupant determined to have the highest degree of safety departure, and is used in the past for the same cause as the surrounding cause identified in the latest S113. The latest control parameter value is determined. The vehicle control apparatus 15 will transfer to S121, if the process of S118 is performed.

一方、車両制御装置15は、前述したS117で、安心逸脱度が最も大きいと判定した乗員について安心DB14に事例がないと判定した場合に、S119に移行する。
S119で、車両制御装置15は、制御パラメータの値を、現制御に用いられている制御パラメータの値よりも単位制御量だけ変更した値に決定する。ここでいう単位制御量とは、制御パラメータの値を徐々に変化させていく場合において当該変化の単位量(換言すれば最小の変化量)として設定された所定の制御量を指す。詳細には、減速制御については、制御パラメータである車速は、現制御に用いられている値よりも単位制御量だけ低い値に決定される。一方、車間距離制御については、制御パラメータである車間距離は、現制御に用いられている値よりも単位制御量だけ大きい値に決定される。車両制御装置15は、S119の処理を実行すると、S120に移行する。
On the other hand, if the vehicle control device 15 determines in S117 described above that there is no case in the safety DB 14 for an occupant determined to have the highest safety deviation degree, the vehicle control device 15 proceeds to S119.
In S119, the vehicle control device 15 determines the value of the control parameter as a value changed by the unit control amount from the value of the control parameter used for the current control. The unit control amount here refers to a predetermined control amount set as a unit amount of the change (in other words, a minimum change amount) when the value of the control parameter is gradually changed. Specifically, for deceleration control, the vehicle speed, which is a control parameter, is determined to be a value lower by a unit control amount than the value used for the current control. On the other hand, for the inter-vehicle distance control, the inter-vehicle distance, which is a control parameter, is determined to be a value larger by a unit control amount than the value used for the current control. The vehicle control apparatus 15 will transfer to S120, if the process of S119 is performed.

S120で、車両制御装置15は、S119で単位制御量だけ変更した後の制御パラメータの値を安心DB14に記憶する。車両制御装置15は、S120の処理を実行すると、S121に移行する。   In S120, the vehicle control device 15 stores the value of the control parameter after changing only the unit control amount in S119 in the secure DB 14. The vehicle control apparatus 15 will transfer to S121, if the process of S120 is performed.

S121で、車両制御装置15は、前述したS118又はS119で決定した制御パラメータの値を用いて、自車両の走行を制御する走行制御を安心制御として走行制御装置群16に実行させる。走行制御は、S115で決定した制御内容、つまり、減速制御及び車間距離制御の少なくとも一方である。車両制御装置15は、S121の処理を実行すると、S128に移行する。   In S121, the vehicle control device 15 causes the traveling control device group 16 to execute traveling control for controlling traveling of the host vehicle as safety control using the value of the control parameter determined in S118 or S119 described above. The travel control is at least one of the control content determined in S115, that is, deceleration control and inter-vehicle distance control. The vehicle control apparatus 15 will transfer to S128, if the process of S121 is performed.

一方、車両制御装置15は、前述したS114で、乗員が安心していないと感じる原因が周囲状況にない、つまり、当該原因が自車両の内部にあると判定した場合に、処理をS122に移行する。   On the other hand, if the vehicle control device 15 determines in S114 described above that there is no cause in the surrounding situation that the occupant feels uncomfortable, that is, the cause is inside the host vehicle, the process proceeds to S122. To do.

S122で、車両制御装置15は、制御内容を体感速度制御に決定する。ここでいう体感速度制御とは、乗員の体感速度を調節するための制御である。すなわち、本実施形態では、乗員が安心していないと感じる原因が周囲状況にないと判定された場合、路面の凍結等の問題はなく、自車両は制限速度内で走行しているため、乗員の体感速度に当該原因があると判断される。具体的には、自車両の走行速度が制限速度以下であっても高すぎると感じる乗員の感じ方が当該原因であると判断される。したがって、自車両の走行速度は維持しつつ、その乗員の体感速度を調節する制御が実行される。   In S122, the vehicle control device 15 determines the control content to be sensible speed control. The body sensation speed control here is control for adjusting the body sensation speed of the passenger. That is, in this embodiment, when it is determined that the cause that the occupant feels uneasy is not in the surrounding situation, there is no problem such as freezing of the road surface, and the vehicle is traveling within the speed limit, so the occupant It is determined that there is the cause in the perceived speed. Specifically, it is determined that the occupant feels that the traveling speed of the host vehicle is too high even if the traveling speed of the host vehicle is equal to or less than the speed limit. Therefore, the control for adjusting the sensible speed of the occupant is executed while maintaining the traveling speed of the host vehicle.

本実施形態では、体感速度制御は、安心していないと判定された乗員の座席の高さを変更して高くする制御である座席制御、及び、自車両の側方に設けられた各窓に、自車両の走行速度に応じて流れる実際の速さとは異なる速さ、具体的には、実際の速さよりも低い速さで流れる景色を表示する制御である窓表示制御、である。   In the present embodiment, the sensory speed control is performed on the seat control, which is a control for changing the height of the seat of the occupant who is determined not to be relieved, and on each window provided on the side of the host vehicle. The window display control is a control for displaying a landscape that flows at a speed different from the actual speed that flows according to the traveling speed of the host vehicle, specifically, a speed that is lower than the actual speed.

体感速度制御の制御パラメータは、座席の高さ及び窓に表示された景色が流れる速さである。前述した走行制御と違って、座席制御及び窓表示制御は、乗員のそれぞれに対して異なった制御パラメータで実行可能である。したがって、制御パラメータは、安心していないと判定された乗員のそれぞれについて決定される。   The control parameters for the sensory speed control are the height of the seat and the speed at which the scenery displayed on the window flows. Unlike the traveling control described above, the seat control and the window display control can be executed with different control parameters for each occupant. Therefore, the control parameter is determined for each occupant determined not to be relieved.

S123で、車両制御装置15は、安心していないと判定した乗員のそれぞれについて、安心DB14に事例があるか否かを判定する。車両制御装置15は、安心DB14に、その乗員に対して実行された体感速度制御のデータがある場合に、その乗員については安心DB14に事例があると判定し、当該データがない場合に、その乗員については安心DB14に事例がないと判定する。車両制御装置15は、安心DB14に事例があると判定した場合に、S124に移行する。   In S123, the vehicle control device 15 determines whether or not there is a case in the safety DB 14 for each of the occupants determined not to be safe. The vehicle control device 15 determines that there is a case in the safety DB 14 for the occupant when the safety DB 14 has data on the sensible speed control executed for the occupant. It is determined that there is no case in the safety DB 14 for passengers. If the vehicle control device 15 determines that there is a case in the secure DB 14, the vehicle control device 15 proceeds to S124.

S124で、車両制御装置15は、体感速度制御の制御パラメータの値を、安心DB14に記憶された制御パラメータの値のうち最新のものに決定する。車両制御装置15は、S124の処理を実行すると、S127に移行する。   In S <b> 124, the vehicle control device 15 determines the control parameter value of the sensation speed control as the latest value among the control parameter values stored in the safety DB 14. The vehicle control apparatus 15 will transfer to S127, if the process of S124 is performed.

一方、車両制御装置15は、前述したS123で安心DB14に事例がないと判定した場合に、S125に移行する。
S125で、車両制御装置15は、体感速度制御の制御パラメータの値を、体感速度が低くなるように、現在の制御パラメータの値よりも単位制御量だけ変更した値に決定する。詳細には、座席制御に関する制御パラメータである座席の高さについては、現在の値よりも単位制御量だけ高い値に決定される。一方、窓表示制御に関する制御パラメータである窓に表示された景色が流れる速さについては、実際の景色が流れる速さよりも単位制御量だけ低い値に決定される。
On the other hand, the vehicle control apparatus 15 transfers to S125, when it determines with there being no example in relief DB14 by S123 mentioned above.
In S125, the vehicle control device 15 determines the value of the control parameter for the sensation speed control to a value that is changed by a unit control amount from the current control parameter value so that the sensation speed is lowered. Specifically, the seat height, which is a control parameter related to seat control, is determined to be a value higher by a unit control amount than the current value. On the other hand, the speed at which the scenery displayed in the window, which is a control parameter relating to window display control, flows is determined to be a value that is lower by a unit control amount than the speed at which the actual scenery flows.

S126で、車両制御装置15は、S125で単位制御量だけ変更した後の制御パラメータの値を安心DB14に記憶する。車両制御装置15は、S126の処理を実行すると、S127に移行する。   In S126, the vehicle control device 15 stores the value of the control parameter after changing the unit control amount in S125 in the secure DB 14. When executing the process of S126, the vehicle control device 15 proceeds to S127.

S127で、車両制御装置15は、体感速度制御を体感速度装置群17に実行させる。詳細には、車両制御装置15は、座席調節装置171に、安心していないと判定した乗員の座席の高さを高くさせ、窓表示装置172に、安心していないと判定した乗員の座席のドアに設けられた窓に、実際の速さよりも低い速さで流れる景色を表示させる。車両制御装置15は、S127の処理を実行すると、S128に移行する。   In S127, the vehicle control device 15 causes the sensation speed device group 17 to execute the sensation speed control. Specifically, the vehicle control device 15 causes the seat adjustment device 171 to increase the height of the occupant's seat that is determined not to be relieved, and the window display device 172 indicates that the occupant's seat that is determined not to be relieved. A window provided on the door displays a scenery flowing at a speed lower than the actual speed. The vehicle control apparatus 15 will transfer to S128, if the process of S127 is performed.

S128で、車両制御装置15は、ディスプレイ19に所定の画像を表示させる。具体的には、安心制御として走行制御が実行された場合には、周囲状況と制御内容とが表示され、安心制御として体感速度制御が実行された場合には、制御内容が表示される。本実施形態では、周囲状況として、乗員が安心していないと感じる原因が路面の凍結である場合には前方カメラ102による凍結した路面の画像、当該原因が大型車両及びその車間距離である場合には前方カメラ102による大型車両の画像、当該原因が制限速度である場合には制限速度の数値を表す画像が表示される。また、制御内容として、減速制御や座席制御といった制御内容が把握できる情報及び制御前後における制御パラメータの変化が把握できる情報が表示される。   In S128, the vehicle control device 15 causes the display 19 to display a predetermined image. Specifically, when the traveling control is executed as the safety control, the surrounding situation and the control content are displayed, and when the sensation speed control is executed as the safety control, the control content is displayed. In the present embodiment, as a surrounding situation, when the cause that the occupant feels unreliable is freezing of the road surface, the image of the frozen road surface by the front camera 102, when the cause is a large vehicle and the distance between the vehicles Is an image of a large vehicle by the front camera 102, and if the cause is a speed limit, an image representing a numerical value of the speed limit is displayed. Further, as control content, information that enables grasping of the control content such as deceleration control and seat control and information that can grasp the change of the control parameter before and after the control are displayed.

S129で、車両制御装置15は、前述したS111と同様に、乗員の状態が全員安心状態であるか否かを判定する。車両制御装置15は、乗員の状態が全員安心状態でないと判定した場合に、S130に移行する。   In S129, the vehicle control device 15 determines whether all the passengers are in a safe state, as in S111 described above. If the vehicle control device 15 determines that all the passengers are not in a safe state, the vehicle control device 15 proceeds to S130.

S130で、車両制御装置15は、前述したS121又はS127で実行した走行制御又は体感速度制御の制御パラメータを再調節して当該制御を再度実行する。ここで、車両制御装置15は、制御パラメータの値を、現制御で用いられている値から、乗員が安心する方向に単位制御量だけ変更する。乗員が安心する方向とは、減速制御については、現制御に用いられている値よりも低くなる方向である。車間距離制御については、現制御に用いられている値よりも大きくなる方向である。座席制御については、現在の値よりも高くなる方向である。窓表示制御ついては、現制御に用いられている値よりも低くなる方向である。   In S130, the vehicle control device 15 readjusts the control parameter of the travel control or the sensation speed control executed in S121 or S127 described above, and executes the control again. Here, the vehicle control device 15 changes the value of the control parameter from the value used in the current control by a unit control amount in a direction in which the occupant feels at ease. The direction in which the passenger is relieved is the direction in which the deceleration control is lower than the value used in the current control. The inter-vehicle distance control is a direction that is larger than the value used in the current control. The seat control is in a direction that is higher than the current value. The window display control is in a direction that is lower than the value used in the current control.

S131で、車両制御装置15は、乗員を落ち着かせるように車室内環境を調節する制御であるオプション制御をオプション装置群18に実行させる。具体的には、車両制御装置15は、香り発生装置181に車室内に香りを発生させ、また、オーディオ182に車室内に音楽を流させ、また、エアコン183に室内温度を調節させる。   In S131, the vehicle control device 15 causes the option device group 18 to perform option control, which is control for adjusting the vehicle interior environment so as to calm the occupant. Specifically, the vehicle control device 15 causes the scent generating device 181 to generate scent in the vehicle interior, causes the audio 182 to play music in the vehicle interior, and causes the air conditioner 183 to adjust the room temperature.

このように、本実施形態では、前述したS121又はS127で走行制御又は体感速度制御が実行されても乗員の状態が全員安心状態にならない場合には、オプション制御が実行される。車両制御装置15は、S131の処理を実行すると、前述したS128に移行する。   As described above, in the present embodiment, optional control is executed when all the passengers are not in a safe state even when the travel control or the sensible speed control is executed in S121 or S127 described above. The vehicle control apparatus 15 will transfer to S128 mentioned above, if the process of S131 is performed.

一方、車両制御装置15は、前述したS129で、乗員の状態が全員安心状態であると判定した場合に、S132に移行する。
また、車両制御装置15は、前述したS111で、乗員の状態が全員安心状態であると判定した場合にも、S132に移行する。
On the other hand, if the vehicle control device 15 determines in S129 described above that all the passengers are in a safe state, the vehicle control device 15 proceeds to S132.
The vehicle control device 15 also proceeds to S132 if it is determined in S111 described above that all the passengers are in a safe state.

S132で、車両制御装置15は、現制御に用いられている制御パラメータの値を安心DB14に記憶する。車両制御装置15は、S132の処理を実行すると、前述したS104の処理に移行する。   In S132, the vehicle control device 15 stores the value of the control parameter used for the current control in the safety DB 14. The vehicle control apparatus 15 will transfer to the process of S104 mentioned above, if the process of S132 is performed.

[3.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(1)本実施形態では、車両制御装置15は、完全自動運転制御又は運転支援制御が実行されていると判定した場合に、乗員が安心しているか否かを判定する。そして、乗員の状態が全員安心状態でない、つまり、少なくとも一人の乗員が安心していないと判定した場合に、安心制御を自車両に実行させる。したがって、完全自動運転制御又は運転支援制御が実行されている間において、乗員が不安を感じることを抑制することができる。
[3. effect]
According to the embodiment detailed above, the following effects can be obtained.
(1) In this embodiment, the vehicle control device 15 determines whether the occupant is relieved when it is determined that the fully automatic driving control or the driving support control is being executed. Then, when it is determined that all the passengers are not in a safe state, that is, at least one passenger is not in a safe state, the safety control is executed on the own vehicle. Therefore, it is possible to suppress the passenger from feeling uneasy while the fully automatic driving control or the driving support control is being executed.

(2)本実施形態では、心拍数が第1のしきい値以下であると判定された場合に、乗員が安心していると判定され、心拍数が第1のしきい値よりも大きいと判定された場合に、乗員がイライラしている又は不安である、つまり、安心していないと判定される。このように、本実施形態では、心拍数を表す情報といった生体情報に基づいて、乗員が安心しているか否かが判定される。したがって、当該判定の信頼性を向上させることができる。   (2) In this embodiment, when it is determined that the heart rate is equal to or lower than the first threshold value, it is determined that the occupant is relieved and the heart rate is determined to be greater than the first threshold value. When it is determined, the passenger is determined to be frustrated or uneasy, that is, not relieved. Thus, in this embodiment, it is determined whether or not the occupant is relieved based on biological information such as information representing the heart rate. Therefore, the reliability of the determination can be improved.

すなわち、例えば、自車両が急勾配の道路を走行していたり急カーブの道路を走行していたりする場合に乗員が安心していないと判定するなど、周囲状況に基づいて当該判定を行う構成が考えられる。しかしながら、このように周囲状況といった間接的な指標に基づいて乗員の安心を判定する構成では、実際には乗員が安心しているにもかかわらず安心していないと判定されるなど、誤判定が行われる場合がある。これに対して、本実施形態では、生体情報といった直接的な指標に基づき乗員の安心を判定するため、上記のような間接的な指標に基づき判定を行う構成と比較して、誤判定を抑制し、判定の信頼性を向上させることができる。   That is, for example, when the host vehicle is traveling on a steep road or traveling on a sharply curved road, the configuration in which the determination is made based on the surrounding situation, such as determining that the passenger is not at ease. Conceivable. However, in the configuration in which the occupant's reassurance is determined based on the indirect indicators such as the surrounding situation as described above, an erroneous determination is made such that it is determined that the occupant is actually relieved despite being relieved. May be. On the other hand, in this embodiment, since the occupant's reassurance is determined based on a direct index such as biometric information, erroneous determination is suppressed compared to the configuration in which the determination is based on the indirect index as described above. In addition, the reliability of determination can be improved.

また例えば、乗員が発する音声に基づいて乗員が安心しているか否かを判定する構成も考えられるが、このような構成では、乗員が音声を発しない場合には判定を行うことができない。これに対して、本実施形態では、乗員が音声を発しない場合にも判定を行うことができる。   For example, although the structure which determines whether a passenger | crew is relieved based on the voice which a passenger | crew utters is also considered, in such a structure, determination cannot be performed when a passenger | crew does not sound a voice. On the other hand, in the present embodiment, the determination can be made even when the occupant does not make a sound.

(3)本実施形態では、車両制御装置15は、乗員が安心していないと感じる原因が周囲状況にあるか否かを判定し、当該原因が周囲状況にあると判定した場合に、減速制御及び車間距離制御、つまり、車速制御を安心制御として走行制御装置群16に実行させる。したがって、乗員が安心していないと感じる原因が周囲状況にあると判定された場合において、乗員が不安を感じることを抑制することができる。   (3) In the present embodiment, the vehicle control device 15 determines whether or not the cause that the occupant feels uneasy is in the surrounding situation, and when it is determined that the cause is in the surrounding situation, deceleration control is performed. The inter-vehicle distance control, that is, the vehicle speed control is executed by the travel control device group 16 as a safe control. Therefore, when it is determined that the cause that the occupant feels uncomfortable is the surrounding situation, the occupant can be prevented from feeling uneasy.

(4)本実施形態では、車両制御装置15は、乗員が安心していないと感じる原因が周囲状況にないと判定した場合に、座席制御及び窓表示制御を安心制御として体感速度装置群17に実行させる。したがって、当該原因が周囲状況にないと判定された場合において、乗員が不安を感じることを抑制することができる。   (4) In the present embodiment, when the vehicle control device 15 determines that the cause that the occupant feels unreliable is not in the surrounding situation, the vehicle speed control device group 17 uses the seat control and the window display control as safety control. Let it run. Therefore, when it is determined that the cause is not in the surrounding situation, the passenger can be prevented from feeling uneasy.

(5)本実施形態では、車両制御装置15は、車速制御並びに座席制御及び窓表示制御を安心制御として走行制御装置群16及び体感速度装置群17に実行させる。そして、これらの制御を実行させても少なくとも一人の乗員が安心していないと判定した場合には、オプション制御をオプション装置群18に実行させる。したがって、乗員が不安を感じることを更に抑制することができる。   (5) In the present embodiment, the vehicle control device 15 causes the travel control device group 16 and the sensible speed device group 17 to execute vehicle speed control, seat control, and window display control as security control. If it is determined that at least one passenger is not relieved even if these controls are executed, the option device group 18 is caused to execute the option control. Therefore, it is possible to further suppress the passenger from feeling uneasy.

(6)本実施形態では、車両制御装置15は、ディスプレイ19に周囲状況及び制御内容を表示させる。したがって、周囲原因及び実行された制御内容を乗員が把握することができるため、乗員が不安を感じることを更に抑制することができる。   (6) In the present embodiment, the vehicle control device 15 causes the display 19 to display the surrounding situation and the control content. Therefore, since the occupant can grasp the surrounding cause and the executed control content, it is possible to further suppress the occupant from feeling uneasy.

(7)本実施形態では、少なくとも一人の乗員が安心していないと判定された場合に安心制御が実行される。換言すれば、少なくとも一人の乗員が安心していないと判定したことをもって、安心制御が実行されるための十分条件である制御実行条件が成立したと判定される。したがって、乗員が不安である状態が続くことを抑制することができる。   (7) In the present embodiment, the safety control is executed when it is determined that at least one passenger is not at ease. In other words, when it is determined that at least one occupant is not relieved, it is determined that a control execution condition, which is a sufficient condition for executing reassurance control, is satisfied. Therefore, it can suppress that the state where a passenger | crew is uneasy continues.

すなわち、仮に、すべての乗員が安心していないと判定されたときに初めて、安心制御が実行される構成を考える。このような構成では、乗員が安心していないと判定されても、安心していると判定された乗員が一人でもいるときには安心制御が実行されないため、乗員が不安である状態が続く場合がある。   That is, consider a configuration in which safety control is executed only when it is determined that all passengers are not at ease. In such a configuration, even if it is determined that the occupant is not relieved, the safety control may not be performed when there is even one occupant determined to be relieved, and thus the state where the occupant is uneasy may continue.

これに対して、本実施形態では、少なくとも一人の乗員が安心していないと判定された場合に安心制御が実行されるため、上記構成と比較して、乗員が不安である状態が続くことを抑制することができる。   On the other hand, in this embodiment, since safety control is executed when it is determined that at least one occupant is not relieved, a state in which the occupant is uneasy compared to the above configuration continues. Can be suppressed.

(8)本実施形態では、安心していないと判定された乗員のうち、安心逸脱度が最も大きい乗員、つまり、安心領域から最も逸脱した生体情報等の指標値を表す状態にある乗員、を安心させるための制御が実行される。換言すれば、安心制御を実行するに当たり、安心制御を最も必要としていると考えられる乗員が優先される。したがって、安心逸脱度が最も大きい状態にない乗員が優先される構成と比較して、安心制御を最も必要としていると考えられる乗員を早期に安心させることができる。   (8) In the present embodiment, among the passengers determined not to be relieved, the passenger having the largest safety departure, that is, the passenger representing the index value such as biometric information most deviating from the safety area, Control for reassurance is executed. In other words, in executing the safety control, a passenger who is considered to need the safety control most is given priority. Therefore, it is possible to quickly reassure the occupant who is considered to need the most secure control, as compared with the configuration in which the occupant who is not in the state of the highest safety departure is prioritized.

(9)本実施形態では、乗員の状態が全員安心状態であると判定されるまで、走行制御又は体感速度制御の制御パラメータが再調節されて安心制御が実行される。つまり、安心していないと判定された複数の乗員についての生体情報が表す指標値である心拍数のすべてが安心領域に含まれるような制御が安心制御として実行される。したがって、例えば、安心していないと判定された複数の乗員のうちの一人が安心していると判定された場合に制御パラメータの調節を止める構成と比較して、すべての乗員を安心させやすくすることができる。   (9) In the present embodiment, the safety control is executed by readjusting the control parameter of the travel control or the sensation speed control until it is determined that all the passengers are in the safe state. In other words, control that includes all of the heart rate, which is an index value represented by biological information about a plurality of occupants determined to be unreliable, is executed as reassuring control. Therefore, for example, when it is determined that one of a plurality of occupants determined not to be relieved, it is easier to reassure all occupants compared to a configuration in which the adjustment of the control parameter is stopped. Can do.

(10)本実施形態では、S117又はS123において安心DB14が参照され、事例がないと判定された場合に、制御パラメータの値が現制御の値よりも単位制御量だけ変更した値に決定される。つまり、事例がないと判定された場合には、制御パラメータの値が現制御の値から徐々に変更される。このため、制御パラメータの値を適正な値に調節することができるとともに、過剰な調節を抑制することができる。   (10) In the present embodiment, when the secure DB 14 is referred to in S117 or S123 and it is determined that there is no case, the value of the control parameter is determined to be a value that is changed by the unit control amount from the value of the current control. . That is, when it is determined that there is no case, the value of the control parameter is gradually changed from the value of the current control. For this reason, the value of the control parameter can be adjusted to an appropriate value, and excessive adjustment can be suppressed.

ただし、このように制御パラメータの値が徐々に変更される構成では、制御パラメータの値が適正な値に調節されるまでに時間がかかる場合がある。加えて、過去に乗車したことのある乗員に対して乗車する度に制御パラメータが徐々に変更されるのは煩わしいと乗員が感じる場合がある。   However, in such a configuration in which the value of the control parameter is gradually changed, it may take time until the value of the control parameter is adjusted to an appropriate value. In addition, the occupant may feel that it is bothersome that the control parameter is gradually changed every time the occupant has boarded in the past.

この点、本実施形態では、安心DB14が参照され、事例があると判定された場合には、制御パラメータの値が、過去の制御で特定された適正値に決定される。よって、事例がある場合においても制御パラメータの値が徐々に変更される構成と比較して、時間を節約することができるとともに、乗員が前述した煩わしさを感じることを抑制することができる。   In this regard, in the present embodiment, when the relief DB 14 is referred to and it is determined that there is a case, the value of the control parameter is determined to be an appropriate value specified by past control. Therefore, even when there is a case, it is possible to save time as compared with the configuration in which the value of the control parameter is gradually changed, and it is possible to suppress the passenger from feeling the annoyance described above.

なお、本実施形態では、心拍数を表す情報及び画像情報が状態情報に相当し、画像の類似度及び心拍数が状態情報が表す指標値に相当し、心拍数を表す情報が生体情報に相当し、減速制御、車間距離制御、座席制御、窓表示制御及びオプション制御が安心制御に相当し、安心領域が許容領域に相当し、ディスプレイ19が表示装置に相当する。また、S108及びS109が運転判定部としての処理に相当し、S110が状態取得部としての処理に相当し、S111及びS129が安心判定部としての処理に相当し、S112が周囲取得部としての処理に相当し、S114が原因判定部としての処理に相当し、S121,S127,S130及びS131が実行部としての処理に相当し、S128が表示処理部としての処理に相当する。   In the present embodiment, the information indicating the heart rate and the image information correspond to the state information, the image similarity and the heart rate correspond to the index value represented by the state information, and the information indicating the heart rate corresponds to the biological information. The deceleration control, the inter-vehicle distance control, the seat control, the window display control, and the option control correspond to the safety control, the safety area corresponds to the allowable area, and the display 19 corresponds to the display device. S108 and S109 correspond to processing as a driving determination unit, S110 corresponds to processing as a state acquisition unit, S111 and S129 correspond to processing as a safety determination unit, and S112 processing as a surrounding acquisition unit. S114 corresponds to processing as a cause determination unit, S121, S127, S130, and S131 correspond to processing as an execution unit, and S128 corresponds to processing as a display processing unit.

[4.他の実施形態]
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
[4. Other Embodiments]
As mentioned above, although the form for implementing this indication was demonstrated, this indication is not limited to the above-mentioned embodiment, and can carry out various modifications.

(1)上記実施形態では、任意の少なくとも一人の乗員が安心していないと判定されたことをもって制御実行条件が成立する。しかし、制御実行条件はこれに限られない。制御実行条件は、例えば、特定の一人の乗員(例えばドライバなど)が安心していないと判定されたことをもって成立してもよい。この場合も、制御実行条件は少なくとも一人の乗員が安心していないと判定されたことをもって成立する。   (1) In the above embodiment, the control execution condition is established when it is determined that any at least one passenger is not at ease. However, the control execution condition is not limited to this. The control execution condition may be satisfied, for example, when it is determined that a specific passenger (for example, a driver) is not relieved. Also in this case, the control execution condition is satisfied when it is determined that at least one passenger is not at ease.

また、制御実行条件は、少なくとも一人の乗員が安心していないと判定されたことをもって成立するものに限られない。例えば、制御実行条件は、任意の又は特定の複数の乗員が安心していないと判定されたことをもって成立してもよい。この場合において例えば、制御実行条件は、すべての乗員が安心していないと判定されたことをもって成立してもよい。   Further, the control execution condition is not limited to that which is established when it is determined that at least one passenger is not at ease. For example, the control execution condition may be satisfied when it is determined that an arbitrary or specific plurality of passengers are not relieved. In this case, for example, the control execution condition may be satisfied when it is determined that all passengers are not relieved.

(2)上記実施形態では、生体情報として心拍数を表す情報を例示したが、生体情報はこれに限られない。生体情報は、例えば、呼吸を表す情報、脳波を表す情報、脈拍を表す情報、血圧を表す情報、血糖値を表す情報、血中酸素濃度を表す情報、発汗を表す情報、体温を表す情報など、生体現象を表す種々の情報であってもよい。   (2) In the above embodiment, the information representing the heart rate is exemplified as the biological information, but the biological information is not limited thereto. The biological information includes, for example, information representing respiration, information representing brain waves, information representing pulse, information representing blood pressure, information representing blood glucose level, information representing blood oxygen concentration, information representing sweating, information representing body temperature, and the like. Various information representing biological phenomena may be used.

(3)上記実施形態では、生体情報以外にも画像情報を用いて、乗員の状態が、安心している状態、イライラしている状態及び不安である状態のいずれであるかが判定される。しかしながら、乗員の状態が複数の状態のいずれであるのかを判定する方法はこれに限られない。例えば、生体情報として脳波を表す情報等が用いられる場合には、当該生体情報のみを用いて判定が行われてもよい。   (3) In the above embodiment, image information is used in addition to biological information, and it is determined whether the occupant is in a relieved state, an irritated state, or an anxious state. However, the method for determining which of the plurality of states of the occupant is not limited to this. For example, when information representing an electroencephalogram or the like is used as the biological information, the determination may be performed using only the biological information.

(4)上記実施形態では、1種類の生体情報に基づいて乗員が安心しているか否かが判定されるが、当該判定に用いられる生体情報の種類はこれに限られず、複数種類の生体情報に基づいて当該判定が行われてもよい。   (4) In the above embodiment, it is determined whether or not the occupant is relieved based on one type of biological information, but the type of biological information used for the determination is not limited to this, and multiple types of biological information are included. The determination may be made based on the above.

この場合、例えば、複数種類の生体情報のすべてが平常時の領域に含まれると判定された場合に乗員が安心していると判定されてもよい。また例えば、複数種類の生体情報の少なくとも1つが平常時の領域に含まれる判定された場合に乗員が安心していると判定されてもよい。なお、心拍数等の生体情報が表す指標値等は常にモニタされていてもよい。   In this case, for example, when it is determined that all of a plurality of types of biological information are included in the normal area, it may be determined that the occupant is relieved. Further, for example, when it is determined that at least one of a plurality of types of biological information is included in the normal region, it may be determined that the occupant is relieved. In addition, the index value etc. which biometric information, such as a heart rate, represents may be always monitored.

(5)上記実施形態では、安心領域は、図4に示す2次元座標系における長方形状の領域であるが、安心領域の形状はこれに限られるものではない。安心領域は、例えば、台形などの長方形以外の多角形状、円状、楕円状など、任意の図形であってもよい。つまり、安心領域は、生体情報等が表す指標値を座標軸とする座標系において、指標値がある値以上ある値以下の領域であるといったように単純に表せないものであってもよい。また上記実施形態では、安心領域は所定の座標系における1つの領域であったが、安心領域の数はこれに限られず、安心領域は互いに離間した2つ以上の領域であってもよい。なお、座標系が1次元又は3次元以上である場合の安心領域の形状及び数についても同様である。また、イライラや不安などの安心以外の感情の領域についても同様である。   (5) In the above embodiment, the safe area is a rectangular area in the two-dimensional coordinate system shown in FIG. 4, but the shape of the safe area is not limited to this. The safe area may be an arbitrary figure such as a polygonal shape other than a rectangle such as a trapezoid, a circle, or an ellipse. That is, the safe area may be a region that cannot be expressed simply, such as an area where the index value is greater than or equal to a certain value and less than a certain value in a coordinate system having the index value represented by biological information or the like as a coordinate axis. Moreover, in the said embodiment, although the relief area was one area | region in a predetermined coordinate system, the number of relief areas is not restricted to this, The relief area may be two or more area | regions mutually separated. The same applies to the shape and number of safe areas when the coordinate system is one-dimensional or three-dimensional or higher. The same applies to emotional areas other than relief such as frustration and anxiety.

(6)上記実施形態では、生体情報を用いて乗員が安心しているか否かが判定されるが、当該判定に用いられる情報は生体情報に限られない。例えば、乗員カメラ12等の画像情報に基づいて乗員の表情を検出し、検出した表情に基づいて、乗員が安心しているか否かが判定されてもよい。この場合、画像情報が、乗員の状態を表す情報である状態情報に相当する。   (6) In the above embodiment, it is determined whether or not the occupant is relieved using the biological information, but the information used for the determination is not limited to the biological information. For example, an occupant's facial expression may be detected based on image information from the occupant camera 12 or the like, and it may be determined whether the occupant is relieved based on the detected facial expression. In this case, the image information corresponds to state information that is information representing the state of the occupant.

(7)上記実施形態では、安心している状態以外の状態はイライラしている状態及び不安である状態に分類されるが、安心している状態以外の状態の分類はこれに限られない。例えば、安心している状態以外の状態は、恐怖を感じている状態、驚いている状態及び緊張している状態などの状態を含むように分類されてもよい。   (7) In the above embodiment, the state other than the state of being relieved is classified into the state of being frustrated and the state of being anxious, but the classification of the state other than the state of being relieved is not limited to this. For example, states other than the state of being relieved may be classified so as to include states such as a state of feeling fear, a state of surprise, and a state of tension.

(8)上記実施形態では、生体情報センサ11は、シートベルトに設けられた心拍計であるが、生体情報センサはこれに限られない。生体情報センサは、例えば、ステアリングホイールに設けられたセンサ等であってもよい。また例えば、生体情報センサは、座席に設けられ、着座した乗員から発せられる電位信号を検出する心電センサ電極等であってもよい。   (8) In the above embodiment, the biological information sensor 11 is a heart rate monitor provided on the seat belt, but the biological information sensor is not limited thereto. The biological information sensor may be, for example, a sensor provided on a steering wheel. Further, for example, the biological information sensor may be an electrocardiographic sensor electrode that is provided on the seat and detects a potential signal emitted from a seated occupant.

(9)周囲原因及び安心制御は上記実施形態のものに限られない。
例えば、自車両が走行レーンから逸脱して走行している場合には、周囲原因は車線逸脱であると特定されてもよい。この場合の安心制御は、例えば、自車両の操舵を制御して自車両が走行レーン内を走行するようにする制御であってもよい。つまり、車両制御装置は、原因が周囲状況にあると判定した場合に、操舵制御を安心制御として操舵制御装置162に実行させてもよい。
(9) Surrounding causes and safety control are not limited to those of the above embodiment.
For example, when the host vehicle deviates from the travel lane, the surrounding cause may be specified as a lane departure. The safety control in this case may be, for example, control for controlling the steering of the host vehicle so that the host vehicle travels in the travel lane. That is, the vehicle control device may cause the steering control device 162 to execute the steering control as a safe control when it is determined that the cause is the surrounding situation.

また例えば、細い道を自車両が走行している場合には、周囲原因は細い道であると特定されてもよい。この場合の安心制御は、例えば、完全自動運転制御が実行されている場合などにおいて、細くない道を自車両が走行するように自車両の走行予定経路を変更する制御であってもよい。   Further, for example, when the host vehicle is traveling on a narrow road, the surrounding cause may be specified as a narrow road. The safe control in this case may be control for changing the planned travel route of the host vehicle so that the host vehicle travels on a road that is not thin, for example, when fully automatic driving control is being performed.

また例えば、交通量の多い交差点などにおいて、他車両によって自車両の右左折が妨げられる場合には、周囲原因は他車両であると特定されてもよい。この場合の安心制御は、例えば、他車両が皆通過したときに右左折するなど、自車両の右左折のタイミングを調節する制御であってもよい。   In addition, for example, when the left and right turn of the own vehicle is prevented by another vehicle at an intersection with a large traffic volume, the surrounding cause may be specified as the other vehicle. The safety control in this case may be control that adjusts the timing of the left or right turn of the host vehicle, such as turning right or left when all other vehicles have passed.

また、完全自動運転制御が実行されている場合などにおいて、渋滞により自車両が低速度で走行し、乗員がイライラした状態である場合には、周囲原因は渋滞であると特定されてもよい。この場合の安心制御は、例えば、乗員の座席の高さを変更して低くする座席制御、及び、自車両の窓に、車両の走行速度に応じて流れる実際の速さよりも高い速さで流れる景色を表示する窓表示制御、の少なくとも一方であってもよい。つまり、上記実施形態では、不安を感じている乗員を安心させるための制御が主として実行されるが、イライラした乗員を安心させるための制御が安心制御として実行されてもよい。   Further, when the fully automatic driving control is being executed, when the own vehicle travels at a low speed due to traffic congestion and the occupant is in an irritated state, the surrounding cause may be specified as traffic congestion. The safety control in this case is, for example, a seat control that changes the seat height of the occupant and lowers it, and flows in the window of the host vehicle at a speed higher than the actual speed that flows according to the traveling speed of the vehicle. It may be at least one of window display control for displaying scenery. That is, in the above-described embodiment, control for reassuring an occupant who feels anxiety is mainly executed, but control for reassuring an irritated occupant may be executed as reassurance control.

また、上記実施形態では、周囲原因が路面の凍結である場合の安心制御は減速制御であるが、周囲原因が路面の凍結である場合の安心制御はこれに限られない。例えば、当該安心制御は、減速制御に加え又は代えて、アンチロックブレーキングシステムや横滑り防止装置の効きを強くする制御であってもよい。   In the above embodiment, the safety control when the surrounding cause is freezing of the road surface is deceleration control, but the safety control when the surrounding cause is freezing of the road surface is not limited thereto. For example, the safety control may be control that enhances the effectiveness of an antilock braking system or a skid prevention device in addition to or instead of deceleration control.

(10)安心逸脱度が最も大きい乗員を安心させるための制御が実行されなくてもよい。換言すれば、安心制御を実行するに当たり、安心逸脱度が最も大きい乗員が優先されなくてもよい。   (10) The control for reassuring the occupant with the highest degree of safety departure may not be executed. In other words, when executing the safety control, the occupant with the highest safety departure may not be given priority.

(11)上記実施形態では、安心逸脱度を比較して安心させる乗員が決定されるが、安心させる乗員を決定する方法はこれに限られない。例えば、安心していないと判定された乗員のそれぞれについて、安心DBから実際に用いられる制御パラメータの値の候補となる値を抽出する。そして、制御パラメータの値を、候補となる値のうち、前述した乗員が安心する方向に最も大きい値に決定してもよい。   (11) In the above embodiment, the occupant to be relieved is determined by comparing the degree of safe departure, but the method of determining the occupant to be relieved is not limited to this. For example, for each occupant determined not to be relieved, a value that is a candidate for a control parameter value that is actually used is extracted from the reassurance DB. And you may determine the value of a control parameter to the largest value in the direction which the passenger | crew relieves among the candidate values.

このような構成によれば、安心逸脱度を比較する構成と比べて、より直接的な比較が可能となる。すなわち、安心逸脱度は、心拍数が上がりやすいなどの乗員の性状に依存する指標であるため、安心逸脱度が大きい乗員の制御パラメータの値は、安心する方向に最も大きい値と必ずしも一致しない。このため、制御パラメータの値を安心逸脱度が最も大きい乗員のものに決定し、安心制御を実行しても、安心する方向に最も大きい値の制御を必要とする乗員が安心しない可能性がある。これに対して、制御パラメータの値を比較することで、より直接的な比較が可能となり、ひいては、不安と判定されたすべての乗員をより安心させやすくすることができる。   According to such a configuration, a more direct comparison is possible as compared with a configuration that compares the degree of safe departure. That is, since the degree of relief departure is an index that depends on the characteristics of the occupant, such as the heart rate is likely to increase, the value of the control parameter of the occupant with a large degree of departure is not necessarily the largest value in the direction of relief. For this reason, even if the control parameter value is determined to be that of the occupant with the highest degree of safety departure and the safety control is executed, there is a possibility that the occupant who needs the control with the largest value in the direction of security is not at ease. . On the other hand, by comparing the values of the control parameters, a more direct comparison is possible, and as a result, all passengers determined to be uneasy can be made more comfortable.

(12)車両制御装置は、安心DB14を参照することなく制御パラメータの値を決定してもよい。この場合において、例えば、制御パラメータの値は、あらかじめ設定された所定値に決定されてもよい。   (12) The vehicle control device may determine the value of the control parameter without referring to the secure DB 14. In this case, for example, the value of the control parameter may be determined as a predetermined value set in advance.

(13)上記実施形態では、窓表示装置172による画像は自車両の側方に設けられた各窓に表示されるが、窓表示装置による画像が表示される窓はこれに限られない。例えば、窓表示装置による画像は、完全自動運転制御が実行されている場合などにおいて、自車両のフロントガラスやリアガラス等に表示されてもよい。   (13) In the above-described embodiment, the image by the window display device 172 is displayed in each window provided on the side of the host vehicle, but the window in which the image by the window display device is displayed is not limited thereto. For example, the image by the window display device may be displayed on the windshield, rear glass, or the like of the host vehicle when the fully automatic operation control is executed.

(14)上記実施形態では、画像が窓に投射されることにより窓に画像が表示されるが、画像を窓に表示する構成はこれに限られない。例えば、窓に透明なディスプレイを設け、当該ディスプレイに画像を表示してもよい。このように、窓とは別体の機器等に画像を表示する構成であっても、窓に画像が表示されたと視認できる場合には、窓に画像を表示する構成に含まれる。   (14) In the above embodiment, the image is displayed on the window by projecting the image onto the window, but the configuration for displaying the image on the window is not limited to this. For example, a transparent display may be provided on the window, and an image may be displayed on the display. As described above, even when the image is displayed on a device or the like separate from the window, the image is displayed on the window if it can be visually recognized that the image is displayed on the window.

(15)上記実施形態では、体感速度制御は座席制御及び窓表示制御の両方であるが、体感速度制御はこれに限られない。例えば、体感速度制御は、座席制御及び窓表示制御のうちのいずれか一方であってもよい。   (15) In the above embodiment, the sensation speed control is both seat control and window display control, but the sensation speed control is not limited to this. For example, the sensory speed control may be any one of seat control and window display control.

(16)上記実施形態では、オプション制御は、車室内に香りを発生させる制御等であるが、オプション制御はこれに限られない。オプション制御は、例えば、車室内の明るさを変更する制御等であってもよい。   (16) In the above embodiment, the option control is control for generating a scent in the vehicle interior, but the option control is not limited to this. The option control may be, for example, control for changing the brightness of the passenger compartment.

(17)上記実施形態では、安心領域を含む所定の許容領域として安心領域自体を例示したが、許容領域はこれに限られない。許容領域は、例えば、安心領域を含む領域であって安心領域よりも大きな領域であってもよい。   (17) In the above embodiment, the safe area itself is exemplified as the predetermined allowable area including the safe area, but the allowable area is not limited to this. The allowable area may be, for example, an area including the safe area and a larger area than the safe area.

(18)上記実施形態では、表示装置としてディスプレイ19を例示したが、表示装置はこれに限られない。表示装置は、例えば、インジケータやHUD等であってもよい。
(19)上記実施形態では、自車両は、運転支援制御及び完全自動運転制御の両方を実行可能であるが、自車両が実行可能な自動運転制御はこれに限られない。自車両は、例えば、運転支援制御及び完全自動運転制御のいずれか一方のみを実行可能であってもよい。
(18) In the above embodiment, the display 19 is exemplified as the display device, but the display device is not limited to this. The display device may be, for example, an indicator or HUD.
(19) In the above embodiment, the host vehicle can execute both the driving support control and the fully automatic driving control, but the automatic driving control that the host vehicle can execute is not limited to this. For example, the host vehicle may be capable of executing only one of driving support control and fully automatic driving control.

(20)上記実施形態で、車両制御装置15が実行する機能の一部又は全部を、1つあるいは複数のIC等によりハードウェア的に構成してもよい。
(21)前述した車両制御装置15の他、当該車両制御装置15を構成要素とするシステム、当該車両制御装置15としてコンピュータを機能させるためのプログラム、このプログラムを記憶した半導体メモリ等の非遷移的実体的記憶媒体、乗員が安心しているか否かを判定する方法及び当該判定の判定結果に応じて車両制御を実行する方法など、種々の形態で本開示を実現することもできる。
(20) In the above embodiment, a part or all of the functions executed by the vehicle control device 15 may be configured by hardware using one or a plurality of ICs.
(21) In addition to the vehicle control device 15 described above, a system including the vehicle control device 15 as a constituent element, a program for causing a computer to function as the vehicle control device 15, a non-transitive semiconductor memory or the like storing the program The present disclosure can also be realized in various forms such as a substantial storage medium, a method for determining whether or not an occupant is relieved, and a method for executing vehicle control according to a determination result of the determination.

(22)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。   (22) A plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claims are embodiments of the present disclosure.

1…車両制御システム、10…周囲検出装置群、11…生体情報センサ、12…乗員カメラ、13…走行検出センサ群、14…安心DB、15…車両制御装置、16…走行制御装置群、17…体感速度装置群、18…オプション装置群、19…ディスプレイ。   DESCRIPTION OF SYMBOLS 1 ... Vehicle control system, 10 ... Ambient detection apparatus group, 11 ... Biological information sensor, 12 ... Passenger camera, 13 ... Travel detection sensor group, 14 ... Relief DB, 15 ... Vehicle control apparatus, 16 ... Travel control apparatus group, 17 ... bodily sensation speed device group, 18 ... optional device group, 19 ... display.

Claims (11)

車速制御及び操舵制御のうちの少なくとも一方を自動で行う自動運転制御が可能な車両に搭載される車両制御装置(15)であって、
前記自動運転制御が実行されているか否かを判定する運転判定部(S108,S109)と、
前記車両の乗員の状態を表す情報である状態情報を取得する状態取得部(S110)と、
前記運転判定部により前記自動運転制御が実行されていると判定された場合に、前記状態情報に基づいて前記乗員が安心しているか否かを判定し、少なくとも一人の前記乗員が安心していないと判定したことを要件とする所定の制御実行条件が成立したか否かを判定する安心判定部(S111,S129)と、
前記安心判定部により前記制御実行条件が成立したと判定された場合に、安心していないと判定された前記乗員を安心させるための制御である安心制御を前記車両に実行させる実行部(S121,S127,S130,S131)と、
を備える車両制御装置。
A vehicle control device (15) mounted on a vehicle capable of automatic driving control that automatically performs at least one of vehicle speed control and steering control,
An operation determination unit (S108, S109) for determining whether or not the automatic operation control is being executed;
A state acquisition unit (S110) that acquires state information that is information representing the state of the vehicle occupant;
When it is determined by the driving determination unit that the automatic driving control is being performed, it is determined whether or not the occupant is relieved based on the state information, and at least one occupant is not relieved A safety determination unit (S111, S129) that determines whether or not a predetermined control execution condition that satisfies the determination is satisfied;
An execution unit that causes the vehicle to execute safety control, which is control for reassuring the occupant determined to be unreliable, when it is determined by the safety determination unit that the control execution condition is satisfied (S121, S127, S130, S131),
A vehicle control device comprising:
請求項1に記載の車両制御装置であって、
前記状態取得部は、前記乗員の生体情報を前記状態情報として取得する、車両制御装置。
The vehicle control device according to claim 1,
The state acquisition unit is a vehicle control device that acquires biological information of the occupant as the state information.
請求項1又は請求項2に記載の車両制御装置であって、
前記車両の周囲の状況を表す情報である周囲情報を取得する周囲取得部(S112)と、
前記安心判定部により前記制御実行条件が成立したと判定された場合に、前記少なくとも一人の乗員が安心していないと感じる原因が前記周囲の状況にあるか否かを前記周囲情報に基づいて判定する原因判定部(S114)と、を更に備え、
前記実行部は、前記原因判定部により前記原因が前記周囲の状況にあると判定された場合に、前記車速制御及び前記操舵制御のうちの少なくとも一方を前記安心制御として前記車両に実行させる、車両制御装置。
The vehicle control device according to claim 1 or 2,
A surrounding acquisition unit (S112) that acquires surrounding information that is information representing the situation around the vehicle;
When it is determined by the safety determination unit that the control execution condition is satisfied, it is determined based on the surrounding information whether the at least one occupant feels uneasy in the surrounding situation. A cause determination unit (S114) for
The execution unit causes the vehicle to execute at least one of the vehicle speed control and the steering control as the safety control when the cause determination unit determines that the cause is in the surrounding situation. Control device.
請求項3に記載の車両制御装置であって、
前記実行部は、前記車速制御及び前記操舵制御のうちの少なくとも一方を前記安心制御として前記車両に実行させても前記安心判定部により前記制御実行条件が成立していると判定された場合に、前記車両の室内の環境を、安心していないと判定された前記乗員を落ち着かせるように調節する制御を前記安心制御として前記車両に実行させる、車両制御装置。
The vehicle control device according to claim 3,
The execution unit, when it is determined by the safety determination unit that the control execution condition is satisfied even if at least one of the vehicle speed control and the steering control is executed by the vehicle as the safety control, The vehicle control apparatus which makes the said vehicle perform the control which adjusts so that the said passenger | crew determined that it is not relieved to calm down the interior environment of the said vehicle as said safety | security control.
請求項3又は請求項4に記載の車両制御装置であって、
前記実行部は、前記原因判定部により前記原因が前記周囲の状況にないと判定された場合に、安心していないと判定された前記乗員の座席の高さを変更する制御である座席制御、及び、前記車両の窓に、前記車両の走行速度に応じて流れる実際の速さと異なる速さで流れる景色を表示する制御である窓表示制御、の少なくとも一方を前記安心制御として前記車両に実行させる、車両制御装置。
The vehicle control device according to claim 3 or 4, wherein
The execution unit is a seat control that is a control for changing the height of the occupant's seat that is determined not to be safe when the cause determination unit determines that the cause is not in the surrounding situation, And causing the vehicle to execute at least one of window display control, which is control for displaying a scenery flowing at a speed different from the actual speed flowing according to the traveling speed of the vehicle, as the safety control. Vehicle control device.
請求項5に記載の車両制御装置であって、
前記実行部は、前記座席制御及び前記窓表示制御の少なくとも一方を前記安心制御として前記車両に実行させても前記安心判定部により前記制御実行条件が成立していると判定された場合に、前記車両の室内の環境を、安心していないと判定された前記乗員を落ち着かせるように調節する制御を前記安心制御として前記車両に実行させる、車両制御装置。
The vehicle control device according to claim 5,
The execution unit is configured to determine that the control execution condition is satisfied by the safety determination unit even when the vehicle executes at least one of the seat control and the window display control as the safety control. A vehicle control device that causes the vehicle to execute control for adjusting the environment of the vehicle interior so as to calm the occupant determined not to be safe.
請求項3から請求項6までのいずれか1項に記載の車両制御装置であって、
前記車両に搭載された表示装置(19)に、前記周囲の状況及び前記実行部による制御内容を表示させる表示処理部(S128)を更に備える、車両制御装置。
The vehicle control device according to any one of claims 3 to 6,
The vehicle control device further comprising a display processing unit (S128) that causes the display device (19) mounted on the vehicle to display the surrounding situation and the control content by the execution unit.
請求項1から請求項7までのいずれか1項に記載の車両制御装置であって、
前記安心判定部は、少なくとも一人の前記乗員が安心していないと判定したことをもって前記制御実行条件が成立したと判定する、車両制御装置。
The vehicle control device according to any one of claims 1 to 7,
The said safety determination part is a vehicle control apparatus which determines with the said control execution condition having been satisfied with having determined that at least one said passenger | crew is not relieved.
請求項1から請求項8までのいずれか1項に記載の車両制御装置であって、
前記安心判定部は、前記状態情報が表す指標値が、あらかじめ設定された数値領域である安心領域に含まれる場合に、前記乗員が安心していると判定し、前記安心領域に含まれない場合に、前記乗員が安心していないと判定する、車両制御装置。
The vehicle control device according to any one of claims 1 to 8,
The safety determination unit determines that the occupant is safe when the index value represented by the state information is included in a safety area that is a preset numerical area, and is not included in the safety area. A vehicle control device that determines that the passenger is not at ease.
請求項9に記載の車両制御装置であって、
前記実行部は、前記安心判定部により、複数の前記乗員が安心していないと判定された場合に、安心していないと判定された前記乗員のうち、前記安心領域から最も逸脱した前記指標値を表す前記状態にある前記乗員を安心させるための制御を前記車両に実行させる、車両制御装置。
The vehicle control device according to claim 9,
The said execution part is the said index value which deviated most from the said reliable area among the said passengers determined not to be safe when the said safety determination part determines that a plurality of said passengers are not safe. The vehicle control apparatus which makes the said vehicle perform control for relieving the said passenger | crew in the said state showing.
請求項9又は請求項10に記載の車両制御装置であって、
前記実行部は、前記安心判定部により、複数の前記乗員が安心していないと判定された場合に、安心していないと判定された前記複数の乗員についての前記指標値のすべてが前記安心領域を含む所定の許容領域に含まれるような制御を前記安心制御として前記車両に実行させる、車両制御装置。
The vehicle control device according to claim 9 or 10, wherein
When the plurality of occupants are determined not to be relieved by the reassurance determining unit, the execution unit determines that all of the index values for the plurality of occupants determined to be relieved A vehicle control device that causes the vehicle to execute control as included in a predetermined allowable area including the safety control.
JP2016137711A 2016-07-12 2016-07-12 Vehicle control device Active JP6756174B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016137711A JP6756174B2 (en) 2016-07-12 2016-07-12 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016137711A JP6756174B2 (en) 2016-07-12 2016-07-12 Vehicle control device

Publications (2)

Publication Number Publication Date
JP2018008575A true JP2018008575A (en) 2018-01-18
JP6756174B2 JP6756174B2 (en) 2020-09-16

Family

ID=60994015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016137711A Active JP6756174B2 (en) 2016-07-12 2016-07-12 Vehicle control device

Country Status (1)

Country Link
JP (1) JP6756174B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020029210A (en) * 2018-08-23 2020-02-27 オムロン株式会社 Driving control adjustment device and driving control adjustment method
WO2020039995A1 (en) * 2018-08-23 2020-02-27 オムロン株式会社 Driving control adjustment device and driving control adjustment method
WO2020189070A1 (en) * 2019-03-19 2020-09-24 株式会社スマートドライブ Information processing device, and program
KR102200807B1 (en) * 2020-04-07 2021-01-11 인포뱅크 주식회사 Speed control apparatus and method for autonomous vehicles
GB2608567A (en) * 2018-12-18 2023-01-04 Motional Ad Llc Operation of a vehicle using motion planning with machine learning

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021209390B4 (en) * 2021-08-26 2024-03-21 Volkswagen Aktiengesellschaft Method for adjusting a steering angle and/or a yaw rate of a motor vehicle and motor vehicle with a control unit

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10338053A (en) * 1997-06-06 1998-12-22 Honda Motor Co Ltd Travel controller for vehicle
JP2008068664A (en) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd Vehicle control apparatus and vehicle control method
JP2009134496A (en) * 2007-11-30 2009-06-18 Nissan Motor Co Ltd Driving support device and driving support method
JP2016007989A (en) * 2014-06-26 2016-01-18 クラリオン株式会社 Vehicle control system and vehicle control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10338053A (en) * 1997-06-06 1998-12-22 Honda Motor Co Ltd Travel controller for vehicle
JP2008068664A (en) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd Vehicle control apparatus and vehicle control method
JP2009134496A (en) * 2007-11-30 2009-06-18 Nissan Motor Co Ltd Driving support device and driving support method
JP2016007989A (en) * 2014-06-26 2016-01-18 クラリオン株式会社 Vehicle control system and vehicle control method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020029210A (en) * 2018-08-23 2020-02-27 オムロン株式会社 Driving control adjustment device and driving control adjustment method
WO2020039995A1 (en) * 2018-08-23 2020-02-27 オムロン株式会社 Driving control adjustment device and driving control adjustment method
WO2020039993A1 (en) * 2018-08-23 2020-02-27 オムロン株式会社 Driving control adjustment device and driving control adjustment method
GB2608567A (en) * 2018-12-18 2023-01-04 Motional Ad Llc Operation of a vehicle using motion planning with machine learning
GB2608567B (en) * 2018-12-18 2023-06-14 Motional Ad Llc Operation of a vehicle using motion planning with machine learning
US11899464B2 (en) 2018-12-18 2024-02-13 Motional Ad Llc Operation of a vehicle using motion planning with machine learning
WO2020189070A1 (en) * 2019-03-19 2020-09-24 株式会社スマートドライブ Information processing device, and program
KR102200807B1 (en) * 2020-04-07 2021-01-11 인포뱅크 주식회사 Speed control apparatus and method for autonomous vehicles

Also Published As

Publication number Publication date
JP6756174B2 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
US11377094B2 (en) System and method for responding to driver behavior
US10875536B2 (en) Coordinated vehicle response system and method for driver behavior
JP6756174B2 (en) Vehicle control device
JP6555647B2 (en) Vehicle driving support system and vehicle driving support method
WO2014149657A1 (en) Coordinated vehicle response system and method for driver behavior
AU2012218054A1 (en) System and method for responding to driver behavior
JP6593712B2 (en) Vehicle driving support system
US10399563B2 (en) Driving support apparatus, driving support method, and computer program product
JP2005329800A (en) In-vehicle equipment control device
JP2018013811A (en) Driver state determination device and driver state determination program
JP6673070B2 (en) Driver state guidance device and driver state guidance program
JP2023128558A (en) Driving support device, driving support method, and vehicle
CN116409315A (en) Control method and equipment of advanced driving assistance system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200810

R151 Written notification of patent or utility model registration

Ref document number: 6756174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250