JP2018045451A - Vehicle control apparatus - Google Patents

Vehicle control apparatus Download PDF

Info

Publication number
JP2018045451A
JP2018045451A JP2016179764A JP2016179764A JP2018045451A JP 2018045451 A JP2018045451 A JP 2018045451A JP 2016179764 A JP2016179764 A JP 2016179764A JP 2016179764 A JP2016179764 A JP 2016179764A JP 2018045451 A JP2018045451 A JP 2018045451A
Authority
JP
Japan
Prior art keywords
driver
vehicle
unit
information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016179764A
Other languages
Japanese (ja)
Inventor
海燕 金
Kaien Kin
海燕 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2016179764A priority Critical patent/JP2018045451A/en
Publication of JP2018045451A publication Critical patent/JP2018045451A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve safety of a vehicle when the mode is switched from self-driving mode to manual driving mode.SOLUTION: A storage unit 10 stores information for specifying an additional time calculation function which indicates a relation between a response time required for a driver of a vehicle in self-driving mode to operate manually the vehicle and a plurality of numerical values obtained by analyzing multiple kinds of information obtained by measuring the driver. An external measurement unit 4 measures a state of the outside of the vehicle in self-driving mode. A driver information acquisition unit 2 acquires multiple kinds of information on the driver of the vehicle. A determination unit 21 determines whether the vehicle is to be controlled by the driver or not, on the basis of the state measured by the external measurement unit 4. An additional time calculation unit 22 calculates an additional time required for transition from self-driving mode to manual-driving mode in which the vehicle is driven by the driver, on the basis of the multiple kinds of information acquired by the driver information acquisition unit 2 and the additional time calculation function, when the determination unit 21 determines that transition of the control is necessary.SELECTED DRAWING: Figure 2

Description

本発明は、車両制御装置に関し、特に、自動運転中の車両を運転者による手動運転に移行する際の車両制御技術に関する。   The present invention relates to a vehicle control device, and more particularly, to a vehicle control technique for shifting a vehicle during automatic driving to manual driving by a driver.

近年、各種センサからの情報に基づいて車両の速度や操舵角を制御して自律走行を行う技術が提案されている。これらの技術の中には、車両が自律的に走行する自動運転モードと運転者による手動走行を行う手動運転モードとを切り替える際に、運転モードの切り替えを、警告表示や音声、シートやステアリングの振動などにより運転者に報知するものも存在する(特許文献1)。   In recent years, a technique has been proposed in which autonomous traveling is performed by controlling the speed and steering angle of a vehicle based on information from various sensors. In these technologies, when switching between the automatic driving mode in which the vehicle travels autonomously and the manual driving mode in which the driver performs manual driving, the switching of the driving mode is performed by warning display, voice, seat and steering. There is also one that notifies the driver by vibration or the like (Patent Document 1).

特開平9−161196号公報JP-A-9-161196

上記の技術では、自動運転モードを手動運転モードに切り替えるべきタイミングが近づいたとき、運転者に報知することが行われる。その後、運転者が自動運転モードを手動運転モードに切り替えるための切り替えスイッチを操作したか否かに基づいて、運転者の覚醒度及び手動運転に移行できるか否かを判定する。   In the above technique, the driver is notified when the timing for switching the automatic operation mode to the manual operation mode approaches. Thereafter, based on whether or not the driver has operated a changeover switch for switching the automatic operation mode to the manual operation mode, it is determined whether or not the driver can be shifted to the awakening level and the manual operation.

しかしながら、自動運転モードを手動運転モードに切り替える際に運転手が特定の操作をするか否かを判定するだけでは、運転者の覚醒度を精度よく判定できるとは必ずしも言えない。運転者の覚醒状態が不確かなまま車両の制御権限を運転者に移行することは安全上好ましいとも言えない。このように、自動運転モードを手動運転モードに切り替える際の車両の安全性確保には改善の余地があると考えられる。   However, it cannot be said that the driver's arousal level can be accurately determined only by determining whether or not the driver performs a specific operation when switching the automatic operation mode to the manual operation mode. It is not safe for the driver to transfer the vehicle control authority to the driver while the driver's arousal state is uncertain. Thus, it is considered that there is room for improvement in ensuring the safety of the vehicle when the automatic operation mode is switched to the manual operation mode.

そこで、本発明はこれらの点に鑑みてなされたものであり、自動運転モードを手動運転モードに切り替える際の車両の安全性を向上させる技術を提供することを目的とする。   Therefore, the present invention has been made in view of these points, and an object thereof is to provide a technique for improving the safety of a vehicle when switching an automatic driving mode to a manual driving mode.

本発明のある態様は、車両制御装置である。この装置は、自動運転中の車両の運転者が当該車両を手動で操作するまでに要する反応時間と、前記運転者を計測して得られた複数種類の情報それぞれを解析して得られる複数の数値との関係を示す式としてあらかじめ定められた猶予時間算出関数を特定するための情報を格納する記憶部と、自動運転中の車両の外部の状況を計測する外部計測部と、前記車両の運転者に関する前記複数種類の情報を取得する運転者情報取得部と、前記外部計測部が計測した状況に基づいて、前記車両の制御を前記運転者に移行する必要があるか否かを判定する判定部と、前記判定部によって制御の移行が必要と判定されたときに前記運転者情報取得部が取得した前記複数種類の情報と前記猶予時間算出関数とに基づいて、前記車両を自動運転から前記運転者による手動運転に移行するまでの猶予時間を算出する猶予時間算出部と、を備える。   One embodiment of the present invention is a vehicle control device. This device is a plurality of information obtained by analyzing each of a plurality of types of information obtained by measuring a reaction time required for a driver of a vehicle during automatic driving to manually operate the vehicle and the driver. A storage unit for storing information for specifying a predetermined grace time calculation function as an expression indicating a relationship with a numerical value, an external measurement unit for measuring an external situation of the vehicle during automatic driving, and driving of the vehicle A determination to determine whether or not it is necessary to transfer the control of the vehicle to the driver based on the situation measured by the driver information acquisition unit that acquires the plurality of types of information related to the driver and the external measurement unit Based on the plurality of types of information acquired by the driver information acquisition unit and the grace time calculation function when it is determined that the control shift is necessary by the determination unit and the determination unit driver Comprising a window time calculation unit for calculating a delay time before the system goes to manual operation by the.

前記猶予時間算出関数は、前記反応時間をY、前記複数種類の情報をそれぞれX,・・・,X(nは2以上の自然数)としたとき、Y=c+c+,・・・,c (c,・・・,cは実数)で表されてもよく、前記記憶部は、前記複数種類の情報の係数であるc,・・・,cを格納してもよい。 The grace time calculation function is Y = c 1 X 1 + c 2 X, where Y is the reaction time, and X 1 ,..., X n (n is a natural number of 2 or more), respectively. 2 ,..., C n X n (c 1 ,..., C n are real numbers), and the storage unit is a coefficient of the plurality of types of information c 1 ,. -, it may be stored c n.

前記運転者情報取得部は、前記複数種類の情報として、前記運転者の脳波におけるα波帯域値の割合をX、前記運転者の単位時間当たりにおける閉眼持続時間をX、前記運転者の単位時間当たりにおける視線変化頻度をX、単位時間当たりにおいて前記運転者の視線が所定の範囲内に存在する時間である視認持続時間をX、単位時間当たりにおける前記運転者の座圧の変化量をX、前記運転者の単位時間当たりにおける重心位置変化頻度をXの少なくとも6つの情報を取得してもよい。 The driver information acquisition unit includes, as the plurality of types of information, a ratio of an α wave band value in the driver's brain wave as X 1 , a closed eye duration per unit time of the driver as X 2 , The line-of-sight change frequency per unit time is X 3 , the visual duration time during which the driver's line of sight exists within a predetermined range per unit time is X 4 , and the change in the driver's sitting pressure per unit time the amount of X 5, a gravity center position change frequency per unit of the driver's time may obtain at least six information X 6.

前記車両制御装置は、前記猶予時間算出部が算出した時間が所定の警告通知閾時間を上回る場合、前記運転者に警告する警告部をさらに備えてもよい。   The vehicle control device may further include a warning unit that warns the driver when the time calculated by the grace time calculation unit exceeds a predetermined warning notification threshold time.

前記警告部は、前記猶予時間算出部が算出した反応時間が同一であっても、前記複数種類の情報の値に応じて、前記運転者に対して通知する警告を変更してもよい。   The warning unit may change a warning to be notified to the driver according to the values of the plurality of types of information even if the reaction time calculated by the grace time calculation unit is the same.

前記車両制御装置は、前記猶予時間算出部が算出した時間が所定の権限移行閾時間を上回る場合、前記車両を停車させる緊急停止部をさらに備えてもよい。   The vehicle control device may further include an emergency stop unit that stops the vehicle when the time calculated by the grace time calculation unit exceeds a predetermined authority transition threshold time.

前記車両制御装置は、前記判定部が前記車両の制御の必要性を判定し、かつ前記運転者が前記車両の自動運転制御をオーバーライドして前記車両の操作をした場合に、前記運転者が前記操作をするまでの反応時間を計測する反応時間計測部と、前記反応時間計測部が計測した反応時間と、前記運転者が前記操作をしたときに前記運転者情報取得部が取得した前記複数種類の情報とに基づいて、前記猶予時間算出関数を特定するための情報を変更する関数変更部と、をさらに備えてもよい。   In the vehicle control device, when the determination unit determines the necessity of control of the vehicle and the driver overrides the automatic driving control of the vehicle and operates the vehicle, the driver Reaction time measuring unit for measuring reaction time until operation, reaction time measured by the reaction time measuring unit, and the plurality of types acquired by the driver information acquiring unit when the driver performs the operation And a function changing unit that changes information for specifying the grace time calculation function based on the information.

本発明によれば、自動運転モードを手動運転モードに切り替える際の車両の安全性を向上させる技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique which improves the safety | security of the vehicle at the time of switching automatic driving mode to manual driving mode can be provided.

実施の形態に係る車両制御装置を搭載した車両及びその運転者を模式的に示す図である。It is a figure which shows typically the vehicle carrying the vehicle control apparatus which concerns on embodiment, and its driver | operator. 実施の形態に係る車両制御装置の機能構成を模式的に示す図である。It is a figure which shows typically the function structure of the vehicle control apparatus which concerns on embodiment. 実施の形態に係る権限移行処理データベースのデータ構造を模式的に示す図である。It is a figure which shows typically the data structure of the authority transfer process database which concerns on embodiment. 実施の形態に係る車両制御装置が実行する車両制御処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the vehicle control process which the vehicle control apparatus which concerns on embodiment performs. 実施の形態の変形例に係る車両制御装置が実行する車両制御処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the vehicle control process which the vehicle control apparatus which concerns on the modification of embodiment performs.

<実施の形態の前提となる技術>
近年、車両の自動運転技術が急速に発達してきており、高速道路を走行する等の一定の条件下では、運転者が操作をすることなく自動で車両を走行させることが現実のものとなってきている。しかしながら、完全な車両の自動運転を実現するまでに至っているとは言えず、車両が自動運転中であっても運転者は不測の事態に備えて周囲を観察することが要求されるのが現状である。
<Technology that is the premise of the embodiment>
In recent years, automatic driving technology for vehicles has been rapidly developed, and under certain conditions such as driving on a highway, it has become a reality to automatically drive the vehicle without any operation by the driver. ing. However, it cannot be said that the vehicle has been fully automated, and the driver is required to observe the surroundings in preparation for unexpected situations even when the vehicle is in automatic operation. It is.

すなわち、自動運転中の車両と他の物体との距離が突然短くなったり、自動運転システムが走行レーンを見失ったりすることによって自動運転が機能しなくなるような場合に、運転者は備える必要がある。前者は、例えば前方に突然他の車両が割り込んでくるような場合が挙げられる。後者は、例えば降雪等の理由で道路上の車線区画線(いわゆる「白線」)を自動運転システムが検知できなくなるような場合が挙げられる。   In other words, the driver needs to be prepared when the distance between the vehicle being driven automatically and other objects suddenly becomes short, or when the automatic driving system fails due to the sight of the driving lane. . The former includes, for example, a case where another vehicle suddenly enters the front. The latter includes a case where the automatic driving system cannot detect a lane marking on the road (so-called “white line”) due to, for example, snowfall.

自動運転中に不測の事態が発生した場合、運転手は自動運転システムによる車両制御に介入し、手動でハンドルを操作したりブレーキペダルを踏んだりすることにより、走行の安全を確保することが求められる。運転者は、自動運転制御をいわば上書き(オーバーライド)することが求められる。運転者は、実際に自動運転制御をオーバーライドするまでには至らない場合であっても、そのための事前準備ないし予備動作は常にすることが求められる。   If an unexpected situation occurs during automatic driving, the driver must intervene in the vehicle control by the automatic driving system and ensure driving safety by manually operating the steering wheel or stepping on the brake pedal. It is done. The driver is required to overwrite (override) the automatic operation control. Even when the driver does not actually override the automatic driving control, the driver is required to always make a preliminary preparation or a preliminary operation.

ところが、車両が自動運転で走行しているときには、基本的に運転者は手持ちぶさたとなる。例えば自動運転での移動が長時間にわたるようなときは、運転者は意識レベルが低下する事態が生じることも否定できない。   However, when the vehicle is traveling in an automatic driving mode, the driver basically has a hand slap. For example, when the movement in the automatic driving takes a long time, the driver cannot deny that the situation where the level of consciousness is lowered occurs.

<実施の形態の概要>
実施の形態に係る車両制御装置1は、上述のような自動運転による走行が可能な車両Vに搭載されることを前提としている。
図1は、実施の形態に係る車両制御装置1を搭載した車両V及びその運転者Dを模式的に示す図である。車両Vは、車両としての基本装備の他、車両制御装置1、脳波計測部2a、座圧計測部2b、重心位置計測部2c、運転者撮像部2d、前方計測部4a、後方計測部4b、及び側方計測部4cを備える。
<Outline of the embodiment>
The vehicle control device 1 according to the embodiment is premised on being mounted on a vehicle V capable of traveling by automatic driving as described above.
FIG. 1 is a diagram schematically showing a vehicle V on which a vehicle control device 1 according to an embodiment is mounted and a driver D thereof. In addition to basic equipment as a vehicle, the vehicle V includes a vehicle control device 1, an electroencephalogram measurement unit 2a, a sitting pressure measurement unit 2b, a center of gravity position measurement unit 2c, a driver imaging unit 2d, a front measurement unit 4a, a rear measurement unit 4b, And a side measuring unit 4c.

車両制御装置1は、車両Vが自動運転中に、運転者Dに関する情報を取得する。ここで「運転者Dに関する情報」とは、運転者Dを直接又は間接的に計測することで得られる情報である。運転者Dを直接計測して得られる情報とは、運転者Dの生体信号である。生体信号とは、運転者Dの生命活動に基づいて発生される信号であり、例えば運転者Dの筋電位、脳波、脈拍、心拍数、心電位、呼吸数、血流量、血液の酸素濃度、座圧等が挙げられる。   The vehicle control device 1 acquires information related to the driver D while the vehicle V is automatically driven. Here, the “information about the driver D” is information obtained by measuring the driver D directly or indirectly. The information obtained by directly measuring the driver D is a biological signal of the driver D. The biological signal is a signal generated based on the life activity of the driver D. For example, the myoelectric potential of the driver D, brain wave, pulse, heart rate, cardiac potential, respiratory rate, blood flow, blood oxygen concentration, Seat pressure etc. are mentioned.

また、運転者Dを間接的に計測して得られる情報とは、例えば運転者Dを撮影した映像を解析して得られる情報である。具体的には、運転者Dの頭部の動き、視線の動き、視線方向、瞳孔の開度、目の開度等が挙げられる。   The information obtained by indirectly measuring the driver D is, for example, information obtained by analyzing a video image of the driver D. Specifically, the movement of the head of the driver D, the movement of the line of sight, the direction of the line of sight, the opening degree of the pupil, the opening degree of the eyes, and the like.

運転者Dの意識がはっきりしており覚醒度が高いときは、そうでないときよりも、自動運転中の車両Vを運転者Dによる手動運転に移行する必要が生じた際に運転者Dが対応に要する時間は短いと考えられる。一般に、運転者Dの覚醒度の違いは、上述した運転者Dに関する情報にも反映される。例えば、運転者Dが眠っているときは、覚醒しているときと比べて、運転者Dの脳波に含まれるα波の割合は高い。   When the driver D is clearly aware and has a high arousal level, the driver D responds when it is necessary to shift the vehicle V during automatic driving to manual driving by the driver D rather than when it is not. The time required for this is considered to be short. In general, the difference in the arousal level of the driver D is also reflected in the information related to the driver D described above. For example, when the driver D is asleep, the proportion of α waves included in the brain waves of the driver D is higher than when the driver D is awake.

そこで実施の形態に係る車両制御装置1は、自動運転中の車両Vを運転者Dによる手動運転に移行する必要が生じた際に、取得した運転者Dに関する情報に基づいて、移行に要する時間を算出する。より具体的には、車両制御装置1は、自動運転中の車両の運転者Dに関する複数種類の情報を入力としたときに、運転者Dその車両を手動で操作するまでに要する反応時間を出力する関係式をあらかじめ記憶している。車両制御装置1は自動運転中の車両Vを運転者Dによる手動運転に移行する必要が生じた際に、取得した運転者Dに関する情報をその関係式に当てはめて求めた反応時間から、移行に要する時間を推定する。   Therefore, the vehicle control device 1 according to the embodiment requires the time required for the transition based on the acquired information on the driver D when it is necessary to shift the vehicle V during the automatic driving to the manual driving by the driver D. Is calculated. More specifically, the vehicle control device 1 outputs a reaction time required for the driver D to manually operate the vehicle when a plurality of types of information related to the driver D of the vehicle being automatically operated are input. The relational expression is stored in advance. When the vehicle control apparatus 1 needs to shift the vehicle V during automatic driving to manual driving by the driver D, the vehicle control device 1 shifts from the reaction time obtained by applying the acquired information on the driver D to the relational expression. Estimate the time required.

運転者Dに関する複数種類の情報取得を実現するために、車両制御装置1は、脳波計測部2a、座圧計測部2b、重心位置計測部2c、及び運転者撮像部2dを備えている。脳波計測部2a、座圧計測部2b、重心位置計測部2c、及び運転者撮像部2dは、車両Vの運転者Dに関する複数種類の情報を取得するための運転者情報取得部2として機能する。具体的には、脳波計測部2aは運転者Dの頭部に取り付けられ、運転者Dの脳波を取得する。また座圧計測部2b及び座圧計測部2bは車両Vの運転席の座面に取り付けられ、それぞれ運転者Dの座圧及び重心位置を取得する。   In order to realize acquisition of a plurality of types of information related to the driver D, the vehicle control device 1 includes an electroencephalogram measurement unit 2a, a sitting pressure measurement unit 2b, a gravity center position measurement unit 2c, and a driver imaging unit 2d. The electroencephalogram measurement unit 2a, the sitting pressure measurement unit 2b, the center-of-gravity position measurement unit 2c, and the driver imaging unit 2d function as a driver information acquisition unit 2 for acquiring a plurality of types of information related to the driver D of the vehicle V. . Specifically, the electroencephalogram measurement unit 2a is attached to the head of the driver D and acquires the electroencephalogram of the driver D. The seat pressure measuring unit 2b and the seat pressure measuring unit 2b are attached to the seat surface of the driver's seat of the vehicle V, and acquire the seat pressure and the center of gravity position of the driver D, respectively.

運転者撮像部2dはCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の既知の固体撮像素子であり、車両Vの運転者Dの映像を撮像する。運転者撮像部2dが撮像した映像は、運転者Dが閉眼しているか否かの判定、及び運転者Dの視線方向の特定に用いられる。   The driver imaging unit 2d is a known solid-state imaging device such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and captures an image of the driver D of the vehicle V. The video imaged by the driver imaging unit 2d is used to determine whether or not the driver D is closed and to specify the line-of-sight direction of the driver D.

車両Vは自動運転による走行が可能な車両である。このため車両Vは、自動運転中の車両Vの外部の状況を計測する外部計測部4を備える。具体的には、前方計測部4aは、車両Vの前方の状況を計測する。また後方計測部4bは、車両Vの後方の状況を計測する。側方計測部4cは、車両Vの側方の状況を計測する。前方計測部4a、後方計測部4b、及び後方計測部4bはいずれも、レーザーレーダ、可視光カメラ、及び赤外光カメラの少なくともいずれかひとつによって実現される。   The vehicle V is a vehicle capable of traveling by automatic driving. For this reason, the vehicle V is provided with the external measurement part 4 which measures the external condition of the vehicle V in automatic driving | operation. Specifically, the front measurement unit 4a measures the situation in front of the vehicle V. The rear measurement unit 4b measures the situation behind the vehicle V. The side measuring unit 4c measures the situation on the side of the vehicle V. The front measurement unit 4a, the rear measurement unit 4b, and the rear measurement unit 4b are all realized by at least one of a laser radar, a visible light camera, and an infrared light camera.

このように、実施の形態に係る車両制御装置1は、自動運転から手動運転に移行するタイミングにおける運転者Dに関する複数種類の情報から運転者Dの反応時間を推定するため、その推定精度を高めることができる。結果として、自動運転モードを手動運転モードに切り替える際の猶予時間の推定精度が高くなるので、移行時の車両Vの安全性を向上させることができる。特に、推定された反応時間が長いような場合には、運転者Dの意識は低下している蓋然性が高い。そのような場合、車両制御装置1は警報を鳴らすとともに車両Vを路側帯や待避所等に誘導して停車させることで、車両Vの安全性を確保することができる。
以下、実施の形態に係る車両制御装置1についてより詳細に説明する。
Thus, since the vehicle control apparatus 1 which concerns on embodiment estimates the reaction time of the driver | operator D from the multiple types of information regarding the driver | operator D in the timing which transfers to a manual driving | operation from an automatic driving | operation, it raises the estimation precision. be able to. As a result, since the estimation accuracy of the grace time when switching the automatic operation mode to the manual operation mode is increased, the safety of the vehicle V at the time of transition can be improved. In particular, when the estimated reaction time is long, the driver D's consciousness is likely to be reduced. In such a case, the vehicle control device 1 can ensure the safety of the vehicle V by sounding an alarm and guiding the vehicle V to a roadside belt or a rest area to stop the vehicle.
Hereinafter, the vehicle control device 1 according to the embodiment will be described in more detail.

<車両制御装置1の機能構成>
図2は、実施の形態に係る車両制御装置1の機能構成を模式的に示す図である。車両制御装置1は、運転者情報取得部2、外部計測部4、記憶部10、及び制御部20を備える。
<Functional configuration of vehicle control device 1>
FIG. 2 is a diagram schematically illustrating a functional configuration of the vehicle control device 1 according to the embodiment. The vehicle control device 1 includes a driver information acquisition unit 2, an external measurement unit 4, a storage unit 10, and a control unit 20.

記憶部10はHDD(Hard Disc Drive)やSSD(Solid State Drive)等の大容量記憶装置、及びDRAM(Dynamic Random Access Memory)等の不揮発性メモリであり、実施の形態に係る車両制御装置1を実現するための各種プログラム及びデータの格納部、及び制御部20の作業メモリとして機能する。   The storage unit 10 is a large-capacity storage device such as an HDD (Hard Disc Drive) or SSD (Solid State Drive), and a nonvolatile memory such as a DRAM (Dynamic Random Access Memory). The storage controller 10 includes the vehicle control device 1 according to the embodiment. It functions as a storage unit for various programs and data to be realized, and a working memory for the control unit 20.

記憶部10は、自動運転中の車両の運転者がその車両を手動で操作するまでに要する反応時間と、運転者を計測して得られた複数種類の情報それぞれを解析して得られる複数の数値との関係を示す式としてあらかじめ定められた猶予時間算出関数を特定するための情報も格納している。なお、猶予時間算出関数の詳細は後述する。   The storage unit 10 includes a plurality of times obtained by analyzing each of a plurality of types of information obtained by measuring a reaction time required for the driver of the vehicle during automatic driving to manually operate the vehicle and the driver. Information for specifying a predetermined grace time calculation function as an expression indicating a relationship with a numerical value is also stored. Details of the grace time calculation function will be described later.

制御部20は、車両VのECU(Electronic Control Unit)等のプロセッサである。制御部20は、記憶部10に格納されているプログラムを実行することにより、判定部21、猶予時間算出部22、警告部23、緊急停止部24、反応時間計測部25、及び関数変更部26として機能する。   The control unit 20 is a processor such as an ECU (Electronic Control Unit) of the vehicle V. The control unit 20 executes a program stored in the storage unit 10 to thereby determine a determination unit 21, a grace time calculation unit 22, a warning unit 23, an emergency stop unit 24, a reaction time measurement unit 25, and a function change unit 26. Function as.

運転者情報取得部2は、自動運転中の車両Vの運転者Dに関する複数種類の情報を取得する。外部計測部4は、自動運転中における車両Vの外部の状況を計測する。判定部21は、外部計測部4が計測した状況に基づいて、車両Vの制御を運転者Dに移行する必要があるか否かを判定する。   The driver information acquisition unit 2 acquires a plurality of types of information related to the driver D of the vehicle V during automatic driving. The external measurement unit 4 measures a situation outside the vehicle V during automatic driving. The determination unit 21 determines whether or not the control of the vehicle V needs to be transferred to the driver D based on the situation measured by the external measurement unit 4.

猶予時間算出部22は、判定部21によって制御の移行が必要と判定されたときに運転者情報取得部2が取得した複数種類の情報と猶予時間算出関数とに基づいて、車両Vを自動運転から運転者Dによる手動運転に移行するまでの猶予時間を算出する。具体的には、猶予時間算出部22は、猶予時間算出関数から算出された運転者Dの反応時間を猶予時間として算出する。   The grace time calculation unit 22 automatically drives the vehicle V based on a plurality of types of information acquired by the driver information acquisition unit 2 and the grace time calculation function when the determination unit 21 determines that control shift is necessary. From this time, the grace time until shifting to manual driving by the driver D is calculated. Specifically, the grace time calculation unit 22 calculates the reaction time of the driver D calculated from the grace time calculation function as the grace time.

警告部23は、猶予時間算出部22が算出した時間が所定の警告通知閾時間を上回る場合、運転者Dに警告する。ここで「所定の警告通知閾時間」とは、警告部23が車両Vの運転者Dに警告を通知するか否かを決定するために参照する基準閾時間である。また緊急停止部24は、猶予時間算出部22が算出した時間が所定の権限移行閾時間を上回る場合、車両Vを停車させる。ここで「所定の権限移行閾時間」とは、緊急停止部24が車両Vを緊急停止するか否かを決定するために参照する基準閾時間である。   The warning unit 23 warns the driver D when the time calculated by the grace time calculation unit 22 exceeds a predetermined warning notification threshold time. Here, the “predetermined warning notification threshold time” is a reference threshold time referred to by the warning unit 23 to determine whether or not to notify the driver D of the vehicle V of a warning. The emergency stop unit 24 stops the vehicle V when the time calculated by the grace time calculation unit 22 exceeds a predetermined authority transition threshold time. Here, the “predetermined authority transition threshold time” is a reference threshold time that is referred to by the emergency stop unit 24 to determine whether or not to immediately stop the vehicle V.

図3は、実施の形態に係る権限移行処理データベースのデータ構造を模式的に示す図である。権限移行処理データベースは、推定反応時間と権限移行の可否、及び権限移行時に車両制御装置1が取るべきアクションとを対応づけて格納するデータベースである。権限移行処理データベースは記憶部10に格納されており、警告部23及び緊急停止部24によって参照される。   FIG. 3 is a diagram schematically illustrating the data structure of the authority transfer processing database according to the embodiment. The authority transfer processing database is a database that stores the estimated reaction time, permission / inhibition of authority transfer, and actions to be taken by the vehicle control device 1 at the time of authority transfer in association with each other. The authority transfer processing database is stored in the storage unit 10 and is referred to by the warning unit 23 and the emergency stop unit 24.

例えば猶予時間算出部22が算出した時間が8秒である場合、運転者Dが車両Vを操作できるようになるまで8秒の時間を要することを意味する。仮に、車両Vが時速80kmで自動走行している場合、車両Vは8秒間でおよそ180m移動することになる。したがって、猶予時間算出部22は運転者Dに警告を通知し、自動運転から手動運転に移行するタイミングであることの気づきを与えることが望ましい。   For example, when the time calculated by the grace time calculation unit 22 is 8 seconds, it means that it takes 8 seconds until the driver D can operate the vehicle V. If the vehicle V is automatically traveling at a speed of 80 km / h, the vehicle V moves about 180 m in 8 seconds. Therefore, it is desirable that the grace time calculation unit 22 notifies the driver D of a warning and notices that it is time to shift from automatic driving to manual driving.

図3に示す権限移行処理データベースの例では、推定反応時間が4秒〜10秒の場合、警告を通知後に自動運転から手動運転へと権限が移行されることが定められている。そのため警告部23は、猶予時間算出部22が算出した推定反応時間が4秒〜10秒に含まれる場合、運転者Dに警告を通知する。   In the example of the authority transfer processing database shown in FIG. 3, when the estimated reaction time is 4 seconds to 10 seconds, it is determined that the authority is transferred from the automatic operation to the manual operation after notifying the warning. Therefore, the warning unit 23 notifies the driver D of a warning when the estimated reaction time calculated by the grace time calculation unit 22 is included in 4 seconds to 10 seconds.

また図3に示すように、権限移行処理データベースには、推定反応時間が10秒以上である場合、自動運転から手動運転への権限の移行が禁止されることが定められている。猶予時間算出部22が算出した推定反応時間が10秒以上である場合、警告部23は運転者Dに警告を通知するとともに緊急停止部24は車両Vを安全な場所に移動して緊急停車する。これにより、車両Vの走行の安全性を高めることができる。   Further, as shown in FIG. 3, the authority transfer processing database stipulates that the transfer of authority from automatic operation to manual operation is prohibited when the estimated reaction time is 10 seconds or longer. When the estimated reaction time calculated by the grace time calculation unit 22 is 10 seconds or more, the warning unit 23 notifies the driver D of the warning, and the emergency stop unit 24 moves the vehicle V to a safe place and makes an emergency stop. . Thereby, the safety | security of driving | running | working of the vehicle V can be improved.

<猶予時間算出関数>
続いて、猶予時間算出関数についてより詳細に説明する。
実施の形態に係る猶予時間算出部22が推定時間の算出に用いる猶予時間算出関数は、運転者Dの反応時間をY、運転者Dに関する複数種類の情報をそれぞれX,・・・,X(nは2以上の自然数)としたとき、以下の式(1)で表される。
Y=c+c+,・・・,c (1)
ここでc,・・・,cは実数である。式(1)は、複数種類の情報を説明変数とし、反応時間を目的変数とする重回帰式といえる。記憶部10には、式(1)において複数種類の情報の係数となるc,・・・,cが格納されている。
<Grace time calculation function>
Next, the grace time calculation function will be described in more detail.
The grace time calculation function used by the grace time calculation unit 22 according to the embodiment for calculating the estimated time is Y for the reaction time of the driver D and X 1 ,. When n (n is a natural number of 2 or more), it is represented by the following formula (1).
Y = c 1 X 1 + c 2 X 2 +,..., C n X n (1)
Here, c 1 ,..., C n are real numbers. Equation (1) can be said to be a multiple regression equation with plural types of information as explanatory variables and reaction time as an objective variable. The storage unit 10 stores c 1 ,..., C n that are coefficients of a plurality of types of information in Expression (1).

複数種類の情報の一例は以下のとおりである。すなわち、
(1)運転者Dの脳波におけるα波帯域値の割合であるX
(2)運転者Dの単位時間当たりにおける閉眼持続時間であるX
(3)運転者Dの単位時間当たりにおける視線変化頻度であるX
(4)単位時間当たりにおいて運転者Dの視線が所定の範囲内に存在する時間を示す視認持続時間X
(5)単位時間当たりにおける運転者Dの座圧の変化量であるX
(6)運転者Dの単位時間当たりにおける重心位置変化頻度であるX
の6つである。
An example of a plurality of types of information is as follows. That is,
(1) X 1 , which is the ratio of the α wave band value in the brain wave of driver D,
(2) X 2 , which is the duration of closed eyes per unit time of the driver D,
(3) X 3 which is the line-of-sight change frequency per unit time of the driver D,
(4) A visual duration duration X 4 indicating a time during which the driver's line of sight exists within a predetermined range per unit time,
(5) X 5 which is the amount of change in the sitting pressure of the driver D per unit time,
(6) X 6 , which is the center of gravity position change frequency per unit time of the driver D
These are six.

は、脳波計測部2aが取得した運転者Dの脳波を猶予時間算出部22が解析することで得ることができる。X、X及びXは、運転者撮像部2dが撮像した運転者Dの目を含む領域を猶予時間算出部22が画像解析することで得ることができる。Xは、座圧計測部2bが取得した運転者Dの座圧情報を猶予時間算出部22が解析することで得ることができる。Xは、重心位置計測部2cが取得した運転者Dの重心情報を猶予時間算出部22が解析することで得ることができる。 X 1 is a brain wave of the driver D which electroencephalogram measurement section 2a obtains the grace time calculator 22 can be obtained by analyzing. X 2 , X 3, and X 4 can be obtained by the grace time calculation unit 22 performing image analysis on a region including the eyes of the driver D captured by the driver imaging unit 2d. X 5 may be a seat pressure information of the driver D to the seat pressure measuring unit 2b acquires the grace time calculator 22 obtained by analyzing. X 6 may be the centroid information of the driver D to the center of gravity position measurement unit 2c acquires the grace time calculator 22 obtained by analyzing.

複数種類の情報の係数となるc,・・・,cは、車両Vの設計者等(以下、「実験者」と記載する。)による実験によってあらかじめ定められる。具体的には、実験者は、車両Vが備える運転者情報取得部2と同様の機能を備えたドライビングシミュレータを用意する。このドライビングシミュレータは、例えば先行車の急ブレーキ、人や動物の飛び出し、突然の降雪やゲリラ豪雨等の天候の急変、ジャンクションにおける合流等、運転者Dの操作が要求される種々のイベントを再現できるように構成されている。 C 1 ,..., C n that are coefficients of a plurality of types of information are determined in advance by an experiment by a designer of the vehicle V or the like (hereinafter referred to as “experimenter”). Specifically, the experimenter prepares a driving simulator having the same function as the driver information acquisition unit 2 provided in the vehicle V. This driving simulator can reproduce various events that require the operation of the driver D, such as sudden braking of a preceding vehicle, jumping out of a person or animal, sudden change in weather such as sudden snowfall or guerrilla heavy rain, and joining at a junction. It is configured as follows.

実験者は、用意したドライビングシミュレータを複数の被験者に体験させ、被験者の反応時間と上述した複数種類の情報とを計測する。例えばある被験者に先行車の急ブレーキを体験させ、被験者が何らかの操作をするまでに要した反応時間Yと、上述した6つの情報であるX11〜X61を計測する。同様に、複数の被験者それぞれに複数種類のイベントを体験させ、反応時間Yとそのときの情報の組(X1m,X2m,X3m,X4m,X5m,X6m)とを計測する。ここでmは計測回数、すなわちデータセットの数である。 The experimenter causes a plurality of subjects to experience the prepared driving simulator, and measures the reaction time of the subjects and the above-described plurality of types of information. For example, a test subject is allowed to experience a sudden braking of a preceding vehicle, and the reaction time Y 1 required for the test subject to perform some operation and the above-described six pieces of information X 11 to X 61 are measured. Similarly, a plurality of types of events are experienced by each of a plurality of subjects, and a reaction time Y m and a set of information (X 1m , X 2m , X 3m , X 4m , X 5m , X 6m ) at that time are measured. . Here, m is the number of measurements, that is, the number of data sets.

反応時間Yとそのときの情報の組(X1m,X2m,X3m,X4m,X5m,X6m)との関係を書き下すと以下のようになる。
=c11+C21+C31+C41+C51+C61
=c12+C22+C32+C42+C52+C62
・・・
=c1m+C2m+C3m+C4m+C5m+C6m
これらの式を行列を用いて書き直すと以下の式(2)を得る。
The reaction time Y m and the set of information at that time (X 1m, X 2m, X 3m, X 4m, X 5m, X 6m) is as follows write down a relation between.
Y 1 = c 1 X 11 + C 2 X 21 + C 3 X 31 + C 4 X 41 + C 5 X 51 + C 6 X 61
Y 2 = c 1 X 12 + C 2 X 22 + C 3 X 32 + C 4 X 42 + C 5 X 52 + C 6 X 62
...
Y m = c 1 X 1m + C 2 X 2m + C 3 X 3m + C 4 X 4m + C 5 X 5m + C 6 X 6m
When these equations are rewritten using a matrix, the following equation (2) is obtained.

Figure 2018045451
Figure 2018045451

式(2)において、左辺は被験者の反応時間を並べたベクトルであるため既知である。また右辺第1項は、被験者に関する情報を要素とする行列であるため既知である。右辺第2項は、被験者に関する情報で被験者の反応時間を説明するためのモデルパラメータであり、未知である。   In Expression (2), the left side is known because it is a vector in which the reaction times of subjects are arranged. The first term on the right side is known because it is a matrix having information about the subject as an element. The second term on the right side is a model parameter for explaining the reaction time of the subject with information on the subject, and is unknown.

式(2)の左辺をベクトルy、右辺第1項を行列X、右辺第2項をベクトルcとしたとき、誤差ベクトルeを以下の式(3)で定義する。
e=y−Xc (3)
When the left side of equation (2) is a vector y, the first term on the right side is a matrix X, and the second term on the right side is a vector c, an error vector e is defined by the following equation (3).
e = y−Xc (3)

mがモデルパラメータの数より大きい場合、誤差ベクトルeの2ノルムであるee(Tはベクトル又は行列の転置を意味する。)を最小にするという意味において最適なベクトルcは最小二乗解coptとして既知であり、以下の式(4)で得られる。
opt=(XX)−1y (4)
ここで「−1」は、逆行列を意味する。
If m is greater than the number of model parameters is a 2-norm of the error vector e e T e (T denotes the transpose of a vector or matrix.) optimal vector c in the sense of minimizing the least squares solution c It is known as opt and is obtained by the following formula (4).
c opt = (X T X) −1 X T y (4)
Here, “−1” means an inverse matrix.

式(4)の右辺は実験によって得ることができるため、実験者は最小二乗誤差解coptを算出することができる。最小二乗解coptの要素が、式(1)においてn=6の場合におけるc,・・・,cに対応する。 Since the right side of Equation (4) can be obtained by experiment, the experimenter can calculate the least square error solution c opt . Elements of least-squares solution c opt is, c 1 in the case of n = 6 in formula (1), ..., corresponding to c n.

このように、実験者はシミュレータを用いて複数の被験者に対してドライビングに関する種々のイベントを体験させることにより、多くの運転者Dに適用可能な一般的な猶予時間算出関数を特定することができる。   Thus, the experimenter can specify a general grace time calculation function applicable to many drivers D by causing a plurality of subjects to experience various events related to driving using a simulator. .

<警告の種類の変更>
次に、運転者Dに関する情報の個々の値に応じた警告種類の変更について説明する。
式(1)に示す猶予時間算出関数を用いることにより、猶予時間算出部22は運転者情報取得部2が取得した情報から運転者Dの反応時間を算出する。式(1)から明らかなように、(X,・・・,X)の各要素の値が異なる場合であっても、猶予時間算出部22が算出するYの値は同じとなることがありうる。
<Change of warning type>
Next, the change of the warning type according to each value of the information regarding the driver D will be described.
By using the grace time calculation function shown in Expression (1), the grace time calculation unit 22 calculates the reaction time of the driver D from the information acquired by the driver information acquisition unit 2. As is clear from equation (1), even if the values of the elements of (X 1 ,..., X n ) are different, the value of Y calculated by the grace time calculation unit 22 is the same. There can be.

ここで、仮に式(1)に基づいて算出された反応時間Yが同一であったとしても、運転者Dの脳波におけるα波帯域値の割合であるXが大きい場合は、小さい場合よりも、運転者Dの覚醒レベルは低いと考えられる。 Here, even if the reaction time Y calculated based on is the same formula (1), when X 1 is larger the proportion of α-wave band value in EEG of the driver D than if small It is considered that the awakening level of the driver D is low.

そこで警告部23は、猶予時間算出部22が算出した2Dの反応時間が同一であっても、複数種類の情報の値に応じて、運転者Dに対して通知する警告を変更する。例えば、Xの値が所定の値(例えば30%)よりも小さい場合は、警告部23は自動運転から手動運転に移行する際にステアリングを震動させることで運転者Dに警告する。一方、Xの値が所定の値(例えば30%)以上の場合は、警告部23はステアリングの震動に代えて、あるいはそれに加えて、音声によって警告をする。 Therefore, even if the 2D reaction time calculated by the grace time calculation unit 22 is the same, the warning unit 23 changes the warning to be notified to the driver D according to the values of a plurality of types of information. For example, if the value of X 1 is smaller than a predetermined value (e.g. 30%), the warning unit 23 to warn the driver D by causing vibration of the steering when moving the manual operation from automatic operation. On the other hand, when the value of X 1 is equal to or higher than a predetermined value (e.g. 30%), the warning unit 23 in place of the steering vibration, or in addition, a warning by voice.

このように、猶予時間算出部22が算出した反応時間のみならず、運転者Dに関する情報も直接参照して警告を変更することにより、警告部23は車両Vを自動運転から手動運転に移行することをより効果的に運転者Dに伝えることができる。   In this way, the warning unit 23 shifts the vehicle V from automatic driving to manual driving by changing the warning by directly referring to not only the reaction time calculated by the grace time calculating unit 22 but also information related to the driver D. This can be transmitted to the driver D more effectively.

<猶予時間算出関数の更新>
上述したように、猶予時間算出関数のモデルパラメータは、実験者が複数の被験者についてデータを測定することによって予め定められる。このため、猶予時間算出関数のモデルパラメータは、複数の被験者のデータをいわば「平均的」に説明するものといえる。
<Update of grace time calculation function>
As described above, the model parameter of the grace time calculation function is determined in advance by the experimenter measuring data for a plurality of subjects. For this reason, it can be said that the model parameter of the grace time calculation function explains “average” of the data of a plurality of subjects.

一方、ひとたび車両Vが特定の運転者Dの手に渡ると、車両Vはその運転者Dに運転される頻度が高くなると考えられる。したがって、猶予時間算出関数も、特定の運転者Dに特化した設定をすることができれば、反応時間の推定精度を高めることができる。そのため実施の形態に係る車両制御装置1は、運転者Dにあわせて猶予時間算出関数のモデルパラメータを更新することができる。以下、猶予時間算出関数のモデルパラメータの更新処理について説明する。   On the other hand, it is considered that once the vehicle V reaches the hand of a specific driver D, the vehicle V is driven more frequently by the driver D. Therefore, if the grace time calculation function can also be set specifically for a specific driver D, the estimation accuracy of the reaction time can be increased. Therefore, the vehicle control apparatus 1 according to the embodiment can update the model parameter of the grace time calculation function in accordance with the driver D. Hereinafter, the update process of the model parameter of the grace time calculation function will be described.

判定部21は、車両Vが自動運転中、外部計測部4が取得した情報に基づいて車両Vの制御が必要か否かを判定する。例えば外部計測部4が取得した情報から車両Vが他の車両に接近していることを認識した場合、判定部21は車両Vの制動が必要であると判定する。このような場合、通常であれば自動運転システム(不図示)による制御の下、車両Vにブレーキがかかる。   The determination unit 21 determines whether control of the vehicle V is necessary based on information acquired by the external measurement unit 4 while the vehicle V is in automatic driving. For example, when it is recognized from the information acquired by the external measurement unit 4 that the vehicle V is approaching another vehicle, the determination unit 21 determines that braking of the vehicle V is necessary. In such a case, the vehicle V is normally braked under the control of an automatic driving system (not shown).

ここで車両Vが自動運転中に運転者Dの覚醒度が高ければ、場合によっては車両Vが自動運転による制御に先んじてその制御をオーバーライドすることにより、手動で車両Vのブレーキをかけたり、ステアリングを操作したりする場合もありうる。このような場合、判定部21が制御の必要性を判定してから運転者Dが自動運転制御をオーバーライドするまでの時間を計測することで、発生したイベントに対する運転者Dの反応時間を計測できる。   Here, if the awakening level of the driver D is high while the vehicle V is in automatic driving, the vehicle V may manually apply the brake of the vehicle V by overriding the control prior to the control by the automatic driving, In some cases, the steering is operated. In such a case, the reaction time of the driver D with respect to the generated event can be measured by measuring the time from when the determination unit 21 determines the necessity of control until the driver D overrides the automatic driving control. .

そこで反応時間計測部25は、判定部21が車両Vの制御の必要性を判定し、かつ運転者Dが車両Vの自動運転制御をオーバーライドして車両Vの操作をした場合に、運転者Dが操作をするまでの反応時間を計測する。関数変更部26は、反応時間計測部25が計測した反応時間と、運転者Dがオーバーライド操作をしたときに運転者情報取得部2が取得した複数種類の情報とに基づいて、猶予時間算出関数を特定するための情報である係数(c,・・・,c)を変更する。 Therefore, the reaction time measuring unit 25 determines that the determination unit 21 determines the necessity of control of the vehicle V, and the driver D operates the vehicle V by overriding the automatic driving control of the vehicle V. Measure the reaction time until is operated. The function changing unit 26 is based on the reaction time measured by the reaction time measuring unit 25 and a plurality of types of information acquired by the driver information acquiring unit 2 when the driver D performs an override operation. The coefficient (c 1 ,..., C n ), which is information for specifying “”, is changed.

なお、記憶部10は、実験者が初期の係数(c,・・・,c)を決定するために用いた実験データ、すなわち式(2)の左辺に対応するベクトルyと、右辺第1項に対応する行列Xを記憶している。関数変更部26は、行列Xの最終行に運転者情報取得部2が新たに取得した複数種類の情報に対応する(X1m+1+X2m+1+X3m+1+X4m+1+X5m+1+X6m+1)を追加して、式(4)の計算を実行する。これにより、特定の運転者Dの特性に過剰適合(オーバーフィッティング)することを抑制しつつ、運転者Dに固有の特性を猶予時間算出関数に反映することができる。 Note that the storage unit 10 stores the experimental data used by the experimenter to determine the initial coefficients (c 1 ,..., C n ), that is, the vector y corresponding to the left side of Equation (2), A matrix X corresponding to one term is stored. The function change unit 26 adds (X 1m + 1 + X 2m + 1 + X 3m + 1 + X 4m + 1 + X 5m + 1 + X 6m + 1 ) corresponding to a plurality of types of information newly acquired by the driver information acquisition unit 2 to the last row of the matrix X, The calculation of (4) is executed. Accordingly, it is possible to reflect the characteristic unique to the driver D in the grace time calculation function while suppressing overfitting (overfitting) to the characteristic of the specific driver D.

<車両制御処理の処理フロー>
図4は、実施の形態に係る車両制御装置1が実行する車両制御処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば車両Vが運転者Dによる手動運転から自動運転に移行したときに開始する。
<Vehicle control processing flow>
FIG. 4 is a flowchart for explaining the flow of the vehicle control process executed by the vehicle control apparatus 1 according to the embodiment. The processing in this flowchart starts when the vehicle V shifts from manual driving by the driver D to automatic driving, for example.

判定部21は、車両Vを自動運転から運転者Dによる手動運転への移行の必要性を判定する(S2)。移行の必要がない間(S4のNo)、判定部21はステップS2の必要性判定処理を継続する。移行を必要とする場合(S4のYes)、運転者情報取得部2は運転者Dに関する複数種類の情報を取得する(S6)。   The determination unit 21 determines the necessity of shifting the vehicle V from automatic driving to manual driving by the driver D (S2). While there is no need for migration (No in S4), the determination unit 21 continues the necessity determination process in Step S2. When the shift is necessary (Yes in S4), the driver information acquisition unit 2 acquires a plurality of types of information regarding the driver D (S6).

猶予時間算出部22は、運転者情報取得部2が取得した情報に基づいて猶予時間算出関数を用いることにより、車両Vの制御の移行猶予時間Tを算出する(S8)。猶予時間算出部22が算出した移行猶予時間Tが所定の警告通知閾時間T1を上回り(S10のNo)、かつ権限移行閾時間T2も上回る場合(S12のNo)、緊急停止部24は、車両Vを安全な場所に誘導して停車する(S14)。   The grace time calculating unit 22 calculates the control grace time T for the control of the vehicle V by using the grace time calculation function based on the information acquired by the driver information acquisition unit 2 (S8). When the transition grace time T calculated by the grace time calculation unit 22 exceeds the predetermined warning notification threshold time T1 (No in S10) and exceeds the authority transition threshold time T2 (No in S12), the emergency stop unit 24 Guide V to a safe place and stop (S14).

猶予時間算出部22が算出した移行猶予時間Tが所定の警告通知閾時間T1を上回り(S10のNo)、かつ権限移行閾時間T2以下の場合(S12のYes)、警告部23は車両Vの運転者Dに車両Vの制御権限が移行する旨の警告を通知する(S16)。   When the transition grace time T calculated by the grace time calculation unit 22 exceeds the predetermined warning notification threshold time T1 (No in S10) and is less than or equal to the authority transition threshold time T2 (Yes in S12), the warning unit 23 is the vehicle V. A warning to the effect that the control authority of the vehicle V is transferred is sent to the driver D (S16).

猶予時間算出部22が算出した移行猶予時間Tが所定の警告通知閾時間T1以下か(S10のYes)、あるいは警告部23が車両Vの運転者Dに車両Vの制御権限が移行する旨の警告を通知すると、車両Vの制御権限は運転者Dによる手動運転に移行される(S18)。   The transition grace time T calculated by the grace time calculation unit 22 is equal to or less than a predetermined warning notification threshold time T1 (Yes in S10), or the warning unit 23 indicates that the control authority of the vehicle V is transferred to the driver D of the vehicle V When the warning is notified, the control authority of the vehicle V is shifted to manual driving by the driver D (S18).

以上説明したように、実施の形態に係る車両制御装置1によれば、自動運転モードを手動運転モードに切り替える際の車両Vの安全性を向上させることができる。
特に、実施の形態に係る車両制御装置1は、運転者Dを計測して得られる複数種類の情報を用いて運転者Dの反応時間を推定するため、その推定制度を高めることができる。
As described above, according to the vehicle control device 1 according to the embodiment, the safety of the vehicle V when the automatic operation mode is switched to the manual operation mode can be improved.
In particular, since the vehicle control apparatus 1 according to the embodiment estimates the reaction time of the driver D using a plurality of types of information obtained by measuring the driver D, the estimation system can be enhanced.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

<変形例>
上記では、猶予時間算出部22が算出時間に基づいて車両Vの制御権限を自動から手動に移行する際の警告通知の有無や、緊急停車の必要性を判定する場合について説明した。これに代えて、車両制御装置1は、運転者情報取得部2が取得した運転者Dに関する複数種類の情報を直接用いることで、車両Vの制御権限を自動から手動に移行する際の警告通知の有無や、緊急停車の必要性を判定してもよい。以下変形例として、このような場合を説明する。
<Modification>
In the above description, a case has been described in which the grace time calculation unit 22 determines whether or not there is a warning notification when shifting the control authority of the vehicle V from automatic to manual based on the calculation time, and the necessity of an emergency stop. Instead, the vehicle control device 1 directly uses a plurality of types of information related to the driver D acquired by the driver information acquisition unit 2, thereby notifying the warning when shifting the control authority of the vehicle V from automatic to manual. The presence or absence of the vehicle and the necessity of emergency stop may be determined. Such a case will be described below as a modification.

図5は、実施の形態の変形例に係る車両制御装置1が実行する車両制御処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば車両Vが運転者Dによる手動運転から自動運転に移行したときに開始する。   FIG. 5 is a flowchart for explaining the flow of the vehicle control process executed by the vehicle control device 1 according to the modification of the embodiment. The processing in this flowchart starts when the vehicle V shifts from manual driving by the driver D to automatic driving, for example.

判定部21は、自動運転から手動運転への移行の必要性を判定する(S20)。移行の必要がない間(S22のNo)、判定部21はステップS2の必要性判定処理を継続する。移行を必要とする場合(S22のYes)、判定部21は脳波計測部2aが取得した運転者Dの脳波データを解析し、脳波α帯域値の割合Aを算出する(S24)。   The determination unit 21 determines the necessity of shifting from automatic operation to manual operation (S20). While there is no need for migration (No in S22), the determination unit 21 continues the necessity determination process in step S2. When transition is required (Yes in S22), the determination unit 21 analyzes the brain wave data of the driver D acquired by the brain wave measurement unit 2a, and calculates the ratio A of the brain wave α band value (S24).

脳波α帯域値の割合Aが所定の閾値Aを上回る場合(S26のNo)、警告部23は運転者Dに居眠り警報を通知する(S28)。脳波α帯域値の割合Aが所定の閾値A以下の場合(S26のYes)、判定部21は運転者撮像部2dが取得した映像を解析し、運転者Dの開眼の持続時間Bを算出する(S30)。 When the ratio A of the electroencephalogram α band value exceeds the predetermined threshold value AT (No in S26), the warning unit 23 notifies the driver D of a doze alarm (S28). When the ratio A of the electroencephalogram α band value is equal to or less than the predetermined threshold value AT (Yes in S26), the determination unit 21 analyzes the video acquired by the driver imaging unit 2d and calculates the duration B of eye opening of the driver D (S30).

持続時間Bが所定の閾値Bを上回る場合(S32のNo)、警告部23は運転者Dに居眠り警報を通知する(S28)。持続時間Bが所定の閾値B以上の場合(S32のYes)、判定部21は運転者撮像部2dが取得した映像を解析し、運転者Dの単位時間当たりの視線変化の頻度Nを算出する(S34)。 If the duration B exceeds the predetermined threshold value B T (No in S32), the warning unit 23 notifies the dozing warning to the driver D (S28). If the duration B is not smaller than a predetermined threshold value B T (Yes in S32), the determination unit 21 analyzes the video driver imaging unit 2d is acquired, calculating the frequency N of the line of sight change per unit of the driver D Time (S34).

頻度Nが所定の閾値N以下の場合(S36のYes)、判定部21は運転者撮像部2dが取得した映像を解析し、運転者Dの視線が同一方向を向いている時間である視線持続時間Sを算出する(S38)。視線持続時間Sが所定の閾値Sを上回る場合(S40のYes)、判定部21は座圧計測部2bが取得した運転者Dの座圧データを解析して、運転者Dの座圧の変化量Zを算出する(S42)。 When the frequency N is equal to or less than the predetermined threshold value NT (Yes in S36), the determination unit 21 analyzes the video acquired by the driver imaging unit 2d, and the line of sight is the time when the line of sight of the driver D is facing the same direction. The duration S is calculated (S38). If gaze duration S exceeds a predetermined threshold value S T (Yes in S40), the determination unit 21 analyzes the seat pressure data of the driver D to seat pressure measuring unit 2b acquires, seat pressure of the driver D A change amount Z is calculated (S42).

変化量Zが所定の閾値Z以下の場合(S44のYes)、判定部21は重心位置計測部2cが取得した運転者Dの重心位置データを解析し、運転者Dの重心位置変化頻度Gを算出する(S46)。重心位置変化頻度Gが所定の閾値G以下の場合(S48のYes)、判定部21は車両Vの制御権限を運転者Dに移行することを禁止するとともに、緊急停止部24は車両Vの車両制御に介入して車両Vを停車する(S50)。 If the change amount Z is equal to or less than a predetermined threshold value Z T (Yes in S44), the determination unit 21 analyzes the gravity center position data of the driver D to the center of gravity position measurement unit 2c acquires the driver D of barycentric position change frequency G Is calculated (S46). If the barycentric position change frequency G is equal to or less than a predetermined threshold value G T (Yes in S48), together with the determination unit 21 prohibits the transfer control rights of the vehicle V to the driver D, the emergency stop unit 24 of the vehicle V The vehicle V is stopped by intervening in the vehicle control (S50).

頻度Nが所定の閾値Nを上回るか(S36のNo)、視線持続時間Sが所定の閾値S以下か、(S40のNo)、変化量Zが所定の閾値Zを上回る場合(S44のNo)、又は重心位置変化頻度Gが所定の閾値Gを上回る場合(S48のNo)、判定部21は車両Vの制御権限を運転者Dに移行することを許可する(S52)。 Or frequency N is above a predetermined threshold N T (No in S36), or line-of-sight duration S is less than a predetermined threshold value S T, (No in S40), if the change amount Z exceeds the predetermined threshold value Z T (S44 of No), or when the center of gravity position change frequency G exceeds a predetermined threshold value G T (No in S48), the determination unit 21 permits the transfers control rights of the vehicle V to the driver D (S52).

このように、実施の形態の変形例に係る車両制御装置1は、運転者情報取得部2が取得した運転者Dに関する複数種類の情報を直接用いることで、車両Vの制御権限を自動から手動に移行する際の警告通知の有無や、緊急停車の必要性を判定する。これにより、実験者が猶予時間算出関数を決定するためのデータ収集を省略することができる。また、図5に示すような処理フローにしたがって警告通知の有無や、緊急停車の必要性を判定することにより、運転者情報取得部2が取得した運転者Dに関する複数種類の情報のうち、判定処理に用いる情報の優先度を定めることができる。   As described above, the vehicle control apparatus 1 according to the modification of the embodiment directly uses the plurality of types of information regarding the driver D acquired by the driver information acquisition unit 2 to automatically control the control authority of the vehicle V from automatic to manual. The presence or absence of a warning notice when shifting to, and the necessity of an emergency stop are determined. Thereby, the data collection for the experimenter to determine the grace time calculation function can be omitted. Further, by determining the presence or absence of a warning notification and the necessity of emergency stop according to the processing flow as shown in FIG. 5, the determination is made from among a plurality of types of information related to the driver D acquired by the driver information acquisition unit 2. Priorities of information used for processing can be determined.

すなわち、判定部21が処理フローの上流で参照する情報ほど優先度が高い情報と言える。判定部21が処理フローの上流で判定結果が出た場合、その下流の処理フローにおいて情報は参照されないからである。上記の処理フローはあくまでも一例であり、いずれの情報の優先度を高めるかは、車両Vの使用態様や車両Vを操作する運転者Dとして想定される者の性別や年齢等を考慮して決定すればよい。   That is, it can be said that the information that the determination unit 21 refers to in the upstream of the processing flow is information with higher priority. This is because when the determination unit 21 obtains a determination result upstream of the processing flow, information is not referred to in the downstream processing flow. The above processing flow is merely an example, and which information is to be prioritized is determined in consideration of the usage mode of the vehicle V and the gender and age of the person who is assumed as the driver D who operates the vehicle V. do it.

1・・・車両制御装置
2・・・運転者情報取得部
2a・・・脳波計測部
2b・・・座圧計測部
2c・・・重心位置計測部
2d・・・運転者撮像部
4・・・外部計測部
4a・・・前方計測部
4b・・・後方計測部
4c・・・側方計測部
10・・・記憶部
20・・・制御部
21・・・判定部
22・・・猶予時間算出部
23・・・警告部
24・・・緊急停止部
25・・・反応時間計測部
26・・・関数変更部
D・・・運転者
V・・・車両
DESCRIPTION OF SYMBOLS 1 ... Vehicle control apparatus 2 ... Driver information acquisition part 2a ... EEG measurement part 2b ... Seat pressure measurement part 2c ... Gravity center position measurement part 2d ... Driver imaging part 4 .... External measurement unit 4a ... forward measurement unit 4b ... rear measurement unit 4c ... side measurement unit 10 ... storage unit 20 ... control unit 21 ... determination unit 22 ... grace time Calculation unit 23 ... warning unit 24 ... emergency stop unit 25 ... reaction time measurement unit 26 ... function change unit D ... driver V ... vehicle

Claims (7)

自動運転中の車両の運転者が当該車両を手動で操作するまでに要する反応時間と、前記運転者を計測して得られた複数種類の情報それぞれを解析して得られる複数の数値との関係を示す式としてあらかじめ定められた猶予時間算出関数を特定するための情報を格納する記憶部と、
自動運転中の車両の外部の状況を計測する外部計測部と、
前記車両の運転者に関する前記複数種類の情報を取得する運転者情報取得部と、
前記外部計測部が計測した状況に基づいて、前記車両の制御を前記運転者に移行する必要があるか否かを判定する判定部と、
前記判定部によって制御の移行が必要と判定されたときに前記運転者情報取得部が取得した前記複数種類の情報と前記猶予時間算出関数とに基づいて、前記車両を自動運転から前記運転者による手動運転に移行するまでの猶予時間を算出する猶予時間算出部と、
を備える車両制御装置。
Relationship between the reaction time required for the driver of the vehicle during automatic driving to manually operate the vehicle and a plurality of numerical values obtained by analyzing each of a plurality of types of information obtained by measuring the driver A storage unit that stores information for specifying a predetermined grace time calculation function as an expression indicating:
An external measurement unit that measures the situation outside the vehicle during automatic driving;
A driver information acquisition unit for acquiring the plurality of types of information related to the driver of the vehicle;
A determination unit that determines whether or not it is necessary to transfer the control of the vehicle to the driver based on a situation measured by the external measurement unit;
Based on the plurality of types of information acquired by the driver information acquisition unit and the grace time calculation function when the determination unit determines that control shift is necessary, the vehicle is moved from automatic driving by the driver. A grace time calculation unit that calculates a grace time until shifting to manual operation,
A vehicle control device comprising:
前記猶予時間算出関数は、前記反応時間をY、前記複数種類の情報をそれぞれX,・・・,X(nは2以上の自然数)としたとき、
Y=c+c+,・・・,c (c,・・・,cは実数)
で表され、
前記記憶部は、前記複数種類の情報の係数であるc,・・・,cを格納する、
請求項1に記載の車両制御装置。
In the grace time calculation function, when the reaction time is Y, and the plurality of types of information are X 1 ,..., X n (n is a natural number of 2 or more),
Y = c 1 X 1 + c 2 X 2 +,..., C n X n (c 1 ,..., C n are real numbers)
Represented by
The storage unit stores c 1 ,..., C n which are coefficients of the plurality of types of information.
The vehicle control device according to claim 1.
前記運転者情報取得部は、前記複数種類の情報として、
前記運転者の脳波におけるα波帯域値の割合をX
前記運転者の単位時間当たりにおける閉眼持続時間をX
前記運転者の単位時間当たりにおける視線変化頻度をX
単位時間当たりにおいて前記運転者の視線が所定の範囲内に存在する時間である視認持続時間をX
単位時間当たりにおける前記運転者の座圧の変化量をX
前記運転者の単位時間当たりにおける重心位置変化頻度をX
の少なくとも6つの情報を取得する、
請求項2に記載の車両制御装置。
The driver information acquisition unit, as the plurality of types of information,
The ratio of the α wave band value in the driver's brain wave is X 1 ,
X 2 is the closed eye duration per unit time of the driver.
The gaze change frequency per unit time of the driver is X 3 ,
X 4 , a visual duration time that is a time during which the driver's line of sight exists within a predetermined range per unit time.
The amount of change in the driver's seat pressure per unit time is represented by X 5 ,
The center of gravity position change frequency per unit time of the driver is represented by X 6.
Obtain at least six pieces of information,
The vehicle control device according to claim 2.
前記猶予時間算出部が算出した時間が所定の警告通知閾時間を上回る場合、前記運転者に警告する警告部をさらに備える、
請求項1から3のいずれか一項に記載の車両制御装置。
If the time calculated by the grace time calculation unit exceeds a predetermined warning notification threshold time, further comprising a warning unit to warn the driver;
The vehicle control device according to any one of claims 1 to 3.
前記警告部は、前記猶予時間算出部が算出した反応時間が同一であっても、前記複数種類の情報の値に応じて、前記運転者に対して通知する警告を変更する、
請求項4に記載の車両制御装置。
The warning unit changes a warning to be notified to the driver according to the values of the plurality of types of information, even if the reaction time calculated by the grace time calculation unit is the same.
The vehicle control device according to claim 4.
前記猶予時間算出部が算出した時間が所定の権限移行閾時間を上回る場合、前記車両を停車させる緊急停止部をさらに備える、
請求項1から5のいずれか一項に記載の車両制御装置。
If the time calculated by the grace time calculation unit exceeds a predetermined authority transition threshold time, further comprising an emergency stop unit for stopping the vehicle,
The vehicle control device according to any one of claims 1 to 5.
前記判定部が前記車両の制御の必要性を判定し、かつ前記運転者が前記車両の自動運転制御をオーバーライドして前記車両の操作をした場合に、前記運転者が前記操作をするまでの反応時間を計測する反応時間計測部と、
前記反応時間計測部が計測した反応時間と、前記運転者が前記操作をしたときに前記運転者情報取得部が取得した前記複数種類の情報とに基づいて、前記猶予時間算出関数を特定するための情報を変更する関数変更部と、
をさらに備える請求項1から6のいずれか一項に記載の車両制御装置。
Response until the driver performs the operation when the determination unit determines the necessity of control of the vehicle and the driver operates the vehicle with overriding the automatic driving control of the vehicle A reaction time measuring unit for measuring time;
In order to specify the grace time calculation function based on the reaction time measured by the reaction time measurement unit and the plurality of types of information acquired by the driver information acquisition unit when the driver performs the operation A function change section for changing the information of
The vehicle control device according to any one of claims 1 to 6, further comprising:
JP2016179764A 2016-09-14 2016-09-14 Vehicle control apparatus Pending JP2018045451A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016179764A JP2018045451A (en) 2016-09-14 2016-09-14 Vehicle control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016179764A JP2018045451A (en) 2016-09-14 2016-09-14 Vehicle control apparatus

Publications (1)

Publication Number Publication Date
JP2018045451A true JP2018045451A (en) 2018-03-22

Family

ID=61693053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016179764A Pending JP2018045451A (en) 2016-09-14 2016-09-14 Vehicle control apparatus

Country Status (1)

Country Link
JP (1) JP2018045451A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208644A1 (en) * 2018-04-25 2019-10-31 株式会社デンソー Driver abnormality detection device
WO2020054458A1 (en) * 2018-09-13 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 Information processing device, transport device and method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236993A (en) * 2001-02-09 2002-08-23 Kddi Research & Development Laboratories Inc Travel control system
JP2015210660A (en) * 2014-04-25 2015-11-24 日産自動車株式会社 Information presentation device and information presentation method
JP2016006568A (en) * 2014-06-20 2016-01-14 ルネサスエレクトロニクス株式会社 Semiconductor device and control method
JP2016038768A (en) * 2014-08-08 2016-03-22 トヨタ自動車株式会社 Vehicle controller
JP2016153960A (en) * 2015-02-20 2016-08-25 トヨタ自動車株式会社 Drive support device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236993A (en) * 2001-02-09 2002-08-23 Kddi Research & Development Laboratories Inc Travel control system
JP2015210660A (en) * 2014-04-25 2015-11-24 日産自動車株式会社 Information presentation device and information presentation method
JP2016006568A (en) * 2014-06-20 2016-01-14 ルネサスエレクトロニクス株式会社 Semiconductor device and control method
JP2016038768A (en) * 2014-08-08 2016-03-22 トヨタ自動車株式会社 Vehicle controller
JP2016153960A (en) * 2015-02-20 2016-08-25 トヨタ自動車株式会社 Drive support device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208644A1 (en) * 2018-04-25 2019-10-31 株式会社デンソー Driver abnormality detection device
WO2020054458A1 (en) * 2018-09-13 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 Information processing device, transport device and method, and program
JPWO2020054458A1 (en) * 2018-09-13 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 Information processing equipment, mobile devices, and methods, and programs
US11420636B2 (en) 2018-09-13 2022-08-23 Sony Semiconductor Solutions Corporation Information processing device, moving apparatus, method, and program
JP7288911B2 (en) 2018-09-13 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 Information processing device, mobile device, method, and program
US11738757B2 (en) 2018-09-13 2023-08-29 Sony Semiconductor Solutions Corporation Information processing device, moving apparatus, method, and program

Similar Documents

Publication Publication Date Title
KR102469467B1 (en) Apparatus and method of safety support for vehicle
JP5326521B2 (en) Arousal state determination device and arousal state determination method
US9776644B2 (en) On-vehicle situation detection apparatus and method
US20220095975A1 (en) Detection of cognitive state of a driver
US9539999B2 (en) Vehicle operator monitoring and operations adjustments
US10346697B2 (en) Driver state monitoring using corneal reflection detection
WO2019151266A1 (en) Information processing device, mobile apparatus, method, and program
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP2018127112A (en) Arousal level estimation device and arousal level estimation method
Varma et al. Accident prevention using eye blinking and head movement
US11040720B2 (en) Sleepiness level prediction device and sleepiness level prediction method
CN109716411A (en) Method and apparatus to monitor the activity level of driver
JP2015207163A (en) State estimation device and state estimation program
JP4977856B2 (en) Awakening state detection method and awakening state detection device
US20190263419A1 (en) Autonomous vehicle control by comparative transition prediction
CN113449952A (en) Automatic estimation of driver skill level and confidence level
JP2018045451A (en) Vehicle control apparatus
JP6870248B2 (en) Vehicle control unit
JP2008117303A (en) Driving support apparatus and evaluation apparatus
US11383640B2 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
JP2019068933A (en) Estimation device and estimation method
WO2019138733A1 (en) Detection device and program
US20230339479A1 (en) System and method for determining cognitive demand
JP7295790B2 (en) In-vehicle device, processing device and program
WO2022172724A1 (en) Information processing device, information processing method, and information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210105