JP2023002180A - Drive preparation state estimation device and drive preparation state estimation program - Google Patents

Drive preparation state estimation device and drive preparation state estimation program Download PDF

Info

Publication number
JP2023002180A
JP2023002180A JP2021103243A JP2021103243A JP2023002180A JP 2023002180 A JP2023002180 A JP 2023002180A JP 2021103243 A JP2021103243 A JP 2021103243A JP 2021103243 A JP2021103243 A JP 2021103243A JP 2023002180 A JP2023002180 A JP 2023002180A
Authority
JP
Japan
Prior art keywords
driving
time
reaction time
driver
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021103243A
Other languages
Japanese (ja)
Inventor
靖雄 坂口
Yasuo Sakaguchi
裕治 村岸
Yuji Murakishi
洋 嶋内
Hiroshi Shimauchi
裕貴 中原
Yuki Nakahara
徹 小野
Toru Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JTEKT Corp
Toyota Central R&D Labs Inc
Original Assignee
JTEKT Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JTEKT Corp, Toyota Central R&D Labs Inc filed Critical JTEKT Corp
Priority to JP2021103243A priority Critical patent/JP2023002180A/en
Publication of JP2023002180A publication Critical patent/JP2023002180A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

To properly determine whether or not there is the need to shift control of a vehicle to a driver.SOLUTION: A reaction time (estimation reaction time) acquired based on drive simulation of an estimation model assumes a specific scene. When the specific scene is applied to another scene (actual scene) as it is, it is predicted that the estimation reaction time is different from the actual reaction time (referred to as actual reaction time). The reaction time is corrected (corrected reaction time tr=tm×(ts/to)) according to the ratio (ts/to) of the deviation for an error due to the deviation between the surplus time to of the driver used in the drive simulation and the actual surplus time ts of the driver when receiving notification of driving replacement for the reaction time tm estimated in the scene of the drive simulation used in the estimation model. The possibility of the driving replacement is determined on the basis of the corrected reaction time tr.SELECTED DRAWING: Figure 2

Description

本発明は、運転準備状態推定装置及び運転準備状態推定プログラムに関する。 The present invention relates to a driving readiness estimation device and a driving readiness estimation program.

従来、自車両の運転者の反応時間、脇見時間及び覚醒度に基づいて、運転者の運転意識に関する運転構え度を推定する運転構え度推定部を備える運転意識推定装置が提案されている(特許文献1参照)。特許文献1に記載の運転意識推定装置では、運転構え度推定部が推定する運転構え度に反応時間が与える影響は、当該運転構え度に脇見時間及び覚醒度の少なくとも何れかが与える影響よりも大きい。 Conventionally, there has been proposed a driving intention estimation device provided with a driving attitude estimation unit that estimates the driving attitude related to the driving consciousness of the driver based on the reaction time, inattentiveness and wakefulness of the driver of the vehicle (Patent Reference 1). In the driving intention estimation device described in Patent Document 1, the influence of the reaction time on the driving posture estimated by the driving posture estimation unit is greater than the effect of at least one of the inattentiveness time and the degree of awakening on the driving posture. big.

特許文献1には、どのぐらいの時間のデータから、この運転構え度を推定するかについて記載されていない。この時間が長い場合には、運転者の直近の状態の変化を適切に反映した推定結果を得ることができず、一方、この時間が短い場合には、推定処理が安定せず、共に推定精度を悪化させる原因となる。 Patent Document 1 does not describe how long the data is used to estimate the driving posture. If this time is long, it is not possible to obtain estimation results that appropriately reflect recent changes in the driver's condition. cause aggravation of

また、特許文献2には、自動運転モードを手動運転モードに切り替える際の車両の安全性を向上するために、記憶部、外部計測部、運転者情報取得部、判定部、及び猶予時間算出部を備えた発明が記載されている。 Further, in Patent Document 2, in order to improve the safety of the vehicle when switching the automatic driving mode to the manual driving mode, a storage unit, an external measurement unit, a driver information acquisition unit, a determination unit, and a grace time calculation unit An invention is described with

記憶部は、自動運転中の車両の運転者が当該車両を手動で操作するまでに要する反応時間と、運転者を計測して得られた複数種類の情報を解析して得られる複数の数値との関係を示す猶予時間算出関数を特定するための情報を格納する。 The storage unit stores the reaction time required for the driver of the vehicle under automatic operation to manually operate the vehicle, and multiple numerical values obtained by analyzing multiple types of information obtained by measuring the driver. Stores information for specifying the grace time calculation function that indicates the relationship between

外部計測部は、自動運転中の車両の外部の状況を計測する。 The external measurement unit measures the external conditions of the vehicle during automatic driving.

運転者情報取得部は、車両の運転者に関する複数種類の情報を取得する。 The driver information acquisition unit acquires a plurality of types of information regarding the driver of the vehicle.

判定部は、外部計測部が計測した状況に基づいて、車両の制御を運転者に移行する必要があるか否かを判定する。 The determination unit determines whether or not it is necessary to shift control of the vehicle to the driver based on the situation measured by the external measurement unit.

猶予時間算出部は、判定部によって制御の移行が必要と判定されたときに運転者情報取得部が取得した複数種類の情報と猶予時間算出関数とに基づいて、車両を自動運転から運転者による手動運転に移行するまでの猶予時間を算出する。 The grace time calculation unit changes the vehicle from automatic driving to driver control based on the plurality of types of information and the grace time calculation function acquired by the driver information acquisition unit when the determination unit determines that control transition is necessary. Calculate the grace time before shifting to manual operation.

特開2020-24551号公報JP 2020-24551 A 特開2018-45451号公報JP 2018-45451 A

しかしながら、推定した猶予時間(運転者反応時間)を比較するしきい値が、予め定めた推定モデルから得た固定値(特許文献2では、4秒以下、4~10秒、10秒以上)と比較されるが、推定モデルで設定した運転状況と実際の運転状況とが乖離すると、車両の制御を運転者に移行する必要があるか否かの判定が適正にできない場合がある。 However, the threshold value for comparing the estimated grace time (driver reaction time) is a fixed value obtained from a predetermined estimation model (4 seconds or less, 4 to 10 seconds, 10 seconds or more in Patent Document 2). Although compared, if the driving conditions set by the estimation model and the actual driving conditions diverge, it may not be possible to appropriately determine whether or not it is necessary to transfer control of the vehicle to the driver.

本発明は、車両の制御を運転者に移行する必要があるか否かを適正に判定することができる運転準備状態推定装置及び運転準備状態推定プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a driving readiness estimation device and a driving readiness estimation program capable of appropriately determining whether or not it is necessary to transfer control of a vehicle to a driver.

本発明に係る運転準備状態推定装置は、自動運転から手動運転への運転交代を要する推定シーン(例えば、ドライブシミュレータ等による実験を行うことで得られるシーン)において、運転者の状態に依存する推定反応時間を得るための推定モデルを格納する格納部と、前記運転交代を要する実シーンが発生したとき、前記実シーンに類似する推定モデルによる演算処理によって、前記実シーンの前記運転者の状態に依存する推定反応時間を推定する推定部と、前記推定シーンの下で設定した運転交代限界までの推定余裕時間と、前記実シーンにおける運転交代限界までの実余裕時間との比較結果に基づいて、前記推定部で推定した前記推定反応時間を補正して実反応時間を導出する補正部と、前記補正部によって補正した後の前記実シーンの実反応時間を基準に、運転交代の可否を判定する判定部と、を有している。 The driving preparation state estimation device according to the present invention provides an estimation that depends on the state of the driver in an estimation scene that requires driving change from automatic driving to manual driving (for example, a scene obtained by conducting an experiment using a drive simulator, etc.). a storage unit for storing an estimation model for obtaining a reaction time; and when an actual scene requiring a change of driving occurs, the state of the driver in the actual scene is calculated by arithmetic processing using the estimation model similar to the actual scene. An estimating unit that estimates the dependent estimated reaction time, and based on the result of comparison between the estimated surplus time to the drive change limit set under the estimated scene and the actual surplus time to the drive change limit in the actual scene, A correcting unit that derives an actual reaction time by correcting the estimated reaction time estimated by the estimating unit; and a determination unit.

本発明によれば、格納部は、自動運転から手動運転への運転交代を要する推定シーンのそれぞれでドライブシミュレーションを実行して、運転者の状態に依存する推定反応時間を得るための推定モデルを格納する。 According to the present invention, the storage unit executes a drive simulation in each of the estimated scenes requiring driving change from automatic driving to manual driving, and creates an estimated model for obtaining an estimated reaction time that depends on the state of the driver. Store.

推定部では、運転交代を要する実シーンが発生したとき、実シーンに類似する推定モデルによる演算処理によって、前記実シーンの運転者の状態に依存する推定反応時間を推定する。 When an actual scene requiring a driver change occurs, the estimating unit estimates an estimated reaction time dependent on the state of the driver in the actual scene by arithmetic processing using an estimation model similar to the actual scene.

ここで、補正部では、推定シーンの下で設定した運転交代限界までの推定余裕時間と、実シーンにおける運転交代限界までの実余裕時間との比較結果に基づいて、推定部で推定した推定反応時間を補正して実反応時間を導出する。 Here, in the correction unit, the estimated response estimated by the estimation unit is based on the result of comparison between the estimated margin time to the driver change limit set under the estimated scene and the actual margin time to the driver change limit in the actual scene. Correct the time to derive the actual reaction time.

判定部では、補正部によって補正した後の実シーンの実反応時間を基準に、運転交代の可否を判定する。 The judging section judges whether or not to change driving based on the actual reaction time of the actual scene corrected by the correcting section.

これにより、車両の制御を運転者に移行する必要があるか否かを適正に判定することができる。 Accordingly, it is possible to appropriately determine whether or not it is necessary to transfer control of the vehicle to the driver.

本発明において、前記補正部で補正した実反応時間trは、前記推定部で推定した推定反応時間をtm、前記推定余裕時間をto、前記実余裕時間をts、とした場合、tr=tm×ts/toの計算式を用いた計算によって取得することを特徴としている。 In the present invention, the actual reaction time tr corrected by the correction unit is the estimated reaction time estimated by the estimation unit tm, the estimated margin time to, and the actual margin time ts. It is characterized in that it is obtained by calculation using the formula of ts/to.

本発明において、前記実余裕時間が、自動運転の下で予め定めた加減速度以下で運転交代の要因を回避可能な時間、自動運転の下で予め定めた速度で物理的に運転交代の要因を回避可能な時間、及び自動運転の下で予め定めた速度で運転回避要因発生地点までの到達時間から1つ選択されることを特徴としている。 In the present invention, the actual surplus time is the time during which the factor of driving change can be avoided under a predetermined acceleration/deceleration under automatic operation, and the factor of driving change can be physically avoided at a predetermined speed under automatic driving. It is characterized in that one is selected from the avoidable time and the arrival time to the driving avoidance factor occurrence point at a predetermined speed under automatic driving.

本発明に係る運転準備状態推定プログラムは、コンピュータを、上記の運転準備状態推定装置の各部として機能させることを特徴としている。 A driving readiness estimation program according to the present invention causes a computer to function as each part of the driving readiness estimation device.

以上説明した如く本発明では、車両の制御を運転者に移行する必要があるか否かを適正に判定することができる。 As described above, according to the present invention, it is possible to appropriately determine whether or not it is necessary to transfer control of the vehicle to the driver.

本実施の形態に係る交代可否判定制御装置を主体として、自動運転システムの概略図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram of an automatic driving system that mainly includes a change availability determination control device according to an embodiment of the present invention; 本実施の形態に係る交代可否判定制御装置10で実行される交代可否判定制御を機能別に示したブロック図である。FIG. 2 is a block diagram showing, by function, the alternation possibility determination control executed by the alternation possibility determination control device 10 according to the present embodiment. 本実施の形態に係るドライビングシミュレータの走行実験例である。It is an example of a driving experiment of the driving simulator according to the present embodiment. 本実施の形態に係る余裕時間のパターン例であり、(A)は不快を感じずに回避が可能な限界を示す余裕時間a、(B)は自車両5一般的乗用車)が車線変更できる限界を示す余裕時間bである。It is an example of the margin time pattern according to the present embodiment, (A) is the margin time a that indicates the limit that can be avoided without feeling uncomfortable, and (B) is the limit that the own vehicle 5 (general passenger car) can change lanes. is the spare time b indicating 本実施の形態に係る交代可否判定制御装置で実行される、交代可否判定制御メインルーチンを示すフローチャートである。4 is a flow chart showing a main routine for a change availability determination control that is executed by the change availability determination control device according to the present embodiment. 図5のステップ102における情報取得処理制御サブルーチンの詳細を示すフローチャートである。6 is a flowchart showing details of an information acquisition processing control subroutine in step 102 of FIG. 5; 図5のステップ104における交代可否判定処理制御サブルーチンを示すフローチャートである。FIG. 6 is a flow chart showing a subroutine for determining whether a change is possible or not in step 104 of FIG. 5; FIG. 推定反応時間tmと実際の反応時間trとの関係を示す特性図である。4 is a characteristic diagram showing the relationship between estimated reaction time tm and actual reaction time tr. FIG.

図1は、本実施の形態に係る交代可否判定制御装置10を主体として、自動運転システムの概略図である。 FIG. 1 is a schematic diagram of an automatic driving system, mainly including a change availability determination control device 10 according to the present embodiment.

本実施形態では、自動運転システムのうち、必要に応じて、システムによる自動運転から運転者への運転交代を必要とする場合を対象とする。例えば、SAE(Society of Automotive Engineers)のレベル2~3に相当する場合である。この場合の自動運転システムには、システムによる自動運転が不安定、又は動作対象外の状態となった場合に、一定時間以内に運転者に運転を交代できることが要請されている。そのため、本実施の形態に係る交代可否判定制御装置10では、運転者が一定時間以内に運転に復帰できるような状況であるか否かを監視する。 In the present embodiment, the automatic driving system is intended for a case where the automatic driving by the system needs to be switched to the driver as necessary. For example, it corresponds to level 2 to 3 of SAE (Society of Automotive Engineers). In this case, the automatic driving system is required to be able to switch the driving to the driver within a certain period of time when the automatic driving by the system becomes unstable or out of the scope of operation. Therefore, the shift availability determination control device 10 according to the present embodiment monitors whether or not the driver can return to driving within a certain period of time.

このような状況を保つために、運転者の運転準備状態を推定することが必要である。運転準備状態は、例えば、運転交代が必要な状況になったときから、運転者が手動運転を開始するまでの時間(以下、「反応時間」という)等で表すことができる。本実施形態では、自動運転中の車両の運転者の状態及び行動の少なくとも一方を観測し、観測した結果から運転準備状態を推定する技術に関するものである。 In order to maintain such a situation, it is necessary to estimate the driving readiness of the driver. The driving preparation state can be represented, for example, by the time (hereinafter referred to as "reaction time") from when the driver starts manual driving after a situation requiring driving change occurs. This embodiment relates to a technique for observing at least one of the state and behavior of the driver of a vehicle during automatic driving and estimating the driving preparation state from the observation result.

図1に示すように、本実施形態に係る運転準備状態を推定する自動運転システムは、車両に搭載されたセンサ群12と、自動運転制御装置14と、交代可否判定制御装置10と、を含む。 As shown in FIG. 1, the automatic driving system for estimating the driving preparation state according to the present embodiment includes a sensor group 12 mounted on the vehicle, an automatic driving control device 14, and a shift availability determination control device 10. .

センサ群12は、自動運転中の車両の運転者の状態及び行動の少なくとも一方に関する計測値を計測するための複数種類のセンサを含む。 The sensor group 12 includes multiple types of sensors for measuring at least one of the state and behavior of the driver of the vehicle during automatic operation.

例えば、センサ群12は、運転者の顔等の所定部位を撮影するためのカメラを含む。このカメラは、運転者の顔向き、視線、足や腕を組む等の姿勢を認識可能な画像を撮影する(姿勢情報)。この画像は計測値の一例である。 For example, the sensor group 12 includes a camera for photographing a predetermined part such as the driver's face. This camera captures an image that allows recognition of the driver's face orientation, line of sight, posture such as crossed legs and arms (posture information). This image is an example of measured values.

また、センサ群12は、ブレーキペダルやステアリング等の車両操作器具への運転者の接触や操作の有無を計測する圧力センサ、トルクセンサ、又はモータの角度センサを含む(車両駆動系情報)。 The sensor group 12 also includes a pressure sensor, a torque sensor, or a motor angle sensor that measures whether or not the driver touches or operates a vehicle operating device such as a brake pedal or steering wheel (vehicle driving system information).

また、センサ群12は、運転者が着座するシートの位置、リクライニング角度等を計測するシート位置センサを含む。また、センサ群12は、運転者の心拍や発汗量等を計測する生体センサを含む(生体情報)。 The sensor group 12 also includes a seat position sensor that measures the position of the seat on which the driver sits, the reclining angle, and the like. The sensor group 12 also includes biosensors that measure the driver's heartbeat, perspiration, and the like (biological information).

さらに、センサ群12は、運転者の状態及び行動の少なくとも一方を直接的に示す計測値だけでなく、後述する状態情報を算出するために必要な計測値も計測する。例えば、センサ群12は、自車両外部の他車両の挙動を計測するためのカメラを含む(環境情報)。 Furthermore, the sensor group 12 measures not only measured values that directly indicate at least one of the driver's state and behavior, but also measured values necessary for calculating state information, which will be described later. For example, the sensor group 12 includes a camera for measuring the behavior of other vehicles outside the own vehicle (environmental information).

センサ群12に含まれる各センサは、所定の時間間隔で計測した計測値を出力する。 Each sensor included in the sensor group 12 outputs measured values measured at predetermined time intervals.

自動運転制御装置14は、車両の駆動系を制御する車両制御装置(図示省略)から自動運転に必要な情報(例えば、上記センサ群12からの検出情報)に基づき、目的地への運転操作を確定し、車両制御装置へ指示する。 The automatic driving control device 14 controls the driving operation to the destination based on information necessary for automatic driving (for example, detection information from the sensor group 12) from a vehicle control device (not shown) that controls the drive system of the vehicle. Confirm and instruct the vehicle control device.

自動運転制御装置14は、交代可否判定制御装置10と通信可能となっている。 The automatic driving control device 14 is capable of communicating with the switching availability determination control device 10 .

交代可否判定制御装置10では、車両からの自動運転による走行履歴等の状態情報が集約される。 In the change propriety determination control device 10, state information such as travel histories due to automatic driving from the vehicle is aggregated.

交代可否判定制御装置10は、マイクロコンピュータ16を備えている。マイクロコンピュータ16は、CPU16A、RAM16B、ROM16C、I/O16D(入出力装置)、及びこれらを接続するデータバスやコントロールバス等のバス16Eを有している。 The alternation permission/inhibition determination control device 10 includes a microcomputer 16 . The microcomputer 16 has a CPU 16A, a RAM 16B, a ROM 16C, an I/O 16D (input/output device), and a bus 16E such as a data bus and a control bus connecting these.

I/O16Dには、通信I/F18が接続されており、この通信I/F18を介して自動運転制御装置14と情報のやりとりが実行される。 A communication I/F 18 is connected to the I/O 16D, and information is exchanged with the automatic operation control device 14 via the communication I/F 18.

また、I/O16Dには、I/F20を介してセンサ群12と接続され、このI/F20を介して、センサ群12に属する各センサからの計測値(例えば、上記姿勢情報、車両駆動系情報、生体情報、環境情報等)を取得する。 Further, the I/O 16D is connected to the sensor group 12 via the I/F 20, and via this I/F 20, the measured values from each sensor belonging to the sensor group 12 (for example, the attitude information, the vehicle drive system information, biological information, environmental information, etc.).

さらに、I/O16Dには、大規模記憶装置22(ハードディスク、SSD、ICメモリ等全ての記録媒体を含み、内蔵、外付け、着脱可否等の構造的な限定はない。が接続されている。 Furthermore, the I/O 16D is connected to a large-scale storage device 22 (including all recording media such as hard disks, SSDs, IC memories, etc., with no structural limitations such as built-in, external, detachable, etc.).

本実施の形態の大規模記憶装置22は、状態情報データベース24及び推定モデルデータベース26を備えている(詳細後述)。 The large-scale storage device 22 of this embodiment includes a state information database 24 and an estimation model database 26 (details will be described later).

図2は、本実施の形態に係る交代可否判定制御装置10で実行される交代可否判定制御を機能別に示したブロック図である。なお、各ブロックは、交代可否判定制御装置のハード構成を限定するものではなく、一部又は全部の機能を、ソフトウェアプログラムに基づいて、マイクロコンピュータ16(CPU16A)で実行するようにしてもよい。 FIG. 2 is a block diagram showing, by function, the alternation possibility determination control executed by the alternation possibility determination control device 10 according to the present embodiment. It should be noted that each block does not limit the hardware configuration of the switching availability determination control device, and some or all of the functions may be executed by the microcomputer 16 (CPU 16A) based on a software program.

図2に示される如く、計測値取得部28は、センサ群12に接続されており、センサ群12から自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す1種類以上の情報(姿勢情報、車両駆動系情報、生体情報、環境情報等)を取得する。 As shown in FIG. 2, the measured value acquisition unit 28 is connected to the sensor group 12, and from the sensor group 12, one or more types of information ( attitude information, vehicle drive system information, biological information, environmental information, etc.).

計測値取得部28は、状態情報算出部30に接続されており、取得した情報を状態情報算出部30へ送出する。 The measured value acquisition unit 28 is connected to the state information calculation unit 30 and sends the acquired information to the state information calculation unit 30 .

状態情報算出部30は、運転者の行動を示す状態情報として、視行動、操作行動、及びイベントに対する反応の少なくとも1つを示す状態情報を算出する。また、例えば、状態情報算出部30は、運転者の状態を示す状態情報として、運転姿勢、覚醒度、及び生理指標の少なくとも1つを示す状態情報を算出する。なお、計測値取得部28で取得した計測値をそのまま状態情報としてもよい。 The state information calculation unit 30 calculates state information indicating at least one of visual behavior, operation behavior, and reaction to an event as state information indicating behavior of the driver. Further, for example, the state information calculation unit 30 calculates state information indicating at least one of a driving posture, arousal level, and a physiological index as state information indicating the state of the driver. Note that the measured value obtained by the measured value obtaining unit 28 may be used as the state information as it is.

以下、各種類の状態情報の計算(取得)の手順の一例を説明する。 An example of the procedure for calculating (acquiring) each type of state information will be described below.

(視行動を示す状態情報) (Status information indicating visual behavior)

状態情報算出部30は、センサ群12に含まれるカメラで撮影された画像から、運転者の顔向きや視線を認識し、運転者の視線の特定領域への配分割合で表される視行動を示す状態情報を算出する。より具体的には、状態情報算出部30は、所定時間(例えば1分)内において、運転者の視線が車両正面やミラーに向いている時間の割合(以下、「時間率」という)や、スマートフォンや車載ディスプレイ等の運転以外のタスクに向いている時間率等を算出する。前者の時間率が高いほど反応時間は短くなり、後者の時間率が高いほど反応時間は長くなるなどの傾向が表れるため、視行動を示す状態情報は、運転準備状態の推定に有用である。 The state information calculation unit 30 recognizes the driver's face direction and line of sight from the images captured by the cameras included in the sensor group 12, and calculates the visual behavior represented by the distribution ratio of the driver's line of sight to the specific area. Calculate the state information shown. More specifically, the state information calculation unit 30 calculates the ratio of the time the driver's line of sight is directed toward the front of the vehicle or the mirror (hereinafter referred to as "time ratio") within a predetermined time period (for example, 1 minute), Calculate the time rate that is suitable for tasks other than driving, such as smartphones and in-vehicle displays. The higher the former rate, the shorter the reaction time, and the higher the latter rate, the longer the reaction time. State information indicating visual behavior is useful for estimating driving readiness.

(操作行動を示す状態情報) (Status information indicating operation behavior)

状態情報算出部30は、ブレーキペダルやステアリング等の車両操作器具への運転者の接触や操作の有無を計測する圧力センサ、トルクセンサ、又はモータの角度センサの計測値から、運転者の運転への介入操作及び構えを表す操作行動を示す状態情報を算出する。自動運転システムによる自動運転に対して運転者が不安を感じた場合などに、運転者はステアリングを把持したり、ブレーキペダルに足を乗せたり等の行動をとる場合がある。このような行動が表れる場合は、反応時間が短くなるなどの傾向が表れるため、操作行動を示す状態情報は、運転準備状態の推定に有用である。 The state information calculation unit 30 calculates whether the driver is driving based on the measurement values of a pressure sensor, a torque sensor, or a motor angle sensor that measures whether or not the driver is touching or operating a vehicle operation device such as a brake pedal or steering wheel. The state information indicating the operation behavior representing the intervention operation and the stance is calculated. When a driver feels uneasy about automatic driving by an automatic driving system, the driver may take actions such as gripping the steering wheel or putting his/her foot on the brake pedal. When such behavior appears, the reaction time tends to be shortened, so the state information indicating the operation behavior is useful for estimating the driving preparation state.

(運転姿勢を示す状態情報) (Status information indicating driving posture)

状態情報算出部30は、カメラで撮影された画像から、運転者の姿勢を認識して、運転者が正しい運転姿勢か否か、又は、足や腕を組むなど、正しい運転姿勢から乖離した運転姿勢か否かを示す状態情報を算出する。また、状態情報算出部30は、シート位置センサの計測値が示すシートの位置及びリクライニング角度から、シートを正常位置から下げたり、倒したりしているか否かを判定して、運転姿勢を示す状態情報を算出してもよい。運転者が正しい運転姿勢から乖離した姿勢をとっている場合、正しい運転姿勢への復帰に時間がかかる、すなわち反応時間が長くなるなどの傾向が表れるため、運転姿勢を示す状態情報は、運転準備状態の推定に有用である。 The state information calculation unit 30 recognizes the posture of the driver from the image captured by the camera, and determines whether the driver is in the correct driving posture, or whether the driver is driving in a manner that deviates from the correct driving posture, such as crossing the legs or arms. State information indicating whether or not it is in the posture is calculated. Further, the state information calculation unit 30 determines whether the seat is lowered or reclined from the normal position based on the seat position and reclining angle indicated by the measured values of the seat position sensor. Information may be calculated. If the driver takes a posture that deviates from the correct driving posture, it takes time to return to the correct driving posture. Useful for state estimation.

(覚醒度を示す状態情報) (State information indicating arousal level)

状態情報算出部30は、カメラで撮影された画像から、運転者の開瞼度を取得し、この開瞼度に基づいて、運転者の覚醒度を示す状態情報を算出する。開瞼度は、例えば、所定時間内での瞬きの回数、所定時間内で目を閉じている時間の割合等で表すことができる。また、状態情報算出部30は、生体センサで計測された運転者の心拍や発汗量の変化や閾値との比較結果に基づいて、覚醒度を示す状態情報を算出してもよい。 The state information calculation unit 30 acquires the eyelid opening degree of the driver from the image captured by the camera, and calculates state information indicating the driver's arousal degree based on the eyelid opening degree. The degree of eyelid opening can be represented, for example, by the number of times the eye blinks within a predetermined period of time, the percentage of time the eyes are closed within the predetermined period of time, or the like. The state information calculation unit 30 may also calculate state information indicating the degree of wakefulness based on changes in the driver's heart rate and perspiration amount measured by a biosensor and comparison results with thresholds.

(生理指標を示す状態情報) (Status information indicating physiological index)

状態情報算出部30は、生体センサで計測された計測値を、そのまま生理指標を示す状態情報として取得する。 The state information calculation unit 30 acquires the measured value measured by the biosensor as it is as state information indicating the physiological index.

(イベントへの反応を示す状態情報) (state information indicating reaction to event)

状態情報算出部30は、自車両周辺を撮影するカメラで撮影された画像から、自車両外の他車両の挙動の変化をイベントの発生として検出する。他車両の挙動の変化は、例えば、先行車の減速による自車両との車間距離の接近、追い越し車両の自車両前方への車線変更等である。また、状態情報算出部30は、上記の他車両の挙動の変化に伴う自車両の挙動の変化をイベントの発生として検出してもよい。自車両の挙動の変化は、他車両の接近や追い越し等を回避するための、自動運転システムの制御変更による加減速等である。また、状態情報算出部30は、他車両の挙動の変化の有無にかかわらず、イベントへの反応を示す状態情報を取得するために、瞬間的に減速を発生させるなどして、意図的にイベントを発生させてもよい。また、意図的なイベントは、運転者に対して、音、振動、匂い等の刺激を与えることで発生させてもよい。状態情報算出部30は、イベント発生時の運転者の視行動及び操作行動の少なくとも一方を、イベントへの反応を示す状態情報として算出する。イベントへの反応が良好であれば、反応時間が短くなるなどの傾向が表れるため、イベントへの反応を示す状態情報は、運転準備状態の推定に有用である。 The state information calculation unit 30 detects changes in the behavior of other vehicles other than the own vehicle as the occurrence of an event from images captured by a camera that captures the surroundings of the own vehicle. Changes in the behavior of other vehicles include, for example, a preceding vehicle decelerating to reduce the inter-vehicle distance to the own vehicle, an overtaking vehicle changing lanes ahead of the own vehicle, and the like. Further, the state information calculation unit 30 may detect a change in the behavior of the host vehicle that accompanies a change in the behavior of the other vehicle as the occurrence of an event. Changes in the behavior of the own vehicle include acceleration and deceleration due to changes in the control of the automatic driving system in order to avoid approaching or overtaking other vehicles. In addition, the state information calculation unit 30 intentionally decelerates the event in order to obtain state information indicating the reaction to the event, regardless of whether there is a change in the behavior of the other vehicle. may be generated. Also, an intentional event may be generated by giving the driver a stimulus such as sound, vibration, smell, or the like. The state information calculation unit 30 calculates at least one of the driver's visual behavior and operation behavior when the event occurs as state information indicating the reaction to the event. If the reaction to the event is good, the reaction time tends to be shortened. Therefore, the state information indicating the reaction to the event is useful for estimating the driving preparation state.

状態情報算出部30は、取得した状態情報を、状態情報の種類毎、かつ取得時間毎に、例えば図2に示すような状態情報データベース24に記憶する。 The status information calculation unit 30 stores the acquired status information in the status information database 24 shown in FIG. 2, for example, for each type of status information and for each acquisition time.

状態情報データベース24は、反応時間推定部32に接続されており、この反応時間推定部32へ、外部から、運転者の自動から手動への交代可否判定指示が通知されると、反応時間推定部32は、状態情報データベース24にアクセスして、必要な情報(状態情報)を読み出し、反応時間を推定する。 The state information database 24 is connected to the reaction time estimation unit 32. When the reaction time estimation unit 32 is notified from the outside of an instruction to determine whether the driver can switch from automatic to manual, the reaction time estimation unit 32 accesses the state information database 24, reads necessary information (state information), and estimates the reaction time.

ここで、自動運転から手動運転への運転交代に必要な運転者の運転準備状態を左右するパラメータとして、(i)運転者の運転からの乖離度、及び(ii)運転交代時の状況認識度の2つがあると考えられる。 Here, as parameters that influence the driver's driving preparation state necessary for driving change from automatic driving to manual driving, (i) the degree of deviation from driving of the driver, and (ii) the degree of situational awareness at the time of driving change It is thought that there are two

(i)は、運転者が運転からどの程度離れているかを示す指標であり、乖離が大きいほど、運転復帰までに要する時間、すなわち反応時間が長くなると考えられる。この乖離度は、正しい運転姿勢からの乖離、周囲に対する確認の少なさ、運転以外のタスクへの従事等に基づいて推定される(長期的傾向)。 (i) is an index indicating how far the driver is away from driving, and it is considered that the larger the divergence, the longer the time required to return to driving, that is, the longer the reaction time. This degree of divergence is estimated based on the divergence from the correct driving posture, lack of confirmation of surroundings, engagement in tasks other than driving, etc. (long-term trend).

また、(ii)は、自動運転から手動運転への交代が運転者に指示された際に、運転者が周囲の状況をどの程度認識しているかを示す指標である。状況認識ができていない場合には、その後の判断や操作に要する時間、すなわち反応時間が長くなると考えられる。一方、運転交代直前に前方や周辺を確認している場合は、状況認識度が高まっており、反応時間が短くなると考えられる(交代直前の運転者行動)。 In addition, (ii) is an index indicating how much the driver recognizes the surrounding situation when the driver is instructed to switch from automatic driving to manual driving. If the situation cannot be recognized, the time required for subsequent judgments and operations, that is, the reaction time, is considered to be longer. On the other hand, if the driver checks the front and surroundings immediately before the driver change, the degree of situational awareness increases, and the reaction time is considered to be shorter (driver behavior immediately before the driver change).

反応時間推定部32は、推定モデルデータベース26に格納された推定モデルを用いて、運転者の反応時間を推定する。 The reaction time estimator 32 uses the estimation model stored in the estimation model database 26 to estimate the reaction time of the driver.

反応時間推定部32は、各種類の状態情報を、加算、乗算、要素の羅列等によりまとめて統合状態情報とし、推定モデルへ入力する。 The reaction time estimating unit 32 collects each type of state information by adding, multiplying, listing elements, or the like to form integrated state information, and inputs the state information to the estimation model.

推定モデルデータベース26に格納された推定モデルは、統合状態情報の入力に対して、運転者の運転準備状態を示す指標を出力するモデルである。ここでは、運転準備状態を示す指標として、反応時間を出力する場合について説明する。この場合、推定モデルは、ドライビングシミュレータなどで走行実験を行うことにより取得された状態情報から算出される統合状態情報と、それらの状態情報が得られた際に計測された反応時間との対応付けを機械学習することにより生成されている。 The estimation model stored in the estimation model database 26 is a model that outputs an index indicating the driving preparation state of the driver in response to the input of the integrated state information. Here, a case will be described in which the reaction time is output as an index indicating the operational preparation state. In this case, the estimation model is a correspondence between the integrated state information calculated from the state information obtained by conducting driving tests using a driving simulator, etc., and the reaction time measured when the state information was obtained. is generated by machine learning.

図3にドライビングシミュレータの走行実験例を示す。 Fig. 3 shows an example of a running test of the driving simulator.

図3に示される如く、片側三車線の道路50において、自車両52(図3では、「自車」と表記)が中央車線を、先行車両54(図3では、「先行車」と表記)に対して、一定の車間距離を持って自動運転中である。 As shown in FIG. 3, on a road 50 with three lanes in each direction, a subject vehicle 52 (indicated as "own vehicle" in FIG. 3) is in the center lane and a preceding vehicle 54 (indicated as "preceding vehicle" in FIG. 3). In contrast, the vehicle is automatically driving with a certain inter-vehicle distance.

ここで、先行車両54が急停車し、この急停車に対応する自車両52は、ブレーキのみでは、回避できない状態が発生したものとする。すなわち、自動運転から手動運転へ交代を余儀なくされるシーンである。 Here, it is assumed that the preceding vehicle 54 suddenly stops, and the own vehicle 52 corresponding to this sudden stop is in a state that cannot be avoided only by braking. In other words, it is a scene in which the driver is forced to switch from automatic driving to manual driving.

図3は、運転交代を指示するとき、自車両52の左前方に他車両56(図3(A)では、「他LF」と表記)が存在し、かつ、自車両52の左後方に他車両58(図3(A)では、「他LR」と表記)が存在している。 FIG. 3 shows that when a driver change instruction is given, another vehicle 56 (denoted as “other LF” in FIG. A vehicle 58 (denoted as “other LR” in FIG. 3A) is present.

従って、図3では、運転者は右の車線に移動(車線変更)をとるという判断(行動)が必要である。また、走行実験においては、これとは逆に左に移動する必要があるシーンも存在している。 Therefore, in FIG. 3, the driver must make a decision (action) to move to the right lane (lane change). On the other hand, in the driving test, there are also scenes in which it is necessary to move to the left.

すなわち、運転交代のシーンにおいては、交代した運転者が、単純(反射的)にハンドル操作するのではなく、左右車線の他車両56、58等の有無を確認したうえで、安全な車線(他車両が存在しない車線)に移動する必要がある。言い換えれば、運転者は、状況把握が必須となり、運転者の運転準備状態が、反応時間に影響することになる。 That is, in the scene of driving change, the changed driver does not simply (reflexively) operate the steering wheel. must move to a lane where no vehicle is present). In other words, the driver is required to grasp the situation, and the driver's driving readiness affects the reaction time.

そこで、このようなシーンにおいて、運転交代通知が出されるメンテナンスの運転者の状態を計測し、計測値を関数として、推定モデルを用い、反応時間を出力する。 Therefore, in such a scene, the state of the maintenance driver for whom the driving change notification is issued is measured, and the measured value is used as a function to output the reaction time using an estimation model.

すなわち、推定モデルでは、ドライブシミュレータを用いて実験を行い、運転者の状態情報を計測し、計測値(数値)を説明変数、反応時間を目的変数として回帰分析を行い、相関が高くなるような回帰式を求める。 In other words, in the estimation model, experiments are conducted using a driving simulator, the state information of the driver is measured, and regression analysis is performed using the measured values (numerical values) as explanatory variables and the reaction time as the objective variable. Find the regression equation.

(反応時間の補正) (Reaction time correction)

ところで、推定モデルのドライブシミュレーションに基づき取得した反応時間(以下、推定反応時間という)は、特定のシーンを想定したものである。 By the way, the reaction time obtained based on the drive simulation of the estimation model (hereinafter referred to as the estimated reaction time) assumes a specific scene.

この特定のシーンを、そのまま他のシーン(実際のシーン)に適用すると、推定反応時間が実際の反応時間(実反応時間という)と異なることが予測される。 If this particular scene is applied to another scene (actual scene) as it is, it is expected that the estimated reaction time will differ from the actual reaction time (referred to as actual reaction time).

そこで、本実施の形態では、推定反応時間と実反応時間との乖離は、運転者の余裕時間に依存することを見出して、推定反応時間を、運転者の余裕時間に基づいて、補正した後、運転者の交代の可否を判定するようにした。 Therefore, in the present embodiment, it is found that the deviation between the estimated reaction time and the actual reaction time depends on the driver's spare time, and the estimated reaction time is corrected based on the driver's spare time. , it is determined whether or not the driver can be changed.

余裕時間とは、広義で言えば、交代指示から回避限界までの時間であり、以下の3パターンを代表的な例として挙げることができる。 In a broad sense, the spare time is the time from the change instruction to the avoidance limit, and the following three patterns can be given as representative examples.

(余裕時間a) 不快を感じずに回避が可能な限界 (Surplus time a) Limit at which avoidance is possible without feeling discomfort

図4(A)に示される如く、自車両52が片側二車線の道路(主道路64)を走行中、道路の分岐点66で分岐路68(例えば、高速道路のインターチェンジや、立体交差道路の側道等)へ車線変更する場合、運転者や同乗者が不快を感じずに車線変更できる限界(図4(A)の実線La参照)は、例えば、3m/sec(約0.3G)である。自車両52の現在位置から上記限界を確保し得るまでの距離と、自車両52の速度との関係から、余裕時間aを計算することができる。 As shown in FIG. 4(A), while the vehicle 52 is traveling on a two-lane road (main road 64), at a road branch point 66, a branch road 68 (for example, an interchange of an expressway or a grade crossing) When changing lanes to a side road, etc.), the limit (see solid line La in FIG. 4A) at which the driver and fellow passengers can change lanes without feeling uncomfortable is, for example, 3 m/sec 2 (approximately 0.3 G). is. The margin time a can be calculated from the relationship between the distance from the current position of the vehicle 52 until the limit can be secured and the speed of the vehicle 52 .

(余裕時間b) 自車両52(一般的乗用車)が車線変更できる限界 (Margin time b) Limit of lane change by own vehicle 52 (general passenger car)

図4(B)に示される如く、自車両52が片側二車線の道路(主道路64)を走行中、道路の分岐点66で分岐路68(例えば、高速道路のインターチェンジや、立体交差道路の側道等)へ車線変更する場合、何とか車線変更できる限界(図4(B)の実線Lb参照)は、例えば、6m/sec(約0.6G)である。自車両52の現在位置から上記限界を確保し得るまでの距離と、自車両52の速度との関係から、余裕時間bを計算することができる。 As shown in FIG. 4(B), while the vehicle 52 is traveling on a two-lane road (main road 64), at a road branch point 66, a branch road 68 When changing lanes to a side road or the like), the limit (see solid line Lb in FIG. 4B) for changing lanes is, for example, 6 m/sec 2 (approximately 0.6 G). The margin time b can be calculated from the relationship between the distance from the current position of the vehicle 52 until the limit can be secured and the speed of the vehicle 52 .

(余裕時間c) TTC(Time To Collision) (Margin time c) TTC (Time To Collision)

運転交代時の自車両と障害物との距離を、速度で割った値であり、物理的限界値である。 It is a value obtained by dividing the distance between the own vehicle and the obstacle at the time of driving change by the speed, and is a physical limit value.

図2に示される如く、反応時間推定部32は、反応時間補正部34に接続されている。反応時間補正部34には、反応時間推定部32において、推定モデルを用いて推定した反応時間tmが入力される。 As shown in FIG. 2, the reaction time estimator 32 is connected to the reaction time corrector 34 . The reaction time correction unit 34 receives the reaction time tm estimated by the reaction time estimation unit 32 using the estimation model.

このとき、反応時間推定部32において、適用したドライブシミュレーションを構築したときの余裕時間toも併せて、反応時間補正部34に入力される。 At this time, the reaction time estimating unit 32 also inputs to the reaction time correcting unit 34 together with the margin time to when constructing the applied drive simulation.

一方、交代可否判定制御装置10は、実余裕時間算出部36を備えている。この実余裕時間算出部36には、要交代時環境情報取得部38及び余裕時間決定要件選択部40が接続されている。 On the other hand, the shift possibility determination control device 10 includes an actual surplus time calculation unit 36 . The actual surplus time calculation unit 36 is connected to a changeover required environment information acquisition unit 38 and a surplus time determination requirement selection unit 40 .

要交代時環境情報取得部38では、交代通知受付部42から交代指示の通知(要交代時)を受けて、計測値取得部28から現在の環境情報を取得すると共に、余裕時間決定要件選択部40で選択した決定要件(余裕時間a~cの何れか)を読み出し、実余裕時間tsを算出する。 The environment information acquisition unit 38 when change is required receives the notification of the change instruction (at the time of change required) from the change notification reception unit 42, acquires the current environment information from the measurement value acquisition unit 28, and acquires the current environment information from the measurement value acquisition unit 28. The determination requirement (one of the time margins a to c) selected in 40 is read, and the actual time margin ts is calculated.

実余裕時間算出部36は、反応時間補正部34に接続されており、実余裕時間算出部36で算出した実余裕時間tsが反応時間補正部34へ送出される。 The actual marginal time calculation unit 36 is connected to the reaction time correction unit 34 , and the actual marginal time ts calculated by the actual marginal time calculation unit 36 is sent to the reaction time correction unit 34 .

反応時間補正部34では、ドライブシミュレーションでの反応時間tmが、ドライブシミュレーションでの余裕時間toに対する交代時の実余裕時間tsの割合(ts/to)に応じて補正される(反応時間tr=tm×ts/to)。 In the reaction time correction unit 34, the reaction time tm in the drive simulation is corrected according to the ratio (ts/to) of the actual surplus time ts at the time of shift to the surplus time to in the drive simulation (reaction time tr=tm xts/to).

反応時間補正部34は、交代可否判定部44に接続されており、反応時間補正部34で補正された補正後の反応時間tr(実反応時間tr)が、交代可否判定部44へ送出される。 The reaction time correction unit 34 is connected to the replacement possibility determination unit 44 , and the corrected reaction time tr (actual reaction time tr) corrected by the reaction time correction unit 34 is sent to the replacement possibility determination unit 44 . .

交代可否判定部44は、反応時間trに基づいて、運転準備状態推定結果(交代可否)を判定し、判定結果出力部46を介して、自動運転制御装置14へ出力する。自動運転制御装置14では、判定結果が交代可能であることを示している場合、自動運転を終了し、手動運転へ移行するための制御が実行される。また、判定結果が交代不可であることを示している場合、車両を減速又は停止させる措置をとると共に、運転者に対して、運転準備を行うように促す警告等の発出を実行する。 The alternation propriety determination unit 44 determines the driving preparation state estimation result (alternation propriety) based on the reaction time tr, and outputs it to the automatic driving control device 14 via the determination result output unit 46 . In the automatic operation control device 14, when the determination result indicates that the replacement is possible, the automatic operation is terminated and the control for shifting to the manual operation is executed. Further, when the determination result indicates that the change is impossible, the vehicle is decelerated or stopped, and a warning or the like is issued to prompt the driver to prepare for driving.

以下に、本実施の形態の作用を、図5~図7のフローチャートに従い説明する。 The operation of this embodiment will be described below with reference to the flow charts of FIGS. 5 to 7. FIG.

図5は、交代可否判定制御装置10で実行される、交代可否判定制御メインルーチンを示すフローチャートである。このフローチャートは、一定時間毎に繰り返し実行される。 FIG. 5 is a flow chart showing a main routine for the alternation possibility determination control executed by the alternation possibility determination control device 10 . This flowchart is repeatedly executed at fixed time intervals.

図5のステップ100では、自動運転制御装置14から、手動運転への交代の通知があったか否かを判断する。 At step 100 in FIG. 5, it is determined whether or not there has been a notification of switching to manual operation from the automatic operation control device 14 .

このステップ100で否定判定された場合は、ステップ102へ移行して、情報取得処理を実行し、このルーチンは終了する。 If a negative determination is made in step 100, the routine proceeds to step 102, executes information acquisition processing, and ends this routine.

また、ステップ100で肯定判定された場合は、ステップ104へ移行して、交代可否判定制御処理を実行し、このルーチンは終了する。 If the determination in step 100 is affirmative, the routine proceeds to step 104 to execute a change availability determination control process, and this routine ends.

図6は、図5のステップ102における情報取得処理制御サブルーチンの詳細を示すフローチャートである。 FIG. 6 is a flow chart showing the details of the information acquisition process control subroutine in step 102 of FIG.

ステップ110では、センサ群12の各センサから計測値を取得し、ステップ112へ移行する。 At step 110 , a measurement value is obtained from each sensor of the sensor group 12 and the process proceeds to step 112 .

ステップ112では、取得した計測値に基づき、状態情報を算出し、ステップ114へ移行する。なお、状態情報は、センサ計測値そのものであってもよい。 At step 112 , state information is calculated based on the acquired measurement values, and the process proceeds to step 114 . Note that the state information may be the sensor measurement value itself.

ステップ114では、算出した状態情報を状態情報データベースへ格納し、このルーチンは終了する。 At step 114, the calculated state information is stored in the state information database, and this routine ends.

図7は、図5のステップ104における交代可否判定処理制御サブルーチンを示すフローチャートである。 FIG. 7 is a flow chart showing a subroutine of the change possibility determination process control subroutine in step 104 of FIG.

ステップ120では、状態情報データベース24から状態情報を読み出し、次いで、ステップ122へ移行して、推定モデルデータベース26からドライブシミュレーションを読み出して、ステップ124へ移行する。 At step 120 , the state information is read from the state information database 24 , the process proceeds to step 122 to read the drive simulation from the estimated model database 26 , and the process proceeds to step 124 .

ステップ124では、ドライブシミュレーションモデルを用い、余裕時間toに基づき、推定反応時間tmを計算する。 In step 124, an estimated reaction time tm is calculated based on the time to spare to using the drive simulation model.

次のステップ126では、交代指示通知時(すなわち、要交代時)の環境情報を取得し、次いで、ステップ128へ移行して、余裕時間決定要件を選択する。余裕時間決定要件は、余裕時間aとして、不快を感じずに回避が可能な限界。余裕時間bとして、自車両52(一般的乗用車)が車線変更できる限界、及び、余裕時間cとしてTTC(Time To Collision)が考えられ、本実施の形態では、状況に応じて選択可能としたが、何れか1つに固定的に設定してもよい。 In the next step 126, the environmental information at the time when the shift instruction is notified (that is, when the shift is necessary) is acquired, and then the process proceeds to step 128 to select the leeway time determination requirement. The leeway time determination requirement is the limit that can be avoided without feeling uncomfortable as the leeway time a. As the leeway b, the limit at which the own vehicle 52 (general passenger car) can change lanes, and as the leeway c, TTC (Time To Collision) can be considered. , may be set fixedly.

次のステップ130では、実余裕時間tsを算出する。次のステップ132では、ドライブシミュレーションでの反応時間tmを、ドライブシミュレーションでの余裕時間toに対する交代時の実余裕時間tsの割合(ts/to)に応じて補正する(補正反応時間tr=tm×ts/to)。 In the next step 130, the actual surplus time ts is calculated. In the next step 132, the reaction time tm in the drive simulation is corrected according to the ratio (ts/to) of the actual surplus time ts at the time of shift to the surplus time to in the drive simulation (corrected reaction time tr=tm× ts/to).

次のステップ134では、補正反応時間に基づいて、交代の可否を判定し、次いで、ステップ136へ移行して、判定結果を自動運転制御装置14へ通知し、このルーチンは終了する。 In the next step 134, it is determined whether or not the change is possible based on the corrected reaction time, then the process proceeds to step 136, the determination result is notified to the automatic operation control device 14, and this routine ends.

図8は、推定反応時間tmと実際の反応時間trとの関係を示す特性図である。図8の点線で示す直線(正比例特性曲線:tr=a・tm)において、誤差0のとき、傾きaが1である(tm=tr)。 FIG. 8 is a characteristic diagram showing the relationship between the estimated reaction time tm and the actual reaction time tr. In the straight line indicated by the dotted line in FIG. 8 (direct proportional characteristic curve: tr=a·tm), the slope a is 1 when the error is 0 (tm=tr).

一方、例えば、ドライブシミュレーション設定時の余裕時間toに対して、実際に遭遇する運転交代シーンの実余裕時間tsが長い(図8における「余裕があるシーンの集合」に属する)と、同等の運転準備状態であっても、シミュレーション時に比べて反応時間が長くなることになる。すなわち、余裕時間toと余裕時間tsとの差分(乖離の程度)に応じて、余裕があるシーンにおいては、判定に誤差が生じることになる。 On the other hand, for example, when the actual margin time ts of the driving change scene actually encountered is longer than the margin time to when setting the drive simulation (belongs to the "set of scenes with margin" in FIG. 8), the equivalent driving Even in the ready state, the reaction time will be longer than in the simulation. In other words, an error occurs in the determination in a scene where there is a margin according to the difference (degree of divergence) between the margin time to and the margin time ts.

これに対して本実施の形態では、推定モデルで用いるドライブシミュレーションのシーンに対して推定した反応時間tmについて、当該ドライブシミュレーションで用いた運転者の余裕時間toと、運転交代の通知を受けたときの実際の運転者の余裕時間tsとの乖離による誤差を、当該乖離の割合(ts/to)に応じて(傾きaに相当)、反応時間を補正するようにした(補正反応時間tr=tm×ts/to)。この補正反応時間trに基づき、運転交代可否の判定を行うようにしたため、誤差を抑制することができる。 On the other hand, in the present embodiment, the reaction time tm estimated for the scene of the drive simulation used in the estimation model is the margin time to of the driver used in the drive simulation and The reaction time is corrected according to the deviation ratio (ts/to) (corresponding to the slope a) (corrected reaction time tr = tm xts/to). Since it is determined whether or not to change the driving based on this corrected reaction time tr, errors can be suppressed.

なお、推定モデルで用いるドライブシミュレーションのシーンにおける余裕時間toは、厳しめ(例えば、設定可能範囲の最短時間、設定可能範囲の平均値よりも短い時間等)に設定することで、補正によって、余裕がないシーンを余裕があるシーンに補正という一方向の補正の確率を高くでき、安全に交代可能な判定結果を増やすことができる。なお、余裕があるシーンを余裕がないシーンに補正することを否定するものではない。 In addition, the margin time to in the driving simulation scene used in the estimation model is set to a strict value (for example, the shortest time in the settable range, the time shorter than the average value in the settable range, etc.). It is possible to increase the probability of unidirectional correction of correcting a scene with no scene to a scene with a margin, and increase the number of judgment results that allow safe replacement. It should be noted that this does not deny correcting a scene with a margin to a scene with no margin.

なお、本実施の形態では、状態情報として、視行動、操作行動、運転姿勢、覚醒度、生理指標、及びイベント発生時の反応を示す状態情報の全てを用いる場合について説明したが、これに限定されない。これらの状態情報のうち、少なくとも1つを用いてもよい。また、状態情報の種類は、これらの例に限定されるものではなく、自動運転中の運転者の状態及び行動の少なくとも一方を示す情報であればよい。 Note that in the present embodiment, a case has been described in which visual behavior, manipulation behavior, driving posture, arousal level, physiological index, and state information indicating a reaction at the time of event occurrence are all used as state information, but the present invention is limited to this. not. At least one of these state information may be used. Also, the types of state information are not limited to these examples, and may be any information indicating at least one of the driver's state and behavior during automatic driving.

また、本発明のプログラムを記憶媒体に格納して提供してもよい。 Also, the program of the present invention may be stored in a storage medium and provided.

10 交代可否判定制御装置
12 センサ群
14 自動運転制御装置
16 マイクロコンピュータ
16A CPU
16B RAM
16C ROM
16D I/O
16E バス
18 通信I/F
20 I/F
22 大規模記憶装置
24 状態情報データベース
26 推定モデルデータベース(格納部)
28 計測値取得部
30 状態情報算出部
32 反応時間推定部(推定部)
34 反応時間補正部(補正部)
36 実余裕時間算出部
38 要交代時環境情報取得部
40 余裕時間決定要件選択部
42 交代通知受付部
44 交代可否判定部(判定部)
46 判定結果出力部
50 道路
52 自車両
54 先行車両
56 他車両
58 他車両
60 他車両
62 他車両
64 主道路
66 分岐点
68 分岐路
REFERENCE SIGNS LIST 10 replacement availability determination control device 12 sensor group 14 automatic operation control device 16 microcomputer 16A CPU
16B RAM
16C ROM
16D I/O
16E Bus 18 Communication I/F
20 interfaces
22 large-scale storage device 24 state information database 26 estimation model database (storage unit)
28 Measured value acquisition unit 30 State information calculation unit 32 Reaction time estimation unit (estimation unit)
34 Reaction time correction unit (correction unit)
36 Actual surplus time calculation unit 38 Replacement required environment information acquisition unit 40 Sufficient time determination requirement selection unit 42 Replacement notification reception unit 44 Replacement availability determination unit (determination unit)
46 determination result output unit 50 road 52 host vehicle 54 preceding vehicle 56 other vehicle 58 other vehicle 60 other vehicle 62 other vehicle 64 main road 66 branch point 68 branch road

Claims (4)

自動運転から手動運転への運転交代を要する推定シーンにおいて、運転者の状態に依存する推定反応時間を得るための推定モデルを格納する格納部と、
前記運転交代を要する実シーンが発生したとき、前記実シーンに類似する推定モデルによる演算処理によって、前記実シーンの前記運転者の状態に依存する推定反応時間を推定する推定部と、
前記推定シーンの下で設定した運転交代限界までの推定余裕時間と、前記実シーンにおける運転交代限界までの実余裕時間との比較結果に基づいて、前記推定部で推定した前記推定反応時間を補正して実反応時間を導出する補正部と、
前記補正部によって補正した後の前記実シーンの実反応時間を基準に、運転交代の可否を判定する判定部と、
を有する運転準備状態推定装置。
a storage unit that stores an estimation model for obtaining an estimated reaction time that depends on the state of the driver in an estimated scene that requires driving change from automatic driving to manual driving;
an estimation unit for estimating an estimated reaction time dependent on the state of the driver in the real scene, when the real scene requiring the driver change occurs, by arithmetic processing using an estimation model similar to the real scene;
Correction of the estimated reaction time estimated by the estimator based on the result of comparison between the estimated surplus time up to the driving change limit set under the estimated scene and the actual surplus time up to the driving change limit in the actual scene. a correction unit that derives the actual reaction time by
a determining unit that determines whether or not to allow driving change based on the actual reaction time of the actual scene corrected by the correcting unit;
A driving preparation state estimating device having a
前記補正部で補正した実反応時間trは、前記推定部で推定した推定反応時間をtm、前記推定余裕時間をto、前記実余裕時間をts、とした場合、tr=tm×ts/toの計算式を用いた計算によって取得する、請求項1記載の運転準備状態推定装置。 The actual reaction time tr corrected by the correction unit is tr=tm×ts/to, where tm is the estimated reaction time estimated by the estimation unit, to is the estimated margin time, and ts is the actual margin time. The driving preparation state estimation device according to claim 1, obtained by calculation using a formula. 前記実余裕時間が、
自動運転の下で予め定めた加減速度以下で運転交代の要因を回避可能な時間、自動運転の下で予め定めた速度で物理的に運転交代の要因を回避可能な時間、及び自動運転の下で予め定めた速度で運転回避要因発生地点までの到達時間から1つ選択される、請求項1又は請求項2記載の運転準備状態推定装置。
the actual spare time,
Time during which driving change factors can be avoided under a predetermined acceleration/deceleration under automated driving, time during which driving change factors can be physically avoided at a predetermined speed under automated driving, and under automated driving 3. The driving preparation state estimating device according to claim 1, wherein one is selected from the arrival time to the driving avoidance factor occurrence point at a predetermined speed.
コンピュータを、
請求項1~請求項3の何れか1項記載の運転準備状態推定装置の各部として機能させる運転準備状態推定プログラム。
the computer,
A driving readiness estimation program that functions as each part of the driving readiness estimation device according to any one of claims 1 to 3.
JP2021103243A 2021-06-22 2021-06-22 Drive preparation state estimation device and drive preparation state estimation program Pending JP2023002180A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021103243A JP2023002180A (en) 2021-06-22 2021-06-22 Drive preparation state estimation device and drive preparation state estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021103243A JP2023002180A (en) 2021-06-22 2021-06-22 Drive preparation state estimation device and drive preparation state estimation program

Publications (1)

Publication Number Publication Date
JP2023002180A true JP2023002180A (en) 2023-01-10

Family

ID=84797590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021103243A Pending JP2023002180A (en) 2021-06-22 2021-06-22 Drive preparation state estimation device and drive preparation state estimation program

Country Status (1)

Country Link
JP (1) JP2023002180A (en)

Similar Documents

Publication Publication Date Title
JP6522621B2 (en) Method and apparatus for driver assistance system optimization
US9650058B2 (en) Autonomous driving system for a vehicle and method for carrying out the operation
EP2885151B1 (en) Method for determining the operational state of a driver
US9101313B2 (en) System and method for improving a performance estimation of an operator of a vehicle
CN109591811B (en) Vehicle braking method, device and storage medium
WO2013008301A1 (en) Vehicle emergency withdrawal device
US20090322506A1 (en) Method and apparatus for driver state detection
CN106043299A (en) Vehicle control apparatus
JP2013539572A (en) Method for managing driver interface tasks and vehicle
KR102088428B1 (en) Automobile, server, method and system for estimating driving state
JP2021155032A (en) Automatically estimating skill levels and confidence levels of drivers
JP2013054734A (en) Method, system and computer readable medium embodying computer program product for determining vehicle operator's expectation of state of object
US20190263419A1 (en) Autonomous vehicle control by comparative transition prediction
JP2023002180A (en) Drive preparation state estimation device and drive preparation state estimation program
KR20160038158A (en) Detecting system and Method of dangerous driving for driver tendency
JP2018045451A (en) Vehicle control apparatus
CN115605925A (en) Method for determining the value of a variable of a controller
JP2018094294A (en) State estimation system
JP2021126173A (en) Drunkenness forecasting system, vehicle including drunkenness forecasting system, and control method and program of drunkenness forecasting system
JP5671107B2 (en) vehicle
JP7426277B2 (en) Preparation behavior determination device, driving support system, and program
JP2022113516A (en) Driving preparation state estimation device and program
JP6987167B2 (en) Lane change judgment device
JP2023072270A (en) Driver state determination method and device
CN116129407A (en) Method, system and computer program product for dynamically monitoring a driver