JP2018151684A - Device and method for controlling switching between driving modes and program - Google Patents
Device and method for controlling switching between driving modes and program Download PDFInfo
- Publication number
- JP2018151684A JP2018151684A JP2017045222A JP2017045222A JP2018151684A JP 2018151684 A JP2018151684 A JP 2018151684A JP 2017045222 A JP2017045222 A JP 2017045222A JP 2017045222 A JP2017045222 A JP 2017045222A JP 2018151684 A JP2018151684 A JP 2018151684A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- operation mode
- driving
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
この発明は、車両の運転モードを手動運転モードと自動運転モードとの間で切り替えるための運転モード切替制御装置、方法およびプログラムに関する。 The present invention relates to an operation mode switching control device, method, and program for switching a vehicle operation mode between a manual operation mode and an automatic operation mode.
近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである。 In recent years, as a driving mode of a vehicle, in addition to a manual driving mode in which the vehicle is driven based on a driving operation of the driver, an automatic driving mode in which the vehicle is driven along a predetermined route without depending on the driving operation of the driver. Development is underway. The automatic driving mode includes, for example, navigation system information using GPS (Global Positioning System), traffic information acquired by road-to-vehicle communication, and information on a surrounding monitoring system that monitors the position and movement of surrounding people and vehicles. Originally, the vehicle can be automatically driven by controlling a power unit, a steering device, a brake, and the like.
ところで、自動運転モードは運転者の運転操作の負担軽減や交通渋滞の緩和等の効果が期待できるものの、走行開始から走行終了までのすべての運転操作を自動化することは現実的に困難である。このため、自動運転モードから手動運転モードへの切り替えを適切に行うことが求められている。自動運転モードを手動運転モードに切り替える場合のトリガとしては、例えば、自動運転中の運転者による運転操作（以下、オーバーライド操作という）がある（例えば特許文献１を参照）。オーバーライド操作が検出された場合には、切り替えに先立ち、運転者の状態を検出して手動運転操作可能な状態にあることを判定する必要がある。 By the way, although the automatic driving mode can be expected to reduce the burden on the driving operation of the driver and alleviate the traffic congestion, it is practically difficult to automate all the driving operations from the start of travel to the end of travel. For this reason, it is required to appropriately switch from the automatic operation mode to the manual operation mode. As a trigger for switching the automatic operation mode to the manual operation mode, for example, there is a driving operation (hereinafter referred to as an override operation) by a driver during automatic driving (see, for example, Patent Document 1). When an override operation is detected, it is necessary to detect the state of the driver and determine that it is in a state where a manual driving operation is possible prior to switching.
ところが、以上のようなオーバーライド操作は、通常では運転者が意識的に行う緊急の操作である。ここで、緊急の操作の場合には、迅速な切り替えを運転者が望むのにも関わらず、切り替えに先立って運転者の状態を検出及び判定することになる。このため、緊急の操作から手動運転モードへ切り替えるまでの時間が長くなり、運転者による運転操作が遅れる心配がある。また、手動運転モードに切り替わるまでの間に運転者に不安感を与えることになり、非常に好ましくない。 However, the override operation as described above is usually an emergency operation that is consciously performed by the driver. Here, in the case of an emergency operation, the driver's state is detected and determined prior to the switching even though the driver desires a quick switching. For this reason, it takes a long time to switch from the emergency operation to the manual operation mode, and there is a concern that the driving operation by the driver is delayed. In addition, the driver feels uneasy before switching to the manual operation mode, which is very undesirable.
この発明は上記事情に着目してなされたもので、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮できるようにした運転モード切替制御装置、方法およびプログラムを提供しようとするものである。 The present invention has been made paying attention to the above circumstances, and it is an object of the present invention to provide an operation mode switching control device, method and program capable of shortening the time from the override operation to the manual operation mode.
上記課題を解決するためにこの発明の第１の態様は、車両の運転モードを自動運転モードから手動運転モードへ切り替えるための運転モード切替制御装置であって、運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得部と、前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を保持する判定部と、前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出部と、前記操作検出部によりオーバーライド操作が検出されると、前記判定部に保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力部とを具備する。 In order to solve the above-mentioned problem, a first aspect of the present invention is an operation mode switching control device for switching a vehicle operation mode from an automatic operation mode to a manual operation mode for monitoring a driver's state. An acquisition unit that acquires sensing data representing the driver's state from a monitoring sensor, and whether or not the driver's state is in a state where a driving operation in the manual driving mode can be performed based on the acquired sensing data Is detected at an arbitrary time interval, and the override operation by the driver is detected based on a determination unit that holds the determination result and a detection signal output from an in-vehicle sensor that can detect the driving operation by the driver. When an override operation is detected by the operation detection unit and the operation detection unit, among the determination results held in the determination unit, the auto A switching signal for switching the automatic operation mode to the manual operation mode when the state of the driver is in a state where the operation operation by the manual operation mode can be performed based on the determination result corresponding immediately before the ride operation is detected. And a switching signal output unit for outputting.
この発明の第２の態様は、前記判定部が集中度検出部及び集中度判定部を備え、前記集中度検出部により、前記取得されたセンシングデータに基づいて、前記運転者の運転に対する集中度を周期的に検出し、前記集中判定部により、前記検出部により検出された最新の集中度に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを前記時間間隔ごとに判定するようにしたものである。 According to a second aspect of the present invention, the determination unit includes a concentration level detection unit and a concentration level determination unit, and the concentration level detection unit determines the concentration level of the driver with respect to driving based on the acquired sensing data. Whether or not the state of the driver is in a state where the driver can perform the driving operation in the manual driving mode based on the latest concentration degree detected by the detecting unit. The determination is made at every time interval.
この発明の第３の態様は、前記集中度判定部により、前記集中度検出部により検出された最新の集中度を含む過去の複数の集中度に基づいて、前記判定を実行するようにしたものである。 In a third aspect of the present invention, the concentration determination unit executes the determination based on a plurality of past concentrations including the latest concentration detected by the concentration detection unit. It is.
この発明の第４の態様は、前記集中度判定部により、過去から現在に向かって前記複数の集中度が変動する傾向に基づいて、前記判定を実行するようにしたものである。 According to a fourth aspect of the present invention, the determination is executed by the concentration determination unit based on a tendency that the plurality of concentrations vary from the past to the present.
この発明の第５の態様は、前記判定部が推定部及び状態判定部を備え、前記推定部により、前記取得されたセンシングデータに基づいて、前記運転者の状態を推定し、前記状態判定部により、前記推定部により推定された状態に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを前記時間間隔ごとに判定するようにしたものである。 According to a fifth aspect of the present invention, the determination unit includes an estimation unit and a state determination unit, the estimation unit estimates the driver's state based on the acquired sensing data, and the state determination unit. Thus, based on the state estimated by the estimation unit, it is determined at each time interval whether or not the driver is in a state where the driving operation can be performed in the manual driving mode.
この発明の第６の態様は、前記状態判定部により、過去から現在に向かって前記推定した状態が変動する傾向に基づいて、前記判定を実行するようにしたものである。 According to a sixth aspect of the present invention, the state determination unit executes the determination based on a tendency that the estimated state varies from the past to the present.
この発明の第７の態様は、前記判定部が調整部をさらに備え、前記調整部により、前記傾向に基づいて、前記時間間隔を調整するようにしたものである。 In a seventh aspect of the present invention, the determination unit further includes an adjustment unit, and the adjustment unit adjusts the time interval based on the tendency.
この発明の第１の態様によれば、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかが任意の時間間隔で判定され、前記操作検出部によりオーバーライド操作が検出されると、前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号が出力される。このため、オーバーライド操作の後に、運転者の状態を検出及び判定する時間が不要となるので、オーバーライド操作から手動運転モードへの切替信号を出力するまでの時間を短縮することができる。 According to the first aspect of the present invention, it is determined at any time interval whether or not the driver is in a state where the driving operation in the manual operation mode can be performed, and an override operation is detected by the operation detection unit. And the automatic driving mode is changed to the manual driving mode when the driver is in a state where the driving operation can be performed in the manual driving mode based on a determination result corresponding immediately before the override operation is detected. A switching signal for switching is output. For this reason, since it is not necessary to detect and determine the state of the driver after the override operation, the time until the switching signal from the override operation to the manual operation mode is output can be shortened.
この発明の第２の態様によれば、前記運転者の運転に対する集中度が周期的に検出され、検出された最新の集中度に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかが前記時間間隔ごとに判定される。このため、切り替えに先立ち、運転者の最新の集中度が高いか否かに応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。 According to the second aspect of the present invention, the degree of concentration of the driver with respect to driving is periodically detected, and based on the detected latest degree of concentration, the driver's state is a driving operation in the manual driving mode. It is determined at each time interval whether or not it is in a state where it can be performed. For this reason, prior to switching, it is possible to check the determination result indicating whether or not the driver is in a state where the driver can perform the driving operation depending on whether or not the latest concentration of the driver is high.
この発明の第３の態様によれば、検出された最新の集中度を含む過去の複数の集中度に基づいて、前記判定が実行される。このため、切り替えに先立ち、運転者の直近の過去における複数の集中度に応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。 According to the third aspect of the present invention, the determination is performed based on a plurality of past concentrations including the detected latest concentration. For this reason, prior to the switching, it is possible to check a determination result indicating whether or not the driver is in a state where the driver can perform the driving operation according to a plurality of degrees of concentration in the past past of the driver.
この発明の第４の態様によれば、過去から現在に向かって前記複数の集中度が変動する傾向に基づいて、前記判定が実行される。このため、切り替えに先立ち、運転者の前記複数の集中度が過去から現在に向かって上昇、略安定、又は下降する傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、運転者の集中度が上昇する傾向又は略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の集中度が下降する傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。 According to the fourth aspect of the present invention, the determination is performed based on a tendency that the plurality of concentration levels fluctuate from the past to the present. Therefore, prior to switching, whether or not the driver is in a state where the driver can perform the driving operation based on a tendency that the plurality of degrees of concentration of the driver increase, substantially stabilize, or decrease from the past to the present. It is possible to confirm the determination result shown. For example, when the driver's concentration degree tends to increase or is almost stable, a determination result indicating that the driving operation can be performed can be confirmed. When the driver's concentration tends to decrease, a determination result indicating that the driver cannot perform the driving operation can be confirmed.
この発明の第５の態様によれば、前記運転者の状態が推定され、推定された運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかが前記時間間隔ごとに判定される。このため、切り替えに先立ち、推定された状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。 According to the fifth aspect of the present invention, the state of the driver is estimated, and it is determined at each time interval whether or not the estimated state of the driver is in a state where the driving operation in the manual driving mode can be performed. . For this reason, prior to switching, it is possible to confirm a determination result indicating whether or not the estimated state is in a state where a driving operation can be performed.
この発明の第６の態様によれば、過去から現在に向かって前記推定した状態が変動する傾向に基づいて、前記判定が実行される。このため、切り替えに先立ち、運転者の状態が過去から現在に向かって、何らかの状態から運転に適した状態に変わる傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、運転者の状態が運転に適した状態に近づく傾向又は運転に適した状態で略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の状態が運転に適さない状態に近づく傾向又は運転に適さない状態で略安定した傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。 According to the sixth aspect of the present invention, the determination is performed based on a tendency that the estimated state varies from the past to the present. For this reason, prior to switching, the driver's state indicates whether or not the driver's state is ready for driving based on the tendency of the driver's state to change from a certain state to a state suitable for driving from the past to the present. The determination result can be confirmed. For example, when the driver's state tends to approach a state suitable for driving or is generally stable in a state suitable for driving, the determination result indicating that the driver can perform a driving operation can be confirmed. When the driver's state tends to approach a state unsuitable for driving or tends to be substantially stable in a state unsuitable for driving, it is possible to confirm the determination result that the driver is not in a state capable of performing a driving operation.
この発明の第８の態様によれば、運転者の集中度又は状態が変動する前記傾向に基づいて、判定部による判定の前記時間間隔が調整される。このため、例えば、手動運転モードによる運転操作を行える状態にある旨の判定結果が得られるように変動する傾向にある場合には、判定の時間間隔が長くなるように調整される。一方、例えば、手動運転モードによる運転操作を行える状態にない旨の判定結果が得られるように変動する傾向にある場合には、判定の時間間隔が短くなるように調整される。 According to the eighth aspect of the present invention, the time interval of the determination by the determination unit is adjusted based on the tendency that the driver's concentration or state varies. For this reason, for example, when there is a tendency to change so as to obtain a determination result indicating that the driving operation in the manual operation mode can be performed, the determination time interval is adjusted to be longer. On the other hand, for example, when there is a tendency to fluctuate so that a determination result indicating that the driving operation in the manual operation mode cannot be performed is obtained, the determination time interval is adjusted to be short.
すなわちこの発明によれば、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮できるようにした運転モード切替制御装置、方法およびプログラムを提供することができる。 That is, according to the present invention, it is possible to provide an operation mode switching control device, method, and program capable of shortening the time from the override operation to the manual operation mode.
以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１は、この発明の第１の実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図で、この自動運転制御システムは乗用車等の車両１に搭載される。
Embodiments according to the present invention will be described below with reference to the drawings.
[First Embodiment]
(Constitution)
FIG. 1 is a diagram showing an overall configuration of an automatic operation control system including an operation mode switching control device according to a first embodiment of the present invention. The automatic operation control system is mounted on a vehicle 1 such as a passenger car.
車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール４が装備された操舵装置３とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。 The vehicle 1 includes, as basic equipment, a power unit 2 including a power source and a transmission, and a steering device 3 equipped with a steering wheel 4, and further includes a manual operation mode and an automatic operation mode as operation modes. . An engine and / or a motor is used as the power source.
手動運転モードは、例えば、運転者（以下ドライバとも称する）の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。 The manual driving mode is a mode in which the vehicle 1 is driven mainly by a driving operation manually performed by a driver (hereinafter also referred to as a driver). The manual operation mode includes, for example, an operation mode for driving the vehicle based only on the driver's driving operation, and an operation mode for performing driving operation support control for supporting the driving operation of the driver while mainly driving the driver's driving operation. Is included.
運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール４の操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。 In the driving operation support control, for example, the steering torque is assisted so that the driver's steering becomes an appropriate steering amount based on the curvature of the curve when the vehicle 1 is traveling on the curve. The driving operation support control includes control for assisting a driver's accelerator operation (for example, operation of an accelerator pedal) or brake operation (for example, operation of a brake pedal), manual steering (manual operation of steering), and manual speed adjustment (speed). Adjustment manual operation) is also included. In manual steering, the vehicle 1 is steered mainly by the driver's operation of the steering wheel 4. In manual speed adjustment, the speed of the vehicle is adjusted mainly by the driver's accelerator operation or brake operation.
なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。 Note that the driving operation support control does not include control for forcibly intervening in the driving operation of the driver to automatically drive the vehicle. In other words, in the manual driving mode, the driving operation of the driver is reflected in the driving of the vehicle within a preset allowable range, but forcibly intervenes in the driving of the vehicle under certain conditions (for example, deviation from the lane of the vehicle). Control to do is not included.
一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。 On the other hand, the automatic driving mode is a mode that realizes a driving state in which the vehicle automatically travels along the road on which the vehicle travels, for example. The automatic driving mode includes, for example, a driving state in which the vehicle automatically travels toward a preset destination without driving by the driver. In the automatic driving mode, it is not always necessary to automatically control all of the vehicle, and the driving state in which the driving operation of the driver is reflected in the driving of the vehicle within the preset allowable range is also included in the automatic driving mode. That is, the automatic driving mode includes control for forcibly intervening in driving of the vehicle under certain conditions, while reflecting the driving operation of the driver in driving of the vehicle within a preset allowable range.
図１において、５は上記自動運転モードによる運転制御を実行するための自動運転制御装置を示している。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシングデータを取得する。そして、これらのセンシングデータと、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムにより得られる情報をもとに、車両１の走行を自動制御する。 In FIG. 1, reference numeral 5 denotes an automatic operation control device for executing operation control in the automatic operation mode. The automatic driving control device 5 acquires sensing data from the steering sensor 11, the accelerator pedal sensor 12, the brake pedal sensor 13, the GPS receiver 14, the gyro sensor 15, and the vehicle speed sensor 16, respectively. These sensing data, route information generated by a navigation system (not shown), traffic information acquired by road-to-vehicle communication, information obtained by a peripheral monitoring system that monitors the position and movement of surrounding people and vehicles Based on this, the traveling of the vehicle 1 is automatically controlled.
自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。 Automatic control includes, for example, automatic steering (automatic steering operation) and automatic speed adjustment (automatic driving of speed). Automatic steering is an operating state in which the steering device 3 is automatically controlled. Automatic steering includes LKA (Lane Keeping Assist). For example, the LKA automatically controls the steering device 3 so that the vehicle 1 does not deviate from the traveling lane even when the driver does not perform the steering operation. Even when LKA is being executed, the driver's steering operation may be reflected in the steering of the vehicle in a range where the vehicle 1 does not deviate from the travel lane (allowable range). Note that automatic steering is not limited to LKA.
自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。 Automatic speed adjustment is an operating state in which the speed of the vehicle 1 is automatically controlled. Automatic speed adjustment includes ACC (Adaptive Cruise Control). For example, when there is no preceding vehicle ahead of the vehicle 1, ACC performs constant speed control that causes the vehicle 1 to travel at a constant speed at a preset speed, and when the preceding vehicle exists ahead of the vehicle 1. Is a follow-up control that adjusts the vehicle speed of the vehicle 1 in accordance with the inter-vehicle distance from the preceding vehicle. The automatic operation control device 5 decelerates the vehicle 1 according to the driver's brake operation (for example, operation of the brake pedal) even when ACC is being executed. In addition, the automatic operation control device 5 can perform the driver's accelerator operation (for example, accelerator) up to a preset maximum allowable speed (for example, the maximum speed legally determined on the traveling road) even during execution of ACC. The vehicle can be accelerated according to the pedal operation. The automatic speed adjustment is not limited to ACC but also includes CC (Cruise Control).
ところで、本実施形態の自動運転制御システムは、上記手動運転モードと自動運転モードとの間の切り替えを行うための装置として、運転モード切替制御装置６と、第１の監視センサとしてのドライバカメラ７と、第２の監視センサとしてのトルクセンサ８と、アラーム発生器９とを備えている。 By the way, the automatic operation control system of this embodiment is an operation mode switching control device 6 and a driver camera 7 as a first monitoring sensor as devices for switching between the manual operation mode and the automatic operation mode. And a torque sensor 8 as a second monitoring sensor and an alarm generator 9.
ドライバカメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、運転者を撮像してその映像信号を運転モード切替制御装置６へ出力する。トルクセンサ８は、運転者がステアリングホイール４を操作したときに発生するトルクを検出するもので、その検出信号を運転モード切替制御装置６へ出力する。アラーム発生器９は、スピーカと表示器を有し、運転モード切替制御装置６から出力されたメッセージの音声信号を上記スピーカから出力すると共に、上記メッセージの表示信号を表示器に表示する。 The driver camera 7 is installed at a position on the dashboard, for example, on the front of the driver, images the driver, and outputs a video signal to the driving mode switching control device 6. The torque sensor 8 detects torque generated when the driver operates the steering wheel 4, and outputs a detection signal to the operation mode switching control device 6. The alarm generator 9 includes a speaker and a display. The alarm generator 9 outputs the voice signal of the message output from the operation mode switching control device 6 from the speaker and displays the display signal of the message on the display.
運転モード切替制御装置６は、上記運転モードの切り替えを統括的に制御するもので、以下のように構成される。
図２はその機能構成を示すブロック図である。
The operation mode switching control device 6 controls the switching of the operation modes as a whole, and is configured as follows.
FIG. 2 is a block diagram showing the functional configuration.
すなわち、運転モード切替制御装置６は、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。 That is, the operation mode switching control device 6 includes a control unit 61, an input / output interface unit 62, and a storage unit 63.
入出力インタフェースユニット６２は、上記ドライバカメラ７およびトルクセンサ８からそれぞれ出力された映像信号およびトルク検出信号を受信してディジタルデータに変換する。同様に、入出力インタフェースユニット６２は、上記ステアリングセンサ１１、アクセルペダルセンサ１２およびブレーキペダルセンサ１３からそれぞれ出力されたセンシングデータとしての検出信号を受信してディジタルデータに変換する。またそれと共に、制御ユニット６１から出力されたメッセージを音声信号および表示信号に変換してアラーム発生器９へ出力する。さらに制御ユニット６１から出力された切替信号を自動運転制御装置５へ出力する。 The input / output interface unit 62 receives the video signal and the torque detection signal output from the driver camera 7 and the torque sensor 8, respectively, and converts them into digital data. Similarly, the input / output interface unit 62 receives detection signals as sensing data output from the steering sensor 11, the accelerator pedal sensor 12, and the brake pedal sensor 13, and converts them into digital data. At the same time, the message output from the control unit 61 is converted into an audio signal and a display signal and output to the alarm generator 9. Further, the switching signal output from the control unit 61 is output to the automatic operation control device 5.
記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したもので、本実施形態を実施するために使用する記憶領域として、ドライバ監視映像記憶部６３１と、判定結果記憶部６３２とを備えている。 The storage unit 63 uses a non-volatile memory that can be written and read at any time, such as an SSD (Solid State Drive) or HDD (Hard Disk Drive), as a storage medium, and is used to implement this embodiment. As storage areas, a driver monitoring video storage unit 631 and a determination result storage unit 632 are provided.
制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有し、本実施形態を実施するために必要な制御機能として、ドライバ監視映像取得部６１１と、判定部６１２と、操作検出部６１３と、切替信号出力部６１４とを備えている。なお、これらの制御機能はいずれも上記プログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。 The control unit 61 includes a central processing unit (CPU) and a program memory that constitute a computer. As control functions necessary for carrying out the present embodiment, a driver monitoring video acquisition unit 611, a determination unit 612, an operation A detection unit 613 and a switching signal output unit 614 are provided. Each of these control functions is realized by causing the CPU to execute a program stored in the program memory.
ドライバ監視映像取得部６１１は、上記ドライバカメラ７から出力されたドライバの映像信号のディジタルデータ（ドライバ監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだドライバ監視映像データを上記記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させる。 The driver monitoring video acquisition unit 611 receives digital data (driver monitoring video data) of the driver video signal output from the driver camera 7 from the input / output interface unit 62, and stores the acquired driver monitoring video data in the storage unit 63. Are stored in the driver monitoring video storage unit 631.
判定部６１２は、上記ドライバ監視映像記憶部６３１から予め設定された時間間隔でドライバ監視映像データを読み込む。そして、ドライバ監視映像データを読み込む毎に、当該ドライバ監視映像データに基づいて運転者が手動で運転操作を行える状態にあるか否かを判定する処理を行う。例えば、運転者が眼を閉じていないかどうかを確認して、睡眠状態にないかどうかを判定する。そして、判定部６１２は、その判定結果を表す情報を判定タイミングを表すタイムスタンプと関連付けて判定結果記憶部６３２に保持する。 The determination unit 612 reads driver monitoring video data from the driver monitoring video storage unit 631 at a preset time interval. Each time the driver monitoring video data is read, a process is performed to determine whether or not the driver can manually perform a driving operation based on the driver monitoring video data. For example, it is determined whether or not the driver is not sleeping by checking whether or not the driver has closed his / her eyes. Then, the determination unit 612 stores information indicating the determination result in the determination result storage unit 632 in association with a time stamp indicating the determination timing.
ここで、判定部６１２は、以下の各処理を実行してもよい。 Here, the determination unit 612 may execute the following processes.
(A1) ドライバカメラ７から（入出力インタフェースユニット６２及びドライバ監視映像記憶部６３１を介して）取得されたセンシングデータに基づいて、運転者の運転に対する集中度を周期的に検出する集中度検出処理。この場合、検出した集中度を、検出タイミングを表すタイムスタンプと関連付けて判定結果記憶部６３２に保持することが、複数の集中度に基づく判定を可能とする観点から好ましい。また、判定部６１２は、入出力インタフェースユニット６２及びドライバ監視映像記憶部６３１を介さずに、ドライバカメラ７からセンシングデータを取得してもよい。これは、以下の各実施形態でも同様である。 (A1) Concentration detection processing for periodically detecting the driver's concentration on driving based on sensing data acquired from the driver camera 7 (via the input / output interface unit 62 and the driver monitoring video storage unit 631). . In this case, it is preferable to hold the detected concentration level in the determination result storage unit 632 in association with a time stamp indicating the detection timing from the viewpoint of enabling determination based on a plurality of concentration levels. Further, the determination unit 612 may acquire sensing data from the driver camera 7 without using the input / output interface unit 62 and the driver monitoring video storage unit 631. The same applies to the following embodiments.
(A2) 上記(A1)の集中度検出処理により検出された最新の集中度に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する集中度判定処理。なお、集中度判定処理の時間間隔と、集中度検出処理の検出周期とは、同一でもよく、異なってもよい。また、集中度判定処理の時間間隔は、複数の集中度に基づく判定を可能とする観点から、集中度検出処理の検出周期以上の長さであることが好ましい。 (A2) Concentration that determines at each time interval whether or not the driver is in a state where the driver can perform the driving operation in the manual operation mode based on the latest concentration detected by the concentration detection process of (A1) above. Degree determination process. Note that the time interval of the concentration level determination process and the detection cycle of the concentration level detection process may be the same or different. In addition, the time interval of the concentration level determination process is preferably longer than the detection cycle of the concentration level detection process from the viewpoint of enabling determination based on a plurality of concentration levels.
上記(A2)の集中度判定処理は、(A2a) 上記(A1)の集中度検出処理により検出された最新の集中度を含む過去の複数の集中度に基づいて、判定を実行するようにしてもよい。 The concentration determination process (A2) is performed based on (A2a) a plurality of past concentrations including the latest concentration detected by the concentration detection process (A1). Also good.
上記(A2a)の集中度判定処理は、(A2b) 過去から現在に向かって当該複数の集中度が変動する傾向に基づいて、判定を実行するようにしてもよい。 In the concentration level determination process (A2a), (A2b) the determination may be performed based on a tendency that the plurality of concentration levels fluctuate from the past to the present.
上記(A2b)の集中度判定処理は、(A2c) 上記傾向に基づいて運転者の状態を予測し、この予測結果に基づいて判定を実行するようにしてもよい。ここでいう予測は、予測精度を向上させる観点から、次回の判定タイミングにおける運転者の状態を対象とすることが好ましい。なお、上記(A2a), (A2b), または(A2c)の集中度判定処理は、人間の状態には個人差があることから、運転者ごとの複数の集中度に基づき、運転者固有の処理として実行してもよい。また、各々の運転者は、ドライバ監視映像記憶部６３１に記憶されたセンシングデータから顔認証により識別可能となっている。 In the concentration determination process (A2b) described above, (A2c) the driver's state may be predicted based on the tendency, and the determination may be executed based on the prediction result. It is preferable that the prediction here is directed to the state of the driver at the next determination timing from the viewpoint of improving the prediction accuracy. Note that the concentration determination process of (A2a), (A2b), or (A2c) above is a process specific to the driver based on multiple concentrations for each driver because there are individual differences in the human condition. May be executed as In addition, each driver can be identified by face authentication from sensing data stored in the driver monitoring video storage unit 631.
ここで、判定部６１２は、さらに、上記(A2b)または(A2c)の傾向に基づいて、上記時間間隔を調整する調整処理を実行するようにしてもよい。 Here, the determination unit 612 may further execute an adjustment process for adjusting the time interval based on the tendency of (A2b) or (A2c).
なお、判定部６１２は、上記集中度検出処理を実行する集中度検出部と、上記集中度判定処理を実行する集中度判定部と、上記調整処理を実行する調整部との各部を備えてもよく、当該各部に分散して実装されてもよい。 The determination unit 612 may include a concentration level detection unit that executes the concentration level detection process, a concentration level determination unit that executes the concentration level determination process, and an adjustment unit that executes the adjustment process. Of course, it may be distributed in each part.
操作検出部６１３は、運転者による運転操作を検出可能な車載センサとしてのトルクセンサ８から出力された検出信号に基づいて、運転者による緊急のオーバーライド操作または緊急でないオーバーライド操作を検出する。なお、車載センサとしては、これに限らず、ステアリングセンサ１１、アクセルペダルセンサ１２及びブレーキペダルセンサ１３が適宜、使用可能となっている。 The operation detection unit 613 detects an emergency override operation or a non-emergency override operation by the driver based on a detection signal output from the torque sensor 8 serving as an in-vehicle sensor capable of detecting a driving operation by the driver. In addition, as a vehicle-mounted sensor, not only this but the steering sensor 11, the accelerator pedal sensor 12, and the brake pedal sensor 13 can be used suitably.
切替信号出力部６１４は、操作検出部６１３によりオーバーライド操作が検出されると、判定部６１２により保持されている判定結果のうちオーバーライド操作が検出される直前に対応する判定結果に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にある場合に、自動運転モードを手動運転モードに切り替える切替信号を自動運転制御装置５に出力する。 When the operation detection unit 613 detects an override operation, the switching signal output unit 614 determines the driver based on the determination result corresponding immediately before the override operation is detected among the determination results held by the determination unit 612. Is in a state where the operation operation in the manual operation mode can be performed, a switching signal for switching the automatic operation mode to the manual operation mode is output to the automatic operation control device 5.
（動作）
次に、以上のように構成された運転モード切替制御装置の動作を説明する。
図３はその全体の制御手順と制御内容を示すフローチャートである。
(Operation)
Next, the operation of the operation mode switching control device configured as described above will be described.
FIG. 3 is a flowchart showing the overall control procedure and control contents.
（１）ドライバ監視映像の取得
運転が開始されるとドライバカメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で運転モード切替制御装置６は、ドライバ監視映像取得部６１１の制御の下、先ずステップＳ１により上記ドライバカメラ７から出力された映像信号のディジタルデータ（ドライバ監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだドライバ監視映像データをステップＳ２により記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させる。
(1) Acquisition of Driver Monitoring Video When driving is started, the driver camera 7 is activated, and continuously captures a predetermined range including the driver's face and outputs the video signal. In this state, under the control of the driver monitoring video acquisition unit 611, the operation mode switching control device 6 first outputs the digital data (driver monitoring video data) of the video signal output from the driver camera 7 in step S1 to the input / output interface unit. The captured driver monitoring video data is stored in the driver monitoring video storage unit 631 of the storage unit 63 in step S2.
なお、上記ドライバの撮像は、後述する判定部６１２の判定周期より短い周期で間欠的に行ってもよい。また、ドライバカメラ７または入出力インタフェースユニット６２において、映像信号を所定の符号化方式に応じて符号化するようにしてもよい。このようにすると、監視映像データの情報量を減らしてドライバ監視映像記憶部６３１の記憶容量を節約することが可能となる。 Note that the imaging of the driver may be intermittently performed at a period shorter than a determination period of a determination unit 612 described later. In addition, the driver camera 7 or the input / output interface unit 62 may encode the video signal according to a predetermined encoding method. In this way, it is possible to save the storage capacity of the driver monitoring video storage unit 631 by reducing the information amount of the monitoring video data.
（２）運転者の状態の判定
上記ドライバ監視映像データの取得が開始されると運転モード切替制御装置６は、次に判定部６１２の制御の下、ステップＳ３により一定時間の経過が判定される毎に、ステップＳ１０により上記ドライバ監視映像記憶部６３１からドライバ監視映像データを読み込む。そして、当該読み込んだドライバ監視映像データの各々から、運転者が手動で運転操作を行える状態にあるか否かを以下のステップＳ１１〜Ｓ１２に示すように判定する。
図４はその制御手順と制御内容を示すフローチャートである。
(2) Determination of Driver's State When acquisition of the driver monitoring video data is started, the operation mode switching control device 6 next determines the elapse of a fixed time in step S3 under the control of the determination unit 612. Every time, the driver monitoring video data is read from the driver monitoring video storage unit 631 in step S10. Then, from each of the read driver monitoring video data, it is determined as shown in the following steps S11 to S12 whether or not the driver can manually perform the driving operation.
FIG. 4 is a flowchart showing the control procedure and control contents.
すなわち、判定部６１２は、ステップＳ１１により、ドライバ監視映像記憶部６３１に記憶されたセンシングデータに基づいて、運転者の運転に対する集中度を周期的に検出する。例えば、ドライバ監視映像データをもとに、運転者の眼の開眼の状態、まばたきの頻度、或いは眼球運動等を検出し、運転者の覚醒度を認識する。この覚醒度は、集中度の一例であり、０〜１００％の範囲内の数値で表される。なお、集中度としては、０〜１００％の範囲内の数値に限らず、例えば、運転者の視線方向が所定範囲にある場合を“１”とし、所定範囲にない場合を“０”とする等のように、“１”または“０”の値（フラグ）を用いてもよい。 That is, the determination unit 612 periodically detects the driver's degree of concentration with respect to driving based on the sensing data stored in the driver monitoring video storage unit 631 in step S11. For example, based on the driver monitoring video data, the eye open state of the driver's eyes, the frequency of blinking, or eye movements are detected to recognize the driver's arousal level. This arousal level is an example of the degree of concentration and is represented by a numerical value within a range of 0 to 100%. Note that the degree of concentration is not limited to a numerical value in the range of 0 to 100%, and for example, “1” is set when the driver's line-of-sight direction is within a predetermined range, and “0” is set when the driver is not within the predetermined range. For example, a value (flag) of “1” or “0” may be used.
また、判定部６１２は、ステップＳ１２により、ステップＳ１１で検出された最新の集中度に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する。例えば、認識した覚醒度を閾値と比較することで、運転者が手動で運転操作を行える状態にあるか否かを判定する。以上により、ステップＳ１０の処理が完了する。 Further, in step S12, the determination unit 612 determines, based on the latest concentration level detected in step S11, whether or not the driver is in a state where the driving operation in the manual operation mode can be performed at every time interval. . For example, it is determined whether or not the driver can manually perform a driving operation by comparing the recognized arousal level with a threshold value. Thus, the process of step S10 is completed.
続いて図３に戻り、上記手動運転操作の可否の判定結果が得られると、判定部６１２はステップＳ４により、上記判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて判定結果記憶部６３２に記憶させる。 Subsequently, returning to FIG. 3, when the determination result of whether or not the manual driving operation is possible is obtained, the determination unit 612 associates the information indicating the determination result with information indicating the determination timing, for example, time stamp information in step S4. The determination result is stored in the determination result storage unit 632.
また、判定部６１２は、ステップＳ５により、ステップＳ１１で検出された集中度に基づいて、ステップＳ１０の判定を実行する時間間隔を調整する。例えば、判定部６１２は、過去から現在に向かって複数の集中度が変動する傾向に基づいて、当該時間間隔を調整する。なお、このステップＳ５は、ステップＳ４の後に限らず、任意の時点で実行してもよく、省略してもよい。 In step S5, the determination unit 612 adjusts the time interval for executing the determination in step S10 based on the degree of concentration detected in step S11. For example, the determination unit 612 adjusts the time interval based on a tendency that a plurality of concentrations vary from the past to the present. Note that step S5 is not limited to after step S4, and may be executed at any time or may be omitted.
（３）オーバーライド操作の検出
運転モード切替制御装置６は、続いて操作検出部６１３の制御の下、ステップＳ６を実行する。このとき、例えば、車載センサとしてのトルクセンサ８は、運転者による運転操作に応じて検出信号を出力する。運転モード切替制御装置６は、運転操作に応じた検出信号に基づいて、運転者によるオーバーライド操作を検出する。なお、ステップＳ６の結果、オーバーライド操作が検出されなかった場合にはステップＳ１に戻り、オーバーライド操作が検出された場合には、ステップＳ７に移行する。
(3) Detection of Override Operation The operation mode switching control device 6 subsequently executes step S6 under the control of the operation detection unit 613. At this time, for example, the torque sensor 8 as an in-vehicle sensor outputs a detection signal according to the driving operation by the driver. The driving mode switching control device 6 detects an override operation by the driver based on a detection signal corresponding to the driving operation. As a result of step S6, when an override operation is not detected, the process returns to step S1, and when an override operation is detected, the process proceeds to step S7.
（４）切替信号の出力制御
運転モード切替制御装置６は、オーバーライド操作が検出されると、切替信号出力部６１４の制御の下、オーバーライド操作が検出される直前の判定部６１２による判定結果を判定結果記憶部６３２から読み込む。
(4) Output control of switching signal When the override operation is detected, the operation mode switching control device 6 determines the determination result by the determination unit 612 immediately before the override operation is detected under the control of the switching signal output unit 614. Reading from the result storage unit 632.
そして、切替信号出力部６１４は、ステップＳ７により、当該読み込んだ判定結果が手動運転操作可能を示すか否かを判定し、否の場合にはステップＳ１に戻る。また、ステップＳ７の判定の結果、手動運転可能を示す場合には、切替信号出力部６１４は、自動運転モードを手動運転モードに切り替える切替信号を自動運転制御装置５に出力する（ステップＳ８）。この結果、自動運転制御装置５は自動運転モードを終了し、以後運転者の手動操作に応じた運転制御が行われる。 Then, in step S7, the switching signal output unit 614 determines whether or not the read determination result indicates that a manual driving operation is possible. If not, the process returns to step S1. When the result of determination in step S7 indicates that manual operation is possible, the switching signal output unit 614 outputs a switching signal for switching the automatic operation mode to the manual operation mode to the automatic operation control device 5 (step S8). As a result, the automatic driving control device 5 ends the automatic driving mode, and thereafter, driving control according to the manual operation of the driver is performed.
（効果）
以上詳述したようにこの発明の第１の実施形態では、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかが任意の時間間隔で判定され、操作検出部６１３によりオーバーライド操作が検出されると、オーバーライド操作が検出される直前に対応する判定結果に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にある場合に、自動運転モードを手動運転モードに切り替える切替信号が出力される。このように、直前の判定結果を用いるため、オーバーライド操作の後に、運転者の状態を検出及び判定する時間が不要となるので、オーバーライド操作から手動運転モードへの切替信号を出力するまでの時間を短縮できる。
(effect)
As described above in detail, in the first embodiment of the present invention, it is determined at any time interval whether or not the driver is in a state where the driving operation can be performed in the manual operation mode, and the operation detection unit 613 performs an override operation. When detected, based on the corresponding determination result immediately before the override operation is detected, switching the automatic operation mode to the manual operation mode when the driver is in a state where the operation can be performed in the manual operation mode. A signal is output. In this way, since the previous determination result is used, it is not necessary to detect and determine the state of the driver after the override operation, so the time until the switching signal from the override operation to the manual operation mode is output. Can be shortened.
従って、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮することができる。 Accordingly, it is possible to reduce the time from the override operation to the manual operation mode.
また、運転者の運転に対する集中度が周期的に検出され、検出された最新の集中度に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかが時間間隔ごとに判定される。このため、切り替えに先立ち、運転者の最新の集中度が高いか否かに応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。 Also, the driver's concentration on driving is periodically detected, and based on the latest detected concentration, it is determined at each time interval whether or not the driver is in a state where the driving operation can be performed in the manual operation mode. Is done. For this reason, prior to switching, it is possible to check the determination result indicating whether or not the driver is in a state where the driver can perform the driving operation depending on whether or not the latest concentration of the driver is high.
また、運転者の集中度が変動する傾向に基づいて、判定部６１２による判定の時間間隔が調整される。このため、例えば、手動運転モードによる運転操作を行える状態の方に変動する傾向にある場合には、判定の時間間隔が長くなるように調整される。一方、例えば、手動運転モードによる運転操作を行えない状態の方に変動する傾向にある場合には、判定の時間間隔が短くなるように調整される。従って、運転者の集中度が変動する傾向に応じて、判定の時間間隔を適切に調整することができる。 Further, the determination time interval by the determination unit 612 is adjusted based on the tendency of the driver's concentration to vary. For this reason, for example, when it tends to fluctuate toward a state in which the driving operation in the manual operation mode can be performed, the determination time interval is adjusted to be longer. On the other hand, for example, when there is a tendency to fluctuate toward a state where the driving operation in the manual operation mode cannot be performed, the determination time interval is adjusted to be short. Therefore, the determination time interval can be appropriately adjusted according to the tendency of the driver's concentration to vary.
［その他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、図４に示したフローチャートは、図５に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１２に代えて、ステップＳ１１で検出された最新の集中度を含む過去の複数の集中度に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１２ａ）。この場合、切り替えに先立ち、運転者の直近の過去における複数の集中度に応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。
[Other Embodiments]
The present invention is not limited to the above embodiment. For example, the flowchart shown in FIG. 4 may be modified as shown in FIG. That is, the determination unit 612 determines whether or not the above-described manual driving operation is possible based on a plurality of past concentrations including the latest concentration detected in step S11 instead of step S12. (Step S12a). In this case, prior to the switching, it is possible to confirm a determination result indicating whether or not the driver is in a state where the driver can perform the driving operation according to a plurality of degrees of concentration in the past past of the driver.
また例えば、図５に示したフローチャートは、図６に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１２ａに代えて、過去から現在に向かって複数の集中度が変動する傾向に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１２ｂ）。この場合、切り替えに先立ち、運転者の複数の集中度が過去から現在に向かって上昇、略安定、又は下降する傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、運転者の集中度が上昇する傾向又は略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の集中度が下降する傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。 Further, for example, the flowchart shown in FIG. 5 may be modified as shown in FIG. That is, instead of step S12a, the determination unit 612 determines whether or not the above-described manual driving operation is possible based on a tendency that a plurality of concentrations vary from the past to the present (step S12b). . In this case, prior to switching, the driver's state indicates whether or not the driver is in a state where the driver can perform the driving operation based on the tendency that the driver's concentration is increasing, substantially stable, or decreasing from the past to the present. The determination result can be confirmed. For example, when the driver's concentration degree tends to increase or is almost stable, a determination result indicating that the driving operation can be performed can be confirmed. When the driver's concentration tends to decrease, a determination result indicating that the driver cannot perform the driving operation can be confirmed.
また例えば、図６に示したフローチャートは、図７に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１２ｂに代えて、複数の集中度が変動する傾向に基づいて運転者の状態を予測し（ステップＳ１２ｃ−１）、この予測結果に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１２ｃ−２）。この場合、切り替えに先立ち、予測された状態が運転操作を行える状態にあるかないかを示す判定結果を確認できる。 Further, for example, the flowchart shown in FIG. 6 may be modified as shown in FIG. That is, instead of step S12b, the determination unit 612 predicts the driver's state based on the tendency of a plurality of concentrations to fluctuate (step S12c-1), and based on the prediction result, the above-described manual driving operation is performed. It is determined whether or not it is possible (step S12c-2). In this case, prior to switching, it is possible to confirm a determination result indicating whether or not the predicted state is in a state where a driving operation can be performed.
［第２の実施形態］
次に、この発明の第２の実施形態について、前述した図面を参照しながら説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to the aforementioned drawings.
第２の実施形態は、前述した判定部６１２の他の具体例であり、判定部６１２が、前述した集中度を用いず、図８に示すように、推定したドライバ状態を用いる構成となっている。なお、図中、「運転者の状態」を「ドライバ状態」と表記している。 The second embodiment is another specific example of the determination unit 612 described above, and the determination unit 612 uses the estimated driver state as shown in FIG. Yes. In the figure, “driver state” is described as “driver state”.
例えば、判定部６１２は、前述同様に、ドライバ監視映像記憶部６３１から予め設定された時間間隔でドライバ監視映像データを読み込む毎に、当該ドライバ監視映像データに基づいて運転者が手動で運転操作を行える状態にあるか否かを判定する処理を行う。 For example, as described above, the determination unit 612 reads the driver monitoring video data from the driver monitoring video storage unit 631 at a preset time interval, and the driver manually operates the driver based on the driver monitoring video data. A process of determining whether or not it is ready to be performed is performed.
但し、判定部６１２は、前述した各処理(A1), (A2), (A2a), (A2b), (A2c)に代えて、以下の各処理を実行してもよい。なお、以下の各処理は、人間の状態には個人差があることから、運転者ごとの過去のデータに基づき、運転者固有の処理として実行してもよい。各々の運転者は、前述同様に、顔認証により識別可能となっている。 However, the determination unit 612 may execute the following processes instead of the processes (A1), (A2), (A2a), (A2b), and (A2c) described above. Each process described below may be executed as a driver-specific process based on past data for each driver because there are individual differences in the human state. Each driver can be identified by face authentication as described above.
(B1) ドライバカメラ７から（入出力インタフェースユニット６２及びドライバ監視映像記憶部６３１を介して）取得されたセンシングデータに基づいて、運転者の状態を推定する推定処理。この推定処理では、例えば、ドライバ監視映像データをもとに、運転者の喜、怒、哀、楽、平静といった感情の状態を推定する。このような判定部６１２は、例えば、人間の感情を推定可能な人工知能（Artificial Intelligence：ＡＩ）を用いて実装可能である。なお、運転者の状態としては、運転者の感情の状態に限らず、運転に対する集中度に基づく状態を用いてもよい。 (B1) An estimation process for estimating the state of the driver based on the sensing data acquired from the driver camera 7 (via the input / output interface unit 62 and the driver monitoring video storage unit 631). In this estimation process, for example, the state of emotion such as joy, anger, sorrow, comfort, and calm of the driver is estimated based on the driver monitoring video data. Such a determination unit 612 can be implemented using, for example, artificial intelligence (AI) that can estimate human emotions. In addition, as a driver | operator's state, you may use the state based not only on a driver | operator's emotional state but the degree of concentration with respect to a driving | operation.
(B2) 上記(B1)の推定処理により推定された状態に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する状態判定処理。この状態判定処理では、例えば、推定された感情を予め設定された条件と比較することで、運転者が手動で運転操作を行える状態にあるか否かを判定する。設定された条件としては、例えば、推定された感情の状態が、喜、哀、楽、平静の場合には手動運転可能と定めてもよい。あるいは、設定された条件としては、例えば、推定された感情の状態が、怒の場合には手動運転不可と定めてもよい。 (B2) State determination processing for determining at every time interval whether or not the driver is in a state where the driving operation can be performed in the manual operation mode based on the state estimated by the estimation processing of (B1) above. In this state determination process, for example, it is determined whether or not the driver is in a state where the driver can manually perform a driving operation by comparing the estimated emotion with a preset condition. As the set condition, for example, when the estimated emotional state is joy, sorrow, comfort, or calm, it may be determined that manual driving is possible. Alternatively, as the set condition, for example, it may be determined that manual driving is not possible when the estimated emotional state is anger.
上記(B2)の状態判定処理は、(B2b) 過去から現在に向かって当該推定した状態が変動する傾向に基づいて、判定を実行するようにしてもよい。 The state determination process (B2) may be performed based on a tendency that the estimated state varies from the past (B2b) to the present.
上記(B2b)の状態判定処理は、(B2c) 上記傾向に基づいて運転者の状態を予測し、この予測結果に基づいて判定を実行するようにしてもよい。ここでいう予測は、予測精度を向上させる観点から、次回の判定タイミングにおける運転者の状態を対象とすることが好ましい。 In the state determination process (B2b), the state of the driver may be predicted based on the trend (B2c), and the determination may be executed based on the prediction result. It is preferable that the prediction here is directed to the state of the driver at the next determination timing from the viewpoint of improving the prediction accuracy.
ここで、判定部６１２は、さらに、上記(B2b)または(B2c)の傾向に基づいて、上記時間間隔を調整する調整部を実行するようにしてもよい。 Here, the determination unit 612 may further execute an adjustment unit that adjusts the time interval based on the tendency of (B2b) or (B2c).
なお、判定部６１２は、上記推定処理を実行する推定部と、上記状態判定処理を実行する状態判定部と、上記調整処理を実行する調整部との各部を備えてもよく、当該各部に分散して実装されてもよい。 The determination unit 612 may include an estimation unit that executes the estimation process, a state determination unit that executes the state determination process, and an adjustment unit that executes the adjustment process. May be implemented.
他の部分の構成は、第１の実施形態と同様である。 The structure of other parts is the same as that of the first embodiment.
（動作）
次に、以上のように構成された運転モード切替制御装置の動作について図３及び図８を用いて説明する。
いま、前述同様に、ステップＳ１〜Ｓ２が実行されたとする。
(Operation)
Next, the operation of the operation mode switching control device configured as described above will be described with reference to FIGS. 3 and 8.
Now, it is assumed that steps S1 and S2 are executed as described above.
続いて、運転モード切替制御装置６は、判定部６１２の制御の下、ステップＳ３により一定時間の経過が判定される毎に、ステップＳ１０により上記ドライバ監視映像記憶部６３１からドライバ監視映像データを読み込む。そして、当該読み込んだドライバ監視映像データの各々から、運転者が手動で運転操作を行える状態にあるか否かを以下のステップＳ１５〜Ｓ１６に示すように判定する。
図８はその制御手順と制御内容を示すフローチャートである。
Subsequently, the driving mode switching control device 6 reads the driver monitoring video data from the driver monitoring video storage unit 631 in step S10 every time a predetermined time is determined in step S3 under the control of the determination unit 612. . Then, from each of the read driver monitoring video data, it is determined as shown in the following steps S15 to S16 whether or not the driver can manually perform the driving operation.
FIG. 8 is a flowchart showing the control procedure and control contents.
すなわち、判定部６１２は、ステップＳ１５により、ドライバ監視映像記憶部６３１に記憶されたセンシングデータに基づいて、運転者の状態を推定する。例えば、運転者の喜、怒、哀、楽、または平静といった感情の状態を推定する。 That is, the determination unit 612 estimates the driver's state based on the sensing data stored in the driver monitoring video storage unit 631 in step S15. For example, the state of emotion such as joy, anger, sorrow, comfort, or calm of the driver is estimated.
また、判定部６１２は、ステップＳ１６により、ステップＳ１５で推定した状態に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する。例えば、推定された感情の状態が、喜、哀、楽、または平静の場合には手動運転可能と判定される。また、推定された感情の状態が、怒の場合には手動運転不可と判定される。以上により、ステップＳ１０の処理が完了する。 In addition, in step S16, the determination unit 612 determines, based on the state estimated in step S15, whether or not the driver is in a state where the driving operation in the manual operation mode can be performed at every time interval. For example, when the estimated emotional state is joy, sadness, comfort, or calm, it is determined that manual driving is possible. If the estimated emotional state is anger, it is determined that manual driving is not possible. Thus, the process of step S10 is completed.
続いて図３に戻り、上記手動運転操作の可否の判定結果が得られると、判定部６１２はステップＳ４により、上記判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて判定結果記憶部６３２に記憶させる。 Subsequently, returning to FIG. 3, when the determination result of whether or not the manual driving operation is possible is obtained, the determination unit 612 associates the information indicating the determination result with information indicating the determination timing, for example, time stamp information in step S4. The determination result is stored in the determination result storage unit 632.
また、判定部６１２は、ステップＳ５により、ステップＳ１５で推定されたドライバ状態に基づいて、ステップＳ１０の判定を実行する時間間隔を調整する。例えば、判定部６１２は、過去から現在に向かって複数のドライバ状態が変動する傾向に基づいて、当該時間間隔を調整する。なお、このステップＳ５は、ステップＳ４の後に限らず、任意の時点で実行してもよく、省略してもよい。 In step S5, the determination unit 612 adjusts the time interval for performing the determination in step S10 based on the driver state estimated in step S15. For example, the determination unit 612 adjusts the time interval based on a tendency that a plurality of driver states fluctuate from the past to the present. Note that step S5 is not limited to after step S4, and may be executed at any time or may be omitted.
以下、前述同様に、ステップＳ６〜Ｓ８の処理が実行される。 Thereafter, the processes in steps S6 to S8 are executed as described above.
（効果）
以上詳述したようにこの発明の第２の実施形態では、第１の実施形態と同様にステップＳ１〜Ｓ８が実行される。このため、前述同様に、オーバーライド操作の後に、運転者の状態を検出及び判定する時間が不要となるので、オーバーライド操作から手動運転モードへの切替信号を出力するまでの時間を短縮することができる。従って、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮することができる。
(effect)
As described above in detail, in the second embodiment of the present invention, steps S1 to S8 are executed in the same manner as in the first embodiment. For this reason, as described above, it is not necessary to detect and determine the state of the driver after the override operation. Therefore, it is possible to shorten the time until the switching signal from the override operation to the manual operation mode is output. . Accordingly, it is possible to reduce the time from the override operation to the manual operation mode.
また、ステップＳ１０において、運転者の状態が推定され、推定された運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかが時間間隔ごとに判定される。このため、切り替えに先立ち、推定された状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。 In step S10, the state of the driver is estimated, and it is determined at each time interval whether the estimated state of the driver is in a state where the driving operation in the manual driving mode can be performed. For this reason, prior to switching, it is possible to confirm a determination result indicating whether or not the estimated state is in a state where a driving operation can be performed.
［その他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、図８に示したフローチャートは、図９に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１６に代えて、過去から現在に向かって当該推定した状態が変動する傾向に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１６ｂ）。この場合、切り替えに先立ち、運転者の状態が過去から現在に向かって何らかの状態から運転に適した状態に変わる傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、怒りの感情状態が平静の感情状態に近づく傾向の如き、運転者の状態が運転に適した状態に近づく傾向又は運転に適した状態で略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の状態が運転に適さない状態に近づく傾向又は運転に適さない状態で略安定した傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。
[Other Embodiments]
The present invention is not limited to the above embodiment. For example, the flowchart shown in FIG. 8 may be modified as shown in FIG. That is, the determination unit 612 determines whether or not the above-described manual driving operation is possible based on a tendency that the estimated state varies from the past to the present instead of step S16 (step S16b). . In this case, prior to switching, a determination indicating whether or not the driver is in a state where the driver can perform a driving operation based on a tendency that the driver's state changes from any state to a state suitable for driving from the past to the present. The result can be confirmed. For example, when the driver's state tends to approach a state suitable for driving or a state that is substantially stable in a state suitable for driving, such as the tendency of an angry emotional state to approach a calm emotional state Can be confirmed. When the driver's state tends to approach a state unsuitable for driving or tends to be substantially stable in a state unsuitable for driving, it is possible to confirm the determination result that the driver is not in a state capable of performing a driving operation.
また例えば、図９に示したフローチャートは、図１０に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１６ｂに代えて、推定した状態が変動する傾向に基づいて運転者の状態を予測し（ステップＳ１６ｃ−１）、この予測結果に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１６ｃ−２）。この場合、切り替えに先立ち、予測された状態が運転操作を行える状態にあるかないかを示す判定結果を確認できる。 Further, for example, the flowchart shown in FIG. 9 may be modified as shown in FIG. That is, the determination unit 612 predicts the driver's state based on the tendency that the estimated state fluctuates instead of step S16b (step S16c-1), and the above-described manual driving operation is performed based on the prediction result. It is determined whether or not it is possible (step S16c-2). In this case, prior to switching, it is possible to confirm a determination result indicating whether or not the predicted state is in a state where a driving operation can be performed.
さらに他の実施形態としては、例えば、以下のものがある。 Still other embodiments include, for example, the following.
前記第１または第２の実施形態では、運転者の状態を判定するための手段として、ドライバカメラ７により得られる運転者の顔を含む映像信号を用いる場合を例にとって説明した。しかし、それに限らず、生体センサにより得られる生体信号、例えば脈波センサまたは心拍センサにより検出される運転者の脈波信号または心拍信号や、圧力センサにより検出される横隔膜の上下動を表す信号をもとに、運転者の状態を判定するようにしてもよい。あるいは、運転者の状態を判定するための手段として、トルクセンサ８により検出される運転者の操舵操作の操舵トルクを用い、所定値以上のトルクが検出された場合に運転者が手動による運転操作を行える状態にあると判定してもよい。これに限らず、ステアリングホイール４に設けられた押しボタンやタッチパネルに設けられたソフトボタン等のように、運転者が手動による運転操作が可能になったことを入力することが可能な操作入力手段を用いて、運転者の状態を判定するようにしてもよい。その他、アクセルペダルの操作等を用いることも可能である。 In the first or second embodiment, the case where the video signal including the driver's face obtained by the driver camera 7 is used as the means for determining the driver's state has been described as an example. However, the present invention is not limited thereto, and a biological signal obtained by a biological sensor, for example, a pulse wave signal or a heartbeat signal of a driver detected by a pulse wave sensor or a heartbeat sensor, or a signal representing the vertical movement of the diaphragm detected by a pressure sensor. Originally, the state of the driver may be determined. Alternatively, as a means for determining the state of the driver, the steering torque of the driver's steering operation detected by the torque sensor 8 is used, and the driver performs a manual driving operation when a torque exceeding a predetermined value is detected. You may determine that you are in a state where Not limited to this, an operation input means that allows the driver to input that manual driving operation is possible, such as a push button provided on the steering wheel 4 or a soft button provided on the touch panel. May be used to determine the state of the driver. In addition, it is possible to use an accelerator pedal operation or the like.
その他、車両の種類、自動運転制御装置の機能、運転モード切替制御装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。 In addition, the vehicle type, the function of the automatic operation control device, the control function and control procedure of the operation mode switching control device, and the control contents can be variously modified and implemented without departing from the gist of the present invention.
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。
（付記１）
車両の運転モードを自動運転モードから手動運転モードへ切り替えるための運転モード切替制御装置であって、
運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを判定して得られた判定結果を記憶するメモリと、
前記メモリに接続された少なくとも１つのハードウェアプロセッサと
を具備し、
前記少なくとも１つのハードウェアプロセッサは、
運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得し、
前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を前記メモリに保持し、
前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出し、
前記オーバーライド操作が検出されると、前記記憶部に保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力するように構成される運転モード切替制御装置。
A part or all of the above embodiment can be described as in the following supplementary notes, but is not limited thereto.
(Appendix 1)
An operation mode switching control device for switching a vehicle operation mode from an automatic operation mode to a manual operation mode,
A memory for storing a determination result obtained by determining whether or not the driver's state is in a state where the driving operation in the manual driving mode can be performed;
And at least one hardware processor connected to the memory,
The at least one hardware processor comprises:
From the monitoring sensor for monitoring the state of the driver, obtaining sensing data representing the state of the driver,
Based on the acquired sensing data, it is determined at an arbitrary time interval whether or not the driver's state is in a state where the driving operation in the manual driving mode can be performed, and the determination result is held in the memory,
Based on a detection signal output from an in-vehicle sensor capable of detecting a driving operation by the driver, an override operation by the driver is detected,
When the override operation is detected, based on the determination result corresponding to immediately before the override operation is detected among the determination results held in the storage unit, the driver's state is the driving in the manual operation mode. An operation mode switching control device configured to output a switching signal for switching the automatic operation mode to the manual operation mode when in an operable state.
（付記２）
車両の運転モードを自動運転モードから手動運転モードへ切り替えるための装置が実行する運転モード切替制御方法であって、
少なくとも１つのハードウェアプロセッサを用いて、運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得過程と、
少なくとも１つのハードウェアプロセッサを用いて、前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を少なくとも１つのメモリに保持する判定過程と、
少なくとも１つのハードウェアプロセッサを用いて、前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出過程と、
少なくとも１つのハードウェアプロセッサを用いて、前記操作検出過程によりオーバーライド操作が検出されると、前記判定過程により保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力過程と
を具備する運転モード切替制御方法。
(Appendix 2)
An operation mode switching control method executed by a device for switching a vehicle operation mode from an automatic operation mode to a manual operation mode,
Using at least one hardware processor to obtain sensing data representing the driver's state from a monitoring sensor for monitoring the driver's state; and
Using at least one hardware processor, based on the acquired sensing data, determine whether the driver is in a state where the driver can perform a driving operation in the manual driving mode at an arbitrary time interval, and A determination process for storing the determination result in at least one memory;
An operation detection process for detecting an override operation by the driver based on a detection signal output from an in-vehicle sensor capable of detecting a driving operation by the driver using at least one hardware processor;
When an override operation is detected by the operation detection process using at least one hardware processor, based on a determination result corresponding to immediately before the override operation is detected among the determination results held by the determination process. A switching signal output process for outputting a switching signal for switching the automatic driving mode to the manual driving mode when the driver is in a state where the driving operation can be performed in the manual driving mode. Control method.
１…車両、２…パワーユニット、３…操舵装置、４…ステアリングホイール、５…自動運転制御装置、６…運転モード切替制御装置、７…ドライバカメラ、８…トルクセンサ、９…アラーム発生器、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…ドライバ監視映像取得部、６１２…判定部、６１３…操作検出部、６１４…切替信号出力部、６３１…ドライバ監視映像記憶部、６３２…判定結果記憶部。 DESCRIPTION OF SYMBOLS 1 ... Vehicle, 2 ... Power unit, 3 ... Steering device, 4 ... Steering wheel, 5 ... Automatic driving control device, 6 ... Driving mode switching control device, 7 ... Driver camera, 8 ... Torque sensor, 9 ... Alarm generator, 11 DESCRIPTION OF SYMBOLS ... Steering sensor, 12 ... Accelerator pedal sensor, 13 ... Brake pedal sensor, 14 ... GPS receiver, 15 ... Gyro sensor, 16 ... Vehicle speed sensor, 61 ... Control unit, 62 ... Input / output interface unit, 63 ... Memory unit, 611 ... driver monitoring video acquisition unit, 612 ... determination unit, 613 ... operation detection unit, 614 ... switching signal output unit, 631 ... driver monitoring video storage unit, 632 ... determination result storage unit.
Claims (9)
運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得部と、
前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を保持する判定部と、
前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出部と、
前記操作検出部によりオーバーライド操作が検出されると、前記判定部に保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力部と
を具備する運転モード切替制御装置。 An operation mode switching control device for switching a vehicle operation mode from an automatic operation mode to a manual operation mode,
An acquisition unit that acquires sensing data representing the state of the driver from a monitoring sensor for monitoring the state of the driver;
Based on the acquired sensing data, it is determined at any time interval whether the driver's state is in a state where the driving operation in the manual driving mode can be performed, and a determination unit that holds the determination result;
Based on a detection signal output from an in-vehicle sensor capable of detecting a driving operation by the driver, an operation detection unit that detects an override operation by the driver;
When an override operation is detected by the operation detection unit, the driver's state is changed to the manual based on a determination result corresponding to immediately before the override operation is detected among the determination results held in the determination unit. An operation mode switching control device comprising: a switching signal output unit that outputs a switching signal for switching the automatic operation mode to the manual operation mode when the operation mode can be operated.
前記取得されたセンシングデータに基づいて、前記運転者の運転に対する集中度を周期的に検出する集中度検出部と、
前記集中度検出部により検出された最新の集中度に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを前記時間間隔ごとに判定する集中度判定部と
を備える請求項１に記載の運転モード切替制御装置。 The determination unit
Based on the acquired sensing data, a concentration level detection unit that periodically detects the concentration level of the driver with respect to driving,
A degree-of-concentration determination unit that determines, based on the latest degree of concentration detected by the degree-of-concentration detection unit, whether or not the driver is in a state where the driver can perform a driving operation in the manual operation mode at each time interval; An operation mode switching control device according to claim 1.
前記取得されたセンシングデータに基づいて、前記運転者の状態を推定する推定部と、
前記推定部により推定された状態に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを前記時間間隔ごとに判定する状態判定部と
を備える請求項１に記載の運転モード切替制御装置。 The determination unit
Based on the acquired sensing data, an estimation unit that estimates the state of the driver;
The state determination part which determines whether the said driver | operator's state exists in the state which can perform the driving operation by the said manual driving mode based on the state estimated by the said estimation part for every said time interval. The operation mode switching control device described.
前記装置が、運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得過程と、
前記装置が、前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を保持する判定過程と、
前記装置が、前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出過程と、
前記装置が、前記操作検出過程によりオーバーライド操作が検出されると、前記判定過程により保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力過程と
を具備する運転モード切替制御方法。 An operation mode switching control method executed by a device for switching a vehicle operation mode from an automatic operation mode to a manual operation mode,
An acquisition process in which the device acquires sensing data representing the driver's state from a monitoring sensor for monitoring the driver's state;
Determination that the device determines whether or not the driver is in a state where the driver can perform the driving operation in the manual driving mode based on the acquired sensing data at an arbitrary time interval, and holds the determination result Process,
An operation detection process in which the device detects an override operation by the driver based on a detection signal output from an in-vehicle sensor capable of detecting a driving operation by the driver;
When an override operation is detected by the operation detection process, the device determines the driver's condition based on a determination result corresponding to immediately before the override operation is detected among the determination results held by the determination process. An operation mode switching control method comprising: a switching signal output process for outputting a switching signal for switching the automatic operation mode to the manual operation mode when the state is a state in which the operation operation in the manual operation mode can be performed.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017045222A JP6627810B2 (en) | 2017-03-09 | 2017-03-09 | Operation mode switching control device, method and program |
| PCT/JP2017/044488 WO2018163552A1 (en) | 2017-03-09 | 2017-12-12 | Drive mode switching control device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017045222A JP6627810B2 (en) | 2017-03-09 | 2017-03-09 | Operation mode switching control device, method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018151684A true JP2018151684A (en) | 2018-09-27 |
| JP2018151684A5 JP2018151684A5 (en) | 2019-05-23 |
| JP6627810B2 JP6627810B2 (en) | 2020-01-08 |
Family
ID=63447476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017045222A Expired - Fee Related JP6627810B2 (en) | 2017-03-09 | 2017-03-09 | Operation mode switching control device, method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6627810B2 (en) |
| WO (1) | WO2018163552A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020071561A (en) * | 2018-10-30 | 2020-05-07 | 本田技研工業株式会社 | Emotion estimation device |
| JP2021092952A (en) * | 2019-12-10 | 2021-06-17 | 沖電気工業株式会社 | Automated transaction device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112147982A (en) * | 2020-09-25 | 2020-12-29 | 上海汽车集团股份有限公司 | Manual connection testing method, device and system for automatically driving automobile |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005173636A (en) * | 2003-12-05 | 2005-06-30 | Fujitsu Ten Ltd | Method and device for dozing detection |
| WO2014147828A1 (en) * | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method |
| JP2016064773A (en) * | 2014-09-25 | 2016-04-28 | 株式会社デンソー | On-vehicle system, vehicle control device, and program for vehicle control device |
| WO2016132848A1 (en) * | 2015-02-16 | 2016-08-25 | 株式会社デンソー | Driving assistance device and driving assistance method |
-
2017
- 2017-03-09 JP JP2017045222A patent/JP6627810B2/en not_active Expired - Fee Related
- 2017-12-12 WO PCT/JP2017/044488 patent/WO2018163552A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005173636A (en) * | 2003-12-05 | 2005-06-30 | Fujitsu Ten Ltd | Method and device for dozing detection |
| WO2014147828A1 (en) * | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method |
| JP2016064773A (en) * | 2014-09-25 | 2016-04-28 | 株式会社デンソー | On-vehicle system, vehicle control device, and program for vehicle control device |
| WO2016132848A1 (en) * | 2015-02-16 | 2016-08-25 | 株式会社デンソー | Driving assistance device and driving assistance method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020071561A (en) * | 2018-10-30 | 2020-05-07 | 本田技研工業株式会社 | Emotion estimation device |
| CN111128239A (en) * | 2018-10-30 | 2020-05-08 | 本田技研工业株式会社 | Emotion estimation device |
| JP7076357B2 (en) | 2018-10-30 | 2022-05-27 | 本田技研工業株式会社 | Emotion estimator |
| US11657626B2 (en) | 2018-10-30 | 2023-05-23 | Honda Motor Co., Ltd. | Emotion estimation apparatus |
| CN111128239B (en) * | 2018-10-30 | 2023-10-17 | 本田技研工业株式会社 | Emotion estimation device |
| JP2021092952A (en) * | 2019-12-10 | 2021-06-17 | 沖電気工業株式会社 | Automated transaction device |
| JP7358956B2 (en) | 2019-12-10 | 2023-10-11 | 沖電気工業株式会社 | automatic transaction device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6627810B2 (en) | 2020-01-08 |
| WO2018163552A1 (en) | 2018-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6447647B2 (en) | Operation mode switching control device, method and program | |
| CN108240819B (en) | Driving support device and driving support method | |
| US20190227547A1 (en) | Drive mode switch controller, method, and program | |
| JP6690581B2 (en) | Operation mode switching control device, method and program | |
| CN110147160B (en) | Information providing apparatus and information providing method | |
| JP6690582B2 (en) | Operation mode switching control device, method and program | |
| US10338583B2 (en) | Driving assistance device | |
| JP2017136922A (en) | Vehicle control device, on-vehicle device controller, map information generation device, vehicle control method, and on-vehicle device control method | |
| CN109843690B (en) | Driving mode switching control device, system and method | |
| JP2018149941A (en) | Concentration level determination device, concentration level determination method, and program for determining concentration level | |
| WO2018163552A1 (en) | Drive mode switching control device, method and program | |
| US9886034B2 (en) | Vehicle control based on connectivity of a portable device | |
| JP2018149822A (en) | Operation mode changeover control device, method and program | |
| JP6648722B2 (en) | Failure determination device, method, and program | |
| JP2020091524A (en) | Information processing system, program, and control method | |
| US11491993B2 (en) | Information processing system, program, and control method | |
| JP2018147287A (en) | Autonomous vehicle monitor system, method, and program | |
| JP2018149862A (en) | Device and method for controlling changeover of driving mode, and program | |
| WO2018168046A1 (en) | Concentration level determination device, concentration level determination method, and program for determining concentration level | |
| WO2018168050A1 (en) | Concentration level determination device, concentration level determination method, and program for determining concentration level | |
| WO2018163536A1 (en) | Driver body condition recovery support device, method and program | |
| JP2020125089A (en) | Vehicle control device | |
| WO2023035260A1 (en) | Method and apparatus for prompting state information of vehicle | |
| JP2018149942A (en) | Concentration level determination device, concentration level determination method, and program for determining concentration level | |
| JP2017220171A (en) | Safe driving support device and safe driving support program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6627810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |