JP2023160512A - 感情判別装置 - Google Patents

感情判別装置 Download PDF

Info

Publication number
JP2023160512A
JP2023160512A JP2022070928A JP2022070928A JP2023160512A JP 2023160512 A JP2023160512 A JP 2023160512A JP 2022070928 A JP2022070928 A JP 2022070928A JP 2022070928 A JP2022070928 A JP 2022070928A JP 2023160512 A JP2023160512 A JP 2023160512A
Authority
JP
Japan
Prior art keywords
state
occupant
vehicle
emotion
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022070928A
Other languages
English (en)
Inventor
勇 長澤
Isamu Nagasawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2022070928A priority Critical patent/JP2023160512A/ja
Priority to US18/297,245 priority patent/US20230339474A1/en
Publication of JP2023160512A publication Critical patent/JP2023160512A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Figure 2023160512000001
【課題】車両の乗員の感情を適切に判別可能な感情判別装置を提供する。
【解決手段】車両の1走行状態を検出する走行状態検出部310,320,330と、車両の乗員の状態をモニタリングする乗員モニタリング部と、走行状態検出部及び乗員モニタリング部の出力に基づいて、乗員の感情を判別する感情判別部400とを備える感情判別装置を、第1の感情状態を判別するために第1の期間にわたって走行状態検出部及び乗員モニタリング部の出力履歴の監視を行う第1の警戒期間中に、第2の感情状態を判別するための所定の条件を充足した場合、第2の感情状態を判別するために第2の期間にわたって走行状態検出部及び乗員モニタリング部の出力履歴の監視を行う第2の警戒期間を開始する構成とする。
【選択図】図3

Description

本発明は、自動車等の車両の乗員の感情を推定する感情判別装置に関する。
例えば、乗用車等の自動車において、ドライバ等の乗員の感情を推定し、感情の状態を車両に係る機能の制御に反映させることが提案されている。
車両の乗員の感情等を推定することに関する技術として、例えば特許文献1には、車両の乗員に情報を提供する情報提供装置において、感情推定部によりユーザの感情を推定し、仮想的な感情のベースとなるベース感情を設定するとともに、所定の期間が経過するまで対象ユーザの感情を繰り返し推定し、当該所定の期間が経過した後に、推定された感情を加味してベース感情を設定することが記載されている。
特許文献2には、運転者の生体情報を取得して覚醒状態の度合いを示す覚醒度レベル値と、覚醒度レベル値の時間変化率を算出することが記載されている。また、覚醒度レベル値を複数の閾値と比較し、運転者が漫然状態か興奮状態であるかを判別することが記載されている。また、運転者の覚醒状態が適正状態であるときの覚醒度レベル値を基準値として保持することが記載されている。
特許文献3には、生体情報を取得してドライバの脳波の状態である例えばθ波含有率の推定に必要な特徴量を算出し、ドライバの集中度を推定することが記載されている。また、推定されたドライバの集中度の経時的な低下傾向において、任意の時間後にドライバの集中度が運転に必要な集中度の下限となる閾値を下回るか否かについて判定し、この任意の時間は、ドライバが車両を安全に運転できる限度の時間とすることが記載されている。さらに、ドライバの集中度が閾値を下回る場合は、ドライバの運転操作によらず車両が定速走行及び追従走行を行う運転支援を行なうことが記載されている。
特開2019-139354号公報 国際公開WO2021/014637号公報 国際公開WO2014/147828号公報
近年、自動車等の車両において、運転が危険な状態に陥らないよう、警報を出力したり、運転支援を行う装置が普及している。
しかし、ドライバ等の乗員の感情の状態によっては、警報や運転支援制御の介入を煩わしく感じさせ、乗員の感情をさらに悪化させて安全な運転操作を阻害することが懸念される。
このため、乗員の感情を適切に推定し、車両の制御に反映させることが要望されている。
しかし、人間の集中力が持続する期間には上限があり、一説には15分程度を言われる。
認知、判断、操作などの複合能力を必要とする自動車等の運転では、例えば10分間程度(日本の一般道で5km程度)の走行を行えば、乗員の感情には何等かの変化が生じると考えられる。
特に、乗員が高いストレスに晒される状態では、短時間に変化する乗員の感情を適切に検出し、最適な運転支援制御を行うことにより、漫然運転や、事故につながる危険な運転を抑制することが要望される。
上述した問題に鑑み、本発明の課題は、車両の乗員の感情を適切に判別可能な感情判別装置を提供することである。
上述した課題を解決するため、本発明の感情判別装置は、車両の走行状態を検出する走行状態検出部と、前記車両の乗員の状態をモニタリングする乗員モニタリング部と、前記走行状態検出部及び前記乗員モニタリング部の出力に基づいて、前記乗員の感情を判別する感情判別部とを備える感情判別装置であって、第1の感情状態を判別するために第1の期間にわたって前記走行状態検出部及び前記乗員モニタリング部の出力履歴の監視を行う第1の警戒期間中に、第2の感情状態を判別するための所定の条件を充足した場合、第2の感情状態を判別するために第2の期間にわたって前記走行状態検出部及び前記乗員モニタリング部の出力履歴の監視を行う第2の警戒期間を開始することを特徴とする。
これによれば、第1の感情状態を判別するための第1の警戒期間中に、第1の感情状態とは異なる第2の感情状態が疑われる事象が発生した場合に、新たに第2の感情状態を判別するための第2の警戒期間を開始することにより、時系列に順次生じることが多い乗員の複数の感情状態を、それぞれ適切に判別することができる。
本発明において、前記第1の感情状態は、前記乗員の注意力散漫状態であり、前記感情判別部は、前記第1の警戒期間中における前記乗員モニタリング部が検出する前記乗員の視線の固着状態と、前記走行状態検出部が検出する前記車両の走行状態のばらつきとの少なくとも一方に基づいて、前記注意力散漫状態を判別する構成とすることができる。
これによれば、一般的な乗員モニタリング装置の撮像画像や、車両の制御に一般的に用いられるセンサの出力を利用して、簡単な装置構成により適切に注意力散漫状態を判別することができる。
本発明において、前記第2の感情状態は、前記乗員の不安混迷状態であり、前記感情判別部は、前記第2の警戒期間中における前記乗員モニタリング部が検出する前記乗員の座席に対する着座姿勢と、前記乗員モニタリング部が検出するステアリングホイールと前記乗員の手指との位置関係との少なくとも一方に基づいて、前記不安混迷状態を判別する構成とすることができる。
一般に、乗員は不安混迷状態に陥ると、座席に対する着座姿勢が変化(典型的には前傾気味)すること、あるいは、ステアリングホイールをより強く握りこむようになり、ステアリングホイールのリムと手指との隙間が小さくなるなどの特徴を示す。
本発明によれば、乗員の座席に対する着座姿勢、ステアリングホイールと乗員の手指との位置関係により、乗員の不安混迷状態を適切に判別することができる。
本発明において、前記第2の警戒期間中に、第3の感情状態を判別するための所定の条件を充足した場合、第3の感情状態を判別するために第3の期間にわたって前記走行状態検出部及び前記乗員モニタリング部の出力履歴の監視を行う第3の警戒期間を開始する構成とすることができる。
これによれば、第2の感情状態を判別するための第2の警戒期間が開始された場合に、さらに感情状態の悪化が進行した状態である第3の感情状態を判別するための警戒期間を開始することにより、第3の感情状態を適切に判別することができる。
本発明において、前記第3の感情状態は、前記乗員の焦燥憤怒状態であり、前記走行状態検出部は、前記車両の操舵装置の舵角を検出する舵角検出部、及び、前記車両の加減速状態を検出する加減速検出部を有し、前記感情判別部は、前記第3の警戒期間中に前記操舵装置の舵角増加及び前記加減速状態が同時に発生した場合に、前記焦燥憤怒状態を判別する構成とすることができる。
これによれば、一般的な車両であれば通常設けられるセンサを利用して、簡単な装置構成により適切に焦燥憤怒状態を判別することができる。
以上説明したように、本発明によれば、車両の乗員の感情を適切に判別可能な感情判別装置を提供することができる。
本発明を適用した感情判別装置の実施形態を含む運転支援装置を有する車両のシステム構成を模式的に示す図である。 実施形態の感情判別装置におけるドライバモニタリングカメラ、座面圧センサの配置を模式的に示す図である。 実施形態の感情判別装置における乗員の感情判別の基本的な構成を示すフローチャートである。 ステアリングホイールを保持する乗員の手指の状態の一例を示す図である。 実施形態の運転支援装置における基本的な制御の内容を示すフローチャートである。 実施形態の運転支援装置における乗員の感情状態に応じた運転支援制御の内容変化を示す図である。
以下、本発明を適用した感情判別装置の実施形態について説明する。
実施形態の感情判別装置は、例えば、乗用車等の4輪の自動車に設けられるものである。
図1は、実施形態の感情判別装置を含む運転支援装置を有する車両のシステム構成を模式的に示す図である。
車両1は、環境認識ユニット100、運転支援制御ユニット200、電動パワーステアリング(EPS)制御ユニット310、パワーユニット制御ユニット320、ブレーキ制御ユニット330、乗員状態判別ユニット400等を備えている。
これらの各ユニットは、例えばCPU等の情報処理部、RAMやROMなどの記憶部、入出力インターフェイス、及び、これらを接続するバス等を有するマイコンとして構成することができる。
また、各ユニットは、例えばCAN通信システムなどの車載LANを介して、あるいは、直接に、相互に通信可能となっている。
環境認識ユニット100は、各種センサ等の出力に基づいて、自車両周囲の環境を認識するものである。
認識の対象となる自車両周囲の環境は、例えば、車両1が走行する道路の車線形状や、各種障害物の自車両に対する相対位置、相対速度、さらに、車両1が今後走行する経路の道順や、事故、渋滞、規制等に関する情報を含む。
環境認識センサ100には、可視光カメラ110、ミリ波レーダ装置120、レーザスキャナ装置130、高精度地図データベース140、測位装置150等が接続されている。
可視光カメラ装置110は、自車両の周囲(前方、後方、側方等)をステレオカメラ、単願カメラなどの可視光カメラで撮像する撮像装置である。
可視光カメラ装置110は、撮像画像に画像処理を施し、自車両周囲の物体の有無及び自車両に対する物体の相対位置、相対速度や、車線形状等を検出する機能を備えている。
ミリ波レーダ装置120は、例えば30乃至300GHzの周波数帯域の電波を用いたレーダ装置であって、物体の有無及び自車両に対する物体の相対位置を検出する機能を備えている。
レーザスキャナ装置130は、例えば近赤外レーザ光をパルス状に照射して車両周辺を走査し、反射光の有無及び反射光が戻るまでの時間差に基づいて、物体の有無、車両に対する物体の相対位置、物体の形状等を検出する機能を備えている。
高精度地図データベース140は、車両1の走行が想定される範囲内の高精度3次元地図データ(HDマップ)に係るデータを蓄積するものである。
このデータは、例えば、車線、路肩縁、車線区分線(いわゆる白線)などを、例えばcm単位の分解能で、緯度、経度、高度の情報を含む3次元データとしている。
測位装置150は、例えばGPS等の準天頂衛星システムの受信機や、路車間通信装置、自律航法用のジャイロセンサ等を有し、車両1の現在位置を検出するものである。
高精度地図データベース140、測位装置150は、環境認識ユニット100、運転支援制御ユニット200と協働して、所定の目的地への経路案内や、これに伴う車線変更、右左折などの情報提示を行うナビゲーションシステムとして機能する。
このようなナビゲーションシステムとしての機能も、本発明における運転支援制御に含まれる。
運転支援制御ユニット200は、環境認識ユニット100が認識した自車両周囲の環境や、後述する各ユニット、センサの出力に基づいて認識される車両1の走行状態、乗員Pの感情状態に基づいて、運転支援制御を行うものである。
運転支援制御として、例えば、乗員Pに対する画像、音声、振動などによる情報の提示を行う情報提示制御、及び、制動力の制御、走行用動力源の出力制御、操舵制御などの車両の走行支援制御が含まれる。
運転支援制御ユニット200には、入出力装置210、通信装置220が接続されている。
入出力装置210は、例えば、タッチパネルディスプレイ等の入力装置を兼ねた画像表示装置や、音声スピーカ、シート等乗員と接触する部位に設けられた振動発生装置などの出力装置と、物理スイッチ、音声マイクロフォンなどの入力装置を有する。
乗員Pは、入出力装置210を用いて、運転支援制御に関する各種設定を行うことが可能となっている。
通信装置220は、例えば、無線通信回線を用いて、車外に設けられた基地局と通信し、各種データの送受信を行うものである。
電動パワーステアリング制御ユニット310は、車両1の操向輪(典型的には前輪)を操舵する図示しない操舵装置に、乗員Pの操舵操作に応じたアシスト力や、自動操舵時における操舵力を与える制御を行うものである。
電動パワーステアリング制御ユニット310には、舵角センサ311、トルクセンサ312、モータ313等が接続されている。
舵角センサ311は、操舵装置における操舵角を検出するセンサ(舵角検出部)である。
トルクセンサ312は、乗員Pが操舵操作を行う図示しないステアリングホイールが接続されたステアリングシャフトに負荷されるトルクを検出するセンサである。
電動パワーステアリング制御ユニット310は、トルクセンサ312が検出したトルクに応じて、アシスト力の発生を行う。
モータ313は、操舵装置にアシスト力、操舵力を与え、ラック推力を発生させる電動アクチュエータである。
モータ313の出力は、電動パワーステアリング制御ユニット310により制御される。
パワーユニット制御ユニット320は、車両1の走行用動力源及びその補機類を統括的に制御するものである。
走行用動力源として、例えば、内燃エンジン(ICE)、電動モータ、エンジン-電動モータのハイブリッドシステム等を用いることができる。
パワーユニット制御ユニット320は、例えば図示しないアクセルペダルの操作量等に基づいて要求トルクを設定し、走行用動力源が発生する実際のトルクが要求トルクと一致するよう、走行用動力源を制御する。
ブレーキ制御ユニット330は、車両の前後左右の車輪にそれぞれ設けられるブレーキ装置の制動力を、個別に(車輪ごとに)制御するものである。
ブレーキ装置として、例えば、液圧式ディスクブレーキを有する構成とすることができる。
ブレーキ制御ユニット330には、ハイドロリックコントロールユニット331、車速センサ332、加速度センサ333、ヨーレートセンサ334等が接続されている。
ハイドロリックコントロールユニット331は、各車輪の図示しないホイルシリンダのブレーキフルード液圧を個別に調節する液圧制御装置である。
ハイドロリックコントロールユニット331は、ブレーキフルードを加圧する電動ポンプ、及び、各ホイルシリンダのブレーキフルード液圧を制御する増圧弁、減圧弁、圧力保持弁などを備えている。
ハイドロリックコントロールユニット331には、ブレーキフルード配管を介して、図示しないマスタシリンダ、ホイルシリンダ等が接続されている。
マスタシリンダは、ドライバがブレーキ操作を行う図示しないブレーキペダルの操作に応じて、ブレーキフルードを加圧するものである。
マスタシリンダが発生したブレーキフルード液圧は、ハイドロリックコントロールユニット331を経由して、ホイルシリンダに伝達されるようになっている。
ハイドロリックコントロールユニット331は、マスタシリンダが発生するブレーキフルード液圧にオーバライドして、各ホイルシリンダのブレーキフルード液圧を増減する機能を有する。
ホイルシリンダは、各車輪に設けられ、例えばディスクロータにブレーキパッドを押圧し、ブレーキフルード液圧に応じた摩擦力(制動力)を発生させるものである。
車速センサ332は、各車輪を回転可能に支持するハブ部に設けられ、各車輪の回転速度に応じた車速信号を発生するセンサである。
加速度センサ333は、車体に作用する前後方向、及び、左右方向(車幅方向)の加速度を検出するセンサ(加減速検出部)である。
ヨーレートセンサ334は、車体の鉛直軸回りにおける回転(自転)角速度であるヨーレートを検出するセンサである。
以上説明した電動パワーステアリング制御ユニット310、パワーユニット制御ユニット320、ブレーキ制御ユニット330は、環境認識ユニット100と協働して、車両1の走行状態を検出する走行状態検出部として機能する。
乗員状態判別ユニット400は、乗員P(典型的にはドライバ)の意識状態、感情状態、健康状態等を判別するものである。
乗員状態班別ユニット400には、ドライバモニタリングカメラ401、座面圧センサ402等が接続されている。
ドライバモニタリングカメラ401、座面圧センサ402は、乗員状態判別ユニット400と協働して、乗員モニタリング部として機能する。
図2は、実施形態の運転支援装置におけるドライバモニタリングカメラ401、座面圧センサ402の配置を模式的に示す図である。
車両1は、乗員Pが着座するシートSを有する。
シートSは、シートクッションS1、バックレストS2、ヘッドレストS3等を有する。
シートクッションS1は、乗員Pの大腿部、臀部等が載せられる座面部である。
バックレストS2は、乗員の背部と当接し、乗員の上体を保持する部分である。
バックレストS2は、シートクッションS1の後部近傍から、上方かつ斜め後方側に突出している。
ヘッドレストS3は、乗員の頭部後方側に配置され、頭部が後退した際に頭部を保持する部分である。
ヘッドレストS3は、バックレストS2の上端部から上方へ張り出して配置されている。
ドライバモニタリングカメラ401は、乗員Pを車両前方側から撮像する撮像装置である。
ドライバモニタリングカメラ401は、乗員Pの顔面、及び、ステアリングホイールSWを把持した状態における手を撮像画角内に含むよう配置されている。
ドライバモニタリングカメラ401は、例えば、CMOSやCCD等の固体撮像素子、固体撮像素子に被写体像を結像させるレンズ群などの光学系、固体撮像素子の駆動回路、出力処理回路などを有する。
座面圧センサ402は、シートクッションS1に設けられ、乗員PからシートクッションS1の上面部が受ける面圧の分布を測定するセンサである。
また、乗員状態判別ユニット400は、これら以外のセンサを有する構成としてもよい。
例えば、乗員の心拍数、体温、血圧、血中酸素飽和濃度などの各種生体情報(いわゆるバイタルサイン)を取得するセンサを設けてもよい。
乗員状態判別ユニット400は、環境認識ユニット100が認識した自車両周囲の環境に関する情報や、各種センサが検出した情報などの車両1の走行状態、ドライバモニタリングカメラ401、座面圧センサ402等が検出する乗員状態等に基づいて、乗員Pの感情を判別する機能を有する。この点について、以下詳細に説明する。
具体的には、乗員状態判別ユニット400は、運転に適さない運転不適感情として、例えば、注意力散漫状態、不安混迷状態、焦燥憤怒状態を判別する機能を有する。
図3は、実施形態の感情判別装置における乗員の感情判別の基本的な構成を示すフローチャートである。
以下、ステップ毎に順を追って説明する。
<ステップS101:走行状態・乗員状態モニタリング開始>
乗員状態判別ユニット400は、所定のイニシャライズ処理後に、上述した走行状態、乗員状態のモニタリングを開始する。
イニシャライズ処理は、乗員の感情判別に用いられる各種パラメータを初期化する処理であって、通常は、車両1のドライビングサイクル(車両1の主電源投入、走行開始、目的地到達、主電源切断に至るまでの一連の期間)の開始時に行われる。
例えば、乗員状態判別ユニット400は、車両1の主電源が投入(イグニッションオン)され、乗員Pがシートベルトを着用し、車両が走行可能な状態となったこと(例えば、変速機の走行レンジへのシフト)に応じて、ドライビングサイクルの開始を判別することができる。
例えば、乗員状態判別ユニット400は、座面圧センサ402が検出する座面圧の分布や、ドライバモニタリングカメラ401が撮像する画像から画像処理によって得られるステアリングホイールSWと乗員の手指との間隔g(図4参照)等の、感情判別に用いられるパラメータのイニシャライズ値を、例えば車速が10km/h以下の低速走行あるいは停車時における所定期間(一例として5分間)の平均値に基づいて設定する。
また、感情判別に用いるパラメータとして、例えば、通常時における視線の移動量や、顔(頭部)の向きの移動量なども用いられる。これらについても、同様にイニシャライズ処理(イニシャライズ値の取得)が行われる。
ここで設定されたイニシャライズ値は、乗員の身体状態を示すパラメータの基準値となる。以下説明する感情判別は、基本的に、各パラメータのイニシャライズ値(基準値)と、閾値との差分を、所定の閾値と比較することによって行う。
ここで、所定期間内に所定のデータ量が収集できなかった場合や、車両が水平面にあるときに計測できなかった場合には、所定の条件が充足した場合に、精度向上のためのイニシャライズ値の補正あるいは再取得を行う。
所定の条件として、例えば、自車両前方の信号機が停止(赤点灯)であること、車速が0km/hであること(車速検出が不可能な微低速も含む)、舵角センサ311が検出する舵角が略0であること、加速度センサ333が検出する前後方向、左右方向の加速度が0であること(水平面に停車中であること)などがあげられる。
なお、このようなパラメータのイニシャライズは、単一のドライビングサイクル中に複数回行ってもよい。
走行状態、乗員状態のモニタリングの開始後、ステップS02に進む。
<ステップS102:注意力散漫状態警戒>
乗員状態判別ユニット400は、乗員Pの注意力散漫状態(第1の感情状態)の判別に用いられるパラメータを重点的に監視する注意力散漫状態警戒を開始する。重点的に監視するとは、例えば、通常時(非警戒時)に対してデータ取得の時間分解能を向上することなどで、データ量を増加することを含む。
注意力散漫状態の判別は、例えば、乗員Pの視野の固着、前走(先行)車両との車間距離の変動(ブレ)などに基づいて行うことが可能である。
視野の固着は、例えば、ドライバモニタリングカメラ401の撮像画像等から検出されるドライバの視線方向に基づいて判別することができる。
例えば、視線方向が所定以上変化しない状態(典型的には、視線方向の変位量が微小に設定された閾値以下である状態)が所定時間以上継続した場合に、注意力散漫状態であると判別することができる。
前走車両との車間距離の変動は、例えば、環境認識ユニット100が検出した前走車両の自車両に対する相対距離の推移に基づいて判別することができる。
例えば、所定期間内に、所定値以上の車間距離変動があった場合に、注意力散漫状態であると判別することができる。
その後、ステップS103に進む。
<ステップS103:注意力散漫状態判別>
乗員状態判別ユニット400は、予め設定された所定の注意力散漫状態警戒期間内(一例として10分間以内)に、上述した判別手法のうち少なくとも一つにより、乗員Pの注意力散漫状態が判別されたか否かを検知する。
注意力散漫状態であるか否か、判別を行った後に、ステップS104に進む。
<ステップS104:不安混迷状態警戒条件判断>
乗員状態判別ユニット400は、注意力散漫状態警戒中に、乗員Pの不安混迷状態(第2の感情状態)を判別すべき所定の条件を充足したか否かを判別する。
不安混迷状態を判別すべき条件(不安混迷状態である可能性が高いと推定される事象)として、例えば、乗員Pの頭部(顔の向き)の上下運動(揺れ)頻度、視線方向の変動などに基づいて判別することができる。
頭部の上下運動頻度が高い場合には、乗員Pは、例えばナビゲーション装置の画面やミラー類などを頻繁に視認していると考えられ、周囲の状況を十分に把握できていないか、周囲の状況に不安感をもっているものと推定される。
例えば、所定時間(一例として3秒)以内に、所定回数(一例として3回)以上、頭部の揺れ(例えば移動方向の反転)が生じた場合に、不安混迷状態を判別すべきとする。
同様に、視線方向の変動が多い場合にも、乗員は周囲の状況を十分に把握できていないか、周囲の状況に不安感をもっているものと推定される。
例えば、中心視野のブレ(中心視野がスキャンする範囲)が、直近の信号待ち時に対して3倍以上に拡散している場合に、不安混迷状態を判別すべきとする。
また、不安混迷状態を判別すべき条件を、走行状態に基づいて判別することができる。
例えば、環境認識ユニット100が認識した自車両の車線内横位置の推移に基づいて、運転支援制御ユニット200が蛇行走行を判別した場合、前走車両との車間距離変動が所定期間内に、所定値以上あった場合などにも、不安混迷状態を判別すべきとする。
不安混迷状態を判別すべきと判断した場合は、ステップS105に進み、その他の場合はステップS107に進む。
<ステップS105:不安混迷状態警戒>
乗員状態判別ユニット400は、乗員Pの不安混迷状態の判別に用いられるパラメータを重点的に監視する不安混迷状態警戒を開始する。
不安混迷状態の判別は、例えば、座面圧センサ402によって検出されるシートクッションS1の座面圧分布(乗員Pの着座姿勢を示すパラメータである)、ドライバモニタリングカメラ401が撮像する画像に基づいて検出されるステアリングホイールSWのリムと乗員Pの手指との間隔に基づいて行うことが可能である。
座面圧に関しては、例えば、座面圧分布の所定以上の変動(着座姿勢の変化)が所定以上の頻度(例えば、10分間に3回以上)あった場合に、不安混迷状態であると判別することができる。
また、乗員の重心位置の後方移動が所定量以上(例えば、直近のイニシャライズ値に対して2%以上)あった場合も、緊張状態であり、一種の不安混迷状態であると判別することができる。
図4は、ステアリングホイールを保持する乗員の手指の状態の一例を示す図である。
図4(a)は、乗員が緊張状態にない場合を示している。
一般に、緊張状態になく、リラックスした状態においては、乗員PはステアリングホイールSWのリムを強く握りこむことがない。
このような場合には、ステアリングホイールSWと、親指Tとの間に、間隔gがみられることが多い。
なお、ここでは親指Tを用いているが、他の指とステアリングホイールSWとの間隔をパラメータとしてもよい。
図4(b)は、乗員が緊張状態にある場合を示している。
一般に、緊張状態にある場合(不安混迷状態や焦燥憤怒状態を含む)では、乗員PはステアリングホイールSWのリムを強く握りこむため、間隔gは緊張状態でない場合に対して小さくなり、あるいは、無くなる。
乗員状態判別ユニット400は、ドライバモニタリングカメラ401の撮像画像に基づいて検出した隙間gの現在値と、イニシャライズ値との差分が、予め設定された閾値を超過するまで隙間gが小さくなった場合に、乗員Pが強くステアリングホイールSWを握り込んでおり、不安混迷状態であると判別することができる。
その後、ステップS106に進む。
<ステップS106:不安混迷状態判別>
乗員状態判別ユニット400は、予め設定された所定の不安混迷状態警戒期間内(一例として10分間以内)に、上述した判別手法の少なくとも一つにより、乗員Pの不安混迷状態が判別されたか否かを判別する。
不安混迷状態であるか否か、判別を行った後に、ステップS107に進む。
<ステップS107:焦燥憤怒状態警戒条件判断>
乗員状態判別ユニット400は、不安混迷状態警戒中に、乗員Pの焦燥憤怒状態(第3の感情状態)を判別すべき所定の条件を充足したか否かを判別する。
例えば、上述したステアリングホイールSWと親指Tとの隙間gが所定値以下となった場合には、焦燥憤怒状態を判別すべきとしてステップS108に進み、その他の場合には一連の処理を終了する。
<ステップS108:焦燥憤怒状態警戒>
乗員状態判別ユニット400は、乗員Pの焦燥憤怒状態の判別に用いられるパラメータを重点的に監視する焦燥憤怒状態警戒を開始する。
焦燥憤怒状態の判別は、例えば、車両1の所定以上の急激な加減速操作、及び、操舵操作が同時に行われること(乱暴な運転の典型)に基づいて行うことができる。
乗員状態判別ユニット400は、例えば、舵角センサ311が所定の閾値以上の舵角変化を検出し、かつ、同時に加速度センサ333が所定の閾値以上の前後加速度変化(急加速又は急減速)を検出した場合に、焦燥憤怒状態であると判別することができる。
その後、ステップS109に進む。
<ステップS109:焦燥憤怒状態判別>
乗員状態判別ユニット400は、予め設定された所定の不安混迷状態警戒期間内(一例として10分間以内)に、上述した判別手法により、乗員Pの焦燥憤怒状態が判別されたか否かを判別する。
焦燥憤怒状態であるか否か、判別を行った後に、一連の処理を終了する。
なお、実施形態の感情判別においては、注意力散漫状態、不安混迷状態、焦燥憤怒状態のうち複数の感情状態が同時に判別される場合もあり得る。
一般に、人間の集中力が持続するのは、例えば、約15分程度であると言われている。
複合能力を用いた操作を必要とする自動車の運転では、例えば一般道で約5kmの移動に相当する10分間の走行を行えば、感情状態に何らかの変化が生じることが多い。
特に、高ストレス時には、注意力が散漫となって見落としの多い運転になるか、運転の破綻により事故が発生することが懸念される。
これに対し、乗員状態判別ユニット400は、所定の警戒期間(一例として10分)を1単位としてセンシングシステムを管理している。
具体的には、注意力散漫状態の警戒を所定の警戒期間(一例として10分間)にわたって行っている際に、不安混迷状態の疑いが生じた場合には、不安混迷状態の警戒を新たな警戒期間(一例として10分間)にわたって開始する。その後、焦燥憤怒状態の疑いが生じた場合には、焦燥憤怒状態の警戒を新たな警戒期間(一例として10分間)にわたって開始する。
これにより、乗員Pの感情が逐次運転操作により適さない方向へ推移する場合であっても、適切に感情状態の判別(推定)を行うことができる。
また、上述した感情判別とは別に、乗員状態判別ユニット400は、ブレーキ制御ユニット330が検出するドライバのブレーキ操作の頻度が所定値以下であり極度に少ない場合、加速度センサ333が検出する車両1の減速度が所定値以下であり、減速操作が実質的に行われていない場合には、乗員Pの運転能力が著しく低下しているものとして、運転支援制御ユニット200に、車両1を、自動運転により路肩等の安全な箇所に停止させる強制停止制御を実行させる。
さらに、状態判別ユニット400は、以下の事象が検出された場合には、乗員Pの体調異常による運転不能状態(意識レベルが低下する程度の体調悪化、飲酒・薬物等による酩酊状態等)が疑われるものとして、上述した強制停止制御を実行させるとともに、通信装置220を用いて、警察、救急、医療関係などの所定の機関等が有するサーバに通報する。
(a)乗員Pの視野の固着(例えば、3秒以上)
(b)ドライバモニタリングカメラ401の撮像画像に基づいて、乗員Pの閉眼判定が成立した場合(意識がないものと認められる)
(c)運転支援制御ユニット200が所定の蛇行走行を判別した場合
(d)前走車両との車間距離変動が所定の体調不良判別閾値以上である場合
(e)座面圧センサ402が検出する乗員Pの重心位置の後方又は下方への移動量が所定の体調不良判別閾値以上である場合
次に、上述した乗員Pの感情判別(推定)の結果に応じた運転支援制御の内容について説明する。
図5は、実施形態の運転支援装置における基本的な制御の内容を示すフローチャートである。
以下、ステップ毎に順を追って説明する。
<ステップS201:感情判別パラメータイニシャライズ>
乗員状態判別ユニット400は、車両1のドライビングサイクルの開始(例えば、車両1の主電源投入(イグニッションオン))に応じて、感情判別(推定)に用いられる各パラメータをイニシャライズする。
その後、ステップS202に進む。
<ステップS202:走行状態・感情状態モニタリング開始>
運転支援制御ユニット200は、車両1の車速、前後加速度、前走車両との車間距離、車線内横位置、障害物の有無及び障害物がある場合には車両1に対する相対位置と速度などの、車両1の走行状態のモニタリングを開始する。
乗員状態判別ユニット400は、上述した乗員P(ドライバ)の感情状態のモニタリングを開始する。
その後、ステップS203に進む。
<ステップS203:走行状態センシング判断>
運転支援制御ユニット200は、走行状態に関して運転支援を必要とするイベントをセンシングし、かつ、乗員状態判別ユニット400が感情状態に関するイベント(注意力散漫状態、不安混迷状態、焦燥憤怒状態の少なくとも一つの判別)をセンシングしなかったか否かを判断する。
走行状態に関して運転支援を必要とするイベントとして、例えば、以下のものが挙げられる。
(a)車両1の蛇行、ふらつき(車線内横位置の所定以上の変動)
(b)車両1の車線逸脱
(c)車両1と前走車両との車間距離の所定値以下への接近
(d)自車両周囲の障害物(リスク対象物)の検出
ここで、リスク対象物として、例えば、他車両、歩行者、自転車、その他車両1の通行の支障となる各種物体が含まれる構成とすることができる。
また、リスク対象物は、車線変更時に後側方に存在する他車両を含む。
(e)車速の制限速度超過
(f)車両1の走行が予定される経路上の渋滞、規制、事故等に関する各種情報
走行状態に関してのみ運転支援を必要とするイベントが発生した場合はステップS210に進み、その他の場合はステップS204に進む。
<ステップS204:感情状態センシング判断>
運転支援制御ユニット200は、乗員状態判別ユニット400が感情状態に関するイベント(注意力散漫状態、不安混迷状態、焦燥憤怒状態の少なくとも一つ)をセンシングし、かつ、走行状態に関して運転支援を必要とするイベントをセンシングしなかったか否かを判断する。
感情状態に関するイベントのみがセンシングされた場合はステップS220に進み、その他の場合はステップS205に進む。
<ステップS205:走行状態・感情状態センシング判断>
運転支援制御ユニット200は、走行状態に起因して運転支援を必要とするイベントをセンシングし、かつ、乗員状態判別ユニット400が運転に不適な感情状態に関するイベント(注意力散漫状態、不安混迷状態、焦燥憤怒状態)をセンシングしたか否かを判断する。
走行状態及び感情状態に関するイベントがともにセンシングされた場合はステップS230に進み、その他の場合は一連の処理を終了(リターン)する。
<ステップS210:注意喚起表示出力>
運転支援制御ユニット200は、入出力装置210に、走行条件に関して運転支援を必要とする上記したイベントのうち、判別されたものに関して、乗員Pに対して注意喚起する表示を出力させる。
その後、一連の処理を終了する。
<ステップS220:センシング閾値更新・注意喚起表示出力>
運転支援制御ユニット200は、走行状態に関して運転支援を必要とするイベントをセンシングするための閾値を、判定が成立しやすくなる方向に更新(閾値下げ)する。
また、運転支援制御ユニット200は、入出力装置210に、走行条件に関して運転支援を必要とする上記したイベントのうち、判別されたものに関して、乗員Pに対して注意喚起する表示を出力させる。
その後、ステップS221に進む。
<ステップS221:更新閾値による再センシング判断>
運転支援制御ユニット200は、ステップS220において更新された閾値により、走行状態に関して運転支援を必要とするイベントが再度センシングされたか否かを判断する。
走行状態に関して運転支援を必要とするイベントが再度センシングされた場合はステップS222に進み、その他の場合は一連の処理を終了する。
<ステップS222:強制停止警告表示出力>
運転支援制御ユニット200は、入出力装置210に、感情状態及び走行状態が悪化しており、車両1を停車させるべき旨の警告を、乗員Pに対して出力(提示)する。
その後、ステップS223に進む。
<ステップS223:再更新閾値による再センシング判断>
運転支援制御ユニット200は、ステップS220において更新された閾値を、さらに判定が成立しやすくなる方向に再更新(閾値下げ)した閾値により、走行状態に関して運転支援を必要とするイベントが再度センシングされたか否かを判断する。
走行状態に関して運転支援を必要とするイベントが再度センシングされた場合はステップS224に進み、その他の場合は一連の処理を終了する。
<ステップS224:強制停車制御実行>
運転支援制御ユニット200は、車両1を、運転支援制御ユニット200が操舵及び加減速を制御する自動運転により、路肩等の安全な箇所に停止させる強制停止制御を実行する。
その後、一連の処理を終了する。
<ステップS230:センシング閾値更新・強制停止警告表示出力>
運転支援制御ユニット200は、走行状態に起因して運転支援を必要とするイベントをセンシングするための閾値を、判定が成立しやすくなる方向に更新(閾値下げ)する。
また、運転支援制御ユニット200は、入出力装置210に、感情状態及び走行状態が悪化しており、車両1を停車させるべき旨の警告を、乗員Pに対して出力(提示)する。
その後、ステップS231に進む。
<ステップS231:更新閾値による再センシング判断>
運転支援制御ユニット200は、ステップS220において更新された閾値により、走行状態に関して運転支援制御の介入を必要とするイベントが再度センシングされたか否かを判断する。
走行状態に関して運転支援制御の介入を必要とするイベントが再度センシングされた場合はステップS232に進み、その他の場合は一連の処理を終了する。
<ステップS232:強制停車制御実行>
運転支援制御ユニット200は、自動運転により車両1を路肩等の安全な箇所に停止させる強制停止制御を実行する。
その後、一連の処理を終了する。
上述した強制停止警告に応じて、乗員Pが車両1を停止させた場合、運転支援制御ユニット200は、乗員Pの感情状態が運転に適した状態となる程度に回復したと推定するまでは車両1の運転を禁止し、その後車両1の運転を許可する。
例えば、車速が0km/hであり、かつ、ドア又はサイドドアガラスの開扉、シートSのリクライニング、トランスミッションの非走行レンジでの所定時間(一例として5分間)以上の維持の少なくとも一つを検出した場合には、乗員Pが所定期間以上にわたって休憩をとり、乗員Pの感情状態が回復(リフレッシュ)されたものとして、車両1の運転を許可する。
また、運転支援制御ユニット200が車両1を強制的に停車(自動停車)させた場合にも、同様の処理を行う。
さらに、感情状態が所定以上に悪化している場合には、通信装置220を用いて、家族、医療機関、専門機関などの関係者へ通報する。
また、実施形態の運転支援装置においては、判別された感情状態の種類に応じて、異なった運転支援を行う。
図6は、実施形態の運転支援装置における乗員の感情状態に応じた運転支援制御の内容変化を示す図である。
以下、ステップ毎に順を追って説明する。
<ステップS301:イニシャライズ値によるモニタリングスタート>
乗員状態判別ユニット400は、乗員Pの感情判別に係るパラメータを、上述した通りイニシャライズした後に、各パラメータのモニタリングを開始する。
その後、ステップS302に進む。
<ステップS302:注意力散漫状態判断>
運転支援制御ユニット200は、乗員状態判別ユニット400が乗員Pの注意力散漫状態を判別(ステップS103)したか否かを判断する。
注意力散漫状態が判別された場合はステップS310に進み、その他の場合はステップS303に進む。
<ステップS303:不安混迷状態判断>
運転支援制御ユニット200は、乗員状態判別ユニット400が乗員Pの不安混迷状態を判別(ステップS106)したか否かを判断する。
注意力散漫状態が判別された場合はステップS320に進み、その他の場合はステップS304に進む。
<ステップS304:焦燥憤怒状態判断>
運転支援制御ユニット200は、乗員状態判別ユニット400が乗員Pの焦燥憤怒状態を判別(ステップS106)したか否かを判断する。
注意力散漫状態が判別された場合はステップS330に進み、その他の場合はステップS305に進む。
<ステップS305:通常制御>
運転支援制御ユニット200は、乗員Pの感情状態が正常(運転に適した状態)であることを前提とした、通常の運転支援制御を行う。
その後、一連の処理を終了する。
<ステップS310:情報提示制御・飛び出し情報に特化>
運転支援制御ユニット200は、入出力装置210により、乗員に対して各種情報を提示する情報提示制御を実行する。
乗員に対して提示される情報として、例えば、以下のものが含まれる。
(a)前走車両との車間距離警報(車間距離が過度に小さい場合、変動している場合の警報)
(b)速度管理警報(速度超過の場合の警報)
(c)走行ライン情報(蛇行又は車線逸脱の場合の警報、及び、車線変更を促す案内)
(d)飛び出し情報(自車両前方に、衝突可能性が所定以上のリスク対象物が出現した場合の警報)
(e)経路環境情報(自車両の走行が予定される経路上の道路の曲率、勾配、太陽の位置、気温低下を含む路面状況等に関する情報)
運転支援制御ユニット200は、(a)乃至(c)、(e)に係る情報の出力頻度を通常時に対して低下させ、(d)に係る情報を重点的に出力(自車両前方の環境に係る飛び出し情報に特化・環境情報提示制御)する。
その後、ステップS311に進む。
<ステップS311:走行支援制御・自車両挙動に関する介入閾値低下>
運転支援制御ユニット200は、環境認識ユニット100が検出した自車両周囲の環境、及び、センサ類により検出した自車両の走行状態に応じて、車両の操舵装置、パワーユニット、ブレーキ装置の制御に介入する走行支援制御を行う。
走行支援制御の内容として、例えば、以下のものが含まれる。
(a)自車両前方に衝突可能性が所定以上のリスク対象物が出現した場合の衝突被害軽減ブレーキ制御
(b)車線を逸脱した場合あるいは車線を逸脱する可能性が高い場合に、復元方向へのヨーモーメントを発生させる車線逸脱防止制御
運転支援制御ユニット200は、主に自車両の挙動に起因する制御である、車線逸脱防止制御の制御介入閾値を低下させる。(車線逸脱防止制御が早期に介入する方向に閾値を変更する)
その後、一連の処理を終了(リターン)する。
<ステップS320:情報提示制御・走行ライン情報に特化>
運転支援制御ユニット200は、上述したステップS310において説明した(a)乃至(d)に係る情報のうち、(a)、(b)、(d)に係る情報の出力頻度を通常時に対して低下させ、(c)に係る情報を重点的に表示(走行ライン情報に特化)する。
その後、ステップS321に進む。
<ステップS321:走行支援制御・周辺環境に対する制御介入閾値低下>
運転支援制御ユニット200は、上述したステップS311において説明した(a)、(b)に係る制御のうち、主に自車両周辺環境の変化に起因する制御(環境対応運転支援制御)である、(a)の衝突被害軽減ブレーキ制御の介入閾値を低下させる。(衝突被害軽減ブレーキ制御が早期に介入する方向に閾値を変更する)
その後、一連の処理を終了する。
<ステップS330:情報提示制御・経路環境情報に特化>
運転支援制御ユニット200は、上述したステップS310において説明した(a)乃至(e)に係る情報のうち、(a)乃至(c)に係る情報の出力頻度を、通常時に対して低下させ、(e)に係る経路環境情報(典型的には、1km以上前方の遠方の状況)を、通常時に対して高い頻度で重点的に出力(経路環境情報に特化)する。
また、(d)の飛び出し情報に関しては、通常時と同様に出力する。
なお、この場合には、走行支援制御は、通常時と同様に行われる。
その後、一連の処理を終了する。
以上説明した実施形態によれば、以下の効果を得ることができる。
(1)注意力散漫状態を判別するための注意力散漫状態警戒期間中に、不安混迷状態が疑われる事象が発生した場合に、新たに不安混迷状態を判別するための不安混迷状態警戒期間を開始することにより、時系列に順次生じることが多い乗員の注意力散漫状態、不安混迷状態を、それぞれ適切に判別することができる。
(2)注意力散漫状態を、ドライバモニタリングカメラ401が撮像する画像から検出される乗員の視線の固着状態と、環境認識ユニット100が検出する前走車両との車間距離のばらつきに基づいて注意力散漫状態を検出することにより、一般的な車両に設けられるセンサの出力を利用して、簡単な装置構成により適切に注意力散漫状態を判別することができる。
(3)一般に、乗員Pは不安混迷状態に陥ると、シートSに対する着座姿勢が変化(典型的には前傾気味)すること、あるいは、ステアリングホイールSWをより強く握りこむようになり、ステアリングホイールSWのリムと手指(親指T等)との隙間が小さくなるなどの特徴を示す。
本実施形態によれば、乗員Pの座席Sに対する着座姿勢を示す座面の面圧分布、及び、ステアリングホイールと乗員の手指との位置関係により、乗員の不安混迷状態を適切に判別することができる。
(4)不安混迷状態を判別するための不安混迷状態警戒が開始された場合に、さらに感情状態の悪化が進行した状態である焦燥憤怒状態を判別するための焦燥憤怒状態警戒を開始することにより、焦燥憤怒状態を適切に判別することができる。
舵角センサ311及び加速度センサ333に基づいて焦燥憤怒状態を判別することにより、一般的な車両であれば通常設けられるセンサを利用して、簡単な装置構成により適切に焦燥憤怒状態を判別することができる。
(変形例)
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)環状判別装置、運転支援装置、及び、これが搭載される車両の構成は、上述した実施形態に限定されることなく、適宜変更することができる。
例えば、各ユニットの機能や、設けられるセンサの種類、センシングすべきイベントの対象等は特に限定されず、適宜変更することができる。
(2)運転支援制御の具体的内容は、実施形態の内容に限らず、他の機能を追加してもよい。また、実施形態における一部の機能を省略してもよい。
(3)乗員の感情状態の判別に用いられるパラメータや、判別ロジックは、実施形態の構成に限らず、適宜変更することができる。
例えば、実施形態では乗員の親指とステアリングホイールのリムとの間隔に基づいて不安混迷状態、焦燥憤怒状態を判別しているが、間隔を測定する基準となる手指は親指に限らず、他の指であってもよい。また、掌とリムとの間隔によって代用してもよい。
また、このような間隔に代えて、ステアリングホイールのリムに接触圧センサを設けて、乗員の手指、掌による把持力(接触圧)に基づいて、乗員によるステアリングホイールの握り込みの程度を推定してもよい。
(4)実施形態では、焦燥憤怒状態を判別するための車両の加減速を、加速度センサを用いて検出しているが、これ以外の手法により車両の加減速を検出又は推定してもよい。
例えば、減速度に代えて、ブレーキ操作力、ブレーキ操作量、液圧式ブレーキのフルード液圧、回生発電ブレーキの吸収トルク、車速の低下量、低下率などのパラメータを用いてもよい。
また、例えば、加速度に代えて、アクセル操作量、走行用動力源の目標トルク又は推定実トルクなどのパラメータを用いてもよい。
1 車両 100 環境認識ユニット
110 ステレオカメラ装置 120 ミリ波レーダ装置
130 レーザスキャナ装置 140 高精度地図データベース
150 測位装置 200 運転支援制御ユニット
210 入出力装置 220 通信装置
310 電動パワーステアリング制御ユニット
311 舵角センサ 312 舵角センサ
313 モータ 320 パワーユニット制御ユニット
330 ブレーキ制御ユニット
331 ハイドロリックコントロールユニット
332 車速センサ 333 加速度センサ
334 ヨーレートセンサ 400 乗員状態判別ユニット
401 ドライバモニタリングカメラ 402 座面圧センサ
P 乗員 T 親指
SW ステアリングホイール g 間隔
S シート S1 シートクッション
S2 バックレスト S3 ヘッドレスト

Claims (5)

  1. 車両の走行状態を検出する走行状態検出部と、
    前記車両の乗員の状態をモニタリングする乗員モニタリング部と、
    前記走行状態検出部及び前記乗員モニタリング部の出力に基づいて、前記乗員の感情を判別する感情判別部と
    を備える感情判別装置であって、
    第1の感情状態を判別するために第1の期間にわたって前記走行状態検出部及び前記乗員モニタリング部の出力履歴の監視を行う第1の警戒期間中に、第2の感情状態を判別するための所定の条件を充足した場合、第2の感情状態を判別するために第2の期間にわたって前記走行状態検出部及び前記乗員モニタリング部の出力履歴の監視を行う第2の警戒期間を開始すること
    を特徴とする感情判別装置。
  2. 前記第1の感情状態は、前記乗員の注意力散漫状態であり、
    前記感情判別部は、前記第1の警戒期間中における前記乗員モニタリング部が検出する前記乗員の視線の固着状態と、前記走行状態検出部が検出する前記車両の走行状態のばらつきとの少なくとも一方に基づいて、前記注意力散漫状態を判別すること
    を特徴とする請求項1に記載の感情判別装置。
  3. 前記第2の感情状態は、前記乗員の不安混迷状態であり、
    前記感情判別部は、前記第2の警戒期間中における前記乗員モニタリング部が検出する前記乗員の座席に対する着座姿勢と、前記乗員モニタリング部が検出するステアリングホイールと前記乗員の手指との位置関係との少なくとも一方に基づいて、前記不安混迷状態を判別すること
    を特徴とする請求項1又は請求項2に記載の感情判別装置。
  4. 前記第2の警戒期間中に、第3の感情状態を判別するための所定の条件を充足した場合、第3の感情状態を判別するために第3の期間にわたって前記走行状態検出部及び前記乗員モニタリング部の出力履歴の監視を行う第3の警戒期間を開始すること
    を特徴とする請求項1に記載の感情判別装置。
  5. 前記第3の感情状態は、前記乗員の焦燥憤怒状態であり、
    前記走行状態検出部は、前記車両の操舵装置の舵角を検出する舵角検出部、及び、前記車両の加減速状態を検出する加減速検出部を有し、
    前記感情判別部は、前記第3の警戒期間中に前記操舵装置の舵角増加及び前記加減速状態が同時に発生した場合に、前記焦燥憤怒状態を判別すること
    を特徴とする請求項4に記載の感情判別装置。
JP2022070928A 2022-04-22 2022-04-22 感情判別装置 Pending JP2023160512A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022070928A JP2023160512A (ja) 2022-04-22 2022-04-22 感情判別装置
US18/297,245 US20230339474A1 (en) 2022-04-22 2023-04-07 Emotion determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022070928A JP2023160512A (ja) 2022-04-22 2022-04-22 感情判別装置

Publications (1)

Publication Number Publication Date
JP2023160512A true JP2023160512A (ja) 2023-11-02

Family

ID=88416784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022070928A Pending JP2023160512A (ja) 2022-04-22 2022-04-22 感情判別装置

Country Status (2)

Country Link
US (1) US20230339474A1 (ja)
JP (1) JP2023160512A (ja)

Also Published As

Publication number Publication date
US20230339474A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
EP3330148B1 (en) Automatic driving system for vehicles
JP7155122B2 (ja) 車両制御装置及び車両制御方法
US10875536B2 (en) Coordinated vehicle response system and method for driver behavior
JP6540663B2 (ja) 車両システム
JP6342856B2 (ja) 車両制御装置
JP2024019189A (ja) 車両制御装置及び車両制御方法
MX2013009434A (es) Sistema y método de respuesta al comportamiento del conductor.
US9922558B2 (en) Driving support device
WO2014148025A1 (ja) 走行制御装置
WO2016027412A1 (ja) 車載制御装置
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP6269360B2 (ja) 運転支援システム及び運転支援方法
JPWO2018211583A1 (ja) 自動車及び自動車用プログラム
JP2007323598A (ja) 車両用運転支援システム
WO2016103469A1 (ja) 衝突回避システム及び衝突回避方法
JP2008084219A (ja) 前方カーブ警報装置
JP2023160512A (ja) 感情判別装置
JP2023160511A (ja) 運転支援装置
JP2023160506A (ja) 運転支援装置
CN112406886B (zh) 车辆的控制装置及控制方法、车辆以及存储介质
JP2020170345A (ja) 車両の運転アドバイス提供システム
WO2023112212A1 (ja) 運転支援装置及びコンピュータプログラム並びにコンピュータプログラムを記録した記録媒体
WO2018168048A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP2023055197A (ja) 車両用制御装置及び車両用制御方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240130