JP2017194822A - 乗員状態推定装置 - Google Patents
乗員状態推定装置 Download PDFInfo
- Publication number
- JP2017194822A JP2017194822A JP2016084355A JP2016084355A JP2017194822A JP 2017194822 A JP2017194822 A JP 2017194822A JP 2016084355 A JP2016084355 A JP 2016084355A JP 2016084355 A JP2016084355 A JP 2016084355A JP 2017194822 A JP2017194822 A JP 2017194822A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- unit
- driver
- sound image
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035484 reaction time Effects 0.000 claims abstract description 40
- 230000004807 localization Effects 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims description 35
- 230000002093 peripheral effect Effects 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 11
- 230000000638 stimulation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 33
- 238000004891 communication Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000007664 blowing Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【解決手段】乗員状態推定装置10は、自車両と接近関係にある移動体(以降、接近体)を特定するとともに、その接近体と自車両との衝突リスクを逐次評価する。そして、衝突リスクに基づいて、運転席乗員に報知すべき接近体が存在すると判定した場合には、スピーカ26から音響信号を出力することで、当該接近体が存在する方向に仮想音源が存在するように立体音像を生成する。その後、DSM25の出力に基づき、仮想音源を定位させた方向(以降、定位方向)を運転席乗員が視認したか否かを判定するとともに、定位方向を視認した場合にはその所要時間(つまり反応時間)を特定する。そして、定位方向を見逃した回数や反応時間に基づいて運転席乗員の適正度を判定する。
【選択図】図1
Description
図1に示すように、乗員状態推定システム100は、乗員状態推定装置10、カメラユニット21、ミリ波レーダ22、車車間通信部23、広域通信部24、ドライバステータスモニタ(以降、DSM:Driver Status Monitor)25、スピーカ26、ディスプレイ27、バイブレータ28、空調装置29、及び自動運転ECU30を備えている。
次に、図3を用いて乗員状態推定装置10が備える機能について説明する。乗員状態推定装置10は、CPU11が上述の乗員状態推定プログラムを実行することによって、図3に示す種々の機能ブロックに対応する機能を提供する。すなわち、乗員状態推定装置10は機能ブロックとして、周辺情報取得部F1、移動体情報抽出部F2、接近体抽出部F3、立体音像生成部F4、視認方向特定部F5、視認判定部F6、適正度決定部F7、適正度予測部F8、及び刺激印加部F9を備える。
次に図7に示すフローチャートを用いて、乗員状態推定装置10が実施する乗員状態管理処理について説明する。乗員状態管理処理は、運転席乗員の状態を自動運転時の状態として適切な状態に維持するための処理である。
以上の構成では、自動運転機能が動作している場合、接近体抽出部F3が自車両と接近関係にある移動体を特定するとともに、その移動体と自車両との衝突リスクを評価する。立体音像生成部F4は、そのように算出される衝突リスクに基づいて、運転席乗員に報知すべき移動体(つまり報知対象移動体)が存在するか否かを逐次判定する。報知対象移動体が存在する場合には、報知対象移動体が存在する方向に仮想音源が存在すると運転席乗員によって知覚されるように立体音像を生成する。
上述した実施形態では、自動運転時における運転席乗員の状態としての適正度を、複数のレベルを用いて段階的に表現する態様を採用しているが、連続値によって表現されても良い。そのような態様においては、図8に示すように逐次算出される適正度の履歴から、適正度の傾向を示す近似直線(図中の一点鎖線)を算出し、残余時間Trmnを特定することができる。なお、図8の破線よりも下側が、自動運転時における運転席乗員の状態とし不適切な状態であることを意味する範囲(以降、不適正範囲)を表しており、時刻Txは、適正度が不適正範囲となると予測されるタイミングを表している。
以上では、乗員状態推定装置10は適正度を3段階以上で評価したり、連続値で評価したりする態様について開示したが、これに限らない。乗員状態推定装置10は、運転席乗員の状態が、自動運転時の状態として適正であるか否かを判定するものであっても良い。
以上では、見逃し率Rnと平均反応時間Trepの2つのパラメータから適正度を決定する態様を例示したが、これに限らない。適正度決定部F7は、平均反応時間Trepを用いずに、見逃し率Rnのみから適正度を決定してもよい。また、見逃し率Rnに代わって、見逃し回数を用いて適正度を決定してもよい。
以上では、乗員状態推定装置10の1つの実施形態として、自動運転時の運転席乗員の状態として適切な状態である度合い(つまり適正度)を決定する態様を例示したが、これに限らない。乗員状態推定装置10は、手動運転時の状態として適切な状態である度合い(つまり適正度)を決定する装置であっても良い。手動運転時の適正度も、仮想音源を定位させた方向(つまり定位方向)を運転席乗員が視認したか否かに基づいて決定されれば良い。
以上では、運転席乗員が視認すべき移動体が存在する場合に、立体音像を生成することによってその移動体の存在を運転席乗員に報知する態様を例示したが、これに限らない。運転席乗員が視認すべき静止物が存在する場合に、立体音像を生成し、当該静止物の存在を運転席乗員に放置してもよい。つまり、立体音像による報知の対象は、移動体に限らず、静止物であってもよい。
以上では、乗員状態推定装置10は、運転席乗員の状態を推定する態様を例示したが、これに限らない。乗員状態推定装置10は、助手席乗員や、後部座席の乗員の状態(具体的は適正度等)を推定してもよい。また、運転席乗員と助手席乗員のそれぞれの状態を推定するなど、複数の座席に対応していてもよい。
Claims (11)
- 車両で用いられ、
2個以上の音響信号出力装置のそれぞれから音響信号を出力することによって、3次元空間の所望の位置に仮想音源を定位させた立体音像を生成する立体音像生成部(F4)と、
車室内の設けられたカメラの撮像画像に基づいて、所定の座席に着座している乗員が見ている方向である視認方向を特定する視認方向特定部(F5)と、
前記視認方向特定部の特定結果に基づいて、前記立体音像が生成されてから所定の反応待機時間以内に前記仮想音源が定位された方向である定位方向を前記乗員が見たか否かを判定する視認判定部(F6)と、
前記視認判定部の判定結果に基づいて前記乗員の状態を推定する乗員状態推定部(F7)と、を備えることを特徴とする乗員状態推定装置。 - 請求項1において、
前記立体音像が生成されてから前記乗員が前記定位方向に視線を向けるまでの反応時間を計測する反応時間計測部(F61)と、
前記視認判定部の判定結果、及び、前記反応時間計測部が計測した前記反応時間を、所定の記憶媒体を用いて実現される結果記憶部に記録する記録処理部(F62)と、を備え、
前記乗員状態推定部は、前記記録処理部に記録されている前記反応時間と、所定回数の前記立体音像の生成に対して前記乗員が前記仮想音源の方向を見た回数の、少なくとも何れか一方に基づいて、前記乗員の状態を推定することを特徴とする乗員状態推定装置。 - 請求項1又は2において、
前記車両の周辺の交通状況を示す周辺情報を取得する周辺情報検出デバイスから、前記周辺情報を取得する周辺情報取得部(F1)と、
前記周辺情報取得部が取得した前記周辺情報に基づいて、前記車両と接触しうる物体の存在を検出するとともに、その物体が存在する方向を特定するリスク方向特定部(F3)と、を備え、
前記立体音像生成部は、前記乗員にとって前記仮想音源が位置する方向である定位方向が、前記リスク方向特定部が推定した方向と一致するように前記立体音像を生成することを特徴とする乗員状態推定装置。 - 請求項3において、
前記周辺情報取得部は、前記周辺情報として、前記車両の周辺に存在する移動体の移動体種別、前記車両に対する相対速度、前記車両に対する相対位置を取得し、
前記リスク方向特定部は、前記周辺情報取得部が取得した前記周辺情報に基づいて、前記車両との距離が減少傾向にある前記移動体である接近体が存在する方向を特定し、
前記周辺情報に基づいて前記接近体毎の衝突リスクを評価するリスク評価部(F31)を備え、
前記立体音像生成部は、
前記接近体が存在する方向に前記仮想音源が定位するように前記立体音像を生成することで、前記接近体の存在を前記乗員に報知するものであって、
前記接近体のうち、前記リスク評価部によって前記衝突リスクは所定の報知閾値未満であると評価されている前記接近体については、当該移動体に対応した前記立体音像を生成しないことを特徴とする乗員状態推定装置。 - 請求項4において、
前記立体音像生成部は、前記接近体のうち、前記リスク評価部によって前記衝突リスクが所定の報知閾値以上であると評価されている前記接近体が存在する場合に、当該接近体が存在する方向と前記仮想音源の定位方向とが一致するように前記立体音像を生成することを特徴とする乗員状態推定装置。 - 請求項5において、
前記立体音像生成部は、
前記立体音像によってその存在を前記乗員に報知しようとしている前記接近体に対して前記リスク評価部が評価した前記衝突リスクに応じて、前記立体音像の出力態様を変更することを特徴とする乗員状態推定装置。 - 請求項3から6の何れか1項において、
移動体種別に応じた擬音を前記音響信号として出力するための擬音データを移動体種別毎に記憶している擬音データ記憶部(M1)を備え、
前記周辺情報は、少なくとも前記車両の周辺に存在する移動体毎の移動体種別を含み、
前記立体音像生成部は、
所定の報知条件を充足する移動体が存在する場合に、その報知条件を充足している前記移動体の移動体種別に応じた擬音で前記立体音像を生成することを特徴とする乗員状態推定装置。 - 請求項1から7の何れか1項において、
前記乗員状態推定部は、前記乗員の状態が、自動運転時の運転席乗員の状態として予め設計された適切な状態であるか否かを判定することを特徴とする乗員状態推定装置。 - 請求項1から7の何れか1項において、
前記乗員状態推定部は、運転席乗員としての状態の適正度合いを逐次判定することを特徴とする乗員状態推定装置。 - 請求項9において、
前記乗員の五感の少なくとも何れか1つを刺激する刺激装置の動作を制御する刺激印加部(F9)と、
前記乗員状態推定部によって逐次判定される前記適正度合いの時間変化に基づき、前記適正度合いが、自動運転時における運転席乗員の状態として予め設計された不適切なレベルへ移行するタイミングを予測する予測部(F8)と、を備え、
前記刺激印加部は、前記予測部によって所定の残余時間以内に不適切なレベルまで低下すると予測されている場合に、前記刺激装置を動作させることを特徴とする乗員状態推定装置。 - 請求項8から10の何れか1項において、
前記視認方向特定部は、複数の座席のそれぞれに着座する前記乗員の前記視認方向を特定するように構成されており、
前記視認判定部は、前記乗員毎に、前記仮想音源が定位された方向を見たか否かを判定し、
前記乗員状態推定部は、前記視認判定部による判定結果に基づいて、前記乗員毎の状態を推定することを特徴とする乗員状態推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016084355A JP6589734B2 (ja) | 2016-04-20 | 2016-04-20 | 乗員状態推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016084355A JP6589734B2 (ja) | 2016-04-20 | 2016-04-20 | 乗員状態推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017194822A true JP2017194822A (ja) | 2017-10-26 |
JP6589734B2 JP6589734B2 (ja) | 2019-10-16 |
Family
ID=60155990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016084355A Expired - Fee Related JP6589734B2 (ja) | 2016-04-20 | 2016-04-20 | 乗員状態推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6589734B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023076270A (ja) * | 2021-11-22 | 2023-06-01 | 本田技研工業株式会社 | 報知装置、車両および報知制御方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7267222B2 (ja) * | 2020-02-26 | 2023-05-01 | 三菱ロジスネクスト株式会社 | 処理装置、処理方法、報知システム及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140358A (ja) * | 2008-12-12 | 2010-06-24 | Toyota Motor Corp | 走行支援装置 |
JP2010231337A (ja) * | 2009-03-26 | 2010-10-14 | Mazda Motor Corp | 車両の車線逸脱警報装置 |
JP2013186728A (ja) * | 2012-03-08 | 2013-09-19 | Mitsubishi Motors Corp | 警報システム |
-
2016
- 2016-04-20 JP JP2016084355A patent/JP6589734B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140358A (ja) * | 2008-12-12 | 2010-06-24 | Toyota Motor Corp | 走行支援装置 |
JP2010231337A (ja) * | 2009-03-26 | 2010-10-14 | Mazda Motor Corp | 車両の車線逸脱警報装置 |
JP2013186728A (ja) * | 2012-03-08 | 2013-09-19 | Mitsubishi Motors Corp | 警報システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023076270A (ja) * | 2021-11-22 | 2023-06-01 | 本田技研工業株式会社 | 報知装置、車両および報知制御方法 |
JP7350823B2 (ja) | 2021-11-22 | 2023-09-26 | 本田技研工業株式会社 | 報知装置、車両および報知制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6589734B2 (ja) | 2019-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6447481B2 (ja) | 起動提案装置及び起動提案方法 | |
CN111016927B (zh) | 自动驾驶控制设备以及自动驾驶控制方法和程序 | |
CN111361552B (zh) | 自动驾驶系统 | |
CN105989749B (zh) | 用于优先化驾驶员警报的系统和方法 | |
WO2016132891A1 (ja) | 自動車における近接体警報知装置 | |
CN107878460A (zh) | 自动驾驶车辆的控制方法和服务器 | |
WO2015134840A2 (en) | Vehicular visual information system and method | |
WO2020100585A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20220314982A1 (en) | Control device | |
JP2015212115A (ja) | 車両制御装置 | |
JP6589734B2 (ja) | 乗員状態推定装置 | |
US20240071231A1 (en) | Information presentation device | |
CN107599965B (zh) | 用于车辆的电子控制装置及方法 | |
WO2016157814A1 (ja) | 起動提案装置及び起動提案方法 | |
WO2021131789A1 (ja) | 車両 | |
JP2019109659A (ja) | 走行支援システム及び車載装置 | |
JP7372382B2 (ja) | 交通安全支援システム | |
JP7372381B2 (ja) | 交通安全支援システム | |
US20230326344A1 (en) | Traffic safety support system | |
US20230311927A1 (en) | Traffic safety support system | |
CN116895182A (zh) | 交通安全辅助系统 | |
JP2023151645A (ja) | 交通安全支援システム | |
JP2023151647A (ja) | 交通安全支援システム | |
JP2023151648A (ja) | 交通安全支援システム | |
JP2023151659A (ja) | 交通安全支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6589734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |