JP2021133754A - 状態推定装置 - Google Patents
状態推定装置 Download PDFInfo
- Publication number
- JP2021133754A JP2021133754A JP2020030009A JP2020030009A JP2021133754A JP 2021133754 A JP2021133754 A JP 2021133754A JP 2020030009 A JP2020030009 A JP 2020030009A JP 2020030009 A JP2020030009 A JP 2020030009A JP 2021133754 A JP2021133754 A JP 2021133754A
- Authority
- JP
- Japan
- Prior art keywords
- state
- saccade
- vehicle
- unit
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004434 saccadic eye movement Effects 0.000 claims abstract description 227
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 230000002159 abnormal effect Effects 0.000 claims abstract description 78
- 230000006866 deterioration Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 description 68
- 230000008569 process Effects 0.000 description 61
- 230000006870 function Effects 0.000 description 52
- 230000033001 locomotion Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 24
- 238000012790 confirmation Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 208000007460 Hemianopsia Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 206010013496 Disturbance in attention Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 208000035475 disorder Diseases 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 206010019468 Hemiplegia Diseases 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000004064 dysfunction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
図1は、実施形態1の車両制御システム10の構成を例示する。車両制御システム10は、車両(具体的には自動四輪車)に設けられる。車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、運転者の操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム10は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム10は、車両に設けられたアクチュエータ11を制御することで車両の動作(特に走行)を制御する。なお、車両制御システム10は、移動体に設けられる移動体制御システムの一例である。
アクチュエータ11は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、トランスミッション、モータが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。
情報取得部20は、車両の制御に用いられる各種情報を取得する。この例では、情報取得部20は、複数のカメラ21と、複数のレーダ22と、位置センサ23と、通信部24と、車両状態センサ25と、運転操作センサ26と、運転者状態センサ27とを含む。
複数のカメラ21は、互いに同様の構成を有する。複数のカメラ21は、複数のカメラ21の撮像エリアが車両の周囲を囲うように車両に設けられる。複数のカメラ21は、車両の周囲に広がる環境(外部環境)を撮像することで、外部環境を示す画像データを取得する。複数のカメラ21の各々により得られた画像データは、車両制御装置30に送信される。
複数のレーダ22は、互いに同様の構成を有する。複数のレーダ22は、複数のレーダ22の探索エリアが車両の周囲を囲うように車両に設けられる。複数のレーダ22は、外部環境を検出する。具体的には、レーダ22は、車両の外部環境へ向けて探索波を送信して外部環境からの反射波を受信することで外部環境を検出する。複数のレーダ22の検出結果は、車両制御装置30に送信される。
位置センサ23は、車両の位置(例えば緯度および経度)を検出する。例えば、位置センサ23は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ23により得られた情報(車両の位置)は、車両制御装置30に送信される。
通信部24は、車両の外部に設けられた車外ネットワーク(例えばインターネットなど)を通じて情報を受信する。例えば、通信部24は、車両の周囲に位置する他車両(図示省略)からの通信情報、ナビゲーションシステム(図示省略)からのカーナビゲーションデータ、交通情報、ダイナミックマップなどの高精度地図情報などを受信する。通信部24により得られた情報は、車両制御装置30に送信される。
車両状態センサ25は、車両の状態(例えば速度や加速度やヨーレートなど)を検出する。例えば、車両状態センサ25は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ25により得られた情報(車両の状態)は、車両制御装置30に送信される。
運転操作センサ26は、車両に加えられる運転操作を検出する。例えば、運転操作センサ26は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ26により得られた情報(車両の運転操作)は、車両制御装置30に送信される。
運転者状態センサ27は、車両に搭乗する運転者の状態(例えば運転者の身体挙動や生体情報など)を検出する。運転者状態センサ27により得られた情報(運転者の状態)は、車両制御装置30に送信される。この例では、運転者状態センサ27は、車内カメラ28と、生体情報センサ29とを含む。
車内カメラ28は、車両の内部に設けられる。車内カメラ28は、運転者を含む領域を撮像することで運転者を含む画像データを取得する。車内カメラ28により得られた画像データは、車両制御装置30に送信される。この例では、車内カメラ28は、運転者の前方に配置され、運転者の顔(特に眼球)が撮像範囲内に位置するように撮像範囲が設定される。なお、車内カメラ28は、運転者に装着されるゴーグル(図示省略)に設けられてもよい。
生体情報センサ29は、車両の内部に設けられる。生体情報センサ29は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍、血流量、皮膚温などが挙げられる。生体情報センサ29により得られた情報(運転者の生体情報)は、車両制御装置30に送信される。例えば、生体情報センサ29は、運転者の手と接触する箇所に配置されてもよいし、運転者の身体に装着される部材(図示省略)に設けられてもよい。
車両制御装置30は、アクチュエータ11および車両制御システム10の各部(この例では情報取得部20と通知部40など)と信号伝送可能に接続される。そして、車両制御装置30は、車両制御システム10の各部により得られた情報に基づいてアクチュエータ11および車両制御システム10の各部を制御する。具体的には、車両制御装置30は、アシスト運転または自動運転において、情報取得部20により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置30は、車両の運動が目標運動となるように、アクチュエータ11の動作を制御する。なお、車両制御装置30は、状態推定装置の一例である。
車両挙動認識部31は、車両状態センサ25の出力に基づいて車両の挙動(例えば速度や加速度やヨーレートなど)を推定する。例えば、車両挙動認識部31は、深層学習により生成された学習モデルを用いて、車両状態センサ25の出力から車両の挙動を示すデータを生成する。
運転操作認識部32は、運転操作センサ26の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部32は、深層学習により生成された学習モデルを用いて、運転操作センサ26の出力から車両に加えられる運転操作を示すデータを生成する。
外部環境認識部33は、複数のカメラ21の出力と、複数のレーダ22の出力と、位置センサ23の出力と、通信部24の出力と、車両挙動認識部31の出力に基づいて、車両の外部環境を認識する。
運転者状態認識部34は、運転者状態センサ27の出力に基づいて運転者の状態(例えば運転者の健康状態や感情や姿勢など)を認識する。例えば、運転者状態認識部34は、深層学習により生成された学習モデルを用いて、運転者状態センサ27の出力から運転者の状態を示すデータを生成する。この例では、運転者状態認識部34は、状態推定部300を有する。状態推定部300については、後で詳しく説明する。
車両制御部35は、車両挙動認識部31の出力と、運転操作認識部32の出力と、外部環境認識部33の出力と、運転者状態認識部34の出力に基づいて、アクチュエータ11を制御する。この例では、車両制御部35は、走行制御と、通知制御とを行う。
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部35は、車両の走行を制御する。この例では、車両制御部35は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。
通知制御では、車両制御部35は、運転者に通知するための各種情報を出力する。この例では、車両制御部35は、運転者に通知するための各種情報を通知部40に出力する。
通知部40は、車両の内部に設けられる。そして、通知部40は、車両の運転者に各種情報を通知する。この例では、通知部40は、表示部41と、スピーカ42とを含む。表示部41は、各種情報を画像で出力する。スピーカ42は、各種情報を音声で出力する。
次に、以下において用いられる用語について説明する。以下の説明では、サッケード、片側異常状態、注意機能低下状態、正常状態という用語が用いられる。
サッケードは、人(例えば運転者)が意図的に視線を移動させる跳躍性眼球運動のことである。具体的には、サッケードは、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。図2は、人の視線の位置(角度)の時間的変化を示す。図2に示すように、隣り合う2つの注視期間の間に挟まれた期間がサッケード期間となる。なお、注視期間は、視線が停滞しているとみなされる期間である。サッケードの振幅dsは、サッケード期間における視線の移動距離である。
片側異常状態は、身体の左右の片側に不自由さを感じる異常状態のことであり、具体的には、身体および/または視野の左右の片側が異常となる異常状態のことである。片側異常状態では、運転者による車両の運転操作の継続が困難となる。また、片側異常状態は、休憩などにより正常状態に回復することが困難である。片側異常状態の例としては、片麻痺、同名半盲などが挙げられる。
注意機能低下状態は、上記の片側異常状態とは異なる要因により人の注意機能が低下している状態のことである。注意機能低下状態では、運転者による車両の運転操作に支障がある。また、注意機能低下状態は、休憩などにより正常状態に回復することが可能である。注意機能低下状態の例としては、覚醒低下、疲労、漫然状態などが挙げられる。
正常状態は、上記の片側異常状態でも注意機能低下状態でもない状態であり、人が行うべき操作を正常に行うことが可能な状態のことである。正常状態では、運転者による車両の運転操作が正常に行われる。
図3は、状態推定部300の構成を例示する。状態推定部300は、サッケード検出部301と、推定部302と、注意度検出部303と、設定部304とを有する。
サッケード検出部301は、車両の運転者(対象者)のサッケードを検出する。この例では、サッケード検出部301は、車内カメラ28により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル(視線を検出するための学習モデル)を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。また、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線と左眼の視線とに基づいて導出される視線であってもよい。そして、サッケード検出部301は、運転者の視線の移動に基づいて運転者のサッケードを検出する。
次に、図4および図5を参照して、サッケード検出部301において行われるサッケード処理について説明する。まず、図4に示すように、サッケード検出部301は、推定期間P1を設定する。具体的には、サッケード検出部301は、推定期間P1が所定時間ずつシフトするように推定期間P1を設定する。図4の例では、第1期間P1の長さは「30秒」であり、所定時間は「5秒」である。
まず、サッケード検出部301は、運転者(対象者)の視線を検出する。この例では、サッケード検出部301は、車内カメラ28により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。例えば、サッケード検出部301は、車内カメラ28により得られた画像(画像データ)の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。次に、サッケード検出部301は、運転者の視線の移動距離を算出する。そして、サッケード検出部301は、運転者の視線の移動距離の時間的変化に基づいて、運転者の視線の速度を算出する。例えば、サッケード検出部301は、時間経過に応じて変化する視線の移動距離を微分することにより、運転者の視線の速度を算出する。
次に、サッケード検出部301は、視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、サッケード検出部301は、視線の移動速度が予め定められた速度閾値(例えば40deg/s)未満である状態が予め定められた停滞時間(例えば0.1秒間)継続する期間を「注視期間」(図2参照)として抽出する。そして、サッケード検出部301は、隣り合う2つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値(例えば40deg/s)以上であり、且つ、移動距離が予め定められ距離閾値(例えば3deg)以上である視線移動を「サッケード候補」として抽出する。
次に、サッケード検出部301は、回帰曲線L10を基準とするサッケード範囲R10(図6参照)を読み込む。
次に、サッケード検出部301は、推定期間P1内におけるサッケードの振幅dsおよび頻度fsを算出する。具体的には、サッケード検出部301は、推定期間P1内に含まれるサッケードの振幅dsの平均値を「推定期間P1内におけるサッケードの振幅ds」として算出し、推定期間P1内に含まれるサッケードの数を推定期間P1の時間で除算して得られる値を「推定期間P1内におけるサッケードの頻度fs」として算出する。
推定部302は、車両の運転者(対象者)の状態を推定する。この例では、推定部302は、サッケード検出部301により検出された運転者のサッケードに基づいて、運転者の状態を推定する。なお、推定部302の動作については、後で詳しく説明する。
注意度検出部303は、車両の外部環境における注意度を検出する。注意度は、車両の外部環境における注意箇所(車両の運転者が走行中に確認すべき注意箇所)の多さを示す指標である。車両の外部環境において注意箇所が多くなるに連れて、車両の外部環境における注意度が高くなる。注意度検出部303により検出結果は、推定部302および設定部304に供給される。注意箇所の例としては、動体の飛び出しが予測される箇所、自車両の障害物となり得る物体が存在する箇所などが挙げられる。
設定部304は、推定部302における運転者(対象者)の状態の推定に用いられる異常条件を設定する。この例では、設定部304は、サッケード検出部301により検出された運転者のサッケードに基づいて、異常条件に含まれる閾値を設定する。なお、設定部304の動作については、後で詳しく説明する。
本願発明者は、運転者の状態と運転者の挙動(特に視線の動き)との関係を調べるために、下記のような実験を実施した。
上述の実験により、本願発明者は、以下の知見を得た。以下では、同名半盲患者および片麻痺患者の総称を「片側異常患者」と記載する。
次に、図13を参照して、推定部302の動作(状態推定処理)について説明する。推定部302は、予め定められた周期毎に、以下のステップST21〜ST24の処理を行う。例えば、推定部302は、サッケード検出部301により推定期間P1内のサッケードの振幅dsおよび頻度fsが算出される毎に、以下の処理を行う。
推定部302は、推定期間P1内のサッケードの振幅dsが予め定められた小振幅閾値dthL以下であるか否かを判定する。例えば、小振幅閾値dhtLは、運転者の状態が片側異常状態または注意機能低下状態であるとみなせるときの推定期間P1内のサッケードの振幅dsに設定される。具体的には、小振幅閾値dhtLは、7degに設定されてもよい。推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下である場合には、ステップST22の処理が行われ、そうでない場合には、ステップST24の処理が行われる。
推定部302は、推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上であるか否かを判定する。例えば、高頻度閾値fthHは、運転者の状態が片側異常状態であるとみなせるときの推定期間P1内のサッケードの頻度fsに設定される。具体的には、高頻度閾値fthHは、0.8回/sに設定されてもよい。推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上である場合には、ステップST23の処理が行われ、そうでない場合には、ステップST24の処理が行われる。
推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であり、且つ、推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上である場合、推定部302は、運転者の状態が片側異常状態であると推定する。この例では、推定部302は、片側異常状態であることを示すフラグを立てる。
推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下ではない場合、または、推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上ではない場合、推定部302は、運転者の状態が片側異常状態であると推定しない。この例では、推定部302は、片側異常状態であることを示すフラグを立てない。
以上のように、推定期間P1内の運転者のサッケードの振幅dsと小振幅閾値dthLとの比較結果と、推定期間P1内の運転者のサッケードの頻度fsと高頻度閾値fthHとの比較結果とに基づいて、身体の左右の片側に不自由さを感じる片側異常状態であると推定することができる。
なお、推定部302は、図14に示した状態推定処理を行うように構成されてもよい。図14に示した状態推定処理では、図13に示したステップST24に代えて、ステップST30〜ST33の処理が行われる。
ステップST21において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であり、且つ、ステップST22において推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上ではない場合、推定部302は、運転者の状態が注意機能低下状態であると推定する。この例では、推定部302は、注意機能低下状態を示すフラグを立てる。
ステップST21において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下ではない場合、推定部302は、推定期間P1内のサッケードの頻度fsが予め定められた低頻度閾値fthL以下であるか否かを判定する。例えば、低頻度閾値fthLは、運転者の状態が注意機能低下状態であるとみなせるときの推定期間P1内のサッケードの頻度fsに設定される。具体的には、低頻度閾値fthLは、0.4回/sに設定されてもよい。推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下である場合には、ステップST32の処理が行われ、そうでない場合には、ステップST33の処理が行われる。
ステップST21において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下ではなく、且つ、ステップST31において推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下である場合、推定部302は、運転者の状態が注意機能低下状態であると推定する。
ステップST21において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下ではなく、且つ、ステップST31において推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下ではない場合、推定部302は、運転者の状態が正常状態であると推定する。例えば、推定部302は、正常状態であることを示すフラグを立てる。
以上のように、推定期間P1内の運転者のサッケードの振幅dsと小振幅閾値dthLとの比較結果と、推定期間P1内の運転者のサッケードの頻度fsと高頻度閾値fthHとの比較結果とに基づいて、片側異常状態と注意機能低下状態とを区別して推定することができる。
また、推定部302は、図15に示した状態推定処理を行うように構成されてもよい。
まず、推定部302は、注意度検出部303により検出された車両の外部環境における注意度に基づいて、車両の走行シーンが危険探索シーンであるか否かを判定する。車両の走行シーンが危険探索シーンである場合には、ステップST42の処理が行われ、そうでない場合(すなわち車両の走行シーンが危険確認シーンである場合)には、ステップST51の処理が行われる。
推定部302は、推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下であるか否かを判定する。推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下である場合には、ステップST43の処理が行われ、そうでない場合には、ステップST44の処理が行われる。
ステップST41において車両の走行シーンが危険探索シーンであり、ステップST42において推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下である場合、推定部302は、運転者の状態が注意機能低下状態であると推定する。
ステップST42において推定期間P1内のサッケードの頻度fsが低頻度閾値fthL以下ではない場合、推定部302は、推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であるか否かを判定する。推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下である場合には、ステップST45の処理が行われ、そうでない場合には、ステップST47の処理が行われる。
推定部302は、推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上であるか否かを判定する。推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上であるか否かを判定する場合には、ステップST46の処理が行われ、そうでない場合には、ステップST47の処理が行われる。
ステップST41において車両の走行シーンが危険探索シーンであり、ステップST44において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であり、ステップST45において推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上である場合、推定部302は、運転者の状態が片側異常状態であると推定する。
ステップST44において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下ではない場合、または、ステップST45において推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上ではない場合、推定部302は、運転者の状態が正常状態であると推定する。
ステップST41において車両の走行シーンが危険探索シーンではない場合、推定部302は、推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であるか否かを判定する。推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下である場合には、ステップST52の処理が行われ、そうでない場合には、ステップST55の処理が行われる。
推定部302は、推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上であるか否かを判定する。推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上であるか否かを判定する場合には、ステップST53の処理が行われ、そうでない場合には、ステップST54の処理が行われる。
ステップST41において車両の走行シーンが危険探索シーンではなく、ステップST51において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であり、ステップST52において推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上である場合、推定部302は、運転者の状態が片側異常状態であると推定する。
また、ステップST41において車両の走行シーンが危険探索シーンではなく、ステップST51において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下であり、ステップST52において推定期間P1内のサッケードの頻度fsが高頻度閾値fthH以上ではない場合、推定部302は、運転者の状態が注意機能低下状態であると推定する。
また、ステップST41において車両の走行シーンが危険探索シーンではなく、ステップST51において推定期間P1内のサッケードの振幅dsが小振幅閾値dthL以下ではない場合、推定部302は、運転者の状態が正常状態であると推定する。
以上のように、推定期間P1内の運転者のサッケードの振幅dsと小振幅閾値dthLとの比較結果と、推定期間P1内の運転者のサッケードの頻度fsと高頻度閾値fthHとの比較結果とに基づいて、身体の左右の片側に不自由さを感じる片側異常状態であると推定することができる。また、注意度検出部303により検出された注意度と、推定期間P1内のサッケードの振幅dsおよび頻度fsとに基づいて、注意機能低下状態を推定することができる。
車両制御部35は、推定部302により運転者の状態が片側異常状態であると推定されると、片側異常状態に応じた第1動作を行う。この例では、車両制御部35は、片側異常状態を示すフラグが立つと、第1動作を行う。第1動作の例としては、車両が安全領域で停車するように車両の走行を制御する動作、運転者の状態が片側異常状態であることを通知するための第1通知情報を出力する動作、運転者の状態が片側異常状態であることを車両の周囲に通知するための動作などが挙げられる。第1通知情報を出力する動作の例としては、第1通知情報を通知部40に出力する動作、通信部24を経由して第1通知情報を車外の情報端末(図示省略)に出力する動作などが挙げられる。運転者の状態が片側異常状態であることを車両の周囲に通知するための動作の例としては、車両のハザードランプ(図示省略)を点滅させる動作が挙げられる。
次に、図16を参照して、第1動作の一例について説明する。例えば、車両制御部35は、片側異常状態を示すフラグが立つと、以下のステップST101〜ST103の処理を行う。
車両制御部35は、退避走行制御を行う。退避走行制御では、車両制御部35は、車両の進行方向前方の道路と道路上に存在する物体とを含む走行マップデータにおいて安全領域を設定し、その安全領域を目標位置とする走行経路(退避経路)を生成する。そして、車両制御部35は、車両が退避経路を走行して安全領域に停車するように、車両の走行を制御する。
車両制御部35は、車両が安全領域に停車したか否かを判定する。車両が安全領域に停車している場合には、ステップST103の処理が行われ、そうでない場合には、ステップST101の処理が継続される。
車両が安全領域に停車すると、車両制御部35は、運転者の状態が片側異常状態であることを示す第1通知情報を通信部24に出力する。通信部24は、第1通知情報を医療機関の情報端末(図示省略)に送信する。この第1通知情報には、安全領域に停車している車両の位置を示す位置情報が含まれていてもよい。
次に、図17を参照して、第2動作の一例について説明する。例えば、車両制御部35は、注意機能低下状態を示すフラグが立つと、以下のステップST201〜ST203の処理を行う。
車両制御部35は、車両を停車させて休憩をとることを運転者に促すための警報情報を通知部40に出力する。通知部40は、警報情報を画像および/または音声で出力する。具体的には、表示部41は、警報情報を表示する。スピーカ42は、警報情報を音声で再生する。これにより、運転者は、車両を停車させるための運転操作を行う。
車両制御部35は、車両が停車したか否かを判定する。車両が停車している場合には、ステップST203の処理が行われ、そうでない場合には、ステップST201の処理が継続される。
車両が停車すると、車両制御部35は、通知部40による警報情報の出力が停止するように通知部40を制御する。
以上のように、推定部302により推定された運転者の状態に応じた動作を適切に行うことができる。具体的には、運転者の状態が片側異常状態であると推定される場合に、車両を安全領域に停車させることができる。これにより、自車両(運転者が運転する車両)および自車両の周囲にいる他車両の安全を確保することができる。また、運転者の状態が注意機能低下状態であると推定される場合に、運転者に休憩をとることを促すことができる。これにより、運転者の状態を注意機能低下状態から正常状態に回復させることができ、車両の走行安全性を確保することができる。
設定部304は、閾値設定処理を行う。閾値設定処理では、推定部302における運転者(対象者)の状態の推定に用いられる異常条件が設定される。この例では、小振幅閾値dthLと高頻度閾値fthHと低頻度閾値fthLとが設定される。具体的には、小振幅閾値dthLと高頻度閾値fthHと低頻度閾値fthLは、車両の走行シーンが予め定められた走行シーンであるときのサッケードの振幅dsおよび頻度fsに基づいて設定される。
次に,図18を参照して、閾値設定処理について説明する。設定部304は、予め定められた周期毎に、以下のステップST301〜ST303の処理を行う。なお、設定部304は、運転者の指示に応答して以下の処理を行うように構成されてもよい。
設定部304は、車両の走行シーンが予め定められた走行シーンに該当するか否かを判定する。この例では、予め定められた走行シーンは、危険探索シーンである。設定部304は、注意度検出部303により検出された車両の外部環境における注意度に基づいて、車両の走行シーンが危険探索シーンに該当するか否かを判定する。車両の走行シーンが予め定められた走行シーンに該当すると、ステップST302の処理が行われる。
設定部304は、サッケード検出部301により検出されたサッケードの振幅dsおよび頻度fsを収集する。なお、ステップST302において収集されるサッケードの振幅dsおよび頻度fsは、運転者が正常状態であるとみなせる場合のサッケードの振幅dsおよび頻度fsであることが好ましい。
次に、設定部304は、サッケードの振幅dsに基づいて、小振幅閾値dthLを設定する。また、設定部304は、サッケードの頻度fsに基づいて高頻度閾値fthHと低頻度閾値fthLを設定する。例えば、設定部304は、ステップST302において収集されたサッケードの振幅dsの平均値を基準値として、小振幅閾値dthLを設定してもよい。また、設定部304は、ステップST302において収集されたサッケードの頻度fsの平均値を基準値として、高頻度閾値fthHと低頻度閾値fthLを設定してもよい。
以上のように、運転者の特性を考慮して、小振幅閾値dthLと高頻度閾値fthHと低頻度閾値fthLを適切に設定することができる。これにより、運転者の状態推定の精度を向上させることができる。
図19および図20は、実施形態2の表示機器100の外観および構成を例示する。この例では、表示機器100は、スマートフォンを構成する。具体的には、表示機器100は、筐体100aと、表示部110と、スピーカ111と、記憶部112と、情報取得部120と、制御装置130とを備える。
筐体100aは、扁平な直方体型の箱状に形成される。筐体100aには、表示機器100の構成部品が収納される。
表示部110は、画像を表示する。図19に示すように、表示部110は、矩形状に形成され、筐体100aの前面に設けられる。スピーカ111は、音を再生する。記憶部112は、各種の情報およびデータを記憶する。
情報取得部120は、表示機器100において用いられる各種情報を取得する。この例では、情報取得部120は、フロントカメラ121と、リアカメラ122と、操作部123と、通信部124と、マイクロフォン125と、位置センサ126と、状態センサ127と、環境センサ128とを含む。
フロントカメラ121は、筐体100aの前面に設けられ、リアカメラ122は、筐体100aの後面に設けられる。フロントカメラ121は、表示機器100の前方に広がる領域(前方領域)を撮像することで、表示機器100の前方領域を示す画像データを取得する。リアカメラ122は、表示機器100の後方に広がる領域(後方領域)を撮像することで、表示機器100の後方領域を示す画像データを取得する。フロントカメラ121およびリアカメラ122の各々により得られた画像データは、制御装置130に送信される。例えば、フロントカメラ121およびリアカメラ122は、CCD(Charge Coupled Device)やCMOS(Complementary metal-oxide-semiconductor)などの固体撮像素子を用いて構成される。
操作部123は、表示機器の利用者により操作される。操作部123は、利用者により与えられた操作に応じた信号を出力する。このような構成により、利用者は、操作部123を操作して情報を入力することができる。操作部123の出力は、制御装置130に送信される。この例では、操作部123は、表示部110とともにタッチパネルを構成するタッチパネル操作部を含む。なお、操作部123は、タッチパネル操作部の他に、操作ダイヤル、操作ボタンなどを含んでもよい。
通信部124は、表示機器100の外部に設けられた通信ネットワーク(例えばインターネットや携帯電話回線など)を通じて情報およびデータを受信する。例えば、通信部124は、他の情報端末(図示省略)からの音声データ、画像データ、地図情報などを受信する。通信部124により得られた情報およびデータは、制御装置130に送信される。
マイクロフォン125は、音声を電気信号に変換する。マイクロフォン125により得られた電気信号(音声データ)は、制御装置130に送信される。
位置センサ126は、表示機器100の位置(例えば緯度および経度)を検出する。例えば、位置センサ126は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて表示機器100の位置を検出する。位置センサ126により得られた情報(表示機器100の位置)は、制御装置130に送信される。
状態センサ127は、表示機器100の状態(例えば加速度や角速度や姿勢など)を検出する。例えば、状態センサ127は、加速度センサ、ジャイロセンサなどを含む。状態センサ127により得られた情報(表示機器100の状態)は、制御装置130に送信される。
環境センサ128は、表示機器100の周囲に広がる環境に関する情報(例えば光や磁気など)を検出する。例えば、環境センサ128は、光センサ、磁気センサ、近接センサなどを含む。環境センサ128により得られた情報(表示機器100の周囲環境に関する情報)は、制御装置130に送信される。
制御装置130は、表示機器100の各部(この例では表示部110とスピーカ111と記憶部112と情報取得部120)と信号伝送可能に接続される。そして、制御装置130は、表示機器100の各部により得られた情報に基づいて表示機器100の各部を制御する。なお、制御装置130は、状態推定装置の一例である。
制御部131は、表示機器100の各部により得られた情報に基づいて表示機器100の各部を制御する。例えば、制御部131は、情報取得部120により得られた情報およびデータを記憶部112に記憶する。
実施形態2における状態推定部300の構成は、実施形態1における状態推定部300の構成と同様である。状態推定部300は、利用者(対象者)の状態を推定する。
実施形態2の表示機器100では、実施形態1の効果と同様の効果を得ることが可能である。例えば、身体機能が急低下する片側異常状態を推定することができる。
なお、以上の説明では、移動体の一例として車両を挙げたが、これに限定されない。例えば、移動体の他の例としては、船舶、飛行機などが挙げられる。
11 アクチュエータ
20 情報取得部
27 運転者状態センサ
28 車内カメラ(撮像部)
30 車両制御装置(状態推定装置)
35 車両制御部(制御部)
300 状態推定部
301 サッケード検出部
302 推定部
303 注意度検出部
304 設定部
40 通知部
41 表示部
42 スピーカ
100 表示機器
110 表示部
120 情報取得部
121 フロントカメラ(撮像部)
130 制御装置(状態推定装置)
131 制御部
Claims (8)
- 対象者の状態を推定する状態推定装置であって、
前記対象者のサッケードを検出するサッケード検出部と、
予め定められた推定期間内における前記対象者のサッケードの振幅が予め定められた小振幅閾値以下であり、且つ、前記推定期間内における前記対象者のサッケードの頻度が予め定められた高頻度閾値以上である場合に、前記対象者の状態が身体の左右の片側に不自由さを感じる片側異常状態であると推定する推定部とを備える
ことを特徴とする状態推定装置。 - 請求項1において、
前記推定部は、前記サッケードの振幅が前記小振幅閾値以下であり、且つ、前記サッケードの頻度が前記高頻度閾値以上ではない場合に、前記対象者の状態が注意機能低下状態であると推定する
ことを特徴とする状態推定装置。 - 請求項1において、
注意度検出部を備え、
前記対象者は、車両を運転する運転者であり、
前記注意度検出部は、前記車両の外部環境における注意度を検出し、
前記推定部は、前記注意度検出部により検出された前記注意度と、前記サッケードの振幅および頻度とに基づいて、前記対象者の状態が注意機能低下状態であると推定する
ことを特徴とする状態推定装置。 - 請求項3において、
前記推定部は、前記注意度検出部により検出された前記注意度が低注意度である場合において、前記サッケードの振幅が前記小振幅閾値以下であり、且つ、前記サッケードの頻度が前記高頻度閾値以上である場合に、前記対象者の状態が前記片側異常状態であると推定し、前記サッケードの頻度が予め定められた低頻度閾値以下である場合に、前記対象者の状態が前記注意機能低下状態であると推定する
ことを特徴とする状態推定装置。 - 請求項3または4において、
前記推定部は、前記注意度検出部により検出された前記注意度が高注意度である場合において、前記サッケードの振幅が前記小振幅閾値以下であり、且つ、前記サッケードの頻度が前記高頻度閾値以上である場合に、前記対象者の状態が前記片側異常状態であると推定し、前記サッケードの振幅が前記小振幅閾値以下であり、且つ、前記サッケードの頻度が前記高頻度閾値以上ではない場合に、前記対象者の状態が前記注意機能低下状態であると推定する
ことを特徴とする状態推定装置。 - 請求項3〜5のいずれか1つにおいて、
前記対象者の状態が前記片側異常状態であると推定された場合に、前記片側異常状態に応じた第1動作を行い、前記対象者の状態が前記注意機能低下状態であると推定された場合に、前記注意機能低下状態に応じた第2動作を行う制御部を備える
ことを特徴とする状態推定装置。 - 請求項6において、
前記第1動作は、前記車両が安全領域に退避するように前記車両の走行を制御する動作を含み、
前記第2動作は、前記運転者に休憩をとることを促すための情報を出力する動作を含む
ことを特徴とする状態推定装置。 - 請求項1〜7のいずれか1つにおいて、
前記対象者は、車両を運転する運転者であり、
前記小振幅閾値および前記高頻度閾値は、前記車両の走行シーンが予め定められた走行シーンであるときの前記サッケードの振幅および頻度に基づいて設定される
ことを特徴とする状態推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020030009A JP7298509B2 (ja) | 2020-02-26 | 2020-02-26 | 状態推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020030009A JP7298509B2 (ja) | 2020-02-26 | 2020-02-26 | 状態推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021133754A true JP2021133754A (ja) | 2021-09-13 |
JP7298509B2 JP7298509B2 (ja) | 2023-06-27 |
Family
ID=77659915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020030009A Active JP7298509B2 (ja) | 2020-02-26 | 2020-02-26 | 状態推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7298509B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140152792A1 (en) * | 2011-05-16 | 2014-06-05 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
JP2016523112A (ja) * | 2013-05-31 | 2016-08-08 | ディグニティー ヘルス | 神経疾患を検出するためのシステムおよび方法 |
JP2017023519A (ja) * | 2015-07-24 | 2017-02-02 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
US20170215784A1 (en) * | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Method and apparatus for recognizing fatigue affecting a driver |
JP2017224066A (ja) * | 2016-06-14 | 2017-12-21 | 大学共同利用機関法人自然科学研究機構 | わき見状態判定装置 |
JP2019195377A (ja) * | 2018-05-07 | 2019-11-14 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
JP2021077136A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 運転者状態検出装置 |
-
2020
- 2020-02-26 JP JP2020030009A patent/JP7298509B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140152792A1 (en) * | 2011-05-16 | 2014-06-05 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
JP2016523112A (ja) * | 2013-05-31 | 2016-08-08 | ディグニティー ヘルス | 神経疾患を検出するためのシステムおよび方法 |
JP2017023519A (ja) * | 2015-07-24 | 2017-02-02 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
US20170215784A1 (en) * | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Method and apparatus for recognizing fatigue affecting a driver |
JP2017224066A (ja) * | 2016-06-14 | 2017-12-21 | 大学共同利用機関法人自然科学研究機構 | わき見状態判定装置 |
JP2019195377A (ja) * | 2018-05-07 | 2019-11-14 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
JP2021077136A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 運転者状態検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7298509B2 (ja) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7342638B2 (ja) | 運転者状態検出装置 | |
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
KR20200113202A (ko) | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 | |
JP7459634B2 (ja) | ドライバ異常判定システム | |
JP2020024551A (ja) | 運転意識推定装置 | |
JP2021163345A (ja) | 運転支援装置及びデータ収集システム | |
JP7331728B2 (ja) | 運転者状態推定装置 | |
JP7331729B2 (ja) | 運転者状態推定装置 | |
Smirnov et al. | Smartphone-based two-wheeled self-balancing vehicles rider assistant | |
US20210316737A1 (en) | Driver abnormality determination apparatus, method and computer program | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP7099036B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7298509B2 (ja) | 状態推定装置 | |
JP2022047580A (ja) | 情報処理装置 | |
JP7318560B2 (ja) | 状態推定装置 | |
JP7298510B2 (ja) | 状態推定装置 | |
JP7298508B2 (ja) | 状態推定装置 | |
US20210316736A1 (en) | Driver abnormality determination apparatus, method and computer program | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
TW201510961A (zh) | 盲人用影像識別偵測器 | |
JP2022142984A (ja) | 運転支援装置及びコンピュータプログラム | |
JP2023022410A (ja) | 運転者状態判定方法及びその判定システム | |
JP2023022409A (ja) | 運転者状態判定方法及びその判定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7298509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |