JP2015207163A - 状態推定装置、および状態推定プログラム - Google Patents

状態推定装置、および状態推定プログラム Download PDF

Info

Publication number
JP2015207163A
JP2015207163A JP2014087512A JP2014087512A JP2015207163A JP 2015207163 A JP2015207163 A JP 2015207163A JP 2014087512 A JP2014087512 A JP 2014087512A JP 2014087512 A JP2014087512 A JP 2014087512A JP 2015207163 A JP2015207163 A JP 2015207163A
Authority
JP
Japan
Prior art keywords
state estimation
tendency
estimation device
state
fixation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014087512A
Other languages
English (en)
Inventor
崇治 小栗
Takaharu Oguri
崇治 小栗
平田 豊
Yutaka Hirata
豊 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Chubu University
Original Assignee
Denso Corp
Chubu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Chubu University filed Critical Denso Corp
Priority to JP2014087512A priority Critical patent/JP2015207163A/ja
Publication of JP2015207163A publication Critical patent/JP2015207163A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】監視対象者の状態を推定する状態推定装置において、監視対象者が視認すべき対象物を視認したかどうかを推定できる注意力推定システムを提供する。
【解決手段】監視対象者の視野内に監視対象者が視認すべき対象物が存在するか否かを判定し、現在における監視対象者の固視微動の傾向を表す固視微動傾向を取得しS315、S330、対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向を取得するS350、S380。そして、監視対象者の視野内に監視対象者が視認すべき対象物が存在する場合、固視微動傾向と非存在時傾向との差異を求め、該差異に基づいて監視対象者の状態を推定するS355、S385。
【選択図】図5

Description

本発明は、監視対象者の状態を推定する状態推定装置、および状態推定プログラムに関する。
上記の状態推定装置として、監視対象者の固視微動を監視し、固視微動の発生頻度がデータベースと一致するかどうかに応じて監視対象者の状態を推定するものが知られている(例えば、特許文献1参照)。
特許第5302193号公報
上記状態推定装置では、監視対象者が視認すべき対象物を視認したかどうかを推定することが難しいという問題点があった。そこで、このような問題点を鑑み、監視対象者の状態を推定する状態推定装置において、監視対象者が視認すべき対象物を視認したかどうかを推定できるようにすることを本発明の目的とする。
本発明の状態推定装置において、対象物判定手段は監視対象者の視野内に監視対象者が視認すべき対象物が存在するか否かを判定する。また、固視微動傾向取得手段は、現在における監視対象者の固視微動の傾向を表す固視微動傾向を取得し、非存在時傾向取得手段は、対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向を取得する。そして、状態推定手段は、監視対象者の視野内に監視対象者が視認すべき対象物が存在する場合、固視微動傾向と非存在時傾向との差異を求め、該差異に基づいて監視対象者の状態を推定する。
ここで、発明者らは、監視対象者の視野内に監視対象者が視認すべき対象物が存在したときに、監視対象者がこの対象物を視認するか否かによって監視対象者の固視微動の傾向が変化することを発見した。そこで、本発明では、現在における監視対象者の固視微動の傾向を表す固視微動傾向と対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向との差異を求め、この差異に基づいて監視対象者の状態を推定するようにしている。
このような状態推定装置によれば、固視微動の傾向に従って監視対象者の状態を推定するので、監視対象者が視認すべき対象物を視認したかどうかを推定することができる。なお、ここでいう「視認」とは、[1]視認すべき対象物に視線を向ける「注視」である必要は必ずしもなく、視野の一部において対象物を認知していること、[2]視認すべき対象物を認知するための準備・構えが出来ていること、を示す。
また、上記目的を達成するためには、コンピュータを、状態推定装置を構成する各手段として実現するための状態推定プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
本発明が適用された注意力推定システム1の概略構成を示すブロック図である。 制御部10(CPU11)が実行する注意力推定処理を示すフローチャートである。 注意力推定処理のうちの画像認識処理を示すフローチャートである。 注意力推定処理のうちの記録処理を示すフローチャートである。 注意力推定処理のうちの出力処理を示すフローチャートである。 視対象者の眼球の水平方向の角度を表す眼球水平角度を時系列に従ってサンプリングしたグラフ(a)、およびマイクロサッカード発生時の眼球水平角度の変化を示すグラフ(b)である。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
本発明が適用された注意力推定システム1は、乗用車等の車両(自車両)に搭載され、監視対象者となる運転者の眼球の固視微動に基づいて運転者の状態が視認すべき対象物を視認した状態であるか否かを認識し、運転者の状態が視認すべき対象物を視認していない状態である場合、警報を行うシステムである。
詳細には注意力推定システム1は、図1に示すように、制御部10、カメラ21、照明部22、舵角センサ25、車速センサ26、警報部31、位置検出部36、対象物検出部37、運転支援部40を備えている。
カメラ21は、車両の内部において運転者の前方に配置されており、運転者の眼球が撮像範囲内になるよう設定されている。例えば、カメラ21は運転者が装着するゴーグルの内部において配置され、顔の動きによらず眼球との位置関係が変化しないよう設定されている。
なお、カメラ21は、眼球の細かな動き(眼球の角度)を撮像できる構成であれば、上記のように配置されている必要はなく、例えば、撮像画像中に監視対象者の顔全体が含まれるように配置されてもよい。また、カメラ21は、運転者の眼球の固視微動であるマイクロサッカードを検出可能な周期(例えば200fps(フレーム毎秒)程度のフレームレート)と精度(例えば0.05度の角度差を検出可能な精度)で撮像可能な高速かつ高精度なカメラとして構成されている。
照明部22は、カメラ21のための補助光源として機能し、カメラ21の撮像範囲内となる運転者の顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ21による撮像周期と同期するよう、発光タイミングが制御部10によって制御されるよう構成されていてもよい。
舵角センサ25は、運転者のハンドル操作によるハンドル位置を検出するセンサであり、周知の舵角センサとして構成されている。舵角センサ25が検出する舵角は、制御部10にて認識されるよう設定されている。
車速センサ26は、自車両の走行速度を検出する周知の車速センサとして構成されている。車速センサ26は車速の検出結果を制御部10に送る。
警報部31は、音や光で運転者に注意を促すための構成であり、例えば、ヘッドアップディスプレイ(HUD)やメータに何らかのシンボルを表示させる構成も採用することができる。なお、警報部31は、制御部10からの指令を受けて作動する。
また、警報部31は、制御部10からの指令を受けて、運転者のシートに埋め込まれたバイブレータが作動することで警報したり、制御部10からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更することで警報したりするようにしてもよい。
位置検出部36は、自車両の現在地を検出する機能を有し、現在地の検出結果を位置情報として制御部10に送る。例えば、位置検出部36は、GPS(全地球測位システム)受信機として構成されていればよい。
対象物検出部37は、運転者の視野内にある移動物を検出し、移動物の情報を制御部10に送る。ここで、対象物検出部37は、例えば、自車両の前方を撮像するカメラおよび画像処理装置として構成されており、カメラによる撮像画像に含まれる各物体のオプティカルフローを求め、このオプティカルフローに基づいて移動物が存在するか否かを判定する。
この構成であれば、移動物の種別を特定する必要がなく、簡素な構成で移動物を検出することができる。なお、対象物検出部37は、撮像画像から例えばパターンマッチング等の手法を用いて移動物を特定してもよいし、対象物検出部37は、レーダ装置として構成され、反射波に基づいて移動物を検出するようにしてもよい。
運転支援部40は、自車両の運転者による運転動作を支援する運転支援装置として構成されている。例えば、運転支援部40は、自車両のアクセル、ブレーキ、操舵を制御する自動運転装置や、これらの一部を制御することで自車両が車線から逸脱することを抑制するレーンキープアシスト、或いは自車両の走行速度を予め設定された速度に制御するオートクルーズコントロール等の機能を実現する。
制御部10は、CPU11、およびROM、RAM等のメモリ12を備えた周知のコンピュータとして構成されている。CPU11は、メモリ12に記録されたプログラムに従って後述する各種処理を実施する。なお、制御部10は、運転支援部40の作動状態にかかわらず後述する注意力推定処理を実施してもよいし、運転支援部40の作動時だけに注意力推定処理を実施してもよい。
[本実施形態の処理]
このように構成された注意力推定システム1において、制御部10は、図2以下に示す注意力推定処理を実施する。注意力推定処理は、例えば注意力推定システム1の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。
この処理では、図2に示すように、まず、画像認識処理を実施する(S10)。画像認識処理は、カメラ21から取得した撮像画像から運転者(監視対象者)の眼球の細かな動きを検出する処理である。
画像認識処理では、図3に示すように、まず、カメラ21による撮像画像を取得する(S110)。続いて、撮像画像中の瞳孔を抽出する(S115)。この処理では、撮像画像内の黒い丸を瞳孔として抽出する。なお、撮像画像中に監視対象者の顔全体が含まれるようカメラ21を配置している場合には、撮像画像中の眼球の位置を検出し、その中の黒い丸を瞳孔として抽出して位置を記録する。
続いて、角膜反射像を抽出する(S120)。角膜反射像は、瞳孔内において光源から
の光が角膜によって反射された反射光であり、撮像画像中では白い点となる。この白い点の位置を記録する。
そして、瞳孔の位置と角膜反射像の位置との位置関係(それぞれの位置・角度、相対距離等)に従って、視線角度を演算する(S125)。ここでの視線角度は、車両の左右方向と概ね一致する水平方向と、水平方向とは直交する垂直方向との両方を意味する。
続いて、演算した視線角度をメモリ12に保存し(S130)、視線角加速度を演算する(S135)。視線角加速度は、メモリ12に保存された過去数フレーム分(各加速度を求めるために十分なフレーム数であり、例えば10フレーム分等)の視線角度を利用して、視線角度の変化量を時間で除することで求める。
そして、瞬目(瞬き)についても抽出する(S140)。瞬目については、例えば瞳孔が抽出できない場合に瞬目を行っていると認識する。また、上瞼の曲率半径に基づいて瞬目の判断を行ってもよい。
また、瞬目については、その時刻がメモリ12に記録される。S140の処理が終了すると、画像認識処理を終了する。
次に、図2に戻り、マイクロサッカードを抽出する(S15)。この処理では、視線角加速度が基準角速度(例えば、1200deg/s2)以上であり、かつ視線の移動距離(視線角度の変化が開始してから停止するまでの視線角度の差)が基準距離(例えば、2deg)未満である条件を満たした場合、マイクロサッカードが発生したものとする(図6(b)参照)。
つまり、この処理では、運転者の意図しない十分小さな視線角度の変化であって、かつ視線角速度の大きなものをマイクロサッカードとして抽出している。続いて、位置情報を取得する(S20)。この処理では、位置検出部36によって検出された自車両の現在地の情報を取得する。
続いて、潜在危険位置を抽出する(S25)。ここで、潜在危険位置とは、例えば、ブラインドコーナー、左右の確認が困難な交差点、或いは事故が多い場所等、自車両の走行に支障を来す虞がある場所を示し、この潜在危険位置は、メモリ12において予め記録されている。そして、この処理では、自車両の現在地の付近(例えば半径100m以内等)に存在する潜在危険位置の情報をメモリ12から読み出す。
続いて、対象物情報を取得する(S30)。この処理では、対象物検出部37によって検出された対象物の情報を取得する。
そして、車両情報を取得する(S35)。ここでの車両情報は、例えば、自車両の速度、舵角等、自車両の走行状態や走行環境を特定するための情報を示す。また、車両情報には、警告灯(ダイアグ)の点灯状態の情報も含む。
続いて、対象物の移動方向を判定する(S40)。この処理では、前回の処理の際に検出された対象物の位置の情報等を用いて、対象物の移動方向を特定する。そして、対象物の移動方向が、例えば、対象物が自車両の走行領域外に位置し、かつ自車両の進行方向の中心から遠ざかる方向に移動している場合には、この対象物が存在しないものとして取り扱う。
続いて、自車両の走行状態や走行環境が、予め設定された複数の分類のうちの何れの分類に属するかを判定し、この判定結果に応じて記録条件Ci(i=1,2,…,I)を設定する(S45)。例えば、自車両の走行状態や走行環境は、自車両が、高速で走行して
いるか否か、低速で走行しているか否か、停車しているか否か、旋回中であるか否か、警告灯が点灯しているか否か、高速道路を走行しているか、幹線道路を走行しているか、一般道を走行しているか等によって分類すればよい。これらの分類に応じて対応する記録条件Ciを設定する。
続いて、記録処理を実施する(S50)。記録処理は、マイクロサッカードの発生状況をその他の条件と対応付けて記録させる処理である。
記録処理では、図4に示すように、監視対象者の視野内に対象物または潜在危険位置が存在するか否かを判定する(S210)。なお、本処理では、潜在危険位置の情報が読み出されていれば、潜在危険位置が存在するものと判定する。
監視対象者の視野内に対象物または潜在危険位置が存在していれば(S210:YES)、注視フラグをセットし(S215)、後述するS225の処理に移行する。また、監視対象者の視野内に対象物または潜在危険位置が存在していなければ(S210:NO)、注視フラグを解除する(S220)。
そして、マイクロサッカード情報をメモリ12に記録させる(S225)。ここで、マイクロサッカード情報には、前回S225の処理が実施されてから今回の処理までにマイクロサッカードが発生したか否かの情報や、マイクロサッカードが発生した場合、その発生時刻等の情報が含まれる。マイクロサッカード情報は、注視フラグの状態や記録条件Ciとともに、これらに対応付けて記録される。
このような処理が終了すると、図2に戻り、出力処理を実施する(S55)。出力処理は、マイクロサッカードの発生傾向に基づいて運転者が対象物を視認したか否かを判定し、運転者が対象物を視認していない場合に警報を実施する処理である。
出力処理では、図5に示すように、まず、メモリ12に蓄積されたマイクロサッカード情報のデータ総量と予め設定されたデータ基準量とを比較する(S310)。ここで、データ基準量は、運転者が対象物を視認したか否かを判定するための必要最低限のデータ量を示す。
データ総量がデータ基準量未満であれば(S310:NO)、データ量が不十分であるとして、判定を行うことなく出力処理を終了する。また、データ総量がデータ基準量以上であれば(S310:YES)、データ量が充分であるものとして、以下の処理を実施する。
すなわち、マイクロサッカード発生率Xを演算する(S315)。この処理では、記録条件Ciに拘わらず、現在から過去に向かって一定時間内(例えば60秒間程度)のマイクロサッカード発生回数をカウントし、この発生回数をこの一定時間で除することで求める。例えば、図6(A)に示すように、マイクロサッカードの発生時刻(▽印)はマイクロサッカード情報としてメモリ12に記録されているので、現在から過去に向かって一定時間内に含まれるマイクロサッカードの発生時刻を読み出すことでマイクロサッカード発生回数をカウントすることができる。
続いて、現在の車両状態や車両環境に対応する記録条件Ci(S45の処理で設定された記録条件Ci)のデータ量とデータ基準量とを比較する(S320)。ここでのデータ基準量は、S310の処理にて説明したデータ基準量と同値であってもよいし、異なる値であってもよい。
記録条件Ciのデータ量がデータ基準量以上であれば(S320:YES)、マイクロ
サッカード発生率Xciを演算する(S330)。この処理では、現在設定されている記録条件Ciについてマイクロサッカードに関するデータのみについて、現在から過去に向かって一定時間分(例えば60秒間程度)のデータを抽出し、これらのデータについてマイクロサッカード発生回数をカウントし、この発生回数をこの一定時間で除することで求める。
続いて、現在を基準に基準時間以内に注視フラグがセットされたか否かを判定する(S335)。基準時間以内(例えば5秒間程度)に注視フラグがセットされていなければ(S335:NO)、対象物が存在しない場合におけるマイクロサッカードの平均発生率Xaを更新する(S340)。つまり、S315の処理にて算出された発生率X(記録条件Ciで分類しないもの)を含む過去において算出された発生率Xの平均値を平均発生率Xaとしてメモリ12に記録させる。
続いて、対象物が存在しない場合におけるマイクロサッカードの平均発生率Xciaを更新する(S345)。つまり、S330の処理にて算出された発生率Xci(記録条件Ciで分類されたもの)を含む過去において算出された発生率Xciの平均値を平均発生率Xciaとしてメモリ12に記録させる。このような処理が終了すると、出力処理を終了する。
また、S335の処理において、基準時間以内に注視フラグがセットされていれば(S335:YES)、選択された記録条件Ciに対応する平均発生率Xciaを取得し(S350)、最新のマイクロサッカード発生率Xciと平均発生率Xciaとを比較する(S355)。
最新のマイクロサッカード発生率Xciが平均発生率Xciaよりも大きければ(S355:YES)、運転者が対象物を視認したものとして出力処理を終了する。また、最新のマイクロサッカード発生率Xciが平均発生率Xcia以下であれば(S355:NO)、運転者が対象物を視認していない虞があるものとして、警報部31に警報を行うよう指示し(S400)、出力処理を終了する。
ところで、S320の処理にて、記録条件Ciのデータ量がデータ基準量未満であれば(S320:NO)、S335の処理と同様に、現在を基準に基準時間以内に注視フラグがセットされたか否かを判定する(S370)。基準時間以内に注視フラグがセットされていなければ(S370:NO)、S340の処理と同様に、対象物が存在しない場合におけるマイクロサッカードの平均発生率Xaを更新する(S375)。このような処理が終了すると、出力処理を終了する。
また、S370の処理において、基準時間以内に注視フラグがセットされていれば(S335:YES)、平均発生率Xaを取得し(S380)、最新のマイクロサッカード発生率Xと平均発生率Xaとを比較する(S385)。
最新のマイクロサッカード発生率Xが平均発生率Xaよりも大きければ(S385:YES)、運転者が対象物を視認したものとして出力処理を終了する。また、最新のマイクロサッカード発生率Xが平均発生率Xa以下であれば(S385:NO)、運転者が対象物を視認していない虞があるものとして、警報部31に警報を行うよう指示し(S400)、出力処理を終了する。
このような出力処理が終了すると、注意力推定処理を終了する。
[本実施形態による効果]
以上のように詳述した注意力推定システム1において制御部10は、監視対象者の視野内に監視対象者が視認すべき対象物が存在するか否かを判定する。また、制御部10は、
現在における監視対象者の固視微動の傾向を表す固視微動傾向を取得し、対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向を取得する。そして、監視対象者の視野内に監視対象者が視認すべき対象物が存在する場合、固視微動傾向と非存在時傾向との差異を求め、該差異に基づいて監視対象者の状態を推定する。
すなわち、図6(a)に示すように、監視対象者の視野内に監視対象者が視認すべき対象物が存在しないときよりも、対象物が存在し監視対象者がこの対象物を視認した場合に、監視対象者の固視微動(マイクロサッカード)の傾向が変化(増加)する傾向があることを利用している。つまり、監視対象者の視野内に監視対象者が視認すべき対象物が存在するにも拘わらず、監視対象者の固視微動(マイクロサッカード)の傾向が変化(増加)しない場合には、監視対象者が対象物を視認していない虞があると推定できる。
このような注意力推定システム1によれば、固視微動の傾向に従って監視対象者の状態を推定するので、監視対象者が視認すべき対象物を視認したかどうかを推定することができる。
また、注意力推定システム1において制御部10は、固視微動の傾向としてマイクロサッカードの発生頻度を取得し、固視微動傾向として取得されるマイクロサッカードの発生頻度が非存在時傾向として取得されるマイクロサッカードの発生頻度よりも高い値になっている場合に、監視対象者が対象物を視認した状態であると推定する。
このような注意力推定システム1によれば、監視対象者が対象物を認識したときにマイクロサッカードの発生頻度が増加する傾向があることを利用しているので、監視対象者が対象物を視認した状態であることを良好に推定することができる。
また、注意力推定システム1において制御部10は、対象物として移動物が存在するか否かを判定する。
このような注意力推定システム1によれば、歩行者や他車両等、監視対象者が視認すべき移動物の有無に応じて監視対象者の状態を推定することができる。
また、注意力推定システム1において制御部10は、予め設定された潜在的な危険が存在する潜在危険位置に注意力推定システム1が接近したか否かを判定し、潜在危険位置に注意力推定システム1が接近した場合に、対象物が存在するものと取り扱う。
このような注意力推定システム1によれば、対象物が検出されていない場合であっても、潜在危険位置に接近していれば対象物が存在するものとして取り扱うことができる。なお、「潜在危険位置」としては、例えば、移動物が飛び出す可能性がある場所、転落する可能性がある崖等が挙げられる。
また、注意力推定システム1においては、車両に搭載されており、制御部10は、車両の運転者を監視対象者として監視する。
このような注意力推定システム1によれば、車両運転中の運転者の状態を推定することができる。なお、上記実施形態のように、自動運転等の運転支援を行う際には、運転者が運転支援部40を過信してしまうことがあり、運転者の覚醒状態が不安定になりがちであるが、注意力推定システム1においては、このような場合であっても運転者の状態を良好に監視することができる。
また、注意力推定システム1において制御部10は、固視微動傾向と非存在時傾向との差異に基づいて運転者が対象物を視認したか否かを判定し、運転者が対象物を視認していないと判定された場合に、運転者に対して警報を行う。
このような注意力推定システム1によれば、運転者が対象物を視認していないときに警報を行うことができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
例えば、上記実施形態においては、対象物検出部37が、移動物や潜在的な危険を示す位置に接近したときに対象物が存在するものとして処理を行ったが、予め設定された潜在的な危険を形成する物体(例えば、交差点と背の高い壁面との組み合わせ、崖、道路上の窪みや穴等、移動の支障となるもの)をパターンマッチング等の手法を用いて検出し、このような潜在的な危険を形成する物体が存在する場合、対象物が存在すると判定してもよい。また、このときの対象物は移動物に限らない。
また、対象物検出部37が認識する対象物は自車両外のものに限られない。例えば、警告灯等、自車両内において運転者が認識すべきものを対象物として認識してもよい。
また、上記実施形態においては、マイクロサッカードの発生の有無に応じて処理を行ったが、マイクロサッカード以外の固視微動を利用してもよい。また、上記実施形態においては、固視微動の頻度に基づいて運転者の状態を判断したが、対象物の位置と視線移動方向(マイクロサッカードの跳躍方向)を示すベクトルとの関係等の情報に基づいて運転者の状態を判断してもよい。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態の注意力推定システム1のうちの制御部10は、本発明でいう状態推定装置に相当する。また、上記実施形態において制御部10が実施する処理のうちのS210の処理は、本発明でいう対象物判定手段に相当し、上記実施形態におけるS315、S330の処理は、本発明でいう固視微動傾向取得手段に相当する。
さらに、上記実施形態におけるS350、S380の処理は、本発明でいう非存在時傾向取得手段に相当し、上記実施形態におけるS355、S385の処理は、本発明でいう状態推定手段に相当する。また、上記実施形態におけるS400の処理は、本発明でいう警報手段に相当する。
1…注意力推定システム、10…制御部、11…CPU、12…メモリ、21…カメラ、22…照明部、25…舵角センサ、26…車速センサ、31…警報部、36…位置検出部、37…対象物検出部、40…運転支援部。

Claims (7)

  1. 監視対象者の眼球の固視微動に基づいて前記監視対象者の状態を推定する状態推定装置(注意力推定システム1)であって、
    前記監視対象者の視野内に前記監視対象者が視認すべき対象物が存在するか否かを判定する対象物判定手段(S210)と、
    現在における前記監視対象者の固視微動の傾向を表す固視微動傾向を取得する固視微動傾向取得手段(S315、S330)と、
    前記対象物が存在しないときにおける前記監視対象者の固視微動の傾向を表す非存在時傾向を取得する非存在時傾向取得手段(S350、S380)と、
    前記監視対象者の視野内に前記監視対象者が視認すべき対象物が存在する場合、前記固視微動傾向と前記非存在時傾向との差異を求め、該差異に基づいて前記監視対象者の状態を推定する状態推定手段(S355、S385)と、
    を備えたことを特徴とする状態推定装置。
  2. 請求項1に記載の状態推定装置において、
    前記固視微動傾向取得手段および前記非存在時傾向取得手段は、前記固視微動の傾向としてマイクロサッカードの発生頻度を取得し、
    前記状態推定手段は、前記固視微動傾向として取得されるマイクロサッカードの発生頻度が前記非存在時傾向として取得されるマイクロサッカードの発生頻度よりも高い値になっている場合に、前記監視対象者が前記対象物を視認した状態であると推定すること
    を特徴とする状態推定装置。
  3. 請求項1または請求項2に記載の状態推定装置において、
    前記対象物判定手段は、前記対象物として移動物が存在するか否かを判定すること
    を特徴とする状態推定装置。
  4. 請求項1〜請求項3の何れか1項に記載の状態推定装置において、
    前記対象物判定手段は、予め設定された潜在的な危険が存在する潜在危険位置に当該状態推定装置が接近したか否かを判定し、前記潜在危険位置に当該状態推定装置が接近した場合に、前記対象物が存在するものと取り扱うこと
    を特徴とする状態推定装置。
  5. 請求項1〜請求項4の何れか1項に記載の状態推定装置において、
    当該状態推定装置は車両に搭載されており、
    当該車両の運転者を前記監視対象者として監視すること
    を特徴とする状態推定装置。
  6. 請求項5に記載の状態推定装置において、
    前記状態推定手段は、前記固視微動傾向と前記非存在時傾向との差異に基づいて前記運転者が前記対象物を視認したか否かを判定し、
    前記運転者が前記対象物を視認していないと判定された場合に、前記運転者に対して警報を行う警報手段(S400)、を備えたこと
    を特徴とする状態推定装置。
  7. コンピュータを、請求項1〜請求項6の何れか1項に記載の状態推定装置を構成する各手段として機能させるための状態推定プログラム。
JP2014087512A 2014-04-21 2014-04-21 状態推定装置、および状態推定プログラム Pending JP2015207163A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014087512A JP2015207163A (ja) 2014-04-21 2014-04-21 状態推定装置、および状態推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014087512A JP2015207163A (ja) 2014-04-21 2014-04-21 状態推定装置、および状態推定プログラム

Publications (1)

Publication Number Publication Date
JP2015207163A true JP2015207163A (ja) 2015-11-19

Family

ID=54603914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014087512A Pending JP2015207163A (ja) 2014-04-21 2014-04-21 状態推定装置、および状態推定プログラム

Country Status (1)

Country Link
JP (1) JP2015207163A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017023519A (ja) * 2015-07-24 2017-02-02 株式会社デンソー 状態推定装置および状態推定プログラム
JP2017199279A (ja) * 2016-04-28 2017-11-02 トヨタ自動車株式会社 運転意識推定装置
CN109747649A (zh) * 2017-11-03 2019-05-14 株式会社万都 基于驾驶者状态的车辆控制系统及方法
JP2019111291A (ja) * 2017-12-26 2019-07-11 日本電信電話株式会社 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
JP2020199166A (ja) * 2019-06-12 2020-12-17 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP2020199165A (ja) * 2019-06-12 2020-12-17 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
CN112888614A (zh) * 2018-11-23 2021-06-01 宝马股份公司 用于自动驾驶车辆的驾驶辅助系统和用于引导自动驾驶车辆的方法
WO2022014354A1 (ja) 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
WO2022014353A1 (ja) 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2022014352A1 (ja) 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JPH11276461A (ja) * 1998-03-27 1999-10-12 Suzuki Motor Corp 注意力測定装置及びこれを用いた情報提示装置
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
JP2008531142A (ja) * 2005-03-04 2008-08-14 スリープ・ダイアグノスティックス・プロプライアタリー・リミテッド 覚醒の測定
JP2012103849A (ja) * 2010-11-09 2012-05-31 Denso Corp 情報提供装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JPH11276461A (ja) * 1998-03-27 1999-10-12 Suzuki Motor Corp 注意力測定装置及びこれを用いた情報提示装置
JP2008531142A (ja) * 2005-03-04 2008-08-14 スリープ・ダイアグノスティックス・プロプライアタリー・リミテッド 覚醒の測定
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
JP2012103849A (ja) * 2010-11-09 2012-05-31 Denso Corp 情報提供装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
和久井秀樹 平田豊: "サッカード運動を指標とした覚醒低下検知", 生体医工学, vol. 51巻,6号, JPN6018010299, 28 March 2014 (2014-03-28), JP, pages 328 - 341, ISSN: 0003886437 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017023519A (ja) * 2015-07-24 2017-02-02 株式会社デンソー 状態推定装置および状態推定プログラム
JP2017199279A (ja) * 2016-04-28 2017-11-02 トヨタ自動車株式会社 運転意識推定装置
US10640122B2 (en) 2016-04-28 2020-05-05 Toyota Jidosha Kabushiki Kaisha Driving consciousness estimation device
CN109747649A (zh) * 2017-11-03 2019-05-14 株式会社万都 基于驾驶者状态的车辆控制系统及方法
CN109747649B (zh) * 2017-11-03 2023-05-23 汉拿科锐动电子股份公司 基于驾驶者状态的车辆控制系统及方法
JP2019111291A (ja) * 2017-12-26 2019-07-11 日本電信電話株式会社 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
CN112888614A (zh) * 2018-11-23 2021-06-01 宝马股份公司 用于自动驾驶车辆的驾驶辅助系统和用于引导自动驾驶车辆的方法
JP2020199165A (ja) * 2019-06-12 2020-12-17 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP7131490B2 (ja) 2019-06-12 2022-09-06 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP7131491B2 (ja) 2019-06-12 2022-09-06 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP2020199166A (ja) * 2019-06-12 2020-12-17 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
WO2022014354A1 (ja) 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
WO2022014353A1 (ja) 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
WO2022014352A1 (ja) 2020-07-17 2022-01-20 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム

Similar Documents

Publication Publication Date Title
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
EP3735365B1 (en) Primary preview region and gaze based driver distraction detection
JP6273823B2 (ja) 状態推定装置、および状態推定プログラム
EP1721782B1 (en) Driving support equipment for vehicles
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
JP4926437B2 (ja) 車両の運転支援装置
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6578784B2 (ja) 状態推定装置および状態推定プログラム
JP4647387B2 (ja) 車両の運転支援装置
JP6090129B2 (ja) 視認領域推定装置
JP2016057839A (ja) 顔向き検出装置及び車両用警告システム
JP6926636B2 (ja) 状態推定装置
JPWO2016151638A1 (ja) ドライバ支援システム
JP2013105263A (ja) 車両の覚醒度検出装置及び車両の警報装置
US11472429B2 (en) Vehicle controller
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
CN112119438A (zh) 车辆用后侧方警报装置和车辆用后侧方警报方法
JP2015085719A (ja) 注視対象物推定装置
JP6296684B2 (ja) 運転支援装置
JPH0796768A (ja) 前方注視度検知装置
JP2019154929A (ja) 算出システム、指標算出方法、およびコンピュータプログラム
JP2008084219A (ja) 前方カーブ警報装置
JP4270010B2 (ja) 物体危険判定装置
JP4345526B2 (ja) 物体監視装置
JP2018094294A (ja) 状態推定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181002