JP2023027699A - ドライバー状態判定装置 - Google Patents

Abstract

【課題】ドライバー状態判定装置において、より高精度なドライバー異常状態判定技術を提供する。【解決手段】本発明のドライバー状態判定装置２０１は、車両を運転中のドライバーの状態を判定するものであり、ドライバーによる車両の運転状況を取得する運転状況取得部２０９と、ドライバーの状態を検出する画像処理部２０８と、ドライバーの状態と予め設定された判定閾値とを比較してドライバーの状態が異常か否かを判定する状態判定部２１０とを有する。そして、状態判定部２１０では、ドライバーの状態と車両の運転状況との関係に基づいて、判定閾値を補正することを特徴とする。【選択図】図１

Description

本発明は、ドライバーの異常状態を判定するドライバー状態判定装置に関する。

車両を運転中に、ドライバーの状態が漫然、居眠り、急病等の異常状態にあると、ドライバーは車両を適切に運転することが出来ず、事故を引き起こす可能性が高まる。そのため、自車両及び他車両の安全を確保するべく、ドライバーの異常状態を検出する装置が従来より提案されている。

特許第６４４２９４２号公報

特許文献１では、ドライバーの顔の部品から、ドライバーの異常状態を判定している。ドライバーの眼や呼吸で異常状態を判定しているため、ドライバー個人の運転状況から判定可能なドライバーの漫然運転等の不適切な運転を見逃す可能性がある。

本発明では、顔から得られる情報だけでなく、ドライバー個人の運転状況からドライバーの異常状態を判定する。本発明の目的は、ドライバーの異常状態をより正確に分析し、ドライバーにとって最も適切なアクションを提供することとドライバーの安全意識の向上である。

上記課題を解決する本発明のドライバー状態判定装置は、車両を運転中のドライバーの状態を判定するドライバー状態判定装置であって、前記ドライバーによる前記車両の運転状況を取得する運転状況取得部と、前記ドライバーの状態を検出するドライバー状態検出部と、該ドライバーの状態と予め設定された判定閾値とを比較して前記ドライバーの状態が異常か否かを判定する状態判定部と、を有し、該状態判定部では、前記ドライバーの状態と前記車両の運転状況との関係に基づいて、前記判定閾値を補正することを特徴とする。

本発明によれば、ドライバーの状態を常に監視し、高精度にドライバーの異常状態を判定することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ドライバー状態判定装置の構成を示す機能ブロック図。 ドライバーの異常状態を検出する処理手順を示すフローチャート。

以下、実施例について、図面を用いて説明する。
図１は、本発明が適用される本実施形態におけるドライバー状態判定装置の構成を示す機能ブロック図である。

ドライバー状態判定装置２０１は、例えば先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）を有する車両に搭載されており、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０２を備えている。ＥＣＵ２０２には、遠赤外カメラ２０３の情報、近赤外カメラ２０４の情報、ドライバーによるアクセルペダルとブレーキペダルとステアリングの操作情報であるアクセル情報２０５、ブレーキ情報２０６、ハンドル情報２０７が入力される。

ドライバー状態判定装置２０１は、車両を運転中のドライバーの状態、特にドライバーの状態が異常であるか否かを判定する。ドライバーの状態が異常とは、ドライバーが適切な認識、判断及び操作を実施することができない状態のことである。例えば、漫然、居眠り、体調異常等がドライバーの異常状態に該当する。ドライバー状態判定装置２０１は、ドライバーの顔の情報に加えて、ドライバーによる車両の運転状況、及び地図情報からそのドライバーの異常状態を判定することを特徴としている。

遠赤外カメラ２０３は、遠赤外線領域に感度を有するカメラであり、遠赤外カメラ２０３から生成される遠赤外画像は撮影対象の温度分布を表すことができる。近赤外カメラ２０４は、近赤外線領域に感度を有するカメラであり、近赤外カメラ２０４から生成される近赤外画像は、ドライバーの顔の部品の情報を取得するために用いられる。遠赤外カメラ２０３及び近赤外カメラ２０４は、運転シートに着座した際のドライバーの顔領域を含む領域の画像を逐次撮影する。

アクセル情報２０５では、車両の急発進の有無を伝達する。アクセルペダルから取得したペダルの踏力及び踏速から計算された加速度が基準値を超えた場合、急発進と判断する。ブレーキ情報２０６では、車両の急ブレーキの有無を伝達する。ブレーキペダルから取得したペダルの踏力及び踏速から計算された加速度が基準値を超えた場合、急ブレーキと判定する。ハンドル情報２０７では、車両の急ハンドルの有無を伝達する。ステアリングホイールから取得した角速度により操舵角を検出し、操舵角が基準値を超えた場合、急ハンドルと判定する。アクセル情報２０５、ブレーキ情報２０６、ハンドル情報２０７は、ドライバーによる車両の運転状況を判断するのに用いられる。

ＥＣＵ２０２には、内部機能として、画像処理部２０８、運転状況取得部２０９、状態判定部２１０、過去運転データ記憶部２１１、ドライバー情報記憶部２１２、及びアクチュエーション判定部２１３が備わっている。これらの内部機能は、ＣＰＵやメモリなどのハードウエアと、メモリに格納されＣＰＵで実行されるソフトウエアプログラムとの協働によって具現化される。

画像処理部２０８は、遠赤外カメラ２０３により撮影された遠赤外画像と、近赤外カメラ２０４により撮影された近赤外画像とを取得し、これらの画像を画像処理することによりドライバーの状態を検出する。画像処理部２０８では、近赤外カメラ２０４で撮像された画像からドライバーの顔の部品を認識し、遠赤外カメラ２０３により所定期間に撮影された遠赤外画像から、ドライバーの呼吸状態及び瞬目状態を検出する。画像処理部２０８は、特許請求の範囲におけるドライバーの状態を検出するドライバー状態検出部に相当する。

運転状況取得部２０９は、アクセル情報２０５、ブレーキ情報２０６、ハンドル情報２０７を取得し、これらの情報に基づいて運転状況を判断する。そして、運転状況として、急加速、急ブレーキ、急ハンドルなどの危険運転が行われたとの判断結果の情報は、ドライバーによる車両の運転状況の情報として、その危険運転が行われた場所の情報と共に、状態判定部２１０と過去運転データ記憶部２１１に送信される。

状態判定部２１０は、ドライバーの状態と予め設定された判定閾値とを比較してドライバーの状態が異常か否かを判定する。ドライバーの状態が正常の場合、呼吸の周期及び深さは一定値となる。一方、ドライバーが異常状態の場合、呼吸の周期及び深さは正常状態から変化して不安定に変動する。状態判定部２１０は、画像処理部２０８により検出したドライバーの呼吸周期の変動や呼吸の深さの変動に基づき、ドライバーの異常状態を判定する。また、瞬目周期の変動、平均閉眼時間の変動、半眼状態の継続等の開眼度の変動に基づき、ドライバーの状態が異常状態であるか否かを判定する。開眼度は、眼探索領域内の明暗の内、暗い部分の領域の面積から求められる。状態判定部２１０は、異常状態であると判定した場合は、異常状態と判断した内容とその場所の情報を、過去運転データ記憶部２１１に送信する。

状態判定部２１０は、ドライバーの状態と、車両の運転状況との関係に基づいて判定閾値を更新（補正）する処理を行う。例えば、ドライバーの状態が正常であると判定されたときの、車両の運転状況が危険運転であったときは、それを学習してドライバーの状態が異常であると判定されるように判定閾値を補正する。また、ドライバーの状態が異常であると判定されたときの、車両の運転状況が正常運転であったときは、それを学習してドライバーの状態が正常であると判定されるように判定閾値を補正する。これにより、普段から半目状態のドライバーや、他人よりも呼吸の周期及び深さが不安定に変動するドライバーの場合に、そのドライバーにとっては正常状態であっても、異常状態であると誤判定されてアクチュエーション制御が行われるのを防ぐことができる。つまり、ドライバー個人の特徴に適合するように学習して判定閾値を補正することができ、高精度にドライバーの異常状態を判定することができる。

また、状態判定部２１０は、現在の運転状況と過去の運転状況に基づいてドライバーの状態が異常であるか否かを判定してもよい。状態判定部２１０は、地図情報２１４から走行道路の情報を取得し、過去運転データ記憶部２１１の異常状態情報と比較をして、ドライバーの異常状態を判定してもよい。状態判定部２１０は、過去運転データ記憶部２１１の情報と現在の地図情報２１４及びドライバーの状態が類似するとき、要注意と判定する。具体的には、過去に急発進及び急ブレーキ及び急ハンドルを検出したときのドライバーの状態と地図情報２１４を蓄積し、現在のドライバーが同じ状態にある場合に、異常の可能性があると判定する。

例えば、過去に危険運転が行われた場所を要注意履歴として過去運転データ記憶部２１１に記憶しておき、その場所に近づいたときに、要注意と判定してもよい。そして、過去に記憶した急発進時、急ブレーキ操作時、急ハンドル操作時、車線逸脱時のドライバーの状態と、現在のドライバーの状態が類似するときは要注意と判定してもよい。

また、状態判定部２１０は、近赤外カメラ２０４および遠赤外カメラ２０３により撮像される画像にドライバーの顔が撮像されていない場合に、ドライバーの状態が異常であると判定してもよい。また、ドライバーの状態を判断するものとしては、カメラで撮像された画像のみに限定されない。例えば、運転者の心拍数、血中酸素濃度、顔色を判断に考慮してもよい。

過去運転データ記憶部２１１は、ドライバー個人の過去の運転情報を含む固有情報を記憶する。過去運転データ記憶部２１１は、ドライバーの状態と車両の運転状況とを関連づけてドライバー個人の情報として記憶する。ここでは、状態判定部２１０によってドライバーの状態が異常であると判断されたときの車両の運転状況が記憶される。また、ドライバーの状態が異常であると判断されたときの車両の位置情報、及び車両を運転中に危険な運転状況となった位置の情報も地図情報２１４として一緒に関連づけて格納する。

アクチュエーション判定部２１３では、ドライバーに覚醒を促し、あるいは、注意を喚起するために、スピーカー２１５やナビ画面２１６等の制御判定が行われる。例えば、スピーカー２１５から警報音を発生させ、ナビ画面２１６に警告画面を表示させることができる。また、アクチュエーション判定部２１３は、異常状態が継続する場合には、アクチュエーション部２１８の車両緊急停止装置２１７へ制御信号を送信し、緊急車両停止制御を実行させることができる。

アクチュエーション部２１８には、ドライバーの覚醒を促す少なくとも１つの装置（スピーカー２１５、ナビ画面２１６、車両緊急停止装置２１７）が含まれていればよい。また、ドライバーの覚醒を促す装置は、スピーカー２１５、ナビ画面２１６に限らず、他の装置でもよい。

アクチュエーション判定部２１３は、過去運転データ記憶部２１１の情報と現在の地図情報２１４及びドライバー状態を比較することで、要注意か否かを判定する。例えば、過去運転データ記憶部２１１の情報と現在の地図情報２１４及びドライバー状態が類似するとき、要注意と判定する。また、過去に急発進及び急ブレーキ及び急ハンドルが作動したときのドライバーの状態と地図情報２１４を蓄積し、現在のドライバーが同じ状況にある場合、異常の可能性があることを警告する。

ドライバー情報記憶部２１２には、ドライバー個人の顔の部品情報と判定閾値とが保存されており、状態判定部２１０によって過去にドライバーの状態が異常と判定されたときの車両の運転操作情報と関連づけて記憶されている。過去運転データ記憶部２１１には、ドライバーの顔情報、運転操作情報、地図情報２１４のデータが蓄積されている。ドライバー情報記憶部２１２に記憶されているデータを用いて、ドライバー個人に対応したドライバー状態判断処理が行われる。

図２は、ドライバーの異常状態を検出する処理手順を示すフローチャートである。
まず、ドライバーの登録情報を取得する（Ｓ１０１）。ここでは、ドライバー情報記憶部２１２から、運転を行うドライバーの情報を、撮像画像や、運転者の入力等の固有情報に基づいて読み出す。そして、過去運転データ記憶部２１１から、ドライバーの情報に紐づいた過去の運転情報を取得する（Ｓ１０２）。

次に、顔の部品を検出する（Ｓ１０３）。ここでは、近赤外カメラ２０４により撮影された近赤外画像の取得と、遠赤外カメラ２０３により撮影された遠赤外画像の取得が行われる。そして、近赤外画像から、顔の部品を認識し、顔の部品の位置情報を取得する。検出した顔の部品の配置に基づき、顔の位置及び顔向きを検出する。検出した顔の位置が遠赤外画像内に入らない位置の場合は、遠赤外画像に基づいた処理は実行しない。

そして、現在の運転状況を検出する（Ｓ１０４）。現在の運転情報は、常に監視し、異常状態時は過去運転データ記憶部２１１に格納する。アクセル情報２０５及びブレーキ情報２０６の異常状態は、ペダル加速度より求められ、例えば正常状態時のペダル加速度の７０％以上の加速度を検知したときに、急発進及び急ブレーキと判定する。ハンドル情報２０７の異常状態は、操舵角より求められ、地図情報２１４から道路情報を取得し、例えば直進の場合は正常状態時の操舵角＋６０度を超えたとき、交差点の場合は正常状態時の操舵角＋１８０度を超えたときに、急ハンドルと判定する。

そして、現在の運転状況と過去の運転状況を比較する（Ｓ１０５）。
次に、状態判定部２１０は、ドライバーの状態と、予め設定された判定閾値とを比較してドライバーの状態が異常か否かを判定する（Ｓ１０６）。

例えば、Ｓ１０３において近赤外画像から鼻が検出された場合、取得した遠赤外画像から呼吸状態の検出を行う。また、近赤外画像から眼が検出された場合、取得した遠赤外画像から開眼度の検出を行う。状態判定部２１０は、検出した呼吸周期及び瞬目周期に基づいて、ドライバーの異常状態を判定する。例えば、正常状態時の呼吸周期及び瞬目周期を学習しておき、検出した呼吸周期が正常状態時よりも２０％（判定閾値）以上差がある場合、または検出した瞬目周期が正常状態時よりも２０％（判定閾値）以上大きい場合に、ドライバーが異常状態と判定する。なお、呼吸状態を検出していない場合は、瞬目状態のみに基づいてドライバーの異常状態を判定する。

判定結果が異常状態である場合は、過去運転データ記憶部２１１に、取得した情報を格納し、アクチュエーション部２１８の各装置２１５～２１７に対してアクチュエーション制御を実行する（Ｓ１０７、Ｓ１０８）。

現在のドライバーの瞬目周期及び呼吸周期及び顔の向き等で異常状態を判定した場合、他のドライバーでは異常判定されることあるが、該当のドライバーの場合、過去の運転情報から異常状態ではないと判定できる。

Ｓ１０６では、ドライバーの状態と、車両の運転状況との関係に基づいて判定閾値を更新（補正）する処理も行われる。ドライバー個人の特徴に適合するように判定閾値が補正されるので、高精度にドライバーの異常状態を判定することができる。

他の実施形態として、ドライバー状態判定装置２０１には、アクセル情報２０５、ブレーキ情報２０６、ハンドル情報２０７を全て備えていなくてもよい。いずれか一つ以上を備え、過去運転データ記憶部２１１に情報を格納できればよい。

本実施形態のドライバー状態判定装置２０１は、カメラから得られるドライバーの顔の情報に加え、ドライバー個人の過去の運転操作情報からドライバーの異常状態を判定してもよい。例えば、ドライバーが過去に異常運転の操作を行ったことがある場所を通過する際に、ドライバーの状態が異常であると判定して、アクチュエーション制御を実行してもよい。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

２０１・・・ドライバー状態判定装置、２０２・・・ＥＣＵ、２０３・・・遠赤外カメラ、２０４・・・近赤外カメラ、２０８・・・画像処理部（ドライバー状態検出部）、２０９・・・運転状況取得部、２１０・・・状態判定部、２１１・・・過去運転データ記憶部、２１２・・・ドライバー情報記憶部、２１３・・・アクチュエーション判定部、２１７・・・車両緊急停止装置、２１８・・・アクチュエーション部

Claims (5)

1. 車両を運転中のドライバーの状態を判定するドライバー状態判定装置であって、
   前記ドライバーによる前記車両の運転状況を取得する運転状況取得部と、
   前記ドライバーの状態を検出するドライバー状態検出部と、
   該ドライバーの状態と予め設定された判定閾値とを比較して前記ドライバーの状態が異常か否かを判定する状態判定部と、
   を有し、
   該状態判定部では、前記ドライバーの状態と前記車両の運転状況との関係に基づいて、前記判定閾値を補正する
   ことを特徴とするドライバー状態判定装置。
2. 前記状態判定部は、前記ドライバーの状態が正常で且つ前記車両の運転状況が危険運転であると判定したときは、前記ドライバーの状態が異常であると判定するように前記判定閾値を補正することを特徴とする請求項１に記載のドライバー状態判定装置。
3. 前記状態判定部は、前記ドライバーの状態が異常で且つ前記車両の運転状況が正常運転であると判定したときは、前記ドライバーの状態が正常であると判定するように前記判定閾値を補正することを特徴とする請求項１に記載のドライバー状態判定装置。
4. 前記ドライバーの状態と前記車両の運転状況とを関連づけて記憶する過去運転データ記憶部と、を有し、
   前記状態判定部は、現在の運転状況と過去の運転状況を比較して前記ドライバーの状態を判定することを特徴とする請求項１に記載のドライバー状態判定装置。
5. 前記状態判定部によって前記ドライバーの状態を異常と判定した場合、ドライバーに覚醒を促す、または注意を喚起するためのアクチュエーション部に対して、アクチュエーション制御を実行させるための制御信号を送信するアクチュエーション判定部を有することを特徴とする請求項１に記載のドライバー状態判定装置。

Images