JP2023072270A - 運転者状態判定方法及びその装置 - Google Patents
運転者状態判定方法及びその装置 Download PDFInfo
- Publication number
- JP2023072270A JP2023072270A JP2021184710A JP2021184710A JP2023072270A JP 2023072270 A JP2023072270 A JP 2023072270A JP 2021184710 A JP2021184710 A JP 2021184710A JP 2021184710 A JP2021184710 A JP 2021184710A JP 2023072270 A JP2023072270 A JP 2023072270A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- abnormal
- determination
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】運転者の閉眼が確認できない状況であっても、運転者の異常状態を高精度に判定することができる運転者状態判定方法及びその装置を提供する。【解決手段】異常判定部による運転者異常状態判定工程では、閉眼判定工程S23で閉眼状態が判定された状況において、頭部姿勢が異常姿勢で且つ閉眼状態が第3判定閾値L3相当期間継続した場合、異常状態であると判定し、閉眼判定工程S23で閉眼状態ではないと判定された状況において、頭部姿勢が異常姿勢で且つ閉眼ではない状態が第3判定閾値L3とは異なる第4判定閾値L4に相当する期間継続した場合に運転者に警報し、警報後において、頭部姿勢取得工程S21で取得された頭部姿勢が異常姿勢で且つ運転操作量取得工程S21で取得された運転操作量が変化しない状況が第2不操作判定時間継続した場合、異常状態であると判定する。【選択図】図6
Description
本発明は、車両を運転する運転者の異常状態を検出する運転者状態判定方法及びその装置に関する。
従来より、運転者の意識状態、特に運転者の覚醒状態を的確に把握し、この覚醒状態に応じて車両に対する運転操作を支援する運転者支援装置が知られている。
特許文献1の居眠り運転防止装置は、運転者による運転(操縦)挙動及び車両挙動に基づき運転者の眠気レベルを検出する眠気レベル検出手段と、検出された眠気レベルが所定の警報閾値よりも高い場合に警報を出力する警報出力手段と、走行開始から学習時間経過後に至るまでの間に警報閾値を設定する警報閾値設定手段と、眠気レベルに基づき警報閾値を補正する警報閾値補正手段とを有し、警報閾値補正手段は、学習時間よりも長い期間で検出された眠気レベルの平均値に比例した補正判定基準値を算出し、この補正判定基準値が警報閾値よりも小さく且つ補正判定基準値よりも高い眠気レベルの検出された合計時間が学習時間よりも長い判定時間以上である場合、警報閾値を下方に補正している。
特許文献1の居眠り運転防止装置は、運転者による運転(操縦)挙動及び車両挙動に基づき運転者の眠気レベルを検出する眠気レベル検出手段と、検出された眠気レベルが所定の警報閾値よりも高い場合に警報を出力する警報出力手段と、走行開始から学習時間経過後に至るまでの間に警報閾値を設定する警報閾値設定手段と、眠気レベルに基づき警報閾値を補正する警報閾値補正手段とを有し、警報閾値補正手段は、学習時間よりも長い期間で検出された眠気レベルの平均値に比例した補正判定基準値を算出し、この補正判定基準値が警報閾値よりも小さく且つ補正判定基準値よりも高い眠気レベルの検出された合計時間が学習時間よりも長い判定時間以上である場合、警報閾値を下方に補正している。
また、運転者の体調が急変することにより運転者が運転を継続することができない状態、所謂異常状態になった場合、車両が自動的に路肩方向に移動すると共に自律的に停車する運転者支援装置も知られている。
通常、運転者の体調や眠気レベルは、カメラ等の撮像手段によって取得された運転者の頭部姿勢や顔状態等の頭部関連情報を介して判定されている。頭部関連情報のうち頭部姿勢は、例えば、運転者の顔向きや頭部位置(三次元座標)等によって検出され、顔状態は、例えば、運転者の表情や目の開度状態(瞼状態)等によって検出されている。
通常、運転者の体調や眠気レベルは、カメラ等の撮像手段によって取得された運転者の頭部姿勢や顔状態等の頭部関連情報を介して判定されている。頭部関連情報のうち頭部姿勢は、例えば、運転者の顔向きや頭部位置(三次元座標)等によって検出され、顔状態は、例えば、運転者の表情や目の開度状態(瞼状態)等によって検出されている。
特許文献1の居眠り運転防止装置は、運転者の顔状態や生体情報を必要としないため、検出装置を省略することができ、装置全体のコスト上昇を抑制することができる。
しかし、特許文献1の居眠り運転防止装置では、運転者の実際の状態を介することなく、つまり、運転者の意識状態等を車両挙動を介して間接的に判定していることから、運転者の異常状態を精度良く判定することができない虞がある。
運転者の異常状態を誤判定した場合、自車両に対しては、警報により運転者への煩わしさが増加することに加え、他車両に対しては、自車両が緊急停車するという予期しない事態を招く虞がある。
しかし、特許文献1の居眠り運転防止装置では、運転者の実際の状態を介することなく、つまり、運転者の意識状態等を車両挙動を介して間接的に判定していることから、運転者の異常状態を精度良く判定することができない虞がある。
運転者の異常状態を誤判定した場合、自車両に対しては、警報により運転者への煩わしさが増加することに加え、他車両に対しては、自車両が緊急停車するという予期しない事態を招く虞がある。
そこで、異常状態の誤判定を回避するため、異常時の運転者の徴候である閉眼と、異常時の運転者の身体的状態である頭部姿勢崩れとを夫々検出することにより、これら2つの異常判定条件が共に成立したとき、運転者の異常状態判定を確定することが考えられる。
しかし、判定対象である運転者の目は撮像する対象として、極めて領域が小さい上、撮像環境や撮像タイミングによっては、撮像画像自体が不鮮明になる場合や、運転者の動作により運転者の両目が判定可能な撮像領域内に収まっていない場合等撮像対象である目の検出が物理的に困難な状況も発生し得る。
しかし、判定対象である運転者の目は撮像する対象として、極めて領域が小さい上、撮像環境や撮像タイミングによっては、撮像画像自体が不鮮明になる場合や、運転者の動作により運転者の両目が判定可能な撮像領域内に収まっていない場合等撮像対象である目の検出が物理的に困難な状況も発生し得る。
運転者の閉眼については、車内に設置された撮像手段により撮像された画像情報(画像データ)を用いて判定される。それ故、撮像手段を介して運転者の目自体の検出が物理的に困難な場合、制御処理上、運転者の目の開閉状態を確実に判定することはできない。
即ち、運転者の異常状態を高精度に判定することは容易ではない。
即ち、運転者の異常状態を高精度に判定することは容易ではない。
本発明の目的は、異常時の徴候である運転者の閉眼が確認できない状況であっても、運転者の異常状態を高精度に判定可能な運転者状態判定方法及びその装置等を提供することである。
請求項1の運転者状態判定方法は、車両の運転者の異常状態を検出する運転者状態判定方法において、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、前記運転者の目が閉眼状態か否かを判定する閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも1つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定し、前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この運転者状態判定方法では、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、前記運転者の目が閉眼状態か否かを判定する閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも1つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有するため、異常時の運転者の身体的状態(以下、異常時状態)である頭部姿勢崩れと異常時の運転者の徴候(以下、異常時徴候)である閉眼とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時の運転者の動作(以下、異常時動作)で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。
しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、報知による状態確認を行うため、異常状態の判定精度を高くすることができる。
前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
前記運転者異常状態判定工程は、前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時の運転者の動作(以下、異常時動作)で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。
しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、報知による状態確認を行うため、異常状態の判定精度を高くすることができる。
請求項2の発明は、請求項1の発明において、前記第2所定時間は前記第1所定時間よりも短いことを特徴としている。
この構成によれば、閉眼が確認できない状況であることを最短時間で確認することができる。
この構成によれば、閉眼が確認できない状況であることを最短時間で確認することができる。
請求項3の発明は、請求項1又は2の発明において、前記運転者異常状態判定工程は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定することを特徴とすることを特徴としている。
この構成によれば、頭部姿勢が異常姿勢であることを容易に判定することができる。
この構成によれば、頭部姿勢が異常姿勢であることを容易に判定することができる。
請求項4の発明は、請求項1~3の何れか1項の発明において、前記運転者異常状態判定工程は、前記閉眼判定工程で開眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記車両が走行している状態が第4所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この構成によれば、運転者が開眼である場合の異常状態を運転者の状態と車両の挙動により判定することができる。
この構成によれば、運転者が開眼である場合の異常状態を運転者の状態と車両の挙動により判定することができる。
請求項5の運転者状態判定装置は、車両の運転者の異常状態を検出する運転者状態判定装置において、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、前記運転者の目が閉眼状態か否かを判定する閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも1つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定し、前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この運転者状態判定装置では、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、前記運転者の目が閉眼状態か否かを判定する閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも1つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、報知による状態確認を行うため、異常状態の判定精度を高くすることができる。
前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
前記運転者異常状態判定手段は、前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、報知による状態確認を行うため、異常状態の判定精度を高くすることができる。
本発明の運転者状態判定方法及びその装置によれば、異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とするため、運転者の異常時徴候である閉眼が確認できない状況であっても、運転者の異常状態を高精度に判定することができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
以下の説明は、本発明を車両の運転者状態判定装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
以下、本発明の実施例1について図1~図6に基づいて説明する。
運転者状態判定装置Mは、運転者の意識状態、特に運転者が運転する車両(以下、自車両ともいう)の運転操作が困難な異常状態を判定すると共に、運転者の異常状態が判定された場合、自律的に緊急停車可能な運転支援装置である。
以下、運転者の異常状態とは、運転者が意識的に覚醒しておらず且つ身体的に姿勢が崩れて運転操作が不可能な状態(疾患発症や居眠を含む)として説明する。
また、以下の説明は、運転者状態判定方法の説明を含むものである。
運転者状態判定装置Mは、運転者の意識状態、特に運転者が運転する車両(以下、自車両ともいう)の運転操作が困難な異常状態を判定すると共に、運転者の異常状態が判定された場合、自律的に緊急停車可能な運転支援装置である。
以下、運転者の異常状態とは、運転者が意識的に覚醒しておらず且つ身体的に姿勢が崩れて運転操作が不可能な状態(疾患発症や居眠を含む)として説明する。
また、以下の説明は、運転者状態判定方法の説明を含むものである。
図1に示すように、運転者状態判定装置Mは、運転者の操作挙動及び車両の走行挙動等を検出可能な複数の検出手段1と、運転者に対して車両側から自律的に車両の運転支援を行う運転者支援装置2と、検出手段1から入力される入力信号に基づき各種演算を行うと共に運転者支援装置2に各種指令信号を出力するECU(Electronic Control Unit)3等を主な構成要素としている。
まず、検出手段1について説明する。
図1に示すように、検出手段1は、運転者を撮像するカメラ11と、車両の速度を検出する車速センサ12と、ステアリングホイール(図示略)の操作による操舵角度を検出する舵角センサ13と、運転者によるステアリングホイールの把持を検出する把持センサ14と、アクセルペダル(図示略)の踏込量を検出するアクセルセンサ15と、ブレーキペダル(図示略)の踏込量を検出するブレーキセンサ16と、ハザードランプ(図示略)を作動させるハザードスイッチ17等を備えている。各センサ12~16が、所定タイミング、所謂判定時直前である現時点の運転操作量を取得する運転操作量取得手段に相当している。
図1に示すように、検出手段1は、運転者を撮像するカメラ11と、車両の速度を検出する車速センサ12と、ステアリングホイール(図示略)の操作による操舵角度を検出する舵角センサ13と、運転者によるステアリングホイールの把持を検出する把持センサ14と、アクセルペダル(図示略)の踏込量を検出するアクセルセンサ15と、ブレーキペダル(図示略)の踏込量を検出するブレーキセンサ16と、ハザードランプ(図示略)を作動させるハザードスイッチ17等を備えている。各センサ12~16が、所定タイミング、所謂判定時直前である現時点の運転操作量を取得する運転操作量取得手段に相当している。
カメラ11は、例えば、CCD(Charge Coupled Device)カメラによって構成され、インスツルメントパネル(図示略)上部中央において運転者対向位置に装着されている。
このカメラ11は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成されている。撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向(顔向方向)、運転者の表情の特定、目のアイリス(虹彩)を拡大検出して視線向方向、瞼部分を拡大検出して運転者の目の開度や開閉状態、運転者の頭部(重心)の三次元座標位置等を検出可能に構成されている。
カメラ11は、少なくとも、必要な撮像画像を取得できれば良く、前方正面カメラと運転席の真上に設置した上方カメラの2つのカメラ、或いは3以上のカメラを搭載しても良い。
このカメラ11は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成されている。撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向(顔向方向)、運転者の表情の特定、目のアイリス(虹彩)を拡大検出して視線向方向、瞼部分を拡大検出して運転者の目の開度や開閉状態、運転者の頭部(重心)の三次元座標位置等を検出可能に構成されている。
カメラ11は、少なくとも、必要な撮像画像を取得できれば良く、前方正面カメラと運転席の真上に設置した上方カメラの2つのカメラ、或いは3以上のカメラを搭載しても良い。
次に、運転者支援装置2について説明する。
図1に示すように、運転者支援装置2は、運転者に対して警戒状態を報知する監視支援装置21と、車両に対して制動動作を行わせる制動支援装置22と、車両に対して緊急停車動作を行わせる停車支援装置23等から構成されている。
図1に示すように、運転者支援装置2は、運転者に対して警戒状態を報知する監視支援装置21と、車両に対して制動動作を行わせる制動支援装置22と、車両に対して緊急停車動作を行わせる停車支援装置23等から構成されている。
監視支援装置21は、意識状態、所謂運転者の覚醒状態を認知して回復が必要と判断した場合、運転者に報知することにより運転者の意識の回復を促すように構成されている。
この監視支援装置21は、ECU3から脇見信号又は居眠推定信号を受信した場合、車室内に設けた1又は複数のスピーカ(図示略)から運転者に対して警報を発生する。
図2に示すように、インスツルメントパネルに配置された速度メータ部21aには、警報を表示可能な表示部21bが設けられている。監視支援装置21は、ECU3から脇見信号又は居眠推定信号を受信した場合、表示部21bに、例えば「前方注意」の警報を表示する。
この監視支援装置21は、ECU3から脇見信号又は居眠推定信号を受信した場合、車室内に設けた1又は複数のスピーカ(図示略)から運転者に対して警報を発生する。
図2に示すように、インスツルメントパネルに配置された速度メータ部21aには、警報を表示可能な表示部21bが設けられている。監視支援装置21は、ECU3から脇見信号又は居眠推定信号を受信した場合、表示部21bに、例えば「前方注意」の警報を表示する。
制動支援装置22は、走行中の自車両が先行する他車両に接近したとき、警報を行い、衝突を回避可能な制動限界距離になった場合、緊急制動するように構成されている。
図3に示すように、制動支援装置22は、自車両が先行する他車両Bに対して自車両A1の位置まで接近したとき、スピーカから運転者に対して警報を発生する。
他車両Bと自車両A1との離隔距離は、通常であれば運転者が自身の運転操作(手動操作)で衝突を回避することができる時間(例えば、0.8sec)に対応した距離である。
制動支援装置22は、自車両が先行する他車両Bに対して更に自車両A2の位置まで接近したとき、自動的に緊急制動する。他車両Bと自車両A2との離隔距離は、最大制動力相当の緊急制動により衝突を回避することができる限界距離である。
図3に示すように、制動支援装置22は、自車両が先行する他車両Bに対して自車両A1の位置まで接近したとき、スピーカから運転者に対して警報を発生する。
他車両Bと自車両A1との離隔距離は、通常であれば運転者が自身の運転操作(手動操作)で衝突を回避することができる時間(例えば、0.8sec)に対応した距離である。
制動支援装置22は、自車両が先行する他車両Bに対して更に自車両A2の位置まで接近したとき、自動的に緊急制動する。他車両Bと自車両A2との離隔距離は、最大制動力相当の緊急制動により衝突を回避することができる限界距離である。
また、図3に示すように、制動支援装置22は、ECU3から脇見信号又は居眠推定信号を受信した場合、走行中の自車両が先行する他車両Bに対して自車両A1の位置よりも離隔した自車両A3の位置まで接近したとき、スピーカから運転者に対して警報を発生する。ここで、他車両Bと自車両A3との離隔距離は、運転者が注意散漫状態であっても運転者が自身の運転操作で衝突を回避することができる時間(例えば、1.2sec)に対応した距離である。
停車支援装置23は、ECU3から居眠推定信号を受信した場合、スピーカから運転者に対して警報を発生し、居眠確定信号を受信後、自車両を自律的に緊急停車させる。
図4に示すように、停車支援装置23は、自車両X1の位置で閉眼状態に対応した居眠推定信号を受信したとき、スピーカを作動させて警報を発生し、自車両X2の位置で運転不操作状態等に対応した居眠確定信号を受信している。次に、自車両X3のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両X4の位置において自律緊急停車される。
図4に示すように、停車支援装置23は、自車両X1の位置で閉眼状態に対応した居眠推定信号を受信したとき、スピーカを作動させて警報を発生し、自車両X2の位置で運転不操作状態等に対応した居眠確定信号を受信している。次に、自車両X3のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両X4の位置において自律緊急停車される。
また、停車支援装置23は、ECU3から異常信号を受信した場合、自車両を自律的に緊急停車する。図4に示すように、停車支援装置23は、自車両X2の位置で運転者の異常信号を受信する。次に、自車両X3のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両X4の位置において自律緊急停車される。その後、停車支援装置23は、例えば、停車保持期間が所定時間経過した後、救急センタ等に緊急通報を行う。以下、これら自律緊急停車制御を異常時シーケンス制御という。
次に、ECU3について説明する。
ECU3は、運転者の両目が閉眼且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態の場合、運転者の異常状態を判定し、異常信号を出力している。
このECU3は、CPU(Central Processing Unit)と、ROMと、RAMと、イン側インタフェイスと、アウト側インタフェイス等によって構成されている。ROMには、ブレーキ制御や表示制御等種々のプログラムやデータが格納され、RAMには、CPUが一連の処理を行う際に使用される処理領域が設けられている。
ECU3は、運転者の両目が閉眼且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態の場合、運転者の異常状態を判定し、異常信号を出力している。
このECU3は、CPU(Central Processing Unit)と、ROMと、RAMと、イン側インタフェイスと、アウト側インタフェイス等によって構成されている。ROMには、ブレーキ制御や表示制御等種々のプログラムやデータが格納され、RAMには、CPUが一連の処理を行う際に使用される処理領域が設けられている。
図1に示すように、ECU3は、運転者の頭部姿勢状態を判定する頭部姿勢判定部31と、運転者の左右両目について開閉状態を判定する眼状態判定部32(閉眼判定手段)と、車両の運転に対して阻害要因に成り得る運転者状態を判定する運転者状態判定部33等を備えている。
頭部姿勢判定部31は、カメラ11が撮像した撮像画像情報に基づき運転者の頭部姿勢状態を判定している。この頭部姿勢判定部31は、運転者の頭部姿勢状態が俯き、横倒れ、突っ伏し、後傾のうち何れかであることを検出した場合、頭部姿勢崩れを判定する。
頭部姿勢崩れが判定されたとき、第1カウンタC1に1が代入される。第1カウンタC1の初期値は0である。
頭部姿勢崩れが判定されたとき、第1カウンタC1に1が代入される。第1カウンタC1の初期値は0である。
頭部姿勢判定部31は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上の場合、俯き判定信号を出力し、ロール方向の顔向角度の絶対値が所定閾値以上の場合、横倒れ(横凭れ)判定信号を出力する。また、頭部姿勢判定部31は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上で且つ現在の頭部位置が基準頭部位置に頭部位置閾値を減算した値以上の場合、突っ伏し判定信号を出力し、ピッチ方向の顔向角度が、所定閾値以上且つ基準頭部位置に頭部位置閾値を加算した値に対して現在の頭部位置よりも小さい場合、後傾判定信号を出力する。俯き、横倒れ、突っ伏し、後傾を判定するための角度や頭部位置に関連する各閾値が、運転者の頭部姿勢異常を判定するための頭部姿勢判定閾値に夫々相当する。
眼状態判定部32は、運転者の目の状態が閉眼状態か否かについて判定している。
この眼状態判定部32は、例えば、カメラ11によって撮像した運転者の上下の瞼を検出し、両瞼の縁間の画素数に基づいて運転者の開眼度を検出する。検出された開眼度が、所定の判定閾値以上の場合、開眼状態であると判定され、また、検出された開眼度が、所定の判定閾値未満の場合、閉眼状態であると判定される。閉眼状態が判定されたとき、第2カウンタC2に1が代入される。第2カウンタC2の初期値は0である。
尚、本実施形態において、運転者の左右両目が閉眼判定された場合のみ、閉眼判定される一方、それ以外の場合、閉眼判定されない。
この眼状態判定部32は、例えば、カメラ11によって撮像した運転者の上下の瞼を検出し、両瞼の縁間の画素数に基づいて運転者の開眼度を検出する。検出された開眼度が、所定の判定閾値以上の場合、開眼状態であると判定され、また、検出された開眼度が、所定の判定閾値未満の場合、閉眼状態であると判定される。閉眼状態が判定されたとき、第2カウンタC2に1が代入される。第2カウンタC2の初期値は0である。
尚、本実施形態において、運転者の左右両目が閉眼判定された場合のみ、閉眼判定される一方、それ以外の場合、閉眼判定されない。
第1カウンタC1が1で且つ第2カウンタC2が1、所謂運転者の異常状態が判定される場合、第3カウンタC3に1が代入される。第3カウンタC3の初期値は0である。
また、第1カウンタC1が1(頭部姿勢異常)以上で且つ運転者の目の開閉状態が物理的或いは環境条件的に検出することができない場合、第4カウンタC4に1が代入される。第4カウンタC3の初期値は0である。尚、運転者の目の状態が検出することができる場合には、運転者の頭部姿勢状態は検出可能である。
また、第1カウンタC1が1(頭部姿勢異常)以上で且つ運転者の目の開閉状態が物理的或いは環境条件的に検出することができない場合、第4カウンタC4に1が代入される。第4カウンタC3の初期値は0である。尚、運転者の目の状態が検出することができる場合には、運転者の頭部姿勢状態は検出可能である。
運転者状態判定部33は、運転者が進行方向前方以外に対して視線を向けているか否か判定する脇見判定部33aと、運転者の居眠りが推定される居眠推定状態及び高い確率で運転者の居眠りが検出された居眠確定状態を判定する居眠判定部33bと、車両の運転が困難である運転者の異常状態を判定する異常判定部33c(運転者異常状態判定手段)とを備えている。
脇見判定部33aについて説明する。
脇見判定部33aは、運転者の顔向方向情報、視線向方向情報及び車両情報から運転者が脇見であるか否かを判定すると共に、運転者が脇見であると判定された場合、監視支援装置21と制動支援装置22に脇見信号を出力する。
運転者のヨー方向視線向のカウント値がヨー方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ヨー方向閾値は、車速或いは車両走行時の曲率半径に応じて変更される。また、運転者のピッチ方向視線向のカウント値がピッチ方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ピッチ方向閾値は、車速に応じて変更される。
脇見判定部33aは、運転者の顔向方向情報、視線向方向情報及び車両情報から運転者が脇見であるか否かを判定すると共に、運転者が脇見であると判定された場合、監視支援装置21と制動支援装置22に脇見信号を出力する。
運転者のヨー方向視線向のカウント値がヨー方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ヨー方向閾値は、車速或いは車両走行時の曲率半径に応じて変更される。また、運転者のピッチ方向視線向のカウント値がピッチ方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ピッチ方向閾値は、車速に応じて変更される。
ヨー方向視線向のカウント値及びピッチ方向視線向のカウント値は、長時間の脇見継続カウント又は短時間の脇見累計カウントにより演算される。長時間の脇見継続カウントは、処理周期毎の判定結果が時系列で連続する回数のことである。また、短時間の脇見累計カウントは、処理周期毎の判定結果がそれ以前の所定時間のうち条件が一致している状態でのカウント累計のことである。
ヨー方向及びピッチ方向の視線向方向情報は、その信頼度が予め設定された信頼度閾値を用いて判定されている。各視線向方向情報の信頼度は、運転者を撮像した撮像画像の鮮明度(顔、瞼、黒目等の輪郭の鮮明度)に基づき設定される。
各視線向方向情報の信頼度が低く、各視線向が無効の場合には、ヨー方向及びピッチ方向の顔向方向情報で夫々補間される。ヨー方向及びピッチ方向の顔向方向情報の信頼度が低く、各顔向が無効の場合には、有効な前回の視線向で補間している。
各視線向方向情報の信頼度が低く、各視線向が無効の場合には、ヨー方向及びピッチ方向の顔向方向情報で夫々補間される。ヨー方向及びピッチ方向の顔向方向情報の信頼度が低く、各顔向が無効の場合には、有効な前回の視線向で補間している。
次に、居眠判定部33bについて説明する。
居眠判定部33bは、閉眼継続時間及び車両情報等から運転者が居眠りであるか否かを判定すると共に、運転者が居眠りであると推定された場合、居眠推定信号を監視支援装置21と制動支援装置22と停車支援装置23に出力し、運転者が居眠りであると確定された場合、居眠確定信号を停車支援装置23に出力する。
居眠判定部33bは、閉眼継続時間及び車両情報等から運転者が居眠りであるか否かを判定すると共に、運転者が居眠りであると推定された場合、居眠推定信号を監視支援装置21と制動支援装置22と停車支援装置23に出力し、運転者が居眠りであると確定された場合、居眠確定信号を停車支援装置23に出力する。
居眠判定部33bは、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は短時間の閉眼時間が一定時間内に所定の時間閾値を超えて繰り返す場合、居眠状態を推定する。
また、居眠判定部33bは、居眠警報後に車両が一定車速以上で走行している状況において、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は連続閉眼且つ運転不操作状態が時間閾値を超えた場合、居眠状態を確定する。
また、居眠判定部33bは、居眠警報後に車両が一定車速以上で走行している状況において、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は連続閉眼且つ運転不操作状態が時間閾値を超えた場合、居眠状態を確定する。
運転不操作状態は、走行時における運転不適切操作として、検出手段1の検出信号に基づき判定閾値との比較により判定されている。具体的には、ステアリングホイールの不操舵、ステアリングホイールの非把持、アクセル、ブレーキの不操作のうち少なくとも1の操作状態により判定されている。尚、運転不適切操作判定用として、各操作部材に対して極めて小さい判定閾値を設定し、不適切操作を判定しても良い。
次に、異常判定部33cについて説明する。
異常判定部33cは、運転者が閉眼且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態である場合、換言すれば、運転者による車両の運転操作が困難である異常状態であることを閉眼、頭部姿勢崩れ、運転不操作状態のうち2つの要件を用いて判定している。
異常判定部33cは、運転者が閉眼且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態である場合、換言すれば、運転者による車両の運転操作が困難である異常状態であることを閉眼、頭部姿勢崩れ、運転不操作状態のうち2つの要件を用いて判定している。
本発明者は、異常時の運転者の徴候は、閉眼をパラメータとして検出することができ、異常時の運転者の身体的状態は、頭部姿勢崩れをパラメータとして検出することができ、異常時の運転者の動作は、運転不操作をパラメータとして検出することができるという知見を得た。この知見に基づき、本実施形態では、閉眼と頭部姿勢崩れの検出を基本判定条件とし、閉眼判定が物理的或いは状況的に難しい場合、頭部姿勢崩れと運転不操作の検出を判定条件としている。
次に、図5のフローチャートに基づいて、閉眼判定制御処理について説明する。
尚、Si(i=1,2…)は、各処理のためのステップを示す。
尚、Si(i=1,2…)は、各処理のためのステップを示す。
まず、図5に示すように、ECU3は、カメラ11やハザードスイッチ17等の各種検出手段1からの出力を入力し(S1)、S2に移行する。
S2では、運転者の両目が閉眼であるか否かについて判定する。
S2の判定の結果、運転者が閉眼である場合、異常時(疾患発症か居眠)の運転者の徴候である閉眼が検出されたため、S3に移行する。S2の判定の結果、運転者が閉眼ではない場合、少なくとも片方の目が開眼であるため、リターンする。
S2では、運転者の両目が閉眼であるか否かについて判定する。
S2の判定の結果、運転者が閉眼である場合、異常時(疾患発症か居眠)の運転者の徴候である閉眼が検出されたため、S3に移行する。S2の判定の結果、運転者が閉眼ではない場合、少なくとも片方の目が開眼であるため、リターンする。
S3では、第1カウンタC1のカウント値が0よりも大きい、つまり、運転者の頭部姿勢が崩れているか否かについて判定する。
S3の判定の結果、第1カウンタC1のカウント値が0よりも大きい場合、第1カウンタC1と第2カウンタC2が共に現在0ではないため、S4に移行する。
S3の判定の結果、第1カウンタC1のカウント値が0の場合、運転者が頭部姿勢崩れではないため、S7に移行する。
S4では、現在の第3カウンタC3のカウント値に1を追加した後、S5に移行する。
S3の判定の結果、第1カウンタC1のカウント値が0よりも大きい場合、第1カウンタC1と第2カウンタC2が共に現在0ではないため、S4に移行する。
S3の判定の結果、第1カウンタC1のカウント値が0の場合、運転者が頭部姿勢崩れではないため、S7に移行する。
S4では、現在の第3カウンタC3のカウント値に1を追加した後、S5に移行する。
S5では、第3カウンタC3のカウント値が第3判定閾値L3(第1所定時間)以上か否かについて判定する。S5の判定の結果、第3カウンタC3のカウント値が第3判定閾値L3以上の場合、運転者の異常状態を判定して、S6に移行する。
S5の判定の結果、第3カウンタC3のカウント値が第3判定閾値L3未満の場合、運転者の異常状態を判定することができないため、リターンする。
S6では、異常時シーケンス制御を実行した後、リターンする。このS6では、第1~第3カウンタC1~C3に夫々0を代入する。
S5の判定の結果、第3カウンタC3のカウント値が第3判定閾値L3未満の場合、運転者の異常状態を判定することができないため、リターンする。
S6では、異常時シーケンス制御を実行した後、リターンする。このS6では、第1~第3カウンタC1~C3に夫々0を代入する。
S7では、現在の第2カウンタC2のカウント値に1を追加した後、S8に移行する。
S8では、第2カウンタC2のカウント値が第2判定閾値L2以上か否かについて判定する。S8の判定の結果、第2カウンタC2のカウント値が第2判定閾値L2以上の場合、疾患発症や居眠が推定されるため、S9に移行する。S8の判定の結果、第2カウンタC2のカウント値が第2判定閾値L2未満の場合、現状では疾患発症や居眠を推定することができないため、リターンする。
S8では、第2カウンタC2のカウント値が第2判定閾値L2以上か否かについて判定する。S8の判定の結果、第2カウンタC2のカウント値が第2判定閾値L2以上の場合、疾患発症や居眠が推定されるため、S9に移行する。S8の判定の結果、第2カウンタC2のカウント値が第2判定閾値L2未満の場合、現状では疾患発症や居眠を推定することができないため、リターンする。
S9では、警報を発生した後、S10に移行する。
S10では、第1判定条件が成立したか否かについて判定する。
第1判定条件は、以下の3条件である。
(1)運転者の頭部姿勢が異常状態である
(2)運転者による運転不操作が第1不操作判定時間継続している
(3)運転者の閉眼が一定時間継続している
S10では、第1判定条件が成立したか否かについて判定する。
第1判定条件は、以下の3条件である。
(1)運転者の頭部姿勢が異常状態である
(2)運転者による運転不操作が第1不操作判定時間継続している
(3)運転者の閉眼が一定時間継続している
S10の判定の結果、第1判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、S11に移行する。S10の判定の結果、第1判定条件が成立していない場合、警報により運転者が運転動作を開始したため、リターンする。
S11では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
S11の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第2カウンタC2のカウント値に0を代入した後(S12)、リターンする。S11の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセルできないため、S6に移行する。本実施形態では、ハザードスイッチ17がオン操作された場合、キャンセル信号が出力される。キャンセル信号の出力より、警報が停止され、異常状態判定を停止している。
S11の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第2カウンタC2のカウント値に0を代入した後(S12)、リターンする。S11の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセルできないため、S6に移行する。本実施形態では、ハザードスイッチ17がオン操作された場合、キャンセル信号が出力される。キャンセル信号の出力より、警報が停止され、異常状態判定を停止している。
次に、図6のフローチャートに基づいて、頭部姿勢判定制御処理について説明する。この頭部姿勢判定制御処理は、閉眼判定制御処理とは独立して並列的に制御されている。
Si(i=21,22…)は、各処理のためのステップを示す。
Si(i=21,22…)は、各処理のためのステップを示す。
まず、図6に示すように、ECU3は、カメラ11やハザードスイッチ17等の各種検出手段1からの出力を入力し(S21)、S22に移行する。
S22では、運転者の頭部が第1頭部姿勢判定閾値に基づいて姿勢崩れか否か判定する。
S22の判定の結果、運転者の頭部が姿勢崩れの場合、異常時の運転者の身体的状態である頭部姿勢崩れが検出されたため、S23に移行する。S22の判定の結果、運転者の頭部が姿勢崩れではない場合、リターンする。
S22では、運転者の頭部が第1頭部姿勢判定閾値に基づいて姿勢崩れか否か判定する。
S22の判定の結果、運転者の頭部が姿勢崩れの場合、異常時の運転者の身体的状態である頭部姿勢崩れが検出されたため、S23に移行する。S22の判定の結果、運転者の頭部が姿勢崩れではない場合、リターンする。
S23では、第2カウンタC2のカウント値が0よりも大きい、つまり、運転者の両目が閉眼であるか否かについて判定する。S23の判定の結果、第2カウンタC2のカウント値が0よりも大きい場合、第1カウンタC1のカウント値と第2カウンタC2のカウント値が共に現在0ではないため、S24に移行する。S23の判定の結果、第2カウンタC2のカウント値が0の場合、運転者が頭部姿勢崩れではないため、S27に移行する。
S24では、現在の第3カウンタC3のカウント値に1を追加した後、S25に移行する。
S24では、現在の第3カウンタC3のカウント値に1を追加した後、S25に移行する。
S25では、第3カウンタC3のカウント値が第3判定閾値L3以上か否かについて判定する。S25の判定の結果、第3カウンタC3のカウント値が第3判定閾値L3以上の場合、運転者の異常状態を判定して、S26に移行する。S25の判定の結果、第3カウンタC3のカウント値が第3判定閾値L3未満の場合、運転者の異常状態を判定することができないため、リターンする。S26では、異常時シーケンス制御を実行した後、リターンする。このS26では、第1~第4カウンタC1~C4に夫々0を代入する。
S27では、判定された開眼度に基づき開閉状態が検出できたか否か判定する。
S27の判定の結果、開閉状態が検出できている場合、運転者は開眼状態であるため、S28に移行する。S27の判定の結果、開閉状態が検出できていない場合、運転者の開閉状態が不明であるため、S34に移行する。
S27の判定の結果、開閉状態が検出できている場合、運転者は開眼状態であるため、S28に移行する。S27の判定の結果、開閉状態が検出できていない場合、運転者の開閉状態が不明であるため、S34に移行する。
S28では、運転者が各種操作部(ステアリングホイール、アクセルペダル、ブレーキペダル等)により運転操作を適切に行っているか否か判定する。
S28の判定の結果、運転者が運転操作を適切に行っている場合、頭部姿勢崩れであっても適切に車両を操縦しているため、リターンする。S28の判定の結果、運転者が運転操作を適切に行っていない、例えば、各種操作部が一切操作されていない場合、S29に移行する。
S28の判定の結果、運転者が運転操作を適切に行っている場合、頭部姿勢崩れであっても適切に車両を操縦しているため、リターンする。S28の判定の結果、運転者が運転操作を適切に行っていない、例えば、各種操作部が一切操作されていない場合、S29に移行する。
S29では、車両の車速が判定閾値以上か否か判定する。
S29の判定の結果、車両の車速が判定閾値以上の場合、運転者は開眼しているにも拘らず姿勢が崩れて運転操作ができていないため、S30に移行する。S29の判定の結果、車両の車速が判定閾値未満の場合、運転者は回復を待つために停車している可能性があるため、リターンする。S30では、現在の第1カウンタC1のカウント値に1を追加した後、S31に移行する。
S29の判定の結果、車両の車速が判定閾値以上の場合、運転者は開眼しているにも拘らず姿勢が崩れて運転操作ができていないため、S30に移行する。S29の判定の結果、車両の車速が判定閾値未満の場合、運転者は回復を待つために停車している可能性があるため、リターンする。S30では、現在の第1カウンタC1のカウント値に1を追加した後、S31に移行する。
S31では、第1カウンタC1のカウント値が第1判定閾値L1(第4所定時間)以上か否かについて判定する。S31の判定の結果、第1カウンタC1のカウント値が第1判定閾値L1以上の場合、疾患発症が推定されるため、S32に移行する。S31の判定の結果、第1カウンタC1のカウント値が第1判定閾値L1未満の場合、現状では疾患発症を推定することができないため、リターンする。
S32では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
S32の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第1カウンタC1のカウント値に0を代入した後(S33)、リターンする。S32の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセル信号発生操作をできない状態であるため、S26に移行する。
S32の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第1カウンタC1のカウント値に0を代入した後(S33)、リターンする。S32の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセル信号発生操作をできない状態であるため、S26に移行する。
S34では、現在の第4カウンタC4のカウント値に1を追加した後、S35に移行する。S35では、第4カウンタC4のカウント値が第4判定閾値L4(第2所定時間)以上か否かについて判定する。この第4判定閾値L4は、第3判定閾値L3よりも短い期間が設定される。
S35の判定の結果、第4カウンタC4のカウント値が第4判定閾値L4以上の場合、疾患発症や居眠が推定されるため、S36に移行する。
S35の判定の結果、第4カウンタC4のカウント値が第4判定閾値L4未満の場合、疾患発症や居眠が推定することができないため、リターンする。
S35の判定の結果、第4カウンタC4のカウント値が第4判定閾値L4未満の場合、疾患発症や居眠が推定することができないため、リターンする。
S36では、警報を発生した後、S37に移行する。
S37では、第2判定条件が成立したか否かについて判定する。
第2判定条件は、以下の2条件である。
(1)運転者の頭部姿勢が異常状態である
(2)運転者による運転不操作が第2不操作判定時間(第3所定時間)継続している
尚、運転者による運転不操作の一定時間は、第3判定閾値L3に相当する期間よりも短い期間である。
S37では、第2判定条件が成立したか否かについて判定する。
第2判定条件は、以下の2条件である。
(1)運転者の頭部姿勢が異常状態である
(2)運転者による運転不操作が第2不操作判定時間(第3所定時間)継続している
尚、運転者による運転不操作の一定時間は、第3判定閾値L3に相当する期間よりも短い期間である。
S37の判定の結果、第2判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、S38に移行する。S37の判定の結果、第2判定条件が成立していない場合、警報により運転者が運転動作を開始したため、リターンする。
S38では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
S38の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第1,第4カウンタC1,C4のカウント値に0を代入した後(S39)、リターンする。S38の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセル信号発生操作をできないため、S26に移行する。
S38の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第1,第4カウンタC1,C4のカウント値に0を代入した後(S39)、リターンする。S38の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセル信号発生操作をできないため、S26に移行する。
次に、上記運転者状態判定方法及びその装置Mの作用、効果について説明する。
本運転者状態判定方法によれば、運転者の顔向きと頭部位置を取得する頭部姿勢取得工程S1,S21と、運転者の目が閉眼状態か否かを判定する閉眼判定工程S2,S23と、現時点における運転者による車両の運転操作量の少なくとも1つを取得する運転操作量取得工程S1,S21と、異常判定部33cにより運転者が異常状態か否かを判定する運転者異常状態判定工程S5,S31,S37とを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
異常判定部33cによる運転者異常状態判定工程では、閉眼判定工程S2で閉眼状態が判定された状況において、頭部姿勢取得工程S1で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第3判定閾値L3に相当する期間継続した場合、運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
異常判定部33cによる運転者異常状態判定工程では、閉眼判定工程S23で閉眼状態ではないと判定された状況において、頭部姿勢取得工程S21で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が第3判定閾値L3とは異なる第4判定閾値L4に相当する期間継続した場合に運転者に警報し、警報後において、頭部姿勢取得工程S21で取得された運転者の頭部姿勢が異常姿勢で且つ運転操作量取得工程S21で取得された運転操作量が変化しない状況が第2不操作判定時間継続した場合、運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。
しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、警報による状態確認を行うため、異常状態の判定精度を高くすることができる。
本運転者状態判定方法によれば、運転者の顔向きと頭部位置を取得する頭部姿勢取得工程S1,S21と、運転者の目が閉眼状態か否かを判定する閉眼判定工程S2,S23と、現時点における運転者による車両の運転操作量の少なくとも1つを取得する運転操作量取得工程S1,S21と、異常判定部33cにより運転者が異常状態か否かを判定する運転者異常状態判定工程S5,S31,S37とを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
異常判定部33cによる運転者異常状態判定工程では、閉眼判定工程S2で閉眼状態が判定された状況において、頭部姿勢取得工程S1で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第3判定閾値L3に相当する期間継続した場合、運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
異常判定部33cによる運転者異常状態判定工程では、閉眼判定工程S23で閉眼状態ではないと判定された状況において、頭部姿勢取得工程S21で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が第3判定閾値L3とは異なる第4判定閾値L4に相当する期間継続した場合に運転者に警報し、警報後において、頭部姿勢取得工程S21で取得された運転者の頭部姿勢が異常姿勢で且つ運転操作量取得工程S21で取得された運転操作量が変化しない状況が第2不操作判定時間継続した場合、運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。
しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、警報による状態確認を行うため、異常状態の判定精度を高くすることができる。
第4判定閾値L4に相当する期間は第3判定閾値L3に相当する期間よりも短いため、閉眼が確認できない状況であることを最短時間で確認することができる。
運転者異常状態判定工程S5,S37は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定するため、頭部姿勢が異常姿勢であることを容易に判定することができる。
運転者異常状態判定工程S31は、閉眼判定工程S23,S27で開眼状態が判定された状況において、頭部姿勢取得工程S21で取得された運転者の頭部姿勢が異常姿勢で且つ車両が走行している状態が第1判定閾値L1に相当する期間継続した場合、運転者が異常状態であると判定している。これにより、運転者が開眼である場合の異常状態を運転者の状態と車両の挙動により判定することができる。
本運転者状態判定装置Mでは、車両の運転者の異常状態を検出する運転者状態判定装置Mにおいて、運転者の顔向きと頭部位置を取得するカメラ11と、運転者の目が閉眼状態か否かを判定する眼状態判定部32と、現時点における運転者による車両の運転操作量の少なくとも1つを取得するセンサ12~16と、運転者が異常状態か否かを判定する異常判定部33cとを有するため、異常時状態である頭部姿勢崩れと異常時徴候である閉眼とを運転者の異常状態の判定条件にすることができる。
異常判定部33cは、眼状態判定部32で閉眼状態が判定された状況において、センサ12~16で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第3判定閾値L3に相当する期間継続した場合、運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
異常判定部33cは、眼状態判定部32で閉眼状態ではないと判定された状況において、カメラ11で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が第3判定閾値L3とは異なる第4判定閾値L4に相当する期間継続した場合に運転者に警報し、警報後において、カメラ11で取得された運転者の頭部姿勢が異常姿勢で且つセンサ12~16で取得された運転操作量が変化しない状況が第2不操作判定時間継続した場合、運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、警報による状態確認を行うため、異常状態の判定精度を高くすることができる。
異常判定部33cは、眼状態判定部32で閉眼状態が判定された状況において、センサ12~16で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第3判定閾値L3に相当する期間継続した場合、運転者が異常状態であると判定するため、直接的に検出された異常時徴候と異常時状態により運転者の異常状態を判定することができる。
異常判定部33cは、眼状態判定部32で閉眼状態ではないと判定された状況において、カメラ11で取得された運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が第3判定閾値L3とは異なる第4判定閾値L4に相当する期間継続した場合に運転者に警報し、警報後において、カメラ11で取得された運転者の頭部姿勢が異常姿勢で且つセンサ12~16で取得された運転操作量が変化しない状況が第2不操作判定時間継続した場合、運転者が異常状態であると判定するため、異常時徴候である閉眼が確認できない状況であっても、異常時徴候に代わる異常時動作で代替することができ、この異常時動作である運転不操作と異常時状態である頭部姿勢崩れを異常状態の判定条件とすることができる。しかも、異常時状態と異常時動作で運転者の異常状態を判定する前段階において、警報による状態確認を行うため、異常状態の判定精度を高くすることができる。
その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
1 検出手段
11 カメラ
32 眼状態判定部
33c 異常判定部
M 運転者状態判定装置
11 カメラ
32 眼状態判定部
33c 異常判定部
M 運転者状態判定装置
Claims (5)
- 車両の運転者の異常状態を検出する運転者状態判定方法において、
前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、
前記運転者の目が閉眼状態か否かを判定する閉眼判定工程と、
所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも1つを取得する運転操作量取得工程と、
前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、
前記運転者異常状態判定工程は、
前記閉眼判定工程で閉眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定し、
前記閉眼判定工程で閉眼状態ではないと判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得工程で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定する
ことを特徴とする運転者状態判定方法。 - 前記第2所定時間は前記第1所定時間よりも短いことを特徴とする請求項1に記載の運転者状態判定方法。
- 前記運転者異常状態判定工程は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定することを特徴とすることを特徴とする請求項1又は2に記載の運転者状態判定方法。
- 前記運転者異常状態判定工程は、
前記閉眼判定工程で開眼状態が判定された状況において、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記車両が走行している状態が第4所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする請求項1~3の何れか1項に記載の運転者状態判定方法。 - 車両の運転者の異常状態を検出する運転者状態判定装置において、
前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、
前記運転者の目が閉眼状態か否かを判定する閉眼判定手段と、
所定タイミングにおける前記運転者による前記車両の運転操作量の少なくとも1つを取得する運転操作量取得手段と、
前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、
前記運転者異常状態判定手段は、
前記閉眼判定手段で閉眼状態が判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼状態が第1所定時間継続した場合、前記運転者が異常状態であると判定し、
前記閉眼判定手段で閉眼状態ではないと判定された状況において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ閉眼ではない状態が前記第1所定時間とは異なる第2所定時間継続した場合に前記運転者に報知し、前記報知後において、前記頭部姿勢取得手段で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転操作量取得手段で取得された前記運転操作量が変化しない状況が第3所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする運転者状態判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021184710A JP2023072270A (ja) | 2021-11-12 | 2021-11-12 | 運転者状態判定方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021184710A JP2023072270A (ja) | 2021-11-12 | 2021-11-12 | 運転者状態判定方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023072270A true JP2023072270A (ja) | 2023-05-24 |
Family
ID=86424500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021184710A Pending JP2023072270A (ja) | 2021-11-12 | 2021-11-12 | 運転者状態判定方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023072270A (ja) |
-
2021
- 2021-11-12 JP JP2021184710A patent/JP2023072270A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11787408B2 (en) | System and method for controlling vehicle based on condition of driver | |
US20190283579A1 (en) | In-Vehicle Control Apparatus | |
EP2407947B1 (en) | On-board warning apparatus and warning method | |
JP6341055B2 (ja) | 車載制御装置 | |
JP4400624B2 (ja) | 居眠り防止装置及び方法 | |
JP5527411B2 (ja) | 車両の緊急退避装置 | |
EP1721782B1 (en) | Driving support equipment for vehicles | |
WO2016027412A1 (ja) | 車載制御装置 | |
US20140121927A1 (en) | Vehicle emergency evacuation device | |
US20090322506A1 (en) | Method and apparatus for driver state detection | |
KR20150143139A (ko) | 차량용 운전자 위험 지수 관리 시스템 및 그 방법 | |
JP2009294753A (ja) | 画像処理装置および画像処理方法 | |
JP6730096B2 (ja) | 乗員状態監視装置 | |
JP2009018625A (ja) | 走行制御装置 | |
JP6256433B2 (ja) | 運転者状態検出装置 | |
JP6593486B2 (ja) | 車載制御装置及び車載システム | |
JP2021017112A (ja) | 運転支援装置 | |
JP7410681B2 (ja) | 車両制御システム | |
JP2008305190A (ja) | 居眠り警告装置及び自動車 | |
CN112119438A (zh) | 车辆用后侧方警报装置和车辆用后侧方警报方法 | |
JP3465590B2 (ja) | 車両走行支援装置 | |
JP6579496B2 (ja) | 運転者状態推定装置 | |
JP2023072270A (ja) | 運転者状態判定方法及びその装置 | |
JP2023072268A (ja) | 運転者状態判定方法及びその装置 | |
JP2023072271A (ja) | 運転者状態判定方法及びその装置 |