JP2023072269A - 運転者状態判定方法及びその装置 - Google Patents

Abstract

【課題】運転者の異常状態の判定精度を向上することができる運転者状態判定方法及びその装置を提供する。【解決手段】周辺情報取得工程Ｓ１と、視界画像取得工程Ｓ２と、運転者の誘目度分布を生成する誘目度分布生成工程Ｓ３と、運転者の視線挙動を取得する視線挙動取得工程Ｓ４と、運転者の複数の視線判定指標を演算する視線判定指標演算工程Ｓ５と、運転者の顔向き等を取得する頭部姿勢取得工程Ｓ２１と、運転者が異常状態か否かを判定する運転者異常状態判定工程Ｓ２２，Ｓ２３，Ｓ２７とを有し、運転者異常状態判定工程Ｓ２２，Ｓ２３，Ｓ２７は、異常姿勢で且つ複数の視線判定指標が全て正常である場合、運転者が意図的姿勢崩れであると判定し、異常姿勢で且つ複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、運転者が異常状態であると判定する。【選択図】 図１２

Description

本発明は、車両を運転する運転者の異常状態を検出する運転者状態判定方法及びその装置に関する。

従来より、運転者の意識状態、特に運転者の覚醒状態を的確に把握し、この覚醒状態に応じて車両に対する運転操作を支援する運転者支援装置が知られている。
疾患や居眠りを含む運転者の異常状態は、カメラ等の撮像手段によって取得された運転者の頭部姿勢や顔状態等の頭部関連情報を介して判定される。頭部関連情報のうち頭部姿勢は、例えば、運転者の顔向きや頭部位置（三次元座標）等を介して検出され、顔状態は、例えば、運転者の表情や目の開度状態（瞼状態）等を介して検出されている。

特許文献１の車両用警報装置は、運転者の居眠りを検知する居眠検知部と、運転者の脇見を検知する脇見検知部と、運転者の異常姿勢を検知する異常姿勢検知部と、車速を検知する車速検知部と、警報を報知する報知部と、何れかの検知部の検知に基づき報知部を作動させる警報制御部とを有し、警報制御部は、車速が所定閾値以下のとき、居眠検知で警報を実行すると共に脇見検知では警報を実行しない。

特開２０１９－１３３４０２号公報

特許文献１の車両用警報装置は、居眠状態や異常姿勢の場合、警報を実行する一方、運転者が駐車位置等を捜すために車両を極低速走行する状況において、不必要な警報の実行を回避でき、運転者が感覚的に煩わしいと感じる事態の発生を制限することができる。
しかし、特許文献１の車両用警報装置では、脇見判定における誤検知を回避することが可能であるものの、異常姿勢判定における誤検知を回避することができない虞がある。

一般に、運転者が疾患を発症した場合、異常姿勢、換言すれば、運転者の意識がない無意識的姿勢崩れが外部観察にて認識される。
それ故、無意識的姿勢崩れは、顔向きや頭部位置によって検出されている。
一方、運転者が意識的に運転不適姿勢、所謂意図的姿勢崩れの状況において、運転者の顔向きや頭部位置を条件として異常が判断された場合、運転者の異常状態が判定される。
しかし、運転者は意図的に姿勢を崩しているため、意識状態や運転操作の面では特に不都合がないにも拘らず、警報が実行され、運転者にとって煩雑さを招くことがある。

運転者支援装置には、運転者の異常状態が判定された際、車両を自動的に路肩方向に移動すると共に自律的に車両を停車するものも存在している。
このような運転者支援装置では、意図的姿勢崩れが判定された場合であっても自動停車するため、運転者にとって煩雑さが一層増加することに加え、他車両に対して自車両が緊急停車するという予期しない事態を招く虞がある。
即ち、運転者の異常姿勢の判定精度を向上することは、不可欠であるにも拘らず容易ではない。

本発明の目的は、運転者の異常状態の判定精度を向上可能な運転者状態判定方法及びその装置等を提供することである。

請求項１の運転者状態判定方法は、車両の運転者の異常状態を検出する運転者状態判定方法において、前記車両の周辺状況に関する周辺情報を取得する周辺情報取得工程と、前記運転者の視界に表われる視界画像を取得する視界画像取得工程と、前記視界画像取得工程で作成された視界画像に対する前記運転者の誘目度分布を生成する誘目度分布生成工程と、前記運転者の視線挙動を取得する視線挙動取得工程と、前記周辺情報と視界画像と誘目度分布と視線挙動とにより前記運転者の複数の視線判定指標を演算する視線判定指標演算工程と、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標が全て正常である場合、前記運転者が意図的姿勢崩れであると判定し、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、前記運転者が異常状態であると判定することを特徴としている。

この運転者状態判定方法では、前記車両の周辺状況に関する周辺情報を取得する周辺情報取得工程と、前記運転者の視界に表われる視界画像を取得する視界画像取得工程と、前記視界画像取得工程で作成された視界画像に対する前記運転者の誘目度分布を生成する誘目度分布生成工程と、前記運転者の視線挙動を取得する視線挙動取得工程と、前記周辺情報と視界画像と誘目度分布と視線挙動とにより前記運転者の複数の視線判定指標を演算する視線判定指標演算工程と、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有するため、運転者の複数の視線判定指標を運転者の異常状態の判定条件に含めることができる。
前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標が全て正常である場合、前記運転者が意図的姿勢崩れであると判定するため、意識状態や運転操作の面で問題のない運転者の運転不適姿勢を判定することができる。
前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、前記運転者が異常状態であると判定するため、運転者の姿勢崩れから無意識的姿勢崩れを高精度に判定することができる。

請求項２の発明は、請求項１の発明において、前記運転者異常状態判定工程は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定することを特徴としている。
この構成によれば、運転者の頭部姿勢が異常姿勢であることを容易に判定することができる。

請求項３の発明は、請求項１又は２の発明において、前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である状況が所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この構成によれば、運転者の異常状態を確実に判定することができる。

請求項４の発明は、請求項１～３の何れか１項の発明において、前記複数の視線判定指標は、サリエンシー指標、サッケード振幅指標、及びサッケード頻度指標であることを特徴としている。
この構成によれば、運転者の注意度を介して運転者の異常状態を判定することができる。

請求項５の運転者状態判定装置は、車両の運転者の異常状態を検出する運転者状態判定装置において、前記車両の周辺状況に関する周辺情報を取得する周辺情報取得手段と、前記運転者の視界に表われる視界画像を取得する視界画像取得手段と、前記視界画像取得手段で作成された視界画像に対する前記運転者の誘目度分布を生成する誘目度分布生成手段と、前記運転者の視線挙動を取得する視線挙動取得手段と、前記周辺情報と視界画像と誘目度分布と視線挙動とにより前記運転者の複数の視線判定指標を演算する視線判定指標演算手段と、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、前記運転者異常状態判定手段は、前記頭部姿勢取得手段が取得した前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算手段が演算した前記運転者の複数の視線判定指標が全て正常である場合、前記運転者が意図的姿勢崩れであると判定し、前記頭部姿勢取得手段が取得した前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算手段か演算した前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、前記運転者が異常状態であると判定することを特徴としている。

この運転者状態判定装置では、車両の運転者の異常状態を検出する運転者状態判定装置において、前記車両の周辺状況に関する周辺情報を取得する周辺情報取得手段と、前記運転者の視界に表われる視界画像を取得する視界画像取得手段と、前記視界画像取得手段で作成された視界画像に対する前記運転者の誘目度分布を生成する誘目度分布生成手段と、前記運転者の視線挙動を取得する視線挙動取得手段と、前記周辺情報と視界画像と誘目度分布と視線挙動とにより前記運転者の複数の視線判定指標を演算する視線判定指標演算手段と、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有するため、運転者の複数の視線判定指標を運転者の異常状態の判定条件に含めることができる。
前記運転者異常状態判定手段は、前記頭部姿勢取得手段が取得した前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算手段が演算した前記運転者の複数の視線判定指標が全て正常である場合、前記運転者が意図的姿勢崩れであると判定するため、意識状態や運転操作の面で問題のない運転者の運転不適姿勢を判定することができる。
前記運転者異常状態判定手段は、前記頭部姿勢取得手段が取得した前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算手段か演算した前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、前記運転者が異常状態であると判定するため、運転者の姿勢崩れから無意識的姿勢崩れを高精度に判定することができる。

本発明の運転者状態判定方法及びその装置によれば、運転者の複数の視線判定指標を運転者の異常状態の判定条件にすることにより、運転者の異常状態の判定精度を向上することができる。

実施例１に係る運転者状態判定装置のブロック図である。 監視支援装置に係る説明図である。 制動支援装置に係る説明図である。 停車支援装置に係る説明図である。 視線判定制御処理のステップチャートである。 サッケードの抽出について説明するためのグラフである。 サッケードのノイズ除去処理について説明するためのグラフである。 運転者の注視点に係るサリエンシーの時間変化の一例を示した図である。 図８と同じ環境においてランダムに座標を指定したランダム点に係るサリエンシーの時間変化の一例を示した図である。 サリエンシー指標の説明図である。 閉眼判定制御処理を示すフローチャートである。 頭部姿勢判定制御処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。

以下、本発明の実施例１について図１～図１２に基づいて説明する。
運転者状態判定装置Ｍは、運転者の意識状態、特に運転者が運転する車両（以下、自車両ともいう）の運転操作が困難な異常状態を判定すると共に、運転者の異常状態が判定された場合、自律的に緊急停車可能な運転支援装置である。
以下、運転者の異常状態とは、運転者が意識的に覚醒しておらず且つ身体的に姿勢が崩れて運転操作が不可能な状態（疾患発症や居眠を含む）として説明する。
また、以下の説明は、運転者状態判定方法の説明を含むものである。

図１に示すように、運転者状態判定装置Ｍは、運転者の操作挙動及び車両の走行挙動等を検出可能な複数の検出手段１と、運転者に対して車両側から自律的に車両の運転支援を行う運転者支援装置２と、検出手段１から入力される入力信号に基づき各種演算を行うと共に運転者支援装置２に各種指令信号を出力するＥＣＵ（Electronic Control Unit）３等を主な構成要素としている。

まず、検出手段１について説明する。
図１に示すように、検出手段１は、車両の進行方向前方を撮像する外部カメラ１０と、運転者を撮像する内部カメラ１１と、車両の速度を検出する車速センサ１２と、ステアリングホイール（図示略）の操作による操舵角度を検出する舵角センサ１３と、運転者によるステアリングホイールの把持を検出する把持センサ１４と、アクセルペダル（図示略）の踏込量を検出するアクセルセンサ１５と、ブレーキペダル（図示略）の踏込量を検出するブレーキセンサ１６と、ハザードランプ（図示略）を作動させるハザードスイッチ１７等を備えている。各センサ１２～１６が、所定タイミング、所謂判定時直前である現時点の運転操作量を取得する運転操作量取得手段に相当している。

外部カメラ１０は、車両の周囲を全体的に網羅するように設けられている。この外部カメラ１１は、車両の周囲に広がる環境（車両周辺の外部環境）を撮像することにより、車両の外部環境の一部である進行方向前方の撮像画像を取得する。
外部カメラ１０に取得された画像情報は、ＥＣＵ３に送信される。外部カメラ１０は、広角レンズを有する単眼カメラであり、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）等の固体撮像素子を用いて構成される。

内部カメラ１１は、例えば、ＣＣＤカメラによって構成され、インスツルメントパネル（図示略）上部中央において運転者対向位置に装着されている。
この内部カメラ１１は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成されている。撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向（顔向方向）、運転者の表情の特定、目のアイリス（虹彩）を拡大検出して視線向方向、瞼部分を拡大検出して運転者の目の開度や開閉状態、運転者の頭部（重心）の三次元座標位置等を検出可能に構成されている。
内部カメラ１１は、少なくとも、必要な撮像画像を取得できれば良く、前方正面カメラと運転席の真上に設置した上方カメラの２つのカメラ、或いは３以上のカメラを搭載しても良い。

次に、運転者支援装置２について説明する。
図１に示すように、運転者支援装置２は、運転者に対して警戒状態を報知する監視支援装置２１と、車両に対して制動動作を行わせる制動支援装置２２と、車両に対して緊急停車動作を行わせる停車支援装置２３等から構成されている。

監視支援装置２１は、意識状態、所謂運転者の覚醒状態を認知して回復が必要と判断した場合、運転者に報知することにより運転者の意識の回復を促すように構成されている。
この監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、車室内に設けた１又は複数のスピーカ（図示略）から運転者に対して警報を発生する。
図２に示すように、インスツルメントパネルに配置された速度メータ部２１ａには、警報を表示可能な表示部２１ｂが設けられている。監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、表示部２１ｂに、例えば「前方注意」の警報を表示する。

制動支援装置２２は、走行中の自車両が先行する他車両に接近したとき、警報を行い、衝突を回避可能な制動限界距離になった場合、緊急制動するように構成されている。
図３に示すように、制動支援装置２２は、自車両が先行する他車両Ｂに対して自車両Ａ１の位置まで接近したとき、スピーカから運転者に対して警報を発生する。
他車両Ｂと自車両Ａ１との離隔距離は、通常であれば運転者が自身の運転操作（手動操作）で衝突を回避することができる時間（例えば、０．８ｓｅｃ）に対応した距離である。
制動支援装置２２は、自車両が先行する他車両Ｂに対して更に自車両Ａ２の位置まで接近したとき、自動的に緊急制動する。他車両Ｂと自車両Ａ２との離隔距離は、最大制動力相当の緊急制動により衝突を回避することができる限界距離である。

また、図３に示すように、制動支援装置２２は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、走行中の自車両が先行する他車両Ｂに対して自車両Ａ１の位置よりも離隔した自車両Ａ３の位置まで接近したとき、スピーカから運転者に対して警報を発生する。ここで、他車両Ｂと自車両Ａ３との離隔距離は、運転者が注意散漫状態であっても運転者が自身の運転操作で衝突を回避することができる時間（例えば、１．２ｓｅｃ）に対応した距離である。

停車支援装置２３は、ＥＣＵ３から居眠推定信号を受信した場合、スピーカから運転者に対して警報を発生し、居眠確定信号を受信後、自車両を自律的に緊急停車させる。
図４に示すように、停車支援装置２３は、自車両Ｘ１の位置で閉眼状態に対応した居眠推定信号を受信したとき、スピーカを作動させて警報を発生し、自車両Ｘ２の位置で運転不操作状態等に対応した居眠確定信号を受信している。次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。

また、停車支援装置２３は、ＥＣＵ３から異常信号を受信した場合、自車両を自律的に緊急停車する。図４に示すように、停車支援装置２３は、自車両Ｘ２の位置で運転者の異常信号を受信する。次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。その後、停車支援装置２３は、例えば、停車保持期間が所定時間経過した後、救急センタ等に緊急通報を行う。以下、これら自律緊急停車制御を異常時シーケンス制御という。

次に、ＥＣＵ３について説明する。
ＥＣＵ３は、異常時の運転者の徴候（以下、異常時徴候）と、異常時の運転者の身体的状態（以下、異常時状態）と、運転者の視線特性の１つである視線異常とを用いて運転者の異常状態を判定している。このＥＣＵ３は、ＣＰＵ（Central Processing Unit）と、ＲＯＭと、ＲＡＭと、イン側インタフェイスと、アウト側インタフェイス等によって構成されている。ＲＯＭには、ブレーキ制御や表示制御等種々のプログラムやデータが格納され、ＲＡＭには、ＣＰＵが一連の処理を行う際に使用される処理領域が設けられている。

図１に示すように、ＥＣＵ３は、運転者の視線異常を判定する視線判定部３０（視界画像取得手段、視線判定指標演算手段）と、運転者の頭部姿勢状態を判定する頭部姿勢判定部３１と、運転者の左右両目について開閉状態を判定する眼状態判定部３２と、車両の運転に対して阻害要因に成り得る運転者状態を判定する運転者状態判定部３３等を備えている。

まず、視線判定部３０について説明する。
図１に示すように、視線判定部３０は、サリエンシー（誘目度）判定部３０ａ（誘目度分布生成手段）と、サッケード（跳躍性眼球運動）判定部３０ｂ（視線挙動取得手段）とを備えている。サリエンシー判定部３０ａは、サリエンシー指標に基づき視線異常を判定し、サッケード判定部３０ｂは、サッケード振幅指標及びサッケード頻度指標に基づき視線異常を判定する。視線判定部３０は、これらの視線判定指標の全てが正常と判定された場合、視線正常と判定し、３つの視線判定指標のうち１つでも異常と判定された場合、視線異常と判定している。

図５のステップチャートに示すように、視線判定部３０が実行する視線判定制御処理は、周辺情報取得工程Ｓ１、視界画像取得工程Ｓ２、誘目度分布生成工程Ｓ３、視線挙動取得工程Ｓ４、視線判定指標演算工程Ｓ５、視線指標判定工程Ｓ６の順番で処理される。
周辺情報取得工程Ｓ１では、外部カメラ１０で撮像された画像と内部カメラ１１で撮像された画像とを夫々受信し、これらの画像処理が行われる。この画像処理では、画像の歪を補正する歪補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理等が行われる。

視界画像取得工程Ｓ２では、外部カメラ１１及び内部カメラ１２からの入力に基づき、運転席に着座した運転者の視界領域に表われる視界画像が作成される。
視界画像は、外部カメラ１０が撮像した車両前方の外部環境画像に対して車両走行中に運転者の視界領域に入るピラー等の車体構成部材を合成して作成する。
また、運転者の視線方向と視界画像とから運転者の注視点が算出される。

誘目度分布生成工程Ｓ３では、視界画像取得工程Ｓ２で取得された視界画像の車体構成部材以外の部分について、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して特徴毎のサリエンシーマップが生成される。これら生成された特徴毎のサリエンシーマップを足し合わせることで最終的なサリエンシーマップを作成する。

視線挙動取得工程Ｓ４では、サッケードの振幅及びサッケードの頻度が取得される。
図６に示すように、隣り合う注視期間の間に挟まれた期間がサッケード期間である。サッケード振幅ｄｓは、サッケード期間における視線の移動距離である。
図７に示すように、視線の移動距離の変化に基づきサッケード候補を抽出し、複数のサッケード候補に基づいて回帰曲線Ｌ１０を導出する。回帰曲線Ｌ１０を移動速度増加方向にシフトした第１基準曲線Ｌ１１と回帰曲線Ｌ１０を移動速度減少方向にシフトした第２基準曲線Ｌ１２との間をサッケード範囲Ｒ１０に設定し、複数のサッケード候補のうちサッケード範囲Ｒ１０に含まれるサッケード候補をサッケードとして抽出した。

視線判定指標演算工程Ｓ５では、サリエンシー指標、サッケード振幅指標及びサッケード頻度指標が演算される。
サッケード振幅指標は、予め定められた周期内に含まれるサッケードの振幅の平均値により求める。また、サッケード頻度指標は、予め定められた周期内に含まれるサッケードの数をその周期の時間で除算することにより求める。

サリエンシー指標の演算では、計測時間内に得られるサリエンシーマップにおいて運転者の注視点を検出し、所定時刻毎の注視点を抽出したサリエンシーグラフ（図８参照）と、計測時間内に得られるサリエンシーマップにおいてランダム点を指定し、所定時刻毎のランダム点を抽出したサリエンシーグラフ（図９参照）とを作成する。
注視点のサリエンシーのうち閾値を超える注視点のサリエンシーの数を注視点の総サリエンシー数で除算して注視点における閾値を超える確率を求める。また、ランダム点のサリエンシーのうち閾値を超えるランダム点のサリエンシーの数をランダム点の総サリエンシー数で除算してランダム点における閾値を超える確率を求める。

図１０に示すように、注視点における閾値を超える確率とランダム点における閾値を超える確率との組み合わせに基づいてＲＯＣ（Receiver Operating Characteristic）曲線Ｃを導出する。このＲＯＣ曲線Ｃは、運転者の視線が高サリエンシー領域に誘引される傾向の強さに応じて変化する。最後に、ＲＯＣ曲線Ｃの下側領域（ハッチング領域）であるサリエンシー指標（AUC：Area Under Curve）を演算する。

視線指標判定工程Ｓ６では、サリエンシー指標が予め定められた基準ＡＵＣ値を上回る場合、又はサッケード振幅指標が判定閾値以上の場合、又はサッケード頻度指標が判定閾値以上の場合、注意機能低下を引き起こす視線異常であると判定する。
サリエンシー指標、サッケード振幅指標、サッケード頻度指標が、何れも正常判定された場合、運転者の視線正常が判定される。

次に、頭部姿勢判定部３１について説明する。
頭部姿勢判定部３１は、内部カメラ１１が撮像した画像情報に基づき運転者の頭部姿勢状態を判定している。この頭部姿勢判定部３１は、運転者の頭部姿勢状態が俯き、横倒れ、突っ伏し、後傾のうち何れかであることを検出した場合、頭部姿勢崩れを判定する。
頭部姿勢崩れが判定されたとき、第１カウンタＣ１に１が代入される。第１カウンタＣ１の初期値は０である。

頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上の場合、俯き判定信号を出力し、ロール方向の顔向角度の絶対値が所定閾値以上の場合、横倒れ（横凭れ）判定信号を出力する。また、頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上で且つ現在の頭部位置が基準頭部位置に頭部位置閾値を減算した値以上の場合、突っ伏し判定信号を出力し、ピッチ方向の顔向角度が、所定閾値以上且つ基準頭部位置に頭部位置閾値を加算した値に対して現在の頭部位置よりも小さい場合、後傾判定信号を出力する。俯き、横倒れ、突っ伏し、後傾を判定するための角度や頭部位置に夫々関連する各閾値が、運転者の頭部姿勢異常を判定するための頭部姿勢判定閾値に夫々相当する。

眼状態判定部３２は、運転者の目の状態が閉眼状態か否かについて判定している。
この眼状態判定部３２は、例えば、内部カメラ１１によって撮像した運転者の上下の瞼を検出し、両瞼の縁間の画素数に基づいて運転者の開眼度を検出する。検出された開眼度が、所定の判定閾値以上の場合、開眼状態であると判定され、また、検出された開眼度が、所定の判定閾値未満の場合、閉眼状態であると判定される。閉眼状態が判定されたとき、第２カウンタＣ２に１が代入される。第２カウンタＣ２の初期値は０である。
尚、本実施形態において、運転者の左右両目が閉眼判定された場合のみ、閉眼判定される一方、それ以外の場合、閉眼判定されない。

運転者状態判定部３３は、運転者が進行方向前方以外に対して視線を向けているか否か判定する脇見判定部３３ａと、運転者の居眠りが推定される居眠推定状態及び高い確率で運転者の居眠りが検出された居眠確定状態を判定する居眠判定部３３ｂと、車両の運転が困難である運転者の異常状態を判定する異常判定部３３ｃ（運転者異常状態判定手段）とを備えている。

脇見判定部３３ａについて説明する。
脇見判定部３３ａは、運転者の顔向方向情報、視線向方向情報及び車両情報から運転者が脇見であるか否かを判定すると共に、運転者が脇見であると判定された場合、監視支援装置２１と制動支援装置２２に脇見信号を出力する。
運転者のヨー方向視線向のカウント値がヨー方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ヨー方向閾値は、車速或いは車両走行時の曲率半径に応じて変更される。また、運転者のピッチ方向視線向のカウント値がピッチ方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ピッチ方向閾値は、車速に応じて変更される。

ヨー方向視線向のカウント値及びピッチ方向視線向のカウント値は、長時間の脇見継続カウント又は短時間の脇見累計カウントにより演算される。長時間の脇見継続カウントは、処理周期毎の判定結果が時系列で連続する回数のことである。また、短時間の脇見累計カウントは、処理周期毎の判定結果がそれ以前の所定時間のうち条件が一致している状態でのカウント累計のことである。

ヨー方向及びピッチ方向の視線向方向情報は、その信頼度が予め設定された信頼度閾値を用いて判定されている。各視線向方向情報の信頼度は、運転者を撮像した撮像画像の鮮明度（顔、瞼、黒目等の輪郭の鮮明度）に基づき設定される。
各視線向方向情報の信頼度が低く、各視線向が無効の場合には、ヨー方向及びピッチ方向の顔向方向情報で夫々補間される。ヨー方向及びピッチ方向の顔向方向情報の信頼度が低く、各顔向が無効の場合には、有効な前回の視線向で補間している。

次に、居眠判定部３３ｂについて説明する。
居眠判定部３３ｂは、閉眼継続時間及び車両情報等から運転者が居眠りであるか否かを判定すると共に、運転者が居眠りであると推定された場合、居眠推定信号を監視支援装置２１と制動支援装置２２と停車支援装置２３に出力し、運転者が居眠りであると確定された場合、居眠確定信号を停車支援装置２３に出力する。

居眠判定部３３ｂは、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は短時間の閉眼時間が一定時間内に所定の時間閾値を超えて繰り返す場合、居眠状態を推定する。
また、居眠判定部３３ｂは、居眠警報後に車両が一定車速以上で走行している状況において、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は連続閉眼且つ運転不操作状態が時間閾値を超えた場合、居眠状態を確定する。

運転不操作状態は、走行時における運転不適切操作として、検出手段１の検出信号に基づき判定閾値との比較により判定されている。具体的には、ステアリングホイールの不操舵、ステアリングホイールの非把持、アクセル、ブレーキの不操作のうち少なくとも１の操作状態により判定されている。尚、運転不適切操作判定用として、各操作部材に対して極めて小さい判定閾値を設定し、不適切操作を判定しても良い。

次に、異常判定部３３ｃについて説明する。
異常判定部３３ｃは、内部カメラ１１が取得した運転者の頭部姿勢が異常姿勢で且つ視線判定部３０で演算された運転者の３つの視線判定指標が全て正常である場合、運転者が意図的姿勢崩れであると判定し、内部カメラ１１が取得した運転者の頭部姿勢が異常姿勢で且つ視線判定部３０で演算された運転者の３つの視線判定指標のうちの何れかの視線判定指標が異常である場合、運転者が異常状態であると判定している。

本発明者は、異常時の運転者の徴候は、閉眼をパラメータとして検出することができ、異常時の運転者の身体的状態は、頭部姿勢崩れをパラメータとして検出することができ、異常時の運転者の動作は、運転不操作をパラメータとして検出することができるという知見を得た。しかし、頭部姿勢崩れには、疾患等に起因した無意識的姿勢崩れと意図的姿勢崩れとが存在し、両者が頭部姿勢崩れと判定された場合、判定精度が低下する。
そこで、本実施形態では、無意識的姿勢崩れと意図的姿勢崩れとを視線判定指標を用いて識別している。

次に、図１１のフローチャートに基づいて、閉眼判定制御処理について説明する。
尚、Ｓｉ（ｉ＝１１，１２…）は、各処理のためのステップを示す。

まず、図１１に示すように、ＥＣＵ３は、内部カメラ１１等の各種検出手段１からの出力及び第１，第２カウンタＣ１，Ｃ２等の各種情報を入力し（Ｓ１１）、Ｓ１２に移行する。
Ｓ１２では、運転者の両目が閉眼であるか否かについて判定する。
Ｓ１２の判定の結果、運転者が閉眼である場合、異常時（疾患発症か居眠）の運転者の徴候である閉眼が検出されたため、Ｓ１３に移行する。Ｓ１２の判定の結果、運転者が閉眼ではない場合、少なくとも片方の目が開眼、或いは撮像情報の信頼度が低いため、リターンする。

Ｓ１３では、現在の第２カウンタＣ２のカウント値に１を追加した後、Ｓ１４に移行する。Ｓ１４では、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上か否かについて判定する。Ｓ１４の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上の場合、閉眼状態が継続しており、疾患発症や居眠が推定されるため、Ｓ１５に移行する。
Ｓ１４の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２未満の場合、現状では疾患発症や居眠を推定することができないため、リターンする。
Ｓ１５では、警報を発生した後、Ｓ１６に移行する。

Ｓ１６では、第１判定条件が成立したか否かについて判定する。
第１判定条件は、以下の３条件である。
（１）運転者の頭部姿勢が異常状態である
（２）運転者による運転不操作が第１不操作判定時間継続している
（３）運転者の閉眼が一定時間継続している

Ｓ１６の判定の結果、第１判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、Ｓ１７に移行する。
Ｓ１６の判定の結果、第１判定条件が成立していない場合、警報により運転者が運転動作を開始したため、リターンする。

Ｓ１７では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ１７の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入した後（Ｓ１８）、リターンする。Ｓ１７の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセルできないため、Ｓ１９に移行する。
Ｓ１９では、異常時シーケンス制御を実行した後、リターンする。このＳ６では、第１，第２カウンタＣ１，Ｃ２に夫々０を代入する。

次に、図１２のフローチャートに基づいて、頭部姿勢判定制御処理について説明する。この頭部姿勢判定制御処理は、閉眼判定制御処理とは独立して並列的に制御されている。
Ｓｉ（ｉ＝２１，２２…）は、各処理のためのステップを示す。

まず、図１２に示すように、ＥＣＵ３は、内部カメラ１１やハザードスイッチ１７等の検出手段１からの出力を入力し（Ｓ２１）、Ｓ２２に移行する。
Ｓ２２では、運転者の頭部姿勢が崩れているか否か判定する。
Ｓ２２の判定の結果、運転者の頭部姿勢が崩れている場合、無意識的姿勢崩れと意図的姿勢崩れとを識別するため、Ｓ２３に移行する。Ｓ２２の判定の結果、運転者の頭部姿勢が崩れていない場合、異常時状態ではないため、リターンする。

Ｓ２３では、運転者の視線が異常か否か判定する。
視線判定部３０は、運転者の視線から抽出された視線判定指標（サリエンシー指標、サッケード振幅指標、サッケード頻度指標）を用いて視線異常を判定する。
Ｓ２３の判定の結果、運転者が視線異常である場合、運転者の注意機能が低下した異常状態であるため、Ｓ２４に移行する。Ｓ２３の判定の結果、運転者が視線異常ではない場合、運転者の注意機能は低下していないため、Ｓ３２に移行する。

Ｓ２４では、運転者が各種操作部（ステアリングホイール、アクセルペダル、ブレーキペダル等）により運転操作を適切に行っているか否か判定する。
Ｓ２４の判定の結果、運転者が運転操作を適切に行っている場合、頭部姿勢崩れであっても適切に車両を操縦しているため、リターンする。Ｓ２４の判定の結果、運転者が運転操作を適切に行っていない、例えば、各種操作部が一切操作されていない場合、Ｓ２５に移行する。

Ｓ２５では、車両の車速が判定閾値以上か否か判定する。
Ｓ２５の判定の結果、車両の車速が判定閾値以上の場合、
車両が走行中にも拘らず無意識的姿勢崩れで且つ運転操作ができていないため、Ｓ２６に移行する。Ｓ２５の判定の結果、車両の車速が判定閾値未満の場合、運転者は回復を待つために停車している可能性があるため、リターンする。Ｓ２６では、現在の第１カウンタＣ１のカウント値に１を追加した後、Ｓ２７に移行する。

Ｓ２７では、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上か否かについて判定する。Ｓ２７の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上の場合、疾患発症が推定されるため、Ｓ２８に移行する。Ｓ２７の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１未満の場合、現状では疾患発症を推定することができないため、リターンする。Ｓ２８では、警報を報知した後、Ｓ２９に移行する。

Ｓ２９では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ２９の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第１カウンタＣ１のカウント値に０を代入した後（Ｓ３０）、リターンする。Ｓ２９の判定の結果、キャンセル信号が発生しない場合、運転者がキャンセルできる状態ではないため、Ｓ３１に移行する。Ｓ３１では、異常時シーケンス制御を実行した後、リターンする。このＳ３１では、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入する。

Ｓ３２では、運転者が意識状態や運転操作の面では不都合がない意図的姿勢崩れであるため、警告としての警報を報知した後、Ｓ３３に移行する。
Ｓ３３では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ３３の判定の結果、キャンセル信号が発生した場合、運転者が警告に気付きキャンセル信号発生操作を行ったため、警報を停止した後（Ｓ３４）、リターンする。
Ｓ３３の判定の結果、キャンセル信号が発生しない場合、運転者が警告に気付いていないため、警報を継続する。

次に、上記運転者状態判定方法及びその装置Ｍの作用、効果について説明する。
本運転者状態判定方法によれば、車両の周辺状況に関する周辺情報を取得する周辺情報取得工程Ｓ１と、運転者の視界に表われる視界画像を取得する視界画像取得工程Ｓ２と、視界画像取得工程Ｓ２で作成された視界画像に対する運転者の誘目度分布を生成する誘目度分布生成工程Ｓ３と、運転者の視線挙動を取得する視線挙動取得工程Ｓ４と、周辺情報と視界画像と誘目度分布と視線挙動とにより運転者の複数の視線判定指標を演算する視線判定指標演算工程Ｓ５と、運転者の顔向きと頭部位置を取得する頭部姿勢取得工程Ｓ２１と、運転者が異常状態か否かを判定する運転者異常状態判定工程Ｓ２２，Ｓ２３，Ｓ２７とを有するため、運転者の複数の視線判定指標を運転者の異常状態の判定条件に含めることができる。
運転者異常状態判定工程Ｓ２２，Ｓ２３，Ｓ２７は、頭部姿勢取得工程Ｓ２１で取得された運転者の頭部姿勢が異常姿勢で且つ視線判定指標演算工程Ｓ５で演算された運転者の複数の視線判定指標が全て正常である場合、運転者が意図的姿勢崩れであると判定するため、意識状態や運転操作の面で問題のない運転者の運転不適姿勢を判定することができる。
運転者異常状態判定工程Ｓ２２，Ｓ２３，Ｓ２７は、頭部姿勢取得工程Ｓ２１で取得された運転者の頭部姿勢が異常姿勢で且つ視線判定指標演算工程Ｓ５で演算された運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、運転者が異常状態であると判定するため、運転者の姿勢崩れから無意識的姿勢崩れを高精度に判定することができる。

運転者異常状態判定工程Ｓ２２は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定するため、運転者の頭部姿勢が異常姿勢であることを容易に判定することができる。

運転者異常状態判定工程Ｓ２７は、頭部姿勢取得工程Ｓ２１で取得された運転者の頭部姿勢が異常姿勢で且つ視線判定指標演算工程Ｓ５で演算された運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である状況が第１判定閾値Ｌ１に相当する期間継続した場合、運転者が異常状態であると判定している。これにより、運転者の異常状態を確実に判定することができる。

視線判定指標は、サリエンシー指標、サッケード振幅指標、及びサッケード頻度指標であるため、運転者の注意度を介して運転者の異常状態を判定することができる。

この運転者状態判定装置Ｍでは、車両の運転者の異常状態を検出する運転者状態判定装置Ｍにおいて、車両の周辺状況に関する周辺情報を取得する外部カメラ１０と、運転者の視界に表われる視界画像を取得する視界画像取得手段に相当する視線判定部３０と、視界画像取得手段で作成された視界画像に対する前記運転者の誘目度分布を生成するサリエンシー判定部３０ａと、運転者の視線挙動を取得するサッケード判定手段３０ｂと、周辺情報と視界画像と誘目度分布と視線挙動とにより運転者の複数の視線判定指標を演算する視線判定指標演算手段に相当する視線判定部３０と、運転者の顔向きと頭部位置を取得する内部カメラ１１と、運転者が異常状態か否かを判定する異常判定部３３ｃとを有するため、運転者の複数の視線判定指標を運転者の異常状態の判定条件に含めることができる。
異常判定部３３ｃは、内部カメラ１１が取得した運転者の頭部姿勢が異常姿勢で且つ視線判定指標演算手段に相当する視線判定部３０が演算した運転者の複数の視線判定指標が全て正常である場合、運転者が意図的姿勢崩れであると判定するため、意識状態や運転操作の面で問題のない運転者の運転不適姿勢を判定することができる。
異常判定部３３ｃは、内部カメラ１１が取得した前記運転者の頭部姿勢が異常姿勢で且つ視線判定指標演算手段に相当する視線判定部３０か演算した運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、運転者が異常状態であると判定するため、運転者の姿勢崩れから無意識的姿勢崩れを高精度に判定することができる。

その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。

１ 検出手段
１０ 外部カメラ
１１ 内部カメラ
３０ 視線判定部
３０ａ サリエンシー判定部
３０ｂ サッケード判定部
３３ｃ 異常判定部
Ｍ 運転者状態判定装置

Claims (5)

1. 車両の運転者の異常状態を検出する運転者状態判定方法において、
   前記車両の周辺状況に関する周辺情報を取得する周辺情報取得工程と、
   前記運転者の視界に表われる視界画像を取得する視界画像取得工程と、
   前記視界画像取得工程で作成された視界画像に対する前記運転者の誘目度分布を生成する誘目度分布生成工程と、
   前記運転者の視線挙動を取得する視線挙動取得工程と、
   前記周辺情報と視界画像と誘目度分布と視線挙動とにより前記運転者の複数の視線判定指標を演算する視線判定指標演算工程と、
   前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程と、
   前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、
   前記運転者異常状態判定工程は、
   前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標が全て正常である場合、前記運転者が意図的姿勢崩れであると判定し、
   前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、前記運転者が異常状態であると判定する
   ことを特徴とする運転者状態判定方法。
2. 前記運転者異常状態判定工程は、少なくとも、運転者の顔向角度に基づいて頭部姿勢が異常姿勢であることを判定することを特徴とすることを特徴とする請求項１に記載の運転者状態判定方法。
3. 前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算工程で演算された前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である状況が所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする請求項１又は２に記載の運転者状態判定方法。
4. 前記複数の視線判定指標は、サリエンシー指標、サッケード振幅指標、及びサッケード頻度指標であることを特徴とする請求項１～３の何れか１項に記載の運転者状態判定方法。
5. 車両の運転者の異常状態を検出する運転者状態判定装置において、
   前記車両の周辺状況に関する周辺情報を取得する周辺情報取得手段と、
   前記運転者の視界に表われる視界画像を取得する視界画像取得手段と、
   前記視界画像取得手段で作成された視界画像に対する前記運転者の誘目度分布を生成する誘目度分布生成手段と、
   前記運転者の視線挙動を取得する視線挙動取得手段と、
   前記周辺情報と視界画像と誘目度分布と視線挙動とにより前記運転者の複数の視線判定指標を演算する視線判定指標演算手段と、
   前記運転者の顔向きと頭部位置を取得する頭部姿勢取得手段と、
   前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、
   前記運転者異常状態判定手段は、
   前記頭部姿勢取得手段が取得した前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算手段が演算した前記運転者の複数の視線判定指標が全て正常である場合、前記運転者が意図的姿勢崩れであると判定し、
   前記頭部姿勢取得手段が取得した前記運転者の頭部姿勢が異常姿勢で且つ前記視線判定指標演算手段か演算した前記運転者の複数の視線判定指標のうちの何れかの視線判定指標が異常である場合、前記運転者が異常状態であると判定することを特徴とする運転者状態判定装置。

Images