JP2014092965A - 乗員監視装置 - Google Patents

Abstract

【課題】乗員監視装置において、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、当該座席に着座した人物以外の人物の身体状態を認識させること。
【解決手段】乗員監視装置が実行する状態判定処理では、状態情報に基づいて、各座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、座席ごとに導出する（Ｓ１４０）。その導出した状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であるか否かを判定し（Ｓ１５０）、判定の結果、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知する。なお、運転者の状態異常度は、運転者の眠気度、運転者の顔向き変動量、及び車速に基づいて導出され、同乗者の状態異常度は、体動量、眉間距離、及び発汗量に基づいて導出される。
【選択図】図２

Description

本発明は、乗員の状態を監視する乗員監視装置に関する。

従来、自動車に搭載して用いられ、車室内の状況を監視する車室内監視システムが知られている。この種の車室内監視システムとして、車室内の後席の状況を撮像するように配置されたデジタルカメラ付き携帯電話と、デジタルカメラ付き携帯電話にて撮像した画像（映像）を表示する表示装置とを備えたものが知られている（特許文献１参照）。

特開２００３−２３７４６６号公報

このような車室内監視システムでは、後席の状況を撮像した画像（映像）を表示することができる。
しかしながら、特許文献１に記載された車室内監視システムでは、表示部に表示する画像が後席の状況を撮像しただけのものであるため、前席に着座した人物同士で、互いに体調の変化や眠気の有無などの身体に異常が発生したか否かを認識させることが困難であるという問題があった。

さらに、特許文献１に記載された車室内監視システムでは、画像（映像）を表示するだけであるため、後席に着座した人物の身体に異常が発生したか否かを、前席に着座した人物に認識させることが困難であるという問題があった。

すなわち、自動車では、一般的に、前席には、大人が着座し、後席には、子供など自らの身体の状況を正確に伝達しない人物が着座することが多い。このように着座した場合、前席に着座した人物は、後席に着座した人物の状態を確認するために、後席を振り返ることが多い。

このように前席に着座した人物が後席を振り返ることは、自動車の運転に集中できない可能性があり、好ましくない。
つまり、特許文献１に記載された技術では、自動車の運転に集中させるような行動を前席に着座した人物にとらせつつ、当該座席に着座した人物以外の人物の身体状態を認識させることができないという問題があった。

そこで、本発明は、乗員監視装置において、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、当該座席に着座した人物以外の人物の身体状態を認識させることを目的とする。

上記目的を達成するためになされた本発明は、自動車に搭載され、乗員の状態を監視する乗員監視装置に関する。
本発明の乗員監視装置では、状態情報取得手段が、自車両に設けられた各座席に着座した人物の状態を表す少なくとも一つの情報である状態情報を、座席ごとに取得する。そして、取得した状態情報に基づいて、異常度導出手段が、座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、座席それぞれに着座した人物ごとに導出する。

さらに、本発明の乗員監視装置では、報知制御手段が、異常度導出手段で導出された状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知するように、報知装置を制御する。

なお、ここで言う「身体に異常が発生」とは、体調不良や眠気の発生などを含むものであり、例えば、対象者が運転者であれば、自動車の運転に影響を及ぼすような身体状態となることである。

本発明の乗員監視装置によれば、着座している座席の位置に関わらず、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知装置に報知させることができる。

このため、本発明の乗員監視装置によれば、前席に着座した人物同士で、互いに体調の変化や眠気の有無などの身体に異常が発生したか否かを認識することができる。
さらに、本発明の乗員監視装置によれば、後席に着座した人物の身体に異常が発生したか否かを、前席に着座した人物に認識させることができる。

すなわち、本発明の乗員監視装置によれば、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、当該座席に着座した人物以外の身体の状態を認識させることができる。

状態異常度の導出対象とする人物を運転者とすると、眠気度が高い場合には、自動車の運転に与える危険性が高い。
このため、本発明においては、眠気度によって表される眠気が強いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、同乗者は、運転者の眠気が高いことを認識できる。

また、状態異常度の導出対象とする人物を運転者とすると、顔向き変動量が多ければ、安全確認を頻繁に実施し、顔向き変動量が少なければ、運転に集中している可能性が高い。しかし、顔向き変動量が、注意力が正常な状態であるとみなせる範囲として予め規定された規定範囲を超えている場合には、運転者は、注意力が散漫になっていたり、安全確認が疎かになっていたりする可能性がある。

このため、本発明においては、顔向き変動量が規定範囲を超えているほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、同乗者は、運転者の注意力が散漫であることや、安全確認が疎かになっていることを認識することができる。

本発明においては、特に、眠気度によって表される眠気が強いほど、かつ、顔向き変動量が規定範囲を超えているほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出することが好ましい。

このように、状態異常度を導出する指標として、眠気度と、顔向き変動量との両方を用いれば、運転者の身体に異常が生じている可能性を、複数の異なる観点から判定することができる。つまり、本発明の乗員監視装置によれば、運転者の身体に対する異変をより確実に検出して、乗員に認識させることができる。

状態異常度の導出対象とする人物を、助手席に着座した人物や後席に着座した人物とすると、体動量について、予め規定された正常体動範囲を超える量が多い場合には、眠気が大きい可能性や、脱水症状など、身体状態に異常が生じている可能性が高い。

このため、本発明においては、体動量について正常体動範囲を超える量が多いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、前席に着座した人物、特に運転者は、同乗者の眠気が高いことや、同乗者の身体に異常が生じていることを認識できる。

また、状態異常度の導出対象とする人物を、助手席に着座した人物や後席に着座した人物（即ち、同乗者）とすると、眉間距離が狭い場合には、眠気が大きい可能性や、脱水症状などによって意識を失っている可能性が高い。

このため、本発明においては、眉間距離が狭いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、前席に着座した人物、特に運転者は、同乗者の眠気が高いことや、同乗者の身体に異常が生じていることを認識できる。

本発明においては、特に、体動量について正常体動範囲を超える量が多いほど、かつ、眉間距離が狭いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出することが好ましい。

このように、状態異常度を導出する指標として、体動量と、眉間距離との両方を用いれば、異なる観点から、同乗者の身体に異常が生じている可能性を判定することができ、同乗者の身体に対する異変をより確実に検出して、前席に着座した人物に認識させることができる。

本発明が適用された乗員監視システムの概略構成を示すブロック図である。 状態判定処理の処理手順を示すフローチャートである。 指標ごとの異常確率の導出方法を示す図であり、（Ａ）は、眠気を指標とした場合の導出方法、（Ｂ）は、顔向き変動量を指標とした場合の導出方法、（Ｃ）は、車速を指標とした場合の導出方法である。 運転者を対象者とした状態異常度の導出手法の一例を示す説明図である。 同乗者を対象者とした状態異常度の導出手法の一例を示す説明図である。 状態報知処理の処理手順を示すフローチャートである。 報知の態様を例示する図である。

以下に本発明の実施形態を図面と共に説明する。
〈全体構成〉
図１に示す乗員監視システム１は、自動車に搭載して用いられるシステムであり、自動車の座席に着座した人物の身体に異常が生じている可能性を判定して報知するシステムである。以下では、乗員監視システム１が搭載された自動車を自車両とも称す。

この乗員監視システム１は、車両情報取得部１０と、運転席状態取得部２０と、助手席状態取得部３０と、後席状態取得部４０₁〜４０_N（「Ｎ」は後席の席数を表す自然数）と、乗員監視装置６０と、報知装置７０とを備えている。

車両情報取得部１０は、自車両の状況を表す車両情報を取得するセンサ群である。この車両情報取得部１０は、自車両の車速を車両情報として検出する車速センサ１２と、自車両の操舵角を車両情報として検出する操舵角センサ１４とを備えている。

運転席状態取得部２０は、自車両の運転席に着座した人物の状態を表す運転者情報を取得するセンサ群である。この運転席状態取得部２０は、撮像装置２２と、発汗センサ２４と、重量センサ２６と、脈拍センサ２８とを備えている。

撮像装置２２は、運転席に着座した人物の顔面を少なくとも含む画像を撮像する。発汗センサ２４は、運転席に着座した人物の発汗量を運転者情報として検出する。重量センサ２６は、運転席に着座した人物の動きの変動量を表す体動量を運転者情報として検出する。脈拍センサ２８は、運転席に着座した人物の脈拍を運転者情報として検出する。

本実施形態における運転者情報には、運転席に着座した人物（即ち、運転者）の眠気の強さを表す眠気度や、運転席に着座した人物の顔向き（視線）の変動量を表す顔向き変動量が少なくとも含まれている。これらの眠気度や、顔向き変動量は、画像を解析することで得られる。

画像を解析することにより眠気度を推定する手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、画像から推定した目の開き度合いに基づくものでも良いし、単位時間あたりの瞬きの回数に基づくものでも良い。また、画像を解析することにより顔向き変動量を推定する手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、顔面上に設定された特徴点を検出し、顔面の３次元モデルを利用して検出した顔向きの単位時間での変動量を顔向き変動量として推定する手法を用いれば良い。

さらに、運転者情報には、運転席に着座した人物の眉頭間の距離である眉間距離が含まれていても良い。この眉間距離を推定する手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、画像を解析することにより、顔面上に設定された特徴点である左右の眉頭を検出し、その検出した眉頭間の距離を眉間距離として推定する手法を用いれば良い。

助手席状態取得部３０は、自車両の助手席に着座した人物の状態を表す同乗者情報を取得するセンサ群である。この助手席状態取得部３０は、撮像装置３２と、発汗センサ３４と、重量センサ３６と、脈拍センサ３８とを備えている。

撮像装置３２は、助手席に着座した人物の顔面を少なくとも含む画像を撮像する。発汗センサ３４は、助手席に着座した人物の発汗量を同乗者情報として検出する。重量センサ３６は、助手席に着座した人物の動きの変動量を表す体動量を同乗者情報として検出する。脈拍センサ３８は、助手席に着座した人物の脈拍を同乗者情報として検出する。

後席状態取得部４０は、自車両の後席に着座した人物の状態を表す同乗者情報を取得するセンサ群であり、自車両の後席ごとに設けられる。この後席状態取得部４０は、撮像装置４２と、発汗センサ４４と、重量センサ４６と、脈拍センサ４８とを備えている。

撮像装置４２は、後席に着座した人物の顔面を少なくとも含む画像を撮像する。発汗センサ４４は、後席に着座した人物の発汗量を同乗者情報として検出する。重量センサ４６は、後席に着座した人物の動きの変動量を表す体動量を同乗者情報として検出する。脈拍センサ４８は、後席に着座した人物の脈拍を同乗者情報として検出する。

本実施形態における同乗者情報には、助手席または後席に着座した人物の眠気度や、助手席または後席に着座した人物の眉間距離が少なくとも含まれている。さらに、同乗者情報には、助手席または後席に着座した人物の顔向き変動量が含まれていても良い。これらの眠気度や、眉間距離、顔向き変動量は、撮像装置３２，４２のそれぞれにて撮像した画像を解析することで得れば良い。

報知装置７０は、乗員監視装置６０からの制御信号によって制御される装置群である。この報知装置７０は、周知の表示装置７２と、周知の音出力装置７４とを備えている。
表示装置７２は、自車両のインストルメントパネル表面など、前席に着座した人物が視認可能な位置に配設された液晶ディスプレイやＣＲＴなどである。この表示装置７２は、周知のナビゲーション装置の液晶ディスプレイなどであっても良いし、乗員監視システム１専用に設けられたものであっても良い。なお、表示装置７２は、液晶ディスプレイやＣＲＴなどに限るものではなく、周知のヘッドアップディスプレイであっても良いし、自車両のインストルメントパネル表面に配設された表示灯などであっても良い。

また、ここで言う音出力装置７４は、例えば、スピーカである。
〈乗員監視装置〉
乗員監視装置６０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ６２と、処理プログラムやデータを一時的に格納するＲＡＭ６４と、ＲＯＭ６２やＲＡＭ６４に記憶された処理プログラムに従って各種処理を実行するＣＰＵ６６とを少なくとも有した周知のコンピュータを中心に構成されている。

ＲＯＭ６２には、車両情報、運転者情報、及び同乗者情報に基づいて、自動車の各座席に着座した人物の身体に異常が生じている可能性を判定する状態判定処理を、乗員監視装置６０のＣＰＵ６６が実行するための処理プログラムが格納されている。また、ＲＯＭ６２には、状態判定処理の処理結果を報知する状態報知処理を、乗員監視装置６０のＣＰＵ６６が実行するための処理プログラムが格納されている。
〈状態判定処理〉
状態判定処理は、イグニッションスイッチがオンとなると起動され、以後、予め規定された時間間隔で繰り返し実行される。

そして、状態判定処理では、起動されると、図２に示すように、車両情報取得部１０からの車両情報、運転席状態取得部２０からの運転者情報、助手席状態取得部３０からの同乗者情報、及び後席状態取得部４０₁〜４０_Nからの同乗者情報を、状態情報として取得する（Ｓ１１０）。

続いて、Ｓ１１０にて取得した状態情報をＲＡＭ６４に格納する（Ｓ１２０）。なお、ＲＡＭ６４には、予め規定された規定値分の状態情報を格納可能な領域が確保されている。

そして、状態判定処理では、ＲＡＭ６４に格納された状態情報の数、即ち、蓄積数が、規定値以上であるか否かを判定する（Ｓ１３０）。このＳ１３０での判定の結果、ＲＡＭ６４に格納された状態情報の数が規定値未満であれば（Ｓ１３０：ＮＯ）、詳しくは後述するＳ１８０へと移行する。

一方、Ｓ１３０での判定の結果、ＲＡＭ６４に格納された状態情報の数が規定値以上であれば（Ｓ１３０：ＹＥＳ）、ＲＡＭ６４に格納されている状態情報に基づいて、各座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、座席ごとに導出する（Ｓ１４０）。

本実施形態のＳ１４０において、運転席に着座した人物の状態異常度は、運転者情報に含まれている「運転者の眠気度」、「運転者の顔向き変動量」、及び「車速」に基づいて導出する。

具体的には、下記（１）式，（２）式に基づいて、運転席に着座した人物の状態異常度Ｘ（Ａ，Ｂ，Ｃ）を導出する。

ただし、（１）式，（２）式における符号Ｘ（Ａ）は、事象Ａにおける異常確率を表し、符号Ｘ（Ｂ）は、事象Ｂにおける異常確率を表し、符号Ｘ（Ｃ）は、事象Ｃにおける異常確率を表す。そして、運転席に着座した人物の状態異常度Ｘ（Ａ，Ｂ，Ｃ）の算出においては、事象Ａは、「運転者の眠気度」であり、事象Ｂは、「運転者の顔向き変動量」であり、事象Ｃは、「車速」である。なお、異常確率Ｘ（Ａ）、異常確率Ｘ（Ｂ）、及び異常確率Ｘ（Ｃ）は、それぞれ、「０」より大きく、「１」より小さい値である。

本実施形態において、「運転者の眠気度」による異常確率Ｘ（Ａ）は、図３（Ａ）に示すように、「運転者の眠気度」が高いほど、大きな値となるように導出される。これは、運転者の眠気度が高い場合には、運転者が居眠りをしている可能性があり、自動車の運転に与える危険性が高いことを同乗者に認識させることが重要であるためである。

また、「運転者の顔向き変動量」による異常確率Ｘ（Ｂ）は、図３（Ｂ）に示すように、注意力が正常な状態であるとみなせる範囲として予め規定された規定範囲を、「運転者の顔向き変動量」が超えているほど、大きな値となるように導出される。

これは、顔向き変動量が多ければ（規定範囲内であれば）、安全確認を頻繁に実施しながら運転し、顔向き変動量が少なければ（規定範囲内であれば）、運転に集中している可能性が高い。しかし、顔向き変動量が規定範囲を超えている場合には、運転者は、注意力が散漫になっていたり、安全確認が疎かになっていたりする可能性があり、同乗者に自動車の運転に与える危険性を認識させることが重要であるためである。

さらに、「車速」による異常確率Ｘ（Ｃ）は、図３（Ｃ）に示すように、「車速」が大きいほど、大きな値となるように導出される。これは、車速が速いほど、自動車の運転に与える危険性が高く、同乗者にその危険性を認識させることが重要であるためである。

すなわち、運転席に着座した人物の状態異常度Ｘ（Ａ，Ｂ，Ｃ）は、図４に示すように、「運転者の眠気度」が高いほど、かつ、規定範囲を超える「運転者の顔向き変動量」が多いほど、かつ、「車速」が大きいほど、大きな値となるように導出される。

本実施形態のＳ１４０において、助手席に着座した人物の状態異常度は、同乗者情報に含まれている「助手席に着座した同乗者の体動量」、「助手席に着座した同乗者の発汗量」、及び「助手席に着座した同乗者の眉間距離」に基づいて導出する。後席に着座した人物の状態異常度は、それぞれの座席に対応する同乗者情報に含まれている「後席に着座した同乗者の体動量」、「後席に着座した同乗者の発汗量」、及び「後席に着座した同乗者の眉間距離」に基づいて導出する。

具体的には、上記（１）式，（２）式に基づいて、助手席に着座した同乗者の状態異常度Ｘ（Ａ，Ｂ，Ｃ）、及び後席に着座した同乗者の状態異常度Ｘ（Ａ，Ｂ，Ｃ）を、座席ごとに導出する。

ただし、この場合における事象Ａは、「体動量」であり、事象Ｂは、「眉間距離」であり、事象Ｃは、「発汗量」である。
そして、本実施形態において、「体動量」による異常確率Ｘ（Ａ）は、「体動量」が、正常な範囲として予め規定された正常体動範囲を超える量が多いほど、大きな値となるように導出される。ここで言う正常な範囲とは、同乗者が覚醒状態である場合や、脱水症状ではない場合、意識を失っていない場合に生じる体動量の範囲であり、実験などによって予め求められたものである。つまり、本実施形態では、同乗者が、睡眠状態である可能性がある場合や、脱水症状である可能性がある場合、意識を失っている可能性がある場合には、正常体動範囲を超える「体動量」が多くなる可能性が高いため、異常確率Ｘ（Ａ）を大きな値として導出している。

また、「眉間距離」における異常確率Ｘ（Ｂ）は、「眉間距離」が短いほど、大きな値となるように導出される。これは、「眉間距離」が短い場合には、同乗者は、体調不良である可能性があり、同乗者が体調不良である旨を運転者に認識させることが重要であるためである。

さらに、「発汗量」における異常確率Ｘ（Ｃ）は、「発汗量」が多いほど、大きな値となるように導出される。これは、「発汗量」が多いと、同乗者は、体調不良である可能性があり、同乗者が体調不良である旨を運転者に認識させることが重要であるためである。

すなわち、助手席や後席に着座した同乗者それぞれの状態異常度Ｘ（Ａ，Ｂ，Ｃ）は、図５に示すように、正常体動範囲を超える「体動量」が多いほど、かつ、「眉間距離」が短いほど、かつ、「発汗量」が多いほど、大きな値となるように導出される。

続いて、状態判定処理では、Ｓ１４０にて導出した状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であるか否かを判定する（Ｓ１５０）。このＳ１５０では、各座席に着座した人物に対応する状態異常度ごと、即ち、各座席のそれぞれについて、着座している人物の身体に異常が発生しているか否かを判定する。

このＳ１５０での判定の結果、状態異常度が規定閾値以上であれば（Ｓ１５０）、異常フラグを立てる（Ｓ１６０）。なお、本実施形態における異常フラグとは、座席に着座している人物の身体に異常が発生しているか否かを表すフラグであり、自車両の座席ごとに予め用意されている。

したがって、本実施形態のＳ１６０では、運転席に着座した人物の状態異常度が規定閾値以上であれば、運転席に対応する異常フラグを立て、助手席に着座した人物の状態異常度が規定閾値以上であれば、助手席に対応する異常フラグを立てる。さらに、本実施形態のＳ１６０では、後席に着座した人物の状態異常度が規定閾値以上であれば、当該状態異常度に対応する後席の異常フラグを立てる。

その後、本状態判定処理を終了する。
一方、Ｓ１５０での判定の結果、状態異常度が規定閾値未満であれば（Ｓ１５０：ＮＯ）、当該状態異常度に対応する座席の異常フラグを倒す（Ｓ１７０）。すなわち、本実施形態のＳ１７０では、運転席に着座した人物の状態異常度が規定閾値未満であれば、運転席に対応する異常フラグを倒し、助手席に着座した人物の状態異常度が規定閾値未満であれば、助手席に対応する異常フラグを倒す。さらに、本実施形態のＳ１７０では、後席に着座した人物の状態異常度が規定閾値未満であれば、当該状態異常度に対応する後席の異常フラグを倒す。

その後、本状態判定処理を終了する。
なお、Ｓ１３０での判定の結果、ＲＡＭ６４に格納された状態情報の数が規定値未満である場合（Ｓ１３０：ＮＯ）に移行するＳ１８０では、全ての座席の異常フラグを倒す。

その後、本状態判定処理を終了する。
〈状態報知処理〉
状態報知処理は、イグニッションスイッチがオンとなると起動され、以後、予め規定された時間間隔で繰り返し実行される。

そして、状態報知処理では、起動されると、図６に示すように、まず、運転席に着座した人物の身体に異常が発生しているか否かを判定する（Ｓ２１０）。本実施形態のＳ２１０では、具体的には、運転席に対応する異常フラグが立てられていれば、運転席に着座した人物の身体に異常が発生しているものと判定し、運転席に対応する異常フラグが倒れていれば、運転席に着座した人物の身体に異常が発生していないものと判定する。

このＳ２１０での判定の結果、運転席に着座した人物の身体に異常が発生していれば（Ｓ２１０：ＹＥＳ）、運転席に着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２２０）。具体的に、本実施形態のＳ２２０が実行されると、表示装置７２に、運転席を識別可能な態様の画像を表示し、音出力装置７４から運転席を識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７（Ａ）に示すように、運転席に対応する座席をハイライト表示した画像である。

その後、Ｓ２３０へと進む。
一方、Ｓ２１０での判定の結果、運転席に着座した人物の身体に異常が発生していない場合（Ｓ２１０：ＮＯ）には、Ｓ２２０を実行することなく、Ｓ２３０へと進む。

そのＳ２３０では、助手席に着座した人物の身体に異常が発生しているか否かを判定する。本実施形態のＳ２３０では、具体的には、助手席に対応する異常フラグが立てられていれば、助手席に着座した人物の身体に異常が発生しているものと判定し、助手席に対応する異常フラグが倒れていれば、助手席に着座した人物の身体に異常が発生していないものと判定する。

このＳ２３０での判定の結果、助手席に着座した人物の身体に異常が発生していれば（Ｓ２３０：ＹＥＳ）、助手席に着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２４０）。具体的に、本実施形態のＳ２４０が実行されると、表示装置７２に、助手席を識別可能な態様の画像を表示し、音出力装置７４から助手席を識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７（Ｂ）に示すように、助手席に対応する座席をハイライト表示した画像である。

その後、Ｓ２５０へと進む。
一方、Ｓ２３０での判定の結果、助手席に着座した人物の身体に異常が発生していない場合（Ｓ２３０：ＮＯ）には、Ｓ２４０を実行することなく、Ｓ２５０へと進む。

そのＳ２５０では、後席Ａに着座した人物の身体に異常が発生しているか否かを判定する。本実施形態のＳ２５０では、具体的には、後席Ａに対応する異常フラグが立てられていれば、後席Ａに着座した人物の身体に異常が発生しているものと判定し、後席Ａに対応する異常フラグが倒れていれば、後席Ａに着座した人物の身体に異常が発生していないものと判定する。なお、ここで言う後席Ａとは、自車両に設けられた後席の一つである。

このＳ２５０での判定の結果、後席Ａに着座した人物の身体に異常が発生していれば（Ｓ２５０：ＹＥＳ）、後席Ａに着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２６０）。具体的に、本実施形態のＳ２６０が実行されると、表示装置７２に、後席Ａを識別可能な態様の画像を表示し、音出力装置７４から後席Ａを識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７（Ｃ）に示すように、後席Ａに対応する座席をハイライト表示した画像である。

その後、Ｓ２７０へと進む。
一方、Ｓ２５０での判定の結果、後席Ａに着座した人物の身体に異常が発生していない場合（Ｓ２５０：ＮＯ）には、Ｓ２６０を実行することなく、Ｓ２７０へと進む。

そのＳ２７０では、後席Ｂに着座した人物の身体に異常が発生しているか否かを判定する。本実施形態のＳ２７０では、具体的には、後席Ｂに対応する異常フラグが立てられていれば、後席Ｂに着座した人物の身体に異常が発生しているものと判定し、後席Ｂに対応する異常フラグが倒れていれば、後席Ｂに着座した人物の身体に異常が発生していないものと判定する。なお、ここで言う後席Ｂとは、自車両に設けられた後席の一つである。

このＳ２７０での判定の結果、後席Ｂに着座した人物の身体に異常が発生していれば（Ｓ２７０：ＹＥＳ）、後席Ｂに着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２８０）。具体的に、本実施形態のＳ２６０が実行されると、表示装置７２に、後席Ｂを識別可能な態様の画像を表示し、音出力装置７４から後席Ｂを識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７（Ｄ）に示すように、後席Ｂに対応する座席をハイライト表示した画像である。

本実施形態においては、後席に着座した人物の身体に異常が発生しているか否かを判定し、異常が発生していれば、対応する後席を識別可能な態様にて表示する処理（即ち、Ｓ２５０及びＳ２６０、または、Ｓ２７０及びＳ２８０）を、後席の座席数分実行する。

その後、本判定報知処理を終了する。
すなわち、判定報知処理は、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能（区別可能）な態様にて報知する。
［実施形態の効果］
以上説明したように、乗員監視システム１によれば、着座している座席の位置に関わらず、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知装置７０に報知させることができる。

このため、乗員監視システム１によれば、前席に着座した人物について、体調の変化や眠気の有無などの身体に異常が発生した場合には、前席に着座した人物同士で、互いに体調の変化や眠気の有無などの身体に異常が発生したことを認識することができる。

さらに、乗員監視システム１によれば、後席に着座した人物の身体に異常が発生した場合には、後席に着座した同乗者の身体に異常が発生したことを、前席に着座した人物に認識させることができる。

したがって、乗員監視システム１によれば、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、前席に着座した人物に、当該座席に着座した人物以外の人物の身体の状態を認識させることができる。

さらに、上記実施形態の状態判定処理では、眠気度が大きいほど、大きな値となるように、運転者に対する状態異常度を導出している。このため、状態報知処理によれば、運転者の眠気が高いことを、同乗者に認識させることができる。

上記実施形態の状態判定処理では、規定範囲を超える顔向き変動量が多いほど、大きな値となるように、運転者に対する状態異常度を導出している。これにより、状態報知処理によれば、運転者の注意力が散漫であることや、安全確認が疎かである可能性を同乗者に認識させることができる。

上記実施形態の状態判定処理では、車速が大きいほど、大きな値となるように、運転者に対する状態異常度を導出している。これは、車速が低い場合には、自車両が交差点に進入しようとしている可能性が高いため、安全確認を行うために顔向き変動量が多くなるためである。

つまり、状態判定処理によれば、車速が低い場合には状態異常度が小さな値となるため、安全確認の必要性から顔向き変動量が多くなっているにもかかわらず、運転者の身体状態に異常が生じていると判定されることを低減できる。

また、上記実施形態の状態判定処理では、正常体動範囲を超える体動量が多いほど、大きな値となるように、同乗者に対する状態異常度を導出している。すなわち、体動量が正常体動範囲を超えている場合には、同乗者が、睡眠状態である可能性があることや、脱水症状である可能性があること、意識を失っている可能性があるため、状態報知処理によれば、その旨を、前席に着座した人物に認識させることができる。

上記実施形態の状態判定処理では、眉間距離が短いほど、大きな値となるように、同乗者に対する状態異常度を導出している。すなわち、「眉間距離」が短い場合には、同乗者が体調不良である可能性があるため、状態報知処理によれば、同乗者が体調不良である可能性があることを、前席に着座した人物に認識させることできる。

また、上記実施形態の状態判定処理では、発汗量が多いほど、大きな値となるように、同乗者に対する状態異常度を導出している。すなわち、発汗量が多いと、同乗者が体調不良である可能性があるため、状態報知処理によれば、同乗者が体調不良である旨を、前席に着座した人物に認識させることができる。

なお、状態判定処理では、運転者に対する状態異常度、及び同乗者に対する状態異常度のそれぞれについて、各状態異常度の導出に複数の指標を用いているため、運転者または同乗者の身体に異常が生じている可能性を、複数の異なる観点から判定することができる。つまり、乗員監視装置６０によれば、運転者または同乗者の身体に対する異変をより確実に検出して、乗員に認識させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、運転者に対する状態異常度を導出する際には、「運転者の眠気度」、「運転者の顔向き変動量」、及び「車速」のそれぞれを指標の一つとして用いていたが、運転者に対する状態異常度を導出する際の指標は、これに限るものではない。

すなわち、運転者に対する状態異常度を導出する際の指標の一つとして、「運転者の発汗量」や、「運転者の脈拍」、「操舵角」のそれぞれを用いても良い。
同乗者に対する状態異常度を導出する際には、「同乗者それぞれの体動量」、「同乗者それぞれの眉間距離」、「同乗者それぞれの発汗量」のそれぞれを指標の一つとして用いていたが、同乗者に対する状態異常度を導出する際の指標は、これに限るものではない。

すなわち、同乗者に対する状態異常度を導出する際の指標の一つとして、「同乗者それぞれの眠気度」や、「同乗者それぞれの脈拍」のそれぞれを用いても良い。
運転者に対する状態異常度や、同乗者に対する状態異常度の導出方法は、上記（１）式による算出方法に限るものではない。例えば、運転者に対する状態異常度や、同乗者に対する状態異常度は、Ｘ（Ａ，Ｂ）として導出しても良いし、Ｘ（Ａ，Ｂ，Ｃ，…）として導出しても良いし。この場合、事象Ａ、事象Ｂ、…は、それぞれ、上述した指標の一つであっても良いし、その他の指標であっても良い。

なお、「脈拍」による異常確率は、正常な範囲として予め規定された正常脈拍範囲を超える量が多いほど、大きな値となるように導出されることが望ましい。ここで言う正常な範囲とは、人が覚醒状態である場合や、意識を失っていない場合の脈拍の範囲であり、実験などによって予め求められたものである。

このようにすれば、運転者や同乗者が、睡眠状態である可能性や、意識を失っている可能性があることを、他の乗員に認識させることができる。
また、上記実施形態においては、眠気度を検出手法として、画像を解析する手法を用いていたが、眠気度を検出する手法は、画像を解析することに限らない、例えば、脈拍に基づく周知の検出方法であっても良いし、体の傾きに基づく周知の検出方法であっても良い。前者の場合、脈拍は脈拍センサにて検出すれば良い。

ところで、上記実施形態の状態報知処理におけるＳ２２０，Ｓ２４０，Ｓ２６０，Ｓ２８０における報知の態様は、表示装置７２による表示と、音出力装置７４からの音声の出力との両方であったが、Ｓ２２０，Ｓ２４０，Ｓ２６０，Ｓ２８０における報知の態様は、これに限るものではない。Ｓ２２０，Ｓ２４０，Ｓ２６０，Ｓ２８０における報知の態様としては、例えば、表示装置７２による表示と、音出力装置７４からの音声の出力とのいずれか一方であっても良い。

なお、本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の実施形態と、その他の実施形態とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

１…乗員監視システム １０…車両情報取得部 １２…車速センサ １４…操舵角センサ ２０…運転席状態取得部 ２２，３２，４２…撮像装置 ２４，３４，４４…発汗センサ ２６，３６，４６…重量センサ ２８，３８，４８…脈拍センサ ３０…助手席状態取得部 ４０…後席状態取得部 ６０…乗員監視装置 ７０…報知装置 ７２…表示装置 ７４…音出力装置

Claims (8)

1. 自動車に搭載され、乗員の状態を監視する乗員監視装置（６０）であって、
   自車両に設けられた各座席に着座した人物の状態を表す少なくとも一つの情報である状態情報を、前記座席ごとに取得する状態情報取得手段（６０，Ｓ１１０）と、
   前記状態情報取得手段で取得した状態情報に基づいて、前記座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、前記座席それぞれに着座した人物ごとに導出する異常度導出手段（６０，Ｓ１３０）と、
   前記異常度導出手段で導出された状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知するように、報知装置（７０）を制御する報知制御手段（６０，Ｓ２１０〜Ｓ２８０）と
   を備えることを特徴とする乗員監視装置。
2. 前記状態情報取得手段は、
   前記座席のそれぞれに着座した人物の眠気の強さを表す眠気度を前記状態情報の一つとして取得し、
   前記異常度導出手段は、
   前記眠気度によって表される眠気が強いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
   ことを特徴とする請求項１に記載の乗員監視装置。
3. 前記状態情報取得手段は、
   前記座席のそれぞれに着座した人物の顔向きの変動量を表す顔向き変動量を前記状態情報の一つとして取得し、
   前記異常度導出手段は、
   注意力が正常な状態であるとみなせる範囲として予め規定された規定範囲を前記顔向き変動量が超えているほど、身体に異常が発生した可能性が高いことを表すことを表す前記状態異常度を導出する
   ことを特徴とする請求項１または請求項２に記載の乗員監視装置。
4. 前記状態情報取得手段は、
   自車両の車速を前記状態情報の一つとして取得し、
   前記異常度導出手段は、
   前記車速が速いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員監視装置。
5. 前記状態情報取得手段は、
   前記座席のそれぞれに着座した人物の動きの変動量を表す体動量を前記状態情報の一つとして取得し、
   前記異常度導出手段は、
   前記体動量について、予め規定された正常体動範囲を超える量が多いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の乗員監視装置。
6. 前記状態情報取得手段は、
   前記座席のそれぞれに着座した人物の眉頭間の距離である眉間距離を前記状態情報の一つとして取得し、
   前記異常度導出手段は、
   前記眉間距離が狭いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の乗員監視装置。
7. 前記状態情報取得手段は、
   前記座席のそれぞれに着座した人物の発汗量を前記状態情報の一つとして取得し、
   前記異常度導出手段は、
   前記発汗量が多いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の乗員監視装置。
8. 前記報知装置は、
   前席に着座した人物が視認可能な位置に表示された表示装置（７２）であり、
   前記報知制御手段は、
   前記規定閾値以上の前記状態異常度に対応する人物が着座した座席を、前記規定閾値未満の前記状態異常度に対応する人物が着座した座席と区別可能な態様にて表示する
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の乗員監視装置。