JP2017219885A - 乗員状態監視装置 - Google Patents

Abstract

【課題】乗員の状態を誤報知した場合に、再度の誤報知を抑止するために、乗員の入力作業がなくてもデータベースを変更する乗員状態監視装置を提供する。【解決手段】本発明の乗員状態監視装置２０は、撮像データを得る車内カメラ２１と、判定用データを記憶する記憶部２５と、判定用データに基づいて撮像データを参照することで乗員の運転状態を判定する制御部２６と、必要に応じて乗員に警報するディスプレイ１５と、を具備している。更に、制御部２６は、報知が誤検知によるものであった場合は、記憶部２５に記憶された判定用データを書き換えることで、警報の精度を向上させている。【選択図】図２

Description

本発明は、乗員状態監視装置に関し、特に、警報を報知した後の乗員の状態に基づいて、自己学習を行うことで判定精度を向上する乗員状態監視装置に関する。

従来から、車両を運転する乗員を撮像してその身体状況を検知し、乗員の身体状況が異常であると判断したら、報知処理を行う監視装置が存在している。特許文献１に記載された監視装置は、例えば車室内に取り付けられたカメラや温度センサである身体状況検出手段と、車両の走行経路を誘導する案内情報提供部と、身体状況検出手段で検出した乗員の状況に応じて動作の態様を変化させる動作制御部と、を有している。身体状況検出手段で検出した乗員の身体状況が異常であれば、動作制御部が乗員の異常に応じた警報を発音する。更に、異常な状況を検出した場合は、案内情報提供部が、乗員の異常に応じた走行経路を誘導するように成る。

また、特許文献２には、車載カメラにより車両の周囲に存在する物体を検出するに際し、画像認識データベースを適宜修正することで、誤検出や不検出の繰り返しを防ぐ車両周辺監視装置が記載されている。具体的には、この文献に記載された車両周辺監視装置では、まず、車両の周囲を撮像することで得られた画像に対して画像認識データベースを参照することで対象物を検出し、その対象物を画像と共に出力手段に表示している。そして、出力手段に出力された出力結果が誤検出または不検出であった場合は、辞書データを修正している。このようにすることで、同じ対象物に対して、誤検出および不検出が繰り返されることを防ぐことができる。

特開２００５−４５０３号公報 特開２０１３−９３６３９号公報

しかしながら、特許文献１に記載された監視装置では、例えばカメラである身体状況検出手段で乗員の状態を検出しているが、身体状況検出手段が、乗員の状況が異常状態であると誤判定した場合、誤判定を繰り返してしまう恐れがあった。このようになると、車両の走行中に、誤判定に基づく警報が頻繁に発せられるようになり、車両を操作する乗員にとって警報が不快となる課題があった。

また、特許文献２に記載された車両周辺監視装置では、誤検出や不検出を防止するために辞書データを修正する学習機能が記載されているが、乗員が手動で入力手段を操作することで、辞書データを修正しなければならなかったので、かかる修正作業が煩雑である課題があった。特に、車両を運転する乗員がそのような修正作業を行うことは、車両走行時の安全性が損なわれてしまう恐れがあった。

本発明は、上記の事情に鑑みてなされたものであり、その目的とするところは、乗員の状態を誤報知した場合に、乗員の入力作業がなくてもデータベースを変更する乗員状態監視装置を提供することにある。

本発明の乗員状態監視装置は、車両を運転する乗員を撮像することで撮像データを得る撮像部と、前記乗員の運転状態の判定に用いられる判定用データを記憶する記憶部と、前記判定用データに基づいて前記撮像データを参照することで前記乗員の運転状態を判定する制御部と、前記制御部が前記乗員への警報が必要と判断した場合に前記乗員にその旨を報知する報知部と、を具備し、前記制御部は、前記報知を行った後の前記乗員の状態を前記撮像部で監視し、前記報知を行った後の前記乗員の状態に基づいて、前記報知が誤検知によるものであった場合は、前記記憶部に記憶された前記判定用データを書き換えることを特徴とする。

また、本発明の乗員状態監視装置では、前記制御部は、上下方向に伸びる軸周りにおける前記乗員の頭部の第１回転角度が、一定時間以上に渡り一定以上に成れば、前記乗員が脇見をしていると判断し、前記報知部でその旨を報知することを特徴とする。

また、本発明の乗員状態監視装置では、前記制御部は、前記乗員の目が、一定時間以上に渡り連続して開眼度が低い状態であったら、前記乗員が居眠りをしていると判断し、前記報知部でその旨を報知することを特徴とする。

また、本発明の乗員状態監視装置では、前記制御部は、前記報知を行った後に前記乗員が所定の反応を示した場合は、前記報知が誤検知によるものであったと判定することを特徴とする。

また、本発明の乗員状態監視装置では、前記反応は、前記乗員の目吊り上がり量であり、前記制御部は、前記目吊り上がり量が一定以上に成れば、前記報知が誤検知によるものであったと判定することを特徴とする。

また、本発明の乗員状態監視装置では、前記反応は、前後方向に伸びる軸周りにおける前記乗員の頭部の第２回転角度であり、前記制御部は、一定時間以上に渡り前記第２回転角度が一定以上となれば、前記報知が誤検知によるものであったと判定することを特徴とする。

また、本発明の乗員状態監視装置では、前記制御部は、前記報知部が前記警報を行った後に、前記乗員の反応が一定時間以上に渡り無ければ、前記乗員に接する車両部分を振動させることを特徴とする。

また、本発明の乗員状態監視装置では、前記制御部は、前記報知部が前記警報を行った後に、前記乗員の反応が一定時間以上に渡り無ければ、危険回避のための動作を実行することを特徴とする。

本発明の乗員状態監視装置は、車両を運転する乗員を撮像することで撮像データを得る撮像部と、前記乗員の運転状態の判定に用いられる判定用データを記憶する記憶部と、前記判定用データに基づいて前記撮像データを参照することで前記乗員の運転状態を判定する制御部と、前記制御部が前記乗員への警報が必要と判断した場合に前記乗員にその旨を報知する報知部と、を具備し、前記制御部は、前記報知を行った後の前記乗員の状態を前記撮像部で監視し、前記報知を行った後の前記乗員の状態に基づいて、前記報知が誤検知によるものであった場合は、前記記憶部に記憶された前記判定用データを書き換えることを特徴とする。従って、判定結果が誤検知であった場合は、判定用データを書き換えることにより、次回の判定からは改定された判定用データを用いて乗員の運転状態を判定することから、判定の精度を向上させることができる。

また、本発明の乗員状態監視装置では、前記制御部は、上下方向に伸びる軸周りにおける前記乗員の頭部の第１回転角度が、一定時間以上に渡り一定以上に成れば、前記乗員が脇見をしていると判断し、前記報知部でその旨を報知することを特徴とする。従って、頭部の回転角度に基づいて乗員が脇見をしているか否かを判断し、乗員が脇見をしている場合はその旨を報知部で乗員に報知することで、脇見により事故が生じることを予防することが出来る。

また、本発明の乗員状態監視装置では、前記制御部は、前記乗員の目が、一定時間以上に渡り連続して開眼度が低い状態であったら、前記乗員が居眠りをしていると判断し、前記報知部でその旨を報知することを特徴とする。従って、車両を運転する乗員が居眠りをしている状態であったとしても、その状態であることを報知部で乗員に報知することで、居眠り運転に起因して事故が生じることを予防することが出来る。

また、本発明の乗員状態監視装置では、前記制御部は、前記報知を行った後に前記乗員が所定の反応を示した場合は、前記報知が誤検知によるものであったと判定することを特徴とする。従って、報知後の乗員の反応に基づいて報知の正誤判定を行うことで、乗員の手入力を必要とせず、判定データを改訂することができる。

また、本発明の乗員状態監視装置では、前記反応は、前記乗員の目吊り上がり量であり、前記制御部は、前記目吊り上がり量が一定以上に成れば、前記報知が誤検知によるものであったと判定することを特徴とする。従って、警報報知が誤検知に基づくものであれば、乗員が怒りを感じて目が吊り上がる反応が起こる場合がある。本発明では、その反応を利用して、制御部が誤検出をしたと判断することで、判定用データを書き換えることが出来る。

また、本発明の乗員状態監視装置では、前記反応は、前後方向に伸びる軸周りにおける前記乗員の頭部の第２回転角度であり、前記制御部は、一定時間以上に渡り前記第２回転角度が一定以上となれば、前記報知が誤検知によるものであったと判定することを特徴とする。従って、警報後に第２回転角度が大きかったら、実際には乗員は居眠りや脇見を行っておらず、誤報を不審に思うことで首を傾げる動作を行っていると判断できる。そこで本発明では、このような場合は、制御部が誤検出をしたと判断することで、乗員の動作を用いて誤検出を検知し、判定用データを書き換えることが出来る。

また、本発明の乗員状態監視装置では、前記制御部は、前記報知部が前記警報を行った後に、前記乗員の反応が一定時間以上に渡り無ければ、前記乗員に接する車両部分を振動させることを特徴とする。従って、乗員が警報音や警報表示を認知しなかった場合でも、振動を乗員に伝えることで、居眠りや脇見を行っている状態であることを乗員に知らせることが出来る。

また、本発明の乗員状態監視装置では、前記制御部は、前記報知部が前記警報を行った後に、前記乗員の反応が一定時間以上に渡り無ければ、危険回避のための動作を実行することを特徴とする。従って、乗員が警報音や警報表示を認知しなかった場合は、乗員の体調に不調が生じたと判断し、車両を自動運転するなどの危険回避動作を実行することで、緊急時の安全性を向上させることが出来る。

本発明の一実施形態の乗員状態監視装置を示す図であり、（Ａ）は乗員状態監視装置が配設された車両を示す側面図であり、（Ｂ）はダッシュボード周りの構造を示す図である。 本発明の一実施形態の乗員状態監視装置の接続構成を示すブロック図である。 本発明の一実施形態の乗員状態監視装置で乗員の脇見を監視する動作を示すフローチャートである。 本発明の一実施形態の乗員状態監視装置を示す図であり、（Ａ）、（Ｂ）および（Ｃ）は、乗員の動作を示す模式図である。 本発明の一実施形態の乗員状態監視装置で判定用データを書き換えるステップを詳細に示すフローチャートである。 本発明の一実施形態の乗員状態監視装置で乗員の居眠りを監視する動作を示すフローチャートである。 本発明の一実施形態の乗員状態監視装置を示す図であり、乗員の動作を示す模式図である。 本発明の一実施形態の乗員状態監視装置で判定用データを書き換えるステップを詳細に示すフローチャートである。

以下、本発明の一実施形態に係る乗員状態監視装置２０を、図面に基づき詳細に説明する。尚、以下の説明では、同一の部材には原則として同一の符番を用い、繰り返しの説明は省略する。

図１に、本形態の乗員状態監視装置２０が備えられた車両１０を示す。図１（Ａ）は車両１０を示す側面図であり、図１（Ｂ）はディスプレイ１５およびその周辺部を後方から見た図である。

図１（Ａ）を参照して、運転席であるシート１３には、車両１０を運転する乗員１８が着座している。乗員１８は、ステアリングハンドル１４、図示しないブレーキペダルおよびアクセルペダルを操作することで、車両１０を運転している。また本形態では、車両１０の前方を確認するための車外カメラ１１が、フロントガラス１２の後方であって図示しないルームミラーの上方に配設されている。車外カメラ１１としては、例えば、２つの撮像素子を有するステレオカメラが採用される。

図１（Ｂ）に示すように、ダッシュボード１９の左右方向中央付近には、ディスプレイ１５が配設されている。ディスプレイ１５は、車外気温、エアコンの作動状況などの車両に関する情報を一括して表示するマルチファンクションディスプレイであり、後述する警報を表示する報知部としても機能している。ここで、報知部としては、警報音を発するスピーカが採用されてもよい。

ディスプレイ１５よりも上方のダッシュボード１９には、車両１０を運転する乗員１８の頭部３０等を撮像するための撮像部である車内カメラ２１が配設されている。この車内カメラ２１は、ＤＭＳ（Driver Monitor System）と称される。

車両１０に備えられる乗員状態監視装置２０は、車両１０を運転する乗員１８の状態を車内カメラ２１で監視し、乗員１８が脇見や居眠りをしていると判断したら、その旨をディスプレイ１５に表示する。このようにすることで、乗員１８は、ディスプレイ１５で自らの状態が異常であることを認識することができ、脇見や居眠りをしている異常な状態から、運転動作に集中している通常状態に復帰することができる。かかる動作に関しては、フローチャートを参照して後述する。

図２を参照して、本形態の乗員状態監視装置２０は、車外カメラ１１と、車内カメラ２１と、照明部２２と、記憶部２５と、制御部２６と、ディスプレイ１５と、振動部２３と、スピーカ２７と、ドアロック部１７と、運転制御部２４と、を主要に有している。

車外カメラ１１は、上記したように、車両１０の前方を撮像するステレオカメラである。車外カメラ１１で撮像した撮像データは、制御部２６に入力される。制御部２６は、車外カメラ１１から入力された撮像データに対して、所定の画像処理を施すことで、車両１０の前方の状況を把握している。

車内カメラ２１は、上記したように、車両１０の車室内で、車両１０を運転する乗員１８の顔等を撮像するための撮像部である。乗員１８が車両１０の運転動作を行っている間は、車内カメラ２１は撮像データを制御部２６に送る。

照明部２２は、車内カメラ２１で乗員１８の顔をより鮮明に撮像するために、乗員１８の顔に対して赤外線などの光線を発する。

記憶部２５は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）から成り、車内カメラ２１で撮像した撮像データに基づいて乗員１８の状態や反応を判断する際に用いるプログラム、数式、パラメータ、判定用データ等を記憶している。

制御部２６は、ＣＰＵ（Central Processing Unit）であり、上記した車外カメラ１１、車内カメラ２１、記憶部２５等から入力された情報に基づいて、所定の演算処理を行い、後述するディスプレイ１５等を制御する。本形態では、制御部２６の概略的役割は、車両１０を運転する乗員１８の状態を監視し、乗員１８が脇見や居眠りをしている時に警報を発することで、運転時の安全性を向上させることにある。上記した記憶部２５および制御部２６は、ＥＣＵ（Electronic Control Unit）と称される。

ディスプレイ１５は、上記したように、運転を行う乗員１８の視界内に配置された液晶ディスプレイであり、車両１０を運転する乗員１８が脇見や居眠りをしている場合に、制御部２６の指示に基づいて、視覚的に警報を発する。

振動部２３は、制御部２６が乗員１８の状態が通常でないと判断した場合に、乗員１８を覚醒させるために、乗員１８が接する車両部分、例えばステアリングハンドル１４やシート１３を振動させる。

スピーカ２７は、車両１０の車室内に配設され、車両１０を運転する乗員１８が脇見や居眠りをしている場合に、制御部２６の指示に基づいて、警報音を発する。

ドアロック部１７は、乗員１８の状態が通常でないと判断した際に、制御部２６の指示に基づいて、乗員１８が車両１０から車外に出てしまうことを防止するために、車両１０の各ドアをロックする。

運転制御部２４は、乗員１８が車両１０の運転動作を出来ない状態である場合に、制御部２６の指示に基づいて、車両１０の制動動作および操舵動作を乗員１８に代わって行うことで、車両１０の自動運転を行うものである。

図３のフローチャートに基づいて、図１および図２も参照しつつ、乗員状態監視装置２０で乗員１８の状態を監視し、乗員１８が脇見をしている場合に、乗員１８に対して警報を発する方法を具体的に説明する。

先ず、ステップＳ１０では、乗員１８が車両１０に乗り込み、エンジンやモータからなる駆動装置を始動させる。

ステップＳ１１では、車内カメラ２１がシート１３に着座した乗員１８の顔を撮像し、制御部２６が、この撮像により得られた撮像データに対して所定の画像処理を施すことで、乗員１８の顔を認識する。制御部２６は、ステップＳ１１の作業を、その認識が終了するまで、即ちステップＳ１２がＮＯの間は続ける。制御部２６は、乗員１８の顔の認識作業が終了したら、即ちステップＳ１２がＹＥＳであれば、ステップＳ１３に移行する。

ステップＳ１３では、車両１０の運転動作を開始する。乗員１８は、車両１０の前方の状況を目で確認しつつ、ステアリングハンドル１４、ブレーキペダルおよびアクセルペダルを操作しながら、車両１０の運転動作を行う。

乗員１８が車両１０の運転動作を行っている間は、制御部２６は、ステップＳ１４で、車内カメラ２１から得られた撮像データを画像処理することで、乗員１８が脇見をしているか否かを監視する。運転動作をしている乗員１８が、側方を向いてしまう脇見をしていると、車両１０が道路から外れて走行したり、車両１０の前方に障害物があった場合に回避動作を行うことが出来ない恐れがある。本形態では、車両１０を運転している乗員１８の顔を撮像した撮像データを画像処理し、その顔の角度等から乗員１８が脇見をしているか否かを判断し、脇見をしている場合はその旨を報知するようにしている。

ステップＳ１５では、制御部２６が、車内カメラ２１で撮像した乗員１８の撮像データを参照して、乗員１８が脇見をしているか否かを判断している。ここでは、制御部２６は、撮像データから抽出される乗員１８の状態を示すパラメータと、乗員状態監視装置２０が備える記憶部２５に保存された判定用データに含まれるパラメータとを比較することで、乗員１８が脇見をしているか否かを判断している。ここで、判定用データには、後述する設定角度Ｃ１、設定時間Ｔ１等が含まれる。

具体的には、図４（Ａ）を参照して、制御部２６は、撮像データに映しだされた乗員１８の目などの特徴点が移動する量等から、上下方向に伸びる点線で示す軸回りにおける頭部３０の回転角度Ｃを算出する。更に、算出された回転角度Ｃが閾値である設定角度Ｃ１以上であり、且つ、回転角度Ｃが設定角度Ｃ１以上となる時間Ｔが設定時間Ｔ１以上であるか否かが判断される。ここで、回転角度Ｃは第１回転角度に対応する。また、設定角度Ｃ１および設定時間Ｔ１は、脇見運転により運転状況が危険であると予測される程度に設定される。

算出された回転角度Ｃが設定角度Ｃ１以上であり、且つ、回転角度Ｃが設定角度Ｃ１以上となる時間Ｔが設定時間Ｔ１以上であれば、即ちステップＳ１５でＹＥＳであれば、制御部２６は、ステップＳ１６で乗員１８が脇見をしていると判断し、その旨を報知する。このようにすることで、乗員１８は自らが脇見をしていることを認知し、車両１０の前方を向いて運転動作に集中するように成り、運転時の安全性が向上する。ここで、脇見をしている旨の警報は、ディスプレイ１５の表示でも良いし、スピーカ２７からの警報音でも良いし、両者の組み合わせであってもよい。

ここで、ステップＳ１５では、乗員１８の視線が車両１０の前方から傾斜する視線向き角度を考慮して、乗員１８が脇見をしているか否かを判断してもよい。この場合は、例えば、制御部２６は、一定時間以上に渡って視線向き角度が一定以上となれば、乗員１８が脇見運転をしていると判断する。更には、視線向き角度および回転角度Ｃの何れかまたは両方が一定以上となった場合に、乗員１８が脇見をしていると判断するようにしてもよい。

一方、算出された回転角度Ｃが設定角度Ｃ１未満の場合は、制御部２６は、乗員１８が脇見運転をしているとは判断しない。また、回転角度Ｃが設定角度Ｃ１以上であっても、回転角度Ｃが設定角度Ｃ１以上となる時間Ｔが設定時間Ｔ１未満であれば、制御部２６は、乗員１８が脇見運転をしているとは判断しない。この場合は、ステップＳ１５がＮＯであり、制御部２６は、ステップＳ１４に戻り、乗員１８が脇見をしているか否かを監視し続ける。

ステップＳ１６で乗員１８に対して脇見をしている旨の警報を行った後は、制御部２６は、ステップＳ１７以降のステップで、行った警報が誤検知によるものか否かを判断し、警報が誤検知によるものであった場合は、記憶部２５に記憶されている判定用データ（設定角度Ｃ１、設定時間Ｔ１）を書き換える。ここで誤検知とは、実際には乗員１８は脇見をしていないにも関わらず、制御部２６が乗員１８は脇見をしていると誤って判断してしまうことである。このように書き換えることで、乗員１８が脇見をしているか否かを判断する次回以降のループでは、書き換えられた判定用データを用いるため、その判断の精度を向上させ、誤検知を減少させることが出来る。

具体的には、ステップＳ１７では、警報を報知した後に、車内カメラ２１で乗員１８の頭部３０を撮像し、得られた撮像データに対して制御部２６が画像処理を施すことで、乗員１８の心理的状態が現れている顔の部位の形状や位置を示すパラメータを抽出する。上記した警報が誤検知に基づくものであった場合、その警報が報知された乗員１８は、怒りを顔の表情で表したり、首を傾げたりするなどの所定の反応を行う場合がある。本形態では、このような所定の反応が検知されたら誤警報が生じたと判断し、以下のように、判別データを書き換えている。

具体的には、ステップＳ１８では、図４（Ｂ）に示すように、乗員１８の目の外側端部が吊り上がる長さを示す目吊り上がり量Ｂが、予め定められた設定目吊り上がり量Ｂ１以上であるか否かを判断する。ここで、目吊り上がり量Ｂとは、目の外側の端部が上方に吊り上がる長さのことであり、目吊り上がり量Ｂの大きさと乗員１８が感じる怒りの度合いとの間には正の相関が有る。

このことから、本形態では、目吊り上がり量Ｂが予め定められた設定目吊り上がり量Ｂ１以上であれば、即ちステップＳ１８がＹＥＳであれば、制御部２６は、ステップＳ１９で上記したステップＳ１６における警報は誤検知に基づくものであったと判断する。この場合は、乗員１８が脇見をしていないにも関わらず、脇見をしている旨を示す警報が報知されることで乗員１８が怒りを感じ、その怒りが目の吊り上がりとして視覚的に現れている。

ステップＳ２０では、制御部２６が、記憶部２５に記憶されている判別用データを書き換える自己学習処理を行う。具体的には、上記したステップＳ１５で用いられた設定角度Ｃ１や、設定時間Ｔ１を書き換える。そして、次回からのステップＳ１８の判断は、書き換えられた判定用データ（設定角度Ｃ１、設定時間Ｔ１）に基づいて行われる。具体的なデータの書き換え方法は、図５のフローチャートを参照して後述する。また、判定用データを書き換える自己学習処理を行った旨を、ディスプレイ１５に表示することで、乗員１８に報知してもよい。

一方、上記した目吊り上がり量Ｂが、設定目吊り上がり量Ｂ１未満であれば、即ちステップＳ１８でＮＯであれば、乗員１８が首を傾げているか否かを判断するステップＳ２１に移行する。

ステップＳ２１では、上記した警報が報知された後に、乗員１８が首を傾げる動作を行ったか否かを判断する。具体的には、上記した警報が誤検出に基づくものであった場合、警報が報知された後に、不信感を感じた乗員１８が首を傾げることが考えられる。このステップでは、制御部２６は、図４（Ｃ）に示すように、撮像データに映しだされた乗員１８の特徴点が移動する量から、前後方向に沿って伸びる点線で示す軸回りにおける頭部３０の回転角度Ｄを算出する。更に、制御部２６は、算出された回転角度Ｄが閾値である設定角度Ｄ１以上であり、且つ、回転角度Ｄが設定角度Ｄ１以上となる時間Ｔが設定時間Ｔ２以上であるか否かを判断する。ここで、回転角度Ｄは第２回転角度に対応する。また、設定角度Ｄ１および設定時間Ｔ２は、乗員１８が不審を感じて首を傾げていると判断できる程度に設定される。

算出された回転角度Ｄが設定角度Ｄ１以上であり、且つ、回転角度Ｄが設定角度Ｄ１以上となる時間Ｔが設定時間Ｔ２以上であれば、即ちステップＳ２１でＹＥＳであれば、制御部２６は、ステップＳ２１で乗員１８が首を傾げたと判断する。即ち、ステップＳ１６における警報の報知は誤検知に基づくものであり、乗員１８は誤報を報知されることを不審に感じていることが判断される。

一方、算出された回転角度Ｄが設定角度Ｄ１未満の場合は、制御部２６は、乗員１８が首を傾げているとは判断しない。また、回転角度Ｄが設定角度Ｄ１以上であっても、回転角度Ｄが設定角度Ｄ１以上となる時間Ｔが設定時間Ｔ２未満であれば、制御部２６は、乗員１８が首を傾げているとは判断しない。これらの場合は、ステップＳ２１がＮＯであり、制御部２６は、ステップＳ１４に戻り、乗員１８が脇見をしているか否かを監視し続ける。

上記したステップＳ２１がＹＥＳの場合は、ステップＳ２２で、制御部２６は、誤検知に基づく警報時行われたことで乗員１８が首を傾げたと判断し、ステップＳ２３で、乗員１８が脇見をしているか否かを判断する際に用いられる判別用データを書き換える。具体的には、上記した設定角度Ｃ１および設定時間Ｔ１を書き換える。ステップＳ２３の詳細は、上記したステップＳ２０と同様であり、その詳細は図５を参照して後述する。

ステップＳ２４以降のステップでは、制御部２６は、上記した報知に乗員１８が反応しているか否かを判断し、乗員１８が警報に反応していない場合は、乗員１８の安全を確保するための操作を行っている。

具体的には、ステップＳ２４で、上記した警報の報知に乗員１８が反応しているか否かを判断する。ここでは、車内カメラ２１で乗員１８を撮像することで得られた撮像データを、制御部２６が画像処理することで、乗員１８の頭部の動きをモニタリングする。乗員１８が警報に反応しているか否かの判断は、例えば、乗員１８の頭部３０の回転角度に基づいて行うことが出来る。具体的には、乗員１８の頭部３０の回転角度Ｅが設定角度Ｅ１以上であり、回転角度Ｅが設定角度Ｅ１以上となる時間Ｔが設定時間Ｔ３以上であれば、制御部２６は、乗員１８はステップＳ１６における危険報知に反応して頭部３０を動かしていると判断する。この場合は、ステップＳ２４はＹＥＳであり、ステップＳ１４に戻り、制御部２６は脇見監視処理を続行する。

一方、算出された回転角度Ｅが設定角度Ｅ１未満の場合は、制御部２６は、乗員１８が反応していないと判断する。また、回転角度Ｅが設定角度Ｅ１以上であっても、回転角度Ｅが設定角度Ｅ１以上となる時間Ｔが設定時間Ｔ３未満であれば、制御部２６は、乗員１８が警報に反応をしていないと判断する。この場合は、ステップＳ２４がＮＯであり、制御部２６は、ステップＳ２５で乗員１８が所定の反応を示していないと判断し、運転動作をしている乗員１８が覚醒していない恐れが有るので、以下のステップで乗員に覚醒を促す。

ステップＳ２６では、制御部２６は、警報の報知に反応しない乗員１８を覚醒させるために、乗員１８に接する車体部分であるステアリングハンドル１４を振動させる。このようにすることで、乗員１８を覚醒させて運転動作に集中させることで、運転時の安全性を向上させることが出来る。ここで、乗員１８の覚醒を促すために振動する車体部分としてはステアリングハンドル１４以外でも良く、例えば運転席のシート１３を振動させてもよい。

ステップＳ２７では、ステップＳ２６で乗員１８を覚醒させるための処理を行った後に、乗員１８が覚醒しているか否かを再び判断する。この判断は、ステップＳ２４と同様に、車内カメラ２１で乗員１８を撮像することで得られる撮像データを画像処理することで行われるので、その説明は割愛する。

乗員１８が、ステアリングハンドル１４を振動させた後に何らかの反応を示したら、即ちステップＳ２７がＹＥＳであれば、乗員１８は覚醒状態であるので、ステップＳ１４に戻り、制御部２６は脇見監視処理を続ける。

一方、ステアリングハンドル１４を振動させた後に、乗員１８が所定の反応を示さなかったら、即ちステップＳ２７でＮＯの場合は、制御部２６は、ステップＳ２８で、乗員１８の体調が不調であると確定する。具体的には、制御部２６は、ステアリングハンドル１４が振動していることを乗員１８は認知できる状態ではなく、車両１０を安全に運転できる状態でないと判断し、危険回避のための動作を実行する。

その後、ステップＳ２９で、乗員１８が車外に放出されることを防止するためにドアロック部１７がドアロックを閉状態とする。更に、運転制御部２４が、ステップＳ３０で、車両１０の運転動作に介入し、制動動作および操舵動作を乗員１８に代わって行うことで、車両１０を路側に停車させる等の退避行動を実施する。更に、振動部２３は、ステップＳ３１で、助手席等の他のシートを振動させることで、乗員１８の体調が不調であることを他の乗員に報知する。そのようにすることで、運転者以外の他の乗員が車両制動動作および操舵動作を行うことで、車両１０を路側に駐車させるなどして、危険な状態を回避することが出来る。

次に、図５のフローチャートを参照して、自己学習処理を行うことで、判定用データを書き換えるステップＳ２０を詳述する。上記したステップＳ２０は、以下のステップＳ１００からステップＳ１０３を有している。

先ず、ステップＳ１００では、脇見であると誤警報した場合の脇見角度を蓄積する。即ち、脇見を警報した後に乗員１８が首を傾げる動作等を検出することで、その警報が誤警報であった場合の、乗員１８の脇見角度、即ち、顔向き角度や、乗員１８の視線が向く角度を、記憶部２５に蓄積する。ここで、顔向き角度は、上記した回転角度Ｃに対応している。

ステップＳ１０１では、相関式を算出し、角度に関するパラメータを更新する。具体的には、先ず、記憶部２５には、乗員１８がインナーミラーやサイドミラーを見る際の、乗員１８の顔向き角度および視線角度が予め蓄積されている。制御部２６は、乗員１８の顔向き角度および視線角度が、インナーミラーやサイドミラーを乗員１８が見ている際の角度であれば、乗員１８が脇見をしているとは判断しない。

更に、記憶部２５には、上記したステップＳ１００で求められた、誤警報を行った際の、顔向き角度および視線角度が蓄積されている。ここでは、予め蓄積された顔向き角度および視線角度、およびステップＳ１００で求められた顔向き角度および視線角度から相関式を算出している。ここで相関式とは、例えば最小二乗法で定数が算出された近似式である。更に、その相関式を用いて演算を行うことで、乗員が脇見をしているか否かの判断に用いられる顔向き角度および視線角度の閾値が算出され、次回の判断からは、新たに算出された顔向き角度（設定角度Ｃ１）および視線角度の閾値が用いられる。

ステップＳ１０２では、誤警報を行った際の時間Ｔおよび誤警報率を、記憶部２５に蓄積する。ここで、誤警報率とは、警報全体に誤警報が占める割合のことである。

ステップＳ１０３では、脇見時間と誤警報率との関係を示す相関式を最小二乗法で作成し、脇見運転をしているか否かの判断に用いられる閾値である設定時間Ｔ１を、その相関式を用いて算出する。乗員１８が脇見運転をしているか否かの判断は、新たに算出された設定時間Ｔ１を用いて行う。

上記の様に、乗員１８が脇見をしているか否かの判断に用いられるパラメータ、即ち、設定時間Ｔ１や設定角度Ｃ１を書き換えることで、次回からの脇見の判定の精度を向上させ、乗員１８の脇見を的確に判断して警報し、運転時の安全性を向上することが出来る。また、上記した判定データの書き換えは、警報を報知した後の乗員１８の反応を用いて行うため、乗員１８の特段の入力操作を必要とせず、判定データの書き換え作業が乗員１８の負担になることがない。

次に、図６から図８を参照して、本形態の乗員状態監視装置２０を用いて乗員の居眠りを監視する方法を説明する。図６はこの監視方法を示すフローチャートであり、図７は乗員１８の状態を示す模式図であり、図８は判別データを書き換えるステップを詳述するフローチャートである。以下に示す居眠りを監視する方法は、図３から図５を参照して説明した脇見を監視する方法と基本的には同様であり、以下では相違点を中心に説明する。

図６を参照して、乗員が車両１０に乗り込むステップＳ５０から、運転を開始するステップＳ５３までの各ステップは、図３に示したステップＳ１０からステップＳ１３までと同様である。

ステップＳ５４では、制御部２６が、車内カメラ２１で撮像された撮像データに対して所定の画像処理を施すことで、乗員１８の目が開いている度合いを示す開眼度Ｌを計測する。

ステップＳ５５では、開眼度Ｌが閾値である設定開眼度Ｌ１以下であり、且つ、開眼度Ｌが設定開眼度Ｌ１以下となる時間Ｔが設定時間Ｔ４以上であるか否かが判断される。設定開眼度Ｌ１および設定時間Ｔ４は、これらの値以上であれば居眠りをしていると判断できる値に設定される。

図７を参照して、上記した開眼度Ｌは、乗員１８の目の開き具合を示しており、開眼度Ｌが大きければ乗員１８は目を開いて覚醒していると判断でき、開眼度Ｌが小さいままであれば乗員１８は目を閉じて居眠りをしていると判断できる。

開眼度Ｌが設定開眼度Ｌ１以下であり、且つ、開眼度Ｌが設定開眼度Ｌ１以下となる時間ＴがＴ４以上であれば、制御部２６は、乗員１８が居眠りをしていると判断し、即ちステップＳ５５がＹＥＳとなる。そして、ステップＳ５６にて、制御部２６は、ディスプレイ１５やスピーカ２７を介して、乗員１８に対して居眠りをしている旨の警報を報知する。

一方、乗員１８の開眼度Ｌが設定開眼度Ｌ１より大きい場合や、乗員１８の開眼度Ｌが設定開眼度Ｌ１以下であっても、そのようになる時間Ｔが設定時間Ｔ４未満であれば、制御部２６は、乗員１８は居眠りをしていないと判断し、ステップＳ５５はＮＯとなる。この場合は、制御部２６は、ステップＳ５４に戻り居眠り監視処理を続ける。

以上のステップが終了したら、制御部２６は、ステップＳ５７からステップＳ６３で、報知後の乗員１８の頭部３０の挙動をモニタリングすることで、報知が誤報であったか否かを判断し、誤報であった場合は判定データを書き換えている。更にその後、制御部２６は、ステップＳ６４からステップＳ７１で、乗員１８の動きをモニタリングし、警報に対する乗員１８の反応が認められなかったら、危険を回避するための動作を実行している。これらの各ステップの具体的方法は、図３を参照して説明したステップＳ１７からステップＳ３１と同様である。

図８を参照して、乗員１８が居眠りをしているか否かの判断に用いられる判定用データを書き換えるステップＳ６０を詳述する。ここで説明する判定データの書き換え方法は、図５を参照して説明した書き換え方法と概略的に同一であり、ここでは、書き換えられる判定用データのパラメータは、居眠りをしているか否かの判定に用いられる設定開眼度Ｌ１および設定時間Ｔ４である。

具体的には、ステップＳ２００では、制御部２６は、居眠りであると誤警報した際の開眼度Ｌを、記憶部２５に蓄積する。そして、ステップＳ２０１では、制御部２６は、予め決められた設定開眼度Ｌ１と、ステップＳ２００で蓄積された開眼度とを基に、最小二乗法等で相関式を算出し、その相関式から新たな設定開眼度Ｌ１を算出して書き換えている。

更に、制御部２６は、ステップＳ２０２で、誤警報した際に閉眼とされている時間Ｔの情報を、記憶部２５に蓄積する。更に、ステップＳ２０３で、誤警報した際の閉眼とされている時間Ｔと誤警報率から相関式を最小二乗法等で算出し、その相関式から設定時間Ｔ４を算出して書き換える。

上記のように、本形態では、居眠りをしている旨を示す警報を報知した後の乗員の挙動を監視し、その状況に基づいて、警報が誤報であれば判定用データを書き換えている。このようにすることで、次回からは、書き換えられた判定用データを用いて乗員が居眠りをしているか否かを判断するため、その判断の精度を高め、適切なタイミングで乗員に対して居眠りを警報する報知を行い、車両運転時の安全性を向上させることが出来る。

以上、本発明の実施形態を示したが、本発明は、上記実施形態に限定されるものではない。

１０ 車両
１１ 車外カメラ
１２ フロントガラス
１３ シート
１４ ステアリングハンドル
１５ ディスプレイ
１７ ドアロック部
１８ 乗員
１９ ダッシュボード
２０ 乗員状態監視装置
２１ 車内カメラ
２２ 照明部
２３ 振動部
２４ 運転制御部
２５ 記憶部
２６ 制御部
２７ スピーカ
３０ 頭部
Ｃ１、Ｄ１、Ｅ１ 設定角度
Ｃ、Ｄ、Ｅ 回転角度
Ｔ 時間
Ｔ１、Ｔ２、Ｔ３、Ｔ４ 設定時間
Ｂ 目吊り上がり量
Ｂ１ 設定目吊り上がり量
Ｌ 開眼度
Ｌ１ 設定開眼度

Claims (8)

1. 車両を運転する乗員を撮像することで撮像データを得る撮像部と、前記乗員の運転状態の判定に用いられる判定用データを記憶する記憶部と、前記判定用データに基づいて前記撮像データを参照することで前記乗員の運転状態を判定する制御部と、前記制御部が前記乗員への警報が必要と判断した場合に前記乗員にその旨を報知する報知部と、を具備し、
   前記制御部は、前記報知を行った後の前記乗員の状態を前記撮像部で監視し、前記報知を行った後の前記乗員の状態に基づいて、前記報知が誤検知によるものであった場合は、前記記憶部に記憶された前記判定用データを書き換えることを特徴とする乗員状態監視装置。
2. 前記制御部は、上下方向に伸びる軸周りにおける前記乗員の頭部の第１回転角度が、一定時間以上に渡り一定以上に成れば、前記乗員が脇見をしていると判断し、前記報知部でその旨を報知することを特徴とする請求項１に記載の乗員状態監視装置。
3. 前記制御部は、前記乗員の目が、一定時間以上に渡り連続して開眼度が低い状態であったら、前記乗員が居眠りをしていると判断し、前記報知部でその旨を報知することを特徴とする請求項１または請求項２に記載の乗員状態監視装置。
4. 前記制御部は、前記報知を行った後に前記乗員が所定の反応を示した場合は、前記報知が誤検知によるものであったと判定することを特徴とする請求項１から請求項３の何れかに記載の乗員状態監視装置。
5. 前記反応は、前記乗員の目吊り上がり量であり、
   前記制御部は、前記目吊り上がり量が一定以上に成れば、前記報知が誤検知によるものであったと判定することを特徴とする請求項４に記載の乗員状態監視装置。
6. 前記反応は、前後方向に伸びる軸周りにおける前記乗員の頭部の第２回転角度であり、
   前記制御部は、一定時間以上に渡り前記第２回転角度が一定以上となれば、前記報知が誤検知によるものであったと判定することを特徴とする請求項４に記載の乗員状態監視装置。
7. 前記制御部は、前記報知部が前記警報を行った後に、前記乗員の反応が一定時間以上に渡り無ければ、前記乗員に接する車両部分を振動させることを特徴とする請求項１から請求項６の何れかに記載の乗員状態監視装置。
8. 前記制御部は、前記報知部が前記警報を行った後に、前記乗員の反応が一定時間以上に渡り無ければ、危険回避のための動作を実行することを特徴とする請求項１から請求項７の何れかに記載の乗員状態監視装置。
   
   
   
   

Images