JP2021086412A - 乗員監視装置、乗員監視システム - Google Patents

Abstract

【課題】居眠りなどの不注意状態の検出時に出力される警報の信頼性を高める。【解決手段】乗員監視装置１０では、撮像部１で撮像された画像と所定の判定基準とに基づいて、運転者Ｄが運転に支障をきたす眠気状態にあると眠気判定部７が判定すると、警報部２１により警報が出力されるとともに、警報出力の根拠となった根拠画像が画像記憶部３に記憶される。その後、運転者Ｄが行った再生要求入力を入力受付部９が受け付けると、画像記憶部３に記憶された画像が、画像再生部１１により再生され表示部２３に表示される。さらに、この再生画像を見た運転者Ｄが、警報出力が不適切であると判断した場合に、運転者Ｄが行った不適切意思入力を入力受付部９が受け付けると、基準調整部１２が、警報の出力を抑制するように判定基準を調整する。【選択図】図１

Description

本発明は、車両の乗員を撮像した画像に基づいて、当該乗員が車両前方を視認していない不注意状態にあることを判定し、警報を行う乗員監視装置および乗員監視システムに関する。

自動四輪車などの車両の乗員が、車両の安全走行のために運転操作を適切に行うには、車両前方を常に視認している必要がある。そこで、たとえば特許文献１および特許文献２のような、乗員が車両前方を視認していない不注意状態にあることを判定して警報を行う、乗員監視装置および乗員監視システムが提案されている。

特許文献１の乗員監視装置は、運転者の不注意状態として、運転に支障をきたす眠気状態（居眠り状態や居眠り寸前状態）を判定する。詳しくは、運転者をカメラにより撮像した画像に基づいて、運転者の眠気レベルとその信頼度を判定する。また、車両の挙動に基づいて、運転者の眠気レベルとその信頼度を判定する。そして、両方の眠気レベルと信頼度に基づいて、総合眠気レベルと総合信頼度を決定し、これらに基づいて段階的に警報を出力する。

特許文献２の乗員監視装置は、運転者の不注意状態として、脇見状態を判定する。詳しくは、運転者の顔の領域をカメラにより撮像した画像に基づいて、運転者の顔の向きまたは視線方向を検出する。また、車速センサにより車両の車速を検出し、車両前方の道路のカーブ情報を取得する。そして、運転者の顔の向きまたは視線方向と、車速と、カーブ情報とに基づいて、運転者の正面視野範囲を設定し、運転者の顔の向きまたは視線方向が正面視野範囲内になければ、運転者が脇見状態にあると判定して警報を出力する。

一方、特許文献３には、ユーザ（運転者等）の眠気を推定する技術が開示されている。詳しくは、撮像部により撮像したユーザの画像と、室内環境情報センサにより検知した室内の温度、湿度、またはＣＯ_２濃度と、所定の推定モデルとに基づいて、ユーザの眠気レベルを推定する。そして、その眠気レベルに応じて、ユーザの眠気が低下するように、空調装置の動作を制御する。また、推定モデルはユーザ毎に設定されていて、各ユーザがリモコンにより入力した推定情報と、撮像部により撮像された画像とに基づいて、各ユーザの推定モデルが更新される。

特開２０１９−１６１７８号公報 特開２０１０−２５７２９３号公報 特開２０１９−８２２８２号公報

乗員の個体差や感覚差などにより、乗員監視装置による居眠りや脇見などの判定結果が、乗員の認識と一致しないことがある。このため、たとえば乗員が車両前方を視認していると思っているにもかかわらず、乗員監視装置が前方不注意状態と判定して、警報を出力するおそれがあり、この場合、乗員には煩わしい過剰警報となって、不信感を抱かせてしまう。一方、警報の出力を抑制するように、前方不注意状態の判定基準を設定すると、乗員が車両前方を視認していないにもかかわらず、乗員監視装置が前方不注意状態でないと判定して、警報を出力しないおそれがあり、やはり乗員に不信感を抱かせてしまう。さらに、乗員は居眠りや脇見などの不注意状態に陥ったときに、無意識であることが多いため、警報が出力されなければ、乗員が不注意状態から脱却することができず、危険である。

本発明は、居眠りや脇見などの不注意状態の検出時に出力される警報の信頼性を高めることができる乗員監視装置および乗員監視システムを提供することを課題とする。

本発明による乗員監視装置は、車両の乗員を撮像する撮像部と、この撮像部により撮像された画像と所定の判定基準とに基づいて、乗員が車両の進行方向前方を視認していない不注意状態にあるか否かを判定する状態判定部とを備え、状態判定部により乗員が不注意状態にあると判定されると、警報部に警報を出力させる。乗員監視装置はさらに、撮像部により撮像された画像を記憶する画像記憶部と、この画像記憶部に記憶された画像の再生を要求するための第１入力、および警報の有無または強度が不適切であるという意思を示すための第２入力を受け付ける入力受付部と、この入力受付部が第１入力を受け付けると、画像記憶部に記憶された画像を再生して表示部に表示させる画像再生部と、入力受付部が第２入力を受け付けると、判定基準を調整する基準調整部とを備える。

また、本発明による乗員監視システムは、上記乗員監視装置と、警報を出力する警報部と、上記乗員監視装置に備わる画像再生部により再生された画像を表示する表示部とを備えている。

上記の乗員監視装置および乗員監視システムによると、乗員が居眠りや脇見などの不注意状態にあると判定されると、警報が出力され、乗員が不注意状態にないと判定されると、警報が出力されない。そして、乗員がその警報の有無または強度に違和感を持って、第１入力を行うと、撮像部により撮像されて画像記憶部に記憶された画像が再生されて表示部に表示される。このため、乗員は表示部に表示された画像を見て、警報部による警報の有無または強度の適否を客観的に検証することができる。そして、乗員が警報の有無または強度が不適切であると判断して、当該意思を示す第２入力を行うと、基準調整部により判定基準が調整される。このため、状態判定部による乗員の不注意状態の判定と、警報部による警報とを、乗員の感覚に合わせ込むことができる。その結果、警報部による警報の信頼性を高めることが可能となる。

本発明では、上記乗員監視装置において、乗員を特定する乗員情報を検出する乗員情報検出部をさらに備え、基準調整部は、調整後の判断基準を乗員情報検出部により検出された乗員情報と関連付けてメモリに記録し、状態判定部は、乗員情報検出部により検出された乗員情報と対応する判定基準をメモリから読み出して、当該判定基準と撮像部により撮像された画像とに基づいて、乗員が不注意状態にあるか否かを判定してもよい。

また、本発明では、上記乗員監視装置において、警報の出力後に、当該警報出力の根拠となった根拠画像が画像記憶部に記憶され、入力受付部が第１入力を受け付けると、画像再生部が根拠画像を再生して表示部に表示させ、その後、警報の出力が不適切であるという意思を示す第２入力を入力受付部が受け付けると、基準調整部が警報の出力を抑制するように、判定基準を調整してもよい。

また、本発明では、撮像部は、乗員の顔の領域を動画で撮像し、状態判定部は、撮像部により撮像された動画の画像と判定基準とに基づいて、乗員が不注意状態にあるか否かを判定し、画像記憶部は、撮像部により撮像された動画を記憶し、画像再生部は、画像記憶部に記憶された動画を再生して表示部に表示させてもよい。

また、本発明では、状態判定部は、乗員の不注意状態として、乗員が車両の運転に支障をきたす眠気状態にあるか否かを判定してもよい。または、状態判定部は、乗員の不注意状態として、乗員が車両の運転に支障をきたす脇見状態にあるか否かを判定してもよい。

また、本発明では、第２入力は、警報の有無または強度の不適切さの内容を示す複数の項目の中からいずれかを選択する操作を含み、基準調整部は、第２入力において選択された項目に該当する不適切さの内容に基づいて、警報を抑制または促進するように、判定基準を段階的に調整してもよい。

さらに、本発明では、上記乗員監視システムは、第１入力と第２入力とをそれぞれ行うための入力部を備えていてもよい。

本発明によれば、居眠りや脇見などの不注意状態の検出時に出力される警報の信頼性を高めることができる乗員監視装置および乗員監視システムを提供することが可能となる。

第１実施形態の乗員監視システムの構成図である。 第１実施形態の乗員監視システムの動作フローチャートである。 第２実施形態の乗員監視システムの動作フローチャートである。 第３実施形態の乗員監視システムの動作フローチャートである。 第４実施形態の乗員監視システムの構成図である。

以下、本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。

図１は、第１実施形態の乗員監視システム１００の構成図である。

乗員監視システム１００は、自動四輪車から成る車両５０に搭載されている。乗員監視システム１００には、乗員監視装置１０、警報部２１、入力部２２、表示部２３、車両エントリ部２４、およびＦＯＢ２５が含まれている。このうち、ＦＯＢ２５以外の構成は、車両５０に搭載されている。ＦＯＢ２５は、電子キー等の携帯端末からなり、車両５０の運転者Ｄなどの乗員に携帯されて、車両５０に持ち込まれる。

乗員監視装置１０には、撮像部１、画像処理部２、および制御部６が備わっている。

撮像部１は、たとえば赤外線カメラから構成されている。撮像部１は、車両５０の車内における運転席に着座した運転者（乗員）Ｄの顔の領域を動画で撮像する。

画像処理部２は、撮像部１から出力される動画の画像信号を処理する。画像処理部２には、画像記憶部３、顔情報検出部４、および顔認証部５が備わっている。

画像記憶部３は、メモリまたはハードディスクなどから構成されている。画像記憶部３は、撮像部１により撮像されて画像処理部２により処理された画像のデータを記憶する。

顔情報検出部４は、撮像部１により撮像された顔の画像に基づいて、運転者Ｄの視線状態、瞼の開閉状態、顔の向き、または顔の表情などといった顔情報を検出する。顔認証部５は、撮像部１により撮像された画像から、運転者Ｄの顔の特徴点を抽出し、該特徴点と予め登録された顔の特徴点とを比較して、運転者Ｄの顔の認証を行う。

制御部６は、マイクロコンピュータなどから構成されている。制御部６には、眠気判定部７、警報指令部８、入力受付部９、画像再生部１１、基準調整部１２、乗員情報検出部１３、および内部メモリ１４が備わっている。そのうち、内部メモリ１４以外のブロック７〜１３の各機能（詳細は後述）は、ソフトウェアにより実現される。

前述した顔情報検出部４と眠気判定部７とにより、撮像部１で撮像された画像と、内部メモリ１４に記録された所定の判定基準とに基づいて、運転者Ｄが車両５０の運転に支障をきたす眠気状態（以下、「重度の眠気状態」という。）にあるか否かが判定される。詳しくは、眠気判定部７が、顔情報検出部４により検出された顔情報と判定基準とに基づいて、運転者Ｄの眠気レベルを推定し、さらに当該眠気レベルに基づいて、運転者Ｄが重度の眠気状態にあるか否かを判定する。

運転者Ｄの重度の眠気状態とは、具体的には運転者Ｄの居眠り状態または居眠り寸前状態のことであって、運転者Ｄが車両５０の進行方向前方（以下、「車両前方」という。）を視認していない不注意状態の一例である。顔情報検出部４と眠気判定部７とは、本発明の「状態判定部」の一例である。

制御部６には、警報部２１、入力部２２、表示部２３、および車両エントリ部２４が電気的に接続されている。

警報部２１は、ブザー、スピーカ、ホーン、照明類、またはバイブレータなどから成り、運転者Ｄに対して聴覚的もしくは視覚的な警報、または振動による警報を出力する。制御部６の警報指令部８は、眠気判定部７により運転者Ｄが重度の眠気状態にあると判定されると、警報部２１に警報指令を送信する。警報部２１は、警報指令部８からの警報指令を受信すると、所定の警報を出力する。

なお、眠気判定部７により運転者Ｄが重度の眠気状態にあると判定されなければ、警報指令部８が警報部２１に警報指令を送信することはなく、警報部２１により警報が出力されることもない。

入力部２２は、ボタン、スイッチ、センサ、またはタッチパッドなどから成り、運転者Ｄが操作可能な位置に設けられている。運転者Ｄは入力部２２により、画像記憶部３に記憶された画像の再生を要求するための再生要求入力と、警報部２１による警報の出力または不出力が不適切であるという意思を示すための不適切意思入力とをそれぞれ行う。

表示部２３は、液晶ディスプレイやタッチパッドなどから成り、車両５０の車室内における運転者Ｄが目視可能な箇所に設置されている。表示部２３と入力部２２とを同一のタッチパッドで構成してもよい。

制御部６の入力受付部９は、運転者Ｄが入力部２２において行った入力を受け付ける。画像再生部１１は、入力部２２での再生要求入力を入力受付部９が受け付けた場合に、画像記憶部３に記憶された画像（動画）を再生して、表示部２３に表示させる。基準調整部１２は、入力部２２での不適切意思入力を入力受付部９が受け付けた場合に、内部メモリ１４に記録された眠気状態の判定基準を調整する。

乗員情報検出部１３は、運転者Ｄを特定する乗員情報を検出する。具体的には、たとえば顔認証部５が運転者Ｄの顔の認証に成功すると、予め記憶された当該運転者Ｄを特定する所定の乗員情報が顔認証部５から制御部６へ送られ、当該乗員情報を乗員情報検出部１３が検出する。

車両エントリ部２４は、ＦＯＢ２５と無線で通信して、ＦＯＢ２５の固有のＩＤを取得する。そして、取得したＦＯＢ２５のＩＤと、予め登録されたＩＤとが一致すると、車両エントリ部２４は、車両５０の正当な使用者によるエントリが有ったと判断し、ＦＯＢ２５のＩＤを制御部６へ送信する。このように制御部６が車両エントリ部２４から受信したＦＯＢ２５のＩＤも、運転者Ｄを特定する乗員情報の１つとして、乗員情報検出部１３が検出してもよい。

基準調整部１２は、調整後の判断基準を、乗員情報検出部１３により検出された乗員情報と関連付けて内部メモリ１４に記録する。眠気判定部７は、乗員情報検出部１３により検出された乗員情報と対応する判定基準を内部メモリ１４から読み出して、前述したように運転者Ｄの眠気状態の判定を行う。

図２は、第１実施形態の乗員監視システム１００の動作を示したフローチャートである。なお、本動作は、車両５０が起動（イグニションがオン）するか、またはＦＯＢ２５が車両エントリ部２４と通信可能なエリア内に移動することで開始され、車両５０が停止（イグニションがオフ）するか、またはＦＯＢ２５が当該エリア外へ移動することで終了される。（後述する図３や図４の動作も同様である。）

まず、乗員監視装置１０の制御部６は、撮像部１により運転者Ｄの顔の領域を撮像する（ステップＳ１）。この際、撮像部１により撮像されて画像処理部２により処理された画像に基づいて、顔情報検出部４が運転者Ｄの顔情報を検出し、顔認証部５が運転者Ｄの顔の認証を行う。

そして、乗員情報検出部１３が、顔認証部５や車両エントリ部２４から送信された運転者Ｄの乗員情報を検出する（ステップＳ２）。また、眠気判定部７が、乗員情報検出部１３により検出された乗員情報と対応する判定基準を内部メモリ１４から読み出して、当該判定基準と顔情報検出部４により検出された運転者Ｄの顔情報とに基づいて、運転者Ｄの眠気状態の判定を実行する（ステップＳ３）。

このとき、眠気判定部７により、運転者Ｄが車両５０の運転に支障をきたす眠気状態、すなわち重度の眠気状態にないと判定されると（ステップＳ４：ＮＯ）、警報部２１により警報が出力されず、ステップＳ１に戻って、以降の処理が繰り返し実行される。

対して、眠気判定部７により、運転者Ｄが重度の眠気状態にあると判定されると（ステップＳ４：ＹＥＳ）、警報指令部８が警報部２１に警報指令を出力するため、警報部２１により警報が出力される（ステップＳ５）。また、制御部６が、警報出力の根拠となった動画の画像を、画像処理部２の画像記憶部３に記憶させて保存する（ステップＳ６）。

その後、運転者Ｄが警報部２１による警報の出力に違和感を持たなければ、警報出力の根拠となった画像（動画）の再生要求入力が入力部２２で行われることはない。この場合、入力受付部９が再生要求入力を受け付けないため（ステップＳ７：ＮＯ）、ステップＳ１に戻って、以降の処理が繰り返し実行される。

対して、運転者Ｄが、重度の眠気を感じていないため、警報部２１による警報の出力に違和感を持ったときは、運転者Ｄは入力部２２により再生要求入力を行う。この場合、入力受付部９が再生要求入力を受け付けるため（ステップＳ７：ＹＥＳ）、画像再生部１１が、画像記憶部３に保存された警報出力の根拠となった画像（動画）を再生して、表示部２３に表示させる（ステップＳ８）。

そして、運転者Ｄが、表示部２３に表示された画像を見て、重度の眠気状態にあったことを確認し、警報の出力が適切であったと判断した場合は、入力部２２で不適切意思入力が行われず、入力受付部９が不適切意思入力を受け付けることもないので（ステップＳ９：ＮＯ）、ステップＳ１に戻って、以降の処理が繰り返し実行される。

対して、運転者Ｄが、表示部２３に表示された画像を見て、重度の眠気状態になかったことを確認し、警報の出力が不適切であったと判断した場合は、この意思を示す不適切意思の入力（たとえばボタンの操作）を入力部２２により行う。この場合、入力受付部９が不適切意思入力を受け付けるため（ステップＳ９：ＹＥＳ）、基準調整部１２が、警報の出力を抑制するように、内部メモリ１４に記録された眠気状態の判定基準を調整する（ステップＳ１０）。そして、基準調整部１２は、調整後の判定基準を乗員情報検出部１３により検出された運転者Ｄの乗員情報と関連付けて、内部メモリ１４に記録する（ステップＳ１１）。これにより、判定基準が更新される。

この後、ステップＳ１に戻って、以降の処理が繰り返し実行される。なお、画像再生部１１により再生された画像は、判定基準の調整後に消去してもよい。

上述した第１実施形態によると、撮像部１により撮像された運転者Ｄの画像と所定の判定基準とに基づいて、眠気判定部７により運転者Ｄが重度の眠気状態（不注意状態）にあると判定されると、警報部２１により警報が出力される。そして、運転者Ｄがその警報の出力に違和感を持って、入力部２２により再生要求入力を行うと、画像記憶部３に記憶された画像（動画）が再生されて表示部２３に表示される。このため、運転者Ｄは表示された画像を見て、警報部２１による警報の出力の適否を客観的に検証することができる。そしてさらに、運転者Ｄが警報の出力が不適切であると判断して、当該意思を示す不適切意思の入力を入力部２２により行うと、基準調整部１２により眠気状態の判定基準が調整される。このため、眠気判定部７による運転者Ｄの眠気状態の判定と、警報部２１による警報とを、運転者Ｄの感覚に合わせ込むことができる。その結果、警報部２１による警報の信頼性を高めることが可能となる。

また、上述した第１実施形態では、警報部２１による警報の出力後に、当該警報出力の根拠となった根拠画像だけが画像記憶部３に記憶（保存）されるので、膨大な記憶容量を有する高価なメモリやハードディスクなどを画像記憶部３として用いる必要はなく、画像記憶部３のコストを低く抑えることができる。

また、上述した第１実施形態では、再生要求入力を入力受付部９が受け付けると、画像再生部１１が画像記憶部３に記憶された警報出力の根拠画像を再生して表示部２３に表示させる。このため、運転者Ｄは表示部２３に表示された根拠画像を見て、警報部２１による警報出力の適否を容易かつ適正に判断することができる。

また、上述した第１実施形態では、不適切意思入力を入力受付部９が受け付けると、基準調整部１２が警報の出力を抑制するように、眠気状態の判定基準を調整する。このため、運転者Ｄが重度の眠気状態になかったと感じたときの、警報部２１による過剰な警報の出力を抑制することができる。

また、上述した第１実施形態では、基準調整部１２が、調整後の判断基準を乗員情報検出部１３により検出された運転者Ｄの乗員情報と関連付けて内部メモリ１４に記録する。そして、眠気判定部７が、乗員情報検出部１３により検出された運転者Ｄの乗員情報と対応する判定基準を、内部メモリ１４から読み出して、当該判定基準と撮像部１により撮像された画像とに基づいて、運転者Ｄの眠気判定を行う。このため、車両５０の運転者Ｄが代わっても、運転者毎に、眠気状態の判定と、該判定結果に基づく警報を的確に行うことができ、警報の信頼性を一層高めることが可能となる。

また、上述した第１実施形態では、撮像部１により運転者Ｄの顔の領域を動画で撮像するので、当該動画中の運転者Ｄの顔や目などの挙動を検出して、運転者Ｄの顔情報を顔情報検出部４により詳細に検出することができる。そして、その運転者Ｄの顔情報と内部メモリ１４に記録された判定基準とに基づいて、眠気判定部７により運転者Ｄの眠気状態の判定を精度良く行うことができる。また、警報出力の根拠画像が画像記憶部３に記憶され、入力受付部９が再生要求入力を受け付けると、当該根拠画像が画像再生部１１により再生されて表示部２３に表示される。このため、運転者Ｄは表示部２３に表示された根拠画像を見て、警報部２１による警報の出力の適否をより適正に判断することができる。

また、上述した第１実施形態では、運転者Ｄが車両前方を視認していない不注意状態として、車両５０の運転に支障をきたす眠気状態（重度の眠気状態）を眠気判定部７により判定している。このため、運転者Ｄが重度の眠気状態にあるときに、警報部２１により警報を出力して、運転者Ｄを眠気状態から脱却させることができる。

さらに、上述した第１実施形態では、運転者Ｄは、入力部２２により再生要求を入力して、警報出力の根拠画像を表示部２３に表示させることができる。また、運転者Ｄは、入力部２２により不適切意思を入力して、眠気状態の判定基準を調整し、眠気状態の判定と警報を自身の感覚に合わせ込むことができる。

上述した第１実施形態では、乗員監視装置１０が、警報出力が不適切であるという意思の入力だけを受け付けて、眠気状態の判定基準を調整した。然るに、乗員監視装置１０が、警報出力がどのように不適切であるかという内容も受け付けて、当内容に基づいて判定基準を段階的に調整してもよい。この場合の実施形態を図３に示している。

図３は、第２実施形態の乗員監視システム１００の動作を示したフローチャートである。図３では、図２と同一処理を行うステップに、同一符号を付している。第２実施形態の構成は、図１に示した構成と同様である。

図３のステップＳ１〜ステップＳ８の後、運転者Ｄは、表示部２３に表示された警報の根拠となった画像を見て、警報が不適切であったと判断すると、その意思と不適切さの内容とを示す不適切意思の入力を入力部２２により行う。このとき、たとえば、「警報出力は不要」、「警報出力は無いほうがよい」、「警報出力がやや弱い」、「警報出力が弱い」といった、警報の不適切さの内容を示す複数の項目の中から、いずれかの項目を選択する操作が入力部２２において行われ、選択された項目が不適切意思として入力される。

入力受付部９は、いずれかの項目が選択された不適切意思の入力を受け付けると（ステップＳ９：ＹＥＳ）、当該不適切意思入力に基づいて、警報出力の不適切さの内容を判別する（ステップＳ１２）。そして、判別された警報出力の不適切さの内容（すなわち選択された項目に該当する不適切さの内容）に基づいて、基準調整部１２が、警報の出力を抑制または促進するように、眠気状態の判定基準を段階的に調整する（ステップＳ１３）。

具体的には、ステップＳ１２で、警報出力の不適切さの内容として、たとえば「警報出力は無いほうがよい」ことが入力受付部９により判別された場合は、ステップＳ１３で、警報出力を所定の第１段階抑制する（警報の頻度や強度を下げる）ように、基準調整部１２が眠気状態の判定基準を調整する。また、ステップＳ１２で、警報出力の不適切さの内容として、「警報出力が不要」であることが入力受付部９により判別された場合は、ステップＳ１３で、警報出力を第１段階より大きい第２段階抑制する（警報の頻度や強度をさらに下げる）ように、基準調整部１２が眠気状態の判定基準を調整する。

また、ステップＳ１２で、警報出力の不適切さの内容として、「警報出力がやや弱い」ことが入力受付部９により判別された場合は、ステップＳ１３で、警報出力を所定の第１段階促進する（警報の頻度や強度を上げる）ように、基準調整部１２が眠気状態の判定基準を調整する。また、ステップＳ１２で、警報出力の不適切さの内容として、「警報出力が弱い」ことが判別された場合は、ステップＳ１３で、警報の出力を第１段階より大きい第２段階促進する（警報の頻度や強度をさらに上げる）ように、基準調整部１２が眠気状態の判定基準を調整する。

そして、基準調整部１２は、調整後の判定基準を乗員情報検出部１３により検出された運転者Ｄの乗員情報と関連付けて、内部メモリ１４に記録する（ステップＳ１１）。

上述した第２実施形態によると、運転者Ｄが、警報部２１による警報の出力が不適切であると判断した場合に、不適切さのいずれかの内容を入力部２２により入力することで、警報部２１からの警報の出力や強度が抑制または促進されるように、眠気状態の判定基準が基準調整部１２により段階的に調整される。このため、運転者Ｄの眠気状態の判定と警報を、運転者Ｄの感覚に一層合わせ込むことができ、警報の信頼性を一層高めることが可能となる。

上述した第１および第２の実施形態では、乗員監視装置１０が、警報を出力した後に再生要求入力を受け付けて、画像を再生した。然るに、乗員監視装置１０が、任意のタイミングで再生要求入力を受け付けて、画像を再生してもよい。この場合の実施形態を図４に示している。

図４は、第３実施形態の乗員監視システム１００の動作を示したフローチャートである。図４では、図２および図３と同一処理を行うステップに、同一符号を付している。第３実施形態の構成は、図１に示した構成と同様である。

図４のステップＳ１〜ステップＳ３の後、眠気判定部７により、運転者Ｄが車両５０の運転に支障をきたす眠気状態（重度の眠気状態）にないと判定されると（ステップＳ４：ＮＯ）、警報部２１により警報は出力されないが、制御部６が眠気状態の判定の根拠となった画像を画像記憶部３に保存する（ステップＳ１４）。

この後、運転者Ｄが入力部２２により再生要求入力を行わなければ、入力受付部９が再生要求入力を受け付けないため（ステップＳ１５：ＮＯ）、ステップＳ１に戻って、以降の処理が繰り返し実行される。

対して、運転者Ｄが入力部２２により再生要求入力を行うと、入力受付部９が再生要求入力を受け付ける（ステップＳ１５：ＹＥＳ）。すると、画像再生部１１が、画像記憶部３に保存された全ての画像（動画）を順次再生して、表示部２３に表示させるとともに、各画像に基づく警報の出力・不出力の状態も表示部２３に表示させる（ステップＳ１６）。

ステップＳ１６では、直前のステップＳ１４で画像記憶部３に保存された、眠気状態の判定（ステップＳ４の否定判定）の根拠となった画像だけでなく、前述したステップＳ６で画像記憶部３に保存された、警報出力の根拠となった画像も順次表示される。

そして、運転者Ｄは、表示部２３に表示された画像と警報の出力・不出力の状態を見て、警報の出力または不出力が不適切であったと判断すると、その意思と不適切さの内容とを示す不適切意思の入力を入力部２２により行う。

このとき、運転者Ｄが警報の“出力”が不適切であったと判断した場合は、「警報出力は不要」、「警報出力は無いほうがよい」、「警報出力がやや弱い」、「警報出力が弱い」といった、警報の不適切さの内容を示す複数の項目のうち、選択されたいずれかの項目が不適切意思として入力部２２により入力される。また、運転者Ｄが警報の“不出力”が不適切であったと判断した場合は、「警報出力が必要」、「警報出力が有ったほうがよい」といった、不適切さの内容を示す複数の項目のうち、選択されたいずれかの項目が不適切意思として入力部２２により入力される。

入力受付部９は、上記のような不適切意思入力を受け付けると（ステップＳ１７：ＹＥＳ）、当該不適切意思入力に基づいて、警報の出力または不出力の不適切さの内容を判別する（ステップＳ１８）。そして、入力受付部９により判別された不適切さの内容に基づいて、基準調整部１２が、警報出力を抑制または促進するように、眠気状態の判定基準を段階的に調整する（ステップＳ１９）。

具体的には、警報の“出力”が不適切であるという不適切意思の入力を入力受付部９が受け付けた場合は（ステップＳ１７：ＹＥＳ）、第２実施形態で説明したステップＳ１３と同様に、ステップＳ１９で基準調整部１２が、当該不適切さの内容に基づいて、警報出力を抑制または促進するように、眠気状態の判定基準を段階的に調整する。

また、警報の“不出力”が不適切であるという不適切意思の入力を入力受付部９が受け付けた場合は（ステップＳ１７：ＹＥＳ）、ステップＳ１９で基準調整部１２が、当該不適切さの内容に基づいて、警報出力を促進するように、眠気状態の判定基準を段階的に調整する。

具体的には、ステップＳ１８で入力受付部９により、警報不出力の不適切さの内容として、「警報出力が有ったほうがよい」ことが判別されると、ステップＳ１９で基準調整部１２が、警報出力を所定の第１段階促進するように、眠気状態の判定基準を調整する。また、ステップＳ１８で入力受付部９により、警報不出力の不適切さの内容として、「警報出力が必要」であることが判別されると、ステップＳ１９で基準調整部１２が、警報出力を第１段階より大きい第２段階促進するように、眠気状態の判定基準を調整する。

そして、基準調整部１２は、調整後の判定基準を乗員情報検出部１３により検出された運転者Ｄの乗員情報と関連付けて、内部メモリ１４に記録する（ステップＳ２０）。この後、画像記憶部３に保存された全ての画像が、既に画像再生部１１により再生され表示部２３に表示済でなければ（ステップＳ２１：ＮＯ）、入力受付部９により再生停止入力を受け付けない限り（ステップＳ２２：ＮＯ）、画像記憶部３に保存された残りの画像の再生および表示、ならびに警報の出力・不出力の状態の表示が行われる（ステップＳ１６）。

対して、画像記憶部３に保存された全ての画像が、既に画像再生部１１により再生され表示部２３に表示済である場合（ステップＳ２１：ＹＥＳ）、または、運転者Ｄが入力部２２により行った再生停止入力を入力受付部９が受け付けた場合（ステップＳ２２：ＹＥＳ）は、画像の再生・表示や、警報の出力・不出力状態の表示が停止され、ステップＳ１に戻って、以降の処理が繰り返される。

また、入力受付部９により不適切意思入力を受け付けなかった場合は（ステップＳ１７：ＮＯ）、上述したようにステップＳ２１またはステップＳ２２の判定結果に基づいて、ステップＳ１６またはステップＳ１に戻って、以降の処理が繰り返される。

上述した第３実施形態によると、眠気判定部７により運転者Ｄが重度の眠気状態にあると判定されて、警報部２１により警報が出力された場合だけでなく、重度の眠気状態にないと判定されて、警報部２１により警報が出力されなかった場合にも、その警報出力または眠気状態判定の根拠となった画像（動画）が画像記憶部３に保存される。そして、運転者Ｄが入力部２２により再生要求入力を行うことで、根拠画像が表示部２３に表示されるので、運転者Ｄは当該画像を見て、警報の有無（出力または不出力）と出力強度の適否を客観的に検証することができる。さらに、運転者Ｄが警報の“出力”が不適切であると判断した場合だけでなく、警報の“不出力”が不適切であると判断した場合にも、不適切意思の入力を入力部２２により行うことで、警報が抑制または促進されるように、眠気状態の判定基準が基準調整部１２により段階的に調整される。このため、運転者Ｄの眠気状態の判定と警報を運転者Ｄの感覚に一層合わせ込むことができ、警報の信頼性を一層高めることが可能となる。

また、上述した第３実施形態では、運転者Ｄが任意のタイミングで再生要求入力を入力部２２により行うことで（ステップＳ１５：ＹＥＳ）、眠気状態判定または警報出力の根拠となった画像を表示部２３に表示させ（ステップＳ１６）、続けて不適切意思の入力を入力部２２により行うことで、眠気状態の判定基準を段階的に調整することができる。つまり、車両５０の運転中だけでなく、運転を停止してからも、眠気状態判定または警報出力の根拠画像を見ることができる。そして、警報の有無または強度の適否を適正に判断し、眠気状態の判定基準を、運転者Ｄの感覚に合わせ込むように調整することができる。

上述した第１〜第３の実施形態では、運転者Ｄが車両前方を視認していない不注意状態として、車両５０の運転に支障をきたす眠気状態を判定した。これに代えて、たとえば車両５０の運転に支障をきたす脇見状態を、運転者Ｄの不注意状態として判定してもよい。この場合の実施形態を図５に示している。

図５は、第４実施形態の乗員監視システム１００の構成図である。第４実施形態では、図１に示した眠気判定部７に代えて、脇見判定部１５を設けている。これ以外の構成は、第１実施形態と同様である。

脇見判定部１５は、顔情報検出部４により検出された運転者Ｄの視線や顔の向きなどの顔情報と、内部メモリ１４に記録された所定の判定基準とに基づいて、運転者Ｄの脇見レベルを推定し、さらに当該脇見レベルの程度に基づいて、運転者Ｄが車両５０の運転に支障をきたす脇見状態（以下、「重度の脇見状態」という。）にあるか否かを判定する。

運転者Ｄの重度の脇見状態とは、具体的には、運転者Ｄが車両前方以外の領域を所定時間以上継続して見ている状態のことであって、運転者Ｄが車両前方を視認していない不注意状態の一例である。顔情報検出部４と脇見判定部１５は、本発明の「状態判定部」の一例である。

第４実施形態では、図２〜図４のステップＳ３とステップＳ４における「眠気状態」が「脇見状態」に置き換わる。また、図４のステップＳ１４における「眠気判定」が「脇見判定」に置き換わる。そして、脇見判定部１５により、運転者Ｄが重度の脇見状態にあると判定されると、図２〜図４のステップＳ５と同様に、警報指令部８が警報部２１に警報指令を送信し、警報部２１が当該警報指令に基づいて警報を出力する。その他の処理は、図２〜図４と同様である。

上述した第４実施形態によると、撮像部１により撮像された運転者Ｄの画像と所定の判定基準とに基づいて、運転者Ｄが重度の脇見状態（不注意状態）にあると脇見判定部１５により判定されると、警報部２１により警報が出力されるので、運転者Ｄに対して車両前方を見るように促すことができる。また、脇見判定部１５の判定結果に基づいて、警報部２１により警報が出力されたり、出力されなかったりする。そして、運転者Ｄが警報の有無または強度に違和感を持って、入力部２２により再生要求入力を行うことで、警報出力または脇見状態判定の根拠となった画像が再生されて、表示部２３に表示される。このため、運転者Ｄは表示部２３に表示された根拠画像を見て、警報の有無または強度の適否を客観的に検証することができる。そして、運転者Ｄが警報の有無または強度が不適切であると判断して、不適切意思の入力を入力部２２により行うことで、基準調整部１２により脇見状態の判定基準が調整される。このため、運転者Ｄの脇見状態の判定と警報を、運転者Ｄの感覚に合わせ込むことができ、警報の信頼性を高めることが可能となる。

本発明は、前記の実施形態以外にも、以下のような種々の実施形態を採用することができる。

たとえば、前記の実施形態では、運転者Ｄが入力部２２により再生要求入力や不適切意思入力を行う例を示したが、本発明はこれのみに限定するものではない。これ以外に、たとえば、運転者Ｄが、撮像部１により撮像される身体部位で所定の動作を行うことにより、再生要求や不適切意思を入力し、その入力を撮像部１により撮像した画像に基づいて受け付けてもよい。または、運転者Ｄがジャスチャーや音声により再生要求や不適切意思を入力し、その入力を撮像部１、他のカメラ、センサ、またはマイクなどの出力に基づいて受け付けてもよい。または、運転者Ｄがスマートフォンなどの携帯機器を操作して、再生要求や不適切意思を入力し、その入力を携帯機器と無線通信することにより受け付けてもよい。さらに、再生要求や不適切意思の入力は、運転者Ｄ以外の他の乗員が行ってもよい。

図３や図４に示した実施形態では、内容の異なる複数の不適切意思入力に基づいて、判定基準を段階的に調整した例を示したが、本発明はこれのみに限定するものではない。たとえば、表示部２３に表示された入力画面中に、警報の出力または不出力の不適切さを数値化した複数のキーを示して、当該キーの選択操作により複数の不適切意思の入力が行えるようにしてもよい。また、選択操作されたキーに応じて、判定基準を段階的に調整してもよい。また、眠気レベルや脇見レベルの推定結果や不適切意思の入力内容などに基づいて、警報の出力強度を段階的に変えてもよい。

図５に示した実施形態では、撮像部１により撮像された画像に基づいて、運転者Ｄの脇見状態の判定を行う例を示したが、本発明はこれのみに限定するものではない。たとえば、撮像部１とは別のカメラにより車両５０の前方を撮像した画像に基づいて、車両５０の前方にある特徴物とその方向を検出し、当該検出結果と、撮像部１により撮像された画像とに基づいて、運転者Ｄの脇見状態を判定してもよい。

前記の実施形態では、乗員情報検出部１３が、運転者Ｄの顔の認証結果またはＦＯＢ２５のＩＤに基づいて、運転者Ｄを特定する乗員情報を検出した例を挙げたが、本発明はこれらのみに限定するものではない。たとえば、運転者Ｄの指紋や虹彩などの生体情報に基づいて、運転者Ｄを特定する乗員情報を検出してもよい。

前記の実施形態では、撮像部１により運転者Ｄの顔の領域を撮像した画像に基づいて、運転者Ｄの眠気状態や脇見状態を判定した例を挙げたが、本発明はこれに限定されない。たとえば、運転者Ｄの顔を含む上半身を撮像した画像に基づいて、運転者Ｄの眠気状態や脇見状態などの不注意状態を判定してもよい。また、撮像部１が撮像する画像は、動画に限らず、一定の時間間隔で撮像される静止画であってもよい。

前記の実施形態では、運転者Ｄを眠気状態や脇見状態の判定対象者にした例を挙げたが、運転者Ｄ以外の乗員を判定対象者にしてもよい。また、複数の乗員を判定対象者にしてもよい。

前記の実施形態では、自動四輪車から成る車両５０に搭載される乗員監視装置１０および乗員監視システム１００に本発明を適用した例を挙げたが、その他の車両に搭載される乗員監視装置および乗員監視システム対しても、本発明は適用することが可能である。

１ 撮像部
３ 画像記憶部
４ 顔情報検出部（状態判定部）
７ 眠気判定部（状態判定部）
９ 入力受付部
１０ 乗員監視装置
１１ 画像再生部
１２ 基準調整部
１３ 乗員情報検出部
１４ 内部メモリ（メモリ）
１５ 脇見判定部（状態判定部）
２１ 警報部
２２ 入力部
２３ 表示部
５０ 車両
１００ 乗員監視システム
Ｄ 運転者（乗員）

Claims (9)

1. 車両の乗員を撮像する撮像部と、
   前記撮像部により撮像された画像と所定の判定基準とに基づいて、前記乗員が前記車両の進行方向前方を視認していない不注意状態にあるか否かを判定する状態判定部と、を備え、
   前記状態判定部により前記乗員が前記不注意状態にあると判定されると、警報部に警報を出力させる乗員監視装置において、
   前記撮像部により撮像された画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された前記画像の再生を要求するための第１入力、および前記警報の有無または強度が不適切であるという意思を示すための第２入力を受け付ける入力受付部と、
   前記入力受付部が前記第１入力を受け付けると、前記画像記憶部に記憶された前記画像を再生して表示部に表示させる画像再生部と、
   前記入力受付部が前記第２入力を受け付けると、前記判定基準を調整する基準調整部と、をさらに備えたことを特徴とする乗員監視装置。
2. 請求項１に記載の乗員監視装置において、
   前記乗員を特定する乗員情報を検出する乗員情報検出部をさらに備え、
   前記基準調整部は、調整後の前記判断基準を前記乗員情報検出部により検出された前記乗員情報と関連付けてメモリに記録し、
   前記状態判定部は、前記乗員情報検出部により検出された前記乗員情報と対応する前記判定基準を前記メモリから読み出して、当該判定基準と前記画像とに基づいて、前記乗員が前記不注意状態にあるか否かを判定する、ことを特徴とする乗員監視装置。
3. 請求項１または請求項２に記載の乗員監視装置において、
   前記警報の出力後に、当該警報出力の根拠となった根拠画像が前記画像記憶部に記憶され、前記入力受付部が前記第１入力を受け付けると、前記画像再生部が前記根拠画像を再生して前記表示部に表示させ、
   その後、前記警報の出力が不適切であるという意思を示す前記第２入力を前記入力受付部が受け付けると、前記基準調整部が前記警報の出力を抑制するように、前記判定基準を調整する、ことを特徴とする乗員監視装置。
4. 請求項１ないし請求項３のいずれかに記載の乗員監視装置において、
   前記撮像部は、前記乗員の顔の領域を動画で撮像し、
   前記状態判定部は、前記撮像部により撮像された前記動画の画像と前記判定基準とに基づいて、前記乗員が前記不注意状態にあるか否かを判定し、
   前記画像記憶部は、前記撮像部により撮像された前記動画を記憶し、
   前記画像再生部は、前記画像記憶部に記憶された前記動画を再生して前記表示部に表示させる、ことを特徴とする乗員監視装置。
5. 請求項１ないし請求項４のいずれかに記載の乗員監視装置において、
   前記状態判定部は、前記不注意状態として、前記乗員が前記車両の運転に支障をきたす眠気状態にあるか否かを判定する、ことを特徴とする乗員監視装置。
6. 請求項１ないし請求項４のいずれかに記載の乗員監視装置において、
   前記状態判定部は、前記不注意状態として、前記乗員が前記車両の運転に支障をきたす脇見状態にあるか否かを判定する、ことを特徴とする乗員監視装置。
7. 請求項１ないし請求項６のいずれかに記載の乗員監視装置において、
   前記第２入力は、前記警報の有無または強度の不適切さの内容を示す複数の項目の中から、いずれかを選択する操作を含み、
   前記基準調整部は、前記第２入力において選択された項目に該当する不適切さの内容に基づいて、前記警報を抑制または促進するように、前記判定基準を段階的に調整する、ことを特徴とする乗員監視装置。
8. 請求項１ないし請求項７のいずれかに記載の乗員監視装置と、
   前記警報を出力する警報部と、
   前記乗員監視装置に備わる前記画像再生部により再生された画像を表示する表示部と、を備えたことを特徴とする乗員監視システム。
9. 請求項８に記載の乗員監視システムにおいて、
   前記第１入力と前記第２入力とをそれぞれ行うための入力部をさらに備えた、ことを特徴とする乗員監視システム。

Images