JP2021059321A - 車両の運転支援システム - Google Patents

Abstract

【課題】車両を改善する。【解決手段】車両１の運転支援システム８０は、乗員を撮像している第一撮像画像を出力可能な撮像デバイス６１と、乗員に対して警報を出力する警報部８８と、制御部１７と、を有する。制御部１７は、第一撮像画像について、乗員の顔の少なくとも一部の認識処理を実行する顔認識部８２、第一撮像画像の中の、顔認識部８２により顔の少なくとも一部が認識できる第二撮像画像に基づいて乗員の運転状態を判断して、乗員が運転可能な状態ではない場合には第一警報要求を生成する乗員判断部８３，８４、および、撮像デバイス６１が出力可能な画像の中の、顔認識部８２により顔の少なくとも一部が認識できない第三撮像画像が複数で発生する場合には、第二警報要求を生成するロス判断部８５，８６、として機能する。警報部８８は、第一警報要求と第二警報要求とに基づいて乗員に対して警報を出力する。【選択図】図３

Description

本発明は、車両の運転支援システムに関する。

自動車では、ドライバなどの乗員による運転によらない自動運転や、乗員による運転を支援することについて、研究が進められている。自動運転は、高度な運転支援である。
その一方で、自動車などの車両に乗車した乗員についての乗員監視装置についての研究も進められている。特許文献１は、乗員を監視して警報出力などを実行する技術を開示する。
これらの技術が有機的に連携できるようにすることにより、自動車といった車両の利便性および安全性が高まることが期待される。

特開平１１−０４３００９号公報

ところで、自動車に乗車したドライバなどの乗員を監視する装置では、乗員の監視のために、乗員を撮像する撮像デバイスを好適に用いることができる。撮像デバイスの撮像画像に基づいて、乗員の状態を判断することができる。
しかしながら、乗員を撮像デバイスにより撮像することに基づいて乗員の状態を監視する場合、撮像デバイスの撮像画像に基づく判断となるため、たとえば以下のような課題がある。
たとえば車両では、その走行環境に応じて、たとえば乗員の顔に強い光が当たったり、車内が真っ暗となったりすることがある。この場合、乗員監視装置は、撮像画像に基づいて乗員の顔の状態を正しく判断できなくなる可能性がある。そして、乗員監視装置の判断結果に基づいて制御を実行する車両の運転支援システムも、正しい判断に基づく制御が実行できなくなる可能性がある。

このため、車両の乗員監視装置には、上述した撮像画像においても、可能な限り乗員の顔の状態を判断できるようにすることが求められる。このような画像判断を可能とするためには、たとえば撮像画像においてはっきりと映っていない乗員の顔を乗員の顔として判断できるように、乗員の顔の状態の判断基準を調整することになる。しかしながら、このような調整をした場合での乗員の顔の状態の判断基準は、本来の判断基準と比べて甘くなると予想される。その結果、たとえば、乗員がたとえば自動車を運転可能な正しい運転状態であるにもかかわらず、撮像画像の質および甘い判断基準により、誤って不適切な運転状態であると判断してしまう可能性についての危惧が高まる。この他にもたとえば、乗員がたとえば自動車を運転可能な正しい運転状態ではないにもかかわらず、撮像画像の質および甘い判断基準により、誤って適切な運転状態であると判断してしまう可能性についての危惧が高まる。

このように車両は、改善することが求められている。

本発明の一実施形態に係る車両の運転支援システムは、車両の乗員を撮像している第一撮像画像を出力可能な撮像デバイスと、乗員に対して警報を出力する警報部と、前記撮像デバイスおよび前記警報部を用いた制御を実行可能な制御部と、を有し、前記制御部は、前記撮像デバイスから取得する前記第一撮像画像について、乗員の顔の少なくとも一部の認識処理を実行する顔認識部、前記撮像デバイスが出力可能な前記第一撮像画像の中の、前記顔認識部により顔の少なくとも一部が認識できる第二撮像画像に基づいて乗員の運転状態を判断して、乗員が運転可能な状態ではない場合には第一警報要求を生成する乗員判断部、および、前記撮像デバイスが出力可能な前記第一撮像画像の中の、前記顔認識部により顔の少なくとも一部が認識できない第三撮像画像が複数で発生する場合には、第二警報要求を生成するロス判断部、として機能し、前記警報部は、前記乗員判断部の前記第一警報要求と、前記ロス判断部の前記第二警報要求とに基づいて、乗員に対して警報を出力する。

好適には、前記乗員判断部は、前記第一撮像画像における乗員の顔の目の状態に基づいてわき見または居眠りを判断する、とよい。

好適には、前記ロス判断部は、少なくとも、前記乗員判断部が乗員の運転状態を判断することができない前記第一撮像画像については、顔が認識できない前記第三撮像画像として、顔が認識できない前記第三撮像画像が複数で発生しているか否かを判断する、とよい。

好適には、前記ロス判断部は、前記撮像デバイスから前記第一撮像画像を取得できない場合には、前記顔認識部により顔が認識できない前記第三撮像画像が発生しているものとして、顔が認識できない前記第三撮像画像が複数で発生しているか否かを判断する、とよい。

好適には、前記ロス判断部は、前記撮像デバイスが出力可能な前記第一撮像画像について前記顔認識部により顔が認識できないことが継続的に発生する場合、前記第二警報要求を生成する、とよい。

好適には、前記ロス判断部として、前記顔認識部により顔が認識できない状態が連続的に継続して発生すると、前記第二警報要求としての、第三警報要求を生成する第一ロス判断部と、前記顔認識部により顔が認識できない状態が断続的に繰り返すように継続して発生すると、前記第二警報要求としての、第四警報要求を生成する第二ロス判断部と、を有し、前記警報部は、前記第二警報要求としての、前記第一ロス判断部の前記第三警報要求と、前記第二ロス判断部の前記第四警報要求とに基づいて、乗員に対して警報を出力する、とよい。

好適には、前記第二ロス判断部は、断続的に繰り返し生じていることを、前記第一ロス判断部が連続性を判断する期間より長い期間において判断する、とよい。

好適には、前記車両を運転する際に乗員が操作する操作部材について乗員が操作可能な状態にあるか否かを検出する検出部、を有し、前記警報部は、前記乗員判断部の前記第一警報要求または前記ロス判断部の前記第二警報要求が生成された場合、前記検出部の検出結果に基づいて乗員が前記操作部材を操作可能な状態にあるか否かを判断し、前記操作部材に対する操作が可能な状態にあるとは判断できない場合、乗員に対して前記操作部材に対する操作を要求する警報を出力する、とよい。

好適には、前記車両の走行を制御する走行制御装置、を有し、前記走行制御装置は、前記警報部が警報を出力した後に、乗員が前記操作部材に対して操作可能な状態にあると前記検出部の検出結果が変化しない場合、前記車両を減速または停止する、とよい。

本発明では、車両の乗員を撮像している撮像デバイスの第一撮像画像に基づいて、まず、顔認識部により乗員の顔の少なくとも一部の認識処理を実行する。そして、乗員判断部は、撮像デバイスが出力可能な第一撮像画像の中の、顔認識部により顔の少なくとも一部が認識できるとされた第二撮像画像について、乗員の運転状態を判断する。これにより、乗員判断部は、たとえば顔が認識できない質が良くない第一撮像画像について、乗員の運転状態を判断しなくてよくなる。乗員判断部は、撮像デバイスが出力可能な第一撮像画像の中の、乗員の顔が正しく認識できるように撮像されている第二撮像画像を前提として、その質がよい第二撮像画像に基づいて乗員の運転状態を判断すればよくなる。乗員判断部による乗員の運転状態の判断は、その判断のために最適化することができる。乗員判断部による判断精度は、最適化された判断により高まると期待できる。特に、撮像画像における乗員の顔の一部であるたとえば目の状態に基づいて乗員のわき見や居眠りを判断する場合、画像中の目の像の大きさや解像度が十分に高くないことが多く、乗員判断部には、少ない目の情報に基づいてその目の状態を高精度に判断することが求められる。たとえば目の状態としてその開き具合、瞳孔の大きさといった状態を判断する場合、単にたとえば撮像画像中に目が撮像されているか否かを判断する場合と比べて格段に高い精度の判断が求められる。本発明では、顔認識部による撮像画像についての事前認識をすることにより、乗員判断部を、たとえばそのような高精度の判断をするものにすることが可能になる。そして、前記警報部は、乗員判断部の第一警報要求に基づいて、乗員に対して警報を出力できる。

しかも、本発明では、このような乗員判断部に対して、ロス判断部を、並列的に設ける。そして、このロス判断部は、撮像デバイスから出力される第一撮像画像の中の、顔認識部により顔の少なくとも一部が認識できない第三撮像画像が複数で発生する場合には、乗員判断部と同様に第二警報要求を生成する。これにより、撮像デバイスから出力される第一撮像画像の中の、乗員判断部の判断に係らない第三撮像画像について、ロス判断部により第二警報要求を生成することができる。ロス判断部は、たとえば乗員判断部の判断に係らない第三撮像画像において乗員がたとえばわき見または居眠りといった不適切な運転状態である可能性が内在している場合には、乗員の状態を撮像画像に基づいて直接的に判断することなく、その可能性が内在していることに基づいて第二警報要求を生成することができる。このような乗員判断部とロス判断部との並列的な協働処理により、乗員がたとえばわき見または居眠りといった不適切な運転状態にある可能性がある場合には、それについての警報を略確実に出力することができる。本発明では、撮像デバイスの撮像環境や状態によらずに、乗員がたとえばわき見または居眠りといった不適切な運転状態にある可能性がある場合には、それについての警報を略確実に出力することができる。

このように本発明では、処理としては互いに相反的な要求となる、乗員が不適切な運転状態であることについての正しく判断することと、乗員が不適切な運転状態にある可能性がある場合にはそれについての警報を広く出力することと、を両立することができる。本発明は、車両の乗員監視として、乗員の運転状態を正しく判断できるようにしつつ、不適切な運転状態についてはその可能性がある場合を含めて広く警報を出力して安全性を優先することができ、車両において好適に用いることができる。

図１は、本発明の実施形態に係る自動車の模式的な説明図である。 図２は、図１の自動車の制御系の模式的な説明図である。 図３は、図２の制御系に実現される自動車の運転支援システムの説明図である。 図４は、図３の乗員監視装置の制御の流れのフローチャートである。 図５は、図３の警報装置の制御の流れのフローチャートである。 図６は、図３の走行制御装置の制御の流れのフローチャートである。 図７は、顔が認識できない撮像画像が繰り返し発生している場合での、警報要求の生成処理の一例の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る自動車１の模式的な説明図である。
図１の自動車１は、車両の一例である。自動車１は、車体２の中央に、乗員が着座するシート４が配置されている車室３が設けられる。自動車１に乗ったドライバなどの乗員は、シート４に着座して自動車１の走行を操作する。これにより、自動車１は、自動運転または手動運転により走行することができる。自動車１は、乗員による走行についての操作に基づいて走行する場合、運転支援を実行してよい。このような自動車１は、自動運転についての走行と、手動運転による走行との双方を支援する。

図２は、図１の自動車１の制御系１０の模式的な説明図である。図２には、自動車１の制御系１０とともに、その制御系１０と通信する交通情報システム１００が示されている。
自動車１では、走行制御装置により、ドライバなどの乗員による運転によらない自動運転や、乗員による運転を支援することが求められる。また、自動車１では、乗員監視装置８１により、乗車した乗員を識別して監視することが求められている。これらの技術が有機的に連携することにより、たとえばドライバを特定して、そのドライバに応じた高度な運転支援が実現可能になると考えられる。自動車１の利便性および安全性が高まると期待される。
図２には、自動車１の制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。

図２の自動車１の制御系１０には、具体的には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動車１の自動運転または手動運転時の運転支援により走行を制御する装置としてのドライブＥＣＵ（自動運転／運転支援ＥＣＵ）１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、乗員監視装置の乗員監視ＥＣＵ１７、警報装置の警報ＥＣＵ１８、外通信ＥＣＵ１９、ＵＩＥＣＵ２０、が示されている。これら複数の制御ＥＣＵは、直接的にはケーブル２６に接続され、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２５により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。各制御ＥＣＵは、送信元である自身のＩＤと送信先の装置のＩＤとを付加した暗号化データにより、相互に通信することができる。各制御ＥＣＵは、送信先を指定しない暗号化データにより、ブロードキャストのように複数の他の制御ＥＣＵへ同時に送信してよい。また、各制御ＥＣＵは、自身のＩＤが送信先である暗号化データを受信し、自身の制御に使用する。なお、制御ＥＣＵは、自身以外の特定のＩＤが送信先である暗号化データについても受信し、自身の制御に使用してよい。セントラルゲートウェイ２７は、複数のケーブル２６のそれぞれから受信した暗号化データが他のケーブル２６に接続される制御ＥＣＵへのものである場合、受信した暗号化データを他のケーブル２６へ出力する。これにより、図２に示す複数の制御ＥＣＵは、相互に暗号化データを送受できる。

駆動ＥＣＵ１１は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のエンジンまたはモータといった駆動源、トランスミッションを制御する。これにより、自動車１は、加速して走行することができる。
操舵ＥＣＵ１２は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のステアリング装置を制御する。これにより、自動車１は、進行方向を変えることができる。
制動ＥＣＵ１３は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のブレーキ装置を制御する。これにより、走行する自動車１は、減速し、停車できる。また、制動ＥＣＵ１３は、車ネットワーク２５を通じて駆動ＥＣＵ１１と通信して、駆動源の回転を抑制したり、トランスミッションのギア比を変更したりして、走行する自動車１を減速させてもよい。

運転操作ＥＣＵ１５は、自動車１の走行を操作するためのハンドル３１、ブレーキペダル３２、アクセルペダル３３、シフトレバ３４といった操作部材に接続される。運転操作ＥＣＵ１５は、操作された操作部材についての操作情報などを含む暗号データを、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力する。

検出ＥＣＵ１６は、たとえば速度センサ４１、加速度センサ４２、外カメラ４３、ハンズオンセンサ４４、に接続される。速度センサ４１は、自動車１の速度を検出する。加速度センサ４２は、自動車１の加速度を検出する。外カメラ４３は、自動車１の外側の周囲を撮像する。外カメラ４３は、たとえば自動車１の前方、側方、後方などを撮像してよい。ハンズオンセンサ４４は、たとえばハンドル３１に設けられ、ハンドル３１を操作する乗員の手による静電容量や圧力の変化を検出する。検出ＥＣＵ１６は、接続されているセンサの物理量などを、自動車１の走行について自動車１において検出される物理量として取得し、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力する。また、検出ＥＣＵ１６は、外カメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体を検出し、検出した他の移動体についての情報を、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

外通信ＥＣＵ１９は、自動車１の外と通信する。外通信ＥＣＵ１９は、たとえば交通情報システム１００の通信中継局１０１と通信してサーバ装置１０２との間で、通信データを送受する。外通信ＥＣＵ１９は、この他にもたとえば、自動車１の近くを走行している他の自動車１１０や歩行者の不図示の携帯端末との間で、たとえばＶ２Ｘ通信により通信データを送受する。外通信ＥＣＵ１９は、これらの通信により、自動車１の目的地までのナビゲーションデータ、交通情報、自動車１の周囲の状況の情報、などを受信すると、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

ＵＩＥＣＵ２０には、たとえば表示デバイス５１、操作デバイス５２、に接続される。
操作デバイス５２は、表示デバイス５１の表示画面に重ねられるタッチパネル、複数のキーを有してよい。ＵＩＥＣＵ２０は、表示に関する暗号化データを受信すると、表示デバイス５１に画像を表示させる。ＵＩＥＣＵ２０は、表示デバイス５１の表示に応じた操作デバイス５２の操作に基づいて、たとえばナビゲーションデータなどを生成し、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

ドライブＥＣＵ１４は、自動車１の走行を、自動運転と運転支援との間で切り替えて制御する。ドライブＥＣＵ１４は、車ネットワーク２５を通じて取得する各種の情報に基づいて、自動車１の走行を制御する。たとえば自動運転の場合、ドライブＥＣＵ１４は、ナビゲーションデータにしたがって周囲の安全を確認しながら目的地まで走行するように、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ制御情報を出力する。運転支援の場合、ドライブＥＣＵ１４は、操作情報に基づいて、その操作量を周囲の安全などに応じて調整した制御情報を、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ出力する。

乗員監視ＥＣＵ１７は、内カメラ６１、マイクロホン６２、タイマ６３、メモリ６４、に接続される。

内カメラ６１は、自動車１の車内を撮像するために車室３に設けられる。内カメラ６１は、車室３の内面、たとえば図１に示すように乗員の前にあるダッシュボードの上に設けられる。これにより、内カメラ６１による撮像画像には、自動車１に乗っているドライバなどの乗員が映る。自動車１の車内全体を撮像する場合、内カメラ６１は、広角カメラ、または３６０度カメラとするとよい。内カメラ６１は、所定の周期ごとに、車室３の乗員を繰り返し撮像する。
マイクロホン６２は、自動車１の車内の音を記録する。
タイマ６３は、時刻、時間を計測する。
メモリ６４は、乗員監視のためのプログラム、設定データ、などを記録する。

乗員監視ＥＣＵ１７は、メモリ６４からプログラムを読み込んで実行する。これにより、乗員監視ＥＣＵ１７は、乗員監視装置８１の制御部として機能する。
乗員監視装置８１の制御部としての乗員監視ＥＣＵ１７は、内カメラ６１の撮像画像、マイクロホン６２の記録音声に基づいて、自動車１に乗車しているドライバを含む乗員を監視する。
乗員監視ＥＣＵ１７は、たとえば内カメラ６１の撮像画像に基づいて、自動車１に乗車している乗員を識別する。
乗員監視ＥＣＵ１７は、識別した乗員についての自動車１の設定情報を、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。
乗員監視ＥＣＵ１７は、識別した乗員または乗車しているドライバなどの運行責任者についての状態を監視し、必要に応じて警報要求を生成して車ネットワーク２５を通じて出力する。乗員監視ＥＣＵ１７は、たとえば乗員の目の開き程度などに基づいて居眠りを判断したり、たとえば乗員の顔や目の向きに基づいてわき見を判断したりして、居眠りまたはわき見の状態にあると判断した場合に警報要求を生成して出力してよい。

警報ＥＣＵ１８は、メータパネル７１、スピーカ７２、に接続される。
メータパネル７１は、車室３の内面、たとえば乗員の前にあるダッシュボードに設けられる。メータパネル７１は、警告を表示する液晶パネル、発光素子、を有する。
スピーカ７２は、車室３の内面に、たとえばドア、ダッシュボード、ピラー、ルーフ、などに設けられる。
警報ＥＣＵ１８は、たとえば車ネットワーク２５へ警告要求が出力されると、それを取得し、警告要求に対応する警告音、警告表示、警告メッセージを、メータパネル７１およびスピーカ７２から出力する。これにより、車室３にいる乗員は、自動車１が発する警告を認識し、その警告に対応することができる。

ところで、自動車１に乗車したドライバなどの乗員を監視する乗員監視装置８１では、乗員の乗車状態を監視のために、乗員を撮像する内カメラ６１を用いることが多い。この場合、乗員監視装置８１の乗員監視ＥＣＵ１７は、内カメラ６１の撮像画像に基づいて、乗員の状態を判断することになる。
しかしながら、乗員を内カメラ６１により撮像することに基づいて乗員の状態を判断する場合、内カメラ６１の撮像画像に基づく判断となるため、たとえば以下のような課題がある。
たとえば自動車１では、その走行環境に応じて、たとえば乗員の顔に強い光が当たったり、車内が真っ暗となったりすることがある。この場合、乗員監視ＥＣＵ１７は、撮像画像に基づいて乗員の状態を正しく判断できなくなる可能性がある。特に、撮像画像において面積が小さい目などについて、その向きや開き具合などを判断する場合、乗員の顔に強い光が当たったり、車内が真っ暗となったりすると、撮像画像においてそれらを判断することが困難となる可能性が高い。そして、乗員監視ＥＣＵ１７の判断結果に基づいて警告や制御を実行する自動車１も、正しい判断に基づく適切な警告や制御を実行できなくなる可能性がある。
このため、乗員監視ＥＣＵ１７には、上述したような不適切な撮像画像についても、可能な限り乗員の状態を判断することが求められる。このような画像判断を可能とするためには、撮像画像においてはっきりと映っていない乗員のたとえば顔や目を、乗員の顔や目として判断して、乗員の状態を判断することが考えられる。乗員監視ＥＣＵ１７による乗員の状態の判断基準は、撮像画像においてはっきりと映っている乗員の顔や目について判断をする場合と比べて、甘く調整することになる。このため、このような調整をした判断では、その調整の結果として、たとえば、乗員がたとえば自動車１を運転可能な正しい運転状態にあるにもかかわらず、誤って不適切な運転状態であると判断してしまう可能性についての危惧が高まる。この他にもたとえば、乗員がたとえば自動車１を運転可能な正しい運転状態にないにもかかわらず、誤って適切な運転状態にあると判断してしまう可能性についての危惧が高まる。
このように乗員監視装置８１の乗員監視ＥＣＵ１７には、内カメラ６１の撮像画像に基づいて、その撮像画像の質が良くない場合であっても、乗員の乗車状態を適切に判断して、自動車１が警告や制御を適切に実行できるようにすることが求められる。
また、自動車１の運転支援システム８０では、たとえば自動運転中の誤った判断や過敏な判断により乗員に対してハンズオンなどの所定の動きや操作を頻繁にまたは過度に要求することがないように、警告を出力し過ぎないようにすることが求められる。
このように自動車１の運転支援システム８０では、さらに改善することが求められる。

図３は、図２の制御系１０に実現される自動車１の運転支援システム８０の説明図である。
図３の運転支援システム８０は、乗員監視装置８１、警報装置８７、走行制御装置８９、ハンズオンセンサ４４、を有する。乗員監視装置８１、警報装置８７、および走行制御装置８９は、車ネットワーク２５により接続されている。
ハンズオンセンサ４４は、ハンドル３１を操作する乗員の手による静電容量や圧力の変化を検出するものであり、これにより自動車１を手動運転するために乗員が操作するハンドル３１について乗員が手をのせて操作可能な状態にあるか否かを検出することができる。

乗員監視装置８１は、プログラムを実行する乗員監視ＥＣＵ１７の機能として、顔認識部８２、わき見判断部８３、居眠り判断部８４、連続ロス判断部８５、頻発ロス判断部８６、を有する。また、図３には、この他にも、内カメラ６１、タイマ６３が示されている。

内カメラ６１は、車室３の乗員を、所定の周期ごとに繰り返して撮像して撮像画像を出力する。

顔認識部８２は、内カメラ６１の撮像画像について、乗員の顔、またはその一部である目、鼻、口などの認識処理を実行する。顔認識部８２は、後段のわき見判断部８３や居眠り判断部８４の判断に撮像画像が使用し得るかを簡便な処理により確認してもよいが、好ましくは、後段のわき見判断部８３や居眠り判断部８４より厳しい判断基準により撮像画像中の乗員の顔、目、鼻、口を認識するとよい。これにより、顔認識部８２は、少なくとも、後段のわき見判断部８３や居眠り判断部８４の判断に係る目の画像部分に白目と黒目とが撮像されていないなどの場合には、その撮像画像を乗員の運転状態を判断することができない撮像画像とすることができる。または、後段のわき見判断部８３や居眠り判断部８４がその判断に迷う可能性がある撮像画像とすることができる。そして、顔認識部８２は、撮像画像中に乗員の顔、目、鼻、口が適切に認識できる場合、乗員が認識できたことを示す許可信号を出力する。認識できない場合には、不許可信号を出力してもよい。

わき見判断部８３は、許可信号が入力される場合、内カメラ６１の撮像画像について、乗員のわき見を判断する。わき見判断部８３は、たとえば、撮像画像中の乗員の顔や目を撮像している部分を抽出し、抽出した部分画像に基づいて乗員の顔や目の向きを判断する。この際、わき見判断部８３は、前段の顔認識部８２の認識結果を使用して抽出または判断をしても、独自の処理により一から抽出および判断をしてもよい。そして、乗員の顔や目の向きが自動車１の進行方向であるたとえば前方を向いていない場合、わき見についての警告要求を出力する。このように、わき見判断部８３は、撮像画像における顔の状態または目の状態に基づいて、わき見を判断する。

居眠り判断部８４は、許可信号が入力される場合、内カメラ６１の撮像画像について、乗員の居眠りを判断する。居眠り判断部８４は、たとえば、撮像画像中の乗員の目を撮像している部分を抽出し、抽出した部分画像に基づいて乗員の目の開き具合を判断する。この際、居眠り判断部８４は、前段の顔認識部８２の認識結果を使用して抽出または判断をしても、独自の処理により一から抽出および判断をしてもよい。そして、乗員の目の開き具合が所定の閾値以下である場合、居眠りについての警告要求を出力する。このように、居眠り判断部８４は、撮像画像における目の状態に基づいて、居眠りを判断する。

このようにわき見判断部８３と、居眠り判断部８４とは、乗員の顔などが認識できる撮像画像に基づいて乗員のわき見または居眠りといった不適切な運転状態にあるか否かを判断して、不適切な運転状態である場合には警報要求を生成して出力する。ここで、不適切な運転状態とは、たとえば乗員が自動車１の走行を操作する場合にとる運転姿勢の状態ではないこと、または、直ぐに操作し得ると定義されている状態ではないこと、をいう。

連続ロス判断部８５は、たとえば許可信号が入力されていない状態での内カメラ６１の撮像画像の数をカウントする。カウント値は、メモリ６４に記録されてよい。連続ロス判断部８５は、許可信号が入力されている状態での内カメラ６１の撮像画像が発生すると、カウント値をリセットしてよい。これにより、連続ロス判断部８５は、許可信号が入力されていない状態において連続する複数の撮像画像の数をカウントすることができる。なお、許可信号が入力されていない状態には、内カメラ６１が撮像画像を出力するタイミングにおいて撮像画像が出力されていない場合が含まれる。この場合にも、顔認識部８２は、許可信号を出力することができないからである。そして、連続数を示すカウント値が、所定の連続ロス判断期間に相当する閾値回数以上になると、連続ロス判断部８５は、撮像画像が連続的に不適切となるためにわき見や居眠りを正しく判定することができないことについての警告要求を出力する。連続ロス判断期間は、タイマ６３により継続されてよい。
このように、連続ロス判断部８５は、内カメラ６１から出力されるはずの複数の撮像画像について顔認識部８２により顔が継続的に認識できない状態が一定数以上または一定期間以上において継続的に繰り返し発生すると、警報要求を生成して出力する。

頻発ロス判断部８６は、たとえば許可信号が入力されていない状態での内カメラ６１の撮像画像の数をカウントする。カウント値は、メモリ６４に記録されてよい。頻発ロス判断部８６は、許可信号が入力されている状態での内カメラ６１の撮像画像が発生しても、カウント値をリセットしないで、そのままの値からカウントを継続する。これにより、連続ロス判断部８５は、許可信号が入力されていない状態が断続的に発生した場合でも、その期間全体を通じて、許可信号が入力されていない状態での複数の撮像画像の数をカウントすることができる。なお、許可信号が入力されていない状態には、内カメラ６１が撮像画像を出力するタイミングにおいて撮像画像が出力されていない場合が含まれる。そして、直近の頻発ロス判断期間におけるカウント値が閾値回数以上になると、断続ロス判断部は、撮像画像が断続的に不適切となるためにわき見や居眠りを正しく判定することができないことについての警告要求を出力する。直近の頻発ロス判断期間は、タイマ６３により継続されてよい。このように、頻発ロス判断部８６は、内カメラ６１から出力されるはずの複数の撮像画像について顔認識部８２により顔が継続的に認識できない状態が直近の一定数以上または直近の一定の累積期間以上において断続的に繰り返し発生すると、警報要求を生成して出力する。

このように連続ロス判断部８５と頻発ロス判断部８６とは、内カメラ６１から連続して出力される複数の撮像画像について顔認識部８２により顔が繰り返し認識できない場合、警報要求を生成して出力する。

警報装置８７は、プログラムを実行する警報ＥＣＵ１８の機能として、警報部８８、を有する。

警報部８８は、乗員監視装置８１から警報要求があると、ハンズオンセンサ４４の検出に基づいて、乗員が操作部材を操作可能な状態にあるか否かを判断する。そして、乗員が操作部材を操作可能な状態にあるとは判断できない場合、警報部８８は、警報要求に応じた警報を選択し、警報を出力する。たとえば、警報部８８は、警報要求に基づいて、乗員に対してわき見または居眠りといった不適切な運転状態を正すための警報を出力する。警報は、スピーカ７２、メータパネル７１から、乗員に対して出力される。ここでの警報は、たとえばわき見または居眠りといった不適切な運転状態を正すためのハンズオンの警報でよい。また、乗員が操作部材を操作可能な状態にあると判断できる場合、警報部８８は、警報を出力しない。これにより、不要な警報出力を減らすことができる。

走行制御装置８９は、プログラムを実行するドライブＥＣＵ１４の機能として、走行制御部９０、を有する。

走行制御部９０は、自動車１の自動運転中および手動運転中に、自動車１の走行を制御する。走行制御部９０は、たとえば自動車１の自動運転中に、乗員の操作によらずに自動車１の走行を制御する。
走行制御部９０は、警報装置８７の警報出力の後、または乗員監視装置８１の警報要求の出力の後に、ハンズオンセンサ４４の検出に基づいて、乗員が操作部材を操作可能な状態にあるか否かを判断する。そして、乗員が操作部材を操作可能な状態にあるとは判断できない場合、走行制御部９０は、警報の内容に応じて予め定められた自動車１の走行制御を実行する。走行制御部９０は、たとえば走行中の自動車１を減速させ、安全性のある路肩などに自動車１を停車する。

図４は、図３の乗員監視装置８１の制御の流れのフローチャートである。
乗員監視ＥＣＵ１７は、図４の処理を繰り返し実行する。

ステップＳＴ１において、乗員監視ＥＣＵ１７は、内カメラ６１が撮像画像を出力する撮像画像取得タイミングであるか否かを判断する。乗員監視ＥＣＵ１７は、タイマ６３により計測される時刻や前回の取得タイミングからの経過時間に基づいて、撮像画像取得タイミングであるか否かを判断してよい。撮像画像取得タイミングでない場合、乗員監視ＥＣＵ１７は、本処理を繰り返す。撮像画像取得タイミングになると場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ２へ進める。

ステップＳＴ２において、乗員監視ＥＣＵ１７は、内カメラ６１が撮像画像を出力する新たな撮像画像を取得する。

ステップＳＴ３において、乗員監視ＥＣＵ１７は、顔認識部８２として、取得した新たな撮像画像について、乗員の顔、または顔の一部である目、鼻、口についての認識処理を実行する。乗員監視ＥＣＵ１７は、特に目については、その白目と黒目との認識処理を実行する。撮像画像には、たとえば撮像環境に起因して乗員の顔、または顔の一部である目、鼻、口が良好に判別可能に撮像されていないことがある。また、乗員監視ＥＣＵ１７は、たとえば内カメラ６１の不具合などにより、撮像画像取得タイミングの撮像画像を取得できないことがある。乗員監視ＥＣＵ１７は、これらの状況を含めて、乗員の認識処理を実行する。乗員監視ＥＣＵ１７は、撮像画像について乗員の顔、または顔の一部である目、鼻、口を認識できる場合、乗員が認識できたことを示す許可信号を、以下の後段の処理に係るわき見判断部８３、居眠り判断部８４、連続ロス判断部８５、頻発ロス判断部８６へ出力する。それ以外の場合、乗員監視ＥＣＵ１７は、許可信号を出力しない。または、乗員監視ＥＣＵ１７は、不許可信号を出力してもよい。これらの許可信号は、たとえばメモリ６４に記録されることにより、またはプログラム間通信により直接的に送信されることにより出力されてよい。

ステップＳＴ４において、乗員監視ＥＣＵ１７は、顔認識部８２として、撮像画像について乗員の顔、または顔の一部である目、鼻、口を認識できたか否かを判断する。撮像画像について乗員の顔、または顔の一部である目、鼻、口を認識できた場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ５へ進める。
乗員の顔などを認識できない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ８へ進める。

ステップＳＴ５において、乗員監視ＥＣＵ１７は、許可信号が入力されているわき見判断部８３として、内カメラ６１の撮像画像について、乗員のわき見を判断する。乗員がわき見をしていると判断する場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ１０へ進める。乗員がわき見をしていると判断しない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ６へ進める。

ステップＳＴ６において、乗員監視ＥＣＵ１７は、許可信号が入力されている居眠り判断部８４として、内カメラ６１の撮像画像について、乗員の居眠りを判断する。乗員が居眠りをしていると判断する場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ１０へ進める。乗員が居眠りをしていると判断しない場合、乗員監視ＥＣＵ１７は、図４の処理を終了する。
なお、乗員監視ＥＣＵ１７は、ステップＳＴ６の居眠り判断を、ステップＳＴ５のわき見判断の前に実行してもよい。

ステップＳＴ７において、乗員監視ＥＣＵ１７は、顔認識部８２により顔認識ができなかった画像ロスをメモリ６４に記録する。乗員監視ＥＣＵ１７は、たとえば顔認識ができなかったロス画像としての撮像画像の連続数をカウントし、そのカウント値をメモリ６４に記録してよい。この他にもたとえば、乗員監視ＥＣＵ１７は、顔認識部８２により顔認識ができなかったロス画像としての撮像画像の取得実行時刻を、メモリ６４に蓄積記録してよい。

ステップＳＴ８において、乗員監視ＥＣＵ１７は、許可信号が入力されていない連続ロス判断部８５として、顔認識部８２により顔認識ができなかったロス画像が、予め設定される連続ロス判断期間に相当する一定数以上で連続的に発生しているか否かを判断する。
乗員監視ＥＣＵ１７は、直近で連続して発生しているロス画像の画像数と、連続ロス判断期間に相当する判断閾値とを比較する。そして、直近で連続して発生しているロス画像の画像数が判断閾値以上である場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ１０へ進める。それ以外の場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ９へ進める。

ステップＳＴ９において、乗員監視ＥＣＵ１７は、許可信号が入力されていない頻発ロス判断部８６として、顔認識部８２により顔認識ができなかったロス画像が、予め設定される直近の頻発ロス判断期間において一定頻度以上で断続的に発生しているか否かを判断する。乗員監視ＥＣＵ１７は、直近の頻発ロス判断期間でのロス画像のカウント値と、頻発ロス判断期間について予め設定されるロス画像の発生数の閾値とを比較する。直近の頻発ロス判断期間でのロス画像のカウント値が発生数の閾値以上である場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ１０へ進める。それ以外の場合、乗員監視ＥＣＵ１７は、図４の処理を終了する。

ステップＳＴ１０において、乗員監視ＥＣＵ１７は、ハンズオンの警報要求を、車ネットワーク２５を通じて警報ＥＣＵ１８やドライブＥＣＵ１４へ出力する。乗員監視ＥＣＵ１７は、警報要求の発生要因を区別することができるように、警報要求を出力してよい。

図５は、図３の警報装置８７の制御の流れのフローチャートである。
警報ＥＣＵ１８は、警報装置８７の警報部８８として、図５の処理を繰り返し実行する。

ステップＳＴ２１において、警報ＥＣＵ１８は、乗員監視装置８１からハンズオンの警報要求を取得したか否かを判断する。警報要求を取得していない場合、警報ＥＣＵ１８は、本処理を繰り返す。警報要求を取得すると、警報ＥＣＵ１８は、処理をステップＳＴ２２へ進める。

ステップＳＴ２２において、警報ＥＣＵ１８は、ハンズオンセンサ４４の検出値を取得する。検出ＥＣＵ１６は、ハンドル３１が乗員の手により握られている場合、ハンズオンセンサ４４の検出値として、ハンズオンを出力する。検出ＥＣＵ１６は、ハンドル３１が乗員の手により握られていない場合、ハンズオンセンサ４４の検出値として、ハンズオフを出力する。警報ＥＣＵ１８は、これらいずれかのセンサの検出値を取得する。

ステップＳＴ２３において、警報ＥＣＵ１８は、ステップＳＴ２２で取得したセンサ検出値に基づいて、乗員が手動操作を即時的に開始可能なハンズオン状態であるか否かを判断する。乗員がハンズオン状態である場合、警報ＥＣＵ１８は、図５の処理を終了する。
警報ＥＣＵ１８は、警報要求に基づいてハンズオンの警報を出力することなく、図５の処理を終了する。乗員がハンズオン状態でない場合、警報ＥＣＵ１８は、処理をステップＳＴ２４へ進める。

ステップＳＴ２４において、警報ＥＣＵ１８は、ハンズオンの警報を出力する。警報ＥＣＵ１８は、ハンズオンの警報を出力したことを、車ネットワーク２５を通じてドライブＥＣＵ１４へ出力してよい。

図６は、図３の走行制御装置８９の制御の流れのフローチャートである。
ドライブＥＣＵ１４は、走行制御装置８９の走行制御部９０として、図６の処理を繰り返し実行する。

ステップＳＴ３１において、ドライブＥＣＵ１４は、自動車１が走行を開始しているか否かを判断する。自動車１が走行を開始していない場合、ドライブＥＣＵ１４は、本処理を繰り返す。自動車１が走行を開始している場合、ドライブＥＣＵ１４は、処理をステップＳＴ３２へ進める。

ステップＳＴ３２において、ドライブＥＣＵ１４は、走行情報を取得する。
走行情報には、たとえば、乗員監視装置８１のハンズオンの警報要求、警報装置８７のハンズオン警報の出力の有無、ハンズオンセンサ４４の検出値、自動走行の可否を判断するための情報、が含まれてよい。自動走行の可否を判断するための情報には、たとえば乗員の状態の情報、外カメラ４３の撮像画像、周辺の他の移動体の情報、ナビゲーションデータやそれに基づく進路の情報、が含まれてよい。

ステップＳＴ３３において、ドライブＥＣＵ１４は、ハンズオン警報をしたか否かを判断する。ドライブＥＣＵ１４は、警報装置８７がハンズオン警報を出力している場合、または乗員監視装置８１がハンズオンの警報要求を出力している場合、ハンズオン警報をしたと判断し、処理をステップＳＴ３４へ進める。それ以外の場合、ドライブＥＣＵ１４は、処理をステップＳＴ３６へ進める。

ステップＳＴ３４において、ドライブＥＣＵ１４は、ハンズオンセンサ４４の検出値に基づいて、乗員が手動操作を即時的に開始可能なハンズオン状態であるか否かを判断する。乗員がハンズオン状態である場合、ドライブＥＣＵ１４は、処理をステップＳＴ３６へ進める。乗員が警報後においてもハンズオン状態でない場合、ドライブＥＣＵ１４は、処理をステップＳＴ３５へ進める。

ステップＳＴ３５において、ドライブＥＣＵ１４は、自動車１を安全に停車させるための自動減速停止制御を実行する。ドライブＥＣＵ１４は、周囲の安全を確認しながら走行中の自動車１を減速させ、安全性のある路肩などに自動車１を停車する。これにより、乗員が警報後においてもハンズオン状態でない場合には、自動車１は、減速して停車できる。

ステップＳＴ３６において、ドライブＥＣＵ１４は、自動運転による自動走行が可能か否かを判断する。ドライブＥＣＵ１４は、たとえばナビゲーションデータやそれに基づく進路の情報と、周辺の他の移動体の情報とがあって、乗員のバックアップを含めて信頼できる安全性が確保し得る状態で自律した自動走行が可能である場合、自動運転による自動走行が可能と判断し、処理をステップＳＴ３７へ進める。

ステップＳＴ３７において、ドライブＥＣＵ１４は、自律した自動走行制御を実行する。

ステップＳＴ３８において、ドライブＥＣＵ１４は、自動車１が自動運転による自動走行状態にあるため、ハンズオフ要求を車ネットワーク２５へ出力する。警報部８８は、車ネットワーク２５を通じてハンズオフ要求を取得して出力する。これにより、乗員は、たとえばハンドル３１から手をはなすことができる。

ステップＳＴ３９において、ドライブＥＣＵ１４は、自動車１が自動運転による自動走行が可能でなくなるため、ハンズオン要求を車ネットワーク２５へ出力する。
警報部８８は、車ネットワーク２５を通じてハンズオン要求を取得して出力する。これにより、乗員は、手でハンドル３１を握ることができる。

ステップＳＴ４０において、ドライブＥＣＵ１４は、乗員の運転操作に基づいて、その運転操作を支援するように自動車１の走行を制御する。

図７は、顔が認識できない撮像画像が繰り返し発生している場合での、警報要求の生成出力処理の一例の説明図である。
顔が認識できない撮像画像については、顔認識部８２が許可信号を出力しないため、わき見判断部８３と居眠り判断部８４とは、それぞれの処理を実行しない。これ対して、連続ロス判断部８５と頻発ロス判断部８６とは、ロス画像が継続的に発生することに基づいて、それぞれの処理を実行する。
図７において、時間は左から右へ流れる。

図７（Ａ）から図７（Ｃ）は、顔認識部８２による顔認識ができない画像ロスが連続的な発生している状況の一例のタイミングチャートである。
図７（Ａ）は、撮像画像の取得周期を示している。各矢印が、内カメラ６１が撮像画像を出力する１周期に対応している。乗員監視ＥＣＵ１７は、矢印で示される撮像周期ごとに、内カメラ６１から撮像画像を取得する処理を実行する。
図７（Ｂ）は、取得した撮像画像についての顔認識部８２による認識結果の出力信号である。この例では、顔認識部８２は、最初の２つの撮像画像については、出力信号として、認識ＯＫの許可信号を出力する。その後の３つの撮像画像については、顔認識部８２は、出力信号として、認識ＮＧの不許可信号を出力する。さらにその後の３つの撮像画像については、出力信号として、認識ＯＫの許可信号を出力する。
図７（Ｃ）は、連続的な画像ロスに基づいて連続ロス判断部８５が出力する警報要求の出力信号である。
この例では、連続ロス判断部８５は、３以上の画像ロスが連続的に生じる場合、警報要求を出力する。３以上の撮像画像が連続的に出力される期間が、連続ロスの判断期間となる。カウント値の判断閾値は、３である。

図７（Ｄ）から図７（Ｆ）は、顔認識部８２による顔認識ができない画像ロスが断続的に発生している状況の一例のタイミングチャートである。
図７（Ｄ）は、図７（Ａ）と同様に、撮像画像の取得周期を示している。
図７（Ｅ）は、取得した撮像画像についての顔認識部８２による認識結果の出力信号である。この例では、顔認識部８２は、最初の１つの撮像画像については、出力信号として、認識ＯＫの許可信号を出力する。次の１つの撮像画像については、出力信号として、認識ＮＧの不許可信号を出力する。その後は、撮像画像ごとの出力信号として、認識ＯＫの許可信号と、認識ＮＧの不許可信号とを交互に出力している。
図７（Ｆ）は、断続的な画像ロスに基づいて頻発ロス判断部８６が出力する警報要求の出力信号である。
この例では、頻発ロス判断部８６は、直近の７以上の頻発ロスの判断期間において、４以上の画像ロスが断続的に生じる場合、警報要求を出力する。カウント値の判断閾値は、４である。
また、頻発ロスの判断期間は、連続ロスの判断期間より長い。頻発ロスの判断期間でのカウント値の判断閾値は、連続ロスの判断期間でのカウント値の判断閾値より大きい。これにより、連続的な画像ロスがたとえば４以上で発生している場合に、連続ロス判断部８５より先に頻発ロス判断部８６が警報要求を出力しないようにできる。連続ロス判断部８５は、頻発ロス判断部８６による警報要求の出力に影響されることなく独自の判断により有意な警報要求を出力できる。

以上のように、本実施形態は、自動車１の乗員を周期的に繰り返して撮像可能な内カメラ６１の撮像画像に基づいて、まず事前処理として、顔認識部８２により乗員の顔、または顔の一部である目、鼻、口についての認識処理を実行する。そして、わき見判断部８３や居眠り判断部８４といった乗員判断部は、内カメラ６１の撮像画像の中の、顔認識部８２により顔などが認識できるとされた撮像画像について、乗員がわき見または居眠りといった不適切な運転状態にないことを判断する。これにより、乗員判断部は、質が良くない内カメラ６１の撮像画像について、乗員のわき見または居眠りといった不適切な運転状態にないことを判断しなくてよくなる。乗員判断部は、内カメラ６１の撮像画像において乗員の顔などが正しく認識できるように撮像されていることを前提として、その質がよい一部の撮像画像に基づいて乗員のわき見または居眠りといった不適切な運転状態にないことを判断すればよくなる。乗員判断部によるわき見、居眠りといった不適切な運転状態であるか否かの判断は、その判断のために適当とされる内容に合わせることができる。乗員判断部による判断精度は、その判断について適切となるように高まる。特に、撮像画像における目に基づいてわき見、居眠りを判断する場合、画像中の目の像の大きさや解像度が十分に高くなりえないことが多く、乗員判断部には、画像中での情報が少ない目の情報に基づいてその目の状態を高精度に判断することが求められる。たとえば目についての開き具合、瞳孔の大きさといった状態に基づいて、単に目の検出の有無などを判断する場合と比べて格段に高精度な判断をすることが求められる。本発明では、乗員判断部を、このような高精度の判断が可能なものにすることができる。

しかも、本実施形態では、このような高精度の判断が可能な乗員判断部に対して、乗員判断部と同様に警報要求を生成する連続ロス判断部８５や頻発ロス判断部８６といったロス判断部を、並列的に設ける。そして、これらのロス判断部は、内カメラ６１から出力可能な複数の撮像画像について、顔認識部８２により顔または顔の一部である目、鼻、口が認識できない撮像画像が継続的に繰り返し発生する場合には、警報要求を生成する。これにより、ロス判断部は、内カメラ６１の撮像画像の中の、乗員判断部の判断に係らない撮像画像について、ロス判断部により警報要求を生成することができる。ロス判断部は、内カメラ６１の撮像画像の中の、たとえば乗員判断部の判断に係らない撮像画像において乗員がわき見または居眠りといった不適切な運転状態にある可能性がある場合に、その乗員の状態を直接的に判断しないで、その可能性が内在していることに基づいて警報要求を生成することができる。
たとえば乗員判断部において高精度の判断ができない状態の目の撮像画像については、顔認識部８２により乗員の顔の一部である目が認識できないと判断するようにすることで、画像から直接的に目の状態を判断できないような画像や状況である場合にはロス判断部の判断により警報要求を生成して出力できる。内カメラ６１の撮像画像の中の、乗員判断部では判断に困るような低品質の撮像画像についてはロス判断部の判断により警報要求を生成できるようになる。乗員は、ロス判断部の判断に基づく警報により、乗員判断部の判断に基づく警報の場合と同様に対処することができる。乗員判断部とロス判断部とにより多層化されている直接的および間接的な乗員の運転状態の判断により、本来的に警報要求を生成すべき状況においては、警報を出力することができる。本来的に警報要求を生成すべき状況において、警報要求が生成されなくなってしまう事態の発生を、効果的に抑制できる。
この他にもたとえば、内カメラ６１が故障などすると、内カメラ６１から撮像画像を取得できなくなる。このような場合、顔認識部８２は、撮像画像において顔が認識できない場合と同様に、許可信号を出力しない。その結果、連続ロス判断部８５や頻発ロス判断部８６といったロス判断部は、内カメラ６１から撮像画像を取得できない状況の継続に基づいて、警報要求を生成できる。本実施形態では、乗員の状態だけでなく、内カメラ６１の画像に基づく乗員支援機能が正しく機能できていないことについても、警報によりそれを乗員に知らせることができる。

このような乗員判断部とロス判断部との並列的な協働処理により、本実施形態では、内カメラ６１の環境や状態によらずに、乗員がわき見または居眠りといった不適切な運転状態にある可能性がある場合には、それを警報により乗員に知らせることができる。本実施形態では、互いに相反的な要求である、乗員がわき見または居眠りといった不適切な運転状態にないことについての正確な判断と、乗員がわき見または居眠りといった不適切な運転状態にある可能性がある場合にはそれについての警報を確実に出力することができることと、を高いレベルで両立することができる。本実施形態の運転支援システム８０は、自動車１での乗員監視についての正確な認識判断と高い安全性の確保とを高度に両立できるため、自動車１において好適に用いることができる。
なお、乗員監視装置８１、および警報装置８７により構成される自動車１の乗員警報装置についても、上述したものと同様の効果を期待できる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上述した実施形態では、乗員監視装置８１と警報装置８７とは、別体に形成されて、車ネットワーク２５により互いに接続されている。
この他にもたとえば、乗員監視装置８１と警報装置８７とは、１つの自動車１の乗員警報装置として一体的に自動車１に設けられ、その全体が車ネットワーク２５に接続されてよい。この場合の乗員監視装置８１は、警報部８８などを有することになる。

１…自動車（車両）、１４…ドライブＥＣＵ（自動運転／運転支援ＥＣＵ）、１７…乗員監視ＥＣＵ、１８…警報ＥＣＵ、３１…ハンドル、４４…ハンズオンセンサ、６１…内カメラ、６３…タイマ、６４…メモリ、８０…運転支援システム、８１…乗員監視装置、８２…顔認識部、８３…わき見判断部（乗員判断部）、８４…居眠り判断部（乗員判断部）、８５…連続ロス判断部（第一ロス判断部）、８６…頻発ロス判断部（第二ロス判断部）、８７…警報装置、８８…警報部、８９…走行制御装置、９０…走行制御部

Claims (9)

1. 車両の乗員を撮像している第一撮像画像を出力可能な撮像デバイスと、
   乗員に対して警報を出力する警報部と、
   前記撮像デバイスおよび前記警報部を用いた制御を実行可能な制御部と、を有し、
   前記制御部は、
   前記撮像デバイスから取得する前記第一撮像画像について、乗員の顔の少なくとも一部の認識処理を実行する顔認識部、
   前記撮像デバイスが出力可能な前記第一撮像画像の中の、前記顔認識部により顔の少なくとも一部が認識できる第二撮像画像に基づいて乗員の運転状態を判断して、乗員が運転可能な状態ではない場合には第一警報要求を生成する乗員判断部、および、
   前記撮像デバイスが出力可能な前記第一撮像画像の中の、前記顔認識部により顔の少なくとも一部が認識できない第三撮像画像が複数で発生する場合には、第二警報要求を生成するロス判断部、
   として機能し、
   前記警報部は、
   前記乗員判断部の前記第一警報要求と、前記ロス判断部の前記第二警報要求とに基づいて、乗員に対して警報を出力する、
   車両の運転支援システム。
   
2. 前記乗員判断部は、前記第一撮像画像における乗員の顔の目の状態に基づいてわき見または居眠りを判断する、
   請求項１記載の、車両の運転支援システム。
   
3. 前記ロス判断部は、少なくとも、前記乗員判断部が乗員の運転状態を判断することができない前記第一撮像画像については、顔が認識できない前記第三撮像画像として、顔が認識できない前記第三撮像画像が複数で発生しているか否かを判断する、
   請求項１または２記載の、車両の運転支援システム。
   
4. 前記ロス判断部は、前記撮像デバイスから前記第一撮像画像を取得できない場合には、前記顔認識部により顔が認識できない前記第三撮像画像が発生しているものとして、顔が認識できない前記第三撮像画像が複数で発生しているか否かを判断する、
   請求項１から３のいずれか一項記載の、車両の運転支援システム。
   
5. 前記ロス判断部は、
   前記撮像デバイスが出力可能な前記第一撮像画像について前記顔認識部により顔が認識できないことが継続的に発生する場合、前記第二警報要求を生成する、
   請求項１から４のいずれか一項記載の、車両の運転支援システム。
   
6. 前記ロス判断部として、
   前記顔認識部により顔が認識できない状態が連続的に継続して発生すると、前記第二警報要求としての、第三警報要求を生成する第一ロス判断部と、
   前記顔認識部により顔が認識できない状態が断続的に繰り返すように継続して発生すると、前記第二警報要求としての、第四警報要求を生成する第二ロス判断部と、を有し、
   前記警報部は、
   前記第二警報要求としての、前記第一ロス判断部の前記第三警報要求と、前記第二ロス判断部の前記第四警報要求とに基づいて、乗員に対して警報を出力する、
   請求項１から５のいずれか一項記載の、車両の運転支援システム。
   
7. 前記第二ロス判断部は、断続的に繰り返し生じていることを、前記第一ロス判断部が連続性を判断する期間より長い期間において判断する、
   請求項６記載の、車両の運転支援システム。
   
8. 前記車両を運転する際に乗員が操作する操作部材について乗員が操作可能な状態にあるか否かを検出する検出部、を有し、
   前記警報部は、
   前記乗員判断部の前記第一警報要求または前記ロス判断部の前記第二警報要求が生成された場合、前記検出部の検出結果に基づいて乗員が前記操作部材を操作可能な状態にあるか否かを判断し、
   前記操作部材に対する操作が可能な状態にあるとは判断できない場合、乗員に対して前記操作部材に対する操作を要求する警報を出力する、
   請求項１から７のいずれか一項記載の、車両の運転支援システム。
   
9. 前記車両の走行を制御する走行制御装置、を有し、
   前記走行制御装置は、前記警報部が警報を出力した後に、乗員が前記操作部材に対して操作可能な状態にあると前記検出部の検出結果が変化しない場合、前記車両を減速または停止する、
   請求項１から８のいずれか一項記載の、車両の運転支援システム。
   
   

Images