JP2019131104A - 車両の乗員監視装置 - Google Patents

Abstract

【課題】車両の乗員監視装置を改善する。【解決手段】自動車に乗車した乗員を監視する乗員監視装置１２は、自動車に乗車した乗員を認識する個人認識部３３と、個人認識部３３により認識された乗員情報を記憶可能な認識乗員データ３７と、認識乗員データ３７に記憶されている乗員の設定を記憶可能な個人設定データバッファ３０と、個人設定データバッファ３０の設定に基づいて自動車に乗車した乗員を監視する乗員監視部２６と、を有する。認識乗員データ３７は、個人認識部３３が認識処理により乗員を特定できない場合、乗員を特定しないゲスト情報を記憶する。監視部２４は、個人設定データバッファ３０の設定に基づいて自動車に乗車したゲストを監視する。【選択図】図３

Description

本発明は、自動車などの車両の乗員を監視する装置に関する。

自動車などの車両では、乗車したドライバなどの乗員を監視することが望ましい場合がある（特許文献１、２）。
乗員監視装置は、たとえば、乗車した乗員を認識し、乗員の脇見や居眠りを監視し、脇見や居眠りをした乗員に対して警告を与える。
これにより、乗員の注意を車両の走行に集中させるように仕向けて安全性を高めることが期待できる。

特開２００６−３２７３４６号公報 特開２０１０−２１３７４９号公報

ところで、乗員監視装置では、予め登録されていない乗員が乗車した場合、その乗員を特定して認識することができない。
この場合、乗員監視装置は、特許文献１のように、予め登録されていない乗員による運転を許可しないようすることが考えられる。
また、特許文献２のように、未登録者が設定をすることも考えられる。
しかしながら、いずれの場合でも、乗員は自らの登録作業をしなければ、自動車を運転することができない。
特に、乗員監視を不要と考えている乗員に対して、不要と考えている乗員監視の設定を一律に強要することは、乗員の利便性を著しく損なうことになる。

このような車両では、乗員監視装置を改善することが望まれる。

本発明に係る車両の乗員監視装置は、車両に設けられ、前記車両に乗車した乗員を監視する乗員監視装置であって、前記車両に乗車した乗員を認識する認識部と、前記認識部により認識された乗員情報を記憶可能な認識乗員記憶部と、前記認識乗員記憶部に記憶されている乗員の設定を記憶可能な設定記憶部と、前記設定記憶部の設定に基づいて前記車両に乗車した乗員を監視する監視部と、を有し、前記認識乗員記憶部は、前記認識部が認識処理により乗員を特定できない場合、乗員を特定しないゲスト情報を記憶し、前記監視部は、前記設定記憶部の設定に基づいて前記車両に乗車したゲストを監視する。

好適には、前記設定記憶部は、前記監視部の起動停止についての設定を記憶し、前記認識部は、前記監視部を停止する場合でも、前記車両に乗車した乗員を認識する、とよい。

好適には、前記車両を利用する複数の乗員の前記乗員情報および前記設定を記憶するデータベースと、前記設定記憶部に記憶されている設定に乗員情報を付加して前記データベースに登録する登録部と、を有し、前記登録部は、前記認識乗員記憶部にゲスト情報が登録されている場合、前記設定記憶部に記憶されている設定に乗員情報を付加して前記データベースに登録する、とよい。

好適には、前記車両に対する乗降のための操作を検出する検出部、を有し、前記登録部は、乗降のための操作が前記検出部により検出された際に前記認識乗員記憶部にゲスト情報が登録されている場合、前記設定記憶部に記憶されている設定に乗員情報を付加して前記データベースに登録する、とよい。

好適には、前記検出部は、前記車両のシフトレバーがパーキング位置へ操作されたことを検出する、とよい。

好適には、前記データベースにおいて前記認識乗員記憶部の前記乗員情報と対応付けられている設定により、前記設定記憶部を更新する更新部、を有する、とよい。

好適には、前記監視部は、前記車両の走行中に乗員を監視し、前記認識部は、前記車両の停車中に乗員を認識し、前記認識部の認識処理が完了する前に前記車両が走行を開始した場合、前記認識部は認識処理を中断し、前記監視部は、前記車両に乗車した乗員を監視し、前記認識部は、その後に前記車両が停車した場合、中断した認識処理を再開する、とよい。

好適には、前記設定記憶部は、前記認識部の起動停止についての設定を記憶し、前記認識部は、認識処理中に前記認識部が停止された場合、認識処理を中断する、とよい。

本発明では、認識乗員記憶部は、認識部が認識処理により乗員を特定できない場合、乗員を特定しないゲスト情報を記憶し、監視部は、設定記憶部の設定に基づいて車両に乗車したゲストを監視する。
よって、乗員監視装置は、乗員を特定できない場合でも、乗員の操作を待たずに、車両に乗車したゲストを監視することができる。
このため、ゲストとして認識される乗員は、乗員監視装置の設定記憶部に対して登録作業により設定を記憶させなくとも、認識乗員記憶部とは別に設けられた設定記憶部に保持されている設定に基づいて、乗員監視装置により監視されながら車両の運転を開始することが可能になる。
乗員監視を不要と考えている乗員などの未登録の乗員は、乗員監視装置に対して自らの登録作業をしなくても、自動車の運転を開始することができる。

図１は、本発明の乗員監視装置が適用される自動車の説明図である。 図２は、図１の自動車の車載ネットワークシステムの一例の説明図である。 図３は、本発明の実施形態に係る乗員監視装置の説明図である。 図４は、図３の監視起動設定データの設定値および認識起動設定データの設定値と、乗員監視装置の起動停止状態との対応関係の説明図である。 図５は、図３の個人データベースのデータ構造の説明図である。 図６は、図２の乗員監視装置による乗員認識処理の流れを示すフローチャートである。 図７は、図６の個人認識処理の詳細な処理の一例を示すフローチャートである。 図８は、図２の乗員監視装置による監視起動処理の一例の流れを示すフローチャートである。 図９は、乗員が降車する際の新規登録処理の一例の流れを示すフローチャートである。 図１０は、図２の乗員監視装置での設定状態の遷移の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の乗員監視装置１２が適用される自動車１の説明図である。
自動車１は、車両の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
図１の自動車１は、乗員室が形成された車体２、車体２の側面に設けられるドア３、を有する。
ドライバなどの乗員は、ドア３を開いて乗員室へ入り、シート４に着座する。ドライバ用のシート４の前側には、たとえばダッシュボード５から後向きに突出したハンドル６、イグニションスイッチ、アクセルペダル、ブレーキペダル、シフトレバー、パーキングレバーといった操作部材が配置される。
ドライバは、シート４に着座したまま、操作部材を操作する。自動車１は、ドライバの操作に応じて走行し、方向を変え、停止する。
また、ドライバなどの乗員は、イグニションスイッチを操作して自動車１を停止させた後、ドア３を開いて乗員室の外へ出る。

図２は、図１の自動車１の車載ネットワークシステム１０の一例の説明図である。
車載ネットワークシステム１０では、相互通信可能な複数の電子機器が、車内ネットワーク１１により、相互にデータ通信可能に接続されている。
図２では、複数の電子機器として、乗員監視装置１２、ドア開閉センサ１３、車速センサ１４、パークセンサ１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、が例示されている。
車内ネットワーク１１には、たとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークがある。車内ネットワーク１１は、無線の通信ネットワークでもよい。
また、車内ネットワーク１１は、乗員が降車した後、通信を制限したスリープ状態になってよい。この場合、車内ネットワーク１１は、乗員が乗車する際に、通信が可能な起動状態になる。車内ネットワーク１１は、たとえば乗員が所持するキーレスエントリ機器の検出に基づいて、スリープ状態から起動状態になる。車内ネットワーク１１は、車内ネットワーク１１を自律的にオン状態とオフ状態との間で切り替えるネットワーク制御部を備えてよい。

乗員監視装置１２は、たとえば乗員室に乗車してドライバ用のシート４に着座した乗員を認識し、認識した乗員の脇見や居眠りを監視する。そして、乗員が脇見や居眠りをしていることを検出した場合、乗員監視装置１２は、音声などにより乗員に対して警告を発する。これにより、乗員の注意を自動車１の走行に集中させるように仕向けて安全性を高めることが期待できる。

ドア開閉センサ１３は、自動車１のドア３が閉じた状態から開いたこと、および、開いた状態のドア３が閉じられたことを検出する。
車速センサ１４は、自動車１の停止および走行を検出する。車速センサ１４は、自動車１の走行速度を検出してもよい。
パークセンサ１５は、自動車１が停車状態に維持されるパーキング状態を検出する。パーキング状態は、たとえばシフトレバーがパーキング位置に操作されたこと、パーキングレバーが引かれたこと、により検出することができる。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドル６の前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。また、シート４に着差した乗員に対応する設定データを記録し、それに基づいてシート４、ハンドル６およびペダルの位置および角度を調整する制御を実行する。なお、ポジション設定装置１６は、自動運転中でのポジションの設定データを、手動運転中でのポジションの設定データと別に記録し、自動車１の運転状況に応じてポジションを変更してもよい。
運転支援装置１７は、乗員による自動車１の走行操作を支援するように、自動車１の走行、停止および操舵を制御する。また、運転支援装置１７は、全自動で、自動車１の走行、停止および操舵を制御してもよい。
車外通信装置１８は、たとえば公共無線通信網や商用無線通信網を用いて、地上に設置された通信設備や他の自動車１の車外通信装置１８と、双方向のデータ通信を実行する。これにより、自動車１は、交通情報、周囲を走行する自動車１の走行状態、自車の周囲の交通状況に関する情報を取得できる。また、車外通信装置１８は、たとえば自動運転中などの自車の走行状態の情報を送信できる。
そして、これらの電子機器は、車内ネットワーク１１を通じて相互にデータを送受する。これにより、たとえば乗員監視装置１２は、その制御に必要な情報を得たり、ポジション設定装置１６や運転支援装置１７が必要とする情報を提供したりできる。

ところで、乗員監視装置１２では、予め登録されていない乗員が乗車した場合、その乗員を特定して認識することができない。
この場合、乗員監視装置１２は、予め登録されていない乗員による運転を許可しないようすることが考えられる。また、未登録者が設定をすることも考えられる。しかしながら、いずれの場合でも、乗員は自らの登録作業をしなければ、自動車１を運転することができない。
このような作業を、乗員監視を不要と考えている乗員に対して一律に強要することは、乗員の利便性を著しく損なうことになる。
このように自動車１では、乗員監視装置１２を改善することが望まれる。

図３は、本発明の実施形態に係る乗員監視装置１２の説明図である。
図３には、乗員監視装置１２とともに、乗員監視装置１２と車内ネットワーク１１を通じてデータを送受可能なドア開閉センサ１３、車速センサ１４、パークセンサ１５、が図示されている。ドア開閉センサ１３は、ドア３の開閉状態の情報を、乗員監視装置１２へ送信する。車速センサ１４は、自動車１の速度の情報を、乗員監視装置１２へ送信する。パークセンサ１５は、パーキング状態であるか否かの情報を、乗員監視装置１２へ送信する。これらのセンサを含めて、乗員監視システムが構成されている。これらのセンサは、乗員監視装置１２の一部として設けられてもよい。
図３の乗員監視装置１２は、モニタ２１、タッチパネル２２、車内カメラ２３、監視部２４および対処部２５を有する乗員監視部２６、スピーカ２７、シート振動部材２８、車内通信部２９、個人設定データバッファ３０、設定更新部３１、起動制御部３２、個人認識部３３、記録部３４、を有する。
スピーカ２７、シート振動部材２８は、乗員監視装置１２とは別体に自動車１に設けられ、車内ネットワーク１１を通じて乗員監視装置１２とデータを送受可能なものであってもよい。
なお、乗員監視部２６、設定更新部３１、起動制御部３２、および個人認識部３３は、乗員監視装置１２のＥＣＵ（Electric Control Unit）といったマイクロコンピュータ装置がプログラムを実行することにより乗員監視装置１２に実現されてよい。また、個人設定データバッファ３０、記録部３４、車内通信部２９は、マイクロコンピュータ装置に組み込まれた状態で乗員監視装置１２に設けられてよい。プログラムは、記録部３４に記録されてよい。

モニタ２１は、液晶デバイスといった表示部材である。モニタ２１は、たとえば操作画面、監視画面、警告画面を表示し、ユーザへ情報を提供する。

タッチパネル２２は、ユーザ操作される部材である。タッチパネル２２は、モニタ２１と重ねて設けられてよい。モニタ２１およびタッチパネル２２により、乗員監視装置１２のユーザインタフェースが形成される。

車内カメラ２３は、乗員室内を撮像する部材である。車内カメラ２３は、ドライバの頭部を撮像するものであっても、乗員室を全体的に３６０度方向で撮像するものであってもよい。

そして、図１に示すように、乗員監視装置１２の本体３５がダッシュボード５の中央部分に配置されることにより、ドライバおよび助手席の乗員は、モニタ２１の表示画面を閲覧し、タッチパネル２２を操作できる。また、車内カメラ２３は、ドライバの頭部を前側から撮像できる。

スピーカ２７は、乗員室内へ音声を出力する部材である。スピーカ２７は、乗員監視装置１２の本体３５と音声ケーブルで接続され、ドア３内に設けられてもよい。

シート振動部材２８は、振動する部材である。シート振動部材２８は、乗員監視装置１２の本体３５と信号ケーブルで接続され、ドライバ用のシート４に設けられる。なお、シート振動部材２８の替わりに、ハンドル６に内蔵された振動部材を設けてもよい。

車内通信部２９は、車内ネットワーク１１に接続される。車内通信部２９は、必要に応じてまたは周期的に乗員監視装置１２が必要とする情報を受信する。また、車内通信部２９は、必要に応じてまたは周期的に乗員監視装置１２の情報を送信する。車内通信部２９は、たとえばドア３の開閉状態の情報、自動車１の速度の情報、パーキング状態であるか否かの情報を受信する。

記録部３４は、記録されたデータを無給電時にも保持する部材である。記録部３４は、たとえば不揮発性メモリでよい。そして、記録部３４は、たとえば個人データベース３６、認識乗員データ３７、監視起動設定データ３８、認識起動設定データ３９、を保持する。

図４は、図３の監視起動設定データ３８の設定値および認識起動設定データ３９の設定値と、乗員監視装置１２の各機能の起動停止状態との対応関係の説明図である。

図４に示すように、監視起動設定データ３８がＯＮ（乗員監視ＯＮ）の設定値である場合、脇見検出機能および居眠り検出機能が有効となる。起動制御部３２は、乗員監視部２６を起動する。乗員監視部２６は、監視を開始可能な状態になる。
これに対し、監視起動設定データ３８がＯＦＦ（乗員監視ＯＦＦ）の設定値である場合、脇見検出機能および居眠り検出機能が無効となる。起動制御部３２は、乗員監視部２６を停止する。乗員監視部２６は、監視を終了する。

認識起動設定データ３９がＯＮ（個人認識ＯＮ）の設定値である場合、個人認識機能が有効となる。起動制御部３２は、個人認識部３３を起動する。個人認識部３３は、認証を開始可能な状態になる。
これに対し、認識起動設定データ３９の設定値がＯＦＦ設定（個人認識ＯＦＦ）である場合、個人認識機能が無効となる。起動制御部３２は、個人認識部３３を停止する。個人認識部３３は、認証を終了する。

起動制御部３２は、車内ネットワーク１１のオンオフ状態に応じて、乗員監視部２６および個人認識部３３の起動停止を個別に制御する。
車内ネットワーク１１がオン状態になると、起動制御部３２は、その時点での監視起動設定データ３８の設定値および認識起動設定データ３９の設定値にて、乗員監視部２６および個人認識部３３を個別に起動させる。
車内ネットワーク１１がオフ状態になると、起動制御部３２は、乗員監視部２６および個人認識部３３をともに停止する。
なお、起動制御部３２は、自動車１の機能を起動するイグニションスイッチのオンオフ状態に応じて、乗員監視部２６および個人認識部３３の起動停止を個別に制御してもよい。
このように起動制御部３２は、乗員監視部２６を停止する設定状態において、個人認識部３３を起動する設定に基づいて個人認識部３３を起動することができる。
そして、監視を開始可能な乗員監視部２６は、走行中の安全性を確保するために、基本的に自動車１の走行中に、監視処理を実行する。
また、個人認識部３３は、乗員監視の必要性が低い自動車１の停車中に、必要に応じて個人認識処理を実行する。

図５は、図３の個人データベース３６のデータ構造の説明図である。個人データベース３６は、自動車１を利用する複数の乗員の乗員情報および設定を記憶する。
図５において各行で現わされている個人データベース３６の各レコードは、自動車１に乗車する各乗員に対応する。レコードは、たとえば乗員情報としての個人ＩＤ、顔データ、監視起動の設定値、認識起動の設定値、個人設定データ、を有する。

個人ＩＤは、登録する乗員毎に重複が生じないように発行される識別番号である。

顔データは、登録する乗員の顔を撮像したデータである。

個人設定データは、登録する乗員についての登録された自動車１の設定データである。個人設定データは、たとえばスピーカ２７のＯＮＯＦＦの設定値、振動部材のＯＮＯＦＦの設定値、シート４やハンドル６などの乗員ポジションの設定値を有する。

個人設定データバッファ３０は、認識した乗員についての個人ＩＤや設定データを記憶する。設定データは、乗員監視部２６に利用される。個人ＩＤまたは設定データの一部は、車内通信部２９により他の電子機器へ送信される。
他の電子機器は、受信した個人ＩＤまたは設定データに基づいて、各種の個人設定制御を実行する。たとえばポジション設定装置１６は、受信した設定データに基づいて、または受信した個人ＩＤに対応して自身に記録している設定データに基づいて、シート４の前後上下の位置および背もたれの角度などを調整する。

個人認識部３３は、認識起動設定データ３９の設定値が認証を開始可能なＯＮ設定である場合、自動車１の停車中に、自動車１に乗車した乗員を認識する個人認識処理を実行する。
個人認識処理の詳細については後述するが、個人認識部３３は、車内カメラ２３により撮像される乗員の顔の画像と、個人データベース３６に登録されている複数の顔データとを比較する。
所定のマッチング値が得られる顔データが得られる場合、個人認識部３３は、最も高いマッチング値の顔データに対応して個人データベース３６に登録されている個人ＩＤにより、認識乗員データ３７を更新する。
所定のマッチング値が得られる顔データが得られない場合、個人認識部３３は、ゲスト情報としてのゲストＩＤにより、認識乗員データ３７を更新する。
これにより、自動車１に乗車した乗員に対応する個人ＩＤまたはゲストＩＤが、認識乗員データ３７に登録される。

設定更新部３１は、タッチパネル２２の操作に基づいて、監視起動設定データ３８、認識起動設定データ３９および個人設定データバッファ３０の設定値を更新する。
設定更新部３１は、タッチパネル２２の操作に基づいて、監視起動設定データ３８、認識起動設定データ３９および個人設定データバッファ３０の設定値により、個人データベース３６にレコードを追加、削除、更新する。
乗員監視部２６が監視開始可能な状態になった場合、また監視中に認識乗員データ３７が更新された場合、設定更新部３１は、個人データベース３６において認識乗員データ３７の個人ＩＤに対応するレコードを読み込み、レコードに含まれる設定値により監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０を更新する。監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０は、認識乗員データ３７に記憶されている乗員の設定を記憶する。監視起動設定データ３８は、乗員監視部２６の起動停止の設定値を記憶する。認識起動設定データ３９は、個人認識部３３の起動停止の設定値を記憶する。
これにより、乗員監視部２６を起動する設定状態では、設定更新部３１は、個人設定データバッファ３０の設定データを、個人認識部３３による乗員の認証結果に応じて更新し、乗員監視部２６を停止する設定状態では更新しない。また、個人設定データバッファ３０には、個人認識部３３により認識された乗員に対応する設定データが記録される。
乗員監視部２６が監視を終了する場合、設定更新部３１は、監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０の設定値により、個人データベース３６を更新する。
乗員監視部２６は、自動車１のイグニションスイッチがＯＦＦ操作された場合、その時点でのデータにより、個人データベース３６を更新する。バッファの退避処理がなされる。
なお、乗員監視部２６は、必要に応じて適宜、監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０の設定値により、個人データベース３６を更新してよい。この更新は、個人データベース３６のすべての設定値を更新するものであっても、一部の設定値を更新するものであってもよい。たとえば乗員監視部２６は、乗員監視装置１２そのもので使用する設定値を、個人データベース３６への個人ＩＤの登録時に同時に登録し、その後のイグニションオフ操作時に自動車１の図示外の空調装置の温度といった他の装置の設定値を、個人データベース３６に登録してよい。

乗員監視部２６は、監視部２４および対処部２５を有する。
監視部２４は、監視起動設定データ３８の設定値が認証を開始可能なＯＮ設定である場合、主に自動車１の走行中に、個人認識部３３による乗員の認識結果に応じて、自動車１に乗車した乗員を監視する監視処理を実行する。
監視処理において、監視部２４は、個人設定データバッファ３０に更新設定された顔データを基準とし、車内カメラ２３により撮像される乗員の顔の画像が所定の監視対象状態に対応する状態にあるか否かを判断する。
監視部２４は、たとえば脇見を監視対象とする場合、撮像画像における顔の向きが、進行方向前方からずれた状態が所定時間以上継続されているか否かを判断する。
また、監視部２４は、居眠りを監視対象とする場合、撮像画像における目が所定回数以上または所定期間以上にわたって閉じられた状態が生じたか否かを判断する。
なお、監視部２４は、個人ＩＤが認識乗員データ３７に登録されていない場合、一般化された標準的な顔データを基準とし、車内カメラ２３により撮像される乗員の顔の画像が所定の監視対象状態に対応する状態にあるか否かを判断してよい。

対処部２５は、監視部２４により警告状態が生じたと判断された場合、警告処理を実施する。
警告処理において、対処部２５は、個人設定データバッファ３０の設定値を確認する。そして、スピーカ２７をＯＮとする設定値がある場合、対処部２５は、一定期間スピーカ２７から警告音を出力する。振動部材をＯＮとする設定値がある場合、対処部２５は、シート振動部材２８を一定期間振動させる。また、対処部２５は、個人設定データバッファ３０の設定値を確認し、表示オンとする設定値がある場合、モニタ２１に警告を表示する。
このように、乗員監視装置１２の乗員監視部２６は、個人設定データバッファ３０の設定に基づいて自動車１に乗車した乗員を監視し、必要に応じて表示や音などにより警告を発することができる。

車内通信部２９は、乗員監視部２６を起動する設定状態および停止する設定状態において、個人設定データバッファ３０に設定されている認識乗員の設定データを、自動車１に設けられる他の電子機器へ送信する。
車内通信部２９は、設定データを周期的に繰り返して他の電子機器へ送信してよい。

図６は、図２の乗員監視装置１２による乗員認識処理の一例の流れを示すフローチャートである。
乗員監視装置１２の起動制御部３２は、図６の処理を周期的に繰り返し実行する。起動制御部３２は、たとえば起動制御部３２の起動指示により、図６の処理を実行する。

図６の乗員認識処理において、起動制御部３２は、まず、自動車１の始動時であるか否かを判断する（ステップＳＴ１）。起動制御部３２は、たとえば自動車１のイグニションスイッチがＯＮ操作されてから所定の期間内であるかに基づいて、自動車１の始動時であるか否かを判断してよい。自動車１の始動時である場合、個人認証部は、乗員監視部２６の起動停止にかかわらず、ステップＳＴ５の個人認証処理を実行する。

自動車１を始動してから所定の期間が経過している場合、起動制御部３２は、始動時でないと判断し、ドア３が閉操作されたか否かを判断する（ステップＳＴ２）。個人認証部は、たとえば車内通信部２９が受信したドア開閉センサ１３の検出値に基づいて、ドア３が閉操作されたか否かを判断してよい。ドア３は、乗員は、自動車１へ乗車する場合、ドア３を開いて乗車し、シート４に着座した状態でドア３を閉じる。ドア開閉センサ１３の検出値により、乗員の乗車を検出することができる。なお、起動制御部３２は、ドア３が開操作されたこと、ドア３が開閉されたこと、を判断してもよい。そして、ドア３の閉操作がなされていない場合、起動制御部３２は、図６の処理を終了する。

ドア３が閉操作された場合、起動制御部３２は、自動車１が停車中であるか否かを判断する（ステップＳＴ３）。起動制御部３２は、たとえば車内通信部２９が受信した車速センサ１４の検出速度が０キロメートル毎時であることに基づいて、停車中であると判断してよい。そして、停車中でない場合、起動制御部３２は、図６の処理を終了する。

停車中である場合、起動制御部３２は、認識起動設定データ３９に基づいて、個人認識がＯＮ設定されているか否かを判断する（ステップＳＴ４）。個人認識がＯＮ設定されていない場合、起動制御部３２は、図６の処理を終了する。

個人認識がＯＮ設定されている場合、またはステップＳＴ１において始動時であると判断された場合、起動制御部３２は、個人認識部３３に個人認識処理を指示する（ステップＳＴ５）。

図７は、図６の個人認識処理の詳細な処理の一例を示すフローチャートである。
図７の個人認識処理において、個人認識部３３は、認識起動設定データ３９に基づいて、個人認識がＯＦＦ設定されているか否かを判断する（ステップＳＴ１１）。個人認識がＯＦＦ設定されている場合、起動制御部３２は、図７の個人認識処理を終了する。
個人認識部３３は、監視起動設定データ３８の設定にかかわらず、図７の個人認識処理を実施する。乗員監視部２６を停止している場合でも、個人認識部３３は、個人認識処理を実施できる。

個人認識がＯＦＦ設定されていない場合、個人認識部３３は、自動車１が停車中であるか否かを判断する（ステップＳＴ１２）。自動車１が停車中でない場合、すなわち走行中にある場合、個人認識部３３は、処理を中断し（ステップＳＴ２１）、処理をステップＳＴ１１へ戻す。
自動車１が停車中である場合、個人認識部３３は、車内カメラ２３により撮像される乗員の顔の撮像画像を取得する（ステップＳＴ１３）。
次に、個人認識部３３は、個人データベース３６に登録されている最初の顔データを取得し（ステップＳＴ１４）、顔データの類似度を判断する（ステップＳＴ１５）。
１つの顔データについて類似度を判断した後、個人認識部３３は、個人データベース３６に登録されているすべての顔データとの照合処理が完了したかを判断する（ステップＳＴ１６）。すべてを完了していない場合、個人認識部３３は、処理をステップＳＴ１４へ戻し、次の顔データについての類似度を判断する。個人認識部３３は、個人データベース３６に登録されているすべての顔データとの照合処理が完了するまで、以上の処理を繰り返す。
すべての照合を完了した場合、個人認識部３３は、所定値以上でマッチングする顔データの有無を判断する（ステップＳＴ１７）。マッチングする顔データがある場合、個人認識部３３は、最高値でマッチングする顔データに対応する個人ＩＤを、個人データベース３６から選択する（ステップＳＴ１８）。個人認識部３３は、図７の個人認識処理を終了する。

所定値以上でマッチングする顔データがない場合、個人認識部３３は、認識処理を規定数で繰り返したか否かを判断する（ステップＳＴ１９）。
規定数の認識処理を繰り返していない場合、個人認識部３３は、処理をステップＳＴ１１へ戻し、次の撮像画像についてマッチング判断を実施する。
規定数の認識処理を実施した場合、個人認識部３３は、ゲストＩＤを選択し（ステップＳＴ２０）、図７の個人認識処理を終了する。

このように個人認識部３３は、時間をあけて撮像した複数の規定数の画像についてマッチング判断を繰り返し、乗車した乗員を認識する。これにより、乗員の認識性能を高めることができる。
また、それでも乗員を特定できない場合には、個人認識部３３は、未登録のゲストが乗車したと認識する。
個人認識部３３は、個人ＩＤまたはゲストＩＤを選択した場合、または個人認識がＯＦＦ設定された場合に、個人認識処理を終了する。

また、個人認識部３３は、個人認識処理が完了する前に自動車１が走行を開始した場合、ステップＳＴ１２の判断により認識処理を中断する。これにより、乗員監視部２６は、自動車１の走行中には、個人認識処理に妨げられることなく、乗員を監視することができる。
その後に自動車１が停車した場合、個人認識部３３は、ステップＳＴ１２の判断により、中断していた認識処理を再開することができる。

また、個人認識処理が完了する前に乗員の操作などにより認識起動設定データ３９の設定値が個人認識ＯＦＦに変更された場合、個人認識部３３は、実行中の個人認識処理を終了する。

図６に示すように、個人認識処理を終了すると、個人認識部３３は、監視起動設定データ３８に基づいて、乗員監視がＯＮ設定されているか否かを判断する（ステップＳＴ６）。

乗員監視がＯＮ設定されている場合、個人認識部３３は、マッチング判断した顔データに対応して登録されている個人ＩＤにより、認識乗員データ３７を更新する（ステップＳＴ７）。個人認識処理の終了時点で個人が特定できていない場合、個人認識部３３は、乗員を特定しないゲストＩＤにより、認識乗員データ３７を更新する。
その後、設定更新部３１は、認識乗員データ３７に登録されている個人ＩＤに対応する設定データを個人データベース３６から読み込み、個人設定データバッファ３０を更新する（ステップＳＴ８）。これにより、個人設定データバッファ３０には、認識された乗員についての設定データが登録される。乗員監視部２６は、更新された個人設定データバッファ３０の設定値に基づいて、乗員監視を開始することができる。

乗員監視がＯＦＦ設定されている場合、個人認識部３３は、マッチング判断した顔データに対応して登録されている個人ＩＤにより、認識乗員データ３７を更新する（ステップＳＴ９）。個人認識処理の終了時点で個人が特定できていない場合、個人認識部３３は、乗員を特定しないゲストＩＤにより、認識乗員データ３７を更新する。この場合、設定更新部３１は、個人設定データバッファ３０を更新しないで、図６の処理を終了する。
。乗員監視部２６は、以前に個人設定データバッファ３０に登録された設定値に基づいて、乗員監視を継続することができる。

図８は、図２の乗員監視装置１２による監視起動処理の一例の流れを示すフローチャートである。
乗員監視装置１２の乗員監視部２６は、図８の処理を周期的に繰り返し実行する。乗員監視部２６は、たとえば起動制御部３２の起動指示により、図６の処理を実行する。

図８の乗員監視処理において、乗員監視部２６は、監視起動設定データ３８に基づいて、乗員監視がＯＮ設定されているか否かを判断する（ステップＳＴ３１）。
乗員監視がＯＮ設定されていない場合、乗員監視部２６は、監視を終了し（ステップＳＴ３７）、図８の乗員監視処理を終了する。

乗員監視がＯＮ設定されている場合、設定更新部３１は、乗員監視部２６の指示に基づき、認識乗員データ３７に登録されている個人ＩＤに対応する設定データを個人データベース３６から読み込み、個人設定データバッファ３０を更新する（ステップＳＴ３２）。これにより、個人設定データバッファ３０には、最後に認識された乗員についての設定データが登録される。

個人設定データバッファ３０を更新した後、乗員監視部２６は、自動車１が走行中であるか否かを判断する（ステップＳＴ３３）。
自動車１が走行中でない場合、乗員監視部２６は、ステップＳＴ３３の走行中確認を繰り返す。

自動車１が走行中である場合、乗員監視部２６は、乗員の監視を開始する（ステップＳＴ３４）。乗員監視部２６は、個人設定データバッファ３０から監視の制御に用いる設定値を読み込み、設定に応じた監視を実行する。
監視中に、図６のステップＳＴ７の処理により個人設定データバッファ３０の設定値が更新された場合、乗員監視部２６は、更新された設定により監視を継続する。

監視中に、乗員監視部２６は、監視起動設定データ３８に基づいて、乗員監視がＯＦＦ設定へ変更されていないか否かを判断する（ステップＳＴ３５）。乗員監視がＯＦＦ設定へ変更された場合、乗員監視部２６は、監視を終了し（ステップＳＴ３７）、図８の乗員監視処理を終了する。

また、監視中に乗員監視がＯＦＦ設定へ変更されていない場合、乗員監視部２６は、さらに走行が終了したか否かを判断する監視を終了し（ステップＳＴ３６）。
走行が終了していない場合、乗員監視部２６は、処理をステップＳＴ３３へ戻し、乗員監視を継続する。
走行が終了した場合、乗員監視部２６は、図８の乗員監視処理を終了する。

図９は、乗員が降車する際の新規登録処理の一例の流れを示すフローチャートである。
図２の乗員監視装置１２の設定更新部３１は、乗員が降車する際に図９の処理を実行する。

図９の新規登録処理において、設定更新部３１は、パークセンサ１５により自動車１がパーキング状態とされたか否かを判断する（ステップＳＴ４１）。
パークセンサ１５は、たとえばシフトレバーがパーキング位置に操作されたこと、パーキングレバーが引かれたことによりパーキング状態を検出する。
設定更新部３１は、この他にもドアロックが解除されたか否かを判断することにより、自動車１に対して降車のための操作がなされた否かを判断してよい。
設定更新部３１は、パーキング状態でない場合、ステップＳＴ４１の判断を繰り返す。

自動車１がパーキング状態とされた場合、設定更新部３１は、ゲスト設定により走行したか否かを判断する（ステップＳＴ４２）。
設定更新部３１は、認識乗員データ３７または個人設定データバッファ３０にゲストＩＤが登録されているか否かを判断すればよい。設定更新部３１は、さらに監視起動設定データ３８が監視ＯＮであるか否かを判断してよい。ゲストＩＤが登録されている場合、またはさらに監視ＯＮである場合、設定更新部３１は、ゲスト設定により走行したと判断する。
ゲスト設定により走行していない場合、設定更新部３１は、図９の新規登録処理を終了する。

ゲスト設定により走行した場合、設定更新部３１は、登録の要否を判断する（ステップＳＴ４３）。設定更新部３１は、モニタ２１に、乗車したゲストの登録確認画面を表示させる。登録確認画面には、個人設定データバッファ３０の各種の設定値を表示してよい。
そして、タッチパネル２２により登録の選択操作がなされた場合、設定更新部３１は、登録要と判断し、個人設定データバッファ３０の各種の設定値に、車内カメラ２３により撮像される乗員の顔の撮像画像データと、未使用の新たな個人ＩＤとを付加し、個人データベース３６に登録する（ステップＳＴ４４）。これにより、個人データベース３６には、乗車した新たな乗員のレコードが追加される。
タッチパネル２２により登録しない操作がなされた場合、設定更新部３１は、登録不要と判断し、図９の新規登録処理を終了する。

図１０は、図２の乗員監視装置１２での設定状態の遷移の説明図である。図１０は、基本的に個人認証がＯＮ設定であることを前提としている。
図１０に示すように、自動車１が始動されると、個人認識処理が実行可能になる。個人認識処理により、乗車した乗員が認識される。

そして、認識された乗員が個人データベース３６に登録されている場合、乗員監視装置１２の設定状態は、第１設定状態５１または第２設定状態５２となる。
第１設定状態５１は、乗員監視がＯＮ設定である場合のものである。この場合、登録されたユーザＡが認証され、ユーザＡの設定値が乗員監視のために個人設定データバッファ３０に設定される。この場合、乗員監視装置１２は、乗車している乗員を特定して、その乗員を監視することになる。

第２設定状態５２は、乗員監視がＯＦＦ設定である場合のものである。この場合、ユーザＡが認証されるが、個人設定データバッファ３０にはユーザＡの設定値が設定されない。そして、乗員監視がＯＮ設定となるように操作されて第１設定状態５１となることにより、ユーザＡの設定値が設定される。その後に、乗員監視がＯＦＦ設定となるように操作されて第１設定状態５１から遷移した場合には、個人設定データバッファ３０にはユーザＡの設定値が設定されることになる。

乗車が検出されると、再び個人認識処理により新たな乗車状態での乗員が認証される。
たとえば個人データベース３６に登録されたユーザＢが認識された場合、乗員監視装置１２の設定状態は、ユーザＢについての第１設定状態５１または第２設定状態５２となる。
これに対し、個人データベース３６に登録されていないユーザＣが認識された場合、乗員監視装置１２の設定状態は、ゲストについての第３設定状態５３または第４設定状態５４となる。

第３設定状態５３は、乗員監視がＯＮ設定である場合のものである。この場合、ユーザＣが登録されていないためゲスト設定となり、個人設定データバッファ３０も更新されない。個人設定データバッファ３０には、ユーザＣに関連付けられていない前回の設定データが登録されたままになる。この場合、乗員監視装置１２は、乗車している乗員を特定しない状態で、乗車した乗員を監視することになる。その後に、乗員監視がＯＦＦ設定となるように操作されることにより、第４設定状態５４となる。
なお、個人データベース３６にゲストＩＤと対応付けてゲスト設定を記憶させてもよい。この場合、第３設定状態５３での個人設定データバッファ３０は、ゲスト設定に更新される。

第４設定状態５４は、乗員監視がＯＦＦ設定である場合のものである。この場合にも、ユーザＣが登録されていないためゲスト設定となり、個人設定データバッファ３０も更新されない。その後に、乗員監視がＯＮ設定となるように操作されることにより、第３設定状態５３となる。
このように乗員監視装置１２の設定状態は、乗員監視のＯＮＯＦＦ設定と、個人認識の結果とに応じて異なる設定状態に遷移する。
ただし、ユーザが不明な場合でもゲスト設定となり、乗員が未設定とはならない。ゲスト設定で監視を開始または継続することができる。ユーザ未設定により監視ができなくなってしまうような事態の発生を避けることができる。

また、自動車１が走行を開始して乗員認識処理が中断した場合、乗員監視装置１２の設定状態は、第５設定状態５５または第６設定状態５６となる。

第５設定状態５５は、乗員監視がＯＮ設定である場合のものである。この場合、認識処理は中断中となる。個人設定データバッファ３０は、更新されず、前回の設定データが登録されたままになる。その後に、乗員監視がＯＦＦ設定となるように操作されることにより、第６設定状態５６となる。また、自動車１が停車中に復帰すると、中断していた乗員認識処理が再開される。

第６設定状態５６は、乗員監視がＯＦＦ設定である場合のものである。この場合にも、認識処理は中断中となる。個人設定データバッファ３０は、更新されず、前回の設定データが登録されたままになる。その後に、乗員監視がＯＮ設定となるように操作されることにより、第５設定状態５５となる。また、自動車１が停車中に復帰すると、中断していた乗員認識処理が再開される。

また、乗員認識処理中に個人認証がＯＦＦ設定に変更操作されると、乗員監視装置１２の設定状態は、第５設定状態５５または第６設定状態５６となる。

以上のように、本実施形態では、認識乗員データ３７は、個人認識部３３が認識処理を終了しても乗員を特定できない場合、乗員を特定しないゲスト情報を記憶し、乗員監視部２６は、個人設定データバッファ３０に保持している前回の設定またはゲスト用の設定に基づいて自動車１に乗車したゲストを監視することができる。
よって、乗員監視装置１２は、乗員を特定できない場合でも、乗員の操作を待たずに、自動車１に乗車したゲストの監視を開始することができる。このため、ゲストとして認識される乗員は、乗員監視装置１２に対して登録作業により設定を記憶させなくとも、認識乗員データ３７とは別に設けられた個人設定データバッファ３０に保持されている設定に基づいて、乗員監視装置１２により監視されながら自動車１の運転を開始することが可能になる。乗員監視を不要と考えている乗員などの未登録の乗員は、乗員監視装置１２に対して自らの登録作業をしなくても、自動車１の運転を開始し、必要に応じて監視されることができる。
しかも、認識乗員が登録済みの乗員および未登録の乗員の間で変更されたとしても、個人設定データバッファ３０、監視起動設定データ３８および認識起動設定データ３９は、前回の設定値を保持する。よって、監視機能の状態を常に設定された状態に維持し、監視を必要とする場合にはその監視状態を継続することができる。個人認識処理が中断された場合でも同様である。

本実施形態では、個人認識部３３は、監視起動設定データ３８が乗員監視部２６の停止の設定を記憶している場合でも、自動車１に乗車した乗員を認識できる。
よって、乗員監視装置１２による監視機能を停止するために乗員監視部２６を停止している状態においても、自動車１に乗車した乗員を認識することができる。乗員監視部２６の停止中に乗車した乗員を認識し、その乗員への監視へ切り替えることができる。乗員監視部２６による乗員の監視の設定は、たとえばゲストの設定と特定の乗員の設定との間で切り替えることができる。また、乗員監視部２６の停止中に乗員が交代しても、交代後の乗員を認識できる。その後の監視起動により、交代後の乗員を、その乗員の設定で監視することができる。

本実施形態では、認識乗員データ３７にゲストＩＤが登録されている場合、設定更新部３１が、個人設定データバッファ３０に記憶されている設定に個人ＩＤを付加して個人データベース３６に登録する。
よって、乗員は、個人設定データバッファ３０に対する設定操作をしないまま、自らの設定を個人データベース３６に登録することが可能になる。
特に、自動車１に対する乗降のための操作、たとえばシフトレバーのパーキング位置への操作を検出した場合に、乗員に登録の確認をとった後、個人設定データバッファ３０に記憶されている設定を個人データベース３６に登録することにより、乗員に個別の設定操作のすべてを行わせることなく、その乗員の設定を必要に応じて個人データベース３６に登録することができる。

本実施形態では、乗員監視部２６を起動する設定において認識乗員データ３７の個人ＩＤが更新された場合、個人データベース３６においてその個人ＩＤと対応付けて登録されている設定により、個人設定データバッファ３０の設定値を更新する。よって、乗員監視部２６は、個人認識部３３が最後に認識した乗員の設定により、乗員の監視を開始することができる。

本実施形態では、自動車１の走行中には、個人認識部３３の認識処理が完了していなくとも、それを中断して、乗員監視部２６による乗員監視を可能にする。しかも、走行後に再び停車した場合には中断した認識処理を再開し、認識処理を完了することができる。

本実施形態では、認識処理中に個人認識部３３が停止された場合、個人認識部３３は処理中の認識処理を終了する。よって、乗員が認識処理を不要と考える場合において、不要な認識処理をしないようにすることができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明はこれに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、ドア３の閉操作により、自動車１への乗員の乗車を検出している。この他にもたとえば、ドア３の開操作により、自動車１への乗員の乗車を検出してもよい。また、シート４の着座センサによる乗員検出により、自動車１への乗員の乗車を検出してもよい。

１…自動車（車両）、２…車体、３…ドア、４…シート、５…ダッシュボード、６…ハンドル、１０…車載ネットワークシステム、１１…車内ネットワーク、１２…乗員監視装置、１３…ドア開閉センサ、１４…車速センサ、１５…パークセンサ（検出部）、１６…ポジション設定装置、１７…運転支援装置、１８…車外通信装置、２１…モニタ、２２…タッチパネル、２３…車内カメラ、２４…監視部、２５…対処部、２６…乗員監視部（監視部）、２７…スピーカ、２８…シート振動部材、２９…車内通信部、３０…個人設定データバッファ（設定記憶部の一部）、３１…設定更新部（登録部、更新部）、３２…起動制御部、３３…個人認識部（認識部）、３４…記録部、３５…本体、３６…個人データベース（データベース）、３７…認識乗員データ（認識乗員記憶部）、３８…監視起動設定データ（設定記憶部の一部）、３９…認識起動設定データ（設定記憶部の一部）、５１…第一設定状態、５２…第二設定状態、５３…第三設定状態、５４…第四設定状態、５５…第五設定状態、５６…第六設定状態

Claims (8)

1. 車両に設けられ、前記車両に乗車した乗員を監視する乗員監視装置であって、
   前記車両に乗車した乗員を認識する認識部と、
   前記認識部により認識された乗員情報を記憶可能な認識乗員記憶部と、
   前記認識乗員記憶部に記憶されている乗員の設定を記憶可能な設定記憶部と、
   前記設定記憶部の設定に基づいて前記車両に乗車した乗員を監視する監視部と、
   を有し、
   前記認識乗員記憶部は、前記認識部が認識処理により乗員を特定できない場合、乗員を特定しないゲスト情報を記憶し、
   前記監視部は、前記設定記憶部の設定に基づいて前記車両に乗車したゲストを監視する、
   車両の乗員監視装置。
   
2. 前記設定記憶部は、前記監視部の起動停止についての設定を記憶し、
   前記認識部は、前記監視部を停止する場合でも、前記車両に乗車した乗員を認識する、
   請求項１記載の車両の乗員監視装置。
   
3. 前記車両を利用する複数の乗員の前記乗員情報および前記設定を記憶するデータベースと、
   前記設定記憶部に記憶されている設定に乗員情報を付加して前記データベースに登録する登録部と、を有し、
   前記登録部は、前記認識乗員記憶部にゲスト情報が登録されている場合、前記設定記憶部に記憶されている設定に乗員情報を付加して前記データベースに登録する、
   請求項１または２記載の車両の乗員監視装置。
   
4. 前記車両に対する乗降のための操作を検出する検出部、を有し、
   前記登録部は、乗降のための操作が前記検出部により検出された際に前記認識乗員記憶部にゲスト情報が登録されている場合、前記設定記憶部に記憶されている設定に乗員情報を付加して前記データベースに登録する、
   請求項３記載の車両の乗員監視装置。
   
5. 前記検出部は、前記車両のシフトレバーがパーキング位置へ操作されたことを検出する、
   請求項４記載の車両の乗員監視装置。
   
6. 前記データベースにおいて前記認識乗員記憶部の前記乗員情報と対応付けられている設定により、前記設定記憶部を更新する更新部、を有する、
   請求項３から５のいずれか一項記載の車両の乗員監視装置。
   
7. 前記監視部は、前記車両の走行中に乗員を監視し、
   前記認識部は、前記車両の停車中に乗員を認識し、
   前記認識部の認識処理が完了する前に前記車両が走行を開始した場合、前記認識部は認識処理を中断し、前記監視部は、前記車両に乗車した乗員を監視し、
   前記認識部は、その後に前記車両が停車した場合、中断した認識処理を再開する、
   請求項１から６のいずれか一項記載の車両の乗員監視装置。
   
8. 前記設定記憶部は、前記認識部の起動停止についての設定を記憶し、
   前記認識部は、認識処理中に前記認識部が停止された場合、認識処理を中断する、
   請求項７記載の車両の乗員監視装置。
   
   

Images