JP2019202726A - 車両の乗員監視装置 - Google Patents

Abstract

【課題】乗員監視装置では、監視対象の人数を増やす場合であっても、撮像デバイスの使用個数を抑えることが求められている。【解決手段】 乗員室２に設けられたシート３に乗員が着座する車両の乗員監視装置１７は、車幅方向に並んで着座する複数の乗員を撮像する撮像デバイス３５と、シート３による複数の着座位置に対応して設けられ、着座した各乗員へ向けて投光する複数の投光デバイス３６，３７と、を有する。【選択図】 図４

Description

本発明は、車両の乗員監視装置に関する。

自動車といった車両は、基本的に、複数の乗員が乗り込み、運転手が運転する。
そして、特許文献１は、乗員監視装置を開示する。

特開２００６−１３４０３８号公報

しかしながら、特許文献１の乗員監視装置は、運転手一人のみを監視するものであり、撮像デバイスも、運転手一人のみを撮像するように設けられている。
このため、たとえば運転手だけでなく助手やその他の乗員についても監視しようとすると、乗員監視装置は、監視対象の人数分の撮像デバイスが必要になる。
また、乗員監視装置が監視のために同時的に処理しなければならない画像の数も、監視対象の人数に対応した撮像デバイスの個数分に増える。

このように乗員監視装置では、監視対象の人数を増やす場合であっても、撮像デバイスの使用個数を抑えることが求められている。

本発明に係る車両の乗員監視装置は、乗員室に設けられたシートに乗員が着座する車両の乗員監視装置であって、車幅方向に並んで着座する複数の乗員を撮像する撮像デバイスと、前記シートによる複数の着座位置に対応して設けられ、着座した各乗員へ向けて投光する複数の投光デバイスと、を有する。

好適には、前記撮像デバイスは、前記乗員室において車幅方向の中央部に設けられ、車幅方向に並んで着座する複数の乗員を、１つの画像に撮像する、とよい。

好適には、各前記投光デバイスは、乗員の少なくとも頭部に対して投光する、とよい。

好適には、各前記投光デバイスは、投光する乗員の着座位置に対して斜め方向または横方向に設けられる、とよい。

好適には、前記乗員室には、運転手用の前記シートと助手用の前記シートとが車幅方向に並んで設けられ、前記撮像デバイスは、前記乗員室に設けられたダッシュボードの中央部に設けられ、車幅方向に並んで着座する運転手と助手とを、１つの画像に撮像する、とよい。

好適には、運転手用の前記投光デバイスは、前記ダッシュボードにおいて、前記撮像デバイスについての助手の側に並べて設けられ、助手用の前記投光デバイスは、前記ダッシュボードにおいて、前記撮像デバイスについての運転手の側に並べて設けられる、とよい。

好適には、運転手用の前記投光デバイスと、助手用の前記投光デバイスとは、前記撮像デバイスを間に挟んで車幅方向に並ぶように、前記ダッシュボードの中央上部に集めて設けられる、とよい。

好適には、運転手用の前記投光デバイス、助手用の前記投光デバイス、および前記撮像デバイスは、前記ダッシュボードに設けられる表示デバイスまたは操作デバイスの周囲に設けられる、とよい。

好適には、運転手用の前記投光デバイス、助手用の前記投光デバイス、および前記撮像デバイスの下側には、空調ダクトが設けられる、とよい。

好適には、前記撮像デバイスにより撮像された画像に基づいて乗員監視のための制御を実行する制御部、を有し、前記制御部は、前記撮像デバイスが撮像した１つの画像に基づいて、車幅方向に並んで着座する複数の乗員についての監視制御を実行する、とよい。

好適には、前記制御部は、前記撮像デバイスの方向へ顔を向けた画像と、前記車両の正面へ顔を向けた画像とに基づいて、乗員を識別する、とよい。

このように本発明の乗員監視装置では、車幅方向に並んで着座する複数の乗員を、１つの撮像デバイスで撮像する。よって、本発明では、監視対象の人数を増やす場合であっても、撮像デバイスや投光デバイスの使用個数を抑えることができる。
また、本発明では、シートの着座位置と一対一に対応して設けられる複数の投光デバイスから、着座した各乗員へ向けて投光する。よって、車両の乗員監視装置では、車両の移動中の太陽光の有無などの急激な変化により撮像環境が大きくかつ急激に変化することがあるが、そのような場合であっても、本発明では、１つの撮像デバイスによる撮像画像において、複数の監視対象の乗員が良好に撮像されている画像を得ることができる。
しかも、本発明において投光デバイスは、撮像デバイスと同様に車幅方向に並んで着座する複数の乗員の全体に対して投光するのではなく、各乗員へ向けて個別に投光する。よって、本発明では、複数の乗員の全体に対して投光する場合と比べて少ない総光量で、複数の乗員に対して効率よく投光できる。投光による車両の負荷を軽減できる。また、車両の乗員監視装置では、各乗員に対して強い日射が当たっている場合であっても、各乗員について監視に利用可能な濃度差の画像を得る必要があるが、そのような画像を少ない総光量により得ることが可能になる。

図１は、本発明の実施形態に係る乗員監視装置が適用される自動車の説明図である。 図２は、図１の前列の二つのシートに、運転手と助手とが着座している状態を示す説明図である。 図３は、図１の自動車の制御装置の説明図である。 図４は、本発明の実施形態に係る乗員監視装置の構成図である。 図５は、図４のセンサユニットの構造およびレイアウトの説明図である。 図６は、図４の撮像デバイスの撮像範囲と、一対の投光デバイスの投光範囲とを模式的に示す図である。 図７は、図４の監視制御部による乗員登録処理のフローチャートである。 図８は、図４の監視制御部による乗員監視処理のフローチャートである。

図１は、本発明の実施形態に係る乗員監視装置１７が適用される自動車１の説明図である。
自動車１は、車両の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
図１の自動車１は、乗員が着座するシート３が設けられる乗員室２、を有する。
シート３に着座した運転手の前には、ダッシュボード４から後向きに突出したハンドル５、が配置される。

図２は、図１の前列の二つのシート３に、運転手と助手とが着座している状態を示す説明図である。
図２には、乗員室２には、運転手用のシート３と、助手用のシート３とが、車幅方向に並んで設けられる。

図３は、図１の自動車１の制御装置１０の説明図である。
図３の制御装置１０は、ドア開閉センサ１１、車速センサ１２、パークセンサ１３、表示デバイス１４、操作デバイス１５、スピーカデバイス１６、乗員監視装置１７、ポジション設定装置１８、運転支援装置１９、車外通信装置２０、乗員保護装置２１、空調装置２２、およびこれらを接続する車内ネットワーク２３、を有する。

車内ネットワーク２３には、たとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークがある。車内ネットワーク２３は、無線の通信ネットワークでもよい。

ドア開閉センサ１１は、自動車１のドアが閉じた状態から開いたこと、および、開いた状態のドアが閉じられたことを検出する。

車速センサ１２は、自動車１の停止および走行を検出する。車速センサ１２は、自動車１の走行速度を検出してもよい。

パークセンサ１３は、自動車１が停車状態に維持されるパーキング状態を検出する。パーキング状態は、たとえばシフトレバーがパーキング位置に操作されたこと、パーキングレバーが引かれたこと、により検出することができる。

表示デバイス１４は、各種の情報や画像を表示する。

操作デバイス１５は、乗員の操作に応じた操作情報を生成する。

スピーカデバイス１６は、音声、警告音などを出力する。

ポジション設定装置１８は、たとえば、シート３の前後上下の位置および背もたれの角度、ハンドル５の前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。また、シート３に着差した乗員に対応する設定データを記録し、それに基づいてシート３、ハンドル５およびペダルの位置および角度を調整する制御を実行する。なお、ポジション設定装置１８は、自動運転中でのポジションの設定データを、手動運転中でのポジションの設定データと別に記録し、自動車１の運転状況に応じてポジションを変更してもよい。

運転支援装置１９は、乗員による自動車１の走行操作を支援するように、自動車１の走行、停止および操舵を制御する。また、運転支援装置１９は、全自動で、自動車１の走行、停止および操舵を制御してもよい。

車外通信装置２０は、たとえば公共無線通信網や商用無線通信網を用いて、地上に設置された通信設備や他の自動車の車外通信装置と、双方向のデータ通信を実行する。これにより、自動車１は、交通情報、周囲を走行する自動車１の走行状態、自車の周囲の交通状況に関する情報を取得できる。また、車外通信装置２０は、たとえば自動運転中などの自車の走行状態の情報を送信できる。

乗員保護装置２１は、衝突の際にエアバッグを展開したりシートベルトにテンションかけたりすることにより、シート３に着座した乗員を保護する。

空調装置２２は、乗員室２へ冷却または過熱した空気を供給し、これにより乗員室２の温度を設定温度に調整する。

乗員監視装置１７は、たとえば乗員室２に乗車してドライバ用のシート３に着座した乗員を認識し、認識した乗員の脇見や居眠りを監視する。そして、乗員が脇見や居眠りをしていることを検出した場合、乗員監視装置１７は、スピーカデバイス１６から、音声などにより乗員に対して警告を発する。これにより、乗員の注意を自動車１の走行に集中させるように仕向けて安全性を高めることが期待できる。このように、乗員監視装置１７は、車内ネットワーク２３を通じて他の機器から制御に必要な情報を得たり、車内ネットワーク２３を通じて他の機器を制御したりする。

ところで、自動車１には、運転手だけでなく、助手などの他の乗員も乗り込んでシート３に着座する。
このため、乗員監視装置１７は、運転手だけでなく、助手などの他の乗員も監視するのが望ましい。
しかしながら、このように複数の乗員を監視しようとする場合、乗員監視装置１７は、乗員毎の撮像デバイス３５を複数で備える必要がある。撮像デバイス３５は、基本的に、自動車１に設けられているシート３の着座位置と同数で必要になる。
たとえば運転手だけでなく助手についても監視しようとすると、乗員監視装置１７は、監視対象の人数分に相当する２つの撮像デバイス３５が必要になる。
また、乗員監視装置１７が監視のために同時的に処理しなければならない画像の数も、撮像デバイス３５の個数分に応じて比例的に増えてしまう。
このように乗員監視装置１７では、監視対象の人数を増やす場合であっても、撮像デバイス３５の使用個数を抑えることが求められている。
ここでは、車幅方向に並んでシート３に着座する運転手と助手とを監視する乗員監視装置１７を例に説明する。

図４は、本発明の実施形態に係る乗員監視装置１７の構成図である。
図４の乗員監視装置１７は、センサユニット３１、監視制御部３８、記録部３９、を有する。
また、図４には、ダッシュボード４の中央下部に配置されるタッチパネルディスプレイデバイス４１が図示されている。タッチパネルディスプレイデバイス４１は、表示デバイス１４の表示画面の上に透明な操作デバイス１５が重ねられたものである。

図５は、図４のセンサユニット３１の構造およびレイアウトの説明図である。
図５（Ａ）は、センサユニット３１を後方から見た図である。
図５（Ｂ）は、センサユニット３１を上方から見た図である。

センサユニット３１は、ダッシュボード４の中央上部に設けられる。
図５のセンサユニット３１は、保冷カバー３２、撮像デバイス３５、運転手用の投光デバイス３６、助手用の投光デバイス３７、を有する。

保冷カバー３２は、高い熱伝導率を有するアルミダイキャスト製のものであり、カバー部３３と、熱伝導部３４と、を有する。
カバー部３３は、略長方形の板形状を有し、撮像デバイス３５および一対の投光デバイス３６，３７の上側を覆う。
熱伝導部３４は、略コの字形状を有し、略長方形の板形状のカバー部３３から下へ延在する。
そして、熱伝導部３４の下端縁は、撮像デバイス３５および一対の投光デバイス３６，３７より下側まで延在する。

これにより、撮像デバイス３５および一対の投光デバイス３６，３７は、上側、前側および左右両側が、高い熱伝導率を有するカバー部３３に覆われる。
センサユニット３１がダッシュボード４の中央上部に設けられているが、撮像デバイス３５および一対の投光デバイス３６，３７には、太陽からの直射日光により過熱され難くなる。
また、センサユニット３１の直下には、空調装置２２の空調ダクト４２が設けられる。空調装置２２が動作している場合、空調ダクト４２は設定温度になる。空調ダクト４２により、高い熱伝導率を有するカバー部３３も、設定温度に近い温度に制御される。
このため、太陽からの直射日光が照射されている状況において撮像デバイス３５および一対の投光デバイス３６，３７が発熱しても、撮像デバイス３５および一対の投光デバイス３６，３７は、動作可能な温度に維持され得る。

記録部３９は、たとえば半導体メモリデバイス、ハードディスクデバイス、である。記録部３９は、乗員監視装置１７で用いるプログラムやデータを保持する。記録部３９は、たとえば個人データベース４０を保持する。

個人データベース４０は、乗員監視装置１７にされた乗員の情報として、乗員毎にたとえば識別番号、認証用の顔画像、設定情報、などを有する。

監視制御部３８、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＣＰＵは、記録部３９のプログラムを読み込んで実行する。これにより、監視制御部３８が実現される。
監視制御部３８は、乗員室２に乗車している乗員を識別して監視する。
監視制御部３８は、撮像デバイス３５により撮像された画像に基づいて、乗員監視のための制御を実行する。

次に、撮像デバイス３５、および一対の投光デバイス３６，３７について説明する。

図６は、図４の撮像デバイス３５の撮像範囲と、一対の投光デバイス３６，３７の投光範囲とを模式的に示す図である。
図６は、撮像範囲および投光範囲を、上から見た図である。図２には、前側から見た撮像範囲および投光範囲を図示する。
これらの図において、撮像範囲は、破線で示されている。投光範囲は、一点鎖線で示されている。

撮像デバイス３５は、たとえば赤外線による画像を広角で撮像する。
撮像デバイス３５は、乗員室２において車幅方向の中央部に相当する、ダッシュボード４の中央部に設けられる。
撮像デバイス３５は、図６および図２に破線で示すように、車幅方向に並んで着座する運転手と助手とを含む撮像範囲を、１つの赤外線画像に撮像する。

一対の投光デバイス３６，３７は、たとえば赤外線を投光する。
投光デバイス３６，３７は、本実施形態での撮像対象である運転手と助手と一対一対応で設けられる。
投光デバイス３６，３７は、図６および図２に一点鎖線で示すように、シート３による着座した各乗員へ向けた投光範囲に赤外線を照射する。この際、投光デバイス３６，３７は、図示外の集光レンズを備えてよい。これにより、図２に示すように、投光デバイス３６，３７は、乗員の頭部や顔が可動する投光範囲に向けて集中的に赤外線を照射できる。
投光デバイス３６，３７は、出力光量が大きくなるほど、多くの電力を消費し、発熱が大きくなる。本実施形態では、投光デバイス３６，３７による投光範囲を図６および図２に示すように撮像範囲の一部となるように絞り込む。これにより、一対の投光デバイス３６，３７は、少ない電力消費および発熱により、複数の乗員の頭部に対して強い赤外線を照射できる。強い直射日光が照りつけている状況下でも、監視制御部３８は、撮像デバイス３５撮像画像において各乗員の頭部の特徴を抽出し得る。

運転手用の投光デバイス３６と、助手用の投光デバイス３７とは、撮像デバイス３５を間に挟んで車幅方向に並ぶように、ダッシュボード４の中央上部に集めて設けられる。
運転手用の投光デバイス３６は、ダッシュボード４において、撮像デバイス３５についての助手の側に並べて設けられる。
助手用の投光デバイス３７は、ダッシュボード４において、撮像デバイス３５についての運転手の側に並べて設けられる。
これにより、各投光デバイス３６，３７は、撮像対象の乗員の頭部に対して、正面方向や横方向からではなく、斜め下方向から、赤外線を照射することができる。
また、運転手用の投光デバイス３６、助手用の投光デバイス３７、および撮像デバイス３５は、ダッシュボード４の中央下部に設けられるタッチパネルディスプレイデバイス４１の周囲である上側に設けられる。

次に、図４の監視制御部３８による乗員の監視制御について説明する。
監視制御部３８は、たとえばドア開閉センサ１１による開閉検出に基づいて乗員の乗車を判断すると、乗員の監視を開始する。
監視制御部３８は、一対の投光デバイス３６，３７を点灯させる。また、監視制御部３８は、撮像デバイス３５を動作させる。これにより、監視制御部３８は、運転手と助手とを撮像した赤外線画像を取得可能な状態になる。

図７は、図４の監視制御部３８による乗員登録処理のフローチャートである。

図７のステップＳＴ１において、監視制御部３８は、まず、乗員を登録するか否かを判断する。乗員を登録しない場合、監視制御部３８は、図７の処理を終了する。
乗員を登録する場合、ステップＳＴ２において、監視制御部３８は、乗員の登録の案内を、表示デバイス１４としてのタッチパネルディスプレイデバイス４１に表示させる。
ステップＳＴ３において、監視制御部３８は、乗員の登録を開始する案内をタッチパネルディスプレイデバイス４１に表示した状態で、撮像デバイス３５による赤外線画像を取得する。
タッチパネルディスプレイデバイス４１に乗員の登録を開始する案内を表示することにより、乗車している運転手または助手は、顔をタッチパネルディスプレイデバイス４１へ向けて、表示内容を確認する。
よって、タッチパネルディスプレイデバイス４１の周辺である上側に配置される撮像デバイス３５は、乗車している運転手の顔または助手の顔を正対してとらえた画像を撮像し得る。

次に、ステップＳＴ４において、監視制御部３８は、タッチパネルディスプレイデバイス４１の表示を切り替え、顔を正面へ向けることを指示する案内を表示させる。
また、監視制御部３８は、ステップＳＴ５において、撮像デバイス３５による赤外線画像を取得する。
これにより、撮像デバイス３５は、正面を向いている運転手の顔または助手の顔をとらえた画像を撮像し得る。

その後、ステップＳＴ６において、監視制御部３８は、ユーザ登録処理を実行する。
ユーザ登録処理において、監視制御部３８は、撮像した二枚の画像から、運転手または助手の顔の画像として、正対した顔と、正面を向いた顔とを切り出す。
そして、監視制御部３８は、新たな識別番号とともに、切り出した二枚の画像などを、個人データベース４０に追加する。監視制御部３８は、切り出した二枚の画像に含まれる乗員の顔の特徴点を、個人データベース４０に追加してよい。
これにより、個人データベース４０には、新たなユーザの情報が登録される。

図８は、図４の監視制御部３８による乗員監視処理のフローチャートである。

図８のステップＳＴ１１において、監視制御部３８は、たとえばドア開閉センサ１１による開閉検出に基づいて、乗員の乗車を判断する。

ステップＳＴ１２において、監視制御部３８は、乗車した乗員を識別する。
監視制御部３８は、撮像デバイス３５から新たな撮像画像を取得し、個人データベース４０に登録されている顔の画像と照合し、乗車した乗員を識別する。
照合処理において、監視制御部３８は、たとえば個人データベース４０に登録されているすべての顔の画像と照合し、最もマッチング処理の評価値が高い顔の画像を特定し、特定した画像に対応するユーザを、個人データベース４０において特定する。
すなわち、監視制御部３８は、顔を撮像デバイス３５の方向へ向けた画像と、顔を車両の正面へ向けた画像とに基づいて、乗員を識別して特定する。
なお、自動車１の正面を向いた画像は、顔を斜め横方向からとらえた画像である。
これに対し、撮像デバイス３５の方向へ顔を向けた正対した画像は、顔を正面からとらえた画像であり、顔の鼻などについての凹凸による特徴点が画像に表れやすい。
よって、監視制御部３８は、照合処理の判断において、正対した画像より、正面を向いた画像を優先するとよい。
また、監視制御部３８は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。

ステップＳＴ１３において、監視制御部３８は、識別した乗員に応じた設定制御を実行する。
監視制御部３８は、個人データベース４０において識別した乗員に対応付けて登録されている設定値に基づいて、各種の設定制御を実行する。
監視制御部３８は、たとえば個人データベース４０に登録されているシート位置の設定値を、ポジション設定装置１８へ通知する。ポジション設定装置１８は、シート３を、通知された設定値の位置に制御する。

ステップＳＴ１４において、監視制御部３８は、乗員の監視を開始する。監視制御部３８は、撮像デバイス３５により撮像された画像を取得することにより、乗員の現在の状態を取得する。
監視制御部３８は、撮像デバイス３５が撮像した１つの画像に基づいて、乗車を特定した運転手および助手についての現在の状態を取得する。
監視制御部３８は、たとえば、現在の画像から特徴点を抽出し、識別した乗員の画像から得られる特徴点と比較して、乗員の顔の向き、目の開き具合といった現在の状態を取得する。

ステップＳＴ１５において、監視制御部３８は、制御が必要であるか否かを判断する。制御が不要である場合、監視制御部３８は、処理をステップＳＴ１７に進める。
制御が必要である場合、監視制御部３８は、ステップＳＴ１６において、その必要とされている制御を実行する。
たとえば、走行中の車両において運転手の顔が下を向いていると、監視制御部３８は、乗員への報知制御が必要であると判断する。監視制御部３８は、スピーカデバイス１６から注意喚起の音を出力する。
この他にもたとえば、監視制御部３８がステップＳＴ１４において助手用のシート３へのチャイルドバケットの装着を取得すると、監視制御部３８は、助手用のシート３に対してエアバッグを展開させない制御を実施する。乗員保護装置２１は、監視制御部３８の制御により、助手用のシート３に対してエアバッグを展開させない設定を実行する。

ステップＳＴ１７において、監視制御部３８は、乗員が降車して監視が不要であるか否かを判断する。
乗員が降車しておらず監視が必要である場合、監視制御部３８は、処理をステップＳＴ１４へ戻す。
これにより、監視制御部３８は、乗員監視を継続する。
乗員が降車して監視が不要である場合、監視制御部３８は、図８の処理を終了する。

以上のように、本実施形態の乗員監視装置１７は、車幅方向に並んで着座する運転手および助手を、１つの撮像デバイス３５で撮像する。よって、本実施形態では、監視対象の人数が二人であるにもかかわらず、１つの撮像デバイス３５で監視することができる。乗員監視装置１７では、撮像デバイス３５を、乗員毎に設けなくてよい。しかも、撮像デバイス３５は、乗員室２のダッシュボード４において車幅方向の中央部に設けられる。これにより、撮像デバイス３５は、車幅方向に並んで着座する運転手および助手を、１つの赤外線画像に好適に分けて撮像できる。また、乗員監視のための制御を実行する監視制御部３８は、撮像デバイス３５が撮像した１つの赤外線画像に基づいて、車幅方向に並んで着座する運転手および助手についての監視制御を実行できる。これに対して、仮にたとえば撮像デバイス３５を乗員の正面に設ける場合、乗員監視装置１７では、乗員毎に撮像デバイス３５を設ける必要がある。しかも、撮像デバイス３５を乗員の正面に設ける場合、乗員の実際の目とともに、眼鏡に写った目が重なって撮像される可能性がある。本実施形態では、このような撮像が起き難くなる。

また、本実施形態では、投光デバイス３６，３７については、車幅方向に並んで着座する運転手および助手と一対一に対応させて２つ設けている。投光デバイス３６，３７は、乗員ごとに設けられ、車幅方向に並んで着座する二人の乗員の全体に対して投光するのではなく、各乗員へ向けて個別に投光する。よって、投光デバイス３６，３７は、車幅方向に並んで着座する複数の乗員の全体に対して赤外線を投光する必要がない。しかも、各投光デバイス３６，３７は、乗員の頭部に対して投光している。本実施形態では、投光デバイス３６，３７により赤外線を照射する範囲を、乗員の監視に必要となる最小限の範囲に抑えている。本実施形態では、複数の乗員に対して最小限の光量により無駄なく効率よく投光することができる。本実施形態では、二人の乗員の全体に対して投光する場合と比べて少ない総光量で、二人の乗員に対して効率よく投光できる。投光による自動車１の負荷を軽減できる。また、撮像対象の乗員の顔に対して個別に下側から投光することにより、乗員に対して強い日射が当たったり自動車１の移動中に明るさが急激に変化したりすることがあったとしても、撮像デバイス３５は、各乗員について顔の凹凸を撮像することが可能になる。

しかも、本実施形態では、各投光デバイス３６，３７は、投光する乗員の着座位置に対して横方向に近い斜め方向に設けられる。特に、運転手用の投光デバイス３６を、ダッシュボード４において、撮像デバイス３５についての反対側の助手の側に並べるとともに、助手用の投光デバイス３７を、ダッシュボード４において、撮像デバイス３５についての反対側の運転手の側に並べている。撮像対象の乗員について車体の反対側の側面に投光デバイス３６，３７を設ける場合と比べて、投光デバイス３６，３７は、撮像対象の乗員の近くに配置され、乗員に対する投光距離を短くできる。投光デバイス３６，３７から乗員までの距離が長くなるほどに生じる光の拡散を抑えて、投光デバイス３６，３７の光を効率よく乗員に照射できる。しかも、各投光デバイス３６，３７は、ダッシュボード４の撮像デバイス３５を基準として、撮像対象の乗員の反対側に設けられる。これにより、投光デバイス３６，３７は、乗員に対する斜めからの投光角度を確保できる。投光デバイス３６，３７の光は、乗員の前側にあるたとえばハンドル５などの部材により遮られたり、ハンドル５を操作する乗員の腕により遮られたりすることなく、乗員の頭部へ到達し得る。しかも、赤外線は、顔全体へ到達し得る。その結果、撮像デバイス３５は、顔全体で反射された赤外線を含み、顔全体の凹凸や特徴をはっきりと写した画像を撮像できる。

また、本実施形態において、これらの運転手用の投光デバイス３６と、助手用の投光デバイス３７とは、撮像デバイス３５を間に挟んで車幅方向に並ぶように、ダッシュボード４の中央上部に集めて設けられている。したがって、乗員の顔が下向きになっても、その下向きの顔を正面に近い方向から撮像できる。頭部を正面から角度なく撮像する像と比べて、目を含めた顔の特徴を明瞭に撮像することができる。また、乗員が眼鏡やサングラスを掛けている場合でも、撮像デバイス３５からの左右の目の視認角度の違いにより、左右の目の中の少なくとも一方を撮像できる可能性が高い。また、頭部を真横から撮像する場合と比べて、顔全体を撮像することができる。

また、本実施形態では、運転手用の投光デバイス３６、助手用の投光デバイス３７、および撮像デバイス３５は、ダッシュボード４の中央部において、表示デバイス１４または操作デバイス１５の周囲である上側に設けられる。よって、一対の投光デバイス３６，３７および撮像デバイス３５は、ダッシュボード４の中央部において、表示デバイス１４または操作デバイス１５を見る乗員の正面の顔へ投光して撮像することができる。

しかも、本実施形態では、一対の投光デバイス３６，３７および撮像デバイス３５の上側は、保冷カバー３２の厚いカバー部３３により覆われる。これにより、一対の投光デバイス３６，３７および撮像デバイス３５は、直射日光に照らされるダッシュボード４の中央上部に設けられているにもかかわらず、直射日光の影響を受けにくくなる。また、一対の投光デバイス３６，３７および撮像デバイス３５の下側には、空調ダクト４２が設けられる。また、保冷カバー３２は、これらのデバイスの下側まで延在する熱伝導部３４を有し、熱伝導部３４の下端は、空調ダクト４２の近くに位置する。保冷カバー３２の全体は、空調ダクト４２の冷気により冷却され得る。よって、一対の投光デバイス３６，３７および撮像デバイス３５は、それらのすべてが長時間にわたって継続的に動作しても、空調ダクト４２の空調温度またはそれに近い温度に維持され得る。撮像デバイス３５の画像には、撮像デバイス３５が一対の投光デバイス３６，３７の発熱の影響を受け得る配置にあるとしても、熱暴走などによる乱れが生じ難くなる。

本実施形態では、撮像デバイス３５により撮像された画像に基づいて乗員の監視および制御を実行する監視制御部３８は、撮像デバイス３５の方向へ向けた顔の画像と、自動車１の正面へ向けた顔の画像とに基づいて、乗員を識別する。よって、本実施形態では、仮にたとえばそれらの中の１種類の画像のみに基づいて乗員を識別する場合と比べて、各乗員をより確実に識別することができる。監視制御部３８は、各乗員の画像を基準としたマッチング処理の評価値に基づいて乗員を識別したとしても、各乗員を高い確度にて識別することができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

上記実施形態は、乗員監視装置１７は、乗員室２の前列のシート３に着座する運転手および助手を、１つの撮像デバイス３５で撮像して監視している。
この他にもたとえば、乗員監視装置１７は、撮像デバイス３５で撮像した１つの画像において、乗員室２の後列のシート３に着座する他の乗員についても監視してよい。
また、乗員監視装置１７は、ダッシュボード４の撮像デバイス３５では死角となる乗員を、その他の撮像デバイスにより撮像して監視してよい。

上記実施形態は、投光デバイス３６，３７は、監視する複数の乗員のそれぞれの頭部に対して個別に投光している。
この他にもたとえば、投光デバイス３６，３７は、必要に応じて、監視する複数の乗員のそれぞれについての、たとえば頭部から胸部までにかけての少なくとも頭部に対して赤外線を照射してよい。この場合でも、複数の乗員の全体に対して照射する場合よりも照射範囲を制限することができ、投光デバイス３６，３７は、効率よく投光することができる。

１…自動車（車両）、２…乗員室、３…シート、４…ダッシュボード、５…ハンドル、１４…表示デバイス、１５…操作デバイス、１６…スピーカデバイス、１７…乗員監視装置、３１…センサユニット、３２…保冷カバー、３３…カバー部、３４…熱伝導部、３５…撮像デバイス、３６…投光デバイス、３７…投光デバイス、３８…監視制御部、３９…記録部、４０…個人データベース、４１…タッチパネルディスプレイデバイス、４２…空調ダクト

Claims (11)

1. 乗員室に設けられたシートに乗員が着座する車両の乗員監視装置であって、
   車幅方向に並んで着座する複数の乗員を撮像する撮像デバイスと、
   前記シートによる複数の着座位置に対応して設けられ、着座した各乗員へ向けて投光する複数の投光デバイスと、
   を有する、
   車両の乗員監視装置。
   
2. 前記撮像デバイスは、前記乗員室において車幅方向の中央部に設けられ、車幅方向に並んで着座する複数の乗員を、１つの画像に撮像する、
   請求項１記載の車両の乗員監視装置。
   
3. 各前記投光デバイスは、乗員の少なくとも頭部に対して投光する、
   請求項１または２記載の車両の乗員監視装置。
   
4. 各前記投光デバイスは、投光する乗員の着座位置に対して斜め方向または横方向に設けられる、
   請求項１から３のいずれか一項記載の車両の乗員監視装置。
   
5. 前記乗員室には、運転手用の前記シートと助手用の前記シートとが車幅方向に並んで設けられ、
   前記撮像デバイスは、前記乗員室に設けられたダッシュボードの中央部に設けられ、車幅方向に並んで着座する運転手と助手とを、１つの画像に撮像する、
   請求項１または２記載の車両の乗員監視装置。
   
6. 運転手用の前記投光デバイスは、前記ダッシュボードにおいて、前記撮像デバイスについての助手の側に並べて設けられ、
   助手用の前記投光デバイスは、前記ダッシュボードにおいて、前記撮像デバイスについての運転手の側に並べて設けられる、
   請求項５記載の車両の乗員監視装置。
   
7. 運転手用の前記投光デバイスと、助手用の前記投光デバイスとは、前記撮像デバイスを間に挟んで車幅方向に並ぶように、前記ダッシュボードの中央上部に集めて設けられる、
   請求項５または６記載の車両の乗員監視装置。
   
8. 運転手用の前記投光デバイス、助手用の前記投光デバイス、および前記撮像デバイスは、前記ダッシュボードに設けられる表示デバイスまたは操作デバイスの周囲に設けられる、
   請求項５から７のいずれか一項記載の車両の乗員監視装置。
   
9. 運転手用の前記投光デバイス、助手用の前記投光デバイス、および前記撮像デバイスの下側には、空調ダクトが設けられる、
   請求項５から８のいずれか一項記載の車両の乗員監視装置。
   
10. 前記撮像デバイスにより撮像された画像に基づいて乗員監視のための制御を実行する制御部、を有し、
    前記制御部は、前記撮像デバイスが撮像した１つの画像に基づいて、車幅方向に並んで着座する複数の乗員についての監視制御を実行する、
    請求項１から９のいずれか一項記載の車両の乗員監視装置。
    
11. 前記制御部は、前記撮像デバイスの方向へ顔を向けた画像と、前記車両の正面へ顔を向けた画像とに基づいて、乗員を識別する、
    請求項１０記載の車両の乗員監視装置。
    

Images