JP2022129368A - 車両の乗員監視装置 - Google Patents

Abstract

【課題】車両に乗る複数の乗員の状態を良好に監視できるようにする。【解決手段】車両１の乗員監視装置１５は、車両１に乗る複数の乗員の状態を監視可能にするために車両１の車室を撮像する撮像部材４１と、車両１に乗る乗員に視認させる画面を表示する表示部材３２と、表示部材３２に画面を表示している際の乗員を撮像部材４１により撮像した撮像データを用いて、車両１に乗る乗員の状態を判断する判断部３６と、を有する。表示部材３２についての画面を表示するパネル３３に、画面の表示領域と外接する矩形枠３３ａの内側に非表示部３３ｂを設ける。撮像部材４１は、表示部材３２のパネル３３の非表示部３３ｂの裏側に配置される。【選択図】図６Ａ

Description

本発明は、車両の乗員監視装置に関する。

車両では、ドライバ監視装置についての発明が提案されている（特許文献１、２）。
特許文献１では、ドライバのためだけにドライバの前に専用に設けられたカメラを用いてドライバのみを撮像して監視している。

特開２０１９－０１４３５９号公報 特開２０１９－０１４３６０号公報

しかしながら、車両には、ドライバ以外にも同乗者が乗ることがある。
同乗者についてもドライバと同様に監視しようとすると、ドライバの前に専用に設けられたカメラでは、同乗者を撮像することは困難である。
そして、たとえば特許文献２のように特許文献１のドライバ専用の監視装置の設置位置を車両の車幅方向の中央部分に移動させることが考えられる。
しかしながら、単にカメラを車両の車幅方向の中央部分に移動させるだけでは、ドライバそのものについても良好に撮像できなくなり、ドライバについての監視機能そのものが低下してしまうおそれがある。
この他にもたとえば、ドライバを含む乗員ごとに乗員監視装置を設けることも考えられるが、コストなどを考慮すると現実的な選択枝とはなり難い。

このように車両に乗る複数の乗員の状態を良好に監視できるようにするためには、さらなる改善が望まれる。

本発明の一形態に係る車両の乗員監視装置は、車両に乗る複数の乗員の状態を監視可能にするために前記車両の車室を撮像する撮像部材と、車両に乗る乗員に視認させる画面を表示する表示部材と、前記表示部材に画面を表示している際の乗員を前記撮像部材により撮像した撮像データを用いて、前記車両に乗る乗員の状態を判断する判断部と、を有し、前記表示部材についての前記画面を表示するパネルに、前記画面の表示領域と外接する矩形枠の内側に非表示部を設け、前記撮像部材は、前記表示部材の前記パネルの前記非表示部の裏側に配置される。

本発明では、車両に乗る複数の乗員の状態を監視可能にするために車両の車室を撮像する撮像部材と、車両に乗る各乗員に視認させる画面を表示する表示部材と、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いて、車両に乗る各乗員の状態を判断する判断部と、を有する。これにより、本実施形態では、撮像部材により撮像されている現在の撮像データとともに、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いて、車両に乗る各乗員の状態を判断することができる。車両に乗る各乗員についての撮像データでの画角位置や乗員の身体的特徴などの影響を抑制して、車両に乗る各乗員の状態をより確からしく判断することができる。
これに対し、仮にたとえば撮像部材により撮像されている現在の撮像データのみに基づいて、車両に乗る各乗員の状態を判断する場合、車両に乗る各乗員についての撮像データでの画角位置や各乗員の身体的特徴などの影響により、各乗員の状態を正しく判断できない可能性がある。本発明では、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いているため、これらの影響を抑制して、各乗員の状態をより確からしく判断できる。
特に、本発明では、撮像部材を、撮像部材についての画面を表示するパネルについての裏側であって、さらに画面の表示領域と外接する矩形枠の内側となるように設けられる非表示部の裏側に、配置している。このため、撮像部材は、表示部材に表示している画面の裏側から撮像しているものと同等の画像を撮像し得る。撮像部材は、画面を見ている各乗員の頭部を、その正面から撮像したものとなり得る。そして、各乗員の頭部を正面から撮像した撮像データを用いることにより、撮像部材により撮像されている現在の撮像データに含まれる各乗員の状態をより確からしく判断することができる。
その結果、本発明では、表示部材のパネル、および撮像部材を、車両の車幅方向の中央部分において車幅方向の中央からオフセットして配置して、撮像部材が、車両の車幅方向の中央部分にセンター配置された状態で、車両の前列に着座する複数の乗員の頭部を撮像可能な画角の広角レンズを有し、判断部が、車両に乗る複数の乗員の各々の状態として、少なくとも、ドライバの目の開閉状態、または視線を判断するとしても、車両に乗るドライバを含む複数の乗員の各々の状態をより確からしく判断することができる。

図１は、本発明の実施形態に係る乗員監視装置が適用される自動車の説明図である。 図２は、図１の自動車の制御装置の説明図である。 図３は、図２の自動車の乗員監視装置の説明図である。 図４Ａは、自動車の乗員である第一ドライバの頭部の正面図である。 図４Ｂは、図４Ａの第一ドライバの頭部の斜視図である。 図４Ｃは、自動車の乗員である第二ドライバの頭部の正面図である。 図４Ｄは、図４Ｃの第二ドライバの頭部の斜視図である。 図５Ａは、図３の表示操作パネルを有する液晶デバイスと、撮像センサを有するカメラモジュールとについての、車室での配置の説明図である。 図５Ａの撮像センサ４１および撮像広角レンズ４２を有するカメラモジュール３１による車室の撮像範囲Ｒ１の説明図である。 図６Ａは、車体の車幅方向の中央部分でのオフセット位置に設けられる液晶デバイスの表示操作パネルの説明図である。 図６Ｂは、図６Ａの表示操作パネルについての、車体２の車幅方向からの側面図である。 図７は、図３の監視制御部による乗員の登録制御のフローチャートである。 図８は、図３の監視制御部による乗員の監視制御のフローチャートである。 図９は、図６Ａの変形例に係る撮像センサを有するカメラモジュールについての、液晶デバイスの表示操作パネルに対する配置の説明図である。 図１０は、図９のさらなる変形例に係る撮像センサを有するカメラモジュールについての、液晶デバイスの表示操作パネルに対する配置の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る乗員監視装置１５が適用される自動車１の説明図である。
自動車１は、車両の一例である。自動車１は、走行の動力源として内燃機関、バッテリ電力、又はそれらの組み合わせを使用してよい。
図１の自動車１の車体２には、車室３が形成されている。車室３には、運転席および助手席のための複数の前列のシート４と、長尺の後列のシート４と、が設けられる。シート４には、ドライバを含む乗員が着座する。前列のシート４の前側である車室３の前部には、車体２の車幅方向に沿って延在するようにダッシュボード５が設けられる。

図２は、図１の自動車１の制御装置１０の説明図である。
図２の制御装置１０は、ドア開閉センサ１１、車速センサ１２、パークセンサ１３、スピーカデバイス１４、乗員監視装置１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、乗員保護装置１９、空調装置２０、および、これらが接続される車内ネットワーク２１、を有する。

車内ネットワーク２１は、自動車１のためのたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークでよい。車内ネットワーク２１は、ＬＡＮなどの通信用ネットワークでも、これらを組み合わせたものであってもよい。車内ネットワーク２１の一部には、無線方式の通信ネットワークが含まれてよい。

ドア開閉センサ１１は、自動車１のドアの開閉を検出する。
車速センサ１２は、走行する自動車１の速度を検出する。車速センサ１２は、停止状態を検出してよい。
パークセンサ１３は、自動車１が停車状態に維持されるパーキング状態を検出する。パークセンサ１３は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。

乗員監視装置１５は、たとえばドア開閉センサ１１がドアの開閉を検出すると、車室３に乗る乗員の認識処理を実行する。
乗員監視装置１５は、複数の乗員を認識している場合、複数の乗員の各々を個別に監視してよい。
乗員監視装置１５は、認識した各乗員の情報、監視に基づく情報を、車内ネットワーク２１を通じて制御装置１０の各部へ出力してよい。
特に、乗員監視装置１５は、たとえばドライバ用のシート４に着座した乗員をドライバとして認識し、認識したドライバの脇見や居眠りを監視する。そして、ドライバが所定の状態にある場合、乗員監視装置１５は、ドライバへの注意喚起のための制御、危険予防のための制御を実行する。この際、乗員監視装置１５は、ドライバの情報、注意喚起のための情報、危険予防のための情報を、車内ネットワーク２１を通じて制御装置１０の各部へ出力してよい。

スピーカデバイス１４は、音声、警告音などを出力する。スピーカデバイス１４は、乗員監視装置１５によるドライバその他の乗員への警告を出力してよい。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置１６は、乗員監視装置１５が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置１７は、ドライバによる手動運転による自動車１の走行操作を支援したり、自動運転による自動車１の走行操作を支援したりする。運転支援装置１７は、自動車１の加速、減速、停止、操舵を制御する。運転支援装置１７は、乗員監視装置１５が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行する。
車外通信装置１８は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置１８は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置１８は、乗員監視装置１５が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置１９は、自動車１の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置１９は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート４に着座している乗員を保護する。乗員保護装置１９は、乗員監視装置１５が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置２０は、車室３の温度、酸素濃度、を制御する。空調装置２０は、たとえば冷却した空気または過熱した空気を車室３へ供給し、これにより車室３を設定温度に調整する。空調装置２０は、乗員監視装置１５が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置１５が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車１の走行に集中することができる。

図３は、図２の自動車１の乗員監視装置１５の説明図である。図３の乗員監視装置１５は、ドライバだけでなく、たとえば前列の複数のシート４に着座する複数の乗員を監視するものである。図３の乗員監視装置１５は、カメラモジュール３１、表示操作パネル３３を有する液晶デバイス３２、入出力デバイス３４、メモリ３５、および、これらが接続される監視制御部３６、を有する。

カメラモジュール３１は、たとえば図１に示すように、ダッシュボード５についての車幅方向の中央部に設けられている。カメラモジュール３１は、前列の複数のシート４に着座する複数の乗員を撮像するためのものである。カメラモジュール３１は、撮像センサ４１、撮像広角レンズ４２、第一ＬＥＤ４３、第一投光レンズ４４、第二ＬＥＤ４５、第二投光レンズ４６、を有する。

撮像センサ４１は、たとえばＣＣＤ、ＣＭＯＳセンサといった半導体光学センサである。撮像センサ４１は、たとえば複数の受光素子が配列された略四角形の受光面を有するものでよい。撮像センサ４１は、撮像画像を含む撮像データを、監視制御部３６へ出力してよい。
撮像広角レンズ４２は、撮像センサ４１に重ねて設けられる。撮像広角レンズ４２は、たとえばダッシュボード５についての車幅方向の中央部に撮像センサ４１が設けられている状態において、前列の複数のシート４に着座する複数の乗員の上体または頭部を撮像可能なレンズでよい。撮像広角レンズ４２は、画像の周縁部分での歪みを抑制するように、複数枚の光学レンズで構成されてよい。
撮像センサ４１および撮像広角レンズ４２は、撮像部材として、自動車１に乗る複数の乗員の状態を監視可能にするために自動車１の車室を撮像できる。

第一ＬＥＤ４３、第二ＬＥＤ４５は、半導体発光素子でよい。第一ＬＥＤ４３、第二ＬＥＤ４５は、投光部材として、自動車１に乗る少なくともドライバへ向けて投光する。第一ＬＥＤ４３、第二ＬＥＤ４５は、たとえば赤外線を投光するものでよい。この場合、撮像センサ４１は、赤外線による撮像画像を含む撮像データを、監視制御部３６へ出力することになる。第一投光レンズ４４は、第一ＬＥＤ４３に重ねて設けられる。第一投光レンズ４４は、第一ＬＥＤ４３の光を主に運転席としてのシート４に着座するドライバへ向けて照射する。第二投光レンズ４６は、第二ＬＥＤ４５に重ねて設けられる。第二投光レンズ４６は、第二ＬＥＤ４５の光を主に助手席としてのシート４に着座する乗員へ向けて照射する。なお、第二投光レンズ４６は、助手席としてのシート４に着座する乗員とともに、運転席としてのシート４に着座するドライバへ向けて、光を拡散して投光してもよい。

そして、カメラモジュール３１において、撮像センサ４１および撮像広角レンズ４２は、車幅方向の中央部分に配置される。第一ＬＥＤ４３および第一投光レンズ４４は、助手席側の端部分に配置される。第二ＬＥＤ４５および第二投光レンズ４６は、ドライバ側の端部分に配置される。これにより、カメラモジュール３１は、ドライバとダッシュボード５との間にステアリング７などの物体が存在していても、そのステアリング７などにより遮られることなく投光し、撮像することができる。

液晶デバイス３２は、通常は略四角形の表示面を有する。液晶デバイス３２は、表示操作パネル３３による表示面に画像を表示する。
液晶デバイス３２は、表示部材として、自動車１に乗る各乗員に視認させる画面を表示する。
表示操作パネル３３は、液晶デバイス３２の表示面に重ねて設けられる透明または半透明の操作検出パネルである。表示操作パネル３３を液晶デバイス３２の表示面に重ねたものが表示部材である。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作を検出する。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作位置を、監視制御部３６へ出力してよい。

入出力デバイス３４は、車内ネットワーク２１に接続される。入出力デバイス３４は、車内ネットワーク２１を通じて、自動車１に設けられる他の各部との間でデータを入出力する。

メモリ３５は、プログラムおよびデータを記憶する。メモリ３５は、不揮発性メモリと、揮発性メモリとで構成されてよい。不揮発性メモリには、たとえばＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、などがある。揮発性メモリには、たとえばＲＡＭがある。

乗員監視装置１５のメモリ３５には、自動車１に登録されている複数の乗員のデータが、乗員毎に管理して記録できる。図３には、第一乗員についての第一乗員データ５１と、第二乗員についての第二乗員データ５２と、が示されている。複数の乗員データにより、データベースが構成される。

第一乗員データ５１、第二乗員データ５２といった各乗員データには、乗員ごとに固有の識別情報、たとえば乗員の頭部や目を撮像センサ４１により撮像した登録撮像データ、乗員がした各種の設定データ、が含まれてよい。設定データには、たとえば乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、といった情報、が含まれてよい。
このように、メモリ３５は、記録部材として、表示部材に所定の画面を表示している際の各乗員を正面から撮像センサ４１により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ３５は、登録されていない汎用の乗員についての乗員データを、記録してよい。

監視制御部３６は、たとえばＥＣＵ、ＣＰＵ、その他のマイクロコンピュータでよい。監視制御部３６は、メモリ３５からプログラムを読み込んで実行する。これにより、乗員監視装置１５の制御部としての監視制御部３６が実現される。
監視制御部３６は、たとえば、自動車１に乗る乗員についての登録処理、監視処理、を実行する。監視処理において、監視制御部３６は、自動車１に乗っている乗員を識別し、乗員ごとの監視処理を実行してよい。
特に、少なくともドライバとしての乗員については、監視制御部３６は、判断部として、メモリ３５に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員のわき見、居眠り、緊急事態といった状態を判断する。

ところで、図３のカメラモジュール３１の撮像センサ４１は、車体２の車幅方向の中央部分に配置されて、ドライバのみならず、前列の複数のシート４に着座する複数の乗員の上体または頭部を撮像している。自動車１には、ドライバ以外にも同乗者が乗ることがある。
同乗者についてもドライバと同様に監視しようとすると、ドライバの前に専用に設けられた撮像センサ４１では、同乗者を撮像することは困難である。
また、ドライバを含む複数の乗員を１つの撮像センサ４１で撮像しようとする場合、図３のカメラモジュール３１のように、撮像センサ４１には、画角を広げるために撮像広角レンズ４２を組み合わせる必要がある。しかしながら、撮像センサ４１に撮像広角レンズ４２を重ねた場合、画像の中央部分ではない周辺部分において撮像される乗員は、歪む。ドライバが歪んで撮像されてしまうと、ドライバの目も歪んで撮像されてしまい、目の開閉状態や視線などに基づく乗員の居眠りやわき見といった判定の確からしさが低下する可能性がある。ドライバについての監視機能そのものが低下してしまうおそれがある。

図４Ａから図４Ｄは、自動車１の乗員であるドライバの撮像状態の説明図である。

図４Ａは、第一ドライバの頭部の正面図である。図４Ｂは、図４Ａの第一ドライバの頭部の斜視図である。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図４Ａの正面方向から撮像したものではなく、図４Ｂのように斜め方向から撮像することになる。

図４Ｃは、第二ドライバの頭部の正面図である。図４Ｄは、図４Ｃの第二ドライバの頭部の斜視図である。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図４Ｃの正面方向から撮像したものではなく、図４Ｄのように斜め方向から撮像することになる。

そして、図４Ｄの撮像データでは、図４Ｂの撮像データとは異なり、ドライバの右目が、ドライバの高い鼻に隠れて、黒目しか映っていない。
この場合、監視制御部３６は、図４Ｄの撮像データのみから、ドライバの右目の開閉状態を判断することは容易でない。特に、図４Ｄのように歪みがない状態ではなく、歪んだ画像として撮像されている場合には、監視制御部３６は、図４Ｄの撮像データのみから、ドライバの右目の開閉状態を判断することは極めて容易でない。

また、監視制御部３６は、図４Ｄの撮像データのみに基づいて、ドライバの右目の白目の画像成分が含まれていないことから、右目を抽出できず、図４Ｄのドライバの頭部を抽出できない可能性もある。たとえば両目と鼻との配置関係、両目と口との配置関係に基づいて、画像中の頭部の撮像領域を特定するような場合、監視制御部３６は、図４Ｄの撮像データのみに基づいて、図４Ｄのドライバの頭部を特定することができない。ドライバの頭部についての基準となるデータがない場合、監視制御部３６は、ドライバの右目が画像成分に含まれていないことについて正しく推定することもできない。
カメラモジュール３１の撮像センサ４１を、自動車１の車幅方向の中央部分に設ける場合、この図４Ｄのような状態が容易に生じ得る。

このように乗員には、たとえば目が大きい人、目が小さい人、目が前に出ている人、目が奥に入っている人などの個人差がある。
実際のドライバの頭部の位置は、車幅方向での画角方向へ移動するだけでなく、さらに上下方向へも移動する可能性がある。これらの移動の発生について考慮すると、撮像センサ４１の現在の撮像データのみに基づいてドライバの頭部を確実に特定することは、容易なことではない。

図５Ａは、本実施形態における図３の表示操作パネル３３を有する液晶デバイス３２と、撮像センサ４１を有するカメラモジュール３１とについての、車室での配置の説明図である。

図５Ａには、車室３の前部に設けられるダッシュボード５およびセンターコンソール６が示されている。
表示操作パネル３３を有する液晶デバイス３２は、車体２の車幅方向の中央部分において、ダッシュボード５からセンターコンソール６までにかけて縦長に配置される。
詳しくは、表示操作パネル３３を有する液晶デバイス３２は、車体２の車幅方向の中央部分において、車体２の車幅方向の中央位置Ｙ０から、ドライバから離れるようにドライバとは反対側である同乗者側へ少しずらしたオフセット位置に配置される。また、このようにオフセット位置に設けられる表示操作パネル３３を有する液晶デバイス３２は、車体２の車幅方向の中央部分において、車幅方向に対して角度を有するように傾けて配置される。表示操作パネル３３を有する液晶デバイス３２は、オフセット位置において、ドライバへ向かうように車体２の前後方向に対して傾けて配置される。しかも、表示操作パネル３３を有する液晶デバイス３２は、ドライバへ向かうように傾けて設けているにもかかわらず、ドライバから離れるようにドライバとは反対側へ少しずらしたオフセット位置とされているため、同乗者は、センター配置されている場合と同様の操作性を得ることができる。

図６Ａから図６Ｂは、車体２の車幅方向の中央部分でのオフセット位置に設けられる液晶デバイス３２の表示操作パネル３３の説明図である。図６Ａは、車室３側からの正面図である。図６Ｂは、車体２の車幅方向からの側面図である。図６Ａにおいて、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄは、車体２の車幅方向の中央位置Ｙ０から図示左側である同乗者側へずれて設けられている。

表示操作パネル３３を有する液晶デバイス３２と、カメラモジュール３１とは、車体２についての車幅方向の中央位置Ｙ０からオフセットした位置に設けられる。表示操作パネル３３を有する液晶デバイス３２は、樹脂製の保持部材６１により、表示操作パネル３３の周縁部分をその四角において保持されている。

液晶デバイス３２は、画面を表示する表示領域として、一般的なモニタのように四角形の表示面ではなく、四角形の上縁の中央部分を切り欠いた略凹形状を有する。略凹形状の液晶デバイス３２の表示領域と外接する矩形枠３３ａの内側に、切り欠きになる非表示部３３ｂが形成される。非表示部３３ｂの左右両側には、液晶デバイス３２の表示領域がある。非表示部３３ｂは、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄを基準として、線対象に形成されている。
このように、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、表示領域と外接する矩形枠３３ａの内側における、画面の表示領域の上縁の中央部分の切欠部分として形成される。非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、画面の表示領域の上縁に沿う切欠部分として形成される。そして、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、少なくとも、画面の表示領域の車幅方向の中央位置Ｙｄから、自動車１の車幅方向の中央位置Ｙ０までの範囲にわたって形成されている。非表示部３３ｂは、表示操作パネル３３において、画面の表示領域の車幅方向の中央位置Ｙｄを基準として、自動車１の車幅方向において左右対称な形状に形成される。

撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による表示領域の上側に形成される非表示部３３ｂの裏側に配置される。詳しくは、カメラモジュール３１は、撮像センサ４１および撮像広角レンズ４２が、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に収まるように設けられる。これにより、撮像センサ４１および撮像広角レンズ４２は、それらの車幅方向の中央位置が、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に位置するように設けられる。また、撮像センサ４１および撮像広角レンズ４２は、車体２についての車幅方向の中央位置Ｙ０から、ドライバとは反対側へ少しずれて離れるオフセット位置において、表示操作パネル３３と同様にドライバへ向かうように車体２の前後方向に対して傾けて配置される。
カメラモジュール３１の第一ＬＥＤ４３、第二ＬＥＤ４５は、撮像センサ４１とともに、非表示部３３ｂの裏側に配置される。
なお、このようにカメラモジュール３１を表示操作パネル３３の裏側に設ける場合、撮像広角レンズ４２、第一投光レンズ４４、第二投光レンズ４６は、表示操作パネル３３そのものを加工することにより設けられてもよい。

図５Ｂは、自動車１の車幅方向の中央部分においてオフセット位置に傾けて設けられる撮像センサ４１および撮像広角レンズ４２を有するカメラモジュール３１による車室の撮像範囲Ｒ１の説明図である。
撮像センサ４１には撮像広角レンズ４２が重ねられる。これにより、撮像センサ４１は、図５Ｂにおいて撮像範囲Ｒ１として示すように、車室３を全体的に撮像できる。撮像センサ４１は、自動車１の車幅方向の中央部分に配置されて、複数の前列のシート４に着座するドライバの頭部と同乗者の頭部とを撮像できる。
ただし、撮像広角レンズ４２を撮像センサ４１に組み合わせて複数の乗員を撮像可能とする場合、撮像範囲Ｒ１の中央部分の画像は、歪みが少ない高画質エリアＲｐ１となる一方で、撮像範囲Ｒ１の周縁部分は、中央部分と比べて歪みが生じている歪発生エリアＲｐ２となる。このため、乗員が車幅方向において右端や左端へ寄って着座してしまうと、その乗員の頭部を歪みなく撮像することが難しくなる傾向にある。乗員の目の開閉状態などを判断に使用する場合、その判断を正しくできなくなる可能性が高まる。
本実施形態では、表示操作パネル３３は、ドライバへ向かうように車体２の前後方向に対して傾けて配置される。この表示操作パネル３３の裏側に配置される撮像センサ４１および撮像広角レンズ４２は、車体２の車幅方向の中央位置Ｙ０を基準として、ドライバとは反対側へずらしたオフセット位置に設けられる。これにより、撮像センサ４１の撮像画像の中央部分の高画質エリアＲｐ１は、ドライバ側へ寄る。ドライバは、撮像センサ４１の撮像画像の中央部分の高画質エリアＲｐ１において撮像され易くなり、周辺部分の歪発生エリアＲｐ２において撮像され難くなる。ドライバは、歪みが抑えられた画像として撮像されることが期待できる。

このようにカメラモジュール３１は、表示操作パネル３３についての、液晶デバイス３２の上の非表示部３３ｂの裏側において、車幅方向の中央位置Ｙ０からオフセットした位置に設けられる。表示操作パネル３３を有する液晶デバイス３２は、ダッシュボード５からセンターコンソール６にかけての内装表面の傾斜に沿って、後下となる傾斜姿勢で設けてよい。その結果、カメラモジュール３１は、表示操作パネル３３を有する液晶デバイス３２と同じように、ドライバへ向かうように車体２の前後方向に対して傾けて設けられるとともに、後下となる傾斜姿勢で設けられる。
そして、カメラモジュール３１は、表示操作パネル３３の四角を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる。また、図６において破線円で示すように、カメラモジュール３１は、撮像センサ４１、第一ＬＥＤ４３、および第二ＬＥＤ４５が、画像の表示領域の外接円の内側に収まるように配置されている。

このような制限の下での配置とすることにより、カメラモジュール３１の撮像センサ４１の撮像画像の車幅方向の中心位置は、表示操作パネル３３を有する液晶デバイス３２の画像の表示領域の中心位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に位置する。また、カメラモジュール３１の撮像センサ４１が、保持部材６１の内側に配置されて、あたかも液晶デバイス３２そのものに設けられている状態となる。その結果、カメラモジュール３１の撮像センサ４１は、表示操作パネル３３を有する液晶デバイス３２の裏側から、乗員を撮像するようになる。カメラモジュール３１の撮像センサ４１は、表示操作パネル３３の裏側において、画面の表示領域の車幅方向の中央位置Ｙｄから、自動車１の車幅方向の中央位置Ｙ０までの範囲に収まるように、画面の表示領域の車幅方向の中央位置Ｙｄから自動車１の車幅方向の中央位置Ｙ０へ寄せるようにずらして配置される。

図７は、図３の監視制御部３６による乗員の登録制御のフローチャートである。
監視制御部３６は、新たな乗員が自動車１に乗ると、図７の登録制御を繰り返し実行してよい。

ステップＳＴ１において、監視制御部３６は、まず、乗員を登録するか否かを判断する。
監視制御部３６は、たとえば液晶デバイス３２に表示しているメニュー画面において乗員登録ボタンが乗員により選択操作された場合、乗員を登録すると判断し、処理をステップＳＴ２へ進める。これ以外の場合、監視制御部３６は、乗員を登録しないと判断し、図７の登録制御を終了する。

ステップＳＴ２から、監視制御部３６は、新たな乗員の登録処理を実行する。監視制御部３６は、まず、乗員の登録を開始する案内を、液晶デバイス３２に表示する。メニュー画面において乗員登録ボタンを操作して登録しようとしている乗員は、液晶デバイス３２の案内表示を正面から直視していると考えられる。また、監視制御部３６は、案内において、顔を液晶デバイス３２へ向けるように正対する指示してよい。また、監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯する。これにより、液晶デバイス３２の案内表示を視るように正対している乗員の上体または頭部には、赤外線が照射される。

ステップＳＴ３において、監視制御部３６は、撮像センサ４１から、現在の撮像データを取得し、撮像データに含まれる新たな登録対象の乗員を正面から撮像した画像成分を、正対画像として取得する。監視制御部３６は、撮像センサ４１の撮像画像から複数の乗員が抽出できる場合、その中の１つを乗員に選択させてよい。正対画像には、乗員の両目、鼻、口についての赤外線光による画像成分が高い確率で含まれることが期待できる。赤外線光による画像成分には、頭部や眼球の静脈パターンが含まれてもよい。頭部や眼球の静脈パターンは、それについて抽出する特徴点の個数にもよるが、個人を特定するために用いることができる。また、頭部や眼球の静脈パターンは、頭部の表面形状やまたは顔の凹凸や形状の影響に起因する明暗パターンの影響を受け難い。眼球の静脈パターンは、基本的に、周辺の白目から中央の黒目へ向かうものがある。眼球を覆う瞼の静脈パターンは、眼球の静脈パターンとは異なるパターンである。監視制御部３６は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。そして、このように正対する乗員の頭部を捉えた画像成分には、頭部の各部の画像成分が高画質に含まれていることが期待できる。
なお、監視制御部３６は、正対画像に、乗員の両目、鼻、口についての赤外線光による画像成分が含まれていることが確認できるまで、案内を繰り返したり、撮像センサ４１からの現在の撮像データの取得を繰り返したりしてよい。

ステップＳＴ４から、監視制御部３６は、乗員に自動車１の前方を視る正面視の案内を、液晶デバイス３２に表示する。乗員は、液晶デバイス３２の案内表示に基づいて、自動車１の前方を視ると考えられる。また、監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯する。これにより、自動車１の前方を視る正面視の乗員の上体または頭部には、赤外線が照射される。

ステップＳＴ５において、監視制御部３６は、撮像センサ４１から、現在の撮像データを取得し、撮像データに含まれる正面視している乗員を撮像した画像成分を、正面視画像として取得する。正面視画像には、基本的に正対画像とは異なる角度で乗員の両目、鼻、口についての赤外線光による画像成分が含まれ得る。乗員を撮像する角度が変わると、画像におけるたとえば両目の間隔などの相対的な配置が変わる。正面視画像には、赤外線光による正面視の頭部や眼球の静脈パターンが含まれてもよい。監視制御部３６は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。
そして、このように正面視する乗員の頭部を捉えた画像成分には、居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分が高画質に含まれていることが期待できる。正面視している頭部の各部の画像成分は、正対している頭部の各部の画像成分と好適に対応するものとすることができる。その結果、たとえば一人の乗員についての居眠りしている状態で正面視している頭部の画像がある場合、その乗員が居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分を、正対視している頭部の各部の画像成分へ変換する場合と同様の処理を実行することにより、居眠りしている状態で正対視している頭部の各部の画像成分を得ることが可能になる。このような正対視している頭部の各部の画像成分は、その乗員が居眠りしている状態のものとして確からしいものとなり得る。乗員の特徴によらずに一律の処理を実行した場合には、その乗員が居眠りしている状態のものとはならない可能性があるが、そのような可能性を確実に減らすことができる。

ステップＳＴ６において、監視制御部３６は、ユーザの登録処理を実行する。
ユーザ登録処理において、監視制御部３６は、撮像した二枚の乗員の画像を、登録撮像データとして、乗員ごとに固有の識別情報とともに記録する。これにより、メモリ３５には、新たな乗員についての登録撮像データを含む乗員データが記録される。メモリ３５は、記録部材として、液晶デバイス３２に所定の画面を表示している際の各乗員を撮像センサ４１により撮像した撮像データが、乗員ごとの撮像データとして記録される。メモリ３５において各乗員について記録される登録撮像データには、乗員を正面から撮像したものと、正面視の乗員を撮像したものと、が含まれる。

図８は、図３の監視制御部３６による乗員の監視制御のフローチャートである。
監視制御部３６は、たとえば乗員が自動車１に乗っている期間において、図８の監視制御を繰り返し実行してよい。

ステップＳＴ１１において、監視制御部３６は、乗員の乗車を判断する。監視制御部３６は、たとえば、ドア開閉センサ１１による開閉検出、撮像センサ４１の画像に基づいて乗員の乗車を判断してよい。乗員が乗車している場合、監視制御部３６は、処理をステップＳＴ１２へ進める。乗員が乗車していない場合、監視制御部３６は、本処理を繰り返す。なお、乗員が乗車していない場合、監視制御部３６は、図８の監視制御を終了してもよい。

ステップＳＴ１２から、監視制御部３６は、乗車している乗員の監視処理を開始する。監視制御部３６は、まず、乗車している乗員を識別する。
監視制御部３６は、撮像センサ４１から新たな撮像画像を取得し、乗車している乗員の画像成分を抽出し、メモリ３５に登録されている複数の乗員データと照合する。
この際、監視制御部３６は、メモリ３５に登録されている各乗員の登録撮像データの中の、正面視の画像成分のみに基づいて、照合してよい。正面視の画像には、顔の鼻などについての凹凸による特徴点が鮮明に含まれることが多い。正面視の画像成分のみに基づいて照合しても、乗員の合致を高い精度で判断可能である。また、監視制御部３６は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。
監視制御部３６は、メモリ３５に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。
この場合、監視制御部３６は、乗車している乗員を、メモリ３５に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。
メモリ３５に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部３６は、登録がない乗員として識別してよい。

ステップＳＴ１３において、監視制御部３６は、識別した乗員の乗員データを取得する。

ステップＳＴ１４において、監視制御部３６は、取得した乗員データを用いて、設定処理を実行する。乗員データに、乗員がした各種の設定データが含まれている場合、監視制御部３６は、その設定データに基づく設定処理を実行する。監視制御部３６は、設定データの情報を、自動車１の各部へ出力する。これにより、乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、などの処理が実行される。
また、監視制御部３６は、取得している最新の撮像データに基づいて、たとえば助手席のシート４へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート４へ向けてのエアバッグ展開を禁止する設定を実行する。

ステップＳＴ１５から、監視制御部３６は、識別した乗員についての監視処理を開始する。監視制御部３６は、まず、撮像センサ４１による最新の撮像データを取得する。

ステップＳＴ１６において、監視制御部３６は、最新の撮像データに含まれる乗員の上体および頭部の画像成分を特定する。監視制御部３６は、既に識別している乗員についてのメモリ３５の登録撮像データの画像成分を基準として用いて、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断する。ここで、監視制御部３６は、たとえばメモリ３５に登録されている各乗員を正面から撮像したものと正面視の乗員を撮像したものとの相違（差）に基づいて、撮像センサ４１により撮像されている現在の撮像データに含まれる乗員を正面から撮像したものを推定し、乗員を正面から撮像したものとして推定した画像成分に基づいて自動車１に乗る各乗員の状態を判断してよい。監視制御部３６は、たとえば既にメモリ３５に登録されている乗員を正面から撮像したものを用いて、現在の撮像データに含まれる乗員の画像のレンズ歪みおよび向きを補正し、現在の撮像データに基づく乗員を正面から撮像したものを推定してよい。なお、登録撮像データが見つからない場合には、監視制御部３６は、メモリ３５の標準的な登録撮像データの画像成分を基準として用いることによって、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断してよい。
監視制御部３６は、最新の撮像データにおける乗員の状態としてたとえば目の開閉状態、視線の方向、頭部の向き、などを判断する。監視制御部３６は、静脈の脈動を判断してもよい。そして、たとえばドライバとしての乗員の目が閉じている場合、視線が正面視ではない場合、頭部の向きが正面視ではない場合、脈拍が高い場合、監視制御部３６は、ドライバが運転に適した状態にないと判定する。それ以外の場合、監視制御部３６は、ドライバが運転に適した状態にあると判定してよい。
このように監視制御部３６は、判断部として、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る各乗員の状態を判断する。
また、監視制御部３６は、自動車１に乗るドライバの状態として、少なくとも、ドライバの目の開閉状態、またはドライバの視線を判断する。この際、監視制御部３６は、高画質な登録撮像データを基準として用いることができるので、単なる目の開閉状態だけでなく、上瞼と下瞼との間における黒目の撮像状態の変化や白目の撮像状態の変化などについての情報を、各乗員に合わせて取得でき、乗員の視線方向などの目の表情を高精度に判定することができる。
これに対し、乗員ごとの登録撮像データを用いないで同様の判断をしようとすると、目の大きさなどの個人差を含めて乗員の視線方向などの目の表情を判定することになる。各個人についての視線方向などの目の表情を高精度に判定することは容易ではない。乗員の身体的特徴に基づく過剰な警告を出力するようになってしまう。その乗員にとって不快である。

ステップＳＴ１７において、監視制御部３６は、ドライバなどの乗員の状態判定結果に基づいて、自動車１の走行などについての制御が必要であるか否かを判断する。たとえばドライバが運転に適した状態にないと判定している場合、監視制御部３６は、制御要と判断し、処理をステップＳＴ１８へ進める。それ以外の場合、たとえばドライバを含む乗員のすべてが移動に適した状態にある場合、監視制御部３６は、制御不要と判断し、ステップＳＴ１８を飛ばして処理をステップＳＴ１９へ進める。

ステップＳＴ１８において、監視制御部３６は、自動車１の走行などについての制御を実行する。
たとえばドライバの視線が正面視ではないまたは頭部が前へ向いていないと判定している場合、監視制御部３６は、ドライバに対する警告を行う。ドライバへの警告は、たとえば液晶デバイス３２の警告表示、スピーカデバイス１４からの警告音の出力でよい。警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、監視制御部３６は、自動車１の走行モードを自動運転へ切り替えて、自動車１の走行を減速停止してよい。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部３６は、ドライバへの警告、または自動車１の走行の減速停止を実行する。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部３６は、ステップＳＴ１７において制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。

ステップＳＴ１９において、監視制御部３６は、乗員の監視制御を継続するか否かを判断する。監視制御部３６は、たとえば、ドア開閉センサ１１による開閉検出、撮像センサ４１の画像に基づいて乗員の降車を判断してよい。乗員が降車した場合、監視制御部３６は、乗員の監視制御を継続しないと判断し、処理をステップＳＴ２０へ進める。それ以外の場合、監視制御部３６は、乗員の監視制御を継続すると判断し、処理をステップＳＴ１５へ戻す。監視制御部３６は、乗員の監視制御を継続しないと判断するまで、ステップＳＴ１５からステップＳＴ１９の処理を繰り返す。

ステップＳＴ２０において、監視制御部３６は、乗員の降車時の処理として、認識した乗員のものとしてメモリ３５に登録されている乗員データを更新する。監視制御部３６は、乗員の降車時の設定情報を、自動車１の各部から取得し、メモリ３５に登録されている乗員データを更新する。これにより、メモリ３５に登録されている乗員データは、乗員の嗜好に適応したものとなる。次回の乗車時には、乗員についての最新の設定が自動的になされることになる。
また、監視制御部３６は、未登録の乗員についての乗員データを、メモリ３５に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。

以上のように、本実施形態では、自動車１に乗る複数の乗員の状態を監視可能にするために自動車１の車室を撮像する撮像センサ４１と、自動車１に乗る各乗員に視認させる画面を表示する液晶デバイス３２と、液晶デバイス３２に所定の画面を表示している際の各乗員を撮像センサ４１により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録するメモリ３５と、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る各乗員の状態を判断する判断部と、を有する。これにより、本実施形態では、撮像センサ４１により撮像されている現在の撮像データとともに、液晶デバイス３２に所定の画面を表示している際の各乗員を撮像センサ４１により撮像した登録撮像データを基準データとして用いて、自動車１に乗る各乗員の状態を判断することができる。自動車１に乗る各乗員についての撮像データでの画角位置や乗員の身体的特徴などの影響を抑制して、自動車１に乗る各乗員の状態をより確からしく判断することができる。
これに対し、仮にたとえば撮像センサ４１により撮像されている現在の撮像データのみに基づいて、自動車１に乗る各乗員の状態を判断する場合、自動車１に乗る各乗員についての撮像データでの画角位置や各乗員の身体的特徴などの影響により、各乗員の状態を正しく判断できない可能性がある。本実施形態では、液晶デバイス３２に所定の画面を表示している際の各乗員を撮像センサ４１により撮像した登録撮像データを基準データとして用いているため、これらの影響を抑制して、各乗員の状態をより確からしく判断できる。
特に、本実施形態では、撮像センサ４１を、画面を表示する表示操作パネル３３についての裏側であって、さらに画面の表示領域と外接する矩形枠３３ａの内側となるように設けられる非表示部３３ｂの裏側に、配置している。このため、撮像センサ４１は、液晶デバイス３２に表示している画面の裏側から撮像しているものと同等の画像を撮像し得る。撮像センサ４１は、画面を見ている各乗員の頭部を、その正面から撮像したものとなり得る。そして、各乗員の頭部を正面から撮像した登録撮像データを基準データとして用いることにより、撮像センサ４１により撮像されている現在の撮像データに含まれる各乗員の状態をより確からしく判断することができる。
その結果、本実施形態では、液晶デバイス３２の表示操作パネル３３、および撮像センサ４１を、自動車１の車幅方向の中央部分において車幅方向の中央からオフセットして配置して、撮像センサ４１が、自動車１の車幅方向の中央部分にセンター配置された状態で、自動車１の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ４２を有し、判断部が、自動車１に乗る複数の乗員の各々の状態として、少なくとも、ドライバの目の開閉状態、または視線を判断するとしても、自動車１に乗るドライバを含む複数の乗員の各々の状態をより確からしく判断することができる。

特に、本実施形態では、液晶デバイス３２についての画面を表示する表示操作パネル３３には、画面の表示領域と外接する矩形枠３３ａの内側に非表示部３３ｂを設ける。非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、画面の表示領域の上縁に沿って、表示領域の上縁の中央部分の切欠部分として形成される。この際、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、少なくとも画面の表示領域の車幅方向の中央から自動車１の車幅方向の中央までの範囲にわたって形成され、且つ、画面の表示領域の車幅方向の中央を基準として自動車１の車幅方向において左右対称な形状に形成される。そして、撮像センサ４１は、液晶デバイス３２の表示操作パネル３３の裏側において、画面の表示領域の車幅方向の中央から、自動車１の車幅方向の中央までの範囲に収まるように、画面の表示領域の車幅方向の中央から自動車１の車幅方向の中央へ寄せるようにずらして配置される。これにより、撮像センサ４１は、単に液晶デバイス３２の表示領域により視野が遮られないようになるだけでなく、液晶デバイス３２の表示操作パネル３３が自動車１の車幅方向の中央部分において車幅方向の中央からオフセットして配置されているにもかかわらずに、自動車１の前列に着座する複数の乗員の頭部を自動車１の中央部分から撮像することが可能になる。同じ乗員が自動車１の車幅方向の右側に着座する場合でも、左側に着座する場合でも、同様な条件の下で撮像することが可能となる。乗員の着座位置の違いによらずに、乗員の状態判断の確からしさを高めることができる。
また、非表示部３３ｂが、液晶デバイス３２についての画面を表示する表示操作パネル３３において、画面の表示領域の車幅方向の中央を基準として、自動車１の車幅方向において左右対称な形状に形成されることにより、表示される画面の形状を左右対称な安定感のあるものとすることができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上述した実施形態では、液晶デバイス３２は、縦長に配置されている。
この他にもたとえば、液晶デバイス３２は、横長に配置されてよい。

図９は、図６Ａの変形例に係る撮像センサ４１を有するカメラモジュール３１についての、液晶デバイス３２の表示操作パネル３３に対する配置の説明図である。
この場合であっても、撮像センサ４１の少なくとも中央位置が、液晶デバイス３２の表示操作パネル３３の裏側において、液晶デバイス３２の画像の表示領域を同乗者側へずらし、表示領域の中央位置Ｙｄと車体２の車幅方向の中央位置Ｙ０との間に位置するようにすることにより、液晶デバイス３２に表示している画面の裏側から撮像しているものと同等の画像を撮像し得て、上述した実施形態と同等の効果を奏することが可能である。
また、このような配置であれば、撮像センサ４１またはカメラモジュール３１は、液晶デバイス３２の表示操作パネル３３の周縁部を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる、ことになる。また、カメラモジュール３１の撮像センサ４１、第一ＬＥＤ４３、および第二ＬＥＤ４５は、図中に破線円で示す画像の表示領域の外接円の内側に収まるように配置されている。

図１０は、図９のさらなる変形例に係る撮像センサ４１を有するカメラモジュール３１についての、液晶デバイス３２の表示操作パネル３３に対する配置の説明図である。
図１０の液晶デバイス３２は、略四角形の表示領域を有する。この場合でも、カメラモジュール３１は、四角形の表示領域の上縁に沿って配置することにより、上述した実施形態と類似する効果を奏することが可能である。また、カメラモジュール３１の撮像センサ４１、第一ＬＥＤ４３、および第二ＬＥＤ４５は、図中に破線円で示す画像の表示領域の外接円の内側に収まるように配置されている。そして、液晶デバイス３２の表示操作パネル３３を同乗者側にずらして配置する場合には、撮像センサ４１をドライバ側へ傾けて、撮像センサ４１の中央位置を、四角形の表示領域の中央位置Ｙｄと車体２の車幅方向の中央位置Ｙ０との間に設けることにより、上述した実施形態と類似する効果を奏することが可能である。

上述した実施形態では、液晶デバイス３２の表示操作パネル３３、および撮像センサ４１は、自動車１の車幅方向の中央部分にセンター配置されている。撮像センサ４１は、自動車１の車幅方向の中央部分にセンター配置された状態で、自動車１の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ４２を有している。監視制御部３６は、自動車１に乗る乗員の状態として、少なくとも、乗員の目の開閉状態、または視線を判断している。
乗員の監視装置は、これらのいずれかにも該当しないものであってもよい。たとえば、乗員の監視装置は、ドライバのみを監視対象とするものでもよい。この場合であっても、たとえば、撮像センサ４１を、液晶デバイス３２の表示操作パネル３３の裏側において、画像の表示領域の外接円の内側に収まるように配置したり、監視制御部３６が、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る乗員の状態を判断することにより、その監視判断の確からしさを向上できることは期待できる。

１…自動車（車両）、２…車体、３…車室、４…シート、５…ダッシュボード、６…センターコンソール、７…ステアリング、１０…制御装置、１１…ドア開閉センサ、１２…車速センサ、１３…パークセンサ、１４…スピーカデバイス、１５…乗員監視装置、１６…ポジション設定装置、１７…運転支援装置、１８…車外通信装置、１９…乗員保護装置、２０…空調装置、２１…車内ネットワーク、３１…カメラモジュール、３２…液晶デバイス（表示部材）、３３…表示操作パネル（パネル）、３３ａ…矩形枠、３３ｂ…非表示部、３４…入出力デバイス、３５…メモリ（記録部材）、３６…監視制御部（判断部）、４１…撮像センサ（撮像部材）、４２…撮像広角レンズ、４３…第一ＬＥＤ、４４…第一投光レンズ、４５…第二ＬＥＤ、４６…第二投光レンズ、５１…第一乗員データ、５２…第二乗員データ、６１…保持部材

Claims (12)

1. 車両に乗る複数の乗員の状態を監視可能にするために前記車両の車室を撮像する撮像部材と、
   車両に乗る乗員に視認させる画面を表示する表示部材と、
   前記表示部材に画面を表示している際の乗員を前記撮像部材により撮像した撮像データを用いて、前記車両に乗る乗員の状態を判断する判断部と、
   を有し、
   前記表示部材についての前記画面を表示するパネルに、前記画面の表示領域と外接する矩形枠の内側に非表示部を設け、
   前記撮像部材は、前記表示部材の前記パネルの前記非表示部の裏側に配置される、
   車両の乗員監視装置。
   
2. 前記表示部材の前記パネル、および前記撮像部材は、前記車両の車幅方向の中央部分において前記車幅方向の中央からオフセットして配置される、
   請求項１記載の、車両の乗員監視装置。
   
3. 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、前記画面の表示領域の上縁に沿う切欠部分として形成される、
   請求項１または２記載の、車両の乗員監視装置。
   
4. 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、前記画面の表示領域の上縁の中央部分の切欠部分として形成される、
   請求項１から３のいずれか一項記載の、車両の乗員監視装置。
   
5. 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、少なくとも、前記画面の表示領域の車幅方向の中央から、前記車両の車幅方向の中央までの範囲にわたって形成され、
   前記撮像部材は、前記表示部材の前記パネルの裏側において、前記画面の表示領域の車幅方向の中央から、前記車両の車幅方向の中央までの範囲に収まるように、前記画面の表示領域の車幅方向の中央から前記車両の車幅方向の中央へ寄せるようにずらして配置される、
   請求項１から４のいずれか一項記載の、車両の乗員監視装置。
   
6. 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、前記画面の表示領域の車幅方向の中央を基準として、前記車両の車幅方向において左右対称な形状に形成される、
   請求項１から５のいずれか一項記載の、車両の乗員監視装置。
   
7. 前記表示部材の前記パネルの周縁部を保持する保持部材を有し、
   前記撮像部材は、前記保持部材より内側となるように設けられる、
   請求項１から６のいずれか一項記載の、車両の乗員監視装置。
   
8. 前記撮像部材とともに前記車両に乗る少なくともドライバへ向けて投光する投光部材を有するカメラモジュール、を備え、
   前記カメラモジュールの前記投光部材は、前記撮像部材とともに、前記非表示部の裏側に配置される、
   請求項１から７のいずれか一項記載の、車両の乗員監視装置。
   
9. 前記撮像部材には、前記車両の前列に着座する複数の乗員の頭部を撮像可能な画角の広角レンズが重ねられる、
   請求項１から８のいずれか一項記載の、車両の乗員監視装置。
   
10. 前記表示部材に画面を表示している際の乗員を前記撮像部材により撮像した撮像データを、それぞれの乗員の撮像データとして記録する記録部材、を有し、
    前記判断部は、前記記録部材に記録されている撮像データを用いて、前記車両に乗る乗員の状態を判断する、
    請求項１から９のいずれか一項記載の、車両の乗員監視装置。
    
11. 前記記録部材は、乗員を撮像した撮像データとして、乗員の正対画像と、正面視画像と、を記録し、
    前記判断部は、
    前記記録部材に記録されている乗員を正面から撮像したものと正面視の乗員を撮像したものとの相違に基づいて、撮像部材により撮像されている現在の撮像データに含まれる乗員を正面から撮像したものを推定し、
    乗員を正面から撮像したものとして推定した画像成分に基づいて、前記車両に乗る乗員の状態を判断する、
    請求項１から１０のいずれか一項記載の、車両の乗員監視装置。
    
12. 前記判断部は、
    前記車両に乗るドライバの状態として、少なくとも、ドライバの目の状態、またはドライバの視線を判断する、
    請求項１から１１のいずれか一項記載の、車両の乗員監視装置。
    

Images