JP2022129154A - 車両の乗員監視装置 - Google Patents

Abstract

【課題】車両に乗員を監視するために設ける乗員監視装置では、撮像部材などの配置について改善する。【解決手段】車両１の乗員監視装置１５は、車両１の乗員に対して画面を表示するための表示部材３２とともに、少なくとも車両１の乗員を監視するための撮像部材４１が設けられるユーザインタフェースモジュール３８と、ユーザインタフェースモジュール３８の向きを変えるために駆動するアクチュエータ３７と、車両１に乗る乗員を識別または登録するための制御を実行する制御部３６と、を有する。制御部３６は、撮像部材４１の向きが車両１に新たに乗る乗員の方向へ近づくようにアクチュエータ３７を制御してユーザインタフェースモジュール３８の向きを変えて、ユーザインタフェースモジュール３８の向きを変えた状態での撮像部材４１の撮像データを用いて、車両１に乗る乗員を監視するための識別制御または登録制御を実行する。【選択図】図７

Description

本発明は、車両の乗員監視装置に関する。

車両では、たとえば車両の設定などを行うための表示部材として、タッチパネルを有する液晶デバイスを、ユーザインタフェースとして採用し始めている。タッチパネルを有する液晶デバイスには、たとえばボタンといった操作オブジェクトが表示される。
この場合、車両の乗員が、タッチパネルを有する液晶デバイスに表示されているたとえばボタンといった操作オブジェクトを操作する。車両の制御部は、操作内容に応じた制御を実行する。
そして、タッチパネルを有する液晶デバイスは、たとえばモバイル端末において、操作オブジェクトを触れるようにクリック操作するだけでなく、たとえば液晶デバイスの表面をなぞるように動かすスワイプ操作などの多彩な操作が可能である。乗員は、モバイル端末などの操作において、これらの操作に慣れている。

また、車両では、運転支援や自動運転の際に乗員の状態を監視することが今後求められてくると考えられる（特許文献１、２）。
この場合、車両は、車両の乗員を監視するために、たとえば乗員の前のダッシュボートなどに撮像デバイスを設け、撮像デバイスの撮像画像に基づいて乗員の状態を判断して監視することになる。

特開２０１９－０１４３５９号公報 特開２０１９－０１４３６０号公報

これら各種の要求に応えるために、撮像デバイスは、車両に設けられるタッチパネルを有する液晶デバイスの近くなどに設けることが考えられる。これにより、撮像デバイスは、液晶デバイスに所定の表示をしてそれを見ている乗員を正面から撮像することが可能になる。乗員を予め正面から撮像した撮像データがある場合、たとえば、この正面からの撮像データと現在の撮像データとを比較するなどして、ドライバといった各乗員の状態をより確からしく判断することが可能になる。
また、液晶デバイスと撮像デバイスとは、たとえば車両の車幅方向の中央部分に配置することが考えられる。これにより、タッチパネルを有する液晶デバイスは、ドライバだけでなく、同乗者も画像を視認して、操作することが可能になる。この場合、液晶デバイスと撮像デバイスとは、車両の車幅方向の中央部分においてドライバ側に傾けることは、同乗者の利便性の妨げとなるため、望ましくない。
その一方で、車両の車幅方向の中央部分において液晶デバイスと撮像デバイスとを後方向へ固定的に向けて設けた場合、ドライバと同乗者は、撮像デバイスの撮像データにおいて画像の中央部分ではなく、歪みが生じ易い画像の周辺部分に撮像されてしまう。そして、歪みが大きい画像のみに基づいてドライバなどの乗員の個人認識を実行する場合、顔の詳細な特徴などを捉えることが困難になる可能性がある。個人の認識性能が低下する可能性がある。

このように車両に乗員を監視するために設ける乗員監視装置では、撮像部材などの配置について改善することが求められる。

本発明に係る車両の乗員監視装置は、車両の乗員に対して画面を表示するための表示部材とともに、少なくとも前記車両の乗員を監視するための撮像部材が設けられるユーザインタフェースモジュールと、前記ユーザインタフェースモジュールの向きを変えるために前記ユーザインタフェースモジュールを駆動するアクチュエータと、前記車両に乗る乗員を識別または登録するための制御を実行する制御部と、を有し、前記制御部は、前記撮像部材の向きが前記車両に新たに乗る乗員の方向へ近づくように前記アクチュエータを制御して前記ユーザインタフェースモジュールの向きを変え、前記ユーザインタフェースモジュールの向きを変えた状態での前記撮像部材の撮像データを用いて、前記車両に乗る乗員を監視するための識別制御または登録制御を実行する。

好適には、前記制御部は、前記車両に新たな乗員が乗ることを検知すること、前記車両に新たに乗る乗員の乗車位置を判断すること、および、新たに乗る乗員が前記乗車位置において安定した姿勢であること、の中の少なくとも１つの判断を実行した後に、新たに乗る乗員の顔または頭部の相対方向を取得し、前記撮像部材の向きが、取得した前記相対方向となるように、前記アクチュエータを制御する、とよい。

好適には、前記ユーザインタフェースモジュールは、前記車両の車幅方向の中央部分に可動可能に設けられ、前記制御部は、前記撮像部材の撮像画像に基づいて、前記車両の乗員の状態を監視する、とよい。

好適には、前記ユーザインタフェースモジュールに設けられる前記撮像部材は、前記車両の車幅方向の中央部分から前記車両の後方向へ向いている状態において前記車両の車内を広角に撮像して、前記車両に乗る複数の乗員を監視するために撮像する、とよい。

好適には、前記制御部は、識別制御または登録制御を実行した後、前記アクチュエータを制御して前記ユーザインタフェースモジュールの向きを戻し、向きを戻した状態での前記撮像部材の撮像データを用いて、前記車両に乗る乗員を監視する、とよい。

好適には、前記制御部は、前記車両に乗る乗員を監視する際に、向きを戻した状態での前記撮像部材の撮像データとともに、識別制御または登録制御において取得した乗員の撮像データを用いる、とよい。

好適には、前記表示部材および前記撮像部材は、前記車両の車幅方向の中央部分において可動可能に設けられ、前記制御部は、前記撮像部材の撮像画像に基づいて、前記車両の乗員の状態を監視する、とよい。

本発明では、車両の乗員を監視するための撮像部材は、車両の乗員に対して画面を表示するための表示部材の近くとなるように表示部材とともにユーザインタフェースモジュールに設けられ、車両に乗る乗員を識別または登録するための制御を実行する制御部は、撮像部材の向きが車両に新たに乗る乗員の方向へ近づくようにアクチュエータを制御してユーザインタフェースモジュールの向きを変える。特に、ユーザインタフェースモジュールの撮像部材が車両の複数の乗員を監視可能なホームポジションである状態において、車両に新たな乗員が乗ることを検知すること、車両に新たに乗る乗員の乗車位置を判断すること、および、新たに乗る乗員が乗車位置において安定した姿勢であること、を判断した後に、新たに乗る乗員の顔または頭部の相対方向を取得し、撮像部材の向きが、取得した相対方向となるように、アクチュエータを制御することにより、撮像部材を、車両に新たに乗る乗員の顔または頭部へ向けることができる。そして、制御部は、ユーザインタフェースモジュールの向きを変えた状態での撮像部材の撮像データを用いて、ドライバなどの乗員の歪みを抑えた画像に基づいて、車両に乗る乗員を監視するための識別制御または登録制御を実行できる。
その結果、本発明では、車両に乗員を監視するために設ける乗員監視装置における撮像部材などの配置を、乗員の監視に適したものとすることができる。

図１は、本発明の実施形態に係る乗員監視装置が適用される自動車の説明図である。 図２は、図１の自動車の制御装置の説明図である。 図３は、図２の自動車の乗員監視装置の説明図である。 図４は、図３の乗員監視装置における表示操作パネルを有する液晶デバイスと、撮像センサを有するカメラモジュールとについての、通常時の車内配置の説明図である。 図５は、自動車の乗員であるドライバの撮像状態の説明図である。 図６は、車体の車幅方向の中央部分に設けられる乗員監視装置の液晶デバイスとカメラモジュールとについての詳細な説明図である。 図７は、図３の監視制御部による乗員の監視制御のフローチャートである。 図８は、図７の新規登録処理のフローチャートである。 図９は、図６の車体の車幅方向の中央部分に設けられる乗員監視装置の液晶デバイスとカメラモジュールとについての変形例の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る乗員監視装置１５が適用される自動車１の説明図である。
自動車１は、車両の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
図１の自動車１の車体２には、車室３が形成されている。車室３には、運転席および助手席のための複数の前列のシート４と、長尺の後列のシート４と、が設けられる。シート４には、ドライバを含む乗員が着座する。前列の複数のシート４の前側である車室３の前部には、車体２の車幅方向に沿って延在するようにダッシュボード５が設けられる。

図２は、図１の自動車１の制御装置１０の説明図である。
図２の制御装置１０は、ドア開閉センサ１１、車速センサ１２、パークセンサ１３、スピーカデバイス１４、乗員監視装置１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、乗員保護装置１９、空調装置２０、および、これらが接続される車内ネットワーク２１、を有する。

車内ネットワーク２１は、自動車１のためのたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークでよい。車内ネットワーク２１は、ＬＡＮなどの通信用ネットワークでも、これらを組み合わせたものであってもよい。車内ネットワーク２１の一部には、無線方式の通信ネットワークが含まれてよい。

ドア開閉センサ１１は、自動車１のドアの開閉を検出する。
車速センサ１２は、走行する自動車１の速度を検出する。車速センサ１２は、停止状態を検出してよい。
パークセンサ１３は、自動車１が停車状態に維持されるパーキング状態を検出する。パークセンサ１３は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。

乗員監視装置１５は、たとえばドア開閉センサ１１がドアの開閉を検出すると、車室３に乗る乗員の認識処理を実行する。
乗員監視装置１５は、複数の乗員を認識している場合、複数の乗員の各々を個別に監視してよい。
乗員監視装置１５は、認識した各乗員の情報、監視に基づく情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。
特に、乗員監視装置１５は、たとえばドライバ用のシート４に着座した乗員をドライバとして認識し、認識したドライバの脇見や居眠りを監視する。そして、ドライバが所定の状態にある場合、乗員監視装置１５は、ドライバへの注意喚起のための制御、危険予防のための制御を実行する。この際、乗員監視装置１５は、ドライバの情報、注意喚起のための情報、危険予防のための情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。

スピーカデバイス１４は、音声、警告音などを出力する。スピーカデバイス１４は、乗員監視装置１５によるドライバその他の乗員への警告を出力してよい。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置１６は、乗員監視装置１５が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置１７は、ドライバによる手動運転による自動車１の走行操作を支援したり、自動運転による自動車１の走行操作を支援したりする。運転支援装置１７は、自動車１の加速、減速、停止、操舵を制御する。運転支援装置１７は、乗員監視装置１５が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行する。
車外通信装置１８は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置１８は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置１８は、乗員監視装置１５が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置１９は、自動車１の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置１９は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート４に着座している乗員を保護する。乗員保護装置１９は、乗員監視装置１５が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置２０は、車室３の温度、酸素濃度、を制御する。空調装置２０は、たとえば冷却した空気または過熱した空気を車室３へ供給し、これにより車室３を設定温度に調整する。空調装置２０は、乗員監視装置１５が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置１５が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車１の走行に集中することができる。

図３は、図２の自動車１の乗員監視装置１５の説明図である。図３の乗員監視装置１５は、ドライバだけでなく、たとえば前列の複数のシート４に着座する複数の乗員を監視するものである。図３の乗員監視装置１５は、カメラモジュール３１、表示操作パネル３３を有する液晶デバイス３２、入出力デバイス３４、メモリ３５、アクチュエータ３７、および、これらが接続される監視制御部３６、を有する。

入出力デバイス３４は、車内ネットワーク２１に接続される。入出力デバイス３４は、車内ネットワーク２１を通じて、自動車１に設けられる他の各部との間でデータを入出力する。

液晶デバイス３２は、表示操作パネル３３による表示面に画像を表示する。液晶デバイス３２は、表示部材として、自動車１に乗る各乗員に視認させる画面を表示する。表示画面には、たとえば乗員により操作される操作画面がある。
表示操作パネル３３は、液晶デバイス３２の表示面に重ねて設けられる透明または半透明のパネルである。表示操作パネル３３を液晶デバイス３２の表示面に重ねたものが表示部材である。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作を検出する。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作位置を、監視制御部３６へ出力してよい。

カメラモジュール３１は、前列の複数のシート４に着座する複数の乗員を撮像するためのものである。カメラモジュール３１は、撮像センサ４１、撮像広角レンズ４２、第一ＬＥＤ４３、第一投光レンズ４４、第二ＬＥＤ４５、第二投光レンズ４６、を有する。

撮像センサ４１は、たとえばＣＣＤ、ＣＭＯＳセンサといった半導体光学センサである。撮像センサ４１は、たとえば複数の受光素子が配列された略四角形の受光面を有するものでよい。撮像センサ４１は、撮像画像を含む撮像データを、監視制御部３６へ出力してよい。
撮像広角レンズ４２は、撮像センサ４１に重ねて設けられる。撮像広角レンズ４２は、画像の周縁部分での歪みを抑制するように、複数枚の光学レンズで構成されてよい。
撮像センサ４１および撮像広角レンズ４２は、撮像部材として、自動車１に乗る複数の乗員の状態を監視可能にするために自動車１の乗員を撮像可能である。
撮像広角レンズ４２は、たとえばダッシュボード５についての車幅方向の中央部に撮像センサ４１が設けられている状態において、前列の複数のシート４に着座する複数の乗員の上体または頭部を撮像可能なレンズでよい。

第一ＬＥＤ４３、第二ＬＥＤ４５は、半導体発光素子でよい。第一ＬＥＤ４３、第二ＬＥＤ４５は、投光部材として、撮像センサ４１が撮像対象としている自動車１の乗員へ投光する。第一ＬＥＤ４３、第二ＬＥＤ４５は、たとえば赤外線を投光するものでよい。この場合、撮像センサ４１は、赤外線による撮像画像を含む撮像データを、監視制御部３６へ出力することになる。第一投光レンズ４４は、第一ＬＥＤ４３に重ねて設けられる。第一投光レンズ４４は、第一ＬＥＤ４３の光を主に運転席としてのシート４に着座するドライバへ向けて照射してよい。第二投光レンズ４６は、第二ＬＥＤ４５に重ねて設けられる。第二投光レンズ４６は、第二ＬＥＤ４５の光を主に助手席としてのシート４に着座する乗員へ向けて照射してよい。なお、第二投光レンズ４６は、助手席としてのシート４に着座する乗員とともに、運転席としてのシート４に着座するドライバへ向けて、光を拡散して投光してもよい。

アクチュエータ３７は、表示操作パネル３３を有する液晶デバイス３２と、カメラモジュール３１とを、駆動する。カメラモジュール３１は、液晶デバイス３２の表示操作パネル３３の裏側に一体的に配置されて、ユーザインタフェースモジュール３８を構成する。アクチュエータ３７は、ユーザインタフェースモジュール３８を駆動して向きを変えることにより、表示操作パネル３３を有する液晶デバイス３２とカメラモジュール３１とを駆動してよい。

メモリ３５は、プログラムおよびデータを記憶する。メモリ３５は、不揮発性メモリと、揮発性メモリとで構成されてよい。不揮発性メモリには、たとえばＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、などがある。揮発性メモリには、たとえばＲＡＭがある。

乗員監視装置１５のメモリ３５には、自動車１に登録されている複数の乗員のデータが、乗員毎に管理して記録されてよい。図３には、第一乗員についての第一乗員データ５１と、第二乗員についての第二乗員データ５２と、が示されている。複数の乗員データにより、メモリ３５にはデータベースが構成される。

第一乗員データ５１、第二乗員データ５２といった各乗員データには、乗員ごとに固有の識別情報、たとえば乗員の頭部や目を撮像センサ４１により撮像した登録撮像データ、乗員がした各種の設定データ、が含まれてよい。設定データには、たとえば乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、といった情報、が含まれてよい。
このように、メモリ３５は、記録部材として、液晶デバイス３２に所定の画面を表示している際の各乗員を正面から撮像センサ４１により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ３５は、登録されていない汎用の乗員についての乗員データを、記録してよい。

監視制御部３６は、たとえばＥＣＵ、ＣＰＵ、その他のマイクロコンピュータでよい。監視制御部３６は、メモリ３５からプログラムを読み込んで実行する。これにより、乗員監視装置１５の制御部としての監視制御部３６が実現される。監視制御部３６は、自動車１に乗る乗員を識別または登録するための制御を実行する。監視制御部３６は、たとえば、液晶デバイス３２の操作画面に対する乗員の操作として判断された操作内容に応じた制御を実行してよい。
また、監視制御部３６は、自動車に乗員が乗ると、乗員の状態の監視制御を実行する。この際、監視制御部３６は、必要に応じてアクチュエータ３７を動作させてよい。監視制御部３６は、撮像センサ４１の撮像画像のデータに基づいて自動車１の複数の乗員の状態を監視する。監視制御部３６は、乗員監視のために、たとえば、自動車１に乗る乗員についての登録処理、監視処理、を実行する。監視処理において、監視制御部３６は、自動車１に乗っている乗員を識別し、乗員ごとの監視処理を実行してよい。特に、少なくともドライバとしての乗員については、監視制御部３６は、判断部として、メモリ３５に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員のわき見、居眠り、緊急事態といった状態を判断する。

図４は、図３の乗員監視装置１５における表示操作パネル３３を有する液晶デバイス３２と、撮像センサ４１を有するカメラモジュール３１とについての、通常時の車内配置の説明図である。

図４（Ａ）には、車室３の前部に設けられるダッシュボード５およびセンターコンソール６が示されている。
本実施形態の液晶デバイス３２とカメラモジュール３１とは、たとえば図１に示すように、自動車１の車幅方向の中央部分において自動車１の後方向へ向けて、ダッシュボード５からセンターコンソール６までにかけて縦長に配置される。これにより、カメラモジュール３１の撮像センサ４１は、ドライバおよび同乗者を含むように広角により車内を全体的に撮像できる。撮像センサ４１は、ドライバの頭部を含む上体と、同乗者の頭部を含む上体とを、１つの撮像データに撮像し得る。
液晶デバイス３２は、表示画面の車幅方向の中央位置Ｙｄが自動車１の車幅方向の中央位置Ｙ０と一致するように、自動車１の車幅方向の中央部分においてセンター配置される。液晶デバイス３２の表示画面は、同乗者の視認性を確保しながら、ドライバの視認性についても確保できる。

図４（Ｂ）は、自動車１の車幅方向の中央部分において後方向へ向けて設けられる撮像センサ４１および撮像広角レンズ４２を有するカメラモジュール３１による車内の撮像範囲の説明図である。
撮像センサ４１には撮像広角レンズ４２が重ねられる。これにより、撮像センサ４１は、図４（Ｂ）において撮像範囲として示すように、ドライバおよび同乗者を含むように広角により車内を全体的に撮像できる。撮像センサ４１は、自動車１の車幅方向の中央部分に配置されて、複数の前列のシート４に着座するドライバの頭部と同乗者の頭部とを撮像できる。
ただし、撮像広角レンズ４２を撮像センサ４１に組み合わせて複数の乗員を撮像可能とする場合、撮像範囲の中央部分の画像は、歪みが少ない高画質エリアとなる一方で、撮像範囲の周縁部分は、中央部分と比べて歪みが生じている歪発生エリアとなる。このため、乗員が車幅方向において右端や左端へ寄って着座してしまうと、その乗員の頭部を歪みなく撮像することが難しくなる傾向にある。乗員の目の開閉状態などを判断に使用する場合、その撮像データのみに基づいて状態を正しく判断できなくなる可能性が高まる。

なお、図４とは異なり、液晶デバイス３２は、表示画面の車幅方向の中央位置Ｙｄが、自動車１の車幅方向の中央位置Ｙ０より少しだけドライバとは反対側へずらしてオフセット配置されてもよい。この場合、カメラモジュール３１は、液晶デバイス３２と同じようにずらしてオフセット配置されても、撮像センサ４１の画面の中央位置が、液晶デバイス３２の表示画面の車幅方向の中央位置Ｙｄと、自動車１の車幅方向の中央位置Ｙ０との間に位置するようにしてもよい。また、液晶デバイス３２および撮像センサ４１は、オフセット位置において、ドライバへ向かうように車体２の前後方向に対して傾けて配置されてもよい。これにより、撮像センサ４１の撮像画像の中央部分の高画質エリアは、ドライバ側へ寄る。ドライバは、撮像センサ４１の撮像画像の中央部分の高画質エリアにおいて撮像され易くなり、周辺部分の歪発生エリアにおいて撮像され難くなる。ドライバは、歪みが抑えられた画像として撮像されることが期待できる。

図５は、自動車１の乗員であるドライバの撮像状態の説明図である。

図５（Ａ）は、第一ドライバの頭部の正面図である。図５（Ｂ）は、図５（Ａ）の第一ドライバの頭部の斜視図である。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図５（Ａ）の正面方向から撮像したものではなく、図５（Ｂ）のように斜め方向から撮像することになる。

図５（Ｃ）は、第二ドライバの頭部の正面図である。図５（Ｄ）は、図５（Ｃ）の第二ドライバの頭部の斜視図である。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図５（Ｃ）の正面方向から撮像したものではなく、図５（Ｄ）のように斜め方向から撮像することになる。

そして、図５（Ｄ）の撮像データでは、図５（Ｂ）の撮像データとは異なり、ドライバの右目が、ドライバの高い鼻に隠れて、黒目しか映っていない。
この場合、監視制御部３６は、図５（Ｄ）の撮像データのみから、ドライバの右目の開閉状態を判断することは容易でない。特に、図５（Ｄ）のように歪みがない状態ではなく、歪んだ画像として撮像されている場合には、監視制御部３６は、図５（Ｄ）の撮像データのみから、ドライバの右目の開閉状態を判断することは極めて容易でない。
また、図５（Ｄ）の撮像データでは、ドライバの右目の白目の画像成分が状態判別可能な程度に含まれていないことから、監視制御部３６は、図５（Ｄ）の撮像データのみに基づいて右目の状態を抽出し難い。監視制御部３６は、右目を特定できない場合、その結果としてドライバの頭部の向きなどを判別できない可能性もある。たとえば両目と鼻との配置関係、両目と口との配置関係に基づいて、画像中の頭部の撮像領域を特定するような場合、監視制御部３６は、図５（Ｄ）の撮像データのみに基づいて、図５（Ｄ）のドライバの頭部の向きなどを特定することができない。ドライバの頭部についての基準となるデータがない場合、監視制御部３６は、ドライバの右目が画像成分に含まれていない場合には、ドライバの状態を正しく推定することができない可能性が高まる。
カメラモジュール３１の撮像センサ４１が自動車１の車幅方向の中央部分に設けられている場合、この図５（Ｄ）のような状態は生じ易くなる。

このように乗員には、たとえば目が大きい人、目が小さい人、目が前に出ている人、目が奥に入っている人などの個人差がある。
実際のドライバの頭部の位置は、車幅方向での画角方向へ移動するだけでなく、さらに上下方向へも移動する可能性がある。これらの移動の発生について考慮すると、撮像センサ４１の現在の撮像データのみに基づいてドライバの頭部の状態や目の状態を正しく推定することは、容易なことではない。

図６は、車体２の車幅方向の中央部分に設けられる乗員監視装置１５の液晶デバイス３２とカメラモジュール３１についての詳細な説明図である。図６（Ａ）は、車室３の後方側から見た正面図である。図６において、液晶デバイス３２の表示操作パネル３３の中央位置は、車体２の車幅方向の中央位置Ｙ０と一致している。液晶デバイス３２とカメラモジュール３１とは、ユーザインタフェースモジュール３８として一体化されている。

液晶デバイス３２は、画面を表示する表示領域として、一般的なモニタのように四角形の表示面ではなく、四角形の上縁の中央部分を切り欠いた略凹形状を有する。
撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による表示領域の上側に形成される凹部の裏側に配置される。
撮像センサ４１および撮像広角レンズ４２は、それらの車幅方向の中央位置が、液晶デバイス３２の表示操作パネル３３の中央位置と、車体２の車幅方向の中央位置Ｙ０とに一致している。
これにより、カメラモジュール３１の撮像センサ４１は、あたかも液晶デバイス３２そのものに設けられている状態となる。その結果、カメラモジュール３１の撮像センサ４１は、表示操作パネル３３を有する液晶デバイス３２の裏側から、乗員を撮像することが可能となる。
また、カメラモジュール３１において、撮像センサ４１および撮像広角レンズ４２は、車幅方向の中央部分に配置される。第一ＬＥＤ４３および第一投光レンズ４４は、助手席側の端部分に配置される。第二ＬＥＤ４５および第二投光レンズ４６は、ドライバ側の端部分に配置される。これにより、カメラモジュール３１は、ドライバとダッシュボード５との間にステアリング７などの物体が存在していても、そのステアリング７などにより遮られることなく投光し、撮像することができる。
なお、このようにカメラモジュール３１を表示操作パネル３３の裏側に設ける場合、撮像広角レンズ４２、第一投光レンズ４４、第二投光レンズ４６は、表示操作パネル３３そのものを加工することにより設けられてもよい。

そして、液晶デバイス３２とカメラモジュール３１とが一体的に設けられるユーザインタフェースモジュール３８は、アクチュエータ３７により、自動車１のたとえば上下方向に沿う軸の周囲で回転駆動される。これにより、液晶デバイス３２の向きと、カメラモジュール３１の向きとは、同様に変向する。なお、アクチュエータ３７は、ユーザインタフェースモジュール３８についての車幅方向の中央位置Ｙ０での軸の周囲ではなく、ユーザインタフェースモジュール３８のたとえばドライバ側の端縁を軸として、同乗者側の端縁を回転させるように、ユーザインタフェースモジュール３８を回転駆動してよい。ユーザインタフェースモジュール３８は、自動車１の車幅方向の中央部分において可動可能に設けられる。
このようなユーザインタフェースモジュール３８において液晶デバイス３２は、乗員監視のための設定画面だけでなく、その他の画面、たとえばナビゲーションの設定画面や案内画面、コンテンツの表示画面を、ドライバおよび同乗者へ向けて表示することができる。

図７は、図３の監視制御部による乗員の監視制御のフローチャートである。
監視制御部３６は、新たな乗員が自動車１に乗ると、図７の監視制御を繰り返し実行してよい。

ステップＳＴ１において、監視制御部３６は、自動車１に新たな乗員が乗車したか否かを判断する。乗員は、自動車１の不図示のドアを開いて、シート４に着座する。監視制御部３６は、たとえばドア開閉センサ１１の開閉の検出信号に基づいて、自動車１に新たな乗員が乗ることを検知して判断してよい。この他にもたとえば、監視制御部３６は、撮像センサ４１の撮像データに新たな乗員が撮像されていることに基づいて、自動車１に新たな乗員が乗車したか否かを判断してよい。自動車１に新たな乗員が乗車していない場合、監視制御部３６は、本処理を繰り返す。自動車１に新たな乗員が乗車すると、監視制御部３６は、処理をステップＳＴ２へ進める。

ステップＳＴ２において、監視制御部３６は、新たに自動車１に乗車した乗員の乗車位置を判定する。監視制御部３６は、撮像センサ４１の撮像データに新たな乗員が撮像されていることに基づいて、新たに乗車した乗員の乗車位置を判定してよい。

ステップＳＴ３において、監視制御部３６は、新たに乗車した乗員が乗車位置において安定した姿勢となっているか否かを判断する。監視制御部３６は、撮像センサ４１により連続して撮像される複数の撮像データに基づいて、新たな乗員の撮像位置が大きく変化しない場合に、新たに乗車した乗員が乗車位置において安定した姿勢となっていると判断してよい。監視制御部３６は、安定した姿勢となっていると判断できるまで、本処理を繰り返す。安定した姿勢となっていると判断すると、監視制御部３６は、処理をステップＳＴ４へ進める。

ステップＳＴ４において、監視制御部３６は、撮像センサ４１による最新の撮像データに基づいて、新たに乗車した乗員の顔または頭部の位置を判定し、新たに乗車した乗員の顔または頭部を、撮像センサ４１の画像の中央部分で良好に撮像するためのアクチュエータ３７の制御量を演算により取得する。アクチュエータ３７の制御量は、自動車１の車幅方向への制御量を含む。アクチュエータ３７の制御量は、さらに自動車１の上下方向への制御量を含んでよい。これにより、監視制御部３６は、新たに乗る乗員の顔または頭部の相対方向を取得する。

ステップＳＴ５において、監視制御部３６は、取得した制御量により、アクチュエータ３７を動作させる。これにより、ユーザインタフェースモジュール３８に設けられる撮像センサ４１と液晶デバイス３２とは、新たに乗車した乗員の顔と正対することができる向きになる。撮像センサ４１の向きが自動車１に新たに乗る乗員の方向へ近づいて取得した相対方向となるように、アクチュエータ３７は制御され、ユーザインタフェースモジュール３８の向きが変化する。

ステップＳＴ６において、監視制御部３６は、撮像センサ４１による制御後の撮像データに基づいて、新たに乗車した乗員についての個人識別処理を実行する。監視制御部３６は、ユーザインタフェースモジュール３８の向きを変えた状態での撮像センサ４１の撮像データを用いて、自動車１に乗る乗員を監視するための識別制御を実行する。監視制御部３６は、撮像データの画像の中心部分に含まれて歪みが抑制されている乗員の画像と、メモリ３５に記録されている複数の乗員の乗員データとを比較し、各乗員を高精度に識別してよい。
なお、監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯してよい。これにより、液晶デバイス３２の案内表示を視るように正対している乗員の上体または頭部には、紫外線が照射される。
また、監視制御部３６は、乗車している乗員を識別するために、撮像センサ４１から新たな撮像画像を取得し、乗車している乗員の画像成分を抽出し、メモリ３５に登録されている複数の乗員データと照合してよい。この際、監視制御部３６は、メモリ３５に登録されている各乗員の登録撮像データの中の、正対視の画像成分のみに基づいて、照合してよい。正対視の画像には、顔の鼻などの特徴点が鮮明に含まれることが多い。正対視の画像成分のみに基づいて照合しても、乗員の合致を高い精度で判断可能である。また、監視制御部３６は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。
監視制御部３６は、メモリ３５に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。この場合、監視制御部３６は、乗車している乗員を、メモリ３５に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。メモリ３５に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部３６は、登録がない乗員として識別してよい。
また、監視制御部３６は、メモリ３５に乗員データが記録されている乗員がいる場合、さらに乗員データを用いて設定処理を実行してよい。監視制御部３６は、設定データの情報を、自動車１の各部へ出力する。これにより、乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、などの処理が実行される。また、監視制御部３６は、取得している最新の撮像データに基づいて、たとえば助手席のシート４へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート４へ向けてのエアバッグ展開を禁止する設定を実行する。

ステップＳＴ７において、監視制御部３６は、新たに乗車した乗員を新規登録するか否かを判断する。監視制御部３６は、たとえば液晶デバイス３２に登録処理の確認画面を表示し、それに応じた乗員の操作が表示操作パネル３３に対してなされたら、新規登録すると判断し、処理をステップＳＴ８へ進める。登録不要の操作がなされたら、監視制御部３６は、処理をステップＳＴ９へ進める。

ステップＳＴ８において、監視制御部３６は、新たに乗車した乗員についての新規登録処理を実行する。監視制御部３６は、メモリ３５に、新たな乗員の乗員データを追加して記録する。監視制御部３６は、ユーザインタフェースモジュール３８の向きを変えた状態での撮像センサ４１の撮像データを用いて、自動車１に乗る乗員についての登録制御を実行する。

ステップＳＴ９において、監視制御部３６は、ステップＳＴ５において動作させたアクチュエータ３７を、取得した制御量で戻す。これにより、ユーザインタフェースモジュール３８に設けられる撮像センサ４１と液晶デバイス３２とは、自動車１の後方向へ向く。

ステップＳＴ１０において、監視制御部３６は、自動車１に乗る乗員の状態監視制御を開始する。監視制御部３６は、識別制御および登録制御を実行した後、アクチュエータ３７を制御してユーザインタフェースモジュール３８の向きを戻し、向きを戻した状態での撮像センサ４１の撮像データを用いて自動車１に乗る乗員を監視する。自動車１に複数の乗員が乗っている場合、監視制御部３６は、向きを戻した状態での撮像センサ４１の最新の撮像データとともに、各乗員についてメモリ３５に記録されている登録済みの乗員データを用いて、複数の乗員の各々の状態を判定して監視する。ユーザインタフェースモジュール３８に設けられる撮像センサ４１は、自動車１の車幅方向の中央部分から自動車１の後方向へ向いている状態において自動車１の車内を広角に撮像できる。撮像センサ４１は、自動車１に乗る複数の乗員を監視するための撮像データを撮像できる。
たとえば、監視制御部３６は、最新の撮像データに含まれる乗員の上体および頭部の画像成分を特定してよい。監視制御部３６は、既に識別している乗員についてのメモリ３５の登録撮像データの画像成分を基準として用いて、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断する。ここで、監視制御部３６は、たとえばメモリ３５に登録されている各乗員を正面から撮像したものと正面視の乗員を撮像したものとの相違（差）に基づいて、撮像センサ４１により撮像されている現在の撮像データに含まれる乗員を正面から撮像したものを推定し、乗員を正面から撮像したものとして推定した画像成分に基づいて自動車１に乗る各乗員の状態を判断してよい。監視制御部３６は、たとえば乗員を正面から撮像したものを用いて、現在の撮像データに含まれる乗員の画像のレンズ歪みおよび向きを補正し、現在の撮像データに基づく乗員を正面から撮像したものを推定してよい。なお、登録が識別てきない場合には、監視制御部３６は、メモリ３５の標準的な登録撮像データの画像成分を基準として用いても、登録撮像データの画像成分を用いずに、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断してよい。
監視制御部３６は、最新の撮像データにおける乗員の状態としてたとえば目の開閉状態、視線の方向、頭部の向き、などを判断してよい。監視制御部３６は、静脈の脈動を判断してもよい。そして、たとえばドライバとしての乗員の目が閉じている場合、視線が正面視ではない場合、頭部の向きが正面視ではない場合、脈拍が高い場合、監視制御部３６は、ドライバが運転に適した状態にないと判定する。それ以外の場合、監視制御部３６は、ドライバが運転に適した状態にあると判定してよい。このように監視制御部３６は、判断部として、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る各乗員の状態を判断してよい。
また、監視制御部３６は、自動車１に乗るドライバの状態として、少なくとも、ドライバの目の開閉状態、またはドライバの視線を判断してよい。この際、監視制御部３６は、高画質な登録撮像データを基準として用いることができるので、単なる目の開閉状態だけでなく、上瞼と下瞼との間における黒目の撮像状態の変化や白目の撮像状態の変化などについての情報を、各乗員に合わせて取得でき、乗員の視線方向などの目の表情を高精度に判定することができる。これに対し、乗員ごとの登録撮像データを用いないで同様の判断をしようとすると、目の大きさなどの個人差を含めて乗員の視線方向などの目の表情を判定することになる。各個人についての視線方向などの目の表情を高精度に判定することは容易ではない。乗員の身体的特徴に基づく過剰な警告を出力するようになってしまう。その乗員にとって不快である。
また、監視制御部３６は、ドライバなどの乗員の状態判定結果に基づいて、自動車１の走行などについての制御が必要であるか否かを判断してよい。たとえばドライバが運転に適した状態にないと判定している場合、監視制御部３６は、制御要と判断し、自動車１の走行などについての制御を実行する。たとえばドライバの視線が正面視ではないまたは頭部が前へ向いていないと判定している場合、監視制御部３６は、ドライバに対する警告を行う。ドライバへの警告は、たとえば液晶デバイス３２の警告表示、スピーカデバイス１４からの警告音の出力でよい。警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、監視制御部３６は、自動車１の走行モードを自動運転へ切り替えて、自動車１の走行を減速停止してよい。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部３６は、ドライバへの警告、または自動車１の走行の減速停止を実行する。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部３６は、制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。

ステップＳＴ１１において、監視制御部３６は、乗員の状態監視制御を終了するか否かを判断する。自動車１が停止してイグニションがオフされた場合、目的地に到着して停止した場合、乗員が降車した場合、乗員の状態監視制御を終了すると判断してよい。監視制御部３６は、たとえば、ドア開閉センサ１１による開閉検出、撮像センサ４１の画像に基づいて乗員の降車を判断してよい。乗員の状態監視制御を終了しない場合、監視制御部３６は、本処理を繰り返す。乗員の状態監視制御を終了する場合、監視制御部３６は、処理をステップＳＴ１２へ進める。

ステップＳＴ１２において、監視制御部３６は、乗員の監視制御の後処理を実行する。監視制御部３６は、たとえば各乗員の降車時の設定情報を自動車１の各部から取得し、メモリ３５に記録されている各乗員の乗員データを更新する。これにより、メモリ３５に登録されている乗員データは、乗員の嗜好に適応したものとなる。次回の乗車時には、乗員についての最新の設定が自動的になされることになる。また、監視制御部３６は、未登録の乗員についての乗員データを、メモリ３５に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。
その後、監視制御部３６は、図７の監視制御を終了する。

図８は、図７の新規登録処理のフローチャートである。

ステップＳＴ２１において、監視制御部３６は、新たな乗員の登録処理を開始し、液晶デバイス３２に正対視案内を表示する。新たな乗員は、液晶デバイス３２へ顔を向けて正対する。

ステップＳＴ２２において、監視制御部３６は、液晶デバイス３２と同様に変向している撮像センサ４１の撮像データを新たに取得して、新たな乗員についての正対視している撮像画像を取得する。
監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯してよい。これにより、液晶デバイス３２の案内表示を視るように正対している乗員の上体または頭部には、紫外線が照射される。
正対画像には、乗員の両目、鼻、口についての赤外線光による画像成分が高い確率で含まれることが期待できる。赤外線光による画像成分には、頭部や眼球の静脈パターンが含まれてもよい。頭部や眼球の静脈パターンは、それについて抽出する特徴点の個数にもよるが、個人を特定するために用いることができる。また、頭部や眼球の静脈パターンは、頭部の表面形状やまたは顔の凹凸や形状の影響に起因する明暗パターンの影響を受け難い。眼球の静脈パターンは、基本的に、周辺の白目から中央の黒目へ向かうものがある。眼球を覆う瞼の静脈パターンは、眼球の静脈パターンとは異なるパターンである。監視制御部３６は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。そして、このように正対する乗員の頭部を捉えた画像成分には、頭部の各部の画像成分が高画質に含まれていることが期待できる。
なお、監視制御部３６は、正対画像に、乗員の両目、鼻、口についての赤外線光による画像成分が含まれていることが確認できるまで、案内を繰り返したり、撮像センサ４１からの現在の撮像データの取得を繰り返したりしてよい。

ステップＳＴ２３において、監視制御部３６は、液晶デバイス３２に正面視案内を表示する。新たな乗員は、自動車１の前へ向く。

ステップＳＴ２４において、監視制御部３６は、撮像センサ４１の撮像データを新たに取得して、新たな乗員についての正面視している撮像画像を取得する。
監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯する。これにより、自動車１の前方を視る正面視の乗員の上体または頭部には、紫外線が照射される。
正面視画像には、基本的に正対画像とは異なる配置で乗員の両目、鼻、口についての赤外線光による画像成分が含まれ得る。正面視画像には、赤外線光による正面視の頭部や眼球の静脈パターンが含まれてもよい。監視制御部３６は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。
そして、このように正面視する乗員の頭部を捉えた画像成分には、居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分が高画質に含まれていることが期待できる。正面視している頭部の各部の画像成分は、正対している頭部の各部の画像成分と好適に対応するものとすることができる。その結果、たとえば一人の乗員についての居眠りしている状態で正面視している頭部の画像がある場合、その乗員が居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分を、正面視している頭部の各部の画像成分へ変換する場合と同様の処理を実行することにより、居眠りしている状態で正面視している頭部の各部の画像成分を得ることが可能になる。このような正面視している頭部の各部の画像成分は、その乗員が居眠りしている状態のものとして確からしいものとなり得る。乗員の特徴によらずに一律の処理を実行した場合には、その乗員が居眠りしている状態のものとはならない可能性があるが、そのような可能性を確実に減らすことができる。

ステップＳＴ２５において、監視制御部３６は、ステップＳＴ２１からステップＳＴ２４の処理により取得した撮像データを含む、新たな乗員の乗員データをメモリ３５に追加登録する。
これにより、メモリ３５には、新たな乗員についての正対視している撮像画像と、正面視している撮像画像とが記録される。

以上のように、本実施形態では、自動車１の乗員を監視するための撮像センサ４１は、自動車１の乗員に対して画面を表示するための液晶デバイス３２の近くとなるように液晶デバイス３２とともにユーザインタフェースモジュール３８に設けられ、自動車１に乗る乗員を識別または登録するための制御を実行する際に、撮像センサ４１の向きが自動車１に新たに乗る乗員の方向へ近づくようにアクチュエータ３７を制御してユーザインタフェースモジュール３８の向きを変える。特に、ユーザインタフェースモジュール３８の撮像センサ４１が自動車１の複数の乗員を監視可能なホームポジションである状態において、自動車１に新たな乗員が乗ることを検知すること、自動車１に新たに乗る乗員の乗車位置を判断すること、および、新たに乗る乗員が乗車位置において安定した姿勢であること、を判断した後に、新たに乗る乗員の顔または頭部の相対方向を取得し、撮像センサ４１の向きが、取得した相対方向となるように、アクチュエータ３７を制御することにより、撮像センサ４１を、自動車１に新たに乗る乗員の顔または頭部へ向けることができる。そして、監視制御部３６は、ユーザインタフェースモジュール３８の向きを変えた状態での撮像センサ４１の撮像データを用いて、ドライバなどの乗員の歪みを抑えた画像に基づいて、自動車１に乗る乗員を監視するための識別制御または登録制御を実行できる。
これにより、監視制御部３６は、撮像センサ４１の向きを、自動車１に新たに乗る乗員の方向へ近づけた状態で、乗員を監視するための識別制御または登録制御を実行できる。たとえばユーザインタフェースモジュール３８が自動車１の車幅方向の中央部分に設けられて、ユーザインタフェースモジュール３８に設けられる撮像センサ４１が、自動車１の車幅方向の中央部分から後方向へ向いて、自動車１の車内を広角に撮像して自動車１に乗る複数の乗員を撮像して監視するとしても、識別制御または登録制御に係る乗員を画面の中央に近づけて歪みが少ない状態で撮像することができる。監視制御部３６は、乗員を画像の中心付近で撮像したデータを用いて、望ましくは正対する乗員を撮像したデータを用いて、識別制御または登録制御に係る乗員を、より確からしく識別できる。
その結果、本実施形態では、自動車１に乗員を監視するために設ける乗員監視装置１５における撮像センサ４１などの配置を、乗員の監視に適したものとすることができる。
また、本実施形態では、歪みを抑えた画像に基づいてドライバなどの乗員の個人認識を実行することができるため、顔の詳細な特徴などを高精度に捉えることが容易になる。撮像センサ４１が車幅方向の中央部分に設けられていても、個人の認識性能を向上できることが期待できる。

しかも、本実施形態では、識別制御または登録制御を実行した後、監視制御部３６は、アクチュエータ３７を制御してユーザインタフェースモジュール３８の向きを戻し、向きを戻した状態での撮像センサ４１の撮像データを用いて、自動車１に乗る乗員を監視する。ここで、戻した後のユーザインタフェースモジュール３８の向きは、たとえば撮像センサ４１が自動車１の後方向へ向く状態でよい。これにより、本実施形態では、撮像センサ４１が、自動車１の車幅方向の中央部分から、自動車１の車内を広角に撮像した撮像データに基づいて、自動車１に乗る複数の乗員を撮像して監視することができる。本実施形態では、１つの撮像センサ４１により自動車１に乗る複数の乗員を撮像して監視することができる。乗員監視の際には、撮像センサ４１が後方向へ安定して向いているため、撮像センサ４１の向きの違いなどに起因する不確実性や操作の不安定感を抑制できる。そして、向きを戻した状態での撮像センサ４１の撮像データとともに、識別制御または登録制御において取得した乗員の撮像データを用いて、自動車１に乗る乗員を監視することにより、向きを戻した状態での撮像センサ４１の撮像データにおいて乗員のたとえば両目のすべてが適切に撮像され得ない場合であっても、たとえば識別制御または登録制御において取得した乗員の撮像データで情報を補完するなどして、乗員の状態をより確からしく監視することができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上述した実施形態では、液晶デバイス３２は、縦長に配置されている。
この他にもたとえば、液晶デバイス３２は、横長に配置されてよい。

図９は、図６の自動車１の車幅方向の中央部分に設けられる乗員監視装置１５の液晶デバイス３２とカメラモジュール３１とについての変形例の説明図である。
撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による四角形の表示領域の上側となるように配置される。

上述した実施形態では、液晶デバイス３２の表示操作パネル３３、および撮像センサ４１は、自動車１の車幅方向の中央部分にセンター配置されている。撮像センサ４１は、自動車１の車幅方向の中央部分にセンター配置された状態で、自動車１の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ４２を有している。監視制御部３６は、自動車１に乗る乗員の状態として、少なくとも、乗員の目の開閉状態、または視線を判断している。
乗員の監視装置は、これらのいずれかにも該当しないものであってもよい。たとえば、乗員の監視装置は、ドライバのみを監視対象とするものでもよい。この場合であっても、たとえば、撮像センサ４１を、液晶デバイス３２の表示操作パネル３３の裏側において、画像の表示領域の外接円の内側に収まるように配置したり、監視制御部３６が、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る乗員の状態を判断することにより、その監視判断の確からしさを向上できることは期待できる。

１…自動車（車両）、２…車体、３…車室、４…シート、５…ダッシュボード、６…センターコンソール、７…ステアリング、１０…制御装置、１１…ドア開閉センサ、１２…車速センサ、１３…パークセンサ、１４…スピーカデバイス、１５…乗員監視装置、１６…ポジション設定装置、１７…運転支援装置、１８…車外通信装置、１９…乗員保護装置、２０…空調装置、２１…車内ネットワーク、３１…カメラモジュール、３２…液晶デバイス、３３…表示操作パネル、３４…入出力デバイス、３５…メモリ、３６…監視制御部、３７…アクチュエータ、３８…ユーザインタフェースモジュール、４１…撮像センサ、４２…撮像広角レンズ、４３…第一ＬＥＤ、４４…第一投光レンズ、４５…第二ＬＥＤ、４６…第二投光レンズ、５１…第一乗員データ、５２…第二乗員データ

Claims (7)

1. 車両の乗員に対して画面を表示するための表示部材とともに、少なくとも前記車両の乗員を監視するための撮像部材が設けられるユーザインタフェースモジュールと、
   前記ユーザインタフェースモジュールの向きを変えるために前記ユーザインタフェースモジュールを駆動するアクチュエータと、
   前記車両に乗る乗員を識別または登録するための制御を実行する制御部と、
   を有し、
   前記制御部は、
   前記撮像部材の向きが前記車両に新たに乗る乗員の方向へ近づくように前記アクチュエータを制御して前記ユーザインタフェースモジュールの向きを変え、
   前記ユーザインタフェースモジュールの向きを変えた状態での前記撮像部材の撮像データを用いて、前記車両に乗る乗員を監視するための識別制御または登録制御を実行する、
   車両の乗員監視装置。
   
2. 前記制御部は、
   前記車両に新たな乗員が乗ることを検知すること、
   前記車両に新たに乗る乗員の乗車位置を判断すること、および、
   新たに乗る乗員が前記乗車位置において安定した姿勢であること、の中の少なくとも１つの判断を実行した後に、新たに乗る乗員の顔または頭部の相対方向を取得し、
   前記撮像部材の向きが、取得した前記相対方向となるように、前記アクチュエータを制御する、
   請求項１記載の、車両の乗員監視装置。
   
3. 前記ユーザインタフェースモジュールは、前記車両の車幅方向の中央部分に可動可能に設けられ、
   前記制御部は、前記撮像部材の撮像画像に基づいて、前記車両の乗員の状態を監視する、
   請求項１または２記載の、車両の乗員監視装置。
   
4. 前記ユーザインタフェースモジュールに設けられる前記撮像部材は、前記車両の車幅方向の中央部分から前記車両の後方向へ向いている状態において前記車両の車内を広角に撮像して、前記車両に乗る複数の乗員を監視するために撮像する、
   請求項１から３のいずれか一項記載の、車両の乗員監視装置。
   
5. 前記制御部は、識別制御または登録制御を実行した後、
   前記アクチュエータを制御して前記ユーザインタフェースモジュールの向きを戻し、
   向きを戻した状態での前記撮像部材の撮像データを用いて、前記車両に乗る乗員を監視する、
   請求項１から４のいずれか一項記載の、車両の乗員監視装置。
   
6. 前記制御部は、前記車両に乗る乗員を監視する際に、
   向きを戻した状態での前記撮像部材の撮像データとともに、識別制御または登録制御において取得した乗員の撮像データを用いる、
   請求項１から５のいずれか一項記載の、車両の乗員監視装置。
   
7. 前記表示部材および前記撮像部材は、前記車両の車幅方向の中央部分において可動可能に設けられ、
   前記制御部は、前記撮像部材の撮像画像に基づいて、前記車両の乗員の状態を監視する、
   請求項１から６のいずれか一項記載の、車両の乗員監視装置。
   
   

Images