JP2021059241A5 - - Google Patents

Description

本発明の一実施形態に係る車両の乗員監視装置は、車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置であって、前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、前記複数の撮像モジュールによる撮像を制御する制御部と、を有し、前記制御部は、前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する。

好適には、複数の前記撮像モジュールにおける複数の前記発光デバイスは、赤外線を前記乗員へ照射するものであり、前記制御部は、少なくとも前記車両の衝突が予測または検出されていない場合での複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記乗員の網膜または血管を撮像可能な第一光量に抑えて発光させる、とよい。

好適には、前記制御部は、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記第一光量以下の第二光量で発光させる、とよい。

好適には、前記制御部は、複数の前記撮像モジュールにおける複数の前記撮像デバイスによる複数の撮像画像に基づいて乗員の状態を監視するものであり、前記車両の衝突が予測または検出されていない場合には、前記乗員の頭部の位置を監視するとともに、複数の前記撮像デバイスによる複数の撮像画像の中の少なくとも１つの前記撮像画像に撮像されている前記乗員の網膜または血管に基づいて、前記乗員の状態を監視し、前記車両の衝突が予測または検出されている場合には、前記乗員の網膜または血管に基づく状態の監視を停止して、１つの前記撮像デバイスにより撮像される前記撮像画像に基づいて前記乗員の頭部の位置を監視する、とよい。

好適には、複数の前記撮像モジュールは、前記車両のドライバへ共に照射して撮像可能な、前記車両の前中央部分に設けられるセンタ撮像モジュールと、前記ドライバの前側となるように前記車両の側部分に設けられるドライバ撮像モジュールと、を含む、とよい。

本発明の一実施形態に係る車両の乗員保護システムは、車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置と、前記乗員監視装置による前記乗員の位置に応じて、前記乗員に対する保護制御を実行する乗員保護装置と、を有する、車両の乗員保護システムであって、前記乗員監視装置は、前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、前記複数の撮像モジュールによる撮像を制御する制御部と、を有し、前記制御部は、前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する。

本発明では、撮像デバイスおよび発光デバイスをそれぞれ有する複数の撮像モジュールのそれぞれについて、撮像デバイスが撮像する際に発光デバイスから光を照射させる。そして、車両の衝突が予測または検出されると、撮像デバイスおよび発光デバイスを有する複数の撮像モジュールを同時に撮像するように動作させて、複数の撮像モジュールの発光デバイスから同時に乗員へ光を照射する。これにより、乗員は、車両の衝突が予測または検出される場合には、複数の発光デバイスの光により明るく照らされる。その状態で乗員を撮像することより、撮像画像には、乗員の輪郭などがはっきりと撮像されるようになる。その結果、本発明では、撮像画像に基づいて乗員の位置など正確に特定することが可能になる。本発明の車両の乗員監視装置により特定される正確な乗員の位置などに基づいて、車両の他の装置、たとえば乗員保護装置は、正確な乗員の位置に応じて、その乗員に対しての保護制御を適切に実行することが可能になる。
しかも、本発明では、複数の撮像モジュールの発光デバイスから同時に乗員へ光を照射するため、たとえば個々の発光デバイスにおいて発光光量を上げるようにしなくとも、乗員に照射される総光量を増やすことができる。したがって、車両の衝突が予測または検出された状態から検出されない状態へ戻った後に、個々の発光デバイスにおいて光量増加による劣化が生じないようにすることが可能である。または、個々の発光デバイスにおいて、光量増加による劣化がほぼ生じていないようにすることが可能である。その結果、発光デバイスは、車両の衝突が予測または検出された後においても、継続して使用し続けることが可能となる。発光デバイスは、車両の衝突の予測または検出の有無にかかわらず、長期にわたって継続して使用することが可能になる。
しかも、本発明では、車両の衝突が予測または検出されていない通常の場合には、複数の撮像モジュールは、それらの複数の発光デバイスの発光タイミングが互いにずれるように、互いの撮像タイミングをずらして動作する。これにより、通常時には、複数の撮像モジュールは、それぞれのタイミングにおいて、それぞれの発光デバイスのみの光により乗員を照射した状態で乗員を撮像することができる。また、乗員に対して強い光を照射し続け難くなる。乗員についての網膜、血管などの状態を良好に撮像することが可能になる。

図２には、自動車１の制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。
図２の自動車１の制御系１０には、具体的には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動車１の自動運転または手動運転時の運転支援により走行を制御する装置としてのドライブＥＣＵ（自動運転／運転支援ＥＣＵ）１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、乗員監視装置６０の乗員監視ＥＣＵ１７、乗員保護装置７０の乗員保護ＥＣＵ１８、外通信ＥＣＵ１９、ＵＩＥＣＵ２０、が示されている。これら複数の制御ＥＣＵは、直接的にはケーブル２６に接続され、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２５により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。各制御ＥＣＵは、送信元である自身のＩＤと送信先の装置のＩＤとを付加した暗号化データにより、相互に通信することができる。各制御ＥＣＵは、送信先を指定しない暗号化データにより、ブロードキャストのように複数の他の制御ＥＣＵへ同時に送信してよい。また、各制御ＥＣＵは、自身のＩＤが送信先である暗号化データを受信し、自身の制御に使用する。なお、制御ＥＣＵは、自身以外の特定のＩＤが送信先である暗号化データについても受信し、自身の制御に使用してよい。セントラルゲートウェイ２７は、複数のケーブル２６のそれぞれから受信した暗号化データが他のケーブル２６に接続される制御ＥＣＵへのものである場合、受信した暗号化データを他のケーブル２６へ出力する。これにより、図２に示す複数の制御ＥＣＵは、相互に暗号化データを送受できる。

運転操作ＥＣＵ１５は、自動車１の走行を操作するためのハンドル３１、ブレーキペダル３２、アクセルペダル３３、シフトレバ３４といった操作部材に接続される。運転操作ＥＣＵ１５は、操作された操作部材についての操作情報などを含む暗号データを、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力する。

検出ＥＣＵ１６は、たとえば速度センサ４１、加速度センサ４２、ステレオカメラ４３、に接続される。速度センサ４１は、自動車１の速度を検出する。加速度センサ４２は、自動車１の加速度を検出する。ステレオカメラ４３は、自動車１の外側の周囲を撮像する。ステレオカメラ４３は、たとえば自動車１の前方、側方、または後方を撮像してよい。検出ＥＣＵ１６は、接続されているセンサの物理量などを、自動車１の走行について自動車１において検出される物理量として取得し、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８などへ出力する。
たとえば、検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体の有無を検出し、検出した他の移動体の種類、自車からの相対的な距離および方向についての情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８などへ出力してよい。
検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体との衝突を予測し、その情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８へ出力する。
検出ＥＣＵ１６は、加速度センサ４２において所定値以上の大きい衝突の加速度が検出されると、衝突検出を乗員保護ＥＣＵ１８へ出力してよい。

外通信ＥＣＵ１９は、自動車１の外と通信する。外通信ＥＣＵ１９は、たとえば交通情報システム１００の通信中継局１０１と通信してサーバ装置１０２との間で、通信データを送受する。外通信ＥＣＵ１９は、この他にもたとえば、自動車１の近くを走行している他の自動車１１０や歩行者の不図示の携帯端末との間で、たとえばＶ２Ｘ通信により通信データを送受する。外通信ＥＣＵ１９は、これらの通信により、自動車１の目的地までのナビゲーションデータ、交通情報、自動車１の周囲の状況の情報、などを受信すると、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。
外通信ＥＣＵ１９は、他の自動車１１０において予測された衝突の情報を取得し、その情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８へ出力する。

ＵＩＥＣＵ２０には、たとえば表示デバイス５１、操作デバイス５２、に接続される。操作デバイス５２は、表示デバイス５１の表示画面に重ねられるタッチパネル、複数のキーを有してよい。ＵＩＥＣＵ２０は、表示に関する暗号化データを受信すると、表示デバイス５１に画像を表示させる。ＵＩＥＣＵ２０は、表示デバイス５１の表示に応じた操作デバイス５２の操作に基づいて、たとえばナビゲーションデータなどを生成し、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

ドライブＥＣＵ１４は、自動車１の走行を、自動運転と運転支援との間で切り替えて制御する。ドライブＥＣＵ１４は、車ネットワーク２５を通じて取得する各種の情報に基づいて、自動車１の走行を制御する。たとえば自動運転の場合、ドライブＥＣＵ１４は、ナビゲーションデータにしたがって周囲の安全を確認しながら目的地まで走行するように、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ制御情報を出力する。運転支援の場合、ドライブＥＣＵ１４は、操作情報に基づいて、その操作量を周囲の安全などに応じて調整した制御情報を、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ出力する。

乗員監視ＥＣＵ１７は、乗員監視メモリ６３からプログラムを読み込んで実行する。これにより、乗員監視ＥＣＵ１７は、乗員監視装置６０の制御部として機能する。乗員監視装置６０の制御部としての乗員監視ＥＣＵ１７は、センタ撮像モジュール６１の動作と、ドライバ撮像モジュール６２の動作とを制御する。乗員監視ＥＣＵ１７は、たとえばセンタ撮像モジュール６１とドライバ撮像モジュール６２とを、所定の周期で撮像を繰り返すように動作させる。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１から撮像画像を取得し、ドライバ撮像モジュール６２から撮像画像を取得する。乗員監視ＥＣＵ１７は、取得した撮像画像を解析して、自動車１に乗車しているドライバを含む乗員を認識して監視する。
たとえば、乗員監視ＥＣＵ１７は、撮像画像を解析して、自動車１に乗車しているドライバなどの乗員それぞれを特定する。
乗員監視ＥＣＵ１７は、乗員の状態として、乗員の上体の位置や頭部の位置を監視する。また、位置の変化により動きを監視する。乗員監視ＥＣＵ１７は、乗員の上体や頭部の位置や動きの情報を、乗員保護ＥＣＵ１８などへ出力してよい。
乗員監視ＥＣＵ１７は、乗員の状態としてさらに、たとえば居眠り（眠気）状態、興奮状態、わき見、デッドマンなどの緊急状態、を監視する。乗員監視ＥＣＵ１７は、たとえば撮像される頭部の傾きの大きさ、目の開き程度により居眠り、を判断してよい。乗員監視ＥＣＵ１７は、たとえば網膜や血管での脈波の速さ、ヘモグロビンの量により興奮状態、緊急状態、または眠気状態を判断してよい。乗員監視ＥＣＵ１７は、たとえば両目が撮像されていないこと、鼻または口に対して両目が対称な位置に撮像されていないことなどに基づいて、わき見を判断してよい。乗員監視ＥＣＵ１７は、これらのそれぞれについて作成されたプログラムを並列的に実行してよい。
そして、乗員監視ＥＣＵ１７は、これらの監視結果を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８などへ出力してよい。このような情報を受け取ると、ドライブＥＣＵ１４は、自動走行の目的地を病院などへ変更して走行を継続したり、道路わきや駐車場に緊急停止したりする制御を実行してよい。

ステップＳＴ１７において、乗員監視ＥＣＵ１７は、ステップＳＴ１６においてドライバ撮像モジュール６２により撮像された撮像画像を取得して監視処理を実行する。乗員監視ＥＣＵ１７は、ステップＳＴ１３においてセンタ撮像モジュール６１により撮像された撮像画像についても同様に監視処理を実行してよい。乗員監視ＥＣＵ１７は、撮像画像における乗員の網膜や血管などに基づいて、乗員の乗車状態を判断する。乗員監視ＥＣＵ１７は、乗員が自動車１を運転することができる乗車状態でない場合、判断した乗車状態を、ドライブＥＣＵ１４、外通信ＥＣＵ１９、ＵＩＥＣＵ２０などへ送信する。ドライブＥＣＵ１４は、乗員の乗車状態に応じて、自動車１の走行を切り換えてよい。外通信ＥＣＵ１９は、サーバ装置１０２や他の自動車１１０へ、乗員の乗車状態を送信してよい。ＵＩＥＣＵ２０は、乗員の乗車状態に基づく警報を表示デバイス５１などから出力してよい。

ステップＳＴ２１において、乗員監視ＥＣＵ１７は、乗員監視装置６０を縮退モードで動作させるための初期設定を実行する。ここでは、乗員監視ＥＣＵ１７は、乗員監視装置６０の一部の機能のみを実行する状態にする。ここでは、乗員監視ＥＣＵ１７は、乗員の頭部の現在位置を監視する機能のみを実行する状態にする。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１とドライバ撮像モジュール６２とが、通常モードより短い所定の照射撮像周期内の同じタイミングにおいて同時に撮像するように、これらを設定する。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１の赤外線ＬＥＤ６６とドライバ撮像モジュール６２の赤外線ＬＥＤ６６とを、それぞれの撮像タイミングにおいてのみ発光するように設定するとともに、それらの発光光量を第一光量以下の第二光量に設定する。第二光量が第一光量の半分以上であることにより、センタ撮像モジュール６１の赤外線ＬＥＤ６６とドライバ撮像モジュール６２の赤外線ＬＥＤ６６との総光量は、第一光量以上となり得る。また、各赤外線ＬＥＤ６６の光量が通常時のものより増えないことから、衝突予測検出時において光量を切り換えて動作させたとしても、各赤外線ＬＥＤ６６が劣化してその寿命が短くなることはない。

Claims (7)

1. 車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置であって、
   前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、
   前記複数の撮像モジュールによる撮像を制御する制御部と、
   を有し、
   前記制御部は、
   前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、
   前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する、
   車両の乗員監視装置。
   
2. 前記制御部は、
   前記車両の衝突が予測または検出されると、複数の前記撮像モジュールを、前記車両の衝突が予測または検出されていない場合と比べて高速に動作させる、
   請求項１記載の、車両の乗員監視装置。
   
3. 複数の前記撮像モジュールにおける複数の前記発光デバイスは、赤外線を前記乗員へ照射するものであり、
   前記制御部は、
   少なくとも前記車両の衝突が予測または検出されていない場合での複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記乗員の網膜または血管を撮像可能な第一光量に抑えて発光させる、
   請求項１または２記載の、車両の乗員監視装置。
   
4. 前記制御部は、
   前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記第一光量以下の第二光量で発光させる、
   請求項３記載の、車両の乗員監視装置。
   
5. 前記制御部は、複数の前記撮像モジュールにおける複数の前記撮像デバイスによる複数の撮像画像に基づいて乗員の状態を監視するものであり、
   前記車両の衝突が予測または検出されていない場合には、前記乗員の頭部の位置を監視するとともに、複数の前記撮像デバイスによる複数の撮像画像の中の少なくとも１つの前記撮像画像に撮像されている前記乗員の網膜または血管に基づいて、前記乗員の状態を監視し、
   前記車両の衝突が予測または検出されている場合には、前記乗員の網膜または血管に基づく状態の監視を停止して、１つの前記撮像デバイスにより撮像される前記撮像画像に基づいて前記乗員の頭部の位置を監視する、
   請求項１から４のいずれか一項記載の、車両の乗員監視装置。
   
6. 複数の前記撮像モジュールは、前記車両のドライバへ共に照射して撮像可能な、前記車両の前中央部分に設けられるセンタ撮像モジュールと、前記ドライバの前側となるように前記車両の側部分に設けられるドライバ撮像モジュールと、を含む、
   請求項１から５のいずれか一項記載の、車両の乗員監視装置。
   
7. 車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置と、
   前記乗員監視装置による前記乗員の位置に応じて、前記乗員に対する保護制御を実行する乗員保護装置と、
   を有する、車両の乗員保護システムであって、
   前記乗員監視装置は、
   前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、
   前記複数の撮像モジュールによる撮像を制御する制御部と、
   を有し、
   前記制御部は、
   前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、
   前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する、
   車両の乗員保護システム。