JP2022129368A - 車両の乗員監視装置 - Google Patents
車両の乗員監視装置 Download PDFInfo
- Publication number
- JP2022129368A JP2022129368A JP2022005932A JP2022005932A JP2022129368A JP 2022129368 A JP2022129368 A JP 2022129368A JP 2022005932 A JP2022005932 A JP 2022005932A JP 2022005932 A JP2022005932 A JP 2022005932A JP 2022129368 A JP2022129368 A JP 2022129368A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- occupant
- imaging
- display
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】車両に乗る複数の乗員の状態を良好に監視できるようにする。【解決手段】車両1の乗員監視装置15は、車両1に乗る複数の乗員の状態を監視可能にするために車両1の車室を撮像する撮像部材41と、車両1に乗る乗員に視認させる画面を表示する表示部材32と、表示部材32に画面を表示している際の乗員を撮像部材41により撮像した撮像データを用いて、車両1に乗る乗員の状態を判断する判断部36と、を有する。表示部材32についての画面を表示するパネル33に、画面の表示領域と外接する矩形枠33aの内側に非表示部33bを設ける。撮像部材41は、表示部材32のパネル33の非表示部33bの裏側に配置される。【選択図】図6A
Description
本発明は、車両の乗員監視装置に関する。
車両では、ドライバ監視装置についての発明が提案されている(特許文献1、2)。
特許文献1では、ドライバのためだけにドライバの前に専用に設けられたカメラを用いてドライバのみを撮像して監視している。
特許文献1では、ドライバのためだけにドライバの前に専用に設けられたカメラを用いてドライバのみを撮像して監視している。
しかしながら、車両には、ドライバ以外にも同乗者が乗ることがある。
同乗者についてもドライバと同様に監視しようとすると、ドライバの前に専用に設けられたカメラでは、同乗者を撮像することは困難である。
そして、たとえば特許文献2のように特許文献1のドライバ専用の監視装置の設置位置を車両の車幅方向の中央部分に移動させることが考えられる。
しかしながら、単にカメラを車両の車幅方向の中央部分に移動させるだけでは、ドライバそのものについても良好に撮像できなくなり、ドライバについての監視機能そのものが低下してしまうおそれがある。
この他にもたとえば、ドライバを含む乗員ごとに乗員監視装置を設けることも考えられるが、コストなどを考慮すると現実的な選択枝とはなり難い。
同乗者についてもドライバと同様に監視しようとすると、ドライバの前に専用に設けられたカメラでは、同乗者を撮像することは困難である。
そして、たとえば特許文献2のように特許文献1のドライバ専用の監視装置の設置位置を車両の車幅方向の中央部分に移動させることが考えられる。
しかしながら、単にカメラを車両の車幅方向の中央部分に移動させるだけでは、ドライバそのものについても良好に撮像できなくなり、ドライバについての監視機能そのものが低下してしまうおそれがある。
この他にもたとえば、ドライバを含む乗員ごとに乗員監視装置を設けることも考えられるが、コストなどを考慮すると現実的な選択枝とはなり難い。
このように車両に乗る複数の乗員の状態を良好に監視できるようにするためには、さらなる改善が望まれる。
本発明の一形態に係る車両の乗員監視装置は、車両に乗る複数の乗員の状態を監視可能にするために前記車両の車室を撮像する撮像部材と、車両に乗る乗員に視認させる画面を表示する表示部材と、前記表示部材に画面を表示している際の乗員を前記撮像部材により撮像した撮像データを用いて、前記車両に乗る乗員の状態を判断する判断部と、を有し、前記表示部材についての前記画面を表示するパネルに、前記画面の表示領域と外接する矩形枠の内側に非表示部を設け、前記撮像部材は、前記表示部材の前記パネルの前記非表示部の裏側に配置される。
本発明では、車両に乗る複数の乗員の状態を監視可能にするために車両の車室を撮像する撮像部材と、車両に乗る各乗員に視認させる画面を表示する表示部材と、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いて、車両に乗る各乗員の状態を判断する判断部と、を有する。これにより、本実施形態では、撮像部材により撮像されている現在の撮像データとともに、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いて、車両に乗る各乗員の状態を判断することができる。車両に乗る各乗員についての撮像データでの画角位置や乗員の身体的特徴などの影響を抑制して、車両に乗る各乗員の状態をより確からしく判断することができる。
これに対し、仮にたとえば撮像部材により撮像されている現在の撮像データのみに基づいて、車両に乗る各乗員の状態を判断する場合、車両に乗る各乗員についての撮像データでの画角位置や各乗員の身体的特徴などの影響により、各乗員の状態を正しく判断できない可能性がある。本発明では、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いているため、これらの影響を抑制して、各乗員の状態をより確からしく判断できる。
特に、本発明では、撮像部材を、撮像部材についての画面を表示するパネルについての裏側であって、さらに画面の表示領域と外接する矩形枠の内側となるように設けられる非表示部の裏側に、配置している。このため、撮像部材は、表示部材に表示している画面の裏側から撮像しているものと同等の画像を撮像し得る。撮像部材は、画面を見ている各乗員の頭部を、その正面から撮像したものとなり得る。そして、各乗員の頭部を正面から撮像した撮像データを用いることにより、撮像部材により撮像されている現在の撮像データに含まれる各乗員の状態をより確からしく判断することができる。
その結果、本発明では、表示部材のパネル、および撮像部材を、車両の車幅方向の中央部分において車幅方向の中央からオフセットして配置して、撮像部材が、車両の車幅方向の中央部分にセンター配置された状態で、車両の前列に着座する複数の乗員の頭部を撮像可能な画角の広角レンズを有し、判断部が、車両に乗る複数の乗員の各々の状態として、少なくとも、ドライバの目の開閉状態、または視線を判断するとしても、車両に乗るドライバを含む複数の乗員の各々の状態をより確からしく判断することができる。
これに対し、仮にたとえば撮像部材により撮像されている現在の撮像データのみに基づいて、車両に乗る各乗員の状態を判断する場合、車両に乗る各乗員についての撮像データでの画角位置や各乗員の身体的特徴などの影響により、各乗員の状態を正しく判断できない可能性がある。本発明では、表示部材に所定の画面を表示している際の各乗員を撮像部材により撮像した撮像データを用いているため、これらの影響を抑制して、各乗員の状態をより確からしく判断できる。
特に、本発明では、撮像部材を、撮像部材についての画面を表示するパネルについての裏側であって、さらに画面の表示領域と外接する矩形枠の内側となるように設けられる非表示部の裏側に、配置している。このため、撮像部材は、表示部材に表示している画面の裏側から撮像しているものと同等の画像を撮像し得る。撮像部材は、画面を見ている各乗員の頭部を、その正面から撮像したものとなり得る。そして、各乗員の頭部を正面から撮像した撮像データを用いることにより、撮像部材により撮像されている現在の撮像データに含まれる各乗員の状態をより確からしく判断することができる。
その結果、本発明では、表示部材のパネル、および撮像部材を、車両の車幅方向の中央部分において車幅方向の中央からオフセットして配置して、撮像部材が、車両の車幅方向の中央部分にセンター配置された状態で、車両の前列に着座する複数の乗員の頭部を撮像可能な画角の広角レンズを有し、判断部が、車両に乗る複数の乗員の各々の状態として、少なくとも、ドライバの目の開閉状態、または視線を判断するとしても、車両に乗るドライバを含む複数の乗員の各々の状態をより確からしく判断することができる。
以下、本発明の実施形態を、図面に基づいて説明する。
図1は、本発明の実施形態に係る乗員監視装置15が適用される自動車1の説明図である。
自動車1は、車両の一例である。自動車1は、走行の動力源として内燃機関、バッテリ電力、又はそれらの組み合わせを使用してよい。
図1の自動車1の車体2には、車室3が形成されている。車室3には、運転席および助手席のための複数の前列のシート4と、長尺の後列のシート4と、が設けられる。シート4には、ドライバを含む乗員が着座する。前列のシート4の前側である車室3の前部には、車体2の車幅方向に沿って延在するようにダッシュボード5が設けられる。
自動車1は、車両の一例である。自動車1は、走行の動力源として内燃機関、バッテリ電力、又はそれらの組み合わせを使用してよい。
図1の自動車1の車体2には、車室3が形成されている。車室3には、運転席および助手席のための複数の前列のシート4と、長尺の後列のシート4と、が設けられる。シート4には、ドライバを含む乗員が着座する。前列のシート4の前側である車室3の前部には、車体2の車幅方向に沿って延在するようにダッシュボード5が設けられる。
図2は、図1の自動車1の制御装置10の説明図である。
図2の制御装置10は、ドア開閉センサ11、車速センサ12、パークセンサ13、スピーカデバイス14、乗員監視装置15、ポジション設定装置16、運転支援装置17、車外通信装置18、乗員保護装置19、空調装置20、および、これらが接続される車内ネットワーク21、を有する。
図2の制御装置10は、ドア開閉センサ11、車速センサ12、パークセンサ13、スピーカデバイス14、乗員監視装置15、ポジション設定装置16、運転支援装置17、車外通信装置18、乗員保護装置19、空調装置20、および、これらが接続される車内ネットワーク21、を有する。
車内ネットワーク21は、自動車1のためのたとえばCAN(Controller Area Network)、LIN(Local Interconnect Network)に準拠した有線の通信ネットワークでよい。車内ネットワーク21は、LANなどの通信用ネットワークでも、これらを組み合わせたものであってもよい。車内ネットワーク21の一部には、無線方式の通信ネットワークが含まれてよい。
ドア開閉センサ11は、自動車1のドアの開閉を検出する。
車速センサ12は、走行する自動車1の速度を検出する。車速センサ12は、停止状態を検出してよい。
パークセンサ13は、自動車1が停車状態に維持されるパーキング状態を検出する。パークセンサ13は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。
車速センサ12は、走行する自動車1の速度を検出する。車速センサ12は、停止状態を検出してよい。
パークセンサ13は、自動車1が停車状態に維持されるパーキング状態を検出する。パークセンサ13は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。
乗員監視装置15は、たとえばドア開閉センサ11がドアの開閉を検出すると、車室3に乗る乗員の認識処理を実行する。
乗員監視装置15は、複数の乗員を認識している場合、複数の乗員の各々を個別に監視してよい。
乗員監視装置15は、認識した各乗員の情報、監視に基づく情報を、車内ネットワーク21を通じて制御装置10の各部へ出力してよい。
特に、乗員監視装置15は、たとえばドライバ用のシート4に着座した乗員をドライバとして認識し、認識したドライバの脇見や居眠りを監視する。そして、ドライバが所定の状態にある場合、乗員監視装置15は、ドライバへの注意喚起のための制御、危険予防のための制御を実行する。この際、乗員監視装置15は、ドライバの情報、注意喚起のための情報、危険予防のための情報を、車内ネットワーク21を通じて制御装置10の各部へ出力してよい。
乗員監視装置15は、複数の乗員を認識している場合、複数の乗員の各々を個別に監視してよい。
乗員監視装置15は、認識した各乗員の情報、監視に基づく情報を、車内ネットワーク21を通じて制御装置10の各部へ出力してよい。
特に、乗員監視装置15は、たとえばドライバ用のシート4に着座した乗員をドライバとして認識し、認識したドライバの脇見や居眠りを監視する。そして、ドライバが所定の状態にある場合、乗員監視装置15は、ドライバへの注意喚起のための制御、危険予防のための制御を実行する。この際、乗員監視装置15は、ドライバの情報、注意喚起のための情報、危険予防のための情報を、車内ネットワーク21を通じて制御装置10の各部へ出力してよい。
スピーカデバイス14は、音声、警告音などを出力する。スピーカデバイス14は、乗員監視装置15によるドライバその他の乗員への警告を出力してよい。
ポジション設定装置16は、たとえば、シート4の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置16は、乗員監視装置15が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置17は、ドライバによる手動運転による自動車1の走行操作を支援したり、自動運転による自動車1の走行操作を支援したりする。運転支援装置17は、自動車1の加速、減速、停止、操舵を制御する。運転支援装置17は、乗員監視装置15が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行する。
車外通信装置18は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置18は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置18は、乗員監視装置15が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置19は、自動車1の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置19は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート4に着座している乗員を保護する。乗員保護装置19は、乗員監視装置15が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置20は、車室3の温度、酸素濃度、を制御する。空調装置20は、たとえば冷却した空気または過熱した空気を車室3へ供給し、これにより車室3を設定温度に調整する。空調装置20は、乗員監視装置15が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置15が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車1の走行に集中することができる。
ポジション設定装置16は、たとえば、シート4の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置16は、乗員監視装置15が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置17は、ドライバによる手動運転による自動車1の走行操作を支援したり、自動運転による自動車1の走行操作を支援したりする。運転支援装置17は、自動車1の加速、減速、停止、操舵を制御する。運転支援装置17は、乗員監視装置15が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行する。
車外通信装置18は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置18は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置18は、乗員監視装置15が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置19は、自動車1の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置19は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート4に着座している乗員を保護する。乗員保護装置19は、乗員監視装置15が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置20は、車室3の温度、酸素濃度、を制御する。空調装置20は、たとえば冷却した空気または過熱した空気を車室3へ供給し、これにより車室3を設定温度に調整する。空調装置20は、乗員監視装置15が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置15が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車1の走行に集中することができる。
図3は、図2の自動車1の乗員監視装置15の説明図である。図3の乗員監視装置15は、ドライバだけでなく、たとえば前列の複数のシート4に着座する複数の乗員を監視するものである。図3の乗員監視装置15は、カメラモジュール31、表示操作パネル33を有する液晶デバイス32、入出力デバイス34、メモリ35、および、これらが接続される監視制御部36、を有する。
カメラモジュール31は、たとえば図1に示すように、ダッシュボード5についての車幅方向の中央部に設けられている。カメラモジュール31は、前列の複数のシート4に着座する複数の乗員を撮像するためのものである。カメラモジュール31は、撮像センサ41、撮像広角レンズ42、第一LED43、第一投光レンズ44、第二LED45、第二投光レンズ46、を有する。
撮像センサ41は、たとえばCCD、CMOSセンサといった半導体光学センサである。撮像センサ41は、たとえば複数の受光素子が配列された略四角形の受光面を有するものでよい。撮像センサ41は、撮像画像を含む撮像データを、監視制御部36へ出力してよい。
撮像広角レンズ42は、撮像センサ41に重ねて設けられる。撮像広角レンズ42は、たとえばダッシュボード5についての車幅方向の中央部に撮像センサ41が設けられている状態において、前列の複数のシート4に着座する複数の乗員の上体または頭部を撮像可能なレンズでよい。撮像広角レンズ42は、画像の周縁部分での歪みを抑制するように、複数枚の光学レンズで構成されてよい。
撮像センサ41および撮像広角レンズ42は、撮像部材として、自動車1に乗る複数の乗員の状態を監視可能にするために自動車1の車室を撮像できる。
撮像広角レンズ42は、撮像センサ41に重ねて設けられる。撮像広角レンズ42は、たとえばダッシュボード5についての車幅方向の中央部に撮像センサ41が設けられている状態において、前列の複数のシート4に着座する複数の乗員の上体または頭部を撮像可能なレンズでよい。撮像広角レンズ42は、画像の周縁部分での歪みを抑制するように、複数枚の光学レンズで構成されてよい。
撮像センサ41および撮像広角レンズ42は、撮像部材として、自動車1に乗る複数の乗員の状態を監視可能にするために自動車1の車室を撮像できる。
第一LED43、第二LED45は、半導体発光素子でよい。第一LED43、第二LED45は、投光部材として、自動車1に乗る少なくともドライバへ向けて投光する。第一LED43、第二LED45は、たとえば赤外線を投光するものでよい。この場合、撮像センサ41は、赤外線による撮像画像を含む撮像データを、監視制御部36へ出力することになる。第一投光レンズ44は、第一LED43に重ねて設けられる。第一投光レンズ44は、第一LED43の光を主に運転席としてのシート4に着座するドライバへ向けて照射する。第二投光レンズ46は、第二LED45に重ねて設けられる。第二投光レンズ46は、第二LED45の光を主に助手席としてのシート4に着座する乗員へ向けて照射する。なお、第二投光レンズ46は、助手席としてのシート4に着座する乗員とともに、運転席としてのシート4に着座するドライバへ向けて、光を拡散して投光してもよい。
そして、カメラモジュール31において、撮像センサ41および撮像広角レンズ42は、車幅方向の中央部分に配置される。第一LED43および第一投光レンズ44は、助手席側の端部分に配置される。第二LED45および第二投光レンズ46は、ドライバ側の端部分に配置される。これにより、カメラモジュール31は、ドライバとダッシュボード5との間にステアリング7などの物体が存在していても、そのステアリング7などにより遮られることなく投光し、撮像することができる。
液晶デバイス32は、通常は略四角形の表示面を有する。液晶デバイス32は、表示操作パネル33による表示面に画像を表示する。
液晶デバイス32は、表示部材として、自動車1に乗る各乗員に視認させる画面を表示する。
表示操作パネル33は、液晶デバイス32の表示面に重ねて設けられる透明または半透明の操作検出パネルである。表示操作パネル33を液晶デバイス32の表示面に重ねたものが表示部材である。表示操作パネル33は、液晶デバイス32の表示面に対する乗員の操作を検出する。表示操作パネル33は、液晶デバイス32の表示面に対する乗員の操作位置を、監視制御部36へ出力してよい。
液晶デバイス32は、表示部材として、自動車1に乗る各乗員に視認させる画面を表示する。
表示操作パネル33は、液晶デバイス32の表示面に重ねて設けられる透明または半透明の操作検出パネルである。表示操作パネル33を液晶デバイス32の表示面に重ねたものが表示部材である。表示操作パネル33は、液晶デバイス32の表示面に対する乗員の操作を検出する。表示操作パネル33は、液晶デバイス32の表示面に対する乗員の操作位置を、監視制御部36へ出力してよい。
入出力デバイス34は、車内ネットワーク21に接続される。入出力デバイス34は、車内ネットワーク21を通じて、自動車1に設けられる他の各部との間でデータを入出力する。
メモリ35は、プログラムおよびデータを記憶する。メモリ35は、不揮発性メモリと、揮発性メモリとで構成されてよい。不揮発性メモリには、たとえばHDD、SSD、EEPROM、などがある。揮発性メモリには、たとえばRAMがある。
乗員監視装置15のメモリ35には、自動車1に登録されている複数の乗員のデータが、乗員毎に管理して記録できる。図3には、第一乗員についての第一乗員データ51と、第二乗員についての第二乗員データ52と、が示されている。複数の乗員データにより、データベースが構成される。
第一乗員データ51、第二乗員データ52といった各乗員データには、乗員ごとに固有の識別情報、たとえば乗員の頭部や目を撮像センサ41により撮像した登録撮像データ、乗員がした各種の設定データ、が含まれてよい。設定データには、たとえば乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、といった情報、が含まれてよい。
このように、メモリ35は、記録部材として、表示部材に所定の画面を表示している際の各乗員を正面から撮像センサ41により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ35は、登録されていない汎用の乗員についての乗員データを、記録してよい。
このように、メモリ35は、記録部材として、表示部材に所定の画面を表示している際の各乗員を正面から撮像センサ41により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ35は、登録されていない汎用の乗員についての乗員データを、記録してよい。
監視制御部36は、たとえばECU、CPU、その他のマイクロコンピュータでよい。監視制御部36は、メモリ35からプログラムを読み込んで実行する。これにより、乗員監視装置15の制御部としての監視制御部36が実現される。
監視制御部36は、たとえば、自動車1に乗る乗員についての登録処理、監視処理、を実行する。監視処理において、監視制御部36は、自動車1に乗っている乗員を識別し、乗員ごとの監視処理を実行してよい。
特に、少なくともドライバとしての乗員については、監視制御部36は、判断部として、メモリ35に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員のわき見、居眠り、緊急事態といった状態を判断する。
監視制御部36は、たとえば、自動車1に乗る乗員についての登録処理、監視処理、を実行する。監視処理において、監視制御部36は、自動車1に乗っている乗員を識別し、乗員ごとの監視処理を実行してよい。
特に、少なくともドライバとしての乗員については、監視制御部36は、判断部として、メモリ35に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員のわき見、居眠り、緊急事態といった状態を判断する。
ところで、図3のカメラモジュール31の撮像センサ41は、車体2の車幅方向の中央部分に配置されて、ドライバのみならず、前列の複数のシート4に着座する複数の乗員の上体または頭部を撮像している。自動車1には、ドライバ以外にも同乗者が乗ることがある。
同乗者についてもドライバと同様に監視しようとすると、ドライバの前に専用に設けられた撮像センサ41では、同乗者を撮像することは困難である。
また、ドライバを含む複数の乗員を1つの撮像センサ41で撮像しようとする場合、図3のカメラモジュール31のように、撮像センサ41には、画角を広げるために撮像広角レンズ42を組み合わせる必要がある。しかしながら、撮像センサ41に撮像広角レンズ42を重ねた場合、画像の中央部分ではない周辺部分において撮像される乗員は、歪む。ドライバが歪んで撮像されてしまうと、ドライバの目も歪んで撮像されてしまい、目の開閉状態や視線などに基づく乗員の居眠りやわき見といった判定の確からしさが低下する可能性がある。ドライバについての監視機能そのものが低下してしまうおそれがある。
同乗者についてもドライバと同様に監視しようとすると、ドライバの前に専用に設けられた撮像センサ41では、同乗者を撮像することは困難である。
また、ドライバを含む複数の乗員を1つの撮像センサ41で撮像しようとする場合、図3のカメラモジュール31のように、撮像センサ41には、画角を広げるために撮像広角レンズ42を組み合わせる必要がある。しかしながら、撮像センサ41に撮像広角レンズ42を重ねた場合、画像の中央部分ではない周辺部分において撮像される乗員は、歪む。ドライバが歪んで撮像されてしまうと、ドライバの目も歪んで撮像されてしまい、目の開閉状態や視線などに基づく乗員の居眠りやわき見といった判定の確からしさが低下する可能性がある。ドライバについての監視機能そのものが低下してしまうおそれがある。
図4Aから図4Dは、自動車1の乗員であるドライバの撮像状態の説明図である。
図4Aは、第一ドライバの頭部の正面図である。図4Bは、図4Aの第一ドライバの頭部の斜視図である。
自動車1の車幅方向の中央部分に設けられる撮像センサ41は、ドライバが自動車1の前方を向いている場合、ドライバの頭部を、図4Aの正面方向から撮像したものではなく、図4Bのように斜め方向から撮像することになる。
自動車1の車幅方向の中央部分に設けられる撮像センサ41は、ドライバが自動車1の前方を向いている場合、ドライバの頭部を、図4Aの正面方向から撮像したものではなく、図4Bのように斜め方向から撮像することになる。
図4Cは、第二ドライバの頭部の正面図である。図4Dは、図4Cの第二ドライバの頭部の斜視図である。
自動車1の車幅方向の中央部分に設けられる撮像センサ41は、ドライバが自動車1の前方を向いている場合、ドライバの頭部を、図4Cの正面方向から撮像したものではなく、図4Dのように斜め方向から撮像することになる。
自動車1の車幅方向の中央部分に設けられる撮像センサ41は、ドライバが自動車1の前方を向いている場合、ドライバの頭部を、図4Cの正面方向から撮像したものではなく、図4Dのように斜め方向から撮像することになる。
そして、図4Dの撮像データでは、図4Bの撮像データとは異なり、ドライバの右目が、ドライバの高い鼻に隠れて、黒目しか映っていない。
この場合、監視制御部36は、図4Dの撮像データのみから、ドライバの右目の開閉状態を判断することは容易でない。特に、図4Dのように歪みがない状態ではなく、歪んだ画像として撮像されている場合には、監視制御部36は、図4Dの撮像データのみから、ドライバの右目の開閉状態を判断することは極めて容易でない。
この場合、監視制御部36は、図4Dの撮像データのみから、ドライバの右目の開閉状態を判断することは容易でない。特に、図4Dのように歪みがない状態ではなく、歪んだ画像として撮像されている場合には、監視制御部36は、図4Dの撮像データのみから、ドライバの右目の開閉状態を判断することは極めて容易でない。
また、監視制御部36は、図4Dの撮像データのみに基づいて、ドライバの右目の白目の画像成分が含まれていないことから、右目を抽出できず、図4Dのドライバの頭部を抽出できない可能性もある。たとえば両目と鼻との配置関係、両目と口との配置関係に基づいて、画像中の頭部の撮像領域を特定するような場合、監視制御部36は、図4Dの撮像データのみに基づいて、図4Dのドライバの頭部を特定することができない。ドライバの頭部についての基準となるデータがない場合、監視制御部36は、ドライバの右目が画像成分に含まれていないことについて正しく推定することもできない。
カメラモジュール31の撮像センサ41を、自動車1の車幅方向の中央部分に設ける場合、この図4Dのような状態が容易に生じ得る。
カメラモジュール31の撮像センサ41を、自動車1の車幅方向の中央部分に設ける場合、この図4Dのような状態が容易に生じ得る。
このように乗員には、たとえば目が大きい人、目が小さい人、目が前に出ている人、目が奥に入っている人などの個人差がある。
実際のドライバの頭部の位置は、車幅方向での画角方向へ移動するだけでなく、さらに上下方向へも移動する可能性がある。これらの移動の発生について考慮すると、撮像センサ41の現在の撮像データのみに基づいてドライバの頭部を確実に特定することは、容易なことではない。
実際のドライバの頭部の位置は、車幅方向での画角方向へ移動するだけでなく、さらに上下方向へも移動する可能性がある。これらの移動の発生について考慮すると、撮像センサ41の現在の撮像データのみに基づいてドライバの頭部を確実に特定することは、容易なことではない。
図5Aは、本実施形態における図3の表示操作パネル33を有する液晶デバイス32と、撮像センサ41を有するカメラモジュール31とについての、車室での配置の説明図である。
図5Aには、車室3の前部に設けられるダッシュボード5およびセンターコンソール6が示されている。
表示操作パネル33を有する液晶デバイス32は、車体2の車幅方向の中央部分において、ダッシュボード5からセンターコンソール6までにかけて縦長に配置される。
詳しくは、表示操作パネル33を有する液晶デバイス32は、車体2の車幅方向の中央部分において、車体2の車幅方向の中央位置Y0から、ドライバから離れるようにドライバとは反対側である同乗者側へ少しずらしたオフセット位置に配置される。また、このようにオフセット位置に設けられる表示操作パネル33を有する液晶デバイス32は、車体2の車幅方向の中央部分において、車幅方向に対して角度を有するように傾けて配置される。表示操作パネル33を有する液晶デバイス32は、オフセット位置において、ドライバへ向かうように車体2の前後方向に対して傾けて配置される。しかも、表示操作パネル33を有する液晶デバイス32は、ドライバへ向かうように傾けて設けているにもかかわらず、ドライバから離れるようにドライバとは反対側へ少しずらしたオフセット位置とされているため、同乗者は、センター配置されている場合と同様の操作性を得ることができる。
表示操作パネル33を有する液晶デバイス32は、車体2の車幅方向の中央部分において、ダッシュボード5からセンターコンソール6までにかけて縦長に配置される。
詳しくは、表示操作パネル33を有する液晶デバイス32は、車体2の車幅方向の中央部分において、車体2の車幅方向の中央位置Y0から、ドライバから離れるようにドライバとは反対側である同乗者側へ少しずらしたオフセット位置に配置される。また、このようにオフセット位置に設けられる表示操作パネル33を有する液晶デバイス32は、車体2の車幅方向の中央部分において、車幅方向に対して角度を有するように傾けて配置される。表示操作パネル33を有する液晶デバイス32は、オフセット位置において、ドライバへ向かうように車体2の前後方向に対して傾けて配置される。しかも、表示操作パネル33を有する液晶デバイス32は、ドライバへ向かうように傾けて設けているにもかかわらず、ドライバから離れるようにドライバとは反対側へ少しずらしたオフセット位置とされているため、同乗者は、センター配置されている場合と同様の操作性を得ることができる。
図6Aから図6Bは、車体2の車幅方向の中央部分でのオフセット位置に設けられる液晶デバイス32の表示操作パネル33の説明図である。図6Aは、車室3側からの正面図である。図6Bは、車体2の車幅方向からの側面図である。図6Aにおいて、液晶デバイス32の表示操作パネル33の中央位置Ydは、車体2の車幅方向の中央位置Y0から図示左側である同乗者側へずれて設けられている。
表示操作パネル33を有する液晶デバイス32と、カメラモジュール31とは、車体2についての車幅方向の中央位置Y0からオフセットした位置に設けられる。表示操作パネル33を有する液晶デバイス32は、樹脂製の保持部材61により、表示操作パネル33の周縁部分をその四角において保持されている。
液晶デバイス32は、画面を表示する表示領域として、一般的なモニタのように四角形の表示面ではなく、四角形の上縁の中央部分を切り欠いた略凹形状を有する。略凹形状の液晶デバイス32の表示領域と外接する矩形枠33aの内側に、切り欠きになる非表示部33bが形成される。非表示部33bの左右両側には、液晶デバイス32の表示領域がある。非表示部33bは、液晶デバイス32の表示操作パネル33の中央位置Ydを基準として、線対象に形成されている。
このように、非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、表示領域と外接する矩形枠33aの内側における、画面の表示領域の上縁の中央部分の切欠部分として形成される。非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、画面の表示領域の上縁に沿う切欠部分として形成される。そして、非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、少なくとも、画面の表示領域の車幅方向の中央位置Ydから、自動車1の車幅方向の中央位置Y0までの範囲にわたって形成されている。非表示部33bは、表示操作パネル33において、画面の表示領域の車幅方向の中央位置Ydを基準として、自動車1の車幅方向において左右対称な形状に形成される。
このように、非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、表示領域と外接する矩形枠33aの内側における、画面の表示領域の上縁の中央部分の切欠部分として形成される。非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、画面の表示領域の上縁に沿う切欠部分として形成される。そして、非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、少なくとも、画面の表示領域の車幅方向の中央位置Ydから、自動車1の車幅方向の中央位置Y0までの範囲にわたって形成されている。非表示部33bは、表示操作パネル33において、画面の表示領域の車幅方向の中央位置Ydを基準として、自動車1の車幅方向において左右対称な形状に形成される。
撮像センサ41を有するカメラモジュール31は、表示操作パネル33の裏側において、液晶デバイス32による表示領域の上側に形成される非表示部33bの裏側に配置される。詳しくは、カメラモジュール31は、撮像センサ41および撮像広角レンズ42が、液晶デバイス32の表示操作パネル33の中央位置Ydと、車体2の車幅方向の中央位置Y0との間に収まるように設けられる。これにより、撮像センサ41および撮像広角レンズ42は、それらの車幅方向の中央位置が、液晶デバイス32の表示操作パネル33の中央位置Ydと、車体2の車幅方向の中央位置Y0との間に位置するように設けられる。また、撮像センサ41および撮像広角レンズ42は、車体2についての車幅方向の中央位置Y0から、ドライバとは反対側へ少しずれて離れるオフセット位置において、表示操作パネル33と同様にドライバへ向かうように車体2の前後方向に対して傾けて配置される。
カメラモジュール31の第一LED43、第二LED45は、撮像センサ41とともに、非表示部33bの裏側に配置される。
なお、このようにカメラモジュール31を表示操作パネル33の裏側に設ける場合、撮像広角レンズ42、第一投光レンズ44、第二投光レンズ46は、表示操作パネル33そのものを加工することにより設けられてもよい。
カメラモジュール31の第一LED43、第二LED45は、撮像センサ41とともに、非表示部33bの裏側に配置される。
なお、このようにカメラモジュール31を表示操作パネル33の裏側に設ける場合、撮像広角レンズ42、第一投光レンズ44、第二投光レンズ46は、表示操作パネル33そのものを加工することにより設けられてもよい。
図5Bは、自動車1の車幅方向の中央部分においてオフセット位置に傾けて設けられる撮像センサ41および撮像広角レンズ42を有するカメラモジュール31による車室の撮像範囲R1の説明図である。
撮像センサ41には撮像広角レンズ42が重ねられる。これにより、撮像センサ41は、図5Bにおいて撮像範囲R1として示すように、車室3を全体的に撮像できる。撮像センサ41は、自動車1の車幅方向の中央部分に配置されて、複数の前列のシート4に着座するドライバの頭部と同乗者の頭部とを撮像できる。
ただし、撮像広角レンズ42を撮像センサ41に組み合わせて複数の乗員を撮像可能とする場合、撮像範囲R1の中央部分の画像は、歪みが少ない高画質エリアRp1となる一方で、撮像範囲R1の周縁部分は、中央部分と比べて歪みが生じている歪発生エリアRp2となる。このため、乗員が車幅方向において右端や左端へ寄って着座してしまうと、その乗員の頭部を歪みなく撮像することが難しくなる傾向にある。乗員の目の開閉状態などを判断に使用する場合、その判断を正しくできなくなる可能性が高まる。
本実施形態では、表示操作パネル33は、ドライバへ向かうように車体2の前後方向に対して傾けて配置される。この表示操作パネル33の裏側に配置される撮像センサ41および撮像広角レンズ42は、車体2の車幅方向の中央位置Y0を基準として、ドライバとは反対側へずらしたオフセット位置に設けられる。これにより、撮像センサ41の撮像画像の中央部分の高画質エリアRp1は、ドライバ側へ寄る。ドライバは、撮像センサ41の撮像画像の中央部分の高画質エリアRp1において撮像され易くなり、周辺部分の歪発生エリアRp2において撮像され難くなる。ドライバは、歪みが抑えられた画像として撮像されることが期待できる。
撮像センサ41には撮像広角レンズ42が重ねられる。これにより、撮像センサ41は、図5Bにおいて撮像範囲R1として示すように、車室3を全体的に撮像できる。撮像センサ41は、自動車1の車幅方向の中央部分に配置されて、複数の前列のシート4に着座するドライバの頭部と同乗者の頭部とを撮像できる。
ただし、撮像広角レンズ42を撮像センサ41に組み合わせて複数の乗員を撮像可能とする場合、撮像範囲R1の中央部分の画像は、歪みが少ない高画質エリアRp1となる一方で、撮像範囲R1の周縁部分は、中央部分と比べて歪みが生じている歪発生エリアRp2となる。このため、乗員が車幅方向において右端や左端へ寄って着座してしまうと、その乗員の頭部を歪みなく撮像することが難しくなる傾向にある。乗員の目の開閉状態などを判断に使用する場合、その判断を正しくできなくなる可能性が高まる。
本実施形態では、表示操作パネル33は、ドライバへ向かうように車体2の前後方向に対して傾けて配置される。この表示操作パネル33の裏側に配置される撮像センサ41および撮像広角レンズ42は、車体2の車幅方向の中央位置Y0を基準として、ドライバとは反対側へずらしたオフセット位置に設けられる。これにより、撮像センサ41の撮像画像の中央部分の高画質エリアRp1は、ドライバ側へ寄る。ドライバは、撮像センサ41の撮像画像の中央部分の高画質エリアRp1において撮像され易くなり、周辺部分の歪発生エリアRp2において撮像され難くなる。ドライバは、歪みが抑えられた画像として撮像されることが期待できる。
このようにカメラモジュール31は、表示操作パネル33についての、液晶デバイス32の上の非表示部33bの裏側において、車幅方向の中央位置Y0からオフセットした位置に設けられる。表示操作パネル33を有する液晶デバイス32は、ダッシュボード5からセンターコンソール6にかけての内装表面の傾斜に沿って、後下となる傾斜姿勢で設けてよい。その結果、カメラモジュール31は、表示操作パネル33を有する液晶デバイス32と同じように、ドライバへ向かうように車体2の前後方向に対して傾けて設けられるとともに、後下となる傾斜姿勢で設けられる。
そして、カメラモジュール31は、表示操作パネル33の四角を保持する保持部材61より外へ突出しないように、保持部材61より内側となるように設けられる。また、図6において破線円で示すように、カメラモジュール31は、撮像センサ41、第一LED43、および第二LED45が、画像の表示領域の外接円の内側に収まるように配置されている。
そして、カメラモジュール31は、表示操作パネル33の四角を保持する保持部材61より外へ突出しないように、保持部材61より内側となるように設けられる。また、図6において破線円で示すように、カメラモジュール31は、撮像センサ41、第一LED43、および第二LED45が、画像の表示領域の外接円の内側に収まるように配置されている。
このような制限の下での配置とすることにより、カメラモジュール31の撮像センサ41の撮像画像の車幅方向の中心位置は、表示操作パネル33を有する液晶デバイス32の画像の表示領域の中心位置Ydと、車体2の車幅方向の中央位置Y0との間に位置する。また、カメラモジュール31の撮像センサ41が、保持部材61の内側に配置されて、あたかも液晶デバイス32そのものに設けられている状態となる。その結果、カメラモジュール31の撮像センサ41は、表示操作パネル33を有する液晶デバイス32の裏側から、乗員を撮像するようになる。カメラモジュール31の撮像センサ41は、表示操作パネル33の裏側において、画面の表示領域の車幅方向の中央位置Ydから、自動車1の車幅方向の中央位置Y0までの範囲に収まるように、画面の表示領域の車幅方向の中央位置Ydから自動車1の車幅方向の中央位置Y0へ寄せるようにずらして配置される。
図7は、図3の監視制御部36による乗員の登録制御のフローチャートである。
監視制御部36は、新たな乗員が自動車1に乗ると、図7の登録制御を繰り返し実行してよい。
監視制御部36は、新たな乗員が自動車1に乗ると、図7の登録制御を繰り返し実行してよい。
ステップST1において、監視制御部36は、まず、乗員を登録するか否かを判断する。
監視制御部36は、たとえば液晶デバイス32に表示しているメニュー画面において乗員登録ボタンが乗員により選択操作された場合、乗員を登録すると判断し、処理をステップST2へ進める。これ以外の場合、監視制御部36は、乗員を登録しないと判断し、図7の登録制御を終了する。
監視制御部36は、たとえば液晶デバイス32に表示しているメニュー画面において乗員登録ボタンが乗員により選択操作された場合、乗員を登録すると判断し、処理をステップST2へ進める。これ以外の場合、監視制御部36は、乗員を登録しないと判断し、図7の登録制御を終了する。
ステップST2から、監視制御部36は、新たな乗員の登録処理を実行する。監視制御部36は、まず、乗員の登録を開始する案内を、液晶デバイス32に表示する。メニュー画面において乗員登録ボタンを操作して登録しようとしている乗員は、液晶デバイス32の案内表示を正面から直視していると考えられる。また、監視制御部36は、案内において、顔を液晶デバイス32へ向けるように正対する指示してよい。また、監視制御部36は、カメラモジュール31の第一LED43、および第二LED45を点灯する。これにより、液晶デバイス32の案内表示を視るように正対している乗員の上体または頭部には、赤外線が照射される。
ステップST3において、監視制御部36は、撮像センサ41から、現在の撮像データを取得し、撮像データに含まれる新たな登録対象の乗員を正面から撮像した画像成分を、正対画像として取得する。監視制御部36は、撮像センサ41の撮像画像から複数の乗員が抽出できる場合、その中の1つを乗員に選択させてよい。正対画像には、乗員の両目、鼻、口についての赤外線光による画像成分が高い確率で含まれることが期待できる。赤外線光による画像成分には、頭部や眼球の静脈パターンが含まれてもよい。頭部や眼球の静脈パターンは、それについて抽出する特徴点の個数にもよるが、個人を特定するために用いることができる。また、頭部や眼球の静脈パターンは、頭部の表面形状やまたは顔の凹凸や形状の影響に起因する明暗パターンの影響を受け難い。眼球の静脈パターンは、基本的に、周辺の白目から中央の黒目へ向かうものがある。眼球を覆う瞼の静脈パターンは、眼球の静脈パターンとは異なるパターンである。監視制御部36は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。そして、このように正対する乗員の頭部を捉えた画像成分には、頭部の各部の画像成分が高画質に含まれていることが期待できる。
なお、監視制御部36は、正対画像に、乗員の両目、鼻、口についての赤外線光による画像成分が含まれていることが確認できるまで、案内を繰り返したり、撮像センサ41からの現在の撮像データの取得を繰り返したりしてよい。
なお、監視制御部36は、正対画像に、乗員の両目、鼻、口についての赤外線光による画像成分が含まれていることが確認できるまで、案内を繰り返したり、撮像センサ41からの現在の撮像データの取得を繰り返したりしてよい。
ステップST4から、監視制御部36は、乗員に自動車1の前方を視る正面視の案内を、液晶デバイス32に表示する。乗員は、液晶デバイス32の案内表示に基づいて、自動車1の前方を視ると考えられる。また、監視制御部36は、カメラモジュール31の第一LED43、および第二LED45を点灯する。これにより、自動車1の前方を視る正面視の乗員の上体または頭部には、赤外線が照射される。
ステップST5において、監視制御部36は、撮像センサ41から、現在の撮像データを取得し、撮像データに含まれる正面視している乗員を撮像した画像成分を、正面視画像として取得する。正面視画像には、基本的に正対画像とは異なる角度で乗員の両目、鼻、口についての赤外線光による画像成分が含まれ得る。乗員を撮像する角度が変わると、画像におけるたとえば両目の間隔などの相対的な配置が変わる。正面視画像には、赤外線光による正面視の頭部や眼球の静脈パターンが含まれてもよい。監視制御部36は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。
そして、このように正面視する乗員の頭部を捉えた画像成分には、居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分が高画質に含まれていることが期待できる。正面視している頭部の各部の画像成分は、正対している頭部の各部の画像成分と好適に対応するものとすることができる。その結果、たとえば一人の乗員についての居眠りしている状態で正面視している頭部の画像がある場合、その乗員が居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分を、正対視している頭部の各部の画像成分へ変換する場合と同様の処理を実行することにより、居眠りしている状態で正対視している頭部の各部の画像成分を得ることが可能になる。このような正対視している頭部の各部の画像成分は、その乗員が居眠りしている状態のものとして確からしいものとなり得る。乗員の特徴によらずに一律の処理を実行した場合には、その乗員が居眠りしている状態のものとはならない可能性があるが、そのような可能性を確実に減らすことができる。
そして、このように正面視する乗員の頭部を捉えた画像成分には、居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分が高画質に含まれていることが期待できる。正面視している頭部の各部の画像成分は、正対している頭部の各部の画像成分と好適に対応するものとすることができる。その結果、たとえば一人の乗員についての居眠りしている状態で正面視している頭部の画像がある場合、その乗員が居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分を、正対視している頭部の各部の画像成分へ変換する場合と同様の処理を実行することにより、居眠りしている状態で正対視している頭部の各部の画像成分を得ることが可能になる。このような正対視している頭部の各部の画像成分は、その乗員が居眠りしている状態のものとして確からしいものとなり得る。乗員の特徴によらずに一律の処理を実行した場合には、その乗員が居眠りしている状態のものとはならない可能性があるが、そのような可能性を確実に減らすことができる。
ステップST6において、監視制御部36は、ユーザの登録処理を実行する。
ユーザ登録処理において、監視制御部36は、撮像した二枚の乗員の画像を、登録撮像データとして、乗員ごとに固有の識別情報とともに記録する。これにより、メモリ35には、新たな乗員についての登録撮像データを含む乗員データが記録される。メモリ35は、記録部材として、液晶デバイス32に所定の画面を表示している際の各乗員を撮像センサ41により撮像した撮像データが、乗員ごとの撮像データとして記録される。メモリ35において各乗員について記録される登録撮像データには、乗員を正面から撮像したものと、正面視の乗員を撮像したものと、が含まれる。
ユーザ登録処理において、監視制御部36は、撮像した二枚の乗員の画像を、登録撮像データとして、乗員ごとに固有の識別情報とともに記録する。これにより、メモリ35には、新たな乗員についての登録撮像データを含む乗員データが記録される。メモリ35は、記録部材として、液晶デバイス32に所定の画面を表示している際の各乗員を撮像センサ41により撮像した撮像データが、乗員ごとの撮像データとして記録される。メモリ35において各乗員について記録される登録撮像データには、乗員を正面から撮像したものと、正面視の乗員を撮像したものと、が含まれる。
図8は、図3の監視制御部36による乗員の監視制御のフローチャートである。
監視制御部36は、たとえば乗員が自動車1に乗っている期間において、図8の監視制御を繰り返し実行してよい。
監視制御部36は、たとえば乗員が自動車1に乗っている期間において、図8の監視制御を繰り返し実行してよい。
ステップST11において、監視制御部36は、乗員の乗車を判断する。監視制御部36は、たとえば、ドア開閉センサ11による開閉検出、撮像センサ41の画像に基づいて乗員の乗車を判断してよい。乗員が乗車している場合、監視制御部36は、処理をステップST12へ進める。乗員が乗車していない場合、監視制御部36は、本処理を繰り返す。なお、乗員が乗車していない場合、監視制御部36は、図8の監視制御を終了してもよい。
ステップST12から、監視制御部36は、乗車している乗員の監視処理を開始する。監視制御部36は、まず、乗車している乗員を識別する。
監視制御部36は、撮像センサ41から新たな撮像画像を取得し、乗車している乗員の画像成分を抽出し、メモリ35に登録されている複数の乗員データと照合する。
この際、監視制御部36は、メモリ35に登録されている各乗員の登録撮像データの中の、正面視の画像成分のみに基づいて、照合してよい。正面視の画像には、顔の鼻などについての凹凸による特徴点が鮮明に含まれることが多い。正面視の画像成分のみに基づいて照合しても、乗員の合致を高い精度で判断可能である。また、監視制御部36は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。
監視制御部36は、メモリ35に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。
この場合、監視制御部36は、乗車している乗員を、メモリ35に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。
メモリ35に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部36は、登録がない乗員として識別してよい。
監視制御部36は、撮像センサ41から新たな撮像画像を取得し、乗車している乗員の画像成分を抽出し、メモリ35に登録されている複数の乗員データと照合する。
この際、監視制御部36は、メモリ35に登録されている各乗員の登録撮像データの中の、正面視の画像成分のみに基づいて、照合してよい。正面視の画像には、顔の鼻などについての凹凸による特徴点が鮮明に含まれることが多い。正面視の画像成分のみに基づいて照合しても、乗員の合致を高い精度で判断可能である。また、監視制御部36は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。
監視制御部36は、メモリ35に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。
この場合、監視制御部36は、乗車している乗員を、メモリ35に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。
メモリ35に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部36は、登録がない乗員として識別してよい。
ステップST13において、監視制御部36は、識別した乗員の乗員データを取得する。
ステップST14において、監視制御部36は、取得した乗員データを用いて、設定処理を実行する。乗員データに、乗員がした各種の設定データが含まれている場合、監視制御部36は、その設定データに基づく設定処理を実行する。監視制御部36は、設定データの情報を、自動車1の各部へ出力する。これにより、乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、などの処理が実行される。
また、監視制御部36は、取得している最新の撮像データに基づいて、たとえば助手席のシート4へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート4へ向けてのエアバッグ展開を禁止する設定を実行する。
また、監視制御部36は、取得している最新の撮像データに基づいて、たとえば助手席のシート4へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート4へ向けてのエアバッグ展開を禁止する設定を実行する。
ステップST15から、監視制御部36は、識別した乗員についての監視処理を開始する。監視制御部36は、まず、撮像センサ41による最新の撮像データを取得する。
ステップST16において、監視制御部36は、最新の撮像データに含まれる乗員の上体および頭部の画像成分を特定する。監視制御部36は、既に識別している乗員についてのメモリ35の登録撮像データの画像成分を基準として用いて、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断する。ここで、監視制御部36は、たとえばメモリ35に登録されている各乗員を正面から撮像したものと正面視の乗員を撮像したものとの相違(差)に基づいて、撮像センサ41により撮像されている現在の撮像データに含まれる乗員を正面から撮像したものを推定し、乗員を正面から撮像したものとして推定した画像成分に基づいて自動車1に乗る各乗員の状態を判断してよい。監視制御部36は、たとえば既にメモリ35に登録されている乗員を正面から撮像したものを用いて、現在の撮像データに含まれる乗員の画像のレンズ歪みおよび向きを補正し、現在の撮像データに基づく乗員を正面から撮像したものを推定してよい。なお、登録撮像データが見つからない場合には、監視制御部36は、メモリ35の標準的な登録撮像データの画像成分を基準として用いることによって、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断してよい。
監視制御部36は、最新の撮像データにおける乗員の状態としてたとえば目の開閉状態、視線の方向、頭部の向き、などを判断する。監視制御部36は、静脈の脈動を判断してもよい。そして、たとえばドライバとしての乗員の目が閉じている場合、視線が正面視ではない場合、頭部の向きが正面視ではない場合、脈拍が高い場合、監視制御部36は、ドライバが運転に適した状態にないと判定する。それ以外の場合、監視制御部36は、ドライバが運転に適した状態にあると判定してよい。
このように監視制御部36は、判断部として、メモリ35に記録されている登録撮像データを基準データとして用いて、自動車1に乗る各乗員の状態を判断する。
また、監視制御部36は、自動車1に乗るドライバの状態として、少なくとも、ドライバの目の開閉状態、またはドライバの視線を判断する。この際、監視制御部36は、高画質な登録撮像データを基準として用いることができるので、単なる目の開閉状態だけでなく、上瞼と下瞼との間における黒目の撮像状態の変化や白目の撮像状態の変化などについての情報を、各乗員に合わせて取得でき、乗員の視線方向などの目の表情を高精度に判定することができる。
これに対し、乗員ごとの登録撮像データを用いないで同様の判断をしようとすると、目の大きさなどの個人差を含めて乗員の視線方向などの目の表情を判定することになる。各個人についての視線方向などの目の表情を高精度に判定することは容易ではない。乗員の身体的特徴に基づく過剰な警告を出力するようになってしまう。その乗員にとって不快である。
監視制御部36は、最新の撮像データにおける乗員の状態としてたとえば目の開閉状態、視線の方向、頭部の向き、などを判断する。監視制御部36は、静脈の脈動を判断してもよい。そして、たとえばドライバとしての乗員の目が閉じている場合、視線が正面視ではない場合、頭部の向きが正面視ではない場合、脈拍が高い場合、監視制御部36は、ドライバが運転に適した状態にないと判定する。それ以外の場合、監視制御部36は、ドライバが運転に適した状態にあると判定してよい。
このように監視制御部36は、判断部として、メモリ35に記録されている登録撮像データを基準データとして用いて、自動車1に乗る各乗員の状態を判断する。
また、監視制御部36は、自動車1に乗るドライバの状態として、少なくとも、ドライバの目の開閉状態、またはドライバの視線を判断する。この際、監視制御部36は、高画質な登録撮像データを基準として用いることができるので、単なる目の開閉状態だけでなく、上瞼と下瞼との間における黒目の撮像状態の変化や白目の撮像状態の変化などについての情報を、各乗員に合わせて取得でき、乗員の視線方向などの目の表情を高精度に判定することができる。
これに対し、乗員ごとの登録撮像データを用いないで同様の判断をしようとすると、目の大きさなどの個人差を含めて乗員の視線方向などの目の表情を判定することになる。各個人についての視線方向などの目の表情を高精度に判定することは容易ではない。乗員の身体的特徴に基づく過剰な警告を出力するようになってしまう。その乗員にとって不快である。
ステップST17において、監視制御部36は、ドライバなどの乗員の状態判定結果に基づいて、自動車1の走行などについての制御が必要であるか否かを判断する。たとえばドライバが運転に適した状態にないと判定している場合、監視制御部36は、制御要と判断し、処理をステップST18へ進める。それ以外の場合、たとえばドライバを含む乗員のすべてが移動に適した状態にある場合、監視制御部36は、制御不要と判断し、ステップST18を飛ばして処理をステップST19へ進める。
ステップST18において、監視制御部36は、自動車1の走行などについての制御を実行する。
たとえばドライバの視線が正面視ではないまたは頭部が前へ向いていないと判定している場合、監視制御部36は、ドライバに対する警告を行う。ドライバへの警告は、たとえば液晶デバイス32の警告表示、スピーカデバイス14からの警告音の出力でよい。警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、監視制御部36は、自動車1の走行モードを自動運転へ切り替えて、自動車1の走行を減速停止してよい。自動車1の走行を減速停止する場合、監視制御部36は、不図示のハザードランプの点灯、車外通信装置18による緊急事態情報の送信を実行してよい。
たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部36は、ドライバへの警告、または自動車1の走行の減速停止を実行する。自動車1の走行を減速停止する場合、監視制御部36は、不図示のハザードランプの点灯、車外通信装置18による緊急事態情報の送信を実行してよい。
なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部36は、ステップST17において制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。
たとえばドライバの視線が正面視ではないまたは頭部が前へ向いていないと判定している場合、監視制御部36は、ドライバに対する警告を行う。ドライバへの警告は、たとえば液晶デバイス32の警告表示、スピーカデバイス14からの警告音の出力でよい。警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、監視制御部36は、自動車1の走行モードを自動運転へ切り替えて、自動車1の走行を減速停止してよい。自動車1の走行を減速停止する場合、監視制御部36は、不図示のハザードランプの点灯、車外通信装置18による緊急事態情報の送信を実行してよい。
たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部36は、ドライバへの警告、または自動車1の走行の減速停止を実行する。自動車1の走行を減速停止する場合、監視制御部36は、不図示のハザードランプの点灯、車外通信装置18による緊急事態情報の送信を実行してよい。
なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部36は、ステップST17において制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。
ステップST19において、監視制御部36は、乗員の監視制御を継続するか否かを判断する。監視制御部36は、たとえば、ドア開閉センサ11による開閉検出、撮像センサ41の画像に基づいて乗員の降車を判断してよい。乗員が降車した場合、監視制御部36は、乗員の監視制御を継続しないと判断し、処理をステップST20へ進める。それ以外の場合、監視制御部36は、乗員の監視制御を継続すると判断し、処理をステップST15へ戻す。監視制御部36は、乗員の監視制御を継続しないと判断するまで、ステップST15からステップST19の処理を繰り返す。
ステップST20において、監視制御部36は、乗員の降車時の処理として、認識した乗員のものとしてメモリ35に登録されている乗員データを更新する。監視制御部36は、乗員の降車時の設定情報を、自動車1の各部から取得し、メモリ35に登録されている乗員データを更新する。これにより、メモリ35に登録されている乗員データは、乗員の嗜好に適応したものとなる。次回の乗車時には、乗員についての最新の設定が自動的になされることになる。
また、監視制御部36は、未登録の乗員についての乗員データを、メモリ35に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。
また、監視制御部36は、未登録の乗員についての乗員データを、メモリ35に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。
以上のように、本実施形態では、自動車1に乗る複数の乗員の状態を監視可能にするために自動車1の車室を撮像する撮像センサ41と、自動車1に乗る各乗員に視認させる画面を表示する液晶デバイス32と、液晶デバイス32に所定の画面を表示している際の各乗員を撮像センサ41により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録するメモリ35と、メモリ35に記録されている登録撮像データを基準データとして用いて、自動車1に乗る各乗員の状態を判断する判断部と、を有する。これにより、本実施形態では、撮像センサ41により撮像されている現在の撮像データとともに、液晶デバイス32に所定の画面を表示している際の各乗員を撮像センサ41により撮像した登録撮像データを基準データとして用いて、自動車1に乗る各乗員の状態を判断することができる。自動車1に乗る各乗員についての撮像データでの画角位置や乗員の身体的特徴などの影響を抑制して、自動車1に乗る各乗員の状態をより確からしく判断することができる。
これに対し、仮にたとえば撮像センサ41により撮像されている現在の撮像データのみに基づいて、自動車1に乗る各乗員の状態を判断する場合、自動車1に乗る各乗員についての撮像データでの画角位置や各乗員の身体的特徴などの影響により、各乗員の状態を正しく判断できない可能性がある。本実施形態では、液晶デバイス32に所定の画面を表示している際の各乗員を撮像センサ41により撮像した登録撮像データを基準データとして用いているため、これらの影響を抑制して、各乗員の状態をより確からしく判断できる。
特に、本実施形態では、撮像センサ41を、画面を表示する表示操作パネル33についての裏側であって、さらに画面の表示領域と外接する矩形枠33aの内側となるように設けられる非表示部33bの裏側に、配置している。このため、撮像センサ41は、液晶デバイス32に表示している画面の裏側から撮像しているものと同等の画像を撮像し得る。撮像センサ41は、画面を見ている各乗員の頭部を、その正面から撮像したものとなり得る。そして、各乗員の頭部を正面から撮像した登録撮像データを基準データとして用いることにより、撮像センサ41により撮像されている現在の撮像データに含まれる各乗員の状態をより確からしく判断することができる。
その結果、本実施形態では、液晶デバイス32の表示操作パネル33、および撮像センサ41を、自動車1の車幅方向の中央部分において車幅方向の中央からオフセットして配置して、撮像センサ41が、自動車1の車幅方向の中央部分にセンター配置された状態で、自動車1の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ42を有し、判断部が、自動車1に乗る複数の乗員の各々の状態として、少なくとも、ドライバの目の開閉状態、または視線を判断するとしても、自動車1に乗るドライバを含む複数の乗員の各々の状態をより確からしく判断することができる。
これに対し、仮にたとえば撮像センサ41により撮像されている現在の撮像データのみに基づいて、自動車1に乗る各乗員の状態を判断する場合、自動車1に乗る各乗員についての撮像データでの画角位置や各乗員の身体的特徴などの影響により、各乗員の状態を正しく判断できない可能性がある。本実施形態では、液晶デバイス32に所定の画面を表示している際の各乗員を撮像センサ41により撮像した登録撮像データを基準データとして用いているため、これらの影響を抑制して、各乗員の状態をより確からしく判断できる。
特に、本実施形態では、撮像センサ41を、画面を表示する表示操作パネル33についての裏側であって、さらに画面の表示領域と外接する矩形枠33aの内側となるように設けられる非表示部33bの裏側に、配置している。このため、撮像センサ41は、液晶デバイス32に表示している画面の裏側から撮像しているものと同等の画像を撮像し得る。撮像センサ41は、画面を見ている各乗員の頭部を、その正面から撮像したものとなり得る。そして、各乗員の頭部を正面から撮像した登録撮像データを基準データとして用いることにより、撮像センサ41により撮像されている現在の撮像データに含まれる各乗員の状態をより確からしく判断することができる。
その結果、本実施形態では、液晶デバイス32の表示操作パネル33、および撮像センサ41を、自動車1の車幅方向の中央部分において車幅方向の中央からオフセットして配置して、撮像センサ41が、自動車1の車幅方向の中央部分にセンター配置された状態で、自動車1の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ42を有し、判断部が、自動車1に乗る複数の乗員の各々の状態として、少なくとも、ドライバの目の開閉状態、または視線を判断するとしても、自動車1に乗るドライバを含む複数の乗員の各々の状態をより確からしく判断することができる。
特に、本実施形態では、液晶デバイス32についての画面を表示する表示操作パネル33には、画面の表示領域と外接する矩形枠33aの内側に非表示部33bを設ける。非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、画面の表示領域の上縁に沿って、表示領域の上縁の中央部分の切欠部分として形成される。この際、非表示部33bは、液晶デバイス32についての画面を表示する表示操作パネル33において、少なくとも画面の表示領域の車幅方向の中央から自動車1の車幅方向の中央までの範囲にわたって形成され、且つ、画面の表示領域の車幅方向の中央を基準として自動車1の車幅方向において左右対称な形状に形成される。そして、撮像センサ41は、液晶デバイス32の表示操作パネル33の裏側において、画面の表示領域の車幅方向の中央から、自動車1の車幅方向の中央までの範囲に収まるように、画面の表示領域の車幅方向の中央から自動車1の車幅方向の中央へ寄せるようにずらして配置される。これにより、撮像センサ41は、単に液晶デバイス32の表示領域により視野が遮られないようになるだけでなく、液晶デバイス32の表示操作パネル33が自動車1の車幅方向の中央部分において車幅方向の中央からオフセットして配置されているにもかかわらずに、自動車1の前列に着座する複数の乗員の頭部を自動車1の中央部分から撮像することが可能になる。同じ乗員が自動車1の車幅方向の右側に着座する場合でも、左側に着座する場合でも、同様な条件の下で撮像することが可能となる。乗員の着座位置の違いによらずに、乗員の状態判断の確からしさを高めることができる。
また、非表示部33bが、液晶デバイス32についての画面を表示する表示操作パネル33において、画面の表示領域の車幅方向の中央を基準として、自動車1の車幅方向において左右対称な形状に形成されることにより、表示される画面の形状を左右対称な安定感のあるものとすることができる。
また、非表示部33bが、液晶デバイス32についての画面を表示する表示操作パネル33において、画面の表示領域の車幅方向の中央を基準として、自動車1の車幅方向において左右対称な形状に形成されることにより、表示される画面の形状を左右対称な安定感のあるものとすることができる。
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
たとえば上述した実施形態では、液晶デバイス32は、縦長に配置されている。
この他にもたとえば、液晶デバイス32は、横長に配置されてよい。
この他にもたとえば、液晶デバイス32は、横長に配置されてよい。
図9は、図6Aの変形例に係る撮像センサ41を有するカメラモジュール31についての、液晶デバイス32の表示操作パネル33に対する配置の説明図である。
この場合であっても、撮像センサ41の少なくとも中央位置が、液晶デバイス32の表示操作パネル33の裏側において、液晶デバイス32の画像の表示領域を同乗者側へずらし、表示領域の中央位置Ydと車体2の車幅方向の中央位置Y0との間に位置するようにすることにより、液晶デバイス32に表示している画面の裏側から撮像しているものと同等の画像を撮像し得て、上述した実施形態と同等の効果を奏することが可能である。
また、このような配置であれば、撮像センサ41またはカメラモジュール31は、液晶デバイス32の表示操作パネル33の周縁部を保持する保持部材61より外へ突出しないように、保持部材61より内側となるように設けられる、ことになる。また、カメラモジュール31の撮像センサ41、第一LED43、および第二LED45は、図中に破線円で示す画像の表示領域の外接円の内側に収まるように配置されている。
この場合であっても、撮像センサ41の少なくとも中央位置が、液晶デバイス32の表示操作パネル33の裏側において、液晶デバイス32の画像の表示領域を同乗者側へずらし、表示領域の中央位置Ydと車体2の車幅方向の中央位置Y0との間に位置するようにすることにより、液晶デバイス32に表示している画面の裏側から撮像しているものと同等の画像を撮像し得て、上述した実施形態と同等の効果を奏することが可能である。
また、このような配置であれば、撮像センサ41またはカメラモジュール31は、液晶デバイス32の表示操作パネル33の周縁部を保持する保持部材61より外へ突出しないように、保持部材61より内側となるように設けられる、ことになる。また、カメラモジュール31の撮像センサ41、第一LED43、および第二LED45は、図中に破線円で示す画像の表示領域の外接円の内側に収まるように配置されている。
図10は、図9のさらなる変形例に係る撮像センサ41を有するカメラモジュール31についての、液晶デバイス32の表示操作パネル33に対する配置の説明図である。
図10の液晶デバイス32は、略四角形の表示領域を有する。この場合でも、カメラモジュール31は、四角形の表示領域の上縁に沿って配置することにより、上述した実施形態と類似する効果を奏することが可能である。また、カメラモジュール31の撮像センサ41、第一LED43、および第二LED45は、図中に破線円で示す画像の表示領域の外接円の内側に収まるように配置されている。そして、液晶デバイス32の表示操作パネル33を同乗者側にずらして配置する場合には、撮像センサ41をドライバ側へ傾けて、撮像センサ41の中央位置を、四角形の表示領域の中央位置Ydと車体2の車幅方向の中央位置Y0との間に設けることにより、上述した実施形態と類似する効果を奏することが可能である。
図10の液晶デバイス32は、略四角形の表示領域を有する。この場合でも、カメラモジュール31は、四角形の表示領域の上縁に沿って配置することにより、上述した実施形態と類似する効果を奏することが可能である。また、カメラモジュール31の撮像センサ41、第一LED43、および第二LED45は、図中に破線円で示す画像の表示領域の外接円の内側に収まるように配置されている。そして、液晶デバイス32の表示操作パネル33を同乗者側にずらして配置する場合には、撮像センサ41をドライバ側へ傾けて、撮像センサ41の中央位置を、四角形の表示領域の中央位置Ydと車体2の車幅方向の中央位置Y0との間に設けることにより、上述した実施形態と類似する効果を奏することが可能である。
上述した実施形態では、液晶デバイス32の表示操作パネル33、および撮像センサ41は、自動車1の車幅方向の中央部分にセンター配置されている。撮像センサ41は、自動車1の車幅方向の中央部分にセンター配置された状態で、自動車1の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ42を有している。監視制御部36は、自動車1に乗る乗員の状態として、少なくとも、乗員の目の開閉状態、または視線を判断している。
乗員の監視装置は、これらのいずれかにも該当しないものであってもよい。たとえば、乗員の監視装置は、ドライバのみを監視対象とするものでもよい。この場合であっても、たとえば、撮像センサ41を、液晶デバイス32の表示操作パネル33の裏側において、画像の表示領域の外接円の内側に収まるように配置したり、監視制御部36が、メモリ35に記録されている登録撮像データを基準データとして用いて、自動車1に乗る乗員の状態を判断することにより、その監視判断の確からしさを向上できることは期待できる。
乗員の監視装置は、これらのいずれかにも該当しないものであってもよい。たとえば、乗員の監視装置は、ドライバのみを監視対象とするものでもよい。この場合であっても、たとえば、撮像センサ41を、液晶デバイス32の表示操作パネル33の裏側において、画像の表示領域の外接円の内側に収まるように配置したり、監視制御部36が、メモリ35に記録されている登録撮像データを基準データとして用いて、自動車1に乗る乗員の状態を判断することにより、その監視判断の確からしさを向上できることは期待できる。
1…自動車(車両)、2…車体、3…車室、4…シート、5…ダッシュボード、6…センターコンソール、7…ステアリング、10…制御装置、11…ドア開閉センサ、12…車速センサ、13…パークセンサ、14…スピーカデバイス、15…乗員監視装置、16…ポジション設定装置、17…運転支援装置、18…車外通信装置、19…乗員保護装置、20…空調装置、21…車内ネットワーク、31…カメラモジュール、32…液晶デバイス(表示部材)、33…表示操作パネル(パネル)、33a…矩形枠、33b…非表示部、34…入出力デバイス、35…メモリ(記録部材)、36…監視制御部(判断部)、41…撮像センサ(撮像部材)、42…撮像広角レンズ、43…第一LED、44…第一投光レンズ、45…第二LED、46…第二投光レンズ、51…第一乗員データ、52…第二乗員データ、61…保持部材
Claims (12)
- 車両に乗る複数の乗員の状態を監視可能にするために前記車両の車室を撮像する撮像部材と、
車両に乗る乗員に視認させる画面を表示する表示部材と、
前記表示部材に画面を表示している際の乗員を前記撮像部材により撮像した撮像データを用いて、前記車両に乗る乗員の状態を判断する判断部と、
を有し、
前記表示部材についての前記画面を表示するパネルに、前記画面の表示領域と外接する矩形枠の内側に非表示部を設け、
前記撮像部材は、前記表示部材の前記パネルの前記非表示部の裏側に配置される、
車両の乗員監視装置。
- 前記表示部材の前記パネル、および前記撮像部材は、前記車両の車幅方向の中央部分において前記車幅方向の中央からオフセットして配置される、
請求項1記載の、車両の乗員監視装置。
- 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、前記画面の表示領域の上縁に沿う切欠部分として形成される、
請求項1または2記載の、車両の乗員監視装置。
- 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、前記画面の表示領域の上縁の中央部分の切欠部分として形成される、
請求項1から3のいずれか一項記載の、車両の乗員監視装置。
- 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、少なくとも、前記画面の表示領域の車幅方向の中央から、前記車両の車幅方向の中央までの範囲にわたって形成され、
前記撮像部材は、前記表示部材の前記パネルの裏側において、前記画面の表示領域の車幅方向の中央から、前記車両の車幅方向の中央までの範囲に収まるように、前記画面の表示領域の車幅方向の中央から前記車両の車幅方向の中央へ寄せるようにずらして配置される、
請求項1から4のいずれか一項記載の、車両の乗員監視装置。
- 前記非表示部は、前記表示部材についての前記画面を表示するパネルにおいて、前記画面の表示領域の車幅方向の中央を基準として、前記車両の車幅方向において左右対称な形状に形成される、
請求項1から5のいずれか一項記載の、車両の乗員監視装置。
- 前記表示部材の前記パネルの周縁部を保持する保持部材を有し、
前記撮像部材は、前記保持部材より内側となるように設けられる、
請求項1から6のいずれか一項記載の、車両の乗員監視装置。
- 前記撮像部材とともに前記車両に乗る少なくともドライバへ向けて投光する投光部材を有するカメラモジュール、を備え、
前記カメラモジュールの前記投光部材は、前記撮像部材とともに、前記非表示部の裏側に配置される、
請求項1から7のいずれか一項記載の、車両の乗員監視装置。
- 前記撮像部材には、前記車両の前列に着座する複数の乗員の頭部を撮像可能な画角の広角レンズが重ねられる、
請求項1から8のいずれか一項記載の、車両の乗員監視装置。
- 前記表示部材に画面を表示している際の乗員を前記撮像部材により撮像した撮像データを、それぞれの乗員の撮像データとして記録する記録部材、を有し、
前記判断部は、前記記録部材に記録されている撮像データを用いて、前記車両に乗る乗員の状態を判断する、
請求項1から9のいずれか一項記載の、車両の乗員監視装置。
- 前記記録部材は、乗員を撮像した撮像データとして、乗員の正対画像と、正面視画像と、を記録し、
前記判断部は、
前記記録部材に記録されている乗員を正面から撮像したものと正面視の乗員を撮像したものとの相違に基づいて、撮像部材により撮像されている現在の撮像データに含まれる乗員を正面から撮像したものを推定し、
乗員を正面から撮像したものとして推定した画像成分に基づいて、前記車両に乗る乗員の状態を判断する、
請求項1から10のいずれか一項記載の、車両の乗員監視装置。
- 前記判断部は、
前記車両に乗るドライバの状態として、少なくとも、ドライバの目の状態、またはドライバの視線を判断する、
請求項1から11のいずれか一項記載の、車両の乗員監視装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/671,981 US11919454B2 (en) | 2021-02-24 | 2022-02-15 | Occupant monitoring device for vehicle |
DE102022103606.5A DE102022103606A1 (de) | 2021-02-24 | 2022-02-16 | Fahrzeuginsassen-überwachungseinrichtung für ein fahrzeug |
CN202210155571.7A CN114954484A (zh) | 2021-02-24 | 2022-02-21 | 车辆的乘员监视装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027739 | 2021-02-24 | ||
JP2021027739 | 2021-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022129368A true JP2022129368A (ja) | 2022-09-05 |
Family
ID=83150122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022005932A Pending JP2022129368A (ja) | 2021-02-24 | 2022-01-18 | 車両の乗員監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022129368A (ja) |
-
2022
- 2022-01-18 JP JP2022005932A patent/JP2022129368A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10501048B2 (en) | Seatbelt buckling detection | |
JP6303907B2 (ja) | 運転者監視装置 | |
US7315233B2 (en) | Driver certifying system | |
JP4898261B2 (ja) | 対象物検出システム、作動装置制御システム、車両、対象物検出方法 | |
US10824886B2 (en) | Occupant monitoring device for vehicle | |
US20150125126A1 (en) | Detection system in a vehicle for recording the speaking activity of a vehicle occupant | |
JP2020157938A (ja) | 車載監視制御装置 | |
JP2010203836A (ja) | 車室内状態の認識装置 | |
JP2022129153A (ja) | 車両の乗員監視装置 | |
US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
US11772563B2 (en) | In-vehicle multi-monitoring device for vehicle | |
US12015876B2 (en) | In-vehicle monitoring device for vehicle | |
JP2022129368A (ja) | 車両の乗員監視装置 | |
JP2022129152A (ja) | 車両の乗員監視装置 | |
US20220272269A1 (en) | Occupant monitoring device for vehicle | |
US11919454B2 (en) | Occupant monitoring device for vehicle | |
JP2021133877A (ja) | 車両の乗員監視装置 | |
US11447093B1 (en) | Safety belt D-ring positioning | |
US20230063157A1 (en) | Safety belt d-ring positioning for front and rear seats | |
JP2023139931A (ja) | 車両状態認識装置 | |
JP2023139929A (ja) | 乗員状態監視装置 | |
JP2023004191A (ja) | 乗員の顔検出装置及び顔検出プログラム | |
JP2023114500A (ja) | 状態判定装置、状態判定方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20221223 |