JP2009029350A - 車両の乗員検知装置 - Google Patents

Abstract

【課題】人間の感性に直結した直接的な判定ができるとともに、対象物の初期条件や天候などで環境条件の影響を受けにくい車両の窓部の曇り判断を可能にする。
【解決手段】車両２０の車室２１上方に配置される複数の撮像素子１１Ｌ，１１Ｒと、撮像素子１１Ｌ，１１Ｒにより得られた信号を処理することにより、撮像物の３次元位置を検出する信号処理手段１２Ｂとを備えた車両の乗員検知装置であって、撮像素子１１Ｌ，１１Ｒは、少なくとも車両１０の窓部２７外方を含む領域を撮像するよう構成されるとともに、信号処理手段１２Ｂは、窓部２７形状に対応した基準位置情報を予め記憶部７６と、基準位置情報と時間毎に撮像された車両１０の窓部２７外方を含む領域の時間毎位置情報との比較を行う比較部７７と、比較部７７の比較結果に基づいて結露を判定する結露判定部７８とを備えた。
【選択図】図８

Description

本発明は、ステレオカメラを用いて車室内の運転者等の乗員の姿勢や体格を検知する車両の乗員検知装置に関するものである。

車両の乗員検知装置として、車室の前側上縁に設けられたバックミラー等に撮像素子（例えば、ＣＭＯＳカメラ）を設け、前側斜め上方から車室内を撮像して乗員をモニタするものが実用に供されている。
この種の車両の乗員検知装置は、乗員をモニタしているときに乗員の廻りの車室内状況も撮像されるので、撮像された車室内状況の有効利用をすることが考えられる。

このような車両の乗員検知装置で撮像された車室内状況の有効利用をすることができそうなものとして、車両のウィンドウの視界不良検知装置や自動デフロスタなどが知られている（例えば、特許文献１，２参照。）。
特開平１１−１３９２６２号公報（第４頁、図１） 特開２０００−２５５７５公報（第４頁、図１）

特許文献１の技術を説明する。
図１０は従来の車両のウィンドウの視界不良検知装置を説明する図である。
車両のウィンドウの視界不良検知装置２１０は、カメラ２１１の視界画像に対し、視野画像全体に均一に分散させた複数の観測位置の輝度を検出して各観測位置の輝度差を求め、この輝度差を設定値と比較し、輝度差が設定値よりも小さいときは、フロントウィンドウ２１２のガラス内側に曇りが発生したと判断してエアコン制御ユニット２１３は曇り除去指令を出力して曇りを除去するものである。

特許文献２の技術を説明する。
図１１は従来の自動デフロスタを説明する図である。
自動デフロスタ２２０は、テレビカメラ２２１により車内からガラス２２２越しに車両の一部を撮像し、その撮像状態の変化により、ガラス２２２面の曇り状態を検知してデフロスタ２２３を自動的に動作させるために、画像処理部２２４を備えた自動デフロスタであり、画像処理部２２４を、車両の一部を撮像した画像を処理する画像処理手段と、この画像処理手段から画像処理により低周波成分を算出する低周波成分算出手段と、この低周波成分算出手段から低周波成分を予め決められたしきい値と比較し、曇り状態を検出する曇り状態検出手段とから構成され、この曇り状態検出手段からの曇り状態に応じてデフロスタ２２３を駆動するものである。

しかし、車両のウィンドウの視界不良検知装置２１０では、輝度で曇りを認識するのでは対象物の初期条件（例えば色調）や天候などで環境条件が変化した場合には曇り判断が複雑なものとなる。
また、自動デフロスタ２２０では、画像処理により低周波成分で曇りを判断するので人間の感性に直結した判断とは相違があり、直接的なものとは言えなかった。

本発明は、人間の感性に直結した直接的な判定ができるとともに、対象物の初期条件や天候などで環境条件の影響を受けにくい車両の窓部の曇り判断機能を具備した車両の乗員検知装置を提供することを課題とする。

請求項１に係る発明は、車両の車室上方に配置される複数の撮像素子と、撮像素子により得られた信号を処理することにより、撮像物の３次元位置を検出する信号処理手段とを備えた車両の乗員検知装置であって、撮像素子は、少なくとも車両の窓部外方を含む領域を撮像するよう構成されるとともに、信号処理手段は、窓部形状に対応した基準位置情報を予め記憶部と、基準位置情報と時間毎に撮像された車両の窓部外方を含む領域の時間毎位置情報との比較を行う比較部と、比較部の比較結果に基づいて結露を判定する結露判定部とを備えたことを特徴とする。

請求項２に係る発明は、結露判定部の判断結果に基づき、デフロスタを含む空調装置の作動を制御する制御手段を備えることを特徴とする。

請求項３に係る発明は、比較部が、車両の窓部外方を含む領域の特定部のみを比較することを特徴とする。

請求項４に係る発明は、特定部が、複数設けられるとともに、結露判定部が、複数の特定部の全てにおいて結露条件が有効となったときにのみ結露を判定することを特徴とする。

請求項１に係る発明では、車両の車室上方に複数の撮像素子（例えば、ＣＭＯＳカメラ）が配置され、撮像素子により得られた撮像が信号処理手段で処理され、撮像物（例えば、乗員）の３次元位置が検出される。
車両の乗員検知装置では、複数の撮像素子で乗員を撮像した撮像データから、乗員の有無判定、乗員頭部位置判定や乗員の体格判定などを行い、例えば、エアバッグの膨出展開の必要性や膨出展開のタイミングなどを制御するための制御信号として利用される。しかし、複数の撮像素子で乗員を撮像した場合に乗員の周辺の状況も同時に撮像されているので、乗員の周辺データを利用することは好ましいことである。
そこで、撮像素子は、少なくとも車両の窓部外方を含む領域を撮像するよう構成され、撮像された撮像データを信号処理手段で処理するようにした。
信号処理手段に、窓部形状に対応した基準位置情報を予め記憶部と、基準位置情報と時間毎に撮像された車両の窓部外方を含む領域の時間毎位置情報との比較を行う比較部と、比較部の比較結果に基づいて結露を判定する結露判定部とを備えた。

すなわち、基準位置情報と時間毎に撮像された車両の窓部外方を含む領域の時間毎位置情報とを比較することで、例えば、基準位置情報と時間毎位置情報が同一であれば、透明であるはずの車両の窓部が撮像されているので、車両の窓部に結露、曇り若しくは汚れがあるものと認識することができる。また、基準位置情報と時間毎位置情報に差異があれば、車両の窓部は透過され、車両の窓部外方が撮像されているので、車両の窓部は透明度が高い状態にあり、車両の窓部に結露、曇り若しくは汚れがないものと認識することができる。

請求項２に係る発明では、結露判定部の判断結果に基づき、デフロスタを含む空調装置の作動を制御する制御手段を備えることで、車両の窓部に結露があると判断された場合に、自動でデフロスタを含む空調装置の作動をさせることができる。この結果、乗員の利便性の向上を図ることができる。

請求項３に係る発明では、比較部が、車両の窓部外方を含む領域の特定部のみを比較するようにしたので、結露の判断の精度の向上を図ることができる。

請求項４に係る発明では、特定部が、複数設けられるとともに、結露判定部が、複数の特定部の全てにおいて結露条件が有効となったときにのみ結露を判定することにした。例えば、部分的に結露が生じた場合は、運転に影響を与えることは少ない。そこで、結露判定部が、複数の特定部の全てにおいて結露条件が有効となったときにのみ結露を判定することで、不用意なデフロスタを含む空調装置の作動を回避することができる。

本発明を実施するための最良の形態を添付図に基づいて以下に説明する。なお、図面は符号の向きに見るものとする。
図１は本発明に係る車両の乗員検知装置のブロック図である。
図１に示されたように、車両の乗員検知装置１０は、システム構成として、カメラ１１と信号処理手段（信号処理部）１２を備える。カメラ１１は、好ましくは右側カメラ１１Ｒと左側カメラ１１Ｌとから構成され、複眼のステレオカメラのユニット構成となっている。カメラ１１を含むカメラユニットは、カメラ１１としての受光素子と、後述するような複数の発光素子（ＬＥＤ）を備え、発光・受光ユニットとして構成されている。また信号処理手段１２は、通常、カメラ１１に付設されたカメラユニットＥＣＵとして構成される。なお信号処理手段１２は、カメラ１１の構成とは別途に用意することもできる。

なお、単眼のカメラ構成またはビーム式センサの場合には、一方のカメラおよび当該カメラに関連する信号処理構成部分は省略される。

右側カメラ１１Ｒおよび左側カメラ１１Ｌは、撮像素子であり、いずれも、ＣＭＯＳ素子等の受光素子が用いられている。さらに、赤外光を用いて撮像を行う赤外撮像素子を備えるものであってもよい。

車両２０の車室上方に複数の撮像素子（例えば、ＣＭＯＳカメラ）１１Ｌ，１１Ｒが配置され、撮像素子１１Ｌ，１１Ｒにより得られた撮像が信号処理手段１２で処理され、撮像物（例えば、乗員）の３次元位置が検出される。
車両の乗員検知装置１０では、複数の撮像素子１１Ｌ，１１Ｒで乗員を撮像した撮像データから、乗員の有無判定、乗員頭部位置判定や乗員の体格判定などを行い、例えば、エアバッグの膨出展開の必要性や膨出展開のタイミングなどを制御するための制御信号として利用される。しかし、複数の撮像素子１１Ｌ，１１Ｒで乗員を撮像した場合に乗員の周辺の状況も同時に撮像されているので、乗員の周辺データを利用することは好ましいことである。

そこで、信号処理手段１２は、車両の乗員検知装置１０の本来の目的である乗員を検知した撮像を信号処理する第１の信号処理手段（信号処理部）１２Ａと、乗員を検知した撮像がマスキング処理され、同時に撮像された窓部２７（図６参照）廻りの信号を撮像する第２の信号処理手段（信号処理部）１２Ｂとから構成される。
撮像素子１１Ｌ，１１Ｒは、少なくとも車両２０の窓部外方を含む領域を撮像するよう構成され、撮像された撮像データを第２の信号処理手段１２Ｂで処理するようにした。

第１の信号処理手段１２Ａには、右側カメラ１１Ｒと左側カメラ１１Ｌのそれぞれに対応する特徴位置抽出部１３，１４と、２つの特徴位置抽出部１３，１４から出力される特徴位置に係る撮像信号に基づいて検知対象物の位置情報を演算する位置演算部１５と、乗員判定部１６とを備えている。特徴位置抽出部１３，１４は、それぞれ、右側カメラ１１Ｒと左側カメラ１１Ｌでの撮像で得られた撮像信号から検知対象物（乗員）の特徴を位置情報として抽出する働きを有している。検知対象物の特徴としては、例えば、乗員の頭部および乗員の体格である。位置演算部１５は、左右のカメラ１１Ｒ，１１Ｌからの撮像信号から検知対象物（乗員）の特徴の位置を演算する。乗員判定部１６は、乗員有無判定部１６Ａと乗員頭部位置判定部１６Ｂと乗員体格判定部１６Ｃを有する。位置演算部１５から出力される検知対象物に係る特徴の信号に基づいて、乗員判定部１６では、上記の乗員有無判定部１６Ａと乗員頭部位置判定部１６Ｂと乗員体格判定部１６Ｃによって、それぞれ、乗員の有無判定、乗員頭部の位置判定、乗員の体格判定が行われる。

信号処理手段１２Ａから出力される判定信号は、車内ネットワーク（ＣＡＮ）１７を経由して主制御装置（図示せず）に供給される。なお車内ネットワーク１７には、その他の接続要素として、例えばエアバッグＥＣＵ１８、シートベルトＥＣＵ１９、空調装置２８、注意警報装置２９等が接続されている。
ここで、空調装置２８は、デフロスタ（不図示）を含む車室内の温度、湿度や空気清浄化をする装置である。注意警報装置は、インジケータ、ブザー若しくはアナウンス等により注意警告を発する装置である。

次に、上記のカメラユニットを図２〜図５を参照して説明する。図２は図１に示される車両の乗員検知装置のカメラユニットの正面図を示し、図３は図１に示される車両の乗員検知装置のカメラユニットの平面図を示し、図４は図１に示される車両の乗員検知装置のカメラユニットの側面図を示し、図５は図２に示されるカメラユニットのカメラの内部構造の側面図を示す。

カメラユニット３０は前述した右側カメラ１１Ｒと左側カメラ１１Ｌを含む。図２において、３１は右側カメラ１１Ｒ用のレンズであり、３２は左側カメラ１１Ｌ用のレンズである。図５は、一例として、右側カメラ１１Ｒの内部構造を示している。右側カメラ１１ＲはＣＭＯＳ素子３３による受光素子で構成されている。レンズ３１とＣＭＯＳ素子３３の間には凹レンズ３４とフィルタ３５が配置されている。フィルタ３５は、右側カメラ１１Ｒのレンズ内に関連させて配置されている。カメラユニット３０の前方から到来して入射される光３６は、レンズ３１、凹レンズ３４、フィルタ３５の順序でＣＭＯＳ素子３３の受光面に入射される。光３６は、凹レンズ３４を透過した後には平行な光になり、フィルタ３５の入射面に対して垂直に入射して当該フィルタ３５を透過し、ＣＭＯＳ素子３３の受光面に垂直に入射する。左側カメラ１１Ｌの内部構造も図５で示した構造と同じである。

またカメラユニット３０には、上記の左右のカメラ１１Ｒ，１１Ｌの以外に、例えば、発光素子であるＬＥＤ３７が６個設けられている。６個のＬＥＤ３７は、正面方向でかつ上下の方向に光を照射する２個のＬＥＤ、右側面方向でかつ上下の方向に光を照射する２個のＬＥＤ、左側面方向でかつ上下の方向に光を照射する２個のＬＥＤとから構成されている。図２および図３において破線で示された範囲３８は、６個のＬＥＤ３７の各々による照射範囲を示している。このように６個のＬＥＤ３７の各々が独自の光照射範囲３８を有している。６個のＬＥＤ３７の光照射動作は、連続的な照射であってもよいし、間欠的（ストロボ的）な照射であってもよい。

図６は本発明に係る車両の乗員検知装置を採用した車両の平面図であり、図７は図６に示される車両の車室の側面図であり、図８は図１に示される車両の乗員検知装置の第２の信号処理手段の構成を示すブロック図である。
第２の信号処理手段１２Ｂは、左側カメラ１１Ｌで撮像され左前の窓部２７（以下、「窓部２７と記載する」）廻りの撮像（必要撮像部分のみの撮像）を取出す左側マスキング処理部（前処理部）７１と、このマスキング処理部７１で処理された撮像から窓部２７の外形に対応した領域を抽出する左側窓位置抽出部７３と、右側カメラ１１Ｒで撮像され窓部２７廻りの撮像（必要撮像部分のみの撮像）を取出す右側マスキング処理部（前処理部）７２と、このマスキング処理部７２で処理された撮像から窓部２７の外形に対応した領域を抽出する右側窓位置抽出部７４と、これらの左側・右側窓位置抽出部７３，７４で抽出された撮像信号に基づいて窓部２７形状に対応した位置情報を演算する窓位置演算部７５と、この窓位置演算部７５で演算された位置情報を基準位置情報とするときに、この基準位置情報を予め記憶する窓位置記憶部（記憶部）７６と、所定の時間毎に、車両の窓部２７外方を含む領域の窓位置演算部７５で演算された位置情報を時間毎位置情報とするときに、この時間毎位置情報と基準位置情報とを比較する窓比較部（比較部）７７と、この窓比較部７７の比較結果に基づいて時間毎位置情報と基準位置情報とに差異が認められる場合に窓部２７の結露、曇り若しくは汚れ等の可能性があるものと判断して自動的にデフロスタを含む空調装置２８（図１参照）に作動指令を出す結露判定部７８とからなる。

また、結露判定部７８は、デフロスタを含む空調装置２８（図１参照）に加えて、ワイパ（不図示）を同時に作動してもよい。
左側・右側カメラ１１Ｌ，１１Ｒは、少なくとも、２点鎖線Ａで示したインストルメントパネル２２、窓部２７及び座席５２上部範囲を撮像する。

窓位置演算部７５には、窓部２７を車両の窓部２７外方を含む領域を複数の特定部に分割して演算する特定部分割手段７９を備え、図７に示されたように、第１〜第３の特定部８１〜８３に区切り、これらの第１〜第３の特定部８１〜８３それぞれに第１〜第３の時間毎位置情報が演算される。

比較部７７では、第１の時間毎位置情報と基準位置情報とが比較され、第２の時間毎位置情報と基準位置情報とが比較され、第３の時間毎位置情報と基準位置情報とが比較される。すなわち、第１〜第３の時間毎位置情報と基準位置情報とが個々に比較される。

結露判定部７８では、第１〜第３の時間毎位置情報と基準位置情報とが個々に比較され、第１の時間毎位置情報と基準位置情報が同一、第２の時間毎位置情報と基準位置情報が同一、第３の時間毎位置情報と基準位置情報が同一である場合（全てが同位置である）場合に、結露条件が有効となったとみなし、結露（曇り若しくは汚れも含む）している判定を下す。この場合に、空調装置２８を作動させて窓部２７の結露を削除する。なお、空調装置２８には、空調装置２８の作動を制御する制御手段８５を備える。

ここで、基準位置情報と時間毎位置情報が同一であれば、透明であるはずの車両の窓部２７が撮像されているので、車両の窓部２７に結露、曇り若しくは汚れがあるものと認識することができる。また、基準位置情報と時間毎位置情報に差異があれば、車両の窓部２７は透過され、車両の窓部外方が撮像されているので、車両の窓部２７は透明度が高い状態にあり、車両の窓部に結露、曇り若しくは汚れがないものと認識することができる。

空調装置２８に、結露判定部７８の判断結果に基づき、デフロスタを含む空調装置２８の作動を制御する制御手段８５を備えることで、車両２０の窓部２７に結露があると判断された場合に、自動でデフロスタを含む空調装置２８の作動をさせることができる。この結果、乗員５１の利便性の向上を図ることができる。

比較部７７は、車両２０の窓部２７外方を含む領域の第１〜第３の特定部８１〜８３のみを比較するようにしたので、結露の判断の精度の向上を図ることができる。

結露判定部７８は、複数の特定部８１〜８３の全てにおいて結露条件が有効となったときにのみ結露を判定することにした。例えば、部分的に結露が生じた場合は、運転に影響を与えることは少ない。そこで、結露判定部７８は、複数の特定部の全てにおいて結露条件が有効となったときにのみ結露を判定することで、不用意なデフロスタを含む空調装置２８の作動を回避することができる。

図９は図１に示される車両の乗員検知装置の第３の信号処理手段のフロー図である。なお、ＳＴ××はステップ番号を示す（符号は図７及び図８参照）。
ＳＴ１０１：左側カメラ１１Ｌ及び右側カメラ１１Ｒで車室内の情報が撮像される。

ＳＴ１０２：左側カメラ１１Ｌで撮像された撮像物の内窓部２７の撮像（必要撮像部分のみの撮像）を左側マスキング処理部（前処理部）７１で取出（抽出）し、右側カメラ１１Ｒで撮像された撮像物の内窓部２７の撮像（必要撮像部分のみの撮像）を右側マスキング処理部（前処理部）７２で取出（抽出）される。

ＳＴ１０３：左側・右側窓位置抽出部７３，７４で抽出された撮像信号に基づいて窓部２７の外形に対応した位置情報を窓位置演算部７５で演算する。この結果を、基準位置情報とする。

ＳＴ１０４：基準位置情報を窓記憶部（記憶部）７６に記憶する。
ＳＴ１０５：車両の窓部２７外方を含む領域を第１〜第３の特定部８１〜８３に区切り、これらの第１〜第３の特定部８１〜８３それぞれに、第１〜第３の時間毎位置情報が窓位置演算部で演算される。
ＳＴ１０６：第１の時間毎位置情報と基準位置情報とが比較され、第２の時間毎位置情報と基準位置情報とが比較され、第３の時間毎位置情報と基準位置情報とが窓比較部で比較される。

ＳＴ１０７：第１〜第３の時間毎位置情報と基準位置情報とのそれぞれの比較結果に基づいて、結露判定部では第１の時間毎位置情報と基準位置情報とが同一か、第２の時間毎位置情報と基準位置情報とが同一か、第３の時間毎位置情報と基準位置情報とが同一かどうかを判断する。すなわち、全ての比較結果が同一かどうか判断する。

ＹＥＳの場合に、結露条件が有効となったとみなし、結露（曇り若しくは汚れも含む）している判定をし、ＳＴ１０８へ進む。ＮＯの場合に、結露条件が無効とみなし、ＳＴ１０６に戻る。
ＳＴ１０８：デフロスタを含む空調装置２８を作動する。

尚、本発明に係る車両の乗員検知装置１０は、図５に示すように、一例として左前の窓部２７の結露を判定するものを示したが、これに限るものではなく、他の窓部の結露判断をするものでもよい。すなわち、車両の窓部を限定するものではない。

本発明に係る車両の乗員検知装置１０は、図７に示すように、車室上部前方にカメラユニット３０を設定したが、カメラは必要に応じて移動することを妨げるものではない。また、カメラに広角レンズを備えたものを用いてもよい。

本発明に係る車両の乗員検知装置１０は、図７に示すように、複数の特定部を第１〜第３の特定部８１〜８３としたが、特定部の個数を限定するものではなく、特定部は複数個あればよい。

本発明に係る車両の乗員検知装置は、セダンやワゴンなどの乗用車に採用するのに好適である。

本発明に係る車両の乗員検知装置のブロック図である。 図１に示される車両の乗員検知装置のカメラユニットの正面図である。 図１に示される車両の乗員検知装置のカメラユニットの平面図である。 図１に示される車両の乗員検知装置のカメラユニットの側面図である。 図２に示されるカメラユニットのカメラの内部構造の側面図である。 本発明に係る車両の乗員検知装置を採用した車両の平面図である。 図６に示される車両の車室の側面図である。 図１に示される車両の乗員検知装置の第２の信号処理手段の構成を示すブロック図である。 図１に示される車両の乗員検知装置の第３の信号処理手段のフロー図である。 従来の車両のウィンドウの視界不良検知装置を説明する図である。 従来の自動デフロスタを説明する図である。

符号の説明

１０…車両の乗員検知装置、１１Ｌ，１１Ｒ…撮像素子（左側・右側カメラ）、１２Ｂ…信号処理手段（第２の信号処理手段）、２０…車両、２１…車室、２７…窓部、２８…空調装置、７６…記憶部（窓記憶部）、７７…比較部（窓比較部）、７８…結露判定部、８５…制御手段。

Claims (4)

1. 車両の車室上方に配置される複数の撮像素子と、撮像素子により得られた信号を処理することにより、撮像物の３次元位置を検出する信号処理手段とを備えた車両の乗員検知装置であって、
   前記撮像素子は、少なくとも前記車両の窓部外方を含む領域を撮像するよう構成されるとともに、
   前記信号処理手段は、前記窓部形状に対応した基準位置情報を予め記憶部と、前記基準位置情報と時間毎に撮像された前記車両の窓部外方を含む領域の時間毎位置情報との比較を行う比較部と、前記比較部の比較結果に基づいて結露を判定する結露判定部とを備えたことを特徴とする車両の乗員検知装置。
2. 前記結露判定部の判断結果に基づき、デフロスタを含む空調装置の作動を制御する制御手段を備えることを特徴とする請求項１記載の車両の乗員検知装置。
3. 前記比較部は、前記車両の窓部外方を含む領域の特定部のみを比較することを特徴とする請求項１又は請求項２記載の車両の乗員検知装置。
4. 前記特定部は、複数設けられるとともに、前記結露判定部は、前記複数の特定部の全てにおいて結露条件が有効となったときにのみ前記結露を判定することを特徴とする請求項３記載の車両の乗員検知装置。

Images