JP2010030371A - 車室内の状態認識装置 - Google Patents

Abstract

【課題】本発明は、車室内の状態認識装置において、車両停車中の走行開始前に、赤外線を照射して、乗員の状態を検出するにあたり、できるだけ阻害要因の影響を抑えて、正確に乗員の状態を検出できる車室内の状態認識装置を提供することを目的とする。
【解決手段】Ｓ７で、ドアが開放状態であると判断（ＹＥＳ判断）した場合には、Ｓ８に移行する。このＳ８では、撮像したデータを一旦キャンセルする。そして、その後、リターンに移行する。このように制御するのは、ドアが開いていることで、乗員Ｐの車室Ｃ内への出入りや荷物の積み込み等、画像認識を阻害する阻害要因が発生するおそれがあり、この阻害要因が発生することで、正確な状態認識判定ができない可能性があるからである。
【選択図】図３

Description

この発明は、車室内の状態認識装置に関し、特に、車室内に着座する乗員の状態を検出する車室内の状態認識装置に関する。

従来より、エアバッグ装置等の車両の制御装置において、車室内に着座する乗員の状態を検出して、その検出状態に基づいて制御を行なうものが知られている。

例えば、下記特許文献１には、乗員の着座状態を検出するために、車室内に赤外線を照射して、その照射された車室内の状態を、撮像手段で撮像することで、乗員に照射状態を認識させることなく、精度よく安定した検出信号を得ることができる車室内の状態認識装置が開示されている。
特開２００７−１９８９２９号公報

ところで、車室内の状態認識装置においては、車両停車中の走行開始前に、乗員の状態を検出したい要求がある場合がある。
この点、前述の特許文献１では、車両の走行開始後に、乗員の状態を検出しており、走行開始前に検出したいという要求に応えることができない。

もっとも、車両停車中の走行開始前に、乗員の状態を検出しようとする場合には、車両の走行開始前ということで、様々な検出阻害要因が存在し、正確に乗員の状態を検出できないおそれがある。

そこで、本発明は、車室内の状態認識装置において、車両停車中の走行開始前に、赤外線を照射して、乗員の状態を検出するにあたり、できるだけ阻害要因の影響を抑えて、正確に乗員の状態を検出できる車室内の状態認識装置を提供することを目的とする。

この発明の車室内の状態認識装置は、車室内に設置されて、赤外線により車室内の状態を撮像する撮像手段と、該撮像手段により撮像された室内画像に基づいて車室内の画像を認識する画像認識手段とを備えた車室内の状態認識装置であって、車両の停車状態であって走行直前状態を検出する走行直前検出手段と、前記撮像手段により撮像された室内画像による認識が阻害される状態を判定する阻害判定手段と、前記画像認識手段が、少なくとも走行直前中に画像認識処理を行なうと共に、走行直前中に前記阻害判定手段で室内画像の認識が阻害される状態を判定した時に、画像認識処理を抑制するものである。

上記構成によれば、画像認識手段によって走行直前において画像認識処理を行いつつも、室内画像の認識が阻害される状態、例えば、車室内への人の出入りがある場合や、後方車両のヘッドライト照射により、いわゆるハレーションが生じる場合等には、画像認識処理を抑制することになる。
このため、走行直前において画像認識処理を行いつつも、阻害される状態では画像認識処理を抑制することで、画像認識の誤判定を防止することができる。

この発明の一実施態様においては、前記阻害判定手段は、車体の開口部を開閉する開閉体の開放時に、阻害状態と判定するものである。
上記構成によれば、開口部を開閉する開閉体、例えば、ドアやサンルーフの開放時を阻害状態と判定することになる。
このように、ドアやサンルーフの開放時を阻害状態として判定することで、ドアを開放した際の人の出入りの影響や、夜間の車両のライト等の侵入等を防いで画像認識の誤判定を防ぐことができる。
よって、開閉体の開放時に、画像認識処理を抑制することで、より正確に乗員の状態を検出することができる。

この発明の一実施態様においては、前記画像認識手段は、座席のシートバック部材の形態を認識可能に構成して、前記撮像手段の撮像方向が、撮像された画像上においてシートバック部材の基準特定部位が後方のウィンド開口下端よりも下方に位置するように設定されたものである。
上記構成によれば、画像認識手段が撮像する画像上において、シートバック部材の基準特定部位（例えば、シートバックの上端部やヘッドレストの下端部）が後方のウィンド開口下端よりも下方に位置するように、画像認識手段の設置位置や、ウィンド開口の大きさ、又はシートバック部材の形状等を、適切に設定することになる。
このため、撮像した画像上において、バックドア等のウィンド開口の下縁より、下側にシートバック部材の基準特定部位が、後方のウィンド開口から侵入する後方車両のヘッドライトの光により、認識できなくなるのを防ぐことができ、画像認識処理が阻害されるのを防止することができる。
よって、後方に位置する他の車両の影響を受けにくい配置構造等にすることにより、画像認識処理の精度を高めることができる。

この発明の一実施態様においては、車両が車室後方に荷室空間を備えるワゴンタイプ又はバンタイプであり、前記開閉体が前記荷室空間を開放するバックドアであると共に、前記画像認識手段が乗員の位置を認識するように設定したものである。
上記構成によれば、画像認識手段が乗員の位置を認識するように設定されていることで、バックドアから荷室空間に出入りする人やバックドア周辺に位置する人を、乗員と誤って認識するのを防止することができる。
よって、バックドアを備えるワゴンタイプやバンタイプの車両において、誤認識を防止して、正確に乗員の状態を検出することができる。

この発明の一実施態様においては、前記撮像手段は、可視光により車室内の状態を撮像する機能を有し、前記阻害判定手段は、撮像手段でのハレーションによる認識阻害状態を判定するものであり、該阻害判定手段により赤外線による画像認識が不可能と判定された場合には、撮像手段による可視光による車室内状態の撮像に切り替えて、画像認識を行なうように制御するものである。
上記構成によれば、赤外線での画像認識の際に、いわゆるハレーションが生じた場合には、可視光に切り替えて画像認識を行うことになる。
このため、ハレーションにより画像認識ができなくなった場合でも、可視光によって画像認識を行うことができる。
よって、画像認識を行なえる場面を多くすることができ、より長期間且つ確実に乗員の状態を検出することができる。

この発明の一実施態様においては、車室内の室内灯を作動させる室内灯作動手段を備え、該室内灯作動手段は、前記可視光での撮像が行われる際に室内灯を作動させるものである。
上記構成によれば、可視光での撮像が行われる際には、室内灯が作動するため、室内灯によって可視光の撮像を行うことができる。
よって、夜間等で自然光による撮像が困難な場合であっても、可視光での撮像を行うことができる。

この発明によれば、走行直前において画像認識処理を行いつつも、阻害される状態では画像認識処理を抑制することで、画像認識の誤判定を防止することができる。
よって、車室内の状態認識装置において、車両停車中の走行開始前に、赤外線を照射して、乗員の状態を検出するにあたり、できるだけ阻害要因の影響を抑えて、正確に乗員の状態を検出できる。

以下、図面に基づいて本発明の実施形態について詳述する。
図１は本発明を採用した実施形態の車室内の状態認識装置を制御ブロックも兼ねて示した全体模式図、図２は小型カメラで撮像した車室内の画像図である。
図１に示すように、この実施形態を採用した車両Ｖは、車室Ｃ内に車両前後方向に三列のシートを備えたワゴンタイプの車両であり、後部には荷室空間Ｔと、その荷室空間Ｔを開閉するバックドアＢとを備えている。

一列目シート１、二列目シート２、三列目シート３には、それぞれシートベルト装置（図示せず）のバックルセンサ４，５，６が設けられている。このバックルセンサ４，５，６は、乗員がシートベルト装置を装着することによって、シートベルト装着信号を、後述するＥＣＵ７に送信するように構成している。

また、車室Ｃ前部のインストルメントパネル（図示せず）には、シートベルト装置の装着を促すシートベルトリマインダー等のワーニング表示を行なうモニタ８Ａと、シートベルト装置の装着を促す警報音を出すスピーカ８Ｂを設置している。さらに、一列目シート１の近傍には、イグニッションキーシリンダーのＯＮ・ＯＦＦ信号を出力するパワースイッチ９（ＩＧスイッチ）と、自動変速機のＤレンジ等の変速操作信号を出力するシフトセンサ１０と、を設置している。

また、各シート１，２，３の側方には、図示しないサイドドアが設置されており、この開閉状態を検出するドアスイッチ１１を設けている。そして、バックドアＢの上部には、車室Ｃ内から車両後方側を視認できるように、バックウィンドＢａを設けている。

なお、このバックドアＢは、上端に回動ヒンジＢｂを備えており、車両後方側から作業者ＷがバックドアＢを自由に開閉できるように構成している。また、作業者Ｗが荷室空間Ｔに自由に出入りできるように構成している。

車室Ｃ上方の天井前部Ｃ１には、撮像手段である小型カメラ１２を設置している。この小型カメラ１２は、近赤外線及び可視光兼用のカメラであり、車室Ｃ内の乗員等を撮影するために、撮像方向Ｚが車室Ｃ後方側に向くように設置されている。

また、天井中央部Ｃ２には、近赤外線（近赤外光）を車室Ｃ内に照射する近赤外線ランプ１３を設置している。この近赤外線ランプ１３を、小型カメラ１２の撮影と同時に作動させることで、車室Ｃ内の乗員等を近赤外線（近赤外光）で照射することができ、乗員等を明確に撮像することができる。特に、夜間等で自然光が少ない場合でも、乗員に撮影されていることを気付かせることなく、車室Ｃ内を撮影することができる。

そして、この近赤外線ランプ１３に隣接して、室内灯１４を設置している。この室内灯１４は周知のように、ドアの開閉等に連動して車室Ｃ内を照射するもので、従来の室内灯１４と同様である。但し、後述するように、室内灯ＣＰＵ１５からの作動信号によって、点灯状態が変化するように設定している。

図２の画像図に示すように、天井前部に設置した小型カメラ１２で撮影すると、二列目シート２と三列目シート３、それに各シートに着座する乗員Ｐ…が、撮影されることになる（なお、乗員Ｐが着座していない場合も含めて示すため、乗員Ｐは一点鎖線で示している）。

そして、三列目シート３の後方には、略台形状のバックウィンドＢａが位置して、二列目シート２及び三列目シート３の側方には、サイドウィンド２０…が位置するように撮影される。

このとき、画像図では、各シート２，３のシートバック２Ａ，３Ａとヘッドレスト２Ｂ，３Ｂが認識される。そして、各シートバック２Ａ，３Ａの上縁端２１,３１とシートバック２Ｂ，３Ｂの下縁端２２，３２とが、各々の位置が基準位置と比較して記憶される基準特定部位として設定される。

すなわち、シートバック２Ａ，３Ａの上縁端２１，３１を基準特定部位とすることで、シートバックの上縁端２１，３１が、基準位置（基準範囲）にない場合には、シートバック２Ａ，３Ａが大きく後倒されている場合や前傾されている場合であり、乗員が正しい姿勢で着座できない状態と判断できる。

また、ヘッドレスト２Ｂ，３Ｂの下縁端２２，３２を、基準特定部位とすることで、ヘッドレストの下縁端２２，３２が、基準位置（基準範囲）にない場合には、ヘッドレスト２Ｂ，３Ｂの位置が低い場合や高い場合で、後突された際にムチ打ちの危険がある状態であると判断できる。例えば、図２の二列目左側のシート２′の場合には、ヘッドレスト２Ｂ´の位置が乗員Ｐの頭部Ｐ１の位置に比較して低いため、ムチ打ちの危険があると判断できる。この場合には、後述するように、「二列目左側シートのヘッドレストが低い」というワーニング（警報）を行なうことになる。

また、このシート２，３の各基準特定部位２１，２２，３１，３２は、小型カメラ１２の画像上で、バックウィンドＢａの下縁Ｂａ１よりも下方位置に位置するように設定している（三列目シートの左右のヘッドレストは、装着位置を考慮して上方位置に示している）。

具体的には、小型カメラ１２の設置位置、小型カメラ１２の撮像角度、三列目シート３のシートバック３Ａの高さ、さらにはバックウィンドＢａの開口等の関係を、適切に設定することで、バックウィンドＢａの下縁Ｂａ１よりも下方に、シート２，３の各基準特定部位（２１，２２，３１，３２）が位置するように設定している。

このような位置関係に設定することで、例えば、図１に示すように、車両後方にヘッドライトＲを照射した車両Ｖ１が位置して、バックウィンドＢａからヘッドライトＲの光が車室Ｃ内に入ってきたとしても、基準特定部位２１，２２，３１，３２が「ハレーション」によって認識できなくなるおそれを回避できる。

ここで、「ハレーション」とは、画像に強い光が侵入した場合に、その光の周囲が白くぼやける状態のことをいう。このハレーションが発生すると、その周辺の画像認識が、全くできなくなってしまう。
そこで、この実施形態では、「ハレーション」による影響を避けるために、バックウィンドＢａの下縁Ｂａ１よりも下方に、各基準特定部位２１，２２，３１，３２が位置するように設定しているのである。

なお、この実施形態のヘッドレスト２Ｂ，３Ｂは、シートバック２Ａ，３Ａから上方に突出した一般的なヘッドレストで構成しているが、ヘッドレストをいわゆる鞍型形状としてもよい。このようにヘッドレストを鞍型形状とした場合でも、ヘッドレストの下端縁を、基準特定部位とすることで、ヘッドレストの位置が基準位置（基準範囲）にあるか否かについて判定することができる。

次に、この実施形態の制御ブロックについて、図１を利用して説明する。
この実施形態の車室内の状態認識装置を制御するＥＣＵ（電子制御中央処理装置）７には、入力手段として、前述のパワースイッチ９と、シフトセンサ１０と、複数のバックルセンサ４，５，６と、複数のドアスイッチ１１と、小型カメラ１２と、をそれぞれ連結しており、各入力手段の入力信号を受信するように構成している。

また、このＥＣＵ７には、出力手段として、前述のモニタ８Ａと、スピーカ８Ｂと、室内灯１４と、近赤外線ランプ１３と、をそれぞれ連結しており、ＥＣＵ７で演算処理して得た出力信号等を、各出力手段に出力するようにしている。なお、室内灯１４との間には、室内灯１４を独自に制御する室内灯ＣＰＵ１５を設けている。

このＥＣＵ７では、後席乗員（Ｐ）のシートベルト装着状態を検出して、後席乗員（Ｐ）にシートベルト装置の装着を促す制御システムを構成しており、以下のような制御方法で制御を行なう。

次に、図３〜図５により、この実施形態の制御方法について説明する。図３は実施形態の制御のメインフローチャート、図４は走行時サブルーチンのフローチャート、図５は室内灯制御のフローチャートである。

図３に示すように、まず、Ｓ１では、各種センサの信号を入力する。前述したパワースイッチ９と、シフトセンサ１０と、複数のバックルセンサ４，５，６と、複数のドアスイッチ１１と、小型カメラ１２とから得た検出信号等を入力する。

次に、Ｓ２では、パワースイッチ９がＯＮか否かを判定する。すなわち、運転者がエンジンを始動しようとしているのかを判断するのである。なお、このパワースイッチ９の代わりに、ドア開放信号を判定信号としても良いし、ドアロック解除信号を判定信号としても良い。
このように、このＳ２では、乗員が車両に乗り込み、エンジン等を始動するまでの乗員操作をきっかけとして、状態認識制御の制御開始を判断する。
このＳ２で、パワースイッチ９がＯＮでないと判断（ＮＯ判断）した場合には、そのまま、リターンに移行する。一方、パワースイッチ９がＯＮと判断（ＹＥＳ判断）した場合には、Ｓ３に移行する。

Ｓ３では、車室Ｃ内を近赤外線で撮像する。具体的には、近赤外線ランプ１３で近赤外線を照射して、同時に車室Ｃ内を小型カメラ１２で撮影する。このとき、小型カメラ１２は、近赤外線のみが通過する赤外線フィルタ等を介して、乗員（Ｐ）等を撮像する。この撮像は、静止画を数秒毎に１ショットで撮像しても良いし、動画状態で撮像しても良い。

そして、Ｓ４では、ヘッドレスト２Ｂ，３Ｂの高さ判定を行なう。具体的には、各ヘッドレスト２Ｂ，３Ｂの下縁端２２，３２が、それぞれ、どの位置にあるのかを判定する。
その後、Ｓ５では、着座している乗員Ｐを判定する。具体的には、乗員Ｐの頭部Ｐ１を判別して、どのシート２，３に乗員Ｐが着座しているかを判定する。また、頭部Ｐ１の位置を判別することで、どのような体型の乗員Ｐが、着座しているのかも判定する。

そして、Ｓ６では、シフトセンサ１０からの信号でＤレンジか否かを判定する。すなわち、運転者がＤレンジに入れて車両を発進させようとしているか否かを判断するのである。

なお、Ｄレンジの代わりに、ブレーキペダルＯＦＦやクラッチペダルＯＮ（踏込み）を検出して、運転者が車両を発進させようとしているのかを判断してもよい。

その後、Ｓ７では、ドアが開放状態か否かを判定する。すなわち、運転者が車両を発進させようとしているにも関わらず、ドアが開放したという状況を検出するのである。なお、このドアには、バックドアＢも含まれる。
Ｓ７で、ドアが開放状態であると判断（ＹＥＳ判断）した場合には、Ｓ８に移行する。このＳ８では、撮像したデータを一旦キャンセルする。そして、その後、リターンに移行する。

このように、ドアが開放している場合に、撮像したデータをキャンセルしてリターンに移行するのは、ドアが開いていることで、乗員Ｐの車室Ｃ内への出入りや荷物の積み込み等、画像認識を阻害する阻害要因が発生するおそれがあり、この阻害要因が発生することで、正確な状態認識判定ができない可能性があるからである。

一方、Ｓ７で、ドアが開放状態でないと判断（ＮＯ判断）した場合には、Ｓ９に移行する。このＳ９では、撮像データのハレーション判定を行なう。すなわち、撮像した画像データに、ハレーションが発生しているか否かを判定するのである。

そして、Ｓ１０では、このハレーションで画像認識ができないか否かを判定する。この画像認識ができない場合とは、乗員Ｐの頭部Ｐ１の位置と、ハレーションの位置が重なってしまい乗員Ｐの頭部Ｐ１が明確に判断できないような場合や、各ヘッドレスト２Ｂ，３Ｂの下縁端２２，３２の位置とハレーションの位置が重なってヘッドレスト２Ｂ，３Ｂの下縁端２２，３２の位置が判断できないような場合である。

Ｓ１０で、ハレーションで画層認識ができないと判断（ＹＥＳ判断）した場合には、Ｓ１１に移行する。このＳ１１では、室内灯１４がＯＮか否かを判断する。すなわち、ここでは、近赤外線による画像認識ができないため、自然光による画像認識を行なうべく、室内灯１４の点灯状態を確認しているのである。

Ｓ１１で、室内灯１４がＯＮでないと判断（ＮＯ判断）した場合には、Ｓ１２に移行する。このＳ１２では、室内灯作動信号を室内灯ＣＰＵ１５に出力する。この室内灯ＣＰＵ１５における制御フローについては後述する。一方、室内灯１４がＯＮであると判断（ＹＥＳ判断）した場合には、Ｓ１３に移行する。なお、Ｓ１２に移行した後も、Ｓ１３に移行する。

Ｓ１３では、可視光で撮像及び判定を行なう。すなわち、可視光により撮影できるように設定された小型カメラ１２で、車室Ｃ内を撮像して、その撮像した画像データにより、乗員Ｐの頭部Ｐ１やシートバック２Ａ，３Ａ、ヘッドレスト２Ｂ，３Ｂ等の判定を行なうのである。

このように、可視光により撮像及び判定を行なうことにより、ハレーションで近赤外線では画像認識できない場合であっても、乗員Ｐの着座状態等を判定することができる。

そしてその後、Ｓ１４に移行する。また、Ｓ１０でハレーションで認識できないことはないと判断（ＮＯ判断）した場合も、そのまま、Ｓ１４に移行する。

Ｓ１４では、バックルセンサ４，５，６の信号と着座したシート２，３及びヘッドレスト２Ｂ，３Ｂの高さが一致するかを判定する。すなわち、どのシート２，３に乗員Ｐが着座しているか、その乗員Ｐがシートベルト装置を装着しているか、さらには、ヘッドレスト２Ｂ，３Ｂの高さがその乗員Ｐに適切であるかを判定するのである。

そして、Ｓ１５では、全ての乗員Ｐの着座状態に対して、シートベルト装置の装着と、ヘッドレスト２Ｂ，３Ｂの高さが、全て一致するか否かを判定する。
全てが一致するといえないと判断（ＮＯ判断）した場合には、Ｓ１６に移行する。このＳ１６では、不一致シートに対してワーニングを行なう。
例えば、二列目左側シート２′の乗員Ｐがシートベルト装置を装着していない場合には、「二列目左側シートの方はシートベルトを装着して下さい」と、モニタ８Ａに、いわゆるシートベルトリマインダーの表示がなされると共に、スピーカ８Ｂで警報がなされる。
また、二列目左側シート２′の乗員Ｐのヘッドレスト２Ｂの位置が、頭部Ｐ１の位置に比較して低い場合には、「二列目左側シートの方はヘッドレストを上げて下さい」と、モニタ８Ａに表示がなされると共に、スピーカ８Ｂで警報がなされる。

このように警報を行なうことで、後部シート２，３に着座する乗員Ｐに対して、シートベルトの装着や、ヘッドレストの適正位置への操作を促すことができる。

一方、Ｓ１５で全てが一致すると判断（ＹＥＳ判断）した場合には、Ｓ２０の走行時サブルーチンへ移行する。この走行時サブルーチンについては、後述する。
そして、Ｓ２０の走行時サブルーチンが終了すると、今回の制御は終了して、次の制御に備えるため、リターンに移行する。

図４で、この走行時サブルーチンについて説明する。
まず、Ｓ２１では、各種センサからの信号を入力する。このときの信号は、前述のＳ１と同様の信号を入力する。なお、走行中であるとの判断を行なうために、車速信号を取り入れるようにしてもよい。

次に、Ｓ２２では、パワースイッチ９がＯＮか否かを判断する。このＳ２２は、車両走行後に、乗員がエンジン等を切って車両を降りるか否かを判断するために、設けている。

このため、Ｓ２２で、パワースイッチ９がＯＮでないと判断（ＮＯ判断）した場合には、エンドに移行してこのルーチンが終了する。一方、Ｓ２２で、パワースイッチ９がＯＮであると判断（ＹＥＳ判断）した場合、すなわち、エンジンを駆動している場合には、そのまま、Ｓ２３に移行する。

Ｓ２３では、近赤外線で撮像して判定を行なう。すなわち、前述したＳ３〜Ｓ５と同様に、近赤外線を近赤外線ランプ１３で照射して、小型カメラ１２で乗員等を撮像することで、ヘッドレスト２Ｂ，３Ｂの高さや乗員Ｐの頭部Ｐ１等を判定する。

このように、近赤外線で撮像することで、撮像していることを乗員に気付かれることなく、撮像を行なうことができる。

Ｓ２４では、ハレーションで画像認識ができないか否かを判断する。このステップでの画像認識ができない場合も、Ｓ１０の場合と同様、乗員Ｐの頭部Ｐ１の位置とハレーションの位置が重なってしまい、乗員Ｐの頭部Ｐ１位置が明確に判断できないような場合や、各ヘッドレスト２Ｂ，３Ｂの下縁端２２，３２の位置とハレーションの位置が重なってしまい、ヘッドレスト２Ｂ，３Ｂの下縁端２２，３２の位置が判断できないような場合である。

Ｓ２４で、ハレーションで画像認識ができないと判断（ＹＥＳ判断）した場合には、そのまま、以後のステップ（Ｓ２５〜Ｓ２８）を飛ばして、次の制御に移行する。すなわち、ハレーションにより認識できない場合は、そのまま判定処理を行なうことなく、次の制御に備えるのである。

これは、近赤外線で撮像できなかった場合には、Ｓ１３のように可視光で撮像することなく制御を終了することを意味する。

このように、可視光で撮像せずに制御を終了することで、運転者は、室内灯１４が急に点灯して車室Ｃ内が明るくなることもないため、安全に運転を継続することができる。

一方、Ｓ２４で、ハレーションで画像認識できないことはないと判断（ＮＯ判断）した場合には、Ｓ２５に移行する。このＳ２５では、バックルセンサ４，５，６の信号と着座したシート２，３及びヘッドレスト２Ｂ，３Ｂの高さが一致するかを判定する。すなわち、Ｓ１４と同様に、どのシート２，３に乗員Ｐが着座しているか、その乗員Ｐがシートベルト装置を装着しているか、さらには、ヘッドレスト２Ｂ，３Ｂの高さがその乗員Ｐにとって適切かを判定する。

そして、Ｓ２６では、全て一致するか否かを判断する。
ここで、全てが一致するといえないと判断（ＮＯ判断）した場合には、Ｓ２７に移行する。このＳ２７では、不一致シートに対してワーニングを行なう。このワーニングも、モニタ８Ａにシートベルトリマインダーの表示がなされると共に、スピーカ８Ｂで警報がなされる。
一方、全てが一致するといえると判断（ＹＥＳ判断）した場合には、そのまま制御を終了して、次の制御に移行する。すなわち、ワーニングを行なうことなく次の制御に備えるのである。

以上のような、走行時サブルーチンを、走行中に繰り返すことで、走行中に乗員Ｐがシートベルト装置を取り外した際には、即座にワーニングがなされ、シートベルトの装着が促される。このため、走行中における衝突安全性を高めることができる。

次に、室内灯ＣＰＵ１５が行なう室内灯１４の制御について、図５の室内灯の制御フローチャートで説明する。

まず、Ｓ３１でドア開放かを判断する。ここでドア開放であると判断（ＹＥＳ判断）した場合には、Ｓ３２に移行する。Ｓ３２では室内灯１４をＯＮにする。すなわち、ドアの開放操作に連動して、室内灯１４が点灯するようにしているのである。

一方、Ｓ３１でドア開放でないと判断（ＮＯ判断）した場合には、Ｓ３３に移行する。Ｓ３３では、ドア閉鎖直後で所定時間経過前か否かを判断する。

ここで、所定期間経過前と判断（ＹＥＳ判断）した場合には、Ｓ３２に移行して室内灯１４をＯＮにしておく。すなわち、ドア閉鎖後所定時間経過前には、室内灯１４をそのまま点灯させておく、いわゆる「残灯制御」を行なうのである。なお、ここでの所定時間とは、５秒〜１０秒前後である。

一方、Ｓ３３で、所定期間経過後と判断（ＮＯ判断）した場合には、Ｓ３４に移行する。Ｓ３４では、室内灯作動信号が入力されたか否かを判断する。この室内灯作動信号は、前述のＳ１２によってＥＣＵ７から出力される信号であり、この室内灯作動信号によって、室内灯１４を点灯させて可視光による撮像を行なうのである。

Ｓ３４で室内灯作動信号が入力されたと判断（ＹＥＳ判断）した場合には、Ｓ３２に移行する。そして、Ｓ３２で室内灯１４をＯＮにすることで、車室Ｃ内を可視光によって撮像できるようにする。

一方、Ｓ３４で室内灯作動信号が入力されていないと判断（ＮＯ判断）した場合には、Ｓ３５に移行する。Ｓ３５では、室内灯１４をＯＦＦにして、室内灯１４を消灯する。なお、このＳ３５によって、通常時ドアを閉鎖した状態では、ほとんどの場合が室内灯１４が消灯することになる。

そして、今回の制御でＳ３２やＳ３５を終了した後には、全てリターンに移行して、次の制御に備える。

このように、室内灯１４を制御することにより、本実施形態では、室内灯作動信号が入力された場合には、必ず室内灯１４が点灯するため、確実に可視光による撮像を行なうことができる。

次に、このように構成した本実施形態の作用効果について説明する。
この実施形態では、車室Ｃ内に設置されて、近赤外線により車室Ｃ内の状態を撮像する小型カメラ１２と、この小型カメラ１２により撮像された室内画像に基づいて車室Ｃ内の画像を認識する車室Ｃ内の状態認識装置であって、車両の停車状態であって走行直前状態を検出するシフトセンサ１０と、小型カメラ１２により撮像された室内画像による認識が阻害される状態を判定するドアスイッチ１１等と、ＥＣＵ７が、少なくとも走行直前中に画像認識処理を行なうと共に、走行直前中にドアスイッチ１１等で室内画像の認識が阻害される状態を判定した時に、画像認識処理を行なわないようにしている。

これにより、ＥＣＵ７によって、走行直前において画像認識処理を行いつつも、室内画像の認識が阻害される状態、例えば、車室Ｃ内への人の出入りがある場合や、後方車両のヘッドライト照射により、いわゆるハレーションが生じる場合等には、画像認識処理を抑制することになる。
このため、走行直前において画像認識処理を行いつつも、阻害される状態では画像認識処理を抑制することで、画像認識の誤判定を防止することができる。

よって、車室Ｃ内の状態認識装置において、車両停車中の走行開始前に、近赤外線を照射して、乗員Ｐの状態を検出するにあたり、できるだけ阻害要因の影響を抑えて、正確に乗員Ｐの状態を検出できる。

また、この実施形態では、ドアスイッチ１１で、ドア開放時を認識阻害状態と判定している。
このように、ドア開放時を阻害状態として判定することで、ドアを開放した際の人の出入りの影響や、夜間の車両のライト等の侵入等を防いで画像認識の誤判定を防ぐことができる。
よって、ドア開放時に、画像認識処理を抑制することで、より正確に乗員Ｐの状態を検出することができる。
なお、ドア以外にも、サンルーフ開放状態を、阻害状態として判定してもよい。

また、この実施形態では、小型カメラ１２の撮像方向が、撮像された画像上において、シートバック２Ａ，３Ａの上縁端２１，３１とヘッドレスト２Ｂ，３Ｂの下縁端２２，３２の基準特定部位がバックウィンドＢａの下縁Ｂａ１よりも下方に位置するように設定されている。
これにより、撮像した画像上において、シートバックの上縁端２１，３１とヘッドレストの下縁端２２，３２の基準特定部位が、バックウィンドＢａから侵入する後方車両Ｖ１のヘッドライトＲの光により、認識できなくなるのを防ぐことができ、画像認識処理が阻害されるのを防止することができる。
よって、後方に位置する他の車両Ｖ１の影響を受けにくい配置構造等にすることにより、画像認識処理の精度を高めることができる。

また、この実施形態では、車両Ｖが車室Ｃ後方に荷室空間を備えるワゴンタイプであり、バックドアＢの開放時を認識阻害状態と判定する共に、乗員Ｐの位置を認識することで、画像認識を行なうようにしている。
これにより、バックドアＢから荷室空間Ｔに出入りする人やバックドアＢ周辺に位置する人を、乗員Ｐと誤って認識するのを防止することができる。
よって、バックドアＢを備えるワゴンタイプにおいて、誤認識を防止して、正確に乗員Ｐの状態を検出することができる。なお、車両Ｖのタイプは、後部に荷室空間Ｔを備えるものであれば、バンタイプであってもよい。

また、この実施形態では、小型カメラ１２は、可視光により車室Ｃ内の状態を撮像する機能を有しており、ハレーションによる認識阻害状態を判定して、近赤外線による画像認識が不可能と判定された場合には、可視光による撮像に切り替えて、画像認識を行なうように制御している。
これにより、近赤外線での画像認識の際に、ハレーションが生じた場合には、可視光に切り替えて画像認識を行うことになる。
このため、ハレーションにより画像認識ができなくなった場合でも、可視光によって画像認識を行うことができる。
よって、画像認識を行なえる場面を多くすることができ、より長期間且つ確実に乗員の状態を検出することができる。

また、この実施形態では、室内灯１４を作動させる室内灯ＣＰＵ１５を備え、室内灯ＣＰＵ１５は、可視光での撮像が行われる際に、室内灯作動信号を受けて、室内灯１４を作動するように制御している。
これにより、可視光での撮像が行われる際には、室内灯１４によって可視光の撮像を行うことができる。
よって、夜間等で自然光による撮像が困難な場合であっても、可視光での撮像を行うことができる。

以上、この発明の構成と前述の実施形態との対応において、
この発明の撮像手段は、実施形態の小型カメラ１２に対応して、
以下、同様に、
画像認識手段は、ＥＣＵ７に対応し、
走行直前検出手段は、シフトセンサ１０に対応し、
阻害判定手段は、ドアスイッチ１１、ＥＣＵ７（Ｓ９）に対応し、
シートバック部材は、シートバック２Ａ，３Ａ、ヘッドレスト２Ｂ，３Ｂに対応するも、
この発明は、前述の実施形態に限定されるものではなく、あらゆる車室内の状態認識装置に適用する実施形態を含むものである。この実施形態では、シートベルト装置の状態認識装置で説明したが、エアバッグ装置の状態認識装置等で実施してもよい。

本発明を採用した実施形態の車室内の状態認識装置を制御ブロックも兼ねて示した全体模式図。 小型カメラで撮像した車室内の画像図。 車室内の状態認識装置の制御方法を示す制御のメインフローチャート。 走行時サブルーチンのフローチャート。 室内灯制御のフローチャート。

符号の説明

Ｖ…車両
Ｂ…バックドア
２…シート
３…シート
４…バックルセンサ
５…バックルセンサ
６…バックルセンサ
７…ＥＣＵ
８Ａ…モニタ
８Ｂ…スピーカ
９…パワースイッチ
１０…シフト
１１…ドアスイッチ
１２…小型カメラ

Claims (6)

1. 車室内に設置されて、赤外線により車室内の状態を撮像する撮像手段と、
   該撮像手段により撮像された室内画像に基づいて車室内の画像を認識する画像認識手段とを備えた車室内の状態認識装置であって、
   車両の停車状態であって走行直前状態を検出する走行直前検出手段と、
   前記撮像手段により撮像された室内画像による認識が阻害される状態を判定する阻害判定手段と、
   前記画像認識手段が、少なくとも走行直前中に画像認識処理を行なうと共に、走行直前中に前記阻害判定手段で室内画像の認識が阻害される状態を判定した時に、画像認識処理を抑制する
   車室内の状態認識装置。
2. 前記阻害判定手段は、車体の開口部を開閉する開閉体の開放時に、阻害状態と判定する
   請求項１記載の車室内の状態認識装置。
3. 前記画像認識手段は、座席のシートバック部材の形態を認識可能に構成して、
   前記撮像手段の撮像方向が、撮像された画像上においてシートバック部材の基準特定部位が後方のウィンド開口下端よりも下方に位置するように設定された
   請求項１記載の車室内の状態認識装置。
4. 車両が車室後方に荷室空間を備えるワゴンタイプ又はバンタイプであり、
   前記開閉体が前記荷室空間を開放するバックドアであると共に、
   前記画像認識手段が乗員の位置を認識するように設定した
   請求項２又は３記載の車室内の状態認識装置。
5. 前記撮像手段は、可視光により車室内の状態を撮像する機能を有し、
   前記阻害判定手段は、撮像手段でのハレーションによる認識阻害状態を判定するものであり、
   該阻害判定手段により赤外線による画像認識が不可能と判定された場合には、撮像手段による可視光による車室内状態の撮像に切り替えて、画像認識を行なうように制御する
   請求項４記載の車室内の状態認識装置。
6. 車室内の室内灯を作動させる室内灯作動手段を備え、
   該室内灯作動手段は、前記可視光での撮像が行われる際に室内灯を作動させる
   請求項５記載の車室内の状態認識装置。

Images