JP2014040198A - 車両用乗員検知装置及び車両用乗員検知方法 - Google Patents

Abstract

【課題】夜間や暗所でも車室内照明の影響を考慮して誤検出なく乗員の有無を検出する。
【解決手段】本発明の車両用乗員検知装置１は、車両信号に基づいて自車両の車両状態を判定する車両状態判定部２と、車室内カメラ２７によって自車両の車室内の画像を基準画像として撮像する基準画像撮像部３と、車室内カメラ２７によって自車両の車室内の画像を比較画像として撮像する比較画像撮像部４と、車室内照明３１及び赤外線投光器３２の点灯の有無を制御し、基準画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無と比較画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無を一致させる投光制御部５と、基準画像と比較画像とを比較して乗員の有無を判定する画像比較判定部６とを備える。
【選択図】図１

Description

本発明は、車室内カメラを用いて車室内の乗員を検知する車両用乗員検知装置及びその方法に関する。

従来、幼児などの車室内への閉じ込めを防止するために、ドアロックの操作時に車室内に人を閉じ込めたことを検知すると、閉じ込めの発生を報知して強制的にドアロックを禁止する技術があり、このような技術の一例として特許文献１が開示されている。特許文献１に開示された閉じ込め防止システムでは、車室内における乗員の有無を検知するために赤外線カメラによる温度情報を使用していた。

特開２００４−３４６７０８号公報

しかしながら、上述した従来の閉じ込め防止システムでは、カメラを用いて乗員の有無を判断しているが、夜間や暗所における車室内照明による影響を考慮していないために誤検出の可能性があるという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、夜間や暗所でも車室内照明の影響を考慮して誤検出なく乗員の有無を検出することのできる車両用乗員検知装置及び車両用乗員検知方法を提供することを目的とする。

本発明は、自車両の車室内の画像を撮像する撮像手段を用いて車室内の乗員を検知する車両用乗員検知装置であって、自車両の状態を示す車両信号に基づいて自車両の車両状態を判定し、この車両状態が所定の車両状態であると判定された場合に撮像手段によって自車両の車室内の画像を基準画像及び比較画像として撮像する。このとき基準画像の撮像時における投光手段の点灯の有無と比較画像の撮像時における投光手段の点灯の有無を一致させるように制御し、撮像された基準画像と比較画像とを比較して乗員の有無を判定することにより上述した課題を解決する。

本発明によれば、基準画像の撮像時における投光手段の点灯の有無と、比較画像の撮像時における投光手段の点灯の有無を一致させるので、夜間や暗所でも車室内照明の影響を考慮して誤検出なく乗員の有無を検出することができる。

図１は、本発明を適用した第１実施形態に係る車両用乗員検知装置の構成を示すブロック図である。 図２は、本発明を適用した第１実施形態に係る車両用乗員検知装置の車室内の配置を示す図である。 図３は、本発明を適用した第１実施形態に係る車両用乗員検知装置による乗員検知処理の処理手順を示すフローチャートである。 図４は、本発明を適用した第１実施形態に係る車両用乗員検知装置による車両状態判定処理の処理手順を示すフローチャートである。 図５は、本発明を適用した第１実施形態に係る車両用乗員検知装置による乗車時基準画像撮像処理の処理手順を示すフローチャートである。 図６は、本発明を適用した第１実施形態に係る車両用乗員検知装置による乗り込み判定処理の処理手順を示すフローチャートである。 図７は、本発明を適用した第１実施形態に係る車両用乗員検知装置による降車準備時基準画像撮像処理の処理手順を示すフローチャートである。 図８は、本発明を適用した第１実施形態に係る車両用乗員検知装置による置き去り判定処理の処理手順を示すフローチャートである。 図９は、本発明を適用した第２実施形態に係る車両用乗員検知装置の構成を示すブロック図である。 図１０は、本発明を適用した第２実施形態に係る車両用乗員検知装置の車室内の配置を示す図である。 図１１は、本発明を適用した第２実施形態に係る車両用乗員検知装置による乗員検知処理の処理手順を示すフローチャートである。 図１２は、本発明を適用した第２実施形態に係る車両用乗員検知装置による車両状態判定処理の処理手順を示すフローチャートである。 図１３は、本発明を適用した第２実施形態に係る車両用乗員検知装置による乗車時基準画像撮像処理の処理手順を示すフローチャートである。 図１４は、本発明を適用した第２実施形態に係る車両用乗員検知装置による乗り込み判定処理の処理手順を示すフローチャートである。 図１５は、本発明を適用した第２実施形態に係る車両用乗員検知装置による降車時基準画像撮像処理の処理手順を示すフローチャートである。 図１６は、本発明を適用した第２実施形態に係る車両用乗員検知装置による置き去り判定処理の処理手順を示すフローチャートである。

以下、本発明を適用した第１及び第２実施形態について図面を参照して説明する。

［第１実施形態］
［車両用乗員検知装置の構成］
図１は本実施形態に係る車両用乗員検知装置の構成を示すブロック図である。図１に示すように、本実施形態に係る車両用乗員検知装置１は、自車両の状態を示す車両信号に基づいて自車両の車両状態を判定する車両状態判定部２と、自車両の車室内の画像を基準画像として撮像する基準画像撮像部３と、自車両の車室内の画像を比較画像として撮像する比較画像撮像部４と、基準画像の撮像時における照明の点灯の有無と比較画像の撮像時における照明の点灯の有無とを一致させる投光制御部５と、基準画像と比較画像とを比較して乗員の有無を判定する画像比較判定部６とを備えている。

また、車両用乗員検知装置１の入力側には、車室内照明の点灯制御状態を出力する車室内照明スイッチ２１と、自車両のドアに設けられたロック部材が開錠されたときに開錠信号を出力する開錠検知センサ２２と、シフトレバーのポジションを出力するシフトポジションセンサ２３と、自車両の速度を示す車速信号を出力する車速センサ２４と、自車両のイグニッション状態を出力するイグニッションスイッチ２５と、自車両のドアに設けられたロック部材が施錠されると施錠信号を出力する施錠検知センサ２６と、自車両の車室内を撮像して画像を出力する車室内カメラ２７とが接続されている。

さらに、車両用乗員検知装置１の出力側には、車室内を照明する車室内照明３１と、車室内カメラ２７の撮像領域に赤外光を投光する赤外線投光器３２と、運転者に警報を報知するブザー３３とが接続されている。

ここで、本実施形態に係る車両用乗員検知装置１は、マイクロコンピュータを主要構成部品とするＥＣＵ(Erectronic Control Unit)に搭載されており、特定のプログラムを実行することにより、上述した各部２〜６として動作する。

車両状態判定部２は、車両信号である開錠信号、シフトポジション信号、車速信号、イグニッション信号、施錠信号に基づいて現在の自車両の車両状態を判定し、車両状態として走行中、乗車時、降車準備時、降車時、施錠時のいずれであるかを判定する。

基準画像撮像部３は、車両状態判定部２により自車両が所定状態、例えば乗車時、降車準備時、降車時であると判定された場合に、車室内カメラ２７によって自車両の車室内の画像を基準画像として撮像する。

比較画像撮像部４は、車両状態判定部２により自車両が所定状態、例えば走行中、施錠時であると判定された場合に、車室内カメラ２７によって自車両の車室内の画像を比較画像として撮像する。

投光制御部５は、自車両の車室内に投光する車室内照明３１及び赤外線投光器３２の点灯の有無を制御するものであり、基準画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無と、比較画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無とを一致させる。

画像比較判定部６は、基準画像と比較画像とを差分比較して、出力される差分値によって運転席に着座している乗員以外の乗員（以下、運転者以外の乗員ともいう）の有無を判定しており、特に車室内に運転者以外の乗員が乗車したか否かを判定する乗り込み判定処理と、自車両への乗員の置き去りを判定する置き去り判定処理とを行う。

車室内カメラ２７は、図２に示すように車室内の天井の前方に設置され、車室内全体を撮像して画像を出力する。

車室内照明３１は、図２に示すように車室内の天井各部に設置されて各座席を照明する。

赤外線投光器３２は、図２に示すように車室内の天井の前方に設置され、車室内カメラ２７の撮像領域に赤外線を投光する。

ブザー３３は、運転者に対して警報を報知するものであり、本実施形態では乗員の置き去りを検知した際に運転者に警報を発する。

［乗員検知処理の手順］
次に、本実施形態に係る車両用乗員検知装置１による乗員検知処理の手順を図３のフローチャートを参照して説明する。

図３に示すように、ステップＳ１０１において、まず処理を実行するために使用するタイマーやカウンタ、フラグを初期設定するために初期化の処理を実行する。

次に、ステップＳ１０２において、車両状態判定部２が車両信号を受信して現在の車両状態を判定するための車両状態判定処理を実行する。ここで判定される車両状態としては、走行中、乗車時、降車準備時、施錠時のいずれかである。具体的には、開錠信号によってロックの解除が検知されたタイミングから走行中と判断されるまでの期間を乗車時と判定する。また、開錠信号でロックが解除された後にシフトポジション信号がパーキング位置以外であり、車速信号が０ｋｍ／ｈでない場合に走行中と判定する。さらに、車速信号が０ｋｍ／ｈとなってシフトポジション信号がパーキング位置となった場合に降車準備時と判定し、施錠信号の検知に応じて施錠時と判定する。この車両状態判定処理の詳細については後述する。

そして、ステップＳ１０３において、車両状態判定部２が、ステップＳ１０２で判定した車両状態が乗車時であるか否かを判定し、車両状態が乗車時である場合にはステップＳ１０４へ進み、乗車時でない場合にはステップＳ１０５へ進む。

ステップＳ１０４へ進むと、基準画像撮像部３が、運転者以外の乗員の乗り込み判定に用いるための基準画像を撮像する乗車時基準画像撮像処理を行う。この乗車時基準画像撮像処理の詳細については後述する。乗車時基準画像撮像処理が終了すると、ステップＳ１０２へ戻る。

一方、ステップＳ１０５へ進むと、車両状態判定部２が、ステップＳ１０２で判定した車両状態が走行中であるか否かを判定し、車両状態が走行中である場合にはステップＳ１０６へ進み、走行中でない場合にはステップＳ１０７へ進む。

ステップＳ１０６へ進むと、画像比較判定部６が、基準画像と比較画像とを差分比較して、出力される差分値によって運転者以外の乗員が乗車したか否かを判定する乗り込み判定処理を実行する。この乗り込み判定処理の詳細については後述する。乗り込み判定処理が終了すると、ステップＳ１０２へ戻る。

一方、ステップＳ１０７へ進むと、車両状態判定部２が、ステップＳ１０２で判定した車両状態が降車準備時であるか否かを判定し、車両状態が降車準備時である場合にはステップＳ１０８へ進み、降車準備時でない場合にはステップＳ１０９へ進む。

ステップＳ１０８へ進むと、基準画像撮像部３が、運転者以外の乗員の置き去り判定に用いるための基準画像を撮像する降車準備時基準画像撮像処理を行う。この降車準備時基準画像撮像処理の詳細については後述する。降車準備時基準画像撮像処理が終了すると、ステップＳ１０２へ戻る。

一方、ステップＳ１０９へ進むと、車両状態判定部２が、ステップＳ１０２で判定した車両状態が施錠時であるか否かを判定し、車両状態が施錠時である場合にはステップＳ１１０へ進み、施錠時でない場合にはステップＳ１０２へ戻る。

そして、ステップＳ１１０へ進むと、画像比較判定部６が、基準画像と比較画像とを差分比較して、出力される差分値によって乗員の置き去りを判定する置き去り判定処理を実行する。この置き去り判定処理の詳細については後述する。

次に、ステップＳ１１１において、画像比較判定部６が乗員の有無を判定する。ここではステップＳ１０６において運転者以外の乗員が乗り込んでいると判定され、ステップＳ１１０において運転者以外の乗員が置き去りにされていると判定された場合に乗員ありと判定してステップＳ１１２へ進み、そうでない場合には本実施形態に係る乗員検知処理を終了する。

次に、ステップＳ１１２に進むと、運転者以外の乗員の置き去りを運転者に報知するために、画像比較判定部６が報知処理を実行する。この報知処理では、ブザー３３によって運転者に置き去りの警報を報知する。そして、報知処理が実行されると、本実施形態に係る乗員検知処理を終了する。

［車両状態判定処理の手順］
次に、上述した乗員検知処理のステップＳ１０２における車両状態判定処理の手順を図４のフローチャートを参照して説明する。

図４に示すように、まずステップＳ２０１において、車両状態判定部２は車両信号の取得処理を実行する。車両信号としては開錠信号、シフトポジション信号、車速信号、イグニッション信号、施錠信号である。

次に、ステップＳ２０２において、車両状態判定部２が、ステップＳ２０１で取得した車両信号に基づいて分岐処理を行う。まず開錠信号によってロックの解除が検知された後にシフトポジション信号がパーキング位置以外であって車速信号が０ｋｍ／ｈでない場合には走行中と判定してステップＳ２０３へ進む。そして、開錠信号でロックの解除が検知されたタイミングから走行中と判断されるまでの期間を乗車時と判定してステップＳ２０４へ進む。さらに、走行中の後に車速信号が０ｋｍ／ｈとなってシフトポジション信号がパーキング位置になった場合に降車準備時と判定してステップＳ２０５へ進む。そして、施錠信号の検知に基づいて施錠時と判定してステップＳ２０６へ進む。

次に、ステップＳ２０３〜２０６では、車両状態判定部２が、現在の車両状態をそれぞれ走行中、乗車時、降車準備時、施錠時であると保持して、本実施形態に係る車両状態判定処理を終了する。

［乗車時基準画像撮像処理の手順］
次に、上述した乗員検知処理のステップＳ１０４における乗車時基準画像撮像処理の手順を図５のフローチャートを参照して説明する。

図５に示すように、まずステップＳ３０１において、基準画像撮像部３が、車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を確認する。この点灯制御状態には、常時点灯のＯＮと、常時消灯のＯＦＦと、ドア開閉に連動させるＤＯＯＲの３状態がある。

そして、ステップＳ３０２において、基準画像撮像部３が、ステップＳ３０１で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲの場合にはステップＳ３０３へ進み、点灯制御状態がＯＦＦの場合にはステップＳ３０６へ進み、点灯制御状態がＯＮの場合には撮像不可能と判断して本実施形態に係る乗車時基準画像撮像処理を終了する。

まず、点灯制御状態がＤＯＯＲの場合にステップＳ３０３に進むと、投光制御部５が照明点灯遅延処理を実行する。点灯制御状態がＤＯＯＲの場合、開錠時には車室内照明３１が点灯する。そこで、ステップＳ３０３では、車室内照明３１の点灯を遅延させ、車室内照明３１が消灯している間に基準画像を撮像できるようにする。この照明点灯遅延処理が完了したら、次にステップＳ３０４へ進む。

ステップＳ３０４では、基準画像撮像部３が、乗車時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７で車室内を撮像する。このとき、投光制御部５は、車室内カメラ２７の撮像領域に対して赤外線投光器３２から赤外線を投光して照明する。こうして乗車時基準画像の撮像処理が完了したら、次にステップＳ３０５へ進む。

ステップＳ３０５では、投光制御部５が車室内照明３１を点灯させ、本実施形態に係る乗車時基準画像撮像処理を終了する。

一方、ステップＳ３０２において点灯制御状態がＯＦＦの場合にステップＳ３０６に進むと、基準画像撮像部３が乗車時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７で車室内を撮像する。このとき、投光制御部５は、車室内カメラ２７の撮像領域に対して赤外線投光器３２から赤外線を投光して照明する。こうして乗車時基準画像の撮像処理が完了すると、本実施形態に係る乗車時基準画像撮像処理を終了する。

［乗り込み判定処理の手順］
次に、上述した乗員検知処理のステップＳ１０６における乗り込み判定処理の手順を図６のフローチャートを参照して説明する。

図６に示すように、まずステップＳ４０１において、画像比較判定部６が、ステップＳ１０４で乗車時基準画像が撮像されているか否かを判定する。ここで、乗車時基準画像が撮像されていない場合には運転者以外の乗員の乗り込みを判定することは不可能であると判定してステップＳ４０２へ進み、乗り込みの判定結果を乗員の乗り込みなしと保持して本実施形態に係る乗り込み判定処理を終了する。

一方、ステップＳ４０１において乗車時基準画像が撮像されていると判定された場合には、ステップＳ４０３に進んで画像比較判定部６が、運転者以外の乗員の乗り込みの判定がすでに完了しているか否かを判定する。すでに乗り込みの判定結果が保持されている場合には、これ以上の処理は必要ないので、本実施形態に係る乗り込み判定処理を終了する。

一方、乗り込みの判定が完了していない場合には、ステップＳ４０４へ進んで車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を、画像比較判定部６が確認する。

そして、ステップＳ４０５において、画像比較判定部６が、ステップＳ４０４で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲまたはＯＦＦの場合にはステップＳ４０６へ進み、点灯制御状態がＯＮの場合には乗り込みの判定は不可能であると判断してステップＳ４０８へ進む。ステップＳ４０８では、画像比較判定部６が、乗り込みの判定結果として乗員の乗り込みなしと保持して本実施形態に係る乗り込み判定処理を終了する。

一方、ステップＳ４０５において点灯制御状態がＤＯＯＲまたはＯＦＦの場合には、ステップＳ４０６において、比較画像撮像部４が、比較画像の撮像処理を実行する。比較画像の撮像は、車室内カメラ２７で車室内を撮像する。このとき、点灯制御状態がＤＯＯＲまたはＯＦＦであり、車両状態が走行中であるので、車室内照明３１は消灯されている。したがって、投光制御部５は、車室内カメラ２７の撮像領域に対して赤外線投光器３２から赤外線を投光して照明する。これにより、基準画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無と、比較画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無とを一致させることができる。こうして比較画像の撮像処理が完了したら、次にステップＳ４０７へ進む。

ステップＳ４０７では、画像比較判定部６が画像比較処理を実行する。この画像比較処理は、ステップＳ１０４で取得した乗車時基準画像と、ステップＳ４０６で取得した比較画像とを比較し、運転者以外の乗員の有無を検知する。具体的には、基準画像と比較画像に対して差分比較を行い、出力される差分値から車室内物体の動きを判定する。出力される差分値が所定値以上である場合には運転者以外の乗員による乗り込みが行われたと判定し、乗り込みの判定結果を運転者以外の乗員ありとして保持する。一方、出力される差分値が所定値未満である場合には運転者以外の乗員による乗り込みなしと判定し、乗り込みの判定結果を運転者以外の乗員なしと保持して本実施形態に係る乗り込み判定処理を終了する。

［降車準備時基準画像撮像処理の手順］
次に、上述した乗員検知処理のステップＳ１０８における降車準備時基準画像撮像処理の手順を図７のフローチャートを参照して説明する。

図７に示すように、まずステップＳ５０１において、基準画像撮像部３が、車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を確認する。

そして、ステップＳ５０２において、ステップＳ５０１で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲの場合にはステップＳ５０３へ進み、点灯制御状態がＯＦＦの場合にはステップＳ５０６へ進み、点灯制御状態がＯＮの場合には撮像不可能と判断して本実施形態に係る降車準備時基準画像撮像処理を終了する。

まず、点灯制御状態がＤＯＯＲの場合にステップＳ５０３に進むと、投光制御部５が照明点灯遅延処理を実行する。点灯制御状態がＤＯＯＲの場合、降車準備時には車室内照明３１が点灯している場合がある。そこで、ステップＳ５０３では、車室内照明３１の点灯を遅延させ、車室内照明３１が消灯している間に基準画像を撮像できるようにする。この照明点灯遅延処理が完了したら、次にステップＳ５０４へ進む。

次に、ステップＳ５０４では、基準画像撮像部３が降車準備時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７で車室内を撮像する。このとき、投光制御部５は、車室内カメラ２７の撮像領域に対して赤外線投光器３２から赤外線を投光して照明する。こうして降車準備時基準画像の撮像処理が完了したら、次にステップＳ５０５へ進む。

ステップＳ５０５では、投光制御部５が車室内照明３１を点灯させ、本実施形態に係る降車準備時基準画像撮像処理を終了する。

一方、ステップＳ５０２において点灯制御状態がＯＦＦの場合にステップＳ５０６に進むと、基準画像撮像部３が降車準備時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７で車室内を撮像する。このとき、投光制御部５は、車室内カメラ２７の撮像領域に対して赤外線投光器３２から赤外線を投光して照明する。こうして降車準備時基準画像の撮像処理が完了すると、本実施形態に係る降車準備時基準画像撮像処理を終了する。

［置き去り判定処理の手順］
次に、上述した乗員検知処理のステップＳ１１０における置き去り判定処理の手順を図８のフローチャートを参照して説明する。

図８に示すように、まずステップＳ６０１において、画像比較判定部６が、ステップＳ１０８で降車準備時基準画像が撮像されているか否かを判定する。ここで、降車準備時基準画像が撮像されていない場合には運転者以外の乗員の置き去りを判定することは不可能であると判定してステップＳ６０２へ進み、置き去りの判定結果を乗員の置き去りなしと保持して本実施形態に係る置き去り判定処理を終了する。

一方、ステップＳ６０１において降車準備時基準画像が撮像されていると判定された場合には、ステップＳ６０３に進んで、車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を、画像比較判定部６が確認する。

そして、ステップＳ６０４において、画像比較判定部６が、ステップＳ６０３で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲまたはＯＦＦの場合にはステップＳ６０５へ進み、点灯制御状態がＯＮの場合には置き去りの判定は不可能であると判断してステップＳ６０２へ進む。

ステップＳ６０５へ進むと、比較画像撮像部４が、比較画像の撮像処理を実行する。比較画像の撮像は、車室内カメラ２７で車室内を撮像する。このとき、点灯制御状態がＤＯＯＲまたはＯＦＦであり、車両状態が施錠時であるので、車室内照明３１は消灯されている。したがって、投光制御部５は、車室内カメラ２７の撮像領域に対して赤外線投光器３２から赤外線を投光して照明する。これにより、基準画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無と、比較画像の撮像時における車室内照明３１及び赤外線投光器３２の点灯の有無とを一致させることができる。こうして比較画像の撮像処理が完了したら、次にステップＳ６０６へ進む。

ステップＳ６０６では、画像比較判定部６が画像比較処理を実行する。この画像比較処理は、ステップＳ１０８で取得した降車準備時基準画像と、ステップＳ６０５で取得した比較画像とを比較し、運転者以外の乗員の有無を検知する。具体的には、基準画像と比較画像に対して差分比較を行い、出力される差分値から車室内物体の動きを判定する。出力される差分値が所定値以上である場合には運転者以外の乗員の置き去りがあると判定し、置き去りの判定結果を運転者以外の乗員の置き去りありとして保持する。一方、出力される差分値が所定値未満である場合には運転者以外の乗員の置き去りなしと判定し、置き去りの判定結果を運転者以外の乗員の置き去りなしと保持して本実施形態に係る置き去り判定処理を終了する。

［第１実施形態の効果］
以上詳細に説明したように、本実施形態に係る車両用乗員検知装置１によれば、基準画像の撮像時における赤外線投光器３２及び車室内照明３１の点灯の有無と、比較画像の撮像時における赤外線投光器３２及び車室内照明３１の点灯の有無とを一致させるので、夜間や暗所でも車室内照明の影響を考慮して誤検出なく乗員の有無を検出することができる。

また、本実施形態に係る車両用乗員検知装置１によれば、基準画像と比較画像を撮像するときに車室内照明３１が点灯していない場合には赤外線投光器３２を点灯させるので、赤外線投光時に車室内照明による影響を避けることができ、これによって誤検出なく乗員の有無を検出することができる。

さらに、本実施形態に係る車両用乗員検知装置１によれば、車室内照明３１の点灯制御状態に応じて赤外線投光器３２及び車室内照明３１の点灯の有無を制御するので、車室内照明３１の点灯制御状態に応じた適切な投光制御を行うことができ、これによって誤検出なく乗員の有無を検出することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る車両用乗員検知装置について図面を参照して説明する。尚、第１実施形態と同一の構成要素には同一の番号を付して詳細な説明は省略する。

［車両用乗員検知装置の構成］
図９は本実施形態に係る車両用乗員検知装置の構成を示すブロック図である。図９に示すように、本実施形態に係る車両用乗員検知装置５１は、図１に示す赤外線投光器３２が取り除かれ、ディスプレイ５２が新たに設置されていることが第１実施形態と相違している。これにより、図１０に示すように、車室内には車室内カメラ２７と車室内照明３１だけが設置され、赤外線投光器３２は設置されていない。

このように赤外線投光器３２を取り除いた理由は、本実施形態に係る車両用乗員検知装置５１では、基準画像を撮像するときも比較画像を撮像するときも車室内照明３１を点灯させることで一致させたので、赤外線投光器３２が不要となったためである。

また、ディスプレイ５２は、車室内カメラ２７で撮像した画像を運転者に提示するものであり、カーナビゲーション装置のディスプレイを利用することができる。このように車室内カメラ２７で撮像した画像を運転者に提示することにより、乗員の置き去りを抑止することが可能となる。

［乗員検知処理の手順］
次に、本実施形態に係る車両用乗員検知装置５１による乗員検知処理の手順を図１１のフローチャートを参照して説明する。ただし、図３に示す第１実施形態の乗員検知処理と同一のステップについては詳細な説明は省略し、相違点のみについて説明する。

本実施形態では、ステップＳ７０２において判定される車両状態として、走行中、乗車時、降車時、施錠時のいずれであるかを判定している。上述した第１実施形態では降車準備時と判定していたが、本実施形態では降車時と判定することが相違している。具体的には、イグニッションスイッチがＯＦＦとなった場合に降車時と判定する。この車両状態判定処理の詳細については後述する。

また、この変更にともなって、ステップＳ７０７では車両状態が降車時であるか否かを判定している。

さらに、本実施形態では、ステップ７１２における報知処理において、ブザー３３によって警報を報知するのに加えて、ディスプレイ５２に車室内カメラ２７で撮像した画像を表示して運転者に乗員の置き去りを報知するようにしている。

［車両状態判定処理の手順］
次に、上述した乗員検知処理のステップＳ７０２における車両状態判定処理の手順を図１２のフローチャートを参照して説明する。

図１２に示すように、まずステップＳ８０１において、車両状態判定部２は、車両信号の取得処理を実行する。車両信号としては開錠信号、シフトポジション信号、車速信号、イグニッション信号、施錠信号である。

次に、ステップＳ８０２において、車両状態判定部２は、ステップＳ８０１で取得した車両信号に基づいて分岐処理を行う。まず開錠信号によってロックの解除が検知された後にシフトポジション信号がパーキング位置以外であって車速信号が０ｋｍ／ｈでない場合に走行中と判定してステップＳ８０３へ進む。そして、開錠信号でロックの解除が検知されたタイミングから走行中と判断されるまでの期間を乗車時と判定してステップＳ８０４へ進む。さらに、イグニッションスイッチがＯＦＦとなった場合に降車時と判定してステップＳ８０５へ進む。そして、施錠信号の検知に基づいて施錠時と判定してステップＳ８０６へ進む。

次に、ステップＳ８０３〜８０６では、車両状態判定部２が、現在の車両状態をそれぞれ走行中、乗車時、降車時、施錠時であると保持して、本実施形態に係る車両状態判定処理を終了する。

［乗車時基準画像撮像処理の手順］
次に、上述した乗員検知処理のステップＳ７０４における乗車時基準画像撮像処理の手順を図１３のフローチャートを参照して説明する。

図１３に示すように、ステップＳ９０１において、基準画像撮像部３が、車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を確認する。この点灯制御状態には、常時点灯のＯＮと、常時消灯のＯＦＦと、ドア開閉に連動させるＤＯＯＲの３状態がある。

そして、ステップＳ９０２において、基準画像撮像部３は、ステップＳ９０１で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲの場合にはステップＳ９０３へ進み、点灯制御状態がＯＮの場合にはステップＳ９０５へ進み、点灯制御状態がＯＦＦの場合には撮像不可能と判断して本実施形態に係る乗車時基準画像撮像処理を終了する。

まず、点灯制御状態がＤＯＯＲの場合にステップＳ９０３に進むと、基準画像撮像部３が撮像遅延処理を実行する。点灯制御状態がＤＯＯＲの場合、開錠時には車室内照明３１が点灯する。そこで、ステップＳ９０３では、車室内照明３１が完全に点灯するまで撮像を遅延させる。この撮像遅延処理が完了したら、次にステップＳ９０４へ進む。

ステップＳ９０４では、基準画像撮像部３が乗車時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７によって車室内を撮像するが、このときすでに車室内照明３１の点灯が完了しているので、車室内照明が点灯した状態で撮像することができる。こうして乗車時基準画像の撮像処理が完了したら、本実施形態に係る乗車時基準画像撮像処理を終了する。

一方、ステップＳ９０２において点灯制御状態がＯＮの場合にステップＳ９０５に進むと、基準画像撮像部３が乗車時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７によって車室内を撮像するが、点灯制御状態がＯＮの場合にはすでに車室内照明３１が点灯しているので、車室内照明が点灯した状態で撮像することができる。こうして乗車時基準画像の撮像処理が完了すると、本実施形態に係る乗車時基準画像撮像処理を終了する。

［乗り込み判定処理の手順］
次に、上述した乗員検知処理のステップＳ７０６における乗り込み判定処理の手順を図１４のフローチャートを参照して説明する。

図１４に示すように、まずステップＳ１００１において、画像比較判定部６が、ステップＳ７０４において乗車時基準画像が撮像されているか否かを判定する。ここで、乗車時基準画像が撮像されていない場合には運転者以外の乗員の乗り込みを判定することは不可能であると判定してステップＳ１００２へ進み、乗り込みの判定結果を乗員の乗り込みなしと保持して本実施形態に係る乗り込み判定処理を終了する。

一方、ステップＳ１００１において乗車時基準画像が撮像されていると判定された場合には、ステップＳ１００３に進んで画像比較判定部６が、運転者以外の乗員の乗り込みの判定がすでに完了しているか否かを判定する。すでに乗り込みの判定結果が保持されている場合には、これ以上の処理は必要ないので、本実施形態に係る乗り込み判定処理を終了する。

一方、乗り込みの判定が完了していない場合には、ステップＳ１００４へ進んで車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を、画像比較判定部６が確認する。

そして、ステップＳ１００５において、画像比較判定部６が、ステップＳ１００４で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲの場合にはステップＳ１００６へ進み、点灯制御状態がＯＮの場合にはステップＳ１００７へ進み、点灯制御状態がＯＦＦの場合には乗り込みの判定は不可能であると判断してステップＳ１００９へ進む。ステップＳ１００９では、画像比較判定部６が、乗り込みの判定結果として乗員の乗り込みなしと保持して本実施形態に係る乗り込み判定処理を終了する。

一方、ステップＳ１００５において点灯制御状態がＤＯＯＲの場合には、ステップＳ１００６において、投光制御部５は車室内照明３１の消灯遅延処理を実行する。点灯制御状態がＤＯＯＲの場合、車両状態が走行中となったタイミングで車室内照明３１が消灯する。そこで、投光制御部５は、比較画像の撮像が完了するまで車室内照明３１の消灯を遅延させ、車室内照明が点灯している間に比較画像を撮像できるようにする。この照明消灯遅延処理が完了したら、次にステップＳ１００７へ進む。

次に、ステップ１００７では、比較画像撮像部４が、比較画像の撮像処理を実行する。比較画像の撮像は、車室内カメラ２７で車室内を撮像するが、照明消灯遅延処理が完了している場合あるいは点灯制御状態がＯＮの場合には、車室内照明３１が点灯しているので、車室内照明３１が点灯した状態で撮像することができる。これにより、基準画像の撮像時における車室内照明３１の点灯の有無と、比較画像の撮像時における車室内照明３１の点灯の有無とを一致させることができる。こうして比較画像の撮像処理が完了したら、次にステップＳ１００８へ進む。

ステップＳ１００８では、画像比較判定部６が画像比較処理を実行する。この画像比較処理は、ステップＳ７０４で取得した乗車時基準画像と、ステップＳ１００７で取得した比較画像とを比較し、運転者以外の乗員の有無を検知する。具体的には、基準画像と比較画像に対して差分比較を行い、出力される差分値から車室内物体の動きを判定する。出力される差分値が所定値以上である場合には運転者以外の乗員による乗り込みが行われたと判定し、乗り込みの判定結果を運転者以外の乗員ありとして保持する。一方、出力される差分値が所定値未満である場合には運転者以外の乗員による乗り込みなしと判定し、乗り込みの判定結果を運転者以外の乗員なしと保持して本実施形態に係る乗り込み判定処理を終了する。

［降車時基準画像撮像処理の手順］
次に、上述した乗員検知処理のステップＳ７０８における降車時基準画像撮像処理の手順を図１５のフローチャートを参照して説明する。

図１５に示すように、ステップＳ１１０１において、基準画像撮像部３が、車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を確認する。

そして、ステップＳ１１０２において、基準画像撮像部３は、ステップＳ１１０１で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲの場合にはステップＳ１１０３へ進み、点灯制御状態がＯＮの場合にはステップＳ１１０５へ進み、点灯制御状態がＯＦＦの場合には撮像不可能と判断して本実施形態に係る降車時基準画像撮像処理を終了する。

まず、点灯制御状態がＤＯＯＲの場合にステップＳ１１０３に進むと、基準画像撮像部３が撮像遅延処理を実行する。点灯制御状態がＤＯＯＲの場合、降車時には車室内照明３１が点灯する。そこで、ステップＳ１１０３では、車室内照明３１が完全に点灯するまで撮像を遅延させる。この撮像遅延処理が完了したら、次にステップＳ１１０４へ進む。

ステップＳ１１０４では、基準画像撮像部３が降車時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７によって車室内を撮像するが、このときすでに車室内照明３１の点灯が完了しているので、車室内照明が点灯した状態で撮像することができる。こうして降車時基準画像の撮像処理が完了したら、本実施形態に係る降車時基準画像撮像処理を終了する。

一方、ステップＳ１１０２において点灯制御状態がＯＮの場合にステップＳ１１０５に進むと、基準画像撮像部３が降車時基準画像の撮像処理を実行する。基準画像の撮像は、車室内カメラ２７によって車室内を撮像するが、点灯制御状態がＯＮの場合すでに車室内照明３１が点灯しているので、車室内照明が点灯した状態で撮像することができる。こうして降車時基準画像の撮像処理が完了すると、本実施形態に係る降車時基準画像撮像処理を終了する。

［置き去り判定処理の手順］
次に、上述した乗員検知処理のステップＳ７１０における置き去り判定処理の手順を図１６のフローチャートを参照して説明する。

図１６に示すように、ステップＳ１２０１において、画像比較判定部６が、ステップＳ７０８において降車時基準画像が撮像されているか否かを判定する。ここで、降車時基準画像が撮像されていない場合には運転者以外の乗員の置き去りを判定することは不可能であると判定してステップＳ１２０２へ進み、置き去りの判定結果を乗員の置き去りなしと保持して本実施形態に係る置き去り判定処理を終了する。

一方、ステップＳ１２０１において降車時基準画像が撮像されていると判定された場合には、ステップＳ１２０３に進んで車室内照明スイッチ２１によって切り替えられる車室内照明３１の点灯制御状態を、画像比較判定部６が確認する。

そして、ステップＳ１２０４において、画像比較判定部６が、ステップＳ１２０３で取得した車室内照明３１の点灯制御状態に基づいて分岐処理を行う。この分岐処理では点灯制御状態がＤＯＯＲの場合にはステップＳ１２０５へ進み、点灯制御状態がＯＮの場合にはステップＳ１２０６へ進み、点灯制御状態がＯＦＦの場合には乗り込みの判定は不可能であると判断してステップＳ１２０２へ進む。

まず、ステップＳ１２０４において点灯制御状態がＤＯＯＲの場合には、ステップＳ１２０５において、投光制御部５は車室内照明３１の照明消灯遅延処理を実行する。点灯制御状態がＤＯＯＲの場合、車両状態が施錠時では車室内照明３１は消灯する。そこで、投光制御部５は、比較画像の撮像が完了するまで車室内照明３１の消灯を遅延させ、車室内照明が点灯している間に比較画像を撮像できるようにする。この照明消灯遅延処理が完了したら、次にステップＳ１２０６へ進む。

次に、ステップ１２０６では、比較画像撮像部４が、比較画像の撮像処理を実行する。比較画像の撮像は、車室内カメラ２７で車室内を撮像するが、照明消灯遅延処理が完了している場合あるいは点灯制御状態がＯＮの場合には、車室内照明３１が点灯しているので、車室内照明３１が点灯した状態で撮像することができる。これにより、基準画像の撮像時における車室内照明３１の点灯の有無と、比較画像の撮像時における車室内照明３１の点灯の有無とを一致させることができる。こうして比較画像の撮像処理が完了したら、次にステップＳ１２０７へ進む。

ステップＳ１２０７では、画像比較判定部６が画像比較処理を実行する。この画像比較処理は、ステップＳ７０８で取得した降車時基準画像と、ステップＳ１２０６で取得した比較画像とを比較し、運転者以外の乗員の有無を検知する。具体的には、基準画像と比較画像に対して差分比較を行い、出力される差分値から車室内物体の動きを判定する。出力される差分値が所定値以上である場合には運転者以外の乗員の置き去りがあると判定し、置き去りの判定結果を運転者以外の乗員の置き去りありとして保持する。一方、出力される差分値が所定値未満である場合には運転者以外の乗員の置き去りなしと判定し、置き去りの判定結果を運転者以外の乗員の置き去りなしと保持して本実施形態に係る置き去り判定処理を終了する。

［第２実施形態の効果］
以上詳細に説明したように、本実施形態に係る車両用乗員検知装置５１によれば、基準画像の撮像時における車室内照明３１の点灯の有無と、比較画像の撮像時における車室内照明３１の点灯の有無とを一致させるので、夜間や暗所でも車室内照明の影響を考慮して誤検出なく乗員の有無を検出することができる。

また、本実施形態に係る車両用乗員検知装置５１によれば、車室内照明３１の点灯が完了するまで基準画像の撮像を遅延させるので、車室内照明３１が点灯している状態で基準画像を撮像することができ、これによって誤検出なく乗員の有無を検出することができる。

さらに、本実施形態に係る車両用乗員検知装置５１によれば、比較画像の撮像が完了するまで車室内照明３１の消灯を遅延させるので、車室内照明３１が点灯している状態で比較画像を撮像することができ、これによって誤検出なく乗員の有無を検出することができる。

また、本実施形態に係る車両用乗員検知装置５１によれば、車室内照明３１の点灯制御状態がＯＦＦである場合に車室内照明３１の制御を行わないので、乗員が意図しない照明の点灯を避けることができ、これによって乗員の煩わしさを防止することができる。

さらに、本実施形態に係る車両用乗員検知装置５１によれば、車室内照明３１の点灯制御状態に応じて車室内照明３１の点灯の有無を制御するので、車室内照明３１の点灯制御状態に応じた適切な投光制御を行うことができ、これによって誤検出なく乗員の有無を検出することができる。

尚、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

また、上述した各実施形態で説明した車室内カメラは、特許請求の範囲に記載されている撮像手段に対応し、車室内照明及び赤外線投光器は投光手段に対応する。

１、５１ 車両用乗員検知装置
２ 車両状態判定部
３ 基準画像撮像部
４ 比較画像撮像部
５ 投光制御部
６ 画像比較判定部
２１ 車室内照明スイッチ
２２ 開錠検知センサ
２３ シフトポジションセンサ
２４ 車速センサ
２５ イグニッションスイッチ
２６ 施錠検知センサ
２７ 車室内カメラ
３１ 車室内照明
３２ 赤外線投光器
３３ ブザー
５２ ディスプレイ

Claims (7)

1. 自車両の車室内の画像を撮像する撮像手段を用いて車室内の乗員を検知する車両用乗員検知装置であって、
   自車両の状態を示す車両信号に基づいて自車両の車両状態を判定する車両状態判定部と、
   前記車両状態判定部により自車両が所定の車両状態であると判定された場合に、前記撮像手段によって自車両の車室内の画像を基準画像として撮像する基準画像撮像部と、
   前記車両状態判定部により自車両が所定の車両状態であると判定された場合に、前記撮像手段によって自車両の車室内の画像を比較画像として撮像する比較画像撮像部と、
   自車両の車室内に投光する投光手段の点灯の有無を制御し、前記基準画像の撮像時における前記投光手段の点灯の有無と前記比較画像の撮像時における前記投光手段の点灯の有無とを一致させる投光制御部と、
   前記基準画像と前記比較画像とを比較して乗員の有無を判定する画像比較判定部と
   を備えることを特徴とする車両用乗員検知装置。
2. 前記投光手段は、車室内に赤外光を投光する赤外線投光器と車室内を照明する車室内照明であり、
   前記投光制御部は、前記基準画像と前記比較画像を撮像するときに、前記車室内照明が点灯していない場合には前記赤外線投光器を点灯させることを特徴とする請求項１に記載の車両用乗員検知装置。
3. 前記基準画像撮像部は、前記投光手段の点灯が完了するまで前記基準画像の撮像を遅延させることを特徴とする請求項１に記載の車両用乗員検知装置。
4. 前記投光制御部は、前記比較画像の撮像が完了するまで前記投光手段の消灯を遅延させることを特徴とする請求項１または３に記載の車両用乗員検知装置。
5. 前記投光制御部は、車室内を照明する車室内照明の点灯制御状態がＯＦＦである場合に前記車室内照明の制御を行わないことを特徴とする請求項３または４に記載の車両用乗員検知装置。
6. 前記投光制御部は、車室内を照明する車室内照明の点灯制御状態に応じて前記投光手段の点灯の有無を制御することを特徴とする請求項１〜５のいずれか１項に記載の車両用乗員検知装置。
7. 自車両の車室内の画像を撮像する撮像手段を用いて車室内の乗員を検知する車両用乗員検知装置における車両用乗員検知方法であって、
   自車両の状態を示す車両信号に基づいて自車両の車両状態を判定し、
   自車両が所定の車両状態であると判定された場合に、前記撮像手段によって自車両の車室内の画像を基準画像として撮像し、
   自車両が所定の車両状態であると判定された場合に、前記撮像手段によって自車両の車室内の画像を比較画像として撮像し、
   自車両の車室内に投光する投光手段の点灯の有無を制御して、前記基準画像の撮像時における前記投光手段の点灯の有無と前記比較画像の撮像時における前記投光手段の点灯の有無とを一致させ、
   前記基準画像と前記比較画像とを比較して乗員の有無を判定する
   ことを特徴とする車両用乗員検知方法。

Images