JP2014223886A - 車室内監視装置 - Google Patents

Abstract

【課題】車室内の物体に対する注意喚起を適切なタイミング及び適切な頻度で行う。
【解決手段】車室内の撮像画像を取得する画像取得機能と、車両情報を取得する車両情報取得機能と、車室内に存在する物体を検出する物体検出機能と、取得した車両情報に基づいて、検出された車室内の物体に対する乗員の注意度を算出する注意度算出機能と、算出された注意度に基づいて、車室内の物体に対する注意喚起情報を乗員に出力する注意喚起機能と、を実行する制御装置１０を備える車室内監視装置１００を提供する。
【選択図】 図１

Description

本発明は、車室に設けられたカメラの撮像画像に基づいて、車室内を監視する車室内監視装置に関する。

この種の装置に関し、ドアロック操作時に、車室内に人員を放置していることをドライバに報知する装置が知られている（特許文献１）。

特開２００６−１５９９３９号公報

車室内に乗員が置き去られたことが判断される前にドライバに報知をする場合には、ドライバが注意を払っているのに注意がされる場合があるので、ドライバに煩わしさを与えるという不都合がある。

本発明が解決しようとする課題は、車両の後席に放置される可能性のある物体が存在する場合に、ドライバに煩わしさを感じさせることなく報知することである。

本発明は、車両から取得した車両情報に基づいて車室内の物体に対する乗員の注意度を算出し、その算出された注意度に応じて車室内の物体に対する注意喚起情報を乗員に出力することにより、上記課題を解決する。

本発明によれば、車室内の他の乗員や物品などの物体に対するドライバの注意度が低いときには車室内の物体に対する注意喚起を行い、ドライバの注意度が高いときには車室内の物体に対する注意喚起を禁止するので、ドライバの注意度に応じて注意喚起を行うことができる。この結果、ドライバに煩わしさを感じさせることなく、車室内に人員や物品を置き忘れることを防止することができる。

本実施形態に係る車室モニタリングシステム１のブロック構成図である。 本実施形態のカメラの設置例を示す図である。 後席の映像の一例を示す図である。 本実施形態に係る車室モニタリングシステム１の制御手順を説明するためのフローチャートである。 後席モニタの表示操作の履歴に基づいて第１注意喚起を実行するか否かを判断する処理例を示す第１フローチャート図である。 後席モニタの表示操作の履歴に基づいて第１注意喚起を実行するか否かを判断する処理例を示す第２フローチャート図である。 走行状態に基づいて第１注意喚起を実行するか否かを判断する処理例を示す第１フローチャート図である。 走行状態に基づいて第１注意喚起を実行するか否かを判断する処理例を示す第２フローチャート図である。 走行状態に基づいて第１注意喚起を実行するか否かを判断する処理例を示す第４フローチャート図である。 車両の乗員数に基づいて第１注意喚起を実行するか否かを判断する処理例を示すフローチャート図である。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車室内監視装置を、車室モニタリングシステム１に適用した場合を例にして説明する。

図１は、本実施形態に係る車室内監視装置１００を備える車室モニタリングシステム１のブロック構成を示す図である。車室内監視装置１００及びこれを含む車室モニタリングシステム１は、車両に搭載されている。車室モニタリングシステム１は、自車両の車室内の様子を監視する。車室内監視装置１００は、車室内の乗員や荷物が、置き忘れられないように乗員の注意を喚起する。

図１に示すように、車室モニタリングシステム１は、車室内監視装置１００と、車載装置２００とを有する。車載装置２００は、車両コントローラ５０と、各種機器６０と、ナビゲーション装置７０とを備える。車室内監視装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

本実施形態の各種機器６０は、シフトレバーの位置を検出し、出力するシフトレバー６１と、車両のドアの開閉を検出し、出力するドア装置６２と、車両の速度を検出して出力する車速センサ６３と、車両の施錠状態を検出して出力する施錠装置６４と、車載装置２００内の時間を計時する時計６５と、車両のシートベルトの使用状況を検出し出力するシートベルト装置６６と、ドライバの操作に応じてイグニッションのオンオフを検出し出力するイグニッションキー６７とを有する。これらの各種機器群６０は、車両コントローラ５０を介して又は直接に、検出された情報を車室内監視装置１００へ出力する。

ちなみに、シフトレバー６１により検出されたシフトポジション情報は、走行開始の判断処理又は走行終了の判断処理に用いられる。

ドア装置６２は、ドライバの乗車を判断し、各ドアの開閉フラグを基に、ドライバが乗車したかを判断する。判断結果は走行開始終了判断処理に用いられる。

施錠装置６４は、施錠装置６４への入力に基づいてドアロック、ドアロック解除信号を検出し、その検出結果を制御装置１０へ送出する。各施錠情報（解錠情報）は、ドア開閉操作の検出処理と、第２注意喚起の実行処理において利用される。
また、施錠装置６４は、ドアの開閉操作の検出を行い、キー操作部から得られる乗員のキー操作信号検出後、ドア装置６２から得られる、各ドアの開閉信号に基づいて、各ドアが開閉されたかを判断する。判断結果はドライバの乗車判断処理、ドライバの降車準備判断処理（第１降車状態）、降車完了判断処理（第２降車状態）に用いられる。

車両コントローラ５０は、エンジン作動状態を示す信号を検出し、エンジンECUから得られる信号を基に、エンジンが作動中か否かを判断する。判断結果は走行開始終了の判断処理に用いられる。

本実施形態のナビゲーション装置７０は、位置検出装置７１と、地図情報７２とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。ナビゲーション装置７０は、地図情報７２に記憶された道路属性や地点属性にアクセスし、走行中の道路の道路属性や、現在位置のＰＯＩの属性を求めて、ドライバに提示する。また、本実施形態のナビゲーション装置７０は、外部との通信が可能であり、走行中の道路の道路属性や、現在位置のＰＯＩの属性を取得し、乗員に提供する情報提供機能７３を備える。

また、同図に示すように、本実施形態の車室内監視装置１００は、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える。

本実施形態のカメラ２０は、ＣＣＤ等の撮像素子を用いたカメラであり、車室内の後席を撮像する。図２は、カメラ２０の設置例を示す図である。図２（Ａ）は車両Ｖを上方から見た場合のカメラ２０の設置位置を示し、図２（Ｂ）は車両Ｖを側方から見た場合のカメラ２０の設置位置を示す。カメラ２０の数や配置場所は特に限定されず、本実施形態では、図２に示すように、車両Ｖの車室内天井付近に広角のカメラ２０を一つ設置する。

図３は、カメラ２０により撮像された後席映像の一例を示す。図３に示すように、カメラ２０は、撮像領域Ｐの中に、カメラ２０は前席の運転席ＳＴＦＲと助手席ＳＴＦＬ、及び後席の右側座席ＳＴＲＲと左側座席ＳＴＲＬの像が含まれるように撮像する。この映像には、後席の左側座席ＳＴＲＬに着座する乗員(子供)ＰＳ１の像が含まれる。

本実施形態の表示装置としてのディスプレイ３０は、車両のドライバが視認可能なダッシュボード周囲に設置され、車室内の後席の撮像画像やナビゲーション装置７０の案内情報などを提示する。

続いて、本実施形態の制御装置１０について説明する。本実施形態の車室内監視装置１００の制御装置１０は、カメラ２０の撮像画像に基づいて後席上の物体を検出し、その物体を監視して、乗員が物体を車室内に置き忘れそうな場合には、乗員の注意を喚起するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、車室内監視装置１００と車室モニタリングシステム１として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

本実施形態に係る車室内監視装置１００の制御装置１０は、画像取得機能と、車両情報取得機能と、物体検出機能と、注意度算出機能と、注意喚起機能と、を有する。さらに、本実施形態の制御装置１０は、実施態様に応じて、降車状態判断機能と、表示制御機能と、乗員数判断機能とをさらに有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

以下、本実施形態に係る車室内監視装置１００の各機能について説明する。

まず、本実施形態の制御装置１０の画像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両の車室内の撮像画像を取得する。取得した撮像画像は、後席の乗員の検出処理に利用されるとともに、後席の映像として表示装置としてのディスプレイ３０に提示される画像として利用される。

本実施形態の制御装置１０の車両情報取得機能について説明する。制御装置１０は、車両において、車両コントローラ５０、各種機器６０、ナビゲーション装置７０により検出された車両情報を取得する。車両情報は車両コントローラ５０、各種機器６０、ナビゲーション装置７０から直接に取得してもよいし、各種機器から車両コントローラ５０を介して取得してもよい。各種機器６０から得られる車両情報としては、シフトレバー６１から取得するシフトレバー情報、ドア装置６２から取得するドア開閉情報、車速センサ６３から取得する自車両の車速、施錠装置６４から取得する施錠情報、時計６５から取得する時刻情報、シートベルト装置６６から取得するシートベルトの装着情報などを例示することができる。

本実施形態の制御装置１０の物体検出機能について説明する。制御装置１０は、カメラ２０により撮像された撮像画像について差分比較を行い、画像の差分値より車室内に存在する物体を検出する。制御装置１０は、異なる時刻で取得された撮像画像の差分に所定の特徴が抽出された場合には、特徴が抽出された場所に物体が存在すると判断する。

また、本実施形態の制御装置１０は、撮像画像に基づいて車室内に存在する乗員の数を検出する。各シート（座席）において検出された乗員を合計する。この乗員の数は、注意度算出処理に用いられる。乗員は座席エリアごとに検出されるので、ドライバ席に乗員が居るか否か、助手席に乗員が居るか否か、左右の後部座席に乗員が居るか否かを判断することもできる。

本実施形態の制御装置１０の注意度算出機能について説明する。制御装置１０は、取得した車両情報に基づいて、検出された車室内の物体に対する乗員の注意度を算出する。

本実施形態の制御装置１０は、以下の３つの手法により注意度を算出する。

第１の手法として、制御装置１０は、表示制御機能を介して取得した後席画像を表示させるためのディスプレイ３０の操作履歴（後方確認メニューの利用履歴）に基づいて、車室内の物体に対する乗員の注意度を算出する。ドライバ(乗員)が後席を確認するためにディスプレイ３０の表示を切り替えることは、ドライバ（乗員）が後席の乗員に対して注意を払っていることに起因する行動である。このため、後席を確認する行動としてのディスプレイ３０の操作履歴は、ドライバ(乗員)が後席に確認した履歴として位置づけることができる。つまり、後席を確認するためのディスプレイ３０の操作回数が多いほど、操作頻度が高いほど、ドライバ(乗員)の注意度は高いと定義することができる。なお、後席の画像を表示させるためにディスプレイ３０を利用したか否かは、後席画像を表示させるための画面切り替えスイッチのオン入力情報などに基づいて判断する。

具体的に、本実施形態の制御装置１０は、後席の画像を表示させるためにディスプレイ３０の利用頻度が高いほど、車室内の物体に対する乗員の注意度を高い値として算出する。
また、制御装置１０は、表示制御機能が取得した車室内の後席の撮像画像を表示するためにディスプレイ３０を利用してから所定時間以内にイグニッションのオフ操作がされた場合には、注意度を所定値以上の値として算出する。つまり、後席を確認してから短時間内に降車準備をする場合には乗員の注意度は高いと判断する。
さらに、制御装置１０は、イグニッションのオフ操作がされた時刻の前の所定時間以内に、車室内の後席の撮像画像を表示するためにディスプレイ３０を利用した履歴がある場合には、注意度を所定値以上の値として算出する。つまり、降車準備前の所定時間以内に後席を確認した場合には乗員の注意度は高いと判断する。

第２の手法として、制御装置１０は、車両の走行状態に基づいて、車室内の物体に対する乗員の注意度を算出する。

本実施形態では、走行状態判断機能が、取得された車両情報に基づいて車両の走行状態を判断する。ここで走行状態判断機能について説明する。本実施形態の走行状態判断機能は、車両コントローラ５０から取得可能な車速、車輪回転数、走行距離などの車両情報に基づいて、車両の一走行あたりの平均移動距離を走行状態として求める。制御装置１０は、車速センサ６３から得られる車速に基づいて走行中か否かを判断し、走行開始と走行終了のタイミングを検出し、一走行を判断する。
また、本実施形態の走行状態判断機能は、車両情報に基づいて、車両の走行道路の属性を走行状態として求める。本実施形態の走行状態判断機能はナビゲーション装置７０から、現在位置が含まれる地点の属性を走行状態として取得する。

本実施形態の制御装置１０は、イグニッションのオン操作の時刻からイグニッションキー６７のオフ操作の時刻までの時間が所定時間未満である場合には、注意度を所定値以上の値として算出する。一走行の時間が短い場合には注意度は低下しておらず、高い水準であると考えられるからである。
また、本実施形態の制御装置１０は、走行開始からの移動距離が所定値未満である場合には、注意度を所定値以上の値として算出する。一走行の移動距離が短い場合には、注意度は低下していないと考えられるため、相対的に高い注意度の値を算出する。

本実施形態の制御装置１０はイグニッションのオフ操作時の現在位置が所定の属性である場合には、注意度を所定値以上の値として算出する。本処理における所定の属性は、例えばガソリンスタンド、給電所、信号などのイグニッションオフ操作をするが、乗員が実際には降車しない場所である。

第３の手法として、制御装置１０は、車両の乗員数に基づいて、車室内の物体に対する乗員の注意度を算出する。本実施形態では、乗員数判断機能が車両の乗員数を検出する。乗員数判断機能は、先述した物体検出機能により検出された車室内の物体の数に基づいて、車両の乗員数を検出する。
本実施形態の制御装置１０は、車両の助手席の乗員が検出された場合には、注意度を所定値以上の値として算出する。乗員数判断機能は、車室内において検出された物体の位置が運転席、助手席、又は後席であるかを判断し、助手席に乗員が存在するか否かを判断する。

次に、本実施形態の降車状態判断機能について説明する。制御装置１０は、車両情報に基づいて、乗員の降車準備が完了した第１降車状態と、乗員が降車を完了した第２降車状態とを識別し、各降車状態を判断する。制御装置１０は、物体検出機能、乗員数判断機能の判断結果、走行状態判断機能の判断結果、車両コントローラ５０から取得したエンジンの動作情報、シフトレバー６１から取得したシフトポジション情報、シートベルト装置６６から取得したシートベルト装着情報、ドア装置６２から取得したドア開閉情報に基づいて、乗員が車両に乗り込み走行を開始したか、乗員が走行を終了したか、降車準備が完了したか、乗員が降車を完了したか、を判断し、出力する。

最後に、本実施形態の注意喚起機能について説明する。制御装置１０は、算出された注意度に基づいて、車室内の物体に対する注意喚起情報を乗員に出力する。
本実施形態の制御装置１０は、乗員の降車準備が完了した第１降車状態（降車は完了していない）を判断した場合には、第１注意喚起を実行する。他方、乗員が降車を完了した第２降車状態を判断した場合には、第１注意喚起とは異なる第２注意喚起を実行する。つまり、乗員が車外に出て、ドアを閉扉して降車が完了する前の、降車準備が完了したタイミング（第１降車状態）で注意喚起を行う。すなわち、本実施形態の制御装置１０は、注意喚起を二度以上行う。

本実施形態の制御装置１０は、第１降車状態が検出された場合には、第１注意喚起の実行フラグを出力する。また制御装置１０は、第２降車状態が検出された場合には、第２注意喚起実行フラグを出力する。

本実施形態の制御装置１０は、注意度に応じて乗員の降車準備が完了した第１注意喚起の実行を制御する。具体的に、制御装置１０は、注意度が所定値以上である場合には乗員の降車準備が完了した第１注意喚起の実行を禁止する。本実施形態では、降車が完了する前に行われる注意喚起を、乗員の注意度に応じて行う。これにより、乗員が降車を完了する前に、置き忘れてしまう可能性のある人員や荷物について乗員に知らせることができ、しかも、注意度が低いと判断されたときにのみ注意喚起を行うので、乗員が注意しているのにさらに注意を行うということがない。

続いて、本実施形態の車室モニタリングシステム１の監視制御手順を、図４のフローチャートに基づいて説明する。図４には、車室内の乗員が置き去られた場合に注意喚起を実行する処理を示す。なお、図４に示す処理内容は、所定周期で連続的に行われる。

図４に示すように、ステップＳ１において、制御装置１０は、撮像画像と車両情報とを取得する。制御装置１０は、車両コントローラ５０から各種機器６０に属するセンサ及び装置から必要な車両情報を取得する。本例では、制御装置１０は、施錠装置６４からキー操作フラグfKEY_jdgを、ドア装置６２からドアスイッチフラグfDOOR_jdg_i（i=1〜4）を、車両コントローラ５０からエンジンECUからのエンジン作動フラグfECM_STUTASを、シフトレバー６１からシフト位置信号fAT_SHIFTを、シートベルト装置６６からシートベルトON/OFFフラグfSEATBELTを、車速センサ６３からの各輪の車輪速Ｖｗｉ（ｉ＝１〜４）を取得する。

ここで、エンジンECUからのエンジン作動フラグfECM_STUTASは、エンジン作動時においてfECM_STUTAS=1とし、エンジン停止時においてfECM_STUTAS=0とする。車両がEV車両及びハイブリッド車両である場合には、車両コントローラ５０から取得した中央制御装置から取得したEVMODEがONとなっているか否かにより、車両が起動中であるか停止中であるかを判断する。また、シートベルトON/OFFフラグfSEATBELTは、シートベルト装着時（ＯＮ）の場合はfSEATBELT=1とし、シートベルト非装着時（ＯＦＦ）の場合は、fSEATBELT=0とする。

続くステップＳ２において、制御装置１０は、乗員によるキーロック解除操作を検出する。降車状態の判断を行うためである。例えば、リモコンキーを利用して乗員が施錠装置６４のキーロックを解除した場合は、キー操作フラグfKEY_jdgをfKEY_jdg =１とし、キーロックを行った場合は、キー操作フラグfKEY_jdgをfKEY_jdg=２とする。なお、本例ではリモコンキーを利用した判断を行ったが、キーシリンダで直接キーロック、キーロック解除した場合や、その他キーロック解除に関わる操作を行った場合は、それぞれのフラグを同様にセットする。そして、車両への操作が所定時間検出されない状態で、施錠装置６４のキーロックが解除された場合には、注意喚起を実行する対象の検出開始フラグfdetect_start をセットする。

ステップＳ３において、制御装置１０は、乗車時のドア開閉信号を検出する。ステップＳ２において、fdetect_startがセットされている場合に、フロント右ドアを開けた場合は、fDOOR_jdg_1=1がセットされ、フロント右ドアを閉じた場合は、fDOOR_jdg_1=0をセットする。他のドアについても、同様に以下のように各フラグをセットする。フロント左ドアを開けた場合は、fDOOR_jdg_2=1をセットし、閉じた場合は、fDOOR_jdg_2=0をセットする。リア右ドアを開けた場合は、fDOOR_jdg_3=1がセットし、閉じた場合は、fDOOR_jdg_3=0をセットする。リア左ドアを開けた場合は、fDOOR_jdg_4=1をセットし、閉じた場合は、fDOOR_jdg_4=0をセットする。

ステップＳ４において、制御装置１０は、乗員が乗車を完了したか否かを判断する。ステップＳ２において、fdetect_startがセットされている場合に、ステップＳ３から得られるドア開閉フラグを基に、フロント右ドアの閉扉fDOOR_jdg_1=1がセットされ、その後フロント右ドア開扉fDOOR_jdg_1=0が検出された場合に、乗員の乗車が完了したと判断し、乗車完了フラグfRIDE_ONをfRIDE_ON =1とセットする。ここでは、右ハンドル車を想定し、ドライバが着座するフロント右ドア開閉フラグに注目したが、左ハンドル車の場合は、フロント左ドア開閉フラグに応じて、乗車完了フラグをセットする。

ステップＳ５において、制御装置１０は、走行開始判断を行う。ステップＳ２において、fdetect_startがセットされている場合に、ステップＳ１で検出された、エンジンECUからのエンジン作動フラグfECM_STUTAS、シフト位置４からのシフトレバー６１のシフト位置信号fAT_SHIFT、シートベルト装置６６からのシートベルトON/OFFフラグfSEATBELT、車速センサ６３からの各輪の車輪速Ｖｗｉ（ｉ＝１〜４）を基に以下のように判断する。

具体的には、ステップＳ４でセットされた乗車完了フラグfRIDE_ONがfRIDE_ON =1の時に、エンジンが作動していることを示すエンジン作動フラグfECM_STUTASがfECM_STUTAS=１、シフト位置信号fAT_SHIFTがＤレンジ、シートベルトON/OFFフラグfSEATBELT=１の場合に、車輪速センサから得られる自車速Vが所定値以上である状態が、所定値時間継続した場合に、走行開始フラグfDRIVE_START をfDRIVE_START=１とする。

ここで、所定値は、適宜に設定することができる。本例では10Km/hとし、所定時間とは、例えば5分とする。自車速Ｖの算出は、実施の形態では、通常走行時には、例えば後輪駆動の車両の場合は、下記（１）式により前輪の車輪速Ｖｗ_１，Ｖｗ_２の平均値として自車速Ｖを算出する。
Ｖ＝（Ｖｗ_１＋Ｖｗ_２）／２ ・・・（１）
なお、ＡＢＳ制御などの車速を用いたシステムが作動している場合には、そのようなシステムで使用している自車速（推定車速）を用いる。

続くステップS５１において、制御装置１０は、後席を撮像するカメラ２０の撮像画像を画像処理し、後席に物体乃至乗員がいるか否かを判断する。この物体乃至乗員の検出は、エッジ検出処理、差分処理などの出願時に知られた手法を用いることができる。この処理は、ステップＳ５からＳ６へ進む間に並行して行うことができる。

ステップＳ６において、制御装置１０は、走行終了判断を行う。ステップＳ２において、fdetect_startがセットされていて、さらにステップS５で検出された、走行開始フラグfDRIVE_START がfDRIVE_START=１の時に、ステップＳ１で検出された、エンジンECUからのエンジン作動フラグfECM_STUTAS、シフトレバー６１からのシフト位置信号fAT_SHIFT、シートベルト装置６６からのシートベルトON/OFFフラグfSEATBELT、車速センサ６３からの各輪の車輪速Ｖｗｉ（ｉ＝１〜４）を基に以下のように判断する。

具体的に、制御装置１０は、エンジン作動フラグfECM_STUTASがfECM_STUTAS=０、シフト位置信号fAT_SHIFTがＰレンジ、シートベルトON/OFFフラグfSEATBELTがfSEATBELT=０、自車速Ｖが０となった場合に、走行を終了したと判断し、走行終了判断フラグfDRIVE_END をfDRIVE_END=１とする。

なお、本例では全ての条件が成立した場合に走行終了判断フラグをセットしたが、ドライバによって操作が異なることが想定される。具体的には、エンジンは降車完了後最後にＯＦＦする場合が想定されるため、自車速Ｖが０、シフト位置信号fAT_SHIFTがＰレンジ、シートベルトON/OFFフラグfSEATBELTがfSEATBELT=０となった場合に、走行を終了したと判断しても良い。

ステップＳ６１において、制御装置１０は、ドライバの降車準備が完了したか否かを判断する。制御装置１０はステップＳ６の走行終了判断がされたと判断された場合に、ドライバの降車準備が完了したと判断する。

ステップＳ６２において、制御装置１０は、検出された車室内の物体に対する乗員の注意度を算出し、その算出された注意度に基づいて、車室内の物体に対する第１注意喚起を実行するか否かを判断する。この注意度の算出及び注意喚起の実行を制御する手法については後述する。ステップＳ６１，６２の処理は、ステップＳ５からＳ６へ進む間に並行して行うことができる。

ステップＳ６３において、制御装置１０は、ステップＳ６２の判断に応じて、第１注意喚起を実行する。第１注意喚起の処理は、乗員の注意が喚起できるものであれば特に限定されないが、例えば、ブザーを鳴らしたり、音声メッセージを出力したり、ハザードランプを点灯したり、乗員の携帯にメールや電話をしたり、携帯に着信出力をさせる手法を採用することができる。

ステップＳ７において、制御装置１０は、降車時ドア開閉判断を行う。例えば、走行終了判断フラグfDRIVE_END がfDRIVE_END=１の場合に、ステップＳ３で検出された、各ドアの開閉フラグを基に、降車時ドア開閉判断を行う。具体的には、降車時にどのドアが開閉されたかを検出することにより判断する。

ステップＳ８において、制御装置１０は、乗員の降車完了判断を行う。本例では、ステップＳ７で検出された、各ドアの開閉フラグが全て０、つまり全てのドアが閉じられたと判断した場合に、降車完了と判断し、降車完了判断フラグfRIDE_OUTをfRIDE_OUT=１とする。

ステップＳ９において、制御装置１０は、乗員によるキーロック判断を行う。本例では、走行終了判断フラグfDRIVE_END がfDRIVE_END=１、ステップＳ８で検出された、降車完了判断フラグfRIDE_OUTがfRIDE_OUT=１の場合に、ステップＳ２でキー操作フラグfKEY_jdgを検出し、キー操作フラグfKEY_jdgがfKEY_jdg=２であると判断したときに、キーロックされたと判断する。キーロック後、所定時間経過後に、全てのフラグをクリアする。ここで、キーロック操作は、ドライバの操作に限らず、ロック操作が行われたか否かのみを検出する。

ステップＳ１０において、制御装置１０は、検出された車室内の物体に対する乗員の注意度を算出し、その算出された注意度に基づいて、車室内の物体に対する第２注意喚起を実行するか否かを判断する。この判断においては、ドアの開閉情報のみを利用してもよい。

ステップＳ１１において、制御装置１０は、ステップＳ１０の判断に応じて、第２注意喚起を実行する。例えば、後席を撮像するカメラ２０により後席乗員が検出されているときにキーロック操作を行った場合には、第２注意喚起を実行する。第２注意喚起の処理は、乗員の注意が喚起できるものであれば特に限定されないが、例えば、ブザーを鳴らしたり、音声メッセージを出力したり、ハザードランプを点灯したり、乗員の携帯にメールや電話をしたりする手法を採用することができる。

以上が基本的な制御手順である。以下には、上記一連の乗員の操作状態において、降車した乗員以外が車内に存在しつづけている可能性、つまり、降車した乗員が他の乗員を置忘れる可能性を考慮して、降車する乗員に対して注意を喚起する手法を説明する。

先述したように、本実施形態では、ドライバの注意度を算出し、注意喚起の実行を制御する手法として３つの手法を提案する。第１は、後席を確認する画像をディスプレイ２０に表示させる処理の操作履歴（利用履歴）に基づいてドライバの注意を算出する手法である。第２は、走行状態に基づいてドライバの注意度を算出する手法である。第３は、車両に搭乗する乗員数に基づいてドライバの注意度を算出する手法である。以下、第１の手法による制御手順を図５Ａ、図５Ｂに基づいて説明し、第２の手法による制御手順を図６Ａ〜６Ｃに基づいて説明し、第３の手法による制御手順を図７に基づいて説明する。

まず、第１の注意度の算出手法及び注意喚起の実行処理について、図５Ａ及び図５Ｂに基づいて説明する。本実施形態の制御装置１０は、車室内の後席の撮像画像を表示するディスプレイ２０を制御する表示制御機能を備えており、この表示制御機能の利用履歴に基づいて、前記車室内の物体に対する乗員の注意度を算出し、算出された注意度に応じて第１注意喚起の実行を制御する。

図５Ａは、後席モニタ（ディスプレイ２０）の利用履歴に基づいて第１注意喚起の動作制御の手順を示すフローチャートである。図５ＡのステップＳ１０１では、制御装置１０は、図４のステップＳ２において、fdetect_startがセットされている状態で、後席の撮像画像を表示させるための操作がされたか否かを検出する。そして、ステップＳ１０１において後席の撮像画像を表示させるための操作がされなかった場合には、ステップＳ１０３へ進んで、第１注意喚起の動作実行フラグをセットする。他方、ステップＳ１０１において後席の撮像画像を表示させるための操作がされた場合には、ステップＳ１０２へ進んで、第１注意喚起の動作実行禁止フラグをセットする。なお、本例では、後席の撮像画像の表示操作が一度も行われなかった場合に、第１注意喚起を実行する構成となっているが、操作回数（利用回数）をカウントし、所定回数以上の操作履歴（利用履歴）がなかった場合に、第１注意喚起を実行させるように構成してもよい。

このように後席を確認する画像をディスプレイ２０に表示させる操作履歴（操作の有無、操作回数、操作頻度）に基づいて後席に対するドライバの注意度が評価できるので、その注意度に応じて第１注意喚起の実行を制御することにより、ドライバの注意度に応じた注意喚起を行うことができる。
つまり、後席を確認した回数や頻度が低いときに注意喚起を行い、後席を確認した回数や頻度が高いときには注意喚起を行わないので、ドライバの意識に適した注意喚起を行うことができる。言い換えると、注意を怠ることのないドライバには注意喚起を行わない。これにより、ドライバに煩わしさを感じさせることがなく、注意度の低い場面においてのみ注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

図５Ｂは、後席モニタ（ディスプレイ２０）の利用間隔に基づいて第１注意喚起の動作制御の手順を示すフローチャートである。図５Ｂに示すように、ステップＳ１１１では、図４のステップＳ２において、fdetect_startがセットされている状態で、後席画像の表示スイッチが操作されたか否かを検出する。そして、ステップＳ１１２において、制御装置１０は、表示スイッチの操作が検出された場合に、タイマーを作動する。ステップＳ１１３、Ｓ１１４において、制御装置１０は、IGNがOFFされた時点でタイマを停止させ、ステップＳ１１５において、タイマの値が所定時間を超えたか否かを判断する。タイマの値が所定時間未満の場合は、ステップＳ１１６へ進み、第１注意喚起の実行フラグをクリアし、所定時間以上であれば、ステップＳ１１７へ進み、第１注意喚起の実行フラグをセットする。特に限定されないが、所定時間は、例えば３分〜１０分、４分から８分、例えば５分とする。なお、本実施例では、後席の映像の表示ががされてからの経過時間で判断したが、IGNがOFFされてから遡って所定時間以内に後席の映像の表示履歴があるか否かによって判断してもよい。また、所定時間内における後席映像の表示回数により注意度を評価してもよい。

このように、後席を確認してからの経過時間が長いときに注意喚起を行い、後席を確認してからの経過時間が短いときには注意喚起を行わないので、ドライバの意識に適した注意喚起を行うことができる。言い換えると、後席を確認したばかりのドライバには注意喚起をしない。これにより、ドライバに煩わしさを感じさせることを防止し、後席を長い時間確認していないドライバにのみ注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

図６Ａは、走行状態に基づいて第１注意喚起の動作制御の手順を示す第１のフローチャートである。図６Ａに示すように、ステップＳ１２１〜Ｓ１２４では、図４のステップＳ２において、fdetect_startがセットされている状態で、IGNがONしてからIGNがOFFされるまでの時間を計測する。そして、ステップＳ１２５において、制御装置１０は、計測した時間が所定時間を経過したか否かを判断する。IGNがONしてからIGNがOFFされるまでの時間が所定時間を超えている場合には、Ｓ１２６へ進み、第１注意喚起の実行フラグをセットし、所定時間を経過していない場合は、Ｓ１２７へ進み、第１注意喚起の実行フラグをクリアする。所定時間は特に限定されないが、５分〜３０分、１５分〜２５分、本例では１５分とする。なお、本例では、IGNONからIGNOFFまでの時間に基づいてドライバの注意度を判断したが、例えば、移動を開始してからIGNOFFまでの時間に基づいてドライバの注意度を判断してもよいし、停車してからIGNOFFまでの時間に基づいてドライバの注意度を判断してもよい。

IGNONからIGNOFFまでの時間を計測することで、後席に対するドライバの意識がどの程度残っているかが推測できるので、経過時間が長い場合には第１注意喚起を実行し、ドライバに車室内に他の乗員や物体が存在することを効果的に報知することが可能となる。このように、走行開始操作から走行終了操作までの時間が長いときに注意喚起を行い、走行開始操作から走行終了操作までの時間が短いときには注意喚起を行わないので、ドライバの意識に適した注意喚起を行うことができる。言い換えると、イグニッションオンから短時間で走行を終了させ後席を確認可能なドライバに注意喚起をしない。これにより、ドライバに煩わしさを感じさせることを防止して、イグニッションオンから長時間運転を継続していたドライバのみに注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

図６Ｂは、走行状態に基づいて第１注意喚起の動作制御の手順を示す第２のフローチャートである。図６Ｂに示すように、ステップＳ１３１〜１３２は、図４のステップＳ２において、fdetect_startがセットされている状態で、IGNOFFまでの移動距離を計測する。ステップＳ１３３において、制御装置１０は、移動距離が所定距離を超える場合は、ステップＳ１３４へ進み第１注意喚起の実行フラグをセットし、移動距離が所定距離以下の場合は、ステップＳ１３５へ進み第１注意喚起の実行フラグをクリアする。本例では、移動距離の積算値によりドライバの注意度を判断するが、平均移動速度や、利用した道路種別などに基づいて判断してもよい。

このように移動距離に基づいて判断することで、ドライバの後席に対する意識がどの程度残っているかを推測することができるため、移動距離が長い場合には第１注意喚起を実行させることで、ドライバに車室内に他の乗員や物体が存在することを効果的に報知することが可能となる。このように、走行終了操作までの走行距離が長いときに注意喚起を行い、走行終了操作までの走行距離が短いときには注意喚起を行わないので、ドライバの意識に適した注意喚起を行うことができる。言い換えると、短距離しか走行していないドライバに注意喚起しない。これにより、ドライバに煩わしさを感じさせることを防止でき、長距離を走行したドライバにのみ注意喚起を行って、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

図６Ｃは、走行状態に基づいて第１注意喚起の動作制御の手順を示す第４のフローチャートである。図６Ｃに示すように、ステップＳ１５１〜１５２は、図４のステップ２において、fdetect_startがセットされている状態で、IGNOFFされたタイミングで走行する場所を検出する。場所はナビゲーション装置の位置検出装置７１により取得する。ステップＳ１５３において、制御装置１０は、現在位置が所定属性の場所である場合は、ステップＳ１５４へ進み、第１注意喚起のフラグをクリアし、現在位置が所定属性の場所ではない場合には、ステップＳ１５５へ進み、第１注意喚起の実行フラグをセットする。本例における所定属性の場所とは例えば、ガソリンスタンドや、給電所などのIGNはOFFするがドライバが降車する可能性が低い場所である。この種の場所に所在しても、注意の喚起は実行しない。なお、信号停止に伴うアイドリングストップ時にも第１注意喚起の実行フラグをクリアすることが好ましい。

このように、あらかじめ定義した所定の属性の場所でIGNOFFが検出された場合には、第１注意喚起を実行せずに、他の属性の場所でIGNOFFが検出された場合には、第１注意喚起を実行するので、ドライバの状況に応じた注意喚起を行うことができる。つまり、ドライバがエネルギー取得のためにガソリンスタンドなどに立ち寄ったドライバに注意喚起をすることで、ドライバに煩わしさを感じさせることを防止でき、それ以外の場所で走行が完了したドライバには注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

図７は、車両に搭乗する乗員数に基づいて第１注意喚起の動作制御の手順を示すのフローチャートである。図７に示すように、ステップＳ１６１〜１６２は、図４のステップ２において、fdetect_startがセットされている状態で、ドライバ、リマインド対象以外の乗員の有無を検出する。そして、他の乗員が検出されていない場合には、ステップＳ１６４へ進み、第１注意喚起の実行フラグをセットし、乗員が検出されている場合は、ステップＳ１６５へ進み、第１注意喚起の実行フラグをクリアする。

このように、同乗する乗員が存在する場合には、注意レベルは高いと判断し、第１注意喚起を実行せずに、同乗する乗員が居ない場合には第１注意喚起を実行するので、同乗者の状況に応じた注意喚起を行うことができる。つまり、複数の同乗者がいれば注意度も高くなるので、そのようなドライバに注意喚起をすることで、ドライバに煩わしさを感じさせることを防止でき、ドライバが一人でいる場合には注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

本実施形態の車室内監視装置１００によれば、以下の効果を奏する。

[１]本実施形態の車室内監視装置１００によれば、車両から取得した車両情報に基づいて車室内の物体に対する乗員の注意度を算出し、その算出された注意度に応じて車室内の物体に対する注意喚起情報を乗員に出力するので、車室内の他の乗員や物品などの物体に対するドライバの注意度が低いときに、車室内の物体に対する注意喚起を行うので、適切なタイミングと適切な頻度でドライバの注意を喚起することができる。この結果、置き忘れをする前の適切なタイミングにおいて、かつ煩わしさを感じない頻度で、ドライバの注意を喚起することができる。

[２]本実施形態の車室内監視装置１００によれば、乗員の降車準備が完了した第１降車状態を判断した場合に第１注意喚起を実行し、乗員が降車を完了した第２降車状態を判断した場合には、第１注意喚起とは異なる第２注意喚起を実行するので、降車が完了する前の降車準備が完了したタイミングで第１注意喚起を実行することができる。降車が完了した乗員に注意を喚起しても、車両ドアを再度開扉して置き忘れた物体を取り出す必要があるが、降車準備が完了した段階に注意が喚起されれば、物体を置き忘れることなく車外に連れ出す（持ち出す）ことができる。この結果、物体の置き忘れを防止して、乗員の利便を図ることができる。このように、本実施形態では、降車が完了する前に行われる注意喚起を、乗員の注意度に応じて行う。これにより、乗員が降車を完了する前に、置き忘れてしまう可能性のある人員や荷物について乗員に知らせることができ、しかも、注意度が低いと判断されたときにのみ注意喚起を行うので、乗員が注意しているのにさらに注意を行うということがない。

[３]本実施形態の車室内監視装置１００によれば、後席を確認する画像をディスプレイ２０に表示させる操作履歴（操作の有無、操作回数、操作頻度）に基づいてドライバの後席に対するドライバの注意度が評価できるので、その注意度に応じて第１注意喚起の実行を制御することにより、ドライバの注意度に応じた注意喚起を行うことができる。つまり、後席を確認した回数や頻度が低いときに注意喚起を行い、後席を確認した回数や頻度が高いときには注意喚起を行わないので、ドライバの意識に適した注意喚起を行うことができる。言い換えると、注意を怠ることのないドライバに注意喚起をしない。これにより、ドライバに煩わしさを感じさせることがなく、注意度の低いドライバに注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

[４]本実施形態の車室内監視装置１００によれば、後席を確認する画像をディスプレイ２０に表示させる処理の利用頻度が高いほど、注意度を高く算出することにより、上記の作用効果を得ることができる。

[５]本実施形態の車室内監視装置１００によれば、後席を確認する画像をディスプレイ２０に表示させる処理を利用してから所定時間以内にイグニッションのオフ操作がされた場合には、注意度を所定値以上の値として算出することにより、上記の作用効果を得ることができる。言い換えると、イグニッションオフ操作前の所定時間以内に後席を確認する画像をディスプレイ２０に表示させる処理が行われた場合には、注意度を所定値以上の値として算出することにより、上記の作用効果を得ることができる。

[６]本実施形態の車室内監視装置１００によれば、走行状態（走行時間、走行距離、走行位置、走行道路）に基づいて後席に対するドライバの注意度が評価できるので、その注意度に応じて第１注意喚起の実行を制御することにより、ドライバの注意度に応じた注意喚起を行うことができる。つまり、走行状況から乗員の注意度を推測し、注意度が低いときに注意喚起を行い、注意度が高いときには注意喚起を行わないので、ドライバの意識に適した注意喚起を行うことができる。言い換えると、注意を怠ることのないドライバに注意喚起をしない。これにより、ドライバに煩わしさを感じさせることがなく、注意度の低いドライバに注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

[７]本実施形態の車室内監視装置１００によれば、イグニッションオン操作からイグニッションオフ操作までの時間が所定時間未満である走行状態においては、注意度を所定値以上の値として算出することにより、上記の作用効果を得ることができる。

[８]本実施形態の車室内監視装置１００によれば、一走行あたりの移動距離が所定値未満である場合には、注意度を所定値以上の値として算出することにより、上記の作用効果を得ることができる。

[９]本実施形態の車室内監視装置１００によれば、イグニッションのオフ操作時の現在位置がガソリンスタンドや給電所などの所定の属性である場合には、注意度を所定値以上の値として算出することにより、ガソリンスタンドや給電所などでも停車時に注意喚起をしないようにして上記の作用効果を得ることができる。

[１０]本実施形態の車室内監視装置１００によれば、乗員の数に基づいて後席に対するドライバの注意度が評価できるので、その注意度に応じて第１注意喚起の実行を制御することにより、ドライバの注意度に応じた注意喚起を行うことができる。つまり、同乗する乗員の存否や数から乗員の注意度を推測し、注意度が低いときに注意喚起を行い、注意度が高いときには注意喚起を行わないので、ドライバやドライバ以外の乗員の存在を考慮した注意喚起を行うことができる。言い換えると、複数の乗員が存在するにもかかわらず、ドライバに注意喚起をして、ドライバに煩わしさを感じさせることがなく、ドライバが一人で様々なことに対応しなければならないドライバに対して注意喚起をして、ドライバが実際に乗員を車室内に置き忘れることを防止することができる。

[１１]本実施形態の車室内監視装置１００によれば、助手席の乗員が存在する場合には、前記注意度を所定値以上の値として算出することにより、後席の乗員に対して注意を払うことができるドライバ以外の乗員の存在がある場合には注意喚起をしないようにして上記の作用効果を得ることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る車室内監視装置１００と車載装置２００とを備える車室モニタリングシステム１を例にして説明するが、本発明はこれに限定されるものではない。

本明細書では、本発明に係る車室内監視装置の一態様として、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える車室内監視装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、車両情報取得手段と、物体検出手段と、注意度算出手段と、注意喚起手段と、を備える本発明に係る車室内監視装置の一例として、
画像取得機能と、車両情報取得機能と、物体検出機能と、注意度算出機能と、注意喚起機能と、を実行する制御装置１０を備える車室内監視装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、上記手段に加えて、降車状態判断手段と、表示制御手段と、乗員数判断手段とをさらに備える本発明に係る車室内監視装置の一例として、上記機能に加えて降車状態判断機能と、表示制御機能と、乗員数判断機能とを実行する制御装置１０を有する車室内監視装置１００を一例として説明するが、これに限定されるものではない。

１…車室モニタリングシステム
１００…車室内監視装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
３０…ディスプレイ
３１…操作スイッチ
４０…スピーカ
２００…車載装置
５０…車両コントローラ
６０…各種機器
７０…ナビゲーション装置

Claims (11)

1. 車両の車室内を撮像するカメラから車室内の撮像画像を取得する画像取得手段と、
   前記車両において検出された車両情報を取得する車両情報取得手段と、
   前記撮像画像に基づいて、車室内に存在する物体を検出する物体検出手段と、
   前記取得した車両情報に基づいて、前記検出された車室内の物体に対する前記車両の乗員の注意度を算出する注意度算出手段と、
   前記算出された注意度に基づいて、前記車室内の物体に対する注意喚起情報を前記乗員に出力して注意喚起を実行する注意喚起手段と、を有することを特徴とする車室内監視装置。
2. 前記車両情報に基づいて、前記乗員の降車準備が完了した第１降車状態と、前記乗員が降車を完了した第２降車状態とを識別し、各降車状態を判断する降車状態判断手段をさらに有し、
   前記注意喚起手段は、前記第１降車状態を識別した場合には、第１注意喚起を実行し、前記第２降車状態を識別した場合には、第１注意喚起とは異なる第２注意喚起を実行することを特徴とする請求項１に記載の車室内監視装置。
3. 前記車室内の後席の撮像画像を表示する表示装置を制御する表示制御手段を、さらに備え、
   前記注意度算出手段は、前記表示制御手段が取得した前記表示装置の利用履歴に基づいて、前記車室内の物体に対する乗員の注意度を算出し、
   前記注意喚起手段は、前記注意度に応じて前記第１注意喚起の実行を制御することを特徴とする請求項１又は２に記載の車室内監視装置。
4. 前記注意度算出手段は、前記車室内の後席の撮像画像を表示するための前記表示装置の利用頻度が高いほど、前記車室内の物体に対する乗員の注意度を高く算出し、
   前記注意喚起手段は、前記注意度が所定値以上である場合には前記第１注意喚起の実行を禁止することを特徴とする請求項３に記載の車室内監視装置。
5. 前記車両情報取得手段は、前記車両からイグニッションのオン操作／オフ操作の情報を取得し、
   前記注意度算出手段は、前記表示制御手段が取得した前記車室内の後席の撮像画像を表示するために前記表示装置を利用してから所定時間以内に前記イグニッションのオフ操作がされた場合には、前記注意度を所定値以上の値として算出し、
   前記注意喚起手段は、前記注意度が所定値以上である場合には前記第１注意喚起の実行を禁止することを特徴とする請求項３に記載の車室内監視装置。
6. 前記車両情報に基づいて前記車両の走行状態を判断する走行状態判断手段を、さらに備え、
   前記注意度算出手段は、前記走行状態に基づいて、前記車室内の物体に対する乗員の注意度を算出し、
   前記注意喚起手段は、前記注意度に応じて前記第１注意喚起の実行を制御することを特徴とする請求項１〜５の何れか一項に記載の車室内監視装置。
7. 前記車両情報取得手段は、前記車両からイグニッションのオン操作／オフ操作の情報を取得し、
   前記注意度算出手段は、前記イグニッションのオン操作の時刻から前記イグニッションのオフ操作の時刻までの時間が所定時間未満である場合には、前記注意度を所定値以上の値として算出し、
   前記注意喚起手段は、前記注意度が所定値以上である場合には前記第１注意喚起の実行を禁止することを特徴とする請求項６に記載の車室内監視装置。
8. 前記走行状態判断手段は、前記車両情報に基づいて、前記車両の１走行あたりの平均移動距離を前記走行状態として求め、
   前記注意度算出手段は、前記移動距離が所定値未満である場合には、前記注意度を所定値以上の値として算出し、
   前記注意喚起手段は、前記注意度が所定値以上である場合には前記第１注意喚起の実行を禁止することを特徴とする請求項６に記載の車室内監視装置。
9. 前記走行状態判断手段は、前記車両情報に基づいて、前記車両の現在位置の属性を前記走行状態として求め、
   前記注意度算出手段は、前記イグニッションのオフ操作時の現在位置が所定の属性である場合には、前記注意度を所定値以上の値として算出し、
   前記注意喚起手段は、前記注意度が所定値以上である場合には前記第１注意喚起の実行を禁止することを特徴とする請求項６に記載の車室内監視装置。
10. 前記車両情報に基づいて前記車両の乗員数を検出する乗員数判断手段を、さらに備え、
    前記注意度算出手段は、前記乗員数に基づいて、前記車室内の物体に対する乗員の注意度を算出し、
    前記注意喚起手段は、前記前記乗員数に基づく注意度に応じて前記第１注意喚起の実行を制御することを特徴とする請求項１〜９の何れか一項に記載の車室内監視装置。
11. 前記乗員数判断手段は、前記車両の助手席の乗員の有無を検出し、
    前記注意度算出手段は、前記助手席の乗員が存在する場合には、前記注意度を所定値以上の値として算出し、
    前記注意喚起手段は、前記注意度が所定値以上である場合には前記第１注意喚起の実行を禁止することを特徴とする請求項１０に記載の車室内監視装置。

Images