JP2011164665A - 車両周囲変化検出装置 - Google Patents

Abstract

【課題】車両周囲の搭載物忘れを防止することのできる車両周囲変化検出装置を提供することを目的とする。
【解決手段】車両の発車時と乗車前と駐車時の状態を判定する判定手段３と、この判定手段３の判定結果に基づいて入力された車外の撮影映像を記憶する記憶手段５と、判定手段３の判定結果と記憶手段５が記憶した車外の撮影映像とに基づいて車両周囲の変化を検出する検出手段６とを備え、検出手段６は、記憶手段５が記憶した車両の駐車時における車外の撮影映像３０と車両の乗車前における車外の撮影映像３１と車両の発車時における車外の撮影映像３１とを比較して車両周囲の変化を検出する。
【選択図】図１

Description

本発明は車両乗降口を撮影可能なカメラを用いた車載周囲変化検出装置に関するものである。

従来、車両内にカメラを設け車両内の忘れ物を監視する忘れ物検知システムが知られている（例えば特許文献１から３参照）。

特開２００９−０７５７５６号公報 特開２００８−０２７２３９号公報 特開２００６−３３８５３５号公報

しかしながら従来の忘れ物検知システムでは車両内を対象としたもので、車両外の周囲に対しては検知対象外となっていた。また、車両外部の駐車支援カメラには忘れ物を自動検知する機能が搭載されておらず、人間が直接目視、またはカメラ映像を確認しなければならなかった。このため、車両の周囲に搭載予定物、例えば靴などを乗せ忘れるという問題があった。

本発明は、従来の問題を解決するためになされたもので、車両周囲の搭載物忘れを防止することのできる車両周囲変化検出装置を提供することを目的とする。

上記目的を達成するために本発明は、検出手段が、記憶手段が記憶した車両の発車時における車外の撮影映像と車両の発車前における車外の撮影映像とを比較して車両周囲の変化を検出することを特徴とする。

本発明によれば、乗員は車両周囲に置き忘れた搭載物をそのまま忘れることなく未搭載に気が付き搭載して発進することができるという効果を奏する。

本発明の実施形態における車両周囲変化検出装置の構成を示すブロック図 同図１の要部である検出手段による忘れ物検出処理の概念をイメージで説明した図 同図１の要部である検出手段による忘れ物を特定する処理の概念をイメージで説明した図 同図１の要部である車両周囲変化検出装置による忘れ物検出処理のフローチャート図 同図４の駐車処理のフローチャート図 同図４の乗車前処理のフローチャート図 同図４の発車処理のフローチャート図 同図１の条件設定手段による判定手段の条件設定画面を表示手段に表示した図 同図８の要部である駐車判定方法の条件設定画面を表示手段に表示した図

以下、本発明の一実施形態の車両周囲変化検出装置について図面を参照しながら説明する。

図１は本発明の実施形態の車両周囲変化検出装置の構成を示すブロック図である。

図１において、車両周囲変化検出装置１は、信号処理手段２と判定手段３と画像合成手段４と記憶手段５と検出手段６と条件管理手段７とを備える。車両周囲変化検出装置１は、車両状態出力装置８と撮影手段９と報知手段１０と条件設定手段１１と接続する。

信号処理手段２はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信の受信装置で構成され、判定手段３および車両状態出力装置８と接続する。信号処理手段２は、車両状態出力装置８から入力された車両状態信号を車両周囲変化検出装置１の内部で処理可能な変数に変換して判定手段３で使用する。

判定手段３はＣＰＵで構成され、信号処理手段２、記憶手段５、条件管理手段７および撮影手段９と接続する。判定手段３は、駐車判定手段３ａ、乗車前判定手段３ｂ、発車判定手段３ｃを有する。判定手段３は、信号処理手段２から入力された車両状態信号と条件管理手段７から入力された判定条件に基づいて、車両が発車前であるか発車時であるかを判定する。車両が発車前であることの判定は駐車判定手段３ａ、乗車前判定手段３ｂによってなされる。車両が発車時であることの判定は発車判定手段３ｃによってなされる。なお、本実施形態では車両が発車前であることの判定を駐車判定手段３ａ、乗車前判定手段３ｂによって行ったが、駐車判定手段３ａと乗車前判定手段３ｂのいずれか一方の手段によって行ってもよい。また、車両が発車前であることの判定ができるのであれば、別の判定手段によって行ってもよい。

画像合成手段４は、ＣＰＵで構成され、記憶手段５、撮影手段９と接続する。画像合成手段４は、撮影手段９から入力された撮影画像を合成して車両周囲を俯瞰視点で見たときの車両の全周囲画像を生成する。そして、画像合成手段４は、この車両の全周囲画像を記憶手段５に出力する。

記憶手段５は、メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成され、判定手段３、画像合成手段４、検出手段６と接続する。記憶手段５は、駐車画像記録手段５ａ、乗車前画像記録手段５ｂ、発車画像記録手段５ｃを有する。駐車判定手段３ａが車両が駐車していると判定した場合、駐車画像記録手段５ａは画像合成手段４から入力された合成画像を記録する。乗車前判定手段３ｂがユーザが車両に乗車前であると判定した場合、乗車前画像記録手段５ｂは画像合成手段４から入力された合成画像を記録する。発車判定手段３ｃは車両が発車する時であると判定した場合、発車画像記録手段５ｃは画像合成手段４から入力された合成画像を記録する。なお、駐車画像記録手段５ａ、乗車前画像記録手段５ｂ、発車画像記録手段５ｃは、それぞれまたは一部が別体のメモリ等で構成されてもよいし、一体のメモリ等で領域を分割されたもので構成されてもよい。

検出手段６は、ＣＰＵで構成され、記憶手段５、条件管理手段７、報知手段１０と接続する。検出手段６は、画像差分認識手段６ａを有する。検出手段６は、記憶手段５から読み出した発車前の合成画像と発車時の合成画像とから、車両周囲の忘れ物を検出する。換言すると、画像差分認識手段６ａは、記憶手段５から読み出した発車前の合成画像と発車時の合成画像との差分をとる。そして、画像差分認識手段６ａは、この差分の画像を車両周囲の忘れ物として検出する。なお、本実施形態の判定手段３と画像合成手段４と検出手
段６は、１チップで構成されてもよいし、それぞれまたは一部が別体であってもよい。

条件管理手段７は、メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成され、判定手段３、記憶手段５、撮影手段９、条件設定手段１１と接続する。条件管理手段７は、駐車判定手段３ａによる駐車判断の条件、乗車前判定手段３ｂによる乗車前判断の条件、および発車判定手段３ｃによる発車時判断の条件を予め記録する。なお、本実施形態の記憶手段５と条件管理手段７は、一体で構成されてもよいし、別体であってもよい。

車両状態出力装置８は、ドア開閉検知センサ８ａやエンジンのオン・オフを検知するエンジンセンサ８ｂ、シフトレバー検知センサ８ｃ等の各種センサで構成され、信号処理手段２に接続する。車両状態出力装置８は、信号処理手段２に車両状態信号を出力する。車両状態信号は例えば、車速やドアのロック状態、ドアの開閉状態、エンジンの始動状態、ギアのシフト状態等、数値情報や状態情報で構成される。

撮影手段９は、複数のカメラで構成され、判定手段３、画像合成手段４に接続される。撮影手段９は、前方カメラ９ａ、右側方カメラ９ｂ、左側方カメラ９ｃ、後方カメラ９ｄを有する。撮影手段９は、判定手段３からの命令に従って、各カメラ９ａ〜９ｄで車両周囲を撮影する。そして、この撮影画像を画像合成手段４に出力する。なお、本実施形態では、撮影手段９は、各カメラ９ａ〜９ｄで車両周囲を撮影したが、判定手段３からの命令により、各カメラ９ａ〜９ｄのうち一部のカメラのみを用いてもよい。また、本実施形態では、撮影手段９は、複数のカメラ９ａ〜９ｄを有して車両周囲を撮影したが、１つのカメラを有して車両周囲を撮影してもよい。この場合、この１つのカメラは例えば魚眼カメラで構成される。

報知手段１０は、音声出力手段１０ａおよび表示手段１０ｂの少なくとも１つで構成され、検出手段６と接続する。音声出力手段１０ａは例えばスピーカで構成される。表示手段１０ｂは例えばナビゲーション装置やリアシートのディスプレイで構成される。報知手段１０は、検出手段６から入力された忘れ物の情報を音声および表示の少なくとも１つによってユーザに報知する。

条件設定手段１１は、リモコンやタッチパネルなどによって構成され、条件管理手段７と接続する。条件設定手段１１は、ユーザからの入力により、判定手段３の判定条件を設定する。そして、条件設定手段１１は、この設定した条件の情報を条件管理手段７に出力する。

次に、検出手段６による忘れ物検出処理について説明する。

図２は、検出手段６による忘れ物検出処理の概念をイメージで説明した図である。

画像合成手段４は、車両の発車前における車両周囲の画像２０を合成する。この合成の際、画像合成手段４は、予め記憶手段５に記憶していた車両２０ａのイメージ画像を重畳する。記憶手段５は、合成された画像２０を記憶する。また、画像合成手段４は、車両の発車時における車両周囲の画像２１を合成する。記憶手段５は、合成された画像２１を記憶する。この画像２１は、ユーザが車外に置き忘れた靴の画像２１ａを有する。

検出手段６の画像差分認識手段６ｂは、記憶手段５から車両の発車前における車両周囲の画像２０と、車両の発車時における車両周囲の画像２１とを読み出して、差分をとる。この処理によって、検出手段６は、差分処理後の画像２２を得る。検出手段６は、この画像２２が靴の画像２１ａのデータのみを有していることを検出する。

検出手段６は、この検出結果から、車両の発車時における車両周囲の画像２３のデータを表示手段１０ｂに出力する。この際、表示手段１０ｂは、画像２３に、靴２１ａの画像を強調する画像２３ａを重畳する。なお、本実施形態では、検出手段６による忘れ物検出処理結果を表示手段１０ｂが表示したが、表示手段１０ｂの表示に代えて、または、表示とともに音声出力手段１０ａが音声出力してもよい。例えば、音声出力手段１０ａは「靴を車外に置き忘れています」と音声出力して、車外に忘れ物があることをユーザに認識させる。

次に、図２の画像２２を得るための検出手段６による差分処理について説明する。

図３は、検出手段６による忘れ物を特定する処理の概念をイメージで説明した図である。

駐車判定手段３ａは、シフトレバー検知センサ８ｃからシフトレバーがＰレンジに設定された状態であるとの車両状態信号を入力されたとき、車両が駐車していると判定する。駐車判定手段３が車両の駐車を判定したとき、画像合成手段４は、車両の駐車時における車両周囲の画像３０を合成する。駐車画像記憶手段５ａは、合成された画像３０を記憶する。

また、乗車前判定手段３ｂは、エンジンセンサ８ｂからエンジンが停止した状態であることを示す車両状態信号、および、ドア開閉検知センサ８ａからドアが開けられたことを示す車両状態信号を入力されたとき、ユーザが車両に乗車前であると判定する。乗車前判定手段３ｂが、車両にユーザが乗車する前であることを判定したとき、画像合成手段４は、車両にユーザが乗車する前における車両周囲の画像３１を合成する。乗車前画像記憶手段５ｂは、合成された画像３１を記憶する。

また、発車判定手段３ｃは、エンジンセンサ８ｂからエンジンが始動した状態であることを示す車両状態信号、および、シフトレバーがＰレンジからＰレンジ以外のレンジに設定された状態であることを示す車両状態信号をシフトレバー検知センサ８ｃから入力されたとき、発車判定手段３ｃは車両が発車する時であると判定する。発車判定手段３ｃが車両の発車を判定したとき、画像合成手段４は、車両の発車時における車両周囲の画像３１を合成する。発車画像記憶手段５ｃは、合成された画像３１を記憶する。

なお、図３において判定手段３が判定した「乗車前」と「駐車時」は、いずれも図２において判定手段３が判定した「発車前」の概念に包含される。判定手段３によって「乗車前」と「駐車時」とがそれぞれ判定され、その判定結果が図３で説明されたように用いられることによって、より忘れ物の検出精度を高めることができる。ただし、判定手段３が判定する「発車前」に包含される概念は、「乗車前」と「駐車時」に限られない。また、判定手段３は、「乗車前」の判定のみ、または「駐車時」の判定のみによって「発車前」を判定してもよい。

検出手段６の画像差分認識手段６ｂは、駐車画像記憶手段５ａから読み出した車両の駐車時における車両周囲の画像３０と、乗車前画像記憶手段５ｂから読み出した車両にユーザが乗車する前における車両周囲の画像３１との差分をとった差分画像３３を取得する。

また、画像差分認識手段６ｂは、乗車前画像記憶手段５ｂから読み出した車両にユーザが乗車する前における車両周囲の画像３１と、発車画像記憶手段５ｃから読み出した車両の発車時における車両周囲の画像３１との差分をとった差分画像３４を取得する。

画像差分認識手段６ｂは、この差分画像３３と差分画像３４との論理積を取ることによ
って、差分画像３３と差分画像３４の重複要素を抽出した重複要素画像３５を取得する。

画像差分認識手段６ｂは、差分画像３４と重複要素画像３５との差分をとって発車時の忘れ物を抽出した画像３６を取得する。この画像３６が図２における画像２２に対応する。

このような画像差分認識手段６ｂの差分処理によって、検出手段６は、発車時における忘れ物のみを抽出した画像データを得ることができる。特に、本差分処理では、車両にユーザが乗車する前の映像を用いているため、駐車時から発車時までの駐車時間が長い場合に撮影画像における日照や物体の変化による誤差の影響を低減させることができる。

次に、車両周囲変化検出装置１による忘れ物検出処理について説明する。

図４は、車両周囲変化検出装置による忘れ物検出処理のフローチャート図である。

まず、ステップＳ４１に示すように、駐車判定手段３ａは、自車両が駐車するか否かを判定する。ステップＳ４１でＮＯの場合、駐車判定手段３ａは、所定時間後に再度駐車判定処理を行う。一方、ステップＳ４１でＹＥＳの場合、車両周囲変化検出装置１は、ステップＳ４２に示すように、駐車処理を行う。

次に、ステップＳ４３に示すように、判定手段３は、車両が走行中か否かを判定する。ステップＳ４３でＹＥＳの場合、駐車判定手段３ａが所定時間後に再度Ｓ４１の処理を行う。一方、ステップＳ４３でＮＯの場合、ステップＳ４４に示すように、乗車前判定手段３ｂは、ユーザが自車両に乗車前であるか否かを判定する。ステップＳ４４でＹＥＳの場合、ステップＳ４５に示すように、車両周囲変化検出装置１は、乗車前処理を行う。一方、ステップＳ４４でＮＯの場合、ステップ４３の処理を再度実行する
次に、ステップＳ４６に示すように、発車判定手段３ｃは、ユーザが車両に乗車して発車可能な状態か否かを判定する。ステップＳ４６でＮＯの場合、発車判定手段３ｃは、所定時間後に再度ステップＳ４６の処理を行う。一方、ステップＳ４６でＹＥＳの場合、ステップＳ４７に示すように、車両周囲変化検出装置１は、発車処理を行う。

次に、ステップＳ４２の駐車処理について説明する。

図５は、駐車処理のフローチャート図である。

ステップＳ５１に示すように、撮影手段９は、駐車判定手段３ａの判定結果に基づいて自車両の周囲を撮影する。次に、ステップＳ５２に示すように、画像合成手段４は、撮影された画像を合成する。そして、ステップＳ５３に示すように、駐車画像記憶手段５ａが合成された画像を記憶する。

次に、ステップＳ４５の乗車前処理について説明する。

図６は、乗車前処理のフローチャート図である。

ステップＳ６１に示すように、撮影手段９は、乗車前判定手段３ｂの判定結果に基づいて自車両の周囲を撮影する。次に、ステップＳ６２に示すように、画像合成手段４は、撮影された画像を合成する。そして、ステップＳ６３に示すように、画像差分認識手段６ａは、ステップＳ６２で合成された合成画像と駐車画像記憶手段５ａに記憶された駐車時の合成画像との差分をとる。そして、ステップＳ６４に示すように、乗車前画像記憶手段５ｂは、ステップＳ６２で合成された合成画像とステップＳ６３で抽出された差分画像とを
記憶する。

次に、ステップＳ４７の発車処理について説明する。

図７は、発車処理のフローチャート図である。

ステップＳ７２に示すように、撮影手段９は、発車判定手段３ｃの判定結果に基づいて自車両の周囲を撮影する。次に、ステップＳ７２に示すように、画像合成手段４は、撮影された画像を合成する。そして、ステップＳ７３に示すように、画像差分認識手段６ａは、ステップＳ７２で合成された合成画像と乗車前画像記憶手段５ｂに記憶された乗車前の合成画像との差分をとる。そして、ステップＳ７４に示すように、発車画像記憶手段５ｃは、ステップＳ７２で合成された合成画像とステップＳ７３で抽出された差分画像とを記憶する。

次に、ステップＳ７５に示すように、画像差分認識手段６ｂは、物体検出処理を行う。具体的には、画像差分認識手段６ｂは、ステップＳ６３で抽出された差分画像とステップＳ７３で抽出された差分画像とを乗車前記憶手段５ｂと発車記憶手段５ｃとからそれぞれ読み出して論理積をとる。

次に、ステップＳ７６に示すように、検出手段６は、ステップＳ７５の結果から、物体が自車両周辺に存在するか否かを検出する。具体的には、検出手段６は、ステップＳ７３で抽出された差分画像とステップＳ７５で抽出された重複画像との差分をとる。検出手段６は、この差分処理によってゼロでない画像データを抽出した場合に、物体があることを検出する。ステップＳ７６でＮＯの場合、車両周囲変化検出装置１は、処理を終了する。

ステップＳ７６でＹＥＳの場合、ステップＳ７７に示すように、検出手段６は、音声案内を実施するか否かを判定する。ステップＳ７７でＹＥＳの場合、ステップＳ７８に示すように、検出手段６は、音声出力手段１０ａにステップＳ７６で検出した物体を忘れ物として音声案内させる。

ステップＳ７８の処理が終わった場合、またはステップＳ７７でＮＯの場合、ステップＳ７９に示すように、検出手段６は、映像案内を実施するか否かを判定する。ステップＳ７９でＮＯの場合、車両周囲変化検出装置１は、処理を終了する。ステップＳ７９でＹＥＳの場合、ステップＳ８０に示すように、検出手段６は、表示手段１０ｂにステップＳ７６で検出した物体を忘れ物として表示させる。

以上のように、本発明の車両周囲変化検出装置１によれば、ユーザは車両周囲に置き忘れた物体に気づくことができる。そのため、車外に置き忘れた物体をそのまま忘れることなく搭載して車両を発進することができる。

なお、ステップＳ４１の駐車判定、ステップＳ４４の乗車前判定、ステップＳ４６の乗車判定の各判定条件や、報知手段１０による忘れ物案内内容については、条件管理手段７に記憶されている。そして、判定手段３による判定や報知手段１０による報知の際に判定手段３や検出手段６が条件管理手段７から各種条件を読み出す。、ユーザは、条件設定手段１１を用いて、条件管理手段７に記憶された判定条件や案内内容を変更することができる。

判定手段３の判定条件設定の一例について説明する。

図８は、条件設定手段１１による判定手段３の条件設定画面を表示手段１０ｂに表示し
た図である。図９は、図８の駐車判定方法の条件設定画面を表示手段１０ｂに表示した図である。図８に示されるように、表示手段１０ｂには、駐車判定や発車判定の条件、忘れ物の案内方法が示されている。ユーザが条件設定手段１１で図８の「駐車判定方法」を選択した場合、図９に示されるように、表示手段１０ｂは、駐車判定条件を選択する画面に切り替わる。ユーザは、表示手段１０ｂの画面に表示された条件内容を見ながら条件設定手段１１で判定条件を設定する。これにより、ユーザが車外の地域環境に応じた条件設定や嗜好に合った案内をすることができる。

なお、本実施形態において、駐車判定手段３ａ、乗車前判定手段３ｂ、発車判定手段３ｃは、ドア開閉検知センサ８ａ、エンジンセンサ８ｂ、シフトレバー検知センサ８ｃの車両状態信号に基づいて、それぞれ車両が駐車していること、ユーザが車両に乗車前であること、車両が発車する時であることを判定したが、他のセンサによる車両状態信号に基づいて判定を行ってもよい。例えば、駐車判定手段３ａは、エンジンセンサ８ｂによってエンジンが停止されたことを示す車両状態信号、および、図示しないドアロックセンサによって、自車両のドアがロックされたことを示す車両状態信号を入力されたときに車両が駐車していると判定してもよい。また、乗車前判定手段３ｂは、図示しないドアロックセンサによって、自車両のドアがアンロックされたことを示す車両状態信号を入力されたときにユーザが車両に乗車前であると判定してもよい。また、乗車前判定手段３ｂは、図示しない赤外線センサ等の接近検知センサによって、物体が接近したことを示す車両状態信号を入力されたときにユーザが車両に乗車前であると判定してもよい。この場合、太陽など日照の影響を受けにくく認識精度を向上させることができる。また、発車判定手段３ｃは、エンジンが始動した状態であることを示す車両状態信号、および、シフトレバーがＰレンジからＰレンジ以外のレンジに設定された状態を示す車両状態信号をシフトレバー検知センサ８ｃから入力され、さらに、ドア開閉検知センサ８ａから自車両のドアが全て閉められたことを示す車両状態信号を入力されたとき、車両が発車する時であることを判定してもよい。また、発車判定手段３ｃは、図示しないアクセル検知センサからアクセルが踏まれた状態を示す車両状態信号、および、図示しないブレーキ検知センサからブレーキがオフされた状態を示す車両状態信号を入力されたとき、車両が発車する時であることを判定してもよい。

なお、本実施形態の車両周囲変化検出装置１において、画像合成手段４は、合成により車両の全周囲画像を生成したが、車両周囲の一部の画像のみを生成してもよい。また、車両周囲変化検出装置１は、画像合成手段４を備えず、撮影手段９の撮影画像をそのまま記憶手段５に記憶する構成であってもよい。この場合、例えば、検出手段６が忘れ物を検知した場合、検出手段６は、その忘れ物が検知された領域が前方カメラ９ａ、右側方カメラ９ｂ、左側方カメラ９ｃ、後方カメラ９ｄいずれによって撮像された領域であるかを検出する。検出手段６は、この検出結果を、記憶手段５にインクリメントして記憶させる。そして、判定手段３は、記憶手段５から各カメラ９ａ〜９ｄに対応したこの検出回数を読み出す。判定手段３は、検出手段６による検出回数が多いカメラの映像を選択して記憶手段５に記憶させる。これにより、車両の全周囲を確認することはできなくなるが、ユーザが忘れ物をする頻度の高い箇所を検出するので、忘れ物検出にかかる時間を短縮することと忘れ物の検出精度の一定の維持とを両立することができる。

本発明の車両周囲変化検出装置は、車両脇まで持ってきた荷物の搭載忘れ防止、靴の置き忘れ防止に有用である。

１ 車両周囲変化検出装置
３ 判定手段
５ 記憶手段
６ 検出手段

Claims (3)

1. 車両の発車時と発車前の状態を判定する判定手段と、
   この判定手段の判定結果に基づいて入力された車外の撮影映像を記憶する記憶手段と、
   前記判定手段の判定結果と前記記憶手段が記憶した車外の撮影映像とに基づいて車両周囲の変化を検出する検出手段とを備え、
   前記検出手段は、前記記憶手段が記憶した車両の発車時における車外の撮影映像と車両の発車前における車外の撮影映像とを比較して車両周囲の変化を検出することを特徴とする車両周囲変化検出装置。
2. 前記検出手段は、検出した車両周囲の変化の情報を報知手段に出力することを特徴とする請求項１に記載の車両周囲変化検出装置。
3. 前記判定手段は、車両の発車時と乗車前と駐車時の状態を判定し、
   前記検出手段は、前記記憶手段が記憶した車両の発車時における車外の撮影映像と車両の乗車前における車外の撮影映像と車両の駐車時における車外の撮影映像とを比較して車両周囲の変化を検出することを特徴とする請求項１に記載の車両周囲変化検出装置。