JP2004200864A

JP2004200864A - Device and method of monitoring surrounding of vehicle

Info

Publication number: JP2004200864A
Application number: JP2002365111A
Authority: JP
Inventors: Akio Kawai; 昭夫河合
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-12-17
Filing date: 2002-12-17
Publication date: 2004-07-15

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle surrounding monitoring device capable of preventing misdetection and misnotification. <P>SOLUTION: An image processing ECU 20 acquires reference image information and comparison image information from a camera 10, and applies image processing to these images. The ECU 20 extracts a changing region changing for the reference image information on the comparison image information, and estimates the uniformity of density of this image region. The ECU 20 compares the uniformity of the density of the changing region which has been estimated with a predetermined value, and determines whether the changing region is an object itself or a shadow of the object. If the changing region is the object itself, the object is superimposed and displayed on a monitor 70 with a mark, and a speaker 70 notifies the presence of the object. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【技術分野】
本発明は、画像処理により車両後方などの車両周囲の監視をし、車両の運転者に対して報知を行うことにより、安全確認の支援を行う車両周囲監視装置及び車両周囲監視方法に関する。
【０００２】
【背景技術】
車両の周囲の安全確認のために、車両の停車時に、カメラを用いて撮影した基準画像情報と、当該基準画像情報の撮像後に撮影した比較画像情報とを取得し、当該基準画像情報及び比較画像情報に対して画像処理を行い、比較画像情報上において基準画像情報に対して変化した変化領域を抽出し、当該抽出された変化領域が障害物の侵入による変化であるか否かの判定を行い、当該判定結果に基づいて車両の運転者に対して報知を行う車両周囲監視装置が知られている（例えば、特許文献１及び特許文献２参照）。
【０００３】
しかしながら、上記の車両周囲監視装置では、画像情報上に現れた変化領域が、障害物自体であるか、又は、障害物の影であるかの区別されていないため、障害物の影が障害物自体でないにも関わらず、当該影の領域分をも障害物の領域として誤検出され、車両の進行に影響がないにも関わらず報知するおそれがある。
【０００４】
また、基準画像情報の取得時から比較画像情報を取得するまでの間に、例えば曇りから晴れに突然変化したり、逆に晴れから曇りに突然変化するように、天候が急変する場合があり、この天候の急変により、太陽の日射量が増減し、自車両の周囲が明るくなったり暗くなったりする場合がある。この日射の急変に伴い、自車両の周囲に存在する柱、看板、建築物、駐車車両等の、基準画像情報には存在しない障害物の影が比較画像情報に出現したり、消失したりする。
【０００５】
これらの影は、基準画像情報と比較画像情報との比較の際に、基準画像情報に対する比較画像情報における変化の領域として抽出され、あたかも障害物が車両の後方に出現・消失したかのように誤検出されてしまい、車両の進行に影響がないにも関わらず報知をするおそれがある。
【０００６】
【特許文献１】
特開２０００−１７７５１３号公報
【特許文献２】
特開２０００−１８２０２７号公報
【発明の開示】
本発明は、車両の周囲を監視して安全確認の支援を行う車両周囲監視装置及び車両周囲監視方法に関し、特に、誤検出、誤報知を防止した車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明によれば、車両の周囲を撮像する撮像手段と、前記撮像手段が撮像した第１の画像情報、及び前記撮像手段が前記第１の画像情報の撮像後に撮像した第２の画像情報を取得し、前記第１の画像情報と第２の画像情報とを比較し、前記第２の画像情報上において前記第１の画像情報に対して変化している変化領域を抽出する変化領域抽出手段と、前記変化領域抽出手段により抽出された前記変化領域の濃度の一様性を評価する一様性評価手段と、前記評価された変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか否かの判定を行う判定手段と、前記判定手段による判定結果に基づいて、前記車両の運転者に対して報知を行う報知手段とを備えた車両周囲監視装置が提供される。
【０００８】
また、上記目的を達成するために、本発明によれば、車両の周囲の第１の画像情報を撮像するステップと、前記第１の画像情報の撮像後に前記車両の周囲の第２の画像情報を撮像するステップと、前記第１の画像情報と第２の画像情報とを比較し、前記第２の画像情報上において前記第１の画像情報に対して変化している変化領域を抽出するステップと、前記抽出された変化領域の濃度の一様性を評価するステップと、前記評価された変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか否かの判定を行うステップと、その判定結果に基づいて、前記車両の運転者に対して報知を行うステップとを備えた車両周囲監視方法が提供される。
【０００９】
本発明では、撮像手段が、車両の周囲の第１の画像情報を撮像し、さらに当該撮像手段が、当該第１の画像情報の撮像後に前記車両の周囲の第２の画像情報を撮像する。そして、変化領域抽出手段が、第１の画像情報及び第２の画像情報を取得し、第１の画像情報及び第２の画像情報に対して画像処理を行って、第１の画像情報と第２の画像情報とを比較し、第２の画像情報上において第１の画像情報に対して変化している領域（以下、単に、変化領域ともいう。）を抽出する。この抽出された変化領域の濃度の一様性を、一様性評価手段が評価し、判定手段が、当該評価された変化領域の濃度の一様性と所定値とを比較し、第２の画像情報上において第１の画像情報に対する変化が、物体自体による変化であるか、それとも物体の影による変化かの判定を行い、報知手段が、当該判定に基づいて、車両の運転者に対して報知を行う。
【００１０】
本発明によれば、前記変化領域の濃度の一様性の評価を行うことにより、車両の周囲に生じた変化が、物体自体によるものか、それとも当該物体の影によるものであるかの区別をすることが可能となり、画像情報における物体の影の出現・消失による誤検出を防止することができ、誤報知を防止することが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は本発明の実施形態に係る車両周囲監視装置のシステム構成を示すブロック図、図２は本発明の実施形態に係る車両周囲監視装置を搭載した車両の模式図、図３は図１の画像処理ＥＣＵの内部構成を示すブロック図である。
【００１２】
本発明の実施形態に係る車両周囲監視装置１は、特に車両１００の後方周囲を監視する装置であり、図１に示すように、車両の後方周囲を撮像するカメラ１０（撮像手段）と、当該カメラ１０より取得した画像情報に基づいて障害物の存在の有無の判定を行う画像処理ＥＣＵ２０（変化領域抽出手段、一様性評価手段、判定手段）と、位置計測機能及び経路誘導機能を有する車両用のナビゲーションＥＣＵ３０と、リバーススイッチ４０と、車速センサ５０と、スピーカ６０（報知手段）と、画像処理ＥＣＵ２０からの後方画像情報Ｑ_１又はナビゲーションＥＣＵ３０からのナビゲーション画像情報Ｑ_２を車室内に表示するモニタ７０とを備えている。なお、図１には、上記のように構成される車両周囲監視装置１を動作させる上で必要な電源等は特に図示していないが、例えば車両１００の車載バッテリーなどから当該車両周囲監視装置１に電力が供給される。
【００１３】
カメラ１０は、図２に示すように、車両１００の後方周囲を撮像可能なように、車両１００のボディの後方に設置されたＣＣＤ方式のカメラであり、その光軸が路面１１０と交差するように、路面１１０と平行な面に対してやや下向きに傾斜して設置されており、撮像した後方画像情報Ｑ_１を画像処理ＥＣＵ２０に送信可能なように接続されている。なお、カメラ１０は上記のようなＣＣＤカメラに限定されることはなく他の方式でも良く、例えば、ＣＭＯＳ方式等のカメラを採用しても良い。
【００１４】
画像処理ＥＣＵ２０は、カメラ１０により撮像された後方画像情報Ｑ_１から、後述する画像処理用の基準画像情報Ｑ_１１及び比較画像情報Ｑ_１２を適宜取得し、当該画像情報Ｑ_１１、Ｑ_１２に基づいて、車両１００の後方周囲の障害物の存在の有無の判定を行うものである。
【００１５】
この画像処理ＥＣＵ２０は、図３に示すように、画像処理ＥＣＵ２０全体の動作を制御するためのプログラムを実行するＣＰＵ２１と、画像情報の濃度値を基に画像フレーム間、画素間での、例えば、算術演算、論理演算、フィルタリング、エッジ抽出処理、２値化処理、ラベリング処理、回転・移動・拡大・縮小等の図形的処理などの画像処理を高速で実行可能な画像処理用プロセッサ２２ａ及び画像データをフレーム単位で複数記憶できる画像メモリ２２ｂを有する画像処理部２２と、上記のプログラムの処理過程で必要に応じてデータを一時的に記憶するＲＡＭ２３と、ＣＰＵ２１の実行するプログラムを格納するＲＯＭ２４と、ＣＰＵ２１の指令に基づいて、画像処理部２２で画像処理された後方画像情報Ｑ_１又はナビゲーションＥＵＣ３０からのナビゲーション画像情報Ｑ_２を適宜切り替えてモニタ７０に出力する画像切替部２５と、ＣＰＵ２１とリバーススイッチ４０、車速センサ５０、スピーカ６０との間に位置して信号入出力の仲介を行う入出力インターフェース２６とを備えている。
【００１６】
図３に示すように、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２、ＲＡＭ２３、ＲＯＭ２４及び入出力インターフェイス２６と信号を入出力可能なように接続されている。また、当該ＣＰＵ２１は、画像切替部２５に対して信号を出力可能なように接続されている。
【００１７】
この画像処理ＥＣＵ２０は、具体的には、まず、カメラ１０により撮像された後方画像情報Ｑ_１から、車両１００が後方進行中（リバースポジションが選択された状態）に一旦停止した際に基準となる基準画像情報Ｑ_１１（第１の画像情報）を取得する。さらに、当該基準画像情報Ｑ_１１の撮像後に車両１００の後方で生じた変化を抽出するために、一旦停止が継続されている間に、比較画像情報Ｑ_１２（第２の画像情報）をカメラ１０から取得する。次に、取得した基準画像情報Ｑ_１１及び比較画像情報Ｑ_１２に対して画像処理を行い、比較画像情報Ｑ_１２上で基準画像情報Ｑ_１１に対して変化している変化領域ＡＲを抽出する。そして、この抽出された変化領域ＡＲにおける濃度の一様性（バラツキ）の評価を行い、当該一様性に基づいて、変化領域ＡＲが障害物の影であるとの判定をする。車両１００が後方進行中の一旦停止の間、随時、比較画像情報Ｑ_１２が更新され、上記の判定が繰り返される。なお、この画像処理ＥＣＵ２０の詳細な動作については、後に詳述する。
【００１８】
ナビゲーションＥＣＵ３０は、ＧＰＳ等により自車両１００の位置を計測し、モニタ７０を介して、地図上に自車両１００の現在位置を示す位置計測機能を有すると共に、自車両１００を目的地まで誘導する経路誘導機能を有する。このナビゲーションＥＣＵ３０は、位置計測機能により計測された自車両１００の現在位置、及び、経路誘導機能による目的地への誘導のための情報を含むナビゲーション画像情報Ｑ_２を、モニタ７０の画面を通して運転者に対して出力するために、画像処理ＥＣＵ２０の画像切替部２５に接続されている。
【００１９】
リバーススイッチ４０は、車両１００のギヤシフト（不図示）におけるリバースポジションの選択の有無を検出するものである。このリバーススイッチ４０は、当該リバーススイッチ４０の検出結果を画像処理ＥＣＵ２０のＣＰＵ２１に出力可能なように、画像処理ＥＣＵ２０の入出力インターフェイス部２６に接続されている。
【００２０】
車速センサ５０は、車両１００の移動距離に比例したパルス信号を画像処理ＥＣＵ２０のＣＰＵ２１に出力するものである。この車速センサ５０は、当該車速センサ５０での検出結果を画像処理ＥＣＵ２０のＣＰＵ２１に出力可能なように、画像処理ＥＣＵ２０の入出力インターフェイス部２６に接続されている。画像処理ＥＣＵ２０のＣＰＵ２１は、車速センサ５０から取得した所定時間内のパルス数に基づいて車両１００の車速を算出する。
【００２１】
スピーカ６０は、画像処理ＥＣＵ２０における障害物の有無の判定結果に基づいて、例えば、警告音などの運転者の注意や警告を促す報知内容を運転者に対して聴覚的に出力するものであり、車両１００の車室内に設置されている。このスピーカ６０は、報知内容を報知する指示を入力可能なように、画像処理ＥＣＵ２０の入出力インターフェイス部２６に接続されている。
【００２２】
モニタ７０は、カメラ１０により撮像された後方画像情報Ｑ_１又はナビゲーションＥＣＵ３０より出力されたナビゲーション画像情報Ｑ_２を、運転者に対して視覚的に適宜出力するものであり、車両１００の車室内に設置されている。このモニタ７０は、後方画像情報Ｑ_１及びナビゲーション画像情報Ｑ_２を切り替えて出力する画像処理ＥＣＵ２０の画像切替部２５に接続されている。
【００２３】
以下に、車両周囲監視装置１の全体の処理の流れについて、図６及び図７に示す例と共に説明する。
【００２４】
図４は本発明の実施形態に係る車両周囲監視装置のシステム全体の動作を示すフローチャート、図５は図４のステップＳ１２０における画像領域の一様性の評価の詳細なフローチャート、図６（Ａ）〜（Ｆ）は物体の影を検出する過程を説明するための模式図、図７（Ａ）〜（Ｆ）は物体自体を検出する過程を説明するための模式図、図８は画像情報における物体の影の濃度分布の一例を示すグラフ、図９は画像情報における物体自体の濃度分布の一例を示すグラフである。
【００２５】
なお、図６（Ａ）〜（Ｆ）は、車両周囲監視装置１による車両１００の後方周囲の監視中に、日射量が変化し、道路１１０に並置された柱１２０の影１２０’が現れた場合の例を示す。また、図７（Ａ）〜（Ｆ）は、車両周囲監視装置１による車両１００の後方周囲の監視中に、他の車両１３０が接近していた場合の他の例を示す。但し、図６（Ｃ）〜（Ｅ）及び図７（Ｃ）〜（Ｅ）に示す画像情報は、画像処理ＥＣＵ２０における画像処理の過程を説明するための図であり、実際にモニタ７０を介して運転者に対して表示されるものではない。
【００２６】
まず、運転者がイグニッションスイッチ（不図示）をオンにし、車両１００のエンジンが始動すると、図４に示すステップＳ１０において、画像処理ＥＣＵ２０のＣＰＵ２１が画像切替部２５に対して、ナビゲーションＥＣＵ３０から出力されるナビゲーション画像情報Ｑ_２を選択するよう指令を出力し、当該指令に基づいて画像切替部２５がモニタ７０に対して、ナビゲーション画像情報Ｑ_２を選択して出力し、車室内に設置されたモニタ７０に、例えば、自車両１００の現在位置が表示された地図画面等のナビゲーションの画面が表示される。
【００２７】
次に、図４のステップＳ２０において、画像処理ＥＣＵ２０のＣＰＵ２１は、入出力インターフェイス部２６を介して、リバーススイッチ４０から検出信号を取得し、当該検出信号に基づいて、リバースポジションの選択の有無を判断する。
【００２８】
当該判断において、車両１００が通常の前進走行していたり、或いは停車している場合で、リバースポジションが選択されない限り（ステップＳ２０にてＮＯ）、ステップＳ１０を繰り返し、上記のようなナビゲーションの画面のモニタ７０での表示を継続する。
【００２９】
当該判断において、車両１００の駐車等のために、リバースポジションが選択された場合には（ステップＳ２０にてＹＥＳ）、ステップＳ３０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像切替部２５に対して画像処理部２２から出力される後方画像情報Ｑ_１を選択するように指令を出力し、当該指令に基づいて、モニタ７０に対してナビゲーション画像情報Ｑ_２から後方画像情報Ｑ_１に切り替えて出力し、モニタ７０の画面にカメラ１０により車両１００の後方が撮像された例えば、図６（Ａ）や図７（Ａ）に示すような車両１００の後方周囲を映し出した後方画像情報Ｑ_１が表示される。
【００３０】
次に、ステップＳ４０において、画像処理ＥＣＵ２０のＣＰＵ２１は、入出力インターフェイス部２６を介して、車速センサ５０からパルス信号を取得し、当該信号に基づいて、車両１００の現在の車速値ＶＴが０に等しいか否かの判断（ＶＴ＝０）を行う。
【００３１】
車両１００が前進又は後退走行中であり、当該判断において、車速値ＶＴが０でない場合には（ＶＴ≠０、ステップＳ４０においてＮＯ）、ステップＳ４５において、画像処理ＥＣＵ２０のＣＰＵ２１は、ＲＡＭ２３に記憶されている基準画像セットフラグＳＦをオフにし（ＳＦ＝０）、再度、ステップＳ２０に戻り、リバースポジションの選択の有無の判断を行う。
【００３２】
なお、この基準画像セットフラグＳＦは、基準画像情報Ｑ_１１の更新の必要性の有無を示すフラグである。例えば、車両１００が後退走行開始後に後方確認等のため初めて一旦停止するような、新たな基準画像情報Ｑ_１１を取得する必要がある場合にはオフ（ＳＦ＝０）で表現され、これに対して、車両１００が後退走行中の一旦停止を継続しており、新たな基準画像情報Ｑ_１１を取る必要がない場合にはオン（ＳＦ＝１）で表現される。
【００３３】
従って、ステップＳ４５において、基準画像セットフラグＳＦをオフ（ＳＦ＝０）にするのは、車両１００が一旦停止の状態から走行を開始（ステップＳ４０にてＮＯ）したために、この走行により後方周囲の状況が変化しており、次の一旦停止時には、新たな基準画像情報Ｑ_１１を取得して更新する必要があるためである。なお、初期状態において（エンジン始動時）は、基準となる基準画像情報Ｑ_１１が常に必要とされるため、当該基準画像セットフラグＳＦはオフ（ＳＦ＝０）に設定されている。
【００３４】
車両１００が、リバースポジション選択時に、例えば後方確認のために一旦停止し、ステップＳ４０において、車速値ＶＴが０であると判断された場合には（ＶＴ＝０、ステップＳ４０においてＹＥＳ）、ステップＳ５０において、画像処理ＥＣＵ２０のＣＰＵ２１は、上記の基準画像セットフラグＳＦがオンであるか否か、即ち、新たな基準画像情報Ｑ_１１を取得して更新する必要があるか否かの判断を行う。
【００３５】
この判断において、基準画像セットフラグＳＦがオフである（ＳＦ＝０）と判断された場合には（ステップＳ５０にてＮＯ）、ステップＳ６０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２に対して、カメラ１０より入力される後方画像情報Ｑ_１から基準画像情報Ｑ_１１を取得するように指令を出力する。この指令に基づいて、画像処理ＥＣＵ２０の画像処理部２２は、カメラ１０より入力される後方画像情報Ｑ_１から基準画像情報Ｑ_１１を取得し、当該基準画像情報Ｑ_１１を、画像処理部２２の画像メモリ２２ｂに記憶する。
【００３６】
図６に示す例では、画像処理部２２の画像メモリ２２ｂに記憶される基準画像情報Ｑ_１１は、図６（Ａ）に示す画像情報であり、図７に示す例の場合には、図７（Ａ）に示す画像情報である。なお、図６（Ａ）の状態は、太陽が雲に隠れて日照量が比較的少ない状態にあり、図７（Ａ）の状態は、カメラ１０の撮像可能範囲内に他の車両１３０がまだ侵入していない状態である。
【００３７】
次に、図４のステップＳ７０において、画像処理ＥＣＵ２０のＣＰＵ２１が、ＲＡＭ２３に記憶された基準画像セットフラグＳＦをオンにし（ＳＦ＝１）、ステップＳ８０に進む。
【００３８】
ステップＳ５０の判断において、基準画像セットフラグＳＦがオンである（ＳＦ＝１）と判断された場合には（ステップＳ５０にてＹＥＳ）、例えば、車両１００の後方進行中における例えば後方確認などのための一旦停止が継続して行われており、新たな基準画像情報Ｑ_１１に更新する必要がないので、ステップＳ８０の処理に進む。
【００３９】
ステップＳ８０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２に対して、カメラ１０より入力される後方画像情報Ｑ_１から比較画像情報Ｑ_１２を取得するように指令を出力する。この指令に基づいて、画像処理ＥＣＵ２０の画像処理部２２は、カメラ１０より入力される後方画像情報Ｑ_１から比較画像情報Ｑ_１２を取得し、当該比較画像情報Ｑ_１２を、画像処理部２２の画像メモリ２２ｂに記憶する。この比較画像情報Ｑ_１２は、ステップＳ６０において取得された基準画像情報Ｑ_１１の撮像時の後に撮像されたものであり、基準画像情報Ｑ_１１の撮像時から当該比較画像情報Ｑ_１２撮像時の間に、例えば、日射量の変化による影の出現や他の車両１３０の接近などの車両１００の後方周囲で生じた変化が含まれている。
【００４０】
図６に示す例では、画像処理部２２の画像メモリ２２ｂに記憶される比較画像情報Ｑ_１２は、図６（Ｂ）に示す画像情報であり、図７に示す例では、図７（Ｂ）に示す画像情報である。
【００４１】
図６に示す例において、図６（Ａ）に示す基準画像情報Ｑ_１１が取得された時点から、図６（Ｂ）に示す比較画像情報Ｑ_１２が取得される時点までの間に、太陽を覆っていた雲が移動し、急速に日射量が多くなっている。白黒の濃度階調を０から２５５の２５６段階で表現した場合、この天候の急変により、画像情報上において、図６（Ａ）の背景部の平均濃度値は約９０であったのに対し、図６（Ｂ）の背景部の平均濃度値は約２００となり、道路に並置された柱１２０の影１２０’が、車両１００の後方の路面１１０に出現している。なお、この柱の影１２０’の平均濃度値は約８０である。
【００４２】
図７に示す例においては、図７（Ａ）に示す基準画像情報Ｑ_１１が所得された時点から図７（Ｂ）に示す比較画像情報Ｑ_１２が取得される時点までの間に、自車両１００の後方において他の車両１３０が接近してきている。
【００４３】
次に、図４のステップＳ９０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２に対し、基準画像情報Ｑ_１１と比較画像情報Ｑ_１２との差分処理の実行の指令を出力する。画像処理部２２は、この指令に基づいて、画像メモリに記憶された基準画像情報Ｑ_１１と、比較画像情報Ｑ_１２との差分処理を実行し、基準画像情報Ｑ_１１と比較画像情報Ｑ_１２との相違点、即ち、基準画像情報Ｑ_１１の取得から比較画像情報Ｑ_１２の取得までの間に車両１００の後方周囲において生じた変化が示された差分画像情報を取得する。なお、この差分画像情報には、基準画像情報Ｑ_１１取得時から比較画像情報Ｑ_１２取得時までの間に、車両１００の後方で生じた変化ではない複数の細かなエッジ１４０や小領域（不図示）が含まれている。
【００４４】
図６に示す例において、基準画像情報Ｑ_１１と比較画像情報Ｑ_１２との差分処理後の差分画像情報は、図６（Ｃ）に示す画像情報である。当該差分処理の結果、図６（Ｃ）に示す差分画像情報には、約１１０（＝｜［比較画像情報Ｑ_１２の背景部平均濃度２００］−［基準画像情報Ｑ_１１の背景部平均濃度約９０］｜）の平均濃度の背景部が示されている。また、比較画像情報Ｑ_１２上にのみ存在する柱の影１２０’が平均濃度約１０（＝｜［基準画像情報Ｑ_１１の背景部平均濃度９０］−［比較画像情報Ｑ_１２の柱の影１２０’の平均濃度８０］｜）で示されている。さらに、差分処理の結果生じた細かなエッジ１４０が残っている。
【００４５】
図７に示す例において、基準画像情報Ｑ_１１と比較画像情報Ｑ_１２との差分処理後の差分画像情報は、図７（Ｃ）に示す画像情報である。当該差分処理の結果、図７（Ｃ）に示す画像情報には、他の車両１３０の領域と、複数の細かなエッジ１４０が残されている。
【００４６】
次に、図４のステップＳ１００において、画像処理ＥＣＵ２０の画像処理部２２は、差分画像情報の各画素の濃度と、予め設定された所定濃度値とを比較して２値化処理を行い、次に、当該２値化処理で残った連結する画素同士にラベルを付与し（ラベリング処理）、所定の面積以上の大きさを持つラベルのみを残し、２値化処理により濃度値０となった領域をテンプレートＴＰとして設定し、ＴＰ画像情報を画像メモリ２２ｂに記憶する。当該ＴＰ画像情報において２値化処理によりテンプレートＴＰ以外の領域は濃度値２５５で示されている。この２値化及びラベリング処理によい、差分処理の結果生じた細かなエッジ１４０や小領域が除去される。
【００４７】
図６に示す例において、２値化及びラベリング処理後のＴＰ画像情報は、図６（Ｄ）に示す画像情報である。図６（Ｄ）において柱の影１２０’を示す領域がテンプレートＴＰ１で示されている。この２値化及びラベリング処理により、差分処理の結果生じた複数の細かなエッジ１４０が除去されている。
【００４８】
また、図７に示す例において、２値化及びラベリング処理後のＴＰ画像情報は、図７（Ｄ）に示す画像情報である。図７（Ｄ）において他の車両１３０を示す領域がテンプレートＴＰ２で示されている。この２値化及びラベリング処理により、差分処理の結果生じた複数の細かなエッジ１４０が除去されている。
【００４９】
なお、図６（Ｄ）及び図７（Ｄ）には、同一の比較画像情報Ｑ_１２上に単一のテンプレートＴＰしか示されていないが、車両１００の後方周囲の状況によっては、ＴＰ_１、ＴＰ_２、ＴＰ_３、・・・、ＴＰ_ｎ（ｎは自然数）のように同一のＴＰ画像情報上に複数のテンプレートＴＰが存在する場合がある。
【００５０】
次に、図４のステップＳ１１０において、画像処理ＥＣＵ２０の画像処理部２２は、ステップＳ８０で取得した比較画像情報Ｑ_１２に、上記の２値化及びラベリング処理により得られたＴＰ画像情報を適用して、比較画像情報Ｑ_１２においてＴＰ画像情報のテンプレートＴＰと一致する部分を、基準画像情報Ｑ_１１取得時から比較画像情報Ｑ_１２取得時までの間に生じた変化した変化領域ＡＲとして残し、当該変化領域ＡＲ以外の領域を除去する。この動作により、比較画像情報Ｑ_１２上の変化領域ＡＲのみを切り出すことができる。
【００５１】
図６の例において、抽出された変化領域ＡＲのみが示された比較画像情報Ｑ_１２は、図６（Ｅ）に示す画像情報である。図６（Ｅ）において、柱の影１２０’を示す領域のみが変化領域ＡＲ１で示されている。また、図７に示す例において、抽出された変化領域ＡＲのみが示された比較画像情報Ｑ_１２は、図７（Ｅ）に示す画像情報である。図７（Ｅ）において、他の車両１３０を示す領域のみが変化領域ＡＲ２で示されている。なお、図６（Ｅ）及び図７（Ｅ）には、同一の比較画像情報Ｑ_１２上に単一の変化領域ＡＲのみしか存在していないが、同一の比較画像情報Ｑ_１２上に存在するテンプレートＴＰの数に対応して、同一の比較画像情報Ｑ_１２上にｎ個の変化領域ＡＲ_１、ＡＲ_２、ＡＲ_３、・・・、ＡＲ_ｎが存在する場合もある。
【００５２】
次に、図４のステップＳ１２０において、画像処理ＥＣＵ２０の画像処理部２２は、ステップＳ１１０で抽出された比較画像領域Ｑ_１２の変化領域ＡＲの濃度の一様性の評価を行い、変化領域ＡＲが障害物自体であるか物体の影であるかの判定を行う。
【００５３】
ここで、図８には、例えば図６（Ｂ）に示す柱の影１２０’のような物体の影の濃度分布の一例が示されており、図９には、例えば図７（Ｂ）に示す他の車両１３０のような物体自体の濃度分布の一例が示されている。例えば、図８に示す物体の影の平均濃度値は８３．９であり、図９に示す物体自体の平均濃度値は８８．４であり、物体自体でもその影でも平均濃度値上においては大差はない。
【００５４】
しかしながら、例えば、図８に示す物体の影の濃度は全体として平均濃度に対して比較的一様であり、その濃度分散値が６０．９であるのに対して、図９に示す物体自体の濃度は全体として平均濃度に対して比較的一様性が弱く、その濃度分散値は１０５８．８であり、物体自体とその影とに著しい差異が存在する。本発明の実施形態では、このような物体自体とその影との濃度の一様性の差異に基づいて、変化領域ＡＲが障害物自体であるか否かの判定を行うものである。なお、図８及び図９の例に伴って上記に示した平均濃度値は、本発明の実施形態における濃度の一様性評価による物体自体の判断方法の説明のために用いた一例にすぎず、実際の日射量等の周囲環境の違いにより異なってくるものである。
【００５５】
変化領域ＡＲの濃度の一様性の評価は、図５に示すフローチャートに従って進められる。
【００５６】
まず、図５のステップＳ１２１において、画像処理ＥＣＵ２０のＣＰＵ２１は、変化領域ＡＲの数ｎを、ＲＡＭ２３内に記憶された変化領域数Ｎａにセットする（Ｎａ＝ｎ）。次に、ステップＳ１２２において、画像処理ＥＣＵ２０のＣＰＵ２１は、ＲＡＭ２３内に記憶されたカウンタｃを１にセットする（ｃ＝１）。
【００５７】
次に、図５のステップＳ１２３において、画像処理ＥＣＵ２０の画像処理部２２は、変化領域ＡＲ（ｎ＝１）の平均濃度値Ｅを式１に基づいて算出する。なお、この平均濃度値Ｅは、変化領域ＡＲを占めるＮ個の画素の各濃度Ｐ_（ｉ）（ｉは１、２、３、・・・、Ｎの自然数）の平均で算出される。
【００５８】
【式１】

次に、図５のステップＳ１２４において、画像処理ＥＣＵ２０の画像処理部２２は、上記の平均濃度値Ｅから変化領域ＡＲの濃度分散値Ｖを式２に基づいて算出する。
【００５９】
【式２】

次に、図５のステップＳ１２５において、画像処理ＥＣＵ２０のＣＰＵ２１は、ステップＳ１２４で算出された変化領域ＡＲの濃度分散値Ｖを予め定められた所定の所定値Ｗとの比較を行う。この所定の所定値Ｗの具体的な数値は、上述の図８及び図９の場合を例にとると、例えば、６０．９＜Ｗ＜１０５８．８の間から選択される。
【００６０】
当該比較において、変化領域ＡＲの濃度分散値Ｖが、所定値Ｗより大きい場合には（Ｖ＞Ｗ、ステップＳ１２５にてＹＥＳ）、ステップＳ１２６において、変化領域ＡＲを実体のある障害物と判定し、ＲＡＭ２３に変化領域ＡＲの属性を障害物領域として記憶をする。
【００６１】
これに対し、変化領域ＡＲの濃度分散値Ｖが、所定値Ｗ以下である場合には（Ｖ≦Ｗ、ステップＳ１２５にてＮＯ）、ステップＳ１２７において、変化領域ＡＲが障害物自体ではなく、日射量の変化による物体の影と判定し、ＲＡＭ２３に変化領域ＡＲの属性を影領域として記憶をする。
【００６２】
次に、図５のステップＳ１２８において、画像処理ＥＣＵ２０のＣＰＵ２１は、カウンタｃと、変化領域数Ｎａとを比較する。当該比較において、カウンタｃが変化領域数Ｎａに満たない場合には（ｃ＜Ｎａ、ステップＳ１２８にてＮＯ）、ステップＳ１２９において、画像処理ＥＣＵ２０のＣＰＵ２１は、ＲＡＭ２３内に記憶されたカウンタｃをインクリメントさせて（ｃ＝ｃ＋１）、ステップＳ１２３に戻り、比較画像情報Ｑ_１２上に存在する次の変化領域ＡＲの判定を行う。従って、カウンタｃが変化領域数Ｎａと一致するまで、図５のステップＳ１２３からステップＳ１２８までの動作が繰り返され、ｎ個の変化領域ＡＲ_１、ＡＲ_２、ＡＲ_３、・・・、ＡＲ_ｎに対して、それぞれ平均濃度値Ｅ_１、Ｅ_２、Ｅ_３、・・・、Ｅ_ｎ及び濃度分散値Ｖ_１、Ｖ_２、Ｖ_３、・・・、Ｖ_ｎの算出が行われ、それぞれ障害物の判定が行われる。
【００６３】
図５のステップＳ１２８の比較において、カウンタｃが変化領域数Ｎａと等しい場合には（ｃ＝Ｎａ、ステップＳ１２８にてＹＥＳ）、同一の比較画像情報Ｑ_１２上に存在するｎ個全ての変化領域ＡＲ_１、ＡＲ_２、ＡＲ_３、・・・、ＡＲ_ｎの一様性の評価が終了したこととなるので、図４のステップＳ１３０に進む。
【００６４】
図４のステップＳ１３０において、画像処理ＥＣＵ２０のＣＰＵ２１は、ステップＳ１２０での属性が障害物領域として登録された変化領域ＡＲが一つ以上存在するか否かの判断を行う。
【００６５】
当該判断において、障害物登録された変化領域ＡＲが一つ以上存在している場合には（ステップＳ１３０にてＹＥＳ）、画像処理ＥＣＵ２０の画像処理部２２は、ＣＰＵ２１の指令に基づいて、カメラ１０が撮像した後方画像情報Ｑ_１上に、障害物登録された変化領域ＡＲに相当する位置に障害物であることを示すマーク１５０を重畳表示する。これと共に、スピーカ６０が、画像処理ＥＣＵ２０のＣＰＵ２１の指令に基づいて、例えば、ブザー音のような運転者に対して自車両１００の後方周囲に障害物が出現したことを知らせる報知内容を報知する。図７に示す例において、図７（Ｆ）では、障害物である他の車両１３０にマーク１５０が重畳表示されている。これに対し、図６に示す例において、図６（Ｆ）では、柱の影１２０’は、障害物自体でないため、マーク１５０が重畳表示されていない。
【００６６】
図４のステップＳ１３０での障害物登録された変化領域ＡＲが存在していない場合（ステップＳ１３０にてＮＯ）、或いは、ステップＳ１５０においてスピーカ６０が報知を行った後、ステップＳ２０に戻り、画像処理ＥＣＵ２０のＣＰＵ２１が、リバースポジションの選択の有無の判断を行い、上記の動作を繰り返す。
【００６７】
以上のように、比較画像情報上において基準画像情報に対して変化している変化領域の濃度の一様性の評価を行い、この評価に基づいて、当該変化領域が物体自体により生じたものか、或いは物体の影により生じたものかの判断を行うことにより、物体の影の誤検出による誤報知を防止することが可能となる。
【００６８】
以下に、本発明の実施形態に係る車両周囲監視装置１を具体的な例に則して動作の流れについて説明する。
【００６９】
まず、運転者が車両１００に乗り込み、エンジンをかけた後、前進走行し、或いは停止中である場合には、車室内のモニタ７０にはナビゲーション画面が絶えず表示されている（ステップＳ１０及びＳ２０）。
【００７０】
前進走行から、例えば駐車などで後退走行するために、運転者がシフト操作をしてギヤシフトをリバースポジションに入れると、リバーススイッチ４０がこれを検出して（ステップＳ２０）、モニタ７０がナビゲーション画面から車両後方の撮像画面に切り替えられる（ステップＳ３０）。
【００７１】
そして、後退走行している車両１００が、例えば後方確認などのために一旦停止すると（ステップＳ４０）、カメラ１０により基準画像情報Ｑ_１１及び比較画像情報Ｑ_１２を取得する（ステップＳ５０〜Ｓ８０）。なお、この時点での上記の動作は、エンジン始動後の初めての後退走行であるため、基準画像セットフラグＳＦが初期状態（ＳＦ＝０）となっており、無条件で基準画像情報Ｑ_１１が取得される。取得された画像情報Ｑ_１１、Ｑ_１２に対して画像処理を行って変化領域ＡＲを抽出し、この変化領域ＡＲの濃度の一様性の評価をして、当該変化領域ＡＲが物体自体による変化か、或いは物体の影による変化であるかの判定を行う（ステップＳ９０〜１３０）。当該判定結果に基づいて、モニタ７０上の障害物が存在する位置にマーク１５０を重畳表示する（ステップＳ１４０）と共に、スピーカ６０が報知を行う（ステップＳ１５０）。
【００７２】
後方確認などのための一旦停止が継続されている間は、車両１００の後方周囲の基準となる画像を更新する必要がなく、基準画像セットフラグＳＦがオン（ＳＦ＝１）になっているので、新たな基準画像情報Ｑ_１１が取得されることはなく、比較画像情報Ｑ１２のみが逐次更新されて、２回目以降の上記の動作が行われる。なお、ステップＳ１３０において、車両１００の後方から障害物が存在しないと判定された場合、マーク１５０の重畳表示及びスピーカ６０による報知は行わない。
【００７３】
後方確認が終了し、再び車両１００が後退走行を開始すると（ステップＳ４０）、次回の一旦停止時に車両１００の後方周囲の様子が変わるため、基準画像セットフラグＳＦがオフ（ＳＦ＝０）にされる（ステップＳ４５）。
【００７４】
再度、後方確認などのために車両１００が一旦停止すると（ステップＳ４０）、上記のように基準画像セットフラグＳＦがオフ（ＳＦ＝０）となっているため、新たな基準画像情報Ｑ_１１を取得して更新し（ステップＳ６０）、一連の動作（ステップＳ８０〜Ｓ１３０）を行い、マーク１５０の重畳表示及びスピーカ６０による報知（ステップＳ１４０及びステップＳ１５０）が行われる。
【００７５】
このように、車両後方進行中に、例えば後方確認などのために一旦停止する毎に、障害物の検出の基準となる基準画像情報を逐次更新することにより、車両の後方周囲の情報を常に最新の状態に維持することができ、正確な後方周囲の監視が可能となる。
【００７６】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。例えば、上記の実施形態では、車両の後方周囲を監視する車両周囲監視装置として説明したが、車両の後方周囲に限定されず、車両の前方周囲や側方周囲等を監視しても良い。また、上記の実施形態では、変化領域の濃度の一様性の評価に、当該変化領域の濃度の分散値を用いたが、特に分散値に限定されず、例えば、当該変化領域の濃度の標準偏差を用いても良い。さらに、上記の実施形態では、ナビゲーションシステムと連動した車両周囲監視装置として説明したが、特にこれに限定されず、ナビゲーション装置、オーディオ、エアコン、車両のメンテナンス情報などの集中的に制御するシステムと連動していても良い。
【図面の簡単な説明】
【図１】図１は本発明の実施形態に係る車両周囲監視装置のシステム構成を示すブロック図である。
【図２】図２は本発明の実施形態に係る車両周囲監視装置を搭載した車両の模式図である。
【図３】図３は図１の画像処理ＥＣＵの内部構成を示すブロック図である。
【図４】図４は本発明の実施形態に係る車両周囲監視装置のシステム全体の動作を示すフローチャートである。
【図５】図５は図４のステップＳ１２０における画像領域の一様性の評価の詳細なフローチャートである。
【図６】図６（Ａ）〜（Ｆ）は物体の影を検出する過程を説明するための模式図である。
【図７】図７（Ａ）〜（Ｆ）は物体自体を検出する過程を説明するための模式図である。
【図８】図８は画像情報における物体の影の濃度分布の一例を示すグラフである。
【図９】図９は画像情報における物体自体の濃度分布の一例を示すグラフである。
【符号の説明】
１…車両周囲監視装置
１０…カメラ
２０…画像処理ＥＣＵ
３０…ナビゲーションＥＣＵ
４０…リバーススイッチ
５０…車速センサ
６０…スピーカ
７０…モニタ
１００…自車両
１２０…柱
１２０’…柱の影
１３０…他の車両
ＡＲ…変化領域
Ｑ_１…後方画像情報
Ｑ_１１…基準画像情報
Ｑ_１２…比較画像情報
Ｑ_２…ナビゲーション画像情報
ＴＰ…テンプレート[0001]
【Technical field】
The present invention relates to a vehicle periphery monitoring device and a vehicle periphery monitoring method that monitor the periphery of a vehicle such as behind a vehicle by image processing and notify a driver of the vehicle to support safety confirmation.
[0002]
[Background Art]
In order to confirm safety around the vehicle, when the vehicle is stopped, reference image information captured using a camera and comparison image information captured after capturing the reference image information are acquired, and the reference image information and the comparison image are acquired. Performs image processing on the information, extracts a changed area that has changed from the reference image information on the comparison image information, and determines whether the extracted changed area is a change due to the intrusion of an obstacle. In addition, a vehicle surroundings monitoring device that notifies a driver of a vehicle based on the determination result is known (for example, see Patent Literature 1 and Patent Literature 2).
[0003]
However, in the above-described vehicle periphery monitoring device, it is not distinguished whether the change area that appears on the image information is the obstacle itself or the shadow of the obstacle. In spite of the fact that this is not the case, the shadow area may be erroneously detected as an obstacle area, and there is a possibility that the shadow area may be informed even though it does not affect the progress of the vehicle.
[0004]
Also, during the period from when the reference image information is obtained to when the comparative image information is obtained, for example, the weather may suddenly change, for example, suddenly changing from cloudy to sunny, or conversely, suddenly changing from sunny to cloudy, The sudden change in the weather may increase or decrease the amount of solar radiation, and the surroundings of the vehicle may become brighter or darker. With this rapid change in solar radiation, shadows of obstacles that do not exist in the reference image information, such as pillars, signs, buildings, parked vehicles, etc., existing around the own vehicle appear or disappear in the comparative image information. .
[0005]
These shadows are extracted as a region of change in the comparison image information with respect to the reference image information when comparing the reference image information and the comparison image information, and as if an obstacle appeared and disappeared behind the vehicle. There is a risk that the erroneous detection will give a notification even though the traveling of the vehicle is not affected.
[0006]
[Patent Document 1]
JP 2000-177513 A
[Patent Document 2]
JP 2000-182027 A
DISCLOSURE OF THE INVENTION
The present invention relates to a vehicle surroundings monitoring device and a vehicle surroundings monitoring method for monitoring the surroundings of a vehicle to assist in safety confirmation, and more particularly to a vehicle surroundings monitoring device and a vehicle surroundings monitoring method that prevent erroneous detection and notification. The purpose is to:
[0007]
In order to achieve the above object, according to the present invention, an imaging unit for imaging the periphery of a vehicle, first image information imaged by the imaging unit, and after the imaging unit has imaged the first image information, Acquiring the captured second image information, comparing the first image information with the second image information, and changing the first image information on the second image information with respect to the first image information; Changing area extracting means for extracting an area, uniformity evaluating means for evaluating the uniformity of the density of the changing area extracted by the changing area extracting means, and uniformity of the density of the evaluated changing area Is compared with a predetermined value to determine whether the change area is the object itself, and a notifying means for notifying the driver of the vehicle based on a result of the determination by the determining means. And a vehicle surroundings monitoring device comprising:
[0008]
In order to achieve the above object, according to the present invention, a step of capturing first image information around a vehicle, and a step of capturing second image information around the vehicle after capturing the first image information And extracting a change area that is different from the first image information on the second image information by comparing the first image information with the second image information. Evaluating the uniformity of the density of the extracted change area; comparing the evaluated uniformity of the density of the change area with a predetermined value; determining whether the change area is the object itself. And a step of notifying the driver of the vehicle based on the result of the determination.
[0009]
In the present invention, the imaging unit captures first image information around the vehicle, and the imaging unit captures second image information around the vehicle after capturing the first image information. Then, the change area extracting means acquires the first image information and the second image information, performs image processing on the first image information and the second image information, and obtains the first image information and the second image information. The second image information is compared with the second image information, and an area that changes from the first image information on the second image information (hereinafter, also simply referred to as a changed area) is extracted. The uniformity evaluation means evaluates the uniformity of the density of the extracted change area, and the determination means compares the uniformity of the density of the evaluated change area with a predetermined value. A determination is made as to whether the change to the first image information is a change due to the object itself or a change due to the shadow of the object on the image information, and the notifying unit notifies the driver of the vehicle based on the determination. Make a notification.
[0010]
According to the present invention, by evaluating the uniformity of the density of the change area, it is possible to determine whether the change generated around the vehicle is due to the object itself or to the shadow of the object. It is possible to prevent erroneous detection due to appearance and disappearance of a shadow of an object in image information, and prevent erroneous notification.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a system configuration of a vehicle periphery monitoring device according to an embodiment of the present invention, FIG. 2 is a schematic diagram of a vehicle equipped with the vehicle periphery monitoring device according to the embodiment of the present invention, and FIG. FIG. 3 is a block diagram illustrating an internal configuration of an image processing ECU.
[0012]
The vehicle periphery monitoring device 1 according to the embodiment of the present invention is a device for monitoring particularly the rear periphery of the vehicle 100, and as shown in FIG. An image processing ECU 20 (change area extraction means, uniformity evaluation means, determination means) for determining the presence or absence of an obstacle based on image information acquired from the camera 10, and a vehicle having a position measurement function and a route guidance function Navigation ECU 30, reverse switch 40, vehicle speed sensor 50, speaker 60 (notifying means), and rear image information Q from image processing ECU 20. ₁ Or, the navigation image information Q from the navigation ECU 30 ₂ Is displayed in the vehicle interior. In FIG. 1, a power supply and the like necessary for operating the vehicle surroundings monitoring device 1 configured as described above are not particularly shown. Is supplied with power.
[0013]
As shown in FIG. 2, the camera 10 is a CCD camera installed behind the body of the vehicle 100 so that an image around the rear of the vehicle 100 can be captured. In addition, it is installed so as to be slightly downwardly inclined with respect to a plane parallel to the road surface 110, and the captured rear image information Q ₁ To the image processing ECU 20. It should be noted that the camera 10 is not limited to the above-described CCD camera, but may be of another type, for example, a CMOS type camera or the like.
[0014]
The image processing ECU 20 outputs the rear image information Q captured by the camera 10. ₁ From reference image information Q for image processing to be described later ₁₁ And comparative image information Q ₁₂ Is appropriately acquired, and the image information Q ₁₁ , Q ₁₂ Is used to determine the presence or absence of an obstacle around the rear of the vehicle 100.
[0015]
As shown in FIG. 3, the image processing ECU 20 executes a program for controlling the operation of the entire image processing ECU 20 and, for example, between image frames and between pixels based on density values of image information. Image processing processor 22a and image data capable of performing image processing such as arithmetic processing, logical operation, filtering, edge extraction processing, binarization processing, labeling processing, and graphic processing such as rotation, movement, enlargement, and reduction at high speed. An image processing unit 22 having an image memory 22b capable of storing a plurality of frames in frame units, a RAM 23 for temporarily storing data as needed in the course of processing of the program, a ROM 24 for storing a program executed by the CPU 21, The rear image information Q that has been image-processed by the image processing unit 22 based on a command from the CPU 21 ₁ Or navigation image information Q from the navigation EUC 30 ₂ And an input / output interface 26 positioned between the CPU 21 and the reverse switch 40, the vehicle speed sensor 50, and the speaker 60 to mediate signal input / output. .
[0016]
As shown in FIG. 3, the CPU 21 of the image processing ECU 20 is connected to the image processing unit 22, the RAM 23, the ROM 24, and the input / output interface 26 so that signals can be input and output. Further, the CPU 21 is connected so that a signal can be output to the image switching unit 25.
[0017]
Specifically, the image processing ECU 20 firstly outputs the rear image information Q ₁ , The reference image information Q serving as a reference when the vehicle 100 stops temporarily while moving backward (a state where the reverse position is selected) ₁₁ (First image information) is obtained. Further, the reference image information Q ₁₁ In order to extract the change that has occurred behind the vehicle 100 after the imaging of FIG. ₁₂ (Second image information) is acquired from the camera 10. Next, the acquired reference image information Q ₁₁ And comparative image information Q ₁₂ Is subjected to image processing, and the comparison image information Q ₁₂ On the reference image information Q ₁₁ The change area AR that has changed with respect to is extracted. Then, the uniformity (variation) of the density in the extracted change region AR is evaluated, and based on the uniformity, it is determined that the change region AR is a shadow of an obstacle. During the pause while the vehicle 100 is moving backward, the comparative image information Q ₁₂ Is updated, and the above determination is repeated. The detailed operation of the image processing ECU 20 will be described later.
[0018]
The navigation ECU 30 measures the position of the own vehicle 100 by GPS or the like, has a position measuring function for indicating the current position of the own vehicle 100 on a map via a monitor 70, and guides the own vehicle 100 to a destination. It has a guidance function. The navigation ECU 30 includes a navigation image information Q including the current position of the vehicle 100 measured by the position measurement function and information for guiding to the destination by the route guidance function. ₂ Is output to the driver through the screen of the monitor 70 to the image switching unit 25 of the image processing ECU 20.
[0019]
The reverse switch 40 detects whether or not a reverse position has been selected in a gear shift (not shown) of the vehicle 100. The reverse switch 40 is connected to the input / output interface 26 of the image processing ECU 20 so that the detection result of the reverse switch 40 can be output to the CPU 21 of the image processing ECU 20.
[0020]
The vehicle speed sensor 50 outputs a pulse signal proportional to the moving distance of the vehicle 100 to the CPU 21 of the image processing ECU 20. The vehicle speed sensor 50 is connected to the input / output interface 26 of the image processing ECU 20 so that the detection result of the vehicle speed sensor 50 can be output to the CPU 21 of the image processing ECU 20. The CPU 21 of the image processing ECU 20 calculates the vehicle speed of the vehicle 100 based on the number of pulses within a predetermined time acquired from the vehicle speed sensor 50.
[0021]
The speaker 60 outputs, based on the determination result of the presence / absence of the obstacle in the image processing ECU 20, for example, an alert content such as a warning sound or a notification content urging a warning to the driver in an audible manner. It is installed in the cabin of the vehicle 100. The speaker 60 is connected to the input / output interface unit 26 of the image processing ECU 20 so that an instruction for notifying the notification content can be input.
[0022]
The monitor 70 displays the rear image information Q captured by the camera 10. ₁ Alternatively, the navigation image information Q output from the navigation ECU 30 ₂ Is visually output to the driver as appropriate, and is installed in the cabin of the vehicle 100. The monitor 70 displays the rear image information Q ₁ And navigation image information Q ₂ Is connected to the image switching unit 25 of the image processing ECU 20 that switches and outputs the output.
[0023]
Hereinafter, the flow of the entire process of the vehicle periphery monitoring device 1 will be described with reference to the examples illustrated in FIGS. 6 and 7.
[0024]
FIG. 4 is a flowchart showing the operation of the entire system of the vehicle periphery monitoring device according to the embodiment of the present invention, FIG. 5 is a detailed flowchart of the evaluation of the uniformity of the image area in step S120 of FIG. 4, and FIG. 7A to 7F are schematic diagrams for explaining a process of detecting a shadow of an object, FIGS. 7A to 7F are schematic diagrams for explaining a process of detecting an object itself, and FIG. FIG. 9 is a graph showing an example of the density distribution of the shadow of the object, and FIG. 9 is a graph showing an example of the density distribution of the object itself in the image information.
[0025]
6 (A) to 6 (F), during the monitoring of the rear periphery of the vehicle 100 by the vehicle periphery monitoring device 1, the amount of solar radiation changes, and a shadow 120 'of the pillar 120 juxtaposed on the road 110 appears. Here is an example of the case. 7 (A) to 7 (F) show another example in which another vehicle 130 is approaching while monitoring the rear periphery of the vehicle 100 by the vehicle periphery monitoring device 1. However, the image information shown in FIGS. 6C to 6E and FIGS. 7C to 7E is a diagram for explaining a process of image processing in the image processing ECU 20, and is actually performed via the monitor 70. Is not displayed to the driver.
[0026]
First, when the driver turns on an ignition switch (not shown) and the engine of the vehicle 100 starts, the CPU 21 of the image processing ECU 20 outputs the signal from the navigation ECU 30 to the image switching unit 25 in step S10 shown in FIG. Navigation image information Q ₂ Is output, and the image switching unit 25 instructs the monitor 70 to display the navigation image information Q based on the instruction. ₂ Is output, and a navigation screen such as a map screen on which the current position of the vehicle 100 is displayed is displayed on the monitor 70 installed in the vehicle interior.
[0027]
Next, in step S20 in FIG. 4, the CPU 21 of the image processing ECU 20 acquires a detection signal from the reverse switch 40 via the input / output interface unit 26, and determines whether or not the reverse position has been selected based on the detection signal. to decide.
[0028]
In this determination, if the vehicle 100 is traveling forward or stopped normally, and the reverse position is not selected (NO in step S20), step S10 is repeated, and the navigation screen as described above is displayed. The display on the monitor 70 is continued.
[0029]
In this determination, if the reverse position is selected for parking the vehicle 100 or the like (YES in step S20), the CPU 21 of the image processing ECU 20 instructs the image switching unit 25 to perform image processing in step S30. Rear image information Q output from section 22 ₁ Is output to select the navigation image information Q on the monitor 70 based on the instruction. ₂ From the rear image information Q ₁ 6A and FIG. 7A, for example, the rear image information showing the surroundings of the rear of the vehicle 100 as shown in FIG. Q ₁ Is displayed.
[0030]
Next, in step S40, the CPU 21 of the image processing ECU 20 acquires a pulse signal from the vehicle speed sensor 50 via the input / output interface unit 26, and based on the signal, reduces the current vehicle speed value VT of the vehicle 100 to 0. It is determined whether or not they are equal (VT = 0).
[0031]
When the vehicle 100 is traveling forward or backward and the vehicle speed value VT is not 0 in this determination (VT ≠ 0, NO in step S40), the CPU 21 of the image processing ECU 20 stores in the RAM 23 in step S45. The reference image set flag SF is turned off (SF = 0), and the process returns to step S20 to determine whether the reverse position has been selected.
[0032]
It should be noted that the reference image set flag SF corresponds to the reference image information Q ₁₁ Is a flag indicating whether or not the update is necessary. For example, new reference image information Q such that the vehicle 100 temporarily stops for the first time to confirm the rearward direction after the start of reverse travel. ₁₁ Is required to be obtained (OFF) (SF = 0). On the other hand, when the vehicle 100 has been temporarily stopped while moving backward, new reference image information Q ₁₁ When it is not necessary to take the value, it is expressed as ON (SF = 1).
[0033]
Therefore, in step S45, the reference image set flag SF is turned off (SF = 0) because the vehicle 100 starts running from a temporarily stopped state (NO in step S40), and this running causes the vehicle 100 to move backward. The situation has changed, and at the next stop, new reference image information Q ₁₁ This is because it is necessary to acquire and update. In the initial state (when the engine is started), the reference image information Q serving as a reference is used. ₁₁ Is always required, the reference image set flag SF is set to off (SF = 0).
[0034]
When the vehicle 100 is stopped at the time of selecting the reverse position, for example, to confirm the rearward direction, and when it is determined in step S40 that the vehicle speed value VT is 0 (VT = 0, YES in step S40), step S50 is performed. In the above, the CPU 21 of the image processing ECU 20 determines whether or not the reference image set flag SF is on, that is, whether the new reference image information Q ₁₁ It is determined whether or not it is necessary to obtain and update.
[0035]
In this determination, when it is determined that the reference image set flag SF is off (SF = 0) (NO in step S50), the CPU 21 of the image processing ECU 20 instructs the image processing unit 22 to execute step S60. And the rear image information Q input from the camera 10 ₁ To reference image information Q ₁₁ Output a command to obtain Based on this command, the image processing unit 22 of the image processing ECU 20 outputs the rear image information Q input from the camera 10. ₁ To reference image information Q ₁₁ And obtains the reference image information Q ₁₁ Is stored in the image memory 22b of the image processing unit 22.
[0036]
In the example shown in FIG. 6, the reference image information Q stored in the image memory 22b of the image processing unit 22 ₁₁ Is the image information shown in FIG. 6A, and in the case of the example shown in FIG. 7, it is the image information shown in FIG. In the state of FIG. 6A, the sun is hidden by the clouds and the amount of sunshine is relatively small. In the state of FIG. 7A, the other vehicle 130 is still within the photographable range of the camera 10. It has not invaded.
[0037]
Next, in step S70 of FIG. 4, the CPU 21 of the image processing ECU 20 turns on the reference image set flag SF stored in the RAM 23 (SF = 1), and proceeds to step S80.
[0038]
If it is determined in step S50 that the reference image set flag SF is ON (SF = 1) (YES in step S50), for example, for backward confirmation while the vehicle 100 is traveling backward. Is temporarily stopped, and new reference image information Q ₁₁ Since there is no need to update to step S80, the process proceeds to step S80.
[0039]
In step S80, the CPU 21 of the image processing ECU 20 sends the rear image information Q input from the camera 10 to the image processing unit 22. ₁ From comparison image information Q ₁₂ Output a command to obtain Based on this command, the image processing unit 22 of the image processing ECU 20 outputs the rear image information Q input from the camera 10. ₁ From comparison image information Q ₁₂ And obtains the comparative image information Q ₁₂ Is stored in the image memory 22b of the image processing unit 22. This comparison image information Q ₁₂ Is the reference image information Q acquired in step S60. ₁₁ And the reference image information Q ₁₁ The comparison image information Q ₁₂ During imaging, for example, a change that occurs around the rear of the vehicle 100 such as appearance of a shadow due to a change in the amount of solar radiation or approach of another vehicle 130 is included.
[0040]
In the example shown in FIG. 6, the comparison image information Q stored in the image memory 22b of the image processing unit 22 ₁₂ Is the image information shown in FIG. 6B, and in the example shown in FIG. 7, it is the image information shown in FIG. 7B.
[0041]
In the example shown in FIG. 6, the reference image information Q shown in FIG. ₁₁ Is obtained from the time when the comparison image information Q shown in FIG. ₁₂ By the time the sun was acquired, the clouds that had covered the sun were moving and the solar radiation was rapidly increasing. When the black and white density gradation is expressed in 256 levels from 0 to 255, the average density value of the background portion in FIG. The average density value of the background portion in FIG. 6B is about 200, and the shadow 120 ′ of the pillar 120 juxtaposed on the road appears on the road surface 110 behind the vehicle 100. The average density value of the shadow 120 'of this pillar is about 80.
[0042]
In the example shown in FIG. 7, the reference image information Q shown in FIG. ₁₁ The comparison image information Q shown in FIG. ₁₂ By the time when is acquired, another vehicle 130 is approaching behind the host vehicle 100.
[0043]
Next, in step S90 of FIG. 4, the CPU 21 of the image processing ECU 20 sends the reference image information Q to the image processing unit 22. ₁₁ And comparison image information Q ₁₂ And outputs a command to execute the difference processing. The image processing unit 22 receives the reference image information Q stored in the image memory based on this command. ₁₁ And comparison image information Q ₁₂ And the reference image information Q ₁₁ And comparison image information Q ₁₂ , That is, the reference image information Q ₁₁ From acquisition of comparison image information Q ₁₂ The difference image information indicating the change that occurred around the rear of the vehicle 100 until the acquisition of the difference image information is acquired. The difference image information includes the reference image information Q ₁₁ Comparison image information Q from the time of acquisition ₁₂ Until the time of acquisition, a plurality of small edges 140 and small regions (not shown) that are not changes occurring behind the vehicle 100 are included.
[0044]
In the example shown in FIG. ₁₁ And comparison image information Q ₁₂ The difference image information after the difference processing with the image information is the image information shown in FIG. As a result of the difference processing, the difference image information shown in FIG. 6C includes about 110 (= | [comparison image information Q ₁₂ Background average density 200]-[reference image information Q ₁₁ Background part average density of about 90] |) is shown. Also, the comparison image information Q ₁₂ An average density of about 10 (= | [reference image information Q ₁₁ Background density 90]-[Comparative image information Q ₁₂ The average density of the shadow 120 'of the pillar 120' is 80] |). Further, a fine edge 140 resulting from the difference processing remains.
[0045]
In the example shown in FIG. ₁₁ And comparison image information Q ₁₂ The difference image information after the difference processing with the image information is the image information shown in FIG. As a result of the difference processing, an area of another vehicle 130 and a plurality of fine edges 140 are left in the image information illustrated in FIG.
[0046]
Next, in step S100 of FIG. 4, the image processing unit 22 of the image processing ECU 20 performs a binarization process by comparing the density of each pixel of the difference image information with a predetermined density value set in advance. In addition, a label is assigned to the connected pixels remaining in the binarization process (labeling process), and only the label having a size equal to or larger than a predetermined area is left, and an area in which the density value becomes 0 by the binarization process Is set as a template TP, and the TP image information is stored in the image memory 22b. In the TP image information, an area other than the template TP is indicated by a density value 255 by the binarization processing. Fine edges 140 and small areas resulting from the difference processing, which are good for the binarization and labeling processing, are removed.
[0047]
In the example shown in FIG. 6, the TP image information after the binarization and labeling processing is the image information shown in FIG. In FIG. 6D, an area showing the shadow 120 'of the pillar is indicated by a template TP1. By this binarization and labeling processing, a plurality of fine edges 140 generated as a result of the difference processing are removed.
[0048]
In the example illustrated in FIG. 7, the TP image information after the binarization and labeling processing is the image information illustrated in FIG. In FIG. 7D, an area indicating another vehicle 130 is indicated by a template TP2. By this binarization and labeling processing, a plurality of fine edges 140 generated as a result of the difference processing are removed.
[0049]
6D and FIG. 7D show the same comparative image information Q. ₁₂ Although only a single template TP is shown above, depending on circumstances around the rear of the vehicle 100, the TP ₁ , TP ₂ , TP ₃ , ..., TP _n There are cases where a plurality of templates TP exist on the same TP image information as in (n is a natural number).
[0050]
Next, in step S110 of FIG. 4, the image processing unit 22 of the image processing ECU 20 compares the comparison image information Q acquired in step S80. ₁₂ The TP image information obtained by the above-described binarization and labeling processing is applied to the comparison image information Q ₁₂ In the TP image information template TP, the reference image information Q ₁₁ Comparison image information Q from the time of acquisition ₁₂ A region other than the changed region AR is removed while being left as a changed region AR that has changed before the acquisition. By this operation, the comparison image information Q ₁₂ Only the upper change area AR can be cut out.
[0051]
In the example of FIG. 6, the comparison image information Q showing only the extracted change area AR is shown. ₁₂ Is the image information shown in FIG. In FIG. 6E, only the region showing the shadow 120 'of the pillar is shown as the change region AR1. Further, in the example shown in FIG. 7, the comparison image information Q showing only the extracted change area AR is shown. ₁₂ Is the image information shown in FIG. In FIG. 7E, only a region indicating another vehicle 130 is shown as a change region AR2. 6 (E) and FIG. 7 (E) show the same comparison image information Q. ₁₂ Although there is only a single change area AR above, the same comparative image information Q ₁₂ The same comparison image information Q corresponds to the number of templates TP existing above. ₁₂ N change areas AR ₁ , AR ₂ , AR ₃ , ..., AR _n May be present.
[0052]
Next, in step S120 of FIG. 4, the image processing unit 22 of the image processing ECU 20 executes the comparison image area Q extracted in step S110. ₁₂ Is evaluated, and it is determined whether the change area AR is the obstacle itself or the shadow of the object.
[0053]
Here, FIG. 8 shows an example of the density distribution of the shadow of the object such as the pillar shadow 120 ′ shown in FIG. 6B, and FIG. 9 shows, for example, the density distribution of FIG. An example of the density distribution of the object itself such as another vehicle 130 shown is shown. For example, the average density value of the shadow of the object shown in FIG. 8 is 83.9, and the average density value of the object itself shown in FIG. 9 is 88.4. There is no.
[0054]
However, for example, the density of the shadow of the object shown in FIG. 8 is relatively uniform as a whole with respect to the average density, and its density variance is 60.9, whereas the density of the object itself shown in FIG. The density as a whole is relatively less uniform with respect to the average density, and its density variance is 1058.8, indicating that there is a significant difference between the object itself and its shadow. In the embodiment of the present invention, it is determined whether or not the change area AR is the obstacle itself based on the difference in the uniformity of the density between the object itself and the shadow thereof. Note that the average density value described above with reference to the examples of FIGS. 8 and 9 is merely an example used for describing the method of determining the object itself by the density uniformity evaluation in the embodiment of the present invention. It depends on the surrounding environment such as the actual amount of solar radiation.
[0055]
The evaluation of the uniformity of the density of the change area AR proceeds according to the flowchart shown in FIG.
[0056]
First, in step S121 in FIG. 5, the CPU 21 of the image processing ECU 20 sets the number n of the change areas AR to the number Na of change areas stored in the RAM 23 (Na = n). Next, in step S122, the CPU 21 of the image processing ECU 20 sets a counter c stored in the RAM 23 to 1 (c = 1).
[0057]
Next, in step S123 of FIG. 5, the image processing unit 22 of the image processing ECU 20 calculates the average density value E of the change area AR (n = 1) based on Equation 1. Note that this average density value E is the density P of each of N pixels occupying the change area AR. _(I) (I is a natural number of 1, 2, 3,..., N).
[0058]
(Equation 1)

Next, in step S124 of FIG. 5, the image processing unit 22 of the image processing ECU 20 calculates the density variance value V of the change area AR from the above average density value E based on Equation 2.
[0059]
[Equation 2]

Next, in step S125 of FIG. 5, the CPU 21 of the image processing ECU 20 compares the density variance value V of the change area AR calculated in step S124 with a predetermined predetermined value W. The specific numerical value of the predetermined value W is selected from, for example, the range of 60.9 <W <1058.8, taking the cases of FIGS. 8 and 9 as an example.
[0060]
In this comparison, when the density variance value V of the change area AR is larger than the predetermined value W (V> W, YES in step S125), in step S126, the change area AR is determined to be a substantial obstacle. The attribute of the change area AR is stored in the RAM 23 as an obstacle area.
[0061]
On the other hand, when the density variance value V of the change area AR is equal to or smaller than the predetermined value W (V ≦ W, NO in step S125), in step S127, the change area AR is not the obstacle itself but the solar radiation. It is determined that the shadow of the object is caused by the change in the amount, and the attribute of the change area AR is stored in the RAM 23 as a shadow area.
[0062]
Next, in step S128 of FIG. 5, the CPU 21 of the image processing ECU 20 compares the counter c with the number of change areas Na. In this comparison, if the counter c is less than the number of change areas Na (c <Na, NO in step S128), in step S129, the CPU 21 of the image processing ECU 20 increments the counter c stored in the RAM 23. (C = c + 1), the process returns to step S123, and the comparison image information Q ₁₂ The next change area AR existing above is determined. Therefore, the operation from step S123 to step S128 in FIG. 5 is repeated until the counter c matches the number Na of change areas, and the n change areas AR ₁ , AR ₂ , AR ₃ , ..., AR _n With respect to the average density value E ₁ , E ₂ , E ₃ , ..., E _n And the density dispersion value V ₁ , V ₂ , V ₃ , ..., V _n Are calculated, and an obstacle is determined.
[0063]
In the comparison in step S128 in FIG. 5, when the counter c is equal to the number of change areas Na (c = Na, YES in step S128), the same comparison image information Q ₁₂ All n change regions AR present above ₁ , AR ₂ , AR ₃ , ..., AR _n Since the evaluation of the uniformity has been completed, the process proceeds to step S130 in FIG.
[0064]
In step S130 of FIG. 4, the CPU 21 of the image processing ECU 20 determines whether or not there is one or more change areas AR whose attributes have been registered as obstacle areas in step S120.
[0065]
In this determination, if there is one or more change areas AR registered as obstacles (YES in step S130), the image processing unit 22 of the image processing ECU 20 sends the camera 10 based on the instruction from the CPU 21. Image information Q captured by ₁ A mark 150 indicating an obstacle is superimposed and displayed at a position corresponding to the change area AR registered as the obstacle. At the same time, the speaker 60 notifies the driver of a notification such as a buzzer sound that notifies the driver that an obstacle has appeared around the rear of the vehicle 100 based on a command from the CPU 21 of the image processing ECU 20. . In the example shown in FIG. 7, in FIG. 7F, a mark 150 is superimposed on another vehicle 130 which is an obstacle. On the other hand, in the example shown in FIG. 6, in FIG. 6F, the shadow 150 ′ of the pillar is not the obstacle itself, and thus the mark 150 is not superimposed and displayed.
[0066]
If there is no change area AR registered as an obstacle in step S130 in FIG. 4 (NO in step S130), or after the speaker 60 performs notification in step S150, the process returns to step S20 to perform image processing. The CPU 21 of the ECU 20 determines whether or not the reverse position has been selected, and repeats the above operation.
[0067]
As described above, on the comparative image information, the uniformity of the density of the changed area that is changed with respect to the reference image information is evaluated, and based on the evaluation, whether the changed area is caused by the object itself. Alternatively, it is possible to prevent erroneous notification due to erroneous detection of the shadow of the object by determining whether the shadow is caused by the shadow of the object.
[0068]
Hereinafter, the flow of operation of the vehicle surroundings monitoring device 1 according to the embodiment of the present invention will be described based on a specific example.
[0069]
First, when the driver gets into the vehicle 100, starts the engine, and then runs forward or stops, the navigation screen is constantly displayed on the monitor 70 in the vehicle interior (steps S10 and S20). .
[0070]
When the driver performs a shift operation to shift the gear shift to the reverse position in order to travel backward, for example, by parking, etc. from the forward traveling, the reverse switch 40 detects this (step S20), and the monitor 70 displays the navigation screen. The screen is switched to the imaging screen behind the vehicle (step S30).
[0071]
Then, when the vehicle 100 that is traveling backward stops temporarily, for example, to confirm the rearward direction (step S40), the camera 10 uses the reference image information Q ₁₁ And comparative image information Q ₁₂ Is obtained (steps S50 to S80). Since the above operation at this time is the first reverse running after the engine is started, the reference image set flag SF is in the initial state (SF = 0), and the reference image information Q is unconditionally set. ₁₁ Is obtained. Acquired image information Q ₁₁ , Q ₁₂ Is subjected to image processing to extract a change area AR, and the uniformity of the density of the change area AR is evaluated. Is determined (steps S90 to S130). Based on the determination result, the mark 150 is superimposed and displayed at the position where the obstacle is present on the monitor 70 (step S140), and the speaker 60 notifies (step S150).
[0072]
Since the reference image around the rear of the vehicle 100 does not need to be updated while the vehicle is temporarily stopped for back confirmation or the like, the reference image set flag SF is on (SF = 1). , New reference image information Q ₁₁ Is not acquired, only the comparison image information Q12 is sequentially updated, and the above-described operation is performed for the second time and thereafter. When it is determined in step S130 that there is no obstacle from behind the vehicle 100, the superimposed display of the mark 150 and the notification by the speaker 60 are not performed.
[0073]
When the vehicle 100 starts backward traveling again after the backward confirmation has been completed (step S40), the state around the rear of the vehicle 100 changes at the next stop, so that the reference image set flag SF is turned off (SF = 0). (Step S45).
[0074]
When the vehicle 100 is stopped once again for confirmation of the rearward direction (step S40), since the reference image set flag SF is off (SF = 0) as described above, the new reference image information Q ₁₁ Is acquired and updated (step S60), a series of operations (steps S80 to S130) are performed, and the superimposed display of the mark 150 and notification by the speaker 60 (steps S140 and S150) are performed.
[0075]
In this way, the reference image information serving as a reference for detecting an obstacle is sequentially updated every time the vehicle is temporarily stopped, for example, to check the rear of the vehicle, so that the information around the rear of the vehicle is always updated. , And accurate monitoring of the rear periphery can be performed.
[0076]
The embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention. For example, in the above embodiment, the vehicle periphery monitoring device that monitors the periphery of the vehicle has been described. However, the invention is not limited to the periphery of the vehicle. Further, in the above embodiment, the variance of the density of the change area is used for evaluating the uniformity of the density of the change area. However, the variance of the density of the change area is not particularly limited. A deviation may be used. Further, in the above embodiment, the vehicle surrounding monitoring device is described as being interlocked with the navigation system. However, the present invention is not particularly limited to this, and is interlocked with a system for centrally controlling navigation devices, audio, air conditioners, vehicle maintenance information, and the like. May be.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a system configuration of a vehicle periphery monitoring device according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of a vehicle equipped with a vehicle periphery monitoring device according to an embodiment of the present invention.
FIG. 3 is a block diagram showing an internal configuration of the image processing ECU of FIG. 1;
FIG. 4 is a flowchart showing an operation of the entire system of the vehicle periphery monitoring device according to the embodiment of the present invention.
FIG. 5 is a detailed flowchart of evaluation of uniformity of an image area in step S120 of FIG.
FIGS. 6A to 6F are schematic diagrams for explaining a process of detecting a shadow of an object.
FIGS. 7A to 7F are schematic diagrams for explaining a process of detecting an object itself.
FIG. 8 is a graph showing an example of a density distribution of a shadow of an object in image information.
FIG. 9 is a graph showing an example of a density distribution of an object itself in image information.
[Explanation of symbols]
1: Vehicle periphery monitoring device
10. Camera
20 ... Image processing ECU
30 ... Navigation ECU
40 ... Reverse switch
50 ... Vehicle speed sensor
60 ... speaker
70 ... Monitor
100 ... own vehicle
120 ... pillar
120 '... pillar shadow
130 ... Other vehicle
AR: change area
Q ₁ … Back image information
Q ₁₁ … Reference image information
Q ₁₂ … Comparative image information
Q ₂ … Navigation image information
TP… Template

Claims

Imaging means for imaging the periphery of the vehicle;
Acquiring first image information captured by the image capturing unit and second image information captured by the image capturing unit after capturing the first image information; and obtaining the first image information and the second image information. A change area extracting unit that compares the first image information with a change area on the second image information,
Uniformity evaluation means for evaluating the uniformity of the density of the change area extracted by the change area extraction means,
Determining means for comparing the uniformity of the density of the evaluated change area with a predetermined value, and determining whether or not the change area is the object itself;
A vehicle periphery monitoring device comprising: a notifying unit that notifies a driver of the vehicle based on a result of the determination by the determining unit.

The vehicle surroundings monitoring device according to claim 1, wherein the uniformity evaluation unit evaluates the uniformity of the density of the change area by calculating a variance value of the density of the change area.

The change area extracting unit sequentially obtains the first image information from the imaging unit based on a signal obtained from a shift operation unit included in the vehicle and a vehicle speed value of the vehicle. The vehicle surroundings monitoring device according to claim 1, wherein the image information of the vehicle is updated.

Imaging first image information around the vehicle;
Imaging second image information around the vehicle after imaging the first image information;
Comparing the first image information with the second image information, and extracting a change area on the second image information that is changed with respect to the first image information;
Evaluating the uniformity of the density of the extracted change area;
Comparing the uniformity of the density of the evaluated change area with a predetermined value, and determining whether the change area is the object itself;
Notifying the driver of the vehicle based on the determination result.

In the step of evaluating the uniformity of the density of the extracted change area,
The vehicle surroundings monitoring method according to claim 4, wherein uniformity of the density of the change area is evaluated by calculating a variance value of the density of the change area.

The vehicle surroundings monitoring method according to claim 4 or 5, wherein the first image information is sequentially updated based on a signal acquired from a shift operation unit of the vehicle and a vehicle speed value of the vehicle.