JP2004201067A - Vehicle side image monitoring apparatus - Google Patents

Vehicle side image monitoring apparatus Download PDF

Info

Publication number
JP2004201067A
JP2004201067A JP2002367839A JP2002367839A JP2004201067A JP 2004201067 A JP2004201067 A JP 2004201067A JP 2002367839 A JP2002367839 A JP 2002367839A JP 2002367839 A JP2002367839 A JP 2002367839A JP 2004201067 A JP2004201067 A JP 2004201067A
Authority
JP
Japan
Prior art keywords
vehicle
image
monitoring device
side monitoring
vehicle side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002367839A
Other languages
Japanese (ja)
Inventor
Akio Kawai
昭夫 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002367839A priority Critical patent/JP2004201067A/en
Publication of JP2004201067A publication Critical patent/JP2004201067A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To detect a moving object which has arrived within a close range of an intersection. <P>SOLUTION: In an image picked up by a camera 1a, 1b for imaging sides of a vehicle 10, a region where a near vehicle is searched is set to search a vehicle 20 within a close range of the vehicle 10 so that the vehicle 20 within the close range is searched on the basis of a pattern of an image density histogram within the range where the near vehicle is searched. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、左右の見通しの悪い交差点等へ進入する際に、側方道路から接近する移動体を監視する車両側方監視装置に関する。
【0002】
【従来の技術】
従来、左右の見通しの悪い交差点等に自車両が進入する場合に、側方道路から交差点に接近してくる車両を、車両側方を撮影する車載カメラで撮影した画像に基づいて検出する装置が知られている(特許文献1参照)。この従来の装置では、車載カメラで所定時間の間隔で撮影された二枚の画像に基づいて、オプティカルフローを抽出し、抽出したオプティカルフローの大きさに基づいて、接近車両の接近度合いを判定し、自車両の運転者に警告を発している。
【0003】
【特許文献1】
特開2001−213254号公報
【0004】
【発明が解決しようとする課題】
しかしながら、従来の装置では、接近車両が交差点の至近距離まで到達している場合には、所定時間後に二枚目の画像を撮影しようとしても、接近車両が撮影範囲からはずれてしまい、オプティカルフローの検出処理ができなくなってしまう可能性がある。
【0005】
本発明は、移動体が交差点の至近距離まで到達しているような場合でも、移動体を検出することができる車両側方監視装置を提供する。
【0006】
【課題を解決するための手段】
本発明による車両側方監視装置は、自車両の左側方および右側方のうちの少なくとも一方を撮像する撮像手段と、撮像手段により撮像された一つの画像に基づいて、側方道路上において自車両から所定距離の範囲内に存在する移動体を検出する移動体検出手段とを備えることを特徴とする。
【0007】
【発明の効果】
本発明による車両側方監視装置によれば、撮像手段により撮像された1つの画像に基づいて、側方道路上において自車両の至近距離に到達している移動体を検出することができる。
【0008】
【発明の実施の形態】
本実施の形態における車両側方監視装置は、車両側方を撮影するためのカメラを備え、カメラで撮影した画像に後述する画像処理を施すことにより、自車両の側方から接近してくる車両等の移動体を検出する。図1に示すように、車両側方を撮影するカメラ1a,1bは、車両10のフロントサイド左右にそれぞれ1台ずつ設置される。カメラ1aは車両進行方向の右側を、カメラ1bは車両進行方向の左側をそれぞれ撮像するものである。
【0009】
図2は、本発明による車両側方監視装置の一実施の形態の構成を示す図である。一実施の形態の車両側方監視装置は、2台のCCDカメラ1a,1bと、画像処理コントローラ3と、映像コントロール装置4と、ディスプレイ5と、ナビゲーション装置6と、車速センサ7と、ブザー8と、側方モニタスイッチ9とを備える。
【0010】
車両10のフロントサイド左右に設置されたCCDカメラ1a,1bにより撮像された画像は、映像信号Sa,Sbとして画像処理コントローラ3に送られる。画像処理コントローラ3は、映像信号Sa,Sbに対してフィルタリング処理や各種演算処理等を画素単位で実行する。また、画像処理コントローラ3は、CCDカメラ1aおよび1bのいずれか一方により撮像される画像に基づいた映像信号S1、または双方のカメラ1a,1bにより撮像される画像を合成して得られる映像信号S1を映像コントロール装置4に出力する。さらに画像処理コントローラ3は、映像信号Sa,Sbに画像処理を施した結果に基づいて、必要な情報を報知信号Sdとして映像コントロール装置4に出力する。
【0011】
ナビゲーション装置6は、GPS等を利用して自車両の位置を検出する機能や、自車両の現在地から目的地までのルートを検索する機能を有する。ナビゲーション装置6により検出された自車位置情報や目的地までの誘導経路情報は、映像信号Snとして、映像コントロール装置4に入力される。映像コントロール装置4は、ナビゲーション装置6により検出される自車位置や、車両周辺地図、誘導経路などのいわゆるナビゲーション情報や、オーディオ機能を制御するための表示およびCCDカメラ1a,1bにより撮像される車両周囲の画像表示などの様々な情報表示を制御する機能を備えている。映像コントロール装置4は、画像処理コントローラ3から出力される画像の切替や、画像処理の実行を指令するための制御信号Scを画像処理コントローラ3に出力する。また、ディスプレイ5に表示させるための映像信号S2をディスプレイ5に出力する。
【0012】
ディスプレイ5は、車室内にてドライバが視認できる位置に備えられ、映像コントロール装置4から入力される映像信号S2に基づいて、ナビゲーション情報やCCDカメラ1a,1bで撮像される映像を表示する。車速センサ7は、自車両の車輪の回転速度を計測し、検出した回転速度に比例したパルス信号を映像コントロール装置4に出力する。ブザー8は、後述する方法により自車両に接近してくる車両を検知した場合等、ドライバに警告を促す必要がある場合に、アラーム音を発生する。
【0013】
側方モニタスイッチ9は、CCDカメラ1a,1bにより撮影された映像をナビゲーション表示と切り換えて表示したり、撮像された画像情報に基づいて側方から接近する車両を検知するためのプログラムを起動するためのスイッチであり、ドライバ等によって操作される。側方モニタスイッチ9がオンの時に後述する条件が満足されると、画像処理コントローラ3により側方車両検知制御が行われる。また、側方検知スイッチ9がオフの時には、後述する条件が満たされていても、側方車両検知制御は行われない。
【0014】
図3は、画像処理コントローラ3の内部構成を示す図である。画像処理コントローラ3は、デコーダ3aと、画像処理専用IC3bと、エンコーダ3cと、画像メモリ3dと、ROM3eと、画像処理制御CPU3fとを備える。CCDカメラ1a,1bから出力された映像信号Sa,Sbは、デコーダ3aに入力される。デコーダ3aは、入力された映像信号Sa,Sbをそれぞれデジタルデータに変換して、画像処理専用IC3bに出力する。画像処理専用IC3bは、A/D変換処理が行われた画像データに対して各種の演算処理を実行する。演算処理が行われた画像データは、エンコーダ3cに出力される。エンコーダ3cは、演算処理が行われた画像データにD/A変換処理を施す。D/A変換処理が行われた後の映像信号S1は、映像コントロール装置4に出力される。
【0015】
上述した画像処理専用IC3bと、画像メモリ3d、ROM3e、画像処理制御CPU3fとは、それぞれ共通のバスにより接続されている。画像メモリ3dには、入力された画像データや処理実行中のデータを一次的に保存することができる。なお、画像メモリ3dは、処理に必要な複数の画像を記憶するための所定容量が用意される。ROM3eには、CCDカメラ1a,1bにより撮像された画像に基づいて自車両に接近してくる車両を検出するプログラム等の画像処理プログラムが格納されている。画像処理制御CPU3fは、映像コントロール装置4から送信されてくる制御信号Scに基づいて、画像処理の実行を行うタイミングや各種信号の入出力を制御する。
【0016】
図4は、例えば、自車両10が見通しの悪いT地路や交差点にさしかかった時に、カメラ1a,1bを用いて、側方から接近してくる車両を検出するための制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ3内に設けられている画像処理専用IC3bおよび映像コントロール装置4により行われる。ステップS10から始まる制御は、図示しないイグニッションスイッチがオンとなることにより始まる。なお、以下の説明では、カメラ1aにより撮影した映像に基づいて、接近車両を検出するものとする。
【0017】
ステップS10では、ナビゲーション装置6から映像コントロール装置4に入力される映像信号Snに基づいて、ナビゲーション情報のうち、映像コントロール装置4で選択される地図情報や自車位置情報等の情報をディスプレイ5に表示する。すなわち、ドライバ等が図示しない操作ボタンを操作することにより、ドライバ等が表示を要求する情報が映像コントロール装置4で選択されて、ディスプレイ5に表示される。映像コントロール装置4で選択された情報がディスプレイ5に表示されると、ステップS20に進む。
【0018】
ステップS20では、映像コントロール装置4によって、車速センサ7から入力されるパルスに基づいて自車両の車速を算出し、算出した車速が所定値以下であるか否かを判定する。この所定値は、ステップS10でディスプレイ5に表示したナビゲーション画面を継続して表示するための条件値であり、本実施の形態では10km/hとする。車速が所定値以下であると判定するとステップS30に進み、所定値より大きいと判定するとステップS10に戻り、ナビゲーション画面を継続してディスプレイ5に表示する。
【0019】
ステップS30では、側方モニタスイッチ9から映像コントロール装置4に入力される信号に基づいて、側方モニタスイッチ9がオンであるか否かを判定する。側方モニタスイッチ9がオンであると判定するとステップS40に進み、オンではないと判定すると、交差点等における撮影画像の表示や接近車両の検出処理が不要であると判断してステップS10に戻る。
【0020】
ステップS40では、カメラ1aにより撮像された画像をディスプレイ5に表示する。すなわち、画像処理コントローラ3は、カメラ1aから入力される映像信号Saに基づいた映像信号S1を映像コントロール装置4に出力する。映像コントロール装置4は、ディスプレイ5に出力する映像信号S2として、ナビゲーション装置6の出力映像信号Snから、画像処理コントローラ3から出力される映像信号S1に切り換える。これにより、カメラ1aにより撮像された自車両10に対する側方映像がディスプレイ5に表示される。
【0021】
ステップS40に続くステップS50では、映像コントロール装置4によって、車速センサ7から入力されるパルスに基づいて自車両の車速を再び算出し、算出した車速が0となったか否かを判定する。車速が0であり、交差点等において自車両が停止(一時停止)したと判定するとステップS60に進み、車速が0ではないと判定するとステップS20に戻る。
【0022】
ステップS60では、カメラ1aで撮像された映像Image Tnを画像処理コントローラ3内の画像メモリ3dに格納して、ステップS70に進む。ステップS70では、ステップS60で画像メモリ3dに格納した画像データImage Tnに基づいて、自車両の至近距離に存在する車両等の移動体の検出処理を行う。本実施の形態では、自車両から所定距離の範囲内を至近距離と呼ぶ。この至近距離車両検出処理の詳細な内容を図5に示すフローチャートを用いて説明する。
【0023】
図5に示すフローチャートのステップS200では、画像データImage Tnの所定領域に至近距離車両の探索領域を設定する。ここでは、カメラ1a,1bの取り付け位置と撮影範囲に基づいて、接近車両が撮像画像から消えていくことが想定される位置に適当な面積を有する矩形領域を探索領域として設定する。図6(a)は、図1に示すような状況でカメラ1aにより撮影された映像であり、図6(a)中の枠線で囲まれた領域が至近距離車両探索領域である。なお、探索領域を示す枠線は、説明のために図示したものであり、実際にはディスプレイ5には表示されない。
【0024】
ステップS210では、ステップS200で設定した至近距離車両探索領域内の画像濃度ヒストグラムを作成する。カメラ1aで撮影されて映像コントロール装置4に入力される画像は、256階調(8ビット)の白黒画像であり、黒が濃度0、白が濃度255で表現される。濃度ヒストグラムは、濃度値を横軸に、濃度が現れる頻度を縦軸にとったものであり、例えば、図6(a)に示す映像の至近距離車両探索領域内の画像濃度ヒストグラムは、図6(b)に示すようなものとなる。濃度ヒストグラムを作成すると、ステップS220に進む。
【0025】
ステップS220では、ステップS210で作成した濃度ヒストグラムのパターンを解析する。図6(a)に示すように、探索領域内に車両が映っている場合には、車体の様々な部分の濃度が反映されるので、濃度ヒストグラムは図6(b)に示すように、黒(濃度値0)に近い濃度から白(濃度値255)に近い濃度まで広く分布する。図7に示すように、道路に停止線などの白色の路面ペイント表示がなされている場合には、図8(a)に示すように、探索領域内に白線が映されることがある。この場合の濃度ヒストグラムは、図8(b)に示すように、路面部分の暗めの濃度と白線部分の明るい濃度の部分に濃度値のピークが二極化して現れる。図9(a)は、探索領域内に路面しか映されていない場合の映像であり、この場合の濃度ヒストグラムは、図9(b)に示すように、路面部分の濃度において先鋭なピークが存在する。
【0026】
図6(b),図8(b),図9(b)に示したように、至近距離車両探索領域内の濃度分布は、探索領域内に車両が存在する場合と存在しない場合とで特徴が異なる。すなわち、探索領域内に車両が存在する場合には、図6(b)に示すように画像濃度が広く分布するため、濃度値の先鋭なピークは存在しないが、車両が存在しない場合には、図8(b),図9(b)に示すように、先鋭なピークが存在する。濃度値の先鋭なピークの有無は、例えば、濃度ヒストグラムの濃度値方向(横軸方向)に微分を行って、濃度値の急峻な変化の有無を検出することにより検出することができる。
【0027】
ステップS230では、ステップS220で行った濃度ヒストグラムの解析の結果、濃度値の先鋭なピークが存在するか否かを判定する。濃度値の先鋭なピークが存在すると判定すると、至近距離車両探索領域内には車両が存在せず、自車両に警告等を行う必要がないので、至近距離車両検出処理を終了して、図4に示すフローチャートのステップS80に進む。一方、濃度値の先鋭なピークが存在しないと判定すると、ステップS240に進む。ステップS240では、自車両の至近距離に車両が接近してきている旨の警告を自車両の運転者に行う。警告は、図10に示すように、ディスプレイ5の表示画面の一部に注意を喚起する表示を示したり、ブザー8からアラーム音を出力することにより行う。自車両の運転者に警告を行うと、至近距離車両検出処理を終了して、図4に示すフローチャートのステップS80に進む。
【0028】
図4に示すフローチャートのステップS80では、ステップS60で撮影画像データImage Tnを画像メモリ3dに格納したタイミングTnからΔT秒後のTn+ΔTのタイミングにおける画像データImage Tn+1を画像メモリ3dに格納する。図11は、交差点に進入する前に一時停止している自車両10に接近してくる車両20の様子を示した図である。時刻Tnにカメラ1aにより撮影された映像を図12(a)に、時刻Tn+ΔTに撮影された映像を図12(b)にそれぞれ示す。ステップS80に続くステップS90では、自車両に接近してくる車両の有無を検出する。この接近車両検出処理は、ステップS70で行った至近距離車両検出処理では検出できない接近車両を検出するものであり、図13に示すフローチャートを用いて処理内容について説明する。
【0029】
図13に示すフローチャートのステップS300では、図4に示すフローチャートのステップS60で取得した画像データImage Tnと、ΔT秒の差をおいてステップS80で取得した画像データImage Tn+1との二つの画像データを用いて、オプティカルフローを検出する。オプティカルフローとは、カメラ1aに対して相対的に移動する車両20等の移動体の相対運動に伴って生じる、撮像画像中の各点の見かけの動きに関する速度ベクトルのことである。オプティカルフローの検出方法は公知であるため詳細な説明は省略するが、例えば、画像Image Tnの所定ブロック領域内の画素データに関して、ΔT秒後の画像Image Tn+1の中に大きな相関値を有する領域が存在するか否かを演算し、大きな相関値が観測された領域との間での移動量として検出することができる。図12(c)は、図12(a)に示す画像と図12(b)に示す画像とに基づいて検出されたオプティカルフローの一例を示す図である。
【0030】
ステップS300でオプティカルフローの検出処理を行うと、ステップS310に進む。ステップS310では、ステップS300で行ったオプティカルフローの検出処理結果に基づいて、自車両10に接近してくる方向のオプティカルフロー(以下、接近フローと呼ぶ)が検出されたか否かを判定する。本実施の形態では、カメラ1aにより撮影された映像を用いて説明しているので、接近フローは画像の右から左方向に流れることになる。図12(c)に示すような接近フローが検出されたと判定するとステップS320に進み、検出されないと判定すると、接近車両検出処理を終了して、図4に示すフローチャートのステップS100に進む。
【0031】
ステップS320では、自車両10に接近してくる車両が存在するので、自車両10の運転者に警告を発する必要があるか否かの判断処理を行う。警告の必要の有無は、オプティカルフローの大きさに基づいて行う。オプティカルフローは、自車両10に接近してくる車両20の速度が速いほど大きくなり、また、接近車両20が自車両10に近づくほど大きくなる。従って、検出されたオプティカルフローの大きさと、予め設定された所定のしきい値の大きさとに基づいて警告の有無を判断する。
【0032】
ステップS320に続くステップS330では、ステップS320で行った警告の有無の判断処理の結果に基づいて、警告が必要か否かを判定する。検出されたオプティカルフローの大きさが所定のしきい値より大きい場合には、運転者への警告が必要であると判定してステップS340に進み、オプティカルフローが所定のしきい値以下である場合には、警告の必要がないと判定して、接近車両検出処理を終了して、図4に示すフローチャートのステップS100に進む。
【0033】
ステップS340では、自車両10に車両が接近してきている旨の警告を自車両10の運転者に行う。警告は、図14に示すように、ディスプレイ5の表示画面の一部に注意を喚起する表示を示したり、ブザー8からアラーム音を出力することにより行う。自車両の運転者に警告を行うと、接近車両検出処理を終了して、図4に示すフローチャートのステップS100に進む。
【0034】
ステップS100では、映像コントロール装置4によって、車速センサ7から入力されるパルスに基づいて自車両の車速を算出し、算出した車速が所定値以上であるか否かを判定する。この所定値は、ステップS20と同様に、例えば10km/hである。自車両の車速が所定値以上の場合、すなわち、自車両が交差点等に進入して走行を再開している場合には、ステップS10に戻って、再びディスプレイ5にナビゲーション表示を行う。一方、自車両の車速が所定値未満であると判定すると、ステップS110に進む。
【0035】
ステップS110では、側方モニタスイッチ9が継続してオンとなっているか否かを判定する。オンになっていると判定すると、ステップS80に戻って、接近車両検出処理を再び行う。すなわち、前回のステップS80の処理にて画像メモリ3dに格納した画像データImage Tn+1からΔT秒後の画像データImage Tn+2を取得し、二つの画像データに基づいて接近車両検出処理を行う。一方、側方モニタスイッチ9がオフになっていると判定するとステップS10に戻り、再びディスプレイ5にナビゲーション表示を行う。
【0036】
上述したように、本実施の形態における車両側方監視装置によれば、カメラ1a,1bにより撮影された一つの画像に基づいて、自車両が走行する道路と交差する側方道路上において自車両の至近距離、すなわち、所定距離の範囲内に存在する移動体を検出することができる。従って、時間差をおいて撮像された2枚の画像を用いてオプティカルフローを抽出する方法では検出できないような至近距離の移動体も検出することができる。また、時間差をおいて2枚の画像を取得する方法では、車両等の移動体を検出できた場合でも運転者への警告が遅くなるという問題があるが、本実施の形態における車両側方監視装置では、一つの画像に基づいて至近距離車両を検出するので、迅速に運転者への警告を行うことができる。
【0037】
移動体の検出に際し、カメラ1a,1bにより撮像された一つの画像内に、自車両から所定距離の範囲内に存在する移動体を検出するための車両探索領域を設定し、探索領域内の画像濃度に関する情報に基づいて、移動体を検出するので、自車両から所定距離の範囲内に存在する移動体を確実に検出することができる。また、画像濃度に関する情報とは、車両探索領域内の画像濃度分布であり、画像濃度分布に基づいて移動体を検出するので、さらに確実に自車両から所定距離の範囲内に存在する移動体を確実に検出することができる。
【0038】
撮像された画像の車両探索領域内に移動体が存在する時には、画像濃度分布に先鋭性のあるピークが存在しないので、画像濃度分布に先鋭性のあるピークが存在するか否かに基づいて、自車両から所定距離の範囲内に存在する移動体を確実に検出することができる。
【0039】
自車両から所定距離の範囲内(至近距離)に存在する移動体の検出処理後に、カメラ1a,1bにより所定時間間隔にて撮像された少なくとも二つの画像に基づいて、自車両に接近してくる移動体を検出するので、所定距離より以遠の位置に存在する移動体をも検出することができる。この時、二つの画像に基づいてオプティカルフローを検出し、オプティカルフローの大きさが所定値より大きい場合に運転者に警告を発するので、検出した移動体のうち、運転者にとって危険性の高い移動体のみを警告により報知することができる。すなわち、自車両に対して危険性の低い移動体の検出に基づいて、運転者に警告が行われることを防ぐことができる。
【0040】
本発明は、上述した一実施の形態に限定されることはない。例えば、カメラ1a,1bにより撮影された画像の所定領域に設定される至近距離車両探索領域は、図6(a),図8(a),図9(a)に示すように、矩形領域とした。しかし、図15に示すように、台形の領域とすることもできる。図4に示すフローチャートのステップS70では、カメラ1a,1bの取り付け位置と撮影範囲とに基づいて、道路領域と想定される位置に矩形の領域を設定することにより、至近距離車両検出処理を行った。この至近距離車両探索領域の設定方法では、自車両が存在する道路と交差道路とが同一の水平面上にあり、交差道路の幅員も一定であることを前提としている。しかし、自車両が存在する道路に対して交差道路が大きな勾配を有している場合や、交差道路の幅員が著しく広いまたは狭い場合には、撮影画像に対して一義的に至近距離車両探索領域を設定すると、探索領域内に路面部分以外の部分が含まれる可能性がある。この場合、路面部分以外の部分、例えば、背景部分が探索領域に含まれてしまうと、探索領域内の濃度ヒストグラムの解析が困難になる。従って、背景領域が含まれないように探索領域を設定することが望ましい。
【0041】
図15に示す探索領域の設定方法について説明する。交差点などにおいて自車両が一時停止をした後に撮影した画像データImage Tnを用いて、Hough変換などの手法により直線を検出し、道路と道路以外の部分との境界を抽出する。カメラ1aで撮影された画像を用いる場合には、抽出された道路の遠方側の境界線(画像上では、上側の境界線)と、画像の左側フレームおよび下側フレームとに囲まれる領域を探索領域に設定する。このような方法で探索領域を設定すれば、探索領域内に路面部分以外の領域が含まれることがなくなるので、移動体の検出精度を向上させることができる。
【0042】
自車両側方の映像を撮像するためのカメラは、車両10のフロント左右に1台ずつ設けたが、車両10の後部の左右に取り付けることもできる。この場合には、例えば、車庫や駐車場から後退しながら道路に進入する場合等に有効である。また、カメラ1a,1bの画角は、周囲の監視状況に応じて広角にする等、自由に設定することができる。さらに、プリズムやミラーを用いて自車両10の左右の映像を合成した画像を1台のカメラで撮像するようにしてもよい。この場合には、得られた画像に応じて至近距離車両探索領域の設定位置を調整する必要がある。
【0043】
また、本発明による車両側方監視装置により検出されるのは車両に限らず、二輪車や歩行者であってもよい。
【0044】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ1a,1bが撮像手段を、画像処理コントローラ3が第1の移動体検出手段、探索領域設定手段、画像濃度分布作成手段、線検出手段および第2の移動体検出手段を、ブザー8およびディスプレイ5が警報手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図1】カメラの取り付け位置および撮影範囲を示す図
【図2】本発明による車両側方監視装置の一実施の形態の構成を示す図
【図3】画像処理コントローラの一実施の形態の詳細な構成を示す図
【図4】本発明位による車両側方監視装置により行われる処理内容を示す一実施の形態のフローチャート
【図5】至近距離車両検出処理の内容を示す一実施の形態のフローチャート
【図6】図6(a)は、図1に示す状況下で撮影された画像を示す図、図6(b)は図6(a)の撮像画像に基づいて作成された濃度ヒストグラム
【図7】路面に白線等の路面ペイント表示がある様子を示す図
【図8】図8(a)は、図7に示す状況下で撮影された画像を示す図、図8(b)は図8(a)の撮像画像に基づいて作成された濃度ヒストグラム
【図9】図9(a)は、接近車両や白線等が存在しない場合に撮影された画像の一例を示す図、図9(b)は、図9(a)の撮像画像に基づいて作成された濃度ヒストグラム
【図10】警告表示の一例を示す図
【図11】交差点に進入する前に一時停止している自車両に接近してくる車両の様子を示した図
【図12】図12(a)は時刻Tnにて撮影された画像を示す図、図12(b)は時刻Tn+ΔTにて撮影された画像を示す図、図12(c)は、図12(a)および図12(b)に示す画像に基づいて検出されたオプティカルフローの一例を示す図
【図13】接近車両検出処理の内容を示す一実施の形態のフローチャート
【図14】自車両に接近してくる車両が存在する旨の警告を行う際の警告表示の一例を示す図
【図15】台形の至近距離車両探索領域を示す図
【符号の説明】
1a,1b…CCDカメラ、3…画像コントローラ、3a…デコーダ、3b…画像処理専用IC、3c…エンコーダ、3d…画像メモリ、3e…ROM、3f…画像処理制御CPU、4…映像コントロール装置、5…ディスプレイ、6…ナビゲーション装置、7…車速センサ、8…ブザー、9…側方モニタスイッチ、10…自車両、20…接近車両
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle side monitoring device that monitors a moving body approaching from a side road when entering a left or right intersection with poor visibility.
[0002]
[Prior art]
Conventionally, there is a device that detects a vehicle approaching an intersection from a side road based on an image captured by an on-board camera that captures a side of the vehicle when the vehicle enters an intersection or the like with poor visibility to the left and right. It is known (see Patent Document 1). In this conventional device, an optical flow is extracted based on two images taken at a predetermined time interval by a vehicle-mounted camera, and an approaching degree of an approaching vehicle is determined based on the magnitude of the extracted optical flow. Warning the driver of the vehicle.
[0003]
[Patent Document 1]
JP 2001-213254 A
[0004]
[Problems to be solved by the invention]
However, in the conventional device, if the approaching vehicle has reached the closest distance of the intersection, the approaching vehicle will be out of the shooting range even if an attempt is made to take a second image after a predetermined time, and the optical flow will be interrupted. There is a possibility that the detection process cannot be performed.
[0005]
The present invention provides a vehicle side monitoring device that can detect a moving object even when the moving object has reached a short distance from an intersection.
[0006]
[Means for Solving the Problems]
A vehicle side monitoring device according to the present invention includes: an imaging unit that captures at least one of a left side and a right side of a host vehicle; and a host vehicle on a side road based on one image captured by the imaging unit. Moving object detecting means for detecting a moving object existing within a predetermined distance from the moving object.
[0007]
【The invention's effect】
According to the vehicle side monitoring device according to the present invention, it is possible to detect a moving body that has reached the closest distance of the vehicle on the side road based on one image captured by the imaging unit.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
The vehicle side monitoring device according to the present embodiment includes a camera for photographing the side of the vehicle, and performs image processing described below on the image photographed by the camera, so that the vehicle approaching from the side of the own vehicle. And other moving objects are detected. As shown in FIG. 1, one camera 1a, 1b for photographing the side of the vehicle is installed on each of the left and right sides of the front side of the vehicle 10. The camera 1a captures an image of the right side in the vehicle traveling direction, and the camera 1b captures an image of the left side in the vehicle traveling direction.
[0009]
FIG. 2 is a diagram showing a configuration of an embodiment of a vehicle side monitoring device according to the present invention. The vehicle side monitoring device according to one embodiment includes two CCD cameras 1a and 1b, an image processing controller 3, a video control device 4, a display 5, a navigation device 6, a vehicle speed sensor 7, and a buzzer 8. And a side monitor switch 9.
[0010]
Images captured by the CCD cameras 1a and 1b installed on the left and right sides of the front side of the vehicle 10 are sent to the image processing controller 3 as video signals Sa and Sb. The image processing controller 3 executes filtering processing, various arithmetic processing, and the like on the video signals Sa and Sb in pixel units. Further, the image processing controller 3 controls the video signal S1 based on the image captured by one of the CCD cameras 1a and 1b, or the video signal S1 obtained by synthesizing the images captured by both cameras 1a and 1b. Is output to the video control device 4. Further, the image processing controller 3 outputs necessary information to the video control device 4 as a notification signal Sd based on the result of performing the image processing on the video signals Sa and Sb.
[0011]
The navigation device 6 has a function of detecting the position of the own vehicle using a GPS or the like, and a function of searching for a route from the current position of the own vehicle to the destination. The vehicle position information and the guidance route information to the destination detected by the navigation device 6 are input to the video control device 4 as a video signal Sn. The video control device 4 includes so-called navigation information such as the position of the vehicle detected by the navigation device 6, a map around the vehicle, and a guidance route, a display for controlling an audio function, and a vehicle captured by the CCD cameras 1a and 1b. It has a function to control the display of various information such as the display of surrounding images. The video control device 4 outputs to the image processing controller 3 a control signal Sc for switching an image output from the image processing controller 3 and instructing execution of image processing. Further, it outputs a video signal S2 to be displayed on the display 5 to the display 5.
[0012]
The display 5 is provided at a position in the vehicle cabin where the driver can view it, and displays navigation information and images captured by the CCD cameras 1a and 1b based on the image signal S2 input from the image control device 4. The vehicle speed sensor 7 measures the rotation speed of the wheels of the own vehicle and outputs a pulse signal proportional to the detected rotation speed to the video control device 4. The buzzer 8 emits an alarm sound when a driver needs to be warned, for example, when a vehicle approaching the host vehicle is detected by a method described later.
[0013]
The side monitor switch 9 activates a program for switching and displaying a video taken by the CCD cameras 1a and 1b with a navigation display, and for detecting a vehicle approaching from the side based on the captured image information. And operated by a driver or the like. When a condition described later is satisfied when the side monitor switch 9 is on, the image processing controller 3 performs side vehicle detection control. Further, when the side detection switch 9 is off, the side vehicle detection control is not performed even if a condition described later is satisfied.
[0014]
FIG. 3 is a diagram illustrating an internal configuration of the image processing controller 3. The image processing controller 3 includes a decoder 3a, an image processing IC 3b, an encoder 3c, an image memory 3d, a ROM 3e, and an image processing control CPU 3f. Video signals Sa and Sb output from the CCD cameras 1a and 1b are input to a decoder 3a. The decoder 3a converts the input video signals Sa and Sb into digital data and outputs the digital data to the image processing IC 3b. The image processing IC 3b executes various arithmetic processing on the image data on which the A / D conversion processing has been performed. The processed image data is output to the encoder 3c. The encoder 3c performs a D / A conversion process on the processed image data. The video signal S1 after the D / A conversion processing is performed is output to the video control device 4.
[0015]
The above-described image processing IC 3b, the image memory 3d, the ROM 3e, and the image processing control CPU 3f are connected by a common bus. The image memory 3d can temporarily store input image data and data being processed. The image memory 3d has a predetermined capacity for storing a plurality of images required for processing. The ROM 3e stores an image processing program such as a program for detecting a vehicle approaching the host vehicle based on images captured by the CCD cameras 1a and 1b. The image processing control CPU 3f controls the timing of performing image processing and the input / output of various signals based on the control signal Sc transmitted from the video control device 4.
[0016]
FIG. 4 is an embodiment showing a control procedure for detecting a vehicle approaching from the side by using the cameras 1a and 1b when, for example, the host vehicle 10 approaches a T road or an intersection with poor visibility. It is a flowchart of a form. This control is performed by the image processing dedicated IC 3 b and the image control device 4 provided in the image processing controller 3. The control starting from step S10 starts when an ignition switch (not shown) is turned on. In the following description, it is assumed that an approaching vehicle is detected based on an image captured by the camera 1a.
[0017]
In step S10, based on the video signal Sn input from the navigation device 6 to the video control device 4, information such as map information or vehicle position information selected by the video control device 4 is displayed on the display 5 in the navigation information. indicate. That is, when the driver or the like operates an operation button (not shown), information requested to be displayed by the driver or the like is selected by the video control device 4 and displayed on the display 5. When the information selected by the video control device 4 is displayed on the display 5, the process proceeds to step S20.
[0018]
In step S20, the image control device 4 calculates the vehicle speed of the host vehicle based on the pulse input from the vehicle speed sensor 7, and determines whether the calculated vehicle speed is equal to or less than a predetermined value. This predetermined value is a condition value for continuously displaying the navigation screen displayed on the display 5 in step S10, and is set to 10 km / h in the present embodiment. If it is determined that the vehicle speed is equal to or lower than the predetermined value, the process proceeds to step S30. If it is determined that the vehicle speed is higher than the predetermined value, the process returns to step S10, and the navigation screen is continuously displayed on the display 5.
[0019]
In step S30, it is determined whether or not the side monitor switch 9 is turned on based on a signal input from the side monitor switch 9 to the video control device 4. If it is determined that the side monitor switch 9 is on, the process proceeds to step S40. If it is not on, the display of a captured image at an intersection or the like and the process of detecting an approaching vehicle are determined to be unnecessary, and the process returns to step S10.
[0020]
In step S40, the image taken by the camera 1a is displayed on the display 5. That is, the image processing controller 3 outputs the video signal S1 based on the video signal Sa input from the camera 1a to the video control device 4. The video control device 4 switches from the output video signal Sn of the navigation device 6 to the video signal S1 output from the image processing controller 3 as the video signal S2 output to the display 5. As a result, a side image of the vehicle 10 captured by the camera 1a is displayed on the display 5.
[0021]
In step S50 following step S40, the image control device 4 calculates the vehicle speed of the own vehicle again based on the pulse input from the vehicle speed sensor 7, and determines whether or not the calculated vehicle speed has become 0. If it is determined that the vehicle speed is 0 and the vehicle has stopped (temporarily stopped) at an intersection or the like, the process proceeds to step S60, and if it is determined that the vehicle speed is not 0, the process returns to step S20.
[0022]
In step S60, the image Tn captured by the camera 1a is stored in the image memory 3d in the image processing controller 3, and the process proceeds to step S70. In step S70, based on the image data Image Tn stored in the image memory 3d in step S60, a process of detecting a moving object such as a vehicle located at a short distance from the own vehicle is performed. In the present embodiment, a range within a predetermined distance from the host vehicle is referred to as a close distance. The details of the close range vehicle detection processing will be described with reference to the flowchart shown in FIG.
[0023]
In step S200 of the flowchart shown in FIG. 5, a search area for a close-range vehicle is set in a predetermined area of the image data Image Tn. Here, a rectangular area having an appropriate area at a position where the approaching vehicle is expected to disappear from the captured image is set as a search area based on the mounting positions of the cameras 1a and 1b and the photographing range. FIG. 6A is an image captured by the camera 1a in the situation shown in FIG. 1, and an area surrounded by a frame line in FIG. 6A is a close-range vehicle search area. Note that the frame lines indicating the search area are shown for explanation, and are not actually displayed on the display 5.
[0024]
In step S210, an image density histogram is created in the close range vehicle search area set in step S200. The image photographed by the camera 1a and input to the video control device 4 is a monochrome image of 256 gradations (8 bits), and black is represented by density 0 and white is represented by density 255. The density histogram is obtained by plotting the density value on the horizontal axis and the frequency of appearance of the density on the vertical axis. For example, the image density histogram in the close-range vehicle search area of the video shown in FIG. The result is as shown in FIG. After creating the density histogram, the process proceeds to step S220.
[0025]
In step S220, the pattern of the density histogram created in step S210 is analyzed. As shown in FIG. 6A, when a vehicle is reflected in the search area, the density of various parts of the vehicle body is reflected. Therefore, the density histogram is black as shown in FIG. 6B. It is widely distributed from a density close to (density value 0) to a density close to white (density value 255). As shown in FIG. 7, when a white road surface paint display such as a stop line is displayed on the road, a white line may appear in the search area as shown in FIG. 8A. In the density histogram in this case, as shown in FIG. 8B, a peak of the density value appears in a darker density portion of the road surface portion and a brighter density portion of the white line portion. FIG. 9A is an image in a case where only the road surface is shown in the search area. In this case, the density histogram has a sharp peak in the density of the road surface portion as shown in FIG. 9B. I do.
[0026]
As shown in FIGS. 6 (b), 8 (b), and 9 (b), the density distribution in the close range vehicle search area is characterized by the presence and absence of vehicles in the search area. Are different. That is, when a vehicle is present in the search area, the image density is widely distributed as shown in FIG. 6B, so that no sharp peak of the density value exists. As shown in FIGS. 8B and 9B, there are sharp peaks. The presence or absence of a sharp peak in the density value can be detected, for example, by performing differentiation in the density value direction (horizontal axis direction) of the density histogram and detecting the presence or absence of a sharp change in the density value.
[0027]
In step S230, as a result of the analysis of the density histogram performed in step S220, it is determined whether or not there is a sharp peak in the density value. If it is determined that there is a sharp peak in the density value, no vehicle exists in the close range vehicle search area, and there is no need to issue a warning or the like to the own vehicle. It proceeds to step S80 of the flowchart shown in FIG. On the other hand, if it is determined that there is no sharp peak in the density value, the process proceeds to step S240. In step S240, a warning is issued to the driver of the host vehicle that the vehicle is approaching a close distance of the host vehicle. As shown in FIG. 10, the warning is issued by displaying a call for attention on a part of the display screen of the display 5 or by outputting an alarm sound from the buzzer 8. When a warning is issued to the driver of the host vehicle, the close range vehicle detection process ends, and the process proceeds to step S80 in the flowchart shown in FIG.
[0028]
In step S80 of the flowchart shown in FIG. 4, the image data Image Tn + 1 at the timing of Tn + ΔT after ΔT seconds from the timing Tn at which the photographed image data Image Tn was stored in the image memory 3d in step S60 is stored in the image memory 3d. FIG. 11 is a diagram illustrating a state of the vehicle 20 approaching the host vehicle 10 that has been temporarily stopped before entering the intersection. FIG. 12A shows an image shot by the camera 1a at the time Tn, and FIG. 12B shows an image shot at the time Tn + ΔT. In step S90 following step S80, the presence or absence of a vehicle approaching the host vehicle is detected. This approaching vehicle detection process is for detecting an approaching vehicle that cannot be detected by the close range vehicle detection process performed in step S70, and the content of the process will be described with reference to the flowchart shown in FIG.
[0029]
In step S300 of the flowchart shown in FIG. 13, two images of the image data Image Tn acquired in step S60 of the flowchart shown in FIG. 4 and the image data Image Tn + 1 acquired in step S80 with a difference of ΔT seconds. Using the data, an optical flow is detected. The optical flow is a velocity vector relating to the apparent movement of each point in the captured image, which is generated with the relative movement of a moving body such as the vehicle 20 moving relatively to the camera 1a. A detailed description is omitted because the optical flow detection method is publicly known, but, for example, regarding the pixel data in a predetermined block area of the image Image Tn, the image Image Tn has a large correlation value in the image Tn + 1 after ΔT seconds It is possible to calculate whether or not an area exists, and detect the amount of movement between the area and the area where a large correlation value is observed. FIG. 12C is a diagram showing an example of an optical flow detected based on the image shown in FIG. 12A and the image shown in FIG.
[0030]
When the optical flow detection process is performed in step S300, the process proceeds to step S310. In step S310, it is determined based on the result of the optical flow detection processing performed in step S300 whether an optical flow in a direction approaching the vehicle 10 (hereinafter, referred to as an approach flow) is detected. In the present embodiment, since the description is made using the video taken by the camera 1a, the approach flow flows from the right to the left of the image. If it is determined that the approach flow as shown in FIG. 12C has been detected, the process proceeds to step S320. If it is determined that the approach flow has not been detected, the approaching vehicle detection process ends, and the process proceeds to step S100 in the flowchart shown in FIG.
[0031]
In step S320, since there is a vehicle approaching the host vehicle 10, a determination process is performed to determine whether it is necessary to issue a warning to the driver of the host vehicle 10. The necessity of the warning is determined based on the size of the optical flow. The optical flow increases as the speed of the vehicle 20 approaching the host vehicle 10 increases, and increases as the approaching vehicle 20 approaches the host vehicle 10. Therefore, the presence or absence of a warning is determined based on the size of the detected optical flow and the size of a predetermined threshold value set in advance.
[0032]
In step S330 subsequent to step S320, it is determined whether or not a warning is necessary based on the result of the processing for determining whether or not there is a warning performed in step S320. When the magnitude of the detected optical flow is larger than the predetermined threshold, it is determined that a warning to the driver is necessary, and the process proceeds to step S340, and when the optical flow is equal to or smaller than the predetermined threshold. , It is determined that there is no need to issue a warning, the approaching vehicle detection process ends, and the routine proceeds to step S100 in the flowchart shown in FIG.
[0033]
In step S340, the driver of the host vehicle 10 is warned that the vehicle is approaching the host vehicle 10. The warning is performed by, as shown in FIG. 14, displaying a call for attention on a part of the display screen of the display 5 or outputting an alarm sound from the buzzer 8. When a warning is issued to the driver of the host vehicle, the approaching vehicle detection process ends, and the process proceeds to step S100 in the flowchart shown in FIG.
[0034]
In step S100, the image control device 4 calculates the vehicle speed of the own vehicle based on the pulse input from the vehicle speed sensor 7, and determines whether the calculated vehicle speed is equal to or higher than a predetermined value. This predetermined value is, for example, 10 km / h as in step S20. If the vehicle speed of the host vehicle is equal to or higher than the predetermined value, that is, if the host vehicle has entered an intersection or the like and has resumed traveling, the process returns to step S10, and the navigation display is performed on the display 5 again. On the other hand, if it is determined that the vehicle speed of the host vehicle is lower than the predetermined value, the process proceeds to step S110.
[0035]
In step S110, it is determined whether or not the side monitor switch 9 is continuously turned on. If it is determined to be on, the process returns to step S80, and the approaching vehicle detection process is performed again. That is, the image data Image Tn + 2 that is ΔT seconds after the image data Image Tn + 1 stored in the image memory 3d in the previous process of step S80 is acquired, and the approaching vehicle detection process is performed based on the two image data. . On the other hand, when it is determined that the side monitor switch 9 is turned off, the process returns to step S10, and the navigation display is performed again on the display 5.
[0036]
As described above, according to the vehicle side monitoring device in the present embodiment, based on one image captured by the cameras 1a and 1b, the vehicle on the side road intersecting the road on which the vehicle runs. , That is, a moving object existing within a range of a predetermined distance can be detected. Therefore, it is possible to detect a moving object at a short distance that cannot be detected by a method of extracting an optical flow using two images captured with a time difference. Further, the method of acquiring two images with a time difference has a problem that a warning to a driver is delayed even when a moving object such as a vehicle can be detected. The device detects a short-distance vehicle based on one image, so that a warning can be promptly given to the driver.
[0037]
Upon detecting a moving object, a vehicle search area for detecting a moving object existing within a predetermined distance from the host vehicle is set in one image captured by the cameras 1a and 1b, and an image in the search area is set. Since the moving object is detected based on the information regarding the concentration, the moving object existing within a predetermined distance from the host vehicle can be reliably detected. Further, the information on the image density is the image density distribution in the vehicle search area, and the moving object is detected based on the image density distribution, so that the moving object existing within a predetermined distance from the own vehicle can be more reliably detected. It can be detected reliably.
[0038]
When the moving object is present in the vehicle search area of the captured image, since there is no sharp peak in the image density distribution, based on whether there is a sharp peak in the image density distribution, It is possible to reliably detect a moving object existing within a predetermined distance from the own vehicle.
[0039]
After detecting a moving object within a predetermined distance range (closest distance) from the vehicle, the vehicle approaches the vehicle based on at least two images captured at predetermined time intervals by the cameras 1a and 1b. Since a moving object is detected, it is possible to detect a moving object existing at a position longer than a predetermined distance. At this time, the optical flow is detected based on the two images, and a warning is issued to the driver when the magnitude of the optical flow is larger than a predetermined value. Only the body can be notified by a warning. That is, it is possible to prevent the driver from being warned based on the detection of a moving object having a low risk for the own vehicle.
[0040]
The present invention is not limited to the above embodiment. For example, as shown in FIGS. 6 (a), 8 (a) and 9 (a), a short range vehicle search area set in a predetermined area of an image captured by the cameras 1a and 1b is a rectangular area. did. However, as shown in FIG. 15, a trapezoidal area may be used. In step S70 of the flowchart shown in FIG. 4, a short-range vehicle detection process is performed by setting a rectangular area at a position assumed to be a road area based on the mounting positions of the cameras 1a and 1b and the photographing range. . The method for setting the close-range vehicle search area is based on the premise that the road where the vehicle is located and the intersection road are on the same horizontal plane, and the width of the intersection road is constant. However, if the crossing road has a large gradient with respect to the road where the vehicle is located, or if the width of the crossing road is extremely wide or narrow, the vehicle search area is uniquely different from the captured image. Is set, there is a possibility that a portion other than the road surface portion is included in the search area. In this case, if a portion other than the road surface portion, for example, a background portion is included in the search region, it becomes difficult to analyze the density histogram in the search region. Therefore, it is desirable to set the search area so as not to include the background area.
[0041]
A method for setting the search area shown in FIG. 15 will be described. A straight line is detected by a method such as Hough transform using image data Image Tn photographed after the own vehicle is temporarily stopped at an intersection or the like, and a boundary between a road and a portion other than the road is extracted. When an image captured by the camera 1a is used, a search is made for an area surrounded by a boundary on the far side of the extracted road (an upper boundary on the image) and a left frame and a lower frame of the image. Set to area. If the search area is set by such a method, an area other than the road surface portion is not included in the search area, so that the detection accuracy of the moving object can be improved.
[0042]
The cameras for capturing the images of the side of the vehicle are provided one by one on the left and right sides of the front of the vehicle 10, but may be mounted on the left and right of the rear part of the vehicle 10. This case is effective, for example, when entering a road while retreating from a garage or a parking lot. Further, the angle of view of the cameras 1a and 1b can be freely set, for example, wide angle according to the surrounding monitoring situation. Further, an image obtained by synthesizing the left and right images of the vehicle 10 using a prism or a mirror may be taken by one camera. In this case, it is necessary to adjust the set position of the short-range vehicle search area according to the obtained image.
[0043]
What is detected by the vehicle side monitoring device according to the present invention is not limited to the vehicle, but may be a motorcycle or a pedestrian.
[0044]
The correspondence between the components of the claims and the components of the embodiment is as follows. That is, the cameras 1a and 1b are imaging means, the image processing controller 3 is a first moving object detecting means, a search area setting means, an image density distribution creating means, a line detecting means and a second moving object detecting means, and the buzzer 8 And the display 5 constitute alarm means. Note that each component is not limited to the above configuration as long as the characteristic functions of the present invention are not impaired.
[Brief description of the drawings]
FIG. 1 is a diagram showing a mounting position and a photographing range of a camera.
FIG. 2 is a diagram showing a configuration of an embodiment of a vehicle side monitoring device according to the present invention;
FIG. 3 is a diagram showing a detailed configuration of an embodiment of an image processing controller.
FIG. 4 is a flowchart of an embodiment showing processing contents performed by the vehicle side monitoring device according to the present invention;
FIG. 5 is a flowchart of an embodiment showing details of a close-range vehicle detection process.
6A is a diagram showing an image photographed under the situation shown in FIG. 1, and FIG. 6B is a density histogram created based on the photographed image of FIG. 6A.
FIG. 7 is a diagram showing a state where a road surface such as a white line is displayed on the road surface;
8A is a diagram showing an image photographed under the situation shown in FIG. 7, and FIG. 8B is a density histogram created based on the photographed image in FIG. 8A.
9A is a diagram illustrating an example of an image captured when no approaching vehicle, white line, or the like exists, and FIG. 9B is created based on the captured image in FIG. 9A; Density histogram
FIG. 10 is a diagram showing an example of a warning display.
FIG. 11 is a diagram showing a state of a vehicle approaching a host vehicle that is temporarily stopped before entering an intersection;
12A is a diagram illustrating an image captured at time Tn, FIG. 12B is a diagram illustrating an image captured at time Tn + ΔT, and FIG. FIG. 12 is a diagram showing an example of an optical flow detected based on the images shown in FIGS.
FIG. 13 is a flowchart illustrating an example of an approaching vehicle detection process according to an embodiment;
FIG. 14 is a diagram showing an example of a warning display when giving a warning that a vehicle approaching the host vehicle exists;
FIG. 15 is a diagram showing a close-range vehicle search area of a trapezoid.
[Explanation of symbols]
1a, 1b: CCD camera, 3: Image controller, 3a: Decoder, 3b: Image processing dedicated IC, 3c: Encoder, 3d: Image memory, 3e: ROM, 3f: Image processing control CPU, 4: Video control device, 5 ... display, 6 ... navigation device, 7 ... vehicle speed sensor, 8 ... buzzer, 9 ... side monitor switch, 10 ... own vehicle, 20 ... approaching vehicle

Claims (10)

自車両の左側方および右側方のうちの少なくとも一方を撮像する撮像手段と、
前記撮像手段により撮像された一つの画像に基づいて、側方道路上において自車両から所定距離の範囲内に存在する移動体を検出する第1の移動体検出手段とを備えることを特徴とする車両側方監視装置。
Imaging means for imaging at least one of the left side and the right side of the vehicle,
A first moving object detecting unit that detects a moving object existing within a predetermined distance from the host vehicle on a side road based on one image picked up by the image pickup unit. Vehicle side monitoring device.
請求項1に記載の車両側方監視装置において、
前記撮像手段により撮像された一つの画像内に、自車両から所定距離の範囲内に存在する移動体を検出するための車両探索領域を設定する探索領域設定手段をさらに備え、
前記第1の移動体検出手段は、前記探索領域設定手段により設定された探索領域内の画像濃度に関する情報に基づいて、前記移動体を検出することを特徴とする車両側方監視装置。
The vehicle side monitoring device according to claim 1,
In one image picked up by the image pickup means, further comprising a search area setting means for setting a vehicle search area for detecting a moving object existing within a predetermined distance from the own vehicle,
The vehicle side monitoring device according to claim 1, wherein the first moving body detecting means detects the moving body based on information about an image density in a search area set by the search area setting means.
請求項2に記載の車両側方監視装置において、
前記探索領域設定手段により設定された探索領域内の画像濃度分布を作成する画像濃度分布作成手段とをさらに備え、
前記第1の移動体検出手段は、前記画像濃度分布作成手段により作成された画像濃度分布に基づいて、前記移動体を検出することを特徴とする車両側方監視装置。
The vehicle side monitoring device according to claim 2,
Image density distribution creating means for creating an image density distribution in the search area set by the search area setting means,
The vehicle side monitoring device according to claim 1, wherein the first moving body detecting means detects the moving body based on an image density distribution created by the image density distribution creating means.
請求項3に記載の車両側方監視装置において、
前記第1の移動体検出手段は、前記画像濃度分布作成手段により作成された画像濃度分布に先鋭性のある濃度値のピークが存在しない場合に、自車両から所定距離の範囲内に移動体が存在すると判断することを特徴とする車両側方監視装置。
The vehicle side monitoring device according to claim 3,
The first moving object detecting means detects that the moving object is within a predetermined distance from the host vehicle when there is no sharp density value peak in the image density distribution created by the image density distribution creating means. A vehicle side monitoring device that determines that the vehicle exists.
請求項3に記載の車両側方監視装置において、
前記第1の移動体検出手段は、前記画像濃度分布作成手段により作成された画像濃度分布に先鋭性のある濃度値のピークが存在する場合に、自車両から所定距離の範囲内に移動体が存在しないと判断することを特徴とする車両側方監視装置。
The vehicle side monitoring device according to claim 3,
The first moving object detecting means detects that the moving object is within a predetermined distance from the host vehicle when a sharp density value peak exists in the image density distribution created by the image density distribution creating means. A vehicle side monitoring device that determines that the vehicle does not exist.
請求項2〜5のいずれかに記載の車両側方監視装置において、
前記探索領域設定手段は、自車両に対する前記撮像手段の取り付け位置および前記撮像手段の撮像範囲のうちの少なくとも一方の情報に基づいて、前記探索領域を設定することを特徴とする車両側方監視装置。
The vehicle side monitoring device according to any one of claims 2 to 5,
The vehicle side monitoring device, wherein the search area setting means sets the search area based on information on at least one of an attachment position of the imaging means with respect to a host vehicle and an imaging range of the imaging means. .
請求項2〜6のいずれかに記載の車両側方監視装置において、
前記撮像手段により撮像された画像内の道路の端を示す線を検出する線検出手段をさらに備え、
前記探索領域設定手段は、前記線検出手段により検出された線に基づいて、前記撮像画像内の道路領域内に前記探索領域を設定することを特徴とする車両側方監視装置。
The vehicle side monitoring device according to any one of claims 2 to 6,
The image capturing apparatus further includes a line detecting unit that detects a line indicating an edge of a road in the image captured by the image capturing unit,
The vehicle side monitoring device according to claim 1, wherein the search area setting means sets the search area in a road area in the captured image based on the line detected by the line detection means.
請求項1〜7のいずれかに記載の車両側方監視装置において、
前記第1の移動体検出手段による移動体検出処理後に、前記撮像手段により所定時間間隔にて撮像された少なくとも2つの画像に基づいて、自車両に接近してくる移動体を検出する第2の移動体検出手段をさらに備えることを特徴とする車両側方監視装置。
The vehicle side monitoring device according to any one of claims 1 to 7,
After the moving object detection processing by the first moving object detecting means, a second detecting means detects a moving object approaching the own vehicle based on at least two images picked up by the image pickup means at predetermined time intervals. A vehicle side monitoring device, further comprising a moving body detection unit.
請求項1〜8のいずれかに記載の車両側方監視装置において、
前記第1の移動体検出手段により移動体が検出された場合に、少なくとも自車両の運転者に警報を発する警報手段をさらに備えることを特徴とする車両側方監視装置。
The vehicle side monitoring device according to any one of claims 1 to 8,
A vehicle side monitoring device, further comprising an alarm unit that issues an alarm to at least a driver of the own vehicle when a moving object is detected by the first moving object detection unit.
請求項8に記載の車両側方監視装置において、
前記第2の移動体検出手段は、前記少なくとも2つの画像に基づいてオプティカルフローを検出することにより、自車両に接近してくる移動体を検出し、
前記第2の移動体検出手段により検出されたオプティカルフローの大きさが所定値より大きい場合に、少なくとも自車両の運転者に警報を発する警報手段をさらに備えることを特徴とする車両側方監視装置。
The vehicle side monitoring device according to claim 8,
The second moving body detection means detects a moving body approaching the own vehicle by detecting an optical flow based on the at least two images,
A vehicle side monitoring device, further comprising an alarm unit for issuing an alarm to at least a driver of the own vehicle when the magnitude of the optical flow detected by the second mobile unit detection unit is larger than a predetermined value. .
JP2002367839A 2002-12-19 2002-12-19 Vehicle side image monitoring apparatus Pending JP2004201067A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002367839A JP2004201067A (en) 2002-12-19 2002-12-19 Vehicle side image monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002367839A JP2004201067A (en) 2002-12-19 2002-12-19 Vehicle side image monitoring apparatus

Publications (1)

Publication Number Publication Date
JP2004201067A true JP2004201067A (en) 2004-07-15

Family

ID=32764598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002367839A Pending JP2004201067A (en) 2002-12-19 2002-12-19 Vehicle side image monitoring apparatus

Country Status (1)

Country Link
JP (1) JP2004201067A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014090957A1 (en) * 2012-12-12 2014-06-19 Connaught Electronics Ltd. Method for switching a camera system to a supporting mode, camera system and motor vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014090957A1 (en) * 2012-12-12 2014-06-19 Connaught Electronics Ltd. Method for switching a camera system to a supporting mode, camera system and motor vehicle

Similar Documents

Publication Publication Date Title
JP5421072B2 (en) Approaching object detection system
JP3807331B2 (en) Camera dirt detection device and camera dirt detection method
JP5070809B2 (en) Driving support device, driving support method, and program
JP4855158B2 (en) Driving assistance device
JP2003123196A (en) Device and program for monitoring circumference of vehicle
JP2000259998A (en) Back monitoring device for vehicle
JP2007226666A (en) Driving support method and driving support device
JP5294562B2 (en) Vehicle periphery monitoring device and display method thereof
JP2009231938A (en) Surrounding monitoring device for vehicle
JP2009231937A (en) Surroundings monitoring device for vehicle
JP2013164803A (en) Violation vehicle detection device, violation vehicle detection method and violation vehicle detection program
JP2008059178A (en) Operation support device and program
JP2004102827A (en) Vehicle periphery monitoring apparatus
JP4986070B2 (en) Ambient monitoring device for vehicles
JP2005202787A (en) Display device for vehicle
JPH0981757A (en) Vehicle position detecting device
JP2004349926A (en) Obstacle detection apparatus and method, and program for obstacle detection
JP4003569B2 (en) Intersection accident prevention device and program
JP4930432B2 (en) Vehicle periphery monitoring device
JP2002104113A (en) Rear monitoring device
JP2006344133A (en) Road division line detector
JP3879958B2 (en) Vehicle surrounding information notification device
JP6927787B2 (en) On-board unit and driving support device
JP2004051063A (en) Device for visual recognition around vehicle
JP2004201067A (en) Vehicle side image monitoring apparatus