JP2004201067A - Vehicle side image monitoring apparatus - Google Patents
Vehicle side image monitoring apparatus Download PDFInfo
- Publication number
- JP2004201067A JP2004201067A JP2002367839A JP2002367839A JP2004201067A JP 2004201067 A JP2004201067 A JP 2004201067A JP 2002367839 A JP2002367839 A JP 2002367839A JP 2002367839 A JP2002367839 A JP 2002367839A JP 2004201067 A JP2004201067 A JP 2004201067A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- monitoring device
- side monitoring
- vehicle side
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、左右の見通しの悪い交差点等へ進入する際に、側方道路から接近する移動体を監視する車両側方監視装置に関する。
【0002】
【従来の技術】
従来、左右の見通しの悪い交差点等に自車両が進入する場合に、側方道路から交差点に接近してくる車両を、車両側方を撮影する車載カメラで撮影した画像に基づいて検出する装置が知られている(特許文献1参照)。この従来の装置では、車載カメラで所定時間の間隔で撮影された二枚の画像に基づいて、オプティカルフローを抽出し、抽出したオプティカルフローの大きさに基づいて、接近車両の接近度合いを判定し、自車両の運転者に警告を発している。
【0003】
【特許文献1】
特開2001−213254号公報
【0004】
【発明が解決しようとする課題】
しかしながら、従来の装置では、接近車両が交差点の至近距離まで到達している場合には、所定時間後に二枚目の画像を撮影しようとしても、接近車両が撮影範囲からはずれてしまい、オプティカルフローの検出処理ができなくなってしまう可能性がある。
【0005】
本発明は、移動体が交差点の至近距離まで到達しているような場合でも、移動体を検出することができる車両側方監視装置を提供する。
【0006】
【課題を解決するための手段】
本発明による車両側方監視装置は、自車両の左側方および右側方のうちの少なくとも一方を撮像する撮像手段と、撮像手段により撮像された一つの画像に基づいて、側方道路上において自車両から所定距離の範囲内に存在する移動体を検出する移動体検出手段とを備えることを特徴とする。
【0007】
【発明の効果】
本発明による車両側方監視装置によれば、撮像手段により撮像された1つの画像に基づいて、側方道路上において自車両の至近距離に到達している移動体を検出することができる。
【0008】
【発明の実施の形態】
本実施の形態における車両側方監視装置は、車両側方を撮影するためのカメラを備え、カメラで撮影した画像に後述する画像処理を施すことにより、自車両の側方から接近してくる車両等の移動体を検出する。図1に示すように、車両側方を撮影するカメラ1a,1bは、車両10のフロントサイド左右にそれぞれ1台ずつ設置される。カメラ1aは車両進行方向の右側を、カメラ1bは車両進行方向の左側をそれぞれ撮像するものである。
【0009】
図2は、本発明による車両側方監視装置の一実施の形態の構成を示す図である。一実施の形態の車両側方監視装置は、2台のCCDカメラ1a,1bと、画像処理コントローラ3と、映像コントロール装置4と、ディスプレイ5と、ナビゲーション装置6と、車速センサ7と、ブザー8と、側方モニタスイッチ9とを備える。
【0010】
車両10のフロントサイド左右に設置されたCCDカメラ1a,1bにより撮像された画像は、映像信号Sa,Sbとして画像処理コントローラ3に送られる。画像処理コントローラ3は、映像信号Sa,Sbに対してフィルタリング処理や各種演算処理等を画素単位で実行する。また、画像処理コントローラ3は、CCDカメラ1aおよび1bのいずれか一方により撮像される画像に基づいた映像信号S1、または双方のカメラ1a,1bにより撮像される画像を合成して得られる映像信号S1を映像コントロール装置4に出力する。さらに画像処理コントローラ3は、映像信号Sa,Sbに画像処理を施した結果に基づいて、必要な情報を報知信号Sdとして映像コントロール装置4に出力する。
【0011】
ナビゲーション装置6は、GPS等を利用して自車両の位置を検出する機能や、自車両の現在地から目的地までのルートを検索する機能を有する。ナビゲーション装置6により検出された自車位置情報や目的地までの誘導経路情報は、映像信号Snとして、映像コントロール装置4に入力される。映像コントロール装置4は、ナビゲーション装置6により検出される自車位置や、車両周辺地図、誘導経路などのいわゆるナビゲーション情報や、オーディオ機能を制御するための表示およびCCDカメラ1a,1bにより撮像される車両周囲の画像表示などの様々な情報表示を制御する機能を備えている。映像コントロール装置4は、画像処理コントローラ3から出力される画像の切替や、画像処理の実行を指令するための制御信号Scを画像処理コントローラ3に出力する。また、ディスプレイ5に表示させるための映像信号S2をディスプレイ5に出力する。
【0012】
ディスプレイ5は、車室内にてドライバが視認できる位置に備えられ、映像コントロール装置4から入力される映像信号S2に基づいて、ナビゲーション情報やCCDカメラ1a,1bで撮像される映像を表示する。車速センサ7は、自車両の車輪の回転速度を計測し、検出した回転速度に比例したパルス信号を映像コントロール装置4に出力する。ブザー8は、後述する方法により自車両に接近してくる車両を検知した場合等、ドライバに警告を促す必要がある場合に、アラーム音を発生する。
【0013】
側方モニタスイッチ9は、CCDカメラ1a,1bにより撮影された映像をナビゲーション表示と切り換えて表示したり、撮像された画像情報に基づいて側方から接近する車両を検知するためのプログラムを起動するためのスイッチであり、ドライバ等によって操作される。側方モニタスイッチ9がオンの時に後述する条件が満足されると、画像処理コントローラ3により側方車両検知制御が行われる。また、側方検知スイッチ9がオフの時には、後述する条件が満たされていても、側方車両検知制御は行われない。
【0014】
図3は、画像処理コントローラ3の内部構成を示す図である。画像処理コントローラ3は、デコーダ3aと、画像処理専用IC3bと、エンコーダ3cと、画像メモリ3dと、ROM3eと、画像処理制御CPU3fとを備える。CCDカメラ1a,1bから出力された映像信号Sa,Sbは、デコーダ3aに入力される。デコーダ3aは、入力された映像信号Sa,Sbをそれぞれデジタルデータに変換して、画像処理専用IC3bに出力する。画像処理専用IC3bは、A/D変換処理が行われた画像データに対して各種の演算処理を実行する。演算処理が行われた画像データは、エンコーダ3cに出力される。エンコーダ3cは、演算処理が行われた画像データにD/A変換処理を施す。D/A変換処理が行われた後の映像信号S1は、映像コントロール装置4に出力される。
【0015】
上述した画像処理専用IC3bと、画像メモリ3d、ROM3e、画像処理制御CPU3fとは、それぞれ共通のバスにより接続されている。画像メモリ3dには、入力された画像データや処理実行中のデータを一次的に保存することができる。なお、画像メモリ3dは、処理に必要な複数の画像を記憶するための所定容量が用意される。ROM3eには、CCDカメラ1a,1bにより撮像された画像に基づいて自車両に接近してくる車両を検出するプログラム等の画像処理プログラムが格納されている。画像処理制御CPU3fは、映像コントロール装置4から送信されてくる制御信号Scに基づいて、画像処理の実行を行うタイミングや各種信号の入出力を制御する。
【0016】
図4は、例えば、自車両10が見通しの悪いT地路や交差点にさしかかった時に、カメラ1a,1bを用いて、側方から接近してくる車両を検出するための制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ3内に設けられている画像処理専用IC3bおよび映像コントロール装置4により行われる。ステップS10から始まる制御は、図示しないイグニッションスイッチがオンとなることにより始まる。なお、以下の説明では、カメラ1aにより撮影した映像に基づいて、接近車両を検出するものとする。
【0017】
ステップS10では、ナビゲーション装置6から映像コントロール装置4に入力される映像信号Snに基づいて、ナビゲーション情報のうち、映像コントロール装置4で選択される地図情報や自車位置情報等の情報をディスプレイ5に表示する。すなわち、ドライバ等が図示しない操作ボタンを操作することにより、ドライバ等が表示を要求する情報が映像コントロール装置4で選択されて、ディスプレイ5に表示される。映像コントロール装置4で選択された情報がディスプレイ5に表示されると、ステップS20に進む。
【0018】
ステップS20では、映像コントロール装置4によって、車速センサ7から入力されるパルスに基づいて自車両の車速を算出し、算出した車速が所定値以下であるか否かを判定する。この所定値は、ステップS10でディスプレイ5に表示したナビゲーション画面を継続して表示するための条件値であり、本実施の形態では10km/hとする。車速が所定値以下であると判定するとステップS30に進み、所定値より大きいと判定するとステップS10に戻り、ナビゲーション画面を継続してディスプレイ5に表示する。
【0019】
ステップS30では、側方モニタスイッチ9から映像コントロール装置4に入力される信号に基づいて、側方モニタスイッチ9がオンであるか否かを判定する。側方モニタスイッチ9がオンであると判定するとステップS40に進み、オンではないと判定すると、交差点等における撮影画像の表示や接近車両の検出処理が不要であると判断してステップS10に戻る。
【0020】
ステップS40では、カメラ1aにより撮像された画像をディスプレイ5に表示する。すなわち、画像処理コントローラ3は、カメラ1aから入力される映像信号Saに基づいた映像信号S1を映像コントロール装置4に出力する。映像コントロール装置4は、ディスプレイ5に出力する映像信号S2として、ナビゲーション装置6の出力映像信号Snから、画像処理コントローラ3から出力される映像信号S1に切り換える。これにより、カメラ1aにより撮像された自車両10に対する側方映像がディスプレイ5に表示される。
【0021】
ステップS40に続くステップS50では、映像コントロール装置4によって、車速センサ7から入力されるパルスに基づいて自車両の車速を再び算出し、算出した車速が0となったか否かを判定する。車速が0であり、交差点等において自車両が停止(一時停止)したと判定するとステップS60に進み、車速が0ではないと判定するとステップS20に戻る。
【0022】
ステップS60では、カメラ1aで撮像された映像Image Tnを画像処理コントローラ3内の画像メモリ3dに格納して、ステップS70に進む。ステップS70では、ステップS60で画像メモリ3dに格納した画像データImage Tnに基づいて、自車両の至近距離に存在する車両等の移動体の検出処理を行う。本実施の形態では、自車両から所定距離の範囲内を至近距離と呼ぶ。この至近距離車両検出処理の詳細な内容を図5に示すフローチャートを用いて説明する。
【0023】
図5に示すフローチャートのステップS200では、画像データImage Tnの所定領域に至近距離車両の探索領域を設定する。ここでは、カメラ1a,1bの取り付け位置と撮影範囲に基づいて、接近車両が撮像画像から消えていくことが想定される位置に適当な面積を有する矩形領域を探索領域として設定する。図6(a)は、図1に示すような状況でカメラ1aにより撮影された映像であり、図6(a)中の枠線で囲まれた領域が至近距離車両探索領域である。なお、探索領域を示す枠線は、説明のために図示したものであり、実際にはディスプレイ5には表示されない。
【0024】
ステップS210では、ステップS200で設定した至近距離車両探索領域内の画像濃度ヒストグラムを作成する。カメラ1aで撮影されて映像コントロール装置4に入力される画像は、256階調(8ビット)の白黒画像であり、黒が濃度0、白が濃度255で表現される。濃度ヒストグラムは、濃度値を横軸に、濃度が現れる頻度を縦軸にとったものであり、例えば、図6(a)に示す映像の至近距離車両探索領域内の画像濃度ヒストグラムは、図6(b)に示すようなものとなる。濃度ヒストグラムを作成すると、ステップS220に進む。
【0025】
ステップS220では、ステップS210で作成した濃度ヒストグラムのパターンを解析する。図6(a)に示すように、探索領域内に車両が映っている場合には、車体の様々な部分の濃度が反映されるので、濃度ヒストグラムは図6(b)に示すように、黒(濃度値0)に近い濃度から白(濃度値255)に近い濃度まで広く分布する。図7に示すように、道路に停止線などの白色の路面ペイント表示がなされている場合には、図8(a)に示すように、探索領域内に白線が映されることがある。この場合の濃度ヒストグラムは、図8(b)に示すように、路面部分の暗めの濃度と白線部分の明るい濃度の部分に濃度値のピークが二極化して現れる。図9(a)は、探索領域内に路面しか映されていない場合の映像であり、この場合の濃度ヒストグラムは、図9(b)に示すように、路面部分の濃度において先鋭なピークが存在する。
【0026】
図6(b),図8(b),図9(b)に示したように、至近距離車両探索領域内の濃度分布は、探索領域内に車両が存在する場合と存在しない場合とで特徴が異なる。すなわち、探索領域内に車両が存在する場合には、図6(b)に示すように画像濃度が広く分布するため、濃度値の先鋭なピークは存在しないが、車両が存在しない場合には、図8(b),図9(b)に示すように、先鋭なピークが存在する。濃度値の先鋭なピークの有無は、例えば、濃度ヒストグラムの濃度値方向(横軸方向)に微分を行って、濃度値の急峻な変化の有無を検出することにより検出することができる。
【0027】
ステップS230では、ステップS220で行った濃度ヒストグラムの解析の結果、濃度値の先鋭なピークが存在するか否かを判定する。濃度値の先鋭なピークが存在すると判定すると、至近距離車両探索領域内には車両が存在せず、自車両に警告等を行う必要がないので、至近距離車両検出処理を終了して、図4に示すフローチャートのステップS80に進む。一方、濃度値の先鋭なピークが存在しないと判定すると、ステップS240に進む。ステップS240では、自車両の至近距離に車両が接近してきている旨の警告を自車両の運転者に行う。警告は、図10に示すように、ディスプレイ5の表示画面の一部に注意を喚起する表示を示したり、ブザー8からアラーム音を出力することにより行う。自車両の運転者に警告を行うと、至近距離車両検出処理を終了して、図4に示すフローチャートのステップS80に進む。
【0028】
図4に示すフローチャートのステップS80では、ステップS60で撮影画像データImage Tnを画像メモリ3dに格納したタイミングTnからΔT秒後のTn+ΔTのタイミングにおける画像データImage Tn+1を画像メモリ3dに格納する。図11は、交差点に進入する前に一時停止している自車両10に接近してくる車両20の様子を示した図である。時刻Tnにカメラ1aにより撮影された映像を図12(a)に、時刻Tn+ΔTに撮影された映像を図12(b)にそれぞれ示す。ステップS80に続くステップS90では、自車両に接近してくる車両の有無を検出する。この接近車両検出処理は、ステップS70で行った至近距離車両検出処理では検出できない接近車両を検出するものであり、図13に示すフローチャートを用いて処理内容について説明する。
【0029】
図13に示すフローチャートのステップS300では、図4に示すフローチャートのステップS60で取得した画像データImage Tnと、ΔT秒の差をおいてステップS80で取得した画像データImage Tn+1との二つの画像データを用いて、オプティカルフローを検出する。オプティカルフローとは、カメラ1aに対して相対的に移動する車両20等の移動体の相対運動に伴って生じる、撮像画像中の各点の見かけの動きに関する速度ベクトルのことである。オプティカルフローの検出方法は公知であるため詳細な説明は省略するが、例えば、画像Image Tnの所定ブロック領域内の画素データに関して、ΔT秒後の画像Image Tn+1の中に大きな相関値を有する領域が存在するか否かを演算し、大きな相関値が観測された領域との間での移動量として検出することができる。図12(c)は、図12(a)に示す画像と図12(b)に示す画像とに基づいて検出されたオプティカルフローの一例を示す図である。
【0030】
ステップS300でオプティカルフローの検出処理を行うと、ステップS310に進む。ステップS310では、ステップS300で行ったオプティカルフローの検出処理結果に基づいて、自車両10に接近してくる方向のオプティカルフロー(以下、接近フローと呼ぶ)が検出されたか否かを判定する。本実施の形態では、カメラ1aにより撮影された映像を用いて説明しているので、接近フローは画像の右から左方向に流れることになる。図12(c)に示すような接近フローが検出されたと判定するとステップS320に進み、検出されないと判定すると、接近車両検出処理を終了して、図4に示すフローチャートのステップS100に進む。
【0031】
ステップS320では、自車両10に接近してくる車両が存在するので、自車両10の運転者に警告を発する必要があるか否かの判断処理を行う。警告の必要の有無は、オプティカルフローの大きさに基づいて行う。オプティカルフローは、自車両10に接近してくる車両20の速度が速いほど大きくなり、また、接近車両20が自車両10に近づくほど大きくなる。従って、検出されたオプティカルフローの大きさと、予め設定された所定のしきい値の大きさとに基づいて警告の有無を判断する。
【0032】
ステップS320に続くステップS330では、ステップS320で行った警告の有無の判断処理の結果に基づいて、警告が必要か否かを判定する。検出されたオプティカルフローの大きさが所定のしきい値より大きい場合には、運転者への警告が必要であると判定してステップS340に進み、オプティカルフローが所定のしきい値以下である場合には、警告の必要がないと判定して、接近車両検出処理を終了して、図4に示すフローチャートのステップS100に進む。
【0033】
ステップS340では、自車両10に車両が接近してきている旨の警告を自車両10の運転者に行う。警告は、図14に示すように、ディスプレイ5の表示画面の一部に注意を喚起する表示を示したり、ブザー8からアラーム音を出力することにより行う。自車両の運転者に警告を行うと、接近車両検出処理を終了して、図4に示すフローチャートのステップS100に進む。
【0034】
ステップS100では、映像コントロール装置4によって、車速センサ7から入力されるパルスに基づいて自車両の車速を算出し、算出した車速が所定値以上であるか否かを判定する。この所定値は、ステップS20と同様に、例えば10km/hである。自車両の車速が所定値以上の場合、すなわち、自車両が交差点等に進入して走行を再開している場合には、ステップS10に戻って、再びディスプレイ5にナビゲーション表示を行う。一方、自車両の車速が所定値未満であると判定すると、ステップS110に進む。
【0035】
ステップS110では、側方モニタスイッチ9が継続してオンとなっているか否かを判定する。オンになっていると判定すると、ステップS80に戻って、接近車両検出処理を再び行う。すなわち、前回のステップS80の処理にて画像メモリ3dに格納した画像データImage Tn+1からΔT秒後の画像データImage Tn+2を取得し、二つの画像データに基づいて接近車両検出処理を行う。一方、側方モニタスイッチ9がオフになっていると判定するとステップS10に戻り、再びディスプレイ5にナビゲーション表示を行う。
【0036】
上述したように、本実施の形態における車両側方監視装置によれば、カメラ1a,1bにより撮影された一つの画像に基づいて、自車両が走行する道路と交差する側方道路上において自車両の至近距離、すなわち、所定距離の範囲内に存在する移動体を検出することができる。従って、時間差をおいて撮像された2枚の画像を用いてオプティカルフローを抽出する方法では検出できないような至近距離の移動体も検出することができる。また、時間差をおいて2枚の画像を取得する方法では、車両等の移動体を検出できた場合でも運転者への警告が遅くなるという問題があるが、本実施の形態における車両側方監視装置では、一つの画像に基づいて至近距離車両を検出するので、迅速に運転者への警告を行うことができる。
【0037】
移動体の検出に際し、カメラ1a,1bにより撮像された一つの画像内に、自車両から所定距離の範囲内に存在する移動体を検出するための車両探索領域を設定し、探索領域内の画像濃度に関する情報に基づいて、移動体を検出するので、自車両から所定距離の範囲内に存在する移動体を確実に検出することができる。また、画像濃度に関する情報とは、車両探索領域内の画像濃度分布であり、画像濃度分布に基づいて移動体を検出するので、さらに確実に自車両から所定距離の範囲内に存在する移動体を確実に検出することができる。
【0038】
撮像された画像の車両探索領域内に移動体が存在する時には、画像濃度分布に先鋭性のあるピークが存在しないので、画像濃度分布に先鋭性のあるピークが存在するか否かに基づいて、自車両から所定距離の範囲内に存在する移動体を確実に検出することができる。
【0039】
自車両から所定距離の範囲内(至近距離)に存在する移動体の検出処理後に、カメラ1a,1bにより所定時間間隔にて撮像された少なくとも二つの画像に基づいて、自車両に接近してくる移動体を検出するので、所定距離より以遠の位置に存在する移動体をも検出することができる。この時、二つの画像に基づいてオプティカルフローを検出し、オプティカルフローの大きさが所定値より大きい場合に運転者に警告を発するので、検出した移動体のうち、運転者にとって危険性の高い移動体のみを警告により報知することができる。すなわち、自車両に対して危険性の低い移動体の検出に基づいて、運転者に警告が行われることを防ぐことができる。
【0040】
本発明は、上述した一実施の形態に限定されることはない。例えば、カメラ1a,1bにより撮影された画像の所定領域に設定される至近距離車両探索領域は、図6(a),図8(a),図9(a)に示すように、矩形領域とした。しかし、図15に示すように、台形の領域とすることもできる。図4に示すフローチャートのステップS70では、カメラ1a,1bの取り付け位置と撮影範囲とに基づいて、道路領域と想定される位置に矩形の領域を設定することにより、至近距離車両検出処理を行った。この至近距離車両探索領域の設定方法では、自車両が存在する道路と交差道路とが同一の水平面上にあり、交差道路の幅員も一定であることを前提としている。しかし、自車両が存在する道路に対して交差道路が大きな勾配を有している場合や、交差道路の幅員が著しく広いまたは狭い場合には、撮影画像に対して一義的に至近距離車両探索領域を設定すると、探索領域内に路面部分以外の部分が含まれる可能性がある。この場合、路面部分以外の部分、例えば、背景部分が探索領域に含まれてしまうと、探索領域内の濃度ヒストグラムの解析が困難になる。従って、背景領域が含まれないように探索領域を設定することが望ましい。
【0041】
図15に示す探索領域の設定方法について説明する。交差点などにおいて自車両が一時停止をした後に撮影した画像データImage Tnを用いて、Hough変換などの手法により直線を検出し、道路と道路以外の部分との境界を抽出する。カメラ1aで撮影された画像を用いる場合には、抽出された道路の遠方側の境界線(画像上では、上側の境界線)と、画像の左側フレームおよび下側フレームとに囲まれる領域を探索領域に設定する。このような方法で探索領域を設定すれば、探索領域内に路面部分以外の領域が含まれることがなくなるので、移動体の検出精度を向上させることができる。
【0042】
自車両側方の映像を撮像するためのカメラは、車両10のフロント左右に1台ずつ設けたが、車両10の後部の左右に取り付けることもできる。この場合には、例えば、車庫や駐車場から後退しながら道路に進入する場合等に有効である。また、カメラ1a,1bの画角は、周囲の監視状況に応じて広角にする等、自由に設定することができる。さらに、プリズムやミラーを用いて自車両10の左右の映像を合成した画像を1台のカメラで撮像するようにしてもよい。この場合には、得られた画像に応じて至近距離車両探索領域の設定位置を調整する必要がある。
【0043】
また、本発明による車両側方監視装置により検出されるのは車両に限らず、二輪車や歩行者であってもよい。
【0044】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ1a,1bが撮像手段を、画像処理コントローラ3が第1の移動体検出手段、探索領域設定手段、画像濃度分布作成手段、線検出手段および第2の移動体検出手段を、ブザー8およびディスプレイ5が警報手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図1】カメラの取り付け位置および撮影範囲を示す図
【図2】本発明による車両側方監視装置の一実施の形態の構成を示す図
【図3】画像処理コントローラの一実施の形態の詳細な構成を示す図
【図4】本発明位による車両側方監視装置により行われる処理内容を示す一実施の形態のフローチャート
【図5】至近距離車両検出処理の内容を示す一実施の形態のフローチャート
【図6】図6(a)は、図1に示す状況下で撮影された画像を示す図、図6(b)は図6(a)の撮像画像に基づいて作成された濃度ヒストグラム
【図7】路面に白線等の路面ペイント表示がある様子を示す図
【図8】図8(a)は、図7に示す状況下で撮影された画像を示す図、図8(b)は図8(a)の撮像画像に基づいて作成された濃度ヒストグラム
【図9】図9(a)は、接近車両や白線等が存在しない場合に撮影された画像の一例を示す図、図9(b)は、図9(a)の撮像画像に基づいて作成された濃度ヒストグラム
【図10】警告表示の一例を示す図
【図11】交差点に進入する前に一時停止している自車両に接近してくる車両の様子を示した図
【図12】図12(a)は時刻Tnにて撮影された画像を示す図、図12(b)は時刻Tn+ΔTにて撮影された画像を示す図、図12(c)は、図12(a)および図12(b)に示す画像に基づいて検出されたオプティカルフローの一例を示す図
【図13】接近車両検出処理の内容を示す一実施の形態のフローチャート
【図14】自車両に接近してくる車両が存在する旨の警告を行う際の警告表示の一例を示す図
【図15】台形の至近距離車両探索領域を示す図
【符号の説明】
1a,1b…CCDカメラ、3…画像コントローラ、3a…デコーダ、3b…画像処理専用IC、3c…エンコーダ、3d…画像メモリ、3e…ROM、3f…画像処理制御CPU、4…映像コントロール装置、5…ディスプレイ、6…ナビゲーション装置、7…車速センサ、8…ブザー、9…側方モニタスイッチ、10…自車両、20…接近車両[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle side monitoring device that monitors a moving body approaching from a side road when entering a left or right intersection with poor visibility.
[0002]
[Prior art]
Conventionally, there is a device that detects a vehicle approaching an intersection from a side road based on an image captured by an on-board camera that captures a side of the vehicle when the vehicle enters an intersection or the like with poor visibility to the left and right. It is known (see Patent Document 1). In this conventional device, an optical flow is extracted based on two images taken at a predetermined time interval by a vehicle-mounted camera, and an approaching degree of an approaching vehicle is determined based on the magnitude of the extracted optical flow. Warning the driver of the vehicle.
[0003]
[Patent Document 1]
JP 2001-213254 A
[0004]
[Problems to be solved by the invention]
However, in the conventional device, if the approaching vehicle has reached the closest distance of the intersection, the approaching vehicle will be out of the shooting range even if an attempt is made to take a second image after a predetermined time, and the optical flow will be interrupted. There is a possibility that the detection process cannot be performed.
[0005]
The present invention provides a vehicle side monitoring device that can detect a moving object even when the moving object has reached a short distance from an intersection.
[0006]
[Means for Solving the Problems]
A vehicle side monitoring device according to the present invention includes: an imaging unit that captures at least one of a left side and a right side of a host vehicle; and a host vehicle on a side road based on one image captured by the imaging unit. Moving object detecting means for detecting a moving object existing within a predetermined distance from the moving object.
[0007]
【The invention's effect】
According to the vehicle side monitoring device according to the present invention, it is possible to detect a moving body that has reached the closest distance of the vehicle on the side road based on one image captured by the imaging unit.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
The vehicle side monitoring device according to the present embodiment includes a camera for photographing the side of the vehicle, and performs image processing described below on the image photographed by the camera, so that the vehicle approaching from the side of the own vehicle. And other moving objects are detected. As shown in FIG. 1, one
[0009]
FIG. 2 is a diagram showing a configuration of an embodiment of a vehicle side monitoring device according to the present invention. The vehicle side monitoring device according to one embodiment includes two
[0010]
Images captured by the
[0011]
The navigation device 6 has a function of detecting the position of the own vehicle using a GPS or the like, and a function of searching for a route from the current position of the own vehicle to the destination. The vehicle position information and the guidance route information to the destination detected by the navigation device 6 are input to the
[0012]
The
[0013]
The side monitor switch 9 activates a program for switching and displaying a video taken by the
[0014]
FIG. 3 is a diagram illustrating an internal configuration of the
[0015]
The above-described
[0016]
FIG. 4 is an embodiment showing a control procedure for detecting a vehicle approaching from the side by using the
[0017]
In step S10, based on the video signal Sn input from the navigation device 6 to the
[0018]
In step S20, the
[0019]
In step S30, it is determined whether or not the side monitor switch 9 is turned on based on a signal input from the side monitor switch 9 to the
[0020]
In step S40, the image taken by the camera 1a is displayed on the
[0021]
In step S50 following step S40, the
[0022]
In step S60, the image Tn captured by the camera 1a is stored in the image memory 3d in the
[0023]
In step S200 of the flowchart shown in FIG. 5, a search area for a close-range vehicle is set in a predetermined area of the image data Image Tn. Here, a rectangular area having an appropriate area at a position where the approaching vehicle is expected to disappear from the captured image is set as a search area based on the mounting positions of the
[0024]
In step S210, an image density histogram is created in the close range vehicle search area set in step S200. The image photographed by the camera 1a and input to the
[0025]
In step S220, the pattern of the density histogram created in step S210 is analyzed. As shown in FIG. 6A, when a vehicle is reflected in the search area, the density of various parts of the vehicle body is reflected. Therefore, the density histogram is black as shown in FIG. 6B. It is widely distributed from a density close to (density value 0) to a density close to white (density value 255). As shown in FIG. 7, when a white road surface paint display such as a stop line is displayed on the road, a white line may appear in the search area as shown in FIG. 8A. In the density histogram in this case, as shown in FIG. 8B, a peak of the density value appears in a darker density portion of the road surface portion and a brighter density portion of the white line portion. FIG. 9A is an image in a case where only the road surface is shown in the search area. In this case, the density histogram has a sharp peak in the density of the road surface portion as shown in FIG. 9B. I do.
[0026]
As shown in FIGS. 6 (b), 8 (b), and 9 (b), the density distribution in the close range vehicle search area is characterized by the presence and absence of vehicles in the search area. Are different. That is, when a vehicle is present in the search area, the image density is widely distributed as shown in FIG. 6B, so that no sharp peak of the density value exists. As shown in FIGS. 8B and 9B, there are sharp peaks. The presence or absence of a sharp peak in the density value can be detected, for example, by performing differentiation in the density value direction (horizontal axis direction) of the density histogram and detecting the presence or absence of a sharp change in the density value.
[0027]
In step S230, as a result of the analysis of the density histogram performed in step S220, it is determined whether or not there is a sharp peak in the density value. If it is determined that there is a sharp peak in the density value, no vehicle exists in the close range vehicle search area, and there is no need to issue a warning or the like to the own vehicle. It proceeds to step S80 of the flowchart shown in FIG. On the other hand, if it is determined that there is no sharp peak in the density value, the process proceeds to step S240. In step S240, a warning is issued to the driver of the host vehicle that the vehicle is approaching a close distance of the host vehicle. As shown in FIG. 10, the warning is issued by displaying a call for attention on a part of the display screen of the
[0028]
In step S80 of the flowchart shown in FIG. 4, the image data Image Tn + 1 at the timing of Tn + ΔT after ΔT seconds from the timing Tn at which the photographed image data Image Tn was stored in the image memory 3d in step S60 is stored in the image memory 3d. FIG. 11 is a diagram illustrating a state of the
[0029]
In step S300 of the flowchart shown in FIG. 13, two images of the image data Image Tn acquired in step S60 of the flowchart shown in FIG. 4 and the image data Image Tn + 1 acquired in step S80 with a difference of ΔT seconds. Using the data, an optical flow is detected. The optical flow is a velocity vector relating to the apparent movement of each point in the captured image, which is generated with the relative movement of a moving body such as the
[0030]
When the optical flow detection process is performed in step S300, the process proceeds to step S310. In step S310, it is determined based on the result of the optical flow detection processing performed in step S300 whether an optical flow in a direction approaching the vehicle 10 (hereinafter, referred to as an approach flow) is detected. In the present embodiment, since the description is made using the video taken by the camera 1a, the approach flow flows from the right to the left of the image. If it is determined that the approach flow as shown in FIG. 12C has been detected, the process proceeds to step S320. If it is determined that the approach flow has not been detected, the approaching vehicle detection process ends, and the process proceeds to step S100 in the flowchart shown in FIG.
[0031]
In step S320, since there is a vehicle approaching the
[0032]
In step S330 subsequent to step S320, it is determined whether or not a warning is necessary based on the result of the processing for determining whether or not there is a warning performed in step S320. When the magnitude of the detected optical flow is larger than the predetermined threshold, it is determined that a warning to the driver is necessary, and the process proceeds to step S340, and when the optical flow is equal to or smaller than the predetermined threshold. , It is determined that there is no need to issue a warning, the approaching vehicle detection process ends, and the routine proceeds to step S100 in the flowchart shown in FIG.
[0033]
In step S340, the driver of the
[0034]
In step S100, the
[0035]
In step S110, it is determined whether or not the side monitor switch 9 is continuously turned on. If it is determined to be on, the process returns to step S80, and the approaching vehicle detection process is performed again. That is, the image data Image Tn + 2 that is ΔT seconds after the image data Image Tn + 1 stored in the image memory 3d in the previous process of step S80 is acquired, and the approaching vehicle detection process is performed based on the two image data. . On the other hand, when it is determined that the side monitor switch 9 is turned off, the process returns to step S10, and the navigation display is performed again on the
[0036]
As described above, according to the vehicle side monitoring device in the present embodiment, based on one image captured by the
[0037]
Upon detecting a moving object, a vehicle search area for detecting a moving object existing within a predetermined distance from the host vehicle is set in one image captured by the
[0038]
When the moving object is present in the vehicle search area of the captured image, since there is no sharp peak in the image density distribution, based on whether there is a sharp peak in the image density distribution, It is possible to reliably detect a moving object existing within a predetermined distance from the own vehicle.
[0039]
After detecting a moving object within a predetermined distance range (closest distance) from the vehicle, the vehicle approaches the vehicle based on at least two images captured at predetermined time intervals by the
[0040]
The present invention is not limited to the above embodiment. For example, as shown in FIGS. 6 (a), 8 (a) and 9 (a), a short range vehicle search area set in a predetermined area of an image captured by the
[0041]
A method for setting the search area shown in FIG. 15 will be described. A straight line is detected by a method such as Hough transform using image data Image Tn photographed after the own vehicle is temporarily stopped at an intersection or the like, and a boundary between a road and a portion other than the road is extracted. When an image captured by the camera 1a is used, a search is made for an area surrounded by a boundary on the far side of the extracted road (an upper boundary on the image) and a left frame and a lower frame of the image. Set to area. If the search area is set by such a method, an area other than the road surface portion is not included in the search area, so that the detection accuracy of the moving object can be improved.
[0042]
The cameras for capturing the images of the side of the vehicle are provided one by one on the left and right sides of the front of the
[0043]
What is detected by the vehicle side monitoring device according to the present invention is not limited to the vehicle, but may be a motorcycle or a pedestrian.
[0044]
The correspondence between the components of the claims and the components of the embodiment is as follows. That is, the
[Brief description of the drawings]
FIG. 1 is a diagram showing a mounting position and a photographing range of a camera.
FIG. 2 is a diagram showing a configuration of an embodiment of a vehicle side monitoring device according to the present invention;
FIG. 3 is a diagram showing a detailed configuration of an embodiment of an image processing controller.
FIG. 4 is a flowchart of an embodiment showing processing contents performed by the vehicle side monitoring device according to the present invention;
FIG. 5 is a flowchart of an embodiment showing details of a close-range vehicle detection process.
6A is a diagram showing an image photographed under the situation shown in FIG. 1, and FIG. 6B is a density histogram created based on the photographed image of FIG. 6A.
FIG. 7 is a diagram showing a state where a road surface such as a white line is displayed on the road surface;
8A is a diagram showing an image photographed under the situation shown in FIG. 7, and FIG. 8B is a density histogram created based on the photographed image in FIG. 8A.
9A is a diagram illustrating an example of an image captured when no approaching vehicle, white line, or the like exists, and FIG. 9B is created based on the captured image in FIG. 9A; Density histogram
FIG. 10 is a diagram showing an example of a warning display.
FIG. 11 is a diagram showing a state of a vehicle approaching a host vehicle that is temporarily stopped before entering an intersection;
12A is a diagram illustrating an image captured at time Tn, FIG. 12B is a diagram illustrating an image captured at time Tn + ΔT, and FIG. FIG. 12 is a diagram showing an example of an optical flow detected based on the images shown in FIGS.
FIG. 13 is a flowchart illustrating an example of an approaching vehicle detection process according to an embodiment;
FIG. 14 is a diagram showing an example of a warning display when giving a warning that a vehicle approaching the host vehicle exists;
FIG. 15 is a diagram showing a close-range vehicle search area of a trapezoid.
[Explanation of symbols]
1a, 1b: CCD camera, 3: Image controller, 3a: Decoder, 3b: Image processing dedicated IC, 3c: Encoder, 3d: Image memory, 3e: ROM, 3f: Image processing control CPU, 4: Video control device, 5 ... display, 6 ... navigation device, 7 ... vehicle speed sensor, 8 ... buzzer, 9 ... side monitor switch, 10 ... own vehicle, 20 ... approaching vehicle
Claims (10)
前記撮像手段により撮像された一つの画像に基づいて、側方道路上において自車両から所定距離の範囲内に存在する移動体を検出する第1の移動体検出手段とを備えることを特徴とする車両側方監視装置。Imaging means for imaging at least one of the left side and the right side of the vehicle,
A first moving object detecting unit that detects a moving object existing within a predetermined distance from the host vehicle on a side road based on one image picked up by the image pickup unit. Vehicle side monitoring device.
前記撮像手段により撮像された一つの画像内に、自車両から所定距離の範囲内に存在する移動体を検出するための車両探索領域を設定する探索領域設定手段をさらに備え、
前記第1の移動体検出手段は、前記探索領域設定手段により設定された探索領域内の画像濃度に関する情報に基づいて、前記移動体を検出することを特徴とする車両側方監視装置。The vehicle side monitoring device according to claim 1,
In one image picked up by the image pickup means, further comprising a search area setting means for setting a vehicle search area for detecting a moving object existing within a predetermined distance from the own vehicle,
The vehicle side monitoring device according to claim 1, wherein the first moving body detecting means detects the moving body based on information about an image density in a search area set by the search area setting means.
前記探索領域設定手段により設定された探索領域内の画像濃度分布を作成する画像濃度分布作成手段とをさらに備え、
前記第1の移動体検出手段は、前記画像濃度分布作成手段により作成された画像濃度分布に基づいて、前記移動体を検出することを特徴とする車両側方監視装置。The vehicle side monitoring device according to claim 2,
Image density distribution creating means for creating an image density distribution in the search area set by the search area setting means,
The vehicle side monitoring device according to claim 1, wherein the first moving body detecting means detects the moving body based on an image density distribution created by the image density distribution creating means.
前記第1の移動体検出手段は、前記画像濃度分布作成手段により作成された画像濃度分布に先鋭性のある濃度値のピークが存在しない場合に、自車両から所定距離の範囲内に移動体が存在すると判断することを特徴とする車両側方監視装置。The vehicle side monitoring device according to claim 3,
The first moving object detecting means detects that the moving object is within a predetermined distance from the host vehicle when there is no sharp density value peak in the image density distribution created by the image density distribution creating means. A vehicle side monitoring device that determines that the vehicle exists.
前記第1の移動体検出手段は、前記画像濃度分布作成手段により作成された画像濃度分布に先鋭性のある濃度値のピークが存在する場合に、自車両から所定距離の範囲内に移動体が存在しないと判断することを特徴とする車両側方監視装置。The vehicle side monitoring device according to claim 3,
The first moving object detecting means detects that the moving object is within a predetermined distance from the host vehicle when a sharp density value peak exists in the image density distribution created by the image density distribution creating means. A vehicle side monitoring device that determines that the vehicle does not exist.
前記探索領域設定手段は、自車両に対する前記撮像手段の取り付け位置および前記撮像手段の撮像範囲のうちの少なくとも一方の情報に基づいて、前記探索領域を設定することを特徴とする車両側方監視装置。The vehicle side monitoring device according to any one of claims 2 to 5,
The vehicle side monitoring device, wherein the search area setting means sets the search area based on information on at least one of an attachment position of the imaging means with respect to a host vehicle and an imaging range of the imaging means. .
前記撮像手段により撮像された画像内の道路の端を示す線を検出する線検出手段をさらに備え、
前記探索領域設定手段は、前記線検出手段により検出された線に基づいて、前記撮像画像内の道路領域内に前記探索領域を設定することを特徴とする車両側方監視装置。The vehicle side monitoring device according to any one of claims 2 to 6,
The image capturing apparatus further includes a line detecting unit that detects a line indicating an edge of a road in the image captured by the image capturing unit,
The vehicle side monitoring device according to claim 1, wherein the search area setting means sets the search area in a road area in the captured image based on the line detected by the line detection means.
前記第1の移動体検出手段による移動体検出処理後に、前記撮像手段により所定時間間隔にて撮像された少なくとも2つの画像に基づいて、自車両に接近してくる移動体を検出する第2の移動体検出手段をさらに備えることを特徴とする車両側方監視装置。The vehicle side monitoring device according to any one of claims 1 to 7,
After the moving object detection processing by the first moving object detecting means, a second detecting means detects a moving object approaching the own vehicle based on at least two images picked up by the image pickup means at predetermined time intervals. A vehicle side monitoring device, further comprising a moving body detection unit.
前記第1の移動体検出手段により移動体が検出された場合に、少なくとも自車両の運転者に警報を発する警報手段をさらに備えることを特徴とする車両側方監視装置。The vehicle side monitoring device according to any one of claims 1 to 8,
A vehicle side monitoring device, further comprising an alarm unit that issues an alarm to at least a driver of the own vehicle when a moving object is detected by the first moving object detection unit.
前記第2の移動体検出手段は、前記少なくとも2つの画像に基づいてオプティカルフローを検出することにより、自車両に接近してくる移動体を検出し、
前記第2の移動体検出手段により検出されたオプティカルフローの大きさが所定値より大きい場合に、少なくとも自車両の運転者に警報を発する警報手段をさらに備えることを特徴とする車両側方監視装置。The vehicle side monitoring device according to claim 8,
The second moving body detection means detects a moving body approaching the own vehicle by detecting an optical flow based on the at least two images,
A vehicle side monitoring device, further comprising an alarm unit for issuing an alarm to at least a driver of the own vehicle when the magnitude of the optical flow detected by the second mobile unit detection unit is larger than a predetermined value. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002367839A JP2004201067A (en) | 2002-12-19 | 2002-12-19 | Vehicle side image monitoring apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002367839A JP2004201067A (en) | 2002-12-19 | 2002-12-19 | Vehicle side image monitoring apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004201067A true JP2004201067A (en) | 2004-07-15 |
Family
ID=32764598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002367839A Pending JP2004201067A (en) | 2002-12-19 | 2002-12-19 | Vehicle side image monitoring apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004201067A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014090957A1 (en) * | 2012-12-12 | 2014-06-19 | Connaught Electronics Ltd. | Method for switching a camera system to a supporting mode, camera system and motor vehicle |
-
2002
- 2002-12-19 JP JP2002367839A patent/JP2004201067A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014090957A1 (en) * | 2012-12-12 | 2014-06-19 | Connaught Electronics Ltd. | Method for switching a camera system to a supporting mode, camera system and motor vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421072B2 (en) | Approaching object detection system | |
JP3807331B2 (en) | Camera dirt detection device and camera dirt detection method | |
JP5070809B2 (en) | Driving support device, driving support method, and program | |
JP4855158B2 (en) | Driving assistance device | |
JP2003123196A (en) | Device and program for monitoring circumference of vehicle | |
JP2000259998A (en) | Back monitoring device for vehicle | |
JP2007226666A (en) | Driving support method and driving support device | |
JP5294562B2 (en) | Vehicle periphery monitoring device and display method thereof | |
JP2009231938A (en) | Surrounding monitoring device for vehicle | |
JP2009231937A (en) | Surroundings monitoring device for vehicle | |
JP2013164803A (en) | Violation vehicle detection device, violation vehicle detection method and violation vehicle detection program | |
JP2008059178A (en) | Operation support device and program | |
JP2004102827A (en) | Vehicle periphery monitoring apparatus | |
JP4986070B2 (en) | Ambient monitoring device for vehicles | |
JP2005202787A (en) | Display device for vehicle | |
JPH0981757A (en) | Vehicle position detecting device | |
JP2004349926A (en) | Obstacle detection apparatus and method, and program for obstacle detection | |
JP4003569B2 (en) | Intersection accident prevention device and program | |
JP4930432B2 (en) | Vehicle periphery monitoring device | |
JP2002104113A (en) | Rear monitoring device | |
JP2006344133A (en) | Road division line detector | |
JP3879958B2 (en) | Vehicle surrounding information notification device | |
JP6927787B2 (en) | On-board unit and driving support device | |
JP2004051063A (en) | Device for visual recognition around vehicle | |
JP2004201067A (en) | Vehicle side image monitoring apparatus |