JP2004280194A - Forward monitor and method therefor - Google Patents
Forward monitor and method therefor Download PDFInfo
- Publication number
- JP2004280194A JP2004280194A JP2003067272A JP2003067272A JP2004280194A JP 2004280194 A JP2004280194 A JP 2004280194A JP 2003067272 A JP2003067272 A JP 2003067272A JP 2003067272 A JP2003067272 A JP 2003067272A JP 2004280194 A JP2004280194 A JP 2004280194A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- vehicle
- camera
- interruption
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車等の車両に代表される移動体に取り付けられたＴＶカメラから得られる画像を用いて、先行車、駐車車両、歩行者等の前方障害物と、自車両の走行しているレーン、または自車両の走行が予測される領域に割り込んでくる車両等の割り込み障害物とを同時に検出することができる前方監視装置及びその方法に関するものである。
【０００２】
【従来の技術】
前方監視装置として、画像処理による、２台のカメラを用いてステレオ視により前方の障害物を検出する手法を用いたもの、ミリ波レーダにより前方の障害物を検出する手法を用いたもの等様々提案されている。しかし、以上の手法では自車両前方の道路上において狭い領域に存在する障害物しか検出できない。道路上に存在する障害物の中で「割り込み車両」とは、自車両の走行、または、停止しているレーン、または、自車両の走行が予測される領域に侵入してくる車両である。自車と近い距離で突発的に発生する現象であるため、非常に危険であり、迅速に検出する必要がある。したがって、道路上において広い領域に存在する障害物を検出する必要があり、割り込み車両等の割り込み障害物を検出する必要がある。
【０００３】
自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する方式として、大きく分けてレーダを用いる方式と、画像を用いる方式が提案されている。
【０００４】
（１）レーダを用いる方式
レーダを用いる方式として、特許文献１において、レーザレーダを用いて検出する方法が提案されている。
【０００５】
レーザレーダを用いる方式は雨等悪天候に弱いという問題がある。また、割り込み車両の場合、レーザレーダが斜めに照射されるため、反射波を受光できないという問題や、指向性が強く、曲がった道路での利用等は困難であるということや、他車両から発せられるレーザと干渉するという問題がある。
【０００６】
（２）画像を用いる方式
これに対して、画像を用いる方式では、例えば自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を限定することができる。このように様々の情報を、画像から取得することができる。また、装置を安価に構成することもできる。したがって、センサとしてレーダを用いるのではなく画像を用いる。
【０００７】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラによって単眼で撮影した画像を用いる方式とがある。
【０００８】
（２−１）複数のＴＶカメラを用いる方式
複数のＴＶカメラを用いる方式として、特許文献２において、ステレオ視により車両までの距離を計測して、３次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき割り込み車両と検出する手法が提案されている。
【０００９】
このステレオ視による手法は割り込み車両が、二台のＴＶカメラの共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から互いの点の応対付けにより視差を求めるので、計算量が大きくなるという問題もある。したがって、カメラとしては、複数のカメラを用いるのではなく、単一のカメラを用いるのが好ましい。
【００１０】
（２−２）単一のＴＶカメラを用いる方式
単一のＴＶカメラによって単眼で撮影した画像を用いる方式として、下記の二つの方式が知られている。
【００１１】
（２−２−１）第１の方式
第１の方式としては、特許文献３において、道路面のエッジ点数の変化に注目して割り込み車両を検出する方法が提案されている。
【００１２】
この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、割り込み車両が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると車両が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【００１３】
（２−２−２）第２の方式
第２の方式としては、特許文献４において、まず車両を検出し、検出した車両が走行レーン領域に十分に重なったら割り込み車両であると判断する手法が提案されている。
【００１４】
この手法では、正確な車両検出が必要となるが、精度の良い車両検出自体困難である。
【００１５】
【特許文献１】
特開平７−８９３６７号公報
【００１６】
【特許文献２】
特開平１１−２１３２９５号公報
【００１７】
【特許文献３】
特開平８−２４９５９７号公報
【００１８】
【特許文献４】
特開平８−２４９５９７号公報
【００１９】
【発明が解決しようとする課題】
前述のように、単一のＴＶカメラを用いる第２の方式においては、割り込み車両の検出のために車両の正確な検出が必要である。しかし、この車両の正確な検出は、非常に困難である。
【００２０】
また割り込み車両を検出するためには、広範囲の環境を撮影する必要があり、カメラ配置を工夫する必要がある。
【００２１】
そこで本発明では、以上のような点を考慮して、割り込み車両検出に適したカメラ配置におけるカメラで撮影された画像を用いて、車両を正確に検出するのでなく、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる他車両等の障害物の運動軌跡を、車両部分候補領域を追跡することにより求め、その運動軌跡から割り込み車両等の割り込み障害物を検出し、また同時に、単眼又は、ステレオ視により先行車両等の前方の障害物を検出する前方監視装置及びその方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
請求項１の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得手段と、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定手段と、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出手段と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出手段と、前記前方障害物検出手段で検出した前方障害物と前記割り込み障害物検出手段で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定手段と、を具備することを特徴とする前方監視装置である。
【００２３】
請求項２の発明は、前記画像取得手段において、カメラの光軸方向を前記自車両の前進方向と平行になるように前記自車両の左右両側にカメラを各々配置し、前記左側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、前記右側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２４】
請求項３の発明は、前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項２記載の前方監視装置である。
【００２５】
請求項４の発明は、前記画像取得手段において、前記自車両の左右両側にカメラを配置し、前記左側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置し、前記右側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置し、前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２６】
請求項５の発明は、前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項４記載の前方監視装置である。
【００２７】
請求項６の発明は、前記画像取得手段において、前記自車両の中央付近に複数台のカメラを配置し、そのうち一台のカメラを、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置した左側割り込み用カメラとなし、そのうち一台のカメラを、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置した右側割り込み監視用カメラとなし、前記割り込み障害物検出手段は、前記画像取得手段の左右両側の割り込み監視用カメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２８】
請求項７の発明は、前記複数台のカメラの中で、カメラの光軸方向を前記自車両の前進方向と平行になるように一台、または、複数台のカメラを配置して前方監視用カメラとなし、前記前方障害物検出手段は、前記前方監視カメラで撮影した画像を用いて前方障害物を検出することを特徴とする請求項６記載の前方監視装置である。
【００２９】
請求項８の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得ステップと、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定ステップと、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出ステップと、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出ステップと、前記前方障害物検出ステップで検出した前方障害物と前記割り込み障害物検出ステップで検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定ステップと、を具備することを特徴とする前方監視方法である。
【００３０】
請求項９の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得機能と、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定機能と、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出機能と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出機能と、前記前方障害物検出機能で検出した前方障害物と前記割り込み障害物検出機能で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定機能と、をコンピュータによって実現することを特徴とする前方監視方法のプログラムである。
【００３１】
【発明の実施の形態】
以下、図１から図１３を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００３２】
図１に本実施形態の前方監視装置の基本的な構成例を示す。
【００３３】
図１に示すように、前方監視装置は、画像入力部１、走行領域設定部２、前方障害物検出部３、割り込み障害物検出部４、統合判定部５とより構成され、これら各部１〜５の機能は、コンピュータに記憶されたプログラムによって実現される。
【００３４】
（１）カメラの配置
まず、前方監視装置における３種類のカメラ配置について、図２から図４に基づいて説明する。
【００３５】
（１−１）第１のカメラ配置
図２に基づいて、第１のカメラ配置について説明する。
【００３６】
図２に示すように、自車両の前部の左端部に左側のカメラが配され、前部の右端部に右側のカメラが配されている。両カメラの光軸方向は、自車両前進方向と平行になるように設置している。
【００３７】
左側のカメラは、左側の割り込み障害物を検出するための左側割り込み監視用カメラ、右側のカメラは、右側の割り込み障害物を検出するための右側割り込み監視用カメラの役割を果たしている。
【００３８】
また、両カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視の左前方監視カメラ、右前方監視カメラを兼ねている。
【００３９】
（１−２）第２のカメラ配置
図３に基づいて、第２のカメラ配置について説明する。
【００４０】
図３に示すように、自車両の前部の左端部に左側のカメラが配され、前部の右端部に右側のカメラが配されている。
【００４１】
左側のカメラが右側の割り込み障害物を検出するための右側割り込み監視用カメラ、右側のカメラが左側の割り込み障害物を検出するための左側割り込み監視用カメラの役割を果たしている。
【００４２】
また、両カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視の左前方監視カメラ、右前方監視カメラを兼ねている。
【００４３】
そして、左側のカメラによって、右側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を右側に回転させている。
【００４４】
また、右側のカメラによって、左側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を左側に回転させている。
【００４５】
この第２のカメラ配置では、第１のカメラ配置のようカメラの光軸が自車両前進方向に対して平行である場合と比較して、割り込み車両等の割り込み障害物の側面がより撮影しやすいので、取得した画像を用いて割り込み障害物を検出しやすくなる。そのために、自車両に近い割り込み障害物を検出しやすい。
【００４６】
（１−３）第３のカメラ配置
図４に基づいて、第３のカメラ配置について説明する。
【００４７】
図４に示すように、自車両の前部の中央部分に左側割り込み監視用カメラと左前方監視カメラ、右側割り込み監視用カメラと右前方監視カメラが配されている。
【００４８】
自車両の中央に配置された左側割り込み監視用カメラによって、左側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を左側に回転させている。
【００４９】
また、右側割り込み監視用カメラによって、右側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を右側に回転させている。
【００５０】
また、左右両前方監視カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視のカメラである。
【００５１】
この第３のカメラ配置では、第１のカメラ配置のようにカメラの光軸が自車両前進方向に対して平行である場合と比較して、割り込み車両等の割り込み障害物の側面がより撮影しやすいので、取得した画像を用いて割り込み障害物を検出しやすくなる。そのために、自車両に近い割り込み障害物を検出しやすい。
【００５２】
（２）前方監視装置の動作の内容
前方監視装置は、上記で説明した３つのカメラ配置の中の一つのカメラ配置を用いて動作するものである。
【００５３】
自車両に取り付けられた車両周辺の画像を取得可能な装置（例えば、第１のカメラ配置における左右のカメラ）である画像入力部１によって、撮影された時系列画像を取得する。
【００５４】
この撮影された時系列画像から、他車両が割り込みであるかどうか判定するために、自車両の走行する領域（以下、走行領域という）を画像内に走行領域設定部２により領域を設定する。
【００５５】
また、割り込み車両の候補を検出するために追跡開始領域を画像内に領域を設定する。
【００５６】
なお、「割り込み車両」とは、自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる車両をいう。
【００５７】
（ａ）走行領域設定部２
図５に示すように、走行領域設定部２は、走行レーン検出部２１、領域設定部２２からなる。
【００５８】
（ａ−１）走行レーン検出部２１
割り込み車両が走行領域の境界線と交わるときを割り込みであると判断するため、自車両が現在、走行しているレーンの境界線を検出する。すなわち、自車両は道路を走行しているので、白線検出の結果から走行レーンの境界線とする。なお、自車両は停止していてもよい。
【００５９】
また、検出された２本の白線の交点を消失点とする。この「消失点」とは、画像上における無限遠点のことである。白線検出としては、特許文献１（特開平７−８９３６７公報）による方法等様々な手法が提案されていて、どのような手法を用いても良い。
【００６０】
（ａ−２）領域設定部２２
割り込み車両は、自車両前方の近い距離において走行領域の外側から進入してくるものである。
【００６１】
そこで、図６に示すように、自車両の幅の長さを考慮して、自車両からある距離までの走行レーンに挟まれた領域の内側に、走行領域を設定する。
【００６２】
また、走行領域の外側の領域を「車両追跡開始領域」として設定する。
【００６３】
（ｂ）前方障害物検出部３
前方障害物検出として、ステレオ視により特許文献５（特願２００１−１５４５６９）による方法等様々な手法が提案されていて、また、単眼視により特許文献６（特願２００２−１８７０９１）による方法等様々な手法が提案されていて、どのような手法を用いても、前方障害物を検出できれば良い。
【００６４】
本実施形態では、図７に示すように、特許文献５による方法により、左前方監視カメラ、右前方監視カメラで取得した時系列画像を用いて、走行領域内に存在する前方障害物の有無、及び、前方障害物までの距離、画像上の前方障害物の下端の位置を検出する。また、画像上の前方障害物の下端の位置を障害物位置とする。
【００６５】
（ｃ）割り込み障害物検出部４
図８に示すように、割り込み障害物検出部４は、車両部分候補領域設定部４１、追跡部４２、割り込み判定部４３、割り込み車両領域検出部４４からなる。
【００６６】
以下の処理は、左側割り込み監視用カメラ、及び、右側割り込み監視用カメラで取得した時系列画像に対して、それぞれ行う。
【００６７】
（ｃ−１）車両部分候補領域設定部４１
車両は、水平・垂直の線分を多く含んでいる。したがって、水平・垂直方向のエッジが多い領域が車両領域である可能性が高い。
【００６８】
図６における、追跡開始領域において、垂直・水平方向のエッジが両方含まれるコーナ点を検出する。
【００６９】
コーナ点であれば、安定した追跡が行えるからである。コーナ点検出に関しては、Ｍｉｒｏｓｌａｖ Ｔｒａｊｋｏｖｉｃらによる”Ｆａｓｔ ｃｏｒｎｅｒｄｅｔｅｃｔｉｏｎ， Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，Ｎｏ．１６，ｐｐ．７５−８７，１９９８”を用いている。これらのコーナ点を中心としたある大きさの矩形領域を車両部分候補領域と設定する。
【００７０】
（ｃ−２）追跡部４２
本手法では動きを検出するために、車両部分候補領域をテンプレートマッチングによって追跡することにより行う。テンプレートマッチングに用いる画像間の相関値は輝度値の残差絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）である。車両部分候補領域をテンプレートとして登録し、次フレームで、テンプレートの位置周辺でＳＡＤ値を求め、ＳＡＤが最小になる位置を、そのフレームの車両部分候補領域の位置とする。車両部分候補領域が画像上である一定の距離以上動いたとき、テンプレートを更新している。画像間の相関値に関しては、ＳＡＤに限定しているわけではない。
【００７１】
このとき、以下に示すテンプレートマッチングの信頼性と割り込み方向の運動をしているか否かの２つの条件を考慮し、条件を満たさない車両部分候補領域は追跡を打ち切る。これにより、安定に追跡されている割り込み運動をしている車両部分候補領域のみ、以後の割り込み車両検出に用いることができる。
【００７２】
（ｃ−２−１）テンプレートマッチングの信頼性
テンプレートマッチングを行ったときに求まるＳＡＤの最小値が一定のしきい値より大きいとき、マッチングの信頼性が低いので、追跡を打ち切る。また、車両部分候補領域が車両の一部分であれば、水平、または、垂直エッジが存在するので、現在のフレームで車両部分候補領域内のエッジ密度を求め、一定のしきい値より小さい場合、追跡を打ち切る。エッジ密度とは、領域内で、Ｓｏｂｅｌフィルタ等によりエッジ強度を求め、一定のしきい値より大きいエッジ強度をもつ画素数が領域全体の画素数に対して占める割合である。
【００７３】
（ｃ−２−２）割り込み運動
車両が右側のレーンから自車両の走行レーンに割り込んでくる場合、他車両の動きは、図９に示すように、左方向である。よって、車両部分候補領域の運動方向が左方向でなければ、割り込み運動ではないので、追跡を打ち切る。但し、車両の縦揺れを考慮して、上下方向の動きも許容する。左側の場合も同様である。
【００７４】
以上のように、車両部分候補領域を毎フレーム追跡することにより、領域の運動軌跡を計算することができる。このときの運動軌跡は、領域の追跡を開始した位置と現在の領域の位置を直線で結んだ線で近似する。
【００７５】
（ｃ−３）割り込み判定部４３
割り込み車両は、走行領域内に進入している車両で、かつ、その運動方向は水平方向に近い。よって、車両部分候補領域の運動軌跡が以下の条件Ｃ１、Ｃ２を両方とも満たすとき、割り込みと判定する。
【００７６】
〔Ｃ１〕車両部分候補領域の運動軌跡が走行領域の境界線と交わっている。
【００７７】
〔Ｃ２〕車両部分候補領域の運動軌跡と走行領域の境界線のなす角が、一定のしきい値より大きい。
【００７８】
但し、車両部分候補領域の運動軌跡の内、以下の条件Ｒ１、Ｒ２のうちどちらか一方を満たすもののみ信頼性があるとし、条件Ｃ１、Ｃ２によって割り込みの判定を行う。
【００７９】
〔Ｒ１〕車両部分候補領域が追跡されている時間が十分長い。
【００８０】
〔Ｒ２〕車両部分候補領域の運動軌跡が十分な長さを持っている。
【００８１】
以上の処理により、車両部分候補領域に対して、割り込みであるかどうか判定できる。
【００８２】
（ｃ−４）割り込み車両領域検出部４４
図１０に示すように、ある車両部分候補領域の位置を（ｘ，ｙ），運動ベクトルの水平方向からの角度をθ，運動ベクトルをＶ，その他の車両部分候補領域の位置座標を（ｘｉ，ｙｉ），運動ベクトルの角度をθｉ，運動ベクトルをＶｉとする。ここで運動ベクトルは、数フレーム過去の車両部分候補領域の位置と現在の位置を結ぶベクトルである。以下の条件（１）、（２）、（３）を満たすとき、２つの車両部分候補領域が同じ車両候補領域に属すると決定する。
【００８３】
【数１】
【００８４】
この処理を、検出された全ての車両部分候補領域について行うことによりクラスタリングを行い、車両部分候補領域をある個数以上所有するクラスターを、車両候補領域として検出する。
【００８５】
図１１に車両候補領域を検出した結果を示す。矩形領域が検出された車両候補領域である。
【００８６】
そして、さらに許容範囲のしきい値を変更して、車両候補領域に対してクラスタリングを行う。最初のクラスタリングでは、主に孤立した位置に存在する車両部分候補領域や性質が違う車両部分候補領域をアウトライアとして除去することを目的とし、２回目では、主にグルーピングが目的である。
【００８７】
図１２に車両候補領域を検出した結果を示す。矩形領域が検出された車両候補領域である。
【００８８】
以上のような処理を行うことによって、孤立して存在する、間違った追跡結果による車両部分候補領域は削除される。そして、割り込みと判定された車両部分候補領域を含む車両候補領域は、割り込み車両領域として検出する。
【００８９】
また、画像上の割り込み車両領域の下端の位置を、割り込み障害物位置とする。
【００９０】
（ｄ）統合判定部５
障害物検出部３から出力される前方障害物の有無、前方障害物位置と、割り込み障害物検出部４から出力される左右の割り込み障害物の有無、割り込み障害物位置の情報を用いて、図１３に示すように自車両から最も近い障害物の位置を、最終的な障害物位置と検出する。
【００９１】
つまり、広範囲な環境下において、自車両にとって最も危険な障害物を検出している。
【００９２】
【発明の効果】
本発明によれば、車両に搭載されたカメラにより取得される時系列画像から、前方障害物及び割り込み障害物を安定に検出することにより、広範囲な環境を認識することができ、画像情報に基づく機器制御等の技術の実現に大きく貢献する。
【図面の簡単な説明】
【図１】本発明の前方監視装置の一実施形態の構成を示すブロック図である。
【図２】第１のカメラ配置を示す図である。
【図３】第２のカメラ配置を示す図である。
【図４】第３のカメラ配置を示す図である。
【図５】図１の走行領域設定部の一実施形態を示すブロック図である。
【図６】走行領域を設定する手法の説明図である。
【図７】図１の前方障害物検出部の説明図である。
【図８】図１の割り込み障害物検出部の一実施形態を示すブロック図である。
【図９】図８の追跡部の説明図である。
【図１０】図８の割り込み車両領域検出部の説明図である。
【図１１】図８の割り込み車両領域検出部の説明図である。
【図１２】図８の割り込み車両領域検出部の説明図である。
【図１３】図１の統合判定部の説明図である。
【符号の説明】
１ 画像入力部
２ 走行領域設定部
３ 前方障害物検出部
４ 割り込み障害物検出部
５ 統合判定部
２１ 走行レーン検出部
２２ 領域設定部
４１ 車両部分候補領域設定部
４２ 追跡部
４３ 割り込み判定部
４４ 割り込み車両領域検出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention uses an image obtained from a TV camera attached to a moving body typified by a vehicle such as an automobile, and travels with a preceding vehicle such as a preceding vehicle, a parked vehicle, or a pedestrian, and the own vehicle. The present invention relates to a forward monitoring device and a method thereof that can simultaneously detect a lane or an obstacle such as a vehicle that interrupts an area where the own vehicle is predicted to travel.
[0002]
[Prior art]
Various types of forward monitoring devices, such as those that use image processing to detect obstacles ahead in stereo with two cameras and those that detect obstacles in front using millimeter wave radar Proposed. However, the above method can only detect obstacles existing in a narrow area on the road ahead of the host vehicle. Among the obstacles existing on the road, the “interrupting vehicle” is a vehicle that runs into a lane where the own vehicle is running or is stopped, or an area where the own vehicle is predicted to run. Since this phenomenon occurs suddenly at a distance close to the own vehicle, it is extremely dangerous and needs to be detected quickly. Therefore, it is necessary to detect an obstacle existing in a wide area on the road, and it is necessary to detect an obstacle such as an interrupting vehicle.
[0003]
As a method for detecting a lane in which the own vehicle is traveling or a vehicle that interrupts an area where the own vehicle is predicted to run, a method using a radar and a method using an image are roughly classified.
[0004]
(1) Method using radar
As a method using a radar, Patent Document 1 proposes a detection method using a laser radar.
[0005]
The method using the laser radar has a problem that it is vulnerable to bad weather such as rain. In addition, in the case of an interrupting vehicle, the laser radar is obliquely illuminated, so that it cannot receive reflected waves.It also has strong directivity and is difficult to use on curved roads. There is a problem that the laser interferes with the laser.
[0006]
(2) Method using images
On the other hand, in the method using an image, for example, the traveling lane of the own vehicle can be detected, so that an area that is dangerous to the running of the own vehicle can be limited. Thus, various information can be acquired from the image. Further, the apparatus can be configured at low cost. Therefore, instead of using radar as a sensor, an image is used.
[0007]
As a method using this image, there are a method using a plurality of TV cameras and a method using an image taken by a single TV camera with a single eye.
[0008]
(2-1) Method using a plurality of TV cameras
As a method using a plurality of TV cameras, in
[0009]
This stereoscopic method has a problem that the detection becomes slow because the interrupted vehicle cannot be detected until it enters the common visual field of the two TV cameras. In addition, since parallax is obtained by assigning points to each other from the left and right images, there is a problem that the amount of calculation increases. Therefore, it is preferable to use a single camera instead of a plurality of cameras.
[0010]
(2-2) Method using a single TV camera
The following two methods are known as methods using an image captured by a single camera with a single TV camera.
[0011]
(2-2-1) First method
As a first method,
[0012]
In this method, it is assumed that an interrupted vehicle is present when a preset maximum value of the number of edge points in a certain area is equal to or larger than a certain threshold. In this method, since the detection is performed based on the number of edge points, if there is a pattern on the road surface, the number of edge points increases even if there is no vehicle.
[0013]
(2-2-2) Second method
As a second method, Patent Document 4 proposes a method in which a vehicle is detected first, and when the detected vehicle sufficiently overlaps with a traveling lane area, the vehicle is determined to be an interrupting vehicle.
[0014]
This method requires accurate vehicle detection, but it is difficult to detect a vehicle with high accuracy.
[0015]
[Patent Document 1]
JP-A-7-89367
[0016]
[Patent Document 2]
JP-A-11-213295
[0017]
[Patent Document 3]
JP-A-8-249597
[0018]
[Patent Document 4]
JP-A-8-249597
[0019]
[Problems to be solved by the invention]
As described above, in the second method using a single TV camera, accurate detection of a vehicle is required for detecting an interrupted vehicle. However, accurate detection of this vehicle is very difficult.
[0020]
Further, in order to detect an interrupted vehicle, it is necessary to photograph a wide range of environment, and it is necessary to devise a camera arrangement.
[0021]
Therefore, in the present invention, in consideration of the above points, the vehicle is not accurately detected using the image captured by the camera in the camera arrangement suitable for detecting the interrupted vehicle, but the vehicle is running. Obtain the motion trajectory of an obstacle such as another vehicle that interrupts the lane or the area in which the own vehicle is predicted to travel by tracking the vehicle partial candidate area, and use the motion trajectory to determine the motion trajectory of the obstacle such as the interrupting vehicle. It is an object of the present invention to provide a forward monitoring device and a method for detecting an obstacle ahead of a preceding vehicle or the like by monocular or stereo vision at the same time.
[0022]
[Means for Solving the Problems]
The invention according to claim 1 is an image acquisition unit that captures a time-series image taken by a camera mounted on a host vehicle traveling or stopped on a road surface, and a range of the road surface on which the host vehicle travels. A traveling area setting unit that sets a range of the traveling area with respect to the time-series image as a traveling area; and a preceding vehicle, a stopped vehicle, a pedestrian, or the like traveling ahead in the set traveling area is a front obstacle. Forward obstacle detecting means, a vehicle that enters the set traveling area, an interrupt obstacle detecting means for detecting an interrupt obstacle such as a pedestrian, and the forward obstacle detecting means. Integrated obstacle determination means for detecting, as an obstacle, the position of the obstacle closest to the host vehicle among the obstacle ahead detected and the obstacle detected by the obstacle detection means. A forward monitoring device to.
[0023]
The invention of
[0024]
According to a third aspect of the present invention, the front obstacle detection unit detects the front obstacle using both left and right images taken by stereo vision using cameras on both right and left sides of the image acquisition unit and the principle of triangulation. 3. The forward monitoring device according to
[0025]
According to a fourth aspect of the present invention, in the image acquisition unit, cameras are disposed on both left and right sides of the host vehicle, and the left camera can capture an obstacle such as a vehicle that interrupts the traveling area from the right. The optical axis direction of the camera is arranged by rotating the optical axis direction to the right about a direction perpendicular to the road surface, and the right camera is provided with an obstacle such as a vehicle that interrupts the running area from the left. In order to be able to take an image, the optical axis direction of the camera is rotated to the left with the direction perpendicular to the road surface as an axis, and the obstacle detecting means is photographed by the cameras on the left and right sides of the image acquiring means. 2. The forward monitoring device according to claim 1, wherein the interruption obstacle is detected based on the left and right images.
[0026]
The invention according to claim 5 is characterized in that the front obstacle detecting means detects the front obstacle using both right and left images taken by stereo vision using cameras on both right and left sides of the image acquisition means and the principle of triangulation. The forward monitoring device according to claim 4, wherein:
[0027]
The invention according to claim 6, wherein, in the image acquisition means, a plurality of cameras are arranged near the center of the own vehicle, and one of the cameras interrupts the running area from the left side with an obstacle such as a vehicle. There is no left-side interruption camera arranged by rotating the optical axis direction of the camera to the left with the direction perpendicular to the road surface as an axis so that it can shoot, one of which is interrupted from the right side into the running area There is no right-side interrupt monitoring camera arranged so that the optical axis direction of the camera is rotated to the right about the direction perpendicular to the road surface so that an interrupting obstacle such as a coming vehicle can be photographed. 2. The apparatus according to claim 1, wherein the means detects the interrupt obstacle based on both left and right images taken by the camera for monitoring interrupts on both left and right sides of the image acquisition means. A forward monitoring device.
[0028]
The invention according to claim 7, wherein one or a plurality of cameras are arranged such that an optical axis direction of the plurality of cameras is parallel to a forward direction of the vehicle, and the plurality of cameras are used for forward monitoring. 7. The forward monitoring apparatus according to claim 6, wherein the forward obstacle detecting means detects a forward obstacle using an image captured by the forward monitoring camera.
[0029]
The invention according to claim 8 is an image acquisition step that captures a time-series image captured by a camera mounted on the own vehicle that is traveling or stopped on a road surface, and the range of the road surface on which the own vehicle travels. A traveling area setting step of setting a range of the traveling area with respect to the time-series image as the traveling area; and a preceding vehicle, a stopped vehicle, a pedestrian, and the like traveling ahead in the set traveling area are set as obstacles ahead. The obstacle detection step detects an obstacle in front of the vehicle, such as a vehicle or a pedestrian entering the travel area, and the obstacle detection step. Among the obstacles in front and the obstacle detected in the obstacle detection step, an integrated determination system for detecting the position of the obstacle closest to the host vehicle as an obstacle. A forward monitoring method characterized by comprising Tsu and up, the.
[0030]
According to a ninth aspect of the present invention, there is provided an image acquisition function that captures a time-series image captured by a camera mounted on a host vehicle traveling or stopped on a road surface, and a range of the road surface on which the host vehicle travels. A running area setting function for setting a range of the running area with respect to the time-series image as a running area; and a preceding vehicle, a stopped vehicle, a pedestrian, etc., running ahead in the set running area, and a front obstacle. As a forward obstacle detecting function, a vehicle that enters the set traveling area, an interrupt obstacle detecting function to detect an interrupting obstacle such as a pedestrian, and the forward obstacle detecting function. An integrated determination function of detecting, as an obstacle, a position of an obstacle closest to the host vehicle among a front obstacle and an obstacle detected by the interrupt obstacle detection function; A program forward monitoring method characterized by realizing Te.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an example that specifically realizes an embodiment of the present invention will be described with reference to FIGS. 1 to 13.
[0032]
FIG. 1 shows a basic configuration example of the forward monitoring device of the present embodiment.
[0033]
As shown in FIG. 1, the forward monitoring device includes an image input unit 1, a traveling
[0034]
(1) Camera arrangement
First, three types of camera arrangements in the forward monitoring device will be described with reference to FIGS.
[0035]
(1-1) First camera arrangement
The first camera arrangement will be described with reference to FIG.
[0036]
As shown in FIG. 2, a left camera is provided at a left end portion of a front portion of the host vehicle, and a right camera is provided at a right end portion of the front portion. The optical axes of both cameras are set so as to be parallel to the forward direction of the vehicle.
[0037]
The left camera plays the role of a left interrupt monitoring camera for detecting a left interrupt obstacle, and the right camera plays the role of a right interrupt camera for detecting a right interrupt obstacle.
[0038]
Further, both cameras also serve as a left-front monitoring camera and a right-front monitoring camera for stereo vision for detecting a front obstacle in the traveling area by stereo vision.
[0039]
(1-2) Second camera arrangement
The second camera arrangement will be described based on FIG.
[0040]
As shown in FIG. 3, a left camera is provided at a left end of a front portion of the host vehicle, and a right camera is provided at a right end of the front portion.
[0041]
The left camera plays the role of a right interrupt monitoring camera for detecting a right interrupt obstacle, and the right camera plays the role of a left interrupt camera for detecting a left interrupt obstacle.
[0042]
Further, both cameras also serve as a left-front monitoring camera and a right-front monitoring camera for stereo vision for detecting a front obstacle in the traveling area by stereo vision.
[0043]
The optical axis of the camera is rotated to the right with the axis perpendicular to the road surface, so that the left camera can appropriately photograph the interrupted vehicle that interrupts the running area from the right.
[0044]
Further, the optical axis of the camera is rotated to the left about the vertical direction with respect to the road surface so that the right camera can appropriately photograph the interrupted vehicle that interrupts the traveling area from the left.
[0045]
In the second camera arrangement, a side surface of an interrupting obstacle such as an interrupting vehicle is more easily photographed as compared with a case where the optical axis of the camera is parallel to the forward direction of the host vehicle as in the first camera arrangement. Therefore, it is easy to detect an obstacle using the acquired image. Therefore, it is easy to detect an interruption obstacle close to the own vehicle.
[0046]
(1-3) Third camera arrangement
The third camera arrangement will be described based on FIG.
[0047]
As shown in FIG. 4, a left-side interruption monitoring camera and a left-front monitoring camera, and a right-side interruption monitoring camera and a right-front monitoring camera are arranged in the center of the front part of the vehicle.
[0048]
The optical axis direction of the camera is set to be perpendicular to the road surface so that the left-hand interrupt monitoring camera located in the center of the vehicle can properly capture the interrupting vehicle that interrupts the driving area from the left. Is rotated to the left.
[0049]
Also, rotate the optical axis direction of the camera to the right with the axis perpendicular to the road surface so that the interrupted vehicle that interrupts the running area from the right side is properly photographed by the right side interrupt monitoring camera. I have.
[0050]
The left and right front monitoring cameras are cameras for stereo vision for detecting a front obstacle in the traveling area by stereo vision.
[0051]
In the third camera arrangement, the side surface of an interrupting obstacle such as an interrupting vehicle is more photographed compared to the case where the optical axis of the camera is parallel to the forward direction of the host vehicle as in the first camera arrangement. This makes it easier to detect an interrupt obstacle using the acquired image. Therefore, it is easy to detect an interruption obstacle close to the own vehicle.
[0052]
(2) Details of the operation of the forward monitoring device
The forward monitoring device operates using one of the three camera arrangements described above.
[0053]
A time-series image taken is acquired by the image input unit 1, which is a device attached to the host vehicle and capable of acquiring an image around the vehicle (for example, the left and right cameras in the first camera arrangement).
[0054]
In order to determine whether or not another vehicle is interrupted from the captured time-series image, an area in which the own vehicle is traveling (hereinafter, referred to as a traveling area) is set in the image by the traveling
[0055]
Further, a tracking start area is set in the image to detect a candidate for an interrupting vehicle.
[0056]
The “interrupted vehicle” refers to a vehicle in which the host vehicle is traveling, a region where the host vehicle is stopped, or a vehicle that enters a region where the host vehicle is predicted to run.
[0057]
(A) Running
As shown in FIG. 5, the traveling
[0058]
(A-1) Traveling
In order to determine when the interrupted vehicle crosses the boundary of the travel area as an interrupt, the boundary of the lane in which the host vehicle is currently traveling is detected. That is, since the own vehicle is traveling on the road, the boundary of the traveling lane is determined based on the result of the white line detection. In addition, the own vehicle may be stopped.
[0059]
The intersection of the two detected white lines is set as a vanishing point. This “vanishing point” is a point at infinity on the image. Various methods have been proposed for white line detection, such as the method disclosed in Patent Document 1 (Japanese Patent Application Laid-Open No. 7-89367), and any method may be used.
[0060]
(A-2)
The interrupting vehicle enters from outside the traveling area at a short distance in front of the host vehicle.
[0061]
Therefore, as shown in FIG. 6, a traveling area is set inside a region between traveling lanes up to a certain distance from the own vehicle in consideration of the length of the width of the own vehicle.
[0062]
Further, an area outside the traveling area is set as a “vehicle tracking start area”.
[0063]
(B) Forward
Various methods such as the method according to Patent Document 5 (Japanese Patent Application No. 2001-154569) have been proposed as a method for detecting an obstacle ahead, and the method according to Patent Document 6 (Japanese Patent Application No. 2002-187091) has been proposed using monocular vision. Various methods have been proposed, and any method may be used as long as it can detect a forward obstacle.
[0064]
In the present embodiment, as shown in FIG. 7, using the time-series images acquired by the left front surveillance camera and the right front surveillance camera by the method according to Patent Literature 5, the presence or absence of a front obstacle existing in the traveling area, In addition, the distance to the front obstacle and the position of the lower end of the front obstacle on the image are detected. The position of the lower end of the front obstacle on the image is set as the obstacle position.
[0065]
(C) Interrupt obstacle detection unit 4
As shown in FIG. 8, the interrupt obstacle detection unit 4 includes a vehicle partial candidate
[0066]
The following processing is performed on each of the time-series images acquired by the left-side interruption monitoring camera and the right-side interruption monitoring camera.
[0067]
(C-1) Vehicle partial candidate
A vehicle contains many horizontal and vertical line segments. Therefore, there is a high possibility that a region having many edges in the horizontal and vertical directions is a vehicle region.
[0068]
In the tracking start area in FIG. 6, a corner point including both vertical and horizontal edges is detected.
[0069]
This is because stable tracking can be performed at a corner point. For corner point detection, "Fast Cornerdetection, Image and Vision Computing, No. 16, pp. 75-87, 1998" by Miroslav Trajkovic et al. Is used. A rectangular area of a certain size centered on these corner points is set as a vehicle part candidate area.
[0070]
(C-2)
In this method, in order to detect a movement, the vehicle part candidate area is tracked by template matching. The correlation value between images used for template matching is a sum of absolute difference (SAD) of luminance values. The vehicle part candidate area is registered as a template, and the SAD value is obtained around the position of the template in the next frame, and the position where the SAD is minimized is set as the position of the vehicle part candidate area in that frame. The template is updated when the vehicle part candidate area moves over a certain distance on the image. The correlation value between images is not limited to SAD.
[0071]
At this time, in consideration of the following two conditions of the reliability of template matching and whether or not the vehicle is moving in the interruption direction, the tracking of the vehicle partial candidate region that does not satisfy the conditions is stopped. As a result, only the vehicle portion candidate area that is performing an interrupting motion that is being tracked stably can be used for subsequent interrupting vehicle detection.
[0072]
(C-2-1) Reliability of template matching
When the minimum value of the SAD obtained when performing the template matching is larger than a certain threshold value, the tracking is stopped because the reliability of the matching is low. If the vehicle part candidate area is a part of the vehicle, there is a horizontal or vertical edge. Therefore, the edge density in the vehicle part candidate area is obtained in the current frame. Censor. The edge density is a ratio of the number of pixels having an edge intensity larger than a predetermined threshold to the number of pixels in the entire region, where the edge intensity is obtained by a Sobel filter or the like in the region.
[0073]
(C-2-2) Interruption exercise
When the vehicle interrupts the traveling lane of the own vehicle from the right lane, the movement of the other vehicle is in the left direction as shown in FIG. Therefore, if the movement direction of the vehicle part candidate area is not the left direction, the tracking is terminated because it is not the interruption movement. However, vertical movements are allowed in consideration of the pitching of the vehicle. The same applies to the case on the left.
[0074]
As described above, by tracing the vehicle partial candidate region for each frame, it is possible to calculate the motion trajectory of the region. The motion trajectory at this time is approximated by a line connecting the position where the tracking of the area is started and the position of the current area with a straight line.
[0075]
(C-3) Interrupt
An interrupting vehicle is a vehicle that has entered the running area and its movement direction is close to the horizontal direction. Therefore, when the motion trajectory of the vehicle portion candidate area satisfies both of the following conditions C1 and C2, it is determined that an interruption occurs.
[0076]
[C1] The motion trajectory of the vehicle part candidate area intersects the boundary of the traveling area.
[0077]
[C2] The angle formed between the motion trajectory of the vehicle partial candidate area and the boundary line of the traveling area is larger than a certain threshold value.
[0078]
However, among the motion trajectories of the vehicle portion candidate area, only those satisfying one of the following conditions R1 and R2 are assumed to be reliable, and the interruption is determined based on the conditions C1 and C2.
[0079]
[R1] The time during which the vehicle partial candidate area is being tracked is sufficiently long.
[0080]
[R2] The motion trajectory of the vehicle part candidate area has a sufficient length.
[0081]
Through the above processing, it can be determined whether or not the vehicle partial candidate area is an interrupt.
[0082]
(C-4) Interruption vehicle
As shown in FIG. 10, the position of a certain vehicle partial candidate area is (x, y), the angle of the motion vector from the horizontal direction is θ, the motion vector is V, and the position coordinates of the other vehicle partial candidate areas are (xi, yi), the angle of the motion vector is θi, and the motion vector is Vi. Here, the motion vector is a vector connecting the position of the vehicle portion candidate region several frames past and the current position. When the following conditions (1), (2), and (3) are satisfied, it is determined that the two vehicle partial candidate regions belong to the same vehicle candidate region.
[0083]
(Equation 1)
[0084]
The clustering is performed by performing this process for all the detected vehicle partial candidate areas, and clusters having a certain number or more of the vehicle partial candidate areas are detected as the vehicle candidate areas.
[0085]
FIG. 11 shows the result of detecting the vehicle candidate area. The rectangular area is the detected vehicle candidate area.
[0086]
Then, the threshold of the allowable range is further changed, and clustering is performed on the vehicle candidate area. In the first clustering, the purpose is to remove, as an outlier, a vehicle part candidate area that exists mainly in an isolated position or a vehicle part candidate area having a different property, and in the second clustering, the purpose is mainly grouping.
[0087]
FIG. 12 shows the result of detecting the vehicle candidate area. The rectangular area is the detected vehicle candidate area.
[0088]
By performing the processing as described above, the vehicle part candidate area which is isolated and has a wrong tracking result is deleted. Then, the vehicle candidate area including the vehicle partial candidate area determined to be interrupted is detected as an interrupted vehicle area.
[0089]
Further, the position of the lower end of the interrupted vehicle area on the image is set as the interrupted obstacle position.
[0090]
(D) Integration determination unit 5
Using the information of the presence / absence of a front obstacle and the position of the front obstacle output from the
[0091]
That is, under a wide range of environment, the most dangerous obstacle for the host vehicle is detected.
[0092]
【The invention's effect】
According to the present invention, a wide-range environment can be recognized by detecting a forward obstacle and an interrupt obstacle stably from a time-series image acquired by a camera mounted on a vehicle, and based on image information. It greatly contributes to the realization of technologies such as equipment control.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a forward monitoring device according to the present invention.
FIG. 2 is a diagram showing a first camera arrangement.
FIG. 3 is a diagram showing a second camera arrangement.
FIG. 4 is a diagram showing a third camera arrangement.
FIG. 5 is a block diagram showing one embodiment of a traveling area setting unit of FIG. 1;
FIG. 6 is an explanatory diagram of a method for setting a traveling area.
FIG. 7 is an explanatory diagram of a front obstacle detection unit in FIG. 1;
FIG. 8 is a block diagram illustrating an embodiment of an interrupt obstacle detection unit of FIG. 1;
FIG. 9 is an explanatory diagram of a tracking unit in FIG. 8;
FIG. 10 is an explanatory diagram of an interrupted vehicle area detection unit in FIG. 8;
FIG. 11 is an explanatory diagram of an interrupted vehicle area detection unit in FIG. 8;
FIG. 12 is an explanatory diagram of an interrupted vehicle area detection unit in FIG. 8;
FIG. 13 is an explanatory diagram of an integration determining unit in FIG. 1;
[Explanation of symbols]
1 Image input section
2 Travel area setting section
3 Forward obstacle detector
4 Interruption obstacle detector
5 Integrated judgment part
21 Traveling lane detector
22 Area setting section
41 Vehicle part candidate area setting unit
42 Tracking unit
43 Interrupt judgment unit
44 Interruption Vehicle Area Detector
Claims (9)
前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定手段と、
前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出手段と、
前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出手段と、
前記前方障害物検出手段で検出した前方障害物と前記割り込み障害物検出手段で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定手段と、を具備することを特徴とする前方監視装置。Traveling on a road surface, or image acquisition means for capturing a time-series image taken by a camera mounted on the own vehicle that is stopped,
A travel area setting unit configured to set a range of the travel area with respect to the time-series image, with a range of a road surface on which the host vehicle travels as a travel area,
A preceding obstacle detecting means for detecting a preceding vehicle, a stopped vehicle, a pedestrian, and the like traveling ahead in the set traveling area as a forward obstacle,
Interruption obstacle detection means for detecting an interruption obstacle such as a vehicle, a pedestrian, etc. entering the set traveling area,
Among the front obstacle detected by the front obstacle detection unit and the interruption obstacle detected by the interruption obstacle detection unit, an integrated determination unit that detects the position of the obstacle closest to the host vehicle as the obstacle, A forward monitoring device comprising:
カメラの光軸方向を前記自車両の前進方向と平行になるように前記自車両の左右両側にカメラを各々配置し、
前記左側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、
前記右側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、
前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置。In the image acquisition unit,
Cameras are respectively arranged on the left and right sides of the host vehicle so that the optical axis direction of the camera is parallel to the forward direction of the host vehicle,
The left camera is arranged so as to be able to shoot an interrupting obstacle such as a vehicle that interrupts the running area from the left,
The right camera is arranged so as to be able to photograph an interrupting obstacle such as a vehicle that interrupts the traveling area from the right,
2. The forward monitoring device according to claim 1, wherein the interruption obstacle detection unit detects the interruption obstacle based on both left and right images taken by cameras on both right and left sides of the image acquisition unit.
前記自車両の左右両側にカメラを配置し、
前記左側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置し、
前記右側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置し、
前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置。In the image acquisition unit,
Cameras are arranged on both left and right sides of the vehicle,
The left camera rotates the optical axis direction of the camera to the right with a direction perpendicular to the road surface as an axis so that an interruption obstacle such as a vehicle that interrupts the traveling area from the right can be photographed. Place,
The right camera rotates the optical axis direction of the camera to the left with a direction perpendicular to the road surface as an axis so that an interrupt obstacle such as a vehicle that interrupts the running area from the left can be photographed. Place,
2. The forward monitoring device according to claim 1, wherein the interruption obstacle detection unit detects the interruption obstacle based on both left and right images taken by cameras on both right and left sides of the image acquisition unit.
前記自車両の中央付近に複数台のカメラを配置し、
そのうち一台のカメラを、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置した左側割り込み用カメラとなし、
そのうち一台のカメラを、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置した右側割り込み監視用カメラとなし、
前記割り込み障害物検出手段は、前記画像取得手段の左右両側の割り込み監視用カメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置。In the image acquisition unit,
Arrange a plurality of cameras near the center of the vehicle,
One of the cameras is arranged by rotating the optical axis direction of the camera to the left with the direction perpendicular to the road surface as an axis so that an interruption obstacle such as a vehicle interrupting the traveling area from the left can be photographed. No left side camera for interruption and none
One of the cameras is arranged by rotating the optical axis direction of the camera to the right with the direction perpendicular to the road surface as an axis so that an obstacle such as a vehicle interrupting the running area from the right side can be photographed. No right side interrupt monitoring camera and none
2. The forward monitoring apparatus according to claim 1, wherein the interruption obstacle detection unit detects the interruption obstacle based on both left and right images captured by the left and right interruption monitoring cameras of the image acquisition unit. 3.
前記前方障害物検出手段は、前記前方監視カメラで撮影した画像を用いて前方障害物を検出することを特徴とする請求項６記載の前方監視装置。Among the plurality of cameras, one such that the optical axis direction of the camera is parallel to the forward direction of the host vehicle, or a plurality of cameras are arranged as a front monitoring camera,
7. The front monitoring apparatus according to claim 6, wherein the front obstacle detection means detects a front obstacle using an image captured by the front monitoring camera.
前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定ステップと、
前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出ステップと、
前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出ステップと、
前記前方障害物検出ステップで検出した前方障害物と前記割り込み障害物検出ステップで検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定ステップと、を具備することを特徴とする前方監視方法。An image acquisition step that captures a time-series image taken by a camera mounted on the host vehicle traveling on a road surface or stopped,
A travel region setting step of setting the range of the travel region with respect to the time-series image, with a range of a road surface on which the host vehicle travels as a travel region,
A preceding obstacle detecting step of detecting a preceding vehicle, a stopped vehicle, a pedestrian, and the like traveling ahead in the set traveling region as a forward obstacle,
An interrupting obstacle detecting step of detecting an interrupting obstacle such as a vehicle, a pedestrian, etc. entering the set traveling area,
Among the front obstacle detected in the front obstacle detection step and the interruption obstacle detected in the interruption obstacle detection step, an integrated determination step of detecting the position of the obstacle closest to the host vehicle as the obstacle, A forward monitoring method, comprising:
前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定機能と、
前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出機能と、
前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出機能と、
前記前方障害物検出機能で検出した前方障害物と前記割り込み障害物検出機能で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定機能と、をコンピュータによって実現することを特徴とする前方監視方法のプログラム。An image acquisition function that captures a time-series image taken by a camera mounted on the host vehicle traveling on a road surface or stopped,
A travel area setting function for setting the range of the travel area with respect to the time-series image, with a range of a road surface on which the host vehicle travels as a travel area,
A preceding obstacle detection function of detecting a preceding vehicle, a stopped vehicle, a pedestrian, and the like traveling ahead in the set traveling region as a forward obstacle,
An interrupting obstacle detection function for detecting an interrupting obstacle such as a vehicle, a pedestrian, or the like entering the set traveling area,
Among the front obstacle detected by the front obstacle detection function and the interruption obstacle detected by the interruption obstacle detection function, an integrated determination function of detecting the position of the obstacle closest to the host vehicle as the obstacle, A program for a forward monitoring method, wherein the program is realized by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003067272A JP3868915B2 (en) | 2003-03-12 | 2003-03-12 | Forward monitoring apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003067272A JP3868915B2 (en) | 2003-03-12 | 2003-03-12 | Forward monitoring apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004280194A true JP2004280194A (en) | 2004-10-07 |
| JP3868915B2 JP3868915B2 (en) | 2007-01-17 |
Family
ID=33284931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003067272A Expired - Fee Related JP3868915B2 (en) | 2003-03-12 | 2003-03-12 | Forward monitoring apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3868915B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008045998A (en) * | 2006-08-16 | 2008-02-28 | Toyota Motor Corp | Object detecting device |
| EP2015276A2 (en) | 2007-07-10 | 2009-01-14 | Omron Corporation | Surroundings detecting device, method and program |
| JP2010079582A (en) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | Apparatus, method and program for detecting object |
| JP2010210486A (en) * | 2009-03-11 | 2010-09-24 | Omron Corp | Image processor, method and program |
| WO2014103433A1 (en) * | 2012-12-25 | 2014-07-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP2015225546A (en) * | 2014-05-28 | 2015-12-14 | 本田技研工業株式会社 | Object detection device, drive support apparatus, object detection method, and object detection program |
| JP2016062368A (en) * | 2014-09-18 | 2016-04-25 | 日本精機株式会社 | System and device for displaying information on periphery of vehicle |
| US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
| JP2020108979A (en) * | 2018-12-29 | 2020-07-16 | 日本信号株式会社 | Monitoring device |
| CN111497833A (en) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | Driver assistance system and control method thereof |
| JP2020158077A (en) * | 2019-03-28 | 2020-10-01 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
| CN114639230A (en) * | 2020-12-15 | 2022-06-17 | 丰田自动车株式会社 | Walking assistance system |
-
2003
- 2003-03-12 JP JP2003067272A patent/JP3868915B2/en not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008045998A (en) * | 2006-08-16 | 2008-02-28 | Toyota Motor Corp | Object detecting device |
| EP2015276A2 (en) | 2007-07-10 | 2009-01-14 | Omron Corporation | Surroundings detecting device, method and program |
| JP2010079582A (en) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | Apparatus, method and program for detecting object |
| JP2010210486A (en) * | 2009-03-11 | 2010-09-24 | Omron Corp | Image processor, method and program |
| US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
| JP5922257B2 (en) * | 2012-12-25 | 2016-05-24 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| CN104885122A (en) * | 2012-12-25 | 2015-09-02 | 本田技研工业株式会社 | Vehicle periphery monitoring device |
| WO2014103433A1 (en) * | 2012-12-25 | 2014-07-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| CN104885122B (en) * | 2012-12-25 | 2017-06-23 | 本田技研工业株式会社 | Vehicle periphery monitoring device |
| JP2015225546A (en) * | 2014-05-28 | 2015-12-14 | 本田技研工業株式会社 | Object detection device, drive support apparatus, object detection method, and object detection program |
| JP2016062368A (en) * | 2014-09-18 | 2016-04-25 | 日本精機株式会社 | System and device for displaying information on periphery of vehicle |
| JP7290942B2 (en) | 2018-12-29 | 2023-06-14 | 日本信号株式会社 | monitoring device |
| JP2020108979A (en) * | 2018-12-29 | 2020-07-16 | 日本信号株式会社 | Monitoring device |
| CN111497833A (en) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | Driver assistance system and control method thereof |
| CN111746530A (en) * | 2019-03-28 | 2020-10-09 | 本田技研工业株式会社 | Vehicle control device, vehicle control method, and storage medium |
| JP7261635B2 (en) | 2019-03-28 | 2023-04-20 | 本田技研工業株式会社 | vehicle controller |
| JP2020158077A (en) * | 2019-03-28 | 2020-10-01 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
| CN114639230A (en) * | 2020-12-15 | 2022-06-17 | 丰田自动车株式会社 | Walking assistance system |
| CN114639230B (en) * | 2020-12-15 | 2024-01-30 | 丰田自动车株式会社 | Walking assistance system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3868915B2 (en) | 2007-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| US7612800B2 (en) | Image processing apparatus and method | |
| JP3822515B2 (en) | Obstacle detection device and method | |
| JP3759429B2 (en) | Obstacle detection apparatus and method | |
| JP3596314B2 (en) | Object edge position measuring device and moving object traffic judging device | |
| JP3747599B2 (en) | Obstacle detection device for vehicle | |
| JP2007300181A (en) | Periphery monitoring apparatus and periphery monitoring method and program thereof | |
| JP6837262B2 (en) | Travelable area detection device and travel support system | |
| US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
| JP3656056B2 (en) | Interrupting vehicle detection device and method | |
| JP3868915B2 (en) | Forward monitoring apparatus and method | |
| US9524645B2 (en) | Filtering device and environment recognition system | |
| JP4798576B2 (en) | Attachment detection device | |
| JP2020190416A (en) | Recognition system, recognition method and recognition program | |
| JP2006004188A (en) | Obstacle recognition method and obstacle recognition device | |
| JP2007199932A (en) | Image processor and its method | |
| JP4575315B2 (en) | Object detection apparatus and method | |
| JP6174884B2 (en) | Outside environment recognition device and outside environment recognition method | |
| JP2008040965A (en) | Road surface estimation device | |
| JP4015036B2 (en) | Obstacle detection device and obstacle detection method | |
| US9430707B2 (en) | Filtering device and environment recognition system | |
| JP6564682B2 (en) | Object detection device, object detection method, and object detection program | |
| JP4381394B2 (en) | Obstacle detection device and method | |
| JP2004310282A (en) | Vehicle detector | |
| JPH11232466A (en) | Road shape reognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |