JP2004117078A - 障害物検出装置及び方法 - Google Patents
障害物検出装置及び方法 Download PDFInfo
- Publication number
- JP2004117078A JP2004117078A JP2002278422A JP2002278422A JP2004117078A JP 2004117078 A JP2004117078 A JP 2004117078A JP 2002278422 A JP2002278422 A JP 2002278422A JP 2002278422 A JP2002278422 A JP 2002278422A JP 2004117078 A JP2004117078 A JP 2004117078A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- similarity
- conversion
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】カメラ101、102から画像を受け画像Lおよび画像Rとして出力する画像記憶部103、104と、画像Lの道路面領域内の任意の画素を画像Rの対応する画素に変換して画像Pを生成する画像変換部105と、画像L、画像R、画像P各々の画像特徴を変換して特徴変換画像L、特徴変換画像R、特徴変換画像Pとを生成する画像特徴変換部106と、画像Rから道路上の走行レーンを検出するレーン検出部107と、走行レーン内に設定した複数の処理領域毎に特徴変換画像L−特徴変換画像R間の類似度Dと、特徴変換画像L−特徴変換画像P間の類似度Pとを求める類似度計算部108と、類似度Dと類似度Pとの差から障害物の有無と位置とを検出する障害物判定部109とを備える。
【選択図】 図1
Description
【発明の属する技術分野】
自動車の安全運転の支援や自動走行を実現するために、1対の車載カメラにより、先行車両、駐車車両、落下物、歩行者等、道路上に存在する障害物を検出する障害物検出方式及び装置に関する。
【0002】
【従来の技術】
障害物を検知するための技術は、レーザや超音波等を利用するものとTVカメラを利用するものとに大別される。レーザを利用するものは高価であり非実用的であり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。また、レーザや超音波等を用いる能動センサ単独では走行レーンの認識ができないという問題もある。
【0003】
これに対し、TVカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。TVカメラを用いる場合、1台のカメラを使用する方法と複数台のカメラ(ステレオカメラ)を使用する方法がある。
【0004】
1台のカメラを使用する方法では、そのカメラで撮影した1枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。
【0005】
例えば、画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出し道路領域を求めたり、テクスチャの少ない領域を求めて、道路領域を抽出し、それ以外の領域を障害物領域とする。
【0006】
複数台のカメラを用いる方法は、一般にはステレオ視と呼ばれる。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系(以下ではステレオカメラ座標系と呼ぶ)における3次元座標を求める技術である。ステレオ視で得られる3次元情報を手がかりにして障害物を検出する。
【0007】
ステレオ視では、例えば、2つのカメラを左右に配置し、3次元空間中のある点を左右画像間で対応づけ、三角測量の要領で、その点の3次元位置を求める。各カメラの道路平面に対する位置や姿勢等をあらかじめ求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さが得られる。このようにすることにより、高さの有無によって障害物領域と道路領域を分離することができる。
【0008】
1台のカメラを用いる方式では道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で障害物領域と道路領域を切り分けるのは困難であるという弱点があるが、ステレオ視ならばこのような問題を回避することが可能である。
【0009】
しかし、通常のステレオ視には対応点探索という、ステレオ視の実用化を妨げる要因の一つとなっている問題がある。対応点探索は空間中で同一である点を左右の画像間で対応づける際に必要な探索計算であるが、計算量が極めて多く処理速度が遅くなりがちであるという問題がある。
【0010】
そこで、ステレオカメラを用いながらも対応点探索を行うことなく高速に道路上の障害物を検出する方法が開発され開示されている(例えば、特許文献1、特許文献2)。
【0011】
これらの手法では道路面を平面と仮定し、ステレオカメラと道路面の幾何学的関係からあるカメラ画像(カメラ画像1)の道路面領域上の画素点を他方のカメラ画像(カメラ画像2)の道路面領域上の対応画素点に対応付ける画像変換Tを求め、カメラ画像1を画像変換Tにより変換した画像(変換画像)とカメラ画像2との違いのみから障害物を検出している。
【0012】
つまり画像変換Tによって、カメラ画像1に映っている道路面領域上の任意の画素は正しくカメラ画像2の対応画素に変換されるのに対し、高さを持っている物体(すなわち障害物)領域上の画素は正しく対応画素に変換されないことから、その差をとることにより障害物を高速に検出している。
【0013】
【特許文献1】
特開2001−76128公報
【0014】
【特許文献2】
特開2000−293693公報
【0015】
【発明が解決しようとする課題】
しかし、上述の特許文献1、特許文献2で開示されている手法では障害物を正しく検出することができないことがある。例えば、雨天時の濡れた路面のように、障害物や道路周辺の構造物、風景等の映り込みが生じている場合には、路面上の物体を検出することが難しい。
【0016】
路面への映り込みは仮想的に負の高さを持つ物体とみなせる。そのため、前述の画像変換によって虚像は正しく対応画素に変換されない。よって、映り込みも障害物と同様にカメラ画像2と変換画像との違いを生じさせる原因となる。
【0017】
この発明は上記の事情を鑑みてなされたものである。ステレオ視における対応付けが不要でありながら、精度良く障害物を検出することができる障害物検出装置及びその方法を提供する。
【0018】
【課題を解決するための手段】
上記課題を解決するため、本発明の障害物検出装置は、視野の少なくとも一部が重なるように第1、第2画像をそれぞれ取得する第1のカメラ及び第2のカメラと、前記第1、第2画像を順次記憶する画像記憶部と、前記第1画像の各画素の座標を前記第2画像の対応する座標に射影して第3画像を生成する変換画像生成部と、前記第1画像、前記第2画像、前記第3画像それぞれにエッジを抽出・強調する特徴変換を行って、第1特徴変換画像、第2特徴変換画像、第3特徴変換画像を生成する特徴変換画像生成部と、前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求める類似度計算部と、前記類似度D及び類似度Pに基づいて障害物を検出する障害物判定部とを備える。
【0019】
本発明の障害物検出装置は、視野の少なくとも一部が重なるように第1、第2画像をそれぞれ取得する第1のカメラ及び第2のカメラと、前記第1、第2画像を順次記憶する画像記憶部と、前記第1画像、前記第2画像にエッジを抽出・強調する特徴変換を行って、第1特徴変換画像、第2特徴変換画像を生成する特徴変換画像生成部と、前記第1特徴変換画像の各画素の座標を前記第2特徴変換画像の対応する座標に射影して第3特徴変換画像を生成する変換画像生成部と、前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求める類似度計算部と、前記類似度D及び類似度Pに基づいて障害物を検出する障害物判定部とを備える。
【0020】
また、前記変換画像生成部は、所定の基準平面上の任意の点の前記第1画像における座標を、前記第2画像における対応する点の座標に射影する変換を用いても良い。
【0021】
また、前記変換画像生成部は、前記基準平面として道路面を用いても良い。
【0022】
また、前記画像特徴変換部は、各画素の画素値に1より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行っても良い。
【0023】
また、前記類似度計算部は、前記第2特徴変換画像において、前記第2特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とする処理領域を前記画像水平ラインを画像垂直方向に移動させながら複数設定しても良い。
【0024】
また、前記障害物判定部は、前記類似度Dと前記類似度Pとの差を求め、この差が最大となる位置に障害物が存在すると判定しても良い。
【0025】
また、前記障害物判定部は、前記類似度Dと前記類似度Pとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定することを特徴としても良い。
【0026】
本発明の障害物検出方法は、視野の少なくとも一部が重なる第1、第2画像に対し、前記第1画像の各画素の座標を第2画像の対応する座標に射影して第3画像を生成し、前記第1画像、前記第2画像、前記第3画像にエッジを抽出・強調する特徴変換を行って、前記第1特徴変換画像、前記第2特徴変換画像、前記第3特徴変換画像を生成し、前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求め、前記類似度Dと前記類似度Pとの差Kが最大となる位置に障害物が存在すると判定する。
【0027】
本発明の障害物検出方法は、視野の少なくとも一部が重なる第1、第2画像に対し、前記第1画像、前記第2画像にエッジを抽出・強調する特徴変換を行って、前記第1特徴変換画像、前記第2特徴変換画像を生成し、前記第1特徴変換画像の各画素の座標を第2特徴変換画像の対応する座標に射影して第3特徴変換画像を生成し、前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求め、前記類似度Dと前記類似度Pとの差Kが最大となる位置に障害物が存在すると判定する。
【0028】
また、前記射影Tは、所定の基準平面上の任意の点の前記第1画像における座標を、前記第2画像における対応する点の座標に射影する変換を用いて行っても良い。
【0029】
また、前記特徴変換は、各画素の画素値に1より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行っても良い。
【0030】
また、前記第2特徴変換画像において設定した処理領域は、前記第2特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とし、この底辺を前記画像水平ラインを画像垂直方向に移動させながら複数設定したものであっても良い。
【0031】
また、前記類似度Dと前記類似度Pとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定しても良い。
【0032】
【発明の実施の形態】以下、本発明の一実施形態について図面を参照しながら説明する。
【0033】
本実施形態では、図2(A)に示すように、カメラ101とカメラ102との左右2台のステレオカメラを搭載した車(ステレオカメラを搭載した車を自車両と呼ぶ)が基準平面である道路面上を走行し、道路面上に存在する先行車や歩行者等の障害物を検出する状況を想定している。
【0034】
(概略構成)図1は本実施形態の障害物検出装置の構成を説明する図である。
【0035】
本装置は、前述のカメラ101と、カメラ101が撮影した車両の左側からの画像Lを順次記憶する画像記憶部L103と、前述のカメラ102と、カメラ102が撮影した車両の右側からの画像Rを順次記憶する画像記憶部R104と、画像Lを道路面についてカメラ102からの見え方に変換して画像Pを生成する画像変換部105とを有する。
【0036】
さらに、画像P、画像L、画像Rそれぞれに対してフィルタ処理により特徴変換を行い、特徴変換画像L、特徴変換画像R、特徴変換画像Pを生成する画像特徴変換部106と、画像Rを用いて自車両の走行レーンを検出するレーン検出部107と、特徴変換画像P、特徴変換画像画像L、特徴変換画像画像R及びレーン検出部107で得た自車両の走行レーンの情報を用いて、特徴変換画像L−特徴変換画像画像R間及び特徴変換画像画像R−特徴変換画像画像P間の類似度を画像中の様々な領域において計算する類似度計算部108と、画像中の様々な領域で計算した類似度計算の結果を用いて当該領域に障害物が存在するかを判定する障害物判定部109とを有する。
【0037】
尚、カメラ101及びカメラ102とを除く上記の本装置各部は全部あるいは一部をコンピュータにプログラムを実行させることによってその機能を実現しても良い。
【0038】
(動作の概要)本装置では、まず、画像Lを道路面に関してカメラ102からの見え方に変換して画像Pを生成する。そして、画像L、画像R、画像Pに対してそれぞれエッジ情報の抽出と強調をするフィルタによる変換(特徴変換)を行い、特徴変換画像L、特徴変換画像R、特徴変換画像Pとを生成する。この特徴変換により、類似度計算を高速化することができる。
【0039】
一方、画像Rを用いて自車両の走行レーンを検出しておく。検出した走行レーンは類似度計算の際に用いる。走行レーンの範囲で前述した「様々な領域」を設定し、各領域について類似度計算を行う。
【0040】
類似度の計算は、特徴変換画像Lと特徴変換画像Rとの間の類似度Dと、特徴変換画像Rと特徴変換画像Pとの間の類似度Pとの2つについて行う。そして、障害物の検出は類似度Dと類似度Pとの差Kを用いて行う。
【0041】
従来の障害物検出では画像Pと画像Rとの間の類似度を用いていた。前述の通り、路面への映り込みは高さが負の物体に見える。路面の映り込みも障害物も同じように類似度が下がるので、両者を区別することができない。そのため、映り込みを障害物と誤検出することがあった。
【0042】
そこで本装置では、類似度Dと類似度Pとの差Kを用いて検出するようにした。これにより、路面への映り込みを障害物と誤認するおそれが解消された。精度良く障害物を検出できるようになった。
【0043】
従来の障害物検出では画像に対して特徴変換を行わない。画像P、画像R、画像Lをそのまま使用していた。そして、類似度の計算には正規化相関と呼ばれる手法を用いていた。正規化相関には演算量が多く低速であるという弱点がある。
【0044】
類似度の計算にSAD(Sum of Absolute Difference)やSSD(Sum of Square Difference)を用いれば、演算量が少なく高速な処理が行える。しかし、特徴変換を行わない画像においてSADやSSDで類似度を計算して障害物検出を行うのは困難である。特徴変換を行わない画像ではエッジ情報が弱く、画像間の差異を検出しにくいためである。
【0045】
そこで、本装置では画像L、画像R、画像Pに対して特徴変換を行い、エッジ情報の抽出と強調を行う。それからSADやSSDを用いて類似度の計算を行って障害物検出を行う。これにより障害物の検出を高速に行うことができるようになった。
【0046】
特徴変換を行うことによるもう1つの効果がある。特徴変換により道路の継ぎ目や色ムラ等が目立たなくなることである。これにより障害物の検出精度が向上する。
【0047】
(画像記憶部L103、画像記憶部R104)画像記憶部L103、画像記憶部R104は、車両上に固定されたステレオカメラからの画像を順次記憶する。画像記憶部L103はカメラ101で撮影した車両の左側からの画像Lを順次記憶し、画像記憶部R102はカメラ102で撮影した車両の右側からの画像Rを順次記憶する。
【0048】
後述するように、道路面上に平面があるものと仮定して、カメラ101とカメラ102との2台のカメラで得られた画像上の対応領域間で類似度を求める。そのため、以下の説明では2台のカメラは光軸が平行で、光軸に対して回転がないものとする。ただし、カメラ画像の補正(例えば回転補正等)が可能な範囲や、後述の処理で誤差として無視できる範囲であれば、2台のカメラの光軸が平行からずれていたり、あるいは光軸に対する回転があっても構わない。
【0049】
(画像変換部105)画像変換部105は、ステレオカメラと道路面との幾何学的関係から導き出される変換によってカメラ101で撮影した画像Lをカメラ102からの見え方に変換して画像Pを生成する。
【0050】
画像変換部105で行う変換は、図2(A)の道路面上の任意の点Aをカメラ101とカメラ102とでそれぞれ撮影して得られる各々の画像が図2(B)、図2(C)としたときに、図2(B)の点A1と図2(C)の点A2とを対応付けるようなものである。
【0051】
つまり、道路面上に関して、カメラ101で撮影した画像Lをカメラ102の視点に変換するような画像変換となっている。このような画像変換Tについて説明する。
【0052】
一般に、カメラ101で得られた画像の道路面の位置(画像中の投影位置)を、カメラ102で得られた画像(基準画像)の道路面の位置に等しくなるように、幾何的な変換を行うことが可能である。
【0053】
例えば、カメラ102のカメラパラメータが次式のような4×3の行列で表現できるとする。ここで(X,Y,Z)は空間座標であり、(x,y)は画像座標である。
【0054】
【数1】
カメラ101についても同様に4×3の行列で表現すると、
【0055】
【数2】
このとき、道路面上の点の拘束条件は、
【0056】
【数3】
【0057】
数1〜数3を連立して解くと、(x1,y1)から(x2,y2)に変換する次式の関係が得られる。次式に現れる3×3の行列(r11からr33までを成分にもつ行列)が画像変換Tを表す行列である。
【0058】
【数4】
【0059】
画像変換Tは道路平面上の点を画像Lの位置から画像Rの位置に射影する変換である。つまり、道路平面上の点であれば画像Lの位置から画像Rの位置に正しく変換する。逆に言えば、道路平面上に無い点は数4の関係を満たさないので、画像変換Tによって正しい位置には変換されないことを示している。
【0060】
実際の変換では、図3の障害物301と障害物303のような関係になり、空間中で高さのある物体は画像中で倒れこむような歪みを伴って変換される。
【0061】
この画像変換Tは、2つのカメラが固定されていれば固定値になることも明らかである。従って、画像変換行列のパラメータとしては、r11からr33までの9個の値を記憶すればよい。また、これらの値は本装置を車両に搭載した時点でカリブレーションを行って適切な値を得ればよい。
【0062】
(レーン検出部107)レーン検出部107は、画像Rから道路上の走行レーン領域を検出する。
【0063】
例えば、画像Rに対してエッジ検出、Hough変換などの処理で得られる白線検出結果を用いて見つけ出された自車両前方の走行レーン内や、その隣接レーン内の領域の検出を行う。尚、道路面上の領域を検出可能であれば、必ずしも白線によって明示的に示されるレーンマークである必要はない。
【0064】
レーン検出手法は如何なる手法を用いても構わない。必要であれば、図1において破線で示したように画像Rに加えて画像Lをも利用する手法であっても良い。
【0065】
(画像特徴変換部106)画像特徴変換部106では、画像L、画像R、画像Pに対してエッジを抽出・強調するような画像特徴変換を行い、それぞれに対応した特徴変換画像L、特徴変換画像R、特徴変換画像Pを出力する。
【0066】
ここでは画像中のエッジを抽出・強調するような変換を用いる。そして、後述の類似度計算部でSADやSSDを用いて類似度を計算しても、画像間の差異を検出できるようにする。
【0067】
本装置では、画像特徴変換として広域通過型のフィルタ(HPF)を用いる。HPFの中でも特に、一般的な線形特性の2次元フィルタや、故意にゲインを高くして画素の取るべき値域を越えた場合に飽和させる飽和型HPFを用いることにより、エッジを抽出・強調するような処理を行う。
【0068】
飽和型HPFを適用例を説明する。例えば画素値の上限を255として、各画素の画素値に1.5を乗じるエッジ抽出・強調変換を施す場合を考える。変換前の画素値が0〜170の画素については変換後の画素値は元の1.5倍の値になる。一方、変換前の画素値が171〜255の画素については、1.5倍すると画素値は255を超えてしまうので、飽和させて変換後の画素値を255とする。
【0069】
画像特徴変換の方法としては様々な方法が考えられる。前述した飽和処理の代わりに2次元のHPFの出力に、γ変換や2値化あるいは多値化等の非線形の処理を加えても良い。あるいは、画像処理で一般的に用いられる任意のエッジ検出手法を適用した結果を特徴変換画像としても良い。また、一般的なコントラスト強調処理も有効である。
【0070】
これらの処理を行うことで、例えば路面上の白線のような強いエッジは強いままで、路面上の色ムラのような弱いパターンは相対的に弱くなって目立たなくなり、障害物等の輪郭のような比較的強いエッジは強調されて目立つようになる。
【0071】
尚、本実施形態では画像L、画像R、画像Pに同じ画像特徴変換を施すものとするが、画像Pに関しては他の2つの画像とは厳密に同一な画像特徴変換を施す必要はない。後述する障害物判定部109における処理が正しく行える範囲であれば、画像Pに対する画像特徴変換は画像L、画像Rに対する画像特徴変換と異なっていても良い。
【0072】
(類似度計算部108)類似度計算部108では、レーン検出部107で得られたレーン検出結果から特徴変換画像上のレーン領域内の様々な画像ラインで、道路面上に障害物が存在するものと仮定しながら次々と処理領域を設定し、特徴変換画像L−特徴変換画像R間、及び、特徴変換画像R−特徴変換画像P間の類似度を計算する。
【0073】
処理領域の設定例を図4に示す。ここで、x軸方向とは画面の横方向をいい、y軸方向とは画面の縦方向をいうものとする。
【0074】
自車両のほぼ先方に障害物が存在するものとし、その障害物の表面、すなわち画像として撮像される面は、カメラから障害物までのの距離に対し、平面と見做せるものとする。
【0075】
このときレーン領域内の各画像ライン(x軸に平行なライン)を障害物平面と道路との接地線と仮定する。そして、y座標値を変えながら特徴変換画像R上における矩形の処理領域を次々と設定する。
【0076】
この矩形の処理領域の形状(水平、垂直の画素数)は、y座標値とそのy座標値における接地線の幅(画像上でのx軸方向のレーン幅に相当)に基づいて決定する。また、この処理領域の水平位置はレーン幅またはy座標値から決定する。これらの水平垂直の画素数や水平位置はレーン幅またはy座標値の関数として表し、この関数は検出したい障害物の大きさの範囲から装置作成時に適宜決めておくものとする。
【0077】
処理領域の設定例は、例えば図4の領域411、領域412、領域413などである。これらの領域はいずれも底辺を接地線と仮定して設定されたものである。
【0078】
次に、特徴変換画像R上の処理領域に対応する特徴変換画像L上及び特徴変換画像P上の領域を設定する。
【0079】
特徴変換画像R上の対応する処理領域は、特徴変換画像L上の処理領域の下端を画像変換Tの逆変換T−1によって変換したものを底辺とする同じ大きさの領域である。例えば、図4の領域421、領域422、領域423などである。ここで、逆変換T−1は接地線(処理領域の最下部の画像ライン)における、ステレオカメラによって生じる視差を相殺する変換となっている。
【0080】
特徴変換画像P上の処理領域は特徴変換画像Rの領域と画像上の座標が同一となる領域に設定する。例えば、図4の領域431、領域432、領域433などである。
【0081】
上記で例示した処理領域の対応関係は、領域411(特徴変換画像R)と領域421(特徴変換画像L)と領域431(特徴変換画像P)とが対応し、領域412(特徴変換画像R)と領域422(特徴変換画像L)と領域432(特徴変換画像P)とが対応し、領域413(特徴変換画像R)と領域423(特徴変換画像L)と領域433(特徴変換画像P)とが対応するようになっている。
【0082】
これらの設定した領域に対し、特徴変換画像R−特徴変換画像L間、特徴変換画像R−特徴変換画像P間のそれぞれについて類似度を計算する。類似度の計算にはSADあるいはSSDを用いる。SADの場合は、
【0083】
【数5】
であり、SSDの場合は、
【0084】
【数6】
を用いる。
【0085】
SDは特徴変換画像R−特徴変換画像L間のSAD値またはSSD値で、SPは特徴変換画像R−特徴変換画像P間のSAD値またはSSD値で、IR、IL、IPはそれぞれ特徴変換画像R、特徴変換画像L、特徴変換画像Pの画素値であり、ND、NPは類似度D及び類似度Pの計算のために設定した処理領域の有効な画素数である。
【0086】
尚、SAD値またはSSD値は値が小さいほど類似度が高く、値が大きいほど類似度が低いことになるため、何らかの変換が必要となる。そこで、本実施形態ではSAD値やSSD値の符号を反転させたものを類似度D、類似度Pとして用いる。
【0087】
類似度D、類似度Pは、特徴変換画像R内でy座標値を変えながら設定した複数の処理領域毎に求められるので、以下、類似度D(y)、類似度P(y)のように記述する。
【0088】
(障害物判定部109)障害物判定部109では、類似度計算部108で求めた類似度D(y)と類似度P(y)とを用いて、次式で表される差K(y)を用いて障害物の検出を行う。
【0089】
【数7】
【0090】
障害物の検出は、例えば差K(y)が最大になる位置を検出することで行う。ただし、単純に差K(y)の最大値探索をすると障害物がない場合にも関わらず誤検出する可能性があるので、所定の閾値以上の値を持った最大値を探索すると良い。
【0091】
障害物判定部109で求めた障害物の位置は、使用しているカメラの特性から実際の距離情報等に変換するなどして、例えば自動車の自動操縦装置や自動車の安全装置の制御情報として用いる。
【0092】
尚、障害物を複数検出するように構成する場合は、最大値の代わりに所定の閾値以上の極大値を持つ位置を探索すれば良い。
【0093】
(具体例)以下、図7を用いて路面に映り込みがある場合の障害物検出処理について説明する。
【0094】
ここで用いる例は、道路前方に障害物701があり、そして、道路の前方手前(自車両の近く)には路面上のパターンの一例である停止線705がある。今、道路が濡れている為に障害物701が道路面に映り込んで、映り込み703が生じている。
【0095】
尚、映り込みが弱い場合は特徴変換によって影響が無視できる程度になるので、ここではある程度強い映り込みが生じていることを前提とする。
【0096】
前述したように、特徴変換画像Rに処理領域をy座標を変えながら設定していく。ここでは説明を簡単にするために、障害物701の道路面との接地線、映り込み703の最も手前側の線、停止線705の手前側の線の3箇所だけを考え、それぞれを処理領域702、704、706とする。
【0097】
次に処理領域702、704、706それぞれの底辺の両端に対して逆変換T−1を施して得られる座標を用いて、特徴変換画像Lにおいても処理領域を設定する。このように設定したものが処理領域712、714、716である。
【0098】
さらに、特徴変換画像Pにおいて、特徴変換画像Lにおける処理領域702、704、706と同じ位置に処理領域を設定する。このように設定したものが処理領域722、724、726である。
【0099】
以上の処理領域についてy座標ごとに対応関係をまとめると、処理領域702、712、722が対応し、処理領域704、714、724が対応し、処理領域706、716、726が対応する。
【0100】
以上の処理領域を用いて、y座標ごとに類似度D及び類似度Pを求める。尚、ここの説明では実際に類似度を計算せずに定性的に説明する。
【0101】
まず障害物701の接地線に対応する処理領域について求める。処理領域702と処理領域712とについて考える。処理領域712は処理領域702の底辺に逆変換T−1で座標変換を行って、処理領域702と同等の高さと幅を持つ領域を設定したものである。
【0102】
前述したように逆変換T−1は道路面における視差を相殺する変換である。従って、処理領域702の底辺に対する障害物701の接地線の相対的な位置関係は座標変換後も保存される。よって、処理領域712と処理領域702とでは、障害物701はどちらの処理領域内でも同じ位置になる。従って、これらの間の類似度を計算すれば高くなるので、障害物701の接地線の位置での類似度Dは高い。
【0103】
一方、処理領域702と処理領域722とでは、接地線の位置は処理領域内で同じ位置になるが、処理領域722の障害物は変換Tで歪んでいるため、処理領域702と処理領域722との間で類似度を計算すると低い値になる。よって、障害物701の接地線の位置での類似度Pは低い。
【0104】
よって、類似度Dと類似度Pとの差Kは、障害物の接地線位置では正に大きな値になる。
【0105】
次に、映り込み703の最も手前側の線に対応する処理領域について求める。処理領域704と処理領域714とについて考える。処理領域714は処理領域704の底辺に逆変換T−1を行って座標変換を行って、処理領域704と同等の高さと幅を持つ領域を設定したものである。
【0106】
映り込み703の最も手前側の線は負の高さを持った物体に見える。そのため、映り込み703の最も手前側の線は、前述の障害物701の接地線とは異なり路面上にはない。従って、処理領域704の底辺に逆変換T−1で座標変換を行った場合、処理領域704の底辺に対する映り込み703の最も手前側の線の相対的な位置関係は座標変換後は保存されない。よって、処理領域704と処理領域714とでは、映り込みの位置が異なっている。従って、これらの間の類似度は低くなるので、類似度Dは低い。
【0107】
一方、処理領域724における映り込みは画像変換によって歪んでいるため、処理領域704と処理領域724との間の類似度は低い値になる。すなわち、類似度Pも低い。
【0108】
よって、類似度Dと類似度Pとの差Kは、映り込み703の最も手前側の線では正に小さな値若しくは負の値になる。
【0109】
最後に、停止線705の手前側の線に対応する処理領域について求める。処理領域706と処理領域716とについて考える。停止線705(の手前側の線)は路面上のパターンであるので、逆変換T−1によって、処理領域706の底辺との相対的な位置関係は保存される。よって、処理領域706と処理領域716との類似度は高くなり、類似度Dは高い値となる。
【0110】
一方、処理領域706と処理領域726についても同様で、停止線705が路面上のパターンであるので変換Tによっては歪まない。よって、処理領域706と処理領域726との類似度は高くなり、類似度Pは高い値となる。
【0111】
よって、類似度Dと類似度Pとの差Kは、停止線705の手前側の線では小さな値若しくは負の値になる。
【0112】
以上より、類似度Dと類似度Pの差Kを用いることにより、映り込みに強い障害物検出であることが分かる。
【0113】
(本実施形態の利点)本実施形態では、類似度の計算に原画像を使わず特徴変換画像を用いている。原画像を用いて類似度計算を行う場合、後述する理由により類似度として演算量が多く低速な正規化相関と呼ばれる手法を用いる必要がある。
【0114】
しかし、特徴変換画像を用いることにより、演算量が少なく高速なSADやSSDを用いることが可能となるのである。
【0115】
SADやSSDは計算が高速である反面、画像上の障害物や障害物とその背景(路面)のコントラストが低い場合に、後述の障害物判定部において障害物と非障害物の判定が正しく行えないことが多い。原画像を使った場合、SADやSSDではコントラストが不足しているために適用が極めて困難である。
【0116】
画像上の障害物内の領域内のテクスチャのコントラストや、周辺環境−障害物間のコントラストが低い場合、類似度はその計算に用いる処理領域内の緩やかな輝度変動が反映されることになる。
【0117】
しかし、ステレオカメラは異なる位置に固定された2つの異なるカメラであって、障害物または道路面表面の表面特性(反射特性)により、空間的に同一の物体であったとしても、画像上では同一の特性の画像として撮像されるとは限らないためである。
【0118】
また2つのカメラが同一の構成のカメラであったとしてもその撮像特性は厳密には一致しないのも、異なる特性の画像として撮像される原因の一つである。
【0119】
従って、画像間の特性の違いが雑音成分となり、障害物または道路面のテクスチャのコントラストがこの雑音に近いかまたは小さい場合には、後述の障害物判定部で正しく障害物と非障害物の判別ができなくなってしまうのである。
【0120】
本発明では、画像特徴変換部106で各画像の特徴を変換することによって画像上の緩やかな変動成分を除去し、撮像条件の違いによる変動成分を相対的に小さくして障害物判定部で正しく障害物と非障害物の判定ができるようにしている。
【0121】
また、図4の領域411内のように処理領域内に障害物表面と道路面が混在した場合に、特徴変換として飽和HPFを使うことが特に有効である。
【0122】
通常、道路面上にはレーンマークや「止」や速度制限表示等の非常にコントラストの高いパターンが頻繁に現れる。類似度の計算の際にこのようなコントラストの高いパターンが処理領域内に一部でも混在した場合、障害物表面のテクスチャや障害物と背景(典型的には道路面)との間に十分なコントラストが無ければ、障害物表面が処理領域の殆どを占めているにもかかわらず、計算される類似度はコントラストの高いパターンに支配されることになる。その結果、類似度Dは高い値になり、類似度Pは低い値となって、障害物が存在するにも関わらず障害物判定部において正しく障害物を検出できないことがあった。
【0123】
ところが、本実施形態のように類似度計算に特徴変換画像を用いた場合、障害物表面のテクスチャや障害物と背景との境界が強調される反面、道路面上の強コントラストのパターンは強調されるが飽和処理によってある一定以上には強調されることは無い。そのため、相対的に障害物表面のテクスチャまたは障害物と背景の境界が支配的になり、レーンマークなどのパターンが混在している場合においても障害物判定部109において正しく障害物を検出できる。
【0124】
以上、本実施形態によれば、ステレオカメラ画像(画像L、画像R)と、ステレオカメラで得られる画像の道路領域間の画素を対応付けるような変換によって変換された画像(画像P)とを用い、さらに特徴変換によってエッジを抽出・強調し、特徴変換したステレオカメラ画像間、特徴変換したステレオカメラ画像−特徴変換した変換画像間の各々の対応領域間の類似度を求めて、その差を解析することにより、コントラストの低い画像においても高速かつ安定的に路面上の障害物を検出できる。
【0125】
(変形例1)図5に本実施形態の変形例を示す。
【0126】
これまで説明した実施形態では、画像L、画像R、画像Pの3画像について各々画像特徴の特徴変換を行なっていた。これ対し、本変形例では画像L、画像Rについてのみ画像特徴の変換を行って特徴変換画像Lおよび特徴変換画像Rを生成し、画像変換部で特徴変換画像Lを変換して特徴変換画像Pを生成することを特徴としている。
【0127】
図5はこのような順番で処理を行うための構成であり、このような構成をとることができれば、画像特徴変換に関わる演算量を減らすことができ処理の高速化に役立つ。
【0128】
しかし、一般に2つの変換は交換法則が成り立たない限りは適用順番を変えると異なる結果が生じるので、特徴変換と画像変換Tとの処理順番を変えることができるかという問題が生じる。
【0129】
画像変換Tは画像L上の道路面領域を画像R上の道路面領域に画素単位で対応付ける変換であるので、道路面上に任意のパターンが存在した時に、特徴変換画像Lに画像変換Tを適用して得られた特徴変換画像Pが、特徴変換画像Rと道路領域内で十分良く類似しているのであれば画像変換Tと特徴変換との順番を入れ替えても問題は生じない。
【0130】
そもそも本発明のようなステレオカメラの構成、つまりほぼ光軸平行で回転が無く、道路環境で用いる場合には、画像変換部で用いられる画像変換Tは画像Lの各水平ラインをx軸方向に平行移動するような変換と見倣すことができる。すなわち図6で水平ライン601がx軸方向に平行移動して水平ライン602の位置に移動したという変換と見做すことができる。
【0131】
従って、画像特徴変換部3において行なう画像特徴が、水平方向の一次元HPF(または飽和HPF)のような、y軸方向に関して独立な特徴変換もしくは、十分独立と見倣せるような特徴変換であれば、特徴変換画像Lに画像変換Tを適用して得られた特徴変換画像Pが特徴変換画像Rと道路領域内で十分良く一致するという仮定が成り立つ。
【0132】
以上、本変形例によれば、ステレオカメラ画像(画像L、画像R)に対して特徴変換を行ってエッジを抽出・強調してから、ステレオカメラ画像の道路領域間の画素を対応付ける変換を行うので、演算量を減らすことができ、路面上の障害物をより高速に検出できる。
【0133】
(変形例2)類似度計算部108において、画像L、画像R、画像Pそれぞれについて1つ以上の異なる縮小率の縮小画像を生成し、処理領域の高さ、幅、面積等に応じて使用する画像の縮小率を選択し、選択した縮小率の画像(縮小画像若しくは元の画像)の対応領域で類似度D及び類似度Pを求めても良い。
【0134】
このような処理を行うことにより、処理領域が大きくなる場合であっても演算量を抑制することができる。
【0135】
(変形例3)障害物判定部109では、数7に対して閾値処理をして障害物を検出し位置を決定していた。しかし、図4に示したように数7は一般的に障害物位置を中心にして広がりを持つ。そこで
【0136】
【数8】
を満たすときには障害物がないとして閾値処理を行い、それ以外のK(y)に対し、
【0137】
【数9】
を最小とするy0を求め、y0を障害物位置としても良い。ただし、αは0より大きく1以下の定数とする。
【0138】
(変形例4)類似度計算部108では、設定した処理領域に対して類似度D(y)及び類似度P(y)を求めていた。
【0139】
これに代えて、特徴変換画像Lまたは特徴変換画像P上の処理領域を、特徴変換画像R上で設定した処理領域に対応する特徴変換画像Lまたは特徴変換画像P上の位置の周辺を移動させながら、特徴変換画像Rで設定した処理領域との間で類似度を計算する。そして、その最大値を類似度D(y)または類似度P(y)として出力するようにしても良い。
【0140】
このようにすれば、自車両の揺れや道路面の傾き等の影響によって画像変換の変換誤差がある場合でも精度良く障害物検出を行うことができる。
【0141】
(変形例5)類似度計算部108では、特徴変換画像R上の1つのy座標値について1つの処理領域を設定して類似度D(y)と類似度P(y)とを計算していた。そして、障害物判定部109では、1つのy座標値について1つずつ求められた類似度D(y)と類似度P(y)とを用いて障害物の位置を検出していた。
【0142】
これに代えて、類似度計算部108において処理領域の水平位置、幅、高さを決定する関数を2種類以上用意しておく。そして、各関数で求めた値に従って設定された処理領域毎に類似度D(y)、類似度P(y)を求める。すなわち、類似度D(y)、類似度P(y)は関数の種類と同じ数求まる。
【0143】
そして、障害物判定部109は、複数の類似度毎に障害物位置を検出する。
【0144】
この時、障害物判定部109は最も自車両に近い障害物を選択してその位置を出力しても、あるいは複数の障害物の位置を出力しても良い。どちらにするかは、出力された障害物の位置情報を利用する装置の形態、目的に応じて選択すればよい。
【0145】
(変形例6)類似度計算部108では、特徴変換画像R上で設定する処理領域を矩形としたが、特徴変換画像R、特徴変換画像L、特徴変換画像Pの全てで同じ形状であれば、処理領域の形状は任意のもので良い。処理領域の形状の違いによって本発明の本質は変わるものではない。
【0146】
(変形例7)これまでに説明した実施形態では、カメラ101、カメラ102の左右の2つのカメラを用いて画像を取得するとした。しかし、第3のカメラを自車両に設置して、カメラ101とカメラ102とに行ったのと同様な処理を第3のカメラで得られる画像に対して行って障害物を検出しても良い。
【0147】
この時、少なくとも2つの障害物位置を得ることが可能になるが、変形例5と同様で最も自車両に近い障害物を選択してその位置を出力しても、あるいは、複数の障害物の位置を出力しても良い。
【0148】
尚、第3のカメラは、カメラ101とカメラ102との関係と同様で、少なくともカメラ101若しくはカメラ102の一方と光軸が平行で回転が無いように設置することを条件とする。ただし、画像補正で平行若しくは回転が無いのと同等な効果が得られる限度において、この条件から外れていても良い。
【0149】
【発明の効果】
以上、本発明によれば、ステレオカメラ画像とステレオカメラ画像の道路領域間の画素を対応付けるような変換によって変換された画像とを用い、それらの各画像の画像特徴を変換してから類似度計算を行って障害物検出を行うので、高速で精度良く路面上の障害物を検出できる。
【図面の簡単な説明】
【図1】本発明の一実施形態の障害物検出装置の構成を説明する図。
【図2】障害物検出装置を用いるシーン及び画像変換Tの説明を行う図。
【図3】ステレオ画像及び変換画像を説明する図。
【図4】類似度計算の処理領域設定について説明する図。
【図5】本発明の一実施形態の変形例の障害物検出装置の構成を説明する図。
【図6】本発明の一実施形態の変形例で用いる画像変換の性質を説明する図。
【図7】本発明の一実施形態の障害物検出装置における障害物検出処理の一例を説明する図。
【符号の説明】
101、102 カメラ
103、501 画像記憶部L
104、502 画像記憶部R
105、504 画像変換部
106、503 画像特徴変換部
107、505 レーン検出部
108、506 類似度計算部
109、507 障害物判定部
Claims (15)
- 視野の少なくとも一部が重なるように第1、第2画像をそれぞれ取得する第1のカメラ及び第2のカメラと、
前記第1、第2画像を順次記憶する画像記憶部と、
前記第1画像の各画素の座標を前記第2画像の対応する座標に射影して第3画像を生成する変換画像生成部と、
前記第1画像、前記第2画像、前記第3画像それぞれにエッジを抽出・強調する特徴変換を行って、第1特徴変換画像、第2特徴変換画像、第3特徴変換画像を生成する特徴変換画像生成部と、
前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求める類似度計算部と、
前記類似度D及び類似度Pに基づいて障害物を検出する障害物判定部とを備える障害物検出装置。 - 視野の少なくとも一部が重なるように第1、第2画像をそれぞれ取得する第1のカメラ及び第2のカメラと、
前記第1、第2画像を順次記憶する画像記憶部と、
前記第1画像、前記第2画像にエッジを抽出・強調する特徴変換を行って、第1特徴変換画像、第2特徴変換画像を生成する特徴変換画像生成部と、
前記第1特徴変換画像の各画素の座標を前記第2特徴変換画像の対応する座標に射影して第3特徴変換画像を生成する変換画像生成部と、
前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求める類似度計算部と、
前記類似度D及び類似度Pに基づいて障害物を検出する障害物判定部とを備える障害物検出装置。 - 前記変換画像生成部は、
所定の基準平面上の任意の点の前記第1画像における座標を、前記第2画像における対応する点の座標に射影する変換を用いることを特徴とする請求項1乃至請求項2記載の障害物検出装置。 - 前記変換画像生成部は、
前記基準平面として道路面を用いることを特徴とする請求項3記載の障害物検出装置。 - 前記画像特徴変換部は、
各画素の画素値に1より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行うことを特徴とする請求項1乃至請求項4記載の障害物検出装置。 - 前記類似度計算部は、
前記第2特徴変換画像において、前記第2特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とする処理領域を前記画像水平ラインを画像垂直方向に移動させながら複数設定することを特徴とする請求項1乃至請求項5記載の障害物検出装置。 - 前記障害物判定部は、
前記類似度Dと前記類似度Pとの差を求め、この差が最大となる位置に障害物が存在すると判定することを特徴とする請求項1乃至請求項6記載の障害物検出装置。 - 前記障害物判定部は、
前記類似度Dと前記類似度Pとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定することを特徴とする請求項1乃至請求項7記載の障害物検出装置。 - 視野の少なくとも一部が重なる第1、第2画像に対し、
前記第1画像の各画素の座標を第2画像の対応する座標に射影して第3画像を生成し、
前記第1画像、前記第2画像、前記第3画像にエッジを抽出・強調する特徴変換を行って、前記第1特徴変換画像、前記第2特徴変換画像、前記第3特徴変換画像を生成し、
前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求め、
前記類似度Dと前記類似度Pとの差Kが最大となる位置に障害物が存在すると判定する障害物検出方法。 - 視野の少なくとも一部が重なる第1、第2画像に対し、
前記第1画像、前記第2画像にエッジを抽出・強調する特徴変換を行って、前記第1特徴変換画像、前記第2特徴変換画像を生成し、
前記第1特徴変換画像の各画素の座標を第2特徴変換画像の対応する座標に射影して第3特徴変換画像を生成し、
前記第2特徴変換画像において複数の処理領域を設定し、前記第2特徴変換画像の各処理領域と第1特徴変換画像の対応する処理領域との類似度Dと、前記第2特徴変換画像上の各処理領域と第3特徴変換画像上の対応する処理領域との類似度Pとを求め、
前記類似度Dと前記類似度Pとの差Kが最大となる位置に障害物が存在すると判定する障害物検出方法。 - 前記射影は、
所定の基準平面上の任意の点の前記第1画像における座標を、前記第2画像における対応する点の座標に射影する変換を用いて行うことを特徴とする請求項9乃至請求項10記載の障害物検出方法。 - 前記基準平面は、道路面であることを特徴とする請求項11記載の障害物検出方法。
- 前記特徴変換は、
各画素の画素値に1より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行うことを特徴とする請求項9乃至請求項12記載の障害物検出方法。 - 前記第2特徴変換画像において設定した処理領域は、
前記第2特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とし、この底辺を前記画像水平ラインを画像垂直方向に移動させながら複数設定したものであることを特徴とする請求項9乃至請求項13記載の障害物検出装置。 - 前記類似度Dと前記類似度Pとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定することを特徴とする請求項9乃至請求項14記載の障害物検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002278422A JP3868876B2 (ja) | 2002-09-25 | 2002-09-25 | 障害物検出装置及び方法 |
US10/653,613 US6985075B2 (en) | 2002-09-25 | 2003-09-03 | Obstacle detection apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002278422A JP3868876B2 (ja) | 2002-09-25 | 2002-09-25 | 障害物検出装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004117078A true JP2004117078A (ja) | 2004-04-15 |
JP3868876B2 JP3868876B2 (ja) | 2007-01-17 |
Family
ID=31987069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002278422A Expired - Fee Related JP3868876B2 (ja) | 2002-09-25 | 2002-09-25 | 障害物検出装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6985075B2 (ja) |
JP (1) | JP3868876B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272668A (ja) * | 2006-03-31 | 2007-10-18 | Toyota Motor Corp | 画像処理装置および方法 |
JP2009186228A (ja) * | 2008-02-04 | 2009-08-20 | Konica Minolta Holdings Inc | 3次元計測装置 |
JP2013072813A (ja) * | 2011-09-28 | 2013-04-22 | Honda Motor Co Ltd | 段差部認識装置 |
WO2016047313A1 (ja) * | 2014-09-26 | 2016-03-31 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP2020501281A (ja) * | 2016-12-19 | 2020-01-16 | 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. | 障害物検出方法及び装置 |
WO2021199584A1 (en) * | 2020-03-30 | 2021-10-07 | Hitachi Astemo, Ltd. | Detecting debris in a vehicle path |
WO2023135842A1 (ja) * | 2022-01-17 | 2023-07-20 | 株式会社日立製作所 | 距離計測装置および方法 |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1637837A1 (en) * | 2003-05-29 | 2006-03-22 | Olympus Corporation | Stereo camera system and stereo optical module |
JP2005145301A (ja) * | 2003-11-17 | 2005-06-09 | Denso Corp | 車両の運転支援装置 |
WO2005093657A1 (ja) * | 2004-03-29 | 2005-10-06 | Pioneer Corporation | 道路景観解析装置及び方法 |
US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
DE102004028763A1 (de) * | 2004-06-16 | 2006-01-19 | Daimlerchrysler Ag | Andockassistent |
JP4406381B2 (ja) * | 2004-07-13 | 2010-01-27 | 株式会社東芝 | 障害物検出装置及び方法 |
JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
JP4639753B2 (ja) * | 2004-10-25 | 2011-02-23 | 日産自動車株式会社 | 運転支援装置 |
US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
US8885045B2 (en) * | 2005-08-02 | 2014-11-11 | Nissan Motor Co., Ltd. | Device and method for monitoring vehicle surroundings |
US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
US7545956B2 (en) * | 2005-08-12 | 2009-06-09 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
EP1796039B1 (en) * | 2005-12-08 | 2018-11-28 | Topcon Corporation | Device and method for image processing |
JP4889351B2 (ja) * | 2006-04-06 | 2012-03-07 | 株式会社トプコン | 画像処理装置及びその処理方法 |
JP5362189B2 (ja) * | 2006-05-10 | 2013-12-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
ATE479980T1 (de) * | 2006-08-24 | 2010-09-15 | Valeo Vision | Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass |
FR2913798B1 (fr) * | 2007-03-16 | 2011-09-02 | Valeo Vision | Procede de determination de passage d'un vehicule dans un goulet |
JP4800163B2 (ja) * | 2006-09-29 | 2011-10-26 | 株式会社トプコン | 位置測定装置及びその方法 |
US20100007734A1 (en) * | 2007-01-16 | 2010-01-14 | Pioneer Corporation | Vehicular image processing device, and vehicular image processing program |
JP4915737B2 (ja) * | 2007-03-13 | 2012-04-11 | 興和株式会社 | 画像解析システム、及び画像解析プログラム |
DE102007022524A1 (de) * | 2007-05-14 | 2008-11-20 | Bayerische Motoren Werke Aktiengesellschaft | Kraftfahrzeug |
US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
EP2063404A1 (en) * | 2007-11-23 | 2009-05-27 | Traficon | A detector for detecting traffic participants. |
JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
JP4775391B2 (ja) * | 2008-03-18 | 2011-09-21 | 株式会社デンソー | 障害物検出装置 |
CN101436300B (zh) * | 2008-12-10 | 2012-10-31 | 东软集团股份有限公司 | 障碍物分割方法及装置 |
AU2010200875A1 (en) * | 2010-03-09 | 2011-09-22 | The University Of Sydney | Sensor data processing |
US8885049B2 (en) * | 2010-03-19 | 2014-11-11 | Sony Corporation | Method and device for determining calibration parameters of a camera |
CN101996493A (zh) * | 2010-11-25 | 2011-03-30 | 武汉理工大学 | 一种在途车辆通过性检测系统 |
US10678259B1 (en) * | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
KR101439052B1 (ko) * | 2013-09-05 | 2014-09-05 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
US9248832B2 (en) | 2014-01-30 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting traffic signal details |
GB2533983A (en) * | 2015-06-04 | 2016-07-13 | Ford Global Tech Llc | Parking assist method and system |
CN110633600B (zh) * | 2018-06-21 | 2023-04-25 | 海信集团有限公司 | 一种障碍物检测方法及装置 |
KR20200005282A (ko) * | 2018-07-06 | 2020-01-15 | 현대모비스 주식회사 | 미러리스 자동차의 측방 영상 처리 장치 및 방법 |
CN109163707B (zh) * | 2018-09-06 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | 障碍物感知方法、系统、计算机设备、计算机存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3156817B2 (ja) * | 1994-03-14 | 2001-04-16 | 矢崎総業株式会社 | 車両周辺監視装置 |
JP3441578B2 (ja) * | 1995-11-22 | 2003-09-02 | 株式会社モリタ製作所 | 歯科用パノラマx線撮影装置 |
US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
US6205242B1 (en) * | 1997-09-29 | 2001-03-20 | Kabushiki Kaisha Toshiba | Image monitor apparatus and a method |
JP4124861B2 (ja) * | 1998-06-19 | 2008-07-23 | 株式会社東芝 | 移動量検出装置及びその方法 |
JP3596314B2 (ja) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
JP2000293693A (ja) | 1999-03-31 | 2000-10-20 | Toshiba Corp | 障害物検出方法および装置 |
JP4256992B2 (ja) | 1999-09-09 | 2009-04-22 | 株式会社東芝 | 障害物検出装置 |
JP3759429B2 (ja) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
JP3895238B2 (ja) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
-
2002
- 2002-09-25 JP JP2002278422A patent/JP3868876B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-03 US US10/653,613 patent/US6985075B2/en not_active Expired - Lifetime
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272668A (ja) * | 2006-03-31 | 2007-10-18 | Toyota Motor Corp | 画像処理装置および方法 |
JP2009186228A (ja) * | 2008-02-04 | 2009-08-20 | Konica Minolta Holdings Inc | 3次元計測装置 |
JP2013072813A (ja) * | 2011-09-28 | 2013-04-22 | Honda Motor Co Ltd | 段差部認識装置 |
WO2016047313A1 (ja) * | 2014-09-26 | 2016-03-31 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP2016070688A (ja) * | 2014-09-26 | 2016-05-09 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
US10026158B2 (en) | 2014-09-26 | 2018-07-17 | Hitachi Automotive Systems, Ltd. | Imaging device |
JP2020501281A (ja) * | 2016-12-19 | 2020-01-16 | 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. | 障害物検出方法及び装置 |
US10997438B2 (en) | 2016-12-19 | 2021-05-04 | Cloudminds (Shanghai) Robotics Co., Ltd. | Obstacle detection method and apparatus |
WO2021199584A1 (en) * | 2020-03-30 | 2021-10-07 | Hitachi Astemo, Ltd. | Detecting debris in a vehicle path |
JP7454685B2 (ja) | 2020-03-30 | 2024-03-22 | 日立Astemo株式会社 | 車両走行路内のデブリの検出 |
WO2023135842A1 (ja) * | 2022-01-17 | 2023-07-20 | 株式会社日立製作所 | 距離計測装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
US6985075B2 (en) | 2006-01-10 |
JP3868876B2 (ja) | 2007-01-17 |
US20040056950A1 (en) | 2004-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3868876B2 (ja) | 障害物検出装置及び方法 | |
US11170466B2 (en) | Dense structure from motion | |
JP6244407B2 (ja) | 深度測定の品質の向上 | |
JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
US9519968B2 (en) | Calibrating visual sensors using homography operators | |
JP3951984B2 (ja) | 画像投影方法、及び画像投影装置 | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
JP5959073B2 (ja) | 検出装置、検出方法、及び、プログラム | |
CN105551020B (zh) | 一种检测目标物尺寸的方法及装置 | |
CN110826512B (zh) | 地面障碍物检测方法、设备及计算机可读存储介质 | |
JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
JP2001076128A (ja) | 障害物検出装置及び方法 | |
JP2010055340A (ja) | 走行路推定装置及びプログラム | |
KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
JP3104645B2 (ja) | 道路白線検出方法及び道路白線検出装置 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
JP2008040965A (ja) | 路面推定装置 | |
WO2020095549A1 (ja) | 撮像装置 | |
KR102681321B1 (ko) | 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 | |
JP4156780B2 (ja) | 障害物検出装置 | |
US20230191998A1 (en) | Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle | |
JPH11232466A (ja) | 道路形状認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3868876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |