JP2010205039A - 障害物検出装置 - Google Patents
障害物検出装置 Download PDFInfo
- Publication number
- JP2010205039A JP2010205039A JP2009050684A JP2009050684A JP2010205039A JP 2010205039 A JP2010205039 A JP 2010205039A JP 2009050684 A JP2009050684 A JP 2009050684A JP 2009050684 A JP2009050684 A JP 2009050684A JP 2010205039 A JP2010205039 A JP 2010205039A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- obstacle
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮影画像と背景画像とに基づく差分画像を用いて的確に障害物を検出する障害物検出装置を提供する。
【解決手段】カメラCにより車両の周辺を撮影する。画像取得部11は、カメラCから所定時刻毎に撮影画像を取得し、位置情報取得部12は、画像取得部11が撮影画像を取得した時点の車両の位置情報を取得する。背景画像記録部HDには、背景画像がその撮影時の位置情報と関連付けられて記録されている。視点変換部13は、撮影画像と背景画像とをそれぞれ視点変換撮影画像と視点変換背景画像とに変換する。障害物検出部15は、視点変換撮影画像と視点変換背景画像との差分画像に基づいて、障害物を検出する。
【選択図】図2
【解決手段】カメラCにより車両の周辺を撮影する。画像取得部11は、カメラCから所定時刻毎に撮影画像を取得し、位置情報取得部12は、画像取得部11が撮影画像を取得した時点の車両の位置情報を取得する。背景画像記録部HDには、背景画像がその撮影時の位置情報と関連付けられて記録されている。視点変換部13は、撮影画像と背景画像とをそれぞれ視点変換撮影画像と視点変換背景画像とに変換する。障害物検出部15は、視点変換撮影画像と視点変換背景画像との差分画像に基づいて、障害物を検出する。
【選択図】図2
Description
車両に搭載される障害物検出装置における障害物検出技術に関する。
上述のような障害物検出装置として、フレーム単位で連続的に入力される入力画像(本発明の撮影画像に相当)と予め設定された背景画像との差分画像に基づいて障害物を検出する技術が知られている(特許文献1参照)。
この技術では、上述の差分画像を2値化することにより、変化領域と非変化領域とからなる2値化画像をフレーム毎に生成し、フレーム間で2値化画像を比較することにより重なり領域(フレーム間で変化のない領域)と増加領域(背景領域から変化領域になった領域)と減少領域(変化領域から背景領域になった領域)とを抽出し、重なり領域とそれに隣接する増加領域および減少領域を統合領域として規定し、その統合領域のパラメータに基づき移動体の動きを検出している。
特許文献1の技術をはじめ、撮影された画像と予め設定された背景画像との差分を用いた技術では、障害物の検出時に撮影されたカメラの姿勢と背景画像を撮影した際のカメラの姿勢とが一致している必要がある。特に、車両の場合には同じ道路の同じ車線を走行する場合でも、走行位置は一定ではなく、カメラの姿勢を一致させることは困難である。この問題を解決するためには、一の位置において複数のカメラ姿勢で撮影した背景画像を保持しておく必要がある。しかし、そのためには大容量の記録媒体が必要となり、その作成作業も膨大となる。
本発明の目的は、撮影画像と背景画像とに基づく差分画像を用いて的確に障害物を検出する障害物検出装置を提供することである。
前記課題を解決するために、本発明の障害物検出装置は、車両の周辺を撮影するカメラと、前記カメラから所定時刻毎に撮影画像を取得する画像取得部と、前記画像取得部により前記撮影画像が取得された時点の前記車両の位置情報を取得する位置情報取得部と、所定位置において撮影された画像であって、障害物を含まない画像である背景画像を当該所定位置と関連付けて記録する背景画像記録部と、前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とに基づく差分画像を生成すると共に、当該差分画像に基づき障害物を検出する障害物検出部とを備えた障害物検出装置であって、前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とを、前記車両上方に位置し、当該位置から下方向きの姿勢となる仮想的なカメラにより仮想的に撮影された画像である視点変換撮影画像と視点変換背景画像とに変換する視点変換部を備え、前記障害物検出部は、前記視点変換撮影画像と視点変換背景画像との差分画像を用いる。
この構成により、撮影画像と背景画像とから視点変換画像が生成され、それらの画像から差分画像が生成される。これにより、撮影画像を撮影した際のカメラ姿勢と背景画像を撮影した際のカメラ姿勢との差異をなくすことができる。すなわち、複数のカメラ姿勢により背景画像を撮影する必要がなくなる。また、カメラ姿勢を一致させた状態で差分画像を生成するため、差分画像の信頼性が向上し、その差分画像に基づく障害物検出精度も向上する。
以下に図面を用いて、本発明の障害物検出装置の実施形態を説明する。図1は、本発明の障害物検出装置の各機能部を表す機能ブロック図である。図に示すように、障害物検出装置は、車両に搭載され、車両進行方向の障害物を検出するために、車両の進行方向前方を撮影するカメラC、カメラCにより撮影された画像を解析することにより、カメラCの撮影方向の障害物を検出する演算処理部Aを備えている。なお、カメラCの設置方向を変えることにより、車両から任意の方向に存在する障害物を検出することが可能である。
本実施形態では、カメラCは、車両内のフロントガラスの上部付近、特にルームミラーの背後(ルームミラーとフロントガラスの間)に所定の俯角を有するように設置されている。このようにカメラCを配置することにより、運転者の視界を妨げることなく、車両前方を撮影することができる。
演算処理部Aは、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、I/Oバス等から構成されている。演算処理部A内には、カメラCにより撮影された画像をI/Oバスを介して取得する画像取得部11、画像取得部11により画像が取得された時点の車両の位置情報を取得する位置情報取得部12、画像取得部11により取得された画像から異なる視点における画像に変換する視点変換部13、障害物を含まない画像(以下、背景画像と称する)を位置情報と関連付けて背景画像記録部HDに記録管理する背景画像管理部14、画像取得部11により取得された画像と背景画像記録部HDに記録されている画像とに基づいて得られた差分画像に基づき障害物を検出する障害物検出部15、障害物検出部15により障害物が検出された際に、警告等の制御を行う制御部16がソフトウェアおよび/またはハードウェアにより構成されている。なお、背景画像記録部HDとしては、ハードディスクやフラッシュメモリ等の不揮発性記録媒体を使用する。
次に、図2のフローチャートを用いて本発明の障害物検出装置の処理の流れを説明する。
カメラCは、VGA(640×480)程度の解像度を有しており、撮影した画像を、I/Oバスを介して演算処理部Aの画像取得部11に常時通信している。画像取得部11は、所定の時間間隔でカメラCからの画像を静止画像(以下、撮影画像と称する)として取得する(#11)。このとき、カメラCからの信号がNTSC等のアナログ信号の場合には、画像取得部11はA/D変換して、デジタル化する機能を備える。画像取得部11により取得された撮影画像は、RAMに一時記憶され、画像取得部11は撮影画像を取得した旨を位置情報取得部12および視点変換部13に通知する。
画像取得部11から撮影画像を取得した旨の通知を受けた位置情報取得部12は、その時点の車両の位置情報を取得し(#12)、取得した位置情報を視点変換部13に通知する。なお、様々な位置情報の取得方法を用いることができるが、本実施形態では、アンテナTにより受信されたGPS信号に基づき位置情報を取得する方法を用いる。そのため、車両にカーナビゲーションシステムが搭載されていれば、そのアンテナを用いることができるため、追加の設備が不要となり好適である。
画像取得部11から撮影画像を取得した旨、位置情報取得部12から車両の位置情報を取得した視点変換部13は、RAMから撮影画像を取得すると共に、背景画像管理部14を介して背景画像記録部HDに記録されている背景画像を取得する(#13)。背景画像は予め先行車両等の障害物を含まない状態で撮影され、撮影位置の位置情報と関連付けられて背景画像記録部HDに記録されている。そのため、視点変換部13は背景画像管理部14に対して、位置情報取得部12から取得した位置情報を通知し、背景画像管理部14はその位置情報をキーとして背景画像記録部HDから背景画像を検索して視点変換部13に渡す。
視点変換部13は、このようにして取得した撮影画像および背景画像に対して視点変換処理を施す(#14)。本実施形態における視点変換とは、撮影画像を撮影したカメラCとは異なる位置/姿勢で仮想的に設置したカメラ(以下、仮想カメラCVと称する)により仮想的に撮影された画像を生成する処理をいう。
ここで、図3を用いて本実施形態における視点変換の概念を説明する。上述したように、視点変換とは撮影画像に基づき、仮想カメラCVにより仮想的に撮影された画像(以下、視点変換画像と称する)を生成する処理をいう。すなわち、被撮影物をカメラCで撮影することにより撮影画像が取得できる。このときのカメラCの姿勢はキャリブレーション等により取得可能である。一方、仮想カメラCVを所望の位置/姿勢で設定する。当然ながら、仮想カメラCVは仮想的に設置されるものであるため、その姿勢は既知である。このとき、カメラCの位置/姿勢と仮想カメラCVの位置/姿勢とは、回転および並進により表現されるため、カメラCの座標系から仮想カメラCVの座標系への変換は変換行列Σ∈R4×4により表現することができる。撮影画像中の各画素の3次元位置が既知であれば、この変換行列Σを用いた公知の方法により、撮影画像中の各画素を視点変換画像中の画素に変換することができる。
しかしながら、一般的に撮影画像中の各画素すなわち被撮影物の3次元位置を取得するためには、3次元位置を取得するための装置やそのための演算が必要となる。また、本発明においては、後述するように被撮影物の厳密な3次元位置は必要としていない。そのため、本実施形態では、演算量の低減等のために、被撮影物は2次元平面上に存在すると仮定して、視点変換を行う。すなわち、路面は平面であり、撮影画像中の被撮影物は全て路面上の2次元物体であると仮定する。もちろん、実際の3次元位置を取得して視点変換しても構わない。
また、図3に示すように、本発明での仮想カメラCVは車両上方に位置し、光軸が路面に対して略直交する姿勢に設定している(以下、このカメラ姿勢を上方視点と称する)。図4(a)は背景画像の例であり、図4(b)は仮想カメラCVを上方視点に設定した場合の視点変換画像の例である。仮想カメラCVを上方視点に設定することにより、後述する差分画像の生成において、位置ずれの補正が容易となる。
視点変換部13は、撮影画像および背景画像に対して上述の視点変換を施した画像(以下、それぞれ視点変換撮影画像および視点変換背景画像と称する)の生成を完了すると、それらをRAMに記憶させると共に、その旨を障害物検出部15に通知する。
視点変換部13から視点変換画像の生成の完了通知を受けた障害物検出部15は、RAMから視点変換撮影画像と視点変換背景画像とを取得し、これらの差分画像を生成する(#15)。差分画像とは、2つの画像間の対応する座標に位置する画素値の差の絶対値を画素値とする画像である。図5(a)は撮影画像の例であり、図5(b)は仮想カメラCVを上方視点に設定した場合の視点変換撮影画像である。障害物検出部15は、図4(b)の視点変換背景画像と図5(b)の視点変換撮影画像の差分画像を生成する。
一般的に、撮影画像の取得時と背景画像の取得時とでは、カメラCの光軸は一致していない。そのため、上述のようにして得られた視点変換撮影画像と視点変換背景画像との差分画像を生成すると、不要な変化領域を含んでいる。図6(a)は、位置ずれを補正せずに視点変換撮影画像と視点変換背景画像とから差分画像を生成したものであり、ハッチング領域が変化領域である。図から明らかなように、車両以外の領域も変化領域として検出されている。このような不要な変化領域は、障害物検出処理の精度を低下させる。したがって、差分画像を生成するに際して位置ずれを補正する必要がある。
一般的にカメラ位置の補正は、3軸周りの回転と3軸方向の並進とを補正する必要があり、多くの演算を必要とする。また、被撮影物の3次元位置情報も必要となる。そのため、カメラCの姿勢で撮影された画像に基づいて位置ずれを補正することは容易ではない。
一方、本発明では、上述したように、撮影画像と背景画像とをそれぞれ上方視点からの画像に変換している。そのため、位置ずれは2次元平面上に拘束されており、比較的少ない演算により補正することができる。また、被撮影物の実際の3次元位置の情報も不要である。特に、視点変換撮影画像中の白線と視点変換背景画像中の白線とを検出し、これらの白線が一致するように位置を補正した後に差分画像を生成すると、少ない演算量で位置ずれが補正された差分画像を得ることができる。なお、白線検出はHough変換等の公知の直線検出技術等を用いることができる。このようにして位置ずれを補正した後に生成した差分画像は、図6(b)に示すように不要な変化領域は少なくなっている。
また、図5(a)の撮影には車両の前方を走行する車両100(障害物の例)が含まれている。上述したように、視点変換に際しては、被撮影物は立体物ではなく、路面上の2次元物体であると仮定している。このような仮定の下で撮影された撮影画像を上方視点からの視点変換画像に変換すると、本来立体物である被撮影物は図5(b)の車両110のように、画像のy軸方向に伸びた形状となる。そのため、差分画像上では、大きな変化領域(図6(b)のハッチング領域)として現れるため、障害物検出の精度を向上させることができる。なお、差分画像上では対応する領域が存在しない領域も変化領域として現れるが、このような領域は既知であるため、変化領域から除外するよう構成することが望ましい。
障害物検出部15は、上述のようにして生成した差分画像を2値化した2値化画像を生成し(#16)、各変化領域の面積を求める(#17)。2値化画像上では、変化領域は画素値が0以外の値を有しているため、2値化画像をラベリングし、同一ラベルを持つ画素を計数することにより各変化領域の面積を求めることができる。
障害物検出部15は、上述のようにして求めた各変化領域の面積と所定の閾値とを比較し(#18)、所定の閾値を超える面積を持つ変化領域があれば(#18のYes分岐)、その変化領域は車両前方の障害物であると判定し、その旨を制御部16に通知する。一方、全ての変化領域の面積が所定の閾値以下である場合には、車両前方に障害物はないと判断し、処理を#11に移行させる。もちろん、障害物の判定は面積のみならず、領域の形状等他の条件を用いても構わない。
障害物の存在を通知された制御部16は、スピーカSを介して運転者に警告音声や警告音を発する(#19)。
〔別実施形態〕
(1)上述の実施形態では、制御部16は、障害物を検出した際に音声等による警告を行ったが、他の制御を行っても構わない。例えば、エンジンへの燃料供給の遮断、ブレーキの作動等により車両を減速させる制御を行うことができる。
(1)上述の実施形態では、制御部16は、障害物を検出した際に音声等による警告を行ったが、他の制御を行っても構わない。例えば、エンジンへの燃料供給の遮断、ブレーキの作動等により車両を減速させる制御を行うことができる。
(2)上述の実施形態では、背景画像記録部HDにはカメラCの視点からの背景画像が記録されていたが、予め視点変換した背景画像を記録しておくこともできる。この場合には、視点変換部13は、撮影画像のみを視点変換するだけでよい。そのため、背景画像を視点変換するための演算量が削減でき、処理速度の向上を図ることができる。
(3)上述の実施形態では、背景画像記録部HDには予め背景画像が記録されていたが、本発明の障害物検出装置に背景画像生成部を備え、車両の走行中に背景画像を生成記録する構成としても構わない。背景画像は、画像取得部11により取得される時々刻々の画像から公知の方法により生成することができる。この場合には、背景画像を位置情報と共に日時等にも関連付けて記憶させておき、障害物検出時には、取得された画像と、車両の位置情報およびその日時と最も近い背景画像とを比較することで、時間等に起因する撮影環境の影響を低減させることができる。
車両の進行方向の障害物の検出に用いることができる。
C:カメラ
HD:背景画像記録部
11:画像取得部
12:位置情報取得部
13:視点変換部
15:障害物検出部
100:車両(障害物)
HD:背景画像記録部
11:画像取得部
12:位置情報取得部
13:視点変換部
15:障害物検出部
100:車両(障害物)
Claims (1)
- 車両の周辺を撮影するカメラと、
前記カメラから所定時刻毎に撮影画像を取得する画像取得部と、
前記画像取得部により前記撮影画像が取得された時点の前記車両の位置情報を取得する位置情報取得部と、
所定位置において撮影された画像であって、障害物を含まない画像である背景画像を当該所定位置と関連付けて記録する背景画像記録部と、
前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とに基づく差分画像を生成すると共に、当該差分画像に基づき障害物を検出する障害物検出部とを備えた障害物検出装置であって、
前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とを、前記車両上方に位置し、当該位置から下方向きの姿勢となる仮想的なカメラにより仮想的に撮影された画像である視点変換撮影画像と視点変換背景画像とに変換する視点変換部を備え、
前記障害物検出部は、前記視点変換撮影画像と視点変換背景画像との差分画像を用いることを特徴とする障害物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009050684A JP2010205039A (ja) | 2009-03-04 | 2009-03-04 | 障害物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009050684A JP2010205039A (ja) | 2009-03-04 | 2009-03-04 | 障害物検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010205039A true JP2010205039A (ja) | 2010-09-16 |
Family
ID=42966443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009050684A Pending JP2010205039A (ja) | 2009-03-04 | 2009-03-04 | 障害物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010205039A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237810A (ja) * | 2009-03-30 | 2010-10-21 | Mazda Motor Corp | 移動体検出システム及び移動体検出方法 |
JP2017037402A (ja) * | 2015-08-07 | 2017-02-16 | 株式会社デンソー | 情報送信装置 |
WO2020110435A1 (ja) * | 2018-11-29 | 2020-06-04 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
-
2009
- 2009-03-04 JP JP2009050684A patent/JP2010205039A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237810A (ja) * | 2009-03-30 | 2010-10-21 | Mazda Motor Corp | 移動体検出システム及び移動体検出方法 |
JP2017037402A (ja) * | 2015-08-07 | 2017-02-16 | 株式会社デンソー | 情報送信装置 |
WO2020110435A1 (ja) * | 2018-11-29 | 2020-06-04 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
JP2020087176A (ja) * | 2018-11-29 | 2020-06-04 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
JP7236849B2 (ja) | 2018-11-29 | 2023-03-10 | 日立Astemo株式会社 | 外界認識装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4899424B2 (ja) | 物体検出装置 | |
US10169667B2 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
EP3163506A1 (en) | Method for stereo map generation with novel optical resolutions | |
JP6032034B2 (ja) | 物体検知装置 | |
KR102177879B1 (ko) | 차량의 객체 검출 장치 및 방법 | |
JP2008092459A (ja) | 周辺監視装置 | |
JP5098563B2 (ja) | 物体検出装置 | |
JP2010165142A (ja) | 車両用道路標示認識装置および車両用道路標示認識方法 | |
JP6065629B2 (ja) | 物体検知装置 | |
JP2000293693A (ja) | 障害物検出方法および装置 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP2010205039A (ja) | 障害物検出装置 | |
JP7272334B2 (ja) | 地図生成装置および地図生成方法 | |
JP2011033594A (ja) | 車両用距離算出装置 | |
JP6802999B2 (ja) | 区画線検出システム | |
JP2004110521A (ja) | 変位データ抽出方法及び物体検出装置 | |
JP2008286648A (ja) | 距離計測装置、距離計測システム、距離計測方法 | |
JP5425500B2 (ja) | キャリブレーション装置およびキャリブレーション方法 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
JP2010056975A (ja) | リアカメラによる物体検知方式 | |
JP5330341B2 (ja) | 車載カメラを用いた測距装置 | |
KR20220097656A (ko) | 운전자 보조 장치, 차량 및 그 제어 방법 | |
JP6477246B2 (ja) | 路面標示検出装置及び路面標示検出方法 |