JP2010205039A

JP2010205039A - 障害物検出装置

Info

Publication number: JP2010205039A
Application number: JP2009050684A
Authority: JP
Inventors: Toshio Ito; 敏夫伊東
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2009-03-04
Filing date: 2009-03-04
Publication date: 2010-09-16

Abstract

【課題】撮影画像と背景画像とに基づく差分画像を用いて的確に障害物を検出する障害物検出装置を提供する。
【解決手段】カメラＣにより車両の周辺を撮影する。画像取得部１１は、カメラＣから所定時刻毎に撮影画像を取得し、位置情報取得部１２は、画像取得部１１が撮影画像を取得した時点の車両の位置情報を取得する。背景画像記録部ＨＤには、背景画像がその撮影時の位置情報と関連付けられて記録されている。視点変換部１３は、撮影画像と背景画像とをそれぞれ視点変換撮影画像と視点変換背景画像とに変換する。障害物検出部１５は、視点変換撮影画像と視点変換背景画像との差分画像に基づいて、障害物を検出する。
【選択図】図２

Description

車両に搭載される障害物検出装置における障害物検出技術に関する。

上述のような障害物検出装置として、フレーム単位で連続的に入力される入力画像（本発明の撮影画像に相当）と予め設定された背景画像との差分画像に基づいて障害物を検出する技術が知られている（特許文献１参照）。

この技術では、上述の差分画像を２値化することにより、変化領域と非変化領域とからなる２値化画像をフレーム毎に生成し、フレーム間で２値化画像を比較することにより重なり領域（フレーム間で変化のない領域）と増加領域（背景領域から変化領域になった領域）と減少領域（変化領域から背景領域になった領域）とを抽出し、重なり領域とそれに隣接する増加領域および減少領域を統合領域として規定し、その統合領域のパラメータに基づき移動体の動きを検出している。

特開２００６−５９２５２（段落番号００１２−００１９）

特許文献１の技術をはじめ、撮影された画像と予め設定された背景画像との差分を用いた技術では、障害物の検出時に撮影されたカメラの姿勢と背景画像を撮影した際のカメラの姿勢とが一致している必要がある。特に、車両の場合には同じ道路の同じ車線を走行する場合でも、走行位置は一定ではなく、カメラの姿勢を一致させることは困難である。この問題を解決するためには、一の位置において複数のカメラ姿勢で撮影した背景画像を保持しておく必要がある。しかし、そのためには大容量の記録媒体が必要となり、その作成作業も膨大となる。

本発明の目的は、撮影画像と背景画像とに基づく差分画像を用いて的確に障害物を検出する障害物検出装置を提供することである。

前記課題を解決するために、本発明の障害物検出装置は、車両の周辺を撮影するカメラと、前記カメラから所定時刻毎に撮影画像を取得する画像取得部と、前記画像取得部により前記撮影画像が取得された時点の前記車両の位置情報を取得する位置情報取得部と、所定位置において撮影された画像であって、障害物を含まない画像である背景画像を当該所定位置と関連付けて記録する背景画像記録部と、前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とに基づく差分画像を生成すると共に、当該差分画像に基づき障害物を検出する障害物検出部とを備えた障害物検出装置であって、前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とを、前記車両上方に位置し、当該位置から下方向きの姿勢となる仮想的なカメラにより仮想的に撮影された画像である視点変換撮影画像と視点変換背景画像とに変換する視点変換部を備え、前記障害物検出部は、前記視点変換撮影画像と視点変換背景画像との差分画像を用いる。

この構成により、撮影画像と背景画像とから視点変換画像が生成され、それらの画像から差分画像が生成される。これにより、撮影画像を撮影した際のカメラ姿勢と背景画像を撮影した際のカメラ姿勢との差異をなくすことができる。すなわち、複数のカメラ姿勢により背景画像を撮影する必要がなくなる。また、カメラ姿勢を一致させた状態で差分画像を生成するため、差分画像の信頼性が向上し、その差分画像に基づく障害物検出精度も向上する。

本発明の障害物検出装置の機能ブロック図である。本発明の障害物検出装置の処理の流れを表すフローチャートである。本発明における視点変換の概念図である。背景画像と視点変換された背景画像の例である。撮影画像と視点変換された撮影画像の例である。視点変換された背景画像と撮影画像との差分画像の例である。

以下に図面を用いて、本発明の障害物検出装置の実施形態を説明する。図１は、本発明の障害物検出装置の各機能部を表す機能ブロック図である。図に示すように、障害物検出装置は、車両に搭載され、車両進行方向の障害物を検出するために、車両の進行方向前方を撮影するカメラＣ、カメラＣにより撮影された画像を解析することにより、カメラＣの撮影方向の障害物を検出する演算処理部Ａを備えている。なお、カメラＣの設置方向を変えることにより、車両から任意の方向に存在する障害物を検出することが可能である。

本実施形態では、カメラＣは、車両内のフロントガラスの上部付近、特にルームミラーの背後（ルームミラーとフロントガラスの間）に所定の俯角を有するように設置されている。このようにカメラＣを配置することにより、運転者の視界を妨げることなく、車両前方を撮影することができる。

演算処理部Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、Ｉ／Ｏバス等から構成されている。演算処理部Ａ内には、カメラＣにより撮影された画像をＩ／Ｏバスを介して取得する画像取得部１１、画像取得部１１により画像が取得された時点の車両の位置情報を取得する位置情報取得部１２、画像取得部１１により取得された画像から異なる視点における画像に変換する視点変換部１３、障害物を含まない画像（以下、背景画像と称する）を位置情報と関連付けて背景画像記録部ＨＤに記録管理する背景画像管理部１４、画像取得部１１により取得された画像と背景画像記録部ＨＤに記録されている画像とに基づいて得られた差分画像に基づき障害物を検出する障害物検出部１５、障害物検出部１５により障害物が検出された際に、警告等の制御を行う制御部１６がソフトウェアおよび／またはハードウェアにより構成されている。なお、背景画像記録部ＨＤとしては、ハードディスクやフラッシュメモリ等の不揮発性記録媒体を使用する。

次に、図２のフローチャートを用いて本発明の障害物検出装置の処理の流れを説明する。

カメラＣは、ＶＧＡ（６４０×４８０）程度の解像度を有しており、撮影した画像を、Ｉ／Ｏバスを介して演算処理部Ａの画像取得部１１に常時通信している。画像取得部１１は、所定の時間間隔でカメラＣからの画像を静止画像（以下、撮影画像と称する）として取得する（＃１１）。このとき、カメラＣからの信号がＮＴＳＣ等のアナログ信号の場合には、画像取得部１１はＡ／Ｄ変換して、デジタル化する機能を備える。画像取得部１１により取得された撮影画像は、ＲＡＭに一時記憶され、画像取得部１１は撮影画像を取得した旨を位置情報取得部１２および視点変換部１３に通知する。

画像取得部１１から撮影画像を取得した旨の通知を受けた位置情報取得部１２は、その時点の車両の位置情報を取得し（＃１２）、取得した位置情報を視点変換部１３に通知する。なお、様々な位置情報の取得方法を用いることができるが、本実施形態では、アンテナＴにより受信されたＧＰＳ信号に基づき位置情報を取得する方法を用いる。そのため、車両にカーナビゲーションシステムが搭載されていれば、そのアンテナを用いることができるため、追加の設備が不要となり好適である。

画像取得部１１から撮影画像を取得した旨、位置情報取得部１２から車両の位置情報を取得した視点変換部１３は、ＲＡＭから撮影画像を取得すると共に、背景画像管理部１４を介して背景画像記録部ＨＤに記録されている背景画像を取得する（＃１３）。背景画像は予め先行車両等の障害物を含まない状態で撮影され、撮影位置の位置情報と関連付けられて背景画像記録部ＨＤに記録されている。そのため、視点変換部１３は背景画像管理部１４に対して、位置情報取得部１２から取得した位置情報を通知し、背景画像管理部１４はその位置情報をキーとして背景画像記録部ＨＤから背景画像を検索して視点変換部１３に渡す。

視点変換部１３は、このようにして取得した撮影画像および背景画像に対して視点変換処理を施す（＃１４）。本実施形態における視点変換とは、撮影画像を撮影したカメラＣとは異なる位置／姿勢で仮想的に設置したカメラ（以下、仮想カメラＣ_Vと称する）により仮想的に撮影された画像を生成する処理をいう。

ここで、図３を用いて本実施形態における視点変換の概念を説明する。上述したように、視点変換とは撮影画像に基づき、仮想カメラＣ_Vにより仮想的に撮影された画像（以下、視点変換画像と称する）を生成する処理をいう。すなわち、被撮影物をカメラＣで撮影することにより撮影画像が取得できる。このときのカメラＣの姿勢はキャリブレーション等により取得可能である。一方、仮想カメラＣ_Vを所望の位置／姿勢で設定する。当然ながら、仮想カメラＣ_Vは仮想的に設置されるものであるため、その姿勢は既知である。このとき、カメラＣの位置／姿勢と仮想カメラＣ_Vの位置／姿勢とは、回転および並進により表現されるため、カメラＣの座標系から仮想カメラＣ_Vの座標系への変換は変換行列Σ∈Ｒ⁴×⁴により表現することができる。撮影画像中の各画素の３次元位置が既知であれば、この変換行列Σを用いた公知の方法により、撮影画像中の各画素を視点変換画像中の画素に変換することができる。

しかしながら、一般的に撮影画像中の各画素すなわち被撮影物の３次元位置を取得するためには、３次元位置を取得するための装置やそのための演算が必要となる。また、本発明においては、後述するように被撮影物の厳密な３次元位置は必要としていない。そのため、本実施形態では、演算量の低減等のために、被撮影物は２次元平面上に存在すると仮定して、視点変換を行う。すなわち、路面は平面であり、撮影画像中の被撮影物は全て路面上の２次元物体であると仮定する。もちろん、実際の３次元位置を取得して視点変換しても構わない。

また、図３に示すように、本発明での仮想カメラＣ_Vは車両上方に位置し、光軸が路面に対して略直交する姿勢に設定している（以下、このカメラ姿勢を上方視点と称する）。図４（ａ）は背景画像の例であり、図４（ｂ）は仮想カメラＣ_Vを上方視点に設定した場合の視点変換画像の例である。仮想カメラＣ_Vを上方視点に設定することにより、後述する差分画像の生成において、位置ずれの補正が容易となる。

視点変換部１３は、撮影画像および背景画像に対して上述の視点変換を施した画像（以下、それぞれ視点変換撮影画像および視点変換背景画像と称する）の生成を完了すると、それらをＲＡＭに記憶させると共に、その旨を障害物検出部１５に通知する。

視点変換部１３から視点変換画像の生成の完了通知を受けた障害物検出部１５は、ＲＡＭから視点変換撮影画像と視点変換背景画像とを取得し、これらの差分画像を生成する（＃１５）。差分画像とは、２つの画像間の対応する座標に位置する画素値の差の絶対値を画素値とする画像である。図５（ａ）は撮影画像の例であり、図５（ｂ）は仮想カメラＣ_Vを上方視点に設定した場合の視点変換撮影画像である。障害物検出部１５は、図４（ｂ）の視点変換背景画像と図５（ｂ）の視点変換撮影画像の差分画像を生成する。

一般的に、撮影画像の取得時と背景画像の取得時とでは、カメラＣの光軸は一致していない。そのため、上述のようにして得られた視点変換撮影画像と視点変換背景画像との差分画像を生成すると、不要な変化領域を含んでいる。図６（ａ）は、位置ずれを補正せずに視点変換撮影画像と視点変換背景画像とから差分画像を生成したものであり、ハッチング領域が変化領域である。図から明らかなように、車両以外の領域も変化領域として検出されている。このような不要な変化領域は、障害物検出処理の精度を低下させる。したがって、差分画像を生成するに際して位置ずれを補正する必要がある。

一般的にカメラ位置の補正は、３軸周りの回転と３軸方向の並進とを補正する必要があり、多くの演算を必要とする。また、被撮影物の３次元位置情報も必要となる。そのため、カメラＣの姿勢で撮影された画像に基づいて位置ずれを補正することは容易ではない。

一方、本発明では、上述したように、撮影画像と背景画像とをそれぞれ上方視点からの画像に変換している。そのため、位置ずれは２次元平面上に拘束されており、比較的少ない演算により補正することができる。また、被撮影物の実際の３次元位置の情報も不要である。特に、視点変換撮影画像中の白線と視点変換背景画像中の白線とを検出し、これらの白線が一致するように位置を補正した後に差分画像を生成すると、少ない演算量で位置ずれが補正された差分画像を得ることができる。なお、白線検出はＨｏｕｇｈ変換等の公知の直線検出技術等を用いることができる。このようにして位置ずれを補正した後に生成した差分画像は、図６（ｂ）に示すように不要な変化領域は少なくなっている。

また、図５（ａ）の撮影には車両の前方を走行する車両１００（障害物の例）が含まれている。上述したように、視点変換に際しては、被撮影物は立体物ではなく、路面上の２次元物体であると仮定している。このような仮定の下で撮影された撮影画像を上方視点からの視点変換画像に変換すると、本来立体物である被撮影物は図５（ｂ）の車両１１０のように、画像のｙ軸方向に伸びた形状となる。そのため、差分画像上では、大きな変化領域（図６（ｂ）のハッチング領域）として現れるため、障害物検出の精度を向上させることができる。なお、差分画像上では対応する領域が存在しない領域も変化領域として現れるが、このような領域は既知であるため、変化領域から除外するよう構成することが望ましい。

障害物検出部１５は、上述のようにして生成した差分画像を２値化した２値化画像を生成し（＃１６）、各変化領域の面積を求める（＃１７）。２値化画像上では、変化領域は画素値が０以外の値を有しているため、２値化画像をラベリングし、同一ラベルを持つ画素を計数することにより各変化領域の面積を求めることができる。

障害物検出部１５は、上述のようにして求めた各変化領域の面積と所定の閾値とを比較し（＃１８）、所定の閾値を超える面積を持つ変化領域があれば（＃１８のYes分岐）、その変化領域は車両前方の障害物であると判定し、その旨を制御部１６に通知する。一方、全ての変化領域の面積が所定の閾値以下である場合には、車両前方に障害物はないと判断し、処理を＃１１に移行させる。もちろん、障害物の判定は面積のみならず、領域の形状等他の条件を用いても構わない。

障害物の存在を通知された制御部１６は、スピーカＳを介して運転者に警告音声や警告音を発する（＃１９）。

〔別実施形態〕
（１）上述の実施形態では、制御部１６は、障害物を検出した際に音声等による警告を行ったが、他の制御を行っても構わない。例えば、エンジンへの燃料供給の遮断、ブレーキの作動等により車両を減速させる制御を行うことができる。

（２）上述の実施形態では、背景画像記録部ＨＤにはカメラＣの視点からの背景画像が記録されていたが、予め視点変換した背景画像を記録しておくこともできる。この場合には、視点変換部１３は、撮影画像のみを視点変換するだけでよい。そのため、背景画像を視点変換するための演算量が削減でき、処理速度の向上を図ることができる。

（３）上述の実施形態では、背景画像記録部ＨＤには予め背景画像が記録されていたが、本発明の障害物検出装置に背景画像生成部を備え、車両の走行中に背景画像を生成記録する構成としても構わない。背景画像は、画像取得部１１により取得される時々刻々の画像から公知の方法により生成することができる。この場合には、背景画像を位置情報と共に日時等にも関連付けて記憶させておき、障害物検出時には、取得された画像と、車両の位置情報およびその日時と最も近い背景画像とを比較することで、時間等に起因する撮影環境の影響を低減させることができる。

車両の進行方向の障害物の検出に用いることができる。

Ｃ：カメラ
ＨＤ：背景画像記録部
１１：画像取得部
１２：位置情報取得部
１３：視点変換部
１５：障害物検出部
１００：車両（障害物）

Claims

車両の周辺を撮影するカメラと、
前記カメラから所定時刻毎に撮影画像を取得する画像取得部と、
前記画像取得部により前記撮影画像が取得された時点の前記車両の位置情報を取得する位置情報取得部と、
所定位置において撮影された画像であって、障害物を含まない画像である背景画像を当該所定位置と関連付けて記録する背景画像記録部と、
前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とに基づく差分画像を生成すると共に、当該差分画像に基づき障害物を検出する障害物検出部とを備えた障害物検出装置であって、
前記撮影画像と当該撮影画像が取得された時点の位置情報に対応する背景画像とを、前記車両上方に位置し、当該位置から下方向きの姿勢となる仮想的なカメラにより仮想的に撮影された画像である視点変換撮影画像と視点変換背景画像とに変換する視点変換部を備え、
前記障害物検出部は、前記視点変換撮影画像と視点変換背景画像との差分画像を用いることを特徴とする障害物検出装置。