JP2017049666A - 飛び出し物体検知装置および飛び出し物体検知方法 - Google Patents

Abstract

【課題】少ない演算量で飛び出し物体を検知できる飛び出し物体検知装置を提供する。【解決手段】飛び出し物体検知装置は、輸送機器から画像を撮影する撮像手段と、現在より所定時間以前の第1の時刻に前記撮像手段が撮影した第1の背景画像を記憶する第１の背景画像記憶手段と、前記第1の時刻から現在までの前記輸送機器の移動量を推定する移動量推定手段と、前記移動量と前記第1の背景画像とに基づいて現在の背景画像と推定される第２の背景画像を生成する第２の背景画像生成手段と、前記撮像装置が現在に撮影した現在画像を記憶する現在画像記憶手段と、前記現在画像と前記第２の画像との差分を算出する差分算出手段と、前記差分に基づいて飛び出し物体の有無を判定する飛び出し判定手段と、を有する。【選択図】 図１

Description

本発明は、飛び出し物体検知装置および飛び出し物体検知方法に関する。

近年、自動車等の輸送機器の分野では、衝突を防止するための衝突防止システムの導入が、盛んになっている。代表的な衝突防止システムの方式には、ミリ波レーダーを利用した方式や、カメラで取得した画像を利用する方式などがある。このうちミリ波レーダーを用いたシステムは、前方の車両や障害物等の大きな物体との衝突回避に有効である。しかしながら代表的な飛び出し物体である歩行者や自転車等は、ミリ波の反射率が低く、サイズも小さいため、ミリ波レーダーで、これらの飛び出しを検知することは困難であった。一方、カメラを用いたシステムは、飛び出し物体の検知に有効であり、種々の方法が検討されている。

例えば、特許文献１には、複数フレームの画像を用いて算出されるオプティカルフローを利用した飛び出し物体検出装置の技術が開示されている。オプティカルフローとは、ある期間における各画素の移動を表すベクトル量である。この技術では、まず車両の前方の背景に、道路外側の検出領域と、道路内側の判定領域と、を設定する。次に、検出領域のオプティカルフローを算出する。そして、道路の内側に向かうオプティカルフローを物体として抽出する。次いで、判定領域のオプティカルフローを算出し、当該物体の検出を行う。当該物体が検出されたら、当該物体の、検出領域における移動速度と、判定領域における移動速度とを、それぞれ算出する。そして、２つの移動速度の差が所定値以下であった場合に、当該物体を飛び出し物体と判定する。以上のような方法により、誤検出の可能性を低減して、的確に飛び出し物体を検出することができる。

特開２００６−７２４３９号公報

しかしながら、特許文献１の方法では、飛び出し物体を検出するための演算量が膨大になるという問題があった。この方法では、まず、検出領域、判定領域それぞれにおけるオプティカルフロー算出を行わなければならない。さらに、道路内側に向かう移動物体の抽出、判定領域における当該物体の特定、両領域における移動速度の算出と比較とを行わなければならない。

本発明は、上記の問題点に鑑みてなされたものであり、少ない演算量で飛び出し物体を検知できる飛び出し物体検知装置を提供することを目的としている。

上記の課題を解決するため、本発明の飛び出し物体検知装置は、輸送機器から画像を撮影する撮像手段と、現在より所定時間以前の第1の時刻に前記撮像手段が撮影した第1の背景画像を記憶する第１の背景画像記憶手段と、前記第1の時刻から現在までの前記輸送機器の移動量を推定する移動量推定手段と、前記移動量と前記第1の背景画像とに基づいて現在の背景画像と推定される第２の背景画像を生成する第２の画像生成手段と、前記撮像装置が現在に撮影した現在画像を記憶する現在画像記憶手段と、前記現在画像と前記第２の画像との差分を算出する差分算出手段と、前記差分に基づいて飛び出し物体の有無を判定する飛び出し判定手段と、を有している。

本発明の効果は、少ない演算量で飛び出し物体を検知できる飛び出し物体検知装置を提供できることである。

第１の実施形態を示すブロック図である。 第２の実施形態を示すフローチャートである。 第４の実施形態を示すブロック図である。 第５の実施形態を示すブロック図である。 第６の実施形態を示すブロック図である。 第７の実施形態を示すブロック図である。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。

（第１の実施形態）
図１は、第１の実施形態の飛び出し検知装置を示すブロック図である。飛び出し検知装置１０００は、撮像手段１０と、第１の背景画像記憶手段２０と、輸送機器移動量推定手段３０と、第２の画像生成手段４０と、を有している。また、現在画像記憶手段５０と、差分算出手段６０と、飛び出し判定手段７０と、を有している。ここで、輸送機器とは、飛び出し物体検知装置１０００を搭載する移動手段であり、例えば、自動車、自動二輪車、鉄道車両、船舶、航空機などが含まれる。

撮像手段１００は、輸送機器の移動方向の画像を撮影する。

第１の背景画像記憶手段２０は第１の背景画像を記憶する。第１の背景画像とは、現在より所定時間以前の第１の時刻に、撮像手段１０によって撮影された画像である。なお、現在とは、撮像手段が最新の画像を取得した時刻と定義する。

輸送機器移動量推定手段３０は、第１の背景画像が撮影された第１の時刻から現在までの輸送機器の移動量を推定する。

第２の背景画像生成手段４０は、移動量推定手段３０が推定した移動量に対応するように、第１の画像を調整した第２の背景画像を生成する。すなわち現在時刻における背景であると推定される画像が、第２の背景画像である。

現在画像記憶手段５０は、現在時刻に撮像装置１０が撮影した画像を、現在画像として記憶する。

差分算出手段６０は、現在画像と第２の背景画像との差分を算出する。この差分は、一般的に前景画像と呼ばれるものである。

飛び出し判定手段７０は、差分算出手段６０が算出した差分に基づいて、飛び出し判定を行う。差分には所定の閾値を設けておき、差分が閾値以上であれば、飛び出し物体ありと判定する。

以上、説明したように、本実施形態によれば、少ない計算量で、的確に飛び出し物体を検知することができる。

（第２の実施形態）
次に、第１の実施形態の飛び出し物体検知装置の動作について説明する。図２は、飛び出し物体検知装置の動作を示すフローチャートである。

まず第１の時刻に撮像手段が撮影した第１の背景画像を記憶する（Ｓ１）。次に、第１の時刻から現在までの輸送機器の移動量を推定する（Ｓ２）。移動量の推定は、速度計、加速度センサ、操舵角計等の情報に基づいて行う。推定の仕方は、利用できる走行情報や航行情報によって異なる。簡易的には、第１の時刻から現在までの期間、直線を一定速度で移動していると近似して算出することができる。他の例については後述する。

次に、第１の背景画像と移動量とに基づいて、現在の背景と推定される第２の背景画像を生成する（Ｓ３）。

輸送機器に固定された撮像手段で取得した画像は、無限遠点と呼ばれる画像中のある一点から放射状に広がるという特徴を持つ。輸送機器の速度が一定の場合、第１の背景画像の各画素を、無限遠点を中心として、放射状に一定量移動させることで、第２の背景画像を生成することができる。第１の時刻と現在時刻との間隔は、例えば、撮影画像の１フレーム分とすることができる。仮に、撮影が３０フレーム／秒とすると、移動量は、速度×１／３０秒なので、それに対応する分だけ、各画素のデータを放射状に手前に移動させることで、第２の背景画像を生成することができる。

次に、現在画像記憶手段に現在画像を記憶する（Ｓ４）なお、現在画像の撮影および記憶は、第２の背景画像生成と並行して行っていても良い。

次に、現在画像の各画素のデータと、第２の背景画像の各画素のデータとの差分を算出する（Ｓ５）。差分を算出することで、現在画像で新たに出現した画像を抽出することができる。次に差分に基づいて、新たに出現した画像が、飛び出し物体であるか否かの判定を行う（Ｓ６）。誤判定を防止するため、判定には所定の閾値を設定する。判定には様々な方法を用いることができる。例えば、計算された各画素の差分について、検出領域内の総和を算出し、その総和に対して閾値を設定することができる。また、差分を有する画素が所定数以上の塊となっている場合だけ判定を行い、塊が所定画素数に満たない差分は無視するなどの条件を付しても良い。なお、これらは、あくまで一例であり、その他、種々の判定方法を用いることができる。

その後、判定動作を続行する場合は（Ｓ７＿Ｙｅｓ）、現在画像を次回の第１の背景画像とし（Ｓ８）、Ｓ１に戻り、第１の背景画像を更新し記憶する。そして、Ｓ２以降の判定動作を繰り返す。上記の動作により、逐次背景画像を更新する。このような動的背景画像を用いて、的確に飛び出し物体を検知することができる。一方、判定動作を終了する場合は（Ｓ７＿Ｎｏ）、終了する。

以上説明したように、本実施形態によれば、少ない演算量で飛び出し物体を検知することができる。

（第３の実施形態）
現在の輸送機器では、航行情報の電子化が進んでおり、移動速度、加速度、などを利用して、所定期間における移動方向、移動量の把握が容易になっている。例えば自動車では、車載コンピュータにより、これらの情報は総合的に管理されている。自動車業界では、車載コンピュータに管理された走行情報を、オープンに利用できるようにしようという動きも始まっている。このような環境にあっては、第２の実施形態で述べた輸送機器の移動量を容易に把握することができる。移動量には、直進の他に、右折、左折、上下動等様々なパターンがあるが、いずれの場合もコンピュータの情報を用いて、移動量を容易に算出することができる。なお、ここでは自動車を例にとって説明したが、鉄道車両、航空機、船舶等についても同様である。

輸送機器の移動量に、上下、左右の移動が含まれる場合は、その移動量を反映するように第２の背景画像を生成すれば良い。例えば右方向に旋回している場合は、各画素のデータを移動量の分だけ左に移動することになる。このような処理を行うことで、車両の方向転換及び上下動に対してロバストなシステムの構築が可能となる。

（第４の実施形態）
図３は、第４の実施形態の飛び出し物体検知装置１０００を示すブロック図である。本実施形態の飛び出し物体検知装置１０００は、第１の実施形態の構成に加えて、歪み補正手段１１と、グレースケール化手段１２と、を有している。また、警告手段８０を有している。

歪み補正手段１１は、撮像手段１０が撮影した画像の歪みを補正する。歪み補正としては、例えば、レンズによる歪曲収差の補正を行う。これにより、撮影された歪みを含む画像は平行投影画像に変換される。

グレースケール化手段１２は、歪み補正の完了した画像をグレースケール化する。グレースケール化により、データ量を圧縮することができる。グレースケール化には種々の手法を用いることができるが、周知技術であるため、ここでは詳述しない。

警告手段８０は、飛び出し判定手段７０が、飛び出しありと判定した場合に、警告を発する。警告としては、ランプの点灯などを用いた光での報知、ブザーなどを用いた音による報知、振動による報知、等を行うことができる。

以上、説明したように、本実施形態によれば、使用するデータ量を少なくして飛び出し物体の検知を行うことができる。

（第５の実施形態）
図４は第５の実施形態を示すブロック図である。本実施形態の飛び出し物体検知装置１０００は、第１の実施形態の構成に加えて、検知領域限定手段９０を有している。

検知領域限定手段９０は、飛び出し物体の検知を行う領域を限定する。すなわち、各画像中に、飛び出し物体の検知に利用しない領域を設定するものである。

例えば、輸送機器の直近領域は、飛び出しを検知したとしても制動等の対応が不可能である。このため、当該領域を、検出対象から外しても、得られる効果に変わりが無い。

また、例えば、場所を、歩行者及び自転車の通行量が多い市街地とすると、優先的な検知領域は、進行車線の左側前方である。この場合、左側に検知領域を広く設定し、右側遠方を検知領域から除外する、といった設定が可能である。

以上説明したように、本実施形態によれば、検知領域を限定することで、演算量を削減して、飛び出し物体の検知を行うことができる。

（第６の実施形態）
図５は、第６の実施形態を示すブロック図である。本実施形態の飛び出し物体検知装置１０００は、撮像手段を２つ（１０ａ、１０ｂ）有している。また、奥行情報取得手段２１と、奥行情報反映手段４１と、を有している。

２台の撮像手段１０ａ、１０ｂは、進行方向に対し左右に離間して設置する。例えば、自動車に適用する場合は、撮像手段１０ａ、１０ｂとして、２台のＣＣＤカメラを用い、１台を運転席前方、他の１台を助手席前方に設置する構成とすることができる。このような配置とすると、ステレオマッチングにより、画像に含まれる物体の奥行情報を得ることができる。奥行情報取得手段２１は、この奥行情報を取得する。

奥行情報反映手段４１は、第２の背景画像生成手段４０の一部として設けられる。そして第２の背景画像を生成する際に、奥行情報に即して画素を移動する。

こうして得られた第２の背景画像を用いることにより、飛び出し物体の検知精度を向上することができる。

（第７の実施形態）
図６は、第７の実施形態を示すブロック図である。本実施形態の飛び出し物体検知装置１０００は、画像平行移動手段１００を有している。

本実施形態は、第３の実施形態で述べたような航行情報が利用できない場合に対応する。このような環境では、旋回時や、上下動が発生する場合には、無限遠点から画素を移動させる手法のみでは高精度な動的背景生成を行うことはできない。すなわち、左右、上下の移動に対応した画像の平行移動が必要になる。第２の背景画像を生成する前段階において、このような画像の平行移動処理を行う。

画像平行移動手段１００は、まず第1の背景画像と現在画像との間で空間的相関を計算し、最も相関の高い点を基準点として設定する。そして両者の基準点が一致するように、第１の画像を平行移動してから第２の背景画像を生成する。以上のような処理を行うことで、輸送機器の方向転換及び上下動に対してロバストなシステムの構築が可能となる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

１０ 撮像手段
１１ 歪み補正手段
１２ グレースケール化手段
２０ 第１の背景画像記憶手段
２１ 奥行情報取得手段
３０ 輸送機器移動量推定手段
４０ 第２の背景画像生成手段
４１ 奥行情報反映手段
５０ 現在画像記憶手段
６０ 差分算出手段
７０ 飛び出し判定手段
８０ 警告手段
９０ 検知領域限定手段
１００ 画像平行移動手段
１０００ 飛び出し物体検知装置

Claims (10)

1. 輸送機器から画像を撮影する撮像手段と、
   前記撮像手段が現在より所定時間以前の第1の時刻に撮影した第1の背景画像を記憶する第１の背景画像記憶手段と、
   前記第1の時刻から現在までの前記輸送機器の移動量を推定する移動量推定手段と、
   前記移動量と前記第1の背景画像とに基づいて現在の背景画像と推定される第２の背景画像を生成する第２の背景画像生成手段と、
   前記撮像装置が現在に撮影した現在画像を記憶する現在画像記憶手段と、
   前記現在画像と前記第２の背景画像との差分を算出する差分算出手段と、
   前記差分に基づいて飛び出し物体の有無を判定する飛び出し判定手段と、
   を有することを特徴とする飛び出し物体検知装置。
2. 記撮像手段が撮像した画像をグレースケール化するグレースケール化手段を有する、ことを特徴とする請求項１に記載の飛び出し物体検知装置。
3. 前記第２の背景画像生成、前記差分の判定、前記飛び出し物体の有無の判定、のうち少なくとも一つを画像全体の一部に限定する検知領域限定手段を有する、ことを特徴とする請求項１または請求項２に記載の飛び出し物体検知装置。
4. 前記飛び出し判定手段が飛び出し物体ありと判定した場合に警告を発する警告手段を有する、ことを特徴とする請求項１乃至請求項３いずれか一項に記載の飛び出し物体検知装置。
5. 前記撮像手段を複数有し、前記撮像手段が取得した画像に含まれる物体の奥行情報を取得する奥行情報取得手段と、前記奥行情報を前記第２の背景画像生成に反映させる奥行情報反映手段と、を有することを特徴とする請求項１乃至請求項４いずれか一項に記載の飛び出し物体検知装置。
6. 前記第１の背景画像と前記現在画像との相関に基づいて前記第１の背景画像を平行移動する画像平行移動手段を有する、ことを特徴とする請求項１乃至請求項５いずれか一項に記載の飛び出し物体検知装置。
7. 輸送機器から画像を撮影し、
   前記撮像手段が現在より所定時間以前の第1の時刻に撮影した第1の背景画像を記憶し、
   前記第1の時刻から現在までの前記輸送機器の移動量を推定し、
   前記移動量と前記第1の背景画像とに基づいて現在の背景画像と推定される第２の背景画像を生成し、
   前記撮像装置が現在に撮影した現在画像を記憶し、
   前記現在画像と前記第２の背景画像との差分を算出し、
   前記差分に基づいて飛び出し物体の有無を判定する、
   ことを特徴とする飛び出し物体検知方法。
8. 前記撮像手段が撮像した画像をグレースケール化する、ことを特徴とする請求項７に記載の飛び出し物体検知方法。
9. 前記第２の背景画像生成、前記差分の判定、前記飛び出し物体の有無の判定、のうち少なくとも一つを画像全体の一部に限定する、ことを特徴とする請求項７または請求項８に記載の飛び出し物体検知方法。
10. 輸送機器から画像を撮影するステップと、
    前記撮像手段が現在より所定時間以前の第1の時刻に撮影した第1の背景画像を記憶し、
    前記第1の時刻から現在までの前記輸送機器の移動量を推定するステップと、
    前記移動量と前記第1の背景画像とに基づいて現在の背景画像と推定される第２の背景画像を生成するステップと、
    前記撮像装置が現在に撮影した現在画像を記憶するステップと、
    前記現在画像と前記第２の背景画像との差分を算出するステップと、
    前記差分に基づいて飛び出し物体の有無を判定するステップと、
    を有することを特徴とする飛び出し物体検知プログラム。

Images