JP2010262357A - 障害物検出装置および障害物検出方法 - Google Patents

Abstract

【課題】障害物の検出精度を極力落とすことなく、障害物検出のために行う画像解析の処理負荷の軽減およびメモリリソースの節約を実現できる「障害物検出装置および障害物検出方法」を提供する。
【解決手段】車載カメラ２０により撮影される各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、全体領域の中で特定の位置に存在する複数の区画の画像を対象として、現フレームの画像と前フレームの画像との比較により障害物の動きベクトルを検出することにより、全体領域の中で特定された一部の領域だけを対象として少ない処理負荷と少ないメモリリソースの使用で動きベクトルを検出できるようにするとともに、障害物が写っているフレームが完全に間引かれてしまう不都合もなくして、障害物が存在するのにその動きベクトルが検出できなくなる事態を極力抑制できるようにする。
【選択図】図１

Description

本発明は、障害物検出装置および障害物検出方法に関し、特に、現フレームの画像と前フレームの画像とを比較して動きベクトルを検出し、当該動きベクトルに基づいて障害物の有無を検出する装置に用いて好適なものである。

従来、車両周囲の障害物を自動的に検出して、状況に応じて運転者に警告を発したり、制動を自動的にコントロールしたりする技術が提供されている。そのうちの障害物を検出する技術としては、車載カメラから得られる画像を利用するものが数多く存在する。中には、現フレームの画像と前フレームの画像とを比較して動きベクトルを検出し、当該動きベクトルに基づいて、車両に接近している障害物を検出する装置が存在する（例えば、特許文献１参照）。

特開２００８−１８１３２４号公報

しかしながら、障害物は車載カメラによる監視範囲内のどこに、いつ侵入してくるか分からない。そのため、車載カメラにより撮影される画像における監視範囲の全体領域を対象として、所定時間間隔（例えば、３０ｍｓｅｃ毎）に連続して得られるフレーム毎に前フレームとの比較を行って動きベクトルを検出する必要がある。このため、処理負荷が重く、かつ、画像解析のために多くのメモリリソースを必要とする問題があった。

この問題に対して、動きベクトルの解析対象とするフレームの枚数を間引くという方法も考えられるが、そうすると障害物の検出精度が落ちてしまう。処理負荷を軽減するためにフレームの間引き数を多くすればするほど、障害物の検出精度は悪化する。これは、車載カメラによる監視範囲内に障害物が侵入しても、間引いたフレームの画像内にのみ障害物が写っていて解析対象のフレームの画像内に写っていないと、障害物の動きベクトルを検出することができないからである。

本発明は、このような問題を解決するために成されたものであり、障害物の検出精度を極力落とすことなく、障害物検出のために行う画像解析の処理負荷の軽減およびメモリリソースの節約を実現できるようにすることを目的とする。

上記した課題を解決するために、本発明では、車載カメラにより撮影される各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、全体領域の中で特定の位置に存在する複数の区画の画像を対象として、現フレームと前フレームとの比較により障害物の動きベクトルを検出するようにしている。

上記のように構成した本発明によれば、監視範囲の全体領域を対象として現フレームと前フレームとの比較により動きベクトルを求める必要がなく、全体領域の中で特定された一部の領域を対象として動きベクトルを求めれば良いので、画像解析の処理負荷を軽減することができるとともに、より少ないメモリリソースの使用で画像解析を行うことができる。また、数枚のフレームを完全に間引いてしまうことなく、全てのフレームを対象として現フレームと前フレームとの比較により動きベクトルが求められるので、障害物の写っているフレームが間引かれてしまうことがなくなり、障害物が存在するのにその動きベクトルが検出できなくなる事態を極力抑制することができる。これにより、障害物の検出精度を極力落とすことなく、障害物検出のために行う画像解析の処理負荷の軽減およびメモリリソースの節約を実現することができる。

本実施形態による障害物検出装置を適用した監視システムの構成例を示す図である。 本実施形態の車載カメラによる障害物の監視範囲の例を示す図である。 本実施形態の動きベクトル検出部において解析対象とする区画の２つのパターン例を示す図である。 本実施形態による障害物検出装置の動作例を示すフローチャートである。 本実施形態の動きベクトル検出部において解析対象とする区画の他のパターン例を示す図である。 本実施形態の動きベクトル検出部において解析対象とする区画の他のパターン例を示す図である。 本実施形態による障害物検出装置を適用した監視システムの他の構成例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による障害物検出装置を適用した監視システムの構成例を示す図である。図１に示すように、監視システムは、本実施形態の障害物検出装置１０、車載カメラ２０および報知部３０を備えて構成されている。障害物検出装置１０は、フレームメモリ１１、動きベクトル検出部１２および障害物判定部１３を備えている。

車載カメラ２０は、所定の時間間隔毎（例えば、３０ｍｓｅｃ毎）に連続して車両周囲を撮影する。例えば、図２に示すように、車載カメラ２０は車両後部に搭載され、車両後方の所定範囲を撮影する。この撮影範囲の一部（例えば、車載カメラ２０の位置を基点として、左右２ｍ、後方６ｍの長方形の部分）が障害物の監視範囲に設定されている。この監視範囲内に障害物が存在する場合、具体的には、車載カメラ２０により撮影された画像の監視範囲内の部分に障害物が写っている場合に、報知部３０により運転者に対して報知が行われる。

障害物検出装置１０が備えるフレームメモリ１１は、車載カメラ２０により所定の時間間隔毎に連続して撮影された各フレームの画像を順次記憶する。車載カメラ２０により撮影された各フレームの画像は、フレームメモリ１１に供給されて記憶されるとともに、動きベクトル検出部１２にも供給される。フレームメモリ１１に記憶された画像は、所定の時間間隔毎に読み出されて動きベクトル検出部１２に供給される。これにより、動きベクトル検出部１２には、現フレームの画像と前フレームの画像とが所定の時間間隔毎に逐次入力される。

動きベクトル検出部１２は、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する。障害物判定部１３は、動きベクトル検出部１２により検出された動きベクトルに基づいて、監視範囲内に障害物が存在するか否かを判定する。例えば、障害物判定部１３は、車両の移動に伴い周囲画像が変化することによって生じる一方向の動きベクトルとは異なる方向の動きベクトルが監視範囲内で検出されたときに、障害物が存在すると判定する。障害物判定部１３は、障害物が存在すると判定した場合、報知指令を報知部３０に出力する。

ここで、動きベクトル検出部１２の機能を詳しく説明する。本実施形態では、動きベクトル検出部１２は、各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、全体領域の中で特定の位置に存在する複数の区画の画像だけを解析対象として、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する。特定の区画は、監視範囲の全体領域の中で分散した位置に配置するのが好ましい。

また、動きベクトル検出部１２は、監視範囲の全体領域の中で特定の位置が異なる複数のパターンを切り替えて各フレームの画像に適用する。そして、適用したパターンに基づく特定の位置に存在する複数の区画の画像を解析対象として、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する。ここで、複数のパターンは、当該複数のパターンのそれぞれで特定された位置の区画を合わせると全体領域の全区画となるように設定するのが好ましい。

図３は、本実施形態の動きベクトル検出部１２において解析対象とする特定の区画の位置が異なる２つのパターン例を示す図である。図３に示す第１パターンおよび第２パターンは、監視範囲の画像の全体領域を（縦１１×横１１）の小領域に区画化した状態を示している。個々のマスが１つの区画に相当する。動きベクトル検出の解析対象とする特定の区画は、数字の“１”を付して示している。図３に示すように、特定の区画は、監視範囲の全体領域の中で分散した位置に配置されている。また、監視範囲内に含まれる全区画のうち約半数が特定の区画となっている。

また、図３（ａ）に示す第１パターンと、図３（ｂ）に示す第２パターンは、解析対象とする特定の区画の位置が互いに異なっている。第１パターンにおける特定の区画と第２パターンにおける特定の区画とを合わせると、監視範囲の全区画となる。動きベクトル検出部１２は、第１パターンと第２パターンとをフレーム毎に（すなわち、３０ｍｓｅｃの時間間隔で）交互に切り替えて適用し、適用したパターンで特定される区画の画像を用いて動きベクトルを検出する。

具体的には、動きベクトル検出部１２は、あるタイミングで車載カメラ２０より供給される現フレームの画像と、フレームメモリ１１より供給される前フレームの画像とに対して第１パターンを適用し、当該第１パターンで特定される区画の画像を用いて動きベクトルを検出する。次のフレームの画像が撮影される３０ｍｓｅｃ後には、動きベクトル検出部１２は、車載カメラ２０より供給される現フレームの画像と、フレームメモリ１１より供給される前フレームの画像とに対して第２パターンを適用し、当該第２パターンで特定される区画の画像を用いて動きベクトルを検出する。このような第１パターンと第２のパターンとの切り替えを以降も３０ｍｓｅｃ毎に繰り返す。

次に、上記のように構成した本実施形態による障害物検出装置１０の動作を説明する。図４は、本実施形態による障害物検出装置１０の動作例を示すフローチャートである。図４に示すフローチャートは、障害物検出装置１０が障害物の監視を開始したときにスタートする。障害物の監視は、例えば、車両のアクセサリキーがオンとされたときに自動的に開始する。

図４において、車載カメラ２０は、車両後方の所定範囲を撮影し、１フレームの画像を出力する（ステップＳ１）。車載カメラ２０から出力された１フレームの画像は、フレームメモリ１１および動きベクトル検出部１２に供給される。フレームメモリ１１は、車載カメラ２０から供給された１フレームの画像を記憶する（ステップＳ２）。

動きベクトル検出部１２は、車載カメラ２０より供給される現フレームの画像とフレームメモリ１１より読み出される前フレームの画像に対し、最初は図３（ａ）に示す第１パターンを適用し、適用した第１パターンで特定される区画の画像を用いて動きベクトルを検出する（ステップＳ３）。そして、障害物判定部１３は、動きベクトル検出部１２により検出された動きベクトルに基づいて、監視範囲内に障害物が存在するか否かを判定する（ステップＳ４）。

ここで、監視範囲内に障害物が存在しないと判定された場合は、ステップＳ６の処理にジャンプする。一方、監視範囲内に障害物が存在すると判定された場合、障害物判定部１３は報知指令を報知部３０に出力する。報知部３０は、この報知指令を受けて、図示しないスピーカ等からアラーム音を出力する（ステップＳ５）。

その後、障害物検出装置１０は、障害物の監視を終了するか否か判定する（ステップＳ６）。障害物の監視を終了する場合は、例えば、車両のアクセサリキーがオフとされたときである。または、車両のギアが後退ギアから前進ギアにシフトされたことを検出したときであっても良い。あるいは、ユーザが図示しない操作部を操作して障害物の監視終了を明示的に指示したときであっても良い。これら何れかの状態にあって障害物の監視を終了する場合は、本フローチャートの処理を終了する。一方、障害物の監視をまだ終了しない場合は、動きベクトルの検出に適用するパターンを切り替えて（ステップＳ６）、ステップＳ１の処理に戻る。

以上詳しく説明したように、本実施形態では、監視範囲の全区画を解析対象とするのではなく、一部の特定の区画だけを解析対象として動きベクトルを検出している。このため、解析処理の負荷を軽減するとともに、メモリリソースを節約することができる。図３の例では、監視範囲の全体領域の中で解析対象とする特定の区画は全体の約半数に設定されているので、解析処理の負荷およびメモリリソースの使用を共に約１／２に減らすことができる。

一方、解析対象とする画像領域を空間的に間引いているため、理論的には動きベクトルの検出精度が落ちる。しかし、本実施形態では図３のように、解析対象とする特定の区画を監視範囲の全体に分散して配置しているため、理論的には動きベクトルの検出精度が落ちるとしても、障害物があれば解析対象となっているどこかの区画に写っている可能性が高く、実質的には動きベクトルの検出精度はあまり落ちない。

仮に、第１パターンで間引かれた区画の画像においてのみ、ボールのように小さな障害物が写っていたとしても、その３０ｍｓｅｃ後には第２パターンで特定された解析対象の区画の画像に障害物が写っている可能性が高いので、障害物の動きベクトルを完全に検出できない事態は殆ど起こり得ない。したがって、本実施形態によれば、動きベクトルの検出精度、つまり障害物の検出精度を極力落とすことなく、障害物検出のために行う画像解析の処理負荷を軽減するとともに、メモリリソースを節約することができる。

なお、図３のように監視範囲の全域にわたって解析対象とする特定の区画を分散して配置すれば、解析対象となっている区画に障害物が写っている可能性は高くなる。特に、他車両や歩行者のように大きな障害物であれば、障害物が写っている可能性は極めて高い。したがって、第１パターンと第２パターンとを切り替えて適用することは必須ではなく、第１パターンまたは第２パターンの何れか一方のみを固定的に適用してもよい。また、解析対象とする区画の位置が分散していれば、第１パターンや第２パターンと異なるパターンを適用しても良い。

解析対象とする区画のパターンを固定して適用する場合、区画の分散の程度にもよるが、当該解析対象とする区画数の全区画数に対する割合は、５０％以上１００％未満であっても良いし、５０％以下であっても良い。５０％以下とするケースにおいて、他車両や歩行者などの大きな障害物を検出することを想定した場合、縦１１×横１１のアレイ状に区画化した監視範囲において同一行および同一列にそれぞれ少なくとも２つ以上、解析対象とする区画が含まれていれば良い。

例えば、図５（ａ）〜（ｃ）に示すパターンは、各行および各列に２個以上の区画が解析対象として設定されているので、利用可能である。しかし、図５（ｄ）に示すパターンは、特定の行および列において解析対象の区画が１つしか含まれないので、障害物の検出精度が悪くなる可能性がある。したがって、解析対象とする区画の数を図５（ｄ）の程度まで減らしたパターンは、障害物の検出精度という観点からすれば利用しない方が好ましい。なお、図５（ａ）〜（ｃ）は同一行および同一列にそれぞれ少なくとも２つ以上の区画が含まれているパターンの一例を示したものであって、この区画の配置に限定されるものではない。

また、上記実施形態では、図３に示すように、解析対象とする区画の数がほぼ同じに設定された第１パターンと第２パターン（解析対象とする区画数の全区画数に対する割合が両方ともほぼ５０％のパターン）を交互に切り替える例について説明したが、必ずしもこのようにする必要はない。例えば、図５（ａ）に示すパターンと、図５（ａ）において“１”が付されていない部分を解析対象の区画とするパターンとを交互に切り替えても良い。同様に、図５（ｂ）に示すパターンと、図５（ｂ）において“１”が付されていない部分を解析対象の区画とするパターンとを交互に切り替えても良いし、図５（ｃ）に示すパターンと、図５（ｃ）において“１”が付されていない部分を解析対象の区画とするパターンとを交互に切り替えても良い。

また、上記実施形態では、図３に示す第１パターンと第２パターンとを交互に切り替える例について説明したが、３つ以上のパターンを順番に切り替えるようにしても良い。そうすれば、障害物の検出精度を極力落とすことなく、障害物検出のために行う画像解析の処理負荷をより一層軽減するとともに、メモリリソースをより一層節約することができる。ただし、図５で説明したように、障害物の検出精度のことを考えると、解析対象とする区画数の全区画数に対する割合は２０％程度がミニマムとなるので、最大でも５パターンを順番に切り替えるのが好ましい。

例えば、図５（ａ）に示すパターンと、図５（ａ）において“１”が付されていない部分を２群に分けた２つのパターンとの合計３パターンを順番に切り替えるようにしても良い。また、図５（ｂ）に示すパターンと、図５（ｂ）において“１”が付されていない部分を３群に分けた３つのパターンとの合計４パターンを順番に切り替えるようにしても良い。さらに、図５（ｃ）に示すパターンと、図５（ｃ）において“１”が付されていない部分を４群に分けた４つのパターンとの合計５パターンを順番に切り替えるようにしても良い。

また、上記実施形態では、複数のパターンを時間軸で切り替える例について説明したが、本発明はこれに限定されない。例えば、解析対象とする区画の配置パターンとして図６のような２つのパターンを用意し、図６（ａ）に示す第１パターンと図６（ｂ）に示す第２パターンとを車両の移動状態に応じて切り替えるようにしても良い。

図６（ａ）に示す第１パターンは、車両が停車中のときに使用するパターンであり、車両の真後ろを優先して監視するパターンとなっている。図６（ｂ）に示す第２パターンは、車両が移動中のときに使用するパターンであり、車両の後方両サイドを優先して監視するパターンとなっている。これは、車両が停車中であるか移動中であるかによって、障害物が存在する可能性の高い位置が変わることを意味している。このように車両の移動の有無に応じて複数のパターンを切り替える場合、当該複数のパターンは、解析対象とする特定の区画が監視範囲の全体領域に分散して配置されていなくても良い。

図７は、車両の移動状態に合わせてパターンを切り替えるようにした障害物検出装置１０’の構成例を示す図である。図７に示す障害物検出装置１０’は、図１に示した構成に加えて車両移動検出部１４を備えている。また、図７に示す障害物検出装置１０’は、図１に示した動きベクトル検出部１２に代えて、これとは切替機能が異なる動きベクトル検出部１２’を備えている。

車両移動検出部１４は、車両が移動しているか否かを検出する。具体的には、車両移動検出部１４は、車内ＬＡＮ４０を介して送られてくる車速情報に基づいて、車両が移動しているか否かを検出する。あるいは、ＧＰＳ受信機や自律航法センサなどの車両位置測定装置により測定され車内ＬＡＮ４０を介して送られてくる車両位置情報に基づいて車両の移動の有無を検出するようにしても良い。

動きベクトル検出部１２’は、車両移動検出部１４により検出される車両の移動の有無に応じて、図６（ａ）に示す第１パターンと図６（ｂ）に示す第２パターンとを切り替えて適用し、適用したパターンで特定された解析対象の区画の画像を用いて動きベクトルを検出する。具体的には、動きベクトル検出部１２’は、車両移動検出部１４により車両が移動していないと判定されたときは、図６（ａ）に示す第１パターンを適用する。一方、動きベクトル検出部１２’は、車両移動検出部１４により車両が移動していると判定されたときは、図６（ｂ）に示す第２パターンを適用する。

また、上記実施形態では、複数のパターンのそれぞれで解析対象として特定された位置の区画を合わせると全体領域の全区画となるように設定する例について説明したが、本発明はこれに限定されない。すなわち、複数のパターンの何れにおいても解析対象とならない区画が存在しても構わない。解析対象とならない区画の数が少ない場合は障害物の検出精度が実質的に落ちることがなく、解析対象とする区画の数が減る分だけ処理負荷を軽減することができるとともに、メモリリソースの使用量を減らすことができるからである。

また、上記実施形態では、車載カメラ２０による撮影範囲のうち一部を障害物の監視範囲とする例について説明したが、撮影範囲の全体を監視範囲としても良い。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０，１０’ 障害物検出装置
１２，１２’ 動きベクトル検出部
１３ 障害物判定部
１４ 車両移動検出部

Claims (7)

1. 車両に搭載される車載カメラにより所定の時間間隔毎に連続して撮影される各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、上記全体領域の中で特定の位置に存在する複数の区画の画像を対象として、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する動きベクトル検出部と、
   上記動きベクトル検出部により検出された動きベクトルに基づいて、障害物の有無を判定する障害物判定部とを備えたことを特徴とする障害物検出装置。
2. 上記動きベクトル検出部は、上記全体領域の中で分散した特定の位置に存在する複数の区画の画像を対象として、現フレームの画像と前フレームの画像との比較により上記動きベクトルを検出することを特徴とする請求項１に記載の障害物検出装置。
3. 上記動きベクトル検出部は、上記全体領域の中での上記特定の位置が異なる複数のパターンを切り替えて上記各フレームの画像に適用し、適用したパターンに基づく特定の位置に存在する複数の区画の画像を対象として、現フレームの画像と前フレームの画像との比較により上記動きベクトルを検出することを特徴とする請求項１に記載の障害物検出装置。
4. 上記動きベクトル検出部は、上記複数のパターンを上記各フレーム毎に切り替えて適用することを特徴とする請求項３に記載の障害物検出装置。
5. 上記車両が移動しているか否かを検出する車両移動検出部を更に備え、
   上記動きベクトル検出部は、上記車両移動検出部により検出される上記車両の移動の有無に応じて上記複数のパターンを切り替えて適用することを特徴とする請求項３に記載の障害物検出装置。
6. 上記複数のパターンは、当該複数のパターンのそれぞれで特定された上記特定の位置の区画を合わせると上記全体領域の全区画となるように設定されていることを特徴とする請求項３に記載の障害物検出装置。
7. 車両に搭載される車載カメラにより所定の時間間隔毎に連続して撮影される各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、上記全体領域の中で特定の位置に存在する複数の区画の画像を対象として、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する第１のステップと、
   上記第１のステップで検出された動きベクトルに基づいて、障害物の有無を判定する第２のステップとを有することを特徴とする障害物検出方法。