JP2006139565A

JP2006139565A - 移動ベクトル検出装置及びその方法

Info

Publication number: JP2006139565A
Application number: JP2004328972A
Authority: JP
Inventors: Kiyoshi Akutagawa; 清芥川
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-11-12
Filing date: 2004-11-12
Publication date: 2006-06-01

Abstract

【課題】背景が存在する場合も精度が低下せず、ノイズにも強く、移動物の移動を適切に検出することができる移動ベクトル検出装置を提供する。
【解決手段】移動ベクトル検出装置１においては、撮像部１０が自車両周囲の画像を撮像し画像記憶部２０に記憶する。この画像に対して、追跡領域情報記憶部４０で指定される領域内の、検出性判断部３０で移動ベクトルが検出可能と判断された画素について、移動ベクトル検出部５０で移動ベクトルを検出する。画素ごとの移動ベクトルの成分を軸として求めた度数分布においてしきい値を超えるピークが１つだけである時、その領域について追跡処理を継続すると追跡継続判断部６０が判断する。平均移動ベクトル算出部７０が、追跡継続判断部６０において追跡を継続すると判断された領域の移動ベクトルの平均値を求める。
【選択図】図１

Description

本発明は、例えば車両周囲の物体の位置等を検出するために用いて好適な、観察した画像中の移動物の移動ベクトルを検出する移動ベクトル検出装置及び移動ベクトル検出方法に関する。

近年、車両にカメラ装置を搭載し、走行中の自車両周辺の車両を検出して、自車両と他車両との位置関係などを車両運転者に提示したり、他車両の接近を警報するシステムが開発されている。このようなシステムにおいては、撮影した画像から各部の移動ベクトルを検出し、その移動量や移動方向に基づいて、対象の分類や距離の検出が行われている。
そのようなシステムにおける移動ベクトルの一般的な検出方法の１つとして、例えば先行車両の像等のある程度まとまった大きさの画像を単位として動きを検出する方法がある。その処理の１つに、相関を用いて検出する方法がある。これは、入力される画像に探索領域を設定し、予め登録した対象画像（テンプレート）と相関を求め、相関値が大きくなる位置を移動先として検出するものである（例えば、特許文献１参照）。
また、移動ベクトルの一般的な他の検出方法として、画素単位での移動ベクトルを求める方法があり、この処理の１つとして濃度勾配法を用いた検出方法がある。これは濃度勾配を持つ部分について、対象の移動による濃度変化が微小である条件のもとで、画素単位で異動ベクトルを検出するものである。
特開平１０−１２３２２９号公報

しかしながら、テンプレートを用いた従来手法においては、対象の輪郭を含む状態でテンプレートを生成した場合、対象の近くの背景に有意なパターンが存在すると、テンプレートとの相関演算において相関値が最大となる位置が背景パターンにより変位し、対象位置の検出精度が低下するという問題がある。
一方、濃度勾配法などの画素単位での移動ベクトルを求める手法では、検出領域が小さいため、ノイズに弱いという問題がある。ノイズは撮像部において電気的に、あるいは光電変換時において光量子的に発生し、画像では画素レベルの大きさで存在する。従って、画素レベルでの移動ベクトルの検出は、ノイズの影響を受けやすい。
また、画素レベルで移動ベクトルを検出すると、１枚の画像から得られる情報量が多く、処理結果の出力に時間がかかったり、広帯域の伝送路が必要となる等の問題がある。

本発明はこのような問題に鑑みてなされたものであって、その目的は、対象の背景にパターンが存在する場合でも位置検出精度が低下せず、ノイズにも強く、移動物の移動を適切に検出することができる移動ベクトル検出装置及びその方法を提供することにある。

前記課題を解決するために、本発明に係る移動ベクトル検出装置は、所望の情景を撮像して画像データを生成する撮像部と、前記生成された画像データを構成する例えば画素等の所定の単位画像について、当該単位画像ごとの移動ベクトルが検出可能か否かを判断する第１の判断部と、前記生成された画像データ内の所定の移動検出領域について、当該移動検出領域内の前記単位画像であって、前記判断により移動ベクトルが検出可能とされた前記単位画像について移動ベクトルを検出する移動ベクトル検出部と、前記移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて、当該移動検出領域に対する有効な平均移動ベクトルが検出可能か否かを判断する第２の判断部と、前記判断により有効な平均移動ベクトルが検出可能とされた前記移動検出領域について、当該移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて平均移動ベクトルを検出する平均移動ベクトル検出部とを有する。

また、本発明に係る移動ベクトル検出方法は、所望の情景を撮像して画像データを生成し、前記生成された画像データを構成する所定の単位画像について、当該単位画像ごとの移動ベクトルが検出可能か否かの第１の判断を行い、前記生成された画像データ内の所定の移動検出領域について、当該移動検出領域内の前記単位画像であって、前記第１の判断により移動ベクトルが検出可能とされた前記単位画像について移動ベクトルを検出し、前記移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて、当該移動検出領域に対する有効な平均移動ベクトルが検出可能か否かの第２の判断を行い、前記第２の判断により有効な平均移動ベクトルが検出可能とされた前記移動検出領域について、当該移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて平均移動ベクトルを検出する。

好適には、前記移動検出領域に対する有効な平均移動ベクトルが検出可能か否かの判断は、前記移動検出領域内の前記単位画像について検出された前記移動ベクトルの分布及び当該分布のピークを検出し、前記検出の結果、当該移動検出領域に対して所定のしきい値以上のピークを有する分布が１つ存在する場合に、当該移動検出領域に対する有効な平均移動ベクトルが検出可能と判断する。

本発明によれば、対象の背景にパターンが存在する場合でも位置検出精度が低下せず、ノイズにも強く、移動物の移動を適切に検出することができる移動ベクトル検出装置及びその方法を提供することができる。

本発明の一実施形態の移動ベクトル検出装置について、図１〜図６を参照して説明する。
図１は、その移動ベクトル検出装置１の構成を示すブロック図である。
図１に示すように、移動ベクトル検出装置１は、撮像部１０、画像記憶部２０、検出性判断部３０、追跡領域情報記憶部４０、移動ベクトル検出部５０、追跡継続判断部６０及び平均移動ベクトル算出部７０を有する。

まず、移動ベクトル検出装置１の各部の構成について説明する。
撮像部１０は、自車両周囲を撮像するために、例えば車両前部に設けられるカメラである。撮影部１０は、車両前方を所定期間Δｔごとに撮影して画像データを生成し、生成した画像データを画像記憶部２０に出力する。

画像記憶部２０は、撮像部１０から入力される最新の画像を記憶する。

検出性判断部３０では、画像記憶部２０に記憶された画像に対し、移動ベクトル検出部５０において画素単位の移動ベクトルが検出可能か否かの判断を行う。移動ベクトル検出部５０は、濃度勾配法により移動ベクトルを検出するため、移動ベクトル検出部５０においては濃度勾配が存在する部分でのみ移動ベクトルが検出が可能である。従って、検出性判断部３０では、濃度勾配があるかどうかの検証を行う。具体的には、濃度勾配がある部分は空間微分の値が存在するので、検出性判断部３０は、ソーベルフィルタ等を用いてエッジ強度を算出し、算出したエッジ強度の値を予め設定した所定のしきい値とを比較する。そして、エッジ強度の値がしきい値以上の部分を、濃度勾配があり移動ベクトルが検出可能な画素として検出する。検出結果は、移動ベクトル検出部５０に出力する。

追跡領域情報記憶部４０は、追跡を行う領域、すなわち、移動ベクトルの検出処理を行う領域の位置情報を記憶する。移動ベクトルの検出領域は矩形形状で規定され、初期状態においては、例えば図２に示すように画像を一様に分割した形状及び配置で設定される。追跡領域情報記憶部４０は、各矩形領域の位置座標情報（例えば各矩形領域の始点）及び領域のサイズを、各矩形領域につけた識別番号に対応させ、例えばリスト形式で記憶する。

追跡領域情報記憶部４０は、記憶している追跡対象の領域の位置情報のうち、追跡継続判断部６０で追跡を継続すると判断された処理対象領域の位置情報については、平均移動ベクトル算出部７０から入力される平均移動ベクトルを加算することにより更新する。また、追跡継続判断部６０で追跡を中止すると判断された領域の位置情報については、処理対象領域の情報のリストから削除する。また、追跡領域情報記憶部４０は、このような処理を繰り返すことにより格子状に分割した領域に処理領域が存在しなくなった場合には、所定の矩形状の領域を新たな処理領域として設定し、その情報をリストに追加する。

追跡領域情報記憶部４０に記憶されている情報は、移動ベクトル検出部５０により処理対象領域の位置情報として適宜参照され、移動ベクトル検出部５０によりその領域内の各画素ごとの移動ベクトルが検出される。また、追跡領域情報記憶部４０に記憶されている情報は、追跡部位（追跡を継続している部位）の位置とその移動量を示す情報として、適宜外部の制御装置等により読み出され、例えば車間距離の検出や、車道の検出、車両の追従等の処理に用いられる。

移動ベクトル検出部５０は、追跡領域情報記憶部４０に記憶されている移動ベクトル検出処理対象の領域について、その矩形領域内での画素単位での移動ベクトルを求める。矩形領域内での移動ベクトルは、検出性判断部３０で移動ベクトルが検出可能と判断された画素についてのみ、濃度勾配法を用いて画素単位で検出される。

追跡継続判断部６０は、画素単位で検出された移動ベクトルから、各矩形領域（規定大きさ領域）での追跡が可能かどうか、すなわち、移動ベクトル検出部５０において画素単位で検出された移動ベクトルに基づいて、各矩形領域単位で平均移動ベクトルが算出できるかどうかの判断を行う。

そのために、追跡継続判断部６０は、まず、移動ベクトル検出部５０で矩形領域内の画素単位で検出した移動ベクトルのＸ，Ｙ成分の頻度分布をとる。例えば、図３に核大図を示すような、図２の領域Ａと領域Ｂに対して頻度分布をとると、図４（Ａ）及び図４（Ｂ）に示すような分布が得られる。領域Ａについては、図４（Ａ）に示すように、Ｘ，Ｙ成分とも小さい値のところにピークを持つ分布Ｄ_Ａ１と、Ｙ成分が正、Ｘ成分が負のところにピークを持つ分布Ｄ_Ａ２の２つの頻度分布が検出される。また、領域Ｂについては、図４（Ｂ）に示すように、Ｘ，Ｙ成分とも小さい値のところにピークを持つ分布Ｄ_Ｂが検出される。

図３に示すように、領域Ａにおいては、前方車両についての移動ベクトルＶ_Ａ１と背景についての移動ベクトルＶ_Ａ２の２つの異なる移動ベクトルが存在し、これらの各ベクトルを構成する画素ごとのベクトルが、各々ピークを有する２つの分布Ｄ_Ａ１及びＤ_Ａ２として検出される。また、領域Ｂについては、前方車両の移動ベクトルＶ_Ｂのみが存在し、このベクトルを構成する画素ごとのベクトルが、１つのピークを有する１つの分布Ｄ_Ｂとして検出される。

そして追跡継続判断部６０は、このようなピークの個数とその値から追跡を継続できるか判断する。例えば、領域Ａのように、移動ベクトル分布でピークが２つ以上あるような領域では、平均移動ベクトルを求めても正確な移動量を検出することはできない。従って、このような領域は追跡を継続できないと判断する。一方、領域Ｂのような場合は、ピークが１箇所であり、かつその値がしきい値を超えているので追跡を継続すると判断する。

このように追跡継続判断部６０では、画素ごとの移動ベクトルの成分を軸として度数分布を求めた後、その分布のピークを検出し、しきい値を超えるピークが１つである時、追跡処理を継続すると判断する。
例えば図２に示した画像においては、ある時点で、例えば図５に画像中に矩形領域で示すような領域が追跡継続領域として判断される。
追跡継続有無の情報は追跡領域情報記憶部４０に送られる。

平均移動ベクトル算出部７０は、追跡領域（移動ベクトル検出処理対象領域）の移動ベクトルの平均値を算出する。
平均移動ベクトル算出部７０は、追跡継続判断部６０において追跡を継続すると判断された領域について、移動ベクトルの分布のピークを構成する部分の平均値を求める。例えば図５に示したような各追跡継続領域については、同じく図５に矢印で示すような平均移動ベクトルが算出される。
ここで算出された平均移動ベクトルは、１つの矩形領域全体の移動ベクトルとして、追跡領域情報記憶部４０に出力され、追跡領域情報記憶部４０に記憶されたその領域の情報が更新される。なお、追跡領域情報記憶部４０に記憶された追跡領域ごとの位置と移動量は、前述したように、適宜外部の図示せぬ上位制御装置により読み出され、周囲物の検出のための処理に使用される。

次に、このような構成の移動ベクトル検出装置１における移動ベクトル検出の処理の流れについて、図６に示すフローチャートを参照して説明する。
移動ベクトル検出装置１における移動ベクトル検出処理は、例えば、車両のイグニッションがＯＮにされた時に開始され、以後、ステップＳ２からステップＳ９の処理を、所定の時間間隔Δｔで繰り返す。

まず、ステップＳ１において、追跡領域情報記憶部４０の追跡領域リストの内容が初期化される。これにより追跡領域は、図２に例示したような格子分割した初期状態に設定される。
次に、ステップＳ２において、撮像部１０が自車両周囲の画像を撮像し、生成した画像データを画像記憶部に記憶する。
次に、ステップＳ３において、検出性判断部３０が、画像記憶部２０に記憶されている画像データから、移動ベクトルが検出可能な領域を検出する。これにより、画像記憶部２０に記憶されている画像の各画素について、移動ベクトルの検出が可能か否かが検出される。

次に、ステップＳ４において、移動ベクトル検出部５０により、追跡領域情報記憶部４０で指定される追跡対象の各領域（移動ベクトル検出対象の各領域）について、画素単位に移動ベクトルの検出を行う。
次に、ステップＳ５において、移動ベクトル検出部５０における移動ベクトルの検出結果を用いて、追跡継続判断部６０で追跡を継続するかどうかの判断を行う。図３及び図４を参照して前述したように、追跡継続判断部６０は、画素ごとの移動ベクトルの成分を軸として求めた度数分布において、しきい値を超えるピークが１つだけである時、その領域について追跡処理を継続すると判断する。

次に、ステップＳ６において、平均移動ベクトル算出部７０が、追跡継続判断部６０において追跡を継続すると判断された領域の移動ベクトルの平均値を求める。
そして、ステップＳ７において、追跡領域情報記憶部４０が、平均移動ベクトル算出部７０において算出した平均移動ベクトルから追跡領域の次回画像での位置を算出し記憶する。

ステップＳ７までの処理が終了したら、ステップＳ８において、検出性判断部３０に記憶している追跡リストの全領域について処理を行ったか否かを判断する。処理を終えていない場合は、ステップＳ９において処理対象領域を更新して、その領域に対してステップＳ３以降の処理を行う。
処理が全追跡領域に対して終了している場合は、ステップＳ２へ戻り、次の画像に対する処理を行う。

以上詳細に説明したように、本実施形態に関わる移動ベクトル検出装置１によれば、追跡継続判断部６０において、処理対象領域ごとに、画像上で観察される移動体について、その移動を適切に表した移動ベクトルが検出できる領域のみを抽出し、移動ベクトルの検出、すなわち移動の追跡を行っている。従って、画素単位の濃度勾配を用いる方法でありながら、ノイズ等の画素単位で検出される不要な情報や、背景の影響等で部分的に観察される不要な情報等の広義のノイズの影響を排除し、本来追跡すべき物体（移動物）の移動（移動方向及び移動量）を適切に検出することができる。従って、背景にパターンが存在するような場合でも、また、ノイズがあるような場合でも、高精度に移動物の移動を検出することができる。その結果、動きを用いた周囲物の発見や、対象位置の検出を、正確に、かつ高いロバスト性で行うことができる。

なお、移動ベクトル検出装置１により画像データ中から検出した移動物の移動方向及び移動量の情報は、任意に使用してよい。例えば、先行車両との車間距離を検出し、衝突を回避する警報装置や制動制御装置に入力するようにしても良い。また、自動的に先行車両に追従する装置に適用しても良い。

なお、本実施形態は、本発明の理解を容易にするために記載されたものであって本発明を何ら限定するものではない。本実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含み、また任意好適な種々の改変が可能である。
例えば、前述した移動ベクトル検出装置１は、本発明を、先行する車両等の車両周囲物を検出する装置に適用した場合を説明したが、対象物が移動する画像処理装置であれば他の用途、例えば、物体の位置を検出するロボット用の装置としても適用可能である。

図１は、本発明の一実施形態の移動ベクトル検出装置の構成を示すブロック図である。図２は、図１に示す移動ベクトル検出装置の撮像部で撮影される画像及び追跡領域情報記憶部において初期設定される追跡対象領域の例を示す図である。図３は、図２に示す画像及び追跡対象領域の部分核大図であり、例示する領域において検出される移動ベクトルを説明するための図である。図４は、図３に例示した領域について画素単位で検出された移動ベクトルのＸ，Ｙ成分の頻度分布を示す図である。図５は、図１に示す移動ベクトル検出装置の追跡継続判断部により追跡対象領域と判断された領域及び平均移動ベクトル算出部において検出されたその各領域における移動ベクトルを示す図である。図６は、図１に示す移動ベクトル検出装置における処理の流れを示すフローチャートである。

符号の説明

１…移動量検出装置
１０…撮像部
２０…画像記憶部
３０…検出性判断部
４０…追跡領域情報記憶部
５０…移動ベクトル検出部
６０…追跡継続判断部
７０…平均移動ベクトル算出部

Claims

所望の情景を撮像して画像データを生成する撮像部と、
前記生成された画像データを構成する所定の単位画像について、当該単位画像ごとの移動ベクトルが検出可能か否かを判断する第１の判断部と、
前記生成された画像データ内の所定の移動検出領域について、当該移動検出領域内の前記単位画像であって、前記判断により移動ベクトルが検出可能とされた前記単位画像について移動ベクトルを検出する移動ベクトル検出部と、
前記移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて、当該移動検出領域に対する有効な平均移動ベクトルが検出可能か否かを判断する第２の判断部と、
前記判断により有効な平均移動ベクトルが検出可能とされた前記移動検出領域について、当該移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて平均移動ベクトルを検出する平均移動ベクトル検出部と
を有することを特徴とする移動ベクトル検出装置。
前記第２の判断部は、
前記移動検出領域内の前記単位画像について検出された前記移動ベクトルの分布を検出し、
前記検出の結果、当該移動検出領域に対して所定のしきい値以上のピークを有する分布が１つ存在する場合に、当該移動検出領域に対する有効な平均移動ベクトルが検出可能と判断する
ことを特徴とする請求項１の移動ベクトル検出装置
所望の情景を撮像して画像データを生成し、
前記生成された画像データを構成する所定の単位画像について、当該単位画像ごとの移動ベクトルが検出可能か否かの第１の判断を行い、
前記生成された画像データ内の所定の移動検出領域について、当該移動検出領域内の前記単位画像であって、前記第１の判断により移動ベクトルが検出可能とされた前記単位画像について移動ベクトルを検出し、
前記移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて、当該移動検出領域に対する有効な平均移動ベクトルが検出可能か否かの第２の判断を行い、
前記第２の判断により有効な平均移動ベクトルが検出可能とされた前記移動検出領域について、当該移動検出領域内の前記単位画像について検出された前記移動ベクトルに基づいて平均移動ベクトルを検出する
ことを特徴とする移動ベクトル検出方法。
前記第２の判断は、
前記移動検出領域内の前記単位画像について検出された前記移動ベクトルの分布を検出し、
前記検出の結果、当該移動検出領域に対して所定のしきい値以上のピークを有する分布が１つ存在する場合に、当該移動検出領域に対する有効な平均移動ベクトルが検出可能と判断する
ことを特徴とする請求項３の移動ベクトル検出方法。