JP2007257027A - 移動体監視装置 - Google Patents

Abstract

【課題】移動体監視装置において、テンプレートマッチング処理の精度を低下させることなく、所要時間を短縮する。
【解決手段】カメラ８０によって撮影された映像を構成する時系列的に連続する画像Ｐ（ｎ），Ｐ（ｎ＋１）に基づいて、接近する他車両２００を含むブロックＢijを複数検出する移動体検出手段１０と、相関法によりオプティカルフローＯＦを求める相関法演算手段４０とを備え、相関法演算手段４０は、ブロックＢijをテンプレートＴとして、後続する画像Ｐ（ｎ＋１）に対する探索範囲を、ブロックＢijの配置位置に応じて限定的に設定する。
【選択図】図１

Description

本発明は、移動体監視装置に関し、詳細には、カメラから得られた映像に基づいたオプティカルフローの検出の改良に関する。

近年、カメラにより撮像された映像に基づいて、このカメラに接近する移動体のオプティカルフローを求める移動体監視装置が提案されている。

ここで、オプティカルフローとは、移動体解析手法の一つであり、カメラに対する移動体の相対的な動きによって生じる画像状の各点の速度場を意味し、画像の輝度情報あるいは濃度情報（画像信号）に基づいて画像中の各部分の動きを解析し、この動きを速度ベクトルによって表現することで、移動体の運動を表し、相関法（テンプレートマッチング（ブロックマッチング）法）と勾配法とがある。

相関法は、映像を構成する時系列的に連続する複数の画像のうち任意の画像（第Ｎフレーム）における移動体を含む画像部分（第Ｎフレームの画像の一部分）をテンプレートとし、この任意の画像（第Ｎフレーム）に時系列的に後続した画像（第（Ｎ＋１）フレーム）を探索範囲としたテンプレートマッチングにより、テンプレートと同一または類似の画像部分（第（Ｎ＋１）フレームの画像の一部分）を、後続した画像（第（Ｎ＋１）フレーム）から検出し、両画像間（第Ｎフレームの画像と第（Ｎ＋１）フレーム）で対応する画像部分同士（第Ｎフレームの画像の一部分と第（Ｎ＋１）フレームの画像の一部分）の、空間的な位置関係（第Ｎフレームにおける位置（Ｘｎ，Ｙｎ）→第（Ｎ＋１）フレームにおける位置（Ｘ（ｎ＋１），Ｙ（ｎ＋１）））に基づいて、当該画像部分の速度ベクトルを求める手法である。

一方、勾配法は、画像部分の局所の濃度パターンは運動（移動）後も不変に保たれるという仮定の下に、任意の画像（第Ｎフレーム）中の画像部分（第Ｎフレームの画像の一部分）の濃度パターンを空間的に線形近似して、濃度勾配を有する平面（空間的な濃度勾配平面）として把握し、この濃度勾配平面上の任意の画素（Ｘｐｎ，Ｙｑｎ）に注目して、当該注目画素（Ｘｐｎ，Ｙｑｎ）の濃度値（画像信号値）Ｓｐｑｎを求め、この画像（第Ｎフレーム）に時系列的に後続する画像（第（Ｎ＋１）フレーム）の対応画像部分（第（Ｎ＋１）フレームの画像の一部分）において、当該注目画素（Ｘｐｎ，Ｙｑｎ）と空間的に対応する画素（対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１）））の濃度値Ｓｐｑ（ｎ＋１）を求め、上記任意の画像（第Ｎフレーム）における上記濃度勾配平面上において、対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））の濃度値Ｓｐｑ（ｎ＋１）と同一の濃度値Ｓｐ′ｑ′ｎの画素の位置（Ｘｐ′ｎ，Ｙｑ′ｎ）を求め、この任意の画像（第Ｎフレーム）における画素（Ｘｐ′ｎ，Ｙｑ′ｎ）が、後続する画像（第（Ｎ＋１）フレーム）における同一濃度値（Ｓｐ′ｑ′ｎ＝Ｓｐｑ（ｎ＋１））の対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））に一致するように、任意の画像（第Ｎフレーム）の濃度勾配平面を、後続する画像（第（Ｎ＋１）フレーム）の濃度勾配平面に向けて変位させる向き、および大きさにより、当該画像部分の速度ベクトルを求める手法である。

なお、上述した濃度勾配平面の変位方向や大きさは、上述した一画素の濃度値の一致のみに基づいて一通りに特定することはできないため、実際には、この他に所定の拘束条件を設けて、速度ベクトルを一意に特定する（特許文献１，２）。

また、これら特許文献１，２には、演算の高速化や、検出精度の高精度化を目的として、階層化処理や相関値の内挿処理など、各種の提案もなされている。
特開２００５−２０９１５５号公報 特開２００４−５６７６３号公報

ところで、相関法は、テンプレートマッチングによって相関の高い画像部分を探索する処理であるため、より精密にマッチングを得ようとするときは、テンプレートを用いた探索を、空間的により細かい間隔で行うのが効果的である。

しかし、マッチングの回数が増えると、探索処理に要する時間が長く掛かり過ぎ、移動体のオプティカルフローを略リアルタイムに（タイムラグ少なく）求めるのが困難になる。

なお、このことは移動体が自動車に限定された問題ではなく、鋼材やその他の物体等においても同様である。すなわち、例えばクレーンやコンベアで搬送されている鋼板や木板等を移動体として検出し、そのオプティカルフローを相関法によって求める場合には、同様に生じうる問題である。

また、テンプレートマッチングによる探索の間隔を変化させない場合にあっても、探索時間を短縮することは常に求められている。

本発明は上記事情に鑑みなされたものであって、テンプレートマッチング処理の精度を低下させることなく、所要時間を短縮することができる移動体監視装置を提供することを目的とする。

本発明に係る移動体監視装置は、現実空間における移動体の接近方向と、カメラで撮影された画像上における移動体の変位方向との対応関係、およびこの移動体監視装置の主たる使用目的（移動体の接近動作の検出）に基づいて、テンプレートマッチングの探索範囲を限定するものであり、この探索範囲の限定によって探索時間を短縮するものである。

すなわち、本発明に係る移動体監視装置は、カメラにより撮影された映像に基づいて、該カメラに接近する移動体のオプティカルフローを求める移動体監視装置において、前記映像を構成する時系列的に連続する複数の画像に基づいて前記移動体を含む画像部分を検出する移動体検出手段と、任意の画像における前記画像部分をテンプレートとして、該任意の画像に時系列的に後続した画像を探索範囲としたテンプレートマッチングにより、前記移動体のオプティカルフローを求める相関法演算手段とを備え、前記相関法演算手段は、前記テンプレートによる、前記後続する画像に対する探索範囲を、前記任意の画像における前記画像部分の配置位置に応じて設定するものであることを特徴とする。

ここで、移動体検出手段による、自動車等の移動体を含む画像部分（テンプレート用のブロック）の検出は、例えば、映像を構成する時系列的に連続する２つの画像に関し、空間的に対応する（同一位置の）画素間で信号値の差分を演算することにより、実現することができる。

すなわち、移動体以外の画像部分（静止している物体についての画像部分）は、２つの画像間で、その信号値が略等しい。したがって、その差分は、略ゼロになる。一方、移動体の画像部分は、特にその輪郭に近い部分に関して、２つの画像間で、その信号値差が大きい。

したがって、差分が所定値を超えた範囲が、移動体の画像部分であると判定することができ、移動体の画像部分を検出することができる。

移動体を含む画像部分は、移動体の全体を含むような大きな領域の画像部分を意味するものではなく、画像全体と比較して小さなブロック領域を意味する。例えば、画像全体の大きさに対して、その縦方向については１／３０程度画素数、横方向については１／４０程度の画素数からなる、例えば縦と横の画素数が同一のブロックなどである。

移動体検出手段は、画像全体の中の、互いに異なる複数の位置から、そのような画像部分を検出するが、例えばマトリックス状に配置されている。ただし、各画像部分は必ず移動体を含むため、移動体が全く含まれないような、移動体から遠く離れた画像部分は、移動体検出手段による検出対象とはならない。

相関法演算手段は、相関法によりオプティカルフローを求める演算処理を行い、具体的には、映像を構成する時系列的に連続する複数の画像のうち任意の画像（第Ｎフレームの画像）における移動体を含む画像部分（第Ｎフレームの画像の一部分）をテンプレートとし、この任意の画像（第Ｎフレームの画像）に時系列的に後続した画像（第（Ｎ＋１）フレームの画像）を探索範囲としたテンプレートマッチングにより、テンプレートと同一または類似である相関の高い画像部分（第（Ｎ＋１）フレームの画像の一部分）を、後続した画像（第（Ｎ＋１）フレームの画像）から検出し、両画像（第Ｎフレームの画像と第（Ｎ＋１）フレームの画像）間で対応する画像部分同士（第Ｎフレームの画像の一部分と第（Ｎ＋１）フレームの画像の一部分）の、空間的な位置関係（第Ｎフレームの画像の一部分（ブロック）における位置（Ｘｎ，Ｙｎ）→第（Ｎ＋１）フレームの画像の一部分における位置（Ｘ（ｎ＋１），Ｙ（ｎ＋１）））に基づいて、当該画像部分のオプティカルフロー（速度ベクトル）を求める。

ここで、本発明に係る移動体監視装置は、全ての移動体を検出することを目的とするものではなく、カメラ（カメラが固定された車両等の物体（被接近体））に接近してくる移動体のオプティカルフローを求めることを主たる使用目的としているたため、現実の空間上で移動体がカメラに接近する方向と、そのカメラによって撮影された画像上における移動体の移動方向とは対応しており、その移動方向は、所定の範囲に限定される。

例えば、カメラが、このカメラの取り付けられている被接近体の前右方の像を撮影するように設置されている状態において、右方からカメラに接近する移動体は、このカメラで撮影された画像上では、左右方向については、概略右から左に向かって変位する。したがって、左右方向については、テンプレートによるマッチング部分の探索範囲を、画像部分よりも左方向の範囲に限定することができる。

さらに、画像全体の上下方向の中央部より上側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の上側方向に拡大されて写るため、上下方向については、上に向かって変位する。これとは反対に、上下方向の中央部より下側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の下側方向に拡大されて写るため、上下方向については、下に向かって変位する。

よって、カメラが、このカメラの取り付けられている被接近体の前右方の像を撮影するように設置されている状態において、右方からカメラに接近する移動体の画像部分のうち、画像全体のうち上下方向の中央部より上側の部分に存在する画像部分は、左右方向について左方に、上下方向については上方に変位するため、この画像部分をテンプレートとしたとき、時系列的に後続する画像における探索範囲は、当該画像部分よりも左方かつ上方の領域に限定することができる。

これとは反対に、カメラが、このカメラの取り付けられている被接近体の前左方の像を撮影するように設置されている状態において、左方からカメラに接近する移動体は、このカメラで撮影された画像上では、左右方向については、概略左から右に向かって変位する。したがって、左右方向については、テンプレートによるマッチング部分の探索範囲を、画像部分よりも右方向の範囲に限定することができる。

さらに、画像全体の上下方向の中央部より上側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の上側方向に拡大されて写るため、上下方向については、上に向かって変位する。これとは反対に、上下方向の中央部より下側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の下側方向に拡大されて写るため、上下方向については、下に向かって変位する。

よって、カメラが、このカメラの取り付けられている被接近体の前左方の像を撮影するように設置されている状態において、左方からカメラに接近する移動体の画像部分のうち、画像全体のうち上下方向の中央部より上側の部分に存在する画像部分は、左右方向について右方に、上下方向については上方に変位するため、この画像部分をテンプレートとしたとき、時系列的に後続する画像における探索範囲は、当該画像部分よりも右方かつ上方の領域に限定することができる。

本発明に係る移動体監視装置によれば、現実空間における移動体の接近方向と、カメラで撮影された画像上における移動体の変位方向との対応関係、およびこの移動体監視装置の主たる使用目的（移動体の接近動作の検出）に基づいて、テンプレートマッチングの探索範囲を限定することができ、探索時間を短縮することができる。

以下、本発明に係る移動体監視装置の最良の実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る移動体監視装置１００を示すブロック図、図２は図１に示した移動体監視装置１００を搭載した自車両９０に、他車両２００（移動体）が右方向から接近している状態を、上方からの平面視として表す模式図である。

図示の移動体監視装置１００は、自車両９０に取り付けられているカメラ８０によって撮影された映像に基づいて、このカメラ８０に接近する、すなわち自車両９０に右方から接近する他車両２００のオプティカルフローＯＦを求める移動体監視装置であり、映像を構成する時系列的に連続する複数の画像Ｐ（ｎ−１），Ｐ（ｎ），Ｐ（ｎ＋１），…に基づいて、接近する他車両２００を含む画像部分であるブロックＢijを複数検出する移動体検出手段１０と、移動体検出手段１０によって検出された各ブロックＢijを構成する縦４画素×横４画素（＝１６画素）の画素値（明度や濃度等の信号値）の分散値（特徴量）をそれぞれ求める移動体特徴量算出手段２０と、任意の画像（第（Ｎ）フレームの画像）Ｐ（ｎ）における各ブロックＢijをテンプレートＴとして、この任意の画像Ｐ（ｎ）に時系列的に後続した画像（第（Ｎ＋１）フレームの画像）Ｐ（ｎ＋１）を探索範囲としたテンプレートマッチングにより、他車両２００のブロックＢijについてのオプティカルフローＯＦを求める相関法演算手段４０と、任意の画像Ｐ（ｎ）におけるブロックＢijと空間的に位置関係が対応する、この任意の画像Ｐ（ｎ）よりも時系列的に後続する画像Ｐ（ｎ＋１）における対応画像部分Ｃijにおける局所の画像信号の変動に基づいて、接近する他車両２００のブロックＢijについてのオプティカルフローＯＦを求める勾配法演算手段５０と、移動体特徴量算出手段３０によって求められた分散値に基づいて、相関法演算手段４０によりオプティカルフローＯＦを求める処理と勾配法演算手段５０によりオプティカルフローＯＦを求める処理とを択一的に切り替える演算切替手段３０と、求められたオプティカルフローＯＦに対して、予測の分散値と実測の分散値とを用いた所定の予測フィルタ処理によりオプティカルフローＯＦの補正を行い、この補正後のオプティカルフローＯＦを自車両９０の車室内に取り付けられているモニタ８５に出力する予測フィルタ７０とを備えた構成である。

ここで、カメラ８０およびモニタ８５は、移動体監視装置１００の使用目的とは異なる目的のために自車両９０に予め取り付けられているもの（兼用するもの）であってもよいし、移動体監視装置１００の使用目的のための専用品であってもよい。本実施形態の移動体監視装置１００においては、カメラ８０およびモニタ８５は、移動体監視装置１００の構成要素ではないもの（兼用品）として説明しているが、カメラ８０やモニタ８５が移動体監視装置１００の専用品のときは、移動体監視装置１００の構成要素とすることができる。

また、カメラ８０は、図２に示すように、自車両９０の、主として右方向を視野とするように、例えば前側右端部に固定されて、自車両９０と一体的に移動する。

そして、カメラ８０は、このカメラ８０の視野に入った映像を、時系列的に所定の時間間隔ごとに撮影された第（１）フレームの静止画像、…、第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）、第（Ｎ）フレームの静止画像Ｐ（ｎ）、第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）、…として、移動体監視装置１００の移動体検出手段１０に順次入力する。

ここで、図３（ａ），（ｂ）、図４は、時系列的に相前後する第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）、第（Ｎ）フレームの静止画像Ｐ（ｎ）、第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）であり、第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）の次に、第（Ｎ）フレームの静止画像Ｐ（ｎ）が入力され、第（Ｎ）フレームの静止画像Ｐ（ｎ）の次に、、第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）が入力される。

なお、自車両９０は、交差点等の手前で一時停止状態にあるものとする。したがって、各画像Ｐ（ｎ−１）、Ｐ（ｎ）、Ｐ（ｎ＋１）において、カメラ８０に対する相対的な動きのない交通標識３００や、図示しない路面自体（または、路面に描かれた文字・記号・模様）などは、各画像Ｐ（ｎ−１）、Ｐ（ｎ）、Ｐ（ｎ＋１）間で差異無く同一の位置に現れている。

一方、図２に示す矢印方向に進行して、自車両２００に接近しつつある他車両２００は、カメラ８０に対して相対的な動きがあるため、各画像Ｐ（ｎ−１）、Ｐ（ｎ）、Ｐ（ｎ＋１）間で現れる位置に差異が生じる。

そこで、移動体検出手段１０は、映像を構成する時系列的に相前後する２つの画像Ｐ（ｎ−１）、Ｐ（ｎ）間で、空間的に対応する（同一位置の）画素間で信号値の差分を演算することにより、標識３００と同様の静止している物体と、他車両２００と同様の移動体とを、明確に峻別することができる。

すなわち、移動体以外の画像部分（静止している物体についての画像部分）は、２つの画像Ｐ（ｎ−１）、Ｐ（ｎ）間で動きがないため、その信号値が略等しい。したがって、その差分は、略ゼロになる。一方、移動体の画像部分は、特にその輪郭に近い部分に関して、２つの画像Ｐ（ｎ−１）、Ｐ（ｎ）間で、その信号値差が大きい。

したがって、差分が所定値を超えた画像領域が、移動体の画像部分であると判定することにより、移動体の画像部分を的確に検出（抽出）することが可能となる。

図５は、２つの画像Ｐ（ｎ）、Ｐ（ｎ＋１）の差分ΔＰ（ｎ）＝Ｐ（ｎ＋１）−Ｐ（ｎ）を明暗反転した模式図であり、二点鎖線で示す標識３００等の静止している物体は消去され、移動体の画像部分、すなわち他車両２００のみを浮き上がらせる。

なお、明暗反転させているのは、差分画像の明暗イメージを図３，４と共通化して理解を容易にするために過ぎず、移動体検出手段１０による移動体の検出処理そのものには影響はなく、反転処理を施さない状態でも検出することができる。

また、差分画像ΔＰ（ｎ）を生成するために用いた各画像Ｐ（ｎ）、Ｐ（ｎ＋１）は、後の処理のために、一時的にメモリ等に記憶しておく。

移動体検出手段１０は、さらに、図６に示す縦４画素×横４画素からなるブロックＢijを、差分の画像（図５）の全域に等間隔でマトリックス状に分布するように複数（例えば、i＝１，２，…，９、j＝１，２，…，９とした８１個）設定する（図７）。

ここで、すべてのブロックＢijのうち、ブロックＢijを構成する１６画素のうち画素値が所定の値以上の画素を含むブロックＢij（図７においては、Ｂ55，Ｂ65，Ｂ75，Ｂ85，Ｂ46，Ｂ56，Ｂ76，Ｂ86，Ｂ96，Ｂ47，Ｂ57，Ｂ67，Ｂ77，Ｂ87，Ｂ97）だけを注目ブロックとして検出する。

この注目ブロックＢijの検出は、移動体である他車両２００が存在するブロックＢijだけを選択する処理となり、以後は、この選択されたブロックＢijだけを処理の対象とし、残りのブロックＢijについては、処理の対象としない。

そして、これらの検出されたブロックＢijを、メモリに記憶されていた元の画像Ｐ（ｎ）の対応位置に設定する（図８）。

移動体特徴量算出手段２０は、移動体検出手段１０によって検出された各ブロックＢijを構成する縦４画素×横４画素（＝１６画素）の画素値の分散値をそれぞれ求め、各ブロックＢij内のテクスチャの有無を評価する。

すなわち、分散値が所定値よりも大きいときは、ブロックＢij内の明度変動が大きく、テクスチャが存在すると判定することができ、分散値が所定値よりも小さいときは、ブロックＢij内の明度変動がなだらかであり、テクスチャが存在しないと判定することができる。

このようにして、移動体特徴量算出手段３０は各ブロックＢijごとに分散値を求め、演算切替手段３０は、所定値より大きい分散値のブロックＢijについては相関法演算手段４０によりオプティカルフローＯＦを求める処理を適用し、所定値より小さい分散値のブロックＢijについては勾配法演算手段５０によりオプティカルフローＯＦを求める処理を適用するように、処理を切り替える。

相関法演算手段４０は、相関法によりオプティカルフローＯＦを求める演算処理を行うが、具体的には、第（Ｎ）フレームの画像Ｐ（ｎ）における各ブロックＢijをそれぞれテンプレートＴとし、各テンプレートＴごとに、時系列的に後続した第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）を探索範囲としたテンプレートマッチングにより、テンプレートと相関の高い画像部分（第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の一部分）をそれぞれ検出し、両画像（第Ｎフレームの画像Ｐ（ｎ）と第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１））間で対応する画像部分同士（第Ｎフレームの画像Ｐ（ｎ）のブロックＢijと第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の一部分）の、空間的な位置関係（第Ｎフレームの画像Ｐ（ｎ）のブロックＢijにおける位置（Ｘｎ，Ｙｎ）→第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の一部分における位置（Ｘ（ｎ＋１），Ｙ（ｎ＋１）））に基づいて、ブロックＢijのオプティカルフロー（速度ベクトル）を求める。

一方、勾配法演算手段５０は、勾配法によりオプティカルフローＯＦを求める３つの代表的な演算処理（空間的大域最適化法（ＳＧＯ；オプティカルフローＯＦが滑らかに変化すると仮定した手法）、空間的局所最適化法（ＳＬＯ；複数ブロックＢij間でオプティカルフローＯＦが同一と仮定した手法）、時間的局所最適化法（ＴＬＯ；オプティカルフローＯＦ検出点のオプティカルフローＯＦが時間変化しないと仮定した手法））のうち、時間的局所最適化法によってオプティカルフローＯＦを求める演算処理を行うが、具体的には、ブロックＢijの明度パターンが移動後も不変に保たれるという仮定の下に、第Ｎフレームの画像Ｐ（ｎ）中のブロックＢijの明度パターンを空間的に線形近似して、明度勾配を有する平面（空間的な明度勾配平面）として把握し、この明度勾配平面上の任意の画素（Ｘｐｎ，Ｙｑｎ）に注目して、当該注目画素（Ｘｐｎ，Ｙｑｎ）の明度値Ｓｐｑｎを求め、この第Ｎフレームの画像Ｐ（ｎ）に時系列的に後続する第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の対応ブロックＣijにおいて、当該注目画素（Ｘｐｎ，Ｙｑｎ）と空間的に対応する画素（対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１）））の明度値Ｓｐｑ（ｎ＋１）を求め、第Ｎフレームの画像Ｐ（ｎ）における明度勾配平面上において、対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））の明度値Ｓｐｑ（ｎ＋１）と同一の明度値Ｓｐ′ｑ′ｎの画素の位置（Ｘｐ′ｎ，Ｙｑ′ｎ）を求め、この第Ｎフレームの画像Ｐ（ｎ）における画素（Ｘｐ′ｎ，Ｙｑ′ｎ）が、後続する第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）における同一明度値（Ｓｐ′ｑ′ｎ＝Ｓｐｑ（ｎ＋１））の対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））に一致するように、第Ｎフレームの画像Ｐ（ｎ）のブロックＢijの明度勾配平面を、第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の明度勾配平面に向けて変位させる向き、および大きさにより、ブロックＢijのオプティカルフローＯＦを求める。

また、相関法演算手段４０は、テンプレートＴとしてのブロックＢijのうち、このブロックＢijの平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の全体とについて、それぞれサブピクセル化処理する補間処理手段４１を備えており、相関法演算手段４０によるテンプレートマッチングは、このサブピクセル化処理により得られた画素間隔で行う。

補間処理手段４１によるサブピクセル化処理、すなわち画素の内挿処理は、バイリニア（一次補間処理）法によるものや、バイキュービック（三次補間処理）法によるものが好ましい。ニアレストネイバー（最近傍点補間処理）法によるものでは、サブピクセル化により得られた画素間隔でテンプレートマッチングを行う効果が少ないからである。

図８の検出されたブロックＢijのうち、分散値が所定値よりも大きいブロックＢ46を例に採ると、サブピクセル化処理前は、図９（ａ）に示すように、縦４画素×横４画素のブロックであり、左上の画素ｂ11が、隣接する画素ｂ21，ｂ12に比べて明度が高く、かつその明度変化が急峻で、ブロックＢijの平均明度との差が所定の閾値よりも大きくなっている。

このとき、補間処理手段４１は、この明度変化が急峻となる画素ｂ11を含む局所領域（画素ｂ11，ｂ21，ｂ12，ｂ22）の画素間隔が１／２倍となるように、この局所領域だけを図９（ｂ）に示すようにサブピクセル化処理する。

サブピクセル化は、例えば一次補間処理法を適用し、元の１つの画素ｂ11が、新たな４つの画素ｂ11（１），ｂ11（２），ｂ11（３），ｂ11（４）に分割されたことになる。他の画素ｂ21，ｂ12，ｂ22についても同様にそれぞれ４つの画素に分割されて、この局所領域だけ、空間的な画素間隔が１／２倍となる。

残りの１２個の画素ｂ31，ｂ41，ｂ32，ｂ42，ｂ13，ｂ23，ｂ33，ｂ43，ｂ14，ｂ24，ｂ34，ｂ44についてはサブピクセル化しない。

したがって、図９（ｃ）に示すように、ブロックＢ46内の全画素ｂ11，…，ｂ44をサブピクセル化する場合に比べて、補間処理に要する演算時間を短縮することが可能である。

一方、図１０に示すように、探索範囲としての第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）については、画像Ｐ（ｎ＋１）の全体を、その画素間隔が１／２倍となるようにサブピクセル化処理する。

この結果、相関法演算手段４０は、探索範囲を画像Ｐ（ｎ＋１）の全体とし、ブロックＢ46をテンプレートＴとするテンプレートマッチングのマッチング間隔を、サブピクセル化する前のマッチング間隔よりも、空間的に細かく行うことができる。

ここで、テンプレートＴには、サブピクセル化されていない画素もあるため、これらサブピクセル化されていない画素と、全画素がサブピクセル化された画像Ｐ（ｎ＋１）の画素とのマッチングは、図１１に示すように、例えばテンプレートＴのサブピクセル化されていない大きな画素ｂ31に対応する大きさの画像Ｐ（ｎ＋１）の領域（サブピクセル化される前の画素ｃ31）を、単一のサブピクセル化された画素ｃ31（１）で代表させて、マッチングを行うようにすればよい。

同様に、テンプレートＴの画素ｂ41，ｂ13，ｂ14は、画像Ｐ（ｎ＋１）の画素ｃ41（１），ｃ13（１），ｃ14（１）と、それぞれマッチングを行えばよく、テンプレートＴの他の大きな画素についても、同様に行えばよい。

なお、補間処理手段４１の演算処理能力に応じて、一次補間処理法と三次補間処理法とを択一的に切り替えることによりサブピクセル化処理するようにしてもよい。

三次補間処理法は、滑らかな内挿が可能であり、肉眼視によっても自然な印象を与える点で、一次補間処理法よりも好ましいが、一方で、三次補間処理法は、三次の多項式を、連続性の条件に基づいて解法する演算処理を行う必要があるため、一次補間処理法とは比べものにならないほどの演算処理時間を要する。

したがって、特に接近車両である他車両２００を検出しようとする場合には、略リアルタイムでの演算能力が要求される。

よって、補間処理手段４１が、略リアルタイムで三次補間処理法の演算能力を満たしている状況下では、三次補間処理法によるサブピクセル化を行い、略リアルタイムで三次補間処理法の演算能力を満たしていないが一次補間処理法の演算能力を満たしている状況下では、一次補間処理法によるサブピクセル化を行うように、一次補間処理法と三次補間処理法とを切り替えて適用することで、演算処理時間の短縮と補間精度の高さとを、状況に応じて的確に切り替えることができる。

また、相関法演算手段４０は、テンプレートＴによる、後続する画像Ｐ（ｎ＋１）に対する探索範囲を、画像Ｐ（ｎ）におけるブロックＢijの配置位置に応じて設定する。

つまり、本実施形態の移動体監視装置１００は、全ての移動体を検出することを目的とするものではなく、カメラ８０（カメラ８０が固定された自車両９０（被接近体））に接近してくる他車両２００のオプティカルフローＯＦを求めることを主たる使用目的としているたため、現実の空間上で他車両２００がカメラ８０に接近する方向と、そのカメラ８０によって撮影された画像Ｐ（ｎ）上における他車両２００の移動方向とは対応しており、その移動方向は、所定の範囲に限定される。

例えば、本実施形態のように、カメラ８０が、このカメラ８０の取り付けられている自車両９０の前右方の映像を撮影するように設置されている状態においては、カメラ８０に接近する他車両２００は、このカメラ８０で撮影された画像Ｐ（ｎ）では、図１２に示すように、左右方向については、この略右Ｒから左Ｌに向かって変位する。したがって、左右方向については、テンプレートＴによる次画像Ｐ（ｎ＋１）に対するマッチングの探索範囲を、左Ｌ方向の範囲に限定することができる。

さらに、画像Ｐ（ｎ）全体の上下方向の中央部Ｃより上側Ｕの領域ＲＵに存在するブロックＢij（例えば、ブロックＢ55）内の他車両２００の部分は、カメラ８０への接近により、上下方向の上側Ｕ方向に拡大されて写るため、上下方向については、上Ｕに向かって変位する。したがって、探索範囲を、このブロックＢijの存在する位置よりも左方Ｌかつ上方Ｕの領域に限定することができる。

これとは反対に、上下方向の中央部Ｃより下側Ｄの領域ＲＤに存在するブロックＢij（例えば、ブロックＢ47）内の他車両２００の部分は、カメラ８０への接近により、上下方向の下側Ｄ方向に拡大されて写るため、上下方向については、下Ｄに向かって変位する。したがって、探索範囲を、このブロックＢijの存在する位置よりも左方Ｌかつ下方Ｄの領域に限定することができる。

このように、テンプレートマッチングの探索範囲の限定により、探索時間を短縮することができる。

なお、カメラ８０が、このカメラ８０の取り付けられている自車両９０の前左方Ｌの映像を撮影するように設置されている状態（例えば、右側通行の国向けの場合や、左右両方の接近車両を監視する目的の移動体監視装置の場合など）において、左方Ｌからカメラ８０に接近する他車両２００のブロックＢijのうち、画像Ｐ（ｎ）全体の上下方向の中央部Ｃより上側Ｕの領域ＲＵに存在するブロックＢij内の他車両２００の部分は、左右方向について右方Ｒに、上下方向については上方Ｕに変位するため、このブロックＢijをテンプレートＴとしたとき、時系列的に後続する画像Ｐ（ｎ＋１）における探索範囲は、このブロックＢijの存在する位置よりも右Ｒ方向かつ上方Ｕの領域に限定することができる。

反対に、画像Ｐ（ｎ）全体の上下方向の中央部Ｃより下側Ｄの領域ＲＤに存在するブロックＢij内の他車両２００の部分は、左右方向について右方Ｒに、上下方向については下方Ｄに変位するため、このブロックＢijをテンプレートＴとしたとき、時系列的に後続する画像Ｐ（ｎ＋１）における探索範囲は、このブロックＢijの存在する位置よりも右Ｒ方向かつ下方Ｄの領域に限定することができる。

予測フィルタ７０による処理としては、例えばカルマンフィルタ処理などを適用することができるが、カルマンフィルタ処理に限定されるものではなく、他の適切な予測フィルタ処理を適用することもできる。

カメラ８０により撮影された映像は、通常、フレーム間の時間間隔が、３３[ｍｓｅｃ]程度であり、数フレームに要する期間中は、接近する他車両２００（近接移動体）の動きを略一定にする仮定が成立しやすい状況にある。

このように、近接移動体の動きを略一定とする仮定の下では、現在以前のオプティカルフローＯＦに基づいて現在のオプティカルフローＯＦを予測することが可能である。

この場合、予測フィルタ処理により補正を行うことで、処理結果を高精度化することができる。

例えばカルマンフィルタ処理を適用した予測フィルタ７０は、予測の分散値と実測の分散値との両値を用いて平均処理を行うため、これらの値を予め定めておく必要がある。

実測の分散値は、実験により予め定めることができるが、この実測の分散値は、相関法演算手段４０によるものと勾配法演算手段５０によるものとで実験値が異なるため、それぞれに対応した値を準備し、相関法と勾配法との処理の切替えに応じて、相関法用の実測の分散値と勾配法用の実測の分散値とを動的に切り替えることで、最適化を図ることができる。

一方、予測の分散値は、その効果として時間変化の最大値を与えることになる。具体的には、接近する他車両２００を初めて検出した時点から、正しいオプティカルフローＯＦの値を得るまでの間に、所要とするフレーム数を決めることになる。

この分散値が、上記実験値に比べて大きいほど、早く収束させることができるが、オプティカルフローＯＦの値が振れ易くなる。これとは反対に、予測の分散値と実測の分散値との差がゼロに近いほど、オプティカルフローＯＦの値は安定し易いが、収束させるのに要する時間が長くかかる。

したがって、この値は、この実験的に得られた分散値に対する比率を調整して、移動体監視装置１００のシステムの要件に適合させるように定めることが必要である。この場合、移動体監視装置１００のシステムの許容遅延時間等を目安にすることができる。

以上のように構成された本実施形態の移動体監視装置１００の作用を、図１３および図１４を参照して説明する。

まず、移動体検出手段１０が、自車両９０に取り付けられているカメラ８０によって撮影された映像を構成する時系列的に連続する複数の画像Ｐ（ｎ），Ｐ（ｎ＋１），…を順次メモリに記憶し（図１３における＃１）、時系列的に相前後する２つの画像Ｐ（ｎ），Ｐ（ｎ＋１）に基づいて、両画像Ｐ（ｎ），Ｐ（ｎ＋１）の差分画像ΔＰ（ｎ）を求め、この差分画像ΔＰ（ｎ）に基づいて移動体である他車両２００を検出する（＃２、図５）。このとき、元の画像Ｐ（ｎ），Ｐ（ｎ＋１）はメモリに一時記憶させる（＃３）。

移動体検出手段１０は、この差分画像ΔＰ（ｎ）にブロックＢijを設定し（＃４、図７）、差分画像ΔＰ（ｎ）に基づいて、他車両２００に対応するブロックＢijだけ選択する（＃５、図８）。

次いで、移動体特徴量算出手段２０が、選択された各ブロックＢijの分散値を算出する（＃６）。そして、演算切替手段３０が、そのブロックＢijの分散値が所定値以上のときはそのブロックＢijについてのオプティカルフローＯＦを求める処理を相関法演算手段４０による処理に切り替え（＃７、＃８）、そのブロックＢijの分散値が所定値以下のときはそのブロックＢijについてのオプティカルフローＯＦを求める処理を勾配法演算手段５０による処理に切り替える（＃７、＃９）。

相関法演算手段４０による処理に切り替えられたときは（＃８）、探索範囲の対象である次画像Ｐ（ｎ＋１）に対して、前述した限定方向（図１２）に探索領域を設定し（図１４における＃２１）、画像Ｐ（ｎ）からブロックＢijをテンプレートＴとして切り出す（＃２２）。

次いで、相関法演算手段４０の補間処理手段４１が、テンプレートＴを局所サブピクセル化するとともに、次画像Ｐ（ｎ＋１）の全体をサブピクセル化し（図９（ｂ）、＃２３）、相関法演算手段４０が、このサブピクセル化されたテンプレートＴを用いて、探索領域が限定された次画像Ｐ（ｎ＋１）に対してテンプレートマッチングを行って（図１０、図１１）、このブロックＢijについてのオプティカルフローＯＦを求める（＃２４）。

一方、勾配法演算手段５０による処理に切り替えられたときは（＃９）、勾配法演算手段５０が、勾配法の時間的局所最適化法（ＴＬＯ）によって、このブロックＢijについてのオプティカルフローＯＦを求める（＃９）。

次いで、相関法または勾配法によって求められたブロックＢijのオプティカルフローＯＦに対して、予測フィルタ７０がカルマンフィルタ処理により補正し（＃１０）、この補正により得られた補正後のオプティカルフローＯＦが出力される（＃１２）。同時に、この出力された補正後のオプティカルフローＯＦは、所定のメモリに記録される（＃１１）。この記録された補正後のオプティカルフローＯＦは、予測フィルタ７０による次回以後のカルマンフィルタ処理の補正に用いられる。

オプティカルフローＯＦが出力された後、他のブロックＢijについても、上述した作用と同様の処理（＃５〜＃１２）を繰り返し（＃１３）、選択された全てのブロックＢijについて、補正後のオプティカルフローＯＦが得られると（＃１３）、時系列的に相前後する２つの画像Ｐ（ｎ），Ｐ（ｎ＋１）間での処理を終了する。

以上、詳細に説明したように、本実施形態の移動体監視装置１００によれば、移動体検出手段１０が、映像を構成する時系列的に連続する複数の画像Ｐ（ｎ）に基づいて、自車両９０に接近してくる他車両２００を含むブロックＢijを検出し、移動体特徴量算出手段２０が算出したブロックＢijの分散値に応じて、演算切替手段３０が、相関法演算手段４０によりオプティカルフローＯＦを求める処理と勾配法演算手段５０によりオプティカルフローＯＦを求める処理とを択一的に切り替えるため、他車両２００の外表面の特徴に適した処理方法によってオプティカルフローＯＦを求めることができる。

また、本実施形態の移動体監視装置１００によれば、移動体特徴量算出手段２０が、ブロックＢijの明度値の分散値を、当該ブロックＢijの特徴量として求め、この分散値が、所定の値よりも大きいときは相関法演算手段４０による処理を選択し、所定の値よりも小さいときは勾配法演算手段５０による処理を選択するように、これら相関法演算手段４０と勾配法演算手段５０とを択一的に切り替えるため、移動体のブロックＢijが、本実施形態の移動体監視装置１００が監視対象とする自動車（他車両２００）の輪郭部分以外のブロックＢijのように、外表面が比較的滑らかで、かつ外表面の彩度変化が少ないもの（特徴的なテクスチャが存在しないもの）では、そのブロックＢijについての分散値は小さい値となるため、演算切替手段３０は、勾配法演算手段５０によりオプティカルフローＯＦを求める処理を選択するが、このようなブロックＢijは、明度パターンを空間的に線形近似し、濃度勾配を有する平面と仮定することができる勾配法によって、適切にオプティカルフローＯＦを求めることができる。

一方、自動車（他車両２００）の輪郭部分のブロックＢijのように、特徴的なテクスチャが存在するものについては、移動体特徴量算出手段２０により求められた分散値は大きい値となるため、演算切替手段３０は、相関法演算手段４０によりオプティカルフローＯＦを求める処理を選択するが、特徴的なテクスチャが存在する等の移動体の画像部分をテンプレートマッチングで適切に検出することができる相関法によって、適切にオプティカルフローＯＦを求めることができる。

また、相関法演算手段４０は、局所的にサブピクセル化処理する補間処理手段４１を備え、テンプレートマッチングは、サブピクセル化により得られた画素間隔で行うため、補間処理手段４１が、テンプレートＴとしてのブロックＢijのうち、このブロックＢijの平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての後続画像Ｐ（ｎ＋１）の全体とを、補間処理によって新たな画素を内挿することでサブピクセル化し、相関法演算手段４０が、このサブピクセル化により得られた画素間隔でテンプレートマッチングを行うことにより、サブピクセル化する以前の画素の間隔でテンプレートマッチングを行う場合に比べて、空間的により細かくマッチング処理を行うことができ、サブピクセル化しない場合に比べて、精度のよいマッチング結果を得ることができる。

しかも、テンプレートＴとしてのブロックＢijの全体をサブピクセル化するのではなく、局所部分だけをサブピクセル化しているため、テンプレートマッチングの回数は、画像部分全体をサブピクセル化した場合と同じであるが、サブピクセル化による内挿画素の数は、ブロックＢij全体をサブピクセル化した場合に比べて大幅に減らすことができるため、内挿される画素の値を算出するのに要する演算時間を大幅に減らすことができる。

この効果は、演算処理に要する時間が比較的長いバイキュービック法を適用した場合に特に顕著である。

また、個々のテンプレートマッチングにおいては、マッチングを行う画素数も、ブロックＢij全体をサブピクセル化した場合に比べて大幅に少なくすることができるため、この点からも、演算処理時間を短縮することができる。

さらに、本実施形態の移動体監視装置１００は、テンプレートマッチングの探索範囲の限定により、相関法演算手段４０によるテンプレートマッチングの探索時間を短縮することができ、相関法によるオプティカルフローＯＦの算出時間を短縮することができる。

なお、本実施形態の移動体監視装置１００は、移動体として接近する他車両２００を適用した例であるが、本発明にかかる移動体検出装置は、移動体が自動車に限定されるものではなく、例えばクレーンやコンベアで搬送されている鋼板や木板等を移動体として検出し、そのオプティカルフローを求める場合にも、適用することができる。

本実施形態の移動体監視装置１００は、相関法演算手段４０と勾配法演算手段５０とを選択的に切り替えるものであるが、本発明に係る移動体監視装置は、この形態に限定されるものではなく、探索範囲を限定する処理（図１２）を行う相関法演算手段４０を少なくとも備える移動体監視装置であればよく、勾配法演算手段５０や演算切替手段３０、予測フィルタ７０を備えないものであってもよい。

また、相関法演算手段４０は、ブロックＢijを局所的にサブピクセル化する補間処理手段４１を備えるものでなくてもよいし、反対にブロックＢijの全体をサブピクセル化するものであってもよい。

本発明の一実施形態に係る移動体監視装置を示すブロック図である。 図１に示した移動体監視装置を搭載した自車両に、他車両が右方向から接近している状態を、上方からの平面視として表す模式図である。 （ａ）は時系列的に先行する第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）、（ｂ）は静止画像Ｐ（ｎ−１）に後続する第（Ｎ）フレームの静止画像Ｐ（ｎ）、をそれぞれ表す図である。 静止画像Ｐ（ｎ）に後続する第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）を表す図である。 ２つの画像Ｐ（ｎ）、Ｐ（ｎ＋１）の差分ΔＰ（ｎ）＝Ｐ（ｎ＋１）−Ｐ（ｎ）を明暗反転した模式図である。図である。 画像の全域に等間隔でマトリックス状に分布する縦４画素×横４画素からなる複数のブロックＢijを示す図である。 図５に示した差分の画像の全域に、図６に示した複数のブロックＢijを設定した状態を示す図である。 他車両が存在するブロックＢijだけを選択した状態を示す図である。 （ａ）は元のブロックＢijの画素配列を示す図、（ｂ）は局所的にサブピクセル化したブロックＢijの画素配列を示す図、（ｃ）はの全体をサブピクセル化したブロックＢijの画素配列を示す図、をそれぞれ示す模式図である。 局所サブピクセル化されたブロックＢijをテンプレートＴとして次画像Ｐ（ｎ＋１）をテンプレートマッチング処理する様子を示す模式図である。 サブピクセル化されていない画素と全体がサブピクセル化された次画像Ｐ（ｎ＋１）とのマッチング処理を説明する図である。 テンプレートマッチング処理の探索範囲の限定を説明する図である。 図１に示した移動体監視装置による作用の処理手順を説明するフローチャートである。 相関法演算手段による相関法によるオプティカルフローを求める処理手順を説明するフローチャートである。

符号の説明

１０ 移動体検出手段
２０ 移動体特徴量算出手段
３０ 演算切替手段
４０ 相関法演算手段
４１ 補間処理手段
５０ 勾配法演算手段
７０ 予測フィルタ
８０ カメラ
８５ モニタ
１００ 移動体監視装置

Claims (5)

1. カメラにより撮影された映像に基づいて、該カメラに接近する移動体のオプティカルフローを求める移動体監視装置において、
   前記映像を構成する時系列的に連続する複数の画像に基づいて前記移動体を含む画像部分を検出する移動体検出手段と、
   任意の画像における前記画像部分をテンプレートとして、該任意の画像に時系列的に後続した画像を探索範囲としたテンプレートマッチングにより、前記移動体のオプティカルフローを求める相関法演算手段とを備え、
   前記相関法演算手段は、前記テンプレートによる、前記後続する画像に対する探索範囲を、前記任意の画像における前記画像部分の配置位置に応じて設定するものであることを特徴とする移動体監視装置。
2. 前記カメラが、該カメラが取り付けられた被接近体の前右方の像を撮影するように設置されている状態において、
   前記任意の画像における縦方向の中央よりも上側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記上側を向いた方向であり、前記中央よりも下側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記下側を向いた方向であり、
   前記テンプレートマッチングの前記探索方向の左右方向に沿った成分は、左に向いた方向であることを特徴とする請求項１に記載の移動体監視装置。
3. 前記カメラが、該カメラが取り付けられた被接近体の前左方の像を撮影するように設置されている状態において、
   前記任意の画像における縦方向の中央よりも上側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記上側を向いた方向であり、前記中央よりも下側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記下側を向いた方向であり、
   前記テンプレートマッチングの前記探索方向の左右方向に沿った成分は、右に向いた方向であることを特徴とする請求項１に記載の移動体監視装置。
4. 前記オプティカルフローに対して、予測の分散値と実測の分散値とを用いた所定の予測フィルタ処理により前記オプティカルフローの補正を行う予測フィルタを備えたことを特徴とする請求項１から３のうちいずれか１項に記載の移動体監視装置。
5. 前記移動体が、走行する車両であることを特徴とする請求項１から４のうちいずれか１項に記載の移動体監視装置。
   
   
   

Images