JP2006178669A - 移動体追跡のための画像処理方法 - Google Patents

Abstract

【課題】移動体、前方走行車両等を局所的な照明変動下でカメラにより撮影された撮像フレ−ム内で追跡するための画像処理方法を提供する。
【解決手段】本発明による方法では、逐次入力された画像列から抽出された車両領域テンプレートを複数の小ブロックテンプレートに分割し、それぞれのブロックの位置を幾何学変換式により変化させながら、個々のブロックごとに色度を用いた相違度計算を行い、その相違度をもとに有効ブロックか無効ブロックかを判定し、無効ブロックを除いた有効ブロックのみでの有効平均相違度が最小となるブロックテンプレートの位置から車両領域テンプレート全体の照合位置を求める。
【選択図】図１

Description

本発明は、移動体、前方走行車両等をカメラの撮像フレ−ム内で追跡するための画像処理方法に関する。

移動体、前方走行車両等をカメラの撮像フレ−ム内で追跡するためにテンプレートマッチングの手法が広く利用されている。
下記の特許文献１および２はいずれも、カメラで撮像した動画像中から先行車両に該当する領域をテンプレートとして抽出し、次フレーム以後連続フレーム間で照合を繰り返しつつ先行車両の位置を追跡する。テンプレートの移動距離やテンプレート内の画素値の分布変化によりテンプレートを随時更新しつつ車両の位置変化に応じて追跡を実現するものである。
特開２０００−１１３１５８ 特開２００１−６０２６３

しかし、局所的な照明変動が激しい一般道路においては、ブレーキ灯やヘッドライト、および方向指示器の点滅、トンネル内外や建物による陰影領域の通過などにおいて、追跡車両一台あたり一式のテンプレートを用いた追跡では、頻繁に位置ずれが生じ正しい結果が得られない。特にダイナミックレンジの低いカメラで車両を撮影した場合は、車両周辺の極端な照明変化により、追跡車両の一部の領域においてハレーションを起こしてしまうことなどにより追跡不能になる可能性が高い。また撮影用カメラと追跡車両との間の相対的な動きの影響により、サイズが固定のテンプレートで追跡することは困難である。
図９Ａ〜Ｆは、テンプレートマッチングの問題点と本発明方法を説明するために、比較するフレームを対比して示した説明図である。比較するフレーム順にフレームＡ〜Ｆとして説明に利用する。
フレームＡの対はトンネルの出口付近におけるテンプレートの照合結果を示しているが、照明変化により照合位置にずれが生じていることがわかる。

また、撮影用カメラと先行車両との相対的な距離や向きが変化した場合では、テンプレート自体の大きさや形状を変えない限り正確な位置を求めることは困難である。
図９ＢのフレームＢの対で撮影用のカメラと先行車両との相対的な距離が変化したときのテンプレートの照合結果を示している。

これらの問題を解決するために、下記の特許文献３〜５記載の発明により、追跡対象物体の画像領域内に複数の追跡小領域を設定し、各小領域個々に照合位置を独立に求め、得られたすべての照合位置の集合を解析することにより追跡対象物体全体の移動位置を求める手法が提案されている。
しかしこれらの手法を一般道路上における車載カメラからの先行車両追跡に適用した場合、車体色が一様の場合や、トンネル内など車体色と背景色の差がない場合は、個々の小領域の照合位置が分散しすぎてしまう傾向があり、その結果を解析しても車両全体の正確な位置が求められるとは限らない。
図９ＣのフレームＣに、トンネルの出口付近において小領域ごとに照合位置を求めた結果を示している。小領域の照合位置が分散していることがわかる。
また、追跡対象物体に複数の追跡小領域を設定し、各小領域個々に照合結果を求めるが、各小領域が独立に照合位置を求めるのではなく、一式のプレート上に固定させて照合させる方法もある。（特許文献６はその一例である）この方法では、各小領域が分散することはないが、小領域間の相対的な位置が固定されているため、距離や進路方向が変化する場合など追跡対象物体の急激な幾何学変化に追従することが困難である。
特開２０００−１３２６９１ 映像領域追跡方法および装置 特開２００２−３７３３３２ 画像認識装置および画像認識方法 特開２００４−１１８４８５ 画像追跡装置および方法 特開２０００−２５９８３８ 画像追跡装置及び記録媒体

また、画像中の車両領域からエッジなどの特徴量を抽出し特徴が際立つ領域に限定して小領域を設定する手法も見られるが、追跡車両に対してヘッドライトや街頭などの外部照明が局所的に照射された場合は、その照明変化により被写体自身が保有している画像特徴が消滅・変形するか、または被写体上に新たな画像特徴が出現することになり、特徴量に頼った車両追跡の信頼性は低くなる。以上の問題は、オプティカルフローを用いて車両追跡を行う方法においても同様に起こり得る。

本発明の目的は、移動体、前方走行車両等をカメラの撮像フレ−ム内で追跡するための画像処理方法に関する。
本発明のさらに詳細な目的は、一般道路におけるブレーキ灯やヘッドライト、方向指示器等の点滅、およびトンネル内外の通過など、局所的な照明変動下において、車載カメラにより撮影した動画像中からテンプレートとして抽出された車両領域を正確に追跡することができる画像処理方法を提供することにある。

前記目的を達成するために、本発明による方法は、逐次入力された画像列から抽出された車両領域テンプレートを複数の小ブロックテンプレートに分割し、それぞれのブロックの位置を幾何学変換式により変化させながら、個々のブロックごとに色度を用いた相違度計算を行い、その相違度をもとに有効ブロックか無効ブロックかを判定し、無効ブロックを除いた有効ブロックのみでの有効平均相違度が最小となるブロックテンプレートの位置から車両領域テンプレート全体の照合位置を求めるものである。

本発明による請求項１記載の発明は、局所的な照明変動下で逐次撮影・入力された画像列中の各画像中の移動体領域を追跡することにより移動体を追跡する画像処理装置において、
前記画像から抽出された移動体領域テンプレートを複数のブロックテンプレートに分割するステップと、
それぞれのブロックテンプレートの位置を幾何学変換により変化させるステップと、
ブロックテンプレートごとに色度を用いた個別相違度を計算するステップと、
個別相違度と閾値との比較により有効ブロックか無効ブロックかを判定するステップと、
無効ブロックを除き有効ブロックのみを用いた有効平均相違度が最小となるブロックテンプレートの位置から移動体領域テンプレートの照合位置を求めるステップと、
から構成されている。

本発明による請求項２記載の発明は、前記請求項１記載の発明において、
前記移動体を、観測位置に対して相対移動がある走行車両としたものである。観測位置が走行車両の後方で走行する車両であるとすると、相対移動のないときは、照合位置は変わらない。照合位置の形状、位置等を前の照合位置と比較することにより相対位置関係等についてのデータの取得が可能となる。
本発明による請求項３記載の発明は、請求項１記載の小ブロックテンプレートに分割するステップを、追跡対象である移動体領域を特定のサイズに分割するステップとしたものである。
本発明による請求項４記載の発明は、請求項１記載のブロックテンプレートの位置を幾何学変換により変化させるステップを、追跡対象の移動体領域の拡大・縮小・回転・ひずみに適合可能なアフィン変換を用いるステップとしたものである。
本発明による請求項５記載の発明は、請求項１記載の色度を用いた個別相違度計算のステップを、ブロックテンプレート内の各画素のＲ，Ｇ，Ｂ値の比率を用いた差分計算を用いるステップとしたものである。
本発明による請求項６記載の発明は、請求項１記載の有効ブロックか無効ブロックかを判定するステップを、幾何学変換を適用するたびに求められる全ブロックテンプレートの相違度の最大値と最小値と平均値を判定の閾値に用いるステップとしたものである。

前記構成によれば、本発明による方法は以下の効果がある。
１．照明変化により追跡車両の一部の領域の色や明るさが変動しても、その部分を無効ブ ロックと判定し除外することにより、車両全体の正しい追跡が行える。またダイナミ ックレンジの低いカメラで撮影された画像で車両を追跡する場合に、トンネルの出入 り口等において極端な照明変動があり、追跡対象物の一部の領域においてハレーショ ンを起こしてしまう場合であっても、その領域を無効ブロックとして除外することに より、正しい追跡を継続して行うことができる。さらに、ダイナミックレンジの高い カメラで撮影された画像の場合であっても、その一部の領域においてハレーションが 残る場合があるが、その領域を無効ブロックとして除外することにより正しい結果が 得られる。
図９Ｄに示すフレームＤは本発明による方法による照合結果を示すものである。従来 提案されているものと比較して車両全体の正しい追跡が可能となった。なお、図中× は無効ブロックであり、照合処理から除外する。
２．ブロックごとに独立に相違度計算を行うが、従来のオプティカルフローを用いた方法 のように独立に照合位置を求めるものではないため、画素値が一様な領域において個 々のブロックが不正確な位置に分散して照合されることを防ぐことができる。
３．個々のブロック間の相互位置は幾何学変換式により拘束されながらも変化させること ができるため、追跡車両と撮影用カメラとの相対的な距離や向きの変動に追従するこ とができる。図９Ｅに示すフレームＥと図９Ｆに示すフレームＦは本発明による方
法による照合結果を示すものである。従来提案されているものと比較して車両全体の 正しい追跡が可能となった。なお、図中×は無効ブロックである。追跡車両と撮影用 カメラとの相対的な距離や向きの変動に追従が可能となっている。
４．個々の相違度計算では、画素の色度を用いているため、明度のみの照明変化には影響 を受けずに車両を追跡できる。

以下図面等を参照して本発明による方法の実施の形態を説明する。図１は、本発明による方法を実施するための装置のブロック図である。前述した追跡の対象である前方走行中の車両の映像は、画像入力部１で、追跡対象の車両とは別の走行中の車両に搭載されているカメラにより逐次入力画像として記憶部（メモリ）２に取り込まれ、入力画像のフレームから、テンプレート抽出部３でテンプレートを抽出する。ブロック分割部４は前記テンプレートをブロックテンプレートに分割する。
幾何学変換部５は後述する幾何学変換を実行し、個別相違度計算部６により相違度を計算する。そして有効／無効ブロック判定部７で有効ブロックか無効ブロックかを判定する。
有効平均相違度計算部８により有効平均相違度が計算され、照合結果出力部９で照合結果が表示される。ここでは、前方車両領域に該当する矩形をディスプレイ上に視覚的に表示し、また幾何学変換のパラメータ値の変化を用いて前方車両までの車間距離変化や前方車両の進行方向の変化を数値として表示する。

図２は、本発明による方法を実施するための流れ図である。この流れ図に沿ってまず全体的な流れを説明する。
（ステップ１０１）初期画像を入力する
（ステップ１０２）画像全体から初期車両領域テンプレートを抽出する。
これについてはすでに多くの手法が提案されている。ここでは、例えば、画像からエッジを検出し車両枠に該当する線分を求めて車両領域を抽出する手法を活用する。（特開２００３−２８１７００「割り込み車両検出装置及びその方法」はその一例である。）また、オプティカルフロー集合の速度方向を解析することで車両領域を抽出する方法も活用できる。
（ステップ１０３）車両領域テンプレートをブロックテンプレートに分割する。
分割方法として均等サイズのブロックに分割する方法が単純であり計算時間が短いが、対象に応じて分割方法を選択することもできる。例として、画素の輝度分布に応じてサイズを変えながら分割する方法も考えられる。
なお分割数は全処理の間一定とし、分割サイズは追跡車両の大きさに合わせて変動させるものとする。
図４に、均等サイズのブロックに分割した場合と、サイズを変えながら分割した場合の例を示す。
（ステップ１０４）次の画像を入力する。
（ステップ１０５）照合処理を行う。この処理は別に詳述する。
（ステップ１０６）テンプレート更新の判定を、有効平均相違度の最小値と閾値とを比較することにより行う。有効平均相違度の最小値が閾値未満でない場合はステップ１０２に戻り、新たに画像全体から初期車両領域テンプレートを抽出する。そうでなければ、ステップ１０５で求めた照合位置から車両領域テンプレートを抽出する。なおここでの閾値は、撮影用カメラの性能と撮影環境下における照度変化の範囲により求める。
（ステップ１０７）閾値未満の場合はステップ１０５で求められた車両領域テンプレートの照合位置から新たに車両領域テンプレートを抽出しステップ１０３に戻る。

図３は、前述の照合処理ステップ１０５の詳細な流れ図である。
（ステップ２０１）
幾何学変換により各ブロックテンプレートの入力画像上での位置を求める。
幾何学変換として、追跡対象車両領域の拡大・縮小・回転・ひずみに適合可能な次式で定義されるアフィン変換を用いる。
Ｘ^t _i＝ａ₁・Ｘ_i＋ａ₂・Ｙ_i ＋ａ₃
Ｙ^t _i＝ａ₄・Ｘ_i＋ａ₅・Ｙ_i ＋ａ₆
ここで、ａ₁，・・・，ａ₆ はアフィン変換パラメータ、Ｘ_i，Ｙ_i はブロックＢ_i （図５参照）の左上端点のテンプレート内での座標であり、Ｘ^t _i，Ｙ^t _i はブロックi の左上端点の幾何学変換後の入力画像内での座標である。
上式のパラメータａ₁，・・・，ａ₆ を変化させながら各ブロックテンプレートを対象画像上に投影する。
図５に、幾何学変換前後のブロックの位置関係を図解している。
この変換により、カメラと追跡車両の相対的な距離の変化や追跡車両が右左折することによる向きの変化、および車体の振動によるカメラ角の変化に対応できる。
なお、各パラメータの変動範囲は、直前の画像での車両領域テンプレートの照合位置をもたらすパラメータ値の近傍とする。また、さらに精度を上げるため、８パラメータによる射影変換を用いることも可能である。
（ステップ２０２）
ブロックテンプレートごとに入力画像上の対応領域との間で個別相違度計算を行う。
ブロックテンプレートの画素と入力画像中の画素におけるＲ，Ｇ，Ｂ値を用いて、次式により色度差を計算し、ブロックＢ_i における相違度Ｄ_i を求める。

ここで、ブロックＢ_i の座標(ｘ_i,ｙ_i) を幾何学変換した座標を（ｘ^t _i，ｙ^t _i）とし、Ｒ(ｘ_i,ｙ_i) ，Ｇ(ｘ_i,ｙ_i)，Ｂ(ｘ_i,ｙ_i) をブロックＢ_i 内の座標(ｘ_i,ｙ_i) におけるＲＧＢ値とし、Ｒ^I(ｘ^t _i，ｙ^t _i)，Ｇ^I(ｘ^t _i，ｙ^t _i)，Ｂ^I(ｘ^t _i，ｙ^t _i) を入力画像内での座標（ｘ^t _i，ｙ^t _i）におけるＲＧＢ値とする。
また、

とし、さらにテンプレートのｘ方向のサイズ（画素数）をＳ_x 画素、ｙ方向のサイズを
Ｓ_y 画素とする。
以上の色度を用いた計算により、画像全体の明度のみの照明変化には影響を受けずに車両を追跡できる。
図６に、追跡車両が並進、拡大、回転した場合に、各ブロックを照合させるための幾何学変換結果の例を示す。
（ステップ２０３）
各ブロックテンプレートの個別相違度と閾値とを比較することにより、有効ブロックか無効ブロックかを判定する。
まず、全ブロックの個別相違度の最大値と最小値と平均値を求める。
そして、最大値と最小値の差が範囲閾値未満であればすべてのブロックを有効ブロックとする。そうでなければ、平均値を判定閾値として、判定閾値以上のブロックを有効ブロック、判定閾値未満のブロックを無効ブロックと判定する。なお、ここでの範囲閾値は、撮影用カメラの性能と撮影環境下における照度変化の範囲により決定する。
以上の方法により、次のステップにおける相違度計算において、追跡対象物体の全体的な照明変化においてはブロックすべてを用いた計算が行え、局所的な照明変化においては信頼性のないブロックを除外した計算を行えることで、より信頼性の高い追跡結果が求められる。
図７に、範囲閾値を５０とし、全ブロックから個別相違度の最大値、最小値、平均値を求め、全ブロックを有効ブロックとするか、判定閾値（平均値）を用いて有効ブロックと無効ブロックに識別するかの判定を行う前処理の例を示す。
図８に、求められた判定閾値（平均値６０）を用いて、各ブロックを有効ブロックか無効ブロックかに判定した例を示す。
（ステップ２０４）
有効ブロックのみの相違度を用いて有効平均相違度を求める。
有効ブロックのみを用いた有効平均相違度の算出は、例えば次式を用いて計算する。

ここでＤ_i はブロックＢ_i における相違度である。
なお有効ブロック数が閾値以下の場合はこの計算を行わないものとする。
ここでの閾値は、例えば全ブロック数の１／２とする。
（ステップ２０５）
上記２０１〜２０４の処理を、幾何学変換パラメータを変化させつつ各ブロックテンプレートの入力画像上での照合位置を変えながら繰り返して行う。
（ステップ２０６）
有効平均相違度の最小値を求め、さらにその最小値をもたらすブロックテンプレートの位置から車両領域テンプレートの照合位置を求める。

以上、前方走行の車両の追跡を例にして詳細な説明を行ったが、他の移動物体、飛翔体、人、動物の追跡にも利用できる。

本発明による方法は、交通管制の分野や、運転者の運転の補助等の分野、あるいはそれらに関連する制御装置の開発産業等で広く利用できる。

本発明による方法を実施するための装置のブロック図である。 本発明による方法を実施するための流れ図である。 図２に示した流れ図の照合処理部分の詳細な流れ図である。 前記流れ図中のブロックテンプレート分割のステップを説明するための説明図である。 前記流れ図中の幾何学変換のステップを説明するための説明図である。 幾何学変化の例を説明するための説明図である。 前記流れ図中の有効ブロック／無効ブロック判定を説明するための説明図である。 前記流れ図中の有効ブロック／無効ブロック判定を説明するための説明図である。 本発明を説明するためにフレームＡを対比して示した説明図である。 本発明を説明するためにフレームＢを対比して示した説明図である。 本発明を説明するためにフレームＣを対比して示した説明図である。 本発明を説明するためにフレームＤを対比して示した説明図である。 本発明を説明するためにフレームＥを対比して示した説明図である。 本発明を説明するためにフレームＦを対比して示した説明図である。

符号の説明

１ 画像入力部
２ 記憶部（メモリ）
３ テンプレート抽出部
４ ブロック分割部
５ 幾何学変換部
６ 個別相違度計算部
７ 有効／無効ブロック判定部
８ 有効平均相違度計算部
９ 照合結果出力部

Claims (6)

1. 局所的な照明変動下で逐次撮影・入力された画像列中の各画像中の移動体領域を追跡することにより移動体を追跡する画像処理装置において、
   前記画像から抽出された移動体領域テンプレートを複数のブロックテンプレートに分割するステップと、
   それぞれのブロックテンプレートの位置を幾何学変換により変化させるステップと、
   ブロックテンプレートごとに色度を用いた個別相違度を計算するステップと、
   個別相違度と閾値との比較により有効ブロックか無効ブロックかを判定するステップと、
   無効ブロックを除き有効ブロックのみを用いた有効平均相違度が最小となるブロックテンプレートの位置から移動体領域テンプレートの照合位置を求めるステップと、
   から構成した移動体追跡のための画像処理方法。
2. 前記移動体は、観測位置に対して相対移動がある走行車両である請求項１記載の移動体追跡のための画像処理方法。
3. 請求項１記載の小ブロックテンプレートに分割するステップは、追跡対象である移動体領域を特定のサイズに分割するステップである移動体追跡のための画像処理方法。
4. 請求項１記載のブロックテンプレートの位置を幾何学変換により変化させるステップは、追跡対象の移動体領域の拡大・縮小・回転・ひずみに適合可能なアフィン変換を用いるステップである移動体追跡のための画像処理方法。
5. 請求項１記載の色度を用いた個別相違度計算のステップは、ブロックテンプレート内の各画素のＲ，Ｇ，Ｂ値の比率を用いた差分計算を用いるステップである移動体追跡のための画像処理方法。
6. 請求項１記載の有効ブロックか無効ブロックかを判定するステップは、幾何学変換を適用するたびに求められる全ブロックテンプレートの相違度の最大値と最小値と平均値を判定の閾値に用いるステップである移動体追跡のための画像処理方法。

Images