JP2009205435A - 移動物体追跡装置、移動物体追跡方法及びプログラム - Google Patents

Abstract

【課題】 複雑な動きをする物体を正しく追尾する。
【解決手段】 現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出手段と、時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長手段と、前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生手段と、前記成長手段において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減手段と、を備える。
【選択図】 図１

Description

本発明は、移動物体追跡装置、移動物体追跡方法及びプログラムに関し、詳しくは、動画像中の動き物体を追尾する移動物体追跡装置、移動物体追跡方法及びプログラムに関する。

画像処理やロボット等の様々な分野において、カメラで撮影した動画像（フレーム画像ともいう。）から移動物体（時間と共に位置を変化する物体。動き物体ともいう。）を検出して追跡することが行われている。

移動物体追跡の従来技術としては、たとえば、下記の特許文献１に記載されたものがある。この従来技術の「移動物体検出」は、動画像中の時間的に隣接する２枚の画像の間でブロックマッチングを行ってブロック単位で動きベクトルを検出し、検出された動きベクトルが同じような動きベクトルのブロックを近似して代表動きベクトルに分類し、代表動きベクトルの度数分布を求め、所定のしきい値より大きい度数分布があるときに画面中に比較的大きな動きの領域があると判断して、その領域を移動物体として検出するというものである。

また、この従来技術の「追跡」は、前記の「移動物体検出」によって得られた移動物体の位置を元に、この移動物体が“等速直線運動”を行うという仮定の下、時間的に次の画像（次フィールド画像）の物体位置を予測して追跡するというものである。

特開２０００−１１５６２１号公報

しかしながら、前記の従来技術にあっては、動き物体が“等速直線運動”を行うという仮定の元で追尾を実行しているため、複雑な動きをする物体の追尾性能が劣るという問題点がある。

そこで、本発明の目的は、複雑な動きをする物体を正しく追尾できる移動物体追跡装置、移動物体追跡方法及びプログラムを提供することにある。

請求項１記載の発明は、現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出手段と、時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長手段と、前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生手段と、前記成長手段において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減手段と、を備えたことを特徴とする移動物体追跡装置である。
請求項２記載の発明は、現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出工程と、時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長工程と、前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生工程と、前記成長工程において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減工程と、を含むことを特徴とする移動物体追跡方法である。
請求項３記載の発明は、コンピュータに、現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出手段と、時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長手段と、前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生手段と、前記成長手段において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減手段と、を実現させるためのプログラムである。

本発明によれば、代表点の時間的な統合化を行って一つの代表点が過去の履歴を含んだ情報となるようにしたので、連続的（滑らか）で安定した追跡を可能にすることができ、複雑な動きをする物体を正しく追尾できる移動物体追跡装置、移動物体追跡方法及びプログラムを提供することができる。

以下、本発明の実施形態を説明する。
図１は、実施形態に係る移動物体追跡装置の概念ブロック図である。図示の移動物体追跡装置１は、カメラで撮影されたフレーム画像（たとえば、毎秒３０フレームの動画像）から移動物体を検出して、その移動物体を追跡するというものであり、これらのブロックは、たとえば、コンピュータプログラムによって実現されてもよいし、あるいは、ハードロジックで実現されてもよい。

処理の流れとしては、（Ａ）代表点抽出部２により、観測された動画像から追跡対象領域の代表点が抽出され、第１のデータリスト（以下、Ｃ−Ｌｉｓｔという。）３のメンバとして蓄えられる。これから以降の代表点追跡処理は、代表点抽出部２によって制御され、各々のブロックが処理を担当する。（Ｂ）成長処理部４は、Ｃ−Ｌｉｓｔ３と、それ以前の代表点列の特徴を保持する第２のデータリスト（以下、Ａ−Ｌｉｓｔという。）５から、Ａ−Ｌｉｓｔ５のメンバに対応付けのできるＣ−Ｌｉｓｔ３のメンバを選び、そのＡ−Ｌｉｓｔ５のメンバを成長させる。（Ｃ）発生処理部６は、成長に寄与しなかったＣ−Ｌｉｓｔ３のメンバからＡ−Ｌｉｓｔ５を新規発生させる。この時、１時刻前のＣ−Ｌｉｓｔ３の内容である第３のデータリスト（以下、Ｂ−Ｌｉｓｔという。）７を参照する。（Ｄ）逓減処理部８は、成長しなかったＡ−Ｌｉｓｔ５のメンバの特徴量を逓減する。（Ｅ）１時刻分の処理が終わると、Ｃ−Ｌｉｓｔ３はＢ−Ｌｉｓｔ７にコピーされて、次の時刻の処理に備える。

以上の処理過程で、座標平滑部９、速度平滑部１０及び座標予測部１１は、成長処理部４、発生処理部６及び逓減処理部８の中で利用される。Ａ−Ｌｉｓｔ５、Ｂ−Ｌｉｓｔ７、Ｃ−Ｌｉｓｔ３は、代表点、代表点列の特徴量を記憶するメモリであり、その他のブロックは処理を行うロジックである。成長処理部４、発生処理部６、逓減処理部８、座標平滑部９、速度平滑部１０及び座標予測部１１は、一体として代表点追跡部１２を構成する。

各ブロックの詳細を説明する。
まず、代表点抽出部２は、入力動画像のある時刻ｔの画像（フレーム）に対し、代表点（ｘ_t，ｙ_t）を抽出する。ここで、ｘ_tはある時刻ｔの画像の代表点のｘ座標、ｙ_tはある時刻ｔの画像の代表点のｙ座標である。代表点（ｘ_t，ｙ_t）の抽出は、たとえば、“色”、“背景差分”又は“形状認識”によって行うことができる。

つまり、抽出しようとする対象物がある特定の色を持っている場合、その特定色を持った領域の中心（重心）を代表点として抽出することができる。また、視点が固定したカメラによって移動物体を抽出する場合は、背景差分法（現入力画像と移動体が存在しない背景画像との差分により移動体を抽出する方法）によって、差分値のある領域（移動体のある領域）の中心や重心を代表点として抽出することができる。また、形状認識を用いる場合は、フレームに含まれている特定の形状を認識し、その形状の存在場所をとして抽出することができる。

ちなみに、背景差分法とは、静止したカメラ系による動画像処理において、移動物の入っていない画像（背景画像）と現画像との差分（背景差分）で差の出るところを抽出して移動物を抽出する方法である。この方法を、たとえば、歩行者の前を自転車が横切る動画に適用した場合には、動きを伴わない（または動きが少ない）背景画像に対して、歩行者と自転車は大きな動きを伴う物体（つまり動き物体）であるので、追跡対象を歩行者とすれば、自転車の出現によって一瞬、追跡が惑わされるものの、自転車の通過後は対象（歩行者）を正しく追跡し続けることができる。

次に、座標平滑化部９は、代表点列の特徴量を平滑化する。ここで、代表点列とは、各フレームで抽出される「代表点」に対し、それらの代表点の時系列を統合化したものをいう。統合化のために、過去の代表点列と現時刻の代表点との間の統合処理が必要であるが、その前に、特徴量の平滑化について説明する。

最初に、代表点の座標の系列｛（ｘ_t，ｙ_t）｜ｔ＝１，２，３，・・・・｝の平滑化について定式化する。

その中でも、まずｘ座標の平滑化について説明する。
指数平滑化法では、各時刻tにおけるデータ｛・・・・, ｘ_t-2, ｘ_t-1, ｘ_t｝に対し、平滑値Ｘ^(es) _tを次の関係から求める。

Ｘ^(es) _t ＝Ｘ^(es) _t-1＋（１−α）ｘ_t ・・・・［漸化式］

この式は、時刻ｔの平滑値Ｘ^(es) _tは、一時刻前の平滑値と現時刻の観測値の加重和として更新されることを示している。αは０＜α＜１であり、平滑化の程度を示し、αが大きい（１に近い）ほど平滑化の程度が大きい。
この式を変形すると、

Ｘ^(es) _t＝（１−α）｛ｘ_t＋αｘ_t-1＋α²ｘ_t-2＋α³ｘ_t-3＋・・・・｝

さらに変形すると、

Ｘ^(es) _t＝｛ｘ_t＋αｘ_t-1＋α²ｘ_t-2＋α³ｘ_t-3＋・・・・｝／｛１＋α＋α²＋α³＋・・・・｝
・・・・［級数式］

となり、次に説明（図２参照）するように、現在に近いデータに、指数関数的により多くの重みをつける過去データの加重平均化になっていることがわかる。

図２は、加重平均化を示す図である。時刻ｔの特徴量は、図のように、現在に近いデータに、より多くの重みをつけて過去データを加重平均化する。この級数式の累積は、１時刻前の加重平均値と現在の特徴量との加重平均として漸化的に計算できる。この図において、重みの重心は、ｔ−（１／α）（図２ではα＝０．９すなわち重心はｔ−１０）であるから、大まかに言うと、過去２／α時刻分のデータを平均化することに相当する。

以上、ｘ座標の系列の平滑化について説明したが、その他の特徴量についても同様に平滑化が行われる。ただし、ここで、代表点列の定常的な状況だけでなく、新しい代表点列の発生直後の振舞いも重要になってくるため、前記の［漸化式］ではなく前記の［級数式］の方をベースに以下の定式化を行う。まず、ｘ,ｙ座標系列の平滑化を説明する。

Ｗ^(sum) _t＝αＷ^(sum) _t-1＋Δ ・・・・（１）
（Ｘ^(sum) _t，Ｙ^(sum) _t）＝（αＸ^(sum) _t-1＋Δ・ｘ_t，αＹ^(sum) _t-1＋Δ・ｙ_t） ・・・・（２）
（Ｘ^(es) _t，Ｙ^(es) _t）＝（Ｘ_t／Ｗ^(sum) _t，Ｙ_t／Ｗ^(sum) _t） ・・・・（３）

式中のＷ^(sum) _tは級数式の分母であり、事象の発生を累積する。また、重みの０次モーメントでもあり、その系列の「重要度」としても用いる。Δは１又は０であり、現フレームに対応する代表点がある場合はΔ＝１であるが、対応する代表点がない場合はΔ＝０となる。その場合、そもそも（ｘ_t，ｙ_t）は存在しないが、式の上ではΔ＝０を掛けることにより表現している。前式（３）の（Ｘ^(es) _t，Ｙ^(es) _t）が平滑化された座標値である。

次に、速度平滑部１０は、次式に基づいて、代表点の移動速度（ｖｘ_t，ｖｙ_t）を演算する。

Ｔ^(sum) _t＝α（Ｔ^(sum) _t-1−Ｗ^(sum) _t） ・・・・（４）
Ｔ^(es) _t＝ｔ＋Ｔ^(sum) _t／Ｗ^(sum) _t ・・・・（５）
（ｖｘ_t，ｖｙ_t）＝（（ｘ_t−Ｘ^(es) _t-1）／（ｔ−Ｔ^(es) _t-1），
（ｙ_t−Ｙ^(es) _t-1）／（ｔ−Ｔ^(es) _t-1）） ・・・・（６）
（ＶＸ^(sum) _t，ＶＹ^(sum) _t）＝（αＶＸ^(sum) _t-1＋Δ・ｖｘ_t，
αＶＹ^(sum) _t-1＋Δ・ｖｙ_t） ・・・・（７）
（ＶＸ^(es) _t，ＶＹ^(es) _t）＝（ＶＸ^(sum) _t／Ｗ^(sum) _t，ＶＹ^(sum) _t／Ｗ^(sum) _t） ・・・・（８）

式中のＴ^(sum) _tは、事象Δの時刻ｔの周りの１次モーメントであり、Ｔ^(es) _tは、重みの重心の時刻である。また、（ｖｘ_t，ｖｙ_t）は時刻ｔにおける移動速度であり、（ＶＸ^(sum) _t，ＶＹ^(sum) _t）は移動速度の累積値（分子）、（ＶＸ^(es) _t，ＶＹ^(es) _t）は移動速度の平滑値である。ここで、（ｖｘ_t，ｖｙ_t）を決めるためにはＸ^(es) _t-1，Ｙ^(es) _t-1が決まっている必要があり、少なくとも１時刻前の代表点の情報が必要である。

次に、座標予測部１１は、次式に基づいて、時刻ｔ＋１の位置の予測値（Ｘ^(next) _t+1，Ｙ^(next) _t+1）を演算する。
（Ｘ^(next) _t+1，Ｙ^(next) _t+1）＝（Ｘ^(es) _t＋（ｔ＋１−Ｔ^(es) _t）ＶＸ^(es) _t，
Ｙ^(es) _t＋（ｔ＋１−Ｔ^(es) _t）ＶＹ^(es) _t） ・・・・（９）
この式は、平滑化時刻Ｔ^(es) _tに平滑化座標（Ｘ^(es) _t，Ｙ^(es) _t）にいた代表点が平滑化速度（ＶＸ^(es) _t，ＶＹ^(es) _t）で進むことによる予測座標として計算される事を意味する。

以上説明した各処理部の動作がどのような順で使われるかについて、以下で説明する。
まず、３つのリスト（代表点列リスト：Ａ−Ｌｉｓｔ５、１時刻前代表点リスト：Ｂ−Ｌｉｓｔ７、現時刻代表点リスト：Ｃ−Ｌｉｓｔ３）について説明する。なお、これら３つのリストの接頭語（Ａ、Ｂ、Ｃ）は、それぞれ“Ａｄｕｌｔ”、“Ｂａｂｙ”、“Ｃｕｒｒｅｎｔ”の略であり、Ｃ−Ｌｉｓｔ３は、時刻ｔの代表点のリスト、Ａ−Ｌｉｓｔ５は、時刻ｔの処理において、時刻ｔ−１までの代表点列の特徴量（座標、速度など）が入ったリスト、Ｂ−Ｌｉｓｔ７は、Ａ−Ｌｉｓｔ５に入る以前の時刻ｔの代表点を残したリストである。

前式（１）〜（３）では、過去の代表点列に対して、現在の代表点を統合し（対応付け）成長させる場合（Δ＝１）と、対応付けする代表点が得られず特徴量を逓減する場合（Δ＝０）について定式化したが、複数の代表点列と代表点に対して、どれとどれを対応付けるかを決定しなければならない。

このことを説明すると、今、Ａ−Ｌｉｓｔ５には、１フレーム前の重要度「Ｗ^(eval) _t-1」でソートされた（大きい順に並べられた）代表点列が入っているものとする。その代表点列の番号を便宜的にａとする。同様に、Ｃ−Ｌｉｓｔ３には、現時刻に抽出された代表点が入っているものとする。その代表点列の番号を便宜的にｃとする。

重要度「Ｗ^(eval) _t-1」は、Ｗ^(sum) _t-1が大きい、特徴量（例えば領域の半径）が大きい、あるいは、統計量の分散が小さい等によって定められる。今ここでは、Ｗ^(sum) _t-1が入っているものとする。
＜成長処理＞
時刻ｔにおいて、時刻ｔ−１までのＡ−Ｌｉｓｔ５の、時刻ｔのＣ−Ｌｉｓｔ３との統合による成長処理は次の手順で行われる。

Ａ−Ｌｉｓｔ５の各メンバａに対し、
｜Ｘ^(next)(a)−x^(c)｜＋｜Ｙ^(next)(a)−y^(c)｜＜λ_xy ・・・・（１０）
であるＣ−Ｌｉｓｔ３のｃがあれば、前節のΔ＝１とした式（１）〜（９）の特徴量の更新によって、ａに吸収しａを成長させる。そして、ａに対して一つのｃが見つかれば、ａに対する処理を終了する。なお、ここでは、成長の決定を座標値で行っているが、特徴量を含めた条件付けで行うことも可能である。

＜発生処理＞
全てのＡ−Ｌｉｓｔ５のメンバａに対して「成長処理」を行い、どのａにも寄与しなかったＣ−Ｌｉｓｔ３のメンバｃに対し、ｃを出発点とする代表点列をＡ−Ｌｉｓｔ５に登録する。この時、速度情報を得るために１時刻前の代表点が必要であり、その情報として１時刻前の代表点を保持するＢ−Ｌｉｓｔ７を利用する。

＜逓減処理＞
どのＣ−Ｌｉｓｔ３のメンバとも対応しなかったＡ−Ｌｉｓｔ５のメンバは、Δ＝０として式（１）〜（９）により更新計算を行う。その結果、当該メンバの重要度Ｗ^(eval) _tは徐々に低下する。重要度がある値以下になるとそのメンバは削除される。

以上のとおり、本実施形態では、代表点の時系列追跡において、代表点そのものを処理対象とすると、ノイズを含んだ不連続な動きになるのに対して、平滑化を行って特徴量の平均化を図ったから、そのような不連続な動きにならず、また、代表点列の時間的な統合化を行って一つの点が過去の履歴を含んだ情報となるようにしたので、連続的（滑らか）で安定した追跡を可能にすることができる。

すなわち、時系列の特徴点｛ｘ_t，ｙ_t｝の追跡において、特徴点そのものを処理対象とすると、ノイズを含んだ不連続な動きになるが、本実施形態のように、特徴量の平均化を行うようにすれば、この平滑化特徴は連続的（滑らか）な振る舞いを示すので安定した追跡が可能になる。さらに、代表点列の時間的な統合化を行ったので、その点の過去の行状が集積されたもののとなり、時空間を見渡した評価量の一つとなって、安定した追跡を可能にすることができる。

また、一定速度で移動する（移動しない場合を含む）物体が視界から消えた間もしばらく追跡する機能を持たせることができ、それぞれ一定速度で動いている二つの移動物が交叉して一方がある時間見えなくなったり、一時手前の遮蔽物に隠されたり、その他特徴抽出段階で何らかの原因で抽出できなかった場合にも追跡が可能である。

実施形態に係る移動物体追跡装置の概念ブロック図である。 加重平均化を示す図である。

符号の説明

１ 移動物体追跡装置
２ 代表点抽出部（抽出手段）
４ 成長処理部（成長手段）
６ 発生処理部（発生手段）
８ 逓減処理部（逓減手段）

Claims (3)

1. 現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出手段と、
   時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長手段と、
   前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生手段と、
   前記成長手段において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減手段と、
   を備えたことを特徴とする移動物体追跡装置。
2. 現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出工程と、
   時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長工程と、
   前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生工程と、
   前記成長工程において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減工程と、
   を含むことを特徴とする移動物体追跡方法。
3. コンピュータに、
   現時刻ｔにおいて入力画像から対象物の領域の代表点を抽出する抽出手段と、
   時刻ｔ−１までの代表点列群に対し、各代表点列に対応する（つながる）現時刻の代表点を統合して、その代表点列の特徴量を成長させる成長手段と、
   前記成長手段において、成長に寄与しなかった代表点に対し、その代表点を出発点とする新たな代表点列を発生させる発生手段と、
   前記成長手段において、どの代表点とも対応せず成長が行われなかった代表点列に対して、特徴量の逓減を行う逓減手段と、
   を実現させるためのプログラム。

Images