JP2005123824A - 映像オブジェクト軌跡合成装置、その方法及びそのプログラム - Google Patents

Abstract

【課題】 映像から映像オブジェクトを抽出し、追跡するとともに、映像オブジェクトの移動軌跡を映像上にリアルタイムで合成することが可能な映像オブジェクト軌跡合成装置を提供する。
【解決手段】 映像オブジェクト軌跡合成装置１は、オブジェクト候補画像生成手段１０によって、映像を構成するフレーム画像の中から、映像オブジェクトの候補を抽出したオブジェクト候補画像を生成し、オブジェクト抽出手段３０によって、予め設定されている抽出条件２０ａに基づいて、オブジェクト候補画像の中から、追跡対象となる映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出し、軌跡画像生成手段５０によって、映像オブジェクトの移動軌跡のみを作画した軌跡画像６０ａを生成し、画像合成手段７０によって、軌跡画像６０ａとフレーム画像とを合成することを特徴とする。
【選択図】 図１

Description

本発明は、入力された映像に含まれる映像オブジェクトが移動する移動軌跡を、映像上に合成する映像オブジェクト軌跡合成装置、その方法及びそのプログラムに関する。

従来、映像に含まれるオブジェクト（映像オブジェクト）を抽出し、追跡する映像オブジェクト抽出技術は種々存在している（例えば、特許文献１等）。
そして、その抽出した映像オブジェクトの位置情報を利用して、映像に特殊な効果を持たせることで、映像制作の幅を広げる試みが行われている。この映像に特殊効果を持たせる一例としては、野球中継等で、ピッチャーが投げたボール（映像オブジェクト）を追跡し、その後に、ピッチャーの投球映像にボールの移動軌跡をＣＧ（コンピュータ・グラフックス）により合成するものがある。これによって、視聴者は、ピッチャーがボールを離した瞬間からキャッチャーがボールを捕球するまでのボールの軌跡、例えば、変化球の変化をより実感することができる。なお、従来、この野球の投球軌跡を描画する場合、ボールを複数のカメラで撮影し、三次元座標上におけるボールの軌跡を算出し、ＣＧ映像として、投球映像に合成している。
特開２００３−４４８６０号公報（段落００１８〜００２７、図１）

前記した特許文献１等の映像オブジェクト抽出技術は、映像から映像オブジェクトを抽出し、追跡するものであり、抽出した映像オブジェクトの位置情報に基づいて、リアルタイムで映像オブジェクトの移動軌跡を合成するものではない。また、映像オブジェクト抽出技術によって抽出した映像オブジェクトの位置情報から、映像オブジェクトの移動軌跡を元の映像に合成するには、抽出した位置情報に基づいて、人が手作業によって元の映像に移動軌跡を描画するという作業が必要となり、リアルタイムに移動軌跡を合成（描画）することができないという問題がある。

さらに、野球中継におけるボールの軌跡をピッチャーの投球映像に合成する場合、複数のカメラが必要となり機器構成が大規模になってしまうという問題がある。そして、この場合、ボールの軌跡をＣＧ映像として投球映像に合成しており、より映像の効果を高めるため、移動軌跡を実写のボールの映像を用いて合成したいという要求がある。

本発明は、以上のような問題点に鑑みてなされたものであり、映像から映像オブジェクトを抽出し、追跡するとともに、映像オブジェクトの移動軌跡を映像上にリアルタイム及び実写で合成することが可能な映像オブジェクト軌跡合成装置、その方法及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像オブジェクト軌跡合成装置は、入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成装置であって、オブジェクト候補画像生成手段と、抽出条件記憶手段と、オブジェクト抽出手段と、軌跡画像生成手段と、画像合成手段と、を備える構成とした。

かかる構成によれば、映像オブジェクト軌跡合成装置は、オブジェクト候補画像生成手段によって、時系列に入力され映像を構成する静止画単位のフレーム画像の中から、映像オブジェクトの候補を抽出したオブジェクト候補画像を生成する。例えば、フレーム画像を輝度によって２値化したり、前に入力されたフレーム画像と、その次に入力されたフレーム画像との差分によって動きのある領域を特定したりすることで、映像オブジェクトの候補となる領域を抽出したオブジェクト候補画像を生成する。

そして、映像オブジェクト軌跡合成装置は、オブジェクト抽出手段が、抽出条件記憶手段に予め記憶されている抽出条件を参照することで、オブジェクト候補画像の中から、抽出すべき映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出する。この抽出条件記憶手段に、予め抽出対象となる映像オブジェクトの抽出条件を記憶しておくことで、複数の映像オブジェクトの候補から１つの映像オブジェクトを特定することが可能になる。これによって、抽出すべき映像オブジェクトのフレーム画像内における位置と、その映像オブジェクトの持つ固有の特徴量が特定される。ここで、映像オブジェクトの位置は映像オブジェクトの重心座標等を用いることができる。また、映像オブジェクトの特徴量は、映像オブジェクトの輝度、色、テクスチャ等を用いることができる。

そして、映像オブジェクト軌跡合成装置は、軌跡画像生成手段によって、オブジェクト抽出手段で抽出した映像オブジェクトの位置及び特徴量から、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。なお、この軌跡画像は、フレーム画像毎に抽出した映像オブジェクトの特徴量（例えば、テクスチャ等）を時系列に順次上書きすることで、生成することができる。
このようにして生成された軌跡画像を、画像合成手段によって、逐次フレーム画像と合成することで、映像に抽出対象となる映像オブジェクトの移動軌跡を合成した合成映像が生成される。

また、請求項２に記載の映像オブジェクト軌跡合成装置は、請求項１に記載の映像オブジェクト軌跡合成装置において、前記軌跡画像生成手段が、前記オブジェクト抽出手段における抽出結果に基づいて、抽出に成功した前記映像オブジェクトの位置から、抽出に失敗した映像オブジェクトの位置を補間する軌跡補間手段を備えていることを特徴とする。

かかる構成によれば、映像オブジェクト軌跡合成装置は、軌跡画像生成手段が、抽出に成功した映像オブジェクトの位置を保持しておき、映像オブジェクトの抽出に失敗した場合、それ以降の抽出に成功した段階で、抽出に成功した映像オブジェクトの位置と、先に保持してあった映像オブジェクトの位置とに基づいて、抽出に失敗した位置を内挿等によって補間する。これによって、映像オブジェクトの連続した軌跡画像を生成することができる。

さらに、請求項３に記載の映像オブジェクト軌跡合成装置は、請求項１又は請求項２に記載の映像オブジェクト軌跡合成装置において、前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、次に入力される前記フレーム画像内における前記映像オブジェクトを探索するための探索領域を推定する探索領域推定手段を備えていることを特徴とする。

かかる構成によれば、映像オブジェクト軌跡合成装置は、探索領域推定手段によって、オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、次に入力されるフレーム画像内における映像オブジェクトの探索領域を、映像オブジェクトの近傍領域に設定する。例えば、カルマンフィルタを用いることで、逐次移動する映像オブジェクトの位置を推定し、探索領域を限定することができる。

また、請求項４に記載の映像オブジェクト軌跡合成方法は、入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成方法であって、オブジェクト候補画像生成ステップと、オブジェクト抽出ステップと、軌跡画像生成ステップと、画像合成ステップと、を含むことを特徴とする。

この手順によれば、映像オブジェクト軌跡合成方法は、オブジェクト候補画像生成ステップによって、時系列に入力され映像を構成する静止画単位のフレーム画像の中から、映像オブジェクトの候補を抽出したオブジェクト候補画像を生成する。
なお、オブジェクト候補画像は、時系列に入力されるフレーム画像における輝度画像、輪郭画像及び入力時刻の異なるフレーム画像の差分をとった差分画像の少なくとも１つ以上の画像から生成する。

例えば、抽出対象となる映像オブジェクトが、特定の輝度以上（又は以下）の明るさを有している場合は、フレーム画像を輝度の情報のみを有する輝度画像から、映像オブジェクトの候補を抽出する。また、映像オブジェクトの輝度が、周辺との輝度と大きく異なる場合は、輪郭のみを抽出した輪郭画像から、映像オブジェクトの候補を抽出する。あるいは、映像オブジェクトが大きな動きを持つ場合は、異なるフレーム画像の差分をとった差分画像から、映像オブジェクトの候補を抽出する。これによって、映像オブジェクトをカラー画像から抽出する場合に比べて演算量を抑えることができる。そして、輝度画像、輪郭画像及び差分画像を組み合わせたのちに、２値化することで、オブジェクト候補画像を生成する。

そして、映像オブジェクト軌跡合成方法は、オブジェクト抽出ステップにおいて、予め設定されている抽出条件に基づいて、オブジェクト候補画像の中から、抽出すべき映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出する。
ここで、抽出条件には、抽出すべき映像オブジェクトの面積、輝度、色、アスペクト比及び円形度の少なくとも１つ以上を用いることができる。これによって、フレーム画像内に複数の映像オブジェクトが存在する場合でも、抽出対象となる映像オブジェクトを絞り込むことができる。また、ここで、抽出すべき映像オブジェクトの位置は、映像オブジェクトの重心座標等を用いることができる。また、特徴量は、映像オブジェクトの輝度、色、テクスチャ等を用いることができる。

そして、映像オブジェクト軌跡合成方法は、軌跡画像生成ステップによって、オブジェクト抽出ステップで抽出した映像オブジェクトの位置及び特徴量から、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。このようにして生成された軌跡画像を、画像合成ステップによって、逐次フレーム画像と合成することで、映像に抽出対象となる映像オブジェクトの移動軌跡を合成した合成映像が生成される。

さらに、請求項５に記載の映像オブジェクト軌跡合成プログラムは、入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成するために、コンピュータを、オブジェクト候補画像生成手段、オブジェクト抽出手段、軌跡画像生成手段、画像合成手段、として機能させることを特徴とする。

かかる構成によれば、映像オブジェクト軌跡合成プログラムは、オブジェクト候補画像生成手段によって、時系列に入力され映像を構成する静止画単位のフレーム画像の中から、映像オブジェクトの候補を抽出したオブジェクト候補画像を生成する。
なお、オブジェクト候補画像は、時系列に入力されるフレーム画像における輝度画像、輪郭画像及び入力時刻の異なるフレーム画像の差分をとった差分画像の少なくとも１つ以上の画像から生成する。

そして、映像オブジェクト軌跡合プログラムは、オブジェクト抽出手段によって、予め設定されている抽出条件に基づいて、オブジェクト候補画像の中から、抽出すべき映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出する。
ここで、抽出条件には、抽出すべき映像オブジェクトの面積、輝度、色、アスペクト比及び円形度の少なくとも１つ以上を用いることができる。これによって、フレーム画像内に複数の映像オブジェクトが存在する場合でも、抽出対象となる映像オブジェクトを絞り込むことができる。また、ここで、抽出すべき映像オブジェクトの位置は、映像オブジェクトの重心座標等を用いることができる。また、特徴量は、映像オブジェクトの輝度、色、テクスチャ等を用いることができる。

そして、映像オブジェクト軌跡合成プログラムは、軌跡画像生成手段によって、オブジェクト抽出手段で抽出した映像オブジェクトの位置及び特徴量から、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。このようにして生成された軌跡画像を、画像合成手段によって、逐次フレーム画像と合成することで、映像に抽出対象となる映像オブジェクトの移動軌跡を合成した合成映像が生成される。

請求項１、請求項４又は請求項５に記載の発明によれば、映像から抽出対象となる映像オブジェクトを抽出、追跡し、その映像オブジェクトの移動軌跡を、人手を介さず映像に合成することができる。また、このとき映像オブジェクトの特徴量としてテクスチャを用いれば、実写の映像オブジェクトの動きを連続して描画した合成映像を生成することができる。これによって、新たな特殊効果を持った映像を提供することが可能になる。
さらに、本発明によれば、１台のカメラで撮影された映像から、映像オブジェクトの動きを連続して描画した合成映像を生成するため、機器構成の規模を小さくすることができる。

請求項２に記載の発明によれば、映像オブジェクトが不可視領域に移動し、再度可視領域に移動した場合であっても、不可視領域の移動を推定して、移動軌跡を描画することができる。

請求項３に記載の発明によれば、フレーム画像内において、逐次移動する映像オブジェクトの位置を推定することができ、その位置に基づいて、映像オブジェクトの探索領域を限定することができるので、映像オブジェクトを抽出する際の演算量を抑えることができる。これによって、リアルタイムで映像オブジェクトの移動軌跡を映像上に合成することが可能になる。

以下、本発明の実施の形態について図面を参照して説明する。
［映像オブジェクト軌跡合成装置の構成］
まず、図１を参照して、本発明に係る映像オブジェクト軌跡合成装置の構成について説明する。図１は、映像オブジェクト軌跡合成装置の構成を示したブロック図である。
図１に示すように、映像オブジェクト軌跡合成装置１は、入力された映像から、追跡対象となる動きを伴うオブジェクト（映像オブジェクト）を抽出し、追跡するとともに、その映像オブジェクトの移動軌跡を映像上に合成するものである。ここでは、映像オブジェクト軌跡合成装置１は、オブジェクト候補画像生成手段１０と、抽出条件記憶手段２０と、オブジェクト抽出手段３０と、探索領域推定手段４０と、軌跡画像生成手段５０と、軌跡画像記憶手段６０と、画像合成手段７０とを備えて構成されている。

オブジェクト候補画像生成手段１０は、入力された映像から、その映像を構成するフレーム画像毎に、追跡対象となる映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するものである。なお、映像は、例えば１秒間に３０枚のフレーム画像から構成されている。そこで、オブジェクト候補画像生成手段１０は、このフレーム画像の中から映像オブジェクトの候補を抽出し、２値化することで、その映像オブジェクトの候補だけからなる画像（オブジェクト候補画像）を生成する。このオブジェクト候補画像は、追跡対象となる映像オブジェクトに類似する映像オブジェクトを複数抽出した画像である。例えば、オブジェクト候補画像は、動きを伴った映像オブジェクト等、追跡対象となる映像オブジェクトを大まかに抽出した画像である。
ここでは、オブジェクト候補画像生成手段１０は、輝度画像生成部１１と、輪郭画像生成部１２と、差分画像生成部１３と、オブジェクト候補抽出部１４とを備えて構成されている。

輝度画像生成部１１は、入力された映像（カラー映像）のフレーム画像から、フレーム画像をモノクロ（グレースケール）化した輝度画像を生成するものである。この輝度画像生成部１１は、例えば、フレーム画像の各画素値を構成する色のＲＧＢ成分の平均値を算出し、新しい画素値とすることで輝度画像を生成する。ここで生成された輝度画像は、オブジェクト候補抽出部１４に出力される。

輪郭画像生成部１２は、入力された映像のフレーム画像から、フレーム画像の輝度に基づいて、輪郭（エッジ）を抽出した輪郭画像を生成するものである。この輪郭画像生成部１２は、例えば、フレーム画像の隣接する画素の輝度の変化を検出することで輪郭を検出する。なお、輪郭画像生成部１２は、輝度画像生成部１１で生成された輝度画像から、輪郭を抽出することとしてもよい。ここで生成された輪郭画像は、オブジェクト候補抽出部１４に出力される。

差分画像生成部１３は、時系列に入力されるフレーム画像から、異なる時間に入力されたフレーム画像（例えば、現在のフレーム画像と、その前に入力されたフレーム画像）間の輝度の差を画素値とした差分画像を生成するものである。なお、差分画像生成部１３は、輝度画像生成部１１で異なる時間に生成された輝度画像から、差分画像を生成することとしてもよい。ここで生成された差分画像は、オブジェクト候補抽出部１４に出力される。

オブジェクト候補抽出部１４は、輝度画像生成部１１、輪郭画像生成部１２及び差分画像生成部１３で生成された輝度画像、輪郭画像及び差分画像に基づいて、映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するものである。ここでは、オブジェクト候補抽出部１４は、画像積算部１４１と、２値化部１４２と、ノイズ除去部１４３とを備えて構成されている。

画像積算部１４１は、輝度画像、輪郭画像及び差分画像にそれぞれ重みを持たせて加算することで、映像オブジェクトを抽出するための画像（抽出用画像）を生成するものである。ここで生成される抽出用画像は、フレーム画像から、追跡対象となる映像オブジェクトに類似する映像オブジェクトを複数抽出した画像であって、映像オブジェクトの内容（テクスチャ）を伴った画像である。また、この抽出用画像は、２値化部１４２に出力される。

この画像積算部１４１は、例えば、ある時刻ｔにおける輝度画像ｙの座標（ｘ，ｙ）の画素値をｙ（ｘ，ｙ，ｔ）、輪郭画像ｅの座標（ｘ，ｙ）の画素値をｅ（ｘ，ｙ，ｔ）、差分画像ｄの座標（ｘ，ｙ）の画素値をｄ（ｘ，ｙ，ｔ）とし、輝度画像、輪郭画像及び差分画像のそれぞれの重み係数をｗ_y、ｗ_e及びｗ_dとしたとき、抽出用画像ｇの座標（ｘ，ｙ）の画素値ｇ（ｘ，ｙ，ｔ）を、以下の（１）式により算出する。

ここで重み係数（ｗ_y、ｗ_e及びｗ_d）は、抽出する映像オブジェクトの特性によって予め定めておくものとする。例えば、映像オブジェクトが、背景画像に比べて輝度差が大きい場合は、輝度画像又は輪郭画像の重み係数を大きくしておく。また、映像オブジェクトの動きが大きい場合は、差分画像の重み係数を大きくしておく。このように、輝度画像、輪郭画像及び差分画像にそれぞれ重みを持たせることで、生成される抽出用画像は、抽出しようとする映像オブジェクトの特性を表している画素の値が大きく表現されることになる。

なお、ここでは、輝度画像、輪郭画像及び差分画像の３つの画像から抽出用画像を生成することとしているが、２つの画像から抽出用画像を生成する場合は、前記（１）式から使用しない画像の項を削除すればよい。また、輝度画像、輪郭画像及び差分画像の中で１つの画像のみを用いる場合は、画像積算部１４１を設ける必要はない。この場合、輝度画像、輪郭画像又は差分画像をそのまま２値化部１４２に入力することとすればよい。

２値化部１４２は、画像積算部１４１で生成された抽出用画像を２値化することで、複数の映像オブジェクトを抽出するものである。例えば、抽出用画像の画素値が予め定めた閾値以上の場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”とすることで２値化画像を生成する。これによって、例えば、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで生成された２値化画像は、ノイズ除去部１４３に出力される。

ノイズ除去部１４３は、２値化部１４２で生成された２値化画像から、微細な映像オブジェクトをノイズとして除去するものである。このノイズ除去部１４３は、例えば、２値化画像に収縮処理と膨張処理とを施すことでノイズを除去する。ここでノイズを除去された２値化画像は、映像オブジェクトの候補を抽出したオブジェクト候補画像として、オブジェクト抽出手段３０に出力される。

ここで、収縮処理とは、近傍に１画素でも“０（黒）”の画素値を持つ画素の画素値を“０（黒）”とする処理である。また、膨張処理とは、近傍に１画素でも“１（白）”の画素値を持つ画素の画素値を“１（白）”とする処理である。この収縮処理によって、微小な“１（白）”の画素値を有する領域を消去することができる。この収縮段階では、映像オブジェクトの領域である“１（白）”の画素値を持つ領域は、収縮された状態となるので、膨張処理によって、映像オブジェクトの領域を膨張させる。これによって、ノイズを除去した２値化画像が生成される。

以上説明したオブジェクト候補抽出部１４では、画像積算部１４１で生成された抽出用画像に対して、２値化部１４２によって２値化処理を行い、ノイズ除去部１４３によって収縮処理及び膨張処理を行うことで、ノイズを除去した２値化画像を生成したが、抽出用画像を平滑化した後に２値化を行うことで、ノイズを除去することとしてもよい。

抽出条件記憶手段２０は、抽出（追跡）対象となる映像オブジェクトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶媒体である。この抽出条件記憶手段２０には、種々の抽出条件を示す抽出条件情報２０ａと、映像オブジェクトの位置を示す位置情報２０ｂとを記憶している。

抽出条件情報２０ａは、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば、面積、輝度、色、アスペクト比及び円形度の少なくとも１つ以上の抽出条件を記述したものである。この抽出条件情報２０ａは、後記するオブジェクト抽出手段３０が、オブジェクト候補画像生成手段１０で生成されたオブジェクト候補画像から、抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ、アスペクト比フィルタ及び円形度フィルタ）の条件となるものである。
なお、抽出条件情報２０ａには、面積フィルタ、輝度フィルタ、色フィルタ、アスペクト比フィルタ及び円形度フィルタの条件として、予め定めた初期値と、その許容範囲を示す閾値とを記憶しておく。これによって、閾値外の値（特徴）を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

ここで、面積は、例えば、映像オブジェクトの画素数を示す。また、輝度は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、色は、映像オブジェクトにおける各画素の色（例えばＲＧＢ値）の平均値を示す。なお、この色については、予め背景となる画像の背景色を初期値として、その背景色からの変化度を閾値としてもよい。

例えば、図２に示すように、ＲＧＢ空間において、映像オブジェクトの色（色ベクトル）をＩ＝［Ｉｒ，Ｉｇ，Ｉｂ］、背景の色（色ベクトル）を Ｅ＝［Ｅｒ，Ｅｇ，Ｅｂ］とすると、背景色に対する明るさ（輝度）の変化度α、色合い（彩度）の変化度Ｃは、以下の（２）式及び（３）式で表すことができる。そこで、例えば閾値θ₁、θ₂を予め定め、Ｃ＞θ₁又はα＜θ₂となる部分が抽出すべき映像オブジェクトとなる。

また、アスペクト比は、映像オブジェクトの縦方向の最大長と、横方向の最大長との比を示す。また、円形度は、映像オブジェクトの円形の度合いを示すものであって、円形に近いほど大きな値を有するものである。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をｌとしたとき、以下の（４）式で表される。

例えば、抽出対象の映像オブジェクトがボールのような円形の形状を有するものの場合は、抽出条件の円形度を、１に近い値に設定しておけばよい。

位置情報２０ｂは、現在追跡している映像オブジェクトの位置を示す情報である。この位置情報２０ｂは、例えば、映像オブジェクトの重心位置とする。この重心座標は、後記するオブジェクト抽出手段３０の特徴量解析部３３によって算出される。なお、この位置情報２０ｂは、抽出条件情報２０ａに合致する映像オブジェクトが複数存在する場合に、位置情報２０ｂで示した座標に最も近い映像オブジェクトを、抽出すべき映像オブジェクトとして決定するための抽出条件としても機能する。

オブジェクト抽出手段３０は、オブジェクト候補画像生成手段１０で生成されたオブジェクト候補画像の中から、抽出条件記憶手段２０に記憶されている抽出条件（抽出条件情報２０ａ）に基づいて、抽出（追跡）対象となる映像オブジェクトを選択し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここでは、オブジェクト抽出手段３０は、ラベリング部３１と、オブジェクト選択部３２と、特徴量解析部３３とを備えて構成されている。

ラベリング部３１は、オブジェクト候補画像生成手段１０で生成されたオブジェクト候補画像（２値化画像）の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。すなわち、ラベリング部３１は、映像オブジェクトの領域である“１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされたことになる。

オブジェクト選択部３２は、ラベリング部３１で番号付けされた映像オブジェクトの候補毎に、抽出条件記憶手段２０に記憶されている抽出条件（抽出条件情報２０ａ）に合致する映像オブジェクトかどうかを判定することで、抽出（追跡）対象となる映像オブジェクトを選択するものである。ここで選択された映像オブジェクトの番号（ラベル）は、特徴量解析部３３に出力される。

すなわち、このオブジェクト選択部３２は、映像オブジェクトの候補毎に、抽出条件記憶手段２０に記憶されている抽出条件情報２０ａで示される抽出条件（例えば、面積、輝度、色、アスペクト比及び円形度）に基づいて、フィルタリングを行うことで、抽出条件を満たす映像オブジェクトを、抽出すべき映像オブジェクトとして選択する。

また、オブジェクト選択部３２は、面積等の抽出条件に基づいてフィルタリングを行う場合、ここで抽出した映像オブジェクトの面積等で抽出条件情報２０ａを更新する。そして、次のフレーム画像で映像オブジェクトを選択する際に、その更新された面積等に基づいて、抽出条件の判定を行う。これよって、映像オブジェクトの大きさ、明るさ等が変化する場合であっても、抽出条件に適合させて映像オブジェクトを抽出することが可能になる。
なお、オブジェクト選択部３２は、色に基づいてフィルタリングを行う場合、映像オブジェクト軌跡合成装置１に入力された映像のフレーム画像から、映像オブジェクトに対応する領域の色の平均値を算出し、抽出条件情報２０ａで示される抽出条件に基づいてフィルタリングを行うものとする。

特徴量解析部３３は、オブジェクト選択部３２で選択されたラベルに対応する映像オブジェクトを解析し、映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここで抽出した映像オブジェクトの位置及び特徴量は、探索領域推定手段４０及び軌跡画像作成手段５０に出力される。また、ここで抽出した映像オブジェクトの位置は、現在の映像オブジェクトの位置情報として、抽出条件記憶手段２０の位置情報２０ｂに書き込まれる。なお、オブジェクト選択部３２で抽出条件に適合した映像オブジェクトが選択できなかった場合は、その旨（抽出失敗）を軌跡画像生成手段５０に通知する。

ここで映像オブジェクトの位置としては、映像オブジェクトの重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。なお、オブジェクト選択部３２で複数の映像オブジェクトが選択された場合は、例えば、１フレーム前のフレーム画像で抽出した映像オブジェクトの位置に最も近い映像オブジェクトを、追跡中の映像オブジェクトとして特定する。

また、映像オブジェクトの特徴量には、映像オブジェクトの存在領域、輝度、色、テクスチャ等を用いることができる。なお、存在領域は、探索領域推定手段４０が、次のフレーム画像における映像オブジェクトの探索領域を推定するために用いられる。また、輝度及び色は、オブジェクト選択部３２で抽出条件と比較する際に用いた値を用いることができる。また、テクスチャは、映像オブジェクト軌跡合成装置１に入力された映像のフレーム画像から、映像オブジェクトに対応する領域を抽出した画像を用い、後記する軌跡画像生成手段５０で軌跡画像を作画する際に用いることができる。

探索領域推定手段４０は、オブジェクト抽出手段３０で抽出された映像オブジェクトの位置（重心座標等）に基づいて、次に入力されるフレーム画像における、映像オブジェクトの探索領域を推定するものである。
この探索領域推定手段４０は、例えば、重心座標にカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）を適用することで、次フレーム画像における映像オブジェクトの位置を予測し、探索領域を推定する。以下、探索領域推定手段４０が、カルマンフィルタを用いて探索領域を推定する手法について説明する。カルマンフィルタは、時系列に観測される観測量に基づいて現在の状態を推定する「濾波」と、未来の状態を推定する「予測」とを行う漸化式を適用することで、時々刻々と変化する状態を推定するものである。

ここでは、探索領域推定手段４０は、映像オブジェクトの重心座標（ｐ_x，ｐ_y）を含んだ以下の（５）式に示す状態量ｘを推定するものとする。なお、ｖ_x及びｖ_yは、それぞれ映像オブジェクトの水平方向（ｘ方向）及び垂直方向（ｙ方向）の速度である。また、Ｔは行列の転置を表している。

まず、探索領域推定手段４０は、観測雑音の共分散である観測雑音共分散Ｒと、時刻（ｔ−１）のフレーム画像における状態量ｘ_t-1の共分散である状態共分散Ｐ_t-1とに基づいて、フィルタ感度（カルマンゲイン）Ｋを以下に示す（６）式により更新する。

ここで、行列Ｈは、状態量ｘと、オブジェクト抽出手段３０から入力される重心座標である観測量ｙとの関係を示す観測行列である。また、Ｔは行列の転置を表している。
なお、観測行列Ｈは、状態量ｘの重心座標（ｐ_x，ｐ_y）を観測するための行列として、以下の（７）式に示す行列とする。

また、観測雑音共分散Ｒは、映像オブジェクトの観測精度を水平方向ｒ_x、垂直方向ｒ_yとしたとき、以下の（８）式に示す共分散とする。

さらに、探索領域推定手段４０は、状態量ｘ及び状態共分散Ｐを、以下に示す（９）式及び（１０）式により更新する。

なお、Ｋは（６）式で算出されたフィルタ感度（カルマンゲイン）、ｙはオブジェクト抽出手段３０から入力される重心座標（観測量）、Ｈは（７）式の観測行列を示している。このように、探索領域推定手段４０は、（６）式、（９）式及び（１０）式（状態更新式）に基づいて、現在の状態を推定する。
さらに、探索領域推定手段４０は、時刻ｔのフレーム画像における状態量ｘ_t及び状態共分散Ｐ_tに基づいて、時刻（ｔ＋１）のフレーム画像における状態量ｘ_t+1及び状態共分散Ｐ_t+1を、以下に示す（１１）式及び（１２）式により予測する。

ここで、Ｆは予め設定された状態遷移規則であって、状態遷移行列を示す。なお、ここでは、映像オブジェクトは等速直線運動をするものと想定し、状態遷移行列を以下の（１３）式に示す行列とする。また、Ｔは行列の転置を表している。

また、Ｑは等速度直線運動のモデル化誤差や、ノイズ等の外乱を考慮して設定するシステム雑音の共分散（プロセス共分散）を示す。例えば、映像オブジェクトの水平方向及び垂直方向の速度ｖ_x及びｖ_yに対して独立に誤差が生じる場合、プロセス共分散Ｑは、以下の（１４）式で示す行列を用いることができる。なお、ｑ_x及びｑ_yは非負の値である。

このように、探索領域推定手段４０は、（１１）式及び（１２）式（状態予測式）に基づいて、次フレーム画像における映像オブジェクトの重心座標を推定することができる。
なお、カルマンフィルタを適用する場合、追跡状態によって状態共分散を制御することとしてもよい。例えば、映像オブジェクトの追跡に成功したときは状態共分散を小さく、追跡に失敗したときは状態共分散を大きくとることとしてもよい。

また、探索領域推定手段４０は、この状態共分散の変化に対応付けて、フレーム画像内における映像オブジェクトの探索領域を変化させることが可能である。例えば、探索領域推定手段４０は、オブジェクト抽出手段３０から入力される、映像オブジェクトの特徴量である存在領域に、状態共分散分を加味することで最小限の大きさの探索領域を推定することができる。
図１の映像オブジェクト軌跡合成装置１の構成について説明を続ける。

軌跡画像生成手段５０は、オブジェクト抽出手段３０で抽出された映像オブジェクトの位置及び特徴量に基づいて、前記映像オブジェクトの特徴量を示す画像を作画するものである。ここでは、軌跡画像生成手段５０は、特徴量画像作画部５１と、軌跡補間部５１とを備えて構成されている。

特徴量画像作画部５１は、軌跡画像記憶手段６０に記憶されている軌跡画像６０ａ上で、オブジェクト抽出手段３０で抽出された映像オブジェクトの位置に相当する場所に、特徴量を作画するものである。例えば、特徴量として色を用いる場合は、その色を予め定めた大きさ（例えば、ボールの大きさ等）で軌跡画像６０ａ上に作画する。

また、例えば、特徴量としてテクスチャを用いる場合は、そのテクスチャを軌跡画像６０ａ上に作画することで、フレーム画像上の映像オブジェクトを実写のまま作画することができる。なお、この特徴量画像作画部５１は、オブジェクト抽出手段３０から、映像オブジェクトの位置及び特徴量を通知される度に、軌跡画像６０ａに作画を行う。これによって、追跡を行っている映像オブジェクトのみの軌跡を表した画像が生成されることになる。また、特徴量画像作画部５１は、軌跡画像６０ａを作画したタイミングで、画像合成手段７０に画像合成の指示を行う。

また、特徴量画像作画部５１は、少なくとも特徴量を作画した最新の座標を、図示していない記憶手段に記憶しておく。この座標（最新作画位置）は、オブジェクト抽出手段３０で映像オブジェクトの抽出に失敗した場合に、後記する軌跡補間部５２において、軌跡を補間するために用いられる。なお、特徴量画像作画部５１は、映像オブジェクトの抽出に失敗したのちに、抽出に成功した段階で、軌跡補間部５２に対して、現在の映像オブジェクトの位置及び最新作画位置と、映像オブジェクトの特徴量（例えば、テクスチャ）とを軌跡補間部５２に出力する。

軌跡補間部５２は、特徴量画像作画部５１から出力される、現在の映像オブジェクトの位置及び最新作画位置と、映像オブジェクトの特徴量とに基づいて、軌跡画像６０ａにおいて、最新作画位置と、現在の映像オブジェクトの位置との間に存在したと推定される映像オブジェクトを内挿により補間するものである。これによって、例えば、手前に存在する映像オブジェクトによって、背後に存在する映像オブジェクトを隠す、いわゆるオクルージョンが発生した場合、背後に存在する映像オブジェクトが追跡対象であっても、映像オブジェクトの位置を補間して軌跡画像６０ａを作画することが可能になる。

軌跡画像記憶手段６０は、軌跡画像生成手段５０で生成される軌跡画像を記憶しておくもので、一般的なハードディスク等の記憶媒体である。この軌跡画像記憶手段６０に記憶される軌跡画像６０ａは、軌跡画像生成手段５０の特徴量画像作画部５１によって、フレーム画像の入力間隔のタイミングで、映像オブジェクトの特徴量（例えば、テクスチャ）が作画される。あるいは、軌跡補間部５２によって、映像オブジェクトの抽出に失敗した間の映像オブジェクトの位置が補間される。また、ここで作画された軌跡画像６０ａは、画像合成手段７０によって読み出される。

画像合成手段７０は、映像を構成するフレーム画像毎に、軌跡画像記憶手段６０に記憶されている軌跡画像６０ａを合成することで、映像に追跡対象となる映像オブジェクトの軌跡を合成した合成映像を生成するものである。この画像合成手段７０は、軌跡画像生成手段５０から通知される画像合成の指示に基づいて、フレーム画像と軌跡画像６０ａとを合成する。

以上、一実施形態に基づいて、映像オブジェクト軌跡合成装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、画像合成手段７０でフレーム画像に対して映像オブジェクトの特徴量を合成する場合、色、輝度等の特徴量の場合は、軌跡画像６０ａを記憶しておく必要はなく、映像オブジェクトの移動した位置座標のみを記憶しておくことで、画像合成時にその位置座標に対して、色、輝度等の特徴量に基づいて映像オブジェクトの軌跡を作画し合成することとしてもよい。

なお、以上説明した映像オブジェクト軌跡合成装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像オブジェクト軌跡合成プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

（映像オブジェクトの軌跡合成の例）
ここで、図３及び図４を参照して、映像オブジェクト軌跡合成装置１が、映像オブジェクトの軌跡を合成する例について説明する。図３は、映像オブジェクトの移動軌跡を映像上に合成する例を説明するための説明図である。図４は、映像オブジェクトの抽出に失敗した場合に、移動軌跡を補間する例を説明するための説明図である。なお、ここでは、野球のボールを追跡し、その移動軌跡を合成するものとして説明を行う。

まず、図３を参照（適宜図１参照）して、映像オブジェクトの移動軌跡を映像上に合成する例について説明する。図３（ａ）は、映像オブジェクト軌跡合成装置１に入力される映像を構成するフレーム画像を時系列に示したものである。図３（ｂ）は、図３（ａ）の各フレーム画像に対応して、軌跡画像生成手段５０が生成した映像オブジェクトの軌跡画像を時系列に示したものである。図３（ｃ）は、図３（ａ）の各フレーム画像に対応して、画像合成手段７０がフレーム画像と軌跡画像とを合成した合成フレーム画像を時系列に示したものである。

図３（ａ）に示すように、映像オブジェクト軌跡合成装置１は、時刻ｔ、時刻（ｔ＋１）…時刻（ｔ＋ｎ）のフレーム画像から、順次ボールＭ₁、Ｍ₂…Ｍ_nを抽出する。そして、図３（ｂ）に示すように、図３（ａ）のフレーム画像から抽出したボール（ここではテクスチャ）を作画した軌跡画像を生成する。ここで、図３（ｂ）の時刻（ｔ＋１）の軌跡画像に示すように、軌跡画像は、前の時刻（時刻ｔ）で生成したボールＭ₁を作画した軌跡画像に、現在の時刻（時刻（ｔ＋１））で抽出したボールＭ₂を作画する。これによって、軌跡画像には、ボール（テクスチャ）のみが、連続した軌跡として作画されることになる。

そして、映像オブジェクト軌跡合成装置１は、同時刻のフレーム画像（図３（ａ））と軌跡画像（図３（ｂ））とを合成することで、時刻ｔ、時刻（ｔ＋１）…時刻（ｔ＋ｎ）毎に合成フレーム画像（図３（ｃ））を生成する。また、この合成フレーム画像が時系列に出力されることで、合成映像となる。これによって、ボールの軌跡が描かれた映像（合成映像）を生成することができる。

次に、図４を参照（適宜図１参照）して、映像オブジェクトの抽出に失敗した場合に、移動軌跡を補間する例について説明する。図４（ａ）は、映像オブジェクト軌跡合成装置１に入力される映像を構成するフレーム画像を時系列に示したものである。図４（ｂ）は、図４（ａ）の各フレーム画像に対応して、軌跡画像生成手段５０が生成した映像オブジェクトの軌跡画像を時系列に示したものである。図４（ｃ）は、図４（ａ）の各フレーム画像に対応して、画像合成手段７０がフレーム画像と軌跡画像とを合成した合成フレーム画像を時系列に示したものである。

図４（ａ）に示すように、映像オブジェクト軌跡合成装置１は、時刻ｔ…時刻（ｔ＋２）、時刻（ｔ＋３）のフレーム画像から、順次ボールＭ₁…Ｍ₃、Ｍ₄を抽出する。そして、図４（ｂ）に示すように、図４（ａ）のフレーム画像から抽出したボール（テクスチャ）を作画した軌跡画像を生成する。
なお、ここで、図４（ａ）の図示していない時刻（ｔ＋１）と、図示した時刻（ｔ＋２）において、ボールの抽出に失敗し、時刻（ｔ＋３）において、ボールの抽出に成功したとする。このとき、図４（ｂ）の時刻（ｔ＋２）の軌跡画像には、抽出に失敗したボールは作画されない。すなわち、抽出に成功したＭ₁のみが作画された状態となる。このため、図４（ｃ）の時刻（ｔ＋２）の合成フレーム画像には、ボールＭ₁のみが合成されることになる（なお、ここでＭ₃は、フレーム画像のボールである）。

そして、時刻（ｔ＋３）において、ボールの抽出に成功した段階で、軌跡画像生成手段５０の軌跡補間部５２が、軌跡画像にボールＭ₄を作画するとともに、軌跡画像上にボールＭ₁とボールＭ₄との位置（例えば重心位置）から内挿により計算される位置にボールＭ₂´及びＭ₃´を作画する。なお、このとき特徴量には、ボールＭ₄と同じ特徴量を用いる。このように、映像オブジェクトの抽出に失敗した場合であっても、抽出に成功した段階で、図４（ｃ）の時刻（ｔ＋３）の合成フレーム画像に示したように、ボールの軌跡が連続して描かれた映像（合成映像）を生成することができる。

［映像オブジェクト軌跡合成装置の動作］
次に、図５乃至図７を参照して、映像オブジェクト軌跡合成装置１の動作について説明する。図５は、映像オブジェクト軌跡合成装置１の全体動作を示すフローチャートである。図６は、オブジェクト抽出手段３０のオブジェクト選択部３２における映像オブジェクトの選択処理の動作を示すフローチャートである。図７は、軌跡画像生成手段５０における軌跡画像の作画処理の動作を示すフローチャートである。
まず、図５を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１の動作について説明する。

（オブジェクト候補画像生成ステップ）
映像オブジェクト軌跡合成装置１は、オブジェクト候補画像生成手段１０で、入力された映像を構成する最初のフレーム画像において、フレーム画像の全範囲に映像オブジェクトを探索する探索領域を設定する（ステップＳ１０）。
また、映像オブジェクト軌跡合成装置１は、輝度画像生成部１１によって、フレーム画像内の探索領域をモノクロ（グレースケール）化した輝度画像を生成する。また、映像オブジェクト軌跡合成装置１は、輪郭画像生成部１２によって、フレーム画像内の探索領域から、輝度により輪郭（エッジ）を抽出した輪郭画像を生成する。さらに、映像オブジェクト軌跡合成装置１は、差分画像生成部１３によって、探索領域内で、異なる時間に入力されたフレーム画像間の輝度の差を画素値とした差分画像を生成する（ステップＳ１１）。

そして、映像オブジェクト軌跡合成装置１は、オブジェクト候補抽出部１４の画像積算部１４１によって、ステップＳ１１で生成された輝度画像、輪郭画像及び差分画像を、予め定めた重み係数をかけて積算する（前記（１）式参照）ことで、映像オブジェクトを抽出するための画像（抽出用画像）を生成する（ステップＳ１２）。
さらに、映像オブジェクト軌跡合成装置１は、２値化部１４２によって、ステップＳ１２で生成された抽出用画像を２値化し、ノイズ除去部１４３によって、２値化された画像に対して収縮処理と膨張処理とを施すことでノイズを除去した画像を生成する。これによって、フレーム画像の探索領域内で、映像オブジェクトの候補を抽出したオブジェクト候補画像が生成される（ステップＳ１３）。

（オブジェクト抽出ステップ）
そして、映像オブジェクト軌跡合成装置１は、オブジェクト抽出手段３０のラベリング部３１によって、オブジェクト候補画像の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付す（ステップＳ１４）。なお、以降の動作は、映像オブジェクトの候補に付された番号に基づいて、映像オブジェクトの単位で処理される。

また、映像オブジェクト軌跡合成装置１は、オブジェクト選択部３２によって、ステップＳ１４で番号付けされた映像オブジェクト毎に、オブジェクト候補画像の中から、抽出条件記憶手段２０に記憶されている抽出条件（抽出条件情報２０ａ）に基づいて、抽出（追跡）対象となる映像オブジェクトを選択する（ステップＳ１５）。なお、このステップＳ１５における映像オブジェクトの選択処理の詳細な動作については、図６を参照して後で説明することとする。

そして、映像オブジェクト軌跡合成装置１は、特徴量解析部３３によって、ステップＳ１５で選択された映像オブジェクトの特徴量を解析（算出）して、映像オブジェクトの位置及び特徴量を抽出する（ステップＳ１６）。映像オブジェクトの位置としては、例えば、映像オブジェクトの重心座標を用いる。また、映像オブジェクトの特徴量としては、映像オブジェクトの存在領域、輝度、色、テクスチャ等を用いる。

（軌跡画像生成ステップ）
また、映像オブジェクト軌跡合成装置１は、軌跡画像生成手段５０の特徴量画像作画部５１によって、映像オブジェクトの特徴量を示す画像を作画し、軌跡画像記憶手段６０に軌跡画像６０ａとして記憶する（ステップＳ１７）。このステップＳ１７では、ステップＳ１６で抽出した映像オブジェクトの位置（例えば、重心座標）に、特徴量（例えば、テクスチャ）を作画することで軌跡画像６０ａを生成する。なお、このステップＳ１７における軌跡画像の作画処理の詳細な動作については、図７を参照して後で説明することとする。

（画像合成ステップ）
そして、映像オブジェクト軌跡合成装置１は、画像合成手段７０によって、軌跡画像記憶手段６０に記憶されている軌跡画像６０ａと、入力された映像を構成するフレーム画像とを合成し、合成フレーム画像を生成する（ステップＳ１８）。なお、画像合成手段７０が、この合成フレーム画像を連続して出力することで、映像オブジェクトの移動軌跡を映像に合成した合成映像が生成されることになる。
さらに、映像オブジェクト軌跡合成装置１は、ステップＳ１６で抽出した映像オブジェクトの位置（重心座標等）に基づいて、次に入力されるフレーム画像における、映像オブジェクトの探索領域を推定する（ステップＳ１９）。なお、この探索領域の推定には、カルマンフィルタを用いることができる。

ここで、映像オブジェクト軌跡合成装置１は、次に処理すべきフレーム画像（次フレーム画像）が存在するかどうかを判定し、次フレーム画像が存在する場合（ステップＳ２０；Ｙｅｓ）は、ステップＳ１１に戻って、ステップＳ１９で推定した探索領域内で映像オブジェクトの抽出を行う。一方、次フレーム画像が存在しない場合（ステップＳ２０；Ｎｏ）は、動作を終了する。

以上の動作によって、映像オブジェクト軌跡合成装置１は、映像として時系列に入力されるフレーム画像から、追跡対象となる映像オブジェクトを逐次抽出、追跡し、映像オブジェクトの移動軌跡を映像に合成した合成映像を出力することができる。また、映像オブジェクト軌跡合成装置１は、映像オブジェクトを探索する領域を適宜更新しながら、映像オブジェクトの抽出を行うため、映像オブジェクトを抽出・更新するための演算量を抑えることができる。

［映像オブジェクトの選択処理動作］
次に、図６を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１のオブジェクト選択部３２における、映像オブジェクトの選択処理（図５のステップＳ１５）の動作について説明する。
まず、オブジェクト選択部３２は、オブジェクト候補画像の中から、番号（ラベル）に基づいて、映像オブジェクトを１つ選択する（ステップＳ３０）。

そして、オブジェクト選択部３２は、選択された映像オブジェクトの「面積」が、抽出条件記憶手段２０に記憶されている抽出条件（抽出条件情報２０ａ）に適合するかどうかを判定する（ステップＳ３１）。ここで、「面積」による適合条件に合致する場合（ステップＳ３１；条件適合）、オブジェクト選択部３２は、映像オブジェクトの「色」が、抽出条件に適合するかどうかを判定する（ステップＳ３２）。また、「色」による適合条件に合致する場合（ステップＳ３２；条件適合）、オブジェクト選択部３２は、映像オブジェクトの「輝度」が、抽出条件に適合するかどうかを判定する（ステップＳ３３）。また、「輝度」による適合条件に合致する場合（ステップＳ３３；条件適合）、オブジェクト選択部３２は、映像オブジェクトの「アスペクト比」が、抽出条件に適合するかどうかを判定する（ステップＳ３４）。また、「アスペクト比」による適合条件に合致する場合（ステップＳ３４；条件適合）、オブジェクト選択部３２は、映像オブジェクトの「円形度」が、抽出条件に適合するかどうかを判定する（ステップＳ３５）。

さらに、「円形度」による適合条件に合致する場合（ステップＳ３５；条件適合）、すなわち、ステップＳ３１〜Ｓ３５のすべてで抽出条件に適合した場合、ステップＳ３０で選択した映像オブジェクトを、追跡対象の映像オブジェクトとして選択して（ステップＳ３６）、ステップＳ３７へ進む。一方、ステップＳ３１〜Ｓ３５のいずれかで、抽出条件に適合しなかった場合（条件不適合）は、そのままステップＳ３７へ進む。

そして、オブジェクト選択部３２は、オブジェクト候補画像の全映像オブジェクトについて適合判定を行ったかどうかを判定し（ステップＳ３７）、全映像オブジェクトに対して適合判定を行った場合（Ｙｅｓ）は、動作を終了する。一方、適合判定をまだ行っていない映像オブジェクトが存在する場合（Ｎｏ）は、ステップＳ３０へ戻って動作を継続する。
以上の動作によって、映像オブジェクト軌跡合成装置１は、オブジェクト選択部３２によって、オブジェクト候補画像の中から抽出条件に適した映像オブジェクトを選択することができる。

［映像オブジェクトの選択処理動作］
次に、図７を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１の軌跡画像生成手段５０における、軌跡画像の作画処理（図５のステップＳ１７）の動作について説明する。
まず、軌跡画像生成手段５０は、オブジェクト抽出手段３０が映像オブジェクトの抽出に成功したかどうかを判定する（ステップＳ４０）。ここで、映像オブジェクトの抽出に失敗した場合（ステップＳ４０；Ｎｏ）は、動作を終了する。一方、映像オブジェクトの抽出に成功した場合（ステップＳ４０；Ｙｅｓ）、前フレーム画像において、映像オブジェクトの抽出に成功していたかどうかを判定する（ステップＳ４１）。

ここで、前フレーム画像において、映像オブジェクトの抽出に成功していた場合（ステップＳ４１；Ｙｅｓ）は、ステップＳ４３へ進む。一方、前フレーム画像において、映像オブジェクトの抽出に失敗していた場合、すなわち、軌跡画像６０ａに、前フレーム画像以前の映像オブジェクトの特徴量（例えば、テクスチャ）が作画されていない場合、軌跡画像生成手段５０の軌跡補間部５２は、現在の映像オブジェクトの位置と、以前作画に成功している映像オブジェクトの位置とを内挿によって補間し、その補間された位置に現在の映像オブジェクトのテクスチャ等を作画する（ステップＳ４２）。
そして、軌跡画像生成手段５０の特徴量画像作画部５１が、映像オブジェクトの特徴量に基づいて、現在の映像オブジェクトの位置に特徴量（テクスチャ等）に基づいて軌跡画像６０ａを作画する（ステップＳ４３）。

以上の動作によって、映像オブジェクト軌跡合成装置１は、途中で映像オブジェクトの抽出に失敗した場合でも、補間によって軌跡画像を生成するため、画像合成手段７０で合成され出力される合成映像には、連続した映像オブジェクトの移動軌跡が合成されることになる。

本発明に係る映像オブジェクト軌跡合成装置の構成を示したブロック図である。 色によって映像オブジェクトを抽出する手法を説明するための説明図である。 映像オブジェクトの移動軌跡を映像上に合成する例を説明するための説明図である。 映像オブジェクトの抽出に失敗した場合に、移動軌跡を補間する例を説明するための説明図である。 本発明に係る映像オブジェクト軌跡合成装置の全体動作を示すフローチャートである。 本発明に係る映像オブジェクト軌跡合成装置における映像オブジェクトの選択処理の動作を示すフローチャートである。 本発明に係る映像オブジェクト軌跡合成装置における軌跡画像の作画処理の動作を示すフローチャートである。

符号の説明

１ 映像オブジェクト軌跡合成装置
１０ オブジェクト候補画像生成手段
２０ 抽出条件記憶手段
３０ オブジェクト抽出手段
４０ 探索領域推定手段
５０ 軌跡画像生成手段
６０ 軌跡画像記憶手段
７０ 画像合成手段

Claims (5)

1. 入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成装置であって、
   前記映像を構成し時系列に入力されるフレーム画像の中から、前記映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
   抽出対象となる前記映像オブジェクトの抽出条件を記憶した抽出条件記憶手段と、
   この抽出条件記憶手段に記憶されている抽出条件に基づいて、前記オブジェクト候補画像生成手段で生成されたオブジェクト候補画像の中から、前記映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト抽出手段と、
   このオブジェクト抽出手段で抽出された映像オブジェクトの位置及び特徴量に基づいて、前記フレーム画像の対応した領域に前記映像オブジェクトの特徴量を示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する軌跡画像生成手段と、
   この軌跡画像生成手段で生成された軌跡画像と、前記フレーム画像とを合成する画像合成手段と、
   を備えていることを特徴とする映像オブジェクト軌跡合成装置。
2. 前記軌跡画像生成手段は、前記オブジェクト抽出手段における抽出結果に基づいて、抽出に成功した前記映像オブジェクトの位置から、抽出に失敗した映像オブジェクトの位置を補間する軌跡補間手段を備えていることを特徴とする請求項１に記載の映像オブジェクト軌跡合成装置。
3. 前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、次に入力される前記フレーム画像内における前記映像オブジェクトを探索するための探索領域を推定する探索領域推定手段を備えていることを特徴とする請求項１又は請求項２に記載の映像オブジェクト軌跡合成装置。
4. 入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成方法であって、
   前記映像を構成し時系列に入力されるフレーム画像における輝度画像、輪郭画像、及び入力時刻の異なるフレーム画像の差分をとった差分画像の少なくとも１つ以上の画像から、前記映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成ステップと、
   このオブジェクト候補画像生成ステップで生成されたオブジェクト候補画像から、面積、輝度、色、アスペクト比及び円形度の少なくとも１つ以上の抽出条件に基づいて、前記映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト抽出ステップと、
   このオブジェクト抽出ステップで抽出された映像オブジェクトの位置及び特徴量に基づいて、前記フレーム画像の対応した領域に前記映像オブジェクトの特徴量を示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する軌跡画像生成ステップと、
   この軌跡画像生成ステップで生成された軌跡画像と、前記フレーム画像とを合成する画像合成ステップと、
   を含んでいることを特徴とする映像オブジェクト軌跡合成方法。
5. 入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成するために、コンピュータを、
   前記映像を構成し時系列に入力されるフレーム画像における輝度画像、輪郭画像、及び入力時刻の異なるフレーム画像の差分をとった差分画像の少なくとも１つ以上の画像から、前記映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段、
   このオブジェクト候補画像生成手段で生成されたオブジェクト候補画像から、面積、輝度、色、アスペクト比及び円形度の少なくとも１つ以上の抽出条件に基づいて、前記映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト抽出手段、
   このオブジェクト抽出手段で抽出された映像オブジェクトの位置及び特徴量に基づいて、前記フレーム画像の対応した領域に前記映像オブジェクトの特徴量を示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する軌跡画像生成手段、
   この軌跡画像生成手段で生成された軌跡画像と、前記フレーム画像とを合成する画像合成手段、
   として機能させることを特徴とする映像オブジェクト軌跡合成プログラム。

Images