JP2015191538A - 自由視点映像生成方法、装置およびプログラム - Google Patents

Abstract

【課題】相互オクルージョンの発生した各オブジェクトを自由視点で正確かつ自然に表現できる自由視点映像生成装置を提供する。【解決手段】映像入力部１０には奥行映像がフレーム単位で入力される。オブジェクト識別部２０は、奥行映像の各フレームからオブジェクトを識別して識別し、さらに各オブジェクトを追跡して全フレームで同一オブジェクトには同一の識別子を付与する。オブジェクト区間検出部３０は、奥行映像上で複数のオブジェクトが重なってオクルージョンが発生するオクルージョン区間を検出する。CGアニメーション生成部４０は、相互オクルージョンが発生した各オブジェクトの映像部分と置換できるアニメーションモデルを生成する。自由指定映像生成部５０は、別途に与えられる視点情報に基づいて奥行映像の自由視点映像を生成し、オクルージョン区間では、相互オクルージョンが発生した各オブジェクトの映像をアニメーションモデルに置換する。【選択図】図３

Description

本発明は、複数の動的オブジェクトを含む動画像から自由視点映像を生成する装置に係り、特に、複数の動的オブジェクトが重なることにより生じる相互オクルージョンが原因の画像破綻を解消する自由視点映像生成方法、装置およびプログラムに関する。

大空間で実施されるスポーツ競技を複数のカメラで撮影した多視点映像を対象に、対象オブジェクトのオクルージョンを検出する技術が特許文献１に開示されている。

サッカー等の屋外大空間で実施されるスポーツ映像を対象としたオブジェクト追跡手法は数多く提案されているものの、同一チームの複数選手が重なり合うようなシーンでは追跡誤りが避けられず、精度面で十分と言える手法は未だ確立されていない。

特に、自由視点合成では、オブジェクトの追跡結果を使用する場合、オブジェクト同士が重なるオクルージョン領域の検出と、オクルージョン前後のフレーム間において同一オブジェクトのテクスチャで補間する処理とが不可欠となるが、追跡誤りが含まれる場合、同一オブジェクトの特定が正しく行われず、結果として自由視点合成の結果が破綻するという技術課題があった。

このような技術課題に対して、本発明の発明者等は、各オブジェクトに追跡IDを対応付ける一方、追跡対象のオブジェクトにオクルージョンが発生して追跡IDを対応付け続けることができなくなると、オクルージョンの解消により改めて出現するオブジェクトに補正IDを一時的に付与し、その後、補正IDと正規の追跡IDとがマニュアル操作により対応付けられると、これを各フレームに反映させて各追跡IDの一貫性を担保し、各オブジェククトの追跡IDに基づく連続した追跡を可能にする技術を発明して特許出願した（特許文献２）。

特開2013-058132号公報 特願2013-074594号

特許文献２では、オクルージョン領域を生じる直前および直後の各フレームにおける同一オブジェクトのテクスチャをアルファブレンドすることでオクルージョン区間におけるテクスチャが補間処理される。当該手法では、オクルージョンの継続時間が限定的である場合には主観画質として大きな問題が生じないことが示されているが、継続時間が長くなると、テクスチャのブレンディング時に生じるアーティファクトの影響が顕著となり、結果的に主観画質が大きく劣化するという技術課題があった。

本発明の目的は、上記した従来技術の課題を解決し、相互オクルージョンの発生した各オブジェクトを自由視点で正確かつ自然に表現できる自由視点映像生成方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、以下の構成を具備した点に特徴がある。

(1)複数のオブジェクトが重なるオクルージョン区間を判別する手段と、オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手段と、オクルージョン区間において、オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手段とを具備した。

(2)アニメーションモデルを生成する手段は、各オブジェクトの形状を模した三次元モデルと、各オブジェクトに固有のテクスチャを記憶する記憶手段とを具備し、オクルージョンが発生した各オブジェクトのテクスチャを前記三次元モデルに張り付けるようにした。

(3)アニメーションモデルを生成する手段は、各オブジェクトのオクルージョン区間の前後の動きから当該各オブジェクトのオクルージョン区間の動きを予測する手段と、三次元モデルに各オブジェクトの動きを再現させる複数のアニメーションパターンを記憶する手段を更に具備し、予測された動きに応じたアニメーションパターンを前記三次元モデルに適用するようにした。

本発明によれば、以下のような効果が達成される。
(1)奥行映像において相互オクルージョンが発生した各オブジェクトの表示が、当該オブジェクトの形態や動きを模したアニメーションモデルに置換されるので、自由視点映像において各オブジェクトを明瞭に表現できるようになる。

(2)オクルージョン区間の前後の姿勢や動きからオクルージョン区間中の各オブジェクトの動きを推定し、これをアニメーションモデルの動きに反映できるので、オクルージョン区間とその前後の映像との切り換え部分における繋がりを自然な感じに演出できるようになる。

(3)全フレームで各オブジェクトに付された追跡IDの一貫性が担保されるので、オブジェクトごとに固有のテクスチャを予め用意することにより、各オブジェクトのアニメーションモデルに対して固有のテクスチャを適用することができ、各アニメーションモデルを各オブジェクトに似せることができるようになる。

本発明の一実施形態に係る自由視点映像生成装置の構成を示した機能ブロック図である。 オブジェクトごとに予め記憶されているテクスチャの例を示した図である。 オブジェクト識別部の構成を示した機能ブロック図である。 本発明の一実施形態の動作を示したフローチャートである。 シルエット領域の抽出方法を示した図である。 外接領域および追跡IDの対応付け方法を示した図である。 追跡ID、ラベルIDおよび補正IDの関係を示した図である。 補正IDから追跡IDへの修正が各フレームに反映されて追跡IDの一貫性が担保される様子を示した図である。 自由視点映像生成装置の動作を示したフローチャートである。 本発明によるオクルージョン処理の効果を従来技術と比較して説明するための図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態に係る自由視点映像生成装置１の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

映像入力部１０には、例えばサッカーの中継映像のように、複数の選手が動的なオブジェクトとして写る奥行映像として、多視点の動画や奥行情報を含む動画がフレーム単位で入力される。オブジェクト識別部２０は、奥行映像の各フレームからオブジェクトを抽出して識別し、さらに各オブジェクトを追跡して全フレームで同一オブジェクトには同一の識別子を付与し続ける。

オブジェクト区間検出部３０は、映像上で複数のオブジェクトが重なって相互オクルージョンが発生するオクルージョン区間を検出する。CGアニメーション生成部４０は、相互オクルージョンが発生した各オブジェクトと置換できるアニメーションモデルを生成する。自由指定映像生成部５０は、別途に与えられる視点情報に基づいて、前記奥行映像の自由視点映像を生成する。

前記CGアニメーション生成部４０は、各オブジェクトの形状を模したワイヤモデルあるいはスケルトンモデルといった三次元モデル４０ａおよび各オブジェクトに固有のテクスチャを記憶するテクスチャ記憶部４０ｂを具備し、相互オクルージョンが発生しているオブジェクトを識別し、当該オブジェクトに固有のテクスチャを前記三次元モデル４０ａに張り付けることでCGアニメーションを生成する。

前記自由指定映像生成部５０において、オクルージョン処理部５０ａは、前記オクルージョン区間において、相互オクルージョンが発生した各オブジェクトの世界座標位置における映像を前記アニメーションモデルに置換する。

このような自由視点映像生成装置１は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

図２は、前記テクスチャ記憶部４０ｂに予め記憶されているテクスチャの例を示した図であり、自由視点映像がサッカー中継の動画であれば、相互オクルージョンを発生させるオブジェクトとして、一方のチームの各選手を対象としたテクスチャ[同図(a)]、他方のチームの各選手を対象としたテクスチャ[同図(b)]および審判を対象とした各テクスチャ[同図(c)]が記憶されている。なお、特に各チームの選手に関するテクスチャは、顔の造形や背番号が異なるので、選手ごとに予め用意されている。

図１へ戻り、前記CGアニメーション生成部４０はさらに、各オブジェクトのオクルージョン区間の前後の動きから当該各オブジェクトのオクルージョン区間の動きを予測する動き予測部４０ｃおよび前記三次元モデル４０ａに各オブジェクトの動きを再現させる複数のアニメーションパターンを記憶するアニメーションパターン記憶部４０ｄを具備し、予測された動きに応じたアニメーションパターンを前記三次元モデル４０ａに適用する。

図３は、前記オブジェクト識別部２０の構成を示した機能ブロック図であり、オブジェクト検知部２０１は、シルエット領域抽出部２０１ａおよび外接領域設定部２０１ｂを含み、前記奥行映像の各フレームからオブジェクトを検出する。

前記シルエット領域抽出部２０１ａは、後に詳述するように、フレーム内の各画素をその画素値に基づいて二値化することによりシルエット領域と背景領域とに分類する。外接領域設定部２０１ｂは、各シルエット領域に外接する矩形の閉領域を抽出してオブジェクトの外接領域に設定する。

追跡ID対応付け部２０２は、前記初期設定フレームにおいて識別された各オブジェクトに固有の追跡IDを対応付ける。オブジェクト追跡部２０３は、前回フレームメモリ２０３ａおよび今回フレームメモリ２０３ｂを備え、前回フレームにおいて識別された各オブジェクトと今回フレームにおいて識別された各オブジェクトとを比較する。そして、同一のオブジェクトには同一の追跡IDを対応付ける追跡を繰り返すことで、全フレームを通して同一のオブジェクトに同一の追跡IDを対応付ける。

補正ID対応付け部２０４は、今回フレームについて、前回フレームのいずれのオブジェクトとも対応付けられなかったオブジェクトに補正IDを対応付ける。設定記憶部２０５には、各フレームにおいて各オブジェクトに設定された外接領域、追跡IDおよび補正IDなどの情報が蓄積される。

修正操作受付部２０６は、オブジェクトに補正IDが対応付けられているフレームを指定するフレーム指定操作、および当該指定フレームの設定情報を蓄積部２０５から読み出して各補正IDを対応する追跡IDに修正するID修正操作を受け付ける。

ID修正部２０７は、前記指定フレームの各補正IDを前記修正操作にしたがって追跡IDに修正する。修正反映部２０８は、前記修正内容を各フレームの補正IDに反映することにより、全フレームを通じて同一オブジェクトには同一の追跡IDが付与されるようにして各追跡IDの一貫性を担保する。

次いで、図４のフローチャートを参照してオブジェクト追跡の方法を説明する。ステップＳ１では、動画ファイルからオブジェクト識別部１０２へ初期設定フレームが読み込まれる。この初期設定フレームには、追跡対象の全てのオブジェクトが表示されていることが望ましい。ステップＳ２では、前記シルエット領域抽出部１０２ａにより、初期設定フレームからオブジェクトのシルエットが抽出される。

本実施形態では、次式(1)に基づいてフレーム内の全画素の画素値Icを識別することで、図５に示したように、オブジェクトと背景とに二値化されたシルエット画像が取得され、背景領域以外がオブジェクトobjのシルエット領域に分類される。なお、I_cは注目している画素値、I_{c_}aveはフレーム内の全画素値の平均値、σ_cは全画素値の分散、th_cは所定の閾値である。

ステップＳ３では、図６(a)に示したように、各オブジェクトobjに対して外接領域Fa，Fb，Fcが設定される。本実施形態では、各シルエット領域の８近傍で隣接する矩形の閉領域が外接領域Fとして設定される。このとき、外接領域Fbのように、複数のオブジェクトが重なるオクリュージョン領域については、ステップＳ４において、当該外接領域Fbを、同図(b)に示したようにオブジェクト毎に分割する分割処理がマニュアル操作により行われる。ステップＳ５では、同図(c)に示したように、前記追跡ID対応付け部１０３により各オブジェクトの各外接領域Fに固有の追跡ID (IDtr1，IDtr2，IDtr3，IDtr4) が対応付けられる。

ステップＳ６では、各外接領域FにN個の粒子フィルタが設定される。このとき、前記動画がサッカー中継であれば、各粒子フィルタには各チームのユニフォーム色が設定される。本実施形態では、各粒子の状態量c(t)が、画素の二次元座標(u(t),v(t))ならびに横方向の速度および縦方向の速度(Δu(t),Δv(t))を用いて次式(2)で定義される。

また、状態遷移関数は、フレーム間で等速直線運動を仮定し、ガウスノイズω(t)を用いて次式(3)のように定義される。

ステップＳ７では、動画ファイルから次フレームが読み出されて今回フレームとされる。ステップＳ８では前記ステップＳ２と同様に、今回フレームから各オブジェクトのシルエット領域が抽出される。ステップS９では、後述するオクルージョン発生中フラグFoccが参照され、ここではオクルージョン発生中ではないと判定されるのでステップS１０へ進む。ステップS１０では前記ステップＳ３と同様に、各シルエット領域に対して外接領域Fが設定される。

ステップＳ１１では、今回フレームの各外接領域に一時的なラベルID (IDlabel) が対応付けられる。ステップＳ１２では、前回フレームにおいて各オブジェクトに対応付けられた追跡IDと今回フレームにおいて各オブジェクトに対応付けられたラベルIDとの対応付けが行われる。

本実施形態では、各粒子フィルタtrを構成する粒子pの尤度 w_tr,pが次式(4)により算出される。なお、ρ_back(p)は各オブジェクトの存在確率であり、次式(5)により求められる。また、ρ_uni(tr,p)は各オブジェクトのユニフォーム色に基づくオブジェクトらしさであり、次式(6)により求められる。λは、前記ρ_back(p)，ρ_uni(tr,p)の重みである。

そして、前回フレームの追跡IDごとに、その外接領域Fと各ラベルIDに対応した外接領域Fとの尤度 wtr,pが求められ、最尤の外接領域Fに対応付けられているラベルIDが当該追跡IDに対応付けられ、これが全ての追跡IDに対して繰り返される。ステップＳ１２では、いずれの追跡IDとも対応付けられなかったラベルIDが補正IDに変更される。

図７は、前記追跡ID、ラベルIDおよび補正IDの関係を模式的に示した図であり、前回フレームｆ_t-1では、同図(a)に示したように、例えば３つのオブジェクトobj1，obj2，obj3に対して、それぞれ追跡IDtr1，IDtr2，IDtr3が対応付けられていたところ、今回フレームf_tでは、同図(b)に示したように、オブジェクトobj1，obj2にオクルージョンが生じている。このため、前記ステップＳ１０ではオブジェクトobj1，obj2の両方を含む矩形領域F1のみが抽出される。

前記ステップＳ１１では、同図(c)に示したように、オブジェクトobj1，obj2の両方を含む外接領域F1にラベルIDとしてIDlabel1が対応付けられる。また、オブジェクトobj3を含む外接領域F3にはIDlabel３が対応付けられる。

前記ステップＳ１２では、同図(d)に示したように、1つのラベルIDlabel1に２つの追跡IDtr1，IDtr2が対応付けられる。ステップS１３では、前記1つのラベルIDlabelに複数の追跡IDtrが対応付けられたことでオクルージョンの発生が認識され、ステップＳ１４へ進んでオクルージョン発生中フラグFoccがセットされる。

次のフレームf_t+1において、オブジェクトobj1，obj2のオクルージョンが解消されると、図７(e)に示したように、ステップＳ８では改めて３つのオブジェクトobj1，obj2，obj3が検出される。ステップS９では、オクルージョン発生中フラグFoccがセットされており、オクルージョン発生中と判定されるのでステップS１９へ進む。

ステップS１９では、前記ステップＳ８において３つのオブジェクトobj1，obj2，obj3が検出されていることを受けてオクルージョンが解消されたと判断される。ステップS２０では、解消されたオクルージョン区間ΔToccが判別される。ステップS２１では、前記オクルージョン発生中フラグFoccがリセットされる。

ステップＳ１０では、各オブジェクトに対して外接領域F1，F2，F3がそれぞれ設定される。ステップＳ１１では、各外接領域FにラベルIDとしてIDlabel1，IDlabel2，IDlabel3がそれぞれ対応付けられる。

ステップＳ１２では、図７(f)に示したように、フレームf_tにおける追跡IDtr1，IDtr2が、いずれもフレームf_t+1のラベルIDlabel2と対応付けられる。また、フレームf_tにおける追跡IDtr3がラベルIDlabel3と対応付けられる。ステップＳ１３では、オクルージョンの発生が認識されないのでステップＳ１５へ進み、図７(g)に示したように、追跡IDが対応付けられなかったラベルIDlabel1の外接領域F1に補正IDとしてIDamd1が対応付けられる。

ステップＳ１６では、今回フレームの各オブジェクトに対応付けられた追跡IDおよび補正IDが記憶される。ステップＳ１７では、次フレームの有無が確認され、次フレームがあれば、ステップＳ７へ戻って上記の各処理がフレームごとに繰り返される。

その後、全てのフレームについて、各オブジェクトに対する追跡IDまたは補正IDの対応付けが完了するとステップＳ１８へ進み、前記補正IDを本来の追跡IDに修正する修正処理が受け付けられる。

この修正処理では、補正IDを対応付けられているオブジェクト（外接領域）を含むフレームをオペレータが指定する操作が前記修正操作受付部１０７で受け付けられ、さらに前記指定フレームに関して補正IDがオペレータのマニュアル操作により正規の追跡IDに修正されると、これが前記ID修正部１０８により当該指定フレームに反映される。ステップＳ１９では、前記修正反映部１０９により、当該修正内容が全てのフレームに反映され、各フレームにおいて同一の補正IDを対応付けられている外接領域の当該補正IDが全て同一の追跡IDに修正される。

なお、前記ステップＳ１８における修正操作受付時に、IDの修正を反映させるフレーム範囲が指定されていれば、前記ステップＳ１９では、当該フレーム範囲内の補正IDのみに前記修正内容が反映される。

図８は、補正IDを追跡IDに修正する方法を模式的に示した図であり、フレームf_t+nが補正操作の対象フレームとして指定され、その補正IDamd2が追跡IDtr1に修正され、補正IDamd1が追跡IDtr2に修正されている。そして、この修正内容は他のフレームにも反映され、各フレームにおいて、補正IDamd2は追跡IDtr1に修正され、補正IDamd1は追跡IDtr2に修正される。

次いで、前記オクルージョン処理部５０ａの動作を、図９のフローチャートに沿って説明する。本実施形態では、上記の処理で各オブジェクトの追跡IDtrおよびオクルージョン区間ΔToccが特定されると、ステップＳ３１では、オクルージョンが発生した各オブジェクトのオクルージョン区間ΔToccの前後の姿勢に基づいてオクルージョン区間ΔTocc中の各オブジェクトのモーションが推定される。

ステップＳ３２では、前記モーションの推定結果に基づいて、前記アニメーションパターン記憶部４０ｄに予め記憶されている多数のアニメーションパターンの中から、当該モーションに近い動きを再現できるアニメーションパターンがオブジェクトごとに選択される。ステップＳ３３では、オクルージョンが発生した各オブジェクトのテクスチャおよび前記選択されたアニメーションパターンが三次元モデル４０ａに適用されて各オブジェクトのアニメーションモデルが構築される。

ステップＳ３４では、オクルージョンが発生した各オブジェクトの世界座標と別途に指定されている自由視点の向きとに基づいて、各オブジェクトのアニメーションモデルの姿勢が制御される。ステップＳ３５では、自由視点映像の前記オクルージョンが発生した各オブジェクトの映像部分が前記各オブジェクトのアニメーションモデルに置換される。

図１０は、オクルージョン区間が検出された奥行映像[同図(ａ)]の自由視点映像において、相互オクルージョンが発生した各オブジェクトを、従来技術に基づいてオクルージョン区間前後の各映像をアルファブレンディングすることで補完した映像[同図(ｂ)]と、本発明を適用してアニメーションモデルに置換した映像[同図(c)]とを示した図である。

同図(b)では、相互オクルージョンが発生した各オブジェクトの輪郭に、アルファブレンディングに特有のぼやけが生じて画像破綻をきたしているのに対して、同図(c)では、各オブジェクトの輪郭が明確に表現されていることが判る。

なお、上記の実施形態では、オクルージョン区間ΔToccの長短に関わらず、相互オクルージョンが発生した各オブジェクトを一律にアニメーションモデルと置換するものとして説明したが、本発明はこれのみに限定されるものではなく、オクルージョン区間ΔToccの時間長が所定の閾値未満であればアルファブレンド処理の画像で補完し、所定の閾値以上であればアニメーションモデルと置換するようにしても良い。

本実施形態によれば、奥行映像において相互オクルージョンが発生した各オブジェクトの表示が、当該オブジェクトの形態や動きを模したアニメーションモデルに置換されるので、自由視点映像において各オブジェクトを明瞭に表現できるようになる。

また、本実施形態によれば、オクルージョン区間の前後の姿勢や動きからオクルージョン区間中の各オブジェクトの動きを推定し、これをアニメーションモデルの動きに反映できるので、オクルージョン区間とその前後の映像との切り換え部分における繋がりを自然な感じに演出できるようになる。

さらに、本実施形態では、追跡対象のオブジェクトにオクルージョンが発生して追跡IDを対応付け続けることができなくなっても、オクルージョンの解消により改めて出現するオブジェクトには補正IDが一時的に付与され、その後、補正IDと正規の追跡IDとがマニュアル操作により対応付けられると、これが各フレームにも反映されて各追跡IDの一貫性が担保される。したがって、オブジェクトごとに当該オブジェクトに固有のテクスチャを予め用意することにより、各オブジェクトのアニメーションモデルに対して固有のテクスチャを適用することができ、各アニメーションモデルを各オブジェクトに似せることができる。

１０…映像入力部，２０…オブジェクト識別部，３０…オブジェクト区間検出部，４０…CGアニメーション生成部，４０ａ…三次元モデル，４０ｂ…テクスチャ記憶部，４０ｃ…動き予測部，４０ｄ…アニメーションパターン記憶部，５０…自由指定映像生成部，５０ａ…オクルージョン処理部，２０１…オブジェクト検知部，２０１ａ…シルエット領域抽出部，２０１ｂ…外接領域抽出部，２０２…追跡ID対応付け部，２０３…オブジェクト追跡部，２０３ａ…前回フレームメモリ，２０３ｂ…今回フレームメモリ，２０４…補正ID対応付け部，２０５…設定記憶部，２０６…修正操作受付部，２０７…ID修正部，２０８…修正反映部

Claims (12)

1. 複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、
   動画の各フレームからオブジェクトを識別して追跡するオブジェクト識別手段と、
   複数のオブジェクトが重なるオクルージョン区間を判別する手段と、
   オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手段と、
   前記オクルージョン区間において、前記オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手段とを具備したことを特徴とする自由視点映像生成装置。
2. 前記アニメーションモデルを生成する手段は、
   各オブジェクトの形状を模した三次元モデルと、
   各オブジェクトに固有のテクスチャを記憶する記憶手段とを具備し、
   前記オクルージョンが発生した各オブジェクトのテクスチャを前記三次元モデルに張り付けることを特徴とする請求項１に記載の自由視点映像生成装置。
3. 前記アニメーションモデルを生成する手段は、
   各オブジェクトのオクルージョン区間の前後の動きから当該各オブジェクトのオクルージョン区間の動きを予測する手段と、
   前記三次元モデルに各オブジェクトの動きを再現させる複数のアニメーションパターンを記憶する手段を更に具備し、
   前記予測された動きに応じたアニメーションパターンを前記三次元モデルに適用することを特徴とする請求項１または２に記載の自由視点映像生成装置。
4. 前記オクルージョンが発生した各オブジェクトのテクスチャにアルファブレンド処理を施して各オブジェクトを補完する手段を更に具備し、
   前記オクルージョンが発生した各オブジェクトの画像を、前記オクルージョン区間の時間長が所定の閾値未満であれば前記アルファブレンド処理の画像で補完し、前記所定の閾値以上であれば前記アニメーションモデルと置換することを特徴とする請求項１ないし３のいずれかに記載の自由視点映像生成装置。
5. 前記オブジェクト識別手段が、
   入力映像からオブジェクトを検知するオブジェクト検知手段と、
   所定の初期設定フレームから検知された各オブジェクトに追跡IDを対応付ける追跡ID対応付け手段と、
   今回フレームにおいて前回フレームと同一のオブジェクトに同一の追跡IDを対応付けるオブジェクト追跡手段と、
   今回フレームにおいて前回フレームと同一の追跡IDを対応付けられなかったオブジェクトに補正IDを対応付ける補正ID対応付け手段と、
   補正IDを追跡IDに修正する操作を受け付ける修正操作受付手段と、
   前記修正操作を各フレームの補正IDに反映させる修正反映手段とを具備したことを特徴とする請求項１ないし４のいずれかに記載の自由視点映像生成装置。
6. 前記オブジェクト検知手段は、検知されたオブジェクトに外接領域を設定する外接領域設定手段を具備し、
   前記オブジェクト追跡手段は、前回フレームにおいて各オブジェクトに設定された各外接領域と今回フレームにおいて各オブジェクトに設定された各外接領域とを比較し、前回フレームの外接領域と最尤である今回フレームの外接領域に同一の追跡IDを対応付けることを特徴とする請求項５に記載の自由視点映像生成装置。
7. 前記オブジェクト検知手段は、検知された各オブジェクトの外接領域に対して当該オブジェクトの代表的な色情報を登録し、
   前記オブジェクト追跡手段は、前記色情報および各オブジェクトの今回フレームにおける存在確率に基づいて各外接領域の尤度を求めることを特徴とする請求項６に記載の自由視点映像生成装置。
8. 前記オブジェクト検知手段は、各フレーム画像を二値化してシルエット領域を抽出する手段を具備し、当該シルエット領域をオブジェクトとして識別することを特徴とする請求項５ないし７のいずれかに記載の自由視点映像生成装置。
9. 前記修正操作受付手段は、修正対象のフレームを指定するフレーム指定操作および当該指定フレームにおいて補正IDを追跡IDに修正する修正操作を受け付け、当該指定フレーム指定の各補正IDを前記修正操作に応じて追跡IDに修正することを特徴とする請求項５ないし８のいずれかに記載の自由視点映像生成装置。
10. 前記修正操作受付手段は、IDの修正を反映させるフレーム範囲の指定を受け付け、
    前記修正反映手段は、前記指定されたフレーム範囲内において各補正IDを前記修正操作に応じて追跡IDに修正することを特徴とする請求項９に記載の自由視点映像生成装置。
11. 複数の動的なオブジェクトを含む動画から自由視点映像を生成する方法において、
    動画の各フレームからオブジェクトを識別して追跡する手順と、
    複数のオブジェクトが重なるオクルージョン区間を判別する手順と、
    オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手順と、
    前記オクルージョン区間において、前記オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手順とを含むことを特徴とする自由視点映像生成方法。
12. 複数の動的なオブジェクトを含む動画から自由視点映像を生成するプログラムにおいて、
    動画の各フレームからオブジェクトを識別して追跡する手順と、
    複数のオブジェクトが重なるオクルージョン区間を判別する手順と、
    オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手順と、
    前記オクルージョン区間において、前記オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手順とを、コンピュータに実行させる自由視点映像生成プログラム。