JP2015191538A - 自由視点映像生成方法、装置およびプログラム - Google Patents
自由視点映像生成方法、装置およびプログラム Download PDFInfo
- Publication number
- JP2015191538A JP2015191538A JP2014069507A JP2014069507A JP2015191538A JP 2015191538 A JP2015191538 A JP 2015191538A JP 2014069507 A JP2014069507 A JP 2014069507A JP 2014069507 A JP2014069507 A JP 2014069507A JP 2015191538 A JP2015191538 A JP 2015191538A
- Authority
- JP
- Japan
- Prior art keywords
- occlusion
- frame
- tracking
- correction
- free viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】相互オクルージョンの発生した各オブジェクトを自由視点で正確かつ自然に表現できる自由視点映像生成装置を提供する。【解決手段】映像入力部10には奥行映像がフレーム単位で入力される。オブジェクト識別部20は、奥行映像の各フレームからオブジェクトを識別して識別し、さらに各オブジェクトを追跡して全フレームで同一オブジェクトには同一の識別子を付与する。オブジェクト区間検出部30は、奥行映像上で複数のオブジェクトが重なってオクルージョンが発生するオクルージョン区間を検出する。CGアニメーション生成部40は、相互オクルージョンが発生した各オブジェクトの映像部分と置換できるアニメーションモデルを生成する。自由指定映像生成部50は、別途に与えられる視点情報に基づいて奥行映像の自由視点映像を生成し、オクルージョン区間では、相互オクルージョンが発生した各オブジェクトの映像をアニメーションモデルに置換する。【選択図】図3
Description
本発明は、複数の動的オブジェクトを含む動画像から自由視点映像を生成する装置に係り、特に、複数の動的オブジェクトが重なることにより生じる相互オクルージョンが原因の画像破綻を解消する自由視点映像生成方法、装置およびプログラムに関する。
大空間で実施されるスポーツ競技を複数のカメラで撮影した多視点映像を対象に、対象オブジェクトのオクルージョンを検出する技術が特許文献1に開示されている。
サッカー等の屋外大空間で実施されるスポーツ映像を対象としたオブジェクト追跡手法は数多く提案されているものの、同一チームの複数選手が重なり合うようなシーンでは追跡誤りが避けられず、精度面で十分と言える手法は未だ確立されていない。
特に、自由視点合成では、オブジェクトの追跡結果を使用する場合、オブジェクト同士が重なるオクルージョン領域の検出と、オクルージョン前後のフレーム間において同一オブジェクトのテクスチャで補間する処理とが不可欠となるが、追跡誤りが含まれる場合、同一オブジェクトの特定が正しく行われず、結果として自由視点合成の結果が破綻するという技術課題があった。
このような技術課題に対して、本発明の発明者等は、各オブジェクトに追跡IDを対応付ける一方、追跡対象のオブジェクトにオクルージョンが発生して追跡IDを対応付け続けることができなくなると、オクルージョンの解消により改めて出現するオブジェクトに補正IDを一時的に付与し、その後、補正IDと正規の追跡IDとがマニュアル操作により対応付けられると、これを各フレームに反映させて各追跡IDの一貫性を担保し、各オブジェククトの追跡IDに基づく連続した追跡を可能にする技術を発明して特許出願した(特許文献2)。
特許文献2では、オクルージョン領域を生じる直前および直後の各フレームにおける同一オブジェクトのテクスチャをアルファブレンドすることでオクルージョン区間におけるテクスチャが補間処理される。当該手法では、オクルージョンの継続時間が限定的である場合には主観画質として大きな問題が生じないことが示されているが、継続時間が長くなると、テクスチャのブレンディング時に生じるアーティファクトの影響が顕著となり、結果的に主観画質が大きく劣化するという技術課題があった。
本発明の目的は、上記した従来技術の課題を解決し、相互オクルージョンの発生した各オブジェクトを自由視点で正確かつ自然に表現できる自由視点映像生成方法、装置およびプログラムを提供することにある。
上記の目的を達成するために、本発明は、複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、以下の構成を具備した点に特徴がある。
(1)複数のオブジェクトが重なるオクルージョン区間を判別する手段と、オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手段と、オクルージョン区間において、オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手段とを具備した。
(2)アニメーションモデルを生成する手段は、各オブジェクトの形状を模した三次元モデルと、各オブジェクトに固有のテクスチャを記憶する記憶手段とを具備し、オクルージョンが発生した各オブジェクトのテクスチャを前記三次元モデルに張り付けるようにした。
(3)アニメーションモデルを生成する手段は、各オブジェクトのオクルージョン区間の前後の動きから当該各オブジェクトのオクルージョン区間の動きを予測する手段と、三次元モデルに各オブジェクトの動きを再現させる複数のアニメーションパターンを記憶する手段を更に具備し、予測された動きに応じたアニメーションパターンを前記三次元モデルに適用するようにした。
本発明によれば、以下のような効果が達成される。
(1)奥行映像において相互オクルージョンが発生した各オブジェクトの表示が、当該オブジェクトの形態や動きを模したアニメーションモデルに置換されるので、自由視点映像において各オブジェクトを明瞭に表現できるようになる。
(1)奥行映像において相互オクルージョンが発生した各オブジェクトの表示が、当該オブジェクトの形態や動きを模したアニメーションモデルに置換されるので、自由視点映像において各オブジェクトを明瞭に表現できるようになる。
(2)オクルージョン区間の前後の姿勢や動きからオクルージョン区間中の各オブジェクトの動きを推定し、これをアニメーションモデルの動きに反映できるので、オクルージョン区間とその前後の映像との切り換え部分における繋がりを自然な感じに演出できるようになる。
(3)全フレームで各オブジェクトに付された追跡IDの一貫性が担保されるので、オブジェクトごとに固有のテクスチャを予め用意することにより、各オブジェクトのアニメーションモデルに対して固有のテクスチャを適用することができ、各アニメーションモデルを各オブジェクトに似せることができるようになる。
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の一実施形態に係る自由視点映像生成装置1の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
映像入力部10には、例えばサッカーの中継映像のように、複数の選手が動的なオブジェクトとして写る奥行映像として、多視点の動画や奥行情報を含む動画がフレーム単位で入力される。オブジェクト識別部20は、奥行映像の各フレームからオブジェクトを抽出して識別し、さらに各オブジェクトを追跡して全フレームで同一オブジェクトには同一の識別子を付与し続ける。
オブジェクト区間検出部30は、映像上で複数のオブジェクトが重なって相互オクルージョンが発生するオクルージョン区間を検出する。CGアニメーション生成部40は、相互オクルージョンが発生した各オブジェクトと置換できるアニメーションモデルを生成する。自由指定映像生成部50は、別途に与えられる視点情報に基づいて、前記奥行映像の自由視点映像を生成する。
前記CGアニメーション生成部40は、各オブジェクトの形状を模したワイヤモデルあるいはスケルトンモデルといった三次元モデル40aおよび各オブジェクトに固有のテクスチャを記憶するテクスチャ記憶部40bを具備し、相互オクルージョンが発生しているオブジェクトを識別し、当該オブジェクトに固有のテクスチャを前記三次元モデル40aに張り付けることでCGアニメーションを生成する。
前記自由指定映像生成部50において、オクルージョン処理部50aは、前記オクルージョン区間において、相互オクルージョンが発生した各オブジェクトの世界座標位置における映像を前記アニメーションモデルに置換する。
このような自由視点映像生成装置1は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション(プログラム)を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。
図2は、前記テクスチャ記憶部40bに予め記憶されているテクスチャの例を示した図であり、自由視点映像がサッカー中継の動画であれば、相互オクルージョンを発生させるオブジェクトとして、一方のチームの各選手を対象としたテクスチャ[同図(a)]、他方のチームの各選手を対象としたテクスチャ[同図(b)]および審判を対象とした各テクスチャ[同図(c)]が記憶されている。なお、特に各チームの選手に関するテクスチャは、顔の造形や背番号が異なるので、選手ごとに予め用意されている。
図1へ戻り、前記CGアニメーション生成部40はさらに、各オブジェクトのオクルージョン区間の前後の動きから当該各オブジェクトのオクルージョン区間の動きを予測する動き予測部40cおよび前記三次元モデル40aに各オブジェクトの動きを再現させる複数のアニメーションパターンを記憶するアニメーションパターン記憶部40dを具備し、予測された動きに応じたアニメーションパターンを前記三次元モデル40aに適用する。
図3は、前記オブジェクト識別部20の構成を示した機能ブロック図であり、オブジェクト検知部201は、シルエット領域抽出部201aおよび外接領域設定部201bを含み、前記奥行映像の各フレームからオブジェクトを検出する。
前記シルエット領域抽出部201aは、後に詳述するように、フレーム内の各画素をその画素値に基づいて二値化することによりシルエット領域と背景領域とに分類する。外接領域設定部201bは、各シルエット領域に外接する矩形の閉領域を抽出してオブジェクトの外接領域に設定する。
追跡ID対応付け部202は、前記初期設定フレームにおいて識別された各オブジェクトに固有の追跡IDを対応付ける。オブジェクト追跡部203は、前回フレームメモリ203aおよび今回フレームメモリ203bを備え、前回フレームにおいて識別された各オブジェクトと今回フレームにおいて識別された各オブジェクトとを比較する。そして、同一のオブジェクトには同一の追跡IDを対応付ける追跡を繰り返すことで、全フレームを通して同一のオブジェクトに同一の追跡IDを対応付ける。
補正ID対応付け部204は、今回フレームについて、前回フレームのいずれのオブジェクトとも対応付けられなかったオブジェクトに補正IDを対応付ける。設定記憶部205には、各フレームにおいて各オブジェクトに設定された外接領域、追跡IDおよび補正IDなどの情報が蓄積される。
修正操作受付部206は、オブジェクトに補正IDが対応付けられているフレームを指定するフレーム指定操作、および当該指定フレームの設定情報を蓄積部205から読み出して各補正IDを対応する追跡IDに修正するID修正操作を受け付ける。
ID修正部207は、前記指定フレームの各補正IDを前記修正操作にしたがって追跡IDに修正する。修正反映部208は、前記修正内容を各フレームの補正IDに反映することにより、全フレームを通じて同一オブジェクトには同一の追跡IDが付与されるようにして各追跡IDの一貫性を担保する。
次いで、図4のフローチャートを参照してオブジェクト追跡の方法を説明する。ステップS1では、動画ファイルからオブジェクト識別部102へ初期設定フレームが読み込まれる。この初期設定フレームには、追跡対象の全てのオブジェクトが表示されていることが望ましい。ステップS2では、前記シルエット領域抽出部102aにより、初期設定フレームからオブジェクトのシルエットが抽出される。
本実施形態では、次式(1)に基づいてフレーム内の全画素の画素値Icを識別することで、図5に示したように、オブジェクトと背景とに二値化されたシルエット画像が取得され、背景領域以外がオブジェクトobjのシルエット領域に分類される。なお、Icは注目している画素値、Ic_aveはフレーム内の全画素値の平均値、σcは全画素値の分散、thcは所定の閾値である。
ステップS3では、図6(a)に示したように、各オブジェクトobjに対して外接領域Fa,Fb,Fcが設定される。本実施形態では、各シルエット領域の8近傍で隣接する矩形の閉領域が外接領域Fとして設定される。このとき、外接領域Fbのように、複数のオブジェクトが重なるオクリュージョン領域については、ステップS4において、当該外接領域Fbを、同図(b)に示したようにオブジェクト毎に分割する分割処理がマニュアル操作により行われる。ステップS5では、同図(c)に示したように、前記追跡ID対応付け部103により各オブジェクトの各外接領域Fに固有の追跡ID (IDtr1,IDtr2,IDtr3,IDtr4) が対応付けられる。
ステップS6では、各外接領域FにN個の粒子フィルタが設定される。このとき、前記動画がサッカー中継であれば、各粒子フィルタには各チームのユニフォーム色が設定される。本実施形態では、各粒子の状態量c(t)が、画素の二次元座標(u(t),v(t))ならびに横方向の速度および縦方向の速度(Δu(t),Δv(t))を用いて次式(2)で定義される。
また、状態遷移関数は、フレーム間で等速直線運動を仮定し、ガウスノイズω(t)を用いて次式(3)のように定義される。
ステップS7では、動画ファイルから次フレームが読み出されて今回フレームとされる。ステップS8では前記ステップS2と同様に、今回フレームから各オブジェクトのシルエット領域が抽出される。ステップS9では、後述するオクルージョン発生中フラグFoccが参照され、ここではオクルージョン発生中ではないと判定されるのでステップS10へ進む。ステップS10では前記ステップS3と同様に、各シルエット領域に対して外接領域Fが設定される。
ステップS11では、今回フレームの各外接領域に一時的なラベルID (IDlabel) が対応付けられる。ステップS12では、前回フレームにおいて各オブジェクトに対応付けられた追跡IDと今回フレームにおいて各オブジェクトに対応付けられたラベルIDとの対応付けが行われる。
本実施形態では、各粒子フィルタtrを構成する粒子pの尤度 wtr,pが次式(4)により算出される。なお、ρback(p)は各オブジェクトの存在確率であり、次式(5)により求められる。また、ρuni(tr,p)は各オブジェクトのユニフォーム色に基づくオブジェクトらしさであり、次式(6)により求められる。λは、前記ρback(p),ρuni(tr,p)の重みである。
そして、前回フレームの追跡IDごとに、その外接領域Fと各ラベルIDに対応した外接領域Fとの尤度 wtr,pが求められ、最尤の外接領域Fに対応付けられているラベルIDが当該追跡IDに対応付けられ、これが全ての追跡IDに対して繰り返される。ステップS12では、いずれの追跡IDとも対応付けられなかったラベルIDが補正IDに変更される。
図7は、前記追跡ID、ラベルIDおよび補正IDの関係を模式的に示した図であり、前回フレームft-1では、同図(a)に示したように、例えば3つのオブジェクトobj1,obj2,obj3に対して、それぞれ追跡IDtr1,IDtr2,IDtr3が対応付けられていたところ、今回フレームftでは、同図(b)に示したように、オブジェクトobj1,obj2にオクルージョンが生じている。このため、前記ステップS10ではオブジェクトobj1,obj2の両方を含む矩形領域F1のみが抽出される。
前記ステップS11では、同図(c)に示したように、オブジェクトobj1,obj2の両方を含む外接領域F1にラベルIDとしてIDlabel1が対応付けられる。また、オブジェクトobj3を含む外接領域F3にはIDlabel3が対応付けられる。
前記ステップS12では、同図(d)に示したように、1つのラベルIDlabel1に2つの追跡IDtr1,IDtr2が対応付けられる。ステップS13では、前記1つのラベルIDlabelに複数の追跡IDtrが対応付けられたことでオクルージョンの発生が認識され、ステップS14へ進んでオクルージョン発生中フラグFoccがセットされる。
次のフレームft+1において、オブジェクトobj1,obj2のオクルージョンが解消されると、図7(e)に示したように、ステップS8では改めて3つのオブジェクトobj1,obj2,obj3が検出される。ステップS9では、オクルージョン発生中フラグFoccがセットされており、オクルージョン発生中と判定されるのでステップS19へ進む。
ステップS19では、前記ステップS8において3つのオブジェクトobj1,obj2,obj3が検出されていることを受けてオクルージョンが解消されたと判断される。ステップS20では、解消されたオクルージョン区間ΔToccが判別される。ステップS21では、前記オクルージョン発生中フラグFoccがリセットされる。
ステップS10では、各オブジェクトに対して外接領域F1,F2,F3がそれぞれ設定される。ステップS11では、各外接領域FにラベルIDとしてIDlabel1,IDlabel2,IDlabel3がそれぞれ対応付けられる。
ステップS12では、図7(f)に示したように、フレームftにおける追跡IDtr1,IDtr2が、いずれもフレームft+1のラベルIDlabel2と対応付けられる。また、フレームftにおける追跡IDtr3がラベルIDlabel3と対応付けられる。ステップS13では、オクルージョンの発生が認識されないのでステップS15へ進み、図7(g)に示したように、追跡IDが対応付けられなかったラベルIDlabel1の外接領域F1に補正IDとしてIDamd1が対応付けられる。
ステップS16では、今回フレームの各オブジェクトに対応付けられた追跡IDおよび補正IDが記憶される。ステップS17では、次フレームの有無が確認され、次フレームがあれば、ステップS7へ戻って上記の各処理がフレームごとに繰り返される。
その後、全てのフレームについて、各オブジェクトに対する追跡IDまたは補正IDの対応付けが完了するとステップS18へ進み、前記補正IDを本来の追跡IDに修正する修正処理が受け付けられる。
この修正処理では、補正IDを対応付けられているオブジェクト(外接領域)を含むフレームをオペレータが指定する操作が前記修正操作受付部107で受け付けられ、さらに前記指定フレームに関して補正IDがオペレータのマニュアル操作により正規の追跡IDに修正されると、これが前記ID修正部108により当該指定フレームに反映される。ステップS19では、前記修正反映部109により、当該修正内容が全てのフレームに反映され、各フレームにおいて同一の補正IDを対応付けられている外接領域の当該補正IDが全て同一の追跡IDに修正される。
なお、前記ステップS18における修正操作受付時に、IDの修正を反映させるフレーム範囲が指定されていれば、前記ステップS19では、当該フレーム範囲内の補正IDのみに前記修正内容が反映される。
図8は、補正IDを追跡IDに修正する方法を模式的に示した図であり、フレームft+nが補正操作の対象フレームとして指定され、その補正IDamd2が追跡IDtr1に修正され、補正IDamd1が追跡IDtr2に修正されている。そして、この修正内容は他のフレームにも反映され、各フレームにおいて、補正IDamd2は追跡IDtr1に修正され、補正IDamd1は追跡IDtr2に修正される。
次いで、前記オクルージョン処理部50aの動作を、図9のフローチャートに沿って説明する。本実施形態では、上記の処理で各オブジェクトの追跡IDtrおよびオクルージョン区間ΔToccが特定されると、ステップS31では、オクルージョンが発生した各オブジェクトのオクルージョン区間ΔToccの前後の姿勢に基づいてオクルージョン区間ΔTocc中の各オブジェクトのモーションが推定される。
ステップS32では、前記モーションの推定結果に基づいて、前記アニメーションパターン記憶部40dに予め記憶されている多数のアニメーションパターンの中から、当該モーションに近い動きを再現できるアニメーションパターンがオブジェクトごとに選択される。ステップS33では、オクルージョンが発生した各オブジェクトのテクスチャおよび前記選択されたアニメーションパターンが三次元モデル40aに適用されて各オブジェクトのアニメーションモデルが構築される。
ステップS34では、オクルージョンが発生した各オブジェクトの世界座標と別途に指定されている自由視点の向きとに基づいて、各オブジェクトのアニメーションモデルの姿勢が制御される。ステップS35では、自由視点映像の前記オクルージョンが発生した各オブジェクトの映像部分が前記各オブジェクトのアニメーションモデルに置換される。
図10は、オクルージョン区間が検出された奥行映像[同図(a)]の自由視点映像において、相互オクルージョンが発生した各オブジェクトを、従来技術に基づいてオクルージョン区間前後の各映像をアルファブレンディングすることで補完した映像[同図(b)]と、本発明を適用してアニメーションモデルに置換した映像[同図(c)]とを示した図である。
同図(b)では、相互オクルージョンが発生した各オブジェクトの輪郭に、アルファブレンディングに特有のぼやけが生じて画像破綻をきたしているのに対して、同図(c)では、各オブジェクトの輪郭が明確に表現されていることが判る。
なお、上記の実施形態では、オクルージョン区間ΔToccの長短に関わらず、相互オクルージョンが発生した各オブジェクトを一律にアニメーションモデルと置換するものとして説明したが、本発明はこれのみに限定されるものではなく、オクルージョン区間ΔToccの時間長が所定の閾値未満であればアルファブレンド処理の画像で補完し、所定の閾値以上であればアニメーションモデルと置換するようにしても良い。
本実施形態によれば、奥行映像において相互オクルージョンが発生した各オブジェクトの表示が、当該オブジェクトの形態や動きを模したアニメーションモデルに置換されるので、自由視点映像において各オブジェクトを明瞭に表現できるようになる。
また、本実施形態によれば、オクルージョン区間の前後の姿勢や動きからオクルージョン区間中の各オブジェクトの動きを推定し、これをアニメーションモデルの動きに反映できるので、オクルージョン区間とその前後の映像との切り換え部分における繋がりを自然な感じに演出できるようになる。
さらに、本実施形態では、追跡対象のオブジェクトにオクルージョンが発生して追跡IDを対応付け続けることができなくなっても、オクルージョンの解消により改めて出現するオブジェクトには補正IDが一時的に付与され、その後、補正IDと正規の追跡IDとがマニュアル操作により対応付けられると、これが各フレームにも反映されて各追跡IDの一貫性が担保される。したがって、オブジェクトごとに当該オブジェクトに固有のテクスチャを予め用意することにより、各オブジェクトのアニメーションモデルに対して固有のテクスチャを適用することができ、各アニメーションモデルを各オブジェクトに似せることができる。
10…映像入力部,20…オブジェクト識別部,30…オブジェクト区間検出部,40…CGアニメーション生成部,40a…三次元モデル,40b…テクスチャ記憶部,40c…動き予測部,40d…アニメーションパターン記憶部,50…自由指定映像生成部,50a…オクルージョン処理部,201…オブジェクト検知部,201a…シルエット領域抽出部,201b…外接領域抽出部,202…追跡ID対応付け部,203…オブジェクト追跡部,203a…前回フレームメモリ,203b…今回フレームメモリ,204…補正ID対応付け部,205…設定記憶部,206…修正操作受付部,207…ID修正部,208…修正反映部
Claims (12)
- 複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、
動画の各フレームからオブジェクトを識別して追跡するオブジェクト識別手段と、
複数のオブジェクトが重なるオクルージョン区間を判別する手段と、
オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手段と、
前記オクルージョン区間において、前記オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手段とを具備したことを特徴とする自由視点映像生成装置。 - 前記アニメーションモデルを生成する手段は、
各オブジェクトの形状を模した三次元モデルと、
各オブジェクトに固有のテクスチャを記憶する記憶手段とを具備し、
前記オクルージョンが発生した各オブジェクトのテクスチャを前記三次元モデルに張り付けることを特徴とする請求項1に記載の自由視点映像生成装置。 - 前記アニメーションモデルを生成する手段は、
各オブジェクトのオクルージョン区間の前後の動きから当該各オブジェクトのオクルージョン区間の動きを予測する手段と、
前記三次元モデルに各オブジェクトの動きを再現させる複数のアニメーションパターンを記憶する手段を更に具備し、
前記予測された動きに応じたアニメーションパターンを前記三次元モデルに適用することを特徴とする請求項1または2に記載の自由視点映像生成装置。 - 前記オクルージョンが発生した各オブジェクトのテクスチャにアルファブレンド処理を施して各オブジェクトを補完する手段を更に具備し、
前記オクルージョンが発生した各オブジェクトの画像を、前記オクルージョン区間の時間長が所定の閾値未満であれば前記アルファブレンド処理の画像で補完し、前記所定の閾値以上であれば前記アニメーションモデルと置換することを特徴とする請求項1ないし3のいずれかに記載の自由視点映像生成装置。 - 前記オブジェクト識別手段が、
入力映像からオブジェクトを検知するオブジェクト検知手段と、
所定の初期設定フレームから検知された各オブジェクトに追跡IDを対応付ける追跡ID対応付け手段と、
今回フレームにおいて前回フレームと同一のオブジェクトに同一の追跡IDを対応付けるオブジェクト追跡手段と、
今回フレームにおいて前回フレームと同一の追跡IDを対応付けられなかったオブジェクトに補正IDを対応付ける補正ID対応付け手段と、
補正IDを追跡IDに修正する操作を受け付ける修正操作受付手段と、
前記修正操作を各フレームの補正IDに反映させる修正反映手段とを具備したことを特徴とする請求項1ないし4のいずれかに記載の自由視点映像生成装置。 - 前記オブジェクト検知手段は、検知されたオブジェクトに外接領域を設定する外接領域設定手段を具備し、
前記オブジェクト追跡手段は、前回フレームにおいて各オブジェクトに設定された各外接領域と今回フレームにおいて各オブジェクトに設定された各外接領域とを比較し、前回フレームの外接領域と最尤である今回フレームの外接領域に同一の追跡IDを対応付けることを特徴とする請求項5に記載の自由視点映像生成装置。 - 前記オブジェクト検知手段は、検知された各オブジェクトの外接領域に対して当該オブジェクトの代表的な色情報を登録し、
前記オブジェクト追跡手段は、前記色情報および各オブジェクトの今回フレームにおける存在確率に基づいて各外接領域の尤度を求めることを特徴とする請求項6に記載の自由視点映像生成装置。 - 前記オブジェクト検知手段は、各フレーム画像を二値化してシルエット領域を抽出する手段を具備し、当該シルエット領域をオブジェクトとして識別することを特徴とする請求項5ないし7のいずれかに記載の自由視点映像生成装置。
- 前記修正操作受付手段は、修正対象のフレームを指定するフレーム指定操作および当該指定フレームにおいて補正IDを追跡IDに修正する修正操作を受け付け、当該指定フレーム指定の各補正IDを前記修正操作に応じて追跡IDに修正することを特徴とする請求項5ないし8のいずれかに記載の自由視点映像生成装置。
- 前記修正操作受付手段は、IDの修正を反映させるフレーム範囲の指定を受け付け、
前記修正反映手段は、前記指定されたフレーム範囲内において各補正IDを前記修正操作に応じて追跡IDに修正することを特徴とする請求項9に記載の自由視点映像生成装置。 - 複数の動的なオブジェクトを含む動画から自由視点映像を生成する方法において、
動画の各フレームからオブジェクトを識別して追跡する手順と、
複数のオブジェクトが重なるオクルージョン区間を判別する手順と、
オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手順と、
前記オクルージョン区間において、前記オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手順とを含むことを特徴とする自由視点映像生成方法。 - 複数の動的なオブジェクトを含む動画から自由視点映像を生成するプログラムにおいて、
動画の各フレームからオブジェクトを識別して追跡する手順と、
複数のオブジェクトが重なるオクルージョン区間を判別する手順と、
オクルージョンが発生したオブジェクトのアニメーションモデルを生成する手順と、
前記オクルージョン区間において、前記オクルージョンが発生した各オブジェクトの映像を前記アニメーションモデルに置換する手順とを、コンピュータに実行させる自由視点映像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014069507A JP2015191538A (ja) | 2014-03-28 | 2014-03-28 | 自由視点映像生成方法、装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014069507A JP2015191538A (ja) | 2014-03-28 | 2014-03-28 | 自由視点映像生成方法、装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015191538A true JP2015191538A (ja) | 2015-11-02 |
Family
ID=54425954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014069507A Pending JP2015191538A (ja) | 2014-03-28 | 2014-03-28 | 自由視点映像生成方法、装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015191538A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018129736A (ja) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020173629A (ja) * | 2019-04-11 | 2020-10-22 | キヤノン株式会社 | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム |
CN114140501A (zh) * | 2022-01-30 | 2022-03-04 | 南昌工程学院 | 目标跟踪方法、装置及可读存储介质 |
WO2023149333A1 (ja) * | 2022-02-07 | 2023-08-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 |
WO2023210187A1 (ja) * | 2022-04-26 | 2023-11-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2014
- 2014-03-28 JP JP2014069507A patent/JP2015191538A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018129736A (ja) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020173629A (ja) * | 2019-04-11 | 2020-10-22 | キヤノン株式会社 | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム |
JP7479793B2 (ja) | 2019-04-11 | 2024-05-09 | キヤノン株式会社 | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム |
CN114140501A (zh) * | 2022-01-30 | 2022-03-04 | 南昌工程学院 | 目标跟踪方法、装置及可读存储介质 |
WO2023149333A1 (ja) * | 2022-02-07 | 2023-08-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 |
WO2023210187A1 (ja) * | 2022-04-26 | 2023-11-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8781161B2 (en) | Image processing method and apparatus for generating a 3D model of a target object | |
JP2015191538A (ja) | 自由視点映像生成方法、装置およびプログラム | |
US20030076321A1 (en) | System and process for geometry replacement | |
CN107203970A (zh) | 一种基于动态最优缝合线的视频拼接方法 | |
Guomundsson et al. | ToF imaging in smart room environments towards improved people tracking | |
JP2018163467A (ja) | 自由視点画像の生成表示方法、装置およびプログラム | |
WO2014081394A1 (en) | Method, apparatus and system for virtual clothes modelling | |
US20150172627A1 (en) | Method of creating a parallax video from a still image | |
US11676252B2 (en) | Image processing for reducing artifacts caused by removal of scene elements from images | |
Wenninger et al. | Realistic virtual humans from smartphone videos | |
US20180084237A1 (en) | 3-dimensional (3d) content providing system, 3d content providing method, and computer-readable recording medium | |
JP2016071645A (ja) | オブジェクト3次元モデル復元方法、装置およびプログラム | |
Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
Flagg et al. | Human video textures | |
Zhang et al. | Fragmentation guided human shape reconstruction | |
US11195322B2 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
JP2015153321A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN108269288A (zh) | 智能异形投影非接触式交互系统和方法 | |
Collomosse et al. | Rendering cartoon-style motion cues in post-production video | |
CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
CN112712571B (zh) | 基于视频的物体平面贴图方法、装置以及设备 | |
JP2014199560A (ja) | 自由視点映像生成装置 | |
Anjou et al. | Football Analysis in VR-Texture Estimation with Differentiable Rendering and Diffusion Models | |
US11967019B1 (en) | Depth maps and 3D reconstruction with segmentation masks |