JP2022182836A - 映像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 本開示は、被写体の視線に合った仮想視点映像を生成する。【解決手段】 複数の撮像部より得た映像に基づき、仮想視点映像を生成する映像処理装置であって、被写体が向けるべき位置を特定する情報を作成する作成部と、作成部が作成した情報に従って、被写体が向けるべき位置を表すシンボルを表示している間に、複数の撮像部から映像を取得し、所定の記憶部に格納する撮像制御部と、記憶部に格納された映像から被写体の位置を特定し、シンボルを表示する位置を仮想視点の位置とし、当該仮想視点の位置と被写体の位置に向けられる方向を、仮想視点からの視線方向とし、仮想視点の位置と仮想視点からの視線方向に基づいて、仮想視点からの見えを表す仮想視点映像を生成する生成部とを備える。【選択図】 図１

Description

本開示は、仮想視点映像を生成する技術に関するものである。

複数のカメラによる撮像で得た画像から、ユーザが指定した仮想視点から見た画像を作りだし、仮想視点映像として再生することができる仮想視点映像生成システムがある。例えば、特許文献１である。この文献に開示されたシステムは、複数のカメラで撮像した画像を伝送したのち、画像コンピューティングサーバ（画像処理装置）で、撮像した画像のうち変化が大きいものを前景画像とし、変化が小さいものを背景画像として抽出する。そして、システムは、抽出した前景画像に基づき被写体の三次元モデルの形状を推定・生成し、前景画像、背景画像と共に蓄積装置に蓄積するものである。これら前景画像、背景画像は仮想視点映像を生成するための素材と呼ばれる。そして、ユーザが指定した仮想視点に基づいて蓄積装置から適切なデータを取得し、仮想視点映像を生成する。

仮想視点映像を用いたコンテンツとして、歌手などの被写体を撮影し、リアルタイムにエンドユーザに配信するようなことが考えられる。

特開2019-050593号公報

このような、被写体の映像を撮影配信する際には、その被写体の視線をカメラの方向に向けるカメラ目線という演出が一般的に行われる。しかしながら、仮想視点映像の場合、被写体（演者）にとっては仮想視点の位置は不明であるため、その位置に視線を送ることは困難となる。

一方で撮影領域内に仮想視点の位置を示す表示器を用いるなどの手法も考えられる。しかしながら、仮想視点映像の生成には撮影データから三次元モデルを生成し、そのうえで仮想視点の情報に基づき映像を生成するため、撮影してから仮想視点映像が生成されるまでに数秒程度の遅延が存在する。そのため、実際に映像が生成されている仮想視点を表示したとしても、数秒時間のずれた仮想視点に対して視線を送ることとなり、視線を送ることとは困難である。

また、画像認識技術を用いて視線を検出しその方向に仮想視点を移動させるなどの方法も考えられるが、被写体の細かい視線の動きに仮想視点が反応してしまう可能性や、振り向き動作などの視線移動に対応が困難である。

本開示では、上記問題を解決する技術を提供する。そのため、本開示における映像処理装置は以下の構成を備える。すなわち、
複数の撮像手段より得た映像に基づき、仮想視点映像を生成する映像処理装置であって、
被写体が向けるべき位置を特定する情報を作成する作成手段と、
前記作成手段が作成した情報に従って、前記被写体が向けるべき位置を表すシンボルを表示している間に、前記複数の撮像手段から映像を取得し、所定の記憶手段に格納する撮像制御手段と、
前記記憶手段に格納された映像から前記被写体の位置を特定し、前記シンボルを表示する位置を仮想視点の位置とし、当該仮想視点の位置と前記被写体の位置に向けられる方向を、前記仮想視点からの視線方向とし、前記仮想視点の位置と前記仮想視点からの視線方向に基づいて、前記仮想視点からの見えを表す仮想視点映像を生成する生成手段とを備える。

本開示によれば、被写体の視線に合った仮想視点映像を生成することが可能になる。

第１の実施形態におけるシステム構成図。 第１の実施形態における被写体と視線指示と視線情報の関係を示す図。 視線情報生成の処理フローを示す図。 視線情報を利用した映像生成の処理フローを示す図。 現在の仮想視点と視点情報に基づく仮想視点をつなぐ仮想視点を示す図。 複数被写体における視線情報と仮想視点での画角との関係を示す図。 複数の視線指示と視線指示の表示例を示す図。 適用可能なコンピュータのハードウェアの構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜基本的なシステム構成と動作＞
本実施形態に係わる仮想視点映像を生成する映像処理システムの構成を図１に示す。本システムは、複数の撮像部１、同期部２、三次元形状推定部３、蓄積部４、仮想視点操作部５、仮想視点設定部６、映像生成部７、表示部８、視線指示部９、被写体位置検出部１０、視線情報生成部１１を含んで構成される。なお、本システムは、１つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。

次に本システムの各構成の動作の概略を説明し、その後、本実施形態における特徴的な構成に関して詳細を説明する。まず複数の撮像部１が、同期部３からの同期信号に基づいて互いに高精度に同期して撮像を行う。同期部３は例えば１／３０秒間隔で同期信号を出力した場合、撮像部１それぞれは、１／３０秒の間隔で同期し撮像を行うことになる。撮像部１は、撮影して得た撮影画像を三次元形状推定部３に出力する。なお、複数の撮像部１は、被写体を複数の視点位置と複数の方向から撮影するために、被写体を囲むように設置されている。

三次元形状推定部３は、入力された複数視点の撮像画像を用いて、たとえば被写体のシルエットを抽出したうえで、視体積交差法などを用いて被写体三次元モデルを生成する。そして、三次元形状推定部３は、生成した被写体三次元モデル及び被写体撮像画像を、蓄積部４に出力する。またこのときの被写体とは三次元形状モデル生成の対象となる人物やそれら人物が扱う物品などが含まれるが、本実施形態では、単純化するため、被写体は人物のみであるとして説明を行う。

蓄積部４は、仮想視点映像素材として以下のデータ群を保存・蓄積する。具体的には、三次元形状推定部３から入力された被写体撮影画像及び被写体三次元モデルである。また、各撮像部の位置姿勢及び光学特性などのカメラパラメータである。また、背景を描画するためにあらかじめ背景モデルと背景テクスチャ画像などを記録しておいてもよいが、本実施形態の主眼ではないので、ここでは背景に関しては言及しない。

仮想視点操作部５は、ジョイスティックなどの物理的なユーザインターフェースや、数値データの操作部を備え、それらの入力情報を仮想視点設定部６に供給する。

仮想視点設定部６は、仮想視点操作部５からの入力情報に基づき仮想視点位置情報を設定し、映像生成部７に供給する。仮想視点位置情報とは、仮想視点の位置姿勢などのカメラの外部パラメータに相当する情報と、焦点距離や画角といったカメラの内部パラメータに相当する情報、及び、時刻に関する情報で構成される。

映像生成部７は、入力された仮想視点位置及び時刻の情報に基づき、蓄積部４から該当時刻のデータを取得する。映像生成部７は、取得したデータのうち被写体三次元モデルおよび被写体撮影画像から仮想視点における被写体を描画し仮想視点映像を生成し表示部８に出力する。このとき、被写体と共に背景モデルと背景テクスチャ画像から仮想視点における背景を描画してもよい。

＜本実施形態の特徴的な構成の動作＞
次に実施形態における特徴的な構成要素とその具体的な動作を説明する。説明にあたり、視線情報の生成及び蓄積までの説明と、視線情報を用いた映像生成の説明の二つに分けて説明を行う。

まず視線情報生成に関する本実施形態の特徴的な構成要素となる視線指示部９、被写体位置検出部１０、視線情報生成部１１の機能について説明する。

本実施形態における視線指示部９は、ディスプレイやプロジェクタなどの表示装置と、その表示装置に表示する映像を時系列で管理・制御する表示制御装置からなる。以後、視線指示部９に関しては特に断りがなければ表示装置部分を指すものとする。視線指示部９は、撮影領域内またはその周囲に配置される表示装置であり、被写体から可視の視点指示の位置を表すシンボルを表示する。表示するシンボルとしては、例えば丸印や十字などのマークで良い。

被写体位置検出部１０は、撮影領域内の被写体の位置を検出する。本実施形態においては、三次元形状推定部３の形状推定結果である被写体三次元モデルを用いて被写体の位置を検出する。具体的には被写体の三次元モデルの上部約２５ｃｍを頭部として検出しその重心を求めることで被写体の位置、特に頭部位置を検出する。

視線指示部９は、被写体が視線を向ける方向と位置を指示する。この視線指示の視線指示の表示位置、及び被写体位置検出部１０で検出される被写体位置に関しては、あらかじめ三次元形状推定部３及び撮像部１と高精度に位置が校正されており、それぞれ情報が指し示す位置情報は同じ座標空間で扱える情報とする。

視線情報生成部１１は、視線指示部９の示す視線指示位置の情報と被写体位置検出部１０が検出した被写体の位置情報に基づき、視線情報を蓄積部４に記録する。このときの視線情報は図２に示すような被写体の位置と視線指示位置を結ぶ直線（線分）の情報として記録する。

続いて視線情報生成部１１の視線情報生成処理を図３のフローチャートを参照して説明する。

Ｓ３００において、視線情報生成部１１は、撮影するコンテンツ、楽曲に合わせて基準時刻から視線指示を表示する時刻、表示する位置・方向に関して計画を行う。

次にＳ３０１にて、視線情報生成部１１は、計画された目線指示に関して視線指示部９に計画された目線指示の回数分登録を行う。

次にＳ３０２において、視線情報生成部１１は、撮影開始の基準時刻に合わせて視線指示部９の動作を開始させる。この基準時刻とは例えばミュージックビデオやコンサート映像の場合楽曲の開始時刻に同期して視線指示部９の動作を開始するなどである。

その後、Ｓ３０３にて、視線情報生成部１１は、スケジュールされた時刻になると、視線指示部９の表示部に事前に登録された位置にマークを表示する。このとき表示するマークに関しては登録情報に基づき移動なども行うことが出来る。合わせてＳ３０４にて、視線情報生成部１１は、被写体位置検出部１０で被写体の位置を検出させる。そして、Ｓ３０５にて視線情報生成部１１は、視線指示位置と被写体位置に基づいた視線情報を生成したうえで蓄積部４に記録する。上記Ｓ３０３からＳ３０５の動作をスケジュールされた時間及び回数繰り返し行うことで仮想視点映像素材の記録と合わせて、視線情報の生成・記録が行われる。

次に、視線情報を用いた、仮想視点設定部６、映像生成部７による映像生成に動作に関して処理フローを図４のフローチャート沿って説明を行う。

まず、仮想視点設定部６は、或る時刻（初期段階では、映像記録開始時）における視線情報が蓄積部４に蓄積されているか否か判定する。仮想視点設定部６は、視線情報が存在しないと判定した場合は、Ｓ４００に処理を行う。このＳ４００において、仮想視点設定部６は、その時間（期間）では仮想視点操作部５の入力に基づく仮想視点情報を生成する。この仮想視点情報には、仮想視点の位置、及び、仮想視点における光軸方向と画角が含まれる。

一方、仮想視点設定部６は、或る時刻（初期段階では、映像記録開始時）における視線情報が蓄積部４に蓄積されていると判定した場合は、処理をＳ４０１に進める。このＳ４０１にて、仮想視点設定部６は、蓄積部４に蓄積された視線情報に基づき、仮想視点情報を生成する。実施形態の場合、この仮想視点情報は、被写体の視線を送る方向を規定するために表示されたマーク位置を仮想視点の位置とする情報、その仮想視点の位置から被写体（の頭部）へ向かう視線方向を光軸とする情報、及び、所定の画角を示す情報を含む。そして、その上で、Ｓ４０２にて、仮想視点設定部６は、Ｓ４０１にて生成した仮想視点情報の修正処理を行う。具体的には、仮想視点設定部６は、仮想視点操作部５の入力により画角の変更や直線状の前後への移動などが許容された範囲内において変更を適用した仮想視点情報を生成する。これにより仮想視点位置を被写体に近づけるといった演出や、ズーミングなどを画角の変更をカメラ目線の状態を維持したまま行うことが出来る。

そして、Ｓ４０３にて、仮想視点設定部６は、生成した仮想視点情報を映像生成部７に設定する。上記Ｓ４００～Ｓ４０３の処理は映像生成中、各時刻において都度実施される。

映像生成部７は、仮想視点設定部６により仮想視点情報が設定されるたびに、蓄積部４に蓄積された、該当する時刻の複数視点の撮像画像を用いて、設定されや仮想視点情報に基づく仮想視点画像（仮想視点映像における１フレーム）を生成し、表示部８に出力する。上記では、映像生成部７は、生成した仮想視点画像を表示部８に出力するものとして説明したが、仮想視点映像のファイルの１フレームとして記憶装置に格納する、又は、ネットワーク上に配信するようにしても良い。

上記の説明の通り、積部４に仮想情報として蓄積されている時間範囲においては、被写体が目線を向けている方向に配置された仮想視点位置とし、その位置から被写体の方向を向いた仮想視点映像、すなわち、被写体のカメラ目線の映像を生成することが可能となる。

この二つの処理フローの組み合わせにより、仮想視点映像の撮影空間にいる被写体に適切に視線の指示を行うことができ、その指示を行っている時刻に対して指示位置と被写体の位置関係から生成される視線情報が記録される。またその視線情報を用いることで仮想視点映像生成に遅延があったとしても映像生成時に被写体が視線を送っているはずの方向からの仮想視点映像が生成できる。

[その他の本実施形態］
本実施形態において視線指示部９はディスプレイなどの表示装置を用いた構成に限らず物理的なマークを備える構成としてもよい。例えば棒状のものの先に球体をつけたものなどで構成し、被写体にその球体に視線を送るように指示するなどである。そして球体を検出できるモーショントラッキング手段を含めた構成とすることで視線指示位置を三次元的に取得することが出来る。また、この場合、装置はトラッキング部を有し、スケジューリングされた時刻の物理マーカーの位置を記録することとなる。

また、本実施形態において被写体位置検出部１０は、三次元形状推定部３の推定した被写体三次元モデルの頭部を検出するとしたがこれに限定するものではない。例えば、単純に被写体三次元モデルの重心や外接直方体（バウンディングボックス）の重心としてもよい。そのほかに、被写体三次元形状を用いずに、ＧＰＳのようなセンサによって被写体位置を検出してもよいし、撮影画像から画像認識技術を用いて被写体の顔・頭部位置を検出してもよい。

また、本実施形態において視点情報に基づく仮想視点が生成されている場合、直線状での仮想視点の移動が許容されると記載したが、具体的にはあらかじめ設定された距離以上被写体に仮想視点が接近できないなどの制約を設けてもよい。これにより例えば仮想視点が被写体内部や背面に回り込んでしまい被写体が画角外となることを抑制できる。

また、仮想視点へ手振れを模擬した入力を行いたい場合などは視線情報の直線への拘束を緩め直線外への移動もわずかに許容するなどのしたうえで仮想視点操作部５の入力によりその範囲内での移動を可能とする構成としてもよい。そのほかに手振れの模擬に関しては仮想視点操作部５からの入力に限定せず、仮想視点設定部において手振れを模擬した振動（移動）を適用してもよい。例えば、視線指示部９が設定する視線方向を示すマークの位置、或いは、仮想視点操作部５が設定する仮想視点の位置を、時間軸にランダムに変化する振動に相当する座標変化量を加算するようにしても良い。

また、上記実施形態において視線情報がある時刻においては、仮想視点設定部６が自動的に視線情報に基づく仮想視点位置に仮想視点を移動するように記載したが、必ずしもそれに限定するものではない。例えば図５に示すようにユーザの指示に基づき、視点情報が記録された時刻に先立って現在の仮想視点位置から、視線情報に基づく仮想視点位置への連続的に滑らかに移動する仮想視点情報である中間仮想視点情報を仮想視点設定部６が生成する構成としてもよい。そのほかにも、視線情報が記録されている時刻であったとしても、ユーザの指示により視線情報に基づいた仮想視点位置へ移動しないなどの選択が可能であってもよい。

また、複数の映像生成部７を備え仮想視点映像を同時に生成し映像切り替え装置などを用いて複数の仮想視点映像を切り替えるような構成とした場合、必ずしもすべての仮想視点が視線情報に基づく仮想視点を設定しなくてもよい。具体的には、複数の仮想視点映像生成のうち選択された１つのみ視線情報に基づく仮想視点映像を生成するように設定したうえで、他の仮想視点映像と目線情報に基づく仮想視点を映像切り替え装置で切り替えて映像出力してもよい。

また、本実施形態において一つの視点指示部９と一人の被写体の場合について言及したが、必ずしもこの構成に限定するものではない。例えば図６（ａ）に示すように一つの視線指示に対して複数の被写体を視線情報生成の対象とする構成としてもよい。この場合、被写体位置検出部１０は各被写体の位置情報を検出し、視線情報生成部１１は視線指示位置と複数の被写体位置とを結ぶ複数の直線を視線情報として生成し、蓄積部４に記録する。そのうえで、仮想視点映像生成時にはそれぞれの視線情報に基づいて図６（ｂ）に示すように複数の仮想視点設定し、複数の仮想視点映像を生成してもよい。そのほかにも図６（ｃ）に示すように、複数の視線情報が交わる点（視線指示位置）に一つの仮想視点を設定したうえで、二つの視線情報に基づく方向を包含するように、仮想視点の方向及び画角を設定してもよい。図６（ｃ）では二人の被写体を均等に配置されるような画角を例として記載したが、例えばどちらか一人が中央に位置するように仮想視点を設定したうえで、もう一人が画角内に収まるように画角を調整するような仮想視点設定部６としてもよい。

また、本実施形態において一つの視点指示部９を用いる構成を示したが、これに限定するものではない。例えば図７（ａ）に示すように複数の視点指示を備え複数人の被写体に対して個別の視線指示を行う構成としてもよい。この場合、視線情報生成部１１は視線指示部９の指示する位置と対応する被写体位置毎の視線情報を生成することで、同時刻に複数の視線情報を蓄積部４に記録する。これにより同時刻おいて複数の仮想視点映像を提供するような多視点映像配信を行うような場合、被写体ごとのカメラ目線を同時に映像生成可能となる。ここでは便宜上複数の視点指示部９としたが、例えばディスプレイなどの表示装置により構成される視点指示部９である場合、必ずしも複数の視点指示部９を備える必要はない。例えば図７（ｂ）、（ｃ）に示すように単一の表示装置に複数の視線指示を異なるマークなどで示す構成としてもよい。まら、その他にも、被写体が自信の視線を送るマークを識別可能とするため、マークに被写体を特定するための情報（図示では名前）を表示することで、被写体ごとに視線を指示する構成としてもよい。

［その他の構成］
図１に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１に示す撮像部１を除く構成は、例えばパーソナルコンピュータに代表される情報処理装置のハードウェアと、実行するアプリケーションプログラムで実現させても良い。

図８は、上記各実施形態に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る間接位置推定装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ８０１は、図１に示した、撮像部１を除く、各処理部として機能することになる。

ＲＡＭ８０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ８０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。出力部８０５は、ＣＰＵ８０１による処理結果を表示する。また出力部８０５は例えば液晶ディスプレイで構成される。たとえば仮想視点操作部５は操作部８０４で、表示部８は出力部８０５で構成される。

外部記憶装置８０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０６には、処理対象としての各画像データが保存されていても良い。また、この外部記憶装置８０６は、図１における蓄積部４として機能し、更には、視線指示部９が作成した時間軸に沿った視線方向のスケジュールデータの格納用に利用される。

外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜、ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。Ｉ／Ｆ８０７には、ＬＡＮやインターネット等のネットワーク、図１の撮像部１に相当する複数の撮像装置１や、視線指示部９などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ８０７を介して様々な情報を取得したり、送出したりすることができる。８０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は、前述の実施形態で説明した作動をＣＰＵ８０１が中心となってその制御を行う。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１…撮像部、２…同期部、３…３次元形状推定部、４…蓄積部、５…仮想視点操作部、６…仮想視点設定部、７…映像生成部、８…表示部、９…視線指示部、１０…被写体位置検出部、１１…視線情報生成部

Claims (8)

1. 複数の撮像手段より得た映像に基づき、仮想視点映像を生成する映像処理装置であって、
   被写体が向けるべき位置を特定する情報を作成する作成手段と、
   前記作成手段が作成した情報に従って、前記被写体が向けるべき位置を表すシンボルを表示している間に、前記複数の撮像手段から映像を取得し、所定の記憶手段に格納する撮像制御手段と、
   前記記憶手段に格納された映像から前記被写体の位置を特定し、前記シンボルを表示する位置を仮想視点の位置とし、当該仮想視点の位置と前記被写体の位置に向けられる方向を、前記仮想視点からの視線方向とし、前記仮想視点の位置と前記仮想視点からの視線方向に基づいて、前記仮想視点からの見えを表す仮想視点映像を生成する生成手段と
   を備えることを特徴とする映像処理装置。
2. 前記作成手段は、被写体が向けるべき、時間軸に沿った視線方向を表す位置を特定する情報を作成することを特徴とする請求項１に記載の映像処理装置。
3. 前記被写体が複数の場合、前記作成手段は被写体それぞれの視線方向を示す位置を特定する情報を作成し、前記撮像制御手段は被写体それぞれが識別可能なシンボルを前記作成手段が作成した情報に従って表示する
   ことを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記生成手段は、前記仮想視点の位置から前記被写体の位置に向かう方向を、光軸とする仮想視点映像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
5. 前記生成手段は、前記被写体が複数の場合、当該複数の被写体を包含する範囲を画角とする仮想視点映像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
6. ユーザによる操作で仮想視点位置と仮想視点の姿勢を指示する指示手段を備え、
   前記生成手段は、前記作成手段で被写体が向けるべき視線方向を特定する情報が無い期間では、前記指示手段で指示された仮想視点位置と姿勢に従って仮想視点映像を生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
7. 複数の撮像手段より得た映像に基づき、仮想視点映像を生成する映像処理装置の制御方法であって、
   被写体が向けるべき位置を特定する情報を作成する作成工程と、
   前記作成工程が作成した情報に従って、前記被写体が向けるべき位置を表すシンボルを表示している間に、前記複数の撮像手段から映像を取得し、所定の記憶手段に格納する撮像制御工程と、
   前記記憶手段に格納された映像から前記被写体の位置を特定し、前記シンボルを表示する位置を仮想視点の位置とし、当該仮想視点の位置と前記被写体の位置に向けられる方向を、前記仮想視点からの視線方向とし、前記仮想視点の位置と前記仮想視点からの視線方向に基づいて、前記仮想視点からの見えを表す仮想視点映像を生成する生成工程と
   を備えることを特徴とする映像処理装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の方法の各工程を実行させるためのプログラム。

Images