JP2020140285A - 情報処理装置、情報処理装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】 仮想視点情報を効率よく設定できるようにする。【解決手段】 情報処理装置１００のパラメータセット指定部２０４は、カメラパス取得部２０３により取得された仮想視点情報が有する仮想視点パラメータセットを指定する（Ｓ５０５）。カメラパス変更部２０５は、前記指定された仮想視点パラメータセットに応じた仮想視点画像に含まれるオブジェクト領域の大きさ及び該大きさを決定する情報のうち、少なくとも一つに基づいて、前記指定された仮想視点パラメータセットに含まれる仮想視点パラメータを変更する（Ｓ５０９〜Ｓ５１３）。【選択図】 図２

Description

本発明は、仮想視点情報を設定する技術に関するものである。

近年、複数台の撮影装置を異なる位置に設置して複数の視点から同期撮影し、当該撮影により得られた複数視点画像を用いて任意の視点に基づく仮想視点画像を生成する技術が注目されている。

上記のような仮想視点画像を生成する技術によれば、例えば、サッカーやラグビーの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作することができる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦等をすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。

特許文献１では、仮想視点画像を生成する技術について記載されている。

特開２０１７−１４２７５５号公報

しかしながら、従来の技術では、仮想視点画像を生成するための情報（例えば、仮想視点の位置及び向きの変遷に関する情報等である。以下、仮想視点情報とも呼ぶ）を効率よく変更できない恐れがあった。例えば、設定された仮想視点情報に基づいて仮想視点画像を生成する場合に、仮想視点画像における前景領域が大きくなりすぎたために、仮想視点情報の変更が必要になる場合がある。このような場合に、従来の技術では、ユーザが仮想視点情報の変更量を手動で指定する必要があった。手動で変更量を指定することは、仮想視点情報の変更に時間がかかり、効率が悪い。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、仮想視点情報を効率よく変更できるようにすることである。

本発明に係る情報処理装置は、複数の撮影装置によって異なる方向から撮影領域を撮影して得られる複数の撮影画像に基づき生成される仮想視点画像に係る仮想視点パラメータを変更する情報処理装置であって、仮想視点の位置を示す仮想視点パラメータと、向きを示す仮想視点パラメータとの、少なくとも一方を含む仮想視点パラメータセットを複数有する仮想視点情報であって、当該複数の仮想視点パラメータセットにより仮想視点画像に係る仮想視点の変遷を表す仮想視点情報を取得する取得手段と、ユーザによる指定操作に基づき、前記取得手段により取得される前記仮想視点情報が有する一または複数の仮想視点パラメータセットを指定する指定手段と、前記指定手段により指定された仮想視点パラメータセットに応じた仮想視点画像に含まれるオブジェクト領域であって、前記撮影領域内における所定オブジェクトに対応するオブジェクト領域の大きさ及び該大きさを決定する情報のうち、少なくとも一つに基づいて、前記仮想視点パラメータセットに含まれる仮想視点パラメータを変更する変更手段とを有する。

本発明によれば、仮想視点情報を効率よく変更することができるようになる。

第１の実施形態における情報処理装置１００のハードウェア構成を説明するための図 第１の実施形態における情報処理装置１００の機能構成を説明するための図 撮影装置と仮想カメラの配置の一例を説明するための図 第１の実施形態における仮想視点情報を設定するためのＵＩについて説明するための図 第１の実施形態における情報処理装置１００の処理手順を説明するためのフローチャート 第１の実施形態における仮想視点画像の一例を説明するための図 仮想視点情報が変更される場合の一例を説明するための図 第２の実施形態における仮想視点情報を設定するためのＵＩについて説明するための図 第３の実施形態における情報処理装置の機能構成を説明するための図 仮想視点情報の変更がキャンセルされる場合の一例を説明するための図 キャンセル判定部の処理手順を説明するためのフローチャート カメラパスの一例を説明するための図

以下、図面を参照しながら本実施形態について説明する。

（第１の実施形態）
図１は、本実施形態における情報処理装置１００のハードウェア構成を説明するための図である。情報処理装置１００は、ＣＰＵ（中央演算装置）１０１、ＲＡＭ（ランダムアクセスメモリ）１０２、ＲＯＭ（リードオンリーメモリ）１０３、及び、入出力部１０４を有する。以下、各部について説明する。

ＣＰＵ１０１は、ＲＡＭ１０２やＲＯＭ１０３に格納されているコンピュータプログラム及びデータを用いて、情報処理装置１００の全体を制御する。なお、情報処理装置１００がＣＰＵ１０１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。また、ＣＰＵ１０１は、ＲＯＭ１０３から読みだされたコンピュータプログラム、データ、及び、入出力部１０４を介して外部から供給されるデータ等をＲＡＭ１０２に記録する記録制御処理も行う。ＲＡＭ１０２は、ＲＯＭ１０３から読みだされたコンピュータプログラム、データ、及び、入出力部１０４を介して外部から供給されるデータ等を一時的に記憶する。ＲＯＭ１０３は、変更を必要としないコンピュータプログラム、及びデータを保持する。入出力部１０４は、情報処理装置１００に接続された入力装置１０５、及び出力装置１０６とデータの入出力を行う。入力装置１０５は、例えば、ジョイスティックあるいはボタン等の操作部材を有するコントローラである。また出力装置１０６は、例えばディスプレイであり、前記ユーザ操作に応じた処理結果、及び画像等を表示する。なお、情報処理装置１００が入力装置１０５及び出力装置１０６を有する構成としてもよい。

図２は、本実施形態における情報処理装置１００の機能構成を説明するための図である。情報処理装置１００は、仮想視点画像生成部２０１、カメラパス決定部２０２、カメラパス取得部２０３、パラメータセット指定部２０４、カメラパス変更部２０５、カメラパス出力部２１０を有する。以下、各部の機能について説明する。

仮想視点画像生成部２０１（以降、画像生成部２０１と呼ぶ）は、複数の撮影装置によって撮影された複数枚の画像をもとに、仮想視点に応じた仮想視点画像を生成する。図３に撮影装置３０１の配置の一例を示す。複数台の撮影装置３０１は、撮影空間を囲むように配置される。本実施形態の画像生成部２０１は、モデルベースドレンダリングに基づいて仮想視点画像を生成する。すなわち、画像生成部２０１は、複数台の撮影装置３０１により撮影された複数枚の撮影画像のそれぞれから前景領域を抽出する。本実施形態において前景領域とは、撮影画像内のオブジェクト領域であって、撮影装置が撮影する撮影領域内において位置が変化する所定オブジェクト（例えば選手やボールなど。以下、前景オブジェクトと呼ぶ）に対応する領域である。また、背景領域は、画像内における前景領域以外の領域である。画像生成部２０１は、複数の前景領域の画像に基づいて、前景領域に対応する被写体（例えば選手やボールなど）の３次元形状と位置を推定（特定）する。そして、画像生成部２０１は、前景オブジェクトの３次元形状と位置に関する情報、背景領域の情報、及び、仮想視点情報に基づいて、仮想視点画像を生成する。なお、仮想視点画像の生成方法は上記の方法に限らない。例えば、イメージベースドレンダリングに基づく仮想視点画像の生成方法などを採用しても良い。また、画像生成部２０１は、生成した仮想視点画像、および仮想視点情報が出力装置１０６によってユーザに視覚的に提示されるように制御する提示制御を行う。このとき、画像生成部２０１は、出力装置１０６に対し、生成した仮想視点画像をそのまま表示させてもよいし、後述するカメラパス決定部２０２において決定されるカメラパスに含まれる仮想視点パラメータを数値で表示させてもよい。また、画像生成部２０１は、仮想視点の変遷の軌跡を、矢印等を用いて表示させてもよい。ユーザは、出力装置１０６によって提示される情報から、仮想視点の変遷を認識することが可能である。

カメラパス決定部２０２は、ジョイスティック操作等によるユーザ操作に基づいて、撮影空間におけるカメラパスを決定する。カメラパスとは、仮想カメラのパラメータを複数有し、該複数のパラメータにより仮想視点の変遷を表す仮想視点情報である。なお、仮想カメラは、撮影領域の周囲に実際に設置される複数の撮影装置とは異なる仮想的なカメラであり、仮想視点を便宜的に説明するための概念である。すなわち、画像生成部２０１によって生成される仮想視点画像は、撮影領域に関連付けられる仮想空間内に設定された仮想視点から撮影される画像であるとみなすことができる。仮想カメラのパラメータは仮想視点パラメータと対応付けられる。すなわち、仮想カメラの位置は仮想視点の位置、仮想カメラの向き（撮影方向）は仮想視点の向きにそれぞれ対応するパラメータである。また、仮想カメラの焦点距離は仮想視点の画角に対応するパラメータである。ただし、仮想カメラの焦点距離が小さいほど仮想視点の画角は大きくなり、仮想カメラの焦点距離が大きいほど仮想視点の画角は小さくなる。つまり、仮想視点画像は、仮想空間内における仮想視点の位置から仮想カメラにより撮影された画像であると言える。図３に仮想カメラ３０２の配置の一例を示す。仮想カメラ３０２は、どの撮影装置３０１とも異なる視点から撮影領域を撮影することが可能である。また、以下ではカメラパス決定部２０２がカメラパスを決定するために行われるユーザ操作を、決定操作と呼ぶ。

カメラパスは、所定時間ごとに決定される仮想カメラのパラメータを複数有する。例えば、カメラパス決定部２０２において、仮想カメラの位置、向き、及び焦点距離を示すパラメータを有するカメラパスが決定される場合を考える。６０フレーム／秒で仮想視点画像が生成される場合、１／６０秒ごとに仮想カメラの位置、向き、及び焦点距離の情報がパラメータとして決定される。すなわち、１秒分のカメラパスは、各フレームの仮想カメラの位置、向き、及び焦点距離を示すパラメータをそれぞれ６０個ずつ含む。なお、ここでいう所定時間とは、複数の撮影装置３０１により撮影される複数の撮影画像に基づき生成される動画の再生時間である。このとき、撮影装置３０１の撮影期間は、任意の長さの時間でも良いし、ある一点の時刻でもよい。例えば、撮影装置３０１がある一点の時刻に撮影した撮影画像に基づいて、仮想カメラにより撮影される動画の生成を行うことができる。すなわち、カメラパスは、撮影装置３０１の撮影期間に撮影された撮影画像に基づき生成される動画により表される仮想視点の変遷を表す。図１２に、カメラパスの一例を示す。位置、向き、及び焦点距離を表すパラメータは、フレームＩＤと紐づけられている。つまり、カメラパス決定部２０２は、所定時間ごと（フレームＩＤごと）に仮想カメラのパラメータの組み合わせを決定する。なお、カメラパスに含まれる仮想カメラのパラメータは位置、向き、及び焦点距離の組み合わせに限らない。カメラパスに含まれる仮想カメラのパラメータは、位置を示すパラメータか、向きを示すパラメータの少なくとも一方を含んでいればよい。例えば、カメラパスに「向き」を示すパラメータが含まれていない場合、カメラパスは、視点の方向が変化しない仮想視点の変遷を表す。また、カメラパスに「位置」を示すパラメータが含まれていない場合、カメラパスは、視点の位置が固定された仮想視点の変遷を表す。本実施形態における以降の説明では、カメラパスの一例として、仮想カメラの位置、向き、及び焦点距離のパラメータの組み合わせを有するカメラパスが決定されるものとする。また、以下では、仮想カメラのパラメータの組み合わせ（本実施形態においては、仮想カメラの位置、向き、及び焦点距離のパラメータの組み合わせ）のことを、仮想視点パラメータセット、あるいは単にパラメータセットと呼ぶこととする。

図４を用いて、カメラパスを決定するためのＵＩ（ユーザインターフェース）の例について説明する。図４における指定コントローラ４０３及びカメラコントローラ４０４は、入力装置１０５の一例である。また、図４における仮想視点画像表示部４０１及びディスプレイ４０２は、出力装置１０６の一例である。カメラオペレータは、カメラコントローラ４０４を用いて、カメラパスを決定するための操作（決定操作）を行う。カメラオペレータは、カメラコントローラ４０４を用いることによって、仮想カメラに対し次の操作を行うことが可能である。仮想カメラを前後、左右、及び上下へ移動する。仮想カメラをパン、チルト、及びロール方向へ回転する。また、カメラオペレータは、カメラコントローラ４０４を用いることによって、決定中のカメラパスにおいて、パラメータセットを決定するフレームＩＤを変更する（時間を遡る、または進める）ことができる。カメラオペレータにより操作される仮想カメラの、位置、向き、及び焦点距離を表すパラメータセットが、画像生成部２０１へ送られ仮想視点画像が生成される。生成された仮想視点画像は、仮想視点画像表示部４０１に表示される。つまり、カメラオペレータは仮想視点画像を見ながら決定操作を行うことができる。また、ディスプレイ４０２は、例えば、決定中のカメラパスにおける撮影場面、仮想カメラで撮影される映像のビデオクリップ、及び、仮想カメラの撮影時刻等の情報を表示する。

カメラパス取得部２０３は、カメラパス決定部２０２において決定されたカメラパスを取得する。取得されたカメラパスは、後述するパラメータセット指定部２０４、及びカメラパス変更部２０５に送られる。また、カメラパス取得部２０３は、外部に接続されたサーバ等からカメラパスを取得してもよい。

パラメータセット指定部２０４は、ボタン操作等のユーザ操作に基づいて、カメラパスに含まれるパラメータセットの中から、変更が必要なパラメータを含むパラメータセットを指定する。このとき、パラメータセット指定部２０４がパラメータセットを指定するために行われるユーザ操作を、指定操作と呼ぶ。指定操作は、決定操作とは異なるユーザ操作であり、画像生成部２０１によってカメラパスがユーザに提示されている間に行われる操作である。また、パラメータセット指定部２０４は、指定したパラメータセットを特定するための情報（以降、特定情報と呼ぶ）を記録する。例えば、フレームＩＤ＝５に対応するパラメータセットが参照されている場合に、指定操作が検出されると、特定情報は「フレームＩＤ＝５」と記録される。なお、特定情報は、カメラパスにおける、変更が必要なパラメータを含むパラメータセットを特定できる情報であれば良い。例えば、特定情報は、仮想カメラによる撮影時刻情報でも良いし、仮想カメラにより撮影される映像の開始からの経過時間に関する情報でも良い。また、特定情報は、フレームＩＤ、仮想カメラによる撮像時刻情報、及び仮想カメラにより撮影される映像の開始からの経過時間に関する情報のいずれかの組み合わせによって表現されてもよい。

図４を用いて、特定情報を記録するためのＵＩの例について説明する。カメラパス決定部２０２において決定されるカメラパスは、カメラパス取得部２０３によって取得される。カメラパス取得部２０３によって取得されたカメラパスに係る仮想視点画像は、仮想視点画像表示部４０１に表示される。変更オペレータは、仮想視点画像表示部４０１を見ながら、指定コントローラ４０３を用いて、指定操作を行う。変更オペレータは、仮想視点画像表示部４０１を見て、仮想視点画像が想定と異なる、あるいは修正をしたい等の理由により、仮想視点画像を変更したいと意図する場合がある。変更オペレータは、変更したい仮想視点画像を見つけると、指定コントローラ４０３のボタンを押す。パラメータセット指定部２０４はボタン押下（指定操作）を検出すると、カメラパス決定部２０２において決定されるカメラパスにおいて、ボタンを押されたタイミングに応じて決まるパラメータセットを特定するための情報（特定情報）を記録する。このように、変更オペレータは、カメラパス決定部２０２においてカメラパスが決定される処理中に指定操作を行うことができる。なお、本実施形態では、決定操作を行うオペレータ（カメラオペレータ）と、指定操作を行うオペレータ（変更オペレータ）が別の人物であることを想定しているが、同一人物により決定操作及び指定操作が行われるようにしても良い。また、決定操作及び指定操作のうち少なくとも一方が、複数人により行われるようにしても良い。また、前述の例の他にも、変更オペレータは、出力装置１０６により提示される、カメラパスを示す画像（表形式、あるいは俯瞰画像等）を見ながら指定操作を行うことができる。すなわち、変更オペレータは、仮想視点情報が仮想視点画像およびカメラパスを示す画像の形で提示されている間に指定操作を行うことができる。

ところで、仮想カメラのパラメータを変更することが望ましい場面としては次のような例が考えられる。例えば、仮想視点画像における前景領域の大きさが大きくなりすぎたために、仮想視点画像の画質が通常時と比較して劣化する場合が想定される。ここでいう前景領域の大きさは、撮影画像における前景領域に対応するサイズ、あるいは、撮影画像全体における前景領域が占める割合によって表される。撮影画像における前景領域に対応するサイズは、例えば、前景領域のピクセル数、あるいは、前景領域を囲うように配置された矩形等の図形の面積で表される。一般に、仮想視点画像における同一の前景オブジェクトに対応する前景領域の大きさを大きくしていくと、デジタルズームと同じ効果で、仮想視点画像の画質が劣化する。この場合は、例えば、仮想カメラを「前景領域を小さくする方向」に移動させることにより、画質が改善される。つまり、仮想カメラを「前景領域を小さくする方向」に変化させるようにパラメータを変更することで、画質が改善される。反対に、仮想視点画像における前景領域が小さすぎたために、迫力がないと感じられる場合も想定される。この場合は、例えば、仮想カメラを「前景領域を大きくする方向」に変化させるようにパラメータを変更することで、迫力の問題が改善される。したがって、変更オペレータが指定操作を行う際、前景領域を大きくするか小さくするかを指定する操作も加えることで、後述するカメラパス変更部２０５における処理において、カメラパス変更部２０５がより適切なパラメータの変更を行うことができる。なお、仮想カメラの変化の方向は、上述した「前景領域を小さくする方向」または「前景領域を大きくする方向」の他にも、任意の方向へ変更することができるような構成としてもよい。以下は、仮想カメラの変化の方向を指定する操作を加えたＵＩの一例である。変更オペレータは、ボタンを３個有する指定コントローラ４０３を操作する。１番目のボタンが押された場合は、特定情報のみが記録される。２番目のボタンが押された場合は、特定情報と、仮想カメラの変化の方向として「前景領域を小さくする方向」が記録される。３番目のボタンが押された場合は、特定情報と、仮想カメラの変化の方向として「前景領域を大きくする方向」が記録される。ただしこの例に限らない。例えば、指定コントローラ４０３が１番目のボタンのみを有するようにしても良いし、２番目と３番目のボタンのみを有するようにしても良い。

また、前景領域を小さくする、あるいは大きくする方向へ仮想カメラを変化させる方法の例として、仮想カメラの位置を変更する方法と、仮想カメラの焦点距離を変更する方法とがある。変更オペレータが指定操作を行う際、仮想カメラの「位置」を示すパラメータを変更するか、仮想カメラの「焦点距離」を示すパラメータを変更するかを指定する操作も加えることで、より望ましいパラメータの変更を行うことができる。以下は、変更するパラメータを指定する操作を加えたＵＩの一例である。変更オペレータは、ボタンを３個有する指定コントローラ４０３を操作する。１番目のボタンが押された場合は、特定情報のみが記録される。２番目のボタンが押された場合は、特定情報と、変更するパラメータとして「位置」が記録される。３番目のボタンが押された場合は、特定情報と、変更するパラメータとして「焦点距離」が記録される。ただしこの例についても、上記の構成に限らない。例えば、指定コントローラ４０３が１番目のボタンのみを有するようにしても良いし、２番目と３番目のボタンのみを有するようにしても良い。

なお、パラメータセット指定部２０４は、特定情報と、仮想カメラの変化の方向、及び、変更するパラメータを指定する構成であってもよい。例えば、変更オペレータは、方向を指定するボタンを２個、パラメータを指定するボタンを２個、計４個のボタンを有する指定コントローラ４０３を操作する。方向を指定するボタンと、パラメータを指定するボタンを押すことを可能とすることで、すべての組み合わせが指定可能となる。

カメラパス変更部２０５は、パラメータセット指定部２０４において記録された特定情報に対応するパラメータセットを変更し、確定したカメラパスを設定する。カメラパス変更部２０５は、変更方向決定部２０６、画質限界サイズ決定部２０７、変更パラメータ決定部２０８と、変更量決定部２０９を有する。以下、カメラパス変更部２０５内の各部について説明する。

変更方向決定部２０６は、特定情報に対応する仮想カメラの変化の方向を決定する。パラメータセット指定部２０４において仮想カメラの変化の方向が指定された場合は、該方向が変更する方向として決定される。パラメータセット指定部２０４において方向が指定されなかった場合は、仮想視点画像の画質を低下させないようにするため、「前景領域を小さくする方向」が仮想カメラの変化の方向として決定される。パラメータセット指定部２０４において仮想カメラの変化の方向が指定されなかった場合の方向は、任意の方向に決定されるようあらかじめ設定する構成としてもよい。

なお、仮想視点画像における前景領域の大きさと、後述する前景領域の画質限界サイズから、仮想カメラの変化の方向を決定する構成としてもよい。この場合、変更方向決定部２０６は、仮想視点画像における前景領域の大きさと前景領域の画質限界サイズを比較する。仮想視点画像における前景領域の大きさが画質限界サイズよりも大きい場合は、仮想カメラの変化の方向として「前景領域を小さくする方向」が決定される。また、仮想視点画像における前景領域の大きさが画質限界サイズよりも小さい場合は、仮想カメラの変化の方向として「前景領域を大きくする方向」が決定される。

画質限界サイズ決定部２０７は、仮想視点画像における前景領域の画質劣化が許容可能である前景領域の最大の大きさを、画質限界サイズとして決定する。前景領域の画質限界サイズは、例えば、撮影装置３０１により撮影される撮影画像における前景領域に対応するサイズ、あるいは、撮影画像全体における前景領域が占める割合に基づくものとする。前景領域のピクセル数および撮影画像全体における割合は、画像生成部２０１により抽出された前景領域から取得できる。前景領域の画質限界サイズは、撮影装置３０１の配置及び設定によって異なる値となる。例えば、撮影装置３０１の焦点距離の設定が望遠の場合は、前景領域の画質限界サイズが大きくなる。逆に、撮影装置３０１の焦点距離の設定が広角の場合は、前景領域の画質限界サイズが小さくなる。画質限界サイズを決定する方法の一例として、画質限界サイズ決定部２０７は、仮想カメラ３０２から最も近い位置にある撮影装置３０１の設定、および該撮影装置３０１により撮影される撮影画像における前景領域の大きさをもとに画質限界サイズを決定する。

変更パラメータ決定部２０８は、特定情報に対応するパラメータセットにおいて、変更するパラメータを決定する。パラメータセット指定部２０４において変更するパラメータが指定された場合は、該パラメータが変更するパラメータとして決定される。パラメータセット指定部２０４においてパラメータが指定されなかった場合は、「位置」が変更するパラメータとして決定される。パラメータセット指定部２０４において変更するパラメータが指定されなかった場合のパラメータは、任意のパラメータに決定されるようあらかじめ設定する構成としてもよい。ただし、パラメータセットに含まれるパラメータが位置、向き、及び焦点距離を示すパラメータの組み合わせでない場合は、この限りではない。例えば、「位置」を示すパラメータがパラメータセットに含まれていない場合、変更パラメータ決定部２０８は、「焦点距離」を変更するパラメータとして決定する。また、「焦点距離」を示すパラメータがパラメータセットに含まれていない場合、変更パラメータ決定部２０８は、「位置」を変更するパラメータとして決定する。

特定情報に対応するパラメータセットに含まれる「位置」のパラメータを変更する場合は、カメラパス変更部２０５は以下の通りにパラメータを変更する。「前景領域を小さくする方向」へ仮想カメラを変化させる場合は、カメラパス変更部２０５は、仮想カメラ３０２が光軸の後方へ移動するようにパラメータを変更する。「前景領域を大きくする方向」へ仮想カメラを変化させる場合は、カメラパス変更部２０５は、仮想カメラ３０２が光軸の前方へ移動するようにパラメータを変更する。また、パラメータセットに含まれる「焦点距離」のパラメータを変更する場合は、カメラパス変更部２０５は以下の通りにパラメータを変更する。「前景領域を小さくする方向」へ仮想カメラを変化させる場合は、カメラパス変更部２０５は、仮想カメラ３０２の焦点距離が短くなるようにパラメータを変更する。「前景領域を大きくする方向」へ仮想カメラを変化させる場合は、カメラパス変更部２０５は、仮想カメラ３０２の焦点距離が長くなるようにパラメータを変更する。

なお、パラメータセット指定部２０４において指定されたパラメータセットに対応するフレームＩＤの、前後のフレームＩＤに紐づけられたパラメータセットに対応する仮想視点画像から、変更する仮想視点のパラメータを決定する構成としてもよい。この場合、変更パラメータ決定部２０８は、当該指定されたパラメータセットの前後のパラメータセットに対応する仮想視点画像から、仮想視点画像間における仮想カメラの位置の変化量を求める。また、変更パラメータ決定部２０８は、当該指定されたパラメータセットの前後のパラメータセットに対応する仮想視点画像から、仮想視点画像間における仮想カメラの焦点距離の変化量を求める。取得した位置の変化量と焦点距離の変化量を比較し、位置の変化量が大きい場合は、「位置」が変更するパラメータとして決定される。焦点距離の変化量が大きい場合は、「焦点距離」が変更するパラメータとして決定される。以上の構成が有効である例について説明する。例えば、サッカーの試合で選手がシュートしたシーンで、選手の周りをぐるりと回る仮想カメラに対応するカメラパスを考える。この場合は、仮想カメラの位置の変化は大きいが、焦点距離の変化は小さい。仮想カメラの位置を変更することで、変更後のカメラパスがよりなめらかになる。また、例えば、１００ｍ競走のシーンで、ゴールの場所に固定され、迫ってくる選手をとらえる仮想カメラに対応するカメラパスを考える。この場合は、仮想カメラの焦点距離の変化は大きいが、位置の変化は小さい。仮想カメラの焦点距離を変更することで、変更後のカメラパスがよりなめらかになる。

変更量決定部２０９は、変更パラメータ決定部２０８において決定されたパラメータの変更量を決定する。以下に、パラメータの変更量を決定する方法の例をいくつか示す。ただし、必ずしも以下の例に従って変更量を決定しなければならないわけではない。

仮想カメラの「位置」を変更する場合は、仮想カメラと、該仮想カメラに対応する仮想視点画像における前景領域に対応する前景オブジェクトとの位置関係に基づいて変更量を決定する。すなわち、仮想カメラと、前景オブジェクトとの距離をもとに変更量を決定する。仮想カメラ３０２と前景オブジェクトとの距離をＬ１、あらかじめ定めた係数をα（＞１）とする。仮想カメラ３０２を「前景領域を小さくする方向」へ変化させる場合、パラメータセットに含まれる「位置」のパラメータは、仮想カメラ３０２と前景オブジェクトとの距離がα倍になるよう変更される。したがって、変更量は（α−１）×Ｌ１となる。仮想カメラ３０２を「前景領域を大きくする方向」へ変化させる場合、パラメータセットに含まれる「位置」のパラメータは、仮想カメラ３０２と前景オブジェクトとの距離が１／α倍になるように変更される。したがって、変更量は（１−１／α）×Ｌ１となる。なお、「位置」を変更する場合に、仮想カメラ３０２と、仮想カメラが注目する点（以降、注視点と呼ぶ）との距離をもとに変更量を決定してもよい。仮想カメラ３０２の注視点とは、仮想カメラ３０２の光軸上の点である。注視点は、例えば、仮想カメラ３０２の光軸と、前景オブジェクトまたは背景領域に対応する被写体とが交わる点である。

仮想カメラの「焦点距離」を変更する場合は、仮想カメラの焦点距離をもとに変更量を決定する。仮想カメラ３０２の焦点距離をＬ２、あらかじめ定めた係数をβ（＞１）とする。仮想カメラを「前景領域を小さくする方向」へ変化させる場合、パラメータセットに含まれる「焦点距離」のパラメータは、仮想カメラ３０２の焦点距離が１／β倍になるよう変更される。したがって、変更量は（１−１／β）×Ｌ２となる。仮想カメラを「前景領域を大きくする方向」へ変化させる場合、パラメータセットに含まれる「焦点距離」のパラメータは、仮想カメラ３０２の焦点距離がβ倍になるよう変更される。したがって、変更量は（β−１）×Ｌ２となる。

なお、変更量決定部２０９は、画質限界サイズと、パラメータセット指定部２０３において指定されたパラメータセットに応じた仮想視点画像に含まれる前景領域のサイズとに基づいてパラメータの変更量を決定しても良い。一例として、仮想視点画像における前景領域の大きさが、前景領域の画質限界サイズになるよう仮想カメラの「位置」を変更する例について説明する。仮想カメラ３０２に写る前景領域の大きさをＨ、前景領域の画質限界サイズをＭａｘ、仮想カメラ３０２と前景オブジェクトとの距離をＬ３とする。このとき、仮想カメラ３０２と前景オブジェクトとの距離はＨ／Ｍａｘ倍になるよう変更される。したがって、仮想カメラを「前景領域を小さくする方向」へ変化させる場合（Ｈ＞Ｍａｘ）の変更量は、（Ｈ／Ｍａｘ−１）×Ｌ３となる。また、仮想カメラを「前景領域を大きくする方向」へ変化させる場合（Ｈ＜Ｍａｘ）の変更量は、（１−Ｈ／Ｍａｘ）×Ｌ３となる。

また、前景領域の画質限界サイズに基づいて、仮想カメラの「焦点距離」を変更する場合について説明する。仮想カメラ３０２に写る前景領域の大きさをＨ、前景領域の画質限界サイズをＭａｘ、仮想カメラ３０２の焦点距離をＬ４とする。このとき、仮想カメラ３０２の焦点距離はＭａｘ／Ｈ倍になるよう変更される。したがって、仮想カメラを「前景領域を小さくする方向」へ変化させる場合（Ｈ＞Ｍａｘ）の変更量は、（１−Ｍａｘ／Ｈ）×Ｌ４となる。また、仮想カメラを「前景領域を大きくする方向」へ変化させる場合（Ｈ＜Ｍａｘ）の変更量は、（Ｍａｘ／Ｈ−１）×Ｌ４となる。

以上が、カメラパス変更部２０５における各部の説明である。カメラパス変更部２０５は、各部で決定される、仮想カメラの変化の方向、変更するパラメータ、及び、パラメータの変更量に基づき、特定情報に対応するパラメータセットに含まれるパラメータを変更する。なお、カメラパス変更部２０５は、パラメータセット指定部２０４においてパラメータセットが指定されなかった場合、カメラパス取得部２０３において取得されたカメラパスを確定したカメラパスとして設定する。なお、本実施形態のカメラパス変更部２０５は、カメラパスを決定するための決定操作が行われている間に、パラメータセットを指定するための指定操作が検出された場合、カメラパス決定部２０２によるカメラパス決定処理の終了後にパラメータを変更する。ただし、この例に限らない。すなわち、カメラパス変更部２０５は、指定が検出された場合、カメラパス決定部２０２によるカメラパス決定処理中にパラメータを変更するようにしても良い。

また、カメラパス変更部２０５は、指定されたパラメータセットに含まれるパラメータを変更し、さらに指定されたパラメータセットを含む複数のパラメータセットを、カメラパス全体がなめらかになるよう変更する機能を備えていてもよい。一例として、指定されたパラメータセットに含まれる「位置」のパラメータを変更する場合について説明する。カメラパス変更部２０５は、指定されたパラメータセットに係る仮想カメラの位置と、該指定されたパラメータセットに対応するフレームＩＤの、前後のフレームＩＤと紐づけられたパラメータセットに係る仮想カメラの位置とを結ぶ線分のなす角γを算出する。γが９０度以下であった場合、カメラパス変更部２０５は、前後２つの仮想カメラの位置を、９０＜γ＜１８０を満たすように変更する。パラメータが変更された前後２つのパラメータの組み合わせに隣接するパラメータの組み合わせについても、同様の変更を行うことで、カメラパス全体がなめらかとなる。

カメラパス出力部２１０は、カメラパス変更部２０５により設定されたカメラパスに基づく仮想視点画像を出力する。設定されたカメラパスに基づく仮想視点画像は、例えば、放送システム、配信システム、及びリプレイ映像蓄積システム等に出力される。

図５は、本実施形態における情報処理装置１００の処理手順を説明するためのフローチャートである。ここでは、リプレイ映像編集を例として説明する。リプレイ映像編集において、カメラオペレータは、ジョイスティック等により仮想カメラを操作し、リプレイ映像を生成するためのカメラパスを決定する。図５を参照して説明する処理は、カメラオペレータがリプレイ映像編集の開始を指示すると開始される。

Ｓ５０１において、カメラパス決定部２０２は、所定時間が経過したかを判定する。例えば、６０フレーム／秒で仮想視点画像を生成する場合は、１／６０秒が経過したかを判定する。１／６０秒が経過した場合はＳ５０２へ進む。Ｓ５０２において、カメラパス決定部２０２は、カメラオペレータによる入力に基づいて、フレームＩＤに対応するパラメータセットを決定する。Ｓ５０３において、カメラパス決定部２０２は、フレームＩＤと、決定したパラメータセットをカメラパスの一部として記録する。Ｓ５０４において、カメラパス取得部２０３は、Ｓ５０３において記録されたパラメータセットを取得する。Ｓ５０５において、パラメータセット指定部２０４は、変更オペレータによる入力に基づいて、パラメータセットが指定されたか否かを判定する。指定された場合はＳ５０６へ進む。パラメータセットが指定されなかった場合はＳ５０７へ進む。Ｓ５０６において、パラメータセット指定部２０４は、指定されたパラメータセットについて、特定情報（例えば、フレームＩＤなど）を記録する。Ｓ５０７において、カメラパス決定部２０２は、カメラオペレータによりリプレイ映像編集の終了が指示されたか否かを判定する。リプレイ映像編集の終了が指示された場合はＳ５０８へ進む。リプレイ映像編集の終了が指示されなかった場合はＳ５０１へ戻る。Ｓ５０１からＳ５０７の処理において、特定情報と該特定情報に対応するパラメータセットが１／６０秒ごとに決定される。

Ｓ５０８において、カメラパス変更部２０５は、Ｓ５０６において記録された各特定情報に対し、Ｓ５０９以下の処理が終了していない特定情報があるかを判断する。Ｓ５０９以下の処理が終了していない特定情報がある場合は、Ｓ５０９へ進む。すべての特定情報に対しＳ５０９以下の処理を終了した場合は、Ｓ５１４へ進む。Ｓ５０９において、カメラパス取得部２０３は、カメラパス決定部２０２から、特定情報に対応するパラメータセットを取得する。Ｓ５１０において、変更方向決定部２０６は、特定情報に対応する仮想カメラの変化の方向を決定する。Ｓ５１１において、変更パラメータ決定部２０８は、特定情報に対応するパラメータセットにおいて、変更するパラメータを決定する。Ｓ５１２において、変更量決定部２０９は、Ｓ５１１において決定されたパラメータについて、変更量を決定する。Ｓ５１３において、カメラパス変更部２０５は、仮想カメラの変化の方向、変更するパラメータ、及びパラメータの変更量に応じて、特定情報に対応するパラメータセットに含まれるパラメータを変更する。Ｓ５１４において、カメラパス変更部２０５は、最終的に確定したカメラパスを設定する。Ｓ５１５において、カメラパス出力部２１０は、設定されたカメラパスに基づく仮想視点画像を出力する。

以下より、リプレイ映像を編集する例について説明する。カメラオペレータは、情報処理装置１００に接続されたカメラコントローラ４０４を操作してカメラパスを決定する。カメラオペレータの操作に応じて、決定されたカメラパスに基づく仮想視点画像が仮想視点画像表示部４０１に表示される。変更オペレータは、仮想視点画像を確認する。変更オペレータは仮想視点画像の変更が必要と判断すると、情報処理装置１００に接続された指定コントローラ４０３を操作して指定操作を行う。カメラオペレータがリプレイ映像編集の終了を指示すると、カメラパス変更部２０５は、決定されたカメラパスにおいて指定されたパラメータセットに含まれるパラメータを変更する。変更が終了すると、確定したカメラパスが設定される。設定されたカメラパスに基づく仮想視点画像は、放送システム、配信システム、及び蓄積システムへ送られ、リプレイ映像として放送、配信、及び蓄積される。

変更オペレータの判断に基づいてカメラパスの変更が行われる例について、図６及び図７を用いて説明する。例えば、変更オペレータが、図６（ａ）の仮想視点画像において前景領域６０１が大きくなりすぎて、画質が劣化していると判断したとする。図７（ａ）に、カメラオペレータが作成した全体のカメラパス７０１と、変更オペレータが指定したパラメータセットに含まれるパラメータ（ここでは、仮想カメラの「位置」）７０２を示す。カメラパス変更部２０５により、パラメータ７０２は図７（ｂ）におけるパラメータ７０３に変更される。該変更に伴い、カメラパス全体は７０４に変更される。また、パラメータ７０３に対応する仮想視点画像は図６（ｂ）となり、前景領域が小さくなり、画質が改善される。逆に、変更オペレータが、もう少し前景オブジェクトに近づいて迫力のある画像にしたいと判断した場合は、変更オペレータは指定コントローラ４０３を用いて、仮想カメラの変化の方向を「前景領域を大きくする方向」に指定する。カメラパス変更部２０５は、指定されたパラメータセットに対応する仮想視点画像における前景領域が大きくなるようにパラメータを変更する。仮想視点画像に迫力を出すためには、前景領域をできるだけ大きくするのがよい。しかし、前景領域を大きくしすぎると画質が低下する。その場合は、仮想視点画像の前景領域の大きさが画質限界サイズとなるように変更量を決めることで、画質が低下しない範囲で迫力のある仮想視点画像を生成することが可能である。

以上説明したように、リプレイ映像編集において、効率よくカメラパスの設定を行うことが可能である。結果として、画質のよい仮想視点画像をすばやく放送、配信、及び蓄積することが可能となる。

（第２の実施形態）
本実施形態においては、カメラパスを設定する処理の別の一例を説明する。なお、本実施形態に係る情報処理装置１００のハードウェア構成及び機能構成は、第１の実施形態と同様であるため、説明を省略する。

図８は、カメラパスの設定をリアルタイム処理によって行うためのＵＩの例を説明するための図である。カメラオペレータは、情報処理装置１００に接続されたカメラコントローラ４０４を操作して、決定操作を行う。カメラオペレータの操作に応じて、仮想視点画像が仮想視点画像表示部４０１に表示される。決定されたカメラパスは、カメラパス取得部２０３が取得し、タイムライン８０２に追加する。また、仮想視点画像が仮想視点画像表示部８０１に表示される。変更オペレータは、情報処理装置１００に接続された変更コントローラ８０４を操作し、指定操作を行う。カメラパス変更部２０５は、指定操作に応じて指定されたパラメータセットに含まれるパラメータを順次変更し、確定したカメラパスを設定する。カメラパス出力部２１０は、最終的に確定したカメラパスに基づく仮想視点画像を出力する。つまり、カメラオペレータが決定したカメラパスを一定時間以内に変更することにより、設定されたカメラパスに基づく映像を順次放送、及び配信することが可能となる。また、変更したカメラパスを蓄積することで、再放送が可能となる。

例えば、カメラオペレータが仮想カメラ３０２を操作する際に、前景オブジェクト（例えば、選手など）の動きについていけず、結果として画質が乱れてしまうことがある。その際も、変更オペレータの操作によって効率よくカメラパスを修正することができ、画質のよい仮想視点画像をすばやく放送、配信することが可能となる。

（第３の実施形態）
本実施形態においては、情報処理装置１００の構成と処理についての別の一例を説明する。

図９は、本実施形態における情報処理装置１００の機能構成を説明するための図である。第１の実施形態における情報処理装置１００の機能構成に、キャンセル判定部９０１が加えられている。その他のハードウェア構成及び機能構成は第１の実施形態と同様である。

キャンセル判定部９０１は、パラメータセット指定部２０４において指定されたパラメータセットに含まれるパラメータの変更をキャンセルするか否かを判定する。パラメータの変更がキャンセルされる一例を以下に説明する。パラメータセット指定部２０４においてパラメータセットが指定された場合、指定されたパラメータセットに含まれるパラメータを変更し、変更されたパラメータに対応する仮想視点画像を生成する。生成された仮想視点画像に、前景領域に対応する新たな前景オブジェクトが含まれた場合は、キャンセル判定部９０１は、カメラパスの変更をキャンセルすると判定する。新たに前景領域に対応する前景オブジェクトが含まれなかった場合は、キャンセルしないと判定する。

図１０を用いて、カメラパスの変更がキャンセルされる例を示す。図１０におけるパラメータ７０２（ここでは、仮想カメラの「位置」）に対応する仮想視点画像において、前景領域６０１が大きくなったため、パラメータ７０２はパラメータ７０３へ変更される。このとき、パラメータ７０３に対応する仮想視点画像において、前景領域１００１に対応する新たな前景オブジェクトが仮想視点画像に含まれたとする。この場合、前景領域１００１に対応する前景オブジェクトの位置と、パラメータ７０３に対応する仮想カメラの位置とが近いため、仮想視点画像における前景領域１００１が大きくなり、パラメータ７０２の変更前よりも画質が低下する。よってパラメータ７０３への変更をキャンセルすることで、仮想視点画像全体の画質がさらに低下することを防ぐことができる。

図１１は、本実施形態における情報処理装置１００の処理手順を説明するためのフローチャートである。図１１の処理は、図５のフローチャートのＳ５１３と置き換わる。Ｓ１１０１において、カメラパス変更部２０５は、特定情報に対応する仮想カメラの変化の方向、変更するパラメータ、及びパラメータの変更量に応じて、該特定情報に対応するパラメータセットに含まれるパラメータを変更する。Ｓ１１０２において、画像生成部２０１は、変更されたパラメータに基づいて仮想視点画像を生成する。Ｓ１１０３において、キャンセル判定部９０１は、生成された仮想視点画像に、前景領域に対応する新たな前景オブジェクトが含まれたか否かを判定する。前景領域に対応する新たな前景オブジェクトが含まれた場合は、Ｓ１１０４へ進む。前景領域に対応する新たな前景オブジェクトが含まれなかった場合は、処理を終了し、図５のフローチャートのＳ５０７へ進む。Ｓ１１０４において、カメラパス変更部２０５は、特定情報に対応するパラメータセットに含まれるパラメータの変更をキャンセルする。処理を終了し、図５のフローチャートのＳ５０７へ進む。

なお、パラメータの変更がキャンセルされる場合は前述の例に限らない。例えば、キャンセル判定部９０１は、カメラオペレータの入力操作に基づき、パラメータの変更をキャンセルする構成としてもよい。また、キャンセル判定部９０１による判定の基準を、ユーザが任意に設定することができる構成としてもよい。

また、図１１の説明では、変更後のカメラパスに基づく仮想視点画像を生成し、その仮想視点画像に基づいてカメラパスの変更をキャンセルするか否かを判定する処理を説明した。しかしこの例に限らない。つまり、カメラパス変更部９０１は、変更後のカメラパスに基づく仮想視点画像を生成しなくても、カメラパスの変更をキャンセルすべきか否かを判定することができる。カメラパス変更部９０１は、例えば、図１０に示す俯瞰画像を参照することで、変更後のカメラパスに基づく仮想視点画像を生成しなくても、カメラパス変更のキャンセル要否を判定できる。また、カメラパス変更部９０１は、各前景領域に対応する前景オブジェクトの位置がわかっていれば、図１０の俯瞰画像を参照したり、変更後のカメラパスに基づく仮想視点画像を生成したりすることなく、カメラパス変更のキャンセル要否を判定できる。このように、キャンセルの判定方法には種々の変形例が存在することに留意されたい。なお、変更後のカメラパスに基づく仮想視点画像を生成する方法には以下のメリットがある。例えば、カメラパス変更をキャンセルする場合に、当該仮想視点画像を表示画面に表示させることで、オペレータは、なぜキャンセルされたのかを容易に知ることができる。一方、変更後のカメラパスに基づく仮想視点画像を生成せずにキャンセル要否を判定する方法には、当該判定の処理負荷を低減できるというメリットがある。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
２０２ カメラパス決定部
２０５ カメラパス変更部

Claims (25)

1. 複数の撮影装置によって異なる方向から撮影領域を撮影して得られる複数の撮影画像に基づき生成される仮想視点画像に係る仮想視点パラメータを変更する情報処理装置であって、
   仮想視点の位置を示す仮想視点パラメータと、向きを示す仮想視点パラメータとの、少なくとも一方を含む仮想視点パラメータセットを複数有する仮想視点情報であって、当該複数の仮想視点パラメータセットにより仮想視点画像に係る仮想視点の変遷を表す仮想視点情報を取得する取得手段と、
   ユーザによる指定操作に基づき、前記取得手段により取得される前記仮想視点情報が有する一または複数の仮想視点パラメータセットを指定する指定手段と、
   前記指定手段により指定された仮想視点パラメータセットに応じた仮想視点画像に含まれるオブジェクト領域であって、前記撮影領域内における所定オブジェクトに対応するオブジェクト領域の大きさ及び該大きさを決定する情報のうち、少なくとも一つに基づいて、前記仮想視点パラメータセットに含まれる仮想視点パラメータを変更する変更手段と
   を有することを特徴とする情報処理装置。
2. 前記仮想視点画像に含まれる、前記オブジェクト領域の大きさを決定する情報は、前記撮影領域内における所定オブジェクトと、前記仮想視点パラメータセットによって示される仮想視点との位置関係を示す情報を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記仮想視点画像に含まれる、前記オブジェクト領域の大きさを決定する情報は、前記仮想視点の画角に対応する仮想視点パラメータを含むことを特徴とする請求項１に記載の情報処理装置。
4. 前記情報処理装置は、前記仮想視点情報に応じた仮想視点の変遷をユーザに認識させる情報が視覚的に提示されるように制御する提示制御手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記提示制御手段は、前記仮想視点情報に基づき生成される仮想視点画像を表示する、前記仮想視点情報に含まれる仮想視点パラメータを数値で表示する、または、前記仮想視点の変遷の軌跡を表示することにより、前記仮想視点情報に応じた仮想視点の変遷をユーザに認識させる情報が視覚的に提示されるように制御することを特徴とする請求項４に記載の情報処理装置。
6. 前記指定操作は、前記仮想視点情報が提示されている間に行われることを特徴とする請求項４または５に記載の情報処理装置。
7. 前記情報処理装置は、ユーザによる決定操作に基づいて前記仮想視点情報を決定する決定手段を有し、
   前記取得手段は、前記決定手段により決定された前記仮想視点情報を取得する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記指定操作は、前記決定手段による前記仮想視点情報の決定処理中に行われることを特徴とする請求項７に記載の情報処理装置。
9. 前記変更手段は、前記決定手段による前記仮想視点情報の決定処理中に、前記指定手段により指定された前記仮想視点パラメータセットに含まれる仮想視点パラメータの変更を行うことを特徴とする請求項７または８に記載の情報処理装置。
10. 前記変更手段は、前記決定手段による前記仮想視点情報の決定処理の終了後に、前記指定手段により指定された前記仮想視点パラメータセットに含まれる仮想視点パラメータの変更を行うことを特徴とする請求項７または８に記載の情報処理装置。
11. 前記指定操作は、該仮想視点の位置が変化するように前記仮想視点パラメータを変更するか、または画角が変化するように前記仮想視点パラメータを変更するか、を指定する操作を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記指定操作は、前記変更手段により変更される前記仮想視点パラメータに応じた仮想視点画像において、前記前景領域を大きくするか小さくするかを指定する操作を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記変更手段は、前記指定手段により指定された前記仮想視点パラメータセットに含まれる仮想視点パラメータを変更する場合、該指定された仮想視点パラメータセットを含む複数の仮想視点パラメータセットによって示される仮想視点の変遷がなめらかになるように、前記複数の仮想視点パラメータセットに含まれる仮想視点パラメータを変更することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記情報処理装置は、前記仮想視点パラメータの変更をキャンセルするキャンセル手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記キャンセル手段は、前記変更手段により変更された変更後の前記仮想視点パラメータに応じた前記仮想視点画像に基づいて、変更をキャンセルするか否かを判定することを特徴とする請求項１４に記載の情報処理装置。
16. コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。
17. 複数の撮影装置によって異なる方向から撮影領域を撮影して得られる複数の撮影画像に基づき生成される仮想視点画像に係る仮想視点パラメータを変更する情報処理装置の制御方法であって、
    少なくとも仮想視点の位置を示す仮想視点パラメータと、向きを示す仮想視点パラメータとの、少なくとも一方を含む仮想視点パラメータセットを複数有する仮想視点情報であって、当該複数の仮想視点パラメータセットにより仮想視点画像に係る仮想視点の変遷を表す仮想視点情報を取得する取得工程と、
    ユーザによる指定操作に基づき、前記取得工程において取得される前記仮想視点情報が有する一または複数の仮想視点パラメータセットを指定する指定工程と、
    前記指定工程において指定された仮想視点パラメータセットに応じた仮想視点画像に含まれるオブジェクト領域であって、前記撮影領域内における所定オブジェクトに対応するオブジェクト領域の大きさ及び該大きさを決定する情報のうち、少なくとも一つに基づいて、前記仮想視点パラメータセットに含まれる仮想視点パラメータを変更する変更工程と
    を有することを特徴とする制御方法。
18. 前記仮想視点画像に含まれる、前記オブジェクト領域の大きさを決定する情報は、前記撮影領域内における前景オブジェクトと、前記仮想視点パラメータセットによって示される仮想視点との位置関係を示す情報を含むことを特徴とする請求項１７に記載の制御方法。
19. 前記仮想視点画像に含まれる、前記オブジェクト領域の大きさを決定する情報は、前記仮想視点の画角に対応する仮想視点パラメータを含むことを特徴とする請求項１７に記載の制御方法。
20. 提示制御手段が、前記仮想視点情報に応じた仮想視点の変遷をユーザに認識させる情報が視覚的に提示されるように制御する提示制御工程を有することを特徴とする請求項１７乃至１９のいずれか１項に記載の制御方法。
21. 前記指定操作は、前記仮想視点情報が提示されている間に行われることを特徴とする請求項２０に記載の制御方法。
22. 決定手段が、ユーザによる決定操作に基づいて前記仮想視点情報を決定する決定工程を有し、
    前記取得工程は、前記決定工程において決定された前記仮想視点情報を取得する
    ことを特徴とする請求項１７乃至２１のいずれか１項に記載の制御方法。
23. 前記指定操作は、前記決定工程における前記仮想視点情報の決定処理中に行われることを特徴とする請求項２２に記載の制御方法。
24. 前記変更工程は、前記決定工程における前記仮想視点情報の決定処理中に、前記指定工程において指定された前記仮想視点パラメータセットに含まれる仮想視点パラメータの変更を行うことを特徴とする請求項２２または２３に記載の制御方法。
25. 前記変更工程は、前記決定工程における前記仮想視点情報の決定処理の終了後に、前記指定工程において指定された前記仮想視点パラメータセットに含まれる仮想視点パラメータの変更を行うことを特徴とする請求項２２または２３に記載の制御方法。

Images