JP2022188095A - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点の設定に関する利便性を向上する情報処理装置、方法及びプログラムを提供する。【解決手段】方法は、複数の撮影装置により得られる複数画像に基づいて仮想視点画像を生成するための時刻パラメータ、仮想視点位置パラメータ及び視線方向パラメータを含む複数パラメータの取得手段と、取得した複数パラメータに対応する第１オブジェクト或いは第１オブジェクトに対応する変更可能なパラメータを示す第２オブジェクト及び第３オブジェクトのいずれかを表示させる表示制御手段と、を有する。第２オブジェクトは、第１オブジェクトに対応する複数パラメータのうち、仮想視点位置パラメータ及び視線方向パラメータを維持し、時刻パラメータが変更可能であることを示す。第３オブジェクトは、第１オブジェクトに対応する複数パラメータのうち、仮想視点位置パラメータ、視線方向パラメータ及び時刻パラメータが変更可能であることを示す。【選択図】図７

Description

本発明は、情報処理装置、情報処理装置の制御方法、及びプログラムに関する。

近年、複数の撮像装置を異なる位置に設置して、これらの撮像装置により複数の視点から同期して撮影された複数の画像を用いて、仮想的な視点である仮想視点からの画像である仮想視点画像を生成する技術が注目されている。
仮想視点画像の生成及び閲覧は、例えば、複数の撮像装置が撮影した画像をサーバ等に集約し、画像が集約されたサーバ等が、仮想的な視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。
このような仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した画像から、コンテンツ制作者によって迫力のある視点のコンテンツが制作される。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来撮影されていた画像と比較してユーザにより高い臨場感を与えることができる。
仮想視点画像を生成するためにユーザが仮想的な視点を決定すると労力がかかることがある。この課題に関し、特許文献１には、あるユーザの視点情報を他のユーザに推薦することが開示されている。

特開２０１４－２１５８２８号公報

しかしながら、仮想視点の設定に関する利便性が不十分であることがあった。例えばユーザが、過去のある時刻について設定した仮想的な視点の位置、仮想的な視線、画角等の各条件を再現したいと考えた場合に、操作部を介してインタラクティブに各条件を調整すると労力がかかる。より具体的には、ある時刻（又は期間）に対応する仮想視点画像コンテンツを生成したあと、その編集のために、当該時刻（又は期間）の仮想視点と同様の条件（例えば、仮想的な視点の位置、視線、画角等）にいったん戻したいという要望が生じ得る。このような要望に対し、ユーザが１つ１つの条件を操作部によって調整すると大きな労力を要することになりかねなかった。

本発明の情報処理装置は、複数の撮影装置が撮影することにより得られる複数の画像に基づいて仮想視点画像を生成するための、時刻を表すパラメータと、仮想視点の位置を表すパラメータと、仮想視点からの視線方向を表すパラメータと、を含む複数のパラメータを取得する取得手段と、取得された前記複数のパラメータに対応する第１のオブジェクトと、前記第１のオブジェクトに対応する複数のパラメータのうちのどれが変更可能であることを示す第２のオブジェクト及び第３のオブジェクトのいずれかと、を表示手段に表示させる表示制御手段と、を有し、前記第２のオブジェクトは、前記第１のオブジェクトに対応する複数のパラメータのうち、仮想視点の位置を表すパラメータ及び仮想視点からの視線方向を表すパラメータを維持し、時刻を表すパラメータが変更可能であることを示し、前記第３のオブジェクトは、前記第１のオブジェクトに対応する複数のパラメータのうち、仮想視点の位置を表すパラメータと、仮想視点からの視線方向を表すパラメータと、時刻を表すパラメータと、が変更可能であることを示す。

本発明によれば、仮想視点の設定に関する利便性を向上することができる。

画像処理システムのシステム構成等の一例を示す図である。 撮影システムのシステム構成の一例を説明する図である。 入出力部に接続された装置の一例を説明する図である。 カメラビューウィンドウの一例を示す図である。 リプレイウィンドウの一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 リプレイウィンドウの一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。

以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。

＜実施形態１＞
本実施形態では、図１で後述する画像処理システム１０の処理について説明する。より具体的には、画像処理システム１０が、仮想視点画像の生成に関する条件（仮想的な視点、仮想的な視線等）を記憶し、仮想視点画像コンテンツにおける再生時刻の変更に併せて、記憶した条件を再現する処理について説明する。以下では、仮想視点画像の生成に関する条件を生成条件とする。仮想視点画像とは、複数の視点から撮影された複数の画像を用いて生成される仮想的な視点である仮想視点からの画像である。即ち、仮想視点画像は、仮想視点から仮想的な視線（以下では、仮想視線とする）の方向を、仮想的な画角（以下では、仮想画角とする）で見た画像である。また、仮想視点画像は、仮想視点に配置された仮想的なカメラ（以下では、仮想カメラとする）により、仮想視線の方向を、仮想画角で撮影された画像とみなすことができる。また、仮想視点画像コンテンツとは、複数の視点から撮影された複数の動画像を用いて生成される仮想的な視点である仮想視点からの動画像である。
生成条件は、例えば、仮想視点、仮想視線、仮想画角、描画対象に対応する時刻（例えば、仮想視点画像コンテンツにおけるその仮想視点画像の再生時刻、描画対象の状況における実際の時刻等）に関する条件である。描画対象に対応する時刻に関する条件は、時刻条件の一例である。描画対象に対応する時刻とは、仮想視点画像に描画される対象となる状況がどの時刻の状況であるかを示す時刻であり、例えば、その状況の実際の時刻、仮想視点画像コンテンツにおけるその状況が描画された仮想視点画像の再生時刻等である。また、生成条件は、例えば、その仮想視点画像に施された加工（例えば、モノクロ加工、エフェクト追加加工等）に関する条件がある。
この処理により、画像処理システム１０は、過去に決定した生成条件を、ユーザが操作部を操作することで再現する場合よりも、簡易に再現できる。

従来の仮想視点画像コンテンツの提供において、ユーザは、仮想視点・仮想視線（仮想カメラの位置・姿勢）を自由に操作することができる。ここで、例えば、既に一度視聴した再生時刻において、前回と同じ仮想カメラの位置・姿勢から視聴したい場合、ユーザは、前回と同様の操作を行って、仮想カメラの位置・姿勢を再現する必要があり、操作が煩雑であった。
そこで、本実施形態では、仮想視点画像の生成が行われた時刻と生成条件（例えば、仮
想カメラの位置・姿勢等）を示す情報とを紐付けて記憶し、予め定められた処理の実行の際に、記憶された情報が示す条件を適用する処理について説明する。これにより、ユーザが煩雑な操作を行うことなく、目標の再生時刻で、過去に設定された条件を再現することができる。選択された条件のみを再現するようにする処理についても説明する。

図１（ａ）は、仮想視点画像を生成するシステムである画像処理システム１０のシステム構成の一例を示す図である。
画像処理システム１０は、撮影システム１０１、生成サーバ１０２、情報処理装置１０３を含む。生成サーバ１０２は、撮影システム１０１、情報処理装置１０３それぞれとネットワークを介して相互に通信可能に接続されている。
撮影システム１０１は、異なる位置にそれぞれ配置された複数のカメラを含み、複数のカメラを介してそれぞれ異なる複数の視点からの複数の画像を同期して撮影する。撮影システム１０１は、複数の視点から同期して撮影された複数の画像を、生成サーバ１０２に送信する。

図２は、撮影システム１０１のシステム構成の一例を示す図である。撮影システム１０１は、複数のカメラ４０１、撮影制御装置４０３、表示装置４０４、入力装置４０５を含む。図２の例では、撮影システム１０１は、撮影制御装置４０３を介して、被写体４０２を取り囲むように配置された複数のカメラ４０１を制御し、撮影を行う。
カメラ４０１は、他のカメラ４０１とタイミングを同期して、撮影を行うことができるネットワークカメラ、監視カメラ等の撮影装置である。
撮影制御装置４０３と複数のカメラ４０１とは、デイジーチェーン型に接続されているが、スター型に接続されていてもよい。撮影制御装置４０３は、複数のカメラ４０１を制御し、複数のカメラ４０１により撮影された画像を受信し、受信した画像を生成サーバ１０２に送信するパーソナルコンピュータ（ＰＣ）、サーバ装置等の情報処理装置である。
表示装置４０４は、モニタ等の表示装置である。入力装置４０５は、マウス、キーボード等の入力装置である。

生成サーバ１０２は、撮影システム１０１によりそれぞれ異なる複数の視点から同期して撮影された複数の画像に基づいて、仮想視点から見た（仮想カメラにより撮影された）仮想視点画像を生成するＰＣ、サーバ装置等の情報処理装置である。仮想カメラは、撮影空間内を自由に動ける仮想的なカメラである。仮想カメラの位置・姿勢は、情報処理装置１０３により決定される仮想カメラのカメラパラメータによって表現される。以下では、仮想カメラのカメラパラメータを仮想カメラパラメータとする。
生成サーバ１０２は、撮影システムから受信した複数の画像から順次、仮想視点画像を生成する。特に断りがない限り、以降の説明において画像とは、動画像と静止画像との両方を含む概念を示すとする。すなわち、画像処理システム１０は、静止画像及び動画像の何れについても処理可能である。
情報処理装置１０３は、ＰＣ、サーバ装置、タブレット装置等の情報処理装置である。情報処理装置１０３は、仮想カメラに関する条件（仮想視点、仮想視線、仮想画角等の条件）を制御し、仮想カメラパラメータを決定する。また、情報処理装置１０３は、仮想視点画像コンテンツにおけるどの再生時刻の仮想視点画像を生成するかを示す時刻を決定する。
仮想カメラパラメータは、三次元的な位置（３軸）、姿勢（３軸）によって表される。情報処理装置１０３は、決定した仮想カメラパラメータと時刻とを生成サーバ１０２へ送信する。次に、生成サーバ１０２は、受信した仮想カメラパラメータと時刻とに基づいて、仮想視点画像を生成し、情報処理装置１０３へ送信する。情報処理装置１０３は、受信した仮想視点画像を、図４で後述するカメラビュー３０１へ表示することでユーザに提示する。

図１（ｂ）は、情報処理装置１０３のハードウェア構成の一例を示す図である。情報処理装置１０３は、ＣＰＵ１１１、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１１２、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１１３、通信部１１４、入出力部１１５を含む。各要素は、システムバスを介して相互に通信可能に接続されている。
ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているプログラムやデータを用いて情報処理装置１０３の全体を制御する中央演算装置である。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムや計算の途中結果のデータ、通信部１１４を介して外部から供給されるデータ等を一時的に記憶する記憶領域やＣＰＵ１１１のワークエリアとして機能する記憶装置である。ＲＯＭ１１３は、変更を必要としない各種プログラムやデータ、仮想視点画像、カメラ４０１により撮影された画像、生成条件、再現条件等を記憶する記憶装置である。ＲＯＭ１１３は、記憶部の一例である。

通信部１１４は、ＥｔｈｅｒｎｅｔやＵＳＢ等の外部の装置との通信に用いられるインターフェースである。ＣＰＵ１１１は、通信部１１４を介して、生成サーバ１０２との通信を行う。入出力部１１５は、キーボード、マウス等の入力装置やモニタ等の出力装置との接続に用いられるインターフェースである。ＣＰＵ１１１は、入出力部１１５を介して、ユーザからの入力を受け付ける。入出力部１１５は、例えば、接触式センサ、マウス、キーボード、リモコン等の入力装置と接続される。また、入出力部１１５は、モニタ、タッチパネルの表示部等の出力装置と接続される。本実施形態では、入出力部１１５は、図３で後述する表示装置２０１、コントローラ２０２、２０３と接続されることとする。
ＣＰＵ１１１が、ＲＯＭ１１３等に記憶されたプログラムにしたがって処理を実行することで、図６で後述する機能、図７、９で後述するフローチャートの処理等が実現される。

本実施形態では、生成サーバ１０２のハードウェア構成は、図１（ｂ）に示す情報処理装置１０３のハードウェア構成と同様であるとする。また、撮影制御装置４０３のハードウェア構成についても、図１（ｂ）に示す情報処理装置１０３のハードウェア構成と同様であるとする。
生成サーバ１０２のＣＰＵが、生成サーバ１０２のＲＯＭ等に記憶されたプログラムにしたがって処理を実行することで、生成サーバ１０２の機能、生成サーバ１０２の処理が実現される。
撮影制御装置４０３のＣＰＵが、撮影制御装置４０３のＲＯＭ等に記憶されたプログラムにしたがって処理を実行することで、撮影制御装置４０３の機能、撮影制御装置４０３の処理が実現される。

図３は、入出力部１１５に接続された入力装置と出力装置との一例を説明する図である。図３の例では、入出力部１１５には、１つの表示装置２０１と２つのコントローラ２０２、２０３とが接続されている。
表示装置２０１は、仮想視点画像等を表示する表示装置である。本実施形態では、表示装置２０１は、表示部に対するタッチ入力が可能な表示装置であるとする。
コントローラ２０２は、仮想カメラの位置・姿勢の制御に用いられるコントローラである。コントローラ２０２は、仮想カメラの位置（３軸）と、姿勢（３軸）と、の６軸を操作できるジョイスティックを含む。コントローラ２０２により、ユーザは、仮想視点画像の生成の際の仮想視点、仮想視線（仮想カメラの位置・姿勢）を自由に操作することができる。

コントローラ２０３は、仮想画像コンテンツにおける再生時刻の制御に用いられるコントローラである。コントローラ２０３は、再生時刻の早送りや巻き戻しに使うホイールを含む。コントローラ２０３は、生成条件のうち、どの条件を再現するかを示す条件である再現条件の変更に用いられる変更ボタンを含む。コントローラ２０３は、仮想視点画像コ
ンテンツにおける再生時刻と、その再生時刻における仮想視点画像の生成の際の仮想カメラパラメータ等と、を紐付けて、生成条件を示す条件情報として、記憶することを指示するための記憶指示ボタンを含む。コントローラ２０３により、ユーザは、仮想視点画像コンテンツにおける再生時刻も自由に変更することができ、早送りや巻き戻し等の連続的な時刻操作が可能である。また、重要なシーン等において、仮想カメラパラメータ等の条件を記憶したい場合、ユーザは、記憶指示ボタンを押下することで、そのシーンに対応する条件情報の記憶を指示できる。
入出力部１１５には、２つ以上の表示装置が接続されることとしてもよい。また、入出力部１１５には、１つ又は３つ以上のコントローラが接続されることとしてもよい。

図４は、カメラビューウィンドウの一例を示す図である。カメラビューウィンドウとは、生成サーバ１０２から受信された仮想視点画像を表示するためのウィンドウである。情報処理装置１０３は、例えば、生成サーバ１０２から受信された仮想視点画像を含むカメラビューウィンドウを表示装置２０１に表示する。カメラビューウィンドウは、カメラビュー３０１、時刻領域３０２を含む。
カメラビュー３０１は、生成サーバ１０２から受信された仮想視点画像が表示される表示領域である。カメラビュー３０１に表示される仮想視点画像は、ユーザによりコントローラ２０２等を介して操作される仮想カメラから見た仮想視点画像である。情報処理装置１０３は、仮想視点画像コンテンツにおける再生時刻を制御することで、任意の時刻の仮想視点画像を表示することができる。時刻領域３０２は、カメラビュー３０１に表示される仮想視画像に描画対象に対応する時刻（例えば、その仮想視点画像の生成に用いられる画像が撮影された時刻）である。情報処理装置１０３は、時刻領域３０２に、仮想視点画像コンテンツにおけるカメラビュー３０１に表示されている仮想視点画像の再生時刻を表示することとしてもよい。

図５は、リプレイウィンドウの一例を示す図である。リプレイウィンドウは、過去に記憶された生成条件、再現条件、仮想視点画像コンテンツにおける再生時刻等を表示する為のウィンドウである。また、リプレイウィンドウは、再生時刻や再現条件の変更の指示の受け付けにも用いられる。リプレイウィンドウは、再現条件インジケータ７０１、リスト７０２、タイムライン７０３を含む。情報処理装置１０３は、リプレイウィンドウを、例えば、表示装置２０１に表示する。
再現条件インジケータ７０１は、再現条件を表示する。本実施形態では、再現条件には、対応する時刻のみが再現対象であることを示す‘Ｔｉｍｅ’と、対応する時刻と仮想カメラの位置・姿勢とが再現対象であることを示す‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’がある。再現条件インジケータ７０１は、再現条件の変更の指示を受付けるためのボタンとしても機能する。情報処理装置１０３は、再現条件インジケータ７０１へのユーザによるコントローラ２０３、マウス、表示装置２０１等を介したクリックを検知した場合、再現条件の変更の指示を受け付け、再現条件を現在と異なる条件に変更する。

リスト７０２は、過去に記憶された生成条件を示すオブジェクトの一覧をリスト状に表示する。本実施形態では、過去に記憶された生成条件は、キュー形式で記憶されているとする。情報処理装置１０３は、リスト７０２中のオブジェクトに対するコントローラ２０３、マウス、表示装置２０１等を介したユーザによる指定を検知した場合、検知した指定が示すオブジェクトに対応する生成条件を再現する。
タイムライン７０３は、再生する仮想視点画像コンテンツの全体の再生時間と、現在の再生時刻と、を示すシークバー状のオブジェクトである。タイムライン７０３を操作することで、任意の時刻のシーンを再生することができる。例えば、情報処理装置１０３は、例えば、コントローラ２０３、マウス、表示装置２０１等を介したユーザによるタイムライン７０３のシークバー上の１点の指定を検知した場合、以下のようにする。即ち、情報処理装置１０３は、指定された点が示す時刻に対応する仮想視点画像を、カメラビューウ
ィンドウのカメラビュー３０１に表示する。その際、情報処理装置１０３は、例えば、記憶された生成条件の中から、その時刻に対応する生成条件を特定し、特定した生成条件が示す条件を再現することとしてもよい。リプレイウィンドウのＧＵＩにより、ユーザは、任意の時刻への非連続的な時刻操作が可能である。

本実施形態では、情報処理装置１０３は、１台の情報処理装置であるとして、１台の表示装置２０１にカメラビューウィンドウとリプレイウィンドウとを表示することとする。しかし、情報処理装置１０３は、２台の表示装置２０１それぞれ、カメラビューウィンドウとリプレイウィンドウとを表示することとしてもよい。
また、情報処理装置１０３が２台の情報処理装置で構成されるシステムであることとして、そのシステムを構成する各情報処理装置が、それぞれカメラビューウィンドウ、リプレイウィンドウを生成し、それぞれに接続された表示装置に表示することとしてもよい。

図６は、本実施形態の情報処理装置１０３の機能構成の一例を示す図である。情報処理装置１０３は、入出力制御部５０１、仮想カメラ制御部５０２、時刻制御部５０３、管理部５０４、通信制御部５０５、再現条件制御部５０６を含む。本実施形態では、仮想カメラの位置・姿勢（仮想視点、仮想視線）が、仮想カメラパラメータとして扱われることとするが、仮想カメラの位置・姿勢・画角（仮想視点、仮想視線、仮想画角）が、仮想カメラパラメータとして扱われることとしてもよい。即ち、生成条件に、仮想カメラパラメータが含まれることとなる。
入出力制御部５０１は、入出力部１１５に接続された入力装置を介したユーザの入力を受け付ける。本実施形態では、入出力制御部５０１は、コントローラ２０２、コントローラ２０３等を介した入力を受付ける。入出力制御部５０１は、例えば、再現条件インジケータ７０１の選択、リスト７０２に含まれるオブジェクトの選択、タイムライン７０３のシークバー上の点の指定等を受け付ける。また、入出力制御部５０１は、例えば、通信制御部５０５から入力された仮想視点画像を、表示装置２０１に表示する。

仮想カメラ制御部５０２は、入出力制御部５０１から入出力制御部５０１により受付けられたコントローラ２０２を介した仮想カメラパラメータの変更の指示を取得し、取得した指示に応じて仮想カメラパラメータを制御する。即ち、仮想カメラ制御部５０２は、現在の仮想カメラの状態を更新する。
また、時刻制御部５０３によって、仮想視点画像コンテンツにおける再生時刻が変更された際、仮想カメラ制御部５０２は、再現条件に基づいて、仮想カメラパラメータを更新することとしてもよい。つまり、再現条件が‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’の場合、仮想カメラ制御部５０２は、以下の処理を行う。即ち、仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶され管理部５０４により管理されている生成条件のうち変更された時刻に対応する生成条件に含まれる仮想カメラパラメータとなるように、現在の仮想カメラパラメータを更新する。

時刻制御部５０３は、仮想視点画像コンテンツにおけるどの時刻のシーン（仮想視点画像）を生成するかを示す時刻を制御する。時刻制御部５０３は、入出力制御部５０１から、再生時刻の制御に関する操作入力がない場合、つまり、ユーザによるコントローラ２０３を介した時刻の指定がない場合、以下の処理を行う。即ち、入出力制御部５０１は、予め定められた期間（例えば、１６ミリ秒、３２ミリ秒、１秒等）の経過後に、再生時刻を１フレーム分増加させる。例えば、６０ｆｐｓで仮想視点画像コンテンツが再生される場合（１秒間に６０個の仮想視点画像が生成される場合）、時刻制御部５０３は、１６ミリ秒ごとに、１フレーム分増加させる。
ユーザによるコントローラ２０３を介した再生時刻の制御に関する操作がある場合は、時刻制御部５０３は、その操作に応じて、再生時刻の制御を行う。再生時刻の制御に関する操作としては、コントローラ２０３を介した連続的な時刻操作（早送り、巻き戻し）が
ある。また、再生時刻の制御に関する操作としては、リスト７０２のオブジェクトの選択、タイムライン７０３のシークバー上の点の指定の操作がある。

管理部５０４は、仮想視点画像コンテンツにおいて再生が行われた（生成された）全てのフレーム（仮想視点画像）について、以下の処理を行う。即ち、管理部５０４は、仮想視点画像に対応する仮想カメラパラメータとその仮想視点画像に対応する再生時刻とを、紐付けて、その仮想視点画像の生成条件として、ＲＯＭ１１３に記憶し管理する。
また、管理部５０４は、入出力制御部５０１からコントローラ２０３を介して記憶指示ボタンの押下が行われたことを示す情報を受け付けた場合、以下の処理を行う。即ち、管理部５０４は、記憶指示ボタンが押下された際にカメラビュー３０１に表示された仮想視点画像の仮想視点画像コンテンツにおける再生時刻と仮想カメラパラメータとを、紐付けて、生成条件とする。そして、管理部５０４は、その生成条件を示す条件情報を、キュー形式のデータとしてＲＯＭ１１３に記憶する。即ち、このキュー形式のデータには、ユーザが記憶することを明示した生成条件を示す条件情報が記憶されていることとなる。記憶指示ボタンが押下された際に管理部５０４が条件情報を記憶する処理は、記憶制御処理の一例である。

通信制御部５０５は、通信部１１４を介した生成サーバ１０２との通信を行う。通信制御部５０５は、生成条件（仮想カメラ制御部５０２によって制御される仮想カメラパラメータと、時刻制御部５０３によって制御される再生時刻と、）の情報を、生成サーバ１０２に送信する。また、通信制御部５０５は、生成サーバ１０２から受信した仮想視点画像を入出力制御部５０１に出力する。
再現条件制御部５０６は、再現条件の制御を行う。入出力制御部５０１から、再現条件の変更指示が受付けられたことを示す情報を取得したことに応じて、再現条件を変更する。再現条件インジケータ７０１が選択されたり、コントローラ２０３のボタンがユーザにより押下されたりしたことに応じて、再現条件制御部５０６は、再現条件の制御を行う。再現条件制御部５０６は、例えば、‘Ｔｉｍｅ’のモードと、‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’のモードとを切り替える。

図７は、情報処理装置１０３の処理の一例を示すフローチャートである。
Ｓ１０１０において、入出力制御部５０１は、入出力部１１５に接続されている入力装置を介した操作に基づいて図７の処理の終了の指示を受付けるまで、Ｓ１０２０～Ｓ１１５０の処理を繰り返すよう制御する。入出力制御部５０１は、予め定められた期間だけ図７の処理を継続するように、Ｓ１０２０～Ｓ１１５０の処理を繰り返すよう制御することとしてもよい。
Ｓ１０２０において、入出力制御部５０１は、入出力部１１５に接続された入力装置を介してユーザからの入力を取得する。以下では、この取得された入力をユーザ入力とする。ユーザ入力は、仮想カメラパラメータの更新指示、再生時刻の変更指示、再現条件の変更指示、キュー形式のデータとして生成条件を記憶する指示等を示す。
Ｓ１０３０において、仮想カメラ制御部５０２は、Ｓ１０２０で取得されたユーザ入力が仮想カメラパラメータの操作指示を示すか否かを判定する。仮想カメラ制御部５０２は、Ｓ１０２０で取得されたユーザ入力が仮想カメラパラメータの操作指示を示すと判定した場合、Ｓ１０４０の処理に進む。仮想カメラ制御部５０２は、Ｓ１０２０で取得されたユーザ入力が仮想カメラパラメータの操作指示を示さないと判定した場合、Ｓ１０６０の処理に進む。

Ｓ１０４０において、仮想カメラ制御部５０２は、Ｓ１０２０で取得されたユーザ入力に基づいて、仮想カメラパラメータ（仮想視点、仮想視線）を更新する。例えば、仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶された現在の仮想カメラパラメータを示す情報を、Ｓ１０２０で取得されたユーザ入力が示すパラメータに更新する。
Ｓ１０５０において、時刻制御部５０３は、再生時刻を１フレーム分増加させ、更新する。例えば、時刻制御部５０３は、ＲＯＭ１１３に記憶された仮想視点画像における現在の再生時刻を示す情報を、現在の時刻から１フレーム分増加した時刻を示す要に更新する。
Ｓ１０６０において、時刻制御部５０３は、Ｓ１０２０で取得されたユーザ入力が、再生時刻の変更の指示を示すか否かを判定する。時刻制御部５０３は、Ｓ１０２０で取得されたユーザ入力が再生時刻の変更の指示を示すと判定した場合、Ｓ１０７０の処理に進み、Ｓ１０２０で取得されたユーザ入力が再生時刻の変更の指示を示さないと判定した場合、Ｓ１１１０の処理に進む。

Ｓ１０７０において、再現条件制御部５０６は、ＲＯＭ１１３に記憶されている再現条件の情報を読込むことで、現在の再現条件を取得する。
Ｓ１０８０において、再現条件制御部５０６は、Ｓ１０７０で取得した再現条件が'Ｔｉｍｅ'であるか否かを判定する。再現条件制御部５０６は、Ｓ１０７０で取得した再現条件が'Ｔｉｍｅ'であると判定した場合、Ｓ１０９０の処理に進む。再現条件制御部５０６は、Ｓ１０７０で取得した再現条件が'Ｔｉｍｅ'でないと判定した場合、再現条件が'Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ'であるとして、Ｓ１１００の処理に進む。
Ｓ１０９０において、時刻制御部５０３は、Ｓ１０２０で取得されたユーザ入力に基づいて、再生時刻を制御する。例えば、時刻制御部５０３は、ＲＯＭ１１３に記憶された仮想視点画像における現在の再生時刻を示す情報を、ユーザ入力が示す再生時刻を示すように更新する。このようにして、仮想カメラ制御部５０２は、改めて仮想視点画像が生成される際に用いられる生成条件である生成時刻（描画対象に対応する事項）を決定することで、過去に記憶した生成条件を再現する。

Ｓ１１００において、仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶されている条件情報に対応する生成条件から、含まれる描画対象に対応する時刻が、Ｓ１１２０で取得されたユーザ入力が示す時刻となっているものを特定する。そして、仮想カメラ制御部５０２は、特定した生成条件が示す仮想カメラパラメータ（仮想視点、仮想視線）を取得する。仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶されている現在の仮想パラメータを示す情報を、取得した仮想カメラパラメータで更新する。このようにして、仮想カメラ制御部５０２は、改めて仮想視点画像が生成される際に用いられる生成条件である仮想カメラパラメータを決定することで、過去に記憶した生成条件を再現する。
Ｓ１１１０において、再現条件制御部５０６は、Ｓ１０２０で取得されたユーザ入力が再現条件の変更の指示を示すか否かを判定する。再現条件制御部５０６は、Ｓ１０２０で取得されたユーザ入力が再現条件の変更の指示を示すと判定した場合、Ｓ１１２０の処理に進み、Ｓ１０２０で取得されたユーザ入力が再現条件の変更の指示を示さないと判定した場合、Ｓ１１３０の処理に進む。

Ｓ１１２０において、再現条件制御部５０６は、Ｓ１０２０で取得されたユーザ入力が再現条件の変更の指示を示す入力であることに応じて、再現条件を変更する。再現条件制御部５０６は、例えば、ＲＯＭ１１３に記憶された再現条件を示す情報が、‘Ｔｉｍｅ’を示す場合、ＲＯＭ１１３に記憶された再現条件を示す情報を‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’を示すように変更する。また、再現条件制御部５０６は、例えば、ＲＯＭ１１３に記憶された再現条件を示す情報が、‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’を示す場合、ＲＯＭ１１３に記憶された再現条件を示す情報を‘Ｔｉｍｅ’を示すように変更する。このようにして、再現条件制御部５０６は、再生条件を変更する。
また、ユーザが入出力部１１５に接続された入力装置を介して、再現条件をどの条件にするかを指定することとしてもよい。その場合、Ｓ１０２０で取得されたユーザ入力には、再現条件をどの条件にするかを示す情報が含まれるため、再現条件制御部５０６は、ＲＯＭ１１３に記憶された再現条件を示す情報を、ユーザ入力が示す条件となるように変更
することとしてもよい。

Ｓ１１３０において、時刻制御部５０３が、再生時刻を１フレーム増加させる。例えば、時刻制御部５０３は、ＲＯＭ１１３に記憶された仮想視点画像における現在の再生時刻を示す情報を、現在の時刻から１フレーム分増加した時刻を示す要に更新する。
Ｓ１１４０において、管理部５０４は、現在リプレイウィンドウのタイムライン７０３が示す再生時刻と、現在カメラビューウィンドウのカメラビュー３０１に表示されている仮想視点画像の生成に用いられる仮想カメラパラメータと、を取得する。管理部５０４は、例えば、ＲＯＭ１１３に記憶された現在の再生時刻を示す情報と、現在の仮想カメラパラメータを示す情報と、を読込むことで、この再生時刻と仮想カメラパラメータとを取得する。そして、管理部５０４は、取得した再生時刻と、仮想カメラパラメータと、を紐付けて、生成条件を示す条件情報として、ＲＯＭ１１３に記憶する。Ｓ１１４０の処理は、記憶制御処理の一例である。

Ｓ１１５０において、通信制御部５０５は、ＲＯＭ１１３に記憶されている情報が示す現在の仮想カメラパラメータの情報と、現在の再生時刻の情報と、を生成サーバ１０２に送信することで送信した情報が示す生成条件での仮想視点画像の生成を要求する。生成サーバ１０２は、受信した情報が示す再生時刻に対応する状況について、受信した情報が示す仮想カメラパラメータを用いて、仮想視点画像を生成する。そして、生成サーバ１０２は、生成した仮想視点画像を、情報処理装置１０３に送信する。
入出力制御部５０１は、生成サーバ１０２から送信された仮想視点画像を、表示装置２０１に表示されたカメラビューウィンドウのカメラビュー３０１に表示する。また、入出力制御部５０１は、表示装置２０１に表示されたリプレイウィンドウのタイムライン７０３を、ＲＯＭ１１３に記憶されている情報が示す現在の再生時刻の情報が示す再生時刻を指すように変更する。Ｓ１１５０の処理は、生成制御処理の一例である。

以上、本実施形態では、画像処理システム１０は、仮想視点画像コンテンツにおける再生時刻の指定処理が行われたことに応じて、過去に記憶された生成条件と再現条件とに基づいて、生成条件である再生時刻と仮想カメラパラメータとを再現することとした。
例えば、再現条件が‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’の場合、画像処理システム１０は、再生時刻の変更に応じて、仮想カメラパラメータを、その再生時刻における状態に更新する。これにより、画像処理システム１０は、あたかも録画したシーンを巻き戻すかのような操作を可能とすることができる。
また、例えば、再現条件が‘Ｔｉｍｅ’の場合、画像処理システム１０は、再生時刻の指定処理が行われても、仮想カメラパラメータを変更しない。これにより、画像処理システム１０は、現在の仮想カメラの位置から、過去のシーンを見直すという操作を可能とすることができる。
このように、画像処理システム１０は、過去に記憶された生成条件を、ユーザによる操作部のインタラクティブな操作を要せずに、再現することができ、より利便性を向上できる。また、画像処理システム１０は、仮想視点画像について、より柔軟な操作を可能とすることができる。

本実施形態では、画像処理システム１０は、仮想視点画像コンテンツにおける再生時刻の指定処理が行われたことに応じて、過去に記憶された生成条件と再現条件とに基づいて、改めて仮想視点画像を生成する際の生成条件を決定することとした。しかし、画像処理システム１０は、予め定められた他の処理が実行されたことに応じて、過去に記憶された生成条件と再現条件とに基づいて、改めて仮想視点画像を生成する際の生成条件を決定することとしてもよい。
例えば、画像処理システム１０は、入出力部１１５に接続された入力装置を介したユーザによるリスト７０２に表示された複数のオブジェクトから１つを選択する操作を受付け
る処理の実行に応じて、改めて仮想視点画像を生成する際の生成条件を決定してもよい。
その場合、例えば、入出力制御部５０１は、オブジェクトの選択を受付ける。そして、仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶されている現在の仮想カメラパラメータを示す情報を、選択されたオブジェクトが示す生成条件に含まれる仮想カメラパラメータの値で更新する。また、時刻制御部５０３は、ＲＯＭ１１３に記憶されている現在の再生時刻を示す情報を、選択されたオブジェクトが示す生成条件に含まれる時刻の値で更新する。そして、通信制御部５０５は、ＲＯＭ１１３に記憶されている情報が示す現在の仮想カメラパラメータの情報と、現在の再生時刻の情報と、を生成条件として、生成サーバ１０２に送信し、送信した生成条件で生成される仮想視点画像を要求する。生成サーバ１０２は、受信した情報が示す再生時刻の状況における、受信した情報が示す仮想カメラパラメータの仮想カメラから撮影される仮想視点画像を生成し、情報処理装置１０３に送信する。
本実施形態では、再現条件には、‘Ｔｉｍｅ’と‘Ｔｉｍｅ＆Ｐｏｓｉｔｉｏｎ’との条件があるとしたが、他の条件があるとしてもよい。例えば、再現条件には、予め定められた処理の実行に応じて生成条件に含まれる全ての条件を更新することを示す状態である‘Ａｌｌ’があってもよい。

＜実施形態２＞
本実施形態では、仮想カメラの位置・姿勢・ズーム量（仮想視点、仮想視線、仮想画角）を、仮想カメラパラメータとして扱う処理について説明する。ズーム量は、仮想視点映像を生成する際の仮想カメラの画角を１変数で表すパラメータである。ズーム量は、画角を角度で表すものであってもよいし、レンズの焦点距離換算の値として表すものとしてもよい。
本実施形態の画像処理システム１０のシステム構成は、実施形態１と同様である。また、本実施形態の画像処理システム１０の各システム構成要素のハードウェア構成及び機能構成は、実施形態１と同様である。

本実施形態では、仮想カメラのズーム量は、例えば、コントローラ２０２のスライダーを介したユーザの操作に基づいて、制御される。情報処理装置１０３は、コントローラ２０２のスライダーの操作を検知すると、検知した操作の内容に応じて、仮想カメラのズーム量を更新する。
本実施形態では、再現条件は、仮想カメラパラメータが示す仮想カメラの位置・姿勢・ズーム量それぞれに対応するＯＮ／ＯＦＦの２状態で表される変数の組み合わせで定義される。位置、姿勢、ズーム量のそれぞれに割り当てられた変数は、更新の対象であるか否かを示す変数である。画像処理システム１０は、再現条件に含まれる変数がＯＮの場合、再生時刻の指定が行われた際に、その変数に対応する仮想カメラパラメータ（位置・姿勢・ズーム量の何れか）の更新を行うが、ＯＦＦの場合は更新を行わない。
また、再現条件は、仮想カメラパラメータが示す仮想カメラの位置（３軸）・姿勢（３軸）・ズーム量（１軸）の７軸それぞれに対応するＯＮ／ＯＦＦの２状態で表される変数の組み合わせで定義されることとしてもよい。その場合、各軸に割り当てられた変数は、更新の対象であるか否かを示す変数である。画像処理システム１０は、再現条件に含まれる変数がＯＮの場合、再生時刻の指定が行われた際に、その変数に対応する仮想カメラパラメータ（位置・姿勢・ズーム量の何れかの軸）の更新を行うが、ＯＦＦの場合は更新を行わない。

本実施形態のコントローラ２０２は、ズーム量（１軸）の操作を受け付けるためのスライダーを含む。
コントローラ２０３は、再現条件の変更に用いられるボタンを含む。本実施形態では、コントローラ２０３は、仮想カメラの位置・姿勢・ズーム量のそれぞれについての変数の値（ＯＮ／ＯＦＦ）の切り替えを指示するためのボタンを含む。しかし、コントローラ２
０３は、仮想カメラの位置（３軸）・姿勢（３軸）・ズーム量（１軸）の各軸それぞれについての変数の値の切り替えを指示するためのボタンを含むこととしてもよい。
入出力制御部５０１は、コントローラ２０３のこれらのボタンの押下を検知すると、押下されたボタンに対応する変数の値（ＯＮ／ＯＦＦ）を切替える。

図８は、本実施形態のリプレイウィンドウの一例を示す図である。本実施形態におけるリプレイウィンドウは、図５に示す実施形態１のリプレイウィンドウと比べて、再現条件設定スイッチ８０１を含む点で異なる。再現条件設定スイッチ８０１は、仮想カメラの位置・姿勢・ズーム量それぞれに割り当てられた変数の値を示すオブジェクトである。再現条件設定スイッチ８０１の状態は、現在の再現条件と連動する。入出力制御部５０１は、現在の再現条件を示すオブジェクトを、再現条件設定スイッチ８０１として表示する。
本実施形態では、入出力制御部５０１は、コントローラ２０２、２０３等の入力装置を介した、再現条件設定スイッチ８０１への操作について受け付ける。入出力制御部５０１により再現条件設定スイッチ８０１への操作が受付けられた場合、再現条件制御部５０６は、受付けられた操作に応じて、現在の再現条件を更新する。

仮想カメラ制御部５０２は、入出力制御部５０１からコントローラ２０２を介した仮想カメラパラメータの更新を示す入力がなされたことを示す情報を取得し、取得した情報に応じて仮想カメラパラメータのそれぞれのパラメータを更新する。また、時刻制御部５０３によって再生時刻が変更された際、仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶されている条件情報が示す生成条件のうち、描画対象に対応する時刻の値が変更された再生時刻であるものを特定する。そして、仮想カメラ制御部５０２は、再現条件がＯＮとなっている仮想カメラパラメータについて、現在の仮想カメラパラメータを示す情報を、特定した生成条件が示す値に更新する。
再現条件制御部５０６は、コントローラ２０３を介した再現条件の変更の指示を示す入力を取得し、再現条件を変更し、再現条件設定スイッチ８０１の状態に反映させる。また、再現条件制御部５０６は、再現条件設定スイッチ８０１を介した再現条件の変更の指示の入力を取得し、再現条件を変更する。

図９は、本実施形態の情報処理装置１０３の処理の一例を示すフローチャートである。図９の処理は、実施形態１の図７の処理と比べて、Ｓ１０８０、Ｓ１０９０、Ｓ１１００の処理の代わりに、Ｓ２０１０、Ｓ２０２０の処理がある点で異なる。図９の処理のうち、実施形態１との違いについて説明する。
Ｓ２０１０において、仮想カメラ制御部５０２は、ＲＯＭ１１３に記憶されている条件情報に対応する生成条件から、含まれる描画対象に対応する時刻が、Ｓ１１２０で取得されたユーザ入力が示す時刻となっているものを特定する。そして、仮想カメラ制御部５０２は、特定した生成条件が示す仮想カメラパラメータ（位置、姿勢、ズーム量）を取得する。仮想カメラ制御部５０２は、再現条件がＯＮとなっている仮想カメラパラメータについて、ＲＯＭ１１３に記憶されている現在の仮想パラメータを示す情報を、取得した仮想カメラパラメータで更新する。
Ｓ２０２０において、時刻制御部５０３は、Ｓ１０２０で取得されたユーザ入力に基づいて、再生時刻を制御する。例えば、時刻制御部５０３は、ＲＯＭ１１３に記憶された仮想視点画像における現在の再生時刻を示す情報を、ユーザ入力が示す再生時刻を示すように更新する。

以上、本実施形態では、画像処理システム１０は、再現条件に応じて、仮想カメラパラメータに含まれるパラメータ（位置・姿勢・ズーム量）毎に、記憶された生成条件の再現を行った。これにより、画像処理システム１０は、より詳細な生成条件の決定が可能となり、利便性を向上できる。
例えば、ズーム量がより広角に固定されている状態で、ズーム量に応じた再現条件をＯＦＦにして、再生時刻が変更されると、画像処理システム１０は、過去のシーンをより広い範囲に描画した仮想視点画像を再生することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した画像処理システムの機能構成の一部又は全てをハードウェアとして情報処理装置１０３に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用した形態としてもよい。

１０ 画像処理システム
１０３ 情報処理装置
１１１ ＣＰＵ

Claims (8)

1. 複数の撮影装置が撮影することにより得られる複数の画像に基づいて仮想視点画像を生成するための、時刻を表すパラメータと、仮想視点の位置を表すパラメータと、仮想視点からの視線方向を表すパラメータと、を含む複数のパラメータを取得する取得手段と、
   取得された前記複数のパラメータに対応する第１のオブジェクトと、前記第１のオブジェクトに対応する複数のパラメータのうちのどれが変更可能であることを示す第２のオブジェクト及び第３のオブジェクトのいずれかと、を表示手段に表示させる表示制御手段と、
   を有し、
   前記第２のオブジェクトは、前記第１のオブジェクトに対応する複数のパラメータのうち、仮想視点の位置を表すパラメータ及び仮想視点からの視線方向を表すパラメータを維持し、時刻を表すパラメータが変更可能であることを示し、
   前記第３のオブジェクトは、前記第１のオブジェクトに対応する複数のパラメータのうち、仮想視点の位置を表すパラメータと、仮想視点からの視線方向を表すパラメータと、時刻を表すパラメータと、が変更可能であることを示す
   ことを特徴とする、情報処理装置。
2. ユーザ入力に基づいて前記第２のオブジェクトが選択された場合に、取得された前記複数のパラメータのうち、前記仮想視点の位置を表すパラメータと、前記仮想視点からの視線方向を表すパラメータと、を維持したまま、前記時刻を表すパラメータが変更されることを特徴とする、請求項１に記載の情報処理装置。
3. ユーザ入力に基づいて前記第３のオブジェクトが選択された場合に、取得された前記複数のパラメータのうち、前記仮想視点の位置を表すパラメータと、前記仮想視点からの視線方向を表すパラメータと、前記時刻を表すパラメータと、が変更されることを特徴とする、請求項１に記載の情報処理装置。
4. 変更されたパラメータを記憶手段に記憶させる記憶制御手段を含むことを特徴とする、請求項２または３に記載の情報処理装置。
5. 前記取得手段は、複数の撮影装置が撮影することにより得られる複数の画像に基づいて、他の時刻を表すパラメータと、他の仮想視点の位置を表すパラメータと、当該他の仮想視点からの視線方向を表すパラメータと、を含む他の複数のパラメータを取得し、
   前記表示制御手段は、取得された前記他の複数のパラメータに対応する第４のオブジェクトとともに前記第１のオブジェクトを前記表示手段に表示させる
   ことを特徴とする、請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 取得された前記複数のパラメータは、仮想視点の画角を表すパラメータを含むことを特徴とする、請求項１乃至４のいずれか１項に記載の情報処理装置。
7. 情報処理装置の制御方法であって、
   複数の撮影装置が撮影することにより得られる複数の画像に基づいて仮想視点画像を生成するための、時刻を表すパラメータと、仮想視点の位置を表すパラメータと、仮想視点からの視線方向を表すパラメータと、を含む複数のパラメータを取得する取得ステップと、
   取得された前記複数のパラメータに対応する第１のオブジェクトと、前記第１のオブジェクトに対応する複数のパラメータのうちのどれが変更可能であることを示す第２のオブジェクト及び第３のオブジェクトのいずれかと、を表示手段に表示させる表示制御ステップと、
   を含み、
   前記第２のオブジェクトは、前記第１のオブジェクトに対応する複数のパラメータのうち、仮想視点の位置を表すパラメータ及び仮想視点からの視線方向を表すパラメータを維持したまま、時刻を表すパラメータが変更可能であることを示し、
   前記第３のオブジェクトは、前記第１のオブジェクトに対応する複数のパラメータのうち、仮想視点の位置を表すパラメータと、仮想視点からの視線方向を表すパラメータと、時刻を表すパラメータと、が変更可能であることを示す
   ことを特徴とする、情報処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置として機能させ
   るためのプログラム。

Images