JP2022012900A

JP2022012900A - 情報処理装置、表示方法、及び、プログラム

Info

Publication number: JP2022012900A
Application number: JP2020115061A
Authority: JP
Inventors: 拓小笠原; Hiroshi Ogasawara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2022-01-17

Abstract

【課題】複数の仮想視点の指定に関してユーザの負荷を軽減する。【解決手段】画像生成装置１０４は、複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第１の仮想視点情報を変更するためのユーザ指定を受け付けた場合、複数の仮想視点情報のうち第１の仮想視点情報に基づいて特定され、且つ第１の仮想視点情報とは仮想視点からの視線方向が異なる第２の仮想視点情報であって、特定の撮像対象を含む仮想視点画像に対応する第２の仮想視点情報と、第１の仮想視点情報と、を変更し、変更された第１の仮想視点情報に対応する仮想視点画像と変更された第２の仮想視点情報に対応する仮想視点画像とを表示装置に表示させる。【選択図】図２

Description

本発明は、仮想視点画像を生成する技術に関するものである。

近年、撮像領域の周囲に複数の撮像装置を配置して撮像を行い、それぞれの撮像装置から取得された複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。

特許文献１には、タッチパネルを備えた画像表示装置に仮想視点画像を表示する際に、タッチパネルに対して行うタップ操作によって仮想視点の視点位置及び視線方向の指定を行う方法が記載されている。

特開２０１９－０５６９７８号公報

複数の仮想視点から見たときの複数の仮想視点画像を生成し、それぞれ表示部に表示することを考える。例えば注目したいオブジェクト等、特定の撮像対象を異なる複数の方向から見たような複数の仮想視点画像を生成することが考えられる。そして、オブジェクトの動きに合わせて仮想視点の視点位置などを変更する場合、特許文献１の技術では、複数の仮想視点それぞれに対して変更を行う必要がある。このため、複数の仮想視点の指定に係るユーザの負荷が大きくなるおそれがあった。

本発明は上記の課題に鑑みてなされたものである。その目的は、複数の仮想視点の指定に関してユーザの負荷を軽減することである。

本発明に係る情報処理装置は、複数の撮像装置が行う撮像に基づく複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の視点位置及び仮想視点からの視線方向を表す仮想視点情報を変更するためのユーザ指定を受け付ける受付手段と、表示手段に表示された複数の仮想視点画像に対応する複数の仮想視点情報に含まれる第１の仮想視点情報であって、前記複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第１の仮想視点情報に基づいて、前記複数の仮想視点情報の中から、前記第１の仮想視点情報とは少なくとも仮想視点からの視線方向が異なり、且つ前記特定の撮像対象を含む仮想視点画像に対応する第２の仮想視点情報を特定する特定手段と、前記第１の仮想視点情報を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記第１の仮想視点情報と、前記第１の仮想視点情報に基づいて前記特定手段により特定される前記第２の仮想視点情報とを変更する変更手段と、前記変更手段により変更された前記第１の仮想視点情報に対応する仮想視点画像と、前記変更手段により変更された前記第２の仮想視点情報に対応する仮想視点画像とを、表示手段に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、複数の仮想視点の指定に関してユーザの負荷を軽減することができる。

画像生成システム１００の構成について説明するための図である。画像生成装置の構成を説明するための図である。仮想カメラの設定を説明するための図である。連動設定及び連動制御を説明するための図である。第１の実施形態における画像処理装置が行う処理を説明するためのフローチャートである。画像処理装置が行う処理の一例を説明するための図である。第２の実施形態における画像処理装置が行う処理を説明するためのフローチャートである。画像処理装置が行う処理の一例を説明するための図である。画像処理装置が行う処理の一例を説明するための図である。第３の実施形態における画像処理装置が行う処理を説明するためのフローチャートである。仮想カメラの連動設定を管理するＵＩ画面の一例を説明するための図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。

（第１の実施形態）
本実施形態では、複数の撮像装置を使用して撮像領域を撮像することにより得られた複数の撮像画像から仮想視点画像を生成するシステムにおける、複数の仮想視点の連動処理について説明する。ここで、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。また、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は、静止画及び動画のいずれであってもよい。また、画像生成システムが扱う画像データについても、静止画及び動画のいずれであってもよい。すなわち、本実施形態の画像生成システムは、静止画及び動画の何れについても処理可能であるものとする。

＜画像生成システムの構成＞
図１は、本実施形態における画像生成システム１００の構成について説明するための図である。図１（ａ）は、画像生成システム１００の構成を示すブロック図である。画像生成システム１００は、センサシステム１０１ａからセンサシステム１０１ｎのｎ台のセンサシステムを有する。以降では特に説明がない限り、ｎ台のセンサシステムを区別せずに、センサシステム１０１と表記する。また、画像生成システム１００は、操作部１０５ａから操作部１０５ｍのｍ個の操作部を有する。以降では特に説明がない限り、ｍ個の操作部を区別せずに、操作部１０５と表記する。また、画像生成システム１００は、スクリーン１１１ａからスクリーン１１１ｍのｍ個のスクリーンを有する。以降では特に説明がない限り、ｍ個のスクリーンを区別せずに、スクリーン１１１と表記する。また、画像生成システム１００は、画像記録装置１０２、データベース１０３、及び、画像生成装置１０４を有する。以下、各ブロックについて説明する。

センサシステム１０１は、撮像領域の撮像に基づき、仮想視点画像を生成するために使用される画像を取得する。図１（ｂ）は、複数のセンサシステム１０１の設置の一例を示す図である。各センサシステム１０１ａ～１０１ｎは、少なくとも１台の撮像装置を含む。複数のセンサシステム１０１は、撮像対象の領域である撮像撮像領域１２０を囲むように設置され、それぞれ異なる方向から撮像領域１２０を撮像する。本実施形態では、撮像対象の撮像領域１２０をサッカーの試合が行わるスタジアムのフィールドとし、フィールドを囲むようにｎ台（例えば１００台）のセンサシステム１０１が設置される。ただし、設置されるセンサシステム１０１の数は限定されない。また、撮像対象の撮像領域１２０はスタジアムのフィールドに限らない。撮像領域１２０にスタジアムの客席が含まれてもよいし、撮像領域１２０が屋内のスタジオや舞台等であってもよい。また、複数のセンサシステム１０１は撮像領域１２０の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域１２０の周囲の一部にのみ設置されてもよい。また、複数のセンサシステム１０１が有する複数の撮像装置には、望遠カメラ及び広角カメラなど、機能が異なる撮像装置が含まれていてもよい。

複数のセンサシステム１０１が有する複数の撮像装置は同期して撮像を行い、撮像に基づいて取得した画像データを転送する処理を行う。本実施形態においては、複数の撮像装置が撮像することにより得られる種々の画像を纏めて画像データと呼ぶ。画像データは、撮像に基づく撮像画像、及び、撮像画像に対して所定の画像処理を行うことで得られた画像を含む。所定の画像処理とは、例えば、撮像画像において選手やボールなどの動きのあるオブジェクトに対応する領域（以下、前景領域という）と、前景領域以外の領域（以下、背景領域という）とを分離する分離処理である。分離処理を行うことにより、前景領域を含む前景画像が取得される。また、撮像画像において前景領域の画素値を１、背景領域の画素値を０とする２値化処理を行うことにより、シルエット画像が取得される。前景画像及びシルエット画像も、画像データの一例である。所定の画像処理は、センサシステム１０１内で行われてもよいし、後述する画像生成装置１０４により行われてもよい。

なお、各センサシステム１０１は、撮像装置に加えて不図示のマイクを有してもよい。複数のセンサシステム１０１それぞれのマイクは同期して音声を収音する。この収音された音声に基づいて、仮想視点画像と共に再生される音響信号を生成することができる。以降では説明の簡略化のため、音声についての記載を省略するが、基本的に画像データと音声データとは共に処理されるものとする。勿論、画像データと音声データとが別々に処理される構成であっても構わない。

本実施形態における複数のセンサシステム１０１は、図１（ａ）に表されるように、デイジーチェーン接続されるものとする。複数のセンサシステム１０１は、自身が取得した画像データを、他のセンサシステム１０１を介して画像記録装置１０２に転送する。画像記録装置１０２は、複数のセンサシステム１０１から転送された画像データを取得し、データベース１０３に記憶させる。なお、複数のセンサシステム１０１の接続方法は、デイジーチェーン接続に限定されない。例えば、複数のセンサシステム１０１と画像記録装置１０２とがスター型接続されていてもよい。

画像生成装置１０４は、以下の情報処理を行う。すなわち、画像生成装置１０４は、操作部１０５に対して行われるユーザ操作の受付を行い、受け付けたユーザ操作と、データベース１０３に記憶された画像データとに基づいて仮想視点画像を生成する。画像生成装置１０４の機能構成については後述する。操作部１０５は、例えばジョイスティック、タッチパネル、キーボード、及びマウス等の入力装置でありうる。ユーザは、操作部１０５を操作することにより、仮想視点の視点位置、及び、仮想視点からの視線方向を決定するための操作を行うことが可能である。なお、操作部１０５として使用されるデバイスは上記に限定されない。例えば、人が身に着ける衣類やプロテクタ等へ位置測位タグを装着し、測位した位置を仮想視点の操作に使用する装置であってもよい。また、ヘッドマウントディスプレイを装着したユーザの視線の方向に基づいて、仮想視点が操作される構成であってもよい。

以降の説明においては、仮想視点の視点位置及び仮想視点からの視線方向を表す情報を、仮想視点情報と呼ぶ。なお、仮想視点情報に含まれる情報はこれに限定されない。例えば、仮想視点の画角（視野の広さ）が仮想視点情報に含まれてもよい。すなわち、画像生成装置１０４は、操作部１０５に対するユーザ操作により決定される仮想視点情報に基づいて、仮想視点画像を生成する。

本実施形態における画像生成装置１０４は、操作部１０５に対して行われるユーザ操作に基づき、複数の仮想視点情報を決定し、各仮想視点情報に基づいて生成される複数の仮想視点画像を、それぞれ複数のスクリーン１１１に表示させる表示制御を行う。スクリーン１１１は、画像生成装置１０４により生成された仮想視点画像を表示する表示部である。複数のスクリーン１１１のそれぞれは、１台の表示装置であっても良いし、１台の表示装置の表示画面を分割した部分領域の１つであっても良い。本実施形態においては、１つの仮想視点画像が表示される領域又は装置をスクリーンと呼ぶ。

複数のスクリーン１１１の例を図１（ｃ）、（ｄ）に示す。図１（ｃ）は、１台の表示装置を１つのスクリーンとし、複数の表示装置１２１ａ～１２１ｍが、複数の表示装置で構成される例である。また、図１（ｄ）は、１台の表示装置１２１ａの表示画面が分割され、各部分領域が１つのスクリーンとして使用される例である。図１（ｄ）の例における表示装置１２１ａは、表示画面が４つに分割され、４つのスクリーンとして使用されている。なお、複数のスクリーン１１１は、図１（ｃ）、（ｄ）に示す構成の組み合わせであっても良い。また、複数のスクリーン１１１の構成は、仮想視点の操作中や仮想視点画像の表示中などの任意のタイミングで変更することも可能である。さらに、複数のスクリーン１１１の構成（表示装置に対する表示の割り当てなど）をデータベースに記憶しておくことにより、所望の構成を設定することが容易になる。

なお、表示装置は、例えば液晶ディスプレイ等である。また、表示装置は、タッチパネルを備えたタブレットのように、入力装置と表示装置とが一体となったデバイスであってもよい。すなわち、操作部１０５とスクリーン１１１とが同じ装置であってもよい。表示装置は、画像を出力できる装置であれば、上記に限定されない。

以上が、画像生成システム１００における各ブロックについての説明である。なお、画像生成システム１００の構成は図１（ａ）に示すものに限定されない。例えば、複数の画像生成装置１０４がデータベース１０３に接続され、各画像生成装置１０４に対し１つの操作部１０４と１つのスクリーン１０６とが接続される構成であっても良い。また、本実施形態では仮想視点の指定がユーザ操作に基づいて行われる場合について説明するが、これに限定されない。画像解析の結果等に基づいて、仮想視点が自動で決定される構成であってもよい。画像生成装置１０４は、例えば、画像データに基づいて特定の選手を検出し、検出した特定の選手を追尾するような仮想視点を表す仮想視点情報を決定してもよい。

また、本実施形態においては、操作部１０５ａ～１０５ｍのそれぞれを操作することにより、各操作部１０５ａ～１０５ｍに対応するｍ個の仮想視点情報が決定される。また、ｍ個の仮想視点情報のそれぞれに基づく仮想視点画像が、スクリーン１１１ａ～１１１ｍに表示される。しかしながら、操作部１０５の数ｍと、スクリーン１１１の数ｍとが必ずしも一致していなくてもよい。例えば、一つの入力装置（ジョイスティック等）に対する操作により複数の仮想視点情報が決定される構成であってもよい。

＜画像生成装置の構成＞
図２は、画像生成システム１００における画像生成装置１０４の構成を説明するための図である。図２（ａ）を用いて、画像生成装置１０４の機能構成について説明する。画像生成装置１０４は、仮想カメラ制御部２０１、モデル生成部２０２、画像生成部２０３、及び、連動設定部２０４を有する。以下、各処理部について説明する。

仮想カメラ制御部２０１は、複数の操作部１０５ａ～１０５ｍに対して行われるユーザ操作を受け付け、受け付けたユーザ操作に基づいて仮想視点情報を決定する。以降の説明においては、仮想視点を表現する用語として、仮想カメラを使用する。仮想カメラは、仮想視点の視点位置に配置される仮想的なカメラである。また、仮想カメラの光軸方向が、仮想視点からの視線方向に対応する。なお、仮想カメラの光軸は、仮想カメラの姿勢に基づいて決定される。また、仮想カメラの画角は、仮想視点の画角に対応する。仮想視点からの見えを表す仮想視点画像は、仮想カメラが行う仮想的な撮像により取得される撮像画像に対応する。仮想カメラ制御部２０１は、ユーザ操作に基づいて、仮想カメラの位置（座標）、及び、姿勢（ベクトル）等の情報を仮想視点情報として決定する。また、仮想カメラ制御部２０１は、後述する連動設定部２０４から連動設定の情報を受け取り、複数の仮想カメラ１１０を連動して制御する処理を行う。詳細な処理については後述する。

モデル生成部２０２は、データベース１０３から取得した画像データに基づいて、撮像領域１２０内のオブジェクトの三次元形状を表す三次元モデルを生成する。モデル生成部２０２は、複数の撮像画像に対して分離処理を行うことにより取得される複数の前景画像を使用することにより、三次元モデルを生成する。三次元モデルは、例えば、公知技術である視体積交差法（ｓｈａｐｅ－ｆｒｏｍ－ｓｉｌｈｏｕｅｔｔｅ法）等の方法を用いることにより生成される。また、三次元モデルは点群データとして生成される。ただし、三次元モデルのデータ形式は点群データに限定されず、例えば、ボクセルデータ及びメッシュデータ等であってもよい。

画像生成部２０３は、仮想カメラ制御部２０１により決定された仮想カメラの位置、姿勢及び画角等の情報（仮想視点情報）と、モデル生成部２０２により生成された三次元モデルとに基づき、仮想視点画像を生成する。具体的には、画像生成部２０３は、三次元モデルを構成する点それぞれに対し、前景画像等の画像データの画素値に基づいて色付け処理を行う。画像生成部２０３は、色付けされた三次元モデルを三次元の仮想空間に配置し、仮想カメラに投影してレンダリングすることにより、仮想視点画像が生成される。本実施形態においては、三次元モデルに基づいて仮想視点画像が生成される例について説明したが、これに限定されない。例えば、三次元モデルを生成せず、撮像画像の射影変換により仮想視点画像を生成するイメージベースドレンダリング等の方法が使用されてもよい。このとき、モデル生成部２０２は、三次元モデルの生成処理の代わりに、射影変換等の画像処理を行う構成であってもよい。

連動設定部２０４は、操作部１０５ａ～１０５ｍと複数の仮想カメラとの対応付け、及び、複数の仮想カメラとスクリーン１１１ａ～１１１ｍとの対応付けを管理する。本実施形態では、操作部１０５ａ、１０５ｂ、・・・、１０５ｍは、それぞれ仮想カメラ１１０ａ、１１０ｂ、・・・、１１０ｍの位置、姿勢及び画角を操作することができるものとする。また、仮想カメラ１１０ａ、１１０ｂ、・・・、１１０ｍの位置、姿勢及び画角に基づく複数の仮想視点画像が、それぞれスクリーン１１１ａ、１１１ｂ、・・・、１１１ｍに表示される。以降の説明においては、特に説明がない限り、ｍ個の仮想カメラを区別せずに、仮想カメラ１１０と記載する。

連動設定部２０４は、複数の仮想カメラ１１０ａ～１１０ｍ間の連動設定を管理する。連動設定については後述する。連動設定部２０４は、操作部１０５と仮想カメラ１１０との対応付け、仮想カメラ１１０とスクリーン１１１との対応付け、及び、連動設定の情報をデータベース等に記憶しておき、必要に応じて所望の情報を参照することが可能である。

以上が、画像生成装置１０４の機能構成についての説明である。なお、画像生成装置１０４の機能構成は図２（ａ）に示すものに限定されない。例えば、図２（ａ）の画像生成装置１０４の構成要素の少なくとも一部が、スクリーン１１１ａ～１１１ｎや別装置に実装されていてもよい。また、画像生成装置１０４と、複数の操作部１０５及び複数のスクリーン１１１の少なくとも何れかが一体となって構成されていてもよい。

次に、画像生成装置１０４のハードウェア構成について説明する。図２（ｂ）は、画像生成装置１０４のハードウェア構成を説明するための図である。ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１１は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１２やＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２１３に格納されるプログラムやデータを用いて処理する。ＣＰＵ２１１は、画像生成装置１０４の全体の動作制御を行い、図２（ａ）に示す各機能を実現するための処理を実行する。なお、画像生成装置１０４がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１３は、プログラムやデータを保持する。ＲＡＭ２１２は、ＲＯＭ２１３から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ２１２は、ＣＰＵ２１１が各処理を実行する際に用いるワークエリアを提供する。入力部２１４は、例えば、操作部１０５等から入力される情報を取得する。通信インターフェース２１５は、データベース１０３及びスクリーン１０６などの外部の装置との情報の送受信に使用される。例えば、画像生成装置１０４が外部の装置と有線で接続される場合には、通信用のケーブルが通信インターフェース２１５に接続される。画像生成装置１０４が外部の装置と無線通信する機能を有する場合には、通信インターフェース２１５はアンテナを備える。出力部２１６は、仮想視点画像をスクリーン１１１に出力する。また、出力部２１５は、連動設定部２０４が管理する対応付け及び連動設定を示す情報を、データベース１０３に出力する。

＜仮想カメラの設定＞
図３を使用して、仮想カメラの設定について説明する。図３（ａ）、（ｂ）は、仮想カメラ１１０の位置及び姿勢を説明するための図である。本実施形態における仮想カメラ１１０は、図３（ａ）に示すような、Ｘ軸・Ｙ軸・Ｚ軸で表される三次元空間上の直交座標系を使用し、位置及び姿勢が指定される。座標系は、撮像領域に対して設定される。図３（ｂ）は、座標系の設定の一例を示す図である。図３（ｂ）の例では、サッカーのスタジアムのフィールド３２１の中心に、原点（０、０、０）が設定されている。また、Ｘ軸、Ｙ軸、Ｚ軸は、それぞれフィールド３２１の長辺方向、フィールド３２１の短辺方向、フィールドに対する鉛直方向に設定される。なお、座標系の設定方法は、これらに限定されない。

次に、図３（ｃ）、（ｄ）を用いて、仮想カメラの位置、姿勢、及び、視錐台について説明する。図３（ｃ）の例において、位置３０１は仮想カメラの位置を表し、位置３０１を視点とするベクトル３０２は仮想カメラの姿勢に基づく光軸方向を表す。以降、姿勢ベクトル３０２と呼ぶ。仮想カメラの位置３０１は、三次元空間の座標（ｘ，ｙ，ｚ）で表現され、姿勢は各軸の成分をスカラーとする単位ベクトルで表現される。

姿勢ベクトル３０２は、前方クリップ面３０３及び後方クリップ面３０４の中心点を通る。また、位置３０１と、前方クリップ面３０３の各頂点と、後方クリップ面３０４の各頂点とを結ぶことにより特定される空間３０５は、仮想カメラの視錐台を表す。以降、視錐台３０５と呼ぶ。視錐台３０５は、仮想視点情報に基づいて特定される特定範囲であり、仮想カメラが仮想的に撮像する撮像範囲を表す。また、視錐台３０５は、仮想カメラの位置３０１及び姿勢ベクトル３０２に基づいて画像生成部２０３が仮想視点画像として描画する範囲ともいうことができる。また、仮想カメラの画角は、位置３０１を頂点とする四角錐の、頂点３０１における角度に相当する。

図３（ｄ）を用いて、仮想カメラの移動及び回転について説明する。仮想カメラは、三次元座標で表現された空間内において移動及び回転する。矢印３１１は、仮想カメラ仮想カメラの位置３０１が移動する変更量及び変更方向を表す。矢印３１１は、三次元座標軸における各軸の成分（ｘ、ｙ、ｚ）で表現される。矢印３１２は、仮想カメラの回転量及び回転方向を表す。矢印３１２は、図３（ａ）に示す様に、Ｚ軸回りの回転であるヨー（Ｙａｗ）、Ｘ軸回りの回転であるピッチ（Ｐｉｔｃｈ）、Ｙ軸回り（仮想カメラの光軸周り）の回転であるロール（Ｒｏｌｌ）で表現される。

以上説明した仮想カメラの設定に基づき、三次元空間上に仮想的に配置される仮想カメラの位置、姿勢及び画角を表現することができる。ユーザは、操作部１０５を操作することにより仮想カメラの位置、姿勢及び画角を指定する。画像生成装置１０４は、指定された仮想カメラの位置、姿勢及び画角を示す情報を受け取り、受け取った情報に基づいて仮想視点画像を生成する。

＜仮想カメラの連動設定＞
画像生成装置１０４が行う連動設定について説明する。本実施形態における画像生成装置１０４は、ユーザが一つの仮想カメラを操作することにより、複数の仮想カメラを操作できるような機能を提供する。この機能によれば、例えば特定の選手を異なる方向から見る複数の仮想カメラが設定されている場合に、一つの仮想カメラを移動させることで他の仮想カメラも連動して移動させることができる。また、本実施形態における画像生成装置１０４は、複数の仮想カメラの中から、連動して移動させる仮想カメラを自動で選択することができる。

図４は、連動設定部２０４が行う仮想カメラの連動設定と、連動設定に基づく仮想カメラの連動制御を説明するための図である。図４は、フィールドを俯瞰した図を表す。また、フィールド上に４つの仮想カメラ１１０ａ～１１０ｄが配置されている。各仮想カメラ１１０ａ～１１０ｄの視錐台は、それぞれ視錐台１１５ａ～１１５ｄで表される。視錐台１１５ａ～１１５ｄは、実際には立体で表されるが、ここでは説明の簡略のため、俯瞰図における平面であるとして考える。

まず、図４（ａ）の例を用いて、連動設定部２０４が行う仮想カメラの連動設定について説明する。連動設定は、複数の仮想カメラのうち、特定の仮想カメラ（第１の仮想カメラ）と他の仮想カメラとを連動させるか否かを判定する処理である。連動設定部２０４は、第１の仮想カメラの視錐台と、他の仮想カメラの視錐台とが閾値以上重複する場合、他の仮想カメラを第２の仮想カメラとして特定し、第１の仮想カメラと第２の仮想カメラとを連動させると判定する。閾値は、例えば視錐台が重複する範囲のサイズ、又は視錐台全体の体積のうち重複する範囲が占める割合等によって定義される。すなわち、連動設定部２０４は、視錐台が重複する範囲が所定のサイズ以上である、又は視錐台全体の体積のうち重複する範囲が占める割合が所定の割合以上であることに基づいて、第２の仮想カメラを特定する。なお、本実施形態においては重複する視錐台の体積に基づいて連動の判定が行われるが、図４（ａ）に示すように、視錐台をｘｙ平面上に投影した場合の面積に基づいて判定が行われる構成であってもよい。このように、連動設定部２０４は、第１の仮想カメラの位置及び姿勢から算出される視錐台に基づいて第２の仮想カメラを特定し、連動設定を行う。

例えば、図４（ａ）において、仮想カメラ１１０ａの視錐台１１５ａと仮想カメラ１１１ｄの視錐台１１５ｄとは、閾値以上重複しているものとする。連動設定部２０４は、各仮想カメラの視錐台に基づいて、仮想カメラ１１０ａと仮想カメラ１１０ｄとを連動させると判定する。また、図４（ａ）における仮想カメラ１１０ｂの視錐台１１５ｂと仮想カメラ１１０ｃの視錐台１１５ｃとは、閾値以上重複している。連動設定部２０４は、各仮想カメラの視錐台に基づいて、仮想カメラ１１０ｂと仮想カメラ１１０ｃとを連動させると判定する。

一方、図４（ａ）における仮想カメラ１１０ａの視錐台１１５ａと仮想カメラ１１０ｃの視錐台１１５ｃとは、重複していない。したがって、連動設定部２０４は、各仮想カメラの視錐台に基づいて、仮想カメラ１１０ａと仮想カメラ１１０ｃとを連動させないと判定する。

このように連動の判定を行うことにより、仮想カメラ１１０ａと仮想カメラ１１０ｄ、及び、仮想カメラ１１０ｂと仮想カメラ１１０ｃの組み合わせが、互いに連動する仮想カメラの組み合わせとなる。また、その他の組み合わせの仮想カメラは連動しないこととなる。連動設定部２０４は、仮想カメラごとの連動の有無（連動設定）を示す情報を、仮想カメラ制御部２０１に送信する。なお、連動の判定方法はこれに限定されず、例えば、所定値以上離れた位置にある仮想カメラ同士は連動しないと判定されてもよい。同様に、仮想カメラ間の距離が所定値未満である仮想カメラ同士は連動させると判定されてもよい。この判定方法によれば、仮想カメラの位置の情報に基づいて判定することができるので、すべての仮想カメラの視錐台を算出する必要がなくなるため、処理負荷が軽減される。

上述したように、仮想カメラどうしの視錐台の重複に基づくことにより、例えばフィールドにおける選手及びボール等の特定のオブジェクトを視錐台に含む複数の仮想カメラを特定し、連動設定を行うことができる。また例えば、フィールドにおけるゴール前等の特定の位置を視錐台に含む複数の仮想カメラを特定し、連動設定を行うことができる。

連動設定部２０４により互いに連動すると判定された複数の仮想カメラのうち、複数の仮想カメラのうち１つの仮想カメラが操作されると、仮想カメラ制御部２０１は、他の仮想カメラも連動して動作するように制御する。例えば、図４（ａ）の例では、操作部１０５ａを使用して仮想カメラ１１０ａを操作すると、仮想カメラ１１０ｄも連動して動作する。このとき、仮想カメラ１１０ａの位置が矢印１２１ａのように変更される場合、仮想カメラ制御部２０１は、仮想カメラ１１０ｄの視点位置も矢印１２１ａと同様の変更量及び変更方向を示す矢印１２１ｄのように変更する。

次に、図４（ｂ）の例について説明する。図４（ｂ）に示す例では、連動設定部２０４により、４つの仮想カメラ１１０ａ～１１０ｄの視錐台が互いに閾値以上重複している。したがって、連動設定部２０４は、４つの仮想カメラ１１０ａ～１１０ｄを連動させると判定する。これにより、４つの仮想カメラ１１０ａ～１１０ｄは、いずれか１つの仮想カメラが操作されると、連動して操作される。例えば、仮想カメラ１１０ａ～１１０ｄを操作するための操作部１０５ａ～１０５ｄのうち、いずれか１つの操作部を使用して、仮想カメラの位置を矢印１２２に示すように移動させる操作が行われたとする。この場合、仮想カメラ制御部２０１は、４つの仮想カメラ１１０ａ～１１０ｄの位置を矢印１２２が示すように平行移動させるように制御する。

なお、図４（ａ）及び（ｂ）は、ｘｙ平面上で複数の仮想カメラが平行移動する例を示すが、ｚ軸方向の移動についても同様に連動して平行移動する構成であってもよい。

次に、図４（ｃ）、（ｄ）を使用して、仮想カメラが行う拡大表示を連動させる例について説明する。図４（ｃ）、（ｄ）における仮想カメラ１１１０ａと仮想カメラ１１０ｄとは、連動設定部２０４により連動させると判定されているものとする。

図４（ｃ）は、複数の仮想カメラが連動して移動することにより拡大表示を行う例である。位置の移動による仮想カメラの拡大表示は、仮想カメラが光軸方向と同方向に移動することにより実現される。図４（ｃ）では、仮想カメラ制御部２０１が、仮想カメラ１１０ａに対する拡大操作として、光軸方向と同方向である矢印１２３ａのように位置を移動させる操作を受け付けたとする。この場合、仮想カメラ制御部２０１は、連動設定されている仮想カメラ１１０ｄの位置も、矢印１２３ｄのように移動させる。これにより、２つの仮想カメラ１１０ａ及び仮想カメラ１１０ｄに基づいて生成される仮想視点画像はいずれも変更前よりも拡大表示される。縮小表示させる場合は、各仮想カメラを光軸方向と逆方向に移動するように変更すれば良い。

なお、仮想カメラの位置の変更による拡大表示及び縮小表示を行う場合は、複数の仮想カメラの平行移動と区別される必要がある。したがって、例えば、操作部１０５に平行移動と拡大／縮小表示とを選択するためのスイッチ等を設けることにより、ユーザは平行移動と拡大／縮小表示とを切り替えることができる。

図４（ｄ）は、拡大表示の別の例を説明するための図である。図４（ｄ）は、複数の仮想カメラが連動して画角を変更することで、拡大表示が行われる例である。仮想カメラの画角は、例えば操作部１０５に画角を変更するためのつまみ又はスイッチ等を設けることで変更可能である。また、操作部１０５がタッチパネルの場合、ピンチイン又はピンチアウト操作により画角が変更される構成でもよい。

図４（ｄ）では、仮想カメラ１１０ａに対して画角を大きくする変更が行われたとする。このとき、仮想カメラ１１０ａの視錐台１１５ａの画角は、矢印１２４ａのように広がる。この場合、仮想カメラ制御部２０１は、連動設定されている仮想カメラ１１０ｄの画角も仮想カメラ１１０ａと同様に変更する。仮想カメラ１１０ｄの画角の変更量は、仮想カメラ１１０ａの変更前の画角からの変更量に基づいて決定されてもよいし、仮想カメラ１１０ａの変更後の画角と同じとなるように決定されてもよい。これにより、仮想カメラ１１０ｄの画角は矢印１２４ｄのように広がる。結果として、２つの仮想カメラ１１０ａ及び仮想カメラ１１０ｄに基づいて生成される仮想視点画像はいずれも変更前よりも拡大表示される。

次に、図４（ｅ）を使用して、複数の仮想カメラの姿勢を連動して制御する例について説明する。図４（ｅ）における仮想カメラ１１１０ａと仮想カメラ１１０ｄとは、連動設定部２０４により連動させると判定されているものとする。仮想カメラ１１１０ａ及び仮想カメラ１１０ｄは、姿勢の変更前は図４（ａ）の状態であるものとする。

仮想カメラ制御部２０１は、仮想カメラ１１０ａを図４（ｅ）の矢印１２５ａのように回転させる操作を受け付けたとする。この場合、仮想カメラ制御部２０１は、連動設定されている仮想カメラ１１０ｄが矢印１２５ｄのように回転するように、仮想カメラ１１０ｄの姿勢を変更する。この制御により、２つの仮想カメラ１１０ａ及び仮想カメラ１１０ｄの姿勢は、図４（ａ）の状態から図４（ｅ）の状態に変更される。なお、図４（ｅ）の例では、連動して回転する際の変更方向は互いに逆方向となっているが、これに限定されず、仮想カメラ１１０ｄは仮想カメラ１１０ａと同じ方向に回転しても構わない。この場合に、タッチパネル上でのタッチ操作の種類ごとに、連動する仮想カメラの姿勢がいずれの方向に回転するかを対応付けてもよい。

また、連動して姿勢を回転させることにより、連動して回転する仮想カメラ同士の視錐台の重複が閾値より小さくなる場合がある。この場合、連動設定部２０４は、視錐台が重複する領域の変化に応じて連動設定を解除してもよい。また、図４（ｅ）は、仮想カメラがヨー方向に回転する例を示すが、回転軸はこれに限定されない。仮想カメラがピッチ方向又はロール方向に回転する場合についても、同様に連動制御が行われる。

以上、仮想カメラの位置、姿勢及び画角が連動して制御される例について説明したが、この他に、生成される仮想視点画像の再生スピードが連動して変更されてもよい。例えば、仮想カメラ１１０ａと仮想カメラ１１０ｄとが連動設定されており、各仮想カメラに基づいて生成される２つの仮想視点画像が、それぞれスクリーン１１１ａとスクリーン１１１ｂとに表示されているものとする。ここで、操作部１０５ａに対して、スクリーン１１１ａに表示される仮想視点画像をスロー再生にする操作が行われたとする。この場合、仮想カメラ制御部２０１は、仮想カメラ１１０ａの設定を「スロー再生」に変更するとともに、仮想カメラ１１０ａと連動設定されている仮想カメラ１１０ｄの設定についても「スロー再生」に変更する。結果として、スクリーン１１１ａ及びスクリーン１１１ｂに表示される仮想視点画像は、いずれもスロー再生される。同様に、仮想視点画像の早送り、再生停止、及び、巻き戻しなどが連動して行われてもよい。

また、生成される仮想視点画像がスクリーンに表示される際の再生速度を表すフレームレートが連動して変更されてもよい。例えば、連動設定された仮想カメラ１１０ａ及び仮想カメラ１１０ｂに基づく２つの仮想視点画像が、それぞれ６０ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）の動画として生成されているとする。ここで、操作部１０５ａに対して、仮想カメラ１１０ａに対して、生成される仮想視点画像のフレームレートを３０ｆｐｓに変更する操作が行われたとする。仮想カメラ制御部２０１は、仮想カメラ１１０ａの設定を「３０ｆｐｓ」に変更するとともに、仮想カメラ１１０ａと連動設定されている仮想カメラ１１０ｄの設定についても「３０ｆｐｓ」に変更する。結果として、スクリーン１１１ａ及びスクリーン１１１ｂに表示される仮想粗点画像は、いずれも３０ｆｐｓの動画となる。上述した例のように、仮想視点画像のフレームレートを一律に変更可能にすることで、以下のような効果がある。例えばテニスコートのラインを異なる方向から撮像する複数の仮想カメラを設定しておく。このとき、ボールがラインから一定以上離れている場合は、一律にフレームレートを低く（例えば、３０ｆｐｓに）するように変更し、ボールがラインに一定以上近づいた場合に、一律にフレームレートを高く（例えば、１２０ｆｐｓに）するように変更する。これにより、連動する複数の仮想カメラについて、判定用途の仮想視点画像が必要な場合のみ容易に高フレームレートに切り替えることができる。

以上、仮想カメラの視錐台に基づいて連動設定し、連動する複数の仮想カメラが連動して制御される例について説明した。これにより、例えば注目したい選手及び重要なシーンが発生しやすい位置等を異なる方向から仮想的に撮像する複数の仮想カメラを設定し、設定された複数の仮想カメラの位置、姿勢及び画角を変更する操作が容易になる。また、本実施形態における画像生成装置１０４は、各仮想カメラ１０５の視錐台に基づいて、連動させる仮想カメラを自動で判定することが可能である。これにより、ユーザは複数の仮想カメラの位置、姿勢及び画角を指定するだけで、自動で適切な組み合わせの仮想カメラが連動設定される。結果として、特定の撮像対象（例えば、特定の選手や重要シーンの発生位置など）を異なる方向から見た複数の仮想視点に対応する複数の仮想視点画像を容易に生成することができる。

なお、上記の連動設定において連動する仮想カメラ数は限定されない。また、仮想カメラ制御部２０１は、複数の操作部１０５の構成によっては、連動設定された複数の仮想カメラ１１０について、異なる操作部１０５から同時に操作を受け付けることが可能な場合がある。この場合、仮想カメラ制御部２０１は、あらかじめ各操作部１０５に対して優先度を設定しておき、優先度の高い操作部１０５からの操作に基づき連動制御を行う。また、操作部１０５に連動解除用のボタンを設けることで、連動設定された複数の仮想カメラの連動を解除可能にすることができる。この場合、仮想カメラ制御部２０１は、操作部１０５から連動解除の指示を受け付け、連動設定部２０４に通知し、連動設定を解除させる。

＜画像生成装置１０４が行う処理、及び、処理の一例＞
図５、及び図６を使用して、画像処理装置１０４が行う処理について説明する。図５は、画像生成装置１０４が行う処理を説明するためのフローチャートである。図５に示す処理は、ＣＰＵ２１１がＲＯＭ２１３等に記憶されたプログラムを読み出して実行することにより実現される。

また、図６は、画像生成装置１０４がユーザ操作に基づき仮想視点画像を生成する処理の一例を説明するための図である。図６（ａ）～（ｃ）は表示装置として１台のタブレット端末が使用され、その画面を４つに分割した各部分領域を、スクリーン６０１ａ～６０１ｄとした例である。タブレット端末はタッチパネルを備え、分割された部分領域（スクリーン）毎にタッチ操作を受け付け、各スクリーンに対応する仮想カメラを操作することが可能である。すなわち、各部分領域が、操作部１０５ａ～１０５ｄに相当する。タッチ操作により仮想カメラが操作されると、操作された仮想カメラに対応する仮想視点画像がスクリーンに表示される。

なお、タッチパネルを使用した仮想カメラの操作は、タッチ、ドラッグ、ピンチイン、ピンチアウトなどの種々のタッチ操作に、仮想カメラの移動、回転、画角の変更などを割り当てることにより実現される。

以下、フローチャートの処理ステップごとに説明する。以降の説明において、処理ステップを単にＳと表記する。画像生成装置１０４が起動すると、処理が開始される。

Ｓ５００において、仮想カメラ制御部２０１は、複数の仮想カメラの初期値を取得する。本実施形態における仮想カメラ制御部２０１は、仮想カメラの位置、姿勢及び画角の初期値を指定するためのユーザ操作を受け付けることにより、仮想カメラの初期値を取得する。ただしこれに限定されず、仮想カメラ制御部２０１は、データベース１０３にあらかじめ記憶された仮想視点情報を仮想カメラの初期値として取得してもよい。

Ｓ５０１において、仮想カメラ制御部２０１は、操作部１０５に対し、仮想カメラの位置、姿勢及び画角等（仮想視点情報）を変更するためのユーザ指定が行われたか否かを判定する。ユーザ指定が行われたと判定した場合、Ｓ５０２へ処理を進める。一方、ユーザ指定が行われなかったと判定した場合、Ｓ５０６以降の処理を行い、各仮想カメラに対応する仮想視点画像の生成及び表示を行う。仮想カメラの初期値が設定されてから、特にユーザによる操作が行われない場合、図６のように４つの仮想カメラの初期値に対応する仮想視点画像が、それぞれスクリーン６０１ａ～６０１ｄに表示された状態となる。

Ｓ５０２において、仮想カメラ制御部２０１は、操作部１０５から、仮想カメラの位置、姿勢及び画角等を変更するための操作を受け付ける。図６は、スクリーン６０１ａ（操作部１０５ａに相当）に対してユーザがタッチ操作を行った例を示している。このユーザ操作により、スクリーン６０１ａに表示される仮想視点画像に対応する仮想カメラが操作される。なお、Ｓ５０２において、複数の操作部１０５に対し優先度を設けた場合は、複数の操作部１０５が同時に操作されてもよい。

Ｓ５０３において、連動設定部２０４は、複数の仮想カメラのうち、Ｓ５０２で受け付けたユーザ操作により操作された仮想カメラを第１の仮想カメラとし、第１の仮想カメラと他の仮想カメラとを連動させるか否かを判定する。なお、Ｓ５０２において複数の操作部１０５に対して同時に操作が行われた場合は、最も優先度の高い操作部１０５に対応する仮想カメラを第１の仮想カメラとする。連動設定部２０４は、変更される前の第１の仮想カメラの位置、姿勢及び画角に基づいて、第１の仮想カメラの視錐台を算出する。また、他の仮想カメラ１１０ｂ～１１０ｄについても同様に視錐台を算出し、第１の仮想カメラの視錐台と他の仮想カメラの視錐台とが閾値以上重複するか否かを判定する。視錐台が閾値以上重複する仮想カメラがある場合、連動設定部２０４は、当該仮想カメラを第２の仮想カメラとして、第１の仮想カメラと第２の仮想カメラとを連動させると判定し、Ｓ５０４へ処理を進める。一方、視錐台が閾値以上重複する仮想カメラがない場合、Ｓ５０５へ処理を進める。

Ｓ５０４において、仮想カメラ制御部２０１は、連動設定部２０４により設定された連動設定に基づいて、第１の仮想カメラの情報、及び、第１の仮想カメラと連動する仮想カメラの情報を変更する。ここで、図６（ｂ）の例について説明する。図６（ｂ）におけるスクリーン６０１ａ～６０１ｄに表示される４つの仮想視点画像に対応する仮想カメラの変更前の配置は、図４（ａ）における仮想カメラ１１０ａ～１１０ｄと同様であるとする。この場合、仮想カメラ１１０ａと１１０ｄ、及び、仮想カメラ１１０ｂと１１０ｃが、それぞれ連動設定される。この構成において、例えば、図６（ｂ）におけるスクリーン６０１ａに対し、左方向へ矢印６１２ａだけドラッグする操作が行われたとする。仮想カメラ制御部２０１は、ユーザ操作に基づいて、仮想カメラ１１０ａの位置を移動する。また、仮想カメラ制御部２０１は、仮想カメラ１１０ａの位置の変更量及び変更方向（矢印６１２ａ）に基づいて、仮想カメラ１１０ｄも平行移動させる。

また、図６（ｃ）の例についても説明する。図６（ｃ）におけるスクリーン６０１ａ～６０１ｄに表示される４つの仮想視点画像に対応する仮想カメラの変更前の配置は、図４（ｂ）における仮想カメラ１１０ａ～１１０ｄと同様であるとする。この場合、仮想カメラ１１０ａ～１１０ｄの４つが連動設定される。この構成において、例えば、図６（ｃ）におけるスクリーン６０１ａに対し、左方向へ矢印６１３ａだけドラッグする操作が行われたとする。仮想カメラ制御部２０１は、ユーザ操作に基づいて、仮想カメラ１１０ａの位置を移動する。また、仮想カメラ制御部２０１は、仮想カメラ１１０ａの位置の変更量及び変更方向（矢印６１３ａ）に基づいて、仮想カメラ１１０ｂ～１１０ｄの位置も平行移動させる。

Ｓ５０４においては、連動させる仮想カメラがある場合について説明した。一方、Ｓ５０５において、仮想カメラ制御部２０１は、連動させる仮想カメラがないため、第１の仮想カメラの情報のみを変更する。図６（ａ）の例では、仮想カメラ１１０ａは他の仮想カメラと連動しないと判定されているものとする。このとき、図６（ａ）におけるスクリーン６０１ａに対し、左方向へ矢印６１１だけドラッグする操作が行われたとする。仮想カメラ制御部２０１は、ユーザ操作に基づいて、仮想カメラ１１０ａの位置のみを変更する。

Ｓ５０６において、画像生成装置１０４は、全ての仮想カメラについて、Ｓ５０７、Ｓ５０８の処理が行われたか否かを判定する。未処理の仮想カメラが存在する場合、Ｓ５０７の処理を行う。Ｓ５０７において、画像生成部２０３は、Ｓ５０４及びＳ５０５において仮想カメラ制御部２０１により制御された仮想カメラの情報に基づいて、仮想視点画像を生成する。このとき、画像生成部２０３は、仮想カメラの位置、姿勢及び画角に基づいて、仮想視点画像の生成に必要な画像データをモデル生成部２０２から取得する。画像生成部２０３は、取得した画像データに基づいて、仮想視点画像を生成する。

Ｓ５０８において、画像生成部２０３は、生成した仮想視点画像を、対応する表示部に表示させる。図６の例では、変更後の仮想カメラ１１０ａ～１１０ｄの情報に基づいて生成される４つの仮想視点画像が、それぞれスクリーン６０１ａ～６０１ｄに表示される。

図６（ｂ）の例では、仮想カメラ１１０ａと仮想カメラ１１０ｄとが連動して平行移動され、結果として、仮想カメラ１１０ｄに対応する仮想視点画像は矢印６１２ｄが示す方向に移動した領域が描画されたものとなる。また、図６（ｃ）の例では、仮想カメラ１１０ａ～１１０ｄが連動して平行移動され、結果として、仮想カメラ１１０ｂ～１１０ｃに対応する仮想視点画像は、それぞれ矢印６１３ｂ～６１３ｄが示す方向に移動した領域が描画されたものとなる。図６（ｂ）、（ｃ）において、スクリーン６０１ａに表示される仮想視点画像と、スクリーン６０１ｂ～６０１ｄに表示される仮想視点画像とが別方向に移動しているように見える。しかし、各仮想カメラは、図４（ａ）における三次元空間上において同方向に連動して移動している。

全ての仮想カメラについてＳ５０７、Ｓ５０８の処理が終了すると、Ｓ５０９において、画像処理装置１０４は、ユーザ操作等により、仮想カメラの操作及び仮想視点画像の生成の処理を終了する指示を受け付けたか否かを判定する。終了の指示を受け付けた場合、処理を終了する。指示を受け付けなかった場合、Ｓ５０１以降の処理を再度行う。

上記の様な連動処理を行うことで、撮像領域における特定の撮像対象を異なる方向から見るような複数の仮想視点を容易に変更することができる。これにより、例えば移動する撮像対象（選手やボールなど）を異なる方向から見る複数の仮想視点が設定されている場合に、ユーザは一つの仮想視点の視点位置を移動させる操作を行うだけで複数の仮想視点の視点位置を移動させて撮像対象を追うことができる。この結果、視点の操作に係るユーザの負荷が軽減される。また例えば、重要なシーンが発生する位置（サッカーのゴール前等）を異なる方向から見る複数の仮想視点が設定された場合に、ユーザは複数の仮想視点の視線方向及び画角をまとめて調整することができる。

なお、仮想視点画像の表示領域が変更されなくとも、タイムコード等の時間経過によって、フィールド上の人やボール等のオブジェクトは動くため、仮想視点画像の表示内容はそれに応じてフレーム毎に変化することになる。

また、本実施形態においては、仮想カメラの情報を変更するためのユーザ操作が行われてから（Ｓ５０２）、連動させる仮想カメラがあるか否かを判定する（Ｓ５０３）構成であったが、処理の順番はこれに限定されない。例えば、複数の仮想カメラの初期値を取得（Ｓ５００）した後に、各仮想カメラの初期値に基づいてＳ５０３と同様の判定を行う構成でもよい。画像生成装置１０４は、初期値に基づいて最初に連動設定を行うことにより、仮想カメラの情報を変更するユーザ操作が行われるたびに判定を行う必要がなくなり、処理工程を削減することができる。一方、本実施形態のように仮想カメラの情報を変更するユーザ操作が行われてから連動設定を行う構成であれば、画像生成装置１０４は、ユーザ操作が行われた時点の仮想カメラの情報に基づいて連動設定を逐次更新することができる。

（第２の実施形態）
本実施形態では、複数のスクリーンに対して複数の仮想視点画像を表示する構成において、仮想視点画像の１つとして、撮像領域を俯瞰する俯瞰画像を表示させる形態について説明する。俯瞰画像には、俯瞰画像以外の他の仮想視点画像の生成に使用される複数の仮想カメラの情報が表示される。

図７と図８を用いて、本実施形態における画像生成装置が行う処理について説明する。なお、本実施形態における画像生成装置の機能構成及びハードウェア構成、並びに画像生成システムの構成は、第１の実施形態における画像生成装置１０４及び画像生成システム１００と同様であるため、説明を省略する。また、同様の装置及び処理部については、第１の実施形態と同じ符号を使用して説明する。

図７は、本実施形態における画像生成装置１０４が行う処理を説明するためのフローチャートである。図７に示す処理は、仮想視点画像の動画フレームごとに行われる。また、図８は、画像処理装置１０４が図７に示す処理を行った場合のユーザ操作方法及び仮想視点画像の表示の一例を示す図である。図８の例では、１台のタブレットの画面が４つのスクリーン８０１ａ～８０１ｄに分割され、それぞれに仮想視点画像が表示されている。スクリーン８０１ａに表示されている仮想視点画像が俯瞰画像である。俯瞰画像は、撮像領域を上空から見下ろすように配置された仮想カメラ１１０ａに基づいて生成される。以降の説明において、俯瞰画像に対応する仮想カメラを、俯瞰カメラともいう。３つのスクリーン８０１ｂ～８０１ｄには、仮想カメラ１１０ｂ～１１０ｄに基づいて生成された仮想視点画像が表示される。また、俯瞰画像上には、仮想カメラ１１０ｂ～１１０ｄの情報を位置及び姿勢を示す情報として、仮想カメラ情報８０２ｂ～８０２ｄが表示される。仮想カメラと俯瞰画像上の仮想カメラ情報とのうちいずれか一方が操作されると、もう一方も連動して変更される。

なお、図８は一例であり、表示装置の数、スクリーンの数、仮想カメラの数、及び表示装置に対する俯瞰画像の表示位置などはこれに限定されない。

以下、図７の各処理ステップについて説明する。Ｓ７０１において、仮想カメラ制御部２０１は、複数の仮想カメラの位置、姿勢及び画角等の初期値を取得する。このとき、仮想カメラ制御部２０１は、俯瞰カメラに対応する仮想カメラには、俯瞰カメラであることを示すタグ等を紐づけしておく。Ｓ７０２において、画像生成部２０３は、取得された複数の仮想カメラそれぞれの初期値に基づいて、仮想視点画像を表示するためのＳ７０１～Ｓ７０７の処理を実行する。

Ｓ７０３において、画像生成部２０３は、処理対象の仮想カメラが俯瞰カメラであるか否かを判定する。俯瞰カメラではないと判定した場合、画像生成装置２０３は、Ｓ７０４において仮想カメラの情報に基づいて仮想視点画像を生成し、対応するスクリーンに表示される。図８の例では、この処理ステップにより、スクリーン８０１ｂ～８０１ｄに仮想視点画像が表示される。一方、処理対象の仮想カメラが俯瞰カメラである場合、画像生成部２０３はＳ７０５以降の処理を実行する。

Ｓ７０５において、画像生成部２０３は、俯瞰カメラの情報に基づいて、俯瞰画像を生成し、対応するスクリーンに表示させる。図８の例では、この処理ステップにより、スクリーン８０１ａに俯瞰画像が表示される。Ｓ５０６において、画像生成装置２０３は、仮想カメラ制御部２０１から、俯瞰カメラ以外の他の仮想カメラの情報を取得する。Ｓ７０７において、画像生成部２０３は、取得した他の仮想カメラの情報に基づいて、俯瞰画像上に他の仮想カメラの情報を示す表示を行う。図８の例では、この処理ステップにより、仮想カメラ１１０ｂ～１１０ｄそれぞれの位置及び姿勢を表す仮想カメラ情報８０２ｂ～８０２ｄが俯瞰画像上に表示される。

Ｓ７０６において、画像生成装置１０４は、ユーザ操作等により処理全体を終了させる指示が行われたか否かを判定する。指示が行われた場合、処理を終了させる。指示が行われていない場合、Ｓ７０９以降の処理を実行する。Ｓ７０９において、仮想カメラ制御部２０１は、操作部１０５に対し、仮想カメラの位置、姿勢及び画角等（仮想視点情報）を変更するためのユーザ操作が行われたか否かを判定する。ユーザ操作が行われたと判定した場合、Ｓ７１０へ処理を進める。一方、ユーザ操作が行われなかったと判定した場合、Ｓ７０２～Ｓ７０７の処理を行い、各仮想カメラに対応する仮想視点画像の生成及び表示を行う。

７１０において、仮想カメラ制御部２０１は、操作部１０５から、仮想カメラの位置、姿勢及び画角等を変更するための操作を受け付ける。Ｓ７１１において、仮想カメラ制御部２０１は、変更された仮想カメラが俯瞰カメラであるか否かを判定する。俯瞰カメラではない場合、仮想カメラ制御部２０１は、Ｓ７１２～Ｓ７１４の処理を行う。Ｓ７１２～Ｓ７１４の処理は、図５におけるＳ５０３～Ｓ５０５と同様であるため、説明を省略する。

ここで、ユーザが変更する仮想カメラを指定する方法の一例について、図８（ｂ）（ｃ）を使用して説明する。図８（ｂ）は、俯瞰画像上に表示された仮想カメラ情報に対してタッチ操作を行うことにより、仮想カメラの情報を変更する例である。図８（ｂ）の例では、ユーザはスクリーン６０１ａ上で仮想カメラ情報８０２ｄを指定し、矢印８１３ｄのようにドラッグ操作する。この操作を行うことにより、仮想視点情報８０２ｄに対応する仮想カメラ１１０ｄの情報が変更される。また、図８（ｃ）の例では、スクリーン８０１ｂ上で矢印８２３ｂのようなドラッグ操作が行われている。この場合、スクリーン８０１ｂに対応する仮想カメラ１１０ｂの情報が変更される。

図７に戻り、Ｓ７１１において、変更された仮想カメラが俯瞰カメラであった場合、Ｓ７１５において、仮想カメラ制御部２０１は俯瞰カメラの情報を変更する。ユーザは、例えば、図８のスクリーン８０１ａ上でピンチイン又はピンチアウト操作を行うことで、俯瞰カメラの画角を変更し、俯瞰画像を拡大表示又は縮小表示することができる。

Ｓ７１２～Ｓ７１５の処理が終了すると、画像生成部２０３は、Ｓ７０２以降の処理を再度行い、変更後の仮想カメラの情報に基づいて仮想視点情報を生成及び表示する。以上の処理を実行することにより、画像生成装置は、俯瞰画像上の仮想視点情報と、スクリーンに表示される仮想視点画像とを連動して変更することができる。図８（ｂ）の例では、俯瞰画像上の仮想カメラ情報８０２ｄが変更されると、スクリーン８０１ｄ上の仮想視点画像が連動して変更される。また、図８（ｃ）の例では、スクリーン８０１ｂ上で操作が行われると、俯瞰画像上の仮想カメラ情報８０２ｂが連動して変更される。なお、図８（ｂ）、（ｃ）の例では、Ｓ７１２～Ｓ７１４において連動設定された他の仮想カメラの移動については省略されているものとする。実際は、連動設定された仮想カメラについても同様に、俯瞰画像上の仮想カメラ情報、及び、スクリーンに表示される仮想視点画像が連動して変更される。

以上、本実施形態によれば、俯瞰画像を含む複数の仮想視点画像が生成される。また、俯瞰画像上に他の仮想カメラの情報を表示させることにより、ユーザはより直感的な操作を行うことができる。

（第３の実施形態）
本実施形態では、複数スクリーンに複数の仮想視点画像を表示する構成において、スクリーンの構成要素に応じて、仮想カメラの操作感度を制御する手段について説明する。なお、本実施形態における画像生成装置の機能構成及びハードウェア構成、並びに画像生成システムの構成は、第１、第２の実施形態における画像生成装置１０４及び画像生成システム１００と同様であるため、説明を省略する。また、同様の装置及び処理部については、第１の実施形態と同じ符号を使用して説明する。

図９を用いて、スクリーンの構成要素について説明する。図９（ａ）は、タブレット９００に複数のスクリーン９０１～９０３が表示されている例を示す。図９（ａ）の例では、スクリーン９０１をメイン・スクリーンとし、その上にスクリーン９０２と９０３とがサブ・スクリーンとして表示される。各スクリーンには被写体の一部が仮想視点画像として表示されている。

図９（ｂ）は、撮像領域を俯瞰した図を表す。撮像領域には、フィールド９１１及び観客席９１２があり、フィールド上には選手９１３及びボール９１４等が存在する。また、スクリーン９０２及び９０３が、撮像領域の三次元空間内に仮想的に配置されている。図９（ｂ）の例では、俯瞰画像上に３つの仮想カメラ９３１ａ～９３１ｃが表示されている。フィールド中央にある仮想カメラ９３１ａは、メイン・スクリーンであるスクリーン９０１に対応付けされている。仮想カメラ９３１ａに基づいて生成される仮想視点画像をスクリーン９０１に表示すると、スクリーン９０２及び９０３がスクリーン９０１上の仮想視点画像に表示される。また、仮想カメラ９３１及び９３１ｃは、それぞれサブ・スクリーンであるスクリーン９０２及び９０３に対応付けされている。仮想カメラ９３１ｂ及び９３１ｃに基づいて生成された仮想視点画像は、それぞれスクリーン９０２及び９０３に表示される。

スクリーンの構成要素とは、図９の様な構成における、スクリーンのサイズ及び位置、並びにスクリーンに紐付けられた仮想カメラの解像度及び画角を指す。図９に示す構成であっても、第１の実施形態で説明した連動制御を行うことができる。図９の例では、複数のスクリーンはメイン・スクリーンとサブ・スクリーンでサイズが異なる。このとき、スクリーンサイズに応じて、仮想カメラの解像度及び画角が異なっていてもよい。

図９のようにスクリーンの構成要素が異なる場合、例えば、タブレット９００の画面上では同じ操作距離（例えば、ドラッグ距離）が行われると、スクリーンサイズが異なるため、各スクリーンに対する操作距離の比率が異なる。例えば、図９（ｃ）に示す様に、タブレット画面上では同じ操作距離のドラッグ操作９４１と９４２であっても、サブ・スクリーン９０２に置いては画面横幅一杯の操作距離であるのに対して、メイン・スクリーン９０１では１／３以下の操作距離となる。このため、同じドラッグ操作でも、サブ・スクリーンに対応する仮想カメラの方が、メイン・スクリーンに対応する仮想カメラよりも大きく変化してしまい、ユーザ操作に違和感を与える可能性がある。

本実施形態における画像生成装置１０４は、構成要素の差によってユーザ操作に違和感を与えない様に、スクリーンの構成要素に応じて仮想カメラの操作感度を変更する。図９の例では、例えば、サブ・スクリーンに対するユーザ操作の操作感度を１／３にする。すなわち、サブ・スクリーン上で行われたユーザ操作に対応する仮想カメラの変更量は、メイン・スクリーン上で行われたユーザ層に対応する仮想カメラの変更量の１／３となる。
これにより、ユーザはサイズの異なるスクリーンに対しても違和感なく操作を行うことができる。なお、メイン・スクリーンを基準として位置が遠いサブ・スクリーンに対して、操作感度を下げる様に設定しても良い。なお、パラメータの重み付けはサブ・スクリーンのサイズに限らず、紐付けられた仮想カメラの解像度や画角などに応じて変更しても良い。

以上説明した方法は、第１の実施形態において説明した連動制御にも適用可能である。例えば、図９（ｄ）の例では、タブレット９００上にメイン・スクリーンとしてスクリーン９０４が割り当てられ、スクリーン９０４上に、サブ・スクリーンとしてスクリーン９０５が割り当てられている。また、スクリーン９０４及び９０５には、第１の実施形態において説明した方法により連動設定された２つの仮想カメラ９３１ｂ及び９３１ｃに対応する仮想視点画像が表示されている。スクリーン９０５の操作感度は、スクリーン９０４の操作感度の１／３であるとする。このとき、スクリーン９０５に対し、矢印９５１のようなドラッグ操作が行われたとする。この操作により、仮想カメラ９３１ｂ及び９３１ｃの位置が変更されるが、位置の変更量は矢印９５１の１／３の大きさの矢印９５２となる。結果として、スクリーン９０４には、矢印９５２が表す変更量分位置が変更された仮想カメラ９３１ｂに対応する仮想視点画像が表示される。またこのときのスクリーン９０４上の変更量は、矢印９５３となる。

図１０を用いて、スクリーンの構成要素に応じてパラメータを変更する連動処理について説明する。図１０の処理は、図５におけるＳ５０１～Ｓ５０５の処理と置き換えて実行される。

Ｓ１００１において、仮想カメラ制御部２０１は、複数のスクリーンの構成要素を取得する。仮想カメラ制御部２０１は、データベース等に記憶されているスクリーンの構成に関する情報を取得してもよいし、ユーザによる入力に基づいて構成要素を取得してもよい。Ｓ１００２において、仮想カメラ制御部２０１は、構成要素に応じてスクリーン毎の操作感度を決定する。仮想カメラ制御部２０１は、例えば図９においては、仮想カメラ制御部２０１は、メイン・スクリーンとサブ・スクリーンとの辺の長さの日に基づき、サブ・スクリーンの操作感度を１／３に決定する。

Ｓ１００３において、仮想カメラ制御部２０１は、仮想カメラの位置、姿勢及び画角等（仮想視点情報）を変更するためのユーザ操作が行われたか否かを判定する。ユーザ操作が行われたと判定した場合、Ｓ１００４へ処理を進める。一方、ユーザ操作が行われなかったと判定した場合、Ｓ５０６以降の処理を実行する。

Ｓ１００４において、仮想カメラ制御部２０１は、操作部１０５から、仮想カメラの位置、姿勢及び画角等を変更するための操作を受け付ける。Ｓ１００５において、仮想カメラ制御部２０１は、Ｓ１００２において決定した操作感度に基づき、受け付けたユーザ操作により変更される仮想カメラの変更量を調整する。例えば図９（ｄ）に関して、Ｓ１００２においてスクリーン９０５の操作感度が１／３に決定された場合、スクリーン９０５に対して行われたユーザ操作（矢印９５１）に基づく変更量は、矢印９５２となるように調整される。

Ｓ１００６において、連動設定部２０４は、ユーザ操作により指定された仮想カメラと他の仮想カメラとを連動させるか否かを判定する。Ｓ１００７において、仮想カメラ制御部２０１は、Ｓ１００６において連動させると判定された複数の仮想カメラを制御する。Ｓ１００７において、仮想カメラ制御部２０１は、ユーザ操作により変更された仮想カメラを制御する。なお、Ｓ１００６及びＳ１００７における仮想カメラの制御は、Ｓ１００５において調整された変更量に基づいて行われる。図９（ｄ）の例では、矢印９５１のようなユーザ操作に対し、変更量は矢印９５２のように調整される。これに伴い、連動設定されたスクリーン９０４に表示される仮想視点画像の変更量は、調整された矢印９５２に相当する変更量である矢印９５３となる。

以上に説明した様に、本実施形態における画像生成装置１０４は、構成要素の異なる複数のスクリーンが含まれる場合でも、ユーザ操作に違和感を与えることなく仮想カメラの変更を行うことができる。なお、スクリーン毎に操作感度を変更する処理は、複数スクリーンに重畳関係がない場合に適用してもよく、例えば、図１（ｄ）の様に等分に４分割された複数のスクリーンに適用してもよい。その場合は、構成要素でなく、ユーザ設定に応じてスクリーン毎の操作感度が決定されてもよい。

（第４の実施形態）
本実施形態は、ユーザが連動設定を管理する方法の例について説明する。図１１は、仮想カメラの連動設定を管理するＵＩ画面の一例を説明するための図である。図１１のＵＩ画面１１００は、画像生成装置１０４の複数のスクリーン１１１とは異なるモニタ及びウェブブラウザ等により表示される。また、図１１のＵＩ画面１１００は、連動設定部２０４により生成及び表示される。連動設定を管理するオペレータは、ＵＩ画面１１００を使用して、どの仮想カメラが連動して動作するかを管理することができる。

まず、図１１の設定画面１１００において、オペレータは新規作成ボタン１１０１を押下する。これにより、１つの仮想カメラの操作に必要な設定リスト１１１０が表示される。図１１の例では、４つの仮想カメラのための設定リスト１１１０、１１２０、１１３０、１１４０が表示されており、新規作成ボタン４０１が４回押下されたことを意味している。なお、設定できる仮想カメラ数は４に限定されない。ここでは一例として、４つの仮想カメラが生成され、その内、２つずつが連動して制御される場合について説明する。

各設定リスト１１１０～１１４０には、各仮想カメラを操作に要求されるパラメータを設定するための設定項目１１１１～１１１３を含む。各設定項目について説明する。

設定項目１１１１においては、仮想カメラの操作に使用される入力デバイス（操作部１０５）の識別子を設定する。オペレータは、ジョイスティック、マウス、及びタブレット等の選択肢の中から使用される入力デバイスを１つ選択する。

操作部１０６ａ～１０６ｍのそれぞれには識別子が付与されている。オペレータは識別子を指定し、どのコントローラをどの仮想視点画像の生成に使用するのかを設定する。図１１の例では、「ジョイスティックＡ」、「タブレットＡ」のように入力デバイスの種類名にアルファベットが付記されている。

設定項目１１１２には、連動設定部２０４により連動すると判定された仮想カメラの識別子が表示される。オペレータは、設定項目１１１２のプルダウンから、連動する仮想カメラの識別子を変更したり、「連動解除」を選択することにより、連動設定を変更及び解除することができる。

設定項目４１３には、連動制御する際の優先度として、「主導」または「追随」が表示される。主導・追随の設定は、主導に設定された仮想カメラの操作と、追随に設定された仮想カメラの操作とが同時に行われた場合、主導に設定された仮想カメラの操作に追随に設定された仮想カメラの操作が追随することを意味する。なお、優先度の表現方法はこれに限定されず、例えば数値によって優先度の高低が表されてもよい。

図１１の例では、仮想カメラＡの設定パネル１１１０において、設定項目１１１２の連動する仮想カメラの識別子として「仮想カメラＤ」が設定され、設定項目１１１３において「主導」が設定されている。一方で、仮想カメラＤの設定パネル１１４０においては、設定項目１１１２の連動する仮想カメラの識別子として「仮想カメラＡ」が設定され、設定項目１１１３において「追随」が設定されている。この様な場合、仮想カメラＡの設定項目１１１１において指定される「ジョイスティックＡ」に対するオペレータの操作によって、仮想カメラＡに加えて、仮想カメラＤも操作されることになる。また、仮想カメラＤの設定項目１１１１において指定される「ジョイスティックＤ」が「ジョイスティックＡ」と同時に操作された場合、ジョイスティックＤに対して行われた操作は無効となる。

なお、主導に設定された仮想カメラの操作と、追随に設定された仮想カメラの操作とが同時に行われない場合は、一方の操作に基づき、もう一方の仮想カメラが連動して制御される。連動しないようにしたい場合は、連動設定を解除すればよい。

以上説明した構成により、ユーザ（オペレータ）は、仮想カメラの連動設定を管理することができる。なお、ＵＩ画面の構成は図１１の例に限定されず、複数の仮想視点の連動の有無、及び、入力デバイスを設定できればよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４画像生成装置
２０１仮想カメラ制御部
２０３画像生成部

Claims

複数の撮像装置が行う撮像に基づく複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の視点位置及び仮想視点からの視線方向を表す仮想視点情報を変更するためのユーザ指定を受け付ける受付手段と、
表示手段に表示された複数の仮想視点画像に対応する複数の仮想視点情報に含まれる第１の仮想視点情報であって、前記複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第１の仮想視点情報に基づいて、前記複数の仮想視点情報の中から、前記第１の仮想視点情報とは少なくとも仮想視点からの視線方向が異なり、且つ前記特定の撮像対象を含む仮想視点画像に対応する第２の仮想視点情報を特定する特定手段と、
前記第１の仮想視点情報を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記第１の仮想視点情報と、前記第１の仮想視点情報に基づいて前記特定手段により特定される前記第２の仮想視点情報とを変更する変更手段と、
前記変更手段により変更された前記第１の仮想視点情報に対応する仮想視点画像と、前記変更手段により変更された前記第２の仮想視点情報に対応する仮想視点画像とを、表示手段に表示させる表示制御手段と
を有することを特徴とする情報処理装置。
前記特定手段は、前記複数の撮像装置により撮像される撮像領域における前記複数の仮想視点情報に基づいて特定される複数の特定範囲のうち、前記第１の仮想視点情報に基づいて特定される特定範囲と重複する特定範囲に対応する仮想視点情報を、第２の仮想視点情報として特定することを特徴とする請求項１に記載の情報処理装置。
前記特定手段は、前記複数の特定範囲のうち、前記第１の仮想視点情報に基づいて特定される特定範囲と重複する範囲が所定のサイズ以上である特定範囲に対応する仮想視点情報を、前記第２の仮想視点情報として特定することを特徴とする請求項２に記載の情報処理装置。
前記特定手段は、前記複数の特定範囲のうち、前記第１の仮想視点情報に基づいて特定される特定範囲に対して重複する範囲が所定の割合以上である特定範囲に対応する仮想視点情報を、前記第２の仮想視点情報として特定することを特徴とする請求項２に記載の情報処理装置。
前記特定範囲は、前記仮想視点情報に対応する仮想視点の視点位置、仮想視点からの視線方向、及び、画角に基づいて特定されることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
前記変更手段は、前記第１の仮想視点情報により表される仮想視点の視点位置を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく視点位置の変更量及び変更方向に基づいて、前記第２の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記変更手段は、前記変更量及び前記変更方向に基づいて、前記第１の仮想視点情報により表される仮想視点の視点位置と前記第２の仮想視点情報により表される仮想視点の視点位置とが平行移動するように、前記第２の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項６に記載の情報処理装置。
前記変更手段は、前記変更方向が前記第１の仮想視点情報により表される仮想視点からの視線方向と同方向である場合、前記第２の仮想視点情報により表される仮想視点の視点位置が前記第２の仮想視点情報により表される仮想視点からの視線方向と同方向に移動するように、前記第２の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項６に記載の情報処理装置。
前記変更手段は、前記変更方向が前記第１の仮想視点情報により表される仮想視点からの視線方向と逆方向である場合、前記第２の仮想視点情報により表される仮想視点の視点位置が前記第２の仮想視点情報により表される仮想視点からの視線方向と逆方向に移動するように、前記第２の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項６に記載の情報処理装置。
前記変更手段は、前記第１の仮想視点情報に対応する仮想視点画像が表示される表示部の大きさと、前記第２の仮想視点情報に対応する仮想視点画像が表示される表示部の大きさとに基づいて、前記ユーザ指定に基づく視点位置の変更量を決定することを特徴とする請求項６乃至９のいずれか１項に記載の情報処理装置。
前記変更手段は、
前記第１の仮想視点情報により表される仮想視点からの視線方向を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく視線方向の変更量及び変更方向に基づいて、前記第２の仮想視点情報により表される仮想視点からの視線方向を変更することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
前記変更手段は、前記第２の仮想視点情報により表される仮想視点からの視線方向を前記変更方向とは逆方向に変更させるように、前記第２の仮想視点情報により表される仮想視点からの視線方向を変更することを特徴とする請求項１１に記載の情報処理装置。
前記仮想視点情報は、画角をさらに表し、
前記変更手段は、前記第１の仮想視点情報により表される画角を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく画角の変更量又は前記ユーザ指定に基づく変更後の画角に基づいて、前記第２の仮想視点情報により表される画角を変更する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
前記仮想視点情報は、前記仮想視点情報に基づいて生成される仮想視点画像の再生速度を示すパラメータを含み、
前記変更手段は、前記第１の仮想視点情報に含まれる前記パラメータを変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく変更後のパラメータに基づいて、前記第２の仮想視点情報に含まれる前記パラメータを変更する
ことを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
前記第１の仮想視点情報を変更するためのユーザ指定に基づく前記第２の仮想視点情報の変更が行われないように、前記変更手段を制御する制御手段を有することを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
前記特定の撮像対象は、前記複数の撮像装置により撮像される撮像領域における特定のオブジェクトを含むことを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。
前記特定の撮像対象は、前記複数の撮像装置により撮像される撮像領域における特定の位置を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
複数の撮像装置が行う撮像に基づく複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の視点位置及び仮想視点からの視線方向を表す仮想視点情報を変更するためのユーザ指定を受け付ける受付工程と、
表示手段に表示された複数の仮想視点画像に対応する複数の仮想視点情報に含まれる第１の仮想視点情報であって、前記複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第１の仮想視点情報に基づいて、前記複数の仮想視点情報の中から、前記第１の仮想視点情報とは少なくとも仮想視点からの視線方向が異なり、且つ前記特定の撮像対象を含む仮想視点画像に対応する第２の仮想視点情報を特定する特定工程と、
前記第１の仮想視点情報を変更するためのユーザ指定を前記受付工程において受け付けた場合、前記第１の仮想視点情報と、前記第１の仮想視点情報に基づいて特定される前記第２の仮想視点情報とを変更する変更工程と、
前記変更工程において変更された前記第１の仮想視点情報に対応する仮想視点画像と、前記変更工程において変更された前記第２の仮想視点情報に対応する仮想視点画像とを、表示手段に表示させる表示制御工程と
を有することを特徴とする仮想視点画像の表示方法。
コンピュータを、請求項１乃至１７のいずれか１項に記載の情報処理装置として機能させるためのプログラム。