JP2022094789A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】 所定のイベントを見るための複数の仮想視点を決定できるようにする。
【解決手段】 情報処理装置２０２は、複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を表す第１の仮想視点情報、及び、被写体に係る所定のイベントに応じた仮想視点画像を生成するための、第１の仮想視点情報とは異なる第２の仮想視点情報であって、第１の仮想視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に基づいて変化する仮想視点の位置及び仮想視点からの視線方向を表す第２の仮想視点情報を決定する仮想視点制御部５０７と、第１の仮想視点情報及び第２の仮想視点情報を出力するデータ入出力部５０３とを有する。
【選択図】 図５

Description

本開示は、仮想視点画像を生成する技術に関するものである。

近年、撮影領域の周囲に複数の撮影装置を配置して撮影を行い、それぞれの撮影装置から取得された複数の撮影画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。仮想視点画像を生成する技術においては、例えば、サッカーやバスケットボールなどにおける特定シーン（例えばゴールシーンなど）を様々な角度から視聴することができるため、従来の撮影画像と比較してユーザに高臨場感を与えることができる。

特許文献１には、ゲームにおいてリプレイイベントが発生した際、イベントに関与したキャラクタを映す複数のリプレイカメラの映像を画面に表示させることが記載されている。

特開２００７－３１３００１号公報

しかしながら、引用文献１は、生成される複数のリプレイカメラの位置や向きはキャラクタの位置に応じて自動で決定される。このため、ユーザが仮想視点画像を生成する際に所定のイベントを見るための複数の仮想視点を任意に決定したい場合に、各仮想視点をそれぞれ決定する必要があり、ユーザの処理負荷が大きくなるという問題がある。

本開示は上記の課題に鑑みてなされたものである。その目的は、所定のイベントを見るための複数の仮想視点を決定できるようにすることである。

本発明に係る情報処理装置は、複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を表す第１の仮想視点情報を決定する第１の決定手段と、前記被写体に係る所定のイベントに応じた仮想視点画像を生成するための、前記第１の決定手段により決定される前記第１の仮想視点情報とは異なる第２の仮想視点情報であって、前記第１の仮想視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に基づいて変化する仮想視点の位置及び仮想視点からの視線方向を表す第２の仮想視点情報を決定する第２の決定手段と、前記第１の決定手段により決定される第１の仮想視点情報、及び、前記第２の決定手段により決定される第２の仮想視点情報を出力する出力手段とを有することを特徴とする。

本開示によれば、所定のイベントを見るための複数の仮想視点を決定することができる。

画像処理システムの構成を示す図である。 複数のカメラの配置の一例を示す図である。 画像処理システムが有する各装置のハードウェア構成を説明するための図である。 画像生成装置の機能構成を示す図である。 情報処理装置の機能構成を示す図である。 仮想視点情報、イベント情報、オブジェクト位置情報、及び、注目オブジェクト情報の一例を示す図である。 情報処理装置が行う処理を示すフローチャートである。 トリガ検知部が行う処理を示すフローチャートである。 イベント予測の一例を示す図である。 決定される仮想視点の一例を示す図である。 表示される仮想視点画像の一例を示す図である。

以下、実施の形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。

（実施形態）
＜システム構成＞
図１を用いて、本実施形態に係る画像処理システム１００の構成について説明する。画像処理システム１００は、仮想視点画像を生成するためのシステムである。画ここで、仮想視点画像とは、複数の撮影装置から得られる画像に基づいて生成される画像であって、指定された視点（仮想視点）から見た画像である。

像処理システム１００は、複数の撮影装置（カメラ）、画像生成装置２０１、情報処理装置２０２、及び、ユーザ端末２０３を有する。本実施形態においては、複数のカメラ１０４は、スタジアム１０１に設置されるものとする。図２は、複数のカメラ１０４の設置の一例を示す図である。スタジアム１０１には、観客席１０２と、実際に競技等が行われるフィールド１０３とが含まれる。複数のカメラ１０４は、それぞれが撮影対象であるフィールド１０３の少なくとも一部を撮影すると共に、少なくとも２つのカメラの画角に重なりが生じるように配置される。なお、本実施形態においては、カメラ１、カメラ２、・・・、カメラｎのｎ台のカメラが使用されるものとしたが、カメラの台数ｎは任意の数であってよい。

複数のカメラ１０４は、伝送ケーブル等を介して互いに接続される。また、複数のカメラ１０４は、伝送ケーブル等を介して画像生成装置２０１にも接続される。本実施形態においては、複数のカメラ１０４及び画像生成装置２０１はデイジーチェーン接続されるものとする。しかしこれに限定されず、複数のカメラ１０４のそれぞれが画像生成装置２０１に接続されるスター型接続の構成となっていてもよい。

複数のカメラ１０４は、それぞれがフィールド１０３を撮影し、撮影により得られた画像を画像生成装置２０１へ伝送する。図２の例では、複数のカメラ１０４は、サッカー場などのスタジアム１０１の全てまたは一部の範囲が撮影されるように配置される。複数のカメラ１０４は、静止画像を撮影するように構成されてもよいし、動画像を撮影するように構成されてもよい。また、複数のカメラ１０４は、静止画像と動画像との両方を撮影するように構成されてもよい。なお、本実施形態では、特に断りがない限り、「画像」は、静止画と動画との両方を含む表現であるものとする。また、本実施形態における仮想視点画像についても、特に断りがない限り、静止画と動画との両方を含むものとする。

画像生成装置２０１は、複数のカメラ１０４から得られる画像を使用して、仮想視点画像を生成する装置である。画像生成装置２０１は、複数のカメラにより撮影された画像（以下、撮影画像ともいう）を蓄積する。また、画像生成装置２０１は、後述する情報処理装置から、仮想視点の位置、及び、仮想視点の視線方向を示す情報（以下、仮想視点情報という）を取得する。画像生成装置２０１は、複数のカメラ１０４から得られる撮影画像と、情報処理装置から得られる仮想視点情報とを用いて、仮想視点画像を生成する。

画像生成装置２０１は、生成した仮想視点画像を、情報処理装置に出力する。画像生成装置２０１は、例えばサーバ装置であり、複数の撮影画像や、生成した仮想視点画像を記憶するデータベース機能と、仮想視点画像を生成するための画像処理機能とを有する。また、スタジアム１０１内の複数のカメラ１０４と画像生成装置２０１とは、有線または無線の通信ネットワーク回線や、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のケーブル回線によって接続される。画像生成装置２０１は、複数のカメラ１０４によって撮影された画像を、この回線を通じて受信して、受信した画像をデータベースに格納する。

情報処理装置２０２は、仮想視点画像の生成に使用される仮想視点情報を決定する装置である。情報処理装置２０２は、例えば、後述するユーザ端末２０３からユーザ操作を受け付け、ユーザ操作に基づいて仮想視点情報を決定する。本実施形態における情報処理装置２０２は、決定する仮想視点情報の数を、単数または複数に切り替える機能を有する。具体的には、情報処理装置２０２は、一つの仮想視点を決定するモード（以下、「単数仮想視点モード」ともいう）と、複数の仮想視点情報を決定するモード（以下、「複数仮想視点モード」ともいう）とを切り替える機能を有する。情報処理装置２０２は、単数仮想視点モードの場合に、複数の仮想視点に切り替える条件（以下、この条件のことを「トリガ」ともいう。）を検出すると、複数仮想視点モードに切り替わる。具体的な処理は後述する。

トリガは、例えば、シュート等のゴールシーンや、反則（ペナルティシーン）など、被写体に係る所定のイベントの発生である。情報処理装置２０２は、複数仮想視点モードへ切り替える場合、少なくとも２つ以上の仮想視点を生成する。情報処理装置２０２は、生成した複数の仮想視点を、ユーザ端末２０３の操作指示に基づいて制御する。その際、情報処理装置２０２は、基準となる仮想視点の動きに応じて、基準以外の仮想視点を制御する。

情報処理装置２０２は、例えば、パーソナルコンピュータである。なお、情報処理装置２０２は、画像生成装置２０１やユーザ端末２０３に組み込まれてもよい。即ち、情報処理装置２０２は、画像生成装置２０１とユーザ端末２０３との少なくともいずれかと一体の装置として実現されてもよい。

ユーザ端末２０３は、画像処理システム１００を利用するユーザが所持する情報処理装置である。ユーザ端末２０３は、ユーザの入力に基づいて、仮想視点の位置及び仮想視点からの視線方向を決定するためのユーザ操作を受け付ける。ユーザ端末２０３は、ユーザ操作の指示内容を示す操作情報を情報処理装置２０２へ伝送する。情報処理装置２０２は、ユーザ端末２０３から取得される操作情報に基づいて、仮想視点情報を決定する。仮想視点情報は、時刻情報、仮想視点の位置を示す位置情報、及び、仮想視点からの視線方向を示す方向情報で構成される。

図６（ａ）に、仮想視点情報の構成例を示す。時刻情報は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で構成される。この時刻情報は、例えば、複数のカメラ１０４が撮影を行った時刻を表す。位置情報は、３つの座標軸（ｘ軸、ｙ軸、ｚ軸）が原点で直交するように交わる座標系の３次元直交座標によって示される。このときの原点は、例えば、サッカーフィールドのセンターサークルの中心などであり、撮影空間内の任意の位置であってもよい。方向情報は、仮想視点を仮想的なカメラに見立てた場合におけるカメラの姿勢に相当する。すなわち、方向情報は、パン（水平方向の回転角）、チルト（垂直方向の回転角）、ロール（カメラの光軸方向の回転角）の３軸に対する角度により示される。なお、仮想視点情報の構成はこれに限定されない。例えば、仮想視点の視野の広さ（画角）に対応する情報等、他の情報が仮想視点情報に含まれていてもよし、時刻情報、位置情報、及び、方向情報のうち。任意の情報を含む構成でもよい。また、仮想視点情報に含まれる時刻情報、位置情報、及び、方向情報のうち少なくともいずれかの表示形式が異なっていてもよい。

ユーザ端末２０３は、情報処理装置２０２から仮想視点画像を受信し、ユーザ端末の表示画面、又は、外部に接続される表示装置に表示させることができる。ユーザ端末２０３は、例えば、パーソナルコンピュータや、スマートフォンやタブレットなどの携帯端末などである。ユーザ端末２０３は、マウス、キーボード、６軸コントローラ、及び、タッチパネルの少なくとも１つ等のユーザ操作を受け付けるためのインタフェースを有する。

上述した画像生成装置２０１、情報処理装置２０２及びユーザ端末２０３は、例えば、インターネットなどのネットワークを介して相互に情報のやり取りが可能となるように構成される。なお、装置間の通信は、無線通信と有線通信とのいずれか又はこれらの組み合わせのいずれによって行われてもよい。

＜ハードウェア構成＞
続いて、画像処理システム１００における各装置の構成例について説明する。図３は、画像生成装置２０１のハードウェア構成を示す図である。画像生成装置２０１は、コントローラユニット３００、操作ユニット３０９、および表示装置３１０を含んで構成される。なお、情報処理装置２０２、及びユーザ端末２０３も、図３に示すハードウェア構成と同様の構成を有するものとする。

コントローラユニット３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、操作部Ｉ／Ｆ３０５、表示部Ｉ／Ｆ３０６、及び通信Ｉ／Ｆ３０７を含む。なお、これらのハードウェアブロックは、例えばシステムバス３０８によって相互に通信可能となるように接続される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略であり、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略であり、Ｉ／Ｆはインタフェースである。

ＣＰＵ３０１は、システムバス３０８を介して、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、操作部Ｉ／Ｆ３０５、表示部Ｉ／Ｆ３０６、及び、通信Ｉ／Ｆ３０７の動作を制御する。ＣＰＵ３０１は、ＲＯＭ３０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ３０１は、このＯＳ上で、例えばＨＤＤ３０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ３０１がアプリケーションプログラムを実行することによって、各装置の各種処理が実現される。ＲＡＭ３０３は、例えば、各種一時的な情報の格納やＣＰＵ３０１の作業領域のために用いられる。ＨＤＤ３０４は、アプリケーションプログラムや、仮想視点画像の生成に使用されるデータ（画像及び仮想視点情報等）を格納する。なお、ＣＰＵ３０１は、１つ以上の任意のプロセッサ（例えば、ＡＳＩＣ（特定用途向け集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）や、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等）によって置き換えられてもよい。

操作部Ｉ／Ｆ３０５は、操作ユニット３０９とのインタフェースである。操作部Ｉ／Ｆ３０５は、操作ユニット３０９によって受け付けられたユーザ操作の情報をＣＰＵ３０１へ転送する。操作ユニット３０９は、例えば、マウスやキーボード、タッチパネル等の、ユーザ操作を受付可能な機器を含んで構成される。表示部Ｉ／Ｆ３０６は、表示装置３１０とのインタフェースであり、例えば、表示装置３１０が表示すべき画像データを表示装置３１０に対して出力する。表示装置３１０は、液晶ディスプレイなどのディスプレイを含んで構成される。通信Ｉ／Ｆ３０７は、例えばイーサネット（登録商標）等の通信を行うためのインタフェースであり、伝送ケーブルの接続を受け付けるためのコネクタ等を含んで構成される。なお、通信Ｉ／Ｆ３０７は、無線通信インタフェースであってもよく、例えばベースバンド回路やＲＦ回路、及びアンテナを含んで構成されてもよい。通信Ｉ／Ｆ３０７は、外部装置との間で情報の入出力を行う。

なお、各装置は、ケーブルやネットワークを介して接続された外部の表示装置３１０に画像を表示させる表示制御を行うこともできる。この場合、装置は、表示データを表示装置３１０に出力させるための表示制御を実行する。なお、図３の構成は一例であり、その一部が省略され又は図示されていない構成が追加され、さらに、図示された構成が組み合わされてもよい。例えば、画像生成装置２０１は、表示装置３１０を有しなくてもよい。

＜画像生成装置の機能構成＞
図４に、画像生成装置２０１の機能構成例を示す。図４の機能構成は、画像生成装置２０１のＣＰＵ３０１が、ＲＯＭ３０２等に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図４に示す構成の一部または全部が専用のハードウェア（例えばＡＳＩＣやＦＰＧＡ）により実現されてもよい。画像生成装置２０１は、一例において、制御部４０１、記憶部４０２、撮影画像入力部４０３、画像記憶部４０４、仮想視点画像生成部４０５、及び、データ入出力部４０６を有する。なお、これらの機能部は、内部バス４０７によって相互に接続され、制御部４０１による制御の下で、相互にデータを送受信することができる。

制御部４０１は、記憶部４０２に格納されているコンピュータプログラムを実行することによって、画像生成装置２０１全体の動作を制御する。記憶部４０２は、ハードディスクなどの不揮発性の記憶装置を有する。記憶部４０２（不揮発性の記憶装置）は、画像生成装置２０１全体の動作を制御するコンピュータプログラム等を格納する。

撮影画像入力部４０３は、スタジアム１０１に設置された複数のカメラ１０４が撮影した画像を取得し、画像記憶部４０４へ出力する。撮影画像入力部４０３は、例えば有線もしくは無線の通信モジュール、又はＳＤＩ等の画像伝送モジュールにより、カメラ１０４から撮影画像を取得する。

画像記憶部４０４は、撮影画像入力部４０３によって取得された撮影画像と、それらの撮影画像に基づいて生成された仮想視点画像とを記憶する大容量の記憶装置である。画像記憶部４０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等によって実現される。なお、画像記憶部４０４は、画像生成装置２０１に内蔵された装置によって実現されてもよいし、画像生成装置２０１とは物理的に切り離された外部の装置によって実現されてもよい。また、画像記憶部４０４に記憶される撮影画像及びそれに基づいて生成された仮想視点画像は、例えば、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）形式の画像フォーマットで記憶される。また、これらの撮影画像及び仮想視点画像は、例えば、ＭＰＥＧ２形式で圧縮される。ただし、画像フォーマットやデータ圧縮方式は、これらに限定されず、任意の画像フォーマットおよびデータ圧縮方式が用いられてもよい。

仮想視点画像生成部４０５は、画像記憶部４０４に記憶された複数の撮影画像と、情報処理装置から取得される仮想視点情報とに基づいて、仮想視点画像を生成する。仮想視点画像は、例えば、イメージベースレンダリングを用いて生成される。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）を行わず、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。ただし、イメージベースレンダリングによらずに仮想視点画像が生成されてもよく、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＭＢＲ）を用いて仮想視点画像が生成されてもよい。ＭＢＲは、複数の方向から被写体が撮影された複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成する方式である。ＭＢＲは、例えば、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法によって得られる被写体の三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する。なお、仮想視点画像生成部４０６が仮想視点画像を生成するために行う処理の一部又は全部が、他の装置により行われる構成であってもよい。例えば、視体積交差法を使用して三次元形状を生成する場合、撮影画像における特定の被写体（選手やボールなど）を表す前景領域と、それ以外の領域である背景領域とを分離する処理が行われる。この前景領域と背景領域とを分離する処理が、例えば複数のカメラ１０４により行われてもよい。

ここで、仮想視点画像生成部４０５は、様々な仮想視点の位置及び視線方向に対応する複数の仮想視点画像を生成し、生成される複数の仮想視点画像は１つの画像ストリームとして空間方向及び時間方向に圧縮符号化される。しかしながらこれに限られず、複数の仮想視点画像は、１つの画像ストリームではなく、それぞれが独立した複数の画像として構成されてもよい。また、仮想視点画像は、圧縮符号化されていなくてもよい。また、画像生成装置２０１は、仮想視点画像に代えて、例えば、三次元形状データ等の三次元モデルを示す情報や、その情報が示す三次元モデルにマッピングするための画像等の、仮想視点画像を生成するための情報を生成してもよい。すなわち、仮想視点画像生成部４０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置２０２またはユーザ端末２０３で仮想視点画像をレンダリングするために必要な情報を生成してもよい。

データ入出力部４０６は、情報処理装置２０２から仮想視点情報を取得し、樹徳した仮想視点情報に対応する仮想視点画像を情報処理装置２０２へ出力する。

＜情報処理装置の機能構成＞
図５は、情報処理装置２０２の機能構成例を示すブロック図である。図５の機能構成は、情報処理装置２０２のＣＰＵ３０１が、ＲＯＭ３０２等に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図５示す機能部の一部または全部が専用のハードウェア（例えばＡＳＩＣやＦＰＧＡ）により実現されてもよい。情報処理装置２０２は、一例において、制御部５０１、記憶部５０２、データ入出力部５０３、画像記憶部５０４、取得部５０５、トリガ検知部５０６、仮想視点制御部５０７、画像取得部５０８、表示制御部５０９、及び、通信部５１０を有する。これらの機能部は、内部バス５１１によって相互に接続され、制御部５０１による制御の下で、相互にデータを送受信することができる。

制御部５０１は、記憶部５０２に格納されているコンピュータプログラムを実行することによって、情報処理装置２０２全体の動作を制御する。記憶部５０２は、ハードディスクなどの不揮発性の記憶装置を有する。記憶部５０２（不揮発性の記憶装置）は、情報処理装置２０２全体の動作を制御するコンピュータプログラム等を格納する。データ入出力部５０３は、後述する仮想視点制御部５０７で決定される仮想視点情報を画像生成装置２０１に出力する。また、データ入出力部５０３は、画像生成装置２０１から仮想視点画像を取得する。

画像記憶部５０４は、データ入出力部５０３によって取得された仮想視点画像と、取得部５０５によって取得されたイベント情報、オブジェクト位置情報および注目オブジェクト情報とを記憶する大容量の記憶装置である。画像記憶部５０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等によって実現される。なお、画像記憶部５０４は、情報処理装置２０２に内蔵された装置によって実現されてもよいし、情報処理装置２０２とは物理的に切り離された外部の装置によって実現されてもよい。

取得部５０５は、イベント情報、オブジェクト位置情報および注目オブジェクト情報を取得する。取得部５０５は、後述するトリガ検知部５０６が所定のイベントを検知することに基づいて、イベント情報を取得する。また、取得部５０５は、例えば被写体の三次元形状データに基づいて、オブジェクト位置情報及び注目オブジェクト情報を取得する。ただしこれに限定されず、取得部５０５は、例えばユーザ操作に基づいて、イベント情報、オブジェクト位置情報および注目オブジェクト情報を取得してもよい。また例えば、過去に使用されたイベント情報、オブジェクト位置情報および注目オブジェクト情報を画像記憶部５０４に記憶しておき、取得部５０５は画像記憶部５０４からこれらの情報を取得してもよい。また例えば、取得部５０５は、外部のデータベース等からこれらの情報を取得してもよい。

図６（ｂ）は、イベント情報の構成例を示す。イベント情報は、例えば、事象（イベント）の内容と、時刻情報と、位置情報と、選手ＩＤとで構成される。イベントの内容は、シュートや反則などといった選手が起こす事象である。時刻情報は、イベントが発生した時刻を表し、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で構成される。位置情報は、３次元直交座標を用いて、イベントが発生した位置を示す。選手ＩＤは、アルファベットや数字で構成され、すべての選手を区別できるように割り振られた識別記号である。所定のイベントは、後述するトリガ検知部５０６により検知される。なお、イベント情報は、取得部５０５を介して画像記憶部５０４に蓄積されてもよい。

図６（ｃ）は、オブジェクト位置情報の構成例を示す。オブジェクト位置情報は、例えば、時刻情報と、位置情報とで構成される。時刻情報は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で構成される。位置情報は、３次元直交座標を用いて、オブジェクト（例えば、ボール、選手、審判）の位置を示す。オブジェクト名は、任意の名称とオブジェクトＩＤで構成される。オブジェクトＩＤは、アルファベットや数字で構成され、それぞれのオブジェクトを区別できるように割り振られた識別記号である。なお、オブジェクト位置情報は、取得部５０５を介して画像記憶部５０４に蓄積されてもよい。

図６（ｄ）は、注目オブジェクト情報の構成例を示す。注目オブジェクトは、例えば、人気の選手や、ユーザが指定した選手等の、特定のオブジェクトである。注目オブジェクトは、例えば、贔屓している選手、今日の注目選手、得点ランキング上位の選手、などといった選手である。注目オブジェクト情報は、例えば、選手名と、選手ＩＤとで構成される。選手名は、任意の名称である。選手ＩＤは、アルファベットや数字で構成され、すべての選手を区別できるように割り振られた識別記号である。注目オブジェクト情報は、例えば外部データベースから事前に取得され、画像記憶部５０４へ記憶される。

なお、画像生成装置２０１または情報処理装置２０２は、複数のカメラ１０４が撮影した画像を取得し、取得した画像に基づいてイベント情報およびオブジェクト位置情報の少なくとも何れかを生成してもよい。

トリガ検知部５０６は、単数仮想視点モードから複数仮想視点モードへ切り替えるための条件であるトリガを検知する。トリガ検知部５０６は、被写体により発生したイベント、及び、被写体により発生すると予測されるイベントをトリガとして検知する。以下、トリガの検知の一例について説明する。

トリガ検知部５０６は、例えば、ユーザ端末２０３で操作対象となっている仮想視点が注目するオブジェクト（以下、ターゲットオブジェクトともいう）が、注目オブジェクトであると判定された際に、所定のイベントの発生（トリガ）を検知したと判断する。なお、ターゲットオブジェクトは、ユーザが操作する仮想視点に対応する仮想視点画像に含まれるオブジェクトである。ターゲットオブジェクトが注目オブジェクトであるか否かは、注目オブジェクト情報に基づいて判定される。

また例えば、トリガ検知部５０６は、ユーザ端末２０３で操作対象となっている仮想視点のターゲットオブジェクトを中心に、イベントが発生するか否かを予測し、イベントが発生すると予測した際にトリガを検知したと判断する。例えば、トリガ検知部５０６は、ターゲットオブジェクト（選手）がボールを保持している状態で周辺に敵選手が居る場合にイベントが発生すると予測してもよい。また、トリガ検知部５０６は、ターゲットオブジェクト（選手）がボールを保持している状態で特定領域に入った場合にイベントが発生すると予測してもよい。また、トリガ検知部５０６は、ターゲットオブジェクト（ボール）の周辺を複数の選手が取り囲んでいる場合にイベントが発生すると予測してもよい。

トリガ検知部５０６は、上述した３つのトリガのうち少なくともひとつのトリガを検知した場合、後述する仮想視点制御部５０７へ複数仮想視点モードへの切り替え要求を通知する。また、トリガ検知部５０６は、ターゲットオブジェクトの位置情報（３次元直交座標）を取得し、仮想視点制御部５０７へ通知する。

トリガ検知部５０６は、複数仮想視点モード中に、例えば、ゴールラインやサイドラインからボールが出てしまったなど、ゲームの進行が中断したと判断した場合、複数仮想視点モードを中断するキャンセル要求を仮想視点制御部５０７へ通知する。仮想視点制御部５０７は、トリガ検知部５０６が、ゲームの進行の中断等に係る所定のイベントを検知したことに応じて、複数仮想視点モードにおいて生成した仮想視点の決定を終了する。なお、トリガ検知部５０６は、ユーザ端末２０３を介して複数仮想視点モードを取り消す操作要求を受け付けた場合、キャンセル要求を仮想視点制御部５０７へ通知してもよい。また、トリガ検知部５０６は、ユーザ端末２０３を介して受け付ける操作指示が所定時間ない状態（無操作状態）を検知した場合、キャンセル要求を仮想視点制御部５０７へ通知してもよい。

仮想視点制御部５０７は、ユーザ端末２０３から取得した操作情報に基づいて、仮想視点情報を決定する。また、仮想視点制御部５０７は、単数仮想視点モードにおいて第１の仮想視点（情報）を決定中に、トリガ検知部５０６から切り替え要求およびターゲットオブジェクトの位置情報を受け付けた場合、複数仮想視点モードへ切り替える。このとき仮想視点制御部５０７は、第１の仮想視点の他に新たに少なくとも１つ以上の第２の仮想視点を追加する。このとき、仮想視点制御部５０７は、第１の仮想視点と異なる位置の仮想視点を第２の仮想視点として追加し、対応する第２の仮想視点情報を決定する。

仮想視点制御部５０７は、既存の仮想視点とターゲットオブジェクトの位置情報に基づいて、追加した仮想視点の位置及び仮想視点からの視線方向を決定する。図９は、複数仮想視点モードへ切り替え時に追加される仮想視点の生成方法の一例である。図９（ａ）は、複数仮想視点モードへ切り替える前の状態である。ユーザは、ユーザ端末２０３を介して仮想視点１３２１を操作し、選手１３０１を撮影している。仮想視点制御部５０７は、トリガ検知部５０６から切り替え要求を受け付けた場合、図１３（ｂ）に示す仮想視点の構成へ切り替える。仮想視点制御部５０７は、仮想視点１３２１の他に、仮想視点１３４１、仮想視点１３４２、仮想視点１３４３の３つの仮想視点を新たに追加する。仮想視点制御部５０７は、新たに追加した仮想視点を、既存の仮想視点１３２１と選手１３０１との距離Ｒを半径とした円周上に配置する。また、仮想視点制御部５０７は、新たに追加した仮想視点を、既存の仮想視点１３２１を基準として均等間隔になるように配置し、選手１３０１を中心として２つの仮想視点が向き合うように配置する。仮想視点制御部５０７は、仮想視点からの視線方向を、それぞれの仮想視点の位置から選手１３０１へ向けられるように決定する。すなわち、仮想視点制御部５０７は、被写体の位置と第１の仮想視点情報により表される仮想視点の位置との距離と、被写体の位置と第２の仮想視点情報により表される仮想視点の位置との距離とが等しくなるように、第２の仮想視点情報を決定する。

なお、新たに追加する仮想視点の数、仮想視点の位置、および仮想視点の視線方向は、これに限定しない。例えば、既存の仮想視点の位置と異なる位置で、かつ既存の仮想視点からの視線方向と等しい視線方向である仮想視点が新たに追加されてもよい。これにより、情報処理装置２０２は、例えば既存の仮想視点よりも近くから被写体を見るような仮想視点を追加することができる。また反対に、情報処理装置２０２は、既存の仮想視点よりも遠くから被写体を見るような仮想視点を追加することができる。

仮想視点制御部５０７は、既存の仮想視点と追加した仮想視点の位置や視線方向を初期値として、ユーザ端末２０３からの操作指示に基づいて、追加された仮想視点の位置や視線方向を制御する。その際、仮想視点制御部５０７は、既存の仮想視点に連動するように、追加した仮想視点を制御する。図１０（ｃ）は、仮想視点の同期制御の一例である。仮想視点制御部５０７は、ユーザ端末２０３から所定の方向１３５０へ仮想視点の位置を移動させる操作指示を受け付けた場合、仮想視点１３２１の位置を所定の方向１３５０へ変化させる。また同時に、仮想視点制御部５０７は、仮想視点１３４１、仮想視点１３４２、仮想視点１３４３の位置も所定の方向１３５０と同じ方向へ移動するように変化させる。

仮想視点制御部５０７は、複数仮想視点モード中に、トリガ検知部５０６からキャンセル要求を受け付けた場合、複数仮想視点モードをキャンセルする。この場合、仮想視点制御部５０７は、新たに追加した仮想視点を削除し、既存の仮想視点のみを残す。

なお、本実施形態では、ユーザ操作に基づいて仮想視点情報が決定されるものとしたが、これに限定されない。仮想視点制御部５０７は、例えば、ユーザ操作によらずに、特定の被写体が仮想視点画像に含まれるように第１の仮想視点（情報）を決定する構成であってもよい。これにより、複数仮想視点モードに移行した場合に、追加される第２の仮想視点（情報）も、ユーザ操作によらず自動で決定されるため、ユーザの処理負荷が軽減されるという効果がある。

画像取得部５０８は、データ入出力部５０３を介して仮想視点画像を取得する。また、画像取得部５０８は、表示制御部５０９へ少なくとも１つ以上の仮想視点画像を送信する。

表示制御部５０９は、複数仮想視点モード時に、複数の仮想視点画像を１表示画面に収まるようにレイアウトした仮想視点画像を生成する。表示制御部５０９は、例えば、ベースとなる仮想視点画像の上に他の仮想視点画像を重畳した仮想視点画像を生成する。図１１は、複数仮想視点モードの切り替え前後のレイアウトの一例である。図１１（ａ）は、複数仮想視点モード切り替え前の仮想視点画像であり、図１１（ａ）の仮想視点１３２１から撮影された仮想視点画像１５０１である。図１１（ｂ）は、複数仮想視点モード切り替え後の仮想視点画像であり、図１０（ａ）の仮想視点１３２１から撮影された仮想視点画像１５０１に、他の仮想視点から撮影された仮想視点画像１５０２～１５０４を重畳した仮想視点画像である。なお、表示画面を仮想視点画像の数だけ分割し、それぞれの領域に仮想視点画像を割り当てるレイアウトであってもよい。また、ユーザ端末２０３の表示装置の構成がマルチディスプレイの場合、レイアウトしなくてもよい。

また、追加された仮想視点に対応する仮想視点画像のすべてが表示される構成でなくてもよい。例えば、追加された仮想視点を含む複数の仮想視点に対応する複数の仮想視点画像のうち、ユーザ操作に基づいて選択された仮想視点画像が表示されるようにしてもよい。

通信部５１０は、表示制御部５０９から取得した仮想視点画像をユーザ端末２０３へ出力する。また、通信部５１０は、操作指示や仮想視点パラメータをユーザ端末２０３から入力する。

なお、本実施形態においては、情報処置装置２０２が仮想視点情報を決定し、画像生成装置２０１が仮想視点画像を生成する構成であるとした。しかしこれに限定されず、情報処理装置２０２又はユーザ端末２０３が仮想視点画像を生成する画像生成部を有する構成でもよい。

＜動作フロー＞
図７は、情報処理装置２０２が行う処理の流れを示すフローチャートである。図７の処理は、情報処理装置２０２の電源がＯＮになると、処理が開始される。Ｓ１１０１において、仮想視点制御部５０７は、ユーザ端末２０３から取得される捜査情報に基づいて、仮想視点情報を決定する。Ｓ１１０２において、トリガ検知部５０６は、トリガとなる所定のイベントの発生を検知する処理を行う。詳細については後述する。Ｓ１１０３において、仮想視点制御部５０７は、データ入出力部５０３を介して画像生成装置２０１に仮想視点情報を出力する。Ｓ１１０４において、データ入出力部５０３は仮想視点画像を取得する。また、表示制御部５０９は、通信部５１０を介してユーザ端末２０３に仮想視点画像を送信し、ユーザ端末２０３の表示画面に仮想視点画像を表示させる。以上の処理は、仮想視点情報の決定処理が行われる間、繰り返し実行される。

図８は、図７におけるＳ１１０２を説明するためのフローチャートである。まず、トリガ検知部５０６は、所定のイベントの発生を検知する（Ｓ１００１）。トリガ検知部５０６は、所定のイベントが発生した場合（Ｓ１００１のＹｅｓ）、トリガを検知したと判断し、Ｓ１００７へ進む。イベントの発生を検知しなかった場合（Ｓ１００１のＮｏ）、Ｓ１００２へ進む。

次に、トリガ検知部５０６は、オブジェクト位置情報と、注目オブジェクト情報と、時刻情報と、仮想視点画像とを取得する（Ｓ１００２）。トリガ検知部５０６は、取得部５０５を介してオブジェクト位置情報と、注目オブジェクト情報とを取得する。また、トリガ検知部５０６は、仮想視点画像に付帯される時刻情報を取得する。また、トリガ検知部５０６は、ユーザ端末２０３で操作対象となっている仮想視点の位置及び仮想視点からの視線方向に基づいて生成された仮想視点画像を、画像取得部５０８から取得する。この時、画像取得部５０８から取得した仮想視点画像は、例えば、図１１（ａ）である。

次に、トリガ検知部５０６は、ユーザ端末２０３で操作対象となっている仮想視点の視野範囲の中から、ターゲットとなるオブジェクトを決定する（Ｓ１００３）。トリガ検知部５０６は、Ｓ１００２で取得した仮想視点画像の中央または中央付近に位置するオブジェクトを検出し、検出したオブジェクトの３次元位置を算出する。トリガ検知部５０６は、Ｓ１００２で取得した時刻情報と算出した３次元直交座標を用いて、Ｓ１００２で取得したオブジェクト位置情報と照合し、オブジェクト（ターゲットオブジェクト）を特定する。

次に、トリガ検知部５０６は、注目オブジェクトの有無を判断する（Ｓ１００４）。トリガ検知部５０６は、Ｓ１００３で特定したターゲットオブジェクトの選手ＩＤを用いて、Ｓ１００２で取得した注目オブジェクト情報の選出ＩＤと照合し、一致する選出ＩＤを有する場合（Ｓ１００４のＹｅｓ）、トリガを検知したと判断し、Ｓ１００７へ進む。一致する選手ＩＤが無かった場合（Ｓ１００４のＮｏ）、Ｓ１００５へ進む。

次に、トリガ検知部５０６は、Ｓ１００３で特定したターゲットオブジェクトを中心に、イベントが発生するか否かを予測する（Ｓ１００５）。トリガ検知部５０６は、Ｓ１００２で取得したオブジェクト位置情報から、Ｓ１００２で取得した時刻情報が示す時刻のオブジェクトの位置情報をすべて取得し、ターゲットオブジェクトとそれ以外のオブジェクトの位置関係からイベントが発生するかを判定する。

図９（ａ）は、ターゲットオブジェクト１２０１（選手）がボール１２０２を保持している状態で、周辺に敵選手１２０３が居る状態を示す図である。トリガ検知部５０６は、ターゲットオブジェクト１２０１を中心に半径Ｒ１の円周１２０４の範囲内にボールが含まれ、かつ、半径Ｒ２の円周１２０５の範囲内に敵選手が含まれる場合、ボールの奪い合いが発生する可能性があると予測する。図９（ａ）の場合、円周１２０４の範囲内にボール１２０２が、円周１２０５の範囲内に敵選手１２０３が含まれるので、イベントが発生すると予測する。

図９（ｂ）は、ターゲットオブジェクト１２２１（選手）がボール１２２２を保持している状態でペナルティエリア内に入った状態を示す図である。トリガ検知部５０６は、ターゲットオブジェクト１２２１を中心に半径Ｒ３の円周１２２３の範囲内にボールが含まれ、かつ、ターゲットオブジェクト１２２１が特定領域に居る場合、得点を奪う事象が発生する可能性があると予測する。図９（ｂ）の場合、円周１２２３の範囲内にボール１２２２が含まれ、ターゲットオブジェクト１２２１が特定領域に居るので、イベントが発生すると予測する。

図９（ｃ）は、ターゲットオブジェクト１２４１（ボール）が複数の選手に取り囲まれている状態を示す図である。トリガ検知部５０６は、ターゲットオブジェクト１２４１を中心に半径Ｒ４の円周１２４５の範囲内に複数の選手が含まれる場合、ボールの奪い合いが発生する可能性があると予測する。図９（ｃ）の場合、円周１２４５の範囲内に選手１２４２と、選手１２４３と、選手１２４４とが含まれるので、イベントが発生すると予測する。

なお、イベント予測については上述した３つの方法に限定されるものではなく、オブジェクト位置情報を用いた他のイベント予測であってもよい。

次に、トリガ検知部５０６は、イベント予測の有無を判断する（Ｓ１００６）。トリガ検知部５０６は、Ｓ１００５で少なくとも１つ以上イベントが発生すると予測された場合（Ｓ１００６のＹｅｓ）、トリガを検知したと判断し、Ｓ１００７へ進む。イベントが発生しないと予測された場合（Ｓ１００６のＮｏ）、フローチャートを終了する。

次に、トリガ検知部５０６は、Ｓ１００１、Ｓ１００４、Ｓ１００６のいずれかの条件においてトリガが検知されたと判断された場合、仮想視点制御部５０７へ複数仮想視点モードへの切り替え要求を通知する。また、トリガ検知部５０６は、Ｓ１００３で特定したターゲットオブジェクトの位置情報（３次元直交座標）を取得し、仮想視点制御部５０７へ通知する。なお、Ｓ１００１のＹｅｓからＳ１００７へ遷移してきた場合、シュートや反則などの事象を起こした選手の位置情報を、ターゲットオブジェクトの位置情報として取得する。

本実施形態によれば、所定のイベントが発生する場合に、複数の仮想視点で撮影するモードに切り替わる。これにより、複数の仮想視点のうちひとつの仮想視点を操作することで、すべての仮想視点が操作できるので、重要なシーンを撮り逃すことなく、マルチアングルで撮影できる。

上述の実施形態では、サッカーの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０２ 情報処理装置
５０７ 仮想視点制御部
５０３ データ入出力部

Claims (16)

1. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を表す第１の仮想視点情報を決定する第１の決定手段と、
   前記被写体に係る所定のイベントに応じた仮想視点画像を生成するための、前記第１の決定手段により決定される前記第１の仮想視点情報とは異なる第２の仮想視点情報であって、前記第１の仮想視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に基づいて変化する仮想視点の位置及び仮想視点からの視線方向を表す第２の仮想視点情報を決定する第２の決定手段と、
   前記第１の決定手段により決定される第１の仮想視点情報、及び、前記第２の決定手段により決定される第２の仮想視点情報を出力する出力手段と
   を有することを特徴とする情報処理装置。
2. 前記第１の決定手段は、仮想視点の位置及び仮想視点からの視線方向を変化させるためのユーザ操作に基づいて、前記第１の仮想視点情報を決定し、
   前記第２の決定手段は、前記被写体に係る所定のイベントが発生する場合、前記ユーザ操作に基づいて変化する仮想視点の位置及び仮想視点からの視線方向を表す前記第２の仮想視点情報を決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の決定手段は、前記第１の仮想視点情報に対応する仮想視点画像に前記被写体が含まれるように、第１の仮想視点情報を決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２の決定手段は、前記第１の仮想視点情報に対応する仮想視点画像に前記被写体が含まれる場合、前記第１の仮想視点情報により表される仮想視点の位置とは異なる位置から前記被写体を見る仮想視点を表す仮想視点情報を、前記第２の仮想視点情報として決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第２の決定手段は、前記被写体の位置と前記第１の仮想視点情報により表される仮想視点の位置との距離と、前記被写体の位置と前記第２の仮想視点情報により表される仮想視点の位置との距離とが等しくなるように、前記第２の仮想視点情報を決定することを特徴とする請求項４に記載の情報処理装置。
6. 前記第２の決定手段は、前記第１の仮想視点情報により表される仮想視点からの視線方向と、前記第２の仮想視点情報により表される仮想視点からの視線方向とが等しくなるように、前記第２の仮想視点情報を決定することを特徴とする請求項４又は５に記載の情報処理装置。
7. 前記第２の決定手段は、前記所定のイベントが発生する場合、前記第１の仮想視点情報により表される仮想視点の位置が所定の方向に移動することに応じて、仮想視点の位置が前記所定の方向に移動するように、前記第２の仮想視点情報を決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記所定のイベントは、前記被写体により発生したイベント、又は、前記被写体により発生すると予測されるイベントであることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記所定のイベントは、スポーツにおけるゴールシーン及びペナルティシーンの少なくともいずれかを含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記所定のイベントは、前記複数の撮影装置により撮影される特定の被写体が、前記第１の仮想視点情報に対応する仮想視点画像に含まれる状態を含むことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記所定のイベントは、前記複数の撮影装置により撮影される複数の被写体どうしの距離が所定の距離よりも短い状態を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記出力手段により出力される第１の仮想視点情報及び第２の仮想視点情報に基づいて、仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記第１の仮想視点情報に対応する仮想視点画像、及び、前記第２の仮想視点情報に対応する仮想視点画像のうち、少なくともいずれかを表示手段に表示させるように制御する制御手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記第２の決定手段は、前記所定のイベントが発生した後に、前記所定のイベントとは異なる他のイベントが発生した場合、第２の仮想視点情報の決定を終了することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を表す第１の仮想視点情報を決定する第１の決定工程と、
    前記被写体に係る所定のイベントに応じた仮想視点画像を生成するための、前記第１の決定工程において決定される前記第１の仮想視点情報とは異なる第２の仮想視点情報であって、前記第１の仮想視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に基づいて変化する仮想視点の位置及び仮想視点からの視線方向を表す第２の仮想視点情報を決定する第２の決定工程と、
    前記第１の決定工程において決定される第１の仮想視点情報、及び、前記第２の決定工程において決定される第２の仮想視点情報を出力する出力工程と
    を有することを特徴とする情報処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images