JP2023079950A

JP2023079950A - 情報処理装置、情報処理システム、及びプログラム

Info

Publication number: JP2023079950A
Application number: JP2021193683A
Authority: JP
Inventors: 和文小沼; Kazufumi Konuma
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2023-06-08
Anticipated expiration: 2041-11-29
Also published as: US20230169720A1; EP4187904A1; JP7476160B2

Abstract

【課題】複数の仮想視点の中から特定の仮想視点を選択する場合における処理負荷を抑制しつつ、選択された仮想視点に対応する仮想視点画像が適切に生成されるようにする。【解決手段】情報処理装置６は、複数の撮像装置が撮像することにより得られる複数の撮像画像に基づいて生成される仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得する視点情報取得部６１と、複数の操作に基づいて取得される複数の視点情報を、視点情報に基づいて第１の品質に関する条件に基づく複数の仮想視点画像を生成する第１の生成手段に出力し、複数の視点情報の中から選択される一以上の視点情報を、視点情報に基づいて第１の品質よりも高い第２の品質に関する条件に基づく仮想視点画像を生成する第２の生成手段に出力する視点情報出力部６３とを有する。【選択図】図６

Description

本開示は、仮想視点画像の生成技術に関するものである。

近年、複数の撮像装置（カメラ）を異なる位置に設置して異なる方向から撮像し、得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。仮想視点画像の生成技術においては、ユーザは指定した視点（仮想視点）から見た画像を見ることができる。上記のようにして仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。特許文献１には、ユーザによる操作に基づいて指定される仮想視点に対応する仮想視点画像を生成する技術について記載されている。

特開２０１９－０５０５９３号公報

しかしながら、特許文献１では、複数の操作により複数の仮想視点が指定される場合については考慮されていない。また、複数の仮想視点が指定され、さらにその中から特定の仮想視点を選択する場合には、複数の仮想視点画像を生成してユーザに提示する処理が必要となり、仮想視点画像の生成に係る処理負荷が増大するという問題があった。また、選択された仮想視点画像は適切な品質で生成されるようにしたいという要求があった。

本開示は、複数の仮想視点の中から特定の仮想視点を選択する場合における処理負荷を抑制しつつ、選択された仮想視点に対応する仮想視点画像が適切に生成されるようにすることを目的とする。

本開示に係る情報処理装置は、複数の撮像装置が撮像することにより得られる複数の撮像画像に基づいて生成される仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得する取得手段と、前記取得手段により複数の操作に基づいて取得される複数の視点情報を、視点情報に基づいて第１の品質に関する条件に基づく複数の仮想視点画像を生成する第１の生成手段に出力する第１の出力手段と、前記複数の視点情報の中から選択される一以上の視点情報を、視点情報に基づいて前記第１の品質よりも高い第２の品質に関する条件に基づく仮想視点画像を生成する第２の生成手段に出力する第２の出力手段とを有する。

本開示によれば、複数の仮想視点の中から特定の仮想視点を選択する場合における処理負荷を抑制しつつ、選択された仮想視点に対応する仮想視点画像が適切に生成される。

情報処理システムの構成を説明するための図である。仮想視点画像の表示に関する処理を説明するためのフローチャートである。複数画像表示部及び出力画像表示部の表示の一例を示す図である。変形例における情報処理システムの構成を説明するための図である。情報処理装置のハードウェア構成を説明するための図である。情報処理装置の機能構成を説明するための図である。複数の撮像部の配置の一例を示す図である。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本開示の実施の形態の一例を示すものであり、本開示の範囲をそれらのみに限定するものではない。

（第１の実施形態）
以下、本実施形態における情報処理装置のハードウェア構成について説明する。図５は、情報処理装置６のハードウェア構成を示すブロック図である。情報処理装置６は、ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、操作部５０４、出力部５０５、補助記憶装置５０６、Ｉ／Ｆ５０７，及びバス５０８を有する。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、本実施形態に係る情報処理装置６が行う各処理を実行する。即ち、ＣＰＵ５０１は、情報処理装置６の各処理部として機能することになる。各処理部の説明は後述する。

ＲＡＭ５０２は、補助記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボード、マウス、ジョイスティック、タッチパネルなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。出力部５０５は、ＣＰＵ５０１による処理結果を表示する。出力部５０５は例えば液晶ディスプレイ、タッチパネルなどで構成される。

補助記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。補助記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、補助記憶装置５０６には、処理対象としての各画像データが保存されていても良い。補助記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。

Ｉ／Ｆ５０７は、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。例えば、情報処理装置６が外部の装置と有線で接続される場合には、通信用のケーブルがＩ／Ｆ５０７に接続される。情報処理装置６が外部の装置と無線通信する機能を有する場合には、Ｉ／Ｆ５０７はアンテナを備える。本実施形態においては、複数の撮像装置がＩ／Ｆ５０７に接続され、撮像された画像を取得したり、それぞれの撮像装置を制御したりする。バス５０８は上述の各部を繋ぐバスである。

本実施形態では、操作部５０４、出力部５０５及び補助記憶装置５０６が情報処理装置２００の内部に存在するものとするが、これに限定されない。情報処理装置６は、操作部５０４、出力部５０５及び補助記憶装置５０６の少なくともいずれかが情報処理装置６の外部に別の装置として接続される構成であってもよい。なお、上記は情報処理装置６のハードウェア構成の説明であるが、図５に示すハードウェア構成は、後述する情報処理システム１００に含まれる他の装置にも適用可能である。

次に、本実施形態に係わる仮想視点画像を生成する画像処理システムの構成例を図１に示す。本実施形態における情報処理システム１００は、複数の撮像部１、同期部２、三次元形状推定部３、蓄積部４、視点生成部５、情報処理装置６、選択部７、画像生成部８、表示部９、時刻制御部１０、映像配信装置１１を含む。なお、本実施形態においては、生成される仮想視点画像は動画であるものとするが、これに限定されない。本実施形態は、静止画の仮想視点画像にも適用可能である。以下、各処理部について説明する。

撮像部１は、例えばカメラなどの撮像装置である。同期部２は、タイムサーバなどの装置であり、複数の撮像部１に対し、同期信号を出力する。複数の撮像部１は、同期部２から送信される同期信号に基づいて互いに高精度に同期して撮像領域の撮像を行う。複数の撮像部１は、例えば図７に示すように、撮像領域を囲むように設置されうる。なお、撮像部１の配置及び数は図７の例に限定されない。撮像領域は、例えばスポーツのスタジアム、フィールド、公園などの屋外や、体育館、コンサートホール、舞台、スタジオなどの屋内でありうる。各撮像部１は、撮像により得られた撮像画像を、三次元形状推定部３に出力する。

三次元形状推定部３は、複数の撮像部１から取得される複数の撮像画像を用いて、被写体の三次元形状を表す三次元モデルを生成する。以下、三次元形状推定部３が三次元モデルを生成する処理の一例について説明する。三次元形状推定部３は、取得した複数の撮像画像を使用して、前景画像及び背景画像を生成する。

ここで、前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。また、前景領域として抽出されるオブジェクトは、例えば人物が使用する物品などでありうる。

また、背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、及びフィールド等である。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。また、三次元モデルデータは、上述したオブジェクトを三次元形状で表したデータである。

三次元形状推定部３が、前景画像及び背景画像を生成する生成方法の一例について説明する。三次元形状推定部３は、複数の撮像部１が連続する時刻において撮像することにより得られる複数の撮像画像同士を比較することにより、画素値に変化のない領域を検出する。三次元形状推定部３は、検出した領域を背景領域であると判定し、検出した領域に基づいて背景画像を生成する。また、三次元形状推定部３は、生成した背景画像と撮像画像とを比較し、画像値の差が所定の閾値以上である領域を前景領域であると判定し、当該領域に基づいて前景画像を生成する。

また、三次元形状推定部３が、前景領域に対応するオブジェクトの三次元モデルを生成する生成方法の一例について説明する。三次元形状推定部３は、上述の処理において判定した前景領域及び背景領域に基づいて、それぞれの領域を２値で表したオブジェクトのシルエット画像を生成する。このとき、三次元形状推定部３は、複数の方向から撮像された撮像画像を用いることにより、複数の方向から見たオブジェクトのシルエット画像を生成する。三次元形状推定部３は、複数のシルエット画像を用いて、例えば公知技術である視体積交差法（Ｓｈａｐｅ－ｆｒｏｍ－Ｓｉｌｈｏｕｅｔｔｅ）を用いることにより三次元モデルを生成する。

なお、上述の例では、三次元形状推定部３が前景画像、背景画像、及びシルエット画像の生成を生成する構成について説明したが、これに限定されない。例えば、撮像部１又は撮像部１に接続される他の装置が、前景画像、背景画像、及びシルエット画像のうち少なくともいずれかを生成する機能を有していてもよい。この場合は、撮像部１又は他の装置が、生成した画像を三次元形状推定部３に出力し、三次元形状推定部３は取得した画像を使用して三次元モデルを生成する。三次元形状推定部３は、生成した三次元モデルを蓄積部４に出力する。

蓄積部４は、例えばデータベースサーバ等の装置であり、仮想視点画像を生成するためのデータとして以下のデータ群を保存・蓄積する。具体的には、三次元形状推定部３から入力された三次元モデル。各撮像部１の位置、姿勢及び光学特性などを表すカメラパラメータである。また、蓄積部４は、仮想視点画像の背景を描画するためにあらかじめ背景モデルと背景テクスチャ画像などを記録しておいてもよい。また、蓄積部４は、撮像部１から撮像画像を取得し、蓄積してもよい。

視点生成部５ａ～５ｄは、例えばジョイスティックなどの入力装置である操作部と、操作している視点に対応する仮想視点画像を表示するための表示部とで構成される。視点生成部５ａ～５ｄは、操作部からの入力に基づき、仮想視点の位置及び仮想視点からの視線方向を表す視点情報を生成し、情報処理装置６に入力する。なお、視点情報は、仮想視点の位置及び仮想視点からの視線方向を表す情報のほかに、焦点距離及び画角のような、カメラの内部パラメータに相当する情報が含まれていてもよい。また、図４の例では、視点生成部は５ａ～５ｄの４つであるものとしたが、３つ以下及び５つ以上であってもよい。以降の説明では、特に区別する必要がない場合は、視点生成部５と記載する。

情報処理装置６は、視点生成部５から視点情報を取得し、後述する第一の画像生成部８ａ、第二の画像生成部８ｂに出力する。また、このとき情報処理装置６は、後述する選択部７から、視点情報の選択指示を受け付ける。情報処理装置６の構成については、後述する。

選択部７は、例えば、マウス、キーボード、及びスイッチなどの入力装置であり、視点生成部５により出力される視点情報から一以上の視点情報を選択する指示を情報処理装置６に送信する。

第一の画像生成部８ａ及び第二の画像生成部８ｂは、レンダリングサーバなどの装置であり、情報処理装置６から取得される視点情報に基づいて、仮想視点画像を生成する。仮想視点画像の生成の際、第一の画像生成部８ａ及び第二の画像生成部８ｂは、視点情報に含まれる時刻情報に基づいて、仮想視点画像の生成に必要なデータを蓄積部４から取得する。ここで、時刻情報は、視点情報に対応する仮想視点画像に係る時刻に関する情報であり、具体的には、撮像部１が撮像を行った時刻を表すタイムコードなどでありうる。本実施形態では、蓄積部４に蓄積される三次元モデル及び前景画像などのデータにも、同様の時刻情報が付与されており、時刻情報を指定することにより、蓄積部４から必要なデータを取得することができる。なお、時刻情報は、撮像部１の撮像時刻に限定されず、例えば所定の時刻からの相対時刻や、動画のフレーム番号などで表されてもよい。

第一の画像生成部８ａ及び第二の画像生成部８ｂは、三次元モデル、前景画像を使用してレンダリング処理を行い、仮想視点からの見えを表すオブジェクトの仮想視点画像を生成する。また、第一の画像生成部８ａ及び第二の画像生成部８ｂは、背景モデル及び背景テクスチャを使用して背景画像を生成し、オブジェクトの仮想視点画像と合成することにより、背景付きの仮想視点画像を生成する。

第一の画像生成部８ａは、複数の視点生成部５が操作されることにより生成された複数の視点情報に基づいて、所定の品質に関する条件に基づく複数の仮想視点画像を生成する。ここで、本実施形態における仮想視点画像の品質に関する条件は、生成される画像の解像度、及び、動画のフレームレートに関する条件であるものとする。解像度が高いほど、及び、フレームレートが高いほど、仮想視点画像の品質が高いものとする。第一の画像生成部８ａは、生成した仮想視点画像を、複数画像表示部９ａに出力する。なお、本実施形態における第一の画像生成部８ａと第二の画像生成部８ｂとは、それぞれ異なる装置であるものとする。

第二の画像生成部８ｂは、複数の視点情報の中から選択部７により選択される一以上の視点情報を取得し、仮想視点画像を生成する。このとき、生成される仮想視点画像は、第一の画像生成部８ａにより生成される仮想視点画像よりも高い品質を有するものとする。第二の画像生成部８ｂは、生成した仮想視点画像を、出力画像表示部９ｂ及び映像配信装置１１に出力する。すなわち、第一の画像生成部８ａは、所定の解像度、及び、所定のフレームレートのうち少なくとも一方を有する仮想視点画像を生成するための条件を満たすように、複数の仮想視点画像を生成する。また、第二の画像生成部８ｂは、所定の解像度よりも高い解像度、及び、所定のフレームレートよりも高いフレームレートのうち少なくとも一方を有する仮想視点画像を生成するための条件を満たすように、仮想視点画像を生成する。

複数画像表示部９ａ及び出力画像表示部９ｂは、それぞれ、第一の画像生成部８ａ及び第二の画像生成部８ｂから取得した仮想視点画像を表示する。時刻制御部１０は、第一の画像生成部８ａ及び第二の画像生成部８ｂが仮想視点画像の生成を行う際に使用する時刻情報を同期させるように制御する。映像配信装置１１は、第二の画像生成部８ｂから送信された仮想視点画像を、例えばテレビ放送やインターネットなどに配信する。

次に、情報処理装置６の機能構成について、図６を使用して説明する。情報処置装置６は、視点情報取得部６１，先約受付部６２、及び、視点情報出力部６３を有する。視点情報取得部６１は、視点生成部５から送信される視点情報を取得し、視点情報出力部６３に出力する。視点生成部５が複数ある場合は、視点情報取得部６１は複数の視点情報を取得し、視点情報出力部６３に出力する。選択受付部６２は、選択部７から、視点情報の選択指示を受け付け、受け付けた指示を表す情報を視点情報出力部６３に出力する。

視点情報出力部６３は、取得した視点情報と選択指示の情報とに基づいて、視点情報を第一の画像生成部８ａ及び第二の画像生成部８ｂに出力する。このとき、視点情報出力部６３は、複数の視点情報を第一の画像生成部８ａに出力し、且つ複数の視点情報の中から選択指示の情報に基づいて選択される一以上の視点情報を第二の画像生成部８ｂに出力する。このように、視点情報出力部６３は、視点情報を第一の画像生成部８ａ及び第二の画像生成部８ｂに出力し、各処理部で生成された仮想視点画像が複数画像表示部９ａ及び出力画像表示部９ｂに表示されるように制御する。

次に、本実施形態における情報処理システム１００が行う処理について、図２を使用して説明する。図２（ａ）は、情報処理装置６が行う処理のフローチャートである。図２（ａ）の処理は、情報処理装置６のＣＰＵ５０１が、ＲＡＭ５０２及びＲＯＭ５０３に記憶されるプログラムを読み出して実行することにより行われる。以下の説明においては、処理ステップを単にＳと記載する。視点生成部５から視点情報が入力されると処理が開始される。また、Ｓ２０１～Ｓ２０５の処理は、生成される仮想視点画像の動画フレームごとに繰り返し実行される。すなわち、生成される動画が６０ＦＰＳ（ｆｒａｍｅｐｅｒＳｅｃｏｎｄ）である場合は、１／６０秒ごとにＳ２０１～Ｓ２０５の処理が繰り返される。

Ｓ２０１において、視点情報取得部６１は、複数の視点生成部５の操作部が操作されることにより生成される複数の視点情報を取得する。Ｓ２０２において、視点情報出力部６３は、取得した複数の視点情報を、第一の画像生成部８ａに出力する。

Ｓ２０３において、選択受付部６２は、選択部７から新たに視点情報の選択指示を取得したかを判定する。例えば、初めて選択指示を受け付けた場合、及び、Ｓ２０１～Ｓ２０５の繰り返し処理における前回のＳ２０４で選択された視点情報とは異なる視点情報を選択する選択指示を受け付けた場合は、Ｓ２０４に処理が進む。一方、新たな選択指示を取得しない場合、及び、Ｓ２０１～Ｓ２０５の繰り返し処理における前回のＳ２０４で選択された視点情報から変化がない場合は、Ｓ２０５に処理が進む。

Ｓ２０４において、視点情報出力部６３は、視点情報取得部６１が取得した複数の視点情報のうち、選択指示受付部６２が取得した選択指示により選択される一以上の視点情報を、第二の画像生成部８ｂに出力する。Ｓ２０５において、視点情報取得部６１は、例えば視点生成部５からの終了指示等に基づいて、視点情報の取得が終了したかを判定する。終了したと判定された場合、処理を終了し、そうでない場合はＳ２０１～Ｓ２０５の処理を繰り返す。

次に、第一の画像生成部８ａ及び第二の画像生成部８ｂが行う処理を、図２（ｂ）を使用して説明する。図２（ｂ）の処理は、第一の画像生成部８ａ及び第二の画像生成部８ｂが有するＣＰＵが、ＲＡＭ及びＲＯＭに記憶されるプログラムを読み出して実行することにより行われる。なお、第一の画像生成部８ａ及び第二の画像生成部８ｂは、それぞれが図２（ｂ）に示す処理を独立して行うものとする。また、以下の説明において、特に区別しない場合は、第一の画像生成部８ａ及び第二の画像生成部８ｂを単に画像生成部８と記載する。画僧生成部８が視点情報を取得すると、処理が開始される。

Ｓ２１１において、画像生成部８は、情報処理装置６から視点情報を取得する。このとき、第一の画像生成部８ａは、Ｓ２０２において出力される複数の視点情報を取得する。また、第二の画像生成部８ｂは、Ｓ２０４において出力される、選択された視点情報を取得する。

Ｓ２１２において、画像生成部８は、時刻制御部１０から時刻の同期に関する制御情報を取得する。時刻制御部１０の制御の一例について説明する。複数の視点生成部５は、それぞれ独立して操作される。このため、視点情報取得部６１が複数の視点情報を取得するタイミングは必ずしも一致せず、複数の視点情報に含まれる時刻情報がずれている場合がありうる。そこで、時刻制御部１０は、複数の視点情報に含まれる時刻情報により表される時刻を同期させるための同期信号を、制御情報として画像生成部８に出力する。画像生成部８は、同期信号に基づいて、複数の視点情報の時刻合わせを行う。これにより、画像生成部８は、時刻が同期された複数の視点情報を取得することが可能となる。なお、時刻制御部１０が行う時刻の制御方法はこれに限定されず、例えばデータを取得するための時刻情報を指定する信号を画像生成部８に出力してもよい。画像生成部８は、時刻制御部１０から取得される信号により指定された時刻に対応するデータを、蓄積部４から取得することが可能となる。

Ｓ２１３において、画像生成部８は、視点情報に含まれる時刻情報に基づいて、仮想視点画像の生成に使用するデータを蓄積部４から取得する。取得されるデータは、例えばオブジェクトの三次元モデル、前景画像、背景モデル、背景テクスチャ等である。ここで、Ｓ２１２において複数の視点情報に含まれる時刻情報が同期されているので、複数の視点情報に対応する複数の仮想視点画像を生成する場合でも、一つの時刻情報に対応したデータを取得するだけで済む。これにより、画像生成部８が蓄積部４からデータを読みだす際のデータアクセスに係る処理負荷やデータ伝送量を削減することが可能となる。

Ｓ２１４において、画像生成部８は、視点情報と、蓄積部４から取得したデータとに基づいて、仮想視点画像を生成する。仮想視点画像の生成の一例について説明する。画像生成部４は、ある時刻情報に対応する三次元モデルと、三次元モデルに色付けするための前景画像とを蓄積部４から取得しているものとする。仮想視点画像を生成する対象の視点情報が複数ある場合は、それぞれの視点情報が表す仮想視点の位置及び仮想視点からの視線方向に基づいて、三次元モデルの色付けを行うことで、複数の仮想視点画像が生成される。

Ｓ２１４においては、第一の画像生成部８ａは、第二の画像生成部８ｂにより生成される仮想視点画像よりも低い品質の仮想視点画像を生成する。一例として、第一の画像生成部８ａは、取得した視点情報が４つである場合は、ＨａｌｆＨＤ（９６０×５４０ピクセル）の仮想視点画像を４つ生成する。第二の画像生成部６ｂは、４つの視点情報のうち１つの視点情報が選択された場合、ＦｕｌｌＨＤ（１９２０×１０８０ピクセル）の仮想視点画像を生成する。

また、別の例として、第一の画像生成部８ａは、取得した視点情報が４つである場合は、動画のフレームレートが３０ＦＰＳの仮想視点画像を４つ生成する。第二の画像生成部６ｂは、４つの視点情報のうち１つの視点情報が選択された場合、動画のフレームレートが６０ＦＰＳの仮想視点画像を１つ生成する。

Ｓ２１５において、第一の画像生成部８ａは、生成した仮想視点画像を複数画像表示部９ａに出力する。また、第二の画像生成部８ｂは、生成した仮想視点画像を出力画像表示部９ｂ及び映像配信装置１１に出力する。視点情報が４つである場合の複数画像表示部９ａ及び出力画像表示部９ｂの表示の一例を、図３に示す。複数画像表示部９ａは、図３に示すように、複数の視点情報に対応する複数の仮想視点画像Ａ～Ｄを同時に表示する。また、出力画像表示部９ｂは、４つの視点情報のうち、選択された視点情報に対応する仮想視点画像Ａを表示する。このとき、出力画像表示部９ｂに表示される仮想視点画像Ａは、複数画像表示部９ａに表示される複数の仮想視点画像Ａ～Ｄよりも高い品質を有するものとする。

選択部７を操作するユーザは、複数画像表示部９ａに表示される複数の仮想視点画像を見ながら、図３に示すような複数のスイッチ（スイッチャー）を操作して、映像配信装置１１に出力する仮想視点画像を選択する。また、ユーザは、選択した仮想視点画像が出力画像表示部９ｂに表示されることにより、配信される仮想視点画像を高品質な状態で確認することができる。

上述した例では視点情報が４つであったが、視点情報の数はこれに限定されない。例えば、１６個の視点情報とした場合、第一の画像生成部８ａは解像度をさらに低くした４８０×２７０ピクセル解像度の１６個の仮想視点画像を生成する。これにより、第一の画像生成部８ａのレンダリングに係る処理負荷及び複数画像表示部９ａの表示に係る処理負荷を削減することができる。また、上述した例では、選択部７により選択される視点情報は１つであるが、２つ以上が選択される構成でもよい。

Ｓ２１６において、画僧生成部８は、視点情報の取得が終了したかを判定する。終了したと判定された場合、処理を終了し、終了していなければ、Ｓ２１１～Ｓ２１６の処理を繰り返す。

以上説明した構成によれば、情報処理装置６は、視点情報を画像生成部８に出力することにより、仮想視点画像を複数画像表示部９ａ及び出力画像表示部９ｂに表示させるように表示制御する。ユーザは、仮想視点画像の表示に係る処理負荷を抑制しつつ、複数の操作により得られる複数の視点情報の中から、配信用に使用する視点情報を容易に確認することができる。

（第１の実施形態の変形例）
第１の実施形態では、１つの表示装置である複数画像表示部９ａに複数の仮想視点画像がタイル状に配置されて表示される例について説明したが、これに限定されない。例えば、複数の仮想視点画像が、それぞれ異なる表示装置に表示される構成であってもよい。

また、第１の実施形態では、視点生成部５が操作部と表示部とで構成され、ユーザにより操作されるものとしたが必ずしもこれに限定されない。視点生成部５は、例えば、各時刻に対応する仮想視点の位置及び仮想視点からの視線方向を自動で生成する装置であってもよい。この構成によれば、ユーザが入力操作を行う操作部及び仮想視点画像を表示する表示部は不要である。

また、第１の実施形態では、第一の画像生成部８ａと第二の画像生成部８ｂとが異なる装置であるものとしたが、これに限定されない。例えば、第一の画像生成部８ａと第二の画像生成部８ｂとが同一の装置であってもより。この場合、この装置は、例えば選択部７により視点情報が選択されたタイミングなど、仮想視点画像を生成するタイミングに応じて生成する仮想視点画像の品質を切り替えることが可能な装置であるものとする。なお、この構成の場合、装置が第二の画像生成部８ｂとして機能している間は、複数の操作に基づく複数の視点情報に対応する複数の仮想視点画像を生成することができない。代わりに、生成済みの仮想視点画像を複数画像表示部９ａが表示される構成としてもよい。

また、本実施形態では視点選択部６と第一の画像生成部８ａと第二の画像生成部８ｂをそれぞれべつの構成要素としたが必ずしもこれに限定するものではない。

また、第１の実施形態では、時刻制御部１０が第一の画像生成部８ａ、第二の画像生成部８ｂのそれぞれに制御情報を出力する構成としたが、これに限定されない。例えば、図４に示すように、時刻制御部１０が情報処理装置６に制御情報を出力する構成であってもよい。この場合、情報処理装置６は、画像生成部８に、視点情報と合わせて時刻情報を画像生成部８に出力する構成となる。この構成であれば、画像生成部８の数などの構成が変わった場合に、時刻制御部１０の接続先を変更しなくてもよくなる。また、この構成の場合に、時刻情報及び視点情報が一度すべて情報処理装置６に集まるため、これらの情報が情報処理装置６内部または外部の記録手段等に記録される構成としてもよい。こうすることで、画像配信時には選択されなかった視点情報に関しても記録しておくことができる。またこの記録された情報を基に仮想視点画像を生成し、別視点の仮想視点画像として編集して利用することが可能となる。また、時刻制御部１０が情報処理装置６の内部に含まれる構成であってもよい。

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

６情報処理装置
６１視点情報取得部
６３視点情報出力部

Claims

複数の撮像装置が撮像することにより得られる複数の撮像画像に基づいて生成される仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得する取得手段と、
前記取得手段により複数の操作に基づいて取得される複数の視点情報を、視点情報に基づいて第１の品質に関する条件に基づく複数の仮想視点画像を生成する第１の生成手段に出力する第１の出力手段と、
前記複数の視点情報の中から選択される一以上の視点情報を、視点情報に基づいて前記第１の品質よりも高い第２の品質に関する条件に基づく仮想視点画像を生成する第２の生成手段に出力する第２の出力手段と
を有することを特徴とする情報処理装置。
前記第１の生成手段及び前記第２の生成手段は、それぞれ異なる装置であることを特徴とする請求項１に記載の情報処理装置。
前記第１の生成手段及び前記第２の生成手段は、同一の装置であることを特徴とする請求項１に記載の情報処理装置。
前記装置は、仮想視点画像を生成するタイミングに応じて、前記第１の品質に関する条件に基づく仮想視点画像の生成と前記第２の品質に関する条件に基づく仮想視点画像の生成とが切り替わる装置であることを特徴とする請求項３に記載の情報処理装置。
前記一以上の視点情報は、前記複数の視点情報の中からユーザによる操作に基づいて選択されることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
前記視点情報は、仮想視点画像に係る時刻を表す時刻情報を含み
前記取得手段は、前記時刻情報により表される時刻が同期された複数の視点情報を取得する
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記取得手段により取得される複数の視点情報に含まれる時刻情報により表される時刻を同期させるように制御する制御手段を有することを特徴とする請求項６に記載の情報処理装置。
前記第１の品質に関する条件及び前記第２の品質に関する条件は、生成される仮想視点画像の解像度に関する条件を含むことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
前記第１の品質に関する条件は、所定の解像度を有する仮想視点画像が生成されるための条件を含み、
前記第２の品質に関する条件は、前記所定の解像度よりも高い解像度を有する仮想視点画像が生成されるための条件を含むことを特徴とする請求項８に記載の情報処理装置。
前記第１の品質に関する条件及び前記第２の品質に関する条件は、生成される仮想視点画像のフレームレートに関する条件を含むことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
前記第１の品質に関する条件は、所定のフレームレートを有する仮想視点画像が生成されるための条件を含み、
前記第２の品質に関する条件は、前記所定のフレームレートよりも高いフレームレートを有する仮想視点画像が生成されるための条件を含むことを特徴とする請求項１０に記載の情報処理装置。
前記第１の生成手段により生成される複数の仮想視点画像は、同時に表示手段に表示されることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
前記第２の生成手段により生成される一以上の仮想視点画像は、配信用の仮想視点画像であることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
複数の撮像装置が撮像することにより得られる複数の撮像画像に基づいて生成される仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得する取得工程と、
前記取得工程において複数の操作に基づいて取得される複数の視点情報を、視点情報に基づいて第１の品質に関する条件に基づく複数の仮想視点画像を生成する第１の生成手段に出力する第１の出力工程と、
前記複数の視点情報の中から選択される一以上の視点情報を、視点情報に基づいて前記第１の品質よりも高い第２の品質に関する条件に基づく仮想視点画像を生成する第２の生成手段に出力する第２の出力工程と
を有することを特徴とする情報処理方法。
コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。