JP2020102687A - 情報処理装置、画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの意図に応じた仮想視点画像を容易に提供する情報処理装置、画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】端末装置４は、撮影領域の撮影に基づく画像とその画像の撮影に関するパラメータとを表示部４１５に表示させる。さらに、表示された画像に対応する撮影位置から仮想カメラの撮影位置を変更するための第１のユーザ操作に応じた入力を受け付ける。また、仮想カメラの焦点距離、絞り値、シャッタースピード及び合焦距離の少なくとも何れかに関するパラメータを、表示部４１５に表示されたパラメータから変更するための第２のユーザ操作に応じた入力を受け付ける。そして、第１のユーザ操作に基づいて決定される撮影位置と第２のユーザ操作に基づいて決定されるパラメータとに応じた仮想視点画像を出力する。【選択図】図２

Description

本発明は、複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に関するものである。

複数の撮影装置を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。例えば、サッカーやバスケットボールなどのスポーツ競技を撮影した画像に基づいて、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは様々な角度から競技を観戦することが出来る。このような仮想視点画像を表示することで、通常の撮影画像を表示する場合と比較して、視聴者により高い臨場感を与えることが出来る。

特許文献１には、撮影領域を取り囲むように配置された複数の撮影装置により撮影した画像を用いて、ユーザにより任意に設定された仮想的なカメラ（仮想カメラ）の視点位置、視線方向、及び時刻に応じた仮想視点画像を生成することが開示されている。

特開２０１４−２１５８２８号公報

しかしながら、従来の技術では、ユーザの意図に応じた仮想視点画像を容易に提供することができない場合がある。例えば、仮想カメラに関するパラメータがどのような値の場合にどのような仮想視点画像が生成されるかがわからないままユーザがそのパラメータを指定すると、ユーザの意図とは異なる仮想視点画像が生成される虞がある。その結果、ユーザの意図に応じた仮想視点画像が得られるまで、パラメータの指定と仮想視点画像の生成が何度も繰り替えされることになり、ユーザの手間やシステムの処理量が大きくなる。

本発明は上記の課題に鑑みてなされたものであり、ユーザの意図に応じた仮想視点画像を容易に提供できるようにすることを目的とする。

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を出力する情報処理装置であって、前記撮影領域の撮影に基づく第１画像と前記第１画像に関するパラメータとを表示部に表示させる表示制御手段と、前記仮想視点画像を空間内に設定された仮想視点から撮影した画像であるとみなした場合における仮想的な当該撮影に係る仮想カメラの位置を、前記表示制御手段により前記表示部に表示された前記第１画像に対応する視点の位置から変更するための、第１のユーザ操作に応じた入力を受け付ける第１受付手段と、前記仮想カメラの焦点距離、絞り値、シャッタースピード、及び合焦距離の少なくとも何れかに関するパラメータを、前記表示制御手段により前記表示部に表示されたパラメータから変更するための、第２のユーザ操作に応じた入力を受け付ける第２受付手段と、前記第１受付手段により受け付けられた入力に基づいて決定される前記仮想カメラの位置と前記第２受付手段により受け付けられた入力に基づいて決定される前記仮想カメラのパラメータとに応じた前記仮想視点画像を出力する出力手段と、を有する。

本発明によれば、ユーザは表示された内容を基準にしてパラメータを指定できるため、ユーザの意図に応じた仮想視点画像を容易に提供できるようになる。

画像処理システムの構成例を示す図である。 端末装置のハードウェア構成例を示す図である。 端末装置の動作の一例を示すフローチャートである。 パラメータ変更前の仮想視点画像の一例を示す図である。 端末装置の表示部に表示される画像の例を示す図である。 パラメータ変更後の仮想視点画像の一例を示す図である。 画像処理装置の動作の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、本発明は以下の実施形態に限定されるものではなく、種々の変形及び変更が可能である。

［画像処理システムの構成］
図１は、本実施形態に係る画像処理システム１００の構成例を示す図である。画像処理システム１００は、複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて画像処理システム１００により自動で行われてもよい。なお、本実施形態において特に区別して記載しない場合には、仮想視点画像という用語には動画と静止画の何れも含まれるものとする。

画像処理システム１００は、画像保持部１、オブジェクト情報保持部２、画像処理装置３、及び、端末装置４ａから端末装置４ｚの２６セットの端末装置を有する。以降、特に必要がない場合にはこれらの端末装置を区別せず、端末装置４と表記する。各端末装置４が有する構成要素についても同様に、特に区別しない場合には、通信部４０１、出力制御部４０２、入力制御部４０３、及びユーザ情報設定部４０４と表記する。なお、画像処理システム１００に含まれる端末装置４の数は図１の例に限定されず、画像処理装置３と通信可能な１以上の端末装置４が画像処理システム１００に含まれていればよい。また以降では、画像処理装置３を操作する操作者と端末装置４を操作して仮想視点画像を視聴する視聴者とを特に区別しない場合、何れもユーザと表記する。

画像保持部１は、ハードディスクドライブやＳＳＤ、ＳＤカードなどの記録媒体を有し、撮影領域を複数の撮影装置により複数の方向から撮影することで得られる複数の画像（複数視点画像）を保持する。撮影領域は例えば、歌手、奏者、役者、舞台装置、選手及びボールなどの所定のオブジェクト（以降、前景オブジェクトと表記）が位置する舞台や競技場である。複数の撮影装置がこのような撮影領域を取り囲むようにそれぞれ異なる位置に設置され、それらの撮影装置による同期撮影に基づく所定の撮影期間（例えば競技の開始から終了まで）の画像が画像保持部１へ伝送されて記憶される。なお、画像保持部１により保持される画像は、撮影画像そのものに限らず、複数視点画像に画像処理を行うことで得られるその他の画像であってもよい。例えば、撮影画像から前景オブジェクトに対応する領域を抽出した前景画像や、撮影画像から前景画像を除いた背景画像が画像保持部１により保持されていてもよい。

オブジェクト情報保持部２は、ハードディスクドライブやＳＳＤ、ＳＤカードなどの記録媒体を有し、撮影領域内のオブジェクトに関する情報を保持する。例えば、前景オブジェクトの３次元形状を表す３次元形状データと、コンサートホールのステージや競技場のフィールド、及び観客席など、前景オブジェクト以外の動きの少ないオブジェクト（以降、背景オブジェクトと表記）の３次元形状データが保持される。また、オブジェクト情報保持部２は、各オブジェクトを識別するための識別情報や、オブジェクトの姿勢認識に用いられる特徴情報、及び撮影領域内における仮想視点を設定可能な範囲を示す情報などを保持していてもよい。

なお、図１に示す例では画像保持部１とオブジェクト情報保持部２とが別々の装置であるものとしているが、これに限らず、画像保持部１とオブジェクト情報保持部２とが一体となって構成されていてもよい。また、画像保持部１とオブジェクト情報保持部２との少なくとも何れかが画像処理装置３に含まれていてもよい。オブジェクト情報保持部２により保持される各種の情報は、画像保持部１により保持される画像に基づいて生成された情報であってもよい。例えば、画像処理装置３又はその他の装置が、複数の撮影装置により複数の方向からオブジェクトを撮影することで得られる複数視点画像を画像保持部１から取得する。そして、それらの画像を取得した装置が、それらの画像に基づいて当該オブジェクトの３次元形状データを生成し、オブジェクト情報保持部２に記憶してもよい。

画像処理装置３は、仮想視点画像生成部３０１（以降、画像生成部３０１と表記）、視点設定部３０２、設定変更部３０３、情報生成部３０４、ユーザ情報管理部３０５、及び通信部３０６を有する。画像生成部３０１は、画像保持部１から取得した画像とオブジェクト情報保持部２から取得した情報に基づいて、視点設定部３０２から取得した視点情報が示す仮想視点に応じた仮想視点画像を生成する。画像生成部３０１により生成された仮想視点画像は、通信部３０６を介して端末装置４へ送信される。

仮想視点画像の生成方法としては、例えば以下の方法がある。まず画像生成部３０１は、前景オブジェクトの３次元形状データが表す前景モデルと背景オブジェクトの３次元形状データが表す背景モデルに対して、画像保持部１が保持する画像のうち視点情報に応じて決定される画像をテクスチャとしてマッピングする。そして画像生成部３０１は、テクスチャがマッピングされたモデルと視点情報とに基づくレンダリングを行うことで、仮想視点画像を生成する。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮影に基づく画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

視点設定部３０２は、端末装置４に対するユーザ操作に応じた指示情報を、通信部３０６を介して取得し、その指示情報と設定変更部３０３からの入力とに基づいて、仮想視点画像の生成に係る視点情報を設定する。そして視点設定部３０２は、設定された視点情報を画像生成部３０１へ出力する。視点情報には、複数の撮影装置による撮影期間内の時点を表すフレーム番号やタイムコードなどの時間情報と、その時点における仮想カメラの位置、向き、及び焦点距離又は画角を表すパラメータが含まれる。さらに視点情報には、仮想カメラの絞り値（Ｆ値）、シャッタースピード、及び合焦距離（仮想カメラからピントが合う位置までの距離）を表すパラメータが含まれていてもよく、その他のパラメータが含まれていてもよい。以下では、仮想カメラによる撮影に関するこれらのパラメータをまとめて仮想カメラパラメータと表記する。

本実施形態における仮想カメラは、撮影領域の周囲に実際に設置された複数の撮影装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、画像生成部３０１により生成される仮想視点画像は、撮影領域に関連付けられる仮想空間内に設定された仮想視点から撮影した画像であるとみなすことができる。そして、仮想的な当該撮影における視点の位置及び方向は仮想カメラの位置及び方向として表すことができ、仮想的な当該撮影における絞り値やシャッタースピード等のパラメータは仮想カメラのパラメータとして表すことができる。言い換えれば、画像生成部３０１により生成される仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮影画像を模擬した画像であると言える。

画像生成部３０１により動画の仮想視点画像が生成される場合、その生成のために視点設定部３０２により設定される視点情報には、連続する複数の時点に対応する複数セットの仮想カメラパラメータが含まれる。オブジェクト情報保持部２が仮想視点の設定可能範囲に関する情報を有している場合、視点設定部３０２はその情報を参照して仮想カメラパラメータの設定を行う。

設定変更部３０３は、端末装置４から通信部３０６を介して取得した指示情報に基づいて、画像生成部３０１による仮想視点画像の生成に関する設定の変更を行うための指示を、視点設定部３０２及び画像生成部３０１へ入力する。例えば設定変更部３０３は、仮想カメラパラメータの変更指示や、特定の前景オブジェクト及び背景オブジェクトの表示有無の指示や、仮想視点画像に特定の照明効果を加えるための仮想照明の設定指示や、仮想視点画像の色調整の指示を行う。ただし設定変更部３０３による指示の内容はこれに限定されない。また、設定変更部３０３は、画像生成部３０１により仮想視点画像が生成された後に、画像処理によってその仮想視点画像に変更を加えてもよい。

情報生成部３０４は、画像生成部３０１により生成される仮想視点画像と共に端末装置４に表示されるべき情報を生成する。例えば、仮想視点画像に対応する仮想カメラパラメータを表すテキストや、端末装置４の操作のためのグラフィックなどが生成される。端末装置４に表示される情報の詳細については、図５などを用いて後述する。

ユーザ情報管理部３０５は、端末装置４を操作するユーザに関するユーザ情報を、通信部３０６を介して端末装置４から取得して保持する。ユーザ情報は例えば、ユーザを識別するためのユーザＩＤを含む。さらにユーザ情報は、ユーザの属性、ユーザの位置、及びユーザが画像処理システム１００の使用のために支払っている使用料などの情報を含んでいてもよい。ユーザ情報管理部３０５は、画像処理装置３と端末装置４との間で送受信される画像や各種情報に関連付けられるユーザ情報を管理して画像処理装置３を制御することで、画像処理装置３による各ユーザに応じた異なる処理の実行を実現する。通信部３０６は、各端末装置４との間で、画像、音声、テキスト、及びユーザ操作に応じた指示情報などの各種データの通信を行う。通信部３０６による通信は、ユーザ情報管理部３０５により制御される。

端末装置４は、通信部４０１、出力制御部４０２、入力制御部４０３、およびユーザ情報設定部４０４を有し、前述の各種データなどの情報を処理する情報処理装置として機能する。通信部４０１は、画像処理装置３が有する通信部３０６との間で、前述の各種データの通信を行う。出力制御部４０２は、画像処理装置３の画像生成部３０１により生成された仮想視点画像や情報生成部３０４により生成された情報を、通信部４０１を介して取得し、端末装置４が有する表示部に出力することでユーザに対して表示させる。なお、出力制御部４０２による画像や情報の出力先は表示部に限定されず、端末装置４が有する記憶装置や端末装置４に接続される外部の記憶装置に画像や情報が出力されてもよい。また、印刷用紙などの記録媒体に対する印刷によって画像や情報が出力されてもよい。

入力制御部４０３は、端末装置４が有する操作部に対するユーザ操作に応じた入力を受け付ける。操作部に対するユーザ操作は、例えば、画像処理装置３に要求する仮想視点画像に対応する時点の指定に係る操作や、仮想カメラパラメータの変更及びその他の設定の変更に係る操作である。ただし操作の内容はこれに限定されない。入力制御部４０３はこれらのユーザ操作に応じた入力に基づく指示情報を生成し、生成された指示情報は通信部４０１を介して画像処理装置３へ送信される。

なお、ユーザが仮想カメラパラメータを指定するための操作を行う場合、ユーザは視聴したい仮想視点画像に対応するすべての時点に対してすべての仮想カメラパラメータを厳密に指定しなくてもよい。例えばユーザは、特定の歌手や選手に注目した仮想視点画像を視聴したい、特定オブジェクトの周囲の一定範囲の画像を視聴したい、注目すべきイベントが発生している箇所を視聴したい、などの種々の指示を行ってもよい。そして入力制御部４０３は、その指示に応じた指示情報を生成して出力してもよい。ユーザ情報設定部４０４は、端末装置４を操作するユーザに関するユーザ情報を設定し、通信部４０１から画像処理装置３へ送信される情報に対してユーザ情報を付与する。

［装置のハードウェア構成］
次に、端末装置４のハードウェア構成について、図２を用いて説明する。なお、画像処理装置３のハードウェア構成も、以下で説明する端末装置４の構成と同様である。端末装置４は、ＣＰＵ４１１、ＲＯＭ４１２、ＲＡＭ４１３、補助記憶装置４１４、表示部４１５、操作部４１６、通信Ｉ／Ｆ４１７、及びバス４１８を有する。

ＣＰＵ４１１は、ＲＯＭ４１２やＲＡＭ４１３に格納されているコンピュータプログラムやデータを用いて端末装置４の全体を制御することで、図１に示す端末装置４の各機能部を実現する。なお、端末装置４がＣＰＵ４１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ４１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ４１３は、補助記憶装置４１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ４１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置４１４は、例えばハードディスクドライブ等で構成され、画像データや音声データ、仮想カメラパラメータなどの種々のデータを記憶する。

表示部４１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが端末装置４を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部４１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ４１１に入力する。通信Ｉ／Ｆ４１７は、画像処理装置３などの外部の装置との通信に用いられる。例えば、端末装置４が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ４１７に接続される。なお、端末装置４が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ４１７はアンテナを備える。バス４１８は、端末装置４の各部をつないで情報を伝達する。

本実施形態では表示部４１５と操作部４１６が端末装置４の内部に存在するものとするが、表示部４１５と操作部４１６との少なくとも一方が端末装置４の外部に別の装置として存在していてもよい。この場合、ＣＰＵ４１１が、表示部４１５を制御する表示制御部、及び操作部４１６を制御する操作制御部として動作してもよい。

［端末装置の動作］
以下では、動画の仮想視点画像から種々の調整が加えられた静止画の仮想視点画像を抽出するための、端末装置４の動作の具体例について、図３のフローチャート及び図４から図６を参照して説明する。図３に示す処理は、例えば、予め生成された動画の仮想視点画像を端末装置４が画像処理装置３から受信し、その動画を再生するためのユーザ操作が端末装置４に対して行われたタイミングで開始される。ただし、図３に示す処理の開始タイミングは上記に限定されない。図３に示す処理は、ＣＰＵ４１１がＲＯＭ４１２に格納されたプログラムをＲＡＭ４１３に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ４１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。

出力制御部４０２は、画像処理装置３から受信した、所定の撮影期間における撮影領域の撮影に基づく動画の仮想視点画像を再生し、表示部４１５に表示させる（図３のＳ６００）。ここでは、サッカーの試合の撮影に基づく動画が再生されるものとする。図４は、動画の再生期間中のある時点Ｔａにおける仮想視点画像５００を示す。仮想視点画像５００には、ボール５０１、選手５０２、選手５０３、及び選手５０４という複数の前景オブジェクトが含まれる。動画に含まれる仮想視点画像５００が表示されている際に行われたユーザ操作に応じた入力を入力制御部４０３が受け付けると、出力制御部４０２は動画再生を一時停止する（Ｓ６０１）。

図５（ａ）は、一時停止された際に端末装置４により表示される画像を示す。ここでは、端末装置４がタブレット端末であり、端末装置４に表示された画像に対してユーザがタッチ操作を行うものとする。一時停止画面の右上には、種々のメニュー表示を行うためのメニューアイコン５１０が表示される。メニューアイコン５１０に対するタッチ操作が行われてメニュー表示がされ、調整モードの開始を選択する操作がされると、入力制御部４０３は仮想視点画像の生成に係る仮想カメラパラメータや設定を調整するための調整モードを開始する（Ｓ６０２）。なおメニューアイコン５１０は、図３に示す処理が行われる間は、図５（ａ）から図５（ｄ）に示すような何れの表示モードにおいても表示されており、ユーザにより操作可能である。調整モード開始後、入力制御部４０３はユーザ操作に応じて調整対象の項目を選択する（Ｓ６０３）。選択可能な調整対象項目は、例えば、画像に対応する時間、仮想カメラパラメータ、オブジェクトの表示有無、仮想照明、色調整境界などである。各項目の具体的内容については以降で順に説明する。

図５（ｂ）は、調整対象項目として時間が選択された場合に端末装置４により表示される画像を示す。時間アイコン５２０は、調整対象項目が時間であることを表す。画像表示領域５１１には指定された時点に対応する画像が表示され、情報表示領域５１２にはその画像に関係する仮想カメラパラメータなどの各種の情報が表示される。入力制御部４０３は、動画に対応する撮影期間内の一時停止によって指定された時点を、さらに調整するためのユーザ操作に応じた入力を受け付ける。具体的には、三角形の時間変更マーク５２１に対するタッチ操作が行われると、入力制御部４０３は、画像表示領域５１１に表示する画像に対応する時点を一時停止時のＴａから変更する（Ｓ６０４）。左向きの時間変更マーク５２１がタッチされるたびに画像がコマ戻しされ、所定時間（例えば１フレーム）前の仮想視点画像が画像表示領域５１１に表示される。また、右向きの時間変更マーク５２１がタッチされるたびに画像がコマ送りされ、所定時間後の仮想視点画像が表示される。この所定時間は変更間隔バー５２２に対するユーザ操作に応じて変化する。図５（ｂ）に示す画面においては、変更間隔バー５２２の中間部に対してタッチ操作がされたことにより、コマ送りの間隔である上記の所定時間が１／１０秒に設定されている。一方、変更間隔バー５２２の最上部に対してタッチ操作が行われた場合には、例えば上記の所定時間が１／２秒に設定される。また、変更間隔バー５２２の最下部に対してタッチ操作が行われた場合には、例えば上記の所定時間が１／５０秒に設定される。

図５（ｂ）における画像表示領域５１１には、変更操作によって指定された時点Ｔｂに対応する仮想視点画像が表示される。図４に示した時点Ｔａに対応する画像においては、ボール５０１が選手５０３によりキックされて宙に浮いていた。一方、図５（ｂ）の画像表示領域５１１内の画像は、選手５０３がまさにボール５０１をキックしようとする瞬間まで時間を戻した時点Ｔｂの画像である。

調整を終了するユーザ操作に応じて、入力制御部４０３は時間の調整を終了する（Ｓ６０５）。その後、調整結果を反映させるユーザ操作が行われると、入力制御部４０３は調整モードを終了する（Ｓ６０６でＮＯ）。一方、調整結果を反映させるユーザ操作が行われない場合、入力制御部４０３は調整モードを継続し（Ｓ６０６でＹＥＳ）、新たな調整対象項目をユーザ操作に応じて選択する（Ｓ６０３）。

図５（ｃ）は、調整対象項目として仮想カメラパラメータが選択された場合に端末装置４により表示される画像を示す。カメラ調整アイコン５３０は、調整対象項目が仮想カメラパラメータであることを表す。入力制御部４０３は、表示中の仮想視点画像（再生された動画に含まれる指定された時点Ｔｂの画像）に関する仮想カメラパラメータの変更に係るユーザ操作に応じた入力を受け付ける。例えば、視点の位置（撮影位置）に関するパラメータを変更する場合、上下左右の三角形の位置変更マーク５３５に対するタッチ操作が行われると、入力制御部４０３は、仮想カメラの位置が上下左右方向に移動するようにパラメータを変更する。一回のタッチに応じたパラメータの変更量は、変更量バー５３７に対するユーザ操作に応じて変化する。図５（ｃ）に示す画面においては、変更量バー５３７の中間部に対してタッチ操作がされたことにより、位置変更マーク５３５に対する一回のタッチに応じた仮想カメラ位置の変更量が０．５ｍに設定されている。一方、変更量バー５３７の最上部に対してタッチ操作が行われた場合には、例えば上記の変更量が２．５ｍに設定される。また、変更量バー５３７の最下部に対してタッチ操作が行われた場合には、例えば上記の変更が０．１ｍに設定される。

画像表示領域５１１上でピンチ／ストレッチ操作が行われると、入力制御部４０３は、仮想カメラの撮影位置が奥行方向に移動するようにパラメータを変更する。また、視点の方向（撮影方向）に関するパラメータを変更する場合、キュービックマーク５３６に対してドラッグ／スワイプ操作が行われると、入力制御部４０３は、仮想カメラの向きがその操作方向に変化するようにパラメータを変更する。

情報表示領域５１２には、各種の仮想カメラパラメータが表示される。ユーザは各パラメータが表示されている部分にタッチして、数値の入力やタッチ後に表示されるスライドバーの操作などにより、各パラメータの値を指定する。そして入力制御部４０３は、その操作に応じた入力を受け付けて各パラメータを変更する。図５（ｃ）の例では、情報表示領域５１２に仮想カメラの焦点距離５３１、絞り値５３２、シャッタースピード５３３、及び合焦距離５３４が表示されている。これらのうち、焦点距離５３１、絞り値５３２、及びシャッタースピード５３３は、図５（ｂ）の画面で表示されたパラメータからユーザ操作に基づいて変更された値となっている。このように、ユーザ操作に基づいて変更されたパラメータが表示部４１５に表示されることで、ユーザは変更後のパラメータを容易に認識することができる。これにより、パラメータの設定の誤りを抑制することができ、また、ユーザは複数のパラメータの関係を考慮しながら調整を行うことができる。

なお、例えば仮想カメラのシャッタースピードを、複数視点画像を撮影した撮影装置のシャッタースピードより速くできないようにするなど、各パラメータについて指定可能な値の範囲が複数視点画像の撮影条件などに基づいて制限されていてもよい。また、入力制御部４０３は、各パラメータの値を指定するユーザ操作の受付の代わりに、又はそれに加えて、変更前の各パラメータの値からの変更量を指定する操作を受け付けてもよい。また、情報表示領域５１２に表示される各パラメータは、図５（ｃ）に示す表示画面に限らず、図５（ｂ）に示す表示画面などその他の画面においても変更可能であってもよい。指定された時点に対応する仮想視点画像と共にその画像に関する仮想カメラパラメータを表示させ、その表示画面において各パラメータを変更できるようにすることで、ユーザがパラメータ変更後の画像をイメージしやすくなる。ただし、仮想カメラパラメータの変更用画面に仮想視点画像が表示されなくてもよい。

調整を終了するユーザ操作に応じて、入力制御部４０３は仮想カメラパラメータの調整を終了する（Ｓ６０５）。その後、調整結果を反映させるユーザ操作が行われると、入力制御部４０３は調整モードを終了し（Ｓ６０６でＮＯ）、調整モード中に行われたユーザ操作に基づく指示情報を画像処理装置３へ送信する。この指示情報は、ユーザ操作に基づいて特定された時点と、ユーザ操作に基づいて決定された仮想カメラパラメータとを表す。また、ユーザ情報設定部４０４は、端末装置４を操作しているユーザに関するユーザ情報を、送信される指示情報に付与する。画像処理装置３は、受信した指示情報に基づいて、指定された時点に対応する静止画の仮想視点画像を生成する。ここで生成される画像は、変更された仮想カメラパラメータに応じた調整済みの仮想視点画像である。そして、画像処理装置３は生成した画像を端末装置４へ送信し、出力制御部４０２は受信した調整済みの仮想視点画像を表示する（Ｓ６０７）。

図５（ｃ）における画像表示領域５１１には、仮想カメラパラメータの変更が反映された仮想視点画像が表示されている。仮想カメラの位置、向き、及び焦点距離が変更された結果、図５（ｂ）に示した仮想視点画像と比較して、選手５０２と選手５０３が画像の略中央に、より大きく、やや下から見上げるように表示されている。また、仮想カメラの絞り値及びシャッタースピードが変更された結果、背景のぼけが強くなり、選手５０３のキックする脚に尾を引く残像が発生している。なお、仮想カメラの焦点距離を変更してズームアップした場合と、仮想カメラの位置をオブジェクトに近づくように奥行方向に変更した場合とでは、画像の表現が異なる。具体的には、特定のオブジェクトの画像内での大きさが一致していても、他のオブジェクト及び背景の画像内での大きさや映りこみ方が異なる。

調整済みの仮想視点画像が表示された後、仮想視点画像を保存するユーザ操作が行われると、入力制御部４０３は調整結果を確定する（Ｓ６０８でＹＥＳ）。一方、再調整を行うユーザ操作が行われると、入力制御部４０３は新たな調整対象項目をユーザ操作に応じて選択する（Ｓ６０３）。

図５（ｄ）は、オブジェクト表示有無、仮想照明、及び色調整境界を調整対象項目として選択するユーザ操作が受け付けられた場合に端末装置４により表示される画像を示す。ここでは、ユーザ操作に基づく変更がされていない仮想カメラパラメータ及びそれに応じた画像（動画が一時停止された際の調整前の仮想視点画像５００）に「Ｓｈｏｔ１」というタイトルが対応付けられている。一方、ユーザ操作に基づいて変更された仮想カメラパラメータ及びそれに応じた画像（調整が反映された画像）に「Ｓｈｏｔ２」というタイトルが対応付けられている。

画面右側には、仮想カメラの移動可能範囲である３次元のエリア５４０と、時点Ｔｂにおいてエリア５４０内に存在する背景オブジェクト及び前景オブジェクトが表示されている。またエリア５４０内には、「Ｓｈｏｔ１」に対応する仮想カメラ５４７と「Ｓｈｏｔ２」に対応する仮想カメラ５４８とが、それぞれの位置、向き、及び画角を表すグラフィックで表示されている。具体的には、仮想カメラの位置に球が表示され、その球を頂点とする四角錐により画角が表現されている。表示された「Ｓｈｏｔ２」の仮想カメラに対してユーザ操作が行われた場合、入力制御部４０３は上述した処理と同様に仮想カメラパラメータの変更を行う。

画面右下に表示される時間バー５４９は、「Ｓｈｏｔ１」に対応する時点Ｔａと「Ｓｈｏｔ２」に対応する時点Ｔｂとを表している。時間バー５４９上での複数の位置の間隔とそれに対応する時間差との関係は、ＴａとＴｂが適度な間隔で表示されるように自動で決定されてもよい。図５（ｄ）の例では、ＴａとＴｂとの時間差が１．５秒であり、時間バー５４９はＴａから−２秒までを表している。時間バー５４９に表示された「Ｓｈｏｔ２」に対してユーザ操作が行われた場合、入力制御部４０３は上述した処理と同様に仮想カメラパラメータの変更を行う。また、入力制御部４０３は、時間バー５４９に対するタッチ操作に応じて、仮想視点画像の生成対象の時点Ｔｂをタッチ位置に対応する時点に変更してもよい。

「Ｓｈｏｔ２」の画像に映り込ませたくないオブジェクトが存在する場合、ユーザは図５（ｄ）に示す画面が表示されている表示モードにおいてメニューアイコン５１０を操作してオブジェクト表示設定機能を選択する。またユーザは、エリア５４０内に表示されている前景オブジェクトや背景オブジェクトを指定する。そして入力制御部４０３は、指定されたオブジェクトの非表示の対象に設定する。非表示の対象になったオブジェクト（図５（ｄ）の例では選手５０４）は、エリア５４０内においてワイヤーフレームによって表示される。非表示設定が反映されると、画像表示領域５４２の画像のように、非表示の対象となった選手５０４を含まない仮想視点画像が表示される。なお、指定されたオブジェクトを非表示にする代わりに、指定されたオブジェクトの透明度を設定して、そのオブジェクトを半透明に表示できるようにしてもよい。

仮想視点画像に照明効果を付与したい場合、ユーザはメニューアイコン５１０を操作して照明追加機能を選択し、エリア５４０内の任意の数の任意の位置を指定する。そして入力制御部４０３は、指定された位置に仮想照明を設定する。設定される仮想照明は、スポットライトや、太陽光に近い並行光など、複数の種類から選択可能であってもよく、その光の強度や色温度を調整可能であってもよい。また、仮想照明を配置する方法は、エリア５４０内のオブジェクト上の点を選択する方法や、３次元座標を入力する方法、及び一度配置した位置から移動させる方法などであってもよい。

特定の領域に位置するオブジェクトをカラー表示させ、その領域外に位置するオブジェクトをモノクロ表示させたい場合、ユーザはメニューアイコン５１０を操作して色調整機能を選択し、エリア５４０内の領域を指定する。そして入力制御部４０３は、指定された領域に応じた色調整境界を設定する。図５（ｄ）の例では色調整境界の形状が球であるが、これに限らず立方体や直方体などその他の三次元形状から選択可能であってもよく、そのサイズを調整可能であってもよい。また、境界のぼかし幅を設定することで、境界付近におけるオブジェクトの色がカラーからモノクロへ滑らに変化するように設定可能であってもよい。また、ここでは境界の内側をカラーとし、外側をモノクロとしたが、これに限らず、境界の内外で種々の異なる色調整が可能である。例えば色温度や彩度、明度、コントラストなどの変更や、特定の有彩色だけを際立たせる変更などが、色調整境界に応じて行われてもよい。上記の仮想照明および色調整境界の設定により、特定の注目すべきオブジェクトをより際立たせた仮想視点画像を得ることが可能となる。

図５（ｄ）における画面左側の画像表示領域５４１には、ユーザ操作に基づく変更がされていない「Ｓｈｏｔ１」の仮想視点画像が表示されている。一方、画像表示領域５４２には、ユーザ操作に基づいて変更された仮想カメラパラメータ及び上述の各種設定の変更が反映された「Ｓｈｏｔ２」の仮想視点画像が表示されている。これらの画像が同じ画面に表示されることで、ユーザは調整前の画像と調整後の画像を容易に比較できる。情報表示領域５４３には「Ｓｈｏｔ１」の画像に対応する変更前の仮想カメラパラメータが表示され、情報表示領域５４４には「Ｓｈｏｔ２」の画像に対応する変更後の仮想カメラパラメータが表示される。表示された「Ｓｈｏｔ２」の仮想カメラパラメータに対してユーザ操作が行われた場合、入力制御部４０３は上述した処理と同様に各パラメータの変更を行う。

なお、図５（ｄ）の例では画面右側に各種設定の変更用の表示がされ、画面左側に調整前と調整後の仮想視点画像が表示されているが、これらの一方が表示されなくてもよい。例えば、入力制御部４０３は、ユーザによる操作に応じて、画像表示領域５４１及び画像表示領域５４２の表示有無を切り替えてもよい。また、図５（ｂ）や図５（ｃ）の表示モードにおいても、図５（ｄ）の画面と同様に、調整前の画像と調整後の画像とが比較可能に表示されてもよい。

以上が各調整対象項目についての説明である。なお、調整される項目やその調整順序は上記に限定されず、ユーザ操作により任意に選択可能である。また、各調整画面におけるメニューアイコン５１０に対する操作に応じて、入力制御部４０３は一部又は全部の調整内容を取り消すことができる。ユーザが意図する調整がすべて終わり、画像処理装置３から受信した調整済みの仮想視点画像を保存するユーザ操作が行われると、入力制御部４０３は調整結果を確定する（Ｓ６０８でＹＥＳ）。そして出力制御部４０２は、調整済みの仮想視点画像を静止画として所定の記憶装置に出力して保存する。図６は、最終的に出力される静止画の仮想視点画像５５０の例を示す。仮想視点画像５５０は、上記の調整処理において受け付けられたユーザ操作に基づいて特定された時点Ｔｂに対応する仮想視点画像であって、ユーザ操作に基づいて決定された仮想カメラパラメータ及び設定に応じた仮想視点画像である。ただし図示の都合上、色調整境界の設定による効果や、仮想照明によって生じるオブジェクトの影は表現されていない。

以上説明したように、本実施形態に係る端末装置４は、撮影領域の撮影に基づく画像とその画像の撮影に関するパラメータとを表示部４１５に表示させる。そして端末装置４は、表示された画像に対応する視点の位置から仮想カメラの位置を変更するための第１のユーザ操作に応じた入力を受け付ける。また端末装置４は、仮想カメラの焦点距離、絞り値、シャッタースピード、及び合焦距離の少なくとも何れかに関するパラメータを、表示部４１５に表示されたパラメータから変更するための第２のユーザ操作に応じた入力を受け付ける。そして端末装置４は、第１のユーザ操作に基づいて決定される仮想カメラの位置と第２のユーザ操作に基づいて決定される仮想カメラのパラメータとに応じた仮想視点画像を出力する。

上記のような構成によれば、仮想カメラの撮影位置及び方向だけでなく、仮想カメラの焦点距離、絞り値、シャッタースピード、及び合焦距離など、種々のパラメータをユーザにより設定可能とし、多様な表現の仮想視点画像をユーザに提供することが可能となる。また、ユーザは表示された画像を見て生成すべき仮想視点画像をイメージしつつ、表示された撮影に関するパラメータを基準として仮想視点画像の生成に係るパラメータを指定することができる。そのため、多種類のパラメータの設定が行われる場合でも、ユーザの意図とは異なる仮想視点画像が生成される虞が低くなり、ユーザの手間やシステムの処理量が大きくなることを抑制できる。すなわち、ユーザの意図に応じた仮想視点画像を容易に提供できるようになる。

上記のように基準となる画像に対応するパラメータを表示することは、仮想カメラの位置及び方向以外の仮想カメラパラメータをユーザにより変更可能とする場合に、特に有意義である。仮想カメラの位置及び方向は、対応する仮想視点画像を見れば容易に把握することができる。しかしながら、仮想カメラの焦点距離、絞り値、シャッタースピード、及び合焦距離等のパラメータは、対応する仮想視点画像を見るだけでは容易に把握することができない。そのため、これらのパラメータを表示することで、ユーザによるパラメータの指定に係る利便性を向上することができる。また、ユーザが画像におけるボケの大きさなどの細かい表現にこだわった仮想視点画像を生成しようとする場合、仮想カメラを撮影対象のオブジェクトにどの程度近づけるかを、仮想カメラの焦点距離や絞り値に応じて決めることも考えられる。そのため、上記のような仮想カメラパラメータを表示することは、ユーザによる仮想カメラの位置の指定に係る利便性も向上することができる。また、表示される上記の仮想カメラパラメータは、実物のカメラを用いた撮影においてユーザが操作するパラメータに対応するものであるため、ユーザは実物のカメラによる撮影と同じような感覚で仮想カメラを操縦することができるようになる。

また、端末装置４は、オブジェクトの表示有無に関する情報、オブジェクトの色調整に関する情報、及び仮想照明に関する情報の少なくとも何れかの設定に係るユーザ操作に応じた入力を受け付ける。そして端末装置４は、受け付けられた入力に基づいて設定された情報に応じた仮想視点画像を出力する。これにより、現実空間における見え方とは異なるような表現を含む、さらに多様な表現の仮想視点画像をユーザに提供することが可能となる。

なお、端末装置４は、上記の例に示した仮想カメラパラメータ及び設定のすべてを調整可能なように構成されていなくてもよく、また、その他のパラメータ及び設定を調整可能なように構成されていてもよい。端末装置４は、図５に示した画面のすべてを表示可能なように構成されていなくてもよく、また、その他の画面を表示可能なように構成されていてもよい。

［画像処理装置の動作］
次に、端末装置４へ仮想視点画像を提供する画像処理装置３の動作の具体例について、図７のフローチャートを参照して説明する。図７に示す処理は、例えば、上述したＳ６００において再生するための動画の要求を端末装置４から受け取ったタイミングで開始される。ただし、図７の処理の開始タイミングは上記に限定されない。図７に示す処理は、画像処理装置３のＣＰＵ４１１がＲＯＭ４１２に格納されたプログラムをＲＡＭ４１３に展開して実行することで実現される。なお、図７に示す処理の少なくとも一部を、ＣＰＵ４１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。

Ｓ７００において、画像生成部３０１は、端末装置４からの要求に応じた撮影対象（例えばサッカーの試合）に関する複数視点画像を画像保持部１から取得し、対応するオブジェクト情報をオブジェクト情報保持部２から取得する。ここで取得されるオブジェクト情報には、複数の撮影装置による複数の方向からのオブジェクトの撮影に基づいて生成された、そのオブジェクトの３次元形状データが含まれる。

Ｓ７０１において、画像生成部３０１は、Ｓ７００において取得したデータと、視点設定部３０２から取得した視点情報とに基づいて、動画像の仮想視点画像を生成する。視点設定部３０２から取得される視点情報は、画像処理装置３を操作するユーザが予め指定した仮想視点を表す。ただしこれに限らず、例えば端末装置４が画像処理装置３に動画を要求する際に、端末装置４のユーザにより指定された仮想視点に応じた視点情報を送信してもよい。そして画像処理装置３は、端末装置４から取得した視点情報に基づいて動画の仮想視点画像を生成してもよい。また例えば、画像処理装置３は、端末装置４へ複数の仮想視点の候補を提示し、それらの候補の中から端末装置４により選択された仮想視点に基づいて動画の仮想視点画像を生成してもよい。Ｓ７０２において、画像生成部３０１は、オブジェクトの３次元形状データに基づいて生成された動画の仮想視点画像を、通信部３０６を介して端末装置４へ送信する。

その後、端末装置４において図３のＳ６００からＳ６０６までの仮想カメラパラメータ及び設定の調整処理が行われると、Ｓ７０３において画像処理装置３は、端末装置４からユーザ操作に応じた指示情報を受信する。この指示情報には、動画に対応する撮影期間に含まれる時点を示す時間情報と、その時点の仮想視点画像の生成に係る調整済みの仮想カメラパラメータ及び設定情報が含まれる。

Ｓ７０４において、設定変更部３０３は、Ｓ７０３において受信した指示情報に基づいて各種設定の変更を行う。具体的には、オブジェクト表示有無の設定や、仮想照明の設定、色調整境界の設定などを行う。視点設定部３０２は、Ｓ７０３において受信した指示情報に基づいて視点情報の設定を行う。ここで、指示情報が示す仮想カメラパラメータが、オブジェクト情報保持部２が有する仮想視点の設定可能範囲の情報に適合しない場合には、視点設定部３０２は指示情報が示す仮想カメラパラメータにさらに変更を加えて、視点情報を設定してもよい。ユーザ情報管理部３０５は、指示情報に付与されたユーザ情報に応じて、設定変更部３０３及び視点設定部３０２に対して設定及び仮想カメラパラメータの変更の制約を指示する。画像生成部３０１は、設定変更部３０３による各種の設定と、視点設定部３０２による視点情報の設定と、Ｓ７００で取得した複数視点画像及びオブジェクト情報とに基づいて、指示情報に応じた調整が反映された静止画の仮想視点画像を生成する。

Ｓ７０５において、画像生成部３０１は、Ｓ７０４において生成された静止画の仮想視点画像を、通信部３０６を介して端末装置４へ送信する。また、情報生成部３０４は、仮想視点画像に対応する仮想カメラパラメータなど、図５を用いて説明した操作画面を表示するための情報を、通信部３０６を介して端末装置４へ出力する。なお、操作画面を表示するための情報の少なくとも一部が、画像処理装置３から送信される代わりに端末装置４により生成されてもよい。また、画像処理装置３により生成された静止画の仮想視点画像が、端末装置４へ直接送信される代わりに、画像処理装置３に接続された外部の記憶装置へ送信されてもよい。

Ｓ７０６において、画像生成部３０１は、仮想視点画像の生成処理を継続するか否かを判定する。通信部３０６が端末装置４から新たな指示情報を受信した場合、Ｓ７０３に戻って画像生成部３０１は生成処理を継続する。一方、通信部３０６が端末装置４から調整処理の終了を示す通知を受信した場合、画像生成部３０１は生成処理を終了する。画像処理装置３が以上のような動作を行うことで、図３から図６を用いて上述したように、端末装置４に対するユーザ操作に応じて動画からユーザの意図に応じた静止画の仮想視点画像を抽出する処理を実現することができる。

以上説明したように、本実施形態に係る画像処理装置３は、複数の方向からのオブジェクトの撮影に基づく当該オブジェクトの３次元形状データを取得し、当該３次元形状データに基づいて生成される動画の仮想視点画像を端末装置４へ送信する。また画像処理装置３は、動画の仮想視点画像が送信された後に、当該動画に対応する撮影期間内の時点を示す時間情報と当該時点の仮想視点画像の生成に係るパラメータとを端末装置４から受信する。そして画像処理装置３は、受信した当該時間情報が示す時点と当該パラメータとに応じた静止画の仮想視点画像を、当該３次元形状データに基づいて生成する。

上記のような構成によれば、端末装置４を操作するユーザは、はじめに提供される動画の仮想視点画像を基準として静止画の仮想視点画像の生成に係るパラメータを指定することで、意図に応じた静止画の仮想視点画像を容易に得ることができる。また、端末装置４からの要求に応じて画像処理装置３が３次元形状データを用いて仮想視点画像の再生成を行うため、端末装置４において２次元的な画像処理による調整を行う場合よりも、多様な画像表現の調整を実現することができる。

また、仮にユーザに対して仮想視点画像を表示する端末装置４が、オブジェクトの３次元形状データなど仮想視点画像の生成に用いられる素材データをすべて取得して仮想視点画像を生成することとすると、端末装置４の記憶容量や通信帯域を圧迫する虞がある。特に、複数の端末装置４が画像処理装置３に接続される場合に、それぞれの端末装置４が素材データを取得することになると、通信帯域が圧迫される虞が大きくなる。一方、本実施形態によれば、端末装置４のユーザが仮想視点画像を調整できるようにしつつも、画像処理装置３により生成された仮想視点画像が端末装置４へ送信されるため、通信されるデータ量や端末装置４に記憶されるデータ量を小さくすることができる。

なお、上記で説明した例においては、図３のＳ６０６において仮想カメラパラメータや設定の変更を反映するユーザ操作が行われたことに応じて、端末装置４から画像処理装置３へ仮想視点画像が要求されるものとした。この方法によれば、端末装置４と画像処理装置３との間の通信量及び画像処理装置３の処理量を削減することができる。ただしこれに限らず、端末装置４は、仮想カメラパラメータや設定の変更操作が行われるたびに、画像処理装置３へ変更に応じた仮想視点画像の生成を要求し、生成された仮想視点画像を表示してもよい。この方法によれば、ユーザは調整結果を早い段階で把握することができ、ユーザの利便性が向上する。

また、図３のＳ６０８において調整結果が確定されるまでは、調整による画像の変化が把握できる程度の低画質（例えば低解像度）の仮想視点画像が生成及び表示され、調整結果が確定された後に、高画質の仮想視点画像が生成、表示、及び保存されてもよい。この方法によれば、ユーザの利便性を向上しつつ、仮想カメラパラメータの変更のたびに高画質の仮想視点画像を生成する場合よりも画像処理装置３の処理量を削減することができる。なおこの場合に、調整モード中におけるユーザの指示に応じて、高画質の仮想視点画像が生成及び表示されてもよい。

また、上記で説明した操作方法や表示画面は一例であって、これに限定されるものではない。例えば、端末装置４に対する操作として、クリック、ドラッグ、及びスクロールなどのマウスによる操作が行われてもよい。また、上記では動画から静止画の仮想視点画像を抽出して表示するための処理について説明したが、これに限らない。端末装置４は、ユーザ操作に基づいて変更された仮想カメラパラメータ等に応じた動画の仮想視点画像の生成を画像処理装置３に要求し、画像処理装置３により生成された動画を取得して表示する機能を有していてもよい。この場合、動画の生成に係る仮想カメラの操作方法と静止画の生成に係る仮想カメラの操作方法とを共通にすることで、ユーザの操作の利便性を向上できる。

また、変更可能な仮想カメラパラメータや設定の少なくとも一部が、ユーザ操作により直接指定されるのではなく、端末装置４によって自動で決定されてもよい。例えば、ボール５０１又は選手５０３などのあるオブジェクトがユーザ操作により選択された場合に、そのオブジェクトの仮想視点画像内における位置が一定となり、且つピントがそのオブジェクトに合うように、仮想カメラパラメータが決定されてもよい。このような状態において仮想カメラのシャッタースピードを遅くすれば、流し撮りをしたような表現の仮想視点画像を得ることができる。また例えば、仮想カメラの焦点距離がユーザ操作に応じて変更された場合に、ユーザにより選択されたオブジェクトの仮想視点画像内における大きさが変化しないように、仮想カメラの位置が自動で変更されてもよい。このようにすることで、注目対象のオブジェクトの見え方を保ちつつ、背景やその他のオブジェクトの映り込み方を変化させることができる。また例えば、端末装置４により表示された画像内の位置をユーザがタッチした場合に、そのタッチ位置に表示されたオブジェクトにピントが合うように、合焦距離が自動で決定されてもよい。

また、変更可能な仮想カメラパラメータや設定の少なくとも一部を、画像処理装置３が提示してもよい。例えば、ユーザが端末装置４を操作して時点Ｔｂとあるオブジェクトを指定した場合に、画像処理装置３はその操作に応じた指示情報に基づいて、時点Ｔｂにおいてそのオブジェクトを最も適切に撮影できる仮想カメラパラメータを端末装置４へ提示してもよい。具体的には、そのオブジェクトの３次元モデルの精度が高い表面が被写されるような仮想カメラ位置及びオブジェクト表示有無の設定を提示してもよい。また、ユーザが時点Ｔａで動画を一時停止した場合に、画像処理装置３は、Ｔａを含む期間における画像に関してシーン判定を行い、その期間に発生した注目すべきイベントに対応する時点を提示してもよい。その他にも、画像処理装置３は、オブジェクトの色、形又は動きを識別し、識別結果に応じて決定した仮想カメラパラメータの組み合わせを提示してもよい。また、画像処理装置３は、あるユーザが指定した仮想カメラパラメータ及び設定の内容や、そのパラメータ等に基づいて生成された仮想視点画像を、他のユーザにより操作されている端末装置４へ提示してもよい。

また、画像処理システム１００は、上記で説明した機能を課金に応じたサービスとしてユーザに提供する場合に、調整の自由度を課金額に応じたユーザ情報に基づいて決定してもよい。例えば、時間や仮想カメラパラメータなどを、課金額が大きいユーザほど細かく設定できるようにしてもよい。また例えば、調整可能な項目が課金額に応じて制限されてもよいし、調整のやり直し可能な回数が課金額に応じて決められてもよい。あるいは、最終的に出力される仮想視点画像の解像度、色階調及び画像サイズなどが課金額に応じて決定されてもよい。

また、上述した実施形態では、複数視点画像に基づいて画像処理装置３により生成された動画の仮想視点画像が端末装置４へ送信され、端末装置４により表示された動画の仮想視点画像を基準として、調整処理が行われるものとした。ただし、調整処理のために端末装置４により表示される動画の内容は、これに限定されない。例えば、画像処理装置３は、単一の撮影装置による撮影に基づく動画の撮影画像を画像保持部１から取得し、その動画を端末装置４へ送信してもよい。この場合に、画像処理装置３は、その動画の撮影時における撮影装置の焦点距離や絞り値やシャッタースピードなどの撮影パラメータを取得し、動画と共に撮影パラメータを端末装置４へ送信してもよい。そして端末装置４は、その動画と撮影パラメータとを表示部４１５に表示して、上述した仮想カメラパラメータ等の調整処理を実行してもよい。

この方法によれば、はじめに画像処理装置３が動画の仮想視点画像を生成する必要がないため、画像処理装置３の処理量を削減できる。一方、はじめに画像処理装置３から動画の仮想視点画像を送信する方法によれば、端末装置４のユーザが仮想視点画像の生成に慣れていない場合であっても、表示される動画を見ることでユーザは生成可能な仮想視点画像のイメージをつかむことができる。なお、端末装置４により表示される動画の種別が、ユーザ情報設定部４０４により設定されたユーザ情報に応じて異なっていてもよい。例えば、課金額の高いユーザが操作する端末装置４には動画の仮想視点画像が表示され、課金額の低いユーザが操作する端末装置４には動画の撮影画像が表示されてもよい。

また、端末装置４により表示される動画は、画像処理装置３から受信したものに限らず、他の装置から受信した動画や端末装置４が生成した動画であってもよい。さらに、最終的に出力される静止画の仮想視点画像を生成する処理の少なくとも一部を、端末装置４が行ってもよい。例えば、端末装置４は、ユーザ操作に基づいて特定された時点に対応する３次元形状データなどの素材データを画像処理装置３から取得してもよい。そして、その素材データとユーザ操作に基づいて決定された仮想カメラパラメータ等に基づいて静止画の仮想視点画像を生成してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

３ 画像処理装置
４ 端末装置
１００ 画像処理システム
４１５ 表示部

Claims (24)

1. 複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を出力する情報処理装置であって、
   前記撮影領域の撮影に基づく第１画像と前記第１画像に関するパラメータとを表示部に表示させる表示制御手段と、
   前記仮想視点画像を空間内に設定された仮想視点から撮影した画像であるとみなした場合における仮想的な当該撮影に係る仮想カメラの位置を、前記表示制御手段により前記表示部に表示された前記第１画像に対応する視点の位置から変更するための、第１のユーザ操作に応じた入力を受け付ける第１受付手段と、
   前記仮想カメラの焦点距離、絞り値、シャッタースピード、及び合焦距離の少なくとも何れかに関するパラメータを、前記表示制御手段により前記表示部に表示されたパラメータから変更するための、第２のユーザ操作に応じた入力を受け付ける第２受付手段と、
   前記第１受付手段により受け付けられた入力に基づいて決定される前記仮想カメラの位置と前記第２受付手段により受け付けられた入力に基づいて決定される前記仮想カメラのパラメータとに応じた前記仮想視点画像を出力する出力手段と、を有することを特徴とする情報処理装置。
2. 前記第１受付手段により受け付けられた入力に基づいて決定される前記仮想カメラの位置と前記第２受付手段により受け付けられた入力に基づいて決定される前記仮想カメラのパラメータとを表す情報を、当該情報に基づいて前記仮想視点画像を生成する画像処理装置へ送信する送信手段を有し、
   前記表示制御手段は、前記画像処理装置から受信した前記第１画像を前記表示部に表示させ、
   前記出力手段は、前記送信手段による前記情報の送信に応じて前記画像処理装置から受信した前記仮想視点画像を出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段により前記表示部に表示される動画に対応する所定の撮影期間内の時点を指定するための、第３のユーザ操作に応じた入力を受け付ける第３受付手段を有し、
   前記表示部に表示される前記第１画像は、前記第３受付手段により受け付けられた入力に基づいて特定される時点に対応する画像であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記出力手段は、前記第３受付手段により受け付けられた入力に基づいて特定される時点に対応する前記仮想視点画像を、静止画として出力することを特徴とする請求項３に記載の情報処理装置。
5. 前記第３受付手段は、前記表示制御手段により前記表示部に前記動画が表示されている期間中に前記第３のユーザ操作に応じた入力を受け付けることを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記第３のユーザ操作は、前記表示制御手段により前記表示部に表示される前記動画を一時停止するための操作と前記動画をコマ送りするための操作とを含むことを特徴とする請求項５に記載の情報処理装置。
7. 前記第２受付手段は、前記第３受付手段により受け付けられた入力に基づいて特定される時点に対応する前記第１画像が前記表示部に表示されている期間中に、前記第２のユーザ操作に応じた入力を受け付けることを特徴とする請求項３乃至６の何れか１項に記載の情報処理装置。
8. 前記第２のユーザ操作は、前記パラメータの値を指定する操作と前記パラメータの変更量を指定する操作の少なくとも何れかを含むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記第１受付手段により受け付けられる前記第１のユーザ操作は、前記表示制御手段により前記表示部に表示された前記第１画像に対応する視点の向きから前記仮想カメラの向きを変更するための操作を含むことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. オブジェクトの表示有無に関する情報、オブジェクトの色調整に関する情報、及び仮想照明に関する情報の少なくとも何れかの設定に係る第４のユーザ操作に応じた入力を受け付ける第４受付手段を有し、
    前記出力手段は、前記第４受付手段により受け付けられた入力に基づいて設定される情報に応じた前記仮想視点画像を出力することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記表示制御手段は、前記第２のユーザ操作に基づく変更がされる前の前記パラメータに応じた画像と共に、前記第２のユーザ操作に基づいて変更された後の前記パラメータに応じた画像を、前記表示部に表示させることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記表示制御手段は、前記第２受付手段による前記第２のユーザ操作に応じた入力の受付に応じて、前記第２のユーザ操作に基づいて変更された前記パラメータを前記表示部に表示させることを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記表示制御手段により前記表示部に表示される前記第１画像は、前記複数の撮影装置による撮影に基づく仮想視点画像であることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 前記表示制御手段により前記表示部に表示される前記第１画像は、単一の撮影装置による撮影に基づく撮影画像であることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
15. ユーザ情報を設定する設定手段を有し、
    前記表示制御手段により前記表示部に表示される前記第１画像の種別は、前記設定手段により設定されたユーザ情報に応じて異なることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
16. 複数の撮影装置による複数の方向からのオブジェクトの撮影に基づく前記オブジェクトの３次元形状データを取得する取得手段と、
    前記取得手段により取得された３次元形状データに基づいて生成される動画の仮想視点画像を情報処理装置へ送信する送信手段と、
    前記送信手段により前記動画の仮想視点画像が送信された後に、前記動画に対応する撮影期間内の時点を示す時間情報と当該時点の仮想視点画像の生成に係るパラメータとを前記情報処理装置から受信する受信手段と、
    前記受信手段により受信された前記時間情報が示す時点と前記パラメータとに応じた静止画の仮想視点画像を、前記取得手段により取得された３次元形状データに基づいて生成する生成手段と、を有することを特徴とする画像処理装置。
17. 前記受信手段により受信される前記パラメータは、視点の位置及び方向を示すパラメータを含むことを特徴とする請求項１６に記載の画像処理装置。
18. 前記受信手段により受信される前記パラメータは、焦点距離、絞り値、シャッタースピード、及び合焦距離の少なくとも何れかに関するパラメータを含むことを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 前記送信手段は、前記生成手段により生成された静止画の仮想視点画像を前記情報処理装置へ送信することを特徴とする請求項１６乃至１８の何れか１項に記載の画像処理装置。
20. 複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を出力する画像処理方法であって、
    前記撮影領域の撮影に基づく第１画像と前記第１画像に関するパラメータとを表示部に表示させる表示制御工程と、
    前記仮想視点画像を空間内に設定された仮想視点から撮影した画像であるとみなした場合における仮想的な当該撮影に係る仮想カメラの位置を、前記表示制御工程において前記表示部に表示された前記第１画像に対応する視点の位置から変更するための、第１のユーザ操作に応じた入力を受け付ける第１受付工程と、
    前記仮想カメラの焦点距離、絞り値、シャッタースピード、及び合焦距離の少なくとも何れかに関するパラメータを、前記表示制御工程において前記表示部に表示されたパラメータから変更するための、第２のユーザ操作に応じた入力を受け付ける第２受付工程と、
    前記第１受付工程において受け付けられた入力に基づいて決定される前記仮想カメラの位置と前記第２受付工程において受け付けられた入力に基づいて決定される前記仮想カメラのパラメータとに応じた前記仮想視点画像を出力する出力工程と、を有することを特徴とする画像処理方法。
21. 前記第１受付工程において受け付けられた入力に基づいて決定される前記仮想カメラの位置と前記第２受付工程において受け付けられた入力に基づいて決定される前記仮想カメラのパラメータとを表す情報を、当該情報に基づいて仮想視点画像を生成する画像処理装置へ送信する送信工程を有し、
    前記表示制御工程は、前記画像処理装置から受信した前記第１画像を前記表示部に表示させ、
    前記出力工程は、前記送信工程における前記情報の送信に応じて前記画像処理装置から受信した前記仮想視点画像を出力することを特徴とする請求項２０に記載の画像処理方法。
22. 複数の撮影装置による複数の方向からのオブジェクトの撮影に基づく前記オブジェクトの３次元形状データを取得する取得工程と、
    前記取得工程において取得された３次元形状データに基づいて生成される動画の仮想視点画像を情報処理装置へ送信する送信工程と、
    前記送信工程において前記動画の仮想視点画像が送信された後に、前記動画に対応する撮影期間内の時点を示す時間情報と当該時点の仮想視点画像の生成に係るパラメータとを前記情報処理装置から受信する受信工程と、
    前記受信工程において受信された前記時間情報が示す時点と前記パラメータとに応じた静止画の仮想視点画像を、前記取得工程において取得された３次元形状データに基づいて生成する生成工程と、を有することを特徴とする画像処理方法。
23. コンピュータを、請求項１乃至１５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
24. コンピュータを、請求項１６乃至１９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images