JP2021034885A - 画像生成装置、画像表示装置および画像処理方法 - Google Patents

Abstract

【課題】方向によって拡大率が異なるパノラマ画像を提供することで、ユーザの利便性を向上させる。【解決手段】画像生成装置は、多視点画像を用いて、互いに向きが異なる複数の仮想視点にそれぞれ対応する複数の仮想視点画像を描画し、描画された複数の仮想視点画像を用いてパノラマ画像を生成する。画像生成装置は、複数の仮想視点画像のうちの少なくとも一つの仮想視点画像の少なくとも一部について、他の仮想視点画像よりも拡大された状態の画像を描画する。【選択図】 図５

Description

本発明は画像生成装置、画像表示装置および画像処理方法に関する。

画像の各フレームにおいて、最大３６０度の情報を自在に閲覧可能であるパノラマ画像が注目されている。視聴者がパノラマ画像の再生時に所望の方向を選択すると、３６０度方向の全体の画像から選択された方向に対応する部分の画像が切り取られ、表示される。

特許文献１では、パノラマ画像を生成し、その部分領域をクリッピングする技術が開示されている。特許文献１によれば、広角レンズを正面と背面に設けた撮影装置を用いて撮像を行い、その撮影装置の置かれた場所を基点とするパノラマ画像を生成することができる。基点とは、パノラマ画像を生成する基準位置である。例えば、３６０度の全周囲を対象とするパノラマ画像の場合は、その中心位置が基点となる。

特開２０１７−００５３３９号公報

特許文献１におけるパノラマ画像は、撮影装置を中心として、全周囲に対して同じ焦点距離で撮影した画像である。そのため、パノラマ画像を表示する場合、各方向の画像が同じ拡大率で表示される。一方、パノラマ画像を見るユーザが、様々な方向の画像を見つつも、特定の方向の画像は拡大して見たいという場合が考えられる。例えば、サッカーの試合を撮影したパノラマ画像を再生する場合に、ユーザはゴール方向の画像を表示するたびに拡大操作を行い、他の方向の画像を表示する際には縮小操作を行うことが考えられる。しかしながら、このような操作はユーザの手間を大きくする。

本発明は、上記の課題に鑑み、方向によって拡大率が異なるパノラマ画像を提供することで、ユーザの利便性を向上させることを目的とする。

本発明の一態様による画像生成装置は、以下の構成を備える。すなわち、
多視点画像を用いて、互いに向きが異なる複数の仮想視点にそれぞれ対応する複数の仮想視点画像を描画する描画手段と、
前記描画手段により描画された前記複数の仮想視点画像を用いてパノラマ画像を生成する生成手段と、を備え、
前記描画手段は、前記複数の仮想視点画像のうちの少なくとも一つの仮想視点画像の少なくとも一部について、他の仮想視点画像よりも拡大された状態の画像を描画する。

本発明によれば、方向によって拡大率が異なるパノラマ画像を提供することで、ユーザの利便性を向上させることができる。

パノラマ画像生成システムの構成例を示す図。 画像生成装置の構成例を示すブロック図。 パノラマ画像の基点位置・拡大方向を説明する図。 複数の仮想カメラを生成する処理を説明する図。 パノラマ画像の生成処理を示すフローチャート。 パノラマ画像の生成例および表示例を示す図。 パノラマ画像の拡大方向を指定するための操作例を示す図。 配信サーバにおけるパノラマ画像の拡大処理を示すフローチャート。 ユーザ端末において拡大方向を指定する処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、本明細書において、画像とは、１フレームで構成される静止画、複数フレームから構成される動画または映像を含む。本実施形態におけるパノラマ画像とは、基点（パノラマ画像の生成に係る基準位置）を視点位置とした複数の視線方向の画像を含む画像である。また、本実施形態のパノラマ画像生成システムでは最大３６０度までの任意範囲のパノラマ画像を生成することが可能である。以下の実施形態では３６０度のパノラマ画像の生成を説明するが、例えば、１８０度のパノラマ画像が生成されてもよい。また、本実施形態では、パノラマ画像が全天球画像のように、視線方向が３次元的に変化することで得られる複数の視線方向に対応する画像を連続させた画像であるものとする。ただしパノラマ画像はこれに限らず、例えば水平方向の３６０°の範囲の視線方向の画像を含むものであってもよい。表示装置では、パノラマ画像に対応する視線方向の範囲に含まれる任意の視線方向の画像を当該パノラマ画像から得ることができる。すなわち、表示装置に表示される画像はパノラマ画像の一部分であり、パノラマ画像のどの部分を表示させるかは任意に指定可能である。なお、パノラマ画像の全体を表示装置に表示できるようにしてもよい

［第１実施形態］
第１実施形態では、被写体を複数カメラで撮影した多視点映像から、任意方向を拡大したパノラマ画像を生成する処理に関して説明する。

（パノラマ画像生成システムの構成）
まず、パノラマ画像生成システムの全体の構成について説明する。図１は、第１実施形態によるパノラマ画像生成システムの構成例を説明する図である。図１（ａ）は、パノラマ画像生成システムの装置構成を示す図である。パノラマ画像生成システムは、ｎ個のセンサシステムとして、１０１ａ、１０１ｂ、...、１０１ｎを含み、１台のセンサシステムは少なくとも１台のカメラを有する。特に説明がない限り、ｎ個のセンサシステム１０１ａ、１０１ｂ、...、１０１ｎをまとめて、センサシステム１０１と記載する。

図１（ｂ）は、センサシステム１０１の設置例を示す図である。センサシステム１０１は、被写体を囲む用に設置される。この例では、被写体をスタジアムのフィールドとし、それらを囲む様にｎ台のセンサシステム１０１が設置されている。なお、センサシステムの設置場所はスタジアムに限らない。例えば、スタジオ等へ複数のセンサシステムを設置することが可能である。センサシステム１０１の各カメラは同期して、被写体を撮像する。こうした複数のカメラの同期撮像によって得られた撮像画像を多視点画像と呼ぶ。なお、センサシステム１０１は、それぞれカメラに加えてマイク（不図示）も有する。センサシステム１０１の各マイクは同期し音声を集音する。説明の簡略化のため、音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。

画像記録装置１０２は、センサシステム１０１から多視点画像を取得し、データベース１０３へ書き込む。データベース１０３は多視点画像を蓄積し、画像生成装置104へ提供する。操作ＵＩ１０５は、パノラマ画像の生成に使用する基点や拡大方向を操作する。例えば、基点位置（座標）および拡大方向（ベクトル）を、拡大情報として画像生成装置１０４へ通知する。なお、拡大情報はこれらに限定されず、仮想カメラの焦点距離等を含んでも良い。

操作ＵＩ１０５は、入力機器として例えばキーボード、タブレット、ジョイスティック等を用いることができる。第１実施形態では、キーボードなどによる数値入力を用いて、パノラマ画像の基点位置（座標）と拡大方向（ベクトル）を指定する。本実施形態の数値入力では、例えば、図３（ａ）に後述する座標系における各成分（ｘ，ｙ，ｚ）の値が用いられる。ユーザは、操作ＵＩ１０５を介して、座標系における各成分の値により位置（座標）と拡大方向（ベクトル）を指定する。なお、数値入力であればその具体的な構成は何等限定されず、例えば、ファイルやメモリに格納されている数値（座標、ベクトル）を読み出すようにしても良い。

画像生成装置１０４は、データベース１０３から多視点画像を、操作ＵＩ１０５から拡大情報を取得し、これらを用いて、仮想カメラ１１０（仮想視点とも呼ぶ）を生成する。仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。仮想カメラ１１０の詳細については図３により後述する。

画像生成装置１０４は、複数の仮想カメラ１１０を用意して複数の仮想視点画像を描画し、それらを用いてパノラマ画像を生成する。本実施形態の画像生成装置１０４は、指定方向が拡大されたパノラマ画像を生成する。画像生成装置１０４が実行する処理の詳細に関しては、図４〜図６を参照して後述する。画像生成装置１０４は、生成したパノラマ画像を、配信サーバ１１１へ送信する。スマートフォンやタブレット等の複数のユーザ端末１１２が、配信サーバ１１１からパノラマ画像を受信して表示する。各ユーザはユーザ端末１１２を用いて、パノラマ画像を各々の好きな方向で閲覧する。拡大が指定された方向のパノラマ画像が閲覧されると、ユーザ端末１１２には拡大された画像が表示されることになる。パノラマ画像の閲覧例は図６により後述する。

（画像生成装置１０４の構成）
次に、第１実施形態のパノラマ画像生成システムにおける画像生成装置１０４の構成について、図２を用いて説明する。図２（ａ）は、画像生成装置１０４の機能構成例を示すブロック図である。画像生成装置１０４は、これらの機能を組み合わせて、任意方向を拡大したパノラマ画像を生成する。

拡大情報取得部２０１は、操作ＵＩ１０５から、パノラマ画像の基点位置（座標）および拡大方向（ベクトル）を拡大情報として取得する。なお、拡大情報はこれに限定されない。例えば、拡大方向における仮想カメラの焦点距離や拡大の倍率等を拡大情報として指定しても構わない。三次元モデル生成部２０２は、データベース１０３より多視点画像を取得し、取得した多視点画像から三次元モデルを生成する。三次元モデルは、例えばVisual Hull等の形状推定方法により生成され、点群で構成される。仮想カメラ生成部２０３は、パノラマ画像生成に必要となる、複数の仮想カメラを生成する。複数の仮想カメラでパノラマ画像の全周囲分を網羅する方法については図４により後述する。

描画部２０４は、仮想カメラの位置・姿勢・焦点距離等に基づき、三次元モデルから仮想視点画像を描画する。具体的には、三次元モデルを構成する点毎に多視点画像を選択し、多視点画像から適切な画素値を取得して色付け処理を行う。そして、それらを三次元空間に配置し、仮想カメラへ投影することで仮想視点画像を描画する。こうして、描画部２０４は、仮想カメラ生成部２０３により生成された互いに異なる方向の複数の仮想カメラに対応する複数の仮想視点画像を描画する。なお、本実施形態における仮想カメラの焦点距離は、仮想視点画像の拡大率に対応するものである。すなわち、仮想カメラの焦点距離が長いほど、仮想カメラの画角は大きくなり、仮想視点画像の拡大率が大きくなる。例えば仮想カメラの焦点距離が２倍になれば、仮想カメラの画角は約２倍になり、仮想視点画像に映る被写体の大きさが約２倍になる。なお、仮想カメラの焦点距離は、仮想視点画像の拡大率を表すために用いる抽象的な概念であり、実物のカメラのレンズの焦点距離と完全に同一視されるものではなくてもよい。

パノラマ画像生成部２０５は、仮想カメラ生成部２０３へ仮想カメラの生成を指示し、描画部２０４へ仮想カメラ数分の仮想視点画像の描画処理を指示する。そして、パノラマ画像生成部２０５は、複数の仮想視点画像を用いてパノラマ画像を生成する。これらの処理、及び、パノラマ画像の生成例については、図４〜６により後述する。画像出力部２０６は、生成されたパノラマ画像を配信サーバ１１１へ送信する。

次に、画像生成装置１０４のハードウェア構成について説明する。図２（ｂ）は、画像生成装置１０４のハードウェア構成例を示すブロック図である。ＣＰＵ（Central Processing Unit）２１１は、ＲＡＭ（Random Access Memory）２１２やＲＯＭ（Read Only Memory）２１３に格納されるプログラムやデータを用いて処理する。ＣＰＵ２１１は、画像生成装置１０４の全体の動作制御や、パノラマが画像を生成するための各処理を実行する。ＲＯＭ２１３は、プログラムやデータを保持する。ＲＡＭ２１２は、ＲＯＭ２１３から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ２１２は、ＣＰＵ２１１が各処理を実行する際に用いるワークエリアを提供する。

入力部２１４は、例えば、操作ＵＩ１０５から入力情報を受け付ける。外部インターフェース２１５は、例えば、ＬＡＮ（Local Area Network）を通じて、データベース１０３や操作ＵＩ１０５と情報の送受信を行う。例えば、外部インターフェース２１５は、パノラマ画像をイーサネット（登録商標）経由で配信サーバ１１１へ送信する。出力部２１６は、例えば、ディスプレイやスピーカ等から構成され、オペレータ操作に必要な情報として、生成した仮想視点画像・パノラマ画像などを操作ＵＩ１０５に出力する。

（仮想カメラの位置と姿勢、パノラマ画像の基点位置と拡大方向）
図３を用いて、仮想カメラの位置と姿勢、パノラマ画像の基点位置と拡大方向について説明する。仮想カメラの位置と姿勢、パノラマ画像の基点位置と拡大方向は、共通の座標系を用いて表現される。図３（ａ）にその共通の座標系を示す。図示のように、座標系には、Ｘ軸・Ｙ軸・Ｚ軸から構成される一般的な３次元空間の直交座標系が用いられる。この座標系は、被写体へ設定し使用される。

本実施形態において、被写体とは、スタジアムのフィールドや、スタジオ等である。被写体は、図３（ｂ）に示す様に、スタジアムのフィールド３２１の全体と、その上にあるボール３２２や選手３２３等を含む。なお、被写体としてフィールド周辺の客席が含まれても良い。被写体であるフィールド３２１へ座標系を設定するために、フィールド３２１の中心を、原点（０、０、０）とする。また、Ｘ軸をフィールド３２１の長辺方向、Ｙ軸をフィールド３２１の短辺方向、Ｚ軸をフィールド３２１に対する鉛直方向とする。なお、座標系の設定方法は、これらに限定されない。

次に、図３（ｃ）と図３（ｄ）を用いて、仮想カメラについて説明する。仮想カメラは、仮想視点画像を描画するための視点である。図３（ｃ）に示される四角錐において、頂点が仮想カメラの位置３０１を表し、頂点から伸びるベクトルが仮想カメラの姿勢３０２を表す。このため、仮想カメラの位置は、３次元空間の座標（ｘ，ｙ，ｚ）で表現され、姿勢は各軸の成分をスカラーとする単位ベクトルで表現される。仮想カメラの姿勢３０２は、前方クリップ面３０３と後方クリップ面３０４の中心点を通る。また、前方クリップ面３０３と後方クリップ面３０４に挟まれた空間３０５を仮想カメラの視錐台と呼ぶ。視錐台は、描画部２０４が仮想視点画像を描画する範囲（仮想視点画像を投影する範囲）となる。

次に、図３（ｄ）を用いて、仮想カメラの移動と回転について説明する。仮想カメラは、３次元座標で表現された空間内を移動及び回転することができる。仮想カメラの位置３０１の移動は、各軸の成分（ｘ、ｙ、ｚ）で表現される。仮想カメラの回転３１２は、図３（ａ）に示す様に、Ｚ軸回りの回転であるヨー（Yaw）、Ｘ軸回りの回転であるピッチ（Pitch）、Ｙ軸回りの回転であるロール（Roll）で表現される。これによって、被写体（フィールド）の３次元空間を自由に移動、及び、回転する仮想カメラを表現することができる。また、仮想カメラの移動と回転は、図４により後述する仮想カメラの複製にも使用される。

最後に、図３（ｅ）、図３（ｆ）を用いて、パノラマ画像の基点位置と拡大方向を説明する。パノラマ画像の基点位置は、パノラマ画像を生成するための中心点であり、３次元空間の座標（ｘ、ｙ、ｚ）で表現される。例えば、図３（ｅ）におけるフィールド３２１のセンターサークル付近の座標３３１（ｘ１，ｙ１，ｚ１）が指定される。例えば、基点位置を座標３３１とした場合、従来（拡大方向を持たない）のパノラマ画像の焦点距離は、図３（ｅ）に示す様に円３４１になる。つまり、従来のパノラマ画像は、どの方向であっても同じ焦点距離の画像となる。

拡大方向を有するパノラマ画像について説明する。パノラマ画像の拡大方向は、３次元空間上の単位ベクトルで表現される。例えば、図３（ｆ）では、拡大方向として方向３５２が指定されている。図３（ｆ）において、方向３５２は、被写体において右ゴール方向を指しており、三次元空間において単位ベクトル（１，０，０）で表現できる。基点位置として座標３３１、拡大方向として方向３５２が設定された場合のパノラマ画像の焦点距離は、例えば図形３５１のようになる。図３（ｆ）のパノラマ画像を図３（ｅ）の従来のパノラマ画像と比較すると、基点位置（座標３３１）は同じであるが、後者の焦点距離は、円３４１から方向３５２（右ゴール方向）へ焦点距離が大きくなった形状（図形３５１）となる。この様な焦点距離で生成されたパノラマ画像は、方向３５２において拡大された画像になる。このようなパノラマ画像の生成例については図６により後述する。

上記の基点位置と拡大方向は、操作ＵＩ１０５から画像生成装置１０４へ拡大情報として通知される。それらの指定方法は、キーボードによる数値入力や、タッチパネルによるタッチ操作等が使用される。上述したように第１実施形態では数値入力（不図示）が用いられる。タッチパネルを用いた指定方法については、第２実施形態で説明する。なお、基点位置と拡大方向は随時、変更可能である。例えば、サッカーの試合経過に応じて更新されてもよい。

上記の図３（ｆ）の例では、例えば、数値入力を用いて、基点位置として座標３３１（ｘ１，ｙ１，ｚ１）、拡大方向として単位ベクトル（１．０，０．０，０．０）が指定されている。もちろん指定できる基点位置と拡大方向はこれらに限定されず、任意の値を指定可能である。例えば、図３（ｆ）において、基点位置を座標３３１として、フィールド右下隅付近へ向かう方向を拡大方向として指定したい場合は、単位ベクトル（−０．８６６０２５，０．５，０．０）等が指定される。

画像生成装置１０４では、拡大情報取得部２０１がこれらの拡大情報を操作ＵＩ１０５から取得し、仮想カメラ生成部２０３が複数の仮想カメラを生成する。描画部２０４はそれら複数の仮想カメラにおける仮想視点画像を描画し、パノラマ画像生成部２０５はそれら複数の仮想視点画像を使用してパノラマ画像を生成する。

（複数の仮想カメラを生成する処理）
図４を参照して、仮想カメラ生成部２０３が複数の仮想カメラを生成する処理について説明する。図２に示したように、画像生成装置１０４における仮想カメラ生成部２０３は、拡大情報取得部２０１を介し、パノラマ画像に関する基点位置と拡大方向を含む拡大情報を受け取る。仮想カメラ生成部２０３は、拡大情報に基づいて、パノラマ画像の生成に必要となる複数の仮想カメラを生成する。なお、仮想カメラ生成部２０３は、通常の二次元の仮想視点画像を描画する場合は１つの仮想カメラを生成するが、パノラマ画像を生成する場合には、全周囲分を網羅的に描画するために複数の仮想カメラを生成する。

まず、拡大方向を持たないパノラマ画像のための仮想カメラの生成について説明し、その後、拡大方向を有するパノラマ画像（少なくとも一方向が拡大されたパノラマ画像）のための仮想カメラの生成を説明する。以下では、拡大方向を持たないパノラマ画像のために６個の仮想カメラが生成される例と、拡大方向を有するパノラマ画像のために１０個の仮想カメラが生成される例を説明する。なお、仮想カメラ生成部２０３が生成する仮想カメラの数は特に限定されない。また、拡大方向の数に応じて、生成される仮想カメラの数は変更され得る。

まず、図４（ａ）、図４（ｂ）を用いて、拡大方向を持たないパノラマ画像を生成するための６個の仮想カメラの生成について説明する。仮想カメラ生成部２０３は、受け取ったパノラマ画像の基点位置を各仮想カメラの位置に設定する。そして、６個の仮想カメラの各姿勢に、正面・背面・左・右・上・下の６方向を設定する。これらの６個の仮想カメラで全周囲が網羅される。

図４（ａ）は、Ｚ軸（上）から見た１つの仮想カメラ４０１を示す図である。仮想カメラ４０１は、位置３０１に配置され、Ｘ軸方向の単位ベクトル（１，０，０）を姿勢３０２とする。以下、この姿勢３０２の方向を正面方向とする。仮想カメラ生成部２０３は、正面方向の仮想カメラ４０１をＺ軸回り（ヨー方向）およびＹ軸回り（ロール方向）に９０度ずつ回転させることにより、他の５個の仮想カメラを生成する。

図４（ｂ）は、Ｚ軸（上）から見た図であり、図４（ａ）に示した正面向きの仮想カメラ４０１と、それ以外の左・背面・右方向を向く仮想カメラ４０２、４０３、４０４が示されている。仮想カメラ４０２の姿勢は左方向で、Ｙ軸方向（０，１，０）の単位ベクトルである。仮想カメラ４０３の姿勢は背面方向で、−Ｘ軸方向（−１，０，０）の単位ベクトルである。仮想カメラ４０４の姿勢は右方向で、−Ｙ軸方向（０，−１，０）の単位ベクトルである。これらの仮想カメラは、仮想カメラ４０１をヨー方向へ９０度ずつ回転することで生成される。同様に、正面向きの仮想カメラ４０１をロール方向へ９０度ずつ回転することにより、上・下方向の仮想カメラ４０５と４０６（図４（ｂ）では不図示）が生成される。仮想カメラ４０５の姿勢は上方向で、Ｚ軸方向（０，０，１）の単位ベクトルである。仮想カメラ４０６の姿勢は下方向で、−Ｚ軸方向（０，０，−１）の単位ベクトルである。

図４（ｃ）に、上記の様に位置と姿勢が設定された仮想カメラ４０１〜４０６を示す。簡単のため、各仮想カメラの位置・姿勢・後方クリップ面のみを図示する。図４（ｃ）に示す様に、仮想カメラ４０１〜４０６のクリップ面は正方形であり、それらクリップ面を合わせると立方体の表面の様に連続する。言い換えると、各クリップ面の境目における画素は連続したものとなる。これは、クリップ面が正方形である正面方向の仮想カメラ４０１から、９０度回転のみを用いて、他の仮想カメラを複製しているためである。これらの仮想カメラを用いて仮想視点画像を描画し合成することで、画素が連続したパノラマ画像を得ることができる。

なお、拡大方向が指定されていなければ、各仮想カメラには、所定の焦点距離が適用される。仮想カメラ４０１〜４０６は、拡大方向を指定されておらず、全て同じ所定の焦点距離が設定され、それぞれ図３（ｅ）に示す円３４１上に位置するものとなる。

次に、少なくとも一方向を拡大したパノラマ画像を生成するための、複数の仮想カメラを説明する。ここでは、上述の、拡大方向を持たないパノラマ画像のための６個の仮想カメラをベースにし、拡大方向を有するパノラマ画像のための１０個の仮想カメラを生成する処理について説明する。

仮想カメラ生成部２０３は、操作ＵＩ１０５から受け取ったパノラマ画像の基点位置（位置３０１）を、各仮想カメラの共通の位置に設定する。そして、上述した処理により、６個の仮想カメラの各姿勢に、正面、背面、左、右、上、下の６方向を設定する。そして、仮想カメラ生成部２０３は、受け取ったパノラマ画像の拡大方向を、上記の正面方向へ設定する。但し、拡大方向の設定は正面方向に限定されない。姿勢が拡大方向と一致する仮想カメラを、他の仮想カメラよりも長い焦点距離が設定される仮想カメラに設定すればよい。また、複数の拡大方向が指定された場合は、それらの方向に応じて仮想カメラの姿勢を決定するようにしても良い。

図４（ｄ）は、図４（ｂ）と同様に仮想カメラをＺ軸（上）から見た図である。仮想カメラ４０２〜４０４は図４（ｂ）と同じで、左・背面・右方向を向いている。拡大方向（正面）を向いた仮想カメラ４１１に対しては、その他の仮想カメラより焦点距離を長く設定することで、遠くの被写体を拡大した仮想視点画像を描画できる様になる。焦点距離が長くなる一方で、拡大方向を向いた仮想カメラ４１１の描画範囲は狭くなる。仮想カメラ４１１のクリップ面を正方形とすると、その一辺は、他の仮想カメラ４０２〜４０６より短くなる。このため、仮想カメラ４１１と、その他の仮想カメラ４０２〜４０６の描画範囲に隙間が生じる。

そこで仮想カメラ生成部２０３は、図４（ｄ）、図４（ｅ）に示されるように、さらに別の４つの仮想カメラ４２１〜４２４を用いて間を補完する。図４（ｅ）は、上記の様に位置、姿勢、拡大方向が設定された仮想カメラ４０１〜４０６、４２１〜４２４を示す。図４（ｃ）と同様に、簡単のため、各仮想カメラの位置・姿勢・後方クリップ面のみが図４（ｅ）に図示されている。なお、補完に使用した仮想カメラ４２１〜４２４の焦点距離には、仮想カメラ４１１と、仮想カメラ４０２〜４０６の間の値を設定すれば良い。また、本例では簡単に説明するために４つの仮想カメラを用いて補完を行う例を示したが、補完のための仮想カメラの数は４に限定されない。描画範囲の隙間を細分化して複数の仮想カメラを用いて補完し、補完用の仮想カメラの焦点距離を徐々に変化させる様に設定しても良い。

なお、複数の仮想カメラを用いて空間を立方体で表現する例について説明したが、これに限定されない。例えば、空間を正十二面体で表現し、仮想カメラを１２台用意し、撮影された多視点画像から五角形の形状に画像を切り出して使用しても構わない。すなわち、仮想カメラ生成部２０３は、同じ位置に配置され、それぞれ姿勢が異なる複数の仮想カメラを生成する。そして、それら複数の仮想カメラのうちの少なくとも一つ（拡大方向と一致する姿勢を有する仮想カメラ）の焦点距離が、他の仮想カメラの第１の焦点距離よりも大きい第２の焦点距離に設定される。また、仮想視点画像を補完するために、仮想カメラ生成部２０３は、第２の焦点距離が設定された仮想カメラと第１の焦点距離が設定された仮想カメラの間に、第２の焦点距離と第１の焦点距離の間の第３の焦点距離の仮想カメラを設定する（例えば、仮想カメラ４２１〜４２４）。ここで、第３の焦点距離の仮想カメラとして、第２の焦点距離から第１の焦点距離へ徐々に近づく複数の焦点距離に対応する複数の仮想カメラが配置されてもよい。

（仮想視点画像の描画処理）
描画部２０４は、仮想カメラ生成部２０３が上述のようにして生成した複数の仮想カメラに対応する仮想視点画像を描画する。ここで、複数の仮想カメラのうちの少なくとも一つ（本例では仮想カメラ４１１）の焦点距離が、他の仮想カメラの第１の焦点距離よりも大きい第２の焦点距離に設定されている。描画部２０４は、これら、互いに異なる方向の複数の仮想カメラから得られる複数の仮想視点画像を描画することで、一部が拡大された仮想視点画像を含む複数の仮想視点画像を得る。すなわち、描画部２０４は、仮想カメラ生成部２０３との協働により、複数の仮想カメラのうちの少なくとも一つに対応する仮想視点画像の少なくとも一部について、他の仮想カメラに対応する仮想視点画像よりも拡大された状態の画像を描画する。

（パノラマ画像の生成処理）
次に、図５と図６を参照して、画像生成装置１０４によるパノラマ画像の生成処理について説明する。画像生成装置１０４は、上述した複数の仮想カメラを用いて仮想視点画像を描画し、それらを合成する事によって、任意方向が拡大されたパノラマ画像を生成する。図５は、第１実施形態によるパノラマ画像の生成処理を示すフローチャートである。また、図６は、図５のフローチャートにより示される処理により生成されるパノラマ画像の例と、そのパノラマ画像の生成に使用される仮想視点画像の例である。なお、本処理は、拡大情報取得部２０１、三次元モデル生成部２０２、仮想カメラ生成部２０３、描画部２０４、パノラマ画像生成部２０５の協働により実現されるが、パノラマ画像生成部２０５が各部を統括するものとする。

ステップＳ５０１では、三次元モデル生成部２０２が、データベース１０３から取得した多視点画像を用いて三次元モデルを生成する。ステップＳ５０２では、拡大情報取得部２０１が、操作ＵＩ１０５から拡大情報を取得する。拡大情報は、前述の様に、パノラマ画像の生成に必要となる基点位置や拡大方向を含む。ステップＳ５０３では、仮想カメラ生成部２０３が、ステップＳ５０２で取得した拡大情報に基づき、生成する仮想カメラの数を決定する。

図４の例では、拡大情報に１つの拡大方向が指定されていた場合に、１０個の仮想カメラを生成している。なお、１つの拡大方向について仮想カメラ生成部２０３が生成する仮想カメラの数は、図４では５つ（仮想カメラ４１１、４２１〜４２４）であるが、特にこれに限定されないことは上述したとおりである。また、１つの拡大方向あたりの仮想カメラの数を、拡大方向の総数に応じて変更する（例えば、拡大方向の総数が多いほど１つの拡大方向あたりの仮想カメラの数を減らす）ようにして、生成される仮想カメラの総数が増えすぎないようにしても良い。当然、拡大方向の総数が多いほど多くの仮想カメラを生成してもよい。

ステップＳ５０４〜Ｓ５０９では、仮想カメラ生成部２０３が、ステップＳ５０３で決定された数の仮想カメラを生成する。ステップＳ５０４〜Ｓ５０９の処理は、生成される仮想カメラの姿勢を変更しながらステップＳ５０３で決定された仮想カメラの数だけ繰り返される。

ステップＳ５０５において、仮想カメラ生成部２０３は、生成する仮想カメラの姿勢が拡大方向にあるかを判定する。図４の例では、拡大方向として正面方向が設定されている。判定結果が真の場合、処理はステップＳ５０６へ進み、判定結果が偽の場合、処理はステップＳ５０７へ進む。ステップＳ５０６では、仮想カメラ生成部２０３が、生成する仮想カメラの焦点距離を大きい値に設定する。焦点距離の具体的な値は、例えば、操作ＵＩ１０５から指定される拡大情報に含まれていてもよいし、操作ＵＩ１０５を介してユーザにより指定されてもよい。或いは、大きな焦点距離として所定値が設定されてもよい。

ステップＳ５０７では、仮想カメラ生成部２０３が、生成される仮想カメラの焦点距離に通常値を設定する。通常値は、拡大方向に指定されていない仮想カメラに対して設定される焦点距離であり、拡大方向の仮想カメラの焦点距離よりも短い。ステップＳ５０８では、仮想カメラ生成部２０３が、ステップＳ５０６またはステップＳ５０７で設定された焦点距離に基づいて仮想カメラを生成する。なお、各仮想カメラの生成については、図４で説明したとおりである。

ステップＳ５１０〜ステップＳ５１２の処理は、描画部２０４による仮想視点画像の描画処理であり、ステップＳ５０４〜Ｓ５０９で生成された仮想カメラの台数分繰り返される。ステップＳ５１１において、描画部２０４は、ステップＳ５０１で取得した三次元モデルと、ステップＳ５０８で生成された仮想カメラを用いて、仮想視点画像を描画する。描画部２０４は、仮想カメラ生成部２０３によって生成された複数の仮想カメラについて描画処理を繰り返すことで、複数の仮想視点画像を描画する。描画部２０４による仮想視点画像の描画処理については図２において説明したとおりである。ステップＳ５１３において、パノラマ画像生成部２０５は、ステップＳ５１０〜Ｓ５１２で描画された複数の仮想視点画像を合成し、パノラマ画像を生成する。画像出力部２０６は、こうして生成されたパノラマ画像を配信サーバ１１１へ出力する。なお、拡大方向を示す情報をパノラマ画像とともに出力するようにしてもよい。例えば、ユーザ端末１１２は、パノラマ画像とともに出力された拡大方向を、当該パノラマ画像の表示に際して、最初の表示部分とするように制御することができる。

次に、図６を用いて、パノラマ画像の生成例を説明する。図３（ｆ）で説明した、基点位置が座標３３１、拡大方向が方向３５２である場合を例にすると、描画部２０４により描画される複数の仮想視点画像は図６（ａ）、図６（ｂ）の様になる。図６（ａ）、図６（ｂ）における仮想視点画像６０２〜６０６の５つは、図４（ｄ）と図４（ｅ）に示される仮想カメラ４０２〜４０６（順に左・背面・左・上・下方向に対応）を用いて描画された仮想視点画像である。仮想視点画像６１１は、拡大方向にある仮想カメラ４１１を用いて描画された仮想視点画像である。その周辺の仮想視点画像６２１〜６２４は、仮想カメラ４２１〜４２４を用いて描画された仮想視点画像である。

図６（ｂ）では、仮想視点画像６１１として、ゴール前でシュートが行われているシーンが描画されている。図６（ｂ）では、通常の焦点距離で描画された仮想視点画像６０２、６０４におけるフィールド中央付近の選手と、拡大方向にある大きい焦点距離で描画された仮想視点画像６１１におけるゴール前の選手の大きさが、ほぼ同じであることが確認できる。本実施形態の被写体の例であるサッカーフィールドにおいて、フィールド中央からゴール前までの距離は約４０〜５０ｍである。拡大方向にある仮想視点画像６１１は、その他の方向にある仮想視点画像６０２〜６０４等と比較し、十分に拡大されていることが分かる。

パノラマ画像生成部２０５は、この合成された仮想視点画像からパノラマ画像を生成する。本実施形態では、合成された仮想視点画像から、パノラマ画像のフォーマットへ画素単位に対応付けを行うことで生成する。パノラマ画像のフォーマットは、正距円筒図法等である。画素単位の対応付けは、該フォーマットに応じた対応表を作成し行う。対応表は、例えば、球形の地球儀を平面の地図へ対応付けるような方法を適用すれば良い。そのような対応表を用いて、図６（ａ）、図６（ｂ）の複数の仮想視点画像から、パノラマ画像を生成した例を図６（ｃ）、図６（ｄ）に示す。このようなパノラマ画像をユーザ端末１１２で表示する例は後述する。なお、対応表は基点位置、拡大方向が変更された場合も使用できることは言うまでもない。また、対応表はＲＡＭ２１２等に事前に格納しておいても良い。なお、図５のステップＳ５１２において、パノラマ画像生成部２０５は、パノラマ画像を生成した時に、パノラマ画像に対して、拡大方向を含む旨を示す識別子および／または拡大方向を示す識別子を画像のヘッダ情報を埋め込んでも良い。

以上のように、第１実施形態によれば、複数のカメラにより撮像された多視点画像から、少なくとも一方向を拡大したパノラマ画像が生成される。パノラマ画像が拡大された画像を含むので、拡大方向を観察するユーザはスマートフォンやタブレットなどの端末において拡大操作を行う必要がない。また、パノラマ画像に含まれる拡大された画像を、焦点距離を大きくした仮想視点画像を描画することにより生成する構成を用いた場合、端末における一般的なピンチ操作で拡大表示する処理とは異なり、拡大画像において解像感が下がることがない。

（ユーザ端末におけるパノラマ画像の表示例）
ユーザ端末１１２において、上記のように生成されたパノラマ画像を表示する例を説明する。画像生成装置１０４で生成されたパノラマ画像は、配信サーバ１１１へ送信され、複数のユーザ端末１１２において受信されて表示される。ユーザ端末１１２は、例えばタブレットやスマートフォン等である。配信サーバ１１１は、ストリーミングや、ＭＰ４等のファイルにより、パノラマ画像をユーザ端末１１２へ提供する。なお、ユーザ端末１１２の種類や、配信サーバ１１１の提供形式はこれらに限定されない。ユーザ端末１１２は、ジャイロセンサによって回転を検知して、検知した回転方向へ合わせ、パノラマ画像における表示方向を決定する。

本実施形態では、前述の少なくとも一方向が拡大されたパノラマ画像を用いる。これによって、ユーザ端末が回転方向に応じて表示領域を変更する際に、パノラマ画像における拡大方向へ向いた時に、焦点距離が大きく拡大された領域を表示することができる。通常の焦点距離で生成された方向から拡大方向へ移行する時に拡大倍率は徐々に高くなり、拡大方向から遠ざかる時に拡大倍率は徐々に低くなる。この表示を次に説明する。

図６（ｃ）〜図６（ｆ）を参照し、ユーザ端末１１２のパノラマ画像の表示例を説明する。図６（ｃ）、図６（ｄ）は、それぞれ図６（ａ）、図６（ｂ）に示される複数の仮想視点画像から生成されたパノラマ画像であり、画像生成装置１０４が配信サーバ１１１へ出力したパノラマ画像である。これらのパノラマ画像は、いずれも図３（ｆ）に示した基点位置（座標３３１）と拡大方向（方向３５２）で生成されたものである。これら２つのパノラマ画像は別時間に生成されたものとし、図６（ｃ）はボールがセンターサークル付近にあった時のものとし、図６（ｄ）は、その後に、ボールがゴール前へパスされ、シュートが行われた時のものとする。

図６（ｅ）、図６（ｆ）は、ユーザ端末１１２におけるパノラマ画像の表示例である。図６（ｅ）は図６（ｃ）のパノラマ画像を、図６（ｆ）は図６（ｄ）のパノラマ画像を表示した例である。図６（ｅ）は、ボールがフィールド中央付近にあるシーンであって、ユーザ端末１１２の回転方向が図３における方向３６１を向いた場合のパノラマ画像の表示例である。画面には、方向３６１にいるボールを持った選手が表示されている。表示中の方向３６１は、拡大方向（方向３５２）ではなく通常の焦点距離で描画されているが、被写体の選手がフィールド中央付近にいるため十分な大きさで表示される。

図６（ｆ）は、ゴール前でボールがシュートされたシーンであって、ユーザ端末１１２の回転方向が図３における拡大方向（方向３５２、右ゴール側）を向いた場合のパノラマ画像の表示例である。画面には、拡大方向である方向３５２にあるシュートシーンが表示されている。表示中の拡大方向は通常より大きい焦点距離で描画されているため、フィールド中央から約４０〜５０ｍ離れていても、被写体の選手たちが十分な大きさで表示される。

以上のように、第１実施形態によれば、画像生成装置１０４においてパノラマ画像における拡大を実施しているため、ユーザ端末１１２において拡大表示を実行する必要が無い。したがって、パノラマ画像を表示する一般的なユーザ端末１１２を用いて、観察方向を指定する（例えば、ユーザ端末を回転させる）だけで、被写体を拡大した表示を行うことができるようになる。

なお、本実施形態において、センサシステム１０１は隣接するセンサシステム間で通信を行い、センサシステム１０１ａ及び、１０１ｎのみが画像記録装置１０２に接続されているがこれに限定されない。例えば、全てのセンサシステム１０１が画像記録装置１０２に接続されていても構わない。

以上のように、第１実施形態によれば、簡単な操作で被写体における任意方向を拡大したパノラマ画像を生成することができる。例えば、スタジアムで行われるサッカー等プロスポーツの試合を対象として撮影した時に、フィールド中央を基点とし、各ゴール方向のみを拡大したパノラマ画像を生成することができる。この様なパノラマ画像であれば、視聴者はフィールド中央に立った様な視点から、フィールド全体を見渡すことと、ゴール前の重要なシーンを間近に見ることを両立できる。

なお、本実施形態では、所定の方向に焦点距離の長い仮想カメラを設定することにより拡大された仮想視点画像を取得したが、これに限られるものではない。図４（ｂ）、図４（ｃ）に示されるような、同じ焦点距離の複数の仮想カメラから得られた仮想視点画像の少なくとも１つについて拡大効果を付与することでその少なくとも一部を拡大して描画するようにしてもよい。但し、その場合、拡大画像における解像感が低下する可能性がある。

［第２実施形態］
第２実施形態では、タッチパネルを用いて、パノラマ画像の基点位置と拡大方向を指定する方法を説明する。第２実施形態と第１実施形態とでは、パノラマ画像の基点位置と拡大方向の指定方法が異なる。第１実施形態では、基点位置と拡大方向を数値入力により指定したが、第２実施形態ではタッチパネルを用いてユーザがより直感的に、且つ、簡単に拡大方向を指定できるようにする。なお、パノラマ画像生成システム（図１）、画像生成装置１０４の構成（図２）、画像生成装置１０４における各処理（図３〜図６）は、第１実施形態と同様である。

図７を参照し、タッチパネルを用いた、パノラマ画像の基点位置（座標）と拡大方向（ベクトル）を指定する方法を説明する。第２実施形態の操作ＵＩ１０５は、タッチパネルを有するデバイスを使用する。例えば、タブレットやスマートフォン等である。

図７（ａ）を参照して、操作ＵＩ１０５であるタブレットからの指定について説明する。図７（ａ）において、タブレット７０１は、タッチパネル・ディスプレイ７０２を有する。例えば、画像を表示可能なＬＣＤ装置上にタッチパネルを重ねたものである。なお、タブレット７０１は、タッチパネル・ディスプレイ７０２以外に、ＣＰＵ・ＲＡＭや加速度センサ・ジャイロセンサを有するが、一般的なタブレットのハードウェア構成のため、説明を省略する。タッチパネル・ディスプレイ７０２は、タッチ操作と、操作された位置座標を検出する。タッチパネル・ディスプレイ７０２は、検知したタッチ操作や位置座標をＣＰＵ（不図示）へ定期的に通知する。

タブレット７０１のＣＰＵはタッチパネル・ディスプレイ７０２からの通知情報に基づき、タッチパネルにどの様な操作が行なわれたかを判定し、また、その操作座標を決定する。例えば、タッチ操作として、タッチパネル・ディスプレイ７０２を指やペンで触れる（以下、タッチインと称する）、指やペンで触れたまま移動する（以下、ドラッグ）、触れていた指やペンが離れる（以下、タッチアウト）、等を判定する。

ＣＰＵは、タッチインとタッチアウトが短時間内で行われた場合に、タップ操作と判定する。タッチインとタッチアウトが規定時間以上の間隔で、異なる座標で行われた場合にスワイプ操作やドラッグ操作と判定する。これらの操作に応じ、パノラマ画像の基点位置と拡大方向を指定する。なお、判定されるタッチ操作は、これらに限定されない。なお、タッチパネルは、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、光センサ方式等、様々な方式の内いずれの方式のものを用いても良い。

図７（ｂ）〜図７（ｅ）を参照し、タッチパネル・ディスプレイを有するタブレットを用いてパノラマ画像の基点位置と拡大方向を指定する方法を説明する。いずれの方法においても、タッチパネル・ディスプレイ７０２は被写体の俯瞰画像７０３を表示する。被写体の俯瞰画像７０３は、フィールド全体を上から描画したものであり、フィールド上の位置関係の把握を容易にすることができるものである。例では、被写体はスタジアム内のフィールドであり、その上にあるボール７１１や人物７１２を含む。

俯瞰画像７０３は、被写体のフィールド全体を上から撮像したものである。フィールド全体を上（Ｚ方向）から撮影するために、その位置に仮想カメラを設定しても良いし、観客席上段やスタジアムの天井に配置した物理カメラを用いても良い。いずれにしても、第２実施形態では、画像生成装置１０４が操作ＵＩ１０５に俯瞰画像を提供するものとする。以下に２つの指定方法を具体的に説明するが、説明を分かりやすくするため、指定する基点位置と拡大方向は各々同じものとする。なお、基点位置と拡大方向を含む拡大情報のタッチパネルを利用した設定方法は、これらに限られるものではない。

（パノラマ画像の基点位置と拡大方向の指定処理：その１）
１つ目の指定方法を図７（ｂ）、図７（ｃ）を用いて説明する。１つ目の指定方法は、タッチパネルにおけるタップ操作を用いたものである。複数回のタップ操作を用いて、基点位置（座標）と拡大方向（ベクトル）の順に指定する。画面左上に指定内容（基点位置か拡大方向か）を示すメニューに表示し、操作順序を誘導する。まず、図７（ｂ）におけるメニュー７２１に示す様に、基点位置を受け付ける。図７（ｂ）の例では、基点位置として、フィールド中央付近の座標７３１が、タップ操作７４１のタッチ位置によって指定されている。

次に、図７（ｃ）におけるメニュー７２２に示す様に、拡大方向を受け付ける。図７（ｃ）の例では、拡大方向として、フィール中央付近から右ゴール側の座標７３２を、タップ操作７４２によって指定された例である。拡大方向は、先に基点位置に指定された座標７３１と、拡大方向用に指定された座標７３２とを結ぶベクトル（例えば１，０，０）が拡大方向となる。

なお、拡大方向の指定を受け付けるメニュー７２２を表示中に、複数回のタップ操作を受け付け、複数の拡大方向を指定できるようにしてもよい。例えば、先述の右ゴール方向の座標７３２をタップ後に、左ゴール方向の座標（不図示）をタップ操作された場合は、フィールド中央の座標７３１を基点として、両ゴール方向（例えば、（１，０，０）と（−１，０，０））が拡大方向として指定されるようにしても良い。

（パノラマ画像の基点位置と拡大方向の指定処理：その２）
２つ目の指定方法を図７（ｄ）、図７（ｅ）を用いて説明する。２つ目の指定方法では、タッチパネルへのタッチ位置の移動操作が用いられる。本実施形態では、タッチパネルにおけるスワイプ操作が用いられる。スワイプ操作を用い、基点位置（座標）と拡大方向（ベクトル）の順に指定する。画面左上に指定内容を示すメニューに表示し、操作順序を誘導する。スワイプを用いる指定方法では、タッチインにより基点位置を指定し、タッチパネルに指等が接触状態のまま移動し、タッチアウトした座標によって拡大方向を指定する。

まず、図７（ｄ）におけるメニュー７２３に示す様に、基点位置を受け付ける。２つ目の指定方法では、タッチイン時の座標を取得し基点位置とする。１つ目の指定方法である図７（ｂ）の例では、タッチインではなく、タップ（タッチインとタッチアウトが短時間に行われる一連操作）による座標を使用した。ここでは、例としてフィールド中央の座標７３３を、タッチイン７４３によって指定されたとする。

タッチイン検知後に、図７（ｅ）におけるメニュー７２４に示す様に、拡大方向を受け付ける画面となる。図７（ｄ）のタッチインから指などをタッチパネルへ接触したまま、指などを任意方向へ移動させ、その移動方向によって拡大方向を指定する。図７（ｅ）の例では、タッチインの座標７３３より右ゴール側へ移動７３４した後に、座標７３５にてタッチアウト７４５している例である。タッチ中の移動方向（例えば、ベクトル（１，０，０））が拡大方向として指定されることになる。なお、タッチインの座標７３３とタッチアウトの座標７３５を結んだ線を、拡大方向としても良い。

なお、いずれの方法においても、キャンセルボタン（不図示）等を設けて指定した基点位置と拡大方向をキャンセルし、再設定可能とする構成であっても良い。また、タッチパネルを用いたパノラマ画像の基点位置と拡大方向の指定方法は、タッチ操作やスワイプ操作（ドラッグ操作）に限定されない。タッチパネルを用いて実現できる操作であれば、これらに限定されない。また、タップ操作による指定位置の距離（例えば座標７３１と座標７３２の間の距離）、スワイプ操作の移動距離に応じて、焦点距離（拡大倍率）を指定しても良い。例えば、指定位置の距離あるいは移動距離が長い場合は焦点距離を大きく、移動距離が短い場合は焦点距離を小さく指定しても良い。

以上の様なタッチパネル経由の指定方法を用いることによって、パノラマ画像の基点位置（座標）と拡大方向（ベクトル）を、直観的に、且つ、簡単に指定することができる。こうして指定された拡大情報は、画像生成装置１０４に送信される。画像生成装置１０４の拡大情報取得部２０１は、ユーザ端末１１２から拡大情報を受信する。仮想カメラ生成部２０３と描画部２０４は、受信した拡大情報を用いて、第１実施形態に説明した方法で少なくとも一方向を拡大したパノラマ画像を生成する。

［第３実施形態］
第１実施形態では、拡大された画像を含む仮想視点画像を生成することで拡大された画像を含むパノラマ画像を生成した。第３実施形態では、パノラマ画像の生成後に、パノラマ画像の任意方向を拡大する。なお、第３実施形態では、パノラマ画像の一部を拡大する処理を、配信サーバ１１１で実行する例を説明するが、これに限られるものではない。例えば、画像生成装置１０４が、パノラマ画像の生成後に、当該パノラマ画像の一部を拡大する処理を実行してもよい。

画像生成装置１０４がパノラマ画像を生成する処理は第１実施形態と同様である。ただし、第１実施形態と異なり、操作ＵＩ１０５は画像生成装置１０４に対して、パノラマ画像の基点位置のみを指定し、拡大方向を指定しない。よって、画像生成装置１０４は、拡大方向を持たないパノラマ画像を生成する。配信サーバ１１１は、受け取ったパノラマ画像に対して拡大処理を施す。

図８を参照し、配信サーバ１１１におけるパノラマ画像の拡大処理を説明する。ステップＳ８０１において、配信サーバ１１１は、画像生成装置１０４よりパノラマ画像を受信する。本実施形態では、この時点のパノラマ画像は拡大された部分を含まない。ステップＳ８０２では、配信サーバ１１１は、拡大方向の指定を受け付ける。拡大方向の指定は、例えば、画像生成装置１０４に接続される操作ＵＩ１０５と同様の操作ＵＩを配信サーバに接続して行われる。拡大方向の指定は、第１実施形態の数値入力や、第２実施形態のタッチパネルを用いた指定方法を用いることができる。また、第１実施形態、第２実施形態と同様に、複数の拡大方向を指定することも可能である。また、操作ＵＩ１０５により指定された拡大方向を画像生成装置１０４が配信サーバ１１１に通知するようにしてもよい。

ステップＳ８０３〜Ｓ８０５では、配信サーバ１１１は、ステップＳ８０２で取得した拡大方向に基づき、ステップＳ８０１で取得したパノラマ画像の部分を拡大する。ステップＳ８０３〜Ｓ８０５の処理は拡大方向の数だけ繰り返される。ステップＳ８０４において、配信サーバ１１１は、ステップＳ８０２で取得した拡大方向に該当するパノラマ画像の部分領域に対して画像処理を用いて拡大処理を実行する。ここでの画像処理は、例えば歪み補正を用いて、パノラマ画像の拡大方向に対応する部分領域に魚眼効果を付与する方法等を使用する。なお、パノラマ画像に対して拡大効果を付与できるものであれば、これに限定されない。

第３実施形態で生成されるパノラマ画像は、第１実施形態で説明した図６（ｂ）、図６（ｄ）と同じ様なものとなり、フォーマットは正距円筒図法等である。ただし、本実施形態のパノラマ画像における拡大は、画像生成装置１０４において生成したパノラマ画像に対して、後から画像処理によって拡大効果を付与しているため、第１実施形態のパノラマ画像と比較すると画質がやや劣化したものとなる可能性がある。なお、ステップＳ８０４において拡大効果を付与した時に、パノラマ画像に対し、拡大方向を含むことを示す識別子を画像のヘッダ情報を埋め込んでも良い。

ステップＳ８０６では、配信サーバ１１１は、ステップＳ８０３〜Ｓ８０５で画像処理を用いて拡大効果を付与したパノラマ画像を、ユーザ端末１１２の要求に応じて配信する。以上の処理により、配信サーバ１１１において、少なくとも１つの拡大方向を持つパノラマ画像を生成することができる。配信されたパノラマ画像は、ユーザ端末１１２において、第１実施形態と同様に表示可能である。なお、第１実施形態と同様に、拡大方向を示す情報をパノラマ画像とともに出力するようにしてもよい。ユーザ端末１１２は、パノラマ画像とともに出力された拡大方向を、当該パノラマ画像の表示に際して、最初の表示部分とするように制御することができる。第３実施形態のパノラマ画像における拡大は、配信サーバ１１１にて実施しているため、ユーザ端末１１２において拡大表示処理する必要が無い。すなわち、一般的なパノラマ画像を表示するユーザ端末１１２において、従来と同様に回転させるだけで、図６（ｅ）、図６（ｆ）に説明したような、拡大表示を含むパノラマ画像の表示を行うことができる。

［第４実施形態］
第１実施形態、第３実施形態では、ユーザ端末１１２は、一部（任意の方向）が拡大されたパノラマ画像を受信し、これを表示する構成を説明した。第４実施形態では、パノラマ画像の任意方向を拡大する処理を、ユーザ端末１１２で実行する構成を説明する。すなわち、第４実施形態では、ユーザ端末１１２が、拡大方向の指定を受け付けて、パノラマ画像の任意方向を拡大する。なお、パノラマ画像（拡大された画像を含まないパノラマ画像）を生成する処理は第３実施形態と同様である。

第４実施形態のユーザ端末１１２は、図２（ｂ）に示したようなハードウェア構成を有する。但し、入力部２１４と出力部２１６は例えばタッチパネル・ディスプレイを構成し、不図示のジャイロセンサを有する。ジャイロセンサは、ユーザ端末１１２の回転方向を検出する。以下、図９を用いて、ユーザ端末１１２におけるパノラマ画像の拡大表示処理を説明する。第４実施形態におけるパノラマ画像の拡大表示処理は、ユーザ端末１１２において拡大方向を保存し、表示方向が拡大方向に一致した場合に拡大表示を行う。なお、図９に示される処理は、ユーザ端末１１２のＣＰＵ２１１がＲＯＭ２１３に格納された所定のプログラムを実行することにより実現されるものとする。但し、図９に示される処理の一部あるいは全部が、専用のハードウェアにより実現されてもよい。

ステップＳ９０１では、ユーザ端末１１２は、配信サーバ１１１からパノラマ画像を取得する。本実施形態では、パノラマ画像は拡大方向を含まない。ステップＳ９０２からステップＳ９１０において、ユーザ端末１１２は、ステップＳ９０１で取得したパノラマ画像を表示する。ステップＳ９０２〜Ｓ９１０の処理は、パノラマ画像の表示処理を実行している間、繰り返される。ステップＳ９０３では、ユーザ端末１１２は、ジャイロセンサを用いて自身の回転方向を検知する。なお、回転方向を検知できれば、ジャイロセンサを用いた構成に限定されない。ステップＳ９０４では、ユーザ端末１１２は、ステップＳ９０３で取得した回転方向に応じて、パノラマ画像の表示方向を決定する。

ステップＳ９０５では、ユーザ端末１１２は、ステップＳ９０４で決定した表示方向がメモリ（例えば、ＲＡＭ２１２）に保存された拡大方向と一致するか判定する。拡大方向についてはステップＳ９０７、Ｓ９０８で後述する。前述の様に、ステップＳ９０２〜Ｓ９１０は繰り返し処理であり、拡大方向の保存は次のサイクルから反映される。なお、ステップＳ９０５における方向の一致判定は、完全一致でなくとも良く、所定の幅を設けた一致判定でも良い。判定結果が真の場合、処理はステップＳ９０９へ進み、判定結果が偽の場合、処理はステップＳ９０６へ進む。

ステップＳ９０６では、ユーザ端末１１２は、ステップＳ９０４で決定した表示方向におけるパノラマ画像を通常表示する。この時の表示画面例は図６（ｅ）と同様になる。ステップＳ９０９では、ユーザ端末１１２は、パノラマ画像を拡大表示する。この時の表示画面は、例えば図６（ｆ）と同様になる。ステップＳ９０７では、ユーザ端末１１２は、拡大指定を受け付ける。ユーザ端末１１２における拡大方向の指定方法は、例えば第２実施形態（図７）で説明した方法を用いることができる。拡大指定を受け付けた場合、処理はステップＳ９０８へ進む。拡大指定を受け付けなかった場合、処理はステップＳ９１０へ進む。ステップＳ９０８では、ユーザ端末１１２は、ステップＳ９０７で拡大指定を受け付けた時の表示方向を、拡大方向としてメモリ（例えばＲＡＭ２１２）に保存する。なお、画像生成装置１０４または配信サーバ１１１がパノラマ画像に拡大方向を付与し、ユーザ端末１１２がパノラマ画像に付与されている拡大方向をメモリに保存して用いるようにしてもよい。

ステップＳ９１０では、ユーザ端末１１２は、パノラマ画像の表示処理が継続している間、処理をステップＳ９０２に戻し、上記の表示処理を繰り返す。なお、拡大方向の解除指示を受ける構成を設けても良い。以上、ステップＳ９０５、Ｓ９０６、Ｓ９０９によれば、パノラマ画像の表示において、表示方向がメモリに保持されている拡大方向に対応する場合には、パノラマ画像の当該表示方向に対応する画像を拡大表示する表示制御が実現される。

以上の処理を用いることによって、ユーザ端末１１２において任意方向を拡大指定すると、パノラマ画像を閲覧時に常時、該方向を拡大表示することができる。ただし、本実施形態のパノラマ画像における拡大は、画像生成装置１０４において生成したパノラマ画像に対して、ユーザ端末１１２において画像表示しているため、第１実施形態のパノラマ画像と比較すると画質がやや劣化したものとなる可能性がある。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０４：画像生成装置、１０５：操作ＵＩ、１１１：配信サーバ、１１２：ユーザ端末、２０１：拡大情報取得部、２０３：仮想カメラ生成部、２０４：描画部、２０５：パノラマ画像生成部、２０６：画像出力部

Claims (18)

1. 多視点画像を用いて、互いに向きが異なる複数の仮想視点にそれぞれ対応する複数の仮想視点画像を描画する描画手段と、
   前記描画手段により描画された前記複数の仮想視点画像を用いてパノラマ画像を生成する生成手段と、を備え、
   前記描画手段は、前記複数の仮想視点画像のうちの少なくとも一つの仮想視点画像の少なくとも一部について、他の仮想視点画像よりも拡大された状態の画像を描画することを特徴とする画像生成装置。
2. 前記複数の仮想視点は、それぞれ位置が同じで向きが異なることを特徴とする請求項１に記載の画像生成装置。
3. 前記描画手段は、前記複数の仮想視点に対応する複数の仮想カメラのうちの少なくとも一つの焦点距離を、他の仮想カメラの第１の焦点距離よりも大きい第２の焦点距離に設定して仮想視点画像を描画することを特徴とする請求項1または２に記載の画像生成装置。
4. 前記描画手段は、前記第２の焦点距離が設定された仮想カメラと前記第１の焦点距離が設定された仮想カメラの間に、前記第２の焦点距離と前記第１の焦点距離の間の第３の焦点距離の仮想カメラを設定して仮想視点画像を描画することを特徴とする請求項３に記載の画像生成装置。
5. 前記描画手段は、前記第３の焦点距離の仮想カメラとして、前記第２の焦点距離から前記第１の焦点距離へ徐々に近づく複数の焦点距離に対応する複数の仮想カメラを配置し、仮想視点画像を描画することを特徴とする請求項４に記載の画像生成装置。
6. 拡大方向の指定を受け付ける指定手段をさらに備え、
   前記描画手段は、姿勢が前記拡大方向と一致する仮想カメラを前記第２の焦点距離が設定される仮想カメラに設定することを特徴とする請求項３乃至５のいずれか１項に記載の画像生成装置。
7. 前記指定手段は、
   前記多視点画像を生成するための複数のカメラが撮影する被写体の俯瞰画像を提供する提供手段と、
   前記俯瞰画像に対して指定された位置と方向に基づいて、前記複数の仮想カメラの位置と拡大方向を決定することを特徴とする請求項６に記載の画像生成装置。
8. 前記俯瞰画像に対する方向は、タッチパネルへのタッチ位置の移動操作によって指定されることを特徴とする請求項７に記載の画像生成装置。
9. 前記生成手段は、前記移動操作の移動距離に応じて前記第２の焦点距離を設定することを特徴とする請求項８に記載の画像生成装置。
10. 前記提供手段は、前記パノラマ画像を表示する端末装置に前記俯瞰画像を提供することを特徴とする請求項７乃至９のいずれか１項に記載の画像生成装置。
11. 前記拡大方向を示す情報と前記パノラマ画像を出力する出力手段をさらに備えることを特徴とする請求項６乃至１０のいずれか１項に記載の画像生成装置。
12. 多視点画像から取得された、互いに方向が異なる複数の仮想視点画像を用いて生成されたパノラマ画像を取得する取得手段と、
    前記パノラマ画像の少なくとも一つの部分領域に対して拡大効果を付与して、少なくとも一方向が拡大されたパノラマ画像を生成する処理手段と、を備えることを特徴とする画像生成装置。
13. 拡大方向を指定する指定手段をさらに備え、
    前記処理手段は、前記パノラマ画像の前記拡大方向に対応する部分領域に対して前記拡大効果を付与することを特徴とする請求項１２に記載の画像生成装置。
14. パノラマ画像を表示する画像表示装置であって、
    互いに方向が異なる複数の仮想視点画像を用いて生成されたパノラマ画像を取得する取得手段と、
    指定された拡大方向を保持する保持手段と、
    前記パノラマ画像を表示中において、表示方向が前記保持手段に保持されている拡大方向に対応する場合に、パノラマ画像の前記表示方向に対応する画像を拡大表示する表示制御手段と、を備えることを特徴とする画像表示装置。
15. 多視点画像を用いて、互いに向きが異なる複数の仮想視点にそれぞれ対応する複数の仮想視点画像を描画する描画工程と、
    前記描画工程により描画された前記複数の仮想視点画像を用いてパノラマ画像を生成する生成工程と、を備え、
    前記描画工程では、前記複数の仮想視点画像のうちの少なくとも一つの仮想視点画像の少なくとも一部について、他の仮想視点画像よりも拡大された状態の画像を描画することを特徴とする画像処理方法。
16. 多視点画像から取得された、互いに方向が異なる複数の仮想視点画像を用いて生成されたパノラマ画像を取得する取得工程と、
    前記パノラマ画像の少なくとも一つの部分領域に対して拡大効果を付与して、少なくとも一方向が拡大されたパノラマ画像を生成する処理工程と、を備えることを特徴とする画像処理方法。
17. パノラマ画像を表示する画像表示方法であって、
    互いに方向が異なる複数の仮想視点画像を用いて生成されたパノラマ画像を取得する取得工程と、
    指定された拡大方向をメモリに保持する保持工程と、
    前記パノラマ画像を表示中において、表示方向が前記メモリに保持されている拡大方向に対応する場合に、パノラマ画像の前記表示方向に対応する画像を拡大表示する表示制御工程と、を備えることを特徴とする画像処理方法。
18. 請求項１乃至１３のいずれか１項に記載された画像生成装置、または、請求項１４に記載された画像表示装置の各手段としてコンピュータを機能させるためのプログラム。

Images