JP2019101563A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】画像の切り替えに伴う違和感を抑制した画像を生成することが可能な情報処理装置等を提供する。【解決手段】情報処理装置は、空間内の複数の撮影位置で撮影された複数のパノラマ画像を取得し、仮想視点の位置及び視線方向を受け付ける。情報処理装置は、受け付けた仮想視点とそれぞれの撮影位置との位置関係に応じて、それぞれの撮影位置で撮影したパノラマ画像に対する合成割合を変更し、仮想視点から視線方向を見た仮想画像を生成する。【選択図】図１

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

１８０度より広い画角のパノラマ画像を取得するカメラを用いて、撮影位置を移動しつつ撮影を行い、得られた複数のパノラマ画像を適宜切り替えることにより、任意の視点から見た状態の画像を提供するシステムが提案されている（特許文献１）。特許文献１に開示されたシステムでは、隣り合う撮影位置で撮影した２つのパノラマ画像を切り替える際に、表示中のパノラマ画像を徐々にズームインしつつ、次のパノラマ画像との合成比率を徐々に変化させることにより次のパノラマ画像の表示に遷移する。

特開２０１３−８４３０７号公報

特許文献１に開示された技術では、表示されるパノラマ画像が切り替えられる際に、視聴するユーザは、画像の遷移を認識し、画像の遷移に伴う違和感を感じる虞がある。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、画像の切り替えに伴う違和感を抑制した画像を生成することが可能な情報処理装置等を提供することにある。

本開示の一態様に係る情報処理装置は、空間内の複数の撮影位置で撮影した複数のパノラマ画像を取得する画像取得部と、仮想視点の位置及び視線方向を受け付ける視点受付部と、前記視点受付部が受け付けた前記仮想視点の位置と前記撮影位置のそれぞれとの位置関係に応じて前記パノラマ画像の合成割合を変更し、前記仮想視点から前記視線方向を見た仮想画像を生成する生成部とを備える。

本開示の一態様によれば、表示されるパノラマ画像が切り替えられる際に、画像の遷移をより滑らかに行うことにより、画像の遷移に伴ってユーザに与える違和感を抑制した画像を生成することができる。

情報処理システムの構成例を示す模式図である。 撮影時の情報処理システムの構成を示す模式図である。 表示時の情報処理システムの構成を示す模式図である。 カメラの外観を示す模式図である。 撮影画像の構成を説明する説明図である。 第１情報処理装置の制御部によって実現される機能を示すブロック図である。 仮想スクリーンテーブルの構成を示す模式図である。 対応テーブルの構成を示す模式図である。 仮想ビューＤＢの構成を示す模式図である。 レンダリング処理を説明するための模式図である。 レンダリング処理を説明するための模式図である。 撮影時にカメラ及び第１情報処理装置が行う処理の手順を示すフローチャートである。 表示時に第１情報処理装置及び第２情報処理装置が行う処理の手順を示すフローチャートである。 表示時に第１情報処理装置及び第２情報処理装置が行う処理の手順を示すフローチャートである。 カメラの撮影位置の例を示す模式図である。 実施形態３の第１情報処理装置による処理を説明するための模式図である。 表示時に第１情報処理装置及び第２情報処理装置が行う処理の手順を示すフローチャートである。 実施形態４の画面例を示す模式図である。

（実施形態１）
図１は、情報処理システム４０の構成例を示す模式図である。情報処理システム４０は、第１情報処理装置１０、第２情報処理装置２０及びカメラ３０を含む。本実施形態においては、カメラ３０を用いて、賃貸住宅及び販売住宅等の不動産物件の部屋、ホテル及び民宿等の宿泊施設の部屋等を撮影する。カメラ３０は、撮影装置の一例である。カメラ３０は、１回のシャッターで前後左右上下の撮影を行う全天球カメラを使用する。撮影位置は、例えば矩形の部屋の四隅付近であるが、これに限定しない。３箇所以下又は５箇所以上の任意の場所から撮影を行ってもよい。また撮影位置の床面からの高さは、例えば１ｍ程度であるが、これに限定しない。立った状態の大人の目線の高さ、又は椅子に座った状態の大人の目線の高さ等の任意の高さから撮影を行ってもよい。カメラ３０が撮影を行う位置及び向きは、カメラ３０に内蔵されたセンサ又はカメラ３０を外部から監視するセンサにより測定される。カメラ３０を特定の位置及び向きに固定する治具等を利用してもよい。

カメラ３０によって撮影された撮影画像（パノラマ画像）は、撮影位置を示す情報と共に第１情報処理装置１０へ送信され、第１情報処理装置１０のパノラマ画像ＤＢ１２ａに記録される。なお、カメラ３０は撮影によって画像データ（撮影画像データ）を取得するが、以下では画像データを単に画像という場合がある。従って、撮影画像は撮影画像データを意味する場合があり、パノラマ画像はパノラマ画像データを意味する場合がある。撮影画像は、複数の画素を含み、撮影画像データは、各画素の撮影画像中の位置（座標）を示す位置情報と各画素の輝度（画素値）とを対応付けて有する。撮影位置の情報は、例えば４箇所の撮影位置を結んで形成される矩形の中央を基準とした位置の情報であり、例えばカメラ３０に内蔵されているセンサにより測定されてもよく、他のセンサ等により測定されて、カメラ３０又は第１情報処理装置１０へ送信されてもよい。

第２情報処理装置２０は、カメラ３０での撮影が行われた部屋から離れた場所、例えば不動産会社の店舗又は旅行会社の店舗にいるユーザが装着したＨＭＤ（Head Mounted Display）型の情報処理装置である。第２情報処理装置２０には、各種センサが内蔵されており、ユーザの頭部の位置及び向きを検出可能である。第２情報処理装置２０は、スマートフォン、タブレット又はパソコン等の汎用の情報処理装置と、ＨＭＤ等の表示装置との組合せでもよい。第２情報処理装置２０は、スマートフォン等の軽量の携帯型情報処理装置と、携帯型情報処理装置をユーザの目の前に固定する固定部材との組合せでもよい。

第２情報処理装置２０によって検出されたユーザの頭部の位置及び向きと、パノラマ画像ＤＢ１２ａに記録された撮影画像とに基づいて、第１情報処理装置１０は、カメラ３０で撮影された部屋の中の仮想視点から見た仮想画像を生成する。そして第１情報処理装置１０は、生成した仮想画像を第２情報処理装置２０へ送信する。このような構成により、ＨＭＤを装着したユーザは、撮影対象となった部屋の中を歩き回り、任意の向きを向いて、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。なお、ユーザは回転可能な椅子に着席した状態で、ジョイスティック等を操作することで仮想視点を移動させてもよい。転倒及び衝突のおそれなく、部屋の中を歩き回り、あるいは飛翔し、任意の向きを向いて、室内空間を把握することができる。

図２は、撮影時の情報処理システム４０の構成を示す模式図である。撮影時の情報処理システム４０は、インターネット、公衆通信回線又はＬＡＮ（Local Area Network）等のネットワークＮを介して接続された第１情報処理装置１０及びカメラ３０を備える。

第１情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５及びバスを備える。本実施形態の第１情報処理装置１０は汎用のパーソナルコンピュータ、サーバマシン等の情報処理装置である。また、本実施形態の第１情報処理装置１０は、大型計算機上で動作する仮想マシンでもよい。制御部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等のプロセッサを含み、本実施形態にかかるプログラムを実行する演算制御装置である。制御部１１は、記憶部１２に記憶してある制御プログラムを実行すると共に、バスを介して第１情報処理装置１０を構成するハードウェア各部の動作を制御する。これにより、制御部１１は、第１情報処理装置１０が行う種々の制御処理及び情報処理を行う。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、本開示のプログラムである仮想画像生成プログラムＰが含まれ、記憶部１２に記憶されるデータには、カメラ３０によって撮影したパノラマ画像を蓄積するパノラマ画像ＤＢ１２ａが含まれる。なお、パノラマ画像ＤＢ１２ａは、第１情報処理装置１０に接続された外部の大容量記憶装置等に保存されていてもよく、ネットワークＮを介して第１情報処理装置１０に接続された別の記憶装置に記憶されてもよい。

通信部１３は、ネットワークＮとの通信を行うインターフェイスである。入力部１４は、キーボード及びマウス等である。表示部１５は、例えば液晶表示パネル等である。
第１情報処理装置１０は、通信部１３を介して外部装置から仮想画像生成プログラムＰを取得して記憶部１２に記憶してもよい。また、第１情報処理装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、可搬型記憶媒体から仮想画像生成プログラムＰを読み出して記憶部１２に記憶してもよい。

カメラ３０は、制御部３１、記憶部３２、通信部３３、シャッターボタン３４、撮影部３５及びバスを備える。制御部３１は、ＣＰＵ又はＭＰＵ等のプロセッサを含み、本実施形態にかかるプログラムを実行する演算制御装置である。制御部３１は、記憶部３２に記憶してある制御プログラムを実行すると共に、バスを介してカメラ３０を構成するハードウェア各部の動作を制御する。これにより、制御部３１は、カメラ３０が行う種々の制御処理及び情報処理を行う。記憶部３２は、ＲＡＭ、フラッシュメモリ、ハードディスク、磁気テープ等を含む。記憶部３２は、制御部３１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部３２は、制御部３１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

通信部３３は、ネットワークＮとの通信を行うインターフェイスである。シャッターボタン３４は、静止画を撮影する指示を受け付けるボタンである。なお、制御部３１は、ネットワークＮを通じてシャッターボタン３４の操作を受け付けてもよい。撮影部３５は、撮影を行う光学系と撮像素子とを含む。制御部３１は、シャッターボタン３４から受け付けた指示に基づいて撮像素子が取得したデータに対して、各種画像処理を行い、撮影画像を生成する。

図３は、表示時の情報処理システム４０の構成を示す模式図である。表示時の情報処理システム４０は、ネットワークＮを介して接続された第１情報処理装置１０及び第２情報処理装置２０を備える。第１情報処理装置１０は、図２を使用して説明した撮影時の情報処理装置１０の構成の記憶部１２に、仮想スクリーンテーブル１２ｂ、対応テーブル１２ｃ及び仮想ビューＤＢ１２ｄが追加された構成を有する。仮想スクリーンテーブル１２ｂ、対応テーブル１２ｃ及び仮想ビューＤＢ１２ｄは、制御部１１が仮想画像生成プログラムＰの実行中に生成されるデータであるが、撮影時においても記憶部１２に記憶されていてもよい。撮影時と表示時とで、異なるハードウェアを第１情報処理装置１０に使用してもよい。

前述のとおり、第２情報処理装置２０は、ＨＭＤ型の情報処理装置である。第２情報処理装置２０は、制御部２１、記憶部２２、通信部２３、表示部２４、センサ部２５及びバスを備える。制御部２１は、ＣＰＵ又はＭＰＵ等のプロセッサを含み、本実施形態にかかるプログラムを実行する演算制御装置である。制御部２１は、記憶部２２に記憶してある制御プログラムを実行すると共に、バスを介して第２情報処理装置２０を構成するハードウェア各部の動作を制御する。これにより、制御部２１は、第２情報処理装置２０が行う種々の制御処理及び情報処理を行う。記憶部２２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ、磁気テープ等を含む。記憶部２２は、制御部２１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

通信部２３は、ネットワークＮとの通信を行うインターフェイスである。表示部２４は、例えば液晶表示パネル等である。センサ部２５は、例えば地磁気センサ、傾きセンサ、ＧＰＳ等の複数のセンサの組合せであり、第２情報処理装置２０の位置及び向きを検出する。センサ部２５は、第２情報処理装置２０の位置及び向きを検出することにより、第２情報処理装置２０を頭部に装着しているユーザの頭部の位置及び向きを検出できる。第２情報処理装置２０は、マウス、キーボード、タッチパネル等の入力部を備えていてもよい。

図４は、カメラ３０の外観を示す模式図である。本実施形態のカメラ３０は、略長方形板状の板状部３８を有する。以後の説明においては、板状部３８の長辺方向を上下方向、板状部３８の短辺方向を左右方向、板状部３８の第１広面３８１側を前側、第２広面３８２側を後側にそれぞれ向けた状態で説明する。
第１広面３８１の上寄りに、ドーム状の第１レンズ３７１が設けられている。第２広面３８２の上寄りに、ドーム状の第２レンズ３７２が設けられている。第１レンズ３７１及び第２レンズ３７２の内側には、図示しない複数のレンズ及びプリズム等の光学部品が配置されており、１８０度以上の視野角を有する光学系を形成している。以後の説明では、第１レンズ３７１側の光学系の光軸を第１光軸、第２レンズ３７２側の光学系の光軸を第２光軸と記載する。第１光軸と、第２光軸とは、同一の直線上に配置されている。第１広面３８１に、シャッターボタン３４が配置されている。

上述した構成のカメラ３０が撮影時に行う処理について説明する。図５は、撮影画像の構成を説明する説明図である。図５Ａは、全天球画像を示す模式図である。図５Ｂは、図５Ａの全天球画像を正距円筒図法により展開した画像を示す模式図である。カメラ３０の制御部３１は、シャッターボタン３４から受け付けた指示に基づいて撮影部３５による撮影を行った場合、第１光軸側で撮影した画像と第２光軸側で撮影した画像とを合成することにより、図５Ａに示すように撮影位置を撮影中心Ｃ点とする全天球画像を生成する。なお、例えば部屋の四隅で撮影を行う場合、４箇所において、カメラ３０の上下方向及び左右方向を一致させた状態で撮影を行う。これにより、４箇所で撮影された４つの全天球画像において共通の座標系を用いることができる。

全天球画像上の各画素の位置を定める座標系について説明する。図４を使用して説明したように、カメラ３０は板状部３８の長辺方向を上下方向に向けた状態で撮影する。以後の説明では、前後左右方向を含む面を水平面と記載する。全天球画像上の画素の位置は、直交座標系及び極座標系により表現することができる。直交座標系は、図４に示した右方向をＸ軸の正側、上方向をＹ軸の正側、後ろ方向をＺ軸の正側とする右手系の直交座標系を用いる。極座標系は、方位角φ及び天頂角θ、並びに撮影中心Ｃ点からの距離ｒによって座標が示される座標系を用いる。方位角は、第２光軸側（Ｚ軸の正側）を基準として、水平面内の反時計周りの角度φを示す。第１光軸（Ｚ軸の負側）は、方位角φがπラジアンの位置に存在する。ここでπは円周率を意味する。第２光軸は、方位角φが０ラジアンかつ２πラジアンの位置に存在する。天頂角は、撮影中心Ｃ点から天頂への上方向（Ｙ軸の正側）を基準として、撮影中心Ｃ点を中心として下に向かう角度θを示す。上方向は、天頂角θが０ラジアンの位置に存在する。下方向（Ｙ軸の負側）は、天頂角θがπラジアンの位置に存在する。全天球画像上の任意の画素ａの位置は、直交座標系で表した座標（x_a ，y_a ，z_a ）と、極座標系で表した座標（r，θ_a ，φ_a ）とによって表現することができる。なお、座標（x，y，z）及び座標（r，θ，φ）は以下の（１）式及び（２）式によって相互に変換可能である。

カメラ３０の制御部３１は、図５Ｂに示すように、全天球画像を方位角φ＝０の線に沿って切断して、正距円筒図法により、横軸を方位角φとし縦軸を天頂角θとする平面に展開した長方形の撮影画像（以下では、パノラマ画像という）を生成する。このとき、方位角φ及び天頂角θをそれぞれ０〜１の範囲のｕ値及びｖ値に正規化し、横軸をｕ軸とし縦軸をｖ軸とする長方形のパノラマ画像を生成する。このパノラマ画像を構成する各画素には、全天球画像における各画素の輝度（画素値）が割り当てられる。なお、図５Ｂに示すように、長方形（平面）のパノラマ画像は、左下を原点（０，０）とし、原点（０，０）は、方位角φが２πラジアン（ｕ＝０．０）で天頂角θがπラジアン（ｖ＝０．０）の位置の画素を示す。また、パノラマ画像は、ｕ軸方向に方位角φが小さくなり、パノラマ画像の右端は方位角φが０ラジアン（ｕ＝１．０）の位置の画素であり、ｖ軸方向に天頂角θが小さくなり、パノラマ画像の上端は天頂角θが０ラジアン（ｖ＝１．０）の位置の画素である。方位角φ及び天頂角θと、ｕ値及びｖ値とは、以下の（３）式及び（４）式によって相互に変換可能である。

カメラ３０の制御部３１は、撮影中心Ｃ（撮影位置）の位置情報と、図５Ｂに示すパノラマ画像とを通信部３３から情報処理装置１０へ送信する。なお、カメラ３０の制御部３１は、図５Ａに示す全天球画像の撮影画像を情報処理装置１０へ送信し、情報処理装置１０が、全天球画像から、図５Ｂに示すパノラマ画像を生成する処理を行ってもよい。情報処理装置１０の制御部１１は、カメラ３０から取得した撮影中心Ｃの位置情報と、パノラマ画像とを対応付けてパノラマ画像ＤＢ１２ａに記録する。なお、カメラ３０は、Ｅｘｉｆ（Exchangeable image file format）形式を使用することにより、撮影中心Ｃの位置情報と撮影画像とを一つのファイルで送信することが可能である。

次に、第１情報処理装置１０において制御部１１が仮想画像生成プログラムＰを実行することによって実現される機能について説明する。図６は、第１情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。第１情報処理装置１０の制御部１１は、記憶部１２に記憶してある仮想画像生成プログラムＰを実行した場合、球面画像生成部５１、仮想スクリーン設定部５２、仮想画像生成部５３の各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が仮想画像生成プログラムＰを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

球面画像生成部５１は、パノラマ画像ＤＢ１２ａに記録されたパノラマ画像のそれぞれから、撮影位置を撮影中心Ｃとする球面画像を生成する。これにより、図５Ａに示すような球面画像が生成される。球面画像の半径は、撮影中心Ｃから撮影画像中の被写体までの代表的な距離、又はユーザが着目し易い被写体までの距離に設定することが好ましい。被写体までの距離が球面画像の半径に一致していれば、仮想視点が移動した場合に生じる運動視差を正しく再現できる。しかしながら、球面画像の半径はこれに限定しない。球面画像の半径について、ユーザによる入力を受け付けてもよい。

仮想スクリーン設定部５２は、第２情報処理装置２０から取得したユーザの頭部の位置及び向きに基づいて、仮想視点及び仮想スクリーンを設定する。なお、ユーザの頭部の位置及び向きは、ユーザの頭部に装着された第２情報処理装置２０のセンサ部２５によって所定のタイミングで検出され、検出結果が逐次第１情報処理装置１０へ送信される。仮想視点の位置は、ユーザの頭部の中心であり、例えば第１情報処理装置１０の動作開始時は撮影対象の空間内の中央位置としてもよい。よって、仮想スクリーン設定部５２は、動作開始時は撮影対象の部屋の中央位置を仮想視点に設定し、以降はユーザの移動に伴って仮想視点を移動させる（変更する）。なお、仮想視点の位置は、例えば４箇所の撮影位置を結んで形成される矩形の中央を基準とした位置の情報で示される。仮想スクリーンは、仮想視点から、ユーザの頭部の向きが示す視線方向に所定距離隔てた位置に設けられる仮想の画像表示領域である。仮想スクリーンは、視線方向に直交し、所定の画角を有する矩形平面であり、複数の仮想画素が二次元的に配置されている。一例として、仮想視点から１ｍの距離を隔てた位置に画角が９０°の仮想スクリーンを設定してもよい。

仮想スクリーン設定部５２は、まず、仮想視点を原点とし、視線方向を天頂角θ及び方位角φが共に０ラジアンの方向とした状態（即ち、原点から一旦Ｚ軸の正側を向き、その後真上（Ｙ軸の正側）を見上げた状態）での基本スクリーンを設定する。なお、基本スクリーンは、仮想視点からの距離をｄとし、画角をfovとした場合、以下の（５）に示す直交座標系の座標によって示される四隅の仮想画素によって設定される。

次に、仮想スクリーン設定部５２は、仮想視点の位置及び視線方向に基づいて、基本スクリーンに対して回転処理及び平行移動処理をこの順序で行う。ここで、仮想視点の座標を（Ｖ_x ，Ｖ_y ，Ｖ_z ）で表し、視線方向を示すベクトルを（Ｖ_θ ，Ｖ_φ ）で表す。回転の方向は回転軸の正側から見て反時計回りを正方向とすると、視線方向を示すベクトルが（Ｖ_θ ，Ｖ_φ ）である場合、Ｘ軸を中心にＶ_θ 回転させ、Ｙ軸を中心にＶ_φ回転させる処理を行う。また、仮想視点の座標が（Ｖ_x ，Ｖ_y ，Ｖ_z ）である場合、原点から仮想視点（Ｖ_x ，Ｖ_y ，Ｖ_z ）までの平行移動処理を行う。この２つの変換は同次座標を用いた行列で表現でき、合成変換で表すことができる。従って、仮想スクリーン設定部５２は、上記（５）に示す基本スクリーンの四隅の仮想画素の座標（ｘ，ｙ，ｚ）のそれぞれに対して、以下の（６）式に基づく変換処理を行うことにより、基本スクリーンに回転処理及び平行移動処理を行うことができる。これにより、仮想スクリーンの四隅の仮想画素の座標が算出され、算出された四隅の仮想画素の座標によって、ユーザの頭部の位置及び向き（仮想視点及び視線方向）に基づく仮想スクリーンを設定できる。

ここで、仮想スクリーン設定部５２は、基本スクリーンを縦横に分割した例えば３０×３０区画のセルに分割し、セル毎に上述の処理を行う。例えば、上述のように設定した基本スクリーンの四隅の仮想画素を含み、基本スクリーンを分割した各セルの頂点となる仮想画素（これらをまとめて格子点という）に対して、上記の（６）式に基づく変換処理を行う。これにより、仮想スクリーンにおける各格子点の座標が設定され、各格子点の座標によって仮想スクリーンが設定される。なお、基本スクリーンにおける各格子点の座標は、上記の（５）に示す基本スクリーンの四隅の仮想画素の座標に基づき、Ｘ軸、Ｙ軸及びＺ軸方向にセルの数で分割した各値とすることができる。

仮想スクリーン設定部５２は、設定した仮想スクリーンに関する情報を仮想スクリーンテーブル１２ｂに記憶する。図７は、仮想スクリーンテーブル１２ｂの構成を示す模式図である。仮想スクリーンテーブル１２ｂには、仮想スクリーンのセル毎に、セルＩＤと、各セルの四隅の仮想画素である格子点の格子点ＩＤ及び座標と、各格子点である仮想画素の仮想画素ＩＤとが対応付けて記憶される。セルＩＤは各セルに固有に付与された識別情報であり、格子点ＩＤは各格子点に固有に付与された識別情報であり、仮想画素ＩＤは各仮想画素に固有に付与された識別情報である。仮想スクリーン設定部５２は、基本スクリーンからセルを分割する都度、分割したセルに対するセルＩＤ、セルの格子点に対する格子点ＩＤ、格子点である仮想画素に対する仮想画素ＩＤを割り当てて仮想スクリーンテーブル１２ｂに記憶する。また、仮想スクリーン設定部５２は、分割したセルの格子点の座標値に対して上記の（６）式に基づく変換処理を行う都度、算出した座標値を格子点ＩＤに対応付けて仮想スクリーンテーブル１２ｂに記憶する。仮想スクリーン設定部５２は、基本スクリーンの全てのセルについて上述した処理を行うことにより、仮想スクリーンの全てのセルの情報が仮想スクリーンテーブル１２ｂに記憶され、仮想スクリーンが設定される。

仮想画像生成部５３は、球面画像生成部５１がパノラマ画像から生成した球面画像と、仮想スクリーン設定部５２が設定した仮想スクリーンとに基づいて、第２情報処理装置２０を装着したユーザに提供する仮想画像を生成する。仮想画像生成部５３は、仮想ビュー生成部５４、合成割合特定部５５、合成部５６を有する。仮想ビュー生成部５４は、仮想スクリーンにおける各仮想画素と球面画像における各画素との対応付けを行い、仮想スクリーンの各仮想画素に、それぞれ対応付けられた球面画像の画素の輝度（画素値）を割り当てることにより仮想ビューを生成する。なお、各仮想画素に割り当てられる画素値は、撮影画像（パノラマ画像）が白黒画像である場合、例えば０から２５５までの２５６段階の数値が割り当てられる。また、撮影画像がカラー画像である場合、赤色、緑色、青色のそれぞれについて例えば０から２５５までの数値が割り当てられる。

仮想ビュー生成部（対応付け部）５４は、まず、仮想スクリーンにおける各格子点と球面画像における各画素との対応付けを行う。具体的には、仮想ビュー生成部５４は、仮想スクリーンの各格子点に対して、仮想視点から各格子点に向かう直線が球面画像と交差する交点における球面画像上の画素を対応付ける。よって、仮想ビュー生成部５４は、仮想スクリーンの各格子点について、仮想視点から格子点に向かう直線と球面画像との交点における画素（以下では交点画素という）の座標値を算出する。ここでは、計算を簡便にするために、仮想視点（Ｖx，Ｖy，Ｖz）を一時的に、球面画像の撮影中心Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）が原点に移動するように、点（Ｖｘ−Ｃｘ，Ｖｙ−Ｃｙ，Ｖｚ−Ｃｚ）へ平行移動させる。即ち、球面画像の撮影中心Ｃを原点として扱うことで、仮想視点と球面画像との相対的な関係だけを扱うことができる。仮想視点から仮想スクリーンのある格子点（ｘ，ｙ，ｚ）に向かう方向ベクトルを（ｄx，ｄy，ｄz）で表すと、仮想視点から格子点（ｘ，ｙ，ｚ）に向かう直線上の点（Ｘ，Ｙ，Ｚ）の座標値Ｘ，Ｙ，Ｚは、媒介変数ｔを用いて以下の（７）式で表される。また、原点を中心とする半径Ｒの球面上の点（Ｘ，Ｙ，Ｚ）は、以下の（８）式で表される。

Ｘ＝Ｖx＋ｔ・ｄx
Ｙ＝Ｖy＋ｔ・ｄy
Ｚ＝Ｖz＋ｔ・ｄz …（７）
Ｘ² ＋Ｙ² ＋Ｚ² ＝Ｒ² …（８）

上記（７）式で表した直線上の点（Ｘ，Ｙ，Ｚ）の座標値を、上記（８）式で表した球面の方程式に代入すると、以下の（９）式となる。ここで、以下の（１０）式に示すようなａ，ｂ，ｃに置き換えて媒介変数ｔを求めると、媒介変数ｔは、ａ，ｂ，ｃを用いて以下の（１１）式のように表される。ここで、仮想視点は球面の内部にあるので、媒介変数ｔの解は（１１）式に示すように２つ存在する。直線の方向ベクトルは、仮想視点から格子点（ｘ，ｙ，ｚ）に向かう方向であるので、仮想視点から視線方向に位置する交点画素の座標を算出するための媒介変数ｔの解は（１２）式に示すものとなる。

仮想ビュー生成部５４は、上述のように媒介変数ｔを求め、求めた媒介変数ｔを上述の（７）式に代入することにより、仮想視点から格子点（ｘ，ｙ，ｚ）に向かう直線が球面画像と交差する交点画素の座標値Ｘ，Ｙ，Ｚを求める。また、仮想ビュー生成部５４は、求めた交点画素の座標（Ｘ，Ｙ，Ｚ）を極座標系の座標（θ，φ）に変換することにより、球面画像の中心から見た交点画素の天頂角θ及び方位角φを求めることができる。更に、仮想ビュー生成部５４は、交点画素の極座標系の座標（θ，φ）を上記の（４）式によって座標（ｕ，ｖ）に変換する。仮想ビュー生成部５４は、このように算出した球面画像（パノラマ画像）における交点画素（ｕ，ｖ）を、仮想スクリーンの格子点（ｘ，ｙ，ｚ）に対応付け、対応テーブル１２ｃに記憶する。

図８は、対応テーブル１２ｃの構成を示す模式図である。対応テーブル１２ｃには、球面画像（パノラマ画像）の画像ＩＤ（パノラマ画像ＩＤ）と、仮想スクリーンの各格子点の格子点ＩＤ及び座標と、各格子点に対応付けられたパノラマ画像の交点画素の座標（対応画素座標）とが対応付けて記憶される。パノラマ画像ＩＤはパノラマ画像に固有に付与された識別情報であり、例えばパノラマ画像と共にパノラマ画像ＤＢ１２ａに記憶されている。格子点ＩＤ及び格子点の座標は、仮想スクリーンテーブル１２ｂに記憶されている格子点ＩＤ及び座標と同じである。対応画素座標は、上述した処理により仮想スクリーンの各格子点に対応付けられた各パノラマ画像における交点画素の座標（ｕ，ｖ）である。なお、対応テーブル１２ｃには仮想スクリーンの各格子点とパノラマ画像の交点画素との対応関係が記憶されていればよいので、各格子点の座標は記憶されていなくてもよい。

仮想ビュー生成部５４は、仮想スクリーンテーブル１２ｂから１つの格子点の格子点ＩＤ及び座標を読み出す都度、読み出した格子点ＩＤ及び座標を対応テーブル１２ｃに記憶する。そして、仮想ビュー生成部５４は、読み出した格子点の座標値に対して上述した処理を行い、この格子点に対応付けられる各パノラマ画像における交点画素の座標値を算出し、算出した座標値が示す交点画素の座標（ｕ，ｖ）を格子点ＩＤに対応付けて対応テーブル１２ｃに記憶する。仮想ビュー生成部５４は、仮想スクリーンテーブル１２ｂに記憶された全ての格子点に対して上述した処理を行うことにより、仮想スクリーンの全ての格子点と、各パノラマ画像の各画素（交点画素）との対応付けを行う。

仮想スクリーンの全ての格子点に対してパノラマ画像の交点画素の対応付けを行った後、仮想ビュー生成部５４は、例えばコンピュータグラフィックスによるレンダリング機能（テクスチャマッピング）を利用し、仮想スクリーンの各仮想画素に輝度（画素値）を割り当てて仮想ビューを生成する。具体的には、仮想ビュー生成部５４は、仮想スクリーンテーブル１２ｂ及び対応テーブル１２ｃに基づいて、仮想スクリーンの各仮想画素に対して、パノラマ画像の各画素の画素値（輝度）を割り当てる。図９は、仮想ビューＤＢ１２ｄの構成を示す模式図であり、図１０及び図１１は、レンダリング処理を説明するための模式図である。仮想ビューＤＢ１２ｄには、パノラマ画像のパノラマ画像ＩＤと、仮想スクリーンの各仮想画素の仮想画素ＩＤと、各仮想画素に割り当てられた輝度（画素値）とが対応付けて記憶される。

仮想ビュー生成部５４は、例えば仮想スクリーンテーブル１２ｂから１つのセルにおける４つの格子点ＩＤと、各格子点ＩＤに対応する４つの仮想画素ＩＤとを読み出す。次に仮想ビュー生成部５４は、読み出した４つの格子点ＩＤのそれぞれに対応付けられたパノラマ画像の画素（交点画素）の座標を対応テーブル１２ｃから読み出す。そして仮想ビュー生成部５４は、読み出したパノラマ画像の画素の座標（ｕ，ｖ）に対応する画素値（輝度）を、パノラマ画像ＤＢ１２ａに記憶してあるパノラマ画像から抽出する。仮想ビュー生成部５４は、仮想スクリーンテーブル１２ｂから読み出した４つの仮想画素ＩＤと、パノラマ画像から抽出した輝度とをそれぞれ対応付けて仮想ビューＤＢ１２ｄに記憶する。図１０に示す例では、仮想スクリーンにおける１つのセルの格子点である仮想画素Ｃ１〜Ｃ４の輝度に、パノラマ画像の画素Ｐ１〜Ｐ４の輝度がそれぞれ割り当てられる。

次に、仮想ビュー生成部５４は、仮想スクリーンテーブル１２ｂから読み出した格子点ＩＤの格子点によるセル内の他の仮想画素について、パノラマ画像の各画素の輝度を割り当てる。ここでは、仮想ビュー生成部５４は、まず、セル内の各仮想画素に対応するパノラマ画像の各画素の座標値を、対応テーブル１２ｃから読み出した４つの交点画素の座標（ｕ，ｖ）に基づいて算出する。仮想ビュー生成部５４は、４つの交点画素の座標のｕ値及びｖ値に対して、例えばバイリニア法等の補間演算を行うことによって、セル内の各仮想画素に対応するパノラマ画像の各画素の座標（ｕ，ｖ）を算出する。そして、仮想ビュー生成部５４は、算出した各画素の座標（ｕ，ｖ）に対応する画素値（輝度）をパノラマ画像から抽出し、抽出した各画素値（輝度）と、セル内の各仮想画素に付与された仮想画素ＩＤとをそれぞれ対応付けて仮想ビューＤＢ１２ｄに記憶する。これにより、図１０に示す仮想スクリーンにおけるセル内の各仮想画素の輝度に、パノラマ画像の画素Ｐ１〜Ｐ４で囲まれた領域内の各画素の輝度がそれぞれ割り当てられる。

仮想ビュー生成部５４は、仮想スクリーンテーブル１２ｂに記憶された全てのセルに対して上述した処理を行うことにより、仮想スクリーンの全ての仮想画素に対して、パノラマ画像の各画素の輝度を割り当てることができる。これにより、１つのパノラマ画像から、第２情報処理装置２０を装着したユーザの頭部の位置及び向きに応じた仮想ビューが生成される。なお、図１０ではセルに対応するパノラマ画像の領域を長方形で示しているが、セルに対応するパノラマ画像の領域は、必ずしも長方形に限定されず、４頂点で囲まれる閉領域となる。

ここで、図１１Ａに示す交点画素Ｐ１〜Ｐ４で囲まれた領域のように、仮想スクリーンのセルに対応するパノラマ画像の領域が、ｕ＝１．０（ｕ＝１．０はｕ＝０．０と一致）をまたぐ場合、図１１Ｂに示すように各交点画素のｕ値（０．９５，０．０５）に基づいて、領域内の各画素のｕ値を正確に算出（補間）できないという問題が生じる。よって、仮想ビュー生成部５４は、仮想スクリーンの各格子点（各仮想画素）に、パノラマ画像の各交点画素を割り当てた際に、隣り合う２つの交点画素のｕ値が規定値（例えば０．５）以上離れているか否かを判断し、離れていると判断した場合、この交点画素で囲まれる領域は、ｕ＝１．０をまたぐ領域である可能性が高いと判断できる。また、ｕ＝１．０をまたぐ領域である可能性が高いと判断した場合、仮想ビュー生成部５４は、４つの交点画素のｕ値のうちで小さい方のｕ値に１．０を加算する。これにより、図１１Ｂに示す例では、交点画素Ｐ２，Ｐ３のｕ値が１．０５となるので、交点画素Ｐ１〜Ｐ４のｕ値に基づく補間演算により、この領域内の各画素の座標（ｕ値）を算出できる。

本実施形態では、仮想ビュー生成部５４は、仮想スクリーンの各格子点についてのみ、対応するパノラマ画像の交点画素の座標を上述の演算によって算出し、仮想スクリーンの他の仮想画素に対応するパノラマ画像の画素の座標ついては補間演算によって算出する。これにより、仮想ビュー生成部５４における演算負荷が軽減され、パノラマ画像描画を高速に行うことが可能となる。なお、仮想ビュー生成部５４は、例えばＯｐｅｎＧＬやＤｉｒｅｃｔＸ等のグラフィックライブラリー（グラフィックＡＰＩ）を用いてテクスチャマッピング処理を行うことにより、仮想スクリーンの各仮想画素にパノラマ画像の各画素の画素値を割り当てるレンダリング処理を行ってもよい。この場合、例えば対応テーブル１２ｃの記憶情報のように、仮想スクリーンの各格子点と、パノラマ画像の各交点画素との対応を指定することにより、グラフィックライブラリーが仮想スクリーンの各仮想画素に対応するパノラマ画像の各画素の座標値を算出する補間演算、各仮想画素に対するパノラマ画像の各画素の画素値の割当（コピー）等を高速に行うことができる。

ここで、仮想画像生成部５３は、室内における複数箇所（例えば４箇所）で撮影して得られたパノラマ画像のそれぞれから、仮想ビュー生成部（中間画像生成部）５４による上述した処理によって複数（例えば４つ）の仮想ビューを生成する。仮想画像生成部５３は、生成した複数の仮想ビューを合成し、ユーザが指定した仮想視点及び視線方向（ユーザの頭部の位置及び向き）に応じた仮想画像を生成する。このとき、仮想画像生成部５３は、撮影対象の室内において、複数の撮影位置と仮想視点の位置との関係に応じて、各仮想ビューの合成割合（合成率）を異ならせる。合成割合特定部（割合特定部）５５は、各仮想ビューの合成割合を特定し、合成部５６は、各仮想ビューを、それぞれ特定された合成割合で合成して仮想画像を生成する。

合成割合特定部５５は、仮想視点の位置とそれぞれの撮影位置との位置関係に応じて、各仮想ビューに対する合成割合（合成強度）を特定する。合成割合特定部５５は、例えば、仮想視点からそれぞれの撮影位置までの距離が短いほど、それぞれの撮影位置で撮影したパノラマ画像から生成された仮想ビューに対する合成割合を高く設定する。例えば、合成割合特定部５５は、仮想視点と撮影位置との距離をｄとした場合の合成強度Ｓを、Ｓ＝１／ｄで表される関数に基づいて特定する。なお、合成強度Ｓが距離ｄの増加に伴い単調減少する関数であれば、どのような関数を用いてもよい。
合成部５６は、それぞれの撮影位置で撮影したパノラマ画像から仮想ビュー生成部５４が生成した仮想ビューのそれぞれを、合成割合特定部５５が特定した合成割合で合成し、仮想画像を生成する。

合成割合特定部５５は、仮想視点がいずれかの撮影位置から所定距離未満の位置である場合に、この撮影位置で撮影したパノラマ画像から仮想ビュー生成部５４が生成した仮想ビューに対する合成割合が１００％となるように各仮想ビューの合成割合を設定してもよい。この場合、合成部５６は、仮想ビューＤＢ１２ｄから読み出した、仮想視点から最も近い撮影位置で撮影されたパノラマ画像から生成された仮想ビューをそのまま仮想画像として出力する。

また、合成割合特定部５５は、仮想視点から仮想ビューにおける各セルの各格子点に向かうベクトルと、撮影位置からパノラマ画像（球面画像）の各交点画素に向かうベクトルとの成す角度が小さいほど、それぞれの仮想ビューに対する合成割合を高く設定してもよい。例えば、合成割合特定部５５は、仮想視点から仮想ビューにおける格子点に向かう単位方向ベクトルをＥとし、撮影位置からパノラマ画像（球面画像）の交点画素に向かう単位方向ベクトルをＱとした場合の合成強度Ｓを、Ｓ＝Ｅ・Ｑで表される関数に基づいて特定する。なお、合成強度Ｓが２つのベクトルの内積値の増加に伴い単調増加する関数であれば、どのような関数を用いてもよい。この場合、格子点毎の内積算出処理が可能であり、合成割合特定部５５は、格子点毎に各仮想ビューに対する合成割合を特定してもよい。またこの場合、合成割合特定部５５は、セル内の各仮想画素毎に仮想ビューに対する合成割合を、セルの４頂点（格子点）の合成割合から補間演算により求めてもよい。このような構成とする場合、合成部５６は、仮想画素毎に、仮想ビューのそれぞれを、合成割合特定部５５が補間演算により特定した合成割合に基づいて合成して仮想画像を生成する。

合成割合特定部５５は、上述したように仮想視点と撮影位置との距離に応じた合成強度、又は２つのベクトルの内積値に応じた合成強度を単独で用いるだけでなく、これらを合成した合成関数を用いて各仮想ビューに対する合成割合を特定してもよい。例えば、仮想視点と撮影位置との距離と２つのベクトルの内積値との積、又は仮想視点と撮影位置との距離及び２つのベクトルの内積値にそれぞれ重み付けを行った後の和等による関数を用いてもよい。

合成部５６は、例えば仮想ビューのそれぞれについて、各画素値に対して、仮想ビューに特定された合成割合を乗算し、乗算後の各仮想ビューの各画素値を加算することにより、仮想画像を生成する。このほかに、合成部５６は、各仮想ビューをアルファブレンディングによって重ねることにより仮想画像を生成してもよい。例えば、３つの第１〜第３仮想ビューをそれぞれ合成割合２５％，２５％，５０％で合成する場合、合成部５６は、初期化されたスクリーンに対して第１仮想ビューを合成割合１００％で合成した後、第２仮想ビューを合成割合５０％で合成する。この結果、スクリーン上には第１仮想ビュー及び第２仮想ビューがそれぞれ合成割合５０％で合成された中間画像が生成される。その後、中間画像に対して第３仮想ビューを合成割合５０％で合成することにより、第１仮想ビュー及び第２仮想ビューがそれぞれ合成割合２５％で合成され、第３仮想ビューが合成割合５０％で合成された仮想画像が生成される。なお、合成割合特定部５５が仮想ビューの格子点毎に合成割合を特定した場合、合成部５６は、仮想画素毎に補間された合成割合を用いて上述した処理を行えばよい。

上述した各機能により、第１情報処理装置１０は、カメラ３０で撮影されたパノラマ画像と、第２情報処理装置２０によって検出されたユーザの頭部の位置及び向きとに基づいて、ユーザに提供する仮想画像を生成できる。第１情報処理装置１０は、上述したように生成した仮想画像を第２情報処理装置２０へ送信し、第２情報処理装置２０が表示部２４に表示させることにより、第２情報処理装置２０を装着したユーザに、ユーザの頭部の位置及び向きに応じた仮想画像を提供できる。これにより、第１情報処理装置１０は、カメラ３０で撮影した部屋を、部屋の中の任意の視点から任意の方向を見た状態の仮想画像をユーザに提供できる。

次に、カメラ３０を用いて室内を撮影した際にカメラ３０及び第１情報処理装置１０が行う処理をフローチャートに基づいて説明する。図１２は、撮影時にカメラ３０及び第１情報処理装置１０が行う処理の手順を示すフローチャートである。以下の処理は、カメラ３０の記憶部３２に記憶してある制御プログラムに従って制御部３１によって実行され、第１情報処理装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。なお、撮影を行う場合、カメラ３０はユーザ又はロボット等により所定の位置及び向きに配置されるものとする。

カメラ３０の制御部３１は、シャッターボタン３４からの指示に基づいて撮影部３５による撮影を行う（Ｓ１）。制御部３１は、撮影により、図５Ａに示すような全天球画像を生成し（Ｓ２）、全天球画像から図５Ｂに示すような平面のパノラマ画像を生成する（Ｓ３）。制御部３１は、生成したパノラマ画像を第１情報処理装置１０に送信する（Ｓ４）。なお、制御部３１は、撮影位置を示す情報を取得し、パノラマ画像と共に送信する。第１情報処理装置１０の制御部（画像取得部）１１は、カメラ３０からパノラマ画像を受信する（Ｓ５）。なお、制御部１１は、パノラマ画像と共に撮影位置の情報も受信し、受信した撮影位置の情報とパノラマ画像とを対応付けてパノラマ画像ＤＢ１２ａに記録する（Ｓ６）。カメラ３０は、室内の複数の撮影位置でユーザ又はロボット等により所定の向きに配置された状態で、上述したステップＳ１〜Ｓ４の処理を行い、第１情報処理装置１０は、カメラ３０から送信されてきたパノラマ画像をパノラマ画像ＤＢ１２ａに記録する。

次に、第２情報処理装置２０を用いてパノラマ画像を再生（表示）する際に第１情報処理装置１０及び第２情報処理装置２０が行う処理をフローチャートに基づいて説明する。図１３及び図１４は、表示時に第１情報処理装置１０及び第２情報処理装置２０が行う処理の手順を示すフローチャートである。以下の処理は、第１情報処理装置１０の記憶部１２に記憶してある仮想画像生成プログラムＰを含む制御プログラムに従って制御部１１によって実行され、第２情報処理装置２０の記憶部２２に記憶してある制御プログラムに従って制御部２１によって実行される。

第２情報処理装置２０の制御部２１は、センサ部２５によってユーザの頭部の位置及び向きを検出し、位置及び向きを示す情報を取得する（Ｓ１１）。例えば制御部２１は、センサ部２５のＧＰＳによって第２情報処理装置２０の現在位置を検出し、センサ部２５の磁気センサによって第２情報処理装置２０の向きを検出する。制御部２１は、取得した位置及び向きを示す情報を通信部２３にて第１情報処理装置１０へ送信する（Ｓ１２）。制御部２１は、位置及び向きの検出及び送信を、所定時間間隔で行ってもよいし、例えば入力部（図示せず）を介したユーザからの指示に従って行ってもよい。

一方、第１情報処理装置１０の制御部１１は、再生すべきパノラマ画像をパノラマ画像ＤＢ１２ａから選択して読み出す（Ｓ２１）。再生すべきパノラマ画像は、入力部１４又は第２情報処理装置２０を介して指定される。なお、入力部１４又は第２情報処理装置２０を介して、再生すべきパノラマ画像を撮影した部屋が指定され、制御部１１は、指定された部屋で撮影されたパノラマ画像（ここでは４つのパノラマ画像）をパノラマ画像ＤＢ１２ａから読み出してもよい。制御部１１（球面画像生成部５１）は、読み出したパノラマ画像のそれぞれに基づいて、撮影位置を撮影中心Ｃとする球面画像を生成する（Ｓ２２）。

制御部（視点受付部）１１は、ステップＳ１２で第２情報処理装置２０が送信した位置及び向きを示す情報を通信部１３にて受信する（Ｓ２３）。なお、制御部１１は、受信した位置及び向きを示す情報を記憶部１２に逐次記憶しており、前回受信した情報と比較して、位置又は向きが変化したか否かを判断する（Ｓ２４）。位置及び向きのいずれも変化していないと判断した場合（Ｓ２４：ＮＯ）、制御部１１は、ステップＳ２３の処理に戻り、第２情報処理装置２０から位置及び向きを示す情報を受信する都度、位置又は向きが変化したか否かを判断する。

位置又は向きが変化したと判断した場合（Ｓ２４：ＹＥＳ）、制御部１１（仮想スクリーン設定部５２）は、受信した位置及び向きに基づいて仮想視点を設定し、設定した仮想視点に応じた仮想スクリーンを設定（特定）する（Ｓ２５）。例えば、制御部１１は、ユーザの頭部の位置に基づいて前回設定した仮想視点を移動させ、移動後の仮想視点から、ユーザの頭部の向きが示す視線方向に所定距離隔てて、視線方向に直交し、所定の画角を有する矩形平面である仮想スクリーンを設定する。なお、制御部１１は、上述したように、まず基本スクリーンを設定し、基本スクリーンに対して回転処理及び平行移動処理を行うことにより仮想スクリーンを設定する。

次に制御部１１（仮想ビュー生成部５４）は複数の仮想ビュー（中間仮想画像）を生成する（Ｓ２６）。ここでは、制御部１１は、ステップＳ２２で生成した球面画像のそれぞれについて、ステップＳ２５で設定した仮想スクリーンに基づいて仮想ビューを生成する。また制御部１１（合成割合特定部５５）は、ステップＳ２６で生成した４つの仮想ビューのそれぞれに対して合成割合を特定する（Ｓ２７）。そして制御部１１（合成部５６）は、ステップＳ２６で生成した４つの仮想ビューを、ステップＳ２７で特定した合成割合に基づいて合成し、仮想画像を生成する（Ｓ２８）。制御部１１は、生成した仮想画像を通信部１３にて第２情報処理装置２０へ送信する（Ｓ２９）。

第２情報処理装置２０の制御部２１は、第１情報処理装置１０が送信した仮想画像を通信部２３にて受信し（Ｓ１３）、受信した仮想画像を表示部２４に表示させる（Ｓ１４）。第２情報処理装置２０の制御部２１は、ユーザの頭部の位置及び向きの検出及び送信を、所定時間間隔又はユーザからの指示に従って行い、第１情報処理装置１０の制御部１１は、第２情報処理装置２０から位置及び向きの情報を受信する都度、ステップＳ２４〜Ｓ２９の処理を行う。これにより、実写データに基づいて、任意の視点から見た画像を生成する情報処理システム４０を提供することができる。

上述した処理により、ユーザは、撮影された部屋の中を自由に移動しながら、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。なお、カメラ３０を用いて撮影する空間は、博物館、美術館、テーマパーク、アミューズメント施設、観光地、商業施設等であってもよい。

上述した処理において、第２情報処理装置２０の制御部２１は、ステップＳ１１で取得した位置及び向きが、前回取得した位置及び向きに対して変化したか否かを判断し、変化した場合にのみ、取得した位置及び向きの情報を第１情報処理装置１０へ送信するようにしてもよい。この場合、第１情報処理装置１０の制御部１１は、ステップＳ２４の処理を行う必要がなく、第２情報処理装置２０から受信した位置及び向きの情報に基づいて、ステップＳ２５以降の処理を行えばよい。

本実施形態によると、撮影した各パノラマ画像から、視点位置の移動に応じて生成された仮想スクリーンに投影される球面画像を算出して各仮想ビューが生成される。これにより、単体の各パノラマ画像から視点位置を移動した効果のある映像表現が得られる。更に、本実施形態によると、複数箇所で撮影したパノラマ画像（仮想ビュー）から生成された仮想画像が提供される。また、複数の仮想ビューから仮想画像を生成する場合、例えば仮想視点と各撮影位置との距離に応じた合成割合で複数の仮想ビューが合成される。これにより、表示されるパノラマ画像（仮想ビュー）が切り替えられる際に、仮想視点と撮影位置との距離に応じた重み付け（合成割合）を各仮想ビューに付与できるので、画像の遷移を滑らかに行うことができ、画像の切り替えの際にユーザに与える違和感を抑制できる。また、仮想視点から各仮想ビューの格子点（仮想画素）に向かうベクトルと、各撮影位置から各パノラマ画像の交点画素（画素）に向かうベクトルとの成す角度に応じた合成割合で複数の仮想ビューが合成されてもよい。これにより、表示されるパノラマ画像（仮想ビュー）が切り替えられる際に、仮想視点から仮想ビューの各格子点に向かう方向と、撮影位置からパノラマ画像の各画素に向かう方向との成す角度に応じた重み付け（合成割合）を各仮想ビューに付与できるので、画像の切り替えの際にユーザに与える違和感を抑制できる。

なお、本実施形態において、仮想視点がいずれかの撮影位置の近傍（例えば所定距離未満の位置）である場合に、この撮影位置で撮影したパノラマ画像から生成された仮想ビューに対する合成割合が１００％となるように各仮想ビューに対する合成割合を設定してもよい。この場合、仮想視点の近傍の撮影位置で撮影したパノラマ画像から生成された仮想ビューが仮想画像として提供される。

本実施形態によると、ＨＭＤ型の第２情報処理装置２０を使用するので、コンピュータ等の操作に不慣れなユーザであっても容易に様々な視点から室内を見た状態の画像を確認できる情報処理システム４０を提供できる。本実施形態によると、市販の全天球カメラ等を用いて撮影したＪＰＥＧ（Joint Photographic Experts Group）形式等の汎用の形式の画像を使用して、様々な視点から室内を見た状態の画像を提供できる情報処理システム４０を提供できる。
本実施形態において、例えば、右目を仮想視点に設定して作成した仮想画像を右目側に表示し、左目を仮想視点に設定して作成した仮想画像を左目側に表示することにより、立体感のある画像を提供する情報処理システム４０を提供できる。
カメラ３０は、全天球カメラに限定しない。たとえば、半球型の範囲を撮影可能なカメラであってもよい。通常の平面画像撮影用のカメラでもよい。

（実施形態２）
本実施形態は、カメラ３０による撮影対象が広い空間であり、広い空間において任意の視点から見た状態の画像を提供する情報処理システム４０に関する。実施形態１と共通する部分については、説明を省略する。本実施形態では、カメラ３０を用いて撮影する空間は、例えば、劇場、コンサートホール、宴会場等の広い室内、公園、庭園等の屋外空間等とすることができる。

図１５は、カメラ３０の撮影位置の例を示す模式図であり、撮影空間を鉛直上方向の位置から見た状態を示す。カメラ３０による撮影位置は、地面等の基準面から所定の高さの面内において、格子状となる位置とする。図１５に示す例では、黒丸で示すように横方向に３箇所、縦方向に３箇所の合計９箇所を撮影位置としているが、１０箇所以上の任意の場所を撮影位置としてもよい。また、撮影位置の高さは、例えば１ｍ程度、立った状態の大人の目線の高さ、又は椅子に座った状態の大人の目線の高さ等としてもよい。

図１５に示すように格子状の位置を撮影位置とすることにより、近傍の４箇所の撮影位置で囲まれる領域においては、上述した実施形態１と同様の処理によって、任意の視点から任意の方向を見た場合の仮想画像を生成できる。例えば撮影位置Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２で囲まれる領域Ｒ１内に仮想視点がある場合、第１情報処理装置１０は、撮影位置Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２のそれぞれで撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像を生成する。また、撮影位置Ｐ２１，Ｐ２２，Ｐ３１，Ｐ３２で囲まれる領域Ｒ２内に仮想視点がある場合、第１情報処理装置１０は、撮影位置Ｐ２１，Ｐ２２，Ｐ３１，Ｐ３２のそれぞれで撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像を生成する。

ここで、図１５中の矢符で示すように、仮想視点が領域Ｒ１から領域Ｒ２へ移動した場合、仮想画像を生成する際に用いる仮想ビューが、撮影位置Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２で撮影されたパノラマ画像から、撮影位置Ｐ２１，Ｐ２２，Ｐ３１，Ｐ３２で撮影されたパノラマ画像に切り替えられる。この切り替えによって、生成された仮想画像に不連続な遷移が生じる可能性がある。よって、本実施形態の第１情報処理装置１０は、仮想視点が領域間の境界線上を通過する際には、仮想視点の近傍の２箇所の撮影位置で撮影したパノラマ画像から生成された仮想ビューのみを用いて仮想画像を生成する。例えば、図１５に示すように仮想視点が領域Ｒ１，Ｒ２の境界を通過する場合、第１情報処理装置１０は、撮影位置Ｐ２１，Ｐ２２で撮影されたパノラマ画像から生成された仮想ビューのみを用いて仮想画像を生成する。

上述の構成を実現するために、本実施形態の合成割合特定部５５は、仮想視点が各領域間の境界線上にある場合には、仮想視点の近傍の２箇所の撮影位置以外で撮影したパノラマ画像（仮想ビュー）に対する合成割合が０％となるように各仮想ビューの合成割合を特定する。例えば、領域Ｒ１が一辺の長さがＤの正方形であるとし、撮影位置Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２の座標をそれぞれ（０，０），（０，Ｄ），（Ｄ，０），（Ｄ，Ｄ）とした場合、仮想視点（ｘ，ｙ）に対して撮影位置Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２で撮影したパノラマ画像（仮想ビュー）に対する合成割合Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２は、以下の（１３）式で表される。

Ｓ１１＝（Ｄ−ｘ）×（Ｄ−ｙ）
Ｓ１２＝（Ｄ−ｘ）×ｙ
Ｓ２１＝ｘ×（Ｄ−ｙ）
Ｓ２２＝ｘ×ｙ …（１３）

合成割合特定部５５は、上記（１３）式に基づいて各仮想ビューに対する合成割合を設定する。これにより、図１５に示す例において、例えば仮想視点が領域Ｒ１内を右方向に移動している場合には、撮影位置Ｐ１１，Ｐ１２で撮影したパノラマ画像（仮想ビュー）に対する合成割合が徐々に小さい値となる。そして、仮想視点が領域Ｒ１，Ｒ２の境界線上にある場合には、撮影位置Ｐ１１，Ｐ１２で撮影したパノラマ画像（仮想ビュー）に対する合成割合が０％となり、撮影位置Ｐ２１，Ｐ２２で撮影したパノラマ画像のみを用いた仮想画像が生成される。更に、仮想視点が領域Ｒ２内に進入し、更に右方向に移動している場合には、撮影位置Ｐ３１，３２で撮影したパノラマ画像（仮想ビュー）に対する合成割合が徐々に大きい値となる。

本実施形態によると、広い空間においても任意の視点から見た状態の画像を提供できる。また、近傍の４箇所の撮影位置で囲まれる各領域間を仮想視点が移動する場合に、仮想画像の生成に用いるパノラマ画像（仮想ビュー）を徐々に切り替えることにより、表示される仮想画像において、仮想画像の生成に用いるパノラマ画像が切り替えられる際にユーザに与える違和感を抑制できる。

（実施形態３）
本実施形態は、実施形態２の変形例である情報処理システム４０に関する。本実施形態は、第１情報処理装置１０において、仮想画像生成部５３の合成割合特定部５５が各仮想ビューに対して合成割合を特定する処理が実施形態２と異なる。実施形態２では、例えば図１５に示す例において仮想視点が領域Ｒ１から領域Ｒ２へ移動する場合に、領域Ｒ１，Ｒ２の境界線上に仮想視点があるときは、撮影位置Ｐ２１，Ｐ２２で撮影されたパノラマ画像から生成された仮想ビューに基づいて仮想画像が生成される。本実施形態は、領域Ｒ１，Ｒ２の境界線を含む所定領域（境界部分）内に仮想視点があれば、撮影位置Ｐ２１，Ｐ２２で撮影されたパノラマ画像から生成された仮想ビューに基づいて仮想画像が生成される構成とする。

図１６は、実施形態３の第１情報処理装置１０による処理を説明するための模式図であり、カメラ３０の撮影位置を鉛直上方向の位置から見た状態を示す。カメラ３０による撮影位置及び高さは実施形態２と同様である。本実施形態の第１情報処理装置１０において、例えば合成割合特定部５５は、仮想視点がいずれかのパノラマ画像の撮影位置から所定距離未満の位置である場合、この撮影位置で撮影したパノラマ画像から生成された仮想ビューに対する合成割合を１００％に特定する。即ち、図１６に示す例では、例えば撮影位置Ｐ２１（又はＰ２２）から所定距離未満である領域Ｒ２１（又はＲ２２）に仮想視点がある場合、撮影位置Ｐ２１（又はＰ２２）で撮影したパノラマ画像から生成された仮想ビューが仮想画像とされる。この処理は実施形態２と同じである。

本実施形態の仮想画像生成部５３は、仮想視点がいずれの撮影位置からも所定距離以上離れている場合、近傍の４箇所の撮影位置で囲まれる各領域間の境界を含む所定領域（境界領域）内に仮想視点があるか否かを判断する。図１６に示す例では、例えば領域Ｒ１，Ｒ２の境界を含む境界領域Ｒ２３内に仮想視点があるか否かを判断する。仮想視点がいずれかの境界領域内にある場合、仮想画像生成部５３は、この境界領域の近傍の２箇所の撮影位置で撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像を生成する。即ち、図１６に示す例では、仮想視点が境界領域Ｒ２３内にある場合、撮影位置Ｐ２１，Ｐ２２で撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像を生成する。なお、このとき、合成割合特定部５５は、仮想視点と撮影位置Ｐ２１，Ｐ２２のそれぞれとの距離に応じた合成割合を、撮影位置Ｐ２１，Ｐ２２で撮影したパノラマ画像（仮想ビュー）のそれぞれに設定する。また、合成割合特定部５５は、仮想視点から仮想ビューにおける各セルの各格子点に向かうベクトルと、撮影位置からパノラマ画像（球面画像）の各交点画素に向かうベクトルとの成す角度に応じて、それぞれの仮想ビューに対する合成割合を設定してもよい。

仮想視点がいずれの境界領域内にもない場合、仮想画像生成部５３は、実施形態２と同様に、仮想視点の近傍の４箇所の撮影位置で撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像を生成する。
本実施形態の情報処理システム４０では、カメラ３０を用いて空間を撮影した際にカメラ３０及び第１情報処理装置１０が行う処理は、図１２に示した処理と同じである。

次に、本実施形態において、第２情報処理装置２０を用いてパノラマ画像を再生（表示）する際に第１情報処理装置１０及び第２情報処理装置２０が行う処理をフローチャートに基づいて説明する。図１７は、表示時に第１情報処理装置１０及び第２情報処理装置２０が行う処理の手順を示すフローチャートである。なお、図１７に示す処理は、図１３，１４に示した処理において、ステップＳ２５及びＳ２６の処理の間にステップＳ４１〜Ｓ４４の処理を追加したものである。図１７では、図１３及び図１４に示した処理においてステップＳ２６以降の処理のみを示し、また、第２情報処理装置２０による処理の図示を省略する。実施形態１で説明した処理と同一の処理については説明を省略する。

本実施形態の第１情報処理装置１０において、制御部１１は、ステップＳ２１〜Ｓ２５の処理を行った後、仮想視点がいずれかの境界領域内にあるか否かを判断する（Ｓ４１）。境界領域とは、例えば近傍の４箇所の撮影位置で囲まれた各領域間の境界を含む所定領域であり、各撮影位置の情報から予め設定されている。仮想視点がいずれの境界領域内にもないと判断した場合（Ｓ４１：ＮＯ）、制御部１１はステップＳ２６以降の処理を行う。

仮想視点がいずれかの境界領域内にあると判断した場合（Ｓ４１：ＹＥＳ）、制御部１１は２つの仮想ビューを生成する（Ｓ４２）。ここでは、制御部１１は、ステップＳ２２で生成した球面画像のうち、仮想視点がある境界領域の近傍の２箇所の撮影位置で撮影したパノラマ画像から生成された球面画像について、ステップＳ２５で設定した仮想スクリーンに基づいて仮想ビューを生成する。また制御部１１は、生成した２つの仮想ビューのそれぞれに対して合成割合を特定し（Ｓ４３）、ステップＳ４２で生成した２つの仮想ビューを、ステップＳ４３で特定した合成割合に基づいて合成して仮想画像を生成する（Ｓ４４）。そして制御部１１はステップＳ２９の処理を行う。

本実施形態では、図１３中のステップＳ２１、Ｓ２２の処理は必ずしも予め行っておく必要はない。例えばステップＳ４１で仮想視点がいずれかの境界領域内の位置であると判断した場合に、この境界領域の近傍の２箇所の撮影位置で撮影したパノラマ画像をパノラマ画像ＤＢ１２ａから読み出して球面画像を生成してもよい。更に、ステップＳ４１で仮想視点がいずれの境界領域内にもないと判断した場合に、仮想視点の近傍の４箇所の撮影位置で撮影したパノラマ画像をパノラマ画像ＤＢ１２ａから読み出して球面画像を生成してもよい。

本実施形態では、図１６中の矢符で示すように仮想視点が領域Ｒ１から領域Ｒ２へ移動した場合、仮想視点が境界領域Ｒ２３に進入する前は、撮影位置Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２で撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像が生成される。そして、仮想視点が境界領域Ｒ２３に進入した場合、撮影位置Ｐ２１，Ｐ２２で撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像が生成される。更に、仮想視点が境界領域Ｒ２３から出た場合、撮影位置Ｐ２１，Ｐ２２，Ｐ３１，Ｐ３２で撮影したパノラマ画像から生成された仮想ビューに基づいて仮想画像が生成される。よって、仮想視点が領域間を移動した場合であっても、仮想画像を生成する際に用いる仮想ビューの切り替えを段階的に行うことにより、表示される仮想画像において画像の切り替えの際にユーザに与える違和感を抑制できる。また、本実施形態においても、実写データに基づいて、広い空間内の任意の視点から見た画像を生成する情報処理システム４０を提供することができる。よって、ユーザは、広い空間においても自由に移動しながら散歩、鑑賞等を体感することができる。

（実施形態４）
本実施形態は、パソコン、スマートフォン、又は、タブレット等の汎用の情報処理装置を第２情報処理装置２０に使用する情報処理システム４０に関する。実施形態１と共通する部分については、説明を省略する。

図１８は、実施形態４の画面例を示す模式図である。画面には、表示エリア２４１、上視線ボタン２４２、右視線ボタン２４３、下視線ボタン２４４、左視線ボタン２４５、移動ボタン２４６及びズームボタン２４７が含まれる。ユーザは、表示部２４に設けられたタッチパネルのタッチ操作、又はマウスを用いたクリック操作等により各ボタンを選択できる。

上視線ボタン２４２の入力を受け付けた場合、制御部２１は第２情報処理装置２０の向きが上向きであるという入力を受け付けた場合と同様に、表示エリア２４１に表示される画像の範囲を上向きに変化させる。同様に、右視線ボタン２４３、下視線ボタン２４４および左視線ボタン２４５の選択を受け付けた場合も、制御部２１は表示エリア２４１に表示される画像の範囲をそれぞれの向きに変化させる。

移動ボタン２４６は、前後左右の領域に分割されている。移動ボタン２４６のそれぞれの領域の選択を受け付けた場合、制御部２１は第２情報処理装置２０の位置がそれぞれの向きに変化したと判定し、仮想視点を移動させる。ズームボタン２４７の選択を受け付けた場合、制御部２１は、表示エリア２４１に表示する画像の範囲を拡大または縮小する。

以上により、ユーザは画面上のボタンの操作により、たとえば撮影対象の部屋の中を自由に移動しながら、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。第２情報処理装置２０を傾ける操作又はジョイスティック等の操作が、画面上の各ボタンの操作の代わりに用いられてもよい。

上述した実施形態において、カメラ３０は１つであっても複数であってもよい。複数のカメラ３０を用いる場合、各カメラ３０をそれぞれの撮影位置に設置した状態で同時に撮影を行ってもよい。また、複数のカメラ３０をそれぞれの撮影位置に設置しておき、第１情報処理装置１０からの指示に従って各カメラ３０が撮影を行ってもよい。この場合、カメラ３０で撮影された画像をリアルタイムで第２情報処理装置２０のユーザに提供することができる。よって、例えば各種の部屋、劇場、動物園、植物園等で撮影した画像によって撮影対象の空間の状態をリアルタイムで確認することができる。

各実施形態で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 第１情報処理装置（情報処理装置）
１１ 制御部（画像取得部、視点受付部）
１２ 記憶部
１３ 通信部（受信部、送信部）
１４ 入力部
１５ 表示部
２０ 第２情報処理装置
２１ 制御部
２２ 記憶部
２３ 通信部（送信部、受信部）
２４ 表示部
２５ センサ部
３０ カメラ
３１ 制御部
３２ 記憶部
３３ 通信部
３４ シャッターボタン
３５ 撮影部
４０ 情報処理システム
５１ 球面画像生成部
５２ 仮想スクリーン設定部（特定部）
５３ 仮想画像生成部（生成部）
５４ 仮想ビュー生成部（対応付け部、中間画像生成部）
５５ 合成割合特定部（割合特定部）
５６ 合成部

Claims (12)

1. 空間内の複数の撮影位置で撮影した複数のパノラマ画像を取得する画像取得部と、
   仮想視点の位置及び視線方向を受け付ける視点受付部と、
   前記視点受付部が受け付けた前記仮想視点の位置と前記撮影位置のそれぞれとの位置関係に応じて前記パノラマ画像の合成割合を変更し、前記仮想視点から前記視線方向を見た仮想画像を生成する生成部と
   を備える情報処理装置。
2. 前記複数のパノラマ画像のそれぞれから、前記仮想画像を生成するための中間仮想画像を生成する中間画像生成部と、
   前記中間画像生成部が生成した前記中間仮想画像のそれぞれに対する合成割合を特定する割合特定部とを備え、
   前記生成部は、前記割合特定部が特定した合成割合で、前記中間画像生成部が生成した前記中間仮想画像を合成して前記仮想画像を生成する
   請求項１に記載の情報処理装置。
3. 前記中間画像生成部は、それぞれの前記パノラマ画像に基づく球面画像を、前記仮想視点の位置から前記視線方向を見た状態の前記中間仮想画像を生成する
   請求項２に記載の情報処理装置。
4. 前記仮想視点の位置及び前記視線方向に基づいて、前記仮想画像を生成するための仮想スクリーンを特定する特定部と、
   前記特定部が特定した前記仮想スクリーン中の各仮想画素に、それぞれの前記パノラマ画像の各画素を対応付ける対応付け部とを備え、
   前記中間画像生成部は、それぞれの前記パノラマ画像の各画素の輝度を、前記対応付け部が対応付けた前記仮想スクリーン中の各仮想画素に割り当てて、それぞれの前記パノラマ画像から中間仮想画像を生成する
   請求項２又は３に記載の情報処理装置。
5. 前記割合特定部は、前記仮想視点と、前記パノラマ画像のそれぞれの撮影位置との距離に応じた合成割合を特定する
   請求項２から４までのいずれかひとつに記載の情報処理装置。
6. 前記割合特定部は、前記仮想視点から前記中間仮想画像中の仮想画素に向かう方向と、前記撮影位置から前記パノラマ画像の画素に向かう方向との成す角度に応じた合成割合を特定する
   請求項２から４までのいずれかひとつに記載の情報処理装置。
7. 前記割合特定部は、前記仮想視点から前記撮影位置のいずれかまでの距離が所定距離未満である場合に、前記仮想視点に最も近い前記撮影位置で撮影したパノラマ画像から生成された中間仮想画像に対する合成割合を１００％に特定する
   請求項２から６までのいずれかひとつに記載の情報処理装置。
8. 前記割合特定部は、前記仮想視点が、複数の撮影位置で囲まれる領域間の境界部分の位置である場合に、前記境界部分の近傍でない前記撮影位置で撮影したパノラマ画像から生成された中間仮想画像に対する合成割合を０％に特定する
   請求項２から７までのいずれかひとつに記載の情報処理装置。
9. 前記パノラマ画像は全天球画像である請求項１から８までのいずれかひとつに記載の情報処理装置。
10. 第１情報処理装置と第２情報処理装置とを含む情報処理システムにおいて、
    前記第２情報処理装置は、
    仮想視点の位置及び視線方向を示す情報を送信する送信部を有し、
    前記第１情報処理装置は、
    前記仮想視点の位置及び視線方向を示す情報を受信する受信部と、
    空間内の複数の撮影位置で撮影した複数のパノラマ画像を取得する画像取得部と、
    前記受信部が受信した前記仮想視点の位置と前記撮影位置のそれぞれとの位置関係に応じて前記パノラマ画像の合成割合を変更し、前記仮想視点から前記視線方向を見た仮想画像を生成する生成部と、
    前記生成部が生成した仮想画像を送信する送信部と
    を有し、
    前記第２情報処理装置は、
    前記仮想画像を受信する受信部と、
    受信した前記仮想画像を表示する表示部と
    を更に有する情報処理システム。
11. 情報処理装置が、
    空間内の複数の撮影位置で撮影した複数のパノラマ画像を取得し、
    仮想視点の位置及び視線方向を受け付け、
    受け付けた前記仮想視点の位置と前記撮影位置のそれぞれとの位置関係に応じて前記パノラマ画像の合成割合を変更し、前記仮想視点から前記視線方向を見た仮想画像を生成する
    処理を行う情報処理方法。
12. コンピュータに、
    空間内の複数の撮影位置で撮影した複数のパノラマ画像を取得し、
    仮想視点の位置及び視線方向を受け付け、
    受け付けた前記仮想視点の位置と前記撮影位置のそれぞれとの位置関係に応じて前記パノラマ画像の合成割合を変更し、前記仮想視点から前記視線方向を見た仮想画像を生成する
    処理を実行させるプログラム。

Images