JP2019057264A - 画像処理装置、撮影システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】低精細の全天球画像の一部の領域に、全天球画像とは別に撮影することで得られた高精細の平面画像Ｐを重畳する場合、正距円筒射影画像ＥＣ（全天球画像）と平面画像Ｐは射影方式が異なっても、画像のズレが生じない画像処理装置、方法、プログラム及び撮影システムを提供する。【解決手段】画像処理装置は、画像ＥＣにおいて画像Ｐに対応する第１の対応領域ＣＡ１を算出し、領域ＣＡ１を含む周辺領域画像ＰＩを特定して、重畳画像を画像Ｐの射影方式に変換する。画像処理装置は、変換後の画像において、画像Ｐに対応する第２の対応領域ＣＡ２を算出し、領域ＣＡ２の射影方式を画像ＥＣの射影方式に逆変換する。画像処理装置は、画像ＥＣにおいて、領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出し、この領域ＣＡ３に画像Ｐを合わせるように重畳する。【選択図】図２０

Description

本発明は、画像処理装置、撮影システム、画像処理方法、及びプログラムに関するものである。

従来、広角の平面画像のうちの一部の領域に、広角の平面画像とは別に撮影することで得られた拡大の平面画像を嵌め込むことで、上記一部の領域を拡大しても鮮明な画像を表示することができる技術が開示されている（特許文献１参照）。

ところで、近年、一度の撮影で、３６０°の全天球画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている（特許文献２参照）。このデジタルカメラは、２つの半球画像データに基づいて１つの正距円筒射影画像データを作成し、スマートフォン等の通信端末に正距円筒射影画像データを送信する。正距円筒射影画像データを得た通信端末は、正距円筒射影画像データに基づいて全天球画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、通信端末に全天球画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。

しかしながら、例えば、全天球画像の一部の領域に、全天球画像とは別に撮影することで得られた平面画像を重畳する場合のように、射影方式が異なる一方の画像に他方の画像を重畳すると、画像のズレが生じるという課題が生じる。

請求項１に係る発明は、第１の射影方式の第１の画像と、第１の射影方式とは異なる第２の射影方式の第２の画像とを取得する取得手段と、前記第１の画像を前記第２の射影方式の第３の画像に変換する第１の射影方式変換手段と、前記第２の画像及び前記第３の画像からそれぞれ複数の特徴点を抽出する抽出手段と、前記抽出手段でそれぞれ抽出した前記第２の画像の複数の特徴点及び前記第３の画像の複数の特徴点に基づいて前記第３の画像における前記第２の画像に対応する第２の対応領域を求める対応領域算出手段と、前記第２の対応領域に含まれる所定の複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、前記第２の射影方式変換手段で変換した前記所定の複数の点の前記第１の画像における位置情報を求める位置算出手段と、前記位置算出手段により求めた位置情報を前記第２の画像の複数の点と対応付けて記憶する記憶手段と、を有することを特徴とする画像処理装置。である。

以上説明したように本発明によれば、射影方式が異なる一方の画像に他方の画像を重畳しても、画像のずれを抑制することができるという効果を奏する。

（ａ）は特殊撮影装置の左側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。 特殊撮影装置の使用イメージ図である。 （ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 本発明の第１の実施形態に係る撮影システムの概略図である。 アダプタの斜視図である。 撮影システムの使用イメージ図である。 特殊撮影装置のハードウェア構成図である。 一般撮影装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 第１の実施形態に係る撮影システムの機能ブロック図である。 （ａ）は連携撮影装置管理テーブルの概念図、（ｂ）連携撮影装置設定画面を示す概念図である。 第１の実施形態に係る画像・音処理部の詳細な機能ブロック図である。 重畳表示メタデータの構成図である。 （ａ）は第２の対応領域における各格子領域を示した概念図、（ｂ）は第３の対応領域における各格子領域を示した概念図である。 第１の実施形態に係る撮影方法を示したシーケンス図である。 重畳表示パラメータの作成処理の過程における画像の概念図である。 周辺領域画像を特定する際の概念図である。 第２の対応領域を複数の格子領域に分割する際の概念図である。 正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。 補正パラメータの作成処理の過程における画像の概念図である。 重畳の処理の課程における画像の概念図である。 全天球画像に平面画像を重畳した場合の二次元の概念図である。 全天球画像に平面画像を重畳した場合の三次元の概念図である。 本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。 本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。 （ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。 本発明の第２の実施形態に係る撮影システムの概略図である。 画像処理サーバのハードウェア構成図である。 第２の実施形態に係る撮影システムの機能ブロック図である。 第２の実施形態に係る画像・音処理部の詳細な機能ブロック図である。 第２の実施形態に係る撮影方法を示したシーケンス図である。

以下、図面を用いて、本発明の実施形態について説明する。なお、後述の全天球画像は第１の画像の一例であり、重畳画像は第２の画像の一例である。周辺領域画像は第３の画像の一例である。

〔実施形態の概要〕
以下、本実施形態の概要について説明する。

まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、特殊撮影装置１の外観を説明する。特殊撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮影装置の左側面図であり、図１（ｂ）は特殊撮影装置の背面図であり、図１（ｃ）は特殊撮影装置の平面図であり、図１（ｄ）は特殊撮影装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮影装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。特殊撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮影装置１の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。

また、特殊撮影装置１の底部１５０の中央には、カメラ用三脚に特殊撮影装置１や一般撮影装置３を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子１５３が設けられている。なお、HDMIは登録商標である。

次に、図２を用いて、特殊撮影装置１の使用状況を説明する。なお、図２は、特殊撮影装置の使用イメージ図である。特殊撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、特殊撮影装置１で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮影装置１で撮影された半球画像（前側）、図３（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（ea，aa）と画角（α）を用いて説明する。

図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
〔第１の実施形態〕
続いて、図８乃至図３０を用いて、本発明の第１の実施形態について説明する。

＜撮影システムの概略＞
まずは、図８を用いて、本実施形態の撮影システムの構成の概略について説明する。図８は、本実施形態の撮影システムの構成の概略図である。

図８に示されているように、本実施形態の撮影システムは、特殊撮影装置１、一般撮影装置３、スマートフォン５、及びアダプタ９によって構成されている。特殊撮影装置１はアダプタ９を介して一般撮影装置３に接続されている。

これらのうち、特殊撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。

一般撮影装置３は、デジタル一眼レフカメラであるが、コンパクトデジタルカメラであってもよい。一般撮影装置３には、後述の操作部３１５の一部であるシャッターボタン３１５ａが設けられている。

スマートフォン５は、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、特殊撮影装置１及び一般撮影装置３と無線通信を行なうことができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、特殊撮影装置１及び一般撮影装置３からそれぞれ取得した画像を表示することができる。

なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮影装置１及び一般撮影装置３と通信を行なうようにしてもよい。また、スマートフォン５は、画像処理装置の一例であり、画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォンは、後述の通信端末の一例でもある。

また、図９は、アダプタの斜視図である。図９に示されているように、アダプタ９は、シューアダプタ９０１、ボルト９０２、上部アジャスタ９０３、及び下部アジャスタ９０４によって構成されている。これらのうち、シューアダプタ９０１は、一般撮影装置３のアクセサリシューにスライドして取り付けられる。このシューアダプタ９０１の中心に、三脚ねじ穴１５１に回転して取り付けられるボルト９０２が設けられている。このボルト９０２には、回転可能に、上部アジャスタ９０３及び下部アジャスタ９０４が設けられている。上部アジャスタ９０３は、ボルト９０２に取り付けた物（例えば、特殊撮影装置１）を固定する役割を果たす。下部アジャスタ９０４は、シューアダプタ９０１を取り付けた物（例えば、一般撮影装置３）を固定する役割を果たす。

図１０は、撮影システムの使用イメージ図である。図１０に示されているように、利用者は、スマートフォン５を衣服のポケットに入れ、アダプタ９を用いて特殊撮影装置１を取り付けた一般撮影装置３で被写体等の撮影を行なう。なお、スマートフォン５は、衣服のポケットに入れずに、特殊撮影装置１や一般撮影装置３と無線通信可能な範囲に置いてもよい。

＜＜実施形態のハードウェア構成＞＞
次に、図１１及び図１３を用いて、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成を詳細に説明する。

＜特殊撮影装置のハードウェア構成＞
まず、図１１を用いて、特殊撮影装置１のハードウェア構成を説明する。図１１は、特殊撮影装置１のハードウェア構成図である。以下では、特殊撮影装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置１と同じ機能を有するようにしてもよい。

図１１に示されているように、特殊撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、特殊撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。

通信部１１７は、特殊撮影装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から特殊撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は、３軸方向の加速度を検出するセンサである。特殊撮影装置３ａは、加速度センサ１２０が検出した加速度に基づいて、自装置（特殊撮影装置３ａ）の姿勢（重力方向に対する角度）を算出する。特殊撮影装置３ａに、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。

端子１２１は、Micro USB用の凹状の端子である。

＜一般撮影装置のハードウェア構成＞
次に、図１２を用いて、一般撮影装置のハードウェアについて説明する。図１２は、一般撮影装置３のハードウェア構成図である。図１２に示されているように、一般撮影装置３は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、バス３１０、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、及びディスプレイ３１９によって構成されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。

各構成３０４、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１７ａ、３１８は、それぞれ、図１１の特殊撮影装置１における各構成１０４、１１０、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１７ａ、１１８と同様の構成であるため、その説明を省略する。

更に、一般撮影装置３の撮影ユニット３０１は、図１２に示されているように、撮像素子３０３の前面にレンズユニット３０６、及びメカニカルシャッタ３０７が外部から撮像素子３０３の方向に順に設けられている。

撮像制御ユニット３０５は、基本的に撮像制御ユニット１０５と同様の構成及び処理を行なうが、更に、操作部３１５によって受け付けられた利用者の操作に基づいて、レンズユニット３０６、及びメカニカルシャッタ３０７の駆動を制御する。

また、ディスプレイ３１９は、操作メニュー、撮影中又は撮影後の画像を表示させる表示手段の一例である。

＜スマートフォンのハードウェア構成＞
次に、図１３を用いて、スマートフォンのハードウェアについて説明する。図１３は、スマートフォンのハードウェア構成図である。図１３に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、後述の通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。

また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ−ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜実施形態の機能構成＞＞
次に、図１１乃至図１４を用いて、本実施形態の機能構成について説明する。図１４は、本実施形態の撮影システムの一部を構成する、特殊撮影装置１、一般撮影装置３、及びスマートフォン５の各機能ブロック図である。

＜特殊撮影装置の機能構成＞
まず、図１１及び図１４を用いて、特殊撮影装置１の機能構成について詳細に説明する。図１４に示されているように、特殊撮影装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、特殊撮影装置１は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（特殊撮影装置の各機能構成）
次に、図１１及び図１４を用いて、特殊撮影装置１の各機能構成について更に詳細に説明する。

特殊撮影装置１の受付部１２は、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３は、主に、図１１に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる２つの半球画像データである。

集音部１４は、図１１に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮影装置１の周囲の音を集音する。

画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮影部１３によって得られた撮影画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データ（図３（ａ），（ｂ）参照）に基づいて、正距円筒射影画像データ（図３（ｃ）参照）を作成する。

判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行なう。

近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９は、主に、図１１に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜一般撮影装置の機能構成＞
続いて、図１２及び図１４を用いて、一般撮影装置３の機能構成について詳細に説明する。図１４に示されているように、一般撮影装置３は、受付部３２、撮像部３３、集音部３４、画像・音処理部３５、表示制御部３６、判断部３７、近距離通信部３８、及び記憶・読出部３９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。

また、一般撮影装置３は、図１２に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４によって構築される記憶部３０００を有している。

（一般撮影装置の各機能構成）
一般撮影装置３の受付部３２は、主に、図１２に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部３３は、主に、図１２に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、並びにＣＰＵ３１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。

集音部３４は、図１２に示されているマイク３０８及び音処理ユニット３０９、並びにＣＰＵ３１１の処理によって実現され、一般撮影装置３の周囲の音を集音する。

画像・音処理部３５は、主にＣＰＵ３１１からの命令によって実現され、撮影部３３によって得られた撮影画像データ、又は集音部３４によって得られた音データに対して、各種処理を行なう。

表示制御部３６は、図１２に示されているＣＰＵ３１１の処理によって実現され、ディスプレイ３１９に、撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。

判断部３７は、ＣＰＵ３１１の処理によって実現され、各種判断を行なう。例えば、判断部３７は、利用者によって、シャッターボタン３１５ａが押下されたかを判断する。

近距離通信部３８は、主に、ＣＰＵ３１１、並びに通信部３１７及びアンテナ３１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部３９は、主に、図１２に示されているＣＰＵ３１１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１３乃至図１６を用いて、スマートフォン５の機能構成について詳細に説明する。図１４に示されているように、スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン５は、図１３に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、連携撮影装置管理ＤＢ５００１が構築されている。この連携撮影装置管理ＤＢ５００１は、図１５（ａ）連携撮影装置管理テーブルによって構成されている。図１５（ａ）は連携撮影装置管理テーブルの概念図である。

（連携撮影装置管理テーブル）
次に、図１５（ａ）を用いて、連携撮影装置管理テーブルについて説明する。図１５（ａ）に示されているように、撮影装置毎に、各撮影装置の連携関係を示す関連関係情報、撮影装置のＩＰアドレス、及び撮影装置の装置名が関連付けて管理されている。このうち、関連関係情報は、自装置のシャッターが押下されることで撮影を開始する一の撮影装置を「メイン」とし、「メイン」の撮影装置でシャッターが押下されることに応じて撮影を開始する他の撮影装置を「サブ」として示している。なお、ＩＰアドレスは、Wi-Fiによる通信の場合であって、ＵＳＢの有線ケーブルを用いた通信の場合には製造者ＩＤ(Identification)及び製品ＩＤに代わり、Bluetoothを用いた無線通信の場合には、ＢＤ(Bluetooth Device Address）に代わる。

（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図１３に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（例えば、他のスマートフォン、サーバ）との間で各種データ（または情報）の送受信を行う。

受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。

撮像部５３は、主に、図１３に示されているＣＭＯＳセンサ５０５，５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。

集音部５４は、図１３に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。

画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮影部５３によって得られた撮影画像データ、又は集音部５４によって得られた音データに対して、各種処理を行なう。

表示制御部５６は、図１３に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。また、表示制御部５６は、画像・音処理部５５によって作成された重畳表示メタデータを利用して、後述の平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示する。なお、位置パラメータは「位置情報」の一例である。補正パラメータは「補正情報」の一例である。

判断部５７は、図１３に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。

近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及びアンテナ５１９ａによって実現され、特殊撮影装置１の近距離通信部１８、一般撮影装置３の近距離通信部３８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部５９は、主に、図１３に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、重畳表示メタデータ等の各種データ（または情報）を記憶したり、記憶部５０００から重畳表示メタデータ等の各種データ（または情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。

（画像・音処理部の詳細な各機能構成）
ここで、図１６を用いて、画像・音処理部５５の各機能構成について詳細に説明する。図１６は、画像・音処理部の詳細な機能ブロック図である。

画像・音処理部５５は、大きく分けて、エンコードを行なうメタデータ作成部５５ａとデコードを行なう重畳部５５ｂを有している。メタデータ作成部５５ａは、図１９に示されている後述のステップＳ２２の処理を実行する。また、重畳部５５ｂは、図１９に示されている後述のステップＳ２３の処理を実行する。

｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部５５ａの各機能構成について説明する。メタデータ作成部５５ａは、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０を有している。なお、明るさや色の補正をする必要がない場合、形状変換部５６４及び補正パラメータ作成部５６６は不要である。また、以下に説明する画像や領域を示す符号は図２０に示されている。図２０は、重畳表示パラメータの作成処理の過程における画像の概念図である。

抽出部５５０は、各画像の局所特徴に基づき特徴点を抽出する。局所特徴とはエッジやブロブなど画像内に見られるパターンや構造で、局所特徴を数値化したものが特徴量である。本実施形態では、抽出部５５０は、異なる画像で各特徴点を抽出する。抽出部５５０が用いられる２つの画像は、歪みが著しく大きくない限り、本実施形態のように異なる射影方式であってもよい。例えば、抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣと、透視射影方式によって得られた長方形の平面画像Ｐとの間、及び、平面画像Ｐと、射影方式変換部５５６によって変換された後の周辺領域画像ＰＩとの間で用いられる。なお、正距円筒射影方式は第１の射影方式の一例であり、透視射影方式は第２の射影方式の一例である。また、正距円筒射影画像は第１の射影画像の一例であり、平面画像Ｐは第２の射影画像の一例である。

第１の対応領域算出部５５２は、最初に正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１に基づいた各特徴量ｆｖ１を求めるとともに、平面画像Ｐにおける複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においては、スケールや回転に対して不変又は頑強であることが望ましい。第１の対応領域算出部５５２は、続いて算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２に対する特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第１のホモグラフィ変換を行なう。その結果、第１の対応領域算出部５５２は、第１の対応領域ＣＡ１を算出する。この場合、平面画像Ｐの４頂点から成る四角形（矩形）の中心点ＣＰ１は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１に変換される。

なお、平面画像Ｐの４頂点の頂点座標を、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）とすると、第１の対応領域算出部５５２は、以下に示す（式２）に基づいて、中心点ＣＰ１（ｘ，ｙ）を定めることができる。

図２０では平面画像Ｐの画像形状が長方形であるが、対角線の交点を用いることによって正方形、台形、菱形等、さまざまな四角形の部分画像に対しても中心座標を算出することができる。平面画像Ｐの画像形状が、長方形、正方形に限定される場合は、計算の省略化のため、対角線の中点を部分画像の中心座標ＰＣとしてよい。対角線Ｐ１Ｐ３の中点の算出する場合の（式３）を以下に示す。

注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（本実施形態では「注視点」という）を特定する。

ところで、注視点ＧＰ１の座標は、正距円筒射影画像ＥＣ上の座標であるため、緯度及び経度の表現に変換すると都合が良い。具体的には、正距円筒射影画像ＥＣの垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。このようにすることで、緯度・経度座標から、正距円筒射影画像ＥＣの画像サイズに対応した画素位置座標を算出することができる。

射影方式変換部５５６は、正距円筒射影画像ＥＣ内の注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換することで、周辺領域画像ＰＩを作成する。この場合、注視点ＧＰ１が変換された後の点を中心点ＣＰ２として、平面画像Ｐの対角画角αと同じ画角を垂直画角（又は水平画角）とした場合に特定することができる正方形の周辺領域画像ＰＩを結果的に作成することができるように、射影変換元の周辺領域ＰＡを特定する。以下、更に詳細に説明する。

（射影方式の変換）
まず、射影方式の変換について説明する。図３乃至図５を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部５５６による変換式は、正距円筒射影画像ＥＣにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式４）で表わすことができる。
(x, y, z) = (cos(ea) × cos(aa), cos(ea) × sin(aa), sin(ea)) ・・・(式４)

但し、このときの立体球ＣＳの半径は１とする。

一方で、透過射影画像である平面画像Ｐは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、平面画像Ｐを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式５）で表わすことができる。
u = r × cos(a), v = r × sin(a) ・・・(式５)
次に、この（式５）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視射影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式６）、（式７）で表わすことができる。
r = tan(極角) ・・・（式６）
a = 方位角 ・・・（式７）
ここで極角をtすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。

また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式８）で表わすことができる。
(x, y, z) = (sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式８）
上記の（式８）により、正距円筒射影方式による正距円筒射影画像ＥＣと、透視射影方式による平面画像Ｐの相互変換ができるようになった。即ち、作成すべき平面画像Ｐの対角画角αに対応する動径rを用いることで、平面画像Ｐの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣから、透視射影画像である周辺領域画像ＰＩを作成することができる。

ところで、上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である周辺領域画像ＰＩの中心点ＣＰ２となるような変換を示している。そこで、正距円筒射影画像ＥＣの任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。

この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。

（周辺領域画像の特定）
次に、図２１を用いて、周辺領域画像ＰＩの領域を特定する方法について説明する。なお、図２１は、周辺領域画像を特定する際の概念図である。

対応領域算出部５５２が、平面画像Ｐと周辺領域画像ＰＩの対応関係を判断するにあたって、周辺領域画像ＰＩ内に第２の対応領域ＣＡ２ができるだけ広く含まれていることが望ましい。よって、周辺領域画像ＰＩを広い領域に設定すれば、第２の対応領域ＣＡ２を含まないという事態は生じない。しかし、周辺領域画像ＰＩを、あまりにも広い領域に設定すると、その分だけ類似度を算出する対象の画素が増えるため、処理に時間が掛かってしまう。そのため、極力、周辺領域画像ＰＩの領域は第２の対応領域ＣＡ２を含む範囲内で小さい方が良い。そこで、本実施形態では、以下に示すような方法で、周辺領域画像ＰＩを特定する。

本実施形態では、周辺領域画像ＰＩの特定に、平面画像の３５ｍｍ換算焦点距離を使用するが、これは撮影時に記録されるExifデータから取得される。３５ｍｍ換算焦点距離は、いわゆる24mm x 36mmのフィルムサイズを基準とした焦点距離であるため、このフィルムの対角と、焦点距離から以下の算出式（式９）、（式１０）で対応する対角画角を算出することができる。
フィルム対角 = sqrt(24*24 + 36*36) ・・・（式９）
合成用画像画角/2 = arctan((フィルム対角/2)/合成用画像35mm換算焦点距離)・・（式１０）
ところで、この画角をカバーする画像は円形となるのだが、実際の撮像素子（フィルム）は長方形なので円に内接する長方形画像となっている。本実施形態では、周辺領域画像ＰＩの垂直画角αを、平面画像Ｐの対角画角αと同じになるように設定する。これにより、図２１（ｂ）に示されている周辺領域画像ＰＩは、図２１（ａ）に示されている平面画像Ｐの対角画角αをカバーする円に外接する正方形となり、垂直画角αは、下記（式１１）、(式１２)で示されているように、正方形の対角と平面画像Ｐの焦点距離から算出できる。
正方形対角=sqrt(フィルム対角*フィルム対角+フィルム対角*フィルム対角)・・・（式１１）
垂直画角α/2 = arctan((正方形対角/2) / 平面画像の35mm換算焦点距離))・・・（式１２）
このような垂直画角αで射影変換することで、注視点を中心に平面画像Ｐの対角画角αにおける画像をできるだけ広くカバーでき、かつ垂直画角αが大きくなりすぎない周辺領域画像ＰＩ（透視射影画像）を作成することができる。

（位置情報の算出）
続いて、図１６に戻り、第２の対応領域算出部５５８は、平面画像Ｐにおける複数の特徴点ｆｐ２と周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３を算出する。算出された各特徴量ｆｖ２，ｆｖ３の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。その結果、第２の対応領域算出部５５８は、第２の対応領域ＣＡ２を算出する。

なお、第１のホモグラフィ変換の前に、第１のホモグラフィの算出時間を早めるために、平面画像Ｐ及び正距円筒射影画像ＥＣのうちの少なくとも一方の画像サイズをリサイズしてもよい。例えは、平面画像Ｐが４０００万画素で、正距円筒射影画像ＥＣが３０００万画素の場合、平面画像Ｐを３０００万画素にリサイズしたり、両画像を１０００万画素になるようにそれぞれの画像をリサイズしたりする。同様に、第２のホモグラフィ算出の前に、平面画像Ｐ及び周辺領域画像ＰＩの少なくとも一方の画像サイズをリサイズしてもよい。

また、本実施形態でのホモグラフィは、正距円筒射影画像ＥＣと平面画像Ｐとの射影関係を表す変換行列であり、平面画像Ｐにおける座標に、ホモグラフィ算出処理で算出したホモグラフィ変換行列を乗算することで、正距円筒射影画像ＥＣ（全天球画像ＣＥ）上での対応座標を算出することができる。

領域分割部５６０は、画像における一部の領域を複数の格子領域に分割する。ここで、図２２を用いて、第２の対応領域を複数の格子領域に分割する方法を詳細に説明する。なお、図２２は、第２の対応領域を複数の格子領域に分割する際の概念図である。

領域分割部５６０は、図２２（ａ）に示されているように、対応領域算出部５５２が第２のホモグラフィ変換により算出した第２の対応領域ＣＡ２の頂点座標の４つの頂点から成る四角形を、図２２（ｂ）に示されているように、複数の格子領域ＬＡ２に分割する。例えば、水平方向に３０、垂直方向に２０ほど均等分割する。

次に、複数の格子領域ＬＡ２の具体的な分割方法について説明する。

まず、第２の対応領域ＣＡ２を均等に分割する算出式を示す。２点をA(X1，Y1)、B(X2，Y2)として、その２点間の線分を等間隔にｎ個に分割する場合、Ａからｍ番目にあたる点Ｐｍの座標は、以下に示す（式１３）によって算出される。
Pm = ( X1 + (X2 − X1) ×m / n， Y1 + (Y2 − Y1) × m / n )・・・（式１３）
上記の（式１３）によって、線分を均等に分割した座標が算出できるため、四角形の上辺、下辺をそれぞれ分割した座標を求め、分割した座標から成る線分をさらに分割すればよい。四角形の左上、右上、右下、左下の各座標をそれぞれＴＬ，ＴＲ，ＢＲ，ＢＬとした場合、線分ＴＬ−ＴＲおよび線分ＢＲ−ＢＬを均等に３０分割した座標を求める。次に、０から３０番目まで分割された各座標において、同じ順番に対応する座標同士から成る線分に対し、均等に２０分割した座標を求める。これにより、四角形領域を３０×２０個の小領域に分割するための座標を求めることができる。図２２（ｂ）では、座標一例として、ＴＬの座標(LO_00,00，LA_00,00)を示している。

続いて、図１６及び図２０に戻り、射影方式逆変換部５６２は、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出する。具体的には、射影方式逆変換部５６２は、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２における複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。第３の対応領域ＣＡは、図２０に示されているが、拡大図として、図２３にも示されている。なお、図２３は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。これにより、平面画像Ｐは、最終的に第３の対応領域ＣＡ３に合わせるように（マッピングするように）、正距円筒射影画像ＥＣによって作成された全天球画像ＣＥに重畳表示される。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。位置パラメータは、図１７及び図１８（ｂ）に示されている。なお、格子点は複数の点の一例である。

以上、位置パラメータを作成することにより、正距円筒射影画像ＥＣと平面画像Ｐの位置関係を算出することができる。

ところで、位置パラメータは算出されたが、このまま重畳表示を行う場合、正距円筒射影画像ＥＣと平面画像Ｐとで明るさや色味が大きく異なる場合に、不自然な重畳表示となることがある。そのため、以下に示す形状変換部５６４及び補正パラメータ作成部５６６は、明るさや色味が大きく異なる場合であっても、不自然な重畳表示となることを防止する役割を果たす。

形状変換部５６４は、後述の色合わせに先立って、第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換する。具体的には、図２４（ａ）に示されている第２の対応領域ＣＡ２の各格子領域ＬＡ２を、図２４（ｃ）に示されている平面画像Ｐの各格子領域ＬＡ０に合わせるために、第２の対応領域ＣＡ２の形状を平面画像Ｐと同じ形状に変換する。これにより、図２４（ａ）に示されている第２の対応領域ＣＡ２は、図２４（ｂ）に示されている第２の対応領域ＣＡ２’に形状が変換される。これに伴い、格子領域ＬＡ２が格子領域ＬＡ２’に変換されるため、平面画像Ｐの格子領域ＬＡ０と同じ形状となる。

補正パラメータ作成部５６６は、同じ形状に変換後の第２の対応領域ＣＡ２’における各格子領域ＬＡ２’の明るさ値及び色値に対して、各格子領域ＬＡ２’と同じ形状である平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する。具体的には、補正パラメータ作成部５６６は、各格子点ＬＡ０の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ，Ｇ，Ｂ)の平均値ａ= (Ｒ_ave，Ｇ_ave，Ｂ_ave）を算出し、各格子点ＬＡ２’の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ’，Ｇ’，Ｂ’）の平均値ａ’ = (Ｒ’_ave，Ｇ’_ave，Ｂ’_ave）を算出する。なお、上記各格子点ＬＡ０の１点および各格子点ＬＡ２’の１点が第２の対応領域ＣＡ２および第３の対応領域ＣＡ３の４隅の場合、補正パラメータ作成部５６６は、１つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。また、上記各格子点ＬＡ０の１点および各格子点ＬＡ２’の１点が第２の対応領域ＣＡ２第３の対応領域ＣＡ３の外周の点の場合、補正パラメータ作成部５６６は、内側２つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。そして、補正パラメータは、本実施形態では、平面画像Ｐの明るさ値及び色値を補正するためのゲインデータとなるため、以下の（式１４）に示されているように、平均値ａ’を平均値ａで除算することで、補正パラメータＰａを求める。
Pa = a’/ a・・・（式１４）
これにより、後述の重畳表示において、補正パラメータが示すゲイン値を、格子領域ＬＡ０毎に乗算することで、平面画像Ｐの色味および明るさが、正距円筒射影画像ＥＣ（全天球画像ＣＥ）の画素値と近くなり、見た目が違和感なく重畳表示することが可能となる。なお、補正パラメータは、平均値から算出されるだけでなく、平均値に代えて又は平均値に加えて、中央値、最頻値等を使って算出されるようにしてもよい。

また、本実施形態では明るさ値および色値の補正値の算出に画素値（R，G，B）を使用したが、輝度および色差信号であるYUVフォーマットや、JPEGのsYCC(YCbCr)フォーマット等における輝度値、色差値を用いて、同様の方法にて格子領域を構成する全ての画素の輝度値および色差値の平均値を求め、その平均値を除算することにより後述の重畳表示における補正パラメータとしてもよい。なお、RGB値からYUV、sYCC(YCbCr)に変換する方法は公知であるため詳細は省略するが、参考として（式１５）を用いて、JPEG圧縮画像のフォーマットJFIF(JPEG file interchange format)形式のRGBからYCbCrへ変換する例を挙げる。

重畳表示メタデータ作成部５７０は、位置パラメータ及び補正パラメータ等を用いて、全天球画像ＣＥに対して平面画像Ｐを重畳する際の位置、並びに明るさ値及び色値の補正値を示す重畳表示メタデータを作成する。

（重畳表示メタデータ）
続いて、図１７を用いて、重畳表示メタデータのデータ構造について説明する。図１７は、重畳表示メタデータのデータ構造である。

図１７に示されているように、重畳表示メタデータは、正距円筒射影画像情報、平面画像情報、重畳表示情報、及びメタデータ作成情報によって構成されている。

これらのうち、正距円筒射影画像情報は、特殊撮影装置１から撮影画像データと共に送られて来た情報である。正距円筒射影画像情報は、画像識別情報及び付属情報を含んでいる。正距円筒射影画像情報における画像識別情報は、正距円筒射影画像を識別するための画像識別情報である。図１７では、正距円筒射影画像情報における画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。

また、正距円筒射影画像情報における付属情報は、正距円筒射影画像情報に付属する関連情報である。図１７では、付属情報の一例として、特殊撮影装置１で撮影された際に得られた正距円筒射影画像データの姿勢補正情報(Pitch，Yaw，Roll)が示されている。この姿勢補正情報は、特殊撮影装置１の画像記録フォーマットとして規格化されているExif(Exchangeable image file format)で格納されている場合があり、GPano(Google Photo Sphere schema)で提供されている各種フォーマットで格納されている場合もある。全天球画像は、同じ位置で撮影すれば、姿勢が異なっていても３６０°全方位の画像が撮影できるという特徴があるが、全天球画像ＣＥを表示する場合に、姿勢情報や、どこを画像の中心にするか（注視点）を指定しなければ表示位置が決まらない。そのため、一般的には天頂が撮影者の真上に来るように全天球画像ＣＥを補正して表示する。これにより、水平線が真っ直ぐに補正された自然な表示が可能となる。

次に、平面画像情報は、一般撮影装置３から撮影画像データと共に送られて来た情報である。平面画像情報は、画像識別情報及び付属情報を含んでいる。平面画像情報における画像識別情報は、平面画像Ｐを識別するための画像識別情報である。図１７では、画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。

また、平面画像情報における付属情報は、平面画像情報に付属する関連情報である。図１７では、平面画像情報における付属情報の一例として、３５ｍｍ換算焦点距離の値が示されている。３５ｍｍ換算焦点距離の値は、全天球画像ＣＥに平面画像Ｐを重畳して表示するために必須ではないが、重畳表示を行う場合に表示する画角を決めるための参考情報となるため、例として挙げている。

次に、重畳表示情報は、スマートフォン５で作成された情報であり、領域分割数情報、各格子領域の格子点の位置（位置パラメータ）、及び明るさ値及び色値の補正値（補正パラメータ）を含んでいる。これらのうち、領域分割数情報は、第１の対応領域ＣＡ１を複数の格子領域に分割する際の水平（経度）方向の分割数及び垂直（緯度）方向の分割数を示している。

また、位置パラメータは、平面画像Ｐを格子状の複数の領域に分割した場合の各格子点が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの位置に配置されるかを示す頂点マッピング情報である。補正パラメータは、本実施形態では、平面画像Ｐの色値を補正するためのゲインデータである。なお、補正対象がモノクロ画像の場合もあるため、補正パラメータは、明るさ値及び色値のうち少なくとも明るさ値を合わせるためのパラメータである。

ところで、全天球画像ＣＥを得る場合、平面画像Ｐと同じ射影方式である透視射影方式を用いると、３６０°の全方位の撮影ができない。そのため、全天球画像ＣＥの一部の領域に、全天球画像ＣＥとは別に撮影することで得られた平面画像Ｐを重畳しようとしても、正距円筒射影画像ＥＣと平面画像Ｐは射影方式が異なるため、正距円筒射影画像ＥＣ（全天球画像ＣＥ）と平面画像Ｐが合わず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そのため、全天球画像のように広い画角の画像は、射影方式の１つとして、正距円筒射影方式で作成されることが多い。しかし、正距円筒射影方式を用いると、いわゆるメルカトル図法のように標準緯線から離れるほど横方向の長さが拡大されるため、一般的なカメラで採用されている透視射影方式の画像とは大きく異なった画像となる。よって、単純に画像の縮尺だけを変更して重ね合わせても画像が一致せず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そこで、本実施形態では、図２０に示されている処理により、位置パラメータを作成する。

ここで、図１８を用いて、位置パラメータ及び補正パラメータについて詳細に説明する。図１８（ａ）は第２の対応領域における各格子領域を示した概念図である。図１８（ｂ）は第３の対応領域における各格子領域を示した概念図である。

図１８（ａ）に示されているように、正距円筒射影画像ＥＣの一部の領域である第１の対応領域ＣＡ１が平面画像Ｐと同じ透視射影方式に変換されることで得られる第２の対応領域ＣＡ２は、本実施形態では、水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図１８（ａ）には、各格子領域の格子点の座標(LO_00,00，LA_00,00)，(LO_01,00，LA_01,00)，…，(LO_30,20，LA_30,20)、及び、各格子領域の格子点における明るさ値及び色値の補正値(R_00,00，G_00,00，B_00,00)，(R_01,00，G_01,00，B_01,00)，…，(R_30,20，G_30,20，B_30,20)が示されている。なお、図面を簡略化するため、４頂点における格子点の座標、並びに明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標、並びに明るさ値及び色値の補正値が存在する。また、各明るさ値及び色値の補正値R,G,Bは、それぞれ赤色の補正ゲイン、緑色の補正ゲイン、青色の補正ゲインを示している。各明るさ値及び色値の補正値R,G,Bは、実際には、各格子点の座標を中心とする所定範囲（隣の格子点の所定範囲と重ならない範囲）内の画像の明るさ値及び色値の補正値を示している。

一方、図１８（ｂ）に示されているように、第２の対応領域ＣＡ２が正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換されることで得られた第３の対応領域ＣＡ３は、本実施形態では、同じく水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図１８（ｂ）には、各格子領域の格子点の座標(LO’_00,00，LA’_00,00)，(LO’_01,00，LA’_01,00)，…，(LO’_30,20，LA’_30,20)の座標、及び、第２の対応領域ＣＡ２の各補正値と同じ値の明るさ値及び色値の補正値が示されている。この場合も、図面を簡略化するため、４頂点における格子点の座標及び明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標と明るさ値及び色値の補正値が存在する。

次に、メタデータ作成情報は、重畳表示メタデータのバージョンを示すバージョン情報を示している。

なお、上記のように、位置パラメータは、平面画像Ｐと正距円筒射影画像ＥＣ（全天球画像ＣＥ）のそれぞれの位置対応関係を示すものである。しかし、位置パラメータで、平面画像Ｐの全ての画素位置が正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの座標に対応付けられるかの情報を表わそうとすると、一般撮影装置３が高画素数のデジタルカメラの場合、約４０００万画素数分の情報を表わさなければならない。そのため、位置パラメータのデータ量が多くなり、データ記憶等の扱いが大変である。そこで、本実施形態の位置パラメータは、平面画像Ｐを６００個（３０×２０）の領域に分割することで、平面画像の格子点の座標が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどこに対応するかを示すだけのデータを示している。また、スマートフォン５は重畳表示する場合には、格子点の座標から各領域内の画像の位置を補間することで、重畳表示を実現することができる。

｛重畳部の機能構成｝
続いて、図１６を用い、重畳部５５ｂの機能構成について説明する。重畳部５５ｂは、貼付領域作成部５８２、補正部５８４、画像作成部５８６、重畳部５８８、及び射影変換部５９０を有している。

これらのうち、貼付領域作成部５８２は、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する領域部分（以下、「部分立体球」という）ＰＳを作成する。

補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう。なお、補正部５８４は、必ずしも明るさや色の補正を行なう必要はない。また、補正部５８４が補正パラメータによって補正を行なう場合、明るさの補正を行なっても、色の補正を行なわなくてもよい。

画像作成部５８６は、部分立体球ＰＳに対して、平面画像Ｐ（または、平面画像Ｐを補正した後の補正画像Ｃ）を貼り付けることで、重畳画像Ｓを作成する。また、画像作成部５８６は、部分立体球ＰＳの領域に基づいて、マスクデータＭを作成する。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。

ここで、マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳する場合に用いることが可能な透過比率データである。マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさ及び色を、内側の重畳画像Ｓ側から外側の全天球画像ＣＥ側に徐々に近づけるために、マスク周辺の透過度が、内側から外側に向けて徐々に重畳画像Ｓ寄りから全天球画像ＣＥ寄りに高くなっている。これにより、全天球画像ＣＥに重畳画像Ｓが重畳されても、極力、重畳されたことが分からないようにすることができる。なお、マスクデータＭの作成は、必須ではない。

重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔを、ディスプレイ５１７で見ることができるように射影変換する。また、射影変換部５９０は、射影変換する際に、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。具体的には、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも小さい場合には、射影変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように拡大する。一方、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも大きい場合には、射影変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように縮小する。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。

＜＜実施形態の処理又は動作＞＞
続いて、図１９乃至図３０を用いて、本実施形態の処理又は動作について説明する。まず、図１９を用いて、撮影システムが実行する撮影方法を説明する。図１９は、本実施形態に係る撮影方法を示したシーケンス図である。なお、以下では、被写体や風景等の撮影を行なう場合について説明するが、撮影と同時に集音部１４によって周囲の音を録音してもよい。

図１９に示されているように、スマートフォン５の受付部５２は、利用者から連携撮影開始を受け付ける（ステップＳ１１）。この場合、図１５（ｂ）に示されているように、表示制御部５６が、図１５（ｂ）に示されている連携撮影装置設定画面をディスプレイ５１７に表示させる。この画面には、撮影装置毎に、連携撮影する際のメインの撮影装置を指定するためのラジオボタン、連携撮影する際のサブの撮影装置を指定（選択）するためのチェックボックスが表示されている。更に、撮影装置毎に、撮影装置の装置名及び電波の受信強度が表示されている。そして、利用者が所望の撮影装置をメイン及びサブとして指定（選択）して、「確定」ボタンを押下することで、受付部が連携撮影開始を受け付ける。なお、サブの撮影装置は複数であってもよいため、チェックボックスにして複数の撮影装置を指定（選択）することができるようになっている。

そして、スマートフォン５の近距離通信部５８は、一般撮影装置３の近距離通信部３８に対して、ポーリングにより、撮影開始の問い合わせを示す撮影開始問合情報を送信する（ステップＳ１２）。これにより、一般撮影装置３の近距離通信部３８は、撮影開始問合情報を受信する。

次に、一般撮影装置３の判断部３７は、受付部３２が利用者からシャッターボタン３１５ａの押下を受け付けるか否かにより、撮影開始を行なったか否かを判断する（ステップＳ１３）。

次に、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１３による判断結果に応じた応答内容を示す応答情報を送信する（ステップＳ１４）。ステップＳ１３によって撮影が開始されたと判断された場合には、応答情報は、撮影開始を示す撮影開始情報を含む。この場合、応答情報は、一般撮影装置３の画像識別情報も含んでいる。一方、ステップＳ１３によって撮影が開始されたと判断されない場合には、応答情報は、撮影待機を示す撮影待機情報を含む。これにより、スマートフォン５の近距離通信部５８は、応答情報を受信する。

続いて、ステップＳ１３によって、撮影が開始されたと判断された場合、及びステップＳ１４によって受信された応答情報が撮影開始情報を含む場合について説明する。

まず、一般撮影装置３は、撮影を開始する（ステップＳ１５）。この撮影の処理は、シャッターボタン３１５ａが押下された後、撮像部３３が被写体や風景等を撮像することで撮影画像データ（ここでは、平面画像データ）し、記憶・読出部３９が記憶部３０００に撮影画像データを記憶するまでの処理である。

次に、スマートフォン５では、近距離通信部５８が、特殊撮影装置１に対して、撮影開始の要求を示す撮影開始要求情報を送信する（ステップＳ１６）。これにより、特殊撮影装置１の近距離通信部１８は撮影開始要求情報を受信する。

一方、特殊撮影装置１は、撮影を開始する（ステップＳ１７）。この撮影の処理は、撮像部１３が被写体や風景等を撮影して撮影画像データ（図３（ａ），（ｂ）に示されているような２つの半球画像データ）を生成し、画像・音処理部１５が、２つの半球画像データに基づいて、図３（ｃ）に示されているような単一の正距円筒射影画像データを作成して、記憶・読出部１９が記憶部１０００に正距円筒射影画像データを記憶するまでの処理である。

次に、スマートフォン５では、近距離通信部５８が、一般撮影装置３に対して、撮影画像を要求する旨を示す撮影画像要求情報を送信する（ステップＳ１８）。この撮影画像要求情報には、ステップＳ１４で受信された画像識別情報が含まれている。これにより、一般撮影装置３の近距離通信部３８は撮影画像要求情報を受信する。

次に、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１５によって得られた平面画像データを送信する（ステップＳ１９）。この際、送信される平面画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１７に平面画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、平面画像データ、画像識別情報、及び付属情報を受信する。

一方、特殊撮影装置１の近距離通信部１８は、スマートフォン５に対して、ステップＳ１８によって得られた正距円筒射影画像データを送信する（ステップＳ２０）。この際、送信される正距円筒射影画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１７に正距円筒射影画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、正距円筒射影画像データ、画像識別情報、及び付属情報を受信する。

次に、スマートフォン５の記憶・読出部５９は、ステップＳ１９によって受信された平面画像データの電子ファイルと、及びステップＳ２０によって受信された正距円筒射影画像データの電子ファイルを同一の電子フォルダに格納して、記憶部５０００に記憶する（ステップＳ２１）。

次に、スマートフォン５の画像・音処理部５５は、低精細画像である全天球画像ＣＥの一部の領域に高精細画像である平面画像Ｐを重畳して表示する際に利用する、重畳表示用メタデータを作成する（ステップＳ２２）。この際、記憶・読出部５９が、記憶部５０００に重畳表示用メタデータを記憶する。

ここで、主に、図２０乃至図２４を用いて、重畳表示用メタデータの作成処理について詳細に説明する。なお、一般撮影装置３と特殊撮影装置１の撮像素子の解像度が、たとえ同じであっても、特殊撮影装置１の撮像素子は３６０°全天球画像ＣＥの元になる正距円筒射影画像を全て網羅しなければならないため、撮影画像における一定領域あたりの精細度が低くなる。

｛重畳表示用メタデータの作成処理｝
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像Ｐを重畳してディスプレイ５１７に表示するための重畳表示用メタデータの作成処理について説明する。重畳表示用メタデータは、図１７に示されているように、位置パラメータ及び補正パラメータを含んでいるため、主に、位置パラメータ及び補正パラメータの作成方法について説明する。

抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１、及び透視射影方式によって得られた長方形の平面画像Ｐにおける複数の特徴点ｆｐ２を抽出する（ステップＳ１１０）。

次に、第１の対応領域算出部５５２は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２との類似度に基づき、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する（ステップＳ１２０）。より具体的には、第１の対応領域算出部５５２は、算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを求めることで得られる第１のホモグラフィ変換によって、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する。この処理は、正距円筒射影画像ＥＣに対して射影方式が異なる平面画像Ｐを正確に対応付けることができないが、ひとまず大まかに対応位置を推定するための処理（仮決め処理）である。

次に、注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（注視点ＧＰ１）を特定する（ステップＳ１３０）。

次に、射影方式変換部５５６は、図２１に示されているように、周辺領域画像ＰＩの垂直画角αが平面画像Ｐの対角画角αと同じになるようにすることで、結果的に周辺領域画像ＰＩが作成できるように、正距円筒射影画像ＥＣ内で注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換する（ステップＳ１４０）。

次に、抽出部５５０は、射影方式変換部５５６によって得られた周辺領域画像ＰＩにおける複数の特徴点ｆｐ３を抽出する（ステップＳ１５０）。

次に、第２の対応領域算出部５５８は、第２のホモグラフィ変換によって、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２と、周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３との類似度に基づき、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ１６０）。なお、平面画像Ｐは、例えば４０００万画素の高精細な画像であるため、予め適切な大きさにリサイズしておく。

次に、領域分割部５６０は、図２２（ｂ）に示されているように、第２の対応領域ＣＡ２を複数の格子領域ＬＡ２に分割する（ステップＳ１７０）。

次に、射影方式逆変換部５６２は、図２０に示されているように、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に変換（逆変換）する（ステップＳ１８０）。これにより、射影方式逆変換部５６２は、図２３に示されているように、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２内の複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。なお、図２３は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。
位置パラメータは、上述のように、図１７及び図１８（ｂ）に示されている。

続いて、図２０及び図２４を用いて、補正パラメータの作成処理について説明する。図２４は、補正パラメータの作成処理の過程における画像の概念図である。

ステップＳ１８０の処理後、形状変換部５６４は、図２４（ａ）に示されているような第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換し、図２４（ｂ）に示されているような第２の対応領域ＣＡ２’を得る（ステップＳ１９０）。

次に、領域分割部５６０は、図２４（ｃ）に示されているように、平面画像Ｐを、変換後の第２の対応領域ＣＡ２’における各格子領域ＬＡ２’と同じ形状で同じ数である複数の格子領域ＬＡ０に分割する（ステップＳ２００）。

次に、補正パラメータ作成部５６６は、第２の対応領域ＣＡ２’における各格子領域ＬＡ２’の色値に対して、各格子領域ＬＡ２’に対応する平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する（ステップＳ２１０）。

最後に、重畳表示メタデータ作成部５７０は、図１７に示されているように、特殊撮影装置１から取得した正距円筒射影画像情報、一般撮影装置３から取得した平面画像情報、予め定められている領域分割数情報、射影方式逆変換部５６２によって作成された位置パラメータ、補正パラメータ作成部５６６によって作成された補正パラメータ、及びメタデータ作成情報に基づいて、重畳表示メタデータを作成する（ステップＳ２２０）。この重畳表示メタデータは、記憶・読出部５９によって、記憶部５０００に記憶される。

以上より、図１９に示されているステップＳ２２の処理が終了する。そして、記憶・読出部５９及び表示制御部５６は、重畳表示メタデータを用いて、重畳の処理を行なう（ステップＳ２３）。

｛重畳の処理｝
続いて、図２５乃至図３０を用いて、重畳の処理について詳細に説明する。図２５は、重畳の処理の過程における画像の概念図である。

まず、図１４に示されている記憶・読出部５９（取得部）が、予め、記憶部５０００から、正距円筒射影方式によって得られた正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた平面画像Ｐのデータ、及び重畳表示メタデータを読み出して取得しておく。

次に、貼付領域作成部５８２は、図２５に示されているように、位置パラメータに基づき、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する部分立体球ＰＳを作成する（ステップＳ３１０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。

次に、補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう（ステップＳ３２０）。以降、補正後の平面画像Ｐは、「補正画像Ｃ」という。

次に、画像作成部５８６は、部分立体球ＰＳに対して、補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する（ステップＳ３３０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。また、画像作成部５８６は、部分立体球ＰＳに基づいて、マスクデータＭを作成する（ステップＳ３４０）。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、重畳部５８８は、全天球画像ＣＥに対して、マスクデータＭを用いて重畳画像Ｓを重畳する（ステップＳ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

次に、射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影変換する（ステップＳ３７０）。この際、射影変換部５９０は、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑの表示の処理を行なうことができる（ステップＳ２４）。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。

続いて、図２６乃至図３０を用いて、重畳表示された状態について詳細に説明する。図２６は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図５に対して、平面画像Ｐを重畳している場合を示している。図２６に示されているように、高精細な重畳画像Ｓは、立体球ＣＳに張り付けられた低精細な全天球画像ＣＥに対し、位置パラメータに従って、立体球ＣＳの内側に重畳されている。

図２７は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図２７では、立体球ＣＳに全天球画像ＣＥ及び重畳画像Ｓが貼り付けられ、重畳画像Ｓを含む画像が所定領域画像Ｑとなっている状態を表している。

図２８は、本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。図２９は、本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。

図２８（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図２８（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図２８（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。

これに対して、本実施形態では、複数の格子領域によって示された位置パラメータを用いているため、図２９（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図２９（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図２９（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。

図３０（ａ）は重畳表示しない場合のワイド画像の表示例、図３０（ｂ）は重畳表示しない場合のテレ画像の表示例、図３０（ｃ）は重畳表示する場合のワイド画像の表示例、図３０（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。

図３０（ａ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示しない場合、図３０（ａ）における波線で示される領域まで拡大表示すると、図３０（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図３０（ｃ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示する場合、図３０（ｃ）における波線で示される領域まで拡大表示すると、図３０（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、射影方式が異なる一方の画像（例えば、正距円筒射影画像ＥＣ）に他方の画像（例えば、平面画像Ｐ）を重畳しても、画像のずれを抑制することができるという効果を奏する。より詳細に説明すると、特殊撮影装置１と一般撮影装置３との画像作成時の射影方式が異なるため、一般撮影装置３から取得した平面画像Ｐを、特殊撮影装置１から取得した正距円筒射影画像ＥＣによって作成した全天球画像ＣＥに単純に重畳しても、全天球画像ＣＥと平面画像Ｐが合わず、平面画像が全天球画像に上手く溶け込まない。そこで、本実施形態のスマートフォン５は、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する第１の対応領域ＣＡ１を算出することで、まずは大まかな重畳表示の位置を定める（Ｓ１２０参照）。そして、スマートフォン５は、第１の対応領域ＣＡ１の注視点ＧＰ１の周辺領域ＰＡの射影方式を、平面画像Ｐと同じ射影方式に変換することで、周辺領域画像ＰＩを作成する（Ｓ１４０参照）。次に、スマートフォン５は、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する第２の対応領域ＣＡ２を算出し（Ｓ１６０参照）、第２の対応領域ＣＡ２の射影方式を正距円筒射影画像ＥＣの射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出する（Ｓ１８０参照）。これにより、図３０（ｃ）に示されているように、低精細の全天球画像ＣＥの一部である所定領域画像の一部の領域に、高精細の平面画像Ｐを重畳して表示することができるため、全天球画像と平面画像の画像が合い、平面画像が全天球画像に上手く溶け込むことができるという効果を奏する。

また、本実施形態によれば、全天球画像ＣＥに重畳画像Ｓを重畳する位置を示す位置パラメータは、複数の格子領域によって構成された第３の対応領域によって示されるため、図２９に示されているように、全天球画像ＣＥに沿って重畳画像Ｓを重畳させることができる。これにより、全天球画像ＣＥに重畳画像Ｓを重畳して、仮想カメラＩＣの位置を移動しても画像のズレを抑制することができるという効果を奏する。

〔第２の実施形態〕
続いて、図３１乃至図３５を用いて、本発明の第２の実施形態について説明する。

＜撮影システムの概略＞
まずは、図３１を用いて、本実施形態の撮影システムの構成の概略について説明する。図３１は、本実施形態の撮影システムの構成の概略図である。

図３１に示されているように、本実施形態の撮影システムは、第１の実施形態に係る各構成に対して、更に画像処理サーバ７が追加されている。第１の実施形態と同一の構成は、同一の符号を付して、その説明を省略する。スマートフォン５と画像処理サーバ７は、インターネットやイントラネット等の通信ネットワーク１００を介して、画像処理サーバ７と相互通信することができる。

第１の実施形態では、スマートフォン５が、重畳表示メタデータの作成や画像の重畳の処理を行なっているのに対して、本実施形態では、画像処理サーバ７がこれらの処理を行なう。
なお、本実施形態のスマートフォン５は、通信端末の一例となり、画像処理サーバが画像処理装置の一例となる。

画像処理サーバ７は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。

＜＜実施形態のハードウェア構成＞＞
次に、図３２を用いて、本実施形態の画像処理サーバ７のハードウェア構成を詳細に説明する。図３２は、画像処理サーバのハードウェア構成図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成は、第１の実施形態と同様であるため、それらの説明を省略する。

＜画像処理サーバのハードウェア構成＞
図３２は、画像処理サーバのハードウェア構成図である。画像処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ−ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、画像処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。

これらのうち、ＣＰＵ７０１は、画像処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。

また、画像処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図３２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜＜実施形態の機能構成＞＞
次に、図３３及び図３４を用いて、本実施形態の機能構成について説明する。図３３は、本実施形態に係る撮影システムの機能ブロック図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５の機能構成は、第１の実施形態と同様であるため、それらの説明を省略する。本実施形態の場合、スマートフォン５の画像・音処理部５５は、図１６に示されている各機能構成を有していてもよいし、有していなくてもよい。

＜画像処理サーバの機能構成＞
図３３に示されているように、画像処理サーバ７は、遠距離通信部７１、受付部７２、画像・音処理部７５、表示制御部７６、判断部７７、及び記憶・読出部７９を有している。これら各部は、図３２に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された画像処理サーバ７用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。

また、画像処理サーバ７は、図３２に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。

（画像処理サーバの各機能構成）
画像処理サーバ７の遠距離通信部７１は、主に、図３２に示されているネットワークＩ／Ｆ７０７及びＣＰＵ７０１の処理によって実現され、通信ネットワークを介して、他の装置（例えば、他のサーバ、スマートフォン）との間で各種データ（または情報）の送受信を行う。

受付部７２は、主にキーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。

画像・音処理部７５は、主にＣＰＵ７０１からの命令によって実現され、スマートフォン５から送られて来た各種データに対して、各種処理を行なう。

表示制御部７６は、主にＣＰＵ７０１の処理によって実現され、第１の実施形態の表示制御部５６と異なり、スマートフォン５のディスプレイ５１７に平面画像Ｐを表示させるための所定領域画像Ｑのデータを作成する。また、表示制御部７６は、画像・音処理部７５によって作成された重畳表示メタデータを利用して、平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示させるためのデータを作成する。

判断部７７は、図３２に示されているＣＰＵ７０１の処理によって実現され、各種判断を行なう。

記憶・読出部７９は、主に、図３２に示されているＣＰＵ７０１の処理によって実現され、記憶部７０００に、重畳表示メタデータ等の各種データ（または情報）を記憶したり、記憶部７０００から重畳表示メタデータ等の各種データ（または情報）を読み出したりする。また、記憶・読出部７９は、記憶部７０００から各種データを取得する取得部の役割を果たす。

（画像・音処理部の詳細な各機能構成）
ここで、図３４を用いて、画像・音処理部７５の各機能構成について詳細に説明する。図３４は、画像・音処理部の詳細な機能ブロック図である。

画像・音処理部７５は、大きく分けて、エンコードを行なうメタデータ作成部７５ａとデコードを行なう重畳部７５ｂを有している。メタデータ作成部７５ａは、図３５に示されている後述のステップＳ４４の処理を実行する。また、重畳部７５ｂは、図１９に示されている後述のステップＳ４５の処理を実行する。

｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部７５ａの各機能構成について説明する。メタデータ作成部７５ａは、抽出部７５０、第１の対応領域算出部７５２、注視点特定部７５４、射影方式変換部７５６、第２の対応領域算出部７５８、領域分割部７６０、射影方式逆変換部７６２、形状変換部７６４、補正パラメータ作成部７６６、及び重畳表示メタデータ作成部７７０を有している。これらは、それぞれ第１の実施形態における、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０と同様の機能を有するため、これらの説明は省略する。

｛重畳部の機能構成｝
続いて、重畳部７５ｂの機能構成について説明する。重畳部７５ｂは、貼付領域作成部７８２、補正部７８４、画像作成部７８６、重畳部７８８、及び射影変換部７９０を有している。これらは、それぞれ第１の実施形態における、貼付領域作成部５８２、補正部５８４、画像作成部５８６、重畳部５８８、及び射影変換部５９０を有するため、これらの説明は省略する。

＜＜実施形態の処理又は動作＞＞
続いて、図３５を用いて、本実施形態の処理又は動作について説明する。図３５を用いて、撮影システムが実行する撮影方法を説明する。図３５は、本実施形態に係る撮影方法を示したシーケンス図である。なお、ステップＳ３１〜Ｓ４１の処理は、第１の実施形態のステップＳ１１〜Ｓ３１と同様の処理であるため、これらの説明を省略する。

スマートフォン５では、送受信部５１が通信ネットワーク１００を介して画像処理サーバ７に、射影方式が異なる一方の画像に他方の画像を重畳するための重畳要求を示す重畳要求情報を送信する（ステップＳ４２）。この重畳要求情報には、記憶部５０００に記憶された電子フォルダ内のデータ（平面画像データ、正距円筒射影画像データ）を送信する。これにより、画像処理サーバ７の送受信部７１は、電子フォルダ内のデータを受信する。

次に、画像処理サーバ７では、記憶・読出部７９が、記憶部７０００に、ステップＳ４２で受信された電子フォルダ内のデータを記憶する（ステップＳ４３）。そして、図３４に示されているメタデータ作成部７５ａが、重畳表示用メタデータの作成を行なう（ステップＳ４４）。更に、重畳部７５ｂが、重畳の処理を行なう（ステップＳ４５）。ステップＳ４４，Ｓ４５の処理は、それぞれステップＳ２２，Ｓ２３の処理と同様の内容であるため、これらの説明を省略する。

次に、表示制御部７６は、スマートフォン５のディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示させる所定領域画像Ｑのデータを作成する。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。送受信部７１は、スマートフォン５に対して、表示制御部７６によって作成された所定領域画像Ｑのデータを送信する（ステップＳ４６）。これにより、スマートフォンの送受信部５１は、所定領域画像Ｑのデータを受信する。

次に、スマートフォン５では。表示制御部５６が、ディスプレイ５１７上に、重畳画像Ｓが含まれた所定領域画像Ｑを表示させる（ステップＳ４７）。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、上記第１の実施形態と同様の効果を奏する。

また、本実施形態では、連携撮影の処理はスマートフォン５で行い、重畳表示用メタデータの作成及び重畳の処理は画像処理サーバ７で行なうため、スマートフォン５の処理能力が比較的低い場合であっても、画像のずれを抑制することができるという効果を奏する。

〔補足〕
上記各実施形態では、図１４に示されているように、スマートフォン５が、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータを有しているが、これに限るものではない。例えば、インターネット等の通信ネットワークを介して通信可能な管理サーバが、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータのうち少なくとも１つを記憶してもよい。

また、上記各本実施形態では、全天球画像ＣＥに平面画像Ｐが重畳されているが、これに限るものではない。例えば、全天球画像ＣＥの一部の画像を平面画像Ｐに置き換えてもよいし、全天球画像ＣＥの一部の画像を削除して、この削除した部分に平面画像Ｐを嵌め込んでもよい。

また、上記第２の実施形態では、重畳の処理が画像処理サーバ７で行なわれているが（ステップＳ４５参照）、これに限るものではない。例えば、画像処理サーバ７からスマートフォン５に重畳表示用メタデータを送信し、スマートフォン５側で重畳の処理及び表示の処理を行なってもよい。この場合、画像処理サーバ７では、図３４に示されているメタデータ作成部７５ａが重畳表示用メタデータの作成を行なう。一方、スマートフォン５では、図１６に示されている重畳部５５ｂが重畳の処理を行い、図１４に示されている表示制御部５６が表示の処理を行なう。

また、上記では、全天球画像に平面画像を重畳する場合について説明したが、この「重畳」には、貼り付け、嵌め込み、合成、重ね合わせ等も含まれる。

１ 特殊撮影装置（第１の撮影装置の一例）
３ 一般撮影装置（第２の撮影装置の一例）
５ スマートフォン（画像処理装置の一例）
７ 画像処理サーバ（画像処理装置の一例）
５１ 送受信部
５２ 受付部
５５ａ メタデータ作成部
５５ｂ 重畳部
５６ 表示制御部
５８ 近距離通信部
５９ 記憶・読出部（取得手段の一例）
７２ 受付部
７５ 画像・音処理部
７５ａ メタデータ作成部
７５ｂ 重畳部
７６ 表示制御部
７８ 近距離通信部
７９ 記憶・読出部（取得手段の一例）
５１７ ディスプレイ
５５０ 抽出部（抽出手段の一例）
５５２ 第１の対応領域算出部（第１の対応領域算出手段の一例）
５５４ 注視点特定部（注視点特定手段の一例）
５５６ 射影方式変換部（射影方式変換手段の一例）
５５８ 第２の対応領域算出部（対応領域算出手段の一例／第２の対応領域算出手段の一例）
５６０ 領域分割部（領域分割手段の一例）
５６２ 射影方式逆変換部（射影方式逆変換手段の一例）
５６４ 形状変換部（形状変換手段の一例）
５６６ 補正パラメータ作成部（補正情報作成手段の一例）
５７０ 重畳表示メタデータ作成部（位置算出手段の一例）
５８２ 添付領域作成部（添付領域作成手段の一例）
５８４ 補正部（補正手段の一例）
５８６ 画像作成部（画像作成手段の一例）
５８８ 画像重畳部（画像重畳手段の一例）
５９０ 射影変換部（射影変換手段の一例）
７５０ 抽出部（抽出手段の一例）
７５２ 第１の対応領域算出部（第１の対応領域算出手段の一例）
７５４ 注視点特定部（注視点特定手段の一例）
７５６ 射影方式変換部（射影方式変換手段の一例）
７５８ 第２の対応領域算出部（対応領域算出手段の一例／第２の対応領域算出手段の一例）
７６０ 領域分割部（領域分割手段の一例）
７６２ 射影方式逆変換部（射影方式逆変換手段の一例）
７６４ 形状変換部（形状変換手段の一例）
７６６ 補正パラメータ作成部（補正情報作成手段の一例）
７７０ 重畳表示メタデータ作成部（位置算出手段の一例）
７８２ 添付領域作成部（添付領域作成手段の一例）
７８４ 補正部（補正手段の一例）
７８６ 画像作成部（画像作成手段の一例）
７８８ 画像重畳部（画像重畳手段の一例）
７９０ 射影変換部（射影変換手段の一例）
５０００ 記憶部（記憶手段の一例）
５００１ 連携撮影装置ＤＢ（連携撮影装置手段の一例）
７０００ 記憶部（記憶手段の一例）

特開２０１６−９６４８７号公報 特開２０１２−１７８１３５号公報

Claims (12)

1. 第１の射影方式の第１の画像と、第１の射影方式とは異なる第２の射影方式の第２の画像とを取得する取得手段と、
   前記第１の画像を前記第２の射影方式の第３の画像に変換する第１の射影方式変換手段と、
   前記第２の画像及び前記第３の画像からそれぞれ複数の特徴点を抽出する抽出手段と、
   前記抽出手段でそれぞれ抽出した前記第２の画像の複数の特徴点及び前記第３の画像の複数の特徴点に基づいて前記第３の画像における前記第２の画像に対応する第２の対応領域を求める対応領域算出手段と、
   前記第２の対応領域に含まれる所定の複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
   前記第２の射影方式変換手段で変換した前記所定の複数の点の前記第１の画像における位置情報を求める位置算出手段と、
   前記位置算出手段により求めた位置情報を前記第２の画像の複数の点と対応付けて記憶する記憶手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、更に、
   前記第２の画像の複数の点に関して、輝度及び色のうち少なくとも一方を補正する補正情報を作成する補正情報作成手段を有することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、更に、
   輝度及び色の少なくとも一方の補正情報を求める場合に、前記第２の対応領域を形状変換して前記第２の画像の形状に合わせる形状変換手段を有し、前記形状変換した後の第２の対応領域に含まれる複数の点の位置に対応した前記第２の画像から前記補正情報を求めることを特徴とする画像処理装置。
4. 前記複数の点は、前記第２の画像を複数の格子領域に分割して得られる格子点であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第１の射影変換手段は、前記第１の画像における前記第２の画像に対応した第１の対応領域を含む周辺領域画像を変換することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記対応領域算出手段は、第２の画像における複数の特徴点と前記周辺領域画像における複数の特徴点との類似度に基づき、前記周辺領域画像において、第２の画像に対応する四角形の前記第２の対応領域を算出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記抽出手段は、前記第１の画像から複数の特徴点を抽出し、
   前記対応領域算出手段は、第２の対応領域算出手段であり、
   更に、前記第１の画像と前記第２の画像のそれぞれの特徴点から前記第１の対応領域を求める第１の対応領域算出手段を有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記画像処理装置は、スマートフォン、タブレット型パソコン、ノートパソコン、デスクトップパソコン、又はサーバコンピュータであることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
9. 請求項１乃至７に記載の画像処理装置と、
   被写体を撮像し、前記第１の射影方式の前記第１の画像を得る第１の撮影装置と、
   被写体を撮像し、前記第２の射影方式の前記第２の画像を得る第２の撮影装置と、
   を有することを特徴とする撮影システム。
10. 前記第１の撮影装置は、被写体を撮像し、全天球画像を得るカメラであることを特徴とする請求項８に記載の撮影システム。
11. 第１の射影方式の第１の画像と、第１の射影方式とは異なる第２の射影方式の第２の画像とを取得する取得ステップと、
    前記第１の画像を前記第２の射影方式の第３の画像に変換する第１の射影方式変換ステップと、
    前記第２の画像及び前記第３の画像からそれぞれ複数の特徴点を抽出する抽出ステップと、
    前記抽出ステップでそれぞれ抽出した前記第２の画像の複数の特徴点及び前記第３の画像の複数の特徴点に基づいて前記第３の画像における前記第２の画像に対応する第２の対応領域を求める対応領域算出ステップと、
    前記第２の対応領域に含まれる所定の複数の点を、前記第１の射影方式に変換する第２の射影方式変換ステップと、
    前記第２の射影方式変換ステップで変換した前記所定の複数の点の前記第１の画像における位置情報を求める位置算出ステップと、
    前記位置算出ステップにより求めた位置情報を前記第２の画像の複数の点と対応付けて記憶する記憶ステップと、
    を実行することを特徴とする画像処理方法。
12. コンピュータに、請求項１１に記載の方法を実行させることを特徴とするプログラム。