JP2019087984A - 情報処理装置、撮像システム、プログラム - Google Patents

情報処理装置、撮像システム、プログラム Download PDF

Info

Publication number
JP2019087984A
JP2019087984A JP2018021376A JP2018021376A JP2019087984A JP 2019087984 A JP2019087984 A JP 2019087984A JP 2018021376 A JP2018021376 A JP 2018021376A JP 2018021376 A JP2018021376 A JP 2018021376A JP 2019087984 A JP2019087984 A JP 2019087984A
Authority
JP
Japan
Prior art keywords
image
area
projection method
information
planar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018021376A
Other languages
English (en)
Inventor
浩 水藤
Hiroshi Mizufuji
浩 水藤
浅井　貴浩
Takahiro Asai
貴浩 浅井
啓一 河口
Keiichi Kawaguchi
啓一 河口
吉田　和弘
Kazuhiro Yoshida
和弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201810214143.0A priority Critical patent/CN108632589A/zh
Priority to US15/921,708 priority patent/US10681271B2/en
Publication of JP2019087984A publication Critical patent/JP2019087984A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】本発明によれば、広角画像に平面画像が重畳された際の画質低下を抑制する情報処理装置を提供する。【解決手段】広角画像を第２の射影方式に変換し、画像を生成する第１の射影方式変換手段５５６と、平面画像及び画像からそれぞれ複数の特徴点を抽出する抽出手段５５０と、抽出手段がそれぞれ抽出した平面画像の複数の特徴点及び画像の複数の特徴点に基づいて画像における平面画像に対する第３の対応領域を求める貼付領域作成部５８２と、第３の対応領域に含まれる複数の点を、第１の射影方式に変換する第２の射影方式変換手段であり、変換した複数の点の広角画像における位置情報を求める位置算出手段でもある、射影方式逆変換部５６２と、を有する。【選択図】図１３

Description

本発明は、情報処理装置、撮像システム、及びプログラムに関する。
撮像装置で撮像された画像にケラレと呼ばれる画質の低下領域が生じることが知られている。従来からこのケラレを低減する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、画像におけるケラレの状態を撮像時に判断し、画像においてケラレとなる領域のデータを画像データから削除する撮像装置について開示されている。
ところで、近年、一度の撮像で、全天球画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている。このデジタルカメラ（以下、全天球カメラという）は、２つの半球画像データに基づいて３６０°の全周囲が撮像された１つの全天球画像を作成する。
全天球画像のうちの一部の領域に全天球画像とは別に撮像することで得られた平面画像を嵌め込めば、上記一部の領域を拡大しても鮮明な画像を表示することができる。
しかしながら、全天球画像に合成された平面画像に全天球画像を撮像できるデジタルカメラの影が写り込むという問題があった。以下、説明する。
例えば、平面画像を撮像するデジタルカメラとして、手軽に利用できるスマートフォンを使用したいという要望がある。また、全天球カメラが撮像する全天球画像と、スマートフォンが撮像する平面画像は極力同じタイミング、かつ、同じ位置で撮像されることが望ましい。撮像するタイミングが同じであることが要求される理由としては、撮像タイミング(時刻)が異なった場合、撮像シーン自体に動き(変化)が生じてしまう（撮像範囲には静止した物体のみがあるわけでなく、静止した物体だけだとしても明るさや影の状態が変化する）。また、同じ位置で撮像されることが望しい理由としては、全天球カメラとスマートフォンに視差が発生すると、全天球画像と平面画像の光軸が変わってしまうため、違和感無く重畳表示することが困難になるためである。
したがって、ユーザはスマートフォンのレンズに全天球カメラのレンズを極力近づけて同時に撮像すべきであるが、あまり近づけるとスマートフォンの画角に全天球カメラの影が写り込んでしまう。このような現象はケラレと呼ばれる場合がある。
本発明は、上記課題に鑑み、広角画像に平面画像が重畳された際の画質低下を抑制する情報処理装置を提供することを目的とする。
本発明は、第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、前記第３の対応領域に含まれる複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、前記第２の射影方式変換手段で変換した前記複数の点の前記広角画像における位置情報を求める位置算出手段と、前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、前記平面画像の複数の点と対応付けられた前記位置情報であって、前記領域指定情報に基づいて重畳表示に用いる前記位置情報を記憶する記憶手段と、を有することを特徴とする情報処理装置を提供する。
本発明によれば、広角画像に平面画像が重畳された際の画質低下を抑制する情報処理装置を提供することができる。
（ａ）は特殊撮像装置の左側面図であり、（ｂ）は特殊撮像装置の背面図であり、（ｃ）は特殊撮像装置の平面図であり、（ｄ）は特殊撮像装置の底面図である。 特殊撮像装置の使用イメージ図である。 （ａ）は特殊撮像装置で撮像された半球画像（前）、（ｂ）は特殊撮像装置で撮像された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 本発明の実施形態に係る撮像システムの概略図である。 特殊撮像装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 撮像システムの機能ブロック図である。 （ａ）は連携撮像装置管理テーブルの概念図、（ｂ）連携撮像装置設定画面を示す概念図である。 画像・音処理部の詳細な機能ブロック図である。 重畳表示メタデータの構成図である。 （ａ）は第２の対応領域における各格子領域を示した概念図、（ｂ）は第３の対応領域における各格子領域を示した概念図である。 撮像方法を示したシーケンス図である。 重畳表示パラメータの作成処理の過程における画像の概念図である。 周辺領域画像を特定する際の概念図である。 第２の対応領域を複数の格子領域に分割する際の概念図である。 正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。 補正パラメータの作成処理の過程における画像の概念図である。 重畳表示の処理の課程における画像の概念図である。 全天球画像に平面画像を重畳した場合の二次元の概念図である。 全天球画像に平面画像を重畳した場合の三次元の概念図である。 本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。 本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。 （ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。 視差とケラレの関係を説明する図の一例である。 ケラレが発生した平面画像の一例を示す図である。 ケラレ領域を重畳表示メタデータにて保持する方法を説明する図の一例である。 ケラレに対する対応１における重畳表示メタデータの一例を示す図である。 画像作成部が重畳表示メタデータの重畳領域情報を参照して平面画像を正距円筒射影画像に貼り付ける処理を説明するフローチャート図の一例である。 ケラレ領域を重畳表示メタデータにて保持する方法を説明する図の一例である。 ケラレに対する対応２における重畳表示メタデータの一例を示す図である。 画像作成部が重畳表示メタデータの重畳領域情報を参照して平面画像を正距円筒射影画像に貼り付ける処理を説明するフローチャート図の一例である。 注視点を説明する図の一例である。 yawとpitchと注視点Ｇｐの対応を説明する図の一例である。 ケラレ領域が重畳されないことの効果を説明する図の一例である。 歪みが生じている平面画像の一例を示す図である。 テクスチャＵＶ座標と位置パラメータの対応を示す図の一例である。 歪み補正の効果を説明する図の一例である。 平面画像がＮ枚ある場合における重畳表示メタデータの構成例を示す図である。 重畳順序指定情報を有する重畳表示メタデータの構成例を示す図である。 表示開始情報として視線方向情報と画角情報を有する重畳表示メタデータの構成例を示す図である。 撮像システムの概略構成図の一例である（実施例２）。 画像処理サーバのハードウェア構成図の一例である。 撮像システムの機能ブロック図の一例である（実施例２）。 画像・音処理部の詳細な機能ブロック図の一例ある（実施例２）。 撮像システムによる撮像方法を説明するシーケンス図の一例である。
以下、本実施形態の概要について説明する。
＜＜実施形態の概略＞＞
＜全天球画像の生成方法＞
まず、図１乃至図７を用いて、全天球画像の生成方法について説明する。
まず、図１を用いて、特殊撮像装置１の外観を説明する。特殊撮像装置１は、全天球（３６０°）パノラマ画像の元になる撮像画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮像装置の左側面図であり、図１（ｂ）は特殊撮像装置の背面図であり、図１（ｃ）は特殊撮像装置の平面図であり、図１（ｄ）は特殊撮像装置の底面図である。
図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮像装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮像装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮像することで、半球画像（画角１８０°以上）を得ることができる。
特殊撮像装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮像装置１の側面には、電源ボタン１１５ｂ、Wi−Fi(登録商標。Wireless Fidelity)ボタン１１５ｃ、及び撮像モード切替ボタン１１５ｄが設けられている。シャッターボタン１１５ａ、電源ボタン１１５ｂ、及びWi−Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮像モード切替ボタン１１５ｄ及びWi−Fiボタン１１５ｃは、押下される度に、静止画の撮像モードと動画の撮像モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi−Fiボタン１１５ｃ、及び撮像モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。
また、特殊撮像装置１の底部１５０の中央には、カメラ用三脚に特殊撮像装置１を取り付けるための三脚ネジ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(登録商標。High−Definition Multimedia Interface)端子１５３が設けられている。
次に、図２を用いて、特殊撮像装置１の使用状況を説明する。なお、図２は、特殊撮像装置の使用イメージ図である。特殊撮像装置１は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。
次に、図３及び図４を用いて、特殊撮像装置１で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮像装置１で撮像された半球画像（前側）、図３（ｂ）は特殊撮像装置で撮像された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。
図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮像装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2−Dimensions) 及び３Ｄ(3−Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。
なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図７参照）。
そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮像方向（ea，aa）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。
次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮像方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。
Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜撮像システムの概略＞
続いて、図８を用いて、本実施形態の撮像システム２００の構成の概略について説明する。図８は、本実施形態の撮像システム２００の構成の概略図である。
なお、広角画像とは好ましくは周囲３６０度が撮像された画像であるが、水平方向にのみ３６０度の画像でもよいし、上下又は水平方向に１８０度の画像でもよい。また、これより狭くてもよい。
また、射影方式とはレンズを通過した光の位置と通過後に到達する位置の関係に基づく像の結像方式をいう。
図８に示されているように、本実施形態の撮像システム２００は、特殊撮像装置１、及びスマートフォン５を有する。特殊撮像装置１は装着ユニット３０１を介してスマートフォン５との相対位置が固定される。
これらのうち、特殊撮像装置１は、上記のように、被写体や風景等を撮像して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。
装着ユニット３０１は様々な形状、及び素材が考えられ、特殊撮像装置１とスマートフォン５の相対位置の固定方法も様々な方法が考えられる。一例として、図８の装着ユニット３０１はホルダータイプであるが、これには限定されない。
スマートフォン５は、Wi−Fi 、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、特殊撮像装置１と無線通信を行なう情報処理装置である。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、特殊撮像装置１から取得した画像を表示することができる。
なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮像装置１と通信を行なうようにしてもよい。また、スマートフォン５は、通信端末の一例であり、通信端末には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォンは、画像処理端末の一例でもある。
ユーザは図２のようにスマートフォン５と特殊撮像装置１を高く掲げて撮像してもよいし、比較的低い位置で自分が写るように撮像してもよい。また、三脚などに固定して撮像してもよい。
スマートフォン５は、ディスプレイ側とその反対側にそれぞれカメラを有している。前者は主にテレビ電話やディスプレイを確認しながらの自分撮り用として使われ、後者は一般のデジタルカメラのような使われ方がされる。前者はフロントカメラやインカメラ、後者はバックカメラやリアカメラなどと呼ばれている。
本実施形態のスマートフォン５は、フロントカメラ及びリアカメラの両方で同時に撮像することができる。これにより、方位が異なるシーンの撮像を簡単に実現できる。
スマートフォン５のフロントカメラ、リアカメラ及び特殊撮像装置１が１度の撮像指示で全天球画像と、方位が異なる２枚の平面画像を同時に撮像できる。後述するように、スマートフォン５が全天球画像に２つの平面画像を合成することで、手軽に全天球画像とスマートフォン５が撮像した平面画像のよいところを楽しむことができる。
＜＜実施形態のハードウェア構成＞＞
次に、図９及び図１０を用いて、本実施形態の特殊撮像装置１、及びスマートフォン５のハードウェア構成を詳細に説明する。
＜特殊撮像装置のハードウェア構成＞
まず、図９を用いて、特殊撮像装置１のハードウェア構成を説明する。図９は、特殊撮像装置１のハードウェア構成図である。以下では、特殊撮像装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮像装置１と同じ機能を有するようにしてもよい。
図９に示されているように、特殊撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０なども接続される。
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮像装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮像装置１にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
ＣＰＵ１１１は、特殊撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮像モードや撮像条件などを入力する。
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。
通信部１１７は、特殊撮像装置１に設けられたアンテナ１１７ａを介して、Wi−Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。
電子コンパス１１８は、地球の磁気から特殊撮像装置１の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ１２０は３軸方向の加速度を検出する。検出した加速度に基づいて全天球カメラ２０の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ１１９と加速度センサ１２０は両方を有することで画像補正の精度が向上する。
＜スマートフォンのハードウェア構成＞
次に、図１０を用いて、スマートフォンのハードウェアについて説明する。図１０は、スマートフォンのハードウェア構成図である。図１０に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、撮像素子I/Ｆ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。
これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。撮像素子Ｉ/Ｆ５０５は２つのＣＭＯＳセンサ５０５ａと接続されており、ＣＰＵ５０１の制御にしたがって被写体（主に自画像）を撮像し画像データを得る。２つのＣＭＯＳセンサ５０５ａはそれぞれフロントカメラとリアカメラに相当する。撮像素子Ｉ／Ｆ５０５は、ＣＭＯＳセンサ５０５ａの駆動を制御する回路である。
加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。
これらのうち、遠距離通信回路５１１は、後述の通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御にしたがってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi−Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、ユーザがディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。
また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ−ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
なお、上記各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
＜＜実施形態の機能構成＞＞
次に、図１１を用いて、本実施形態の機能構成について説明する。図１１は、本実施形態の撮像システム２００の一部を構成する、特殊撮像装置１、及びスマートフォン５の各機能ブロック図である。
＜特殊撮像装置の機能構成＞
まず、特殊撮像装置１の機能構成について詳細に説明する。図１１に示されているように、特殊撮像装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
また、特殊撮像装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。
（特殊撮像装置の各機能構成）
次に、図９及び図１１を用いて、特殊撮像装置１の各機能構成について更に詳細に説明する。
特殊撮像装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザからの操作入力を受け付ける。
撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる２つの半球画像データである。
集音部１４は、図９に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮像装置１の周囲の音を集音する。
画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮像部１３によって得られた撮像画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データ（図３（ａ），（ｂ）参照）に基づいて、正距円筒射影画像データ（図３（ｃ）参照）を作成する。
判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行なう。
近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi−Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（又は情報）を記憶したり、記憶部１０００から各種データ（又は情報）を読み出したりする。
＜スマートフォンの機能構成＞
次に、スマートフォン５の機能構成について詳細に説明する。スマートフォン５は、図１１に示されているように、スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン５は、図１０に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、連携撮像装置管理ＤＢ５００１が構築されている。この連携撮像装置管理ＤＢ５００１は、図１２（ａ）連携撮像装置管理テーブルによって構成されている。図１２（ａ）は連携撮像装置管理テーブルの概念図である。また、記憶部５０００には重畳領域情報５００２が記憶されている。重畳領域情報５００２については後述する。
（連携撮像装置管理テーブル）
次に、図１２（ａ）を用いて、連携撮像装置管理テーブルについて説明する。図１２（ａ）に示されているように、撮像装置毎に、各撮像装置の連携関係を示す関連関係情報、撮像装置のＩＰアドレス、及び撮像装置の装置名が関連付けて管理されている。このうち、関連関係情報は、自装置のシャッターが押下されることで撮像を開始する一の撮像装置を「メイン」とし、「メイン」の撮像装置でシャッターが押下されることに応じて撮像を
開始する他の撮像装置を「サブ」として示している。なお、ＩＰアドレスは、Wi−Fiによる通信の場合であって、ＵＳＢの有線ケーブルを用いた通信の場合には製造者ＩＤ(Identification)及び製品ＩＤに代わり、Bluetoothを用いた無線通信の場合には、ＢＤ(Bluetooth Device Address）に代わる。
（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図１０に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（特殊撮像装置１、他のスマートフォン、サーバ等）、スマートフォン、又はサーバとの間で各種データ（又は情報）の送受信を行う。
受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、ユーザから各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。
撮像部５３は、主に、図１０に示されているＣＭＯＳセンサ５０５ａ，ＣＭＯＳセンサ５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、透視射影方式で撮像された平面画像データである。
集音部５４は、図１０に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。
画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮像部５３によって得られた撮像画像データ、又は集音部５４によって得られた音データに対して、各種処理を行なう。
表示制御部５６は、図１０に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮像中又は撮像後の撮像画像データに係る平面画像Ｐを表示させる。また、表示制御部５６は、画像・音処理部５５によって作成された重畳表示メタデータを利用して、後述の平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示する。なお、平面画像Ｐを全天球画像ＣＥに合成しないで、利用者が閲覧する際に平面画像Ｐを全天球画像ＣＥに重畳するのは、平面画像Ｐを１つの表示形態に限定されない様々な表示（ズーム倍率の変更、射影方式を変更して表示するなど）ができるようにするためである。
また、位置パラメータは「位置情報」の一例である。補正パラメータは「補正情報」の一例である。
判断部５７は、図１０に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。
近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及びアンテナ５１９ａによって実現され、特殊撮像装置１の近距離通信部１８等と、Wi−Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部５９は、主に、図１０に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、重畳表示メタデータ等の各種データ（又は情報）を記憶したり、記憶部５０００から重畳表示メタデータ等の各種データ（又は情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。
（画像・音処理部の詳細な各機能構成）
ここで、図１３を用いて、画像・音処理部５５の各機能構成について詳細に説明する。図１３は、画像・音処理部の詳細な機能ブロック図である。
画像・音処理部５５は、大きく分けて、エンコードを行うメタデータ作成部５５ａとデコードを行う重畳部５５ｂを有している。メタデータ作成部５５ａは、図１６に示されている後述のステップ２２の処理を実行する。また、重畳部５５ｂは、図１６に示されている後述のステップ２３の処理を実行する。
｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部５５ａの各機能構成について説明する。メタデータ作成部５５ａは、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０を有している。なお、明るさや色の補正をする必要がない場合、形状変換部５６４及び補正パラメータ作成部５６６は不要である。また、以下に説明する画像や領域を示す符号は図１７に示されている。図１７は、重畳表示パラメータの作成処理の過程における画像の概念図である。
抽出部５５０は、各画像の局所特徴に基づき特徴点を抽出する。局所特徴とはエッジやブロブなど画像内に見られるパターンや構造で、局所特徴を数値化したものが特徴量である。本実施形態では、抽出部５５０は、異なる画像で各特徴点を抽出する。抽出部５５０が用いられる２つの画像は、歪みが著しく大きくない限り、異なる射影方式であってもよい。例えば、抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣと、透視射影方式によって得られた長方形の平面画像Ｐとの間、及び、平面画像Ｐと、射影方式変換部５５６によって変換された後の周辺領域画像ＰＩとの間で用いられる。なお、正距円筒射影方式は第１の射影方式の一例であり、透視射影方式は第２の射影方式の一例である。また、正距円筒射影画像は第１の射影画像の一例であり、平面画像Ｐは第２の射影画像の一例である。
第１の対応領域算出部５５２は、最初に正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１に基づいた各特徴量ｆｖ１を求めると共に、平面画像Ｐにおける複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においては、スケールや回転に対して不変又は頑強であることが望ましい。第１の対応領域算出部５５２は、続いて算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２に対する特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第１のホモグラフィ変換を行なう。その結果、第１の対応領域算出部５５２は、第１の対応領域ＣＡ１を算出する。この場合、平面画像Ｐの４頂点から成る四角形（矩形）の中心点ＣＰ１は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１に変換される。
なお、平面画像Ｐの４頂点の頂点座標を、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）とすると、第１の対応領域算出部５５２は、以下に示す（式２）に基づいて、中心点ＣＰ１（ｘ，ｙ）を定めることができる。
図１７では平面画像Ｐの画像形状が長方形であるが、対角線の交点を用いることによって正方形、台形、菱形等、さまざまな四角形の部分画像に対しても中心座標を算出することができる。平面画像Ｐの画像形状が、長方形、正方形に限定される場合は、計算の省略化のため、対角線の中点を部分画像の中心座標ＰＣとしてよい。対角線Ｐ１Ｐ３の中点を算出する場合の（式３）を以下に示す。
注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（本実施形態では「注視点」という）を特定する。
ところで、注視点ＧＰ１の座標は、正距円筒射影画像ＥＣ上の座標であるため、緯度及び経度の表現に変換及び規格化すると都合が良い。具体的には、正距円筒射影画像ＥＣの垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。このようにすることで、緯度・経度座標から、正距円筒射影画像ＥＣの画像サイズに対応した画素位置座標を算出することができる。
射影方式変換部５５６は、正距円筒射影画像ＥＣ内の注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換することで、周辺領域画像ＰＩを作成する。この場合、注視点ＧＰ１が変換された後の点を中心点ＣＰ２として、平面画像Ｐの対角画角αと同じ画角を垂直画角（又は水平画角）とした場合に特定することができる正方形の周辺領域画像ＰＩを結果的に作成することができるように、射影方式変換元の周辺領域ＰＡを特定する。以下、更に詳細に説明する。
（射影方式の変換）
まず、射影方式の変換について説明する。図３乃至図５を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部５５６による変換式は、正距円筒射影画像ＥＣにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直交座標（ｘ，ｙ，ｚ）で表わすと、以下の（式４）で表わすことができる。
(x, y, z) = (cos(ea) × cos(aa), cos(ea) × sin(aa), sin(ea)) ・・・(式４)
但し、このときの立体球ＣＳの半径は１とする。
一方で、透視射影画像である平面画像Ｐは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、平面画像Ｐを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式５）で表わすことができる。
u = r × cos(a), v = r × sin(a) ・・・(式５)
次に、この（式５）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視投影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考えると、上記の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式６）、（式７）で表わすことができる。
r = tan(極角) ・・・（式６）
a = 方位角 ・・・（式７）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。
また３次元極座標から、直交座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式８）で表わすことができる。
(x, y, z) = (sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式８）
上記の（式８）により、正距円筒射影方式による正距円筒射影画像ＥＣと、透視射影方式による平面画像Ｐの相互変換ができるようになった。即ち、作成すべき平面画像Ｐの対角画角αに対応する動径rを用いることで、平面画像Ｐの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣから、透視射影画像である周辺領域画像ＰＩを作成することができる。
ところで、上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である周辺領域画像ＰＩの中心点ＣＰ２となるような変換を示している。そこで、正距円筒射影画像ＥＣの任意の点を注視点として透視投影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。
この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。
（周辺領域画像の特定）
次に、図１８を用いて、周辺領域画像ＰＩの領域を特定する方法について説明する。なお、図１８は、周辺領域画像を特定する際の概念図である。
第１の対応領域算出部５５２が、平面画像Ｐと周辺領域画像ＰＩの対応関係を判断するにあたって、周辺領域画像ＰＩ内に第２の対応領域ＣＡ２ができるだけ広く含まれていることが望ましい。よって、周辺領域画像ＰＩを広い領域に設定すれば、第２の対応領域ＣＡ２を含まないという事態は生じない。しかし、周辺領域画像ＰＩを、あまりにも広い領域に設定すると、その分だけ類似度を算出する対象の画素が増えるため、処理に時間が掛かってしまう。そのため、極力、周辺領域画像ＰＩの領域は第２の対応領域ＣＡ２を含む範囲内で小さい方が良い。そこで、本実施形態では、以下に示すような方法で、周辺領域画像ＰＩを特定する。
本実施形態では、周辺領域画像ＰＩの特定に、平面画像の３５ｍｍ換算焦点距離を使用するが、これは撮像時に記録されるExifデータから取得される。３５ｍｍ換算焦点距離は、いわゆる24mm x 36mmのフィルムサイズを基準とした焦点距離であるため、このフィルムの対角と、焦点距離から以下の算出式（式９）、（式１０）で対応する対角画角を算出することができる。
フィルム対角 = sqrt(24*24 + 36*36) ・・・（式９）
合成用画像画角/2 = arctan((フィルム対角/2)/合成用画像35mm換算焦点距離)・・（式１０）
ところで、この画角をカバーする画像は円形となるのだが、実際の撮像素子（フィルム）は長方形なので円に内接する長方形画像となっている。本実施形態では、周辺領域画像ＰＩの垂直画角αを、平面画像Ｐの対角画角αと同じになるように設定する。これにより、図１８（ｂ）に示されている周辺領域画像ＰＩは、図１８（ａ）に示されている平面画像Ｐの対角画角αをカバーする円に外接する正方形となり、垂直画角αは、下記（式１１）、(式１２)で示されているように、正方形の対角と平面画像Ｐの焦点距離から算出できる。
正方形対角=sqrt(フィルム対角*フィルム対角+フィルム対角*フィルム対角)・・・（式１
１）
垂直画角α/2 = arctan((正方形対角/2) / 平面画像の35mm換算焦点距離))・・・（式１
２）
このような垂直画角αで射影方式変換することで、注視点を中心に平面画像Ｐの対角画角αにおける画像をできるだけ広くカバーでき、かつ垂直画角αが大きくなりすぎない周辺領域画像ＰＩ（透視射影画像）を作成することができる。
（位置情報の算出）
続いて、図１３に戻り、第２の対応領域算出部５５８は、平面画像Ｐにおける複数の特徴点ｆｐ２と周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３を算出する。算出された各特徴量ｆｖ２，ｆｖ３の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。その結果、第２の対応領域算出部５５８は、第２の対応領域ＣＡ２を算出する。
なお、第１のホモグラフィ変換の前に、第１のホモグラフィの算出時間を早めるために、平面画像Ｐ及び正距円筒射影画像ＥＣのうちの少なくとも一方の画像サイズをリサイズしてもよい。例えは、平面画像Ｐが４０００万画素で、正距円筒射影画像ＥＣが３０００万画素の場合、平面画像Ｐを３０００万画素にリサイズしたり、両画像を１０００万画素になるようにそれぞれの画像をリサイズしたりする。同様に、第２のホモグラフィ算出の前に、平面画像Ｐ及び周辺領域画像ＰＩの少なくとも一方の画像サイズをリサイズしてもよい。
また、本実施形態でのホモグラフィは、正距円筒射影画像ＥＣと平面画像Ｐとの射影関係を表す変換行列であり、平面画像Ｐにおける座標に、ホモグラフィ算出処理で算出したホモグラフィ変換行列を乗算することで、正距円筒射影画像ＥＣ（全天球画像ＣＥ）上での対応座標を算出することができる。
領域分割部５６０は、画像における一部の領域を複数の格子領域に分割する。ここで、図１９を用いて、第２の対応領域を複数の格子領域に分割する方法を詳細に説明する。なお、図１９は、第２の対応領域を複数の格子領域に分割する際の概念図である。
領域分割部５６０は、図１９（ａ）に示されているように、第１の対応領域算出部５５２が第２のホモグラフィ変換により算出した第２の対応領域ＣＡ２の頂点座標の４つの頂点から成る四角形を、図１９（ｂ）に示されているように、複数の格子領域ＬＡ２に分割する。例えば、水平方向に３０、垂直方向に２０ほど均等分割する。
次に、複数の格子領域ＬＡ２の具体的な分割方法について説明する。
まず、第２の対応領域ＣＡ２を均等に分割する算出式を示す。２点をA(X1，Y1)、B(X2，Y2)として、その２点間の線分を等間隔にｎ個に分割する場合、Ａからｍ番目にあたる点Ｐｍの座標は、以下に示す（式１３）によって算出される。
Pm = ( X1 + (X2 − X1) ×m / n， Y1 + (Y2 − Y1) × m / n )・・・（式１３）
上記の（式１３）によって、線分を均等に分割した座標が算出できるため、四角形の上辺、下辺をそれぞれ分割した座標を求め、分割した座標から成る線分を更に分割すればよい。四角形の左上、右上、右下、左下の各座標をそれぞれＴＬ,ＴＲ,ＢＲ，ＢＬとした場合、線分ＴＬ−ＴＲ及び線分ＢＲ−ＢＬを均等に３０分割した座標を求める。次に、０から３０番目まで分割された各座標において、同じ順番に対応する座標同士から成る線分に対し、均等に２０分割した座標を求める。これにより、四角形領域を３０×２０個の小領域に分割するための座標を求めることができる。図１９（ｂ）では、座標一例として、ＴＬの座標(LO00,00，LA00,00)を示している。
続いて、図１３及び図１７に戻り、射影方式逆変換部５６２は、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出する。具体的には、射影方式逆変換部５６２は、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２における複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。第３の対応領域ＣＡは、図１７に示されているが、拡大図として、図２０にも示されている。なお、図２０は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。これにより、平面画像Ｐは、最終的に第３の対応領域ＣＡ３に合わせるように（マッピングするように）、正距円筒射影画像ＥＣによって作成された全天球画像ＣＥに重畳表示される。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。位置パラメータは、図１７及び図１４に示されている。なお、格子点は複数の点の一例である。
以上、位置パラメータを作成することにより、正距円筒射影画像ＥＣと平面画像Ｐの位置関係を算出することができる。
ところで、位置パラメータは算出されたが、このまま重畳表示を行う場合、正距円筒射影画像ＥＣと平面画像Ｐとで明るさや色味が大きく異なる場合に、不自然な重畳表示となることがある。そのため、以下に示す形状変換部５６４及び補正パラメータ作成部５６６は、明るさや色味が大きく異なる場合であっても、不自然な重畳表示となることを防止する役割を果たす。
形状変換部５６４は、後述の色合わせに先立って、第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換する。具体的には、図２１（ａ）に示されている第２の対応領域ＣＡ２の各格子領域ＬＡ２を、図２１（ｃ）に示されている平面画像Ｐの各格子領域ＬＡ０に合わせるために、第２の対応領域ＣＡ２の形状を平面画像Ｐと同じ形状に変換する。これにより、図２１（ａ）に示されている第２の対応領域ＣＡ２は、図２１（ｂ）に示されている第２の対応領域ＣＡ２'に形状が変換される。これに伴い、格子領域ＬＡ２が格子領域ＬＡ２'に変換されるため、平面画像Ｐの格子領域ＬＡ０と同じ形状となる。
補正パラメータ作成部５６６は、同じ形状に変換後の第２の対応領域ＣＡ２'における各格子領域ＬＡ２'の明るさ値及び色値に対して、各格子領域ＬＡ２'と同じ形状である平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する。具体的には、補正パラメータ作成部５６６は、各格子領域ＬＡ０の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ，Ｇ，Ｂ)の平均値ａ= (Ｒave，Ｇave，Ｂave）を算出し、各格子領域ＬＡ２'の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ'，Ｇ'，Ｂ'）の平均値ａ' = (Ｒ'ave，Ｇ'ave，Ｂ'ave）を算出する。なお、上記各格子領域ＬＡ０の１点及び各格子領域ＬＬＡ２'の１点が第２の対応領域ＣＡ２及び第３の対応領域ＣＡ３の４隅の場合、補正パラメータ作成部５６６は、１つの格子領域から明るさ値及び色値の平均値a及び平均値ａ'を算出する。また、上記各格子領域ＬＡ０の１点及び各格子領域ＬＬＡ２'の１点が第２の対応領域ＣＡ２第３の対応領域ＣＡ３の外周の点の場合、補正パラメータ作成部５６６は、内側２つの格子領域から明るさ値及び色値の平均値a及び平均値ａ'を算出する。そして、補正パラメータは、本実施形態では、平面画像Ｐの明るさ値及び色値を補正するためのゲインデータとなるため、以下の（式１４）に示されているように、平均値ａ'を平均値ａで除算することで、補正パラメータＰａを求める。
Pa = a'/ a・・・（式１４）
これにより、後述の重畳表示において、補正パラメータが示すゲイン値を、格子領域ＬＡＯ毎に乗算することで、平面画像Ｐの色味及び明るさが、正距円筒射影画像ＥＣ（全天球画像ＣＥ）の画素値と近くなり、見た目が違和感なく重畳表示することが可能となる。なお、補正パラメータは、平均値から算出されるだけでなく、平均値に代えて又は平均値に加えて、中央値、最頻値等を使って算出されるようにしてもよい。
また、本実施形態では明るさ値及び色値の補正値の算出に画素値（R，G，B）を使用したが、輝度及び色差信号であるYUVフォーマットや、JPEGのsYCC(YCbCr)フォーマット等における輝度値、色差値を用いて、同様の方法にて格子領域を構成する全ての画素の輝度値及び色差値の平均値を求め、その平均値を除算することにより後述の重畳表示における補正パラメータとしてもよい。なお、RGB値からYUV、sYCC(YCbCr)に変換する方法は公知であるため詳細は省略するが、参考として（式１５）を用いて、JPEG圧縮画像のフォーマットJFIF(JPEG file interchange format)形式のRGBからYCbCrへ変換する例を挙げる。
重畳表示メタデータ作成部５７０は、位置パラメータ及び補正パラメータ等を用いて、全天球画像ＣＥに対して平面画像Ｐを重畳する際の位置、並びに明るさ値及び色値の補正値を示す重畳表示メタデータを作成する。
（重畳表示メタデータ）
続いて、図１４を用いて、重畳表示メタデータのデータ構造について説明する。図１４は、重畳表示メタデータのデータ構造である。
図１４に示されているように、重畳表示メタデータは、正距円筒射影画像情報、平面画像情報、重畳表示情報、及びメタデータ作成情報によって構成されている。
これらのうち、正距円筒射影画像情報は、特殊撮像装置１から撮像画像データと共に送られて来た情報である。正距円筒射影画像情報は、画像識別情報及び付属情報を含んでいる。正距円筒射影画像情報における画像識別情報は、正距円筒射影画像を識別するための画像識別情報である。図１４では、正距円筒射影画像情報における画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。
また、正距円筒射影画像情報における付属情報は、正距円筒射影画像情報に付属する関連情報である。図１４では、付属情報の一例として、特殊撮像装置１で撮像された際に得られた正距円筒射影画像データの姿勢補正情報(Pitch，Yaw，Roll)が示されている。この姿勢補正情報は、特殊撮像装置１の画像記録フォーマットとして規格化されているExifで格納されている場合があり、GPano(Google Photo Sphere schema)で提供されている各種フォーマットで格納されている場合もある。全天球画像は、同じ位置で撮像すれば、姿勢が異なっていても３６０°全方位の画像が撮像できるという特徴があるが、全天球画像ＣＥを表示する場合に、姿勢情報や、どこを画像の中心にするか(注視点)を指定しなければ表示位置が決まらない。そのため、一般的には天頂が撮像者の真上に来るように全天球画像ＣＥを補正して表示する。これにより、水平線が真っ直ぐに補正された自然な表示が可能となる。
次に、平面画像情報は、スマートフォン５で作成された情報である。平面画像情報は、画像識別情報及び付属情報を含んでいる。平面画像情報における画像識別情報は、平面画像Ｐを識別するための画像識別情報である。図１４では、画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。
また、平面画像情報における付属情報は、平面画像情報に付属する関連情報である。図１４では、平面画像情報における付属情報の一例として、３５ｍｍ換算焦点距離の値が示されている。３５ｍｍ換算焦点距離の値は、全天球画像ＣＥに平面画像Ｐを重畳して表示するために必須ではないが、重畳表示を行う場合に表示する画角を決めるための参考情報となるため、例として挙げている。
次に、重畳表示情報は、スマートフォン５で作成された情報であり、領域分割数情報、各格子領域の格子点の位置（位置パラメータ）、及び明るさ値及び色値の補正値（補正パラメータ）を含んでいる。これらのうち、領域分割数情報は、第１の対応領域ＣＡ１を複数の格子領域に分割する際の水平（経度）方向の分割数及び垂直（緯度）方向の分割数を示している。
また、位置パラメータは、平面画像Ｐを格子状の複数の領域に分割した場合の各格子点が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの位置に配置されるかを示す頂点マッピング情報である。補正パラメータは、本実施形態では、平面画像Ｐの色値を補正するためのゲインデータである。なお、補正対象がモノクロ画像の場合もあるため、補正パラメータは、明るさ値及び色値のうち少なくとも明るさ値を合わせるためのパラメータである。
ところで、全天球画像ＣＥを得る場合、平面画像Ｐと同じ射影方式である透視射影方式を用いると、３６０°の全方位の撮像ができない。そのため、全天球画像ＣＥの一部の領域に、全天球画像ＣＥとは別に撮像することで得られた平面画像Ｐを重畳しようとしても、正距円筒射影画像ＥＣと平面画像Ｐは射影方式が異なるため、正距円筒射影画像ＥＣ（全天球画像ＣＥ）と平面画像Ｐが合わず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そのため、全天球画像のように広い画角の画像は、射影方式の１つとして、正距円筒射影方式で作成されることが多い。しかし、正距円筒射影方式を用いると、いわゆるメルカトル図法のように標準緯線から離れるほど横方向の長さが拡大されるため、一般的なカメラで採用されている透視射影方式の画像とは大きく異なった画像となる。よって、単純に画像の縮尺だけを変更して重ね合わせても画像が一致せず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そこで、本実施形態では、図１４に示されている処理により、位置パラメータを作成する。
ここで、図１５を用いて、位置パラメータ及び補正パラメータについて詳細に説明する。図１５（ａ）は第２の対応領域における各格子領域を示した概念図である。図１５（ｂ）は第３の対応領域における各格子領域を示した概念図である。
図１５（ａ）に示されているように、正距円筒射影画像ＥＣの一部の領域である第１の対応領域ＣＡ１が平面画像Ｐと同じ透視射影方式に変換されることで得られる第２の対応領域ＣＡ２は、本実施形態では、水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図１５（ａ）には、各格子領域の格子点の座標(LO00,00，LA00,00)，(LO01,00，LA01,00)，…，(LO30,20，LA30,20)、及び、各格子領域の格子点における明るさ値及び色値の補正値(R00,00，G00,00，B00,00)，(R01,00，G01,00，B01,00)，…，(R30,20，G30,20，B30,20)が示されている。なお、図面を簡略化するため、４頂点における格子点の座標、並びに明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標、並びに明るさ値及び色値の補正値が存在する。また、各明るさ値及び色値の補正値R,G,Bは、それぞれ赤色の補正ゲイン、緑色の補正ゲイン、青色の補正ゲインを示している。各明るさ値及び色値の補正値R,G,Bは、実際には、各格子点の座標を中心とする所定範囲（隣の格子点の所定範囲と重ならない範囲）内の画像の明るさ値及び色値の補正値を示している。
一方、図１５（ｂ）に示されているように、第２の対応領域ＣＡ２が正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換されることで得られた第３の対応領域ＣＡ３は、本実施形態では、同じく水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図１５（ｂ）には、各格子領域の格子点の座標(LO'00,00，LA'00,00)，(LO'01,00，LA'01,00)，…，(LO'30,20，LA'30,20)の座標、及び、第２の対応領域ＣＡ２の各補正値と同じ値の明るさ値及び色値の補正値が示されている。この場合も、図面を簡略化するため、４頂点における格子点の座標及び明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標と明るさ値及び色値の補正値が存在する。
次に、メタデータ作成情報は、重畳表示メタデータのバージョンを示すバージョン情報を示している。
なお、上記のように、位置パラメータは、平面画像Ｐと正距円筒射影画像ＥＣ（全天球画像ＣＥ）のそれぞれの位置対応関係を示すものである。しかし、位置パラメータで、平面画像Ｐの全ての画素位置が正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの座標に対応付けられるかの情報を表わそうとすると、スマートフォン５が高画素数のデジタルカメラを有する場合、約４０００万画素数分の情報を表わさなければならない。そのため、位置パラメータのデータ量が多くなり、データ記憶等の扱いが大変である。そこで、本実施形態の位置パラメータは、平面画像Ｐを６００個（３０×２０）の領域に分割することで、平面画像の格子点の座標が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどこに対応するかを示すだけのデータを示している。また、スマートフォン５は重畳表示する場合には、格子点の座標から各領域内の画像の位置を補間することで、重畳表示を実現することができる。
｛重畳部の機能構成｝
続いて、図１３を用い、重畳部５５ｂの機能構成について説明する。重畳部５５ｂは、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影方式変換部５９０を有している。
これらのうち、貼付領域作成部５８２は、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する領域部分（以下、「部分立体球」という）ＰＳを作成する。
補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう。なお、補正部５８４は、必ずしも明るさや色の補正を行なう必要はない。また、補正部５８４が補正パラメータによって補正を行なう場合、明るさの補正を行なっても、色の補正を行なわなくてもよい。
画像作成部５８６は、部分立体球ＰＳに対して、平面画像Ｐ（又は、平面画像Ｐを補正した後の補正画像Ｃ）を貼り付けることで、重畳画像Ｓを作成する。また、画像作成部５８６は、部分立体球ＰＳの領域に基づいて、マスクデータＭを作成する。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。
ここで、マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳する場合に用いることが可能な透過比率データである。マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさ及び色を、内側の重畳画像Ｓ側から外側の全天球画像ＣＥ側に徐々に近づけるために、マスク周辺の透過度が、内側から外側に向けて徐々に重畳画像Ｓ寄りから全天球画像ＣＥ寄りに高くなっている。これにより、全天球画像ＣＥに重畳画像Ｓが重畳されても、極力、重畳されたことが分からないようにすることができる。なお、マスクデータＭの作成は、必須ではない。
画像重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
射影方式変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影方式変換する。また、射影方式変換部５９０は、射影方式変換する際に、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。具体的には、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも小さい場合には、射影方式変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように拡大する。
一方、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも大きい場合には、射影方式変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように縮小する。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。
＜＜実施形態の処理又は動作＞＞
続いて、図１６を用いて、撮像システム２００が実行する撮像方法を説明する。図１６は、撮像方法を示したシーケンス図である。なお、以下では、被写体や風景等の撮像を行なう場合について説明するが、撮像と同時に集音部１４によって周囲の音を録音してもよい。
図１６に示されているように、スマートフォン５の受付部５２は、ユーザから連携撮像開始を受け付ける（ステップＳ１１）。この場合、図１２（ｂ）に示されているように、表示制御部５６が、図１２（ｂ）に示されている連携撮像装置設定画面をディスプレイ５１７に表示させる。この画面には、撮像装置毎に、連携撮像する際のメインの撮像装置を指定するためのラジオボタン、連携撮像する際のサブの撮像装置を指定（選択）するためのチェックボックスが表示されている。更に、撮像装置毎に、撮像装置の装置名及び電波の受信強度が表示されている。そして、ユーザが所望の撮像装置をメイン及びサブとして指定（選択）して、「確定」ボタンを押下することで、受付部が連携撮像開始を受け付ける。なお、サブの撮像装置は複数であってもよいため、チェックボックスにして複数の撮像装置を指定（選択）することができるようになっている。
まず、スマートフォン５では、近距離通信部５８が、特殊撮像装置１に対して、撮像開始の要求を示す撮像開始要求情報を送信する（ステップＳ１２）。これにより、特殊撮像装置１の近距離通信部１８は撮像開始要求情報を受信する。
例えば、ＯＳＣ(Open Spherical Camera) APIと呼ばれる球体カメラ用に用意されているコマンドのセットを利用することでスマートフォン５は特殊撮像装置１に対し撮像指示を発行することができる。
一方、特殊撮像装置１は、撮像を開始する（ステップＳ１３）。この撮像の処理は、撮像部１３が被写体や風景等を撮像して撮像画像データ（図３（ａ），（ｂ）に示されているような２つの半球画像データ）を生成し、画像・音処理部１５が、２つの半球画像データに基づいて、図３（ｃ）に示されているような単一の正距円筒射影画像データを作成して、記憶・読出部１９が記憶部１０００に正距円筒射影画像データを記憶するまでの処理である。
スマートフォン５では、撮像部５３が特殊撮像装置１と並行に撮像を開始する（ステップＳ１４、Ｓ１５）。好ましくは、スマートフォン５と特殊撮像装置１は同時に撮像する。しかしながら、スマートフォン５から特殊撮像装置１に撮像指示を出して実際に撮像されるタイミングと、スマートフォン５の撮像タイミングを完全に同時にすることは困難である。また、スマートフォン５のフロントカメラとリアカメラも完全に同時に撮像できるとは限らない。図１６ではフロントカメラが撮像し、続いてリアカメラが撮像しているが、フロントカメラとリアカメラ、及び、特殊撮像装置１は可能な限り同時に撮像すればよい。
同時に撮像指示を行う仕組みとして、例えばアンドロイド（登録商標）ＯＳの場合、スマートフォン５が実行するプログラムから撮像機能を提供するCamera APIを呼び出すことでフロント及びリアカメラに撮像指示を行うことができる。
スマートフォン５の撮像部５３はフロントカメラの平面画像データ１（画像識別情報、付属情報）とリアカメラの平面画像データ２（画像識別情報、付属情報）を生成する。
一方、特殊撮像装置１の近距離通信部１８は、スマートフォン５に対して、ステップＳ１３によって得られた正距円筒射影画像データを送信する（ステップＳ１６）。この際、送信される正距円筒射影画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１４に正距円筒射影画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、正距円筒射影画像データ、画像識別情報、及び付属情報を受信する。
次に、スマートフォン５の記憶・読出部５９は、ステップＳ１４、Ｓ１５によって受信された平面画像データの電子ファイルと、及びステップＳ１６によって受信された正距円筒射影画像データの電子ファイルを同一の電子フォルダに格納して、記憶部５０００に記憶する（ステップＳ１７）。
次に、スマートフォン５の画像・音処理部５５は、低精細画像である全天球画像ＣＥの一部の領域に高精細画像である平面画像Ｐを重畳して表示する際に利用する、重畳表示メタデータを作成する（ステップＳ１８）。この際、記憶・読出部５９が、記憶部５０００に重畳表示メタデータを記憶する（ステップＳ１９）。そして、スマートフォン５の画像・音処理部５５は、全天球画像を作成する（ステップＳ２０）。ステップＳ２１については次述する。
ここで、主に、図１３乃至図２１を用いて、重畳表示メタデータの作成処理について詳細に説明する。なお、スマートフォン５と特殊撮像装置１の撮像素子の解像度が、たとえ同じであっても、特殊撮像装置１の撮像素子は３６０°全天球画像ＣＥの元になる正距円筒射影画像を全て網羅しなければならないため、撮像画像における一定領域あたりの精細度が低くなる。
このように、スマートフォン５からスマートフォン自身のカメラに撮像指示を行うだけでなく、特殊撮像装置１に対しても同時に撮像指示を行うことができる。全天球画像と平面画像がほぼ同時に取得でき、画像の重畳に適している。また、ほぼ同時に撮像される場合、特殊撮像装置１とスマートフォン５の位置関係が分かるので後述する注視点Ｇｐを特定できる。
なお、図１６ではスマートフォン５から特殊撮像装置１に撮像指示が出ているが、ユーザが特殊撮像装置１を操作して特殊撮像装置１からスマートフォン５に撮像指示を出してもよい。
｛重畳表示メタデータの作成処理｝
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像Ｐを重畳してディスプレイ５１７に表示するための重畳表示メタデータの作成処理について説明する。重畳表示メタデータは、図１４に示されているように、位置パラメータ及び補正パラメータを含んでいるため、主に、位置パラメータ及び補正パラメータの作成方法について説明する。
抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣにおける複数の特徴点、及び透視射影方式によって得られた長方形の平面画像Ｐにおける複数の特徴点を抽出する（ステップＳ１１０）。
次に、第１の対応領域算出部５５２は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける複数の特徴点と平面画像Ｐにおける複数の特徴点との類似度に基づき、図１７に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する（ステップＳ１２０）。より具体的には、第１の対応領域算出部５５２は、算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを求めることで得られる第１のホモグラフィ変換によって、図１７に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する。この処理は、正距円筒射影画像ＥＣに対して射影方式が異なる平面画像Ｐを正確に対応付けることができないが、ひとまず大まかに対応位置を推定するための処理（仮決め処理）である。
次に、注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（注視点ＧＰ１）を特定する（ステップＳ１３０）。
次に、射影方式変換部５５６は、図１８に示されているように、周辺領域画像ＰＩの垂直画角αが平面画像Ｐの対角画角αと同じになるようにすることで、結果的に周辺領域画像ＰＩが作成できるように、正距円筒射影画像ＥＣ内で注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換する（ステップＳ１４０）。
次に、抽出部５５０は、射影方式変換部５５６によって得られた周辺領域画像ＰＩにおける複数の特徴点を抽出する（ステップＳ１５０）。
次に、第２の対応領域算出部５５８は、第２のホモグラフィ変換によって、平面画像Ｐにおける複数の特徴点と周辺領域画像ＰＩにおける複数の特徴点との類似度に基づき、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ１６０）。なお、平面画像Ｐは、例えば４０００万画素の高精細な画像であるため、予め適切な大きさにリサイズしておく。
次に、領域分割部５６０は、図１９（ｂ）に示されているように、第２の対応領域ＣＡ２を複数の格子領域ＬＡ２に分割する（ステップＳ１７０）。
次に、射影方式逆変換部５６２は、図１７に示されているように、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に変換（逆変換）する（ステップＳ１８０）。これにより、射影方式逆変換部５６２は、図２０に示されているように、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２内の複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。なお、図２０は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。
位置パラメータは、上記のように、図１３及び図１７に示されている。
続いて、図２１等を用いて、補正パラメータの作成処理について説明する。ステップＳ１８０の処理後、形状変換部５６４は、図２１（ａ）に示されているような第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換し、図２１（ｂ）に示されているような第２の対応領域ＣＡ２'を得る（ステップＳ１９０）。
次に、領域分割部５６０は、図２１（ｃ）に示されているように、平面画像Ｐを、変換後の第２の対応領域ＣＡ２'における各格子領域ＬＡ２'と同じ形状で同じ数である複数の格子領域ＬＡ０に分割する（ステップＳ２００）。
次に、補正パラメータ作成部５６６は、第２の対応領域ＣＡ２'における各格子領域ＬＡ２'の色値に対して、各格子領域ＬＡ２'に対応する平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する（ステップＳ２１０）。
最後に、重畳表示メタデータ作成部５７０は、図１７に示されているように、特殊撮像装置１から取得した正距円筒射影画像情報、予め定められている領域分割数情報、射影方式逆変換部５６２によって作成された位置パラメータ、補正パラメータ作成部５６６によって作成された補正パラメータ、及びメタデータ作成情報に基づいて、重畳表示メタデータを作成する（ステップＳ２２０）。この重畳表示メタデータは、記憶・読出部５９によって、記憶部５０００に記憶される。
以上より、図１６に示されているステップＳ２０の処理が終了する。そして、記憶・読出部５９及び表示制御部５６は、重畳表示メタデータを用いて、重畳表示の処理を行なう（ステップＳ２１）。
｛重畳表示の処理｝
続いて、図２２を用いて、重畳表示の処理について説明する。図２２は、重畳表示の処理の課程における画像の概念図である。
まず、図１４に示されている記憶・読出部５９（取得部）が、予め、記憶部５０００から、正距円筒射影方式によって得られた正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた平面画像Ｐのデータ、及び重畳表示メタデータを読み出して取得しておく。
次に、貼付領域作成部５８２は、図２２に示されているように、位置パラメータに基づき、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する部分立体球ＰＳを作成する（ステップＳ３１０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。
次に、補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう（ステップＳ３２０）。以降、補正後の平面画像Ｐは、「補正画像Ｃ」という。
次に、画像作成部５８６は、部分立体球ＰＳに対して、補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する（ステップＳ３３０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。また、画像作成部５８６は、部分立体球ＰＳに基づいて、マスクデータＭを作成する（ステップＳ３４０）。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、画像重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを用いて重畳画像Ｓを重畳する（ステップＳ３６０）。マスクデータの透過比率データから算出される乗算値をＳ３３０の部分立体球及び全天球画像ＣＥに乗算し、重ね合わせることで全天球画像ＣＥを作成する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
次に、射影方式変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影方式変換する（ステップＳ３７０）。
この際、射影方式変換部５９０は、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ'である重畳画像Ｓが含まれている。
続いて、図２３乃至図２７を用いて、重畳表示された状態について詳細に説明する。図２３は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図５に対して、平面画像Ｐを重畳している場合を示している。図２３に示されているように、高精細な重畳画像Ｓは、立体球ＣＳに張り付けられた低精細な全天球画像ＣＥに対し、位置パラメータにしたがって、立体球ＣＳの内側に重畳されている。
図２４は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図２４では、立体球ＣＳに全天球画像ＣＥ及び重畳画像Ｓが貼り付けられ、重畳画像Ｓを含む画像が所定領域画像Ｑとなっている状態を表している。
図２５は、本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。図２６は、本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。
図２５（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図２５（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図２５（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると（画角αを小さくすると）、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３'とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３'との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。
これに対して、本実施形態では、複数の格子領域によって示された位置パラメータを用いているため、図２６（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図２６（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図２６（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。
図２７（ａ）は重畳表示しない場合のワイド画像の表示例、図２７（ｂ）は重畳表示しない場合のテレ画像の表示例、図２７（ｃ）は重畳表示する場合のワイド画像の表示例、図２７（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。
図２７（ａ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示しない場合、図２７（ａ）における波線で示される領域まで拡大表示すると、図２７（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図２７（ｃ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示する場合、図２７（ｃ）における波線で示される領域まで拡大表示すると、図２７（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。
＜視差とケラレについて＞
図２８は、視差とケラレの関係を説明する図の一例である。ケラレとは、レンズフードやフィルタなどが写真の周囲に写りこんで被写体が欠けたり、周囲が暗くなったりする現象をいう。図２８（ａ）ではスマートフォン５のリアカメラのレンズ（図ではＣＭＯＳセンサ５０５ａ）から特殊撮像装置１の筐体までに十分な距離があるため、スマートフォン５のリアカメラに特殊撮像装置１の影等（例えば、筐体が作る影や光の反射）が写り込まない。しかし、スマートフォン５のレンズと特殊撮像装置１のレンズの間の距離が大きいため（視差が大きいため）、スマートフォン５が全天球画像に平面画像を重畳した際に違和感が発生するおそれがある。
これに対し、図２８（ｂ）ではスマートフォン５のリアカメラのレンズから特殊撮像装置１までの距離が短いため、スマートフォン５が全天球画像に平面画像を重畳した際に違和感が発生するおそれが少ない。しかし、スマートフォン５のリアカメラに特殊撮像装置１の影等が写るケラレが発生する場合がある。なお、スマートフォン５がズームすることで画角が狭くなるとケラレが発生しない。
そこで、本実施形態のスマートフォン５は、スマートフォン５のレンズから特殊撮像装置１の筐体までの相対位置及び焦点距離がケラレを発生させる条件に当てはまる場合、ケラレが発生する部分を重畳表示しないようにする。
図２９はケラレが発生した平面画像の一例を示す。図２８に示したように、スマートフォン５のリアカメラから見て左側に特殊撮像装置１が存在する場合、平面画像の右端に影等（ケラレ領域３０２）が生じる。影等が生じている部分は画質が低下し視認性も悪いので、この部分を重畳する必要性は低い。
＜ケラレに対する対応１＞
スマートフォン５に対する特殊撮像装置１の相対位置が固定でありスマートフォン５の焦点距離が一定の場合、ケラレが発生する領域（ケラレ領域３０２）も一定である。したがって、開発者やユーザ等はケラレ領域３０２を重畳領域情報として予めスマートフォン５等に設定しておくことができる。例えば、スマートフォン５の記憶部５０００に重畳領域情報５００２として記憶されている。あるいは、通信ネットワーク上のサーバからスマートフォン５がダウンロードしてもよい。
図３０はケラレ領域３０２を図１４に示した重畳表示メタデータにて保持する方法を説明する図の一例である。図３０（ａ）は平面画像とケラレ領域３０２を示し、図３０（ｂ）は領域分割された平面画像の一例を示す。重畳表示メタデータの位置パラメータ及び補正パラメータは３０×２０個の領域に分割されている。図３０（ｂ）の格子領域は位置パラメータ又は補正パラメータの格子領域と同じであるため、図３０（ｂ）の１領域がそのまま位置パラメータ及び補正パラメータの１格子領域と対応する。
水平方向に６個、垂直方向に２０個の領域がケラレ領域３０２であるとする。図３０（ｃ）に示すように、重畳表示メタデータにおける位置パラメータ及び補正パラメータの領域のうち、ケラレがない部分（非ケラレ領域）の２４×２０個の領域が重畳表示情報として指定される。次述の図３１に示すように、エンコードの処理として、重畳表示メタデータ作成部５７０は、記憶部５００に記憶されている重畳領域情報５００２を重畳表示メタデータに設定すればよい。
こうすることで、スマートフォン５の画像・音処理部５５は重畳領域情報を参照することで位置パラメータ及び補正パラメータの格子領域のうち重畳したり色補正したりする領域を特定できる。つまり、２４×２０個の領域以外の領域は重畳にも色補正にも使用されない。
図３１はケラレに対する対応１における重畳表示メタデータの一例を示す。図１４と比較して説明すると、重畳表示情報が重畳領域情報を有している。重畳領域情報は、水平（緯度）開始終了位置と垂直（経度）開始終了位置を有する。重畳領域情報は、平面画像Ｐの任意の領域を指定することができる。水平（緯度）開始終了位置は領域分割数情報にて定められた水平分割数３０個の領域のうち、画質が低下していない非ケラレ領域の水平方向の開始位置と終了位置を指定する。あるいは、画質が低下したケラレ領域の水平方向の開始位置と終了位置を指定する。図３１では（０，２４）となっているので、左端から２４個までの領域が指定されている。
垂直（経度）開始終了位置は領域分割数情報にて定められた垂直分割数２０個の領域のうち、垂直方向の開始位置と終了位置を指定する。図３１では（０，２０）となっているので、上端から２０個までの領域が指定されている。
デコードの処理について説明する。したがって、画像・音処理部５５の重畳部５５ｂ（画像作成部５８６）は位置パラメータの格子領域が、重畳表示メタデータの重畳領域情報で指定された領域に含まれている場合に、平面画像の対応する領域を抽出して全天球画像に重畳する。位置パラメータの格子領域が、重畳表示メタデータの重畳領域情報で指定された領域に含まれていない場合、平面画像の対応する領域を全天球画像に重畳しない。補正パラメータについても同様である。
なお、重畳表示情報には非ケラレ領域が設定されているが、ケラレ領域３０２が設定されていてもよい。開発者やユーザ等は、例えば実際に本実施形態の撮像システム２００で撮像してみて、ケラレ領域３０２を目で確認し、重畳領域情報として定めておくことができる。
図３２は、画像作成部５８６が重畳表示メタデータの重畳領域情報を参照して平面画像を正距円筒射影画像に貼り付ける処理を説明するフローチャート図の一例である。この処理は、図２２のステップＳ３１０で実行される。
画像作成部５８６は、位置パラメータの１つの領域を読み出す（Ｓ３１０−１）。
画像作成部５８６は、位置パラメータの１つの領域がケラレ領域３０２に含まれているか否かを、重畳領域情報を参照して判断する（Ｓ３１０−２）。
ステップＳ３１０−２の判断がＮｏの場合、画像作成部５８６は平面画像Ｐの位置パラメータの領域を正距円筒射影画像に貼り付ける（Ｓ３１０−３）。より詳細にはマスクデータＭに位置パラメータの領域を加える。
ステップＳ３１０−２の判断がＹｅｓの場合、画像作成部５８６は位置パラメータの領域を正距円筒射影画像に貼り付けない（Ｓ３１０−４）。より詳細にはマスクデータＭに位置パラメータの領域を加えられない。
そして、画像作成部５８６は位置パラメータの全ての領域を確認したか否かを判断する（Ｓ３１０−５）。
ステップＳ３１０−５の判断がＮｏの場合、処理はステップＳ３１０−１に戻り、ステップＳ３１０−５の判断がＹｅｓの場合、図３２の処理は終了する。
なお、ケラレ領域はスマートフォン５の焦点距離によって変わるので、重畳領域情報は焦点距離ごとに設定されることが好ましい。重畳表示メタデータでは、例えば以下のように重畳領域情報が保持される。
焦点距離範囲１：重畳表示情報１
焦点距離範囲２：重畳表示情報２
… …
焦点距離範囲ｎ：重畳表示情報ｎ
このように、焦点距離のある範囲ごとに重畳表示情報が設定されていることで、画像作成部５８６はスマートフォン５のリアカメラの焦点距離に応じて、重畳表示情報を読みだし、正距円筒射影画像に平面画像を貼り付けることができる。
＜ケラレに対する対応２＞
ケラレに対応する方法１では、２０×３０の決まった領域の中からケラレ領域３０２を選択することしかできないという制約、及び、矩形領域のケラレ領域３０２にしか対応できないという制約がある。そこで、以下のように座標点を用いて非ケラレ領域を指定する。まず、エンコードについて説明する。
図３３はケラレ領域３０２を重畳表示メタデータにて保持する方法を説明する図の一例である。図３３（ａ）は平面画像とケラレ領域３０２を示し、図３３（ｂ）は全体が２０×３０の領域に分割された平面画像を示す。図３３（ｃ）は非ケラレ領域が２０×３０に分割された平面画像の一例を示す。図３３の場合もケラレがある部分は一定である。
図３３（ａ）に示すように、ケラレ領域３０２は台形形状になっている。重畳表示メタデータ作成部５７０は、まず、非ケラレ領域を均等に分割する。縦方向と横方向の分割数は図３１の重畳表示メタデータに記載されているように予め設定されている。
ケラレがある部分は一定であるので、図３３（ｃ）の非ケラレ領域の４つの頂点ａｂｃｄの座標は記憶部５０００に記憶されている（ケラレ１の重畳領域情報と同様）。これを使って、重畳表示メタデータ作成部５７０は以下のように処理する。
(i) 非ケラレ領域の座標ａと座標ｂを領域分割数情報の水平（経度）分割数で等分に分割し、座標ｄと座標ｃを領域分割数情報の水平（経度）分割数で等分に分割する。
(ii) 非ケラレ領域の座標ａと座標ｄを領域分割数情報の垂直（緯度）分割数で等分に分割し、座標ｂと座標ｃを領域分割数情報の垂直（緯度）分割数で等分に分割する。
(iii) 非ケラレ領域の対向する２辺の分割で得られた点（上辺と下辺では左又は右から順番に、左辺と右辺では上又は下から順番に）を直線で結ぶ。これにより、非ケラレ領域が複数領域に分割される。
(iv)分割に使用されたそれぞれの直線の方程式が分かるので、直線の交点を領域の頂点３０３として求める。図３３（ｃ）では説明の便宜上１つだけ頂点３０３を示した。直線の交点から２１×３１個の領域の頂点３０３の座標が算出される。
ところでコンピュータグラフィクスの分野では、画像を重畳して表示する際に使用する画像データは、一般的にテクスチャ画像と呼ばれる。本実施形態においても、全天球画像への重畳表示に利用する重畳画像をテクスチャ画像と呼ぶことにする。また先述のOpenGLの用語ではテクスチャ画像における座標系はテクスチャＵＶ座標と呼ばれ、画像の幅、高さをそれぞれ０−１に正規化した座標系で表現される。本発明においてもテクスチャＵＶ座標又は単にＵＶ座標と呼ぶことにする。重畳表示メタデータ作成部５７０は、このようにして算出した２１×３１個のＵＶ座標を重畳表示メタデータに含める。頂点ａｂｃｄの座標からケラレ領域３０２の座標も分かるので、ケラレ領域３０２の座標を重畳表示メタデータに含めてもよい。
本実施例においては、図３３（ｃ）の格子点で示される各位置座標が平面画像Ｐにおいて対応する位置を示すのがＵＶ座標である。ただし、上記のようにＵＶ座標は高さ・幅ともに０−１に正規化された座標系となっている。具体的には、平面画像Ｐの幅をPw、高さをPhとし、平面画像Ｐ上におけるある点の座標を（x,y）とすると、対応するＵＶ座標は（x/Pw，y/Ph）となる。ただし、平面画像の左下が（０，０）である。
図３４（ｄ）は、そのようにして各格子点のＵＶ座標を算出したときの例である。四角形の上辺はテクスチャ画像の０から０．８までの間を、底辺は０から０．６までの間を均等に３０分割している。また左辺及び右辺は、０から１．０までの間を均等に２０分割している。このＵＶ座標は図３３（ｃ）の各格子点で示される位置パラメータにそれぞれ対応し、デコード処理においてテクスチャ画像を重畳する時に利用される。
補正パラメータについても、図３３（ｃ）において格子領域に分割した拡張点に対応する明るさ値及び色値の補正値を上記したゲインデータと同様に求めればよい。
デコードの処理を説明する。画像作成部５８６は位置パラメータ及びテクスチャＵＶ座標を参照して全天球画像に重畳する。非ケラレ領域に対応する各位置座標とその位置座標に対応するＵＶ座標を参照することで、平面画像Ｐの非ケラレ領域部分のみが全天球画像に重畳されることになる。
図３３の方法であれば、複雑な形状のケラレでもＵＶ座標をユーザや開発者等が適切に設定することで対応できる。
図３４は、ケラレに対する対応２における重畳表示メタデータの一例を示す。図１４と比較して説明すると、重畳表示情報がＵＶ座標を有している。ＵＶ座標は図３３（ｃ）のように非ケラレ領域が均等に分割された際の交点の座標である。
図３５は、画像作成部５８６が重畳表示メタデータの重畳領域情報を参照して平面画像を正距円筒射影画像に貼り付ける処理を説明するフローチャート図の一例である。この処理は、図２２のステップＳ３１０で実行される。
画像作成部５８６は、位置パラメータの１つの格子領域を読み出す（Ｓ３１０−１）。
画像作成部５８６は、位置パラメータの格子領域の座標を算出する（Ｓ３１０−２）。例えば、格子領域の４つの頂点の座標を算出する。
画像作成部５８６は、位置パラメータの格子領域の座標が重畳表示メタデータのＵＶ座標に含まれるか否かを判断する（Ｓ３１０−３）。例えば、位置パラメータの格子領域の４つの頂点の全ての座標がＵＶ座標で定まる領域に入っているか否かを判断する。
ステップＳ３１０−３の判断がＹｅｓの場合、画像作成部５８６は位置パラメータの格子領域を正距円筒射影画像に貼り付ける（Ｓ３１０−４）。より詳細にはマスクデータＭに位置パラメータの領域を加える。
ステップＳ３１０−３の判断がＮｏの場合、画像作成部５８６は位置パラメータの格子領域を正距円筒射影画像に貼り付けない（Ｓ３１０−５）。より詳細にはマスクデータＭに位置パラメータの領域を加えられない。
そして、画像作成部５８６は位置パラメータの全ての格子領域を確認したか否かを判断する（Ｓ３１０−６）。
ステップＳ３１０−６の判断がＮｏの場合、処理はステップＳ３１０−１に戻り、ステップＳ３１０−６の判断がＹｅｓの場合、図３５の処理は終了する。
なお、ケラレに対する対応２においても、ＵＶ座標はスマートフォン５の焦点距離ごとに設定されることが好ましい。
＜位置関係情報を利用した注視点の特定＞
スマートフォン５と特殊撮像装置１のレンズの相対位置から、スマートフォン５によって撮像される平面画像の中心が全天球画像のどこに対応するか特定可能である。対応する点を注視点Ｇｐという。注視点Ｇｐが分かれば焦点距離で定まる周辺領域ＰＡを、領域ごとに射影方式変換することで重畳表示メタデータを作成できる。
図３６は、注視点Ｇｐを説明する図の一例である。図３６は、正距円筒射影画像に各相対位置の注視点Ｇｐと、注視点Ｇｐの周囲の周辺領域ＰＡを示す。全天球画像の中心が特殊撮像装置１のレンズの中心である。相対位置をyaw, pitch, rollで表す。スマートフォン５と特殊撮像装置１のレンズが全く同じ方向を向いている場合、yaw=0, pitch=0, roll=0となり、注視点Ｇｐ０は全天球画像の中心に一致する。
yaw=−90, pitch=−45, roll=0の場合、注視点Ｇｐ１は正距円筒射影画像の右上に存在する。yawの座標系と正負が一致していないのは、座標系の取り方によるものである。同様に、yaw=50, pitch=60,roll=0の場合、注視点Ｇｐ２は正距円筒射影画像の左下に存在する。yaw=110, pitch=10,roll=0の場合、注視点Ｇｐ３は注視点Ｇｐ０の左側に存在する。
なお、注視点Ｇｐの算出にyaw, pitch, rollだけでなくレンズの位置関係、焦点距離なども考慮してよい。
図３７は、yawとpitchと注視点Ｇｐの対応を説明する図の一例である。撮像位置を同じと仮定すれば、yawとpitchは緯度と経度に相当するため、緯度と経度を正距円筒射影画像の座標に変換すれば注視点Ｇｐを算出することができる。
また、スマートフォン５と特殊撮像装置１の相対位置は固定なので、スマートフォン５は注視点Ｇｐを予め記憶部５０００に記憶しておいてもよい。こうすることで、メタデータ作成部５５ａは注視点Ｇｐを算出する必要がない。
＜本実施形態のケラレ領域の排除の効果＞
図３８を用いてケラレ領域が重畳されないことの効果を説明する。図３８（ａ）は比較のために示されたケラレ領域も含めて重畳された場合の全天球画像を示す。図３８（ａ）ではケラレ領域も重畳されてしまう。図３８（ｂ）はケラレ領域が除外して重畳された場合の全天球画像を示す。図３８（ｂ）ではケラレ領域が重畳されないので、画質が低下した平面画像をユーザが閲覧したり、ケラレに違和感を感じたりすることを抑制できる。
また、図１７に示した重畳表示メタデータの位置パラメータを作成する一連のプロセスにおいて、ステップＳ１１０〜Ｓ１３０の処理が不要になるので、位置パラメータの算出時間を削減すると共に、正しくない位置パラメータを算出してしまう可能性を低減することができる。
すなわち、相対位置からスマートフォン５が注視点Ｇｐを算出できるか又は予め記憶部５０００に注視点Ｇｐが記憶されているので、抽出部５５０によるステップＳ１１０の処理（正距円筒射影画像ＥＣと平面画像Ｐにおける複数の特徴点）、第１の対応領域算出部５５２によるステップＳ１２０の処理（第１のホモグラフィ変換）、及び、注視点特定部５５４によるステップＳ１３０の処理（注視点ＧＰ１の特定）を省略できる。
＜レンズ収差による歪み補正＞
本実施例ではテクスチャＵＶ座標を使用してケラレによる画質低下を説明したが、テクスチャＵＶ座標を利用することでケラレ以外の画質低下を抑制できる。一例として、レンズ収差により歪んだ平面画像へ適応する例を説明する。
スマートフォン５によって撮像される平面画像Ｐがレンズ収差により歪んでいる場合、立体球ＣＳに平面画像Ｐを貼り付けた際に特につなぎ目でずれが目立ち画質が低下してしまうおそれがある。
図３９は、歪みが生じている平面画像Ｐの一例を示す。歪みを分かりやすく示すため格子パターンが撮像された平面画像Ｐを示す。レンズの歪みが全くなければ格子パターンは正方形が上下左右に整列した配列になるが、レンズ収差により中央部が大きく周辺部が小さくなる歪んだ画像となっている。なお、図３９の歪みは一例であってどのように歪むかはレンズによって変わりうる。
図４０は、テクスチャＵＶ座標と位置パラメータの対応を示す図の一例である。図４０（ａ）は歪みが生じている平面画像Ｐを５０×５０の領域で分割して得られる５１×５１のテクスチャＵＶ座標を示す図である。図４０（ｂ）は、位置パラメータ(ここでは５１×５１)の格子領域の位置とＵＶ座標との対応に基づいて、部分立体球に貼り付けられる平面画像Ｐの補正イメージを示す図である。
すなわち、ＵＶ座標の５１×５１の格子と位置パラメータの５１×５１の格子が対応する。位置パラメータのまま平面画像Ｐが重畳されると平面画像Ｐは図４０（ａ）のように歪んでいる。そこで、撮像システム２００の開発者等はレンズの歪みを補正するパラメータを位置パラメータの各格子ごとに用意しておく。レンズの歪みを補正するパラメータの簡易な例は格子ごとの補正後の座標である。重畳の際、重畳部５５ｂは格子領域ごとに例えば射影変換を平面画像Ｐに施すことにより歪みを補正する。レンズの歪みを補正するパラメータとしてＵＶ座標が利用される。
レンズの歪みを補正するパラメータ（本実施例では補正後のテクスチャＵＶ座標を算出するための係数)の算出方法については、公知の技術が知られている。例えば、コンピュータ又は開発関係者等が該当レンズで撮像位置を変えながら格子パターン画像を複数回、撮像する。撮像された複数の画像における対応点からカメラの内部パラメータ、外部パラメータ及び歪収差係数を求める方法がある。このようなカメラキャリブレーションについての詳細は例えば非特許文献１がある。また、ＯｐｅｎＣＶという汎用的なプログラムライブラリにも実装されている。
図４０（ａ）と図４０（ｂ）を見てわかるように、左図で歪んだ格子パターンの５０×５０個の各四角形が正方形に補正されている。このようにテクスチャＵＶ座標を適切に指定することで、重畳部５５ｂは歪みが補正された平面画像Ｐを部分立体球に貼り付けることが可能となる。
図４１は、歪み補正の効果を説明する図の一例である。図４１（ａ）は歪みを考慮せずに平面画像が貼り付けられた部分立体球と、図４１（ｂ）は歪み補正が行われたＵＶ座標で平面画像Ｐが貼り付けられた部分立体球の一例である。図４１では点線の領域が貼り付けられた平面画像Ｐである。
図４１（ａ）では、平面画像Ｐの歪みと立体球画像の歪みが一致しておらず、つなぎ目付近でずれが目立ち画質が低下している。一方、図４１（ｂ）では、全天球画像と平面画像のつなぎ目付近のずれが大きく軽減されており、平面画像Ｐの内部も歪みが補正され、平面画像Ｐが重畳された全天球画像の品質が向上している。
以上のように、テクスチャＵＶ座標を利用することにより、ケラレの除外だけでなく、歪みを補正することが可能である。
＜重畳画像が複数ある場合の重畳表示メタデータの構成例＞
次に、重畳画像(平面画像)が複数枚ある場合の重畳表示メタデータについて説明する。
図４２は、平面画像ＰがＮ枚ある場合における重畳表示メタデータの構成例を示す図である。図１４の重畳表示メタデータでは、平面画像Ｐが１枚であったため平面画像情報及び重畳表示情報がそれぞれ１つしかなかったが、平面画像ＰがＮ枚ある場合は、それぞれの平面画像ごとに平面画像情報及び重畳表示情報が設定される。
表示処理においては、貼付領域作成部５８２が仮想の立体球ＣＳにおいて、それぞれの平面画像Ｐにおける重畳表示情報から第３の対応領域ＣＡ３に対応する部分立体球ＰＳを作成する。平面画像が複数枚あるので、複数の部分立体球が作成されることになる。
次に補正部５８４は、それぞれの平面画像における重畳表示情報の補正パラメータに基づいて、それぞれの平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行い、画像作成部５８６は、それぞれの平面画像の部分立体球に対して、対応する補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する。
マスクデータの作成についてもそれぞれの平面画像について行う。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。そして、画像重畳部５８８は、全天球画像ＣＥに対して、それぞれの平面画像ごとに作成された重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように補正された複数枚の高精細な重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
次に、重畳の順番が設定された重畳表示メタデータについて説明する。複数枚の重畳画像(平面画像)が重畳表示メタデータに設定されている場合、重畳表示処理において、どういう順序で正距円筒射影画像及び平面画像を重畳するかが重要になってくる。これは、正距円筒射影画像が１枚、平面画像が１枚の場合は、正距円筒射影画像に対し、画像重畳部５８８が平面画像を重畳することになり、後に重畳した画像が手前側に表示される。すなわち、最初に正距円筒射影画像ＥＣを立体球ＣＳに貼り付け、次に平面画像から生成した重畳画像ＳをマスクデータＭと共に重畳するので、順番は自然に決まる。
重畳画像(平面画像)が複数枚あって、その一部又は全部に重なりがある場合、後に重畳した平面画像が手前に来るため、重なっている部分で奥にある画像が見えないようになる。そのため、重畳する順序に注意が必要であり、重畳する順序を指定する情報があることが望ましい。
図４３は、重畳順序指定情報を有する重畳表示メタデータの構成例を示す図である。重畳順序と正距円筒射影画像及び平面画像が対応付けられるため、正距円筒射影画像及び平面画像は画像識別情報で識別される。例えば、IMAGE001.JPG,IMAGE111.JPG,IMAGE113.JPG,IMAGE112.JPGが画像識別情報である。重畳順序指定情報は、この画像識別情報を配列として格納し、表示処理において、画像重畳部５８８は配列に格納された順番で重畳処理を行う。
図４３の例においては、順序指定情報が[./IMAGE001.JPG, ./IMAGE111.JPG, ./IMAGE113.JPG, ./IMAGE112.JPG]となっているので、画像重畳部５８８は、最初に./IMAGE001.JPGで指定される正距円筒射影画像を重畳する。続いて./IMAGE111.JPG, ./IMAGE113.JPG, ./IMAGE112.JPGという順序で重畳する。したがって、もしこれらの画像の重畳位置に重なりがある場合は、最後に重畳した./IMAGE112.JPGで指定される画像が一番手前に来ることになる。
重畳順序の決め方については、表示する時の目的によって異なるので、利用者が自由に指定できるようにして良い。あるいは自動的に順序を決定してもよい。一例としては正距円筒射影画像を最初とし、続いて平面画像については、各平面画像の焦点距離の小さい順（画角の大きい順）とすると良い。焦点距離の小さい順で重畳することにより、平面画像を重畳する位置に重なりがあっても、焦点距離が大きい画像（画角が小さい画像）が、別の平面画像の奥に隠れてしまうということを防ぐことができる。
＜最初に表示する表示画像を作成するための重畳表示メタデータの構成例＞
続いて、重畳表示において、スマートフォン５が最初に表示する視線方向（仮想カメラＩＣにおける撮像方向）及び画角αを指定するための設定を有する重畳表示メタデータについて説明する。
図４４は表示開始情報として視線方向情報と画角情報を有する重畳表示メタデータの構成例を示す図である。図７にて説明したように、仮想カメラＩＣの姿勢を変更することで、仮想カメラＩＣの撮像領域である所定領域Ｔが変更される。例えば図２２のステップ３７０において、予め定められた仮想カメラＩＣの視線方向(仮想カメラＩＣの姿勢)と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔが射影方式変換によりディスプレイ５１７に表示されるとした。
したがって、予め決められた視線方向と画角α（初期値）を重畳表示メタデータに含めることで、射影方式変換部５９０は最初に表示する所定領域画像を作成するための表示開始情報として利用することができる。
最初に作成する表示画像は、利用者の目的によって異なるので利用者が自由に指定できるようにすることが好ましい。あるいは自動的に表示開始情報が設定されてもよい。ここではその一例を示す。重畳する平面画像が１枚の場合は、重畳表示メタデータ作成部５７０はその平面画像の中心に相当する中心点が、所定領域画像Ｑの中心に相当する位置となるように表示開始情報を決定する。
そのためにメタデータには視線方向情報として、重畳表示する平面画像の中心点を、正距円筒射影画像上における緯度、経度座標(ee, aa)に変換して格納する。この変換はすでに説明した射影方式逆変換部５６２により実現できる。正距円筒射影画像上の緯度経度座標は、すでに述べたように垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。画角αについては、平面画像の対角画角を指定する。
また、平面画像が複数枚ある場合は、例えば焦点距離が一番小さい平面画像について、同様の方法により、その中心点が所定領域画像の中心相当となるように姿勢方向情報を決めれば良い。画角についても同様である。また同じ大きさの焦点距離で撮像された平面画像が複数毎ある場合の選択は、重畳順序指定情報で指定されている順序情報を利用してどの平面画像を選択するかを決めれば良い。
＜まとめ＞
以上説明したように、本実施形態の撮像システム２００は、予め設定されたケラレ領域を正距円筒射影画像に重畳しないので、全天球画像に重畳された平面画像の画質が低下することを抑制できる。また、重畳表示メタデータのＵＶ座標により平面画像Ｐの歪みを補正することができる。また、重畳表示メタデータにより複数の平面画像の重畳順序や視線方向と画角の初期値を指定できる。
本実施例では重畳表示メタデータの作成を画像処理サーバ７が行う撮像システム２００について説明する。
まずは、図４５を用いて、本実施例の撮像システム２００の構成の概略について説明する。図４５は、本実施形態の撮像システム２００の構成の概略図である。
図４５に示されているように、本実施形態の撮像システム２００は、実施例１に係る各構成に対して、更に画像処理サーバ７が追加されている。実施例１と同一の構成には、同一の符号を付してその説明を省略する。スマートフォン５と画像処理サーバ７は、インターネットやイントラネット等の通信ネットワーク１００を介して、画像処理サーバ７と相互通信することができる。
第１の実施形態では、スマートフォン５が、重畳表示メタデータの作成や画像の重畳の処理を行なっているのに対して、本実施形態では、画像処理サーバ７がこれらの処理を行なう。なお、本実施形態のスマートフォン５は、通信端末の一例となり、画像処理サーバが画像処理装置の一例となる。
画像処理サーバ７は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。
＜＜実施形態のハードウェア構成＞＞
次に、図４６を用いて、本実施形態の画像処理サーバ７のハードウェア構成を詳細に説明する。図４６は、画像処理サーバのハードウェア構成図である。なお、本実施形態の特殊撮像装置１、及びスマートフォン５のハードウェア構成は、第１の実施形態と同様であるため、それらの説明を省略する。
＜画像処理サーバのハードウェア構成＞
画像処理サーバ７は、コンピュータによって構築されており、図４６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、光学ドライブ７１４、及び、バスライン７１０を備えている。なお、画像処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。
これらのうち、ＣＰＵ７０１は、画像処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc−ReWritable)７１３に対する各種データの読み出し等を制御する。
また、画像処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図３２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
＜＜実施形態の機能構成＞＞
次に、図４７及び図４８を用いて、本実施形態の機能構成について説明する。図４７は、本実施例に係る撮像システム２００の機能ブロック図である。なお、本実施形態の特殊撮像装置１、及びスマートフォン５の機能構成は、第１の実施形態と同様であるため、それらの説明を省略する。本実施形態の場合、スマートフォン５の画像・音処理部５５は、図１３に示されている各機能構成を有していてもよいし、有していなくてもよい。
＜画像処理サーバの機能構成＞
図４７に示されているように、画像処理サーバ７は、遠距離通信部７１、受付部７２、画像・音処理部７５、表示制御部７６、判断部７７、及び記憶・読出部７９を有している。これら各部は、図４６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された画像処理サーバ７用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
また、画像処理サーバ７は、図４６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。
（画像処理サーバの各機能構成）
画像処理サーバ７の遠距離通信部７１は、主に、図４６に示されているネットワークＩ／Ｆ７０９及びＣＰＵ７０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、他のサーバ、スマートフォン５）との間で各種データ（又は情報）の送受信を行う。
受付部７２は、主にキーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
画像・音処理部７５は、主にＣＰＵ７０１からの命令によって実現され、スマートフォン５から送られて来た各種データに対して、各種処理を行なう。
表示制御部７６は、主にＣＰＵ７０１の処理によって実現され、第１の実施形態の表示制御部５６と異なり、スマートフォン５のディスプレイ５１７に平面画像Ｐを表示させるための所定領域画像Ｑのデータを作成する。また、表示制御部７６は、画像・音処理部７５によって作成された重畳表示メタデータを利用して、平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示させるためのデータを作成する。
判断部７７は、図４６に示されているＣＰＵ７０１の処理によって実現され、各種判断を行なう。
記憶・読出部７９は、主に、図４６に示されているＣＰＵ７０１の処理によって実現され、記憶部７０００に、重畳表示メタデータ等の各種データ（又は情報）を記憶したり、記憶部７０００から重畳表示メタデータ等の各種データ（又は情報）を読み出したりする。また、記憶・読出部７９は、記憶部７０００から各種データを取得する取得部の役割を果たす。
（画像・音処理部の詳細な各機能構成）
ここで、図４８を用いて、画像・音処理部７５の各機能構成について詳細に説明する。図４８は、画像・音処理部の詳細な機能ブロック図である。
画像・音処理部７５は、大きく分けて、エンコードを行なうメタデータ作成部７５ａとデコードを行なう重畳部７５ｂを有している。メタデータ作成部７５ａは、図４９に示されている後述のステップＳ４４の処理を実行する。また、重畳部７５ｂは、図４９に示されている後述のステップＳ４５の処理を実行する。
｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部７５ａの各機能構成について説明する。メタデータ作成部７５ａは、抽出部７５０、第１の対応領域算出部７５２、注視点特定部７５４、射影方式変換部７５６、第２の対応領域算出部７５８、領域分割部７６０、射影方式逆変換部７６２、形状変換部７６４、補正パラメータ作成部７６６、及び重畳表示メタデータ作成部７７０を有している。これらは、それぞれ第１の実施形態における、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０と同様の機能を有するため、これらの説明は省略する。
｛重畳部の機能構成｝
続いて、重畳部７５ｂの機能構成について説明する。重畳部７５ｂは、貼付領域作成部７８２、補正部７８４、画像作成部７８６、重畳部７８８、及び射影方式変換部７９０を有している。これらは、それぞれ第１の実施形態における、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影方式変換部５９０を有するため、これらの説明は省略する。
＜＜実施形態の処理又は動作＞＞
続いて、図４９を用いて、本実施形態の処理又は動作について説明する。図４９を用いて、撮像システムが実行する撮像方法を説明する。図４９は、本実施例に係る撮像方法を示したシーケンス図である。なお、ステップＳ３１〜Ｓ４１の処理は、第１の実施形態のステップＳ１１〜Ｓ３１と同様の処理であるため、これらの説明を省略する。
スマートフォン５では、遠距離通信部５１が通信ネットワーク１００を介して画像処理サーバ７に、射影方式が異なる一方の画像に他方の画像を重畳するための重畳要求を示す重畳要求情報を送信する（ステップＳ４２）。この重畳要求情報には、記憶部５０００に記憶された電子フォルダ内のデータ（平面画像データ、正距円筒射影画像データ）を送信する。これにより、画像処理サーバ７の遠距離通信部７１は、電子フォルダ内のデータを受信する。
次に、画像処理サーバ７では、記憶・読出部７９が、記憶部７０００に、ステップＳ４２で受信された電子フォルダ内のデータを記憶する（ステップＳ４３）。そして、図４８に示されているメタデータ作成部７５ａが、重畳表示メタデータの作成を行なう（ステップＳ４４）。更に、重畳部７５ｂが、重畳の処理を行なう（ステップＳ４５）。ステップＳ４４，Ｓ４５の処理は、それぞれステップＳ２２，Ｓ２３の処理と同様の内容であるため、これらの説明を省略する。
次に、表示制御部７６は、スマートフォン５のディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示させる所定領域画像Ｑのデータを作成する（Ｓ４６）。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ'である重畳画像Ｓが含まれている。
遠距離通信部７１は、スマートフォン５に対して、表示制御部７６によって作成された所定領域画像Ｑのデータを送信する（ステップＳ４７）。これにより、スマートフォン５の遠距離通信部５１は、所定領域画像Ｑのデータを受信する。
次に、スマートフォン５では、表示制御部５６が、ディスプレイ５１７上に、重畳画像Ｓが含まれた所定領域画像Ｑを表示させる（ステップＳ４８）。
＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、上記第１の実施形態と同様の効果を奏する。
また、本実施形態では、連携撮像の処理はスマートフォン５で行い、重畳表示メタデータの作成及び重畳の処理は画像処理サーバ７で行なうため、スマートフォン５の処理能力が比較的低い場合であっても、画像のずれを抑制することができるという効果を奏する。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態ではケラレによる画質低下を抑制する方法を説明したが、ケラレ以外にも画質低下をもたらす領域を重畳の対象から除外できる。
また、ケラレ領域はユーザや開発者等が設定すると説明したが、スマートフォン５が画像処理によりケラレ領域を検出してもよい。
また、全天球画像の表示はブラウザソフトウェアで行ってもよいし、全天球画像を表示するためのアプリケーションソフトで行ってもよい。
また、スマートフォン５が行っていた処理をサーバが行い、スマートフォン５は主に操作を受け付けたり全天球画像ＣＥを表示したりするのみでもよい。
また、本実施形態の全天球画像は所定領域Ｔに表示しきない画角の画像データであればよい。例えば、水平方向にだけ１８０度〜３６０度の画角を有する広角画像でもよい。すなわち、全天球画像に限られない。
また、スマートフォン５が有してもよいし、スマートフォン５に外部接続されるカメラの数は３つ以上でもよい。
また、特許請求の範囲の貼り付けるとは、一方の画像に優先して他方の画像が見られることをいう。重畳する、合成する、又は、配置するなどと表現してもよい。
また、図１１、図１３などの構成例は、特殊撮像装置１、及びスマートフォン５による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。特殊撮像装置１、及びスマートフォンの処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
なお、重畳表示メタデータの重畳領域情報又はＵＶ座標は領域指定情報の一例である。
１ 特殊撮像装置（撮像装置、第一の撮像装置の一例）
１８ 近距離通信部（通信手段の一例）
５ スマートフォン（第二の撮像装置の一例）
５２ 受付部
５５ 画像・音処理部
５６ 表示制御部
５８ 近距離通信部（取得手段の一例）
５５０ 抽出部（抽出手段の一例）
５５６ 射影方式変換部（第１の射影方式変換手段の一例）
５６０ 領域分割部（領域分割手段の一例）
５６２ 射影方式逆変換部（第２の射影方式変換手段、位置算出手段の一例）
５７０ 重畳表示メタデータ作成部（メタデータ作成手段の一例）
５８２ 貼付領域作成部（対応領域算出手段の一例）
５８６ 画像作成部（画像作成手段の一例）
５８８ 画像重畳部
５９０ 射影方式変換部
５０００ 記憶部（記憶手段の一例）
特開２００６−０４１７４１号公報
Zhang, Z. "A Flexible New Technique for Camera Calibration." IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, No. 11, 2000, pp. 1330−1334.

Claims (19)

  1. 第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、
    前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、
    前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、
    前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、
    前記第３の対応領域に含まれる複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
    前記第２の射影方式変換手段で変換した前記複数の点の前記広角画像における位置情報を求める位置算出手段と、
    前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、
    前記平面画像の複数の点と対応付けられた前記位置情報であって、前記領域指定情報に基づいて重畳表示に用いる前記位置情報を記憶する記憶手段と、
    を有することを特徴とする情報処理装置。
  2. 第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、
    前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、
    前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、
    前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、
    前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、
    前記第３の対応領域のうち、前記領域指定情報により指定された以外の前記第３の対応領域に含まれる所定の複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
    前記第２の射影方式変換手段で変換した前記所定の複数の点の前記広角画像における位置情報を求める位置算出手段と、
    前記位置情報を前記平面画像の複数の点と対応付けて記憶する記憶手段と、
    を有することを特徴とする情報処理装置。
  3. 前記画像は前記第１の射影方式変換手段により、前記広角画像において前記平面画像が含まれている周辺領域の射影変換を、前記第２の射影方式に変換した周辺領域画像であり、
    前記周辺領域画像において前記平面画像に対する第２の対応領域を複数の格子領域に分割する領域分割手段と、を有し
    前記第２の射影方式変換手段は、前記第２の対応領域の射影方式を、前記第１の射影方式に変換することで、前記広角画像において、前記第２の対応領域を構成する前記複数の格子領域に対応する複数の格子領域によって構成された前記第３の対応領域を算出することを特徴とする請求項１又は２に記載の情報処理装置。
  4. 前記領域指定情報は、前記平面画像の任意の領域を指定した情報であることを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
  5. 前記領域指定情報は、前記平面画像の画質が低下した領域を指定する情報であることを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
  6. 前記領域指定情報は、前記広角画像を撮像する撮像装置の影が前記平面画像に写っている領域を指定する情報であることを特徴とする請求項４又は５に記載の情報処理装置。
  7. 前記領域指定情報は、前記平面画像が前記第２の対応領域と同じ前記格子領域に分割された場合に、各格子領域を指定する情報であり、
    前記領域指定情報は前記第２の対応領域の前記格子領域と比較され、前記平面画像の格子領域を、仮想の立体球において前記第３の対応領域に対応する部分立体球に貼り付けるか否かを判断するために使用されることを特徴とする請求項３に記載の情報処理装置。
  8. 前記記憶手段に記憶されている前記領域指定情報を読み出して、前記第３の対応領域に関する情報と前記領域指定情報が含まれるメタデータを作成するメタデータ作成手段を有することを特徴とする請求項７に記載の情報処理装置。
  9. 前記領域指定情報は、前記平面画像の任意の領域以外の領域を座標で指定する情報であることを特徴とする請求項２に記載の情報処理装置。
  10. 前記メタデータ作成手段は、記憶手段に記憶されている前記平面画像の任意の領域以外の領域を指定する情報に基づき、前記平面画像の任意の領域以外の領域を複数領域に分割し、前記複数領域を前記平面画像の任意の領域以外の領域の座標として前記メタデータに含め、
    前記複数領域の座標は前記第２の対応領域の前記格子領域と比較され、前記平面画像の格子領域を、仮想の立体球において前記第３の対応領域に対応する部分立体球に貼り付けるか否かを判断するために使用されることを特徴とする請求項８に記載の情報処理装置。
  11. 前記領域指定情報は前記平面画像をいくつかの領域に分割した場合の各領域の座標であり、前記各座標の領域は平面画像を撮像する第二の撮像装置のカメラキャリブレーションにより歪みが補正されている請求項１〜１０のいずれか１項に記載の情報処理装置。
  12. 前記メタデータには、複数の平面画像の重畳順序が設定されている請求項８に記載の情報処理装置。
  13. 前記メタデータには、前記広角画像の視線方向と画角の初期値が設定されている請求項８に記載の情報処理装置。
  14. 前記第１の射影方式変換手段は、前記広角画像を撮像する第一の撮像装置と前記平面画像を撮像する第二の撮像装置の相対位置に関する情報を参照し、
    前記平面画像に対応する第１の対応領域が含まれている前記周辺領域の中心点を特定し、前記中心点の周辺の前記周辺領域を抽出することを特徴とする請求項３に記載の情報処理装置。
  15. 前記第１の射影方式変換手段は、予め記憶されている前記周辺領域の中心点を参照し、前記中心点の周辺の前記周辺領域を抽出することを特徴とする請求項３に記載の情報処理装置。
  16. 第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、
    前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、
    前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、
    前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、
    前記第３の対応領域に含まれる複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
    前記第２の射影方式変換手段で変換した前記複数の点の前記広角画像における位置情報を求める位置算出手段と、
    前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、
    前記平面画像の複数の点と対応付けられた前記位置情報であって、前記領域指定情報に基づいて重畳表示に用いる前記位置情報を記憶する記憶手段と、
    を有することを特徴とする情報処理装置と、
    前記広角画像の撮像指示を受信する通信手段と、
    前記広角画像を撮像する撮像手段と、を有し
    前記通信手段は、前記撮像手段が撮像した前記広角画像を前記情報処理装置に送信する撮像装置と、を有する撮像システム。
  17. 情報処理装置を、
    第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、
    前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、
    前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、
    前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、
    前記第３の対応領域に含まれる複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
    前記第２の射影方式変換手段で変換した前記複数の点の前記広角画像における位置情報を求める位置算出手段と、
    前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、
    前記位置情報を前記平面画像の複数の点と対応付けて記憶すると共に、前記領域指定情報に基づいて重畳表示に用いる前記位置情報を記憶する記憶手段、
    として機能させるためのプログラム。
  18. 第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、
    前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、
    前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、
    前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、
    前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、
    前記第３の対応領域のうち、前記領域指定情報により指定された以外の前記第３の対応領域に含まれる所定の複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
    前記第２の射影方式変換手段で変換した前記所定の複数の点の前記広角画像における位置情報を求める位置算出手段と、
    前記位置情報を前記平面画像の複数の点と対応付けて記憶する記憶手段と、
    を有することを特徴とする情報処理装置と、
    前記広角画像の撮像指示を受信する通信手段と、
    前記広角画像を撮像する撮像手段と、を有し
    前記通信手段は、前記撮像手段が撮像した前記広角画像を前記情報処理装置に送信する撮像装置と、を有する撮像システム。
  19. 情報処理装置を、
    第１の射影方式によって得られた広角画像と、前記第１の射影方式とは異なる第２の射影方式の平面画像とを取得する取得手段と、
    前記広角画像を前記第２の射影方式に変換し、画像を生成する第１の射影方式変換手段と、
    前記平面画像及び前記画像からそれぞれ複数の特徴点を抽出する抽出手段と、
    前記抽出手段がそれぞれ抽出した前記平面画像の複数の特徴点及び前記画像の複数の特徴点に基づいて前記画像における前記平面画像に対する第３の対応領域を求める対応領域算出手段と、
    前記広角画像に前記平面画像を重畳表示する際に使用する前記平面画像の領域指定情報が記憶され、
    前記第３の対応領域のうち、前記領域指定情報により指定された以外の前記第３の対応領域に含まれる所定の複数の点を、前記第１の射影方式に変換する第２の射影方式変換手段と、
    前記第２の射影方式変換手段で変換した前記所定の複数の点の前記広角画像における位置情報を求める位置算出手段と、
    前記位置情報を前記平面画像の複数の点と対応付けて記憶する記憶手段、
    として機能させるためのプログラム。
JP2018021376A 2017-03-15 2018-02-08 情報処理装置、撮像システム、プログラム Pending JP2019087984A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810214143.0A CN108632589A (zh) 2017-03-15 2018-03-15 信息处理装置、摄像系统以及记录介质
US15/921,708 US10681271B2 (en) 2017-03-15 2018-03-15 Image processing apparatus, image capturing system, image processing method, and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017050582 2017-03-15
JP2017050582 2017-03-15
JP2017229498 2017-11-29
JP2017229498 2017-11-29

Publications (1)

Publication Number Publication Date
JP2019087984A true JP2019087984A (ja) 2019-06-06

Family

ID=66764373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018021376A Pending JP2019087984A (ja) 2017-03-15 2018-02-08 情報処理装置、撮像システム、プログラム

Country Status (1)

Country Link
JP (1) JP2019087984A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928775B2 (en) 2020-11-26 2024-03-12 Ricoh Company, Ltd. Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928775B2 (en) 2020-11-26 2024-03-12 Ricoh Company, Ltd. Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Similar Documents

Publication Publication Date Title
US10681271B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US20190340737A1 (en) Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20190306420A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019164782A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019075766A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2018110384A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
WO2018124267A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2018109946A (ja) 表示装置、プログラム、表示方法
JP2019164783A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2018109971A (ja) 画像処理装置、画像処理システム、撮影システム、画像処理方法、及びプログラム
JP2019087984A (ja) 情報処理装置、撮像システム、プログラム
JP2018157538A (ja) プログラム、撮像システム、情報処理装置
JP2016171577A (ja) 撮像装置および撮像システム
JP2018110385A (ja) 通信端末、撮影システム、画像処理方法、及びプログラム
JP2017162014A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2019175446A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
WO2018124266A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium