JP2021132370A - プログラム、画像通信システム、表示方法及び撮影装置 - Google Patents

Abstract

【課題】広角画像と狭角画像の撮影開始のタイミングを合わせる目的で、広角撮影装置及び狭角撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、他方の撮影装置に対して撮影開始を実行させるシステムが公開されている。しかし、従来の方法では、狭角画像の閲覧者は、狭角画像に映し出された被写体等を見ただけでは、撮影された場所や状況を把握しづらいという課題が生じていた。【解決手段】表示制御部３７は、最初にスマートフォン３で撮影することで得られた狭角画像（平面画像Ｐ）を所定時間（ｔ０〜ｔ１）表示させ、続けて全天球撮影装置１で連携撮影することで得られた広角画像（正距円筒射影画像ＥＣ１）内において所定領域Ｔを移動させながら所定領域画像Ｑ１１（Ｑ２１）を連続的に表示する（ｔ２、ｔ３）。【選択図】図１９

Description

本開示内容は、プログラム、画像通信システム、表示方法及び撮影装置に関する。

近年、全天球（３６０°）撮影用カメラ等の広角撮影装置で撮影されることで得られた正距円筒射影画像としての広角画像を、スマートフォン等の狭角画像を得る狭角撮影装置で表示することで、撮影及び表示の範囲が広がっている。また、広角画像と狭角画像の撮影開始のタイミングを合わせる目的で、広角撮影装置及び狭角撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、他方の撮影装置に対して撮影開始を実行させるシステムが公開されている（特許文献１参照）。

しかしながら、従来の方法では、狭角画像の閲覧者は、狭角画像に映し出された被写体等を見ただけでは、撮影された場所や状況を把握しづらいという課題が生じていた。

請求項１に係る発明は、撮影することによって得られた画像である第１の画像を表示するためのプログラムであって、コンピュータに、撮影することで前記第１の画像よりも広角な画像である第２の画像を得た広角撮影装置が送信した前記第２の画像のデータを取得する取得手段と、前記第１の画像の表示、及び前記第２の画像において前記第１の画像との類似度が所定の閾値以上である所定領域画像の表示を制御する表示制御手段と、を実現させることを特徴とするプログラムである。

以上説明したように本発明によれば、狭角画像の閲覧者は、撮影された場所や状況を把握し易いという効果を奏する。

（ａ）は全天球撮影装置の左側面図であり、（ｂ）は全天球撮影装置の背面図であり、（ｃ）は全天球撮影装置の平面図であり、（ｄ）は全天球撮影装置の底面図である。 全天球撮影装置の使用イメージ図である。 （ａ）は全天球撮影装置で撮影された半球画像（前）、（ｂ）は全天球撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は狭角撮影装置のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 第１の実施形態に係る画像通信システムの概略図である。 全天球撮影装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 第１の実施形態に係る画像通信システムの機能ブロック図である。 第１の実施形態に係る連携撮影処理を示したシーケンス図である。 第１の実施形態に係る所定領域画像の表示処理を示したフローチャートである。 正距円筒射影画像と所定領域画像の関係を示した図である。 （ａ）は平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図、（ｂ）はスマートフォンに平面画像が表示された図、（ｃ）はスマートフォンに正距円筒射影画像における所定領域画像を示した図である。 第２の実施形態に係る画像通信システムの機能ブロック図である。 第２の実施形態に係る所定領域画像の表示処理を示したフローチャートである。 第２の実施形態に係る正距円筒射影画像と所定領域画像の関係を示した図である。 （ａ）は第２の実施形態に係る平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図、（ｂ）は第２の実施形態に係るスマートフォンに平面画像が表示された図、（ｃ），（ｄ）は第２の実施形態に係るスマートフォンに異なる時刻における正距円筒射影画像の所定領域画像を示した図である。 第３の実施形態に係る所定領域画像の表示処理を示したフローチャートである。 第３の実施形態に係る所定領域画像の表示処理を示したフローチャートである。 （ａ）は第３の実施形態に係る平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図、（ｂ）は第３の実施形態に係るスマートフォンに平面画像が表示された図、（ｃ），（ｄ），（ｅ），（ｆ）は第３の実施形態に係るスマートフォンに異なる時刻における正距円筒射影画像の所定領域画像を示した図である。 （ａ），（ｂ）は第４の実施形態に係る所定領域画像の表示処理を示したフローチャートである。 （ａ）は第４の実施形態に係る平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図、（ｂ）は第４の実施形態に係るスマートフォンに平面画像が表示された図、（ｃ），（ｄ），（ｅ）は第４の実施形態に係るスマートフォンに異なる時刻における正距円筒射影画像における所定領域画像を示した図である。 第４の実施形態に係る所定領域画像を選択する画面の表示例を示した図である。 第１乃至第４の実施形態に係る連携撮影処理の変形例を示したシーケンス図である。 第５の実施形態に係る画像通信システムの概略図である。 第５の実施形態に係る画像管理サーバのハードウェア構成図である。 第５の実施形態に係る画像通信システムの機能ブロック図である。 第５の実施形態に係るファイルデータの通信処理を示したシーケンス図である。 狭角画像データに対する照合処理を示したフローチャートである。

以下、図面を用いて、本発明の実施形態について説明する。

〔実施形態の概要〕
以下、本実施形態の概要について説明する。

まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、全天球撮影装置１の外観を説明する。全天球撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は全天球撮影装置の左側面図であり、図１（ｂ）は全天球撮影装置の背面図であり、図１（ｃ）は全天球撮影装置の平面図であり、図１（ｄ）は全天球撮影装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、全天球撮影装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。全天球撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。全天球撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、全天球撮影装置１の側面には、電源ボタン１１５ｂ、 Ｗｉ−Ｆｉ(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びＷｉ−Ｆｉボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Ｗｉ−Ｆｉボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。

また、全天球撮影装置１の底部１５０の中央には、カメラ用三脚に全天球撮影装置１を取り付けるための三脚ネジ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子１５３が設けられている。なお、HDMIは登録商標である。

次に、図２を用いて、全天球撮影装置１の使用状況を説明する。なお、図２は、全天球撮影装置の使用イメージ図である。全天球撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、二つの半球画像を得ることができる。

次に、図３及び図４を用いて、全天球撮影装置１で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は全天球撮影装置１で撮影された半球画像（前側）、図３（ｂ）は全天球撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球撮影装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、ＯｐｅｎＧＬ−ＥＳ（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、ＯｐｅｎＧＬ−ＥＳは、２Ｄ(2-Dimensions)及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。また、正距円筒射影画像を立体球ＣＳに貼り付ける例を示したが、立体球ＣＳだけでなく、立方体や角柱であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると、歪みがあり違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見る閲覧者の視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳに貼り付けられて表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳに貼り付けられた場合には、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（θ，φ）と画角（α）を用いて説明する。なお、撮影方向は視線方向ともいう。

図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「θ」は仮想カメラＩＣの撮影方向におけるパン角、「φ」は仮想カメラＩＣの撮影方向におけるチルト角、「α」は画角(Angle)を示す。更に、「Ｗ」は所定領域Ｔの幅、「Ｈ」は所定領域Ｈの高さを示す。即ち、撮影方向（θ，φ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

●第１の実施形態
続いて、図８乃至図１６を用いて、本発明の第１の実施形態について説明する。

〔画像通信システムの構成の概略〕
まずは、図８を用いて、第１の実施形態に係る画像通信システムの構成の概略について説明する。図８は、第１の実施形態に係る画像通信システムの概略図である。

図８に示されているように、本実施形態の画像通信システムは、全天球撮影装置１、及びスマートフォン３によって構築されている。全天球撮影装置１とスマートフォン３は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の近距離無線通信技術を利用して無線通信することができる。なお、全天球撮影装置１とスマートフォン３は、無線通信を行わずに、ＵＳＢ(Universal Serial Bus)ケーブル等を用いて、有線通信を行ってもよい。

これらのうち、全天球撮影装置１は、上述のように、被写体や風景等を撮影して正距円筒射影画像の元になる二つの半球画像を得るための特殊なデジタルカメラである。なお、本実施形態において全天球撮影装置１は、広角撮影装置の一例である。広角撮影装置には、一般の広角な平面画像（２Ｄパノラマ画像等）を得るための撮影装置（一眼レフカメラ、コンパクトデジタルカメラ、スマートフォン、タブレットＰＣ等）も含まれる。但し、本実施形態では、主に正距円筒射影画像を得るためのデジタルカメラとしての全天球撮影装置１について説明する。なお、広角撮影装置は、他の撮影装置の一例でもある。

また、正距円筒射影画像は、広角画像の一例であり、第２の画像の一例でもある。
広角画像には、正距円筒射影画像、上記一般の広角な平面画像も含まれる。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズで、撮影された画像を意味するが、本実施形態では、広角画像は、スマートフォン３で撮影されることで得られた画像（狭角画像）よりも広角に撮影されていればよい。

一方、スマートフォン３は、利用者Ａが利用するモバイル向けＯＳ(Operating System)を備えた携帯電話である。スマートフォン３は、後述のＣＭＯＳ３１３等の撮像素子を備えており、被写体等を撮像することができる。スマートフォン３の撮影範囲は、全天球撮影装置１よりも狭角である。その意味で、全天球撮影装置１が広角撮影装置の一例であるのに対して、スマートフォン３は狭角撮影装置（又は撮影装置）の一例である。このスマートフォン３により撮影された撮影画像は、狭角画像の一例であり、第１の画像の一例でもある。狭角撮影装置には、スマートフォン３の他に、ＰＣ、スマートウォッチ、表示アプリケーションがインストールされているディスプレイ、ゲーム機、カーナビゲーション装置、ウェアラブル端末などが含まれる。

また、スマートフォン３は、全天球撮影装置１が被写体等を撮影した後に作成した正距円筒射影画像ＥＣのデータを無線通信等で受信して、この正距円筒射影画像ＥＣの所定領域Ｔである所定領域画像Ｑを表示する。その意味で、スマートフォン３は、通信端末の一例であり、表示装置の一例でもある。

〔実施形態のハードウェア構成〕
次に、図９及び図１０を用いて、本実施形態の全天球撮影装置１及びスマートフォン３のハードウェア構成を詳細に説明する。

＜全天球撮影装置のハードウェア構成＞
まず、図９を用いて、全天球撮影装置１のハードウェア構成を説明する。図９は、全天球撮影装置１のハードウェア構成図である。以下では、全天球撮影装置１は、二つの撮像素子を使用した全天球（全方位）全天球撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラ等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、全天球撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている二つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。全天球撮影装置１によっては、ディスプレイ（例えば、スマートフォン３のディスプレイ３１８）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、全天球撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。利用者は操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン３等の外部端末（装置）に送信されたりする。

通信部１１７は、全天球撮影装置１に設けられたアンテナ１１７ａを介して、Ｗｉ−Ｆｉ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信技術によって、スマートフォン３等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン３等の外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から全天球撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は、３軸方向の加速度を検出するセンサである。全天球撮影装置１は、加速度センサ１２０が検出した加速度に基づいて、自装置（全天球撮影装置１）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置１に、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像の傾きを補正する精度が向上する。

端子１２１は、Ｍｉｃｒｏ−ＵＳＢ用の凹状の端子である。端子１２１は、全天球撮影装置１が他の装置と有線通信する場合に利用される。

＜スマートフォンのハードウェア構成＞
次に、図１０を用いて、スマートフォンのハードウェア構成を詳細に説明する。図１０は、スマートフォンのハードウェア構成図である。

図１０に示されているように、スマートフォン３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、撮像素子Ｉ／Ｆ３０６、加速度・方位センサ３０７、メディアＩ／Ｆ３０９、ＧＰＳ受信部３１１を備えている。

これらのうち、ＣＰＵ３０１は、スマートフォン３全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１やＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ３０４は、ＣＰＵ３０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ３０５は、ＣＰＵ３０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ３０６は、ＣＭＯＳセンサ３０５の駆動を制御する回路である。加速度・方位センサ３０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ３０９は、フラッシュメモリ等の記録メディア３０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部３１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン３は、遠距離通信回路３１２、ＣＭＯＳセンサ３１３、撮像素子Ｉ／Ｆ３１４、マイク３１５、スピーカ３１６、音入出力Ｉ／Ｆ３１７、ディスプレイ３１８、外部機器接続Ｉ／Ｆ(Interface)３１９、近距離通信回路３２０、近距離通信回路３２０のアンテナ３２０ａ、及びタッチパネル３２１を備えている。

これらのうち、遠距離通信回路３１２は、通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ３１３は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ３１４は、ＣＭＯＳセンサ３１３の駆動を制御する回路である。マイク３１５は、音を電気信号に変える内蔵型の回路である。スピーカ３１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ３１７は、ＣＰＵ３０１の制御に従ってマイク３１５及びスピーカ３１６との間で音信号の入出力を処理する回路である。ディスプレイ３１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ３１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路３２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル３２１は、利用者がディスプレイ３１８を押下することで、スマートフォン３を操作する入力手段の一種である。

また、スマートフォン３は、バスライン３１０を備えている。バスライン３１０は、図１０に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して、若しくは電気通信回線を通じてインストール可能な状態で流通させるようにしてもよい。記録媒体の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、スマートフォン３は、本発明に係るプログラムが実行されることで本発明に係る表示方法を実現する。

〔実施形態の機能構成〕
次に、図９乃至図１１を用いて、本実施形態の機能構成について説明する。図１１は、第１の実施形態に係る画像通信システムの機能ブロック図である。

＜全天球撮影装置の機能構成＞
図１１に示されているように、全天球撮影装置１は、受付部１２、撮像部１３、集音部１４、判断部１５、画像・音処理部１６、通信部１８、及び記憶・読出処理部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、全天球撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（全天球撮影装置１の各機能構成）
次に、図９及び図１１を用いて、全天球撮影装置１の各機能構成について更に詳細に説明する。

全天球撮影装置１の受付部１２は、主に、図９に示されている操作部１１５に対するＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。この撮影画像データは、図３（ａ）、（ｂ）に示されている二つの半球画像データである。

集音部１４は、主に、図９に示されている音処理ユニット１０９に対するＣＰＵ１１１の処理によって実現され、全天球撮影装置１の周囲の音を収音する。

判断部１５は、ＣＰＵ１１１の処理によって実現され、各種判断を行う。

画像・音処理部１６は、画像処理ユニット１０４に対するＣＰＵ１１１の処理によって実現され、図３（ａ）、（ｂ）に示されているような二つの半球画像から、図３（ｃ）に示されているような正距円筒射影画像ＥＣを作成する。また、画像・音処理部１６は、音処理ユニット１０９に対するＣＰＵ１１１の処理によって実現され、集音により得られた音信号から音データを作成する。

通信部１８は、主に、通信部１１７に対するＣＰＵ１１１の処理によって実現され、近距離無線通信によって、後述のスマートフォン３の通信部３８とデータ通信を行う。なお、有線通信の場合には、通信部１８は、端子１２１に対するＣＰＵ１１１の処理によって実現され、スマートフォン３からの電源供給を受けると共に、データ通信を行う。

記憶・読出処理部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（又は情報）を記憶したり、記憶部１０００から各種データ（又は情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１０及び図１１を用いて、スマートフォン３の機能構成について詳細に説明する。図１１に示されているように、スマートフォン３は、送受信部３１、受付部３２、撮像部３３、集音部３４、判断部３５、画像・音処理部３６、表示制御部３７、通信部３８及び記憶・読出処理部３９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたスマートフォン３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン３は、図１０に示されているＲＡＭ３０３及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。

（スマートフォンの各機能構成）
スマートフォン３の送受信部３１は、主に、遠距離通信回路３１２に対するＣＰＵ３０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（例えば、後述の画像管理サーバ５）との間で各種データ（又は情報）の送受信を行う。

受付部３２は、主に、タッチパネル３２１に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。

撮像部３３は、主に、撮像素子Ｉ／Ｆ３０６を介してＣＭＯＳ３０５又は撮像素子Ｉ／Ｆ３１４を介してＣＭＯＳ３１３に対するＣＰＵ３０１の処理によって実現され、被写体等を撮像し、撮影画像データを得る。

集音部３４は、主に、音入出力Ｉ／Ｆ３１７を介してマイク３１５に対するＣＰＵ３０１の処理によって実現され、スマートフォン３の周囲の音を収音する。

判断部３５は、主に、ＣＰＵ３０１の処理によって実現され、各種判断を行なう。判断内容は後述する。

画像・音処理部３６は、主に、ＣＰＵ３０１の処理によって実現され、撮像素子Ｉ／Ｆ３０６を介してＣＭＯＳセンサ３０５又は撮像素子Ｉ／Ｆ３１４を介してＣＭＯＳセンサ３１３から取得した画像データに対する画像処理を行う。また、画像・音処理部３６は、全天球撮影装置１から送信された正距円筒射影画像ＥＣに対する画像処理を行う。また、画像・音処理部３６は、主に、ＣＰＵ３０１の処理によって実現され、マイク３１５による集音により得られた音信号から音データを作成する。更に、画像・音処理部３６は、全天球撮影装置１から送信された音データを音信号に変換して音入出力Ｉ／Ｆ３１７を介してスピーカ３１６から音を出力させる。

表示制御部３７は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３１８に、各種画像を表示させる。

通信部３８は、主に、近距離通信回路３２０に対するＣＰＵ３０１の処理によって実現され、全天球撮影装置１の通信部１８とデータ通信を行う。なお、有線通信の場合には、通信部３８は、外部機器接続Ｉ／Ｆ３１９に対するＣＰＵ３０１の処理によって、全天球撮影装置１に対して通信ケーブルを介することで、電源供給を行ったり画像データ等の通信を行ったりする。

記憶・読出処理部３９は、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００に、各種データ（又は情報）を記憶したり、記憶部３０００から各種データ（又は情報）を読み出したりする。

〔実施形態の処理又は動作〕
＜連携撮影処理＞
まずは、図１２を用いて、スマートフォン３と全天球撮影装置１が連携撮影する処理について説明する。図１２は、第１の実施形態に係る連携撮影処理を示したシーケンス図である。なお、図１２に示す処理に先立って、スマートフォン３と全天球撮影装置１との通信接続は、Ｗｉ−Ｆｉ及びＢｌｕｅｔｏｏｔｈにより確立しているものとする。

まず、スマートフォン３の受付部３２は、利用者Ａから撮影の開始を受け付ける（ステップＳ１）。これにより、撮像部３３は被写体等を撮影し、画像・音処理部３６が狭角画像データを作成し、記憶・読出処理部３９が狭角画像データをＲＡＭ３０３に一時的に記憶する（ステップＳ２）。なお、ステップＳ２で作成された狭角画像データは、記憶・読出処理部３９によって、図１０に示されているＲＡＭ３０３及びＥＥＰＲＯＭ３０４から構築される記憶部３０００に記憶されてもよい。なお、この場合、集音部３４が音を集音して音データを作成することで、狭角画像データに関連付けてもよい。

次に、スマートフォン３の撮像部３３が所定時間待機する（ステップＳ３）。例えば、所定時間は３秒間である。また、ステップＳ２の撮影の処理において、利用者Ａ自身が被写体となっていた場合、この待機時間によって、利用者Ａは、全天球撮影装置１を持ち直すか又はスマートフォン３から全天球撮影装置１に持ち替えるための準備時間を設けることができる。例えば、スマートフォン３と全天球撮影装置１とが比較的離れている場合、利用者Ａがスマートフォン３で特定の被写体を撮影した後、利用者Ａは３秒間で全天球撮影装置１に対して背中を向けることで、全天球撮影装置１で利用者Ａ自身の顔を撮影されないようにすることができる。

次に、スマートフォン３の通信部３８が、全天球撮影装置１に対して、撮影開始の要求を示す撮影要求情報を、Ｂｌｕｅｔｏｏｔｈを利用して送信する（ステップＳ４）。これにより、全天球撮影装置１の通信部１８は、撮影要求情報を受信する。そして、全天球撮影装置１では、撮像部１３が風景等を撮影することで二つの半球画像データを得て、画像・音処理部１６が二つの半球画像データから正距円筒射影画像データとしての広角画像データを作成し、記憶・読出処理部１９が作成した広角画像データを記憶部１０００に記憶する（ステップＳ５）。

次に、全天球撮影装置１の通信部１８は、スマートフォン３に対して、ステップＳ５で得られた広角画像データを、Ｗｉ−Ｆｉを利用して送信する（ステップＳ６）。これにより、スマートフォン３の通信部３８は、広角画像データを受信する。なお、本実施形態の画像通信システムにおいて、全天球撮影装置１の通信部１８から二つの半球画像データをスマートフォン３に対して送信し、スマートフォン３側で二つの半球画像データを合成して正距円筒射影画像データとしての広角画像データを作成するよう構成してもよい。上述したステップＳ４の送受信に利用するＢｌｕｅｔｏｏｔｈは第１の通信方式の一例であり、ステップＳ６の送受信に利用するＷｉ−Ｆｉは、第２の通信方式の一例である。

上記ステップＳ１〜Ｓ６の処理により、スマートフォン３では、自端末では撮影により得ることができない広角画像データを取得することができる。また、スマートフォン３と全天球撮影装置１の間で撮影の連携処理を行うことで、撮影タイミングを同期させることができる。

次に、スマートフォン３の画像・音処理部３６が、ステップＳ２で得られた狭角画像データとステップＳ５で得られた広角画像データとを一つの電子ファイルに格納して、記憶・読出処理部３９が、この一つの電子ファイルのデータを記憶部３０００に記憶する（ステップＳ７）。なお、狭角画像データ及び広角画像データは、スマートフォン３以外に設けられた他の記憶部に記憶されてもよい。他の記憶部としては、例えば、クラウドサーバ等の外部サーバなどが考えられる。こうすることで、狭角画像データ及び広角画像データの共有化が可能となる。そして、スマートフォン３は、ディスプレイ３１８に対して、狭角画像及び広角画像の表示の処理を行う（ステップＳ８）。

＜表示の処理＞
ここで、図１３及び図１５を用いて、ステップＳ８の表示の処理について詳細に説明する。図１３は、第１の実施形態に係る所定領域画像の表示処理を示したフローチャートである。図１４は、正距円筒射影画像と所定領域画像の関係を示した図である。図１５（ａ）は、平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲示した図、図１５（ｂ）はスマートフォンに平面画像が表示された図、図１５（ｃ）はスマートフォンに正距円筒射影画像における所定領域画像を示した図である。

まず、スマートフォン３の記憶・読出処理部３９は、上記ステップＳ７で記憶部３０００に記憶しておいた電子ファイルのデータを読み出す（ステップＳ３１）。ここで、図１４を用いて、電子ファイルに格納されている正距円筒射影画像と、この正距円筒射影画像の所定領域を示す所定領域画像の関係を説明する。図１４は、正距円筒射影画像と所定領域画像の関係を示した図である。図１４に示されているように、広角画像の一例としての正距円筒射影画像ＥＣ１は、始端ＢＥ１から終端ＴＥ１までが、仮想カメラＩＣの撮影方向におけるパン角θで表され（図７参照）、全範囲として０°≦θ＜３６０°で表される。そして、所定領域画像Ｑ１１は、正距円筒射影画像ＥＣ１におけるディスプレイ３１８への表示範囲ＤＲとしての最初の所定領域である。このように、狭角画像としての正距円筒射影画像ＥＣ１におけるディスプレイ３１８への表示範囲ＤＲとして表示される所定領域画像Ｑは、パン角θで表すことができる。

次に、図１３に戻り、記憶・読出処理部３９が、記憶部３０００に記憶されている表示設定情報を読み出す（ステップＳ３２）。この表示設定情報には、狭角画像の表示時間、広角画像におけるディスプレイ３１８への表示可能範囲、及び広角画像において表示範囲ＤＲが移動することで最後まで全ての異なる所定領域画像の全ての表示が完了するまでの表示時間が含まれている。この表示設定情報は、予め利用者Ａ等によってスマートフォン３に設定されている。この場合、狭角画像の表示後に広角画像における所定領域画像を最後まで必ず表示するために、０秒よりも長い時間が入力されたときのみ、スマートフォン３が表示時間を受け付ける。例えば、狭角画像の表示時間が1.0秒、広角画像の表示可能範囲が360度、広角画像において表示範囲ＤＲが移動することで最後まで全ての異なる所定領域画像の表示が完了するまでの表示時間が1.8秒として、表示設定情報が設定される。

次に、図１５（ｂ）に示されているように、表示制御部３７が、ディスプレイ３１８上にステップＳ３１で読み出された電子ファイル内の狭角画像データに係る平面画像Ｐ１（狭角画像）の全体を所定時間表示する（ステップＳ３３）。所定時間は、上記狭角画像の表示時間（例えば、1.0秒間）である。この場合、図１５（ａ）に示されているように、平面画像Ｐ１としての狭角画像は、ｔ０からｔ１まで（例えば、1.0秒間）表示される。

次に、記憶・読出処理部３９が記憶部３０００に記憶されている所定領域Ｔ（図６（ａ）参照）を示す所定領域情報を読み出す（ステップＳ３４）。この所定領域情報は、所定領域Ｔの中心点ＣＰ及び画角αを示している（図７参照）。所定領域Ｔ及び画角αは、予め利用者Ａ等によってスマートフォン３に設定されている。

次に、表示制御部３７が、任意の所定領域Ｔにおける所定領域画像の表示継続時間を算出する（ステップＳ３５）。例えば、表示制御部３７は、ステップＳ３２で読み出された表示設定情報に基づき、1.8秒/360° = 0.005秒(5ミリ秒)として表示継続時間を算出する。これにより、表示範囲ＤＲは、0.005秒間隔でθを１°ごとに移動して順次異なる所定領域画像Ｑが表示されることになる。

そして、表示制御部３７は、図１５（ｃ）に示されているように、平面画像Ｐ１としての狭角画像と同じアスペクト比によって、ディスプレイ３１８上に最初の表示範囲ＤＲにおける所定領域画像Ｑ１１を表示する（ステップＳ３６）。この場合、図１５（ａ）に示されているように、表示範囲ＤＲにおける移動方向の後端ｒ１１が、正距円筒射影画像ＥＣ１としての広角画像の始端ＢＥ１に位置している。なお、本実施形態において平面画像Ｐ１に含まれる人物、人物の顔を含む頭部、動物、建造物等の物体は、被写体の一例である。

次に、表示制御部３７は、広角画像内で、上記算出した表示継続時間（例えば、0.005秒）後に、所定角度（例えば、θ＝１°）、表示範囲ＤＲを移動してディスプレイ３１８上に表示範囲ＤＲ内の所定領域画像を表示する（ステップＳ３７）。移動方向は、図１５（ａ）において矢印方向（右方向）である。ここでは、矢印方向は、全天球画像における赤道と並行する（平行な）方向である。

次に、判断部３５は、表示範囲ＤＲにおける移動方向の先端ａ１１が正距円筒射影画像としての広角画像の終端ＴＥ１に到達したかを判断する（ステップＳ３８）。そして、到達していない場合には（ステップＳ３８；ＮＯ）、ステップＳ３７の処理に戻り、再び、表示制御部３７は、広角画像内で、上記算出した表示継続時間後に、所定角度、表示範囲ＤＲを移動してディスプレイ３１８上に移動後の表示範囲ＤＲ内の所定領域画像を表示する。このステップＳ３７，Ｓ３８の処理を繰り返すことで、図１５（ａ）において、表示範囲ＤＲが矢印方向に移動し、最終的に表示範囲ＤＲの先端ａ１１が、正距円筒射影画像ＥＣ１１としての広角画像の終端ＴＥ１に到達する。

そして、表示範囲ＤＲの先端ａ１１が正距円筒射影画像ＥＣ１１としての広角画像の終端ＴＥ１に到達した場合には（ステップＳ３８；ＹＥＳ）、ステップＳ８の表示の処理が終了すると共に、図１２に示された連携撮影処理が全て終了する。このように、表示制御部３７は、広角画像の全域に渡って表示範囲ＤＲを移動させることで異なる複数の所定領域画像を表示する。なお、表示制御部３７は、広角画像の一部の領域に渡って表示範囲ＤＲを移動させてもよい。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、表示制御部３７は、図１５に示されているように、最初にスマートフォン３で撮影することで得られた狭角画像を所定時間表示させ、続けて全天球撮影装置１で連携撮影することで得られた広角画像内において表示範囲ＤＲを移動させながら異なる所定領域画像Ｑ１１を順に表示する。これにより、狭角画像の閲覧者は、狭角画像に映し出された被写体等を見ただけでは、どのような場所のどのような状況で撮影された画像であるかが分からなくても、次々に表示された異なる所定領域画像Ｑ１１を見ることで、場所や状況を把握し易くなるという効果を奏する。結婚披露宴での撮影シーンを例にとれば、まず、結婚披露宴の出席者（以下、単に出席者という）が、出席者が着席する円卓の中央に三脚等を使って全天球撮影装置１を置く。そして出席者は、まずスマートフォン３を用いて新郎新婦が着席する高砂席を撮影する。これにより、スマートフォン３は平面画像Ｐ１としての狭角画像を取得して平面画像Ｐ１を所定時間表示する。次に、出席者は全天球撮影装置１を用いて出席者が着席する円卓を含む周辺を撮影する。これにより、全天球撮影装置１は、正距円筒射影画像ＥＣ１としての広角画像を取得して正距円筒射影画像ＥＣ１をスマートフォン３に送信する。このような操作を行うことで、出席者は、スマートフォン３に表示される新郎新婦の画像を見て、その次に出席者が着席する自席の周りの様子も次々に見ることができるようになる。そのため、出席者は、披露宴会場という場における人物や雰囲気を、より一体感や臨場感のある画像とともに把握することが可能となる。なお、画像通信システムでの撮影シーンは上記の例に限定されず、例えば、建設現場などの各種現場においても、同様の効果が期待できる。

また、表示制御部３７は、正距円筒射影画像ＥＣ１内の各所定領域Ｔを動画のフレームデータとして動画再生するのではなく、正距円筒射影画像ＥＣ１内の所定領域Ｔで示される所定領域画像Ｑ１１をずらしながら表示する。これにより、本実施形態では、動画の符号化処理をせずに、正距円筒射影画像ＥＣ１内の各所定領域Ｔを動画のように連続的に表示することができるため、符号化処理による負荷を軽減することができるという効果を奏する。

●第２の実施形態
続いて、図１６乃至図１９を用いて、本発明の第２の実施形態について説明する。

〔実施形態の機能構成〕
＜スマートフォンの機能構成＞
図１６は、第２の実施形態に係る画像通信システムの機能ブロック図である。図１１の機能ブロック図に対して、スマートフォン３の内部に検出部４０が追加されている。なお、図１６の各機能ブロックの主体となるシステム概略図及び各装置のハードウェア構成図は、図８乃至図１０に示したシステム概略図及び各装置のハードウェア構成図と共通であるため、図１６の検出部４０の機能についてのみ説明する。

検出部４０は、主に、ＣＰＵ３０１の処理によって実現され、撮像部３３で撮像、取得された撮像画像データに係る所定領域画像において、顔などの予め決められた特定の物体（人体）の候補となる特徴点を検出する。更に、検出部４０は、検出した特徴点に対して、所定領域画像における顔などの予め定められた特定の物体の形状モデルを示す形状モデルデータを参照して、撮像画像の中の物体の位置（所定領域）を検出する。本実施形態において検出部４０は、検出手段の一例である。なお、特定の物体の形状モデルを示す形状モデルデータは、撮像部３３で撮像された狭角画像である写真画像を表す画像データを特定するためのデータとして使用される。さらに、形状モデルデータは、写真画像を表す画像データを特定するためのデータのほかに、イラスト、似顔絵等の絵画に関する画像を表す画像データを特定するためのデータとして使用されてもよい。

〔実施形態の処理又は動作〕
＜表示の処理＞
第２の実施形態では、第１の実施形態で上述した図１２のステップＳ８における狭角画像及び広角画像に係る表示の処理が異なる。そこで、連携撮影処理を含むステップＳ１〜Ｓ７までの処理については、説明を省略する。図１７は、第２の実施形態に係る所定領域画像の表示処理を示したフローチャートである。なお、図１７は、所定領域画像の表示処理を示した図１３を一部変更したものであるため、その変更箇所について以下に説明する。図１９（ａ）は、第２の実施形態に係る平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図、図１９（ｂ）は、第２の実施形態に係るスマートフォンに平面画像が表示された図、図１９（ｃ），図１９（ｄ）は、第２の実施形態に係るスマートフォンに異なる時刻における正距円筒射影画像の所定領域画像を示した図である。なお、第２の実施形態においても、所定領域画像Ｑ２１が表示される範囲として、第１の実施形態で示した表示範囲ＤＲで示される範囲を用いてもよい。

図１７において、表示制御部３７は、図１９（ａ）に示されているように、ディスプレイ３１８上にステップＳ３１で読み出された電子ファイル内の狭角画像データに係る平面画像Ｐ２（狭角画像）の全体を所定時間表示する（ステップＳ３３）。所定時間とは、上述の狭角画像の表示時間（例えば、1.0秒間）である。この場合、図１９（ｂ）に示されているように、平面画像Ｐ２としての狭角画像は、ｔ０からｔ１まで（例えば、1.0秒間）表示される。但し、ステップＳ３２で読み出した表示設定情報に含まれる広角画像における表示範囲は、物体を検出できなかった場合に使用するものとする。なお平面画像Ｐ２に含まれる物体（人物、建造物等）も、第１の実施形態と同様に被写体の一例である。

続いて、検出部４０は、広角画像データに対して、物体の候補となる特徴点を検出することで、所定領域中の画像（所定領域画像）における物体を検出する（ステップＳ３３−１）。具体的には、検出部４０は、検出対象である人物そのもの若しくはその人物の顔そのもの、又は、検出対象である人物の目、鼻、口などの顔の特徴点を検出する顔検出を行う。そして検出部４０は、顔の特徴点の位置、大きさ等を正規化する。この場合、検出部４０は、スマートフォン３で撮影された平面画像Ｐ２（狭角画像）に含まれる人物等の顔の画像から抽出された特徴量に基づいて得られた形状モデルデータと比較しながら撮像画像の始端から終端までの矩形を探索し、もっともらしい物体の特徴点の位置を選択する（ステップＳ３３−２）。つまり、検出部４０は、特定の物体（例えば、ある人物の顔）に類似する物体（顔）があるか否かを検索する類似画像検索を行う。なお、本実施形態では、事前にスマートフォン３により撮影され記憶部３０００に予め記憶された人物等の顔(検出対象の一部)を、物体の形状モデルデータとして用いてもよい。さらに、事前に手書き又は機械により描かれ記憶部３０００に予め記憶されたイラスト、似顔絵等の絵画における人物等の顔(検出対象の一部)を、物体の形状モデルデータとして用いてもよい。つまり、さまざまな利用シーンに応じて、形状モデルデータを選択的に取得できるようにしてもよい。より具体的には、検出部４０は判断部４５とともに、得られた特徴点の位置、大きさ等の形状に関連する情報に基づいて、検出した顔の特徴点を照合する照合処理を行う。照合処理の結果、顔の類似度を示す照合値（以下、単に類似度という）が所定の閾値以上の場合、判断部４５は、人物の存在を確認した（もしくは、存在する人物が同一人物である）と判断する。一方、照合処理の結果、類似度を示す照合値が所定の閾値未満の場合、判断部４５は、人物の存在を確認しなかった（もしくは、人物は存在したが同一人物でない（他人））と判断する。換言すると、照合する画像との類似度を示す照合値が所定の閾値以上であるか所定の閾値未満であるかに応じて、表示制御部３７は、ディスプレイ３１８上に表示させる所定領域画像Ｑ１１を切り替える。

また、検出部４０により行われる顔検出は上述した形状に関連する情報の例に限らず、例えば、顔の局所的な領域における明暗差を特徴量とし、その特徴量に基づいて顔検出（照合）をするものなど、種々の顔検出手法を用いてもよい。さらに、検出部４０により行われる顔検出の他の例は、この後に説明する。この場合であっても、照合する画像との類似度が所定の閾値以上であるか所定の閾値未満であるかに応じて、表示制御部３７は、ディスプレイ３１８上に表示させる所定領域画像Ｑ１１を切り替える。

なお、本処理については、例えば、「顔認識技術とその応用：パブリックセーフティを支える要素技術・ソリューション特集；バイオメトリクス認証, NEC技報,Vol.63, no.3, pp.26−30, 2010-09」で開示されている技術を用いることができる。なお検出部４０は、上述した人物の顔検出に加えて、例えば、ペット等の動物、非生命体である物、及び建造物等の物体情報の検出、並びに、色情報、輝度情報、及び記号を含む文字情報の検出を行ってもよい。色情報としては、例えば、赤色が検出される。検出部４０によって赤色が検出された後、表示制御部３７は、赤色に関する部分を表示する。さらに検出部４０により検出される色を肌色にすると、人物であるとの推定も可能になる。この場合、検出部４０は、上述の顔認識技術を用いなくとも検出された色情報から人物の顔として検出することができる。このとき、例えば、人種別に検出される肌の色のバリエーションを加えるようにしてもよい。また、輝度情報としては、所定値以上の輝度を有する部分が検出されるようにしてもよい。さらに、記号を含む文字情報としては、例えば、建設現場において同じ文字、又は文字の有無が検出されるようにしてもよい。この場合、表示制御部３７は、検出部４０で検出された文字が存在する部分を表示するようにしてもよい。

このように、本実施形態においては、検出部４０（判断部４５）により行われる類似画像検索は、位置情報及び形状情報等の大きさ情報、色情報、輝度情報、文字情報などの特定の情報に対して行われてよい。そこで、検出部４０による照合処理の結果、上述した特定の情報に対する類似度が所定の閾値以上であることを「類似する」とも呼び、本実施形態の以下の説明においては、便宜上「類似する」と記載する。

図１８は、第２の実施形態に係る広角画像に対して顔検出処理の適用を示す概念図である。図１８では、始端ＢＥ２から終端ＴＥ２まで所定領域となる矩形を探索し、パン角θ1、θ2でそれぞれ所定領域画像Ｑ２１及びＱ２４が検出されたことを示している。

図１７に戻り、検出部４０が物体を検出した場合（ステップＳ３３−２；ＹＥＳ）、記憶・読出処理部３９は、記憶部３０００に、検出された所定領域画像を記憶する（ステップＳ３３−３）。

一方、検出部４０が物体を検出しなかった場合（ステップＳ３３−２；ＮＯ）、スマートフォン３は、第１の実施形態で上述したように図１３のステップＳ３４以降の処理に進む。

続いて、判断部３５は、表示すべき所定領域画像が残っているか否かを判断する（ステップＳ３３−４）。表示すべき所定領域画像が残っている場合（ステップＳ３３−４；ＹＥＳ）、記憶・読出処理部３９は、記憶部３０００から所定領域画像を読み出す（ステップＳ３３−５）。

続いて、表示制御部３７は、図１９（ｃ）に示されているように、平面画像Ｐ２としての狭角画像と同じアスペクト比によって、ディスプレイ３１８上に所定領域画像Ｑ２１をｔ２から所定時間表示する（ステップＳ３３−６）。この所定時間は、例えば、1.0秒間である。その後、ステップＳ３３−４に戻る。ここで、表示制御部３７は、ステップＳ３３−６で所定時間表示した所定領域画像を、記憶・読出処理部と協働して削除するようにしてもよい。なお、図１９に示した時刻ｔ１と時刻ｔ２の間の時間については、以下の場合が考えられる。
（１）時刻ｔ１と時刻ｔ２の間が０秒(ｔ１＝ｔ２)
（２）時刻ｔ１と時刻ｔ２の間が０秒以外(ｔ１＜ｔ２)
また、それぞれの時間における時刻ｔ１と時刻ｔ２で表示される画像についても、以下の場合が考えられる。
（３）（１）の場合、時刻ｔ１から所定領域画像Ｑ２１（（ｃ）の画像）を表示させて、時刻ｔ２以降も所定領域画像Ｑ２１（（ｃ）の画像）を表示させる
（４）（２）の場合、時刻ｔ１から時刻ｔ２の間で平面画像Ｐ２（（ｂ）の画像）をそのまま表示させる
（５）（２）の場合、時刻ｔ１から時刻ｔ２の間で所定領域画像Ｑ２１（（ｃ）の画像）を表示させる
（６）（２）の場合、時刻ｔ１から時刻ｔ２の間は何も表示させない（表示させる画像の切替えとして使う）
などである。上述した図１９における平面画像Ｐ２及び各所定領域画像Ｑの表示に係るタイミング制御は、後述する図２１においても同様の考え方が適用可能である。

ステップＳ３３−４に戻り、表示すべき所定領域画像が残っている場合は、表示制御部３７は、図１９（ｄ）に示されているように、平面画像Ｐ２としての狭角画像と同じアスペクト比によって、ディスプレイ３１８上に所定領域画像Ｑ２４をｔ３から所定時間表示する（ステップＳ３３−６）。この所定時間は、例えば、1.0秒間である。上述したように、検出部４０は、平面画像Ｐ２に類似する所定領域があると判断した場合には、類似度の高い所定領域画像から順に複数の所定領域画像を表示する。ここで、類似度の高い所定領域画像から順に複数の所定領域画像を表示することについて説明する。図１８で説明したように、検出部４０は、例えば、記憶部３０００に記憶した広角画像ＥＣ２全体(パン角θの0°〜360°の間)の始端ＢＥ２から終端ＴＥ２まで所定領域となる矩形を探索し、パン角θ1、θ2でそれぞれ所定領域画像（この場合は、Ｑ２１及びＱ２４）を検出する。検出部４０はさらに、検出した各所定領域画像Ｑ２１及びＱ２４(三つ以上検出されてもよい)に対して、類似度の高い所定領域画像を検出して、いわゆる所定領域画像の並べ替えをスマートフォン３の内部で実行する。その後、表示制御部３４は、これら検出及び並べ替えされた所定領域画像Ｑ２１及びＱ２４を、図１９に示したような所望の時刻ｔ２及びｔ３で表示させる。つまり、図１８に示したような経度（パン角θ）と図１９に示された時刻ｔとの相関関係は無視されてもよく、必ずしも、パン角θの小さい位置に存在する所定領域画像が時刻ｔの小さいタイミングから表示されるとは限らない。

一方、表示すべき所定領域画像が残っていない場合（ステップＳ３３−４；ＮＯ）、スマートフォン３は、このフローによる処理を抜けて図１３のステップＳ３４以降の処理に戻る。そして、ステップＳ３４以降の処理は、第１の実施形態と同様の処理が行われる。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、表示制御部３７は、図１９に示されているように、最初にスマートフォン３で撮影することで得られた狭角画像Ｐ２を所定時間表示させ、続けて全天球撮影装置１で連携撮影することで得られた広角画像内において所定領域Ｔを連続的に移動させながら所定領域画像Ｑ２１を順に表示する。これにより、狭角画像Ｐ２の閲覧者は、狭角画像Ｐ２に映し出された被写体等を見ただけではどのような場所のどのような状況で撮影された画像であるかが分からなくても、所定時間毎に表示される狭角画像Ｐ２と類似する複数の所定領域画像（例えば、Ｑ２１，Ｑ２４）を時間軸ｔに対して間隔を置いて見ることで、どのような人がその場に一緒にいたのかという状況を素早く把握しできるようになるという効果を奏する。

また、表示制御部３７は、正距円筒射影画像ＥＣ２内の各所定領域Ｔを動画のフレームデータとして動画再生するのではなく、正距円筒射影画像ＥＣ２内の所定領域Ｔで示される所定領域画像Ｑ２１をずらしながら表示する。これにより、本実施形態では、動画の符号化処理をせずに、正距円筒射影画像ＥＣ２内の各所定領域Ｔを動画のように連続的に表示することができるため、符号化処理による負荷を軽減することができるという効果を奏する。
なお、上述したように、時間軸ｔに対して間隔を置いて見るとは便宜上の表現であり、本実施形態においては所定領域画像を連続的に表示する形態の一例として扱う。

●第３の実施形態
続いて、図２０及び図２１を用いて、本発明の第３の実施形態について説明する。第３の実施形態に係る画像通信システムにおいても、第２の実施形態と同様のシステム構成、ハードウェア構成及び機能構成を備えるため、詳細な説明は省略する。なお、第３の実施形態においても、第２の実施形態で説明した形状モデル、形状モデルデータ及びそれらのバリエーションを利用することが可能である。

図２０Ａ，図２０Ｂは、第３の実施形態に係る所定領域画像の表示処理を示したフローチャートである。図２０では、上述した実施形態２のステップＳ３３−２以降の処理が異なる。そこで、図２０と同じ処理については説明を省略し、ステップＳ３３−２；ＹＥＳ以降の処理から説明する。但し、第３の実施形態においても、検出部４０は、特定の物体（例えば、ある人物の顔）に類似する物体（顔）があるか否かを検索する類似画像検索を行う。

図２１（ａ）は、第３の実施形態に係る平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図である。図２１（ｂ）は第３の実施形態に係るスマートフォンに平面画像が表示された図である。図２１（ｃ），図２１（ｄ），図２１（ｅ）及び図２１（ｆ）は、第３の実施形態に係るスマートフォンに異なる時刻における正距円筒射影画像の所定領域画像を示した図である。なお、図２１は、広角画像中に二つの顔画像が検出された場合のスマートフォン３における表示例である。なお、第３の実施形態においても、所定領域画像Ｑ２１、Ｑ２２、Ｑ２３及びＱ２４が表示される範囲として、第１の実施形態で示した表示範囲ＤＲで示される範囲を用いてもよい。

図２１において、表示制御部３７は、図１７のステップＳ３３−６で実行した、平面画像Ｐ２としての狭角画像と同じアスペクト比によって、ディスプレイ３１８上に所定領域画像Ｑ２１をｔ２から所定時間表示する。この所定時間は、例えば、1.0秒間である。

続いて、記憶・読出処理部３９は、記憶部３０００に、検出された所定領域画像に対する所定領域情報（中心点ＣＰ，画角α）を記憶する（ステップＳ３３１−３）。

記憶・読出処理部３９は、記憶部３０００から一つ目の所定領域情報を読み出す（ステップＳ３４）。

表示制御部３７は、任意の所定領域Ｔにおける所定領域情報の表示継続時間を算出する（ステップＳ３５）。

判断部３５は、検出した物体の個数が２個以上であるか否かを判断する（ステップＳ３５−１）。

検出した物体の個数が２個以上である場合（ステップＳ３５−１；ＹＥＳ）、判断部３５は、次に読み出す所定領域情報の有無を判断する（ステップＳ３５−２）。

次に読み出す所定領域情報があると判断した場合（ステップＳ３５−２；ＹＥＳ）、記憶・読出処理部３９は、記憶部３０００から次の所定領域情報を読み出す（ステップＳ３５−３）。

続いて、表示制御部３７は、図２１（ｃ）に示すように、平面画像Ｐ２としての狭角画像と同じアスペクト比で、ディスプレイ３１８上に一つ前に読み出した所定領域情報に対する所定領域画像Ｑ２１を時刻ｔ２から表示する（ステップＳ３５−４）。ここで、表示制御部３７は、ステップＳ３５−４で時刻ｔ２から表示した所定領域画像Ｑ２１を、所定時間経過後に記憶・読出処理部と協働して削除するようにしてもよい。

次に、表示制御部３７は、広角画像ＥＣ２内で、上記算出した表示継続時間（例えば、0.005秒）後に、所定領域画像Ｑ２１を移動して所定領域画像をディスプレイ３１８上に表示する（ステップＳ３５−５）。このときに表示される所定領域画像は、例えば、図２１（ｄ）に示されたように、時刻ｔ３から表示される所定領域画像Ｑ２２である。上述した表示方法は、例えば、直近で読み出した所定領域情報とひとつ前に読み出した所定領域情報における互いの所定領域との中心点ＣＰ間の直線上を移動させることで実現される。また、中心点ＣＰはパン角θとチルト角φにより求まるため、パン角θを基準にしてチルト角φは以下の（式２）に従って求められる。ここで、パン角θの１回の移動量は所定角度（例えば１°）とする。

続いて、判断部３５は、所定領域画像における移動方向の先端ａ２１が、正距円筒射影画像ＥＣ２としての広角画像の所定領域情報が示す位置に到達したか否かを判断する（ステップＳ３５−６）。この広角画像の所定領域情報が示す位置とは、上述したステップＳ３５−３で記憶・読出処理部３９が記憶部３０００から読み出した所定領域情報が示す位置である。所定領域画像の先端ａ２１が正距円筒射影画像ＥＣ２としての広角画像のパン角θ2に到達した場合（ステップＳ３５−６：ＹＥＳ）、スマートフォン３は、このフローを抜けて図１３のステップＳ３４以降の処理に戻る。

一方、所定領域画像の先端ａ２１が正距円筒射影画像ＥＣ２としての広角画像のパン角θ2に到達していない場合（ステップＳ３５−６；ＮＯ）、判断部３５は、ステップＳ３５−５の処理に戻り、表示制御部３７が、広角画像内で上記算出した表示継続時間後に、所定角度及び所定領域画像を上述の（式２）に基づいて算出した量だけ移動してディスプレイ３１８上に表示する。このときに表示される所定領域画像は、例えば、図２１（ｅ）に示されたように、時刻ｔ４から表示される所定領域画像Ｑ２３であり、時刻ｔ５から表示される所定領域画像Ｑ２４である。

ここで、ステップＳ３５−４で表示したパン角θがθ1だとすれば、ステップＳ３５−５，Ｓ３５−６の処理を繰り返すことで、所定領域画像は、時刻ｔ２からｔ５までの間でパン角θを増加させるように移動する（図２１（ｃ），（ｄ），（ｅ），（ｆ））。上述した所定領域画像を移動させる処理によって、所定領域画像の先端ａ２１が正距円筒射影画像ＥＣ２としての広角画像のパン角θ＝θ2に到達した場合、表示制御部３７は、図２０−Ａの表示処理を終了する。

ステップＳ３５−１の判断において、検出した物体の個数が１個である場合（ステップＳ３５−１；ＮＯ）、表示制御部３７は、図２１（ｂ）に示されているように、平面画像Ｐ２としての狭角画像と同じアスペクト比で、ディスプレイ３１８上に一つ前に読み出した所定領域情報に対する所定領域画像を表示する（ステップＳ３６−１）。なお、ステップＳ３６−１の処理は、ステップＳ３５−４の処理と同様である。

続いて、図１３のステップＳ３７と同様の処理として、表示制御部３７は、広角画像内で、上記算出した表示継続時間（例えば、0.005秒）後に、所定角度（例えば、パン角θ＝１°）、所定領域画像を移動してディスプレイ３１８上に表示する（ステップＳ３７）。

続いて、判断部３５は、所定領域画像における移動方向の先端ａ２１が正距円筒射影画像としての広角画像のステップＳ３４で読み出した位置に到達したか否かを判断する（ステップＳ３８−１）。到達していない場合（ステップＳ３８−１；ＮＯ）、判断部３５はステップＳ３７の処理に戻り、表示制御部３７が、再度広角画像内で上述にて算出した表示継続時間後に所定角度だけ所定領域画像を移動させてディスプレイ３１８上に所定領域画像Ｑ２１を表示する。ここで、ステップＳ３６で表示したパン角がθ1だとすれば、ステップＳ３７，Ｓ３８の処理を繰り返すことで、所定領域画像は、パン角θを増加させるように移動する。所定領域画像が移動すると、所定領域画像の先端ａ２１は正距円筒射影画像ＥＣ２としての広角画像の終端ＴＥ２に到達するが、その後、始端ＢＥ２に戻って移動を継続する。

一方、到達している場合（ステップＳ３８−１；ＹＥＳ）、判断部３５は、このフローを抜けて処理を終了する。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、表示制御部３７は、図２１に示されているように、最初にスマートフォン３で撮影することで得られた平面画像Ｐ２としての狭角画像を所定時間表示させ、続けて全天球撮影装置１で連携撮影することで得られた広角画像内において所定領域Ｔをより細かな時間毎に連続的に移動させながら所定領域画像Ｑ２１、Ｑ２１，Ｑ２３及びＱ２４を順に表示する。これにより、狭角画像の閲覧者は、狭角画像に映し出された被写体等を見ただけではどのような場所のどのような状況で撮影された画像であるかが分からなくても、所定時間毎に次々に表示される複数の所定領域画像（例えば、Ｑ２１，Ｑ２２，Ｑ２３及びＱ２４）を見ることで、狭角画像と類似する所定領域画像間も含めた周囲の状況をより詳細に把握できるという効果を奏する。

上述した第３の実施形態によれば、狭角画像の閲覧者は、狭角画像と類似する所定領域画像間も含めた周囲の状況を把握できるという効果を奏する。

また、表示制御部３７は、正距円筒射影画像ＥＣ２内の各所定領域Ｔを動画のフレームデータとして動画再生するのではなく、正距円筒射影画像ＥＣ２内の所定領域Ｔで示される所定領域画像Ｑ２１をずらしながら表示する。これにより、本実施形態では、動画の符号化処理をせずに、正距円筒射影画像ＥＣ２内の各所定領域Ｔを動画のように連続的に表示することができるため、符号化処理による負荷を軽減することができるという効果を奏する。

●第４の実施形態
続いて、図２２乃至図２４を用いて、本発明の第４の実施形態について説明する。第４の実施形態に係る画像通信システムにおいても、第２、第３の実施形態と同様のシステム構成、ハードウェア構成及び機能構成を備えるため、詳細な説明は省略する。なお、第４の実施形態においても、第２の実施形態で説明した形状モデル、形状モデルデータ及びそれらのバリエーションを利用することが可能である。

図２２は、第４の実施形態に係る所定領域画像の表示処理を示したフローチャートである。図２２では、ステップＳ３１〜Ｓ３３１−３までの処理は、第３の実施形態で説明したステップＳ３１〜Ｓ３３１−３までの処理と同じ処理であるため説明を省略し、ステップＳ３３１−４以降の処理から説明する。但し、第４の実施形態においても、検出部４０は、特定の物体（例えば、ある人物の顔）に類似する物体（顔）があるか否かを検索する類似画像検索を行う。

図２３（ａ）は、第４の実施形態に係る平面画像と正距円筒射影画像における所定領域画像の表示時間及び表示範囲を示した図、図２３（ｂ），（ｃ），（ｄ），（ｅ）は、第４の実施形態に係るスマートフォンに異なる時刻における正距円筒射影画像における所定領域画像を示した図である。但し、第４の実施形態では、異なる時刻における正距円筒射影画像における所定領域画像が、経度方向を示すパン角θの方向ではなく、緯度方向を示すチルト角Φの方向に移動する一例を示すものである。なお、図２３では、時間軸ｔが縦軸になっている。

図２２に戻り、表示制御部３７は、図２０ＡのステップＳ３３−２で検出した所定領域画像を、画像などを表示する際に視認性を高めるために縮小させた画像であるサムネイル画像のアスペクト比で表示する（ステップＳ３３１−４）。この処理に対応する画面表示例は、図２３に示されたように、時刻ｐｔ０（ｔ０）においてディスプレイ３１８上に表示された平面画像Ｐ２である。

なお、上述したサムネイル画像は、例えば、図２４に示されたような画像で、類似画像検索の結果取得された画像である。図２４は、第４の実施形態に係る所定領域画像を選択する画面の表示例を示した図である。図２４では、スマートフォン３のディスプレイ３１８に、例えば、人物Ａの頭部付近の平面画像Ｐ２に相当する所定領域画像ＱＡ、及び人物Ｂの頭部付近の平面画像Ｐ２に相当する所定領域画像ＱＢが表示されている。さらに、所定領域画像ＱＡ又は所定領域画像ＱＢが利用者によって選択された後、所定領域画像を移動する処理を開始するための実行ボタン４５がディスプレイ３１８に表示されている。利用者が所定領域画像ＱＡ又は所定領域画像ＱＢのいずれかを選択した後、実行ボタン４５を操作することで、受付部３２は、選択された所定領域画像を受け付け、第２乃至第４の実施形態における処理を開始することができる。

ステップＳ３３１−４の処理に続いて、記憶・読出処理部３９は、記憶部３０００に検出された所定領域画像を抽出して記憶する（ステップＳ３３−３）。

続いて、受付部３２は、図２４に示された所定領域画像ＱＡ又は所定領域画像ＱＢに対する利用者の入力（選択操作、所望の所定領域画像に対するタップ操作等）を受け付ける（ステップＳ３３１−５）。

続いて、記憶・読出処理部３９は、記憶部３０００からステップＳ３３１−５で受け付けた所定領域画像に対する所定領域情報（中心点ＣＰ、画角α）を読み出す（ステップＳ３３１−６）。

続いて、表示制御部３７は、平面画像Ｐ２としての狭角画像と同じアスペクト比で、ディスプレイ３１８上に所定領域画像を表示する（ステップＳ３３１−７）。このとき表示制御部３７が表示する所定領域画像は、ステップＳ３３１−６で読み出した所定領域情報のチルト角φを０°に移動した画像である。この処理に対応する画面表示例は、図２３の時刻ｐｔ０から時刻ｐｔ１までの間においてディスプレイ３１８上に表示された図２３（ｂ）の画像である。

続いて、表示制御部３７は、広角画像内で、上述の（式２）で算出した表示継続時間（例えば、0.005秒）後に、所定角度（例えば、Φ＝１°）、所定領域画像を移動してディスプレイ３１８上に表示する（ステップＳ３３１−８）。ここでは、移動方向は、全天球画像における赤道に対して垂直方向である。この処理に対応する画面表示例は、図２３の時刻ｐｔ１においてディスプレイ３１８上に表示された図２３（ｃ）の所定領域画像ＰＱ２１である。この所定領域画像ＰＱ２１は、サムネイル画像表示された人物の足元の画像である。

次に、判断部３５は、所定領域画像における移動方向の先端が正距円筒射影画像としての広角画像のステップＳ３３１−６で読み出した位置に到達したか否かを判断する（ステップＳ３３１−９）。読み出した位置に到達していない場合（ステップＳ３３１−９；ＮＯ）、判断部３５は、ステップＳ３３１−８の処理に戻り、表示制御部３７は、再び、広角画像内で上記算出した表示継続時間後に、所定角度、所定領域画像を移動してディスプレイ３１８上に表示する。この処理に対応する画面表示例は、図２３の時刻ｐｔ２においてディスプレイ３１８上に表示される図２３（ｄ）の所定領域画像ＰＱ２２である。この所定領域画像ＰＱ２２は、サムネイル画像表示された人物の腰付近の画像である。

さらに、表示制御部３７は、再び、広角画像内で上記算出した表示継続時間後に、所定角度、所定領域画像を移動してディスプレイ３１８上に表示する。この処理に対応する画面表示例は、図２３の時刻ｐｔ３においてディスプレイ３１８上に表示される図２３（ｅ）の所定領域画像ＰＱ２３である。この所定領域画像ＰＱ２３は、サムネイル画像表示された人物の頭部（顔）の画像である。図２３（ｂ）、（ｃ）、（ｄ）及び（ｅ）に示したように、平面画像Ｐ２，所定領域画像Ｑ２１，Ｑ２２及びＱ２３に表示されるサムネイル画像は、人物の頭部に限らず、足、腰などの全身のうちの一部を表示させるための画像であってもよい。つまり、被写体は、例えば、人物、動物、建造物等の物体の全体を含むものであってよい。

これまでに説明した、人物が検知された場合に平面画像と同じアスペクト比で表示する例に関しては、以下の方法が考えられる。例えば、狭角画像を表示するスマートフォン３の画面のアスペクト比（縦横比）は既知の値であるため、スマートフォン３で撮影された平面画像Ｐ２のアスペクト比も一意に決まった値として得ることができる。この一意に決まった値を用いて、平面画像Ｐ２としての狭角画像と同じアスペクト比でディスプレイ３１８上に所定領域画像を表示するようにしてもよい。

第４の実施形態では、表示制御部３７は、チルト角Φ方向、すなわち、所定領域画像に向かって赤道に対して垂直方向に所定領域の表示範囲を移動表示する。これによって、例えば、所定領域画像が顔の画像であった場合は、顔の画像を含め人物の全身画像を確認することができる。垂直方向に所定領域の表示範囲を移動表示する処理は、例えば、図２３及び図２４に示した人物画像の足元から頭部にかけて垂直に移動する処理である。なお、本実施形態では、チルト角は0°を起点として増加する方向に移動したが、360°を起点として減少する方向に移動させてもよい。つまり、人物画像の頭部（顔）から足元にかけて垂直に移動するようにしてもよい。

ステップＳ３３１−９の判断で読み出した位置に到達したと判断した場合（ステップＳ３３１−９；ＹＥＳ）、判断部３５は、ステップＳ３６以降の処理を実行する。なお、ステップＳ３６以降の処理に係る所定領域画像の表示の移動方向は、全天球画像における赤道に対して水平方向である。

その後、表示制御部３７は、検出部４０による特定の物体（例えば、ある人物の顔）に類似する物体（顔）があるか否かを検索する類似画像検索を伴い、所定領域画像を連続的に移動させて、第２乃至第４の実施形態におけるステップＳ３６以降の処理を実行する。

なお、図２４に示したように、スマートフォン３のディスプレイ３１８にサムネイル画像表示された画像を選択して所定領域画像を移動させる方法は、上述した第２の実施形態乃至第４の実施形態に係る適切な処理タイミングにおいて、共通に利用することができる。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、表示制御部３７は、スマートフォン３のディスプレイ３１８に、例えば、人物Ａの頭部付近の平面画像Ｐ２に相当する所定領域画像ＱＡ、及び人物Ｂの頭部付近の平面画像Ｐ２に相当する所定領域画像ＱＢを表示する。表示された所定領域画像ＱＡ又はＱＢのいずれかが利用者に選択された後、利用者によって所定領域画像を移動する処理を開始するための実行ボタン４５が操作されることで、受付部３２が所定領域画像の選択を受け付ける。これにより、狭角画像の閲覧者が所望する被写体の所定領域画像から画像の移動を開始することができる。

なお、本実施形態では、所定領域画像に向かって赤道に対して垂直方向に所定領域の表示範囲を移動表示することによって、例えば、所定領域画像が顔画像であった場合は、人物の全身画像を確認することができる。その後、表示制御部３７は、図２２及び図２３に示されているように、最初にスマートフォン３で撮影することで得られた平面画像Ｐ２としての狭角画像を所定時間表示させ、続けてその狭角画像をチルト角Φ方向（赤道と垂直方向）に連続的に移動させながら所定領域画像を順に表示する。その後、表示制御部３７は、所定領域画像をパン角θ方向（赤道と水平方向）に連続的に移動させながら連続的に移動する。これにより、利用者（閲覧者）は、狭角画像に映し出された被写体の特徴部を顔のみならず他の部分を確認したうえで次々に表示される所定領域画像を見ることで、その被写体の特徴をより明確に認識し、被写体が表示されている場所や状況を把握し易くできるようになる。すなわち、利用者に対して、所定領域画像を形成する被写体の詳細のみならず、所定領域画像を取り巻く周囲の状況もより詳細に把握できるという効果を奏する。

また、表示制御部３７は、正距円筒射影画像ＥＣ２内の各所定領域Ｔを動画のフレームデータとして動画再生するのではなく、正距円筒射影画像ＥＣ２内の所定領域Ｔで示される所定領域画像をずらしながら表示する。これにより、本実施形態では、動画の符号化処理をせずに、正距円筒射影画像ＥＣ２内の各所定領域Ｔを動画のように連続的に表示することができるため、符号化処理による負荷を軽減することができるという効果を奏する。

〔第１乃至第４の実施形態の変形例〕
続いて、図２５を用いて、第１乃至第４の実施形態に係る連携撮影処理の変形例を説明する。図２５は、第１乃至第４の実施形態に係る連携撮影処理の変形例を示したシーケンス図である。図１２では、スマートフォン３側での撮影の開始が全天球撮影装置１側に連携されていたが、図２５では、全天球撮影装置１側での撮影の開始がスマートフォン３側に連携される。以下、詳細に説明する。なお、図２５に示す処理に先立って、スマートフォン３と全天球撮影装置１との通信接続は、Ｗｉ−Ｆｉ及びＢｌｕｅｔｏｏｔｈにより確立しているものとする。

まず、全天球撮影装置１受付部１２は、利用者Ａから撮影の開始を受け付ける（ステップＳ１１）。これにより、撮像部１３は風景等を撮影することで二つの半球画像データを得て、画像・音処理部１６が二つの半球画像データから正距円筒射影画像データとしての広角画像データを作成する（ステップＳ１２）。なお、この場合、集音部１４が音を集音して音データを作成することで、広角画像データに関連付けてもよい。

次に、全天球撮影装置１の撮像部１３が所定時間待機する（ステップＳ１３）。例えば、所定時間は３秒間である。また、ステップＳ１２の撮影の処理において、利用者Ａ自身が被写体となっていた場合、この待機時間によって、利用者Ａは、スマートフォン３を持ち直すか又は全天球撮影装置１からスマートフォン３に持ち替えるための準備時間を設けることができる。

次に、全天球撮影装置１の通信部１８が、スマートフォン３に対して、撮影開始の要求を示す撮影要求情報を、Ｂｌｕｅｔｏｏｔｈを利用して送信する（ステップＳ１４）。これにより、スマートフォン３の通信部３８は、撮影要求情報を受信する。そして、スマートフォン３では、撮像部３３が被写体等を撮影し、画像・音処理部３６が狭角画像データを作成する（ステップＳ１５）。

次に、全天球撮影装置１の通信部１８は、スマートフォン３に対して、ステップＳ１２で得られた広角画像データを、Ｗｉ−Ｆｉを利用して送信する（ステップＳ１６）。これにより、スマートフォン３の通信部３８は、広角画像データを受信する。なお、本実施形態の画像通信システムにおいて、全天球撮影装置１の通信部１８から二つの半球画像データをスマートフォン３に対して送信し、スマートフォン３側で二つの半球画像データを合成して正距円筒射影画像データとしての広角画像データを作成するよう構成してもよい。上述したステップＳ１４の送受信に利用するＢｌｕｅｔｏｏｔｈは、第１の通信方式の一例であり、ステップＳ１６の送受信に利用するＷｉ−Ｆｉは、第２の通信方式の一例である。

上記ステップＳ１１〜Ｓ１６の処理により、スマートフォン３では、自端末では撮影により得ることができない広角画像データを取得することができる。また、スマートフォン３と全天球撮影装置１の間で撮影の連携処理を行うことで、撮影タイミングを同期させることができる。

次に、スマートフォン３の画像・音処理部３６が、ステップＳ１５で得られた狭角画像データとステップＳ１６で得られた広角画像データとを一つの電子ファイルに格納して、記憶・読出処理部３９が、この一つの電子ファイルのデータを記憶部３０００に記憶する（ステップＳ１７）。なお、狭角画像データ及び広角画像データは、スマートフォン３以外に設けられた他の記憶部に記憶されてもよい。他の記憶部としては、例えば、クラウドサーバ等の外部サーバなどが考えられる。こうすることで、狭角画像データ及び広角画像データの共有化が可能となる。そして、スマートフォン３の表示制御部３７は、ディスプレイ３１８に対して、狭角画像及び広角画像の表示の処理を行う（ステップＳ１８）。なお、ステップＳ１８の処理は、図１２のステップＳ１８及び図１３の処理と同様であるため、説明を省略する。

〔変形例の主な効果〕
以上説明したように第１の実施形態の変形例によれば、利用者Ａがスマートフォン３から離れた場所の広角画像を視認した上で、全天球撮影装置１からスマートフォン３に広角画像データを送信することが可能になる。船内パーティの撮影を例にとれば、スマートフォン３を船内にいる他人にあずけて撮影範囲を指示しておき、利用者Ａ本人は、全天球撮影装置１を持って、船上に出る。そして、利用者Ａが所望する撮影のタイミング(例えば、船が橋にさしかかったタイミング)で船外の風景を撮影することができる。なお、この場合、利用者Ａが全天球撮影装置１を船外に持ち出したが、全天球撮影装置１を船内に置き、スマートフォン３を船上に持ち出してもよい。この場合、船上で狭角画像データを得ることになるため、周囲の全風景ではなく、利用者Ａの心に留まった一部のシーン(例えば、船上から見た船内パーティのシーン)を確認して撮影したい場合に有効になる。

●第５の実施形態
続いて、図２６乃至図３０を用いて、本発明の第５の実施形態について説明する。

〔画像通信システムの構成の概略〕
まず、図２６用いて、第５の実施形態に係る画像通信システムの構成の概略について説明する。図２６は、第５の実施形態に係る画像通信システムの概略図である。第５の実施形態では、図８に示されているシステム構成に対して、更に、画像管理サーバ５及びアクセスポイント７が追加されている。

第１の実施形態では、スマートフォン３は全天球撮影装置１とＷｉ−Ｆｉによってデータ通信を行っていた。これに対して、第５の実施形態では、スマートフォン３と画像管理サーバ５との間のデータ授受を仲介するために、別途アクセスポイント７が追加されている。スマートフォン３は、全天球撮影装置１との通信をアクセスポイント７へ切り替えることにより、画像管理サーバ５とデータ通信することができる。これにより、画像管理サーバ５は、アクセスポイント７を介して、スマートフォン３とデータ通信を行うことができる。画像管理サーバ５は、コンピュータによって構成されている。なお、画像管理サーバ５は、単一コンピュータによって構成されてもよいし、複数のコンピュータによって構成されてもよい。また、本実施形態において画像管理サーバ５は、画像管理装置の一例である。なお、第５の実施形態においても、第２の実施形態で説明した形状モデル、形状モデルデータ及びそれらのバリエーションを利用することが可能である。

〔実施形態のハードウェア構成〕
次に、図２７を用いて、本実施形態の画像管理サーバ５のハードウェア構成を詳細に説明する。なお、撮影装置１とスマートフォン３のハードウェア構成は、第２乃至第４の実施形態と同様であるため、これらの説明を省略する。なお、アクセスポイント７は、汎用性のある一般のアクセスポイントであるため、ハードウェア構成の説明を省略する。

＜画像管理サーバのハードウェア構成＞
図２７は、第５の実施形態に係る画像管理サーバ５のハードウェア構成図である。画像管理サーバ５は、コンピュータによって構築されており、図２７に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、画像管理サーバ５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

〔実施形態の機能構成〕
次に、図２８を用いて、本実施形態の機能構成について説明する。図２８は、第５の実施形態に係る画像通信システムの機能ブロック図である。なお、撮影装置１とスマートフォン３の機能構成は、第２乃至第４の実施形態と同様であるため、同様の機能構成には同じ符号を付して、説明を省略する。なお、アクセスポイント７は、汎用性のある一般のアクセスポイントであるため、機能構成の説明を省略する。

＜画像管理サーバの機能構成＞
図２８を用いて、画像管理サーバ５の機能構成について詳細に説明する。図２８に示されているように、画像管理サーバ５は、送受信部５１、判断部５５、算出部５６及び記憶・読出処理部５９を有している。これら各部は、図２７に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、画像管理サーバ５は、図２７に示されているＲＯＭ５０２、及びＨＤ５０４によって構築される記憶部５０００を有している。

（画像管理サーバの各機能構成）
次に、図２８を用いて、画像管理サーバ５の各機能構成について更に詳細に説明する。画像管理サーバ５の送受信部５１は、主に、ネットワークＩ／Ｆ５１０に対するＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（例えば、スマートフォン３）との間で各種データ（又は情報）の送受信を行う。

判断部５５は、主に、ＣＰＵ５０１の処理によって実現され、後述の各種判断を行う。

算出部５６は、主に、ＣＰＵ５０１の処理によって実現され、後述の各種算出を行う。

記憶・読出処理部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（又は情報）を記憶したり、記憶部５０００から各種データ（又は情報）を読み出したりする。

〔実施形態の処理又は動作〕
図２９を用いて、第５の実施形態の処理又は動作について説明する。図２９は、第５の実施形態に係るファイルデータの通信処理を示したシーケンス図である。第５の実施形態では、第２乃至第４の実施形態のステップＳ７（又はステップＳ１７）とステップＳ８（又はステップＳ１８）との間の処理として説明する。

まず、ステップＳ７（又はステップＳ１７）の処理後、スマートフォン３の通信部３８がアクセスポイント７対して接続要求を示す接続要求情報を送信する（ステップＳ１０１）。これにより、アクセスポイント７は、接続要求情報を受信する。

次に、アクセスポイント７は、スマートフォン３に対して接続許可を示す接続許可情報を送信する（ステップＳ１０２）。これにより、スマートフォン３の通信部３８は、接続許可情報を受信する。ステップＳ１０１，Ｓ１０２の処理により、スマートフォン３のＷｉ−Ｆｉの接続先が全天球撮影装置１からアクセスポイント７に切り替わる。

次に、スマートフォン３の通信部３８が、上記ステップＳ２（又はステップＳ１５）で取得された狭角画像データを、アクセスポイント７経由で画像管理サーバ５へ送信する（ステップＳ１０３）。
これにより、画像管理サーバ５の送受信部５１は、狭角画像データを受信する。

次に、画像管理サーバ５は、狭角画像データに対する照合処理を実行する（ステップＳ１０４）。ここで、図３０を用いて、照合処理を詳細に説明する。図３０は、狭角撮影データに対する照合処理を示したフローチャートである。

図３０に示されているように、画像管理サーバ５の判断部５５は、記憶部５０００に記憶されている電子ファイルが、照合すべき電子ファイルとして残っているか否かを判断する（ステップＳ１３１）。そして、残っている場合には（ステップＳ１３１；ＹＥＳ）、記憶・読出処理部５９は、電子ファイルに含まれている狭角撮影データを読み出す（ステップＳ１３２）。

次に、算出部５６は、撮影後にステップＳ１０３の処理で受信された狭角撮影データ、及びステップＳ１３２の処理で読み出された狭角撮影データを比較して、ハミング距離を算出する（ステップＳ１３３）。この距離の算出には、様々な手法があるが、ここでは、よく知られたAverage HashをステップＳ１０３で受信された狭角画像データの特徴量とし、算出部５６は、以下のように、64bit特徴量（ハッシュ値）の距離を求める。
（１）狭角撮影データをグレースケールデータに変換する。
（２）グレースケールデータが64(8x8)画素になるように画像を縮小する。
（３）全画素に対する平均値を求める。
（４）各画素値に対して平均値以上であれば1、平均値未満であれば0とし、64ビット列(ハッシュ値)を求める。
（５）照合する二つの狭角画像データに対して得られたハッシュ値のハミング距離を求める。

次に、判断部５５は、ステップＳ１３３の処理で算出された距離Ｌ１と、これまでの照合により得られた最小距離Ｌ０とを比較し、距離Ｌ１が最小距離Ｌ０よりも短いか否かを判断する（ステップＳ１３４）。そして、短い場合には（ステップＳ１３４；ＹＥＳ）、記憶・読出処理部５９が、距離Ｌ１を最小距離として更新し、ステップＳ１３２で読み出した狭角画像データに付けられているファイル名と組にして一時的に記憶部３０００に記憶する（ステップＳ１３５）。その後、Ｓ１３１の処理に戻る。また、上記ステップＳ１３４の処理によって、距離Ｌ１が最小距離Ｌ０よりも短くない場合には（ステップＳ１３４；ＮＯ）、ステップＳ１３１の処理に戻る。

一方、上記ステップＳ１３１の処理によって、記憶部５０００に記憶されている電子ファイルが、照合すべき電子ファイルとして残っていない場合には（ステップＳ１３１；ＮＯ）、記憶・読出処理部５９が、上記ステップＳ１３５の処理で一時的にされているファイル名の電子ファイルデータを読み出す（ステップＳ１３６）。

以上により、図３０のステップＳ１０４の処理が終了する。

続いて、画像管理サーバ５の送受信部５１は、ステップＳ１３６の処理により読み出された電子ファイルデータをアクセスポイント経由でスマートフォン３へ送信する（ステップＳ１０５）。これにより、スマートフォン３の通信部３８は、電子ファイルデータを受信する。

次に、スマートフォン３の記憶・読出処理部３９は、ステップＳ１０５によって受信された電子ファイルデータを記憶部３０００に記憶する（ステップＳ１０６）。

次に、スマートフォン３の記憶・読出処理部３９は、上記ステップＳ７で記憶された電子ファイルデータを読み出す（ステップＳ１０７）。そして、通信部３８は、ステップＳ１０７で読み出された電子ファイルデータをアクセスポイント７経由で画像管理サーバ５へ送信する（ステップＳ１０８）。これにより、画像管理サーバ５の送受信部５１が、電子ファイルデータを受信する。

次に、画像管理サーバ５の記憶・読出処理部５９は、ステップＳ１０８で受信された電子ファイルデータを記憶部５０００に記憶する（ステップＳ１０９）。このステップＳ１０７，Ｓ１０８の処理によって、画像管理サーバ５で管理されている電子ファイルデータを常に最新状態に保つことができる。

次に、スマートフォン３の通信部３８は、全天球撮影装置１に対して、接続要求を示す接続要求情報を送信する（ステップＳ１１０）。これにより、全天球撮影画像１の送受信部１１は、接続要求情報を受信する。

次に、全天球撮影装置１は、スマートフォン３に対して接続許可を示す接続許可情報を送信する（ステップＳ１１１）。これにより、スマートフォン３の通信部３８は、接続許可情報を受信する。このステップＳ１１０，Ｓ１１１の処理により、Ｗｉ−Ｆｉの接続先がアクセスポイント７から全天球撮影装置１に戻るため、利用者Ａはすぐに次の連携撮影を実施することができる。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、第２乃至第４の実施形態の効果を奏すると共に、画像管理サーバ５で電子ファイルデータを管理するため、広角画像データが大容量であったり、多数のデータ数であったりしても、スマートフォン３の記憶部３０００の空き容量を圧迫することがないという効果を奏する。

〔第５の実施形態に係る所定領域画像の表示〕
第１乃至第４及びその他の実施形態で説明したように、第５の実施形態に係る画像通信システムにおいても所定領域画像の表示を行うことができる。具体的には、上述した図１３、図１７、図２０及び図２２の各処理において、画像管理サーバ５の判断部５５及び記憶・読出処理部５９が、アクセスポイント７を介してスマートフォン３の判断部３５及び記憶・読出処理部３９にそれぞれ成り代わって実行するようにしてもよい。なお、上述したスマートフォン３の機能部以外の各機能部は、第５の実施形態においても第１乃至第４及びその他の実施形態と同様の処理を実行する機能を担う。このような態様により、利用者（閲覧者）は、第１乃至第４及びその他の実施形態で説明した場合と同様の効果を得ることができる。

〔第５の実施形態の変形例〕
なお、第５の実施形態における図１２又は図２５のステップＳ８（又はステップＳ１８）の表示の処理は、所定領域画像の表示処理に係るフローチャートの処理を実行する際に、電子ファイルを異ならせて２回繰り返してもよい。

具体的には、１回目及び２回目の電子ファイルのそれぞれを、ステップＳ７（又はステップＳ１７）で記憶された電子ファイルデータ、及びステップＳ１０６で記憶された電子ファイルデータとする。これにより、表示制御部３７は、ディスプレイ３１８上に、直近の撮影されることで得られた電子ファイルデータの表示の後に続けて、過去の似たような電子ファイルデータを表示することができる。そのため、利用者の過去の記憶を呼び覚ますことができ、撮影した情景をさらに印象づけることが可能になるという効果を奏する。

また、図２９のステップＳ１０４の処理において、画像管理サーバ５は、位置情報を照合させてもよい。この場合、スマートフォン３は、ステップＳ２（又はステップＳ１５）の撮影時に、ＧＰＳ受信部３１１によって位置情報を取得しておく。位置情報には、撮影位置の緯度と撮影位置の経度が含まれている。これにより、ステップＳ７（又はＳ１７）の処理では、記憶・読出処理部３９が、狭角画像データに位置情報を埋め込んで記憶しておく。このフォーマットには、公知のExif (Exchangeable Image File format)を利用することができる。この場合、図２９のステップＳ１０３の処理では、通信部３８は、狭角画像データに加えて位置情報も送信する。また、図３０のステップＳ１３２の処理では、記憶・読出処理部５９は、狭角画像データに加えて位置情報も読み出す。そして、ステップＳ１３３の処理では、算出部４６が、位置情報で示された座標(撮影緯度、撮影経度)間がユークリッド距離等で算出する。これにより、利用者が過去に同じ又は近くの場所でどのような撮影をしたのかを思い出すことに役立てるという効果を奏する。なお、位置情報は、スマートフォン３に設けられたＧＰＳ受信部３１１によって取得されるようにしてもよい。

また、第５の実施形態では、通信部３８がアクセスポイント７を介して画像管理サーバ５と通信を行ったが、送受信部３１がインターネット等の通信ネットワークを介して画像管理サーバ５と通信を行ってもよい。

●補足
上述の各実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたＡＳＩＣ(Application Specific Integrated Circuit)、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）、ＳＯＣ(System on a chip)、ＧＰＵ(Graphics Processing Unit)、及び従来の回路モジュール等のデバイスを含む。

また、インターネット等の通信ネットワークには、ブロックチェーンによって構築されたネットワークも含まれる。

図１２のステップＳ３における所定の待機時間は、利用者によってスマートフォン３に設定できるようにしてもよい。例えば、待機時間を０秒と設定しておけば、待ち時間は発生せず、スマートフォン３と全天球撮影装置１とで同時に撮影することができる。また、ステップＳ３及びステップＳ１３の処理は無くてもよい。即ち、待機時間無しで、すぐにステップＳ４の処理が開始されてもよい。この処理は、所定時間が可である場合に、待機時間を０秒とした場合と同様に行われる。さらに、図１６のステップＳ１３における待機時間は、利用者によって全天球撮影装置１に直接設定できるようにしてもよいし、利用者によってスマートフォン３からＢｌｕｅｔｏｏｔｈ等を利用して間接的に設定できるようにしてもよい。

また、図１２のステップＳ４，Ｓ６及び図１６のステップＳ１４，Ｓ１６は、Ｂｌｕｅｔｏｏｔｈ、及びＷｉ−Ｆｉのいずれか一方のみを利用してもよい。

また、上述した実施形態では、スマートフォン３と全天球撮影装置１が別々に撮影した後に、スマートフォン３が自動的に一つの電子ファイルとして記憶部３０００に記憶する（ステップＳ７）が、これに限るものではない。例えば、スマートフォン３と全天球撮影装置１が別々に撮影した後に、利用者ＡがＰＣ等にぞれぞれで撮影されることで得られた画像データ（音データを含む）を取り込み、ＰＣ等でマージした後に、ＰＣ等からスマートフォン３の記憶部３０００に転送してもよい。

また、図１２のステップＳ７で、記憶・読出処理部３９が電子ファイルデータを記憶する場合、ステップＳ８の処理に進まずに、表示制御部３７がディスプレイ３１８上にファイル名を受け付けるユーザインタフェース表示させるようにしてもよい。この場合、後ほど、利用者Ａの操作により所望の電子ファイルデータを読み出して、スマートフォン３がステップＳ８の表示の処理を行ってもよい。これにより、撮影時だけではなく、利用者が所望したときにいつでも表示内容を確認することができる。

また、図１５に示されているように、表示制御部３７は、待機時間ｔ１後に狭角画像から所定領域画像に表示を切り替えるが、これに限るものではない。例えば、利用者Ａによってスマートフォン３にタッチ等の操作入力があるまでは、表示制御部３７は狭角画像の表示を継続する。そして、利用者Ａの操作入力があると、タッチ等の操作入力が続いている間（タッチした状態のままの間）は、表示制御部３７は、所定領域画像の移動表示を行う。そして、利用者Ａの操作入力が終了すると、表示制御部３７は、また広角画像を表示するようにしてもよい。この表示方法によれば、利用者Ａの所望するタイミングで狭角画像と広角画像の表示を切替えることができる。

また、表示制御部３７は、図１５に示されているように、狭角画像としての平面画像Ｐ１を表示した後に広角画像における所定領域画像Ｑ１１を表示しているが、これに限るものではない。例えば、表示制御部３７は、広角画像としての正距円筒射影画像ＥＣ１内の全ての所定領域Ｔに渡って所定領域画像Ｑ１１を表示した後に、狭角画像としての平面画像Ｐ１を表示することで、表示順を変えてもよい。この考え方は、第２の実施形態以降の実施形態においても同様に適用可能である。

更に、上述した各実施形態では、表示制御部３７が、狭角画像の次に広角画像の所定領域画像を表示する一連の表示パターン（第１の表示パターン）を行ったが、これに限るものではない。例えば、表示制御部３７は、狭角画像の次に広角画像の所定領域画像を表示する一連の処理を繰り返す表示パターン（第２の表示パターン）にしてもよい。また、表示制御部３７は、狭角画像の次に広角画像の所定領域画像を表示した後、再度、一度だけ狭角画像を表示する表示パターン（第３の表示パターン）にしてもよい。この場合、撮影した人がその時の自分の表情・気持ち等を再確認することに役立つ。また、表示制御部３７は、上記各表示パターンを選択するための画面をディスプレイ３１８上に表示させ、利用者Ａに選択を促すようにしてもよい。この場合、受付部３２が、利用者Ａの選択を受け付けて、表示制御部３７が選択された表示パターンで表示する。

また、ステップＳ８（又はステップＳ１８）の処理の前、処理の後、又は処理の前後において、表示制御部３７は、リトルプラネット形式に変換して表示させてもよい。リトルプラネット形式では、全天球画像の全体像を表示できるため、所定領域Ｔの表示範囲外になっていた領域も含めて、最後に全体を確認できるという効果を奏する。

また、利用者Ａが全天球撮影装置１を入手した直後は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈの無線通信のための接続を確立するための設定や、図１２、図１６、又は図２０の処理を実現するソフトウェアをスマートフォン３にインストールする作業が必要である。この作業の手間を省くために、以下のような処理で、全天球撮影装置１を入手した直後の設定の手間を軽減する。具体的には、全天球撮影装置１の記憶部１０００に無線通信の接続設定と図１２、図２５、又は図２９の処理を実現する特定のソフトウェアを予め記憶しておく。次に、全天球撮影装置１とスマートフォン３とをＵＳＢケーブル等の有線ケーブルで接続し、スマートフォン３が全天球撮影装置１の記憶部１０００にアクセスして、上記特定のソフトウェアを取得する。また、変形例として、ステップＳ６，Ｓ１６では、全天球撮影装置１が広角画像データを直接スマートフォン３に送信しているが、この送信の前に全天球撮影装置１の記憶・読出処理部１９が、広角画像データを記憶部１０００に記憶しておくようにしてもよい。

また、第１の実施形態及び変形例における電子ファイルデータの記憶(ステップＳ７,Ｓ１７)時に、スマートフォン３は第２の実施形態の画像管理サーバ５に同じ電子ファイルデータをアップロードして、画像管理サーバ５でデータのバックアップを行うようにしてもよい。

１ 全天球撮影装置（広角撮影装置の一例）
３ スマートフォン（狭角撮影装置の一例、撮影装置の一例）
５ 画像管理サーバ（画像管理装置の一例）
７ アクセスポイント
１２ 受付部
１３ 撮像部
１４ 集音部
１５ 判断部
１６ 画像処理部
１９ 記憶・読出処理部
３１ 送受信部
３２ 受付部（受付手段の一例）
３３ 撮像部
３４ 集音部
３５ 判断部
３６ 画像・音処理部
３７ 表示制御部（表示制御手段の一例）
３８ 通信部（取得手段の一例、要求手段の一例）
３９ 記憶・読出処理部
４０ 検出部（検出手段の一例）
５１ 送受信部
５５ 判断部
５６ 算出部
５９ 記憶・読出処理部
３１８ ディスプレイ（表示手段の一例）
１０００ 記憶部
３０００ 記憶部
５０００ 記憶部

特開２０１８−１６９６０１号公報

Claims (11)

1. 撮影することによって得られた画像である第１の画像を表示するためのプログラムであって、
   コンピュータに、
   撮影することで前記第１の画像よりも広角な画像である第２の画像を得た広角撮影装置が送信した前記第２の画像のデータを取得する取得手段と、
   前記第１の画像の表示、及び前記第２の画像において前記第１の画像との類似度が所定の閾値以上である所定領域画像の表示を制御する表示制御手段と、
   を実現させることを特徴とするプログラム。
2. 前記表示制御手段は、前記第２の画像において前記第１の画像との類似度が所定の閾値以上である複数の所定領域がある場合には、類似度の高い所定領域画像から順に前記複数の所定領域画像の表示を制御することを実現させる請求項１に記載のプログラム。
3. 前記表示制御手段は、前記複数の所定領域画像を表示する場合には、前記第２の画像における前記複数の所定領域の間の所定領域画像の表示を制御することを実現させる請求項２に記載のプログラム。
4. 前記表示制御手段は、前記第１の画像の表示、及び前記所定領域画像で表された被写体の全体に渡って前記所定領域を移動させることによる複数の所定領域画像の表示を制御することを実現させる請求項２に記載のプログラム。
5. 前記所定領域画像で表された被写体は、顔の部分であることを特徴とする請求項４に記載のプログラム。
6. 前記被写体の全体に渡って前記所定領域を移動させることは、前記被写体の足の部分から前記被写体の顔の部分に向かって、又は、前記被写体の顔の部分から前記被写体の足の部分に向かって、前記所定領域を移動させることである請求項４に記載のプログラム。
7. 前記複数の所定領域画像のサムネイル画像の選択を受け付ける受付手段を有し、
   前記表示制御手段は、
   前記複数の所定領域画像のサムネイル画像のうち前記受付手段が選択を受け付けたサムネイル画像の表示を制御し、
   前記第１の画像の表示を制御した後、前記選択されたサムネイル画像に係る所定領域画像から順に前記複数の所定領域画像の表示を制御する
   ことを実現させる請求項１に記載のプログラム。
8. 撮影することで得た画像である第１の画像を表示する撮影装置と、
   撮影することで前記第１の画像よりも広角な画像である第２の画像を得る広角撮影装置と、を有する画像通信システムであって、
   前記撮影装置は、
   前記広角撮影装置が送信した前記第２の画像のデータを取得する取得手段と、
   前記第１の画像の表示、及び前記第２の画像において前記第１の画像との類似度が所定の閾値以上である所定領域画像の表示を制御する表示制御手段と、を有する
   ことを特徴とする画像通信システム。
9. 撮影することで得た画像である第１の画像を表示する撮影装置と、
   撮影することで前記第１の画像よりも広角な画像である第２の画像を得る広角撮影装置と、を有する画像通信システムが実行する表示方法であって、
   前記撮影装置は、
   前記広角撮影装置が送信した前記第２の画像のデータを取得する取得ステップと、
   前記第１の画像表示、及び前記第２の画像において前記第１の画像との類似度が所定の閾値以上である所定領域画像の表示を制御する表示制御ステップと、
   を含む処理を実行することを特徴とする表示方法。
10. 撮影することで得た画像である第１の画像を表示する撮影装置が実行する表示方法であって、
    前記撮影装置は、
    撮影することで前記第１の画像よりも広角な画像である第２の画像を得た広角撮影装置が送信した前記第２の画像のデータを取得する取得ステップと、
    前記第１の画像の表示、及び前記第２の画像において前記第１の画像との類似度が所定の閾値以上である所定領域画像の表示を制御する表示制御ステップと、
    を含む処理を実行することを特徴とする表示方法。
11. 第１の画像を撮影する撮影手段と、
    撮影することで前記第１の画像よりも広角な画像である第２の画像を得た広角撮影装置が送信した前記第２の画像のデータを取得する取得手段と、
    前記第１の画像の表示、及び前記第２の画像において前記第１の画像との類似度が所定の閾値以上である所定領域画像の表示を制御する表示制御手段と、
    を有することを特徴とする撮影装置。

Images