JP2020129836A - 撮像表示方法 - Google Patents

Abstract

【課題】撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる技術を提供する。【解決手段】撮像装置は、画像を撮像して画像データを得る撮像部と、画像データに基づいて画像を表示画面に再生表示する表示部と、を備え、画像の撮影方向として方位角及び仰角の少なくとも一方と、画像の画角または画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、撮像された複数の画像について、第１画像の第１撮影方向の第１画角の範囲内に、第２画像の第２撮影方向が含まれている場合に、第１画像に第２画像を関連付け、ユーザの操作に基づいて選択された第１画像９０１を表示画面４０１内に表示すると共に、第１画像９０１に関連付けられる第２画像を、表示画面４０１内の第１画像９０１の上に、第２画像または第２画像を表す第２情報（図形９０２）として重ね合わせた状態で表示する。【選択図】図１０

Description

本発明は、撮像装置及び表示装置の技術に関し、撮像画像の画面表示技術に関する。

従来、撮影方向や画角が異なる複数の画像を撮像する機能を有する撮像装置等の電子機器として、デジタルカメラやスマートフォン等がある。また、それらの複数の画像を再生表示する機能を持つ表示装置等の電子機器として、テレビジョン受像機（以下、「テレビ」と記載する場合がある）やノートＰＣ等がある。上記画像は、静止画または動画である。撮影方向は、例えば方位角及び仰角で規定できる。画角（angle of view）は、画像範囲を角度で表し、視野角とも呼ばれ、例えば、方位角に対応する水平画角、及び仰角に対応する垂直画角で規定できる。

画角が異なる画像としては、相対的に広角で撮影された画像（以下、「広角画像」、「第１画像」等と記載する場合がある）と、相対的に狭角で撮影された画像（以下、「狭角画像」、「第２画像」等と記載する場合がある）とが挙げられる。広角の例としては、水平画角で１２０°や、１８０°以上の画角が挙げられる。なお、１８０°の場合には半天球画像、３６０°の場合には全天球画像と呼ばれる場合もある。狭角の例としては、水平画角で４５°以下の画角が挙げられる。以下、角度の単位として度（°）で表すが、ラジアン等の単位に換算可能である。

撮像画像の画面表示に関する先行技術例として、特開２０００−９２４３９号公報（特許文献１）が挙げられる。特許文献１には、電子スチルカメラ等として、以下の旨が記載されている。その電子スチルカメラは、電源オフが指示された場合に、記録用メモリに記録された記録画像を外部装置で一覧表示可能とする画像一覧表示用ファイルを生成する。そのファイルを用いた画像検索によって表示される一覧表示画面において、複数の縮小画像が一覧表示される。

特開２０００−９２４３９号公報

撮影者であるユーザが、撮像装置を用いて、同じような場所や日時において、撮影方向や画角が異なる複数の画像を撮像する場合がある。例えば、ユーザが、同じ日に同じ公園において、ある撮影方向及び画角で広角画像を撮影し、別の撮影方向及び画角で狭角画像を撮影する。そのような場合、それらの複数の画像は、場所や日時、撮影方向や画角等に関して所定の関係を持っている関連した画像群であると言える。

従来の撮像装置や表示装置は、表示画面において複数の画像を例えば撮影日時やファイル名等の順序で一覧及び並列配置で表示する機能を有する。例えば、特許文献１の場合、一覧表示画面において複数の縮小画像が並列配置で表示される。

しかし、従来技術では、ユーザが表示画面に表示される全画像のうち所定の関係を持つ複数の画像を直感的に認識することは難しい。例えば、同じような場所や日時で撮影された広角画像や狭角画像が混在している場合にも、ユーザはそれらの画像の関係を把握しにくい。従来技術では、関係を持つ複数の画像を関連付けて再生表示するような機能を有していない。従来技術では、表示画面にある画像を表示している状態から、その画像と関係を持つ他の画像を参照して表示する機能等も有していない。従来技術では、複数の画像に関するユーザによる編集及び管理の作業にも手間がかかる。

即ち、従来技術は、関係を持つ複数の画像の好適な閲覧がしにくく、使い勝手の点で改善余地がある。

本発明の目的は、撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる技術を提供することである。

本発明のうち代表的な実施の形態は、撮像装置や表示装置であって、以下に示す構成を有することを特徴とする。

一実施の形態の撮像装置は、静止画または動画の画像を撮像して画像データを得る撮像部と、前記画像データに基づいて前記画像を表示画面に再生表示する表示部と、を備え、前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、前記撮像された複数の画像について、第１画像の第１撮影方向の第１画角の範囲内に、第２画像の第２撮影方向が含まれている場合に、前記第１画像に前記第２画像を関連付け、ユーザの操作に基づいて選択された前記第１画像を前記表示画面内に表示すると共に、前記第１画像に関連付けられる前記第２画像を、前記第１画像の上に、前記第２画像または前記第２画像を表す第２情報として重ね合わせた状態で表示する。

一実施の形態の表示装置は、外部の撮像装置で撮像された、静止画または動画の画像の画像データを入力して保持する入力部と、前記画像データに基づいて前記画像を表示画面に再生表示する表示部と、を備え、前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、前記撮像された複数の画像について、第１画像の第１撮影方向の第１画角の範囲内に、第２画像の第２撮影方向が含まれている場合に、前記第１画像に前記第２画像を関連付け、ユーザの操作に基づいて選択された前記第１画像を前記表示画面内に表示すると共に、前記第１画像に関連付けられる前記第２画像を、前記第１画像の上に、前記第２画像または前記第２画像を表す第２情報として重ね合わせた状態で表示する。

本発明のうち代表的な実施の形態によれば、撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。

本発明の実施の形態１の撮像装置及び表示装置を含んで構成される撮像表示システムの構成を示す図である。 実施の形態１の撮像装置の構成を示す図である。 実施の形態１の表示装置の構成を示す図である。 実施の形態１の撮像装置の外観を示す図である。 実施の形態１の撮像装置で管理情報及びメタデータの構成を示す図である。 実施の形態１の撮像装置で複数の画像の関係の管理について示す図である。 実施の形態１の撮像装置で、複数の画像に関する撮影方向や画角、特に方位角及び水平画角について示す説明図である。 実施の形態１の撮像装置で、特に仰角及び垂直画角について示す説明図である。 実施の形態１の撮像装置で、画角関連情報について示す説明図である。 実施の形態１の撮像装置で、表示画面の表示モードの遷移を示す図である。 実施の形態１の撮像装置で、第２表示モードの画面例を示す図である。 実施の形態１の撮像装置で、第３表示モードの第１狭角画像の画面例を示す図である。 実施の形態１の撮像装置で、第３表示モードの第２狭角画像の画面例を示す図である。 実施の形態１の撮像装置で、撮像時の制御処理のフローを示す図である。 実施の形態１の撮像装置及び表示装置で、再生表示時の制御処理のフローを示す図である。 実施の形態１の撮像装置で、第１選択方式を示す説明図である。 実施の形態１の撮像装置で、第２選択方式を示す説明図である。 実施の形態１の撮像装置で、第３選択方式を示す説明図である。 実施の形態１の変形例の撮像装置で、第２表示モードの画面例を示す図である。 実施の形態１の変形例の撮像装置で、第１表示モード及び第２表示モードの画面例を示す図である。 実施の形態１の変形例の撮像装置で、編集機能の表示画面の例を示す図である。 本発明の実施の形態２の撮像装置及び表示装置における、全天球画像について示す説明図である。 実施の形態２の撮像装置で、撮像部に係わる構成を示す図である。 実施の形態２の撮像装置で、外観構成を示す図である。 実施の形態２の撮像装置で、第２表示モードの画面例を示す図である。 本発明の実施の形態３の撮像装置における、撮影モードについて示す説明図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
図１〜図１８を用いて、本発明の実施の形態１の撮像装置及び表示装置について説明する。実施の形態１の撮像装置及び表示装置は、撮影時の撮影方向や画角が異なる複数の画像、特に広角画像及び狭角画像を、関連付けた状態で表示する機能を有する。

［撮像表示システム］
図１は、実施の形態１の撮像装置及び表示装置を含んで構成されるシステムである撮像表示システムの構成を示す。図１の撮像表示システムは、実施の形態１の撮像装置１である第１撮像装置１Ａ及び第２撮像装置１Ｂと、実施の形態１の表示装置２である第１表示装置２Ａ及び第２表示装置２Ｂと、サーバ３とが、通信網４を介して接続されている。通信網４は、無線通信網やインターネットを含む。

撮像装置１は、少なくとも撮像機能及び表示機能を有する電子機器である。表示装置２は、少なくとも表示機能を有する電子機器である。撮影者であるユーザは、自身が所有するまたは使用権限を持つ電子機器として、第１撮像装置１Ａ及び第２撮像装置１Ｂと、第１表示装置２Ａ及び第２表示装置２Ｂと、を有する。例えば、第１撮像装置１Ａはデジタルカメラであり、第２撮像装置１Ｂはスマートフォンであり、第１表示装置２Ａはテレビであり、第２表示装置２ＢはノートＰＣである。

第１撮像装置１Ａや第２撮像装置１Ｂは、少なくとも、自機器で撮像した画像の画像データを、自機器内の記憶手段に保持する機能を有する。また、第１撮像装置１Ａや第２撮像装置１Ｂは、自機器で撮像した画像の画像データを、サーバ３へ送信してサーバ３の画像データＤＢに蓄積、登録する機能を有してもよい。また、第１撮像装置１Ａや第２撮像装置１Ｂは、ユーザ操作に基づいて、自機器で撮像した画像の画像データを、第１表示装置２Ａや第２表示装置２Ｂへ送信する機能を有してもよい。

第１表示装置２Ａや第２表示装置２Ｂは、外部の機器である撮像装置１またはサーバ３等から、画像データを受信、入力し、自機器内の記憶手段に保持する機能を有する。例えば、第１表示装置２Ａは、第１撮像装置１Ａや第２表示装置２Ｂから、通信により画像データを受信する。例えば、第２表示装置２Ｂは、第１撮像装置１Ａや第２撮像装置１Ｂから、通信により画像データを受信する。また、第１表示装置２Ａや第２表示装置２Ｂは、画像データ表示部を有する。画像データ表示部は、画像データに基づいて表示画面に画像を表示する。

また、例えば、第２表示装置２Ｂは、画像データ編集部を有する。画像データ編集部は、表示画面に対するユーザ操作に基づいて、画像データの情報や内容を編集する。後述するが、ユーザは、編集により、複数の画像の関係に関する設定が可能である。

サーバ３は、例えば事業者が管理するサーバ装置であり、ユーザの機器から画像データを預かり、画像データＤＢ内に蓄積する。これにより、画像データのバックアップや一元管理等を実現する。なお、サーバ３と画像データＤＢは別の機器で実装されてもよい。

［撮像装置］
図２は、撮像装置１の構成を示す。撮像装置１は、制御部１０１、記憶部１０２、撮像部１０３、表示装置１０４、操作入力部１０５、記録部１０６、記録媒体１０７、通信インタフェース部１０８、撮影方向計測部１１１、内部時計１１２、位置検出部１１３、センサ群１１４、マイク１１５、スピーカ１１６、インタフェース回路部１３１、信号処理部１３２、メモリ１３３等を備える。それらの各部は、バス等を介して相互に接続されており、制御部１０１の制御に基づいて高速に連携する。

制御部１０１は、撮像装置１の全体を制御する。制御部１０１は、プロセッサやＲＯＭやＲＡＭ等の制御回路を含む。制御部１０１は、制御回路の処理により実現される処理部として、撮像制御部１１、表示制御部１２、タッチ検出部１３、設定部１４、関連付け部１５を有する。

制御部１０１は、動作モードに応じて、撮像部１０３等の各部を制御して、撮像や表示を実現する。動作モードは、撮像モード、再生表示モード等がある。制御部１０１は、動作モードや状態に応じて、信号処理部１３２やメモリ１３３経由で、撮像部１０３、表示装置１０４、記録部１０６等を制御する。

制御部１０１は、操作入力部１０５やタッチセンサ４２を通じたユーザ入力操作に基づいて、撮像の撮影方向や画角等の設定を制御する。制御部１０１は、撮像部１０３を通じた画像の撮影に伴い、画像データ２３と共にメタデータ２２を作成し、メタデータ２２及び画像データ２３を含む画像ファイル２４として、記憶部１０２に記憶、または記録部１０６の記録媒体１０７に記録する。また、制御部１０１は、画像ファイル２４に関する管理情報２１を作成して管理する。

記憶部１０２は、制御部１０１の制御に基づいて、複数の画像ファイル２４、及び管理情報２１を含む各種のデータや情報を記憶する。なお、記憶部１０２が制御部１０１内に統合された形態、記憶部１０２と記録部１０６が１つに統合された形態等でもよい。

撮像部１０３は、撮像制御部１１からの制御に基づいて、画像を撮像する。撮像部１０３は、駆動部３１、レンズ部３２を含む。駆動部３１は、駆動回路を含み、撮像制御部１１からの駆動制御に基づいて、レンズ部３２の撮像素子及びレンズを駆動する。レンズ部３２は、電子ズームまたは光学ズームに対応したレンズを含む、複数のレンズによる光学系を含む。例えば、駆動部３１は、フォーカスレンズの位置を制御して焦点距離を変えるフォーカシング動作を行う。レンズ部３２のレンズは、交換不要で固定された、電子ズームに対応したズームレンズの方式でもよいし、着脱により交換可能である光学レンズの方式でもよい。

撮像部１０３は、ＣＭＯＳやＣＣＤ等の撮像素子を含む。撮像素子の撮像面には、光電変換素子が２次元で配列されている。撮像部１０３は、レンズ部３２を介して入射されて撮像素子の撮像面に結像された被写体の光学像を、光電変換して撮像信号に変換する。撮像部１０３には、アナログ信号をデジタル信号に変換するＡＤ変換回路が内蔵されており、デジタル化された撮像信号を出力する。撮像部１０３では、位相差オートフォーカス用の画素を配置した撮像素子を用いて、オートフォーカスの高速化を図ってもよいし、メモリを内蔵して、撮像信号の入出力の高速化を図ってもよい。撮像部１０３の外部にＡＤ変換回路等が設けられてもよい。撮像部１０３の撮像方式については限定しない。

表示装置１０４は、例えばタッチパネルであり、表示部４１及びタッチセンサ４２を含む。タッチパネルは、表示手段かつ操作入力手段である。表示部４１は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部４１は、例えば液晶表示部であるが、有機ＥＬ表示部等でもよい。表示部４１の方式やタッチセンサ４２の方式については限定しない。表示装置１０４は複数備えられてもよいし、タッチセンサ４２を備えないものでもよい。実施の形態１では、主となる表示装置１０４であるタッチパネルに加え、後述するが撮影モニタ用の表示装置を有する。

タッチセンサ４２は、表示部４１の表示画面の領域に対応させて配置されており、表示画面に対するタッチ入力操作を受け付ける。タッチセンサ４２は、例えば静電容量方式であり、指等の近接や接触による静電容量変化を電気信号として検出し、タッチ検出信号を制御部１０１のタッチ検出部１３へ出力する。タッチパネルは、例えば液晶パネル表示部にタッチセンサ４２が内蔵されており、前面側にガラス保護カバーが配置され、背面側にバックライトが配置されている。なお、表示装置１０４は、一定時間の非使用状態等に基づいて自動的にバックライト消灯により非表示状態にされる制御がされてもよい。タッチパネルは感圧方式等でもよい。

タッチ検出部１３は、タッチセンサ４２から得られるタッチ検出信号に基づいて、表示画面でのタッチ有無やタッチ位置座標等を検出し、また、タップやスワイプやピンチ等の操作を検出する。ユーザは、タッチパネルの表示画面に対するタッチ入力操作により、撮像装置１に対する指示入力や、表示画面内で任意位置にフォーカスを合わせる操作等、各種の操作が可能である。

インタフェース回路部１３１は、動作モードに応じて、制御部１０１の制御に基づいて、制御部１０１からの駆動制御信号を、撮像部１０３へ転送する。また、インタフェース回路部１３１は、制御に基づいて、撮像部１０３からの撮像信号を、信号処理部１３２またはメモリ１３３へ出力する。なお、インタフェース回路部１３１に複数の撮像部１０３が接続される形態としてもよい。

信号処理部１３２は、画像音声信号処理回路、及び符号化復号化回路を含み、制御部１０１の制御に従い、画像信号処理、音声信号処理、符号化処理及び復号化処理、等の各種の信号処理を行う機能を有する。信号処理部１３２の信号処理は、撮像部１０３からの撮像信号に対する信号処理や、画像データ２３に対する信号処理や、表示装置１０４に映像を表示する際の信号処理を含む。信号処理部１３２は、信号処理により、記録用あるいは表示用の映像信号を生成する。この映像信号は、画像データ２３の静止画や動画を含む。

信号処理部１３２は、例えば、撮像信号に、フィルタリング、感度設定に応じた増幅、ホワイトバランス補正、等の信号処理を行う。信号処理部１３２は、画像データ２３を画像ファイル２４として記録媒体１０７に記録する際等には、元データに対して、そのための所定の形式の符号化処理を行う。この符号化は、データ圧縮を含む。信号処理部１３２は、記録媒体１０７から画像データ２３を読み出す際等には、対応する復号化処理を行い、元データへ復元する。信号処理部１３２は、画像データ２３に基づいて表示装置１０４に画像を再生表示する際には、そのための信号処理を行う。信号処理部１３２は、マイク１１５からの音声入力信号やスピーカ１１６への音声出力信号に対する音声信号処理を行う。

メモリ１３３は、信号処理部１３２の信号処理の際にバッファメモリとして使用され、各信号やデータが格納される。メモリ１３３は、例えばＤＲＡＭやフラッシュメモリ等により構成される。

操作入力部１０５は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。ユーザは、操作入力部１０５を通じて、指示入力可能であり、設定部１４に対し画角関連情報等を設定可能である。

設定部１４は、操作入力部１０５やタッチパネルを通じてユーザにより入力される設定を受け付けて、撮影や表示に係わる情報を設定する。設定部１４には、撮影に係わる設定情報として、撮像部１０３のレンズに関する電子ズーム倍率、焦点距離、画角等が設定可能である。撮像制御部１１は、設定部１４の設定情報に基づいて、画角等を自動調整するように、撮像部１０３を駆動制御する。

記録部１０６は、記録再生回路等を含み、記録媒体１０７が着脱可能に設けられている。記録媒体１０７は、例えばＳＤカードである。記録部１０６は、制御部１０１の制御に基づいて、記憶部１０２またはメモリ１３３等の画像データ２３を含む画像ファイル２４を、記録媒体１０７に記録する。記録部１０６は、制御部１０１の制御に基づいて、記録媒体１０７から画像ファイル２４を読み出して記憶部１０２またはメモリ１３３等に格納する。ユーザは、記録媒体１０７を取り外して持ち運びや交換が可能である。なお、画像ファイル２４には、画像データ２３と共に音声データが含まれてもよい。

通信インタフェース部１０８は、無線通信インタフェース部を含む。通信インタフェース部１０８は、制御部１０１の制御に基づいて、無線アクセスポイント等を介して通信網４に接続し、外部の装置との間で通信処理を行う。例えば、図１のように、撮像装置１は、通信網４を介してサーバ３または表示装置２または自機器以外の撮像装置１と通信し、自機器の画像ファイル２４を送信する、あるいは外部の機器から画像ファイル２４を受信する。その際、通信インタフェース部１０８は、画像ファイル２４の通信データを転送する。通信インタフェース部１０８は、電話網通信機能、ＬＡＮ通信機能、近距離通信機能等を備えていてもよい。

撮影方向計測部１１１は、電子コンパス、ジャイロセンサ、加速度センサ等のセンサを含み、それらを用いて撮像装置１の撮影方向を計測し、撮影方向の情報を制御部１０１へ出力する。撮影方向計測部１１１は、撮影方向として、方位角及び仰角を計測する。また、撮影方向計測部１１１は、撮像装置１の姿勢の検出に基づいて、撮像時の画像の傾きを表す回転角を検出する。画像の回転角は、水平方向及び鉛直方向に対する、画像の矩形の横線及び縦線の成す角度で表わされる。

内部時計１１２は、現在日時を計測する。これにより、制御部１０１は、撮影日時を得ることができる。位置検出部１１３は、ＧＰＳ受信部を含み、衛星からの信号を用いて、撮像装置１の位置を検出する。位置検出部１１３は、位置情報として、｛緯度，経度，標高（海抜高度）｝を検出する。標高は省略でもよい。センサ群１１４は、他のセンサ群であり、例えば近接センサや照度センサが挙げられる。マイク１１５は音声入力機器であり、スピーカ１１６は音声出力機器である。

撮像制御部１１は、撮像装置１の動作モードに応じて、撮像時に撮像部１０３等を制御して画像を撮像し、画像データ２３を得る。撮像制御部１１は、画像データ２３を画像ファイル２４として記憶部１０２等に格納する。撮像部１０３及び撮像制御部１１は、広角画像及び狭角画像の両方の画像の撮像を可能とする機能を有する。撮像制御部１１は、撮像部１０３の光学系に関するズーム制御を行う。ズーム制御は、電子ズームまたは光学ズームの制御である。撮像制御部１１は、設定部１４の画角関連情報等の設定情報に基づいて、撮像部１０３のレンズに関する電子ズーム倍率、焦点距離、画角等を把握及び調整する。

撮像部１０３において焦点距離等が異なる光学レンズに交換可能である場合、例えば、ユーザは、狭角画像を撮影する際には焦点距離が相対的に長い光学レンズに交換し、広角画像を撮影する際には焦点距離が相対的に短い光学レンズに交換する。ユーザが撮像部１０３のレンズを交換した場合、設定部１４は、自動的にその交換を検出し、交換後のレンズの焦点距離等を検出してもよい。あるいは、交換後、ユーザが、設定部１４に対して交換後のレンズの焦点距離等を入力設定してもよい。そして、撮像制御部１１は、設定部１４から更新後の設定情報を取得して焦点距離等を把握する。

表示制御部１２は、表示装置１０４の表示部４１等を制御して、表示部４１の表示画面に画像や情報を表示する。表示制御部１２は、管理情報２１や画像ファイル２４に基づいて、表示画面に、フォルダ情報や画像を表示する。表示制御部１２は、ユーザに対するグラフィカルユーザインタフェースとなる各種の画面を提供する。表示制御部１２は、後述の表示モードに応じた画面の切り替えを制御する。表示制御部１２は、メニュー画面や設定画面等も提供する。

関連付け部１５は、撮像制御部１１や表示制御部１２と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部１５は、後述する関連付け方式に従い、撮像時または再生表示時等の所定のタイミング及び契機で、関連付け処理を行う。関連付け部１５は、関連付け処理における第１処理として、記憶部１０２等の複数の画像データ２３を対象として、関連付けのための判断を行う。この第１処理の判断では、後述する選択方式に従い、撮影場所等の条件に基づいて、関連付けの候補となる画像を選択する。関連付け部１５は、第２処理として、候補となる複数の画像において、撮影方向及び画角の条件に基づいて、関連付ける第１画像及び第２画像を決定する。関連付け部１５は、判断の結果、第１画像及び第２画像を関連付けるように、メタデータ２２または管理情報２１を作成する。

表示制御部１２は、画像の再生表示の際、関連付け部１５の判断結果、または、関連付け済みである画像ファイル２４のメタデータ２２または管理情報２１の参照確認に基づいて、所定の関係を持つ第１画像及び第２画像を特定し、それらの第１画像及び第２画像を含む複数の画像を、表示画面に関連付けた状態で表示する。

なお、撮像装置１の制御部１０１や信号処理部１３２等の各処理部や各機能のハードウェア構成としては、各処理部や各機能が個別のＬＳＩ等の回路で実装された形態でもよいし、１つの統合されたＬＳＩ等の回路で実装された形態でもよい。

［表示装置］
図３は、表示装置２の構成を示す。表示装置２は、撮像装置１に対して主に異なる構成としては、撮像部１０３及び撮像に係わる処理部を備えない。表示装置２の構成要素のうち撮像装置１の構成要素と同様のものについては説明を省略する。表示装置２は、制御部２０１、記憶部２０２、表示部２０４、操作入力部２０５、記録部２０６、記録媒体２０７、通信インタフェース部２０８、センサ群２１４、マイク２１５、スピーカ２１６、等を備える。それらの各部は、バス等を介して相互に接続されており、制御部２０１の制御に基づいて高速に連携する。

制御部２０１は、表示装置２の全体を制御する。制御部２０１は、プロセッサやＲＯＭやＲＡＭ等の制御回路を含む。制御部２０１は、制御回路の処理により実現される処理部として、表示制御部２１２、関連付け部２１５を有する。制御部２０１は、操作入力部２０５を通じたユーザ入力操作に基づいて、表示部２０４の表示画面での表示を制御する。

記憶部２０２は、制御部２０１の制御に基づいて、複数の画像ファイル２４、及び管理情報２１を含む各種のデータや情報を記憶する。画像ファイル２４及び管理情報２１は、自機器で作成したものでもよいし、外部の機器から取得したものでもよい。

表示部２０４は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部２０４はタッチパネルとしてもよい。

操作入力部２０５は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。操作入力部２０５は、リモコン及びリモコン受光部を備えてもよい。ユーザは、操作入力部２０５を通じて、指示入力やユーザ設定が可能である。

記録部２０６は、記録再生回路等を含み、記録媒体２０７が着脱可能に設けられている。記録部２０６は、制御部２０１の制御に基づいて、記憶部２０２またはメモリ等の画像データ２３を含む画像ファイル２４を、記録媒体２０７に記録する。記録部２０６は、制御部２０１の制御に基づいて、記録媒体２０７から画像ファイル２４を読み出して記憶部２０２またはメモリ等に格納する。ユーザは、記録媒体２０７を取り外して持ち運びや交換が可能である。

通信インタフェース部２０８は、制御部２０１の制御に基づいて、通信網４に接続し、外部の装置との間で通信処理を行う。例えば、図１のように、表示装置２は、通信網４を介してサーバ３または撮像装置１または自機器以外の表示装置２と通信し、自機器の画像ファイル２４を送信する、あるいは外部の機器から画像ファイル２４を受信する。その際、通信インタフェース部２０８は、画像ファイル２４の通信データを転送する。

表示制御部２１２は、表示部２０４等を制御して、表示部２０４の表示画面に画像や情報を表示する。表示制御部２１２は、画像ファイル２４や管理情報２１に基づいて、表示部２０４の表示画面に、フォルダ情報や画像を再生表示する。表示制御部２１２は、ユーザに対するグラフィカルユーザインタフェースとなる各種の画面を提供する。表示制御部２１２は、表示モードに応じた画面の切り替えを制御する。

関連付け部２１５は、表示制御部２１２と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部２１５は、外部の機器から取得した画像ファイル２４を対象に関連付け処理を行うこともできる。関連付け部２１５の関連付け処理は、関連付け部１５の関連付け処理と同様である。関連付け部２１５は、判断の結果、第１画像及び第２画像を関連付ける場合、第１画像及び第２画像の画像ファイル２４のメタデータ２２、または管理情報２１に、関連付け情報を記述する。

表示制御部２１２は、画像の再生表示の際、関連付け部２１５の判断結果、または、関連付け済みである画像ファイル２４のメタデータ２２または管理情報２１の参照確認に基づいて、所定の関係を持つ第１画像及び第２画像を特定し、それらの第１画像及び第２画像を含む複数の画像を、表示画面に関連付けた状態で表示する。

以下、主に撮像装置１を主体として説明するが、撮像に係わる機能や動作以外については、表示装置２を主体として同様に実現できる。

［撮像装置−外観］
図４は、撮像装置１の外観の構成例を示す。図４の左側には、撮像装置１の筐体４００の背面から見た構成を示し、右側には筐体４００の右側面から見た構成を示す。背面は表示部４１の表示画面４０１が設けられた方の面とし、前面は撮像部１０３のレンズ４０２が設けられた方の面とする。

側面の構成において、筐体４００の正面中心位置には、レンズ部３２のレンズ４０２が配置されている。また、主要な筐体４００に対して例えば上方に張り出す状態で電子ビューファインダ（ＥＶＦ）４０３が設けられている。ＥＶＦ４０３は表示装置１０４の１つである。

背面の構成において、前述のタッチパネルに対応する矩形の表示画面４０１が配置されており、情報表示やタッチ入力操作が可能となっている。また、ＥＶＦ４０３は、表示画面４０４及び近接センサ４０５を有する。ＥＶＦ４０３は、撮影の際にレンズ及び撮像素子を介して入力されている信号に基づいて、被写体の画像を撮影モニタ画像として表示する。ユーザは、ＥＶＦ４０３の撮影モニタ画像を確認しながら撮影が可能である。表示画面４０４には、絞り値等の情報を重ね合わせて表示してもよい。近接センサ４０５は、物体の近接を検出する。近接センサ４０５は、静電容量方式、光学方式等がある。例えば、制御部１０１は、近接センサ４０５を通じて近接の有無の検出により、ユーザによるＥＶＦ４０３の使用有無を判断する。制御部１０１は、その判断に応じて、表示画面４０１での表示と、ＥＶＦ４０３の表示画面４０４での撮影モニタ画像の表示とを自動的に切り替える。なお、ＥＶＦ４０３に限らず、光学ファインダを搭載する形態でもよい。また、表示画面４０１に撮影モニタ画像を表示するモードも設定可能である。

筐体４００には、操作入力部１０５として、モード設定ダイヤル４３１、シャッターボタン４３２、十字キー４３３、再生表示モードボタン４３４、電源ボタン４３５、等が設けられている。十字キー４３３には、上下左右ボタンや中心ボタンを含み、表示画面４０１内の所望の位置の情報の選択、決定やキャンセル等の入力に用いることができる。表示画面４０１では、所定の入力操作に基づいて、メニュー表示も可能である。

モード設定ダイヤル４３１は、動作モードの設定に用いられる。シャッターボタン４３２は、撮影の際に押下される。再生表示モードボタン４３４は、表示画面４０１に再生表示する際に用いられ、表示モードの切り替えも可能である。電源ボタン４３５は、電源オン／オフ等に用いられる。ユーザは、表示画面４０１または表示画面４０４に撮影モニタ画像を表示して、所望の位置にタッチしてフォーカスを合わせる等、各種の入力操作が可能である。

［撮像装置−動作モード］
撮像装置１の動作モードとして、撮影モード、再生表示モード等を有する。撮影モードの動作概要については以下である。ユーザが電源ボタン４３５を押して電源オン状態にすると、通常撮影モードが起動される。制御部１０１は、通常撮影モードに応じて、撮像部１０３等を駆動制御する。通常撮影モードでは、画像として静止画や動画の撮影が可能である。撮影時、制御部１０１は、撮像部１０３から所定の周期で撮像信号を読み出し、インタフェース回路部１３１を経て、信号処理部１３２で所定の信号処理を施し、表示用の形式の映像信号に変換する。そして、制御部１０１は、その映像信号に基づいて、表示装置１０４のタッチパネルの表示画面４０１またはＥＶＦ４０３の表示画面４０４に、リアルタイムで撮影モニタ画像を表示する。ユーザは、表示画面４０１または表示画面４０４の撮影モニタ画像を確認しながら以下のように撮影を行う。

ユーザは、操作入力部１０５を通じて設定部１４に撮影条件として画角関連情報等を設定する。静止画を撮影する場合、ユーザは、シャッターボタン４３２を押す。撮像制御部１１は、シャッターボタン４３２の押下を検出し、設定されている撮影条件に従って、絞り値やシャッター速度やフォーカス等を決定する。シャッターボタン４３２は、例えば半押し、全押しの状態がある。撮像制御部１１は、半押し状態の時にフォーカス等を設定し、全押し状態の時に撮像を開始するように制御する。

撮像部１０３によって撮像された静止画の撮像信号は、信号処理部１３２及びメモリ１３３を用いて、静止画用の所定の信号処理が施される。その際の符号化方式としては例えばＪＰＥＧを適用するが、他の方式としてＭＰＥＧや高画質のＲＡＷ形式等を適用してもよい。符号化された静止画データに対応する画像ファイル２４は、例えば記録部１０６で記録媒体１０７に記録される。

動画を撮影する場合、ユーザは、動画撮影ボタンを押下して動画撮影を開始し、動画撮影ボタンを再度押下して動画撮影を停止する。動画の撮像信号は、動画用の所定の方式の信号処理が施される。その方式としては、例えばＨ２６４やＨ２６５等のＭＰＥＧ、その他の形式が適用される。符号化された動画データは、同様に例えば記録媒体１０７に記録される。

再生表示モードの動作概要については以下である。制御部１０１は、再生表示モードボタン４３４により再生表示モードに設定されたことを検出すると、記録部１０６の記録媒体１０７から画像ファイル２４を読み出して記憶部１０２に格納する。表示制御部１２は、画像データ２３から、信号処理部１３２を用いて、復号化処理により画像の元データを復元し、表示画面に画像等を表示するための映像データを生成する。表示制御部１２は、映像データに基づいて表示装置１０４を制御し、表示画面に画像等を表示する。

［管理情報及び画像ファイル］
図５は、記憶部１０２の管理情報２１及び画像ファイル２４の構成例を示す。管理情報２１は、画像ファイル管理情報と、関連付け管理情報とを含む。画像ファイル管理情報は、公知のファイルシステムにより管理する情報であり、例えばファイル名、更新日時、種類、サイズ等の情報を含む。関連付け管理情報は、複数の画像の関係を管理するために作成される特有の情報である。関連付け管理情報は、例えば、種別識別子、参照識別子、設定文字列を含む。

種別識別子は、画像ファイル２４毎に、その画像の種別を識別するための識別子である。画像の種別は、例えば、広角画像と狭角画像との２つがある。参照識別子は、複数の画像間での関連付けの参照のための識別子である。参照識別子は、例えば、第１画像とそれに関連付けられる第２画像とがある場合に、第１画像に持つ参照識別子として、参照先の第２画像の画像ファイル２４のファイル名である。また、第２画像に持つ参照識別子として、参照元の第１画像の画像ファイル２４のファイル名である。設定文字列は、後述するが、ユーザ操作に基づいてユーザが任意に設定可能である文字列である。ユーザは、画像の編集及び管理作業の際に、画像に対して例えば撮影場所を表す文字列を設定可能である。なお、関連付け管理情報内に設定文字列を設けているが、メタデータ２２内に設定文字列を設けてもよい。

画像ファイル２４は、メタデータ２２と、画像データ２３とを含む。画像ファイル２４のヘッダ部にメタデータ２２を有し、ボディ部に画像データ２３を有する。画像データ２３は、静止画または動画のデータであり、記録用の場合には符号化データである。メタデータ２２は、画像データ２３に関する各種の属性値を含む情報を管理するデータであり、言い換えると、付属情報、属性情報である。メタデータ２２は、情報項目として、撮影日時、撮影場所、機種、解像度、撮影方向、画角、画角関連情報、回転角、サムネイルを含む。

撮影日時は例えば年月日時分秒である。撮影場所は、位置情報または設定文字列を含む。位置情報は、位置検出部１１３により検出された位置座標｛緯度，経度，標高｝を含む。設定文字列は、ユーザにより設定された撮影場所を表す文字列である。機種は、撮像装置１の種類を一意に表す情報である。機種は、レンズ種類等を含んでもよい。解像度は、画像データ２３の画像の解像度を表す。

撮影方向は、方位角（θとする）、仰角（φとする）を含む情報である。画角は、水平画角（Ａｈとする）、垂直画角（Ａｖとする）を含む情報である。画角関連情報は、電子ズーム倍率（ｎとする）、焦点距離（ｆとする）、撮像素子の撮像面の寸法、等の情報である。寸法は｛水平サイズｓｗ，垂直サイズｓｈ，対角サイズｓｄ｝とする。なお、メタデータ２２において、画角項目と画角関連情報項目との一方のみを設ける形式としてもよい。

回転角は、言い換えると撮像時のレンズの光軸を軸とした回転であり、撮像時の画像の回転を表す角度である。例えば、図４のように水平面に対して筐体４００の横方向が一致する状態を基準とした角度や方向である。

サムネイルは、画像の元データに基づいた縮小画像である。サムネイルは、画像の解像度や種別等に応じて構成され、符号化有りまたは符号化無しで記録される。サムネイルが予め作成及び保持される場合には、再生表示の際に高速にサムネイルが表示可能である。サムネイルは、異なる解像度等で複数の種類のサムネイルが作成及び保持されてもよい。サムネイルは、省略でもよいし、メタデータ２２とは別に管理されてもよい。表示制御部１２は、再生表示の都度にサムネイルを作成して表示してもよい。

なお、メタデータ２２は、所定の形式、例えばＥｘｉｆ（Exchangeable image file format）に基づいて拡張した形式であるが、これに限定しない。Ｅｘｉｆは、デジタルカメラの写真用の形式である。Ｅｘｉｆでは、機種や撮影条件情報を、メタデータとして画像データに埋め込む。画像表示や画像編集のソフトウェアは、このメタデータを参照でき、また、ユーザはメタデータの情報を編集可能である。従来のＥｘｉｆの画像ファイルのメタデータには、画角等の情報は含まれていない。実施の形態１では、拡張した形式として、メタデータ２２の中に、特有の情報項目として、画角、画角関連情報等の項目を設けている。

メタデータ２２は、画像ファイル２４のヘッダ部として作成及び管理されているが、画像データファイルとは別に、メタデータファイルとして作成及び管理されてもよい。また、メタデータ２２を用いて特有の情報を管理する形態に限らず、管理情報２１の中で同様の情報をまとめて管理する形態としてもよい。なお、動画の場合、メタデータ２２等の各種情報については、例えば所定の時間間隔の画像フレーム毎に記述されてもよい。その時間間隔は一定でもよいし、画角等に変化があった時のみとしてもよい。

［複数の画像の関係の管理］
図６は、複数の画像の関係に関する関連付け管理について示す。制御部１０１は、例えば、図５の管理情報２１のうちの関連付け管理情報において、図６のような関係を管理する。図６で、第１画像は、種別が広角であり、第２画像は、種別が狭角である。本例では、第１画像として、第１広角画像、第２広角画像等を有し、第２画像として、第１狭角画像、第２狭角画像等を有する。例えば、第１広角画像には、第１狭角画像、第２狭角画像、第３狭角画像等の複数の第２画像が関連付けられている。関連付け情報としては、例えば、第１広角画像の画像ファイルに持たせる参照識別子として、第１狭角画像等の画像ファイル名を有する。また、第１狭角画像の画像ファイルに持たせる参照識別子として、第１広角画像の画像ファイル名を有する。これにより、関係を持つ画像間で相互に参照可能である。

なお、表示画面に、１つの表示モードとして、図６のような複数の画像の関係を表す情報を表示してもよい。その際、図６のように第１画像と第２画像とをツリー構造で表示してもよいし、図示しないが第１画像のノードの周りに第２画像のノードをリンク線で接続した状態で表示してもよい。

実施の形態１では、画像の種別として、画角に関する広角と狭角とを区別する。撮像装置１は、閾値に基づいて画角を絶対値で区別する。画角に関する閾値として第１画角が設定されている。制御部１０１は、撮像した画像の画角が第１画角以上である場合には、種別として広角画像とし、第１画角未満である場合には狭角画像とする。これに限らず、画角の種別は、３種類以上を設けてもよい。

［画像の撮影方向及び画角］
図７は、実施の形態１の撮像装置１で具体例として用いる複数の画像である広角画像及び狭角画像に関する撮影方向や画角の関係について、概念を簡易的に示す説明図である。図７では、特に方位角及び水平画角について示す。

第１画像である広角画像６ａ、第２画像である第１狭角画像６ｂ、及び第２狭角画像６ｃを有する。これらの画像は、ユーザにより、撮像装置１を用いて、同じ場所である撮影地点である点Ｐ０で撮影された画像とする。各画像は、広角画像６ａ、第１狭角画像６ｂ、第２狭角画像６ｃの順で近い日時に撮影されたものとする。各画像の撮影日時は、例えば、広角画像６ａが２０１６年１月５日１３時１１分３０秒、第１狭角画像６ｂが同日の１３時１４分４０秒、第２狭角画像６ｃが同日の１３時１５分５０秒とする。

広角画像６ａは、方位角θ１で示す撮影方向６３ａ、水平画角Ａｈ１に対応する撮影範囲６０１を有する。第１狭角画像６ｂは、方位角θ２で示す撮影方向６３ｂ、水平画角Ａｈ２に対応する撮影範囲６０２を有する。第２狭角画像６ｃは、方位角θ３で示す撮影方向６３ｃ、水平画角Ａｈ３に対応する撮影範囲６０３を有する。図７では、画像の撮影方向のうち、方位角θで規定される撮影方向を、一点鎖線で示している。

点Ｐ０は、特に撮像部１０３のレンズ４０２の中心点を示す。球面６００は、全天球の球面を示し、無限遠点を捨象した仮想的な球面である。球面６００は、特に、方位角θ及びＸ−Ｙ平面に対応する円周の部分を示す。Ｎは北向き、Ｅは東向き、Ｓは南向き、Ｗは西向きを示す。Ｘ方向が東向き、Ｙ方向が北向きに対応しており、Ｚ方向は天頂方向に対応している。方位角θは、Ｎを基準の０°として、時計回りを正方向として、Ｅが＋９０°、Ｓが＋１８０°、Ｗが＋２７０°（−９０°）として示す。

球面６００上の円弧で示す撮影範囲６０１は、広角画像６ａのうちの水平画角Ａｈ１に対応する部分を示し、点Ｐ０から見た球面６００に投影される領域に相当する。本例では、球面６００上、広角画像６ａに写される風景として、山６１１や空、塔６１２やビル６１３等がある場合を簡易的に示す。第１狭角画像６ｂは塔６１２を撮影した例であり、第２狭角画像６ｃはビル６１３を撮影した例である。

各画像の方位角θ、仰角φ、水平画角Ａｈ、垂直画角Ａｖの値の具体例は以下である。広角画像６ａの方位角θ１、仰角φ１、水平画角Ａｈ１、垂直画角Ａｖ１とし、第１狭角画像６ｂの方位角θ２、仰角φ２、水平画角Ａｈ２、垂直画角Ａｖ２とし、第２狭角画像６ｃの方位角θ３、仰角φ３、水平画角Ａｈ３、垂直画角Ａｖ３とする。
θ１＝＋１０°， φ１＝０°， Ａｈ１＝１２０°， Ａｖ１＝８０°
θ２＝＋４５°， φ２＝０°， Ａｈ２＝２１°， Ａｖ２＝１４°
θ３＝−２０°， φ３＝−１０°， Ａｈ３＝２１°， Ａｖ３＝１４°

図８は、図７と同様に、特に仰角φ及び垂直画角Ａｖについて示す説明図である。図８では、別の狭角画像６ｄの例で示す。図８では、Ｘ方向が水平方向、Ｚ方向が鉛直方向に対応している。Ｚ方向における正方向が頭、天頂方向に対応し、負方向が足元の方向に対応する。仰角φは、水平方向を基準として０°とし、Ｚ方向の天頂方向では＋９０°、足元の方向では−９０°とする。狭角画像６ｄにおける垂直画角Ａｖ４に対応する撮影範囲８０１を示す。狭角画像６ｄの撮影方向６３ｄは、仰角φ４に対応する部分を示す。

［画角及び画角関連情報］
図９は、画角及び画角関連情報について簡易的に示す。また、図９では、設定部１４に設定情報として画角及び画角関連情報が記憶される場合を示す。画像の画角として｛水平画角Ａｈ，垂直画角Ａｖ｝を示す。また、画像における水平画角Ａｈに対応する水平サイズＳｈ、及び垂直画角Ａｖに対応する垂直サイズＳｖを示す。水平サイズＳｈは、画像フレーム内水平方向における右端から左端までのサイズである。垂直サイズＳｖは、画像フレーム内垂直方向における上端から下端までのサイズである。なお、実施の形態１では、水平画角Ａｈ及び垂直画角Ａｖを用いるが、これに限らず、対角画角Ａｄを含め、少なくとも１つの画角を用いればよい。

画角関連情報として、光学ズームを考慮したレンズの焦点距離ｆと、電子ズーム倍率ｎと、撮像素子の撮像面の寸法｛水平サイズｓｗ，垂直サイズｓｈ，対角サイズｓｄ｝とを用いる。寸法の代わりに、機種を用いてもよい。焦点距離ｆは、３５ｍｍ換算焦点距離である。

画角は、画角関連情報を用いて、関係式に基づいて計算して得ることも可能である。制御部１０１は、画角を計算するのに十分な画角関連情報がある場合、画角関連情報から画角を計算して求めてもよい。画角は、例えば撮像素子の寸法と、焦点距離ｆと、電子ズーム倍率ｎとを用いて計算可能である。

画角関連情報から画角を計算する場合には以下である。撮像制御部１１は、画像に関する画角関連情報を参照する。撮像制御部１１は、画角関連情報を、前述の設定部１４の設定情報、あるいはメタデータ２２または管理情報２１に記述されている情報から把握可能である。画角｛水平画角Ａｈ，垂直画角Ａｖ，対角画角Ａｄ｝は、例えば以下の式に基づいて計算可能である。
Ａｈ＝２×ａｒｃｔａｎ（ｓｗ／（２×ｎ×ｆ）） ・・・（１）
Ａｖ＝２×ａｒｃｔａｎ（ｓｈ／（２×ｎ×ｆ）） ・・・（２）
Ａｄ＝２×ａｒｃｔａｎ（ｓｄ／（２×ｎ×ｆ）） ・・・（３）

なお、焦点距離ｆについては、通常、３５ｍｍ換算で表される。これは、撮像素子の寸法が３５ｍｍ判｛ｓｗ＝３５ｍｍ，ｓｈ＝２４ｍｍ｝である場合に上記式を満足させることに相当する。

例えば、電子ズーム倍率ｎ、焦点距離ｆ、寸法｛水平サイズｓｗ，垂直サイズｓｈ｝が与えられると、水平画角Ａｈ１及び垂直画角Ａｖ１が決まる。制御部１０１は、その画角の情報を、メタデータ２２の画角項目、または管理情報２１内に記述する。また、画角関連情報から画角が計算可能であるため、撮像装置１は、メタデータ２２等の１つとして、上記画角を保存する代わりに、上記画角関連情報を保存してもよい。また、機種から画角関連情報の撮像素子の寸法等が把握可能であるため、撮像装置１は、メタデータ２２等の１つとして、撮像素子の寸法等の代わりに、機種を保存してもよい。例えば、撮像装置１は、予め、機種と画角関連情報との対応関係を表す情報を保持している。あるいは、撮像装置１は、通信により、外部の装置から、その対応関係を表す情報を参照可能である。撮像装置１は、その情報に基づいて、機種から画角関連情報を得ることができる。

［画角等の保存］
撮像装置１は、画像を撮像した際、撮影日時、撮影方向｛方位角θ，仰角φ｝、画角｛水平画角Ａｈ，垂直画角Ａｖ｝等を含む情報を作成する。撮像制御部１１は、内部時計１１２により撮影日時を得る。撮像制御部１１は、位置検出部１１３により位置情報｛緯度，経度，標高｝を得る。撮像制御部１１は、撮影方向計測部１１１により撮影方向｛方位角θ及び仰角φ｝を得る。撮像制御部１１は、設定部１４の設定情報または計算により、画角｛水平画角Ａｈ及び垂直画角Ａｖ｝を得る。そして、撮像装置１は、それらの情報を、図５のメタデータ２２の対応する項目に記述し、画像データ２３と共に、画像ファイル２４として作成する。

［表示画面（１）−表示モード］
図１０は、表示部４１の表示画面４０１の表示モード及びその遷移について示す。撮像装置１は、再生表示モードである表示モードとして、少なくとも、第１表示モード、第２表示モード、第３表示モードを有する。撮像装置１は、例えば、最初は第１表示モードで表示し、ユーザ操作に基づいて、表示モードを切り替える。

第１表示モードは、全画像の情報に関する一覧表示を行うモードであり、フォルダ画面を表示するモードである。第１表示モードの第１画面では、フォルダの複数の画像の情報を、例えばファイル名や日時等をキーとした順序で一覧表示する。本例では、複数の画像として画像Ｇ１，Ｇ２，Ｇ３等の情報を、上から順に並べて表示している。各画像の行では、画像のアイコンまたはサムネイル、ファイル名、撮影日時、種別、その他の情報を表示している。その他の情報としては、撮影方向｛方位角θ，仰角φ｝や画角｛水平画角Ａｈ，垂直画角Ａｖ｝等の属性値を表示してもよい。ユーザは、第１画面に表示しきれない情報については、スクロール等させて表示可能である。第１画面は、このようなフォルダ画面に限らず、公知の各種の方式が可能である。例えば、複数の画像のサムネイルを２次元状に並列配置して表示する画面等が可能である。第１画面で、ユーザにより所望の第１画像、例えば画像Ｇ１（広角画像６ａに対応する）が選択操作される。その場合、撮像装置１は、選択された第１画像に関連付けられる第２画像が存在する場合、第２表示モードの第２画面へ遷移させる。

第２表示モードは、広角画像と狭角画像とを含む複数の画像における関連付け表示を行う特有のモードである。第２表示モードの第２画面では、選択された第１画像９０１である広角画像６ａを全体的に表示し、第１画像９０１の上に、所定の関係を持つ１つ以上の第２画像である狭角画像を、所定の図形９０２の状態で重ね合わせて関連付けた状態で表示する。例えば、図形９０２は、第１狭角画像６ｂを表す図形であり、図形９０３は、第２狭角画像６ｃを表す図形である。なお、破線枠は、説明上わかりやすくするため、対応する狭角画像がある領域を示している。第２画面では、ユーザ操作に従い、スクロールや拡大縮小等の動作によって表示状態を変えることもできる。

第２画面でユーザにより所望の第２画像の図形が選択操作される。選択操作は、例えば図形のタップである。その場合、撮像装置１は、選択された第２画像を表示する第３表示モードの第３画面へ遷移させる。また、第２画面で、第１表示モードへ戻るための所定の操作が行われた場合、撮像装置１は、第１表示モードの第１画面へ戻す。所定の操作は、例えば、第１表示モード指定入力、あるいは戻るボタン押下、等である。

第３表示モードは、指定された単一の画像、例えば狭角画像に関する詳細表示を行うモードである。本例では、第３画面で単一の第２画像９０４である狭角画像を表示する例を示しているが、単一の広角画像の表示も同様に可能である。第３表示モードの第３画面で、ユーザ操作に従い、スクロールや拡大縮小等により表示状態を変えることも可能である。第３画面で、ユーザにより所定の操作、例えば第２表示モード指定入力や、第２画像９０４の領域のタップがされた場合、撮像装置１は、第２表示モードの第２画面に戻す。

また、ユーザが広角画像のみを閲覧したい場合、撮像装置１は、所定の操作に応じて、表示画面に第１画像のみを詳細表示する。例えば、撮像装置１は、第２画面での所定の操作に応じて、第２画像の図形を非表示状態にし、これにより第１画像のみを表示する。撮像装置１は、その状態からの所定の操作に応じて、第２画像の図形を再び表示状態に戻す。あるいは、撮像装置１は、第２画面での所定の操作、例えば第１画像の上の第２画像の図形が無い領域のタップ等に応じて、第１画像を詳細表示させる第３画面へ遷移させる。

［表示画面（２）−第２表示モード］
図１１は、第２表示モードの第２画面の例を示す。本例は、図７等の具体例と対応しており、広角画像６ａを選択して表示する場合を示す。広角画像６ａに対し、第１狭角画像６ｂ及び第２狭角画像６ｃが関連付けられている場合を示す。表示制御部１２は、画像ファイル２４及び管理情報２１に基づいて、第２画面を表示する。第２画面では、第１画像である広角画像６ａを全体に表示し、その第１画像の上に、各々の第２画像である狭角画像を表す図形を重ね合わせて表示する。

図１１では、表示画面４０１内における方位角に対応した画面内水平方向をｘ方向、仰角に対応する画面内垂直方向をｙ方向として示している。表示画面４０１のｘ方向の横幅をＷ、ｙ方向の縦幅をＨとする。

点ｐ１は、表示画面４０１の中央の点を示す。最初、スクロールや拡大縮小等の動作がされていない状態では、広角画像６ａの全体が表示画面４０１内に表示されている。最初、点ｐ１に、広角画像６ａの撮影方向６３ａに対応する中心点の位置座標（Ｘａ，Ｙａ）が配置されるように表示される。位置座標（Ｘａ，Ｙａ）は、（方位角，仰角）で表して（θ１＝＋１０°，φ１＝０°）に対応する点である。

広角画像６ａの水平画角Ａｈ１は１２０°であり、垂直画角Ａｖ１は８０°である。広角画像６ａは、表示画面４０１の横幅Ｗ及び縦幅Ｈに対応させて、水平画角Ａｈ１に対応する水平サイズＳｈ１、及び垂直画角Ａｖ１に対応する垂直サイズＳｖ１で表示されている。右端の位置Ｘａｒは方位角で７０°に対応し、左端の位置Ｘａｌは方位角で−５０°に対応し、上端の位置Ｙａｔは仰角で４０°に対応し、下端の位置Ｙａｂは仰角で−４０°に対応する。

広角画像６ａの上に、狭角画像を表す図形であるマークが重ね合わされて表示されている。本例では、マークとして、第１狭角画像６ｂを表すマーク８ｂ、第２狭角画像６ｃを表すマーク８ｃを示す。マークは、特に吹き出し形状の場合を示す。マークは、ユーザ設定に基づいて可変である。中心点ｐ２は、第１狭角画像６ｂを表すマーク８ｂを表示する位置を示す。中心点ｐ３は、第２狭角画像６ｃを表すマーク８ｃを表示する位置を示す。中心点ｐ２の位置（Ｘｂ，Ｙｂ）は、（方位角，仰角）で（＋４５°，０°）に対応し、中心点ｐ３の位置（Ｘｃ，Ｙｃ）は、（−２０°，−１０°）に対応する。

表示制御部１２は、第１画像に関連付けられる第２画像の撮影方向及び画角等の情報に基づいて、第１画像上の第２画像のマークの表示位置を決めて表示する。

第１狭角画像６ｂの中心点ｐ２の位置（Ｘｂ，Ｙｂ）は、広角歪み及び歪曲収差を無視した場合、広角画像６ａの点ｐ１からの方位角の差（３５°）と仰角の差（０°）とを用いて、下記の式で得られる。
Ｘｂ＝（Ｗ／２）×ｔａｎ３５°／ｔａｎ６０° ・・・（４）
Ｙｂ＝（Ｈ／２）×ｔａｎ０°／ｔａｎ４０°＝０ ・・・（５）

第２狭角画像６ｃの中心点ｐ３の位置（Ｘｃ，Ｙｃ）は、広角歪み及び歪曲収差を無視した場合、広角画像６ａの点ｐ１からの方位角の差（−３０°）と仰角の差（−１０°）とを用いて、下記の式で得られる。
Ｘｃ＝（Ｗ／２）×ｔａｎ（−３０°）／ｔａｎ６０° ・・・（６）
Ｙｃ＝（Ｈ／２）×ｔａｎ（−１０°）／ｔａｎ４０° ・・・（７）

ユーザは、表示画面４０１で所望のマークを選択操作、例えばタップする。これにより、そのマークに対応する第２画像を選択し、第３表示モードの第３画面で表示させることができる。なお、図１１の例は、表示画面４０１の大きさに対して、最初に広角画像６ａの全体を表示できる場合を示す。表示制御部１２は、表示画面４０１に広角画像の全体が表示できない場合、広角画像の一部、即ち画角の一部の状態で表示してもよいし、縮小して全体が収まる状態として表示してもよい。また、表示画面４０１内には、撮影方向や画角等の値を閲覧補助情報として表示するようにしてもよいし、スクロールや拡大縮小等の動作のためのアイコン等を表示してもよい。

［表示画面（３）−第３表示モード］
図１２は、第３表示モードの第３画面の表示例として、第１狭角画像６ｂのマーク８ｂを選択した場合の第１狭角画像６ｂの表示を示す。最初、表示画面４０１内の全体に第１狭角画像６ｂが表示される。表示画面４０１の中央の点ｐ１には、第１狭角画像６ｂ及びマーク８ｂの中心点ｐ２が配置された状態で表示される。中心点ｐ２の位置（Ｘｂ，Ｙｂ）は、撮影方向６３ｂである｛θ２＝４５°，φ２＝０°｝に対応している。

第１狭角画像６ｂの水平画角Ａｈ２が２１°、垂直画角Ａｖ２が１４°である。表示画面４０１における、右端の位置Ｘｂｒは方位角で＋５５．５°、左端の位置Ｘｂｌは方位角で＋３４．５°に対応し、上端の位置Ｙｂｔは仰角で＋７°、下端の位置Ｙｂｂは仰角で−７°に対応する。

図１３は、第３表示モードの第３画面の例として、第２狭角画像６ｃのマーク８ｃを選択した場合の第２狭角画像６ｃの表示を示す。最初、表示画面４０１内の全体に第２狭角画像６ｃが表示される。表示画面４０１の中央の点ｐ１には、第２狭角画像６ｃ及びマーク８ｃの中心点ｐ３が配置された状態で表示される。中心点ｐ３の位置（Ｘｃ，Ｙｃ）は、撮影方向６３ｃである｛θ３＝−２０°，φ３＝−１０°｝に対応している。

第２狭角画像６ｃの水平画角Ａｈ３が２１°、垂直画角Ａｖ３が１４°である。表示画面４０１における、右端の位置Ｘｃｒは方位角で−９．５°、左端の位置Ｘｃｌは方位角で−３０．５°に対応し、上端の位置Ｙｃｔは仰角で−３°、下端の位置Ｙｃｂは仰角で−１７°に対応する。

なお、第２表示モードから第３表示モードへの遷移に限らず可能である。第１表示モードから所定の操作により第２表示モードを経由せずに直接的に第３表示モードに遷移させる動作モードも可能であり、ユーザ設定等に応じて動作モードを選択可能である。

［関連付け方式］
関連付け方式として、関連付けを行うタイミング等に関して、第１方式、第２方式を有する。第１方式は、撮像時に関連付けを行う方式であり、第２方式は、再生表示時に関連付けを行う方式である。実施の形態１では、撮像装置１は、第１方式を用い、表示装置２は、第２方式を用いる。

第１方式では、撮像装置１は、画像を撮像した直後に、関連付け部１５を用いて関連付け処理を行い、その結果、関連付け情報を、メタデータ２２または管理情報２１に記述する。撮像装置１は、その画像を再生表示する際には、メタデータ２２または管理情報２１の関連付け情報の参照から、複数の画像の関係を把握でき、表示画面に第２表示モードで表示する。

第２方式では、表示装置２は、画像ファイル２４に基づいて表示画面に再生表示する際に、関連付け部２１５を用いて関連付け処理を行い、その結果、表示画面に第２表示モードで表示する。

第２方式で、表示装置２は、再生表示の都度に関連付け処理を行うことにより、メタデータ２２や管理情報２１に関連付け情報を記述することを省略してもよい。あるいは、第２方式で、表示装置２は、ある画像の再生表示の初回に関連付け処理を行って、メタデータ２２や管理情報２１に関連付け情報を記述し、その後、その画像の２回目以降の再生表示の際には、関連付け情報を参照して関連付け処理を省略するようにしてもよい。

なお、他の実施の形態の撮像装置１では、第２方式を採用してもよい。いずれの関連付け方式を採用するかについては、実装上固定である形態としてもよいし、ユーザ設定に応じて関連付け方式を選択及び設定可能である形態としてもよい。

［処理フロー（１）］
図１４及び図１５は、実施の形態１の撮像装置１及び表示装置２の処理フローを示す。図１４は、撮像装置１における画像の撮像時の制御処理のフローを示す。図１４はステップS101〜S106を有する。画像の撮像毎に同様の処理の繰り返しである。以下、ステップの順に説明する。

（S101） 制御部１０１は、ユーザ操作に基づいて、設定部１４に対し画角等を設定する。撮像制御部１１は、設定部１４の設定情報に基づいて、画角等を把握する。

（S102） ユーザ操作に基づいて、撮像制御部１１は、撮像部１０３を制御して画像を撮像し、画像データ２３を得て記憶部１０２に格納する。撮像制御部１１は、画角または画角関連情報を、画像ファイル２４のメタデータ２２、または管理情報２１に記述する。

（S103） 撮像時に関連付けを行う第１方式か再生表示時に関連付けを行う第２方式かで分岐を行う。第１方式の場合にはS104へ、第２方式の場合にはS106へ進む。即ち、実施の形態１の撮像装置１では第１方式を採用するためS104へ進み、他の実施の形態の撮像装置１で第２方式を採用する場合にはS106へ進む。

（S104） 関連付け部１５は、所定の関連付け処理を行う。これにより、第１画像及び第２画像を含む複数の画像を関連付ける。

（S105） 関連付け部１５は、関連付け処理の結果、関連付け情報を作成し、画像ファイル２４のメタデータ２２、または管理情報２１に記述する。撮像制御部１１は、画像ファイル２４を記憶部１０２に格納し、記録部１０６の記録媒体１０７に記録させる。

（S106） 撮像制御部１１は、この時点では関連付けを行わないので、関連付け情報を含まないメタデータ２２や管理情報２１を作成する。制御部１０１は、画像ファイル２４を記憶部１０２に格納し、記録部１０６の記録媒体１０７に記録させる。

［処理フロー（２）］
図１５は、撮像装置１または表示装置２における、画像の再生表示時の制御処理のフローを示す。図１５の制御は、図１０のように表示モードを遷移させる制御に対応する。図１５はステップS201〜S210を有する。以下、ステップの順に説明する。以下、撮像装置１が主体である場合で説明するが、表示装置２が主体である場合も同様である。

（S201） 制御部１０１は、ユーザ操作に基づいて、表示制御部１２により、表示装置１０４の表示部４１の表示画面４０１に、図１０のように第１表示モードの第１画面を表示する。表示制御部１２は、ユーザ入力操作に応じて、第１画面内の画像の選択等を受け付ける。

（S202） 表示制御部１２は、第１表示モードの第１画面で選択された画像が第１画像である広角画像か、第２画像である狭角画像であるかによって分岐を行う。第１画像である場合にはS203へ、第２画像である場合にはS209へ進む。

（S203） 表示制御部１２は、第１方式か第２方式かによって分岐を行う。第２方式の場合にはS204へ、第１方式の場合にはS206へ進む。即ち、実施の形態１の撮像装置１の場合には第１方式であるためS206へ進み、表示装置２の場合には第２方式であるためS204へ進む。

（S204） 表示制御部１２は、再生表示の直前に、関連付け部１５を用いて、複数の画像の関連付け処理を行う。

（S205） 表示制御部１２は、S204の結果、第１画像に関連付けられる第２画像の画像データ２３を読み出す。

（S206） 第１方式の場合、既に関連付け処理が行われている。表示制御部１２は、第１画像の画像ファイル２４のメタデータ２２または管理情報２１における、関連付け情報を参照して、関連付けを確認する。表示制御部１２は、第１画像に関連付けられる第２画像の画像データ２３を読み出す。

（S207） 表示制御部１２は、S205またはS206の結果の画像データ２３を用いて、表示画面に第２表示モードで表示する。即ち、表示制御部１２は、図１１の第２画面のように、第１画像上に第２画像の図形を重ね合わせて関連付けた状態で表示する。表示制御部１２は、ユーザ入力操作に応じて、第２画面内の第２画像の図形の選択等を受け付ける。ユーザは、例えば、第２画像を閲覧したい場合にはマークをタップし、第１画面に戻りたい場合には第１画像の領域をタップする。

（S208） 表示制御部１２は、第２表示モードの第２画面で選択された画像が第２画像を表すマークであるかによって分岐を行う。第２画像を表すマークである場合にはS209へ進む。他の操作、例えば、第１画像の領域の操作である場合、戻る動作に対応し、その場合にはS201へ戻る。

（S209） 表示制御部１２は、S208で選択されたマークに対応する第２画像の画像データ２３を用いて、表示画面に第３表示モードで、図１２等の第３画面のように、第２画像を詳細表示する。表示制御部１２は、ユーザ入力操作に応じて、第３画面内での戻る動作等を受け付ける。ユーザは、例えば第２画面に戻りたい場合、第２画像の領域をタップする。

（S210） 表示制御部１２は、第３表示モードの第３画面で、戻る動作に対応する入力操作が有る場合には、Ａ１で示すようにS207へ戻り、無い場合には、S209で第３表示モードの表示を継続する。なお、第３表示モードから、所定の入力操作に応じて、第１表示モードの第１画面へ戻るようにしてもよい。

［関連付け処理（１）］
関連付け部１５は、複数の画像の関連付け処理を行う。関連付け処理は、第１処理、第２処理を含む。第１処理は、所定の選択方式の選択条件に基づいて、関連付けの候補となる画像を選択する処理である。所定の選択方式として、以下に示す第１選択方式、第２選択方式、第３選択方式がある。実施の形態１では、第１方式を用いる。変形例では、第２選択方式または第３選択方式を用いる。なお、いずれの選択方式を採用するかについては、実装上固定の形態でもよいし、ユーザ設定により可変に選択できる形態としてもよい。

［第１選択方式−撮影場所］
図１６は、第１選択方式について示す説明図である。第１選択方式は、選択条件として、撮影場所に関する条件を用いる。第１選択方式では、撮影場所が概略的に同じであると判断される画像を候補として選択する。第１選択方式では、撮影場所の判断のために、位置検出部１１３による位置情報｛緯度，経度，標高｝を用いる。関連付け部１５は、関連付けの際、例えば撮像時にメタデータ２２の撮影場所項目に記述されている位置情報｛緯度，経度｝を参照する。｛緯度，経度｝を｛ＬＡ，ＬＯ｝で表す。

図１６のように、関連付け部１５は、第１画像である広角画像を基準として、空間、例えばＸ−Ｙ平面において、第１画像の撮影場所を表す位置１６０１を中心点としてとる。位置１６０１は｛ＬＡ１，ＬＯ１｝で表される。位置範囲１６００は、条件の閾値に相当し、位置１６０１を中心点とした、所定の半径距離による円領域を示す。なお、位置範囲１６００を規定する半径距離は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値としてもよい。

関連付け部１５は、第１画像の位置１６０１に対し、第２画像であるそれぞれの狭角画像の位置を比較する。本例では、広角画像の周りに、第１狭角画像の位置１６０２｛ＬＡ２，ＬＯ２｝、第２狭角画像の位置１６０３｛ＬＡ３，ＬＯ３｝、第３狭角画像の位置１６０４｛ＬＡ４，ＬＯ４｝がある場合を示す。関連付け部１５は、第１画像の位置１６０１に対し、位置範囲１６００内に含まれる画像を探す。本例では、位置範囲１６００内に、第１狭角画像の位置１６０２、及び第２狭角画像の位置１６０３が含まれており、第３狭角画像の位置１６０４は含まれていない。

関連付け部１５は、位置範囲１６００内に位置が含まれている第２画像を、第１画像と概略的に同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。同じ撮影場所の例としては、ユーザが、ある展望台において、手すりに沿って円周を周回しながら３６０°の各方向を撮影した場合が挙げられる。

［第２選択方式−撮影日時］
図１７は、第２選択方式について示す説明図である。第２選択方式は、選択条件として、撮影日時に関する条件を用いる。第２選択方式では、撮影日時が概略的に同じであると判断される画像を候補として選択する。関連付け部１５は、関連付けの際、例えばメタデータ２２の撮影日時項目に記述されている撮影日時（年月日時分秒）を参照する。

関連付け部１５は、撮影日時の時系列において、第１画像である広角画像を基準として、第１画像の撮影日時を表す時点ｔ１をとる。本例では、時点ｔ１は、日時ＤＴ３であるとする。日時範囲１７００は、条件の閾値に相当し、時点ｔ１を中心点としてその前後を含む、所定の時間による範囲を示す。なお、日時範囲１７００を規定する時間は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値でもよい。日時範囲１７００は、例えば１日（２４時間）、１時間、５分等、設定可能である。

関連付け部１５は、第１画像の撮影日時の時点ｔ１に対し、所定の日時範囲１７００内に含まれる第２画像を検索する。関連付け部１５は、第１画像の撮影日時の時点ｔ１に対し、第２画像であるそれぞれの狭角画像の撮影日時を比較する。本例では、時点ｔ１の付近に、第１狭角画像の撮影日時の時点ｔ２、第２狭角画像の時点ｔ３、第３狭角画像の時点ｔ４がある場合を示す。本例では、日時範囲１７００内に、第１狭角画像の時点ｔ２、及び第２狭角画像の時点ｔ３が含まれており、第３狭角画像の時点ｔ４は含まれていない。制御部１０１は、日時範囲１７００内に時点が含まれている第２画像を、第１画像と概略的に同じ撮影日時に撮像された画像であると判断し、関連付けの候補として選択する。

［第３選択方式−設定文字列］
図１８は、第３選択方式について示す説明図である。第３選択方式は、選択条件として、ユーザにより任意に設定可能である設定文字列に関する条件を用いる。第３選択方式では、設定文字列が概略的に同じであると判断される画像を候補として選択する。関連付け部１５は、関連付けの際、例えば撮像後に関連付け管理情報の設定文字列として設定されている文字列を参照する。

図１８では、第１表示モードの第１画面での複数の画像の情報の一覧表示の例を示す。この例では、各画像について、情報として、ファイル名、撮影日時、タグ、種別等を表示している。「タグ」項目は、設定文字列に相当する。ユーザは、編集作業で、「タグ」項目に、任意に文字列を設定することができる。本例では、ユーザは、「タグ」項目に、撮影場所を表す文字列を設定している。例えば、画像Ｇ１，Ｇ２，Ｇ３は、同じ公園で撮影された画像であり、文字列「Ａ公園」が設定されている。画像Ｇ４，Ｇ５は、同じ展望台で撮影された画像であり、文字列「Ｂ展望台」が設定されている。なお、「種別」項目は、その画像の画角の種別として、「広角」または「狭角」を表示している。

関連付け部１５は、ユーザにより選択された第１画像、例えば画像Ｇ１を基準として、その第１画像の「タグ」項目の設定文字列を参照する。関連付け部１５は、第１画像の設定文字列に対し、他の第２画像であるそれぞれの狭角画像の設定文字列を参照して比較し、例えば同じ文字列を含んでいる設定文字列を持つ画像を探す。例えば、画像Ｇ１，Ｇ２，Ｇ３の設定文字列が同じである。関連付け部１５は、それらの画像を、同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。

変形例として、制御部１０１は、撮像時等に、ユーザ操作に依らずに、自動的に、撮影場所を表す文字列を設定してもよい。例えば、制御部１０１は、位置情報｛緯度，経度｝に基づいて、撮影場所を表す文字列を決定してもよい。制御部１０１は、画像の「ファイル名」項目等に文字列を設定してもよい。制御部１０１は、例えば、所定の規則で、設定文字列を含むファイル名を自動的に付与してもよい。ファイル名の規則の例としては、［撮影日時］＋［設定文字列（撮影場所）］＋［個別順序番号］、が挙げられる。

上記選択方式は、組み合わせでも適用可能である。例えば、第１選択方式の撮影場所の条件と、第２選択方式の撮影日時の条件とを組み合わせた条件としてもよい。その条件として例えば「同じ撮影場所で過去１年前まで」等と指定可能である。

［関連付け処理（２）］
関連付け部１５の関連付け処理における第２処理については以下である。第２処理では、第１処理で候補として選択された画像について、撮影方向及び画角の情報を用いて、関連付けの判断を行い、その判断結果に従って関連付けを行う。関連付け部１５は、各画像ファイル２４のメタデータ２２、または管理情報２１における、撮影方向及び画角の情報を参照する。関連付け部１５は、条件として、基準となる第１画像である広角画像の画角｛水平画角Ａｈ，垂直画角Ａｖ｝の範囲内に、候補の画像の撮影方向｛方位角θ，仰角φ｝が含まれているか否かを判断する。関連付け部１５は、この条件を満たす画像を、関連付ける画像として決定する。

前述の図７の例では、広角画像６ａの水平画角Ａｈ１の範囲（−５０°〜＋７０°）内に、第１狭角画像６ｂの撮影方向６３ｂの方位角θ２＝４５°が含まれており、第２狭角画像６ｃの撮影方向６３ｃの方位角θ３＝−２０°が含まれている。また、図示しないが、広角画像６ａの垂直画角Ａｖ１の範囲（−４０°〜＋４０°）内に、第１狭角画像６ｂの撮影方向６３ｂの仰角φ２＝０°が含まれており、第２狭角画像６ｃの撮影方向６３ｃの仰角φ３＝−１０°が含まれている。よって、広角画像６ａに、第１狭角画像６ｂ及び第２狭角画像６ｃが関連付けられる。

関連付け部１５は、第１画像と第２画像とを関連付ける場合、前述のように、管理情報２１に関連付け管理情報を記述してもよいし、各画像のメタデータ２２に同様の情報を記述してもよい。

［動画］
上記では主に静止画の場合を説明したが、動画の場合にも基本的に同様に適用可能である。撮像制御部１１は、動画を撮影する場合、連続した撮影モードにおいて、電子ズーム倍率及び画角等を変更しながら撮影して動画の画像データ２３を得る。撮像制御部１１は、その動画の画像ファイル２４について、時点に応じた電子ズーム倍率及び画角等の情報を、メタデータ２２または管理情報２１に記述する。また、動画の再生表示の際、表示制御部１２は、第２表示モードの第２画面で、例えば動画の開始時点の画像フレームや、一時停止状態の画像フレームの位置に対応させて、マーク等を表示するようにしてもよい。

［効果等］
上記のように、実施の形態１の撮像装置１及び表示装置２によれば、広角画像及び狭角画像を含む複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。表示画面で、広角画像の上に、関係を持つ狭角画像が自動的に重ね合わせて表示されるので、ユーザは、関係を持つ複数の画像を容易に認識でき、直感的に把握でき、好適に閲覧することができる。ユーザは、広角画像の画角内に存在する狭角画像を認識することができ、関連付けられている狭角画像を参照して素早く閲覧できる。ユーザは、表示モードを切り替えながら多数の画像を好適に閲覧できる。

実施の形態１の変形例として以下が挙げられる。変形例として、画像の種別に関して、画角の関係を相対的に判断してもよい。即ち、撮像装置１または表示装置２は、複数の画像における画角を参照し、それらのうちで最大の画角を持つ画像を、広角画像である第１画像とし、その第１画像以外の画像を、狭角画像である第２画像とする。

［変形例（１）−第２表示モード］
図１９は、実施の形態１の変形例の撮像装置１における、第２表示モードの第２画面の例を示す。図１９は、図７の具体例と対応している。図１９の表示画面４０１では、第２画像を表す図形として、マークではなく、透過枠としている。例えば、透過枠９ｂは第１狭角画像６ｂを表し、透過枠９ｃは第２狭角画像６ｃを表す。透過枠は、矩形の四辺が線及び色で表示され、その内部は透過領域となっており、背景にある第１画像の部分がそのまま表示される。表示上の透過枠の領域のサイズは、特に、その第２画像の画角の大きさに対応させて決定される。これにより、広角画像内における狭角画像の関係をより把握しやすくできる。

なお、図１９の例では、最初、表示画面４０１に広角画像６ａを図１１と同様の基準位置で表示した状態から、ユーザ操作に基づいてスクロール及び拡大縮小がされて、表示上の中心点や画角範囲が移動及び変更された状態を示している。図１９では、表示画面の中央の点ｐ１に、広角画像６ａの視点の位置（Ｘａ，Ｙａ）として、（方位角，仰角）で（＋１５°，＋１０°）に対応する点が配置されている。表示画面４０１に、広角画像６ａの水平画角の１２０°の範囲のうちの９０°の範囲、及び仰角の８０°の範囲のうちの６０°の範囲が、拡大で表示されている。位置Ｘａは方位角で１５°であり、位置Ｙａは仰角で１０°である。表示画面４０１における、右端の位置Ｘａｒは６０°、左端の位置Ｘａｌは−３０°に対応し、上端の位置Ｙａｔは４０°、下端の位置Ｙａｂは−２０°に対応する。

透過枠９ｂの中心点ｐ２の位置座標（Ｘｂ，Ｙｂ）は、（方位角，仰角）で（＋４５°，０°）に対応する。透過枠９ｂの横幅は、水平画角Ａｈ２＝２１°に対応したサイズであり、方位角で４５°±１０．５°の範囲であり、左端の位置Ｘｂｌが＋３４．５°、右端の位置Ｘｂｒが＋５５．５°である。透過枠９ｂの縦幅は、垂直画角Ａｖ２＝１４°に対応したサイズであり、仰角で０°±７°の範囲であり、上端の位置Ｙｂｔが＋７°、下端の位置Ｙｂｂが−７°である。

透過枠９ｃについても同様に位置及びサイズが決定されている。透過枠９ｃの中心点ｐ３の位置座標（Ｘｃ，Ｙｃ）は、（−２０°，−１０°）に対応する。透過枠９ｃの横幅は、水平画角Ａｈ３＝２１°に対応したサイズであり、方位角で−２０°±１０．５°の範囲であり、左端の位置Ｘｃｌが−３０．５°、右端の位置Ｘｃｒが−９．５°である。透過枠９ｃの縦幅は、垂直画角Ａｖ３＝１４°に対応したサイズであり、仰角で−１０°±７°の範囲であり、上端の位置Ｙｃｔが−３°、下端の位置Ｙｃｂが−１７°である。

透過枠９ｂの表示位置｛Ｘｂｒ，Ｘｂｌ，Ｙｂｔ，Ｙｂｂ｝、透過枠９ｃの表示位置｛Ｘｃｒ，Ｘｃｌ，Ｙｃｔ，Ｙｃｂ｝は、広角歪み及び歪曲収差を無視した場合、下記の式で得られる。なお、係数Ｋｗ，係数Ｋｈとする。

Ｘｂｒ＝（Ｗ／２）−Ｋｗ（ｔａｎ５０°−ｔａｎ５５．５°） ・・・（８）
Ｘｂｌ＝（Ｗ／２）−Ｋｗ（ｔａｎ５０°−ｔａｎ３４．５°） ・・・（９）
Ｋｗ＝Ｗ／（ｔａｎ５０°＋ｔａｎ４０°） ・・・（１０）
Ｙｂｔ＝（Ｈ／２）−Ｋｈ（ｔａｎ４０°−ｔａｎ７°） ・・・（１１）
Ｙｂｂ＝（Ｈ／２）−Ｋｈ（ｔａｎ４０°−ｔａｎ（−７°）） ・・・（１２）
Ｋｈ＝Ｈ／（ｔａｎ４０°＋ｔａｎ２０°） ・・・（１３）
Ｘｃｒ＝（Ｗ／２）−Ｋｗ（ｔａｎ５０°−ｔａｎ（−９．５°）） ・・・（１４）
Ｘｃｌ＝（Ｗ／２）−Ｋｗ（ｔａｎ５０°−ｔａｎ（−３０．５°）） ・・・（１５）
Ｙｃｔ＝（Ｈ／２）−Ｋｈ（ｔａｎ４０°−ｔａｎ（−３°）） ・・・（１６）
Ｙｃｂ＝（Ｈ／２）−Ｋｈ（ｔａｎ４０°−ｔａｎ（−１７°）） ・・・（１７）
また、図１９の例では、画像の回転角に関する例を、点ｐ５にある狭角画像を表す透過枠９ｅで示している。この狭角画像は、ｘ方向に対する角度αを有する。

表示制御部１２は、画像データ２３の画像の撮影方向及び画角の情報を用いて、透過枠のサイズを決定する。表示制御部１２は、広角画像の表示における視点変更に対応するスクロールや拡大縮小がされた場合、変更後の表示状態に対応させるように、透過枠の位置及びサイズを決定する。

この変形例では、透過枠の表示により、狭角画像の範囲、位置関係がわかりやすい利点がある。他の変形例として、透過枠の代わりに、同じサイズでサムネイルを表示するようにしてもよい。

［変形例（２）−第２表示モード］
図２０は、実施の形態１の変形例の撮像装置１における表示画面の例を示す。図２０の上側には、第１表示モードの第１画面の例を示し、この第１画面では、広角画像のサムネイル及び狭角画像のサムネイルを縦横に並列配置で一覧表示している。その際、表示上のサムネイルのサイズについては、その画像の画角の大きさに応じた縦横のサイズに決定される。本例の広角画像のサムネイル２００１は、水平画角が１８０°以上と大きいパノラマ画像のサムネイルである場合を示す。狭角画像のサムネイル２００２は、水平画角が１８０°未満の画像のサムネイルである場合を示す。なお、並列配置する際の画像数は、一方向において２枚、３枚、４枚等、可変である。ユーザは、サムネイルの大きさから、広角と狭角との区別が可能である。

図２０の下側は、第２表示モードの第２画面の例を示す。表示画面４０１内で、主要な領域１００１と、主要な領域１００１以外の領域、本例では右辺の領域１００２や下辺の領域１００３と、を有する。主要な領域１００１には、第２表示モードで第１画像上に第２画像のマーク等が重ね合わせて表示される。領域１００１に第１画像の全体が表示しきれない場合、撮影方向を中心点として、一部の画角の範囲が最初に表示される。本例では、第１画面で選択された広角画像のうちの一部の水平画角に対応する範囲が、領域１００１に表示されている。ユーザは、視点変更等に応じてスクロールや拡大縮小等によって、領域１００１での第１画像の表示状態を変更できる。

第２画像の図形は、画像の種別や撮影日時等の違いに応じて異なる図形を表示してもよい。本例では、図形として、円形、菱形、星形のマークを示す。画像の種別としては、例えば画角の違いに応じた種別がユーザ設定等に基づいて設定されてもよい。また、図形には、情報を付与して表示してもよい。本例では、マークに識別番号が付与されている。また、図形には、情報として、メタデータ２２または管理情報２１に基づいた撮影日時等の属性値を表示してもよいし、属性値のみを表示してもよい。

右辺の領域１００２では、第１画像に関連付けられている全ての複数の第２画像の情報、例えばマーク及び属性値等が、並列に表示されている。領域１００１では、表示状態に応じて、一部の第２画像のマークが表示され、他の第２画像のマークが表示されていない状態となる。領域１００２には、領域１００１には表示されていない第２画像の情報も表示される。領域１００１で第２画像のマークが選択された場合、または、領域１００２で第２画像のマークが選択された場合に、第３表示モードへ遷移させてもよい。また、右下の領域には、最後に選択された第２画像のサムネイルがプレビューとして表示されている。

下辺の領域１００３には、表示モード、第１画像の情報、操作ボタン、設定情報等が表示されている。例えば、現在の表示モードが第２表示モードであること、及び第１画像の撮影日時等の属性値等の情報が表示されている。また、第２表示モードのマークの表示と非表示とを切り替えるためのボタンが設けられている。「ＯＮ」状態ではマークが表示され、「ＯＦＦ」状態ではマークが非表示にされ、即ち第１画像のみが表示される。また、第２表示モードから第１表示モードに戻る動作のための戻るボタン等が設けられている。

また、第２表示モードの第２画面内で、第１画像上の概略的に同じ位置、同じ領域内に、関連付けられている複数の第２画像が密集して存在する場合に、個々のマークを重ねて表示するのではなく、１つの代表マークを表示する。本例では、代表マークとして星形としている。ユーザが、代表マークを選択操作すると、代表マークの位置に関連付けられている複数の第２画像の情報を表示する。その際に複数の第２画像の情報を表示する方式としては、例えば、第１画像の上にポップアップ領域１００５を表示し、ポップアップ領域１００５の中に複数の第２画像の情報を表示する。ユーザがポップアップ領域１００５内から所望の第２画像を選択操作すると、選択された第２画像を詳細表示する第３表示モードへ遷移させる。

他の方式としては、右辺の領域１００２等に、代表マークに関連付けられている複数の第２画像の情報を表示してもよい。また、他の方式としては、代表マークの選択に応じて、所定の領域に、関連付けられている複数の第２画像を順次に表示、即ちスライドショー表示してもよい。例えば、同じ場所、同じ撮影方向で、異なる撮影日時に撮影した複数の画像が存在する場合に、それらの画像を関連付けて連続して再生表示することができる。

また、他の方式として、代表マークの選択操作に応じて、複数の第２画像が密集している領域を拡大表示して、複数の第２画像のマークが区別できる表示状態にしてもよい。

［変形例（３）−外部機器連携］
撮像装置１や表示装置２は、外部の機器へ画像ファイル２４を保存してもよいし、外部の機器から画像ファイル２４を読み込んで再生表示してもよい。撮像装置１や表示装置２は、外部の機器へ送信する画像ファイル２４を対象として関連付け処理を行い、関連付け情報を含む画像ファイル２４を外部の機器へ送信してもよい。また、撮像装置１や表示装置２は、外部の機器から受信した画像ファイル２４を対象として関連付け処理を行い、関連付け情報に基づいて関連付けた状態で再生表示してもよい。即ち、前述の第１方式及び第２方式以外の関連付け方式として、外部の機器へ画像ファイル２４を送信する前に関連付けを行う方式や、外部の機器から画像ファイル２４を受信する後に関連付けを行う方式を採用してもよい。また、撮像装置１や表示装置２は、外部の機器へ複数の画像ファイル２４を送信する場合、画像ファイル２４毎のメタデータ２２として画角情報や関連付け情報を記述してもよいし、複数の画像ファイル２４とは別の管理ファイルに記述して提供してもよい。

例えば、図１のシステムで、撮像装置１は、撮像した複数の画像について、サーバ３へ送信する前に、関連付け処理を行い、画角や関連付け情報を含む画像ファイル２４を作成し、通信網４を通じてサーバ３へ送信して画像データＤＢに保存させる。撮像装置１または表示装置２は、通信網４を通じてサーバ３にアクセスし、サーバ３の画像データＤＢから、その画像ファイル２４を取得する。なお、その際には、検索条件として例えば撮影日時や撮影場所等を指定して複数の画像ファイル２４をまとめて取得可能である。撮像装置１または表示装置２は、取得した複数の画像ファイル２４の画像データ２３について、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。

また、例えば、撮像装置１は、撮像した複数の画像について、関連付け処理を行わずに、画角を含み関連付け情報を含まない画像ファイル２４を、サーバ３へ送信して画像データＤＢに保存させる。撮像装置１または表示装置２は、通信網４を通じてサーバ３にアクセスし、サーバ３の画像データＤＢからその画像ファイル２４を取得する。撮像装置１または表示装置２は、取得した複数の画像ファイル２４について、関連付け処理を行い、画角及び関連付け情報に基づいて、関連付けた状態で再生表示する。

また、サーバ３が、画像データＤＢの複数の画像データ２３を対象として関連付け処理を行ってもよい。サーバ３は、その関連付け処理を行って、関連付け情報を含む画像ファイル２４として保存する。撮像装置１または表示装置２は、サーバ３から取得した複数の画像ファイル２４について、関連付け情報の参照に基づいて再生表示する。

また、例えば、撮像装置１は、撮像した複数の画像について、関連付け処理を行い、画角及び関連付け情報を含む画像ファイル２４を、表示装置２へ送信する。表示装置２は、その画像ファイル２４を取得し、取得した画像ファイル２４の画像データ２３を、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。

また、例えば、撮像装置１は、撮像した複数の画像について、関連付けを行わずに、画角を含み関連付け情報を含まない画像ファイル２４を、表示装置２へ送信する。表示装置２は、その画像ファイル２４を取得し、取得した画像ファイル２４の画像データ２３について、関連付け処理を行い、関連付け情報に基づいて、関連付けた状態で再生表示する。

また、撮像装置１や表示装置２は、同じユーザの複数の機器から、それぞれの画像ファイル２４を読み込んで、それらを統合して管理するようにしてもよい。例えば、図１の第１撮像装置１Ａ及び第２撮像装置１Ｂは、それぞれ、撮像した画像の画像ファイル２４を、関連付けを行わずに、第１表示装置２Ａへ送信する。第１表示装置２Ａは、それらの画像ファイル２４について、関連付け処理を行い、関連付けた状態で再生表示する。

この変形例によれば、複数の機器が連携するシステムで関連付け表示機能を実現でき、ユーザは多数の画像の関連付けや保存等を実現できる。

［変形例（４）−編集機能］
変形例の撮像装置１及び表示装置２として、複数の画像の関連付けをユーザが判断して手動で設定、編集することができる編集機能を設ける。ユーザは、編集機能を用いて、表示画面内で、関連付ける画像の追加や削除や変更が可能であり、各画像の表示位置を変更可能である。

図２１は、変形例の撮像装置１及び表示装置２における第２表示モードの第２画面の例を示す。以下は編集機能を持つ撮像装置１の場合を示すが、編集機能を持つ表示装置２の場合も同様である。ユーザ設定または入力操作に基づいて、編集が有効な「ＯＮ」状態と、無効な「ＯＦＦ」状態とを切り替え可能である。撮像装置１は、「ＯＮ」状態の場合、第２表示モードの第２画面で、第１画像に対する第２画像の関連付け、及び第２画像の図形の表示位置等を、ユーザ入力操作に基づいて可変に設定する。制御部１０１は、第２画像の図形の表示位置を、メタデータ２２または管理情報２１の１つとして保存及び管理する。制御部１０１は、再生表示の際には、その情報を参照して図形の表示位置を決める。

本例では、第２画像の図形として透過枠を表示する場合を示す。最初、撮像装置１は、実施の形態１と同様に、第２画像の表示位置を自動的に決定して表示する。例えば、第１狭角画像６ｂを表す透過枠９ｂ１が表示される。ユーザは、第２画像の透過枠９ｂ１を例えばタッチして所望の方向及び位置へ移動させる。制御部１０１は、ユーザ操作に従ってその図形の表示位置を移動させるように表示状態を更新する。本例では、透過枠９ｂ１の移動後の状態を透過枠９ｂ２として示している。第１狭角画像６ｂの中心点は、移動前の点ｐ２１から移動後の点ｐ２２となっている。制御部１０１は、第２画像の図形の移動後の位置を、新たな表示位置として保存するように、管理値を更新する。

また、制御部１０１は、第２画像の図形の移動後に、表示位置の変更確認のための情報を表示して、変更及び保存するか否かをユーザに確認してもよい。制御部１０１は、例えば、移動後の位置の近くにポップアップ領域を表示し、「表示位置を移動しました。保存する／保存しない」等と表示する。ユーザは、それを確認して例えば「保存する」ボタンを押す。これにより、制御部１０１は、移動後の表示位置を保存する。

また、編集機能として、関連付ける第２画像を追加する機能、及び第２画像の関連付けを解除する機能を有する。追加の場合、ユーザは、表示画面内の所望の位置、例えば点ｐ２３をタッチし、追加を指定する。例えばポップアップ領域の追加ボタンにより、追加する第２画像をユーザにより選択可能とする。制御部１０１は、選択された第２画像に関する図形をその位置に表示し、その第２画像の表示位置を管理値に保存する。

解除の場合、ユーザは、表示画面内に表示されている第２画像の図形を選択し、解除を指定する。例えば、ユーザは、第２狭角画像６ｃの透過枠９ｃをタッチし、ポップアップ領域の解除ボタンを押す。制御部１０１は、解除が指定された第２画像の関連付けを解除し、表示を消去し、管理値を更新する。

この変形例によれば、編集機能により、ユーザは、第２表示モードの複数の画像の関連付け表示に関して、自分が見やすい状態や把握しやすい状態となるように自由に編集可能である。

（実施の形態２）
図２２〜図２５を用いて、本発明の実施の形態２の撮像装置及び表示装置について説明する。以下、実施の形態２の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態２の撮像装置１では、広角画像として全天球画像を撮像する機能を有し、その広角画像を第１画像として関連付け表示する機能を有する。

［全天球画像］
本明細書では、図７のように、撮像装置及び撮影者であるユーザの位置を中心点として設定した仮想の球面６００を、全天球と称する。本明細書では、全天球画像とは、水平画角及び垂直画角の少なくとも一方の画角として３６０°を持つ画像とする。

図２２は、実施の形態２における全天球画像について水平画角で示す。全天球に対応する球面６００において、第１広角画像６Ａと、第２広角画像６Ｂと、狭角画像６Ｃと、を有する。第１広角画像６Ａは、撮像装置１の前面カメラ側から前方の撮影方向（例えば北向き）で見た水平画角で１８０°の撮影範囲２２０１を持つ広角画像である。第２広角画像６Ｂは、背面カメラ側から後方の撮影方向（例えば南向き）で見た水平画角で１８０°の撮影範囲２２０２を持つ広角画像である。狭角画像６Ｃは、前面カメラ側から所望の撮影方向（例えば北向き）で水平画角Ａｈの撮影範囲２２０３を持つ狭角画像である。第１広角画像６Ａと第２広角画像６Ｂとの合成により、水平画角で３６０°の撮影範囲を持つ広角画像である全天球画像が構成される。図示しないが垂直画角Ａｖに関しても同様であり、例えば第１広角画像６Ａは垂直画角で１８０°の撮影範囲を持つ。

［撮像装置］
図２３は、撮像装置１のうち撮像部１０３に係わる部分の構成を示す。撮像装置１は、撮像部１０３として、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、第３撮像部１０３Ｃを有し、それらがインタフェース回路１３１に接続されている。

第１撮像部１０３Ａは、前面カメラに対応する撮像部であり、駆動部３１ａ及びレンズ部３２ａを含む。レンズ部３２ａは、前面の水平画角及び垂直画角で１８０°の撮影範囲（即ち半天球）での第１広角画像６Ａを撮像可能である超広角レンズとして第１レンズを備える。第２撮像部１０３Ｂは、背面カメラに対応する撮像部であり、駆動部３１ｂ及びレンズ部３２ｂを含む。レンズ部３２ｂは、背面の水平画角及び垂直画角で１８０°の撮影範囲（即ち半天球）での第２広角画像６Ｂを撮像可能である超広角レンズとして第２レンズを備える。

第３撮像部１０３Ｃは、実施の形態１の撮像部１０３と同様の構成であり、駆動部３１ｃ及びレンズ部３２ｃを含む。レンズ部３２ｃは、前面の水平方向及び垂直方向で１８０°未満の設定された画角範囲内での狭角画像６Ｃを撮像可能である第３レンズを備える。撮像部１０３Ｃで撮像する際の画角は、１８０°未満の所定の画角範囲内でユーザ操作に基づいて設定可能である。例えば、水平画角Ａｈとして５０°を持つ狭角画像６Ｃを撮像するとする。

制御部１０１は、全天球撮像制御部１１Ａ、撮像制御部１１Ｂを含む。全天球撮像制御部１１Ａは、第１撮像部１０３Ａ及び第２撮像部１０３Ｂを駆動制御して、全天球画像を撮影する。全天球撮像制御部１１Ａは、第１撮像部１０３Ａでの第１広角画像６Ａと、第２撮像部１０３Ｂでの第２広角画像６Ｂとを、同じタイミングで撮像するように制御する。全天球撮像制御部１１Ａは、信号処理部１３２等を通じて、それらの第１広角画像６Ａ及び第２広角画像６Ｂを入力して合成することにより、３６０°の画角範囲を持つ全天球画像を撮像する。

なお、このように全天球画像を撮像可能とする光学系を含む撮像部１０３や制御部１０１等の構成については、公知技術を用いて実現できる。

全天球撮像制御部１１Ａは、撮像した全天球画像の画像データ２３を、実施の形態１と同様に、画角等の情報を含むメタデータ２２等と共に画像ファイル２４として記憶部１０２に記憶する。撮像制御部１１Ｂは、撮像した狭角画像の画像データ２３を、実施の形態１と同様に、画角等の情報を含むメタデータ２２等と共に画像ファイル２４として記憶部１０２に記憶する。

撮像装置１の撮影モードにおいて、制御部１０１の制御に応じて、いずれの撮像部を用いて画像を撮像することも可能である。制御部１０１からの制御に基づいて、撮像部１０３Ａ、撮像部１０３Ｂ、及び撮像部１０３Ｃでは、同時に一回での撮像が可能である。また、制御部１０１からの制御に基づいて、撮像部１０３Ａ、撮像部１０３Ｂ、及び撮像部１０３Ｃでは、個別のタイミングでの撮像も可能である。撮像部１０３Ａと撮像部１０３Ｂとの同時撮影及び合成により全天球画像が撮影できる。また、撮像部１０３Ａと撮像部１０３Ｂとの一方を用いた撮影により、第１広角画像６Ａまたは第２広角画像６Ｂによる半天球画像が撮影できる。また、撮像部１０３Ａまたは撮像部１０３Ｂの一方と、撮像部１０３Ｃとの同時撮影も可能である。その場合、その一方の広角画像と狭角画像６Ｃとで撮影日時が同じであり自動的に関連付けが可能である。制御部１０１は、撮像した画像のメタデータ２２または管理情報２１に、全天球画像または半天球画像または狭角画像６Ｃを表す種別等の情報を付与してもよい。制御部１０１は、同時撮影した複数の画像について、メタデータ２２等に関連付け情報を付与してもよい。

［撮像装置−外観］
図２４は、撮像装置１の実装例の外観を示す。本例では、撮像装置１としてスマートフォンである場合を示す。図２４の左側は、撮像装置１の筐体２４００の前面カメラ側を示し、右側は背面カメラ側を示す。前面カメラ側において、筐体２４００の所定位置に第１レンズ２４０１が設けられており、また、所定位置に第３レンズ２４０３が設けられている。背面カメラ側において、前面カメラ側の第１レンズ２４０１の位置に対応した反対側の所定位置に第２レンズ２４０２が設けられている。また、背面カメラ側において、表示装置１０４の表示画面２４０４や、操作ボタン２４０５等が設けられている。

［表示画面−第２表示モード］
図２５は、実施の形態２における第２表示モードの第２画面の例を示す。第１表示モードの第１画面は、実施の形態１と同様であり、全天球画像や狭角画像の情報を一覧表示可能である。表示制御部１２は、第１表示モードの第１画面で全天球画像が選択操作された場合、図２５のような第２表示モードの第２画面を表示する。

表示制御部１２は、第２画面内において、円形の領域２５００で示すように、全天球画像を表示する。表示制御部１２は、最初、全天球画像の撮影方向（方位角及び仰角、例えば図２２の北向き）が中心の点ｐ０に位置する表示状態で領域２５００を表示する。領域２５００に対し、ユーザのタッチ入力操作等に応じて、視点変更に対応して表示状態を変えるように、スクロールや拡大縮小等の動作が可能である。例えば、領域２５００内で、ユーザが左方向にスワイプ操作すると、全天球画像内での視点が、右方向、即ち水平画角で正方向に移動するように、領域２５００内の表示状態が更新される。制御部１０１は、その際の表示状態を変更する画像処理を行う。なお、全天球画像の表示状態を変更する画像処理は公知技術である。また、特に、全天球画像の最初の表示状態での視点の位置としては、仰角として０°即ち水平方向としてもよいし、９０°即ち天頂方向としてもよい。

制御部１０１は、全天球画像に関連付けられている狭角画像が存在する場合、全天球画像の領域２５００上において、それらの狭角画像を、実施の形態１と同様に所定の図形や縮小画像等で表示する。本例では、透過枠で表示する場合を示す。全天球画像の領域２５００上に、３つの狭角画像が関連付けられている場合を示す。点ｐ１１には、第１狭角画像を表す透過枠２５０１を有し、点ｐ１２には、第２狭角画像を表す透過枠２５０２を有し、点ｐ１３には、第３狭角画像を表す透過枠２５０３を有する。全天球画像の領域２５００内での表示状態の変更に伴い、狭角画像の図形の位置や形状やサイズ等も変更される。なお、透過枠に対応する狭角画像の領域は、全天球の球面内に配置されているため、形状としては、円周方向で歪み、即ち円弧部分を有する。本例では透過枠を簡易的に矩形で表示している。

また、実施の形態１と同様に、第２表示モードの第２画面に対する所定の操作に基づいて、狭角画像の図形の表示のオン／オフの切り替えや、第１表示モードに戻る動作等も可能である。制御部１０１は、第２画面で、狭角画像を表す図形が選択操作されると、実施の形態１と同様に、その狭角画像を第３表示モードで詳細表示する。

［効果等］
実施の形態２によれば、広角画像として全天球画像を表示する際に、同じ撮影場所等の所定の関係を持つ狭角画像を関連付けて表示するので、ユーザは複数の画像の関係を把握しやすく、好適な閲覧ができる。

実施の形態２の変形例として以下が可能である。背面カメラ側の第２撮像部１０３Ｂを省略し、第１撮像部１０３Ａを用いて前方の１８０°の画角範囲を持つ半天球画像を撮像する形態としてもよい。

第２表示モードの第２画面では、全天球画像の領域２５００を、円形ではなく、矩形の領域に変換して表示してもよい。その矩形の領域に、全天球画像のうちの一部の画角範囲に対応する画像が表示され、ユーザ操作に基づいて表示状態が変更される。

撮像装置１は、自機器内で全天球画像を撮像し、外部の機器で撮像された狭角画像を取り込んで、関連付け表示を行ってもよい。逆に、撮像装置１は、自機器内で狭角画像を撮像し、外部の機器で撮像された全天球画像を取り込んで、関連付け表示を行ってもよい。例えば、図１の第２撮像装置１Ｂは、全天球画像を撮像し、第１撮像装置１Ａで撮像された狭角画像や、サーバ３に登録されている狭角画像を、自機器に取得して、関連付け表示を行ってもよい。

なお、３６０°の画角を有する画像は、カメラの撮影方向に係わらず全方位の画角を有している。このため、必ずしも撮影方向に応じて表示画面内の表示方向を変更する必要はない。そこで、第２表示モードまたは第３表示モードにおいて全天球画像の動画を再生表示する際には以下のような２種類の表示方法を選択できるようにしてもよい。第１に、狭角画像の再生表示と同様に、撮影時の撮影方向に応じて変化する画像をそのまま再生表示する。あるいは、第２に、動画撮影時にメタデータとして記録される撮影方向の情報に基づいて、例えば方位角に相当する角度だけ回転させ、撮影方向に係わらずに、画像の方向が固定されるようにし、その固定の方向で再生表示する。

また、動画、静止画に係わらず、画像を表示する際に、撮像装置１（表示装置２も同様）の方向を、撮影方向計測部１１１や位置検出部１１３を用いて検出し、検出した方向と画像の撮影方向とを一致させるように表示してもよい。

（実施の形態３）
図２６を用いて、本発明の実施の形態３の撮像装置及び表示装置について説明する。以下、実施の形態３の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態３の撮像装置１では、複数の画像の関連付けを行うための特有の撮影モードを設ける。

［撮影モード］
実施の形態３の撮像装置１は、撮影モードとして、通常の撮影モードである第１撮影モードと、関連付けを行うための第２撮影モードとを有する。撮像装置１は、ユーザ入力操作やユーザ設定に基づいて、撮影モードの切り替えを行う。ユーザは、操作入力部１０５等を通じて、任意のタイミングで、第１撮影モードと第２撮影モードとを切り替える所定の操作を行う。所定の操作は、例えばモード切り替えボタンの押下としてもよい。

図２６は、実施の形態３の撮像装置１における、時間軸における撮影モードの切り替え等を示す。撮像装置１は、最初、第１撮影モードの状態とし、第１撮影モードで撮像された個々の画像については、関連付け処理を行わない。例えば、時点ｔ１１で撮像された画像は、関連付けが行われず、メタデータ２２等には関連付け情報が記述されない。

ユーザは、所望のタイミング、例えば時点Ｔ２で、第１撮影モードから第２撮影モードへ切り替える操作を行う。撮像装置１は、第２撮影モードの状態では、その期間に撮像された個々の画像を対象にして、自動的に関連付ける処理を行う。例えば、第２撮影モード中の時点ｔ１〜ｔ４でそれぞれ画像が撮像されている。制御部１０１は、関連付け部１５により、それらの画像に関して関連付け処理を行い、メタデータ２２または管理情報２１に関連付け情報を記述する。その際、関連付け部１５は、それらの複数の画像を、グループとして関連付ける。本例では、時点ｔ１〜ｔ４の各画像は、第１グループとして関連付けられている。関連付け部１５は、グループ識別情報を、メタデータ２２または管理情報２１の１つとして記述する。グループ識別情報は、例えば、第２撮影モードの期間の開始日時及び終了日時を用いた文字列でもよいし、第２撮影モードの発生回数を用いた文字列でもよい。また、それらの画像のファイル名やメタデータ２２には、グループ識別情報と、個別の画像の撮影日時や順序番号とを組み合わせた文字列が付与されてもよい。

ユーザは、所望のタイミング、例えば時点Ｔ４で、第２撮影モードから第１撮影モードへ切り替える操作を行う。撮像装置１は、第１撮影モードで撮像された個々の画像、例えば時点ｔ１２で撮像された画像については、関連付けを行わない。制御部１０１は、第１撮影モードに戻った時点で関連付け処理を実行してもよい。

また、関連付け部１５は、第２撮影モードの期間内において撮像された複数の画像について、広角画像、狭角画像の種別を判断する。関連付け部１５は、広角画像及び狭角画像の一方しか存在しない場合には、関連付けを行わない。関連付け部１５は、広角画像及び狭角画像の両方が存在する場合、広角画像である第１画像に対して、狭角画像である第２画像を関連付ける。

表示制御部１２は、再生表示の際には、画像ファイル２４や管理情報２１におけるグループ識別情報等の参照に基づいて、関連付けを確認して関連付け表示を行う。

［効果等］
実施の形態３によれば、ユーザが撮影モードを切り替えて自分の判断で関連付けを行うことが容易にできる。実施の形態３は、前述の第２選択方式の撮影日時に関する判断を、特有の撮影モードを用いて自動化する形態に相当する。

実施の形態３の変形例として以下が可能である。撮像装置１は、判断に応じて撮影モードの切り替えを自動的に行う。撮像装置１は、撮像時に、画像の画角の種別、例えば広角と狭角の区別を判断する。そして、撮像装置１は、撮像された画像が広角画像である場合に、自動的に第１撮影モードから第２撮影モードへ切り替える。撮像装置１は、その第２撮影モード内で撮像された狭角画像を判断し、最初の広角画像に対してその狭角画像を関連付ける。撮像装置１は、第２撮影モードに入ってから例えば設定に基づいた所定時間が経過したら、第２撮影モードから第１撮影モードへ戻す。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。本発明の機能等は、一部または全部が、集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。

１…撮像装置、２…表示装置、３…サーバ、４…通信網、１１…撮像制御部、１２…表示制御部、１３…タッチ検出部、１４…設定部、１５…関連付け部、２１…管理情報、２２…メタデータ、２３…画像データ、２４…画像ファイル、１０１…制御部、１０２…記憶部、１０３…撮像部、１０４…表示装置、１０５…操作入力部、１０６…記録部、１０７…記録媒体、１０８…通信インタフェース部、１１１…撮影方向計測部、１１２…内部時計、１１３…位置検出部、１３１…インタフェース回路部、１３２…信号処理部、１３３…メモリ、９０１…第１画像、９０２，９０３…図形、９０４…第２画像。

Claims (14)

1. 撮像表示方法であって、
   静止画または動画の画像を撮像して画像データを得る撮像ステップと、
   前記画像データに基づいて前記画像を再生表示する表示ステップと、
   を備え、
   前記撮像ステップにおいて、撮像して得た前記画像データ及び前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、
   第１画像の第１撮影方向の第１画角の範囲内に、第２画像の第２撮影方向が含まれている場合に、前記第１画像に前記第２画像の関連付けを行い、
   前記関連付けは、
   前記撮像ステップにおいて、前記第２画像の前記第２撮影方向が、前記第１画像の前記第１撮影方向の前記第１画角の範囲内に含まれている場合、前記第１画像に前記第２画像の関連付けを行う第１方式と、
   前記表示ステップにおいて、前記第２画像の前記第２撮影方向が、前記第１画像の前記第１撮影方向の前記第１画角の範囲内に、含まれている場合、前記第１画像に前記第２画像の関連付けを行う第２方式と、をユーザにより選択でき、
   前記表示ステップは、前記第１画像に前記第２画像が関連付けられている場合、前記第１画像の上に、前記第２画像または前記第２画像を表す第２情報を重ね合わせた状態で表示する、
   ことを特徴とする撮像表示方法。
2. 請求項１記載の撮像表示方法において、
   前記画像データ及び前記第１情報を記憶する記憶ステップを備え、
   前記記憶ステップにおいて、前記画角関連情報は、電子ズーム倍率、焦点距離、及び、撮像素子の寸法または機種、を含み、
   前記第１情報に前記画角関連情報を含む場合に、前記画角関連情報から前記画角を計算し、前記画角を前記第１情報に記憶する、
   ことを特徴とする撮像表示方法。
3. 請求項１記載の撮像表示方法において、
   前記第２情報は、前記第２画像の縮小画像、所定の図形、透過枠、または、前記第２画像の属性値を有する、
   ことを特徴とする撮像表示方法。
4. 請求項１記載の撮像表示方法において、
   前記第２情報の表示のサイズは、前記第２画像の前記画角に対応させたサイズである、
   ことを特徴とする撮像表示方法。
5. 請求項１記載の撮像表示方法において、
   前記第１画像の上の領域内に、前記関連付けられる複数の第２画像がある場合に、前記第２情報として、代表を表す図形を表示し、
   前記代表を表す図形の選択操作に応じて、前記関連付けられる前記複数の第２画像に関する情報を表示して前記第２画像を選択可能とする、
   ことを特徴とする撮像表示方法。
6. 請求項１記載の撮像表示方法において、
   前記撮像ステップにおいて、前記第１情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
   前記関連付けにおいて、前記第１画像に前記第２画像が関連付けられる場合には、前記第１画像と前記第２画像との関連付け情報を作成して前記メタデータまたは前記管理情報に記憶し、
   前記表示ステップにおいて、前記関連付け情報を確認して、前記重ね合わせた状態で表示する、
   ことを特徴とする撮像表示方法。
7. 請求項１記載の撮像表示方法において、
   前記撮像ステップにおいて、前記第１情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
   前記表示ステップにおいて、前記関連付けを行い、前記第１画像に前記第２画像が関連付けられる場合には、前記重ね合わせた状態で表示する、
   ことを特徴とする撮像表示方法。
8. 請求項１記載の撮像表示方法において、
   第１撮影モードと第２撮影モードとを切り替え、
   前記第１撮影モードにおいて撮像された画像については、前記関連付けを行わず、
   前記第２撮影モードにおいて撮像された複数の画像については、グループとして前記関連付けを行う、
   ことを特徴とする撮像表示方法。
9. 請求項１記載の撮像表示方法において、
   前記撮像ステップにおいて、撮影場所を表す位置情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
   前記関連付けにおいて、前記第１画像の前記位置情報に対して前記第２画像の前記位置情報が所定の位置範囲内に含まれる場合に、前記関連付けの候補の画像として選択する、
   ことを特徴とする撮像表示方法。
10. 請求項１記載の撮像表示方法において、
    前記撮像ステップにおいて、撮影日時を含む情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
    前記関連付けにおいて、前記第１画像の前記撮影日時に対して前記第２画像の前記撮影日時が所定の時間範囲内に含まれる場合に、前記関連付けの候補の画像として選択する、
    ことを特徴とする撮像表示方法。
11. 請求項１記載の撮像表示方法において、
    前記撮像ステップまたは前記表示ステップにおいて、前記ユーザの操作に基づいて設定された文字列を、前記画像データのメタデータまたは管理情報として作成して記憶し、
    前記関連付けにおいて、前記第１画像の前記文字列に対して前記第２画像の前記文字列が同じ文字列を含む場合に、前記関連付けの候補の画像として選択する、
    ことを特徴とする撮像表示方法。
12. 請求項１記載の撮像表示方法において、
    前記撮像ステップは、１８０°以上で３６０°以内の画角を持つ広角画像を撮像可能であり、前記広角画像を前記第１画像として前記関連付けを行う、
    ことを特徴とする撮像表示方法。
13. 請求項１記載の撮像表示方法において、
    前記表示ステップにおいて、前記ユーザの操作に基づいて、
    第１表示モードとして、前記複数の画像に関する情報を一覧表示し、
    第２表示モードとして、前記第１表示モードで表示された一覧表示から選択された前記第１画像の上に、前記第１画像に関連付けられる前記第２画像または前記第２情報を前記重ね合わせた状態で表示し、
    第３表示モードとして、前記第２表示モードで表示された前記第２画像または前記第２情報に対応する前記第２画像を詳細表示する、
    ことを特徴とする撮像表示方法。
14. 請求項１記載の撮像表示方法において、
    前記表示ステップにおいて、前記第２画像または前記第２情報の位置情報を、前記画像データのメタデータまたは管理情報の項目の１つとして記憶し、
    前記ユーザの操作に基づいて、
    前記第１画像の上の前記第２画像または前記第２情報を移動させて、移動後の前記位置情報を前記項目に記憶し、
    前記第１画像の上の選択された位置に、前記第２画像の関連付けを追加し、前記第１画像の上の選択された位置にある前記第２画像の関連付けを解除する、
    ことを特徴とする撮像表示方法。

Images