JP2010049313A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】撮像画像閲覧の娯楽性、利便性の向上
を提供する。
【解決手段】基準画像と、この基準画像の撮像視野から外れたところを撮像している合成用画像とが、その撮像しているところの位置関係に対応するようにして配置された状態で、１つの表示用画像データとして合成する。この表示用画像データの表示としては、その部分領域を表示画面部に表示させることとした上で、移動指示に応じて、上記部分領域が移動されるようにして表示させる。
【選択図】図１６

Description

本発明は、例えば画像データを対象に処理を実行する画像処理装置とその方法に関する。また、画像処理装置に実行させるプログラムに関する。

撮像画像データに対して、撮像時の撮像装置の位置を示す位置情報などを付加することが可能となっている。
そして、例えば特許文献１には、上記位置情報と地図情報との照合を行って、その位置情報と一致又は近傍するランドマークの情報を得るようにされた構成が記載されている。

特開２００８−３３６１３号公報

本願発明としても、撮像画像データに対して位置情報などを付加することとしたうえで、この付加された位置情報を利用して、これまでよりも娯楽性が高く、また、有用性が高くなるような画像処理の構成を提案するものである。

そこで本発明は上記した課題を考慮して、画像処理装置として次のように構成することとした。
つまり、撮像位置を示す位置情報、及び撮像方向を示す方向情報が少なくとも付加情報として付加された撮像画像データであり、基準として選択された基準画像データの位置情報に基づいて、視点範囲を設定する視点範囲設定手段と、上記位置情報及び方向情報が付加情報として付加された撮像画像データを蓄積する蓄積部から、上記視点範囲内を視点位置にして上記基準画像データの画像枠よりも外の画像を撮像しているとの条件を満たす位置情報及び方向情報が付加情報として付加された撮像画像データを、合成用画像データとして取得する合成用画像データ取得手段と、上記基準画像データの画像と上記合成用画像データの画像を、上記位置情報と方向情報とに基づいて設定した位置に配置して合成して表示用画像データを生成する表示用画像生成手段と、表示制御として、上記表示用画像データにおける部分領域が表示画面部にて表示されるようにするとともに、表示領域の移動指示に応じて、これまで表示画面部にて表示すべき表示用画像データの部分領域を、上記移動指示により指示された移動方向に対応させて変更する表示制御手段とを備えることとした。

上記構成では、或る撮像視野により撮像した基準画像と、この基準画像の撮像視野から外れたところを撮像している合成用画像とが、その撮像しているところの位置関係に対応するようにして配置された状態で、１つの表示用画像データとして合成される。そして、この表示用画像データの表示としては、その部分領域を表示画面部に表示させることとした上で、移動指示に応じて、上記部分領域が移動されるようにして表示させることができる。

本発明は、基準となる撮像画像と、その周囲を撮像した画像とを収集した上で、これを臨場感のある態様で表示させることが可能になる。これにより、例えば撮像画像閲覧の娯楽性、利便性がより高められることになる。

以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。

＜１．システム概要＞
［システム構成・第１例］
［システム構成・第２例］
［システム動作概要］
＜２．デジタルスチルカメラ＞
［構成］
［撮像記録処理］
＜３．写真サーバ＞
＜４．実施形態のパノラマ画像表示＞
［第１の表示例］
［第２の表示例］
＜５．画像処理例＞
［キャンバスプロット処理］
［移動表示制御］
［処理手順例］
＜６．変形例＞
［第１の変形例］
［第２の変形例］
［第３の変形例］

＜１．システム概要＞
［システム構成・第１例］

図１は、本実施形態に対応する画像処理システムの全体的な構成としての第１例を示している。
この図に示される画像処理システムは、デジタルスチルカメラ１と写真サーバ２とがネットワーク３経由で通信可能に接続されて成るものとしている。

［システム構成・第２例］

また、図２に本実施形態の画像処理システムの第２例を示す。
図１の場合には、デジタルスチルカメラ１がデータインターフェース５によりパーソナルコンピュータ４と接続されている。なお、データインターフェイス５は有線によるものでも、無線によるものでもよい。
そのうえで、パーソナルコンピュータ４と写真サーバ２とがネットワーク３経由で接続されている。つまり、この場合には、デジタルスチルカメラ１が、パーソナルコンピュータ３のネットワーク通信機能を利用するようにして、写真サーバ２と接続している構成となっている。例えば、図１に示す第１例の構成では、デジタルスチルカメラ１自体がネットワーク接続機能を有している必要があるが、図２に示す第２例の構成であれば、デジタルスチルカメラ１がネットワーク接続機能を有していなくともよいことになる。
なお、この第２例のシステム構成の変形として、例えば、デジタルスチルカメラ１と、デジタルスチルカメラ１に対応した、クレードルなどといわれる周辺機器との組み合わせを考えることができる。例えばクレードルにデジタルスチルカメラ１が設置されると、クレードルとデジタルスチルカメラ１とが、有線若しくは無線によるデータインターフェイスにより接続されるようにする。さらに、クレードル自体に対してネットワーク接続機能を設けるようにする。

［システム動作概要］

ここで、図３を参照して、上記図１、図２に示した画像処理システムの動作の概略について述べておく。ここでは、図１に示した第１例の構成を挙げて説明する。また、ここでの説明は、図３に示される［ ］内に示される番号に従って行う。

［１］
先ず、デジタルスチルカメラ１を所有しているユーザは、デジタルスチルカメラ１を使用して撮像記録を行う。これにより、デジタルスチルカメラ１に装填されている記憶媒体（メモリカード３０）に、撮像により得られた画像データ（撮像画像データ）が、例えばJPEGなどの所定のファイル形式によって記憶され、蓄積されていくことになる。なお、ファイルとしての撮像画像データについては撮像画像ファイルという。
この撮像画像ファイルには、例えばExif(Exchangeable Image File Format)などに代表されるように、撮像記録された日時、そのときの露出などをはじめとするカメラ制御情報などがメタデータ（付加情報）として付加されている。本実施形態では、このようなメタデータとして、その撮像記録時におけるデジタルスチルカメラ１の撮影位置を示す位置情報と、その撮像記録時におけるデジタルスチルカメラ１の撮像方向（撮影方向）を示す方向情報とが含まれるものとする。

［２］
本実施形態のデジタルスチルカメラ１では、後述する態様によって複数の撮像画像ファイルの画像を利用したパノラマ画像を表示させる。ここで、ユーザがパノラマ画像を表示させたいと思ったときには、先ず、そのときにメモリカードに記憶されている撮像画像データのうちから、デジタルスチルカメラ１のパノラマ画像の基準となる撮像画像データを選択する。以降、この基準となる撮像画像データは、「基準画像」ともいう。

［３］
上記のようにして基準画像を選択したうえで、ユーザがパノラマ画像表示を指示する操作を行ったとする．これに応じては、デジタルスチルカメラ１が、基準画像とともにパノラマ画像を形成するのに必要な他の撮像画像データ（以降、「合成用画像」ともいう）を収集する。この収集にあたっては、その合成位置が決められた合成用画像ごとに、先ず、［３−１］の手順を行い、その結果、合成用画像としての条件を満たす撮像画像ファイルが収集されなければ、［３−１］の手順を行うものとする。

［３−１］
先ず、デジタルスチルカメラ１は、ローカルからの検索を行って収集を試みる。つまり、デジタルスチルカメラ１は、自身に装填されるメモリカードに記憶される撮像画像ファイルのうちから合成用画像としての条件を満たすものを検索する。

［３−２］
上記のローカルからの収集を行っても合成用画像としての条件を満たす撮像画像ファイルが取得できなかった場合には、デジタルスチルカメラ１は、ネットワーク３経由で写真サーバ２にアクセスする。
写真サーバ２においては、例えばネットワーク経由で膨大な数のユーザからアップロードされた、膨大な数の撮像画像ファイルを記憶管理している。なお、この場合には、写真サーバ２にて記憶管理されている撮像画像ファイルにも、位置情報、方向情報がメタデータとして含まれているものとする。
そして、デジタルスチルカメラ１は、アクセスした写真サーバ２に対して、上記合成用画像としての条件に対応した検索条件を指定して検索を要求する。この要求に応じて写真サーバ２は、自身が記憶管理するもののうちから、検索条件に該当する撮像画像ファイルを検索してデジタルスチルカメラ１に送信してくる。このようにして、デジタルスチルカメラ１は、ネットワーク３経由で、写真サーバ２からも合成用画像を収集可能とされている。

なお、例えば［３］の合成用画像の収集として、［３−２］に対応する写真サーバ２のみからの収集を行うようにしてもよい。若しくは逆に、［３−１］に対応するローカルのみからの収集を行うようにしてもよい。
合成用画像をローカルから収集するにあたっては、特にネットワーク接続機能をはたらかせる必要がないので、短時間で済み、また、手軽である。また、ローカルから収集した場合、基準画像を撮像記録していたときの撮像画像ファイルが検索される可能性が高い。従って、撮像記録時の周囲環境であるとかカメラ設定など共通している可能性が高く、それだけ合成したときの違和感が少ない。
一方、写真サーバ２は、膨大な数の撮像画像ファイルを記憶しているので、写真サーバ２から収集すれば、合成用画像としての条件を満たす撮像画像ファイルが取得できる可能性は非常に高い。
本実施形態では、このような両者の利点を享受するために、ローカルと写真サーバ２の両者から収集することとし、そのうえで、ローカルからの収集を先に行うこととしたものである。

［４］
デジタルスチルカメラ１は、例えば必要とされる全ての合成用画像の収集を実行して取得した合成用画像を利用して、デジタルスチルカメラ１の表示部（２３）の表示画面部（２３Ａ）での表示に利用する表示用パノラマ画像データを生成する。

［５］
次に、デジタルスチルカメラ１は、生成した表示用パノラマ画像データを利用して表示画面部に対してパノラマ画像を表示させる。

＜２．デジタルスチルカメラ＞
［構成］

図４は、本実施形態としてのデジタルスチルカメラ１の構成例を示すブロック図である。
この図において、先ず、光学系部１１は、例えばズームレンズ、フォーカスレンズなども含む必要枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ１２の受光面に結像させる。
また、光学系部１１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部１７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。

イメージセンサ１２は、上記光学系部１１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ１２は、光学系部１１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ１２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ１２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ１３に相当するアナログ−デジタル変換器も含めた構造とすることができる。

上記イメージセンサ１２から出力される撮像信号は、Ａ／Ｄコンバータ１３に入力されることで、デジタル信号に変換され、信号処理部１４に入力される。
信号処理部１４では、Ａ／Ｄコンバータ１３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データを生成することができる。

上記のようにして信号処理部１４にて生成した撮像画像データを記憶媒体であるメモリカード３０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部１４からエンコード／デコード部１５に対して出力するようにされる。
エンコード／デコード部１５は、信号処理部１４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部１７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データを実データとして有する、所定の静止形式による画像ファイルを生成し、メディアコントローラ１６に転送する。メディアコントローラ１６は、制御部１７の制御に従って、メモリカード３０に対して、転送されてくる画像ファイルのデータを書き込んで記録させる。

メモリカード３０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。
上記したように、メモリカード３０に記録される撮像画像データは、ファイル単位で管理される。このファイル単位による管理は、例えばメモリカード３０に対応する装置が実装するファイルシステムにより実現される。
なお、画像ファイルを記憶させる記憶媒体については、例えばディスク状記録媒体をはじめ、上記メモリカード以外の種別、形式などとされてもよい。

また、デジタルスチルカメラ１は信号処理部１４にて得られる撮像画像データを利用して表示部２３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部１４においては、先の説明のようにしてＡ／Ｄコンバータ１３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部１７の制御に従って表示ドライバ２２に対して転送する。

表示ドライバ２２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部２３を駆動するための駆動信号を生成し、表示部２３に対して出力していくようにされる。これにより、表示部２３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部２３において動画的に表示されていることになる。つまり、スルー画が表示される。

また、デジタルスチルカメラ１は、メモリカード３０に記録されている画像ファイルを再生して、その画像を表示部２３に対して表示させることも可能とされる。
このためには、制御部１７が画像ファイルを指定して、メディアコントローラ２６に対してメモリカード３０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像ファイルが記録されているメモリカード３０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。

エンコード／デコード部２５は、例えば制御部１７の制御に従って、メディアコントローラ２６から転送されてきた画像ファイルから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する画像データを得る。そして、この画像データを表示ドライバ２２に対して転送する。これにより、表示部２３においては、メモリカード３０に記録されている画像ファイルの画像が再生表示されることになる。

また表示部２３に対しては、上記のスルー画や画像ファイルの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部１７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ２２に対して出力するようにされる。これにより、表示部２３においてユーザインターフェイス画像が表示されることになる。
なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにスルー画や撮像画像データの再生画像とは個別に表示部２３の表示画面部に表示させることも可能であるし、スルー画や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。

さらに本実施形態においては、図３にて述べたように、表示部２３の表示画面部にて、パノラマ画像を表示させることが可能とされている。

制御部１７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ１８、ＲＡＭ１９などとともにマイクロコンピュータを構成する。ＲＯＭ１８には、例えば制御部１７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。
ＲＡＭ１９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ２０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおＲＯＭ１８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ２０に代えて、このＲＯＭ１８における一部記憶領域を使用することとしてもよい。

操作部２１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。また、この場合においては、操作部２１は、表示部２３の表示画面のパネル部分に設けられるタッチパネルの構成も含む。
制御部１７は、操作部２１から入力される操作情報信号に応じて所定の処理を実行する。

時計部２４は、現在の年月日、時刻を計時する部位である。

位置検出部２５は、このデジタルスチルカメラ１の位置を検出して位置情報を出力する部位である。この位置検出部２５の実際としては、例えばＧＰＳ(Global Positioning System)に対応する受信機、測位装置などを採用できる。このようにＧＰＳシステムを採用した場合には、緯度・経度による位置情報を得ることができる。

また、方向検出部２６は、そのときにデジタルスチルカメラ１が撮像しているとされる方向(撮像方向)を検出して方向情報を出力する。この場合、撮像方向は、光学系部１１における撮像用レンズ群の光軸に対応するものとなる。従って、ここでの撮像方向に対応する方向情報としては、方位、及び俯角／仰角(行俯角)を示す情報となる。なお、方向検出部２６は、例えばジャイロセンサなどを利用して構成できる。

通信部２７は、ネットワーク経由での通信に対応する通信部、また、ＩＥＥＥ１３９４やＵＳＢなどの所定の規格によるデータインターフェースによる通信に対応する通信部などをまとめて示したものとなる。

［撮像記録処理］

上記構成によるデジタルスチルカメラ１が実行するとされる撮像画像ファイルの記録のための処理手順例について、図５のフローチャートを参照して説明する。
デジタルスチルカメラ１は、撮像記録モードとされている状態の下で、ステップＳ１０１により、レリーズ実行指示が得られるのを待機している。レリーズ実行指示は、撮像画像の記録を指示するもので、例えば、シャッターボタン操作であるとか、セルフタイマーのタイマー時間が経過したタイミングなどに応じて発生する。デジタルスチルカメラ１は、レリーズ実行指示が得られると、ステップＳ１０２以降の手順に進む。

ステップＳ１０２において、デジタルスチルカメラ１は、そのときに位置検出部２５にて得られている位置情報を取得する。この位置情報は、レリーズ実行指示が得られたとするタイミング、即ち、今回の撮像画像ファイルの記録時におけるデジタルスチルカメラ１の位置を示す。

ステップＳ１０３においてデジタルスチルカメラ１は、そのときに方向検出部にて得られている方向情報を取得する。この方向情報は、レリーズ実行指示が得られたとするタイミング、即ち、今回の撮像画像ファイルの記録時における撮像方向（方位＋仰俯角）を示す。

また、ステップＳ１０４では、上記位置情報、方向情報以外で必要とされるメタデータを取得する処理を実行する。ここで取得するメタデータとしては、例えば撮像日時に対応するそのときの日時情報、各種カメラ制御情報などとなる。

ステップＳ１０５においては、レリーズ実行指示が得られたタイミングで撮像画像信号から取り込んだ静止画像データと、上記ステップＳ１０２〜Ｓ１０４により取得したメタデータとを利用して、所定の形式に従った撮像画像ファイルを生成する。
ステップＳ１０６においては、上記ステップＳ１０５により生成した撮像画像ファイルをメモリカード３０に書き込んで記憶させる。

上記ステップＳ１０５にて生成されてステップＳ１０６により記録される撮像画像ファイルの構造例を図６により模式的に示す。
この図の撮像画像ファイルは、メタデータ部、ボディ部から成るものとしている。メタデータ部は、例えばヘッダといわれる領域に対応する。本実施形態において、このメタデータ部においては、ステップＳ１０２、Ｓ１０３により取得した位置情報、方向情報が格納される。
ボディ部には、レリーズ実行指示の発生タイミングに応じて撮像画像信号から生成した静止画像データが格納される。

＜３．写真サーバ＞

図７は写真サーバ２の構成例を示している。写真サーバ２は、いわゆるサーバ対応のコンピュータシステムとして構成されるのであるが、この図に示される写真サーバ２は、制御部４１、記憶部４２、及び通信部４３から成るものとしている。
制御部４１は、写真サーバ２における各種の制御、処理を実行する。
記憶部４２には、ネットワーク３経由でアップロードされてきた画像ファイル（撮像画像ファイル）が記憶されている。
通信部４３は、ネットワーク３経由での通信を可能とするための部位である。

例えば、ネットワーク３を経由して端末などから画像ファイルがアップロードされてくると、写真サーバ２は、通信部４３により画像ファイルを受信取得する。
制御部４１は、受信された画像ファイルを記憶部４２に転送して記憶させ、例えばデータベースなどにより管理する。
また、例えばネットワーク３経由で写真サーバ２に対して検索要求が行われたとき、写真サーバ２の通信部４３は、検索要求を受信して制御部４１に転送する。
制御部４１は、受け取った検索要求が示す検索条件により記憶部４２に記憶されている画像ファイルに対する検索を行い、検索条件に該当した画像ファイルを抽出する。そして、このようにして抽出された画像ファイルのデータを、例えば検索要求元に対して送信することができる。

＜４．実施形態のパノラマ画像表示＞
［第１の表示例］

次に、本実施形態のデジタルスチルカメラ１により行うパノラマ画像表示として、第１の表示例について説明する。
図８（ａ）においては、表示部２３の表示画面部２３Ａにおいて、ユーザ操作により選択された基準画像Istが表示された状態を示している。そして、この基準画像Istを基準として第１の表示例としてのパノラマ画像表示を行うのにあたり、その表示用画像データ（表示用パノラマ画像データ）を図８（ｂ）に示すような概念により生成する。

図８（ｂ）では、二次元方向において、基準画像Istの上に合成用画像Icm1が配置され、左に合成用画像Icm2が配置され、右に合成用画像Icm3が配置され、下に合成用画像Icm4が配置されている。また、画像内容としては、合成用画像Icm1は基準画像Istよりも少し上側を撮像したものとされ、合成用画像Icm2は基準画像Istの少し左側を撮像したものとされ、合成用画像Icm3は基準画像Istの少し右側を撮像したものとされ、合成用画像Icm4は基準画像Istの少し下側を撮像したものとされる。
これは、図９に示すようにして、概念的には、１つの視点位置Ｐ（実際の処理では後述するようにして一定の範囲が与えられる）から基準画像Istを撮像したときの方向を中心として、その周囲近傍に撮像方向をずらして撮像された画像を、ほぼ、その撮像方向に対応させて配列させたものとしてみることができる。また、この点からすると、合成用画像は、基準画像の画枠（画像枠：例えば基準画像を撮像したときのカメラの視野範囲が相当する）内から外れた画像部分を持つ画内容を有している画像であるとみることができる。

なお、ここでは合成用画像としては、合成用画像Icm1〜Icm4の４つのみとされているが、実際においては、予め定めた視野方向範囲により撮像されたとされる、より多数の合成用画像を配列させる。

そして、上記図８（ｂ）のようにして配列させた基準画像Istと合成用画像Icmとにより生成した表示用画像データを、例えば図８（ｃ）に示すようにして表示画面部２３Ａに対して表示させる。
なお、図８（ｂ）では、単に、撮像方向におおまかに合わせて、基準画像Istの周囲に規則的に合成用画像Icmを配置しているだけであるが、図８（ｃ）を見て分かるように、表示時においては、基準画像Istに対して、各合成用画像Icmの水平及び垂直方向の位置が合わせられている。即ち、表示用パノラマ画像データの生成に際しては、このような画像間の位置調整も行うこととしている。これにより、パノラマ画像として表示されたときにみやすいものとすることができる。

そして、図８（ｃ）に示すようにして、表示画面部２３Ａに対して表示用パノラマ画像データに基づいてパノラマ画像を表示させる。
この図８（ｃ）に示されているパノラマ画像は、表示開始時において表示された画内容とされ、先ず、基準画像Istに対してカーソルCRが配置されている。そのうえで、このパノラマ画像を対象としては、上下左右の各方向に対する表示領域の移動を指示する操作を行うことが可能とされている。この操作は、操作部２１に対する操作として、例えば、上下左右に対応させたキーに対する操作などとされてもよいし、また、表示画面部２３Ａに対するタッチパネル操作などとされてもよい。

ここで、例えば左移動を指示する操作を行ったとすると、表示画面部２３Ａのパノラマ画像は、基準画像Istの直ぐ左隣りに配置される画像にカーソルＣＲが配置されたうえで、この画像がほぼ中央に来るようにして変化する。また次に、他の右、上、下への移動を指示する操作を行えば、この指示された方向において直ぐ隣りに配置される画像にカーソルＣＲ画は位置されると共に、この画像がほぼ中央にくるようにして変化する。
このようにして、例えば上下左右（斜め方向を加えてもよい）方向への移動指示に応じて、パノラマ画像における表示領域を段階的に移動させることが可能とされている。これにより、例えば模式的には図８（ｂ）のようにして形成されたパノラマ画像の全体をみることが可能となっている。

［第２の表示例］

続いて第２の表示例について、図１０、図１１により説明する。
図１０（ａ）には、図８（ａ）と同様にして、表示画面部２３Ａにおいて基準画像Istが選択されて表示されている状態が示されている。そして、ここから、第２例としての画像表示を行おうとした場合には、表示用パノラマ画像データの生成にあたり、概念的には、図８（ｂ）に示すような合成が行われる。

つまり、第１例の場合には、基準画像Istの外側の周囲において、合成用画像Icmを、その撮像方向に対応させた位置に配置させていた。
これに対して、第２例の場合には、基準画像Istに対して合成用画像Icmをつなぎ合わせるようにして配置している。即ち、例えば基準画像Istを核の画像として、その周囲の画像を、合成用画像Icmの画像を利用して足しつないでいくようにして画像合成を行うことで、１つの表示用パノラマ画像データを生成する。

また、この画像合成に際しては、図１１（ａ）に示すようにして、隣り合う画像Ｉ1、I2間の被写体サイズが異なっている場合が当然のこととして生じ得る。そこで、このような場合には、図１１（ｂ）に示すようにして、例えば画像I2のほうを拡大する（画像I1を縮小してもよい）処理を行って、被写体のエッジを合わせて、うまくつながるようにして合成することとしている。これにより、例えば画像（基準画像及び合成用画像）の間での被写体距離の違いによる画像上での被写体サイズの相違を吸収できる。

そして、このようにして生成した表示用パノラマ画像データに基づいて、図１０（ｃ）に示されるようにしてパノラマ画像が表示画面部２３Ａにおいて表示される。この場合には、上下左右、及び上左斜め、上右斜め、下左斜め、下右斜めの８方向への移動指示が行えるようにされている。そして、操作により指示された方向に対して、パノラマ画像が連続的にスクロールされるようにして表示されるようになっている。

これまでの一般的なデジタルスチルカメラでのビューワ機能では、複数の撮像画像ファイルの画像を、１枚ずつ送り／戻しの操作をしながら見る、若しくは、単に定められた順序で縦横に配列させたサムネイルを見る、というものである。
基準画像Istを元にして、例えば図３にて説明したように、その周囲を撮像した撮像画像ファイル（合成用画像）を収集して取得したとしても、これらの画像を、上記のこれまでのビューワ機能により見たのでは、あまり、臨場感のあるものにはならない。

これに対して、本実施形態による上記第１の表示例、第３の表示例のようにして基準画像Istと合成用画像Icmとを合成させたパノラマ画像を表示させるようにすれば、より臨場感は高められることになる。また、その分、娯楽性も増すことになる。特に、写真サーバ２から収集してきた撮像画像ファイルによる合成用画像を利用した場合には、そのユーザが撮像していない画像が合成されることになるので、ユーザが予期しないような場面が作り出される可能性も高く、それだけ娯楽性も高まる。

＜５．画像処理例＞
［キャンバスプロット処理］

続いては、本実施形態としてのパノラマ画像表示のための画像処理についての、より具体的な態様例について述べていく。なお、ここでの説明にあたっては、図８に示した第１の表示例に対応させた画像処理例を挙げる。

本実施形態において基準画像Ist及び合成用画像Icmを合成するのにあたっては、先ず、図１２に示されるキャンバス（仮想画像配置面）４０を定義して設定する。
キャンバス４０は、仮想的に、基準画像Ist及び合成用画像Icmを貼り付けていく台紙といえる。

１つのキャンバス４０は、図において破線で示すようにして、予め定められた水平サイズ×垂直サイズのブロック（配置領域）４１により分割する。ここでは、キャンバス４０を、５行７列による３５個のブロック４１により分割している例を示している。ここでは、ブロック４１の配列について、行については上から下にかけてL0〜L4として示し、列については左から右にかけてC0〜C6により示している。
なお、これは図示の都合により決めたブロック数及び配列であり、実際においては、異なるブロック数、配列態様とされてよい。

そして、先ずは、例えば基準画像Istの画像の重心（例えば画枠を成す四角形の対角線の交点）である中心点Cstを、水平／垂直の両方向において中央となるブロック(L2，C3)内に対して配置(ここではプロットともいう)する。これにより、キャンバス４０上にて、基準画像Istが配置（プロット）される位置が決められたことになる。
以降は、図１３に示すようにして、残りのブロックのそれぞれに対して、１つの合成用画像Icmの中心点を配置していくようにする。図１３においては、ブロック(L3,C2)に対して合成用画像Icm1の中心点Ccm1をプロットし、ブロック(L3,C5)に対して合成用画像Icm2の中心点Ccm2をプロットし、ブロック(L1,C6)に対して合成用画像Icm3の中心点Ccm3をプロットしている。以降、同じ要領により、１つのブロックに対して１つの合成用画像Icmの中心点Ccmをプロットしていき、最終的には、全てのブロックにおいて１つの合成用画像Icmの中心点Ccmがプロットされる状態とする。このようにして、１つの基準画像Istと３４の合成用画像Icmの中心点Cst、Ccmについてのキャンバス上でのプロット位置を決定する。

そして、上記のようにして、キャンバス４０上に対して、必要な全ての中心点をプロットしたとされると、これらの中心点を基にして、基準画像及び合成用画像を貼り付けていくようにして画像処理を行い、例えば、図８（ｃ）に示した表示態様となる表示用パノラマ画像データを生成する。

ここで、キャンバス４０に対してプロットする画像（撮像画像ファイル）と、位置情報及び方向情報の関係について、図１４を参照して説明する。
図１４（ａ）は、図１２に対応している。つまり、キャンバス４０に対して基準画像Istのみをプロットさせた状態である。
本実施形態では、基準画像Istがメタデータとして持つ位置情報Pstを、基準視点位置として設定する。なお、位置情報は、緯度、経度により示されるものとする。そのうえで、この基準視点位置Pstを基点として定めた一定範囲を視点範囲５０として設定する。このようにして設定される視点範囲５０は、基準視点位置Pstを面積的に拡張したものとしてみることができる。

なお、本実施形態としては、例えば視点範囲５０を設定することなく、基準視点位置Pstと一致する位置情報を有する撮像画像ファイルのみが合成用画像の候補としてもよい。ただし、現実的なこととして、全く同じ位置にて或る程度の撮像方向範囲で撮像した画像は非常に少ないと考えられる。そこで、本実施形態では、視点範囲５０を設定することで、合成用画像の候補となる撮像画像ファイルを確保しやすくしている。

ここで、上記基準視点位置Pstからキャンバス４０においてプロットした基準画像Istの中心位置Cstに延びる、矢印により示される線（撮像方向線）は、基準画像Istがメタデータとして持つ方向情報Dst、即ち撮像方向に対応していることになる。

次に、図１４（ｂ）は、図１３の状態に対応した例を示している。つまり、キャンバス４０に対して、基準画像Istとともに合成用画像Icm1〜Icm3がプロットされている状態である。
ここで、合成用画像Icm1を見てみると、これに対応する視点位置P1は、視点範囲５０内に存在している。つまり、合成用画像Icm1としての撮像画像ファイルがメタデータとして持つ位置情報は、視点範囲５０内に含まれている。
また、視点位置P1からキャンバス４０における合成用画像Icm1の中心位置Ccm1までに至る矢印付きの線（撮像方向線）は、そのときの撮像方向を示していることになる。つまり、合成用画像Icm1としての撮像画像ファイルがメタデータとして持つ方向情報D1を表している。
同様にして、視点位置P2,P3が対応する合成用画像Icm2,Icm3の位置情報視点範囲５０内に存在している。かつ、視点位置P2,P3からキャンバス４０における合成用画像Icm2，Icm3の中心位置Ccm2,Ccm3までに至る矢印も、合成用画像Icm2，Icm3としての撮像画像ファイルがメタデータとして持つ方向情報D2,D3を表している。

このことからすると、合成用画像Icmとなる撮像画像ファイルの条件は、先ず、視点範囲５０内に含まれる位置情報を持ち、かつ、キャンバス４０において形成されている特定のブロックを通過することのできる方向情報を持っている撮像画像ファイル、ということになる。

従って、本実施形態のデジタルスチルカメラ１が合成用画像を収集するときには、先ず、上記の位置情報と方向情報を持つ撮像画像ファイルを検索して取得していけばよいことになる。

なお、例えば撮像画像ファイルのメタデータとして、被写体距離の情報が含められているとした場合には、上記位置情報及び方向情報に加えて、この被写体距離情報も合成用画像の収集に利用することができる。被写体距離の情報に基づけば、例えば基準画像と近い被写体距離の合成用画像を収集できることになるので、例えば、画像合成に際してもほぼ同じ被写体サイズで撮像された画像を集めることができる。これにより、例えば図１１により示したような被写体サイズ調整に際しては、あまり大きな拡大・縮小を行う必要が無くなる。

また、第２の表示例に関しても、上記図１２〜図１４により説明したようにして、キャンバス上のブロックに対して画像の中心点をプロットしていくようにして基準画像及び合成用画像を貼り付けていく処理を行えばよい。そのうえで、図１０（ｂ）、図１０（ｃ）に示したように、画像を繋げていくようにして合成する画像処理を行えばよい。

［移動表示処理］

続いては、第１の表示例に対応した、パノラマ画像の移動表示のための制御例について述べる。確認のために述べておくと、第１の表示例に対応した移動表示の態様は、先に図８（ｃ）により説明したとおりである。

図１５に示されるキャンバス４０には、全てのブロック４１に対して中心点Cst，Ccmがプロットされている状態を示している。そして、このプロットの結果に従って生成された表示用パノラマ画像データによりパノラマ画像が表示されているものとする。
また、ここで「表示対象ブロック」を定義する。対象ブロックは、そのときにパノラマ画像上でカーソルＣＲが配置されて表示されている画像の中心点がプロットされているブロックである。

いま、対象ブロックが、基準画像Istに対応するブロック(L2,C3)であるとする。この状態において、例えば一回の左への移動を指示する操作が行われたとする。これに応じて、表示制御としては、対象ブロックをブロック(L2,C3)の左隣に位置するブロック(L2,C2)に変更設定する。そして、このようにして対象ブロックを変更したことに応じては、パノラマ画像について、新たに対象ブロックとなったブロック(L2,C2)に中心点がプロットされた画像にカーソルＣＲを配置する。また、これとともに、ブロック(L2,C2)に中心点がプロットされた画像が、表示画面部２３Ａのほぼ中央にて最前面で表示されるようにして、表示画面部２３Ａに表示させる有効画像領域を切り換えて表示を行えばよい。なお、右、上、下に対する移動指示の操作が行われた場合にも、その指示された方向において、これまでの対象ブロックと隣り合うブロックを新たな対象ブロックとして設定し、この新たな対象ブロックにプロットされた画像が表示画面部２３Ａのほぼ中央にて最前面で表示されるようにする。
このようにして、例えば第１の表示例におけるパノラマ画像の移動表示は、ブロックに基づいて行うことができる。

なお、第２の表示例における表示用パノラマ画像データとしては、基準画像Ist及び合成用画像Icmとにより１つのつながった画内容を持つものとして生成される。従って、移動表示は、指示された移動方向及びその移動量に応じて、表示画面部２３Ａに表示させる有効画像領域も移動させていくという、いわゆるスクロール表示制御を実行すればよい。

［処理手順例］

図１６のフローチャートは、デジタルスチルカメラ１が、上記図１２〜図１４による説明に従って表示用パノラマ画像データ生成して、パノラマ画像を表示開始させるまでの処理手順例を示している。この図に示される処理は、デジタルスチルカメラ１における制御部１７（ＣＰＵ）がプログラムに従って実行する処理としてみることができる。ここでは、図に示される各ステップの処理を実行する主体が制御部１７であることとして説明する。また、ここでの処理手順例は、第１の表示例としてのパノラマ画像の表示に対応したものである。

ステップＳ２０１では、制御部１７は、例えばユーザの操作に応じて得られた、基準画像Istの選択決定、及びパノラマ画像の表示開始の指示を入力して受け付け、ステップＳ２０２以降の処理に進む。

ステップＳ２０２においては、選択された基準画像Istとしての撮像画像ファイルのメタデータである位置情報Pst、及び方向情報Dstを読み出して取得する。
ステップＳ２０３においては、視点範囲５０（図１４参照）を設定する。即ち制御部１７は、上記ステップＳ２０２により取得した位置情報（基準視点位置）Pstが示す位置を基準点として予め定められた一定距離の範囲を設定する。これが視点範囲５０となる。なお、最も簡単な例の１つは、位置情報Pstが示す位置を中心とした一定の半径距離を有する円形状の範囲を視点範囲５０とするものである。もちろん、これは一例であって、例えば所定の条件によって求められる楕円形状、四角形状などとされてもよい。

ステップＳ２０４では、キャンバス４０を定義（決定）する。つまり、図１２、図１４に示したように、基準画像Istの基準視点位置Pstと方位情報Dstとにより決まる撮像方向線を通過する位置を中心点Cstとして設定する。これにより、基準視点位置Pstとキャンバス４０との位置関係も決めることができる。

ステップＳ２０５以降は、上記ステップＳ２０４により定義されたキャンバス４０上のブロック４１に対して合成用画像Icmをプロットしていくための処理となる。
ここで、ステップＳ２０５以降の処理を実行するのにあたって、キャンバスにおけるブロックに対しては番号を付すこととする。この番号を付す規則としては特に限定されないが、ここでは、図１２のキャンバスであれば、１行目から５行目にかけて、順次、左から右の列となる順で０〜３４の番号を付していくものとする。

ステップＳ２０５では、ブロック４１ごとに付した番号を示す変数ｎについて初期値として０を代入する。

ステップＳ２０６では、番号ｎのブロック（ブロックｎ）に対してプロットできる中心点Ccmを持つ撮像画像ファイルの検索条件を生成する。
この検索条件は、位置情報と方向情報との組み合わせとなる。
先ず、位置情報としては、ステップＳ２０３により設定された視点範囲５０に含まれるべきものとなる。また、方向情報としては、上記の位置情報に対応する視点位置Pを起点として、撮像方向線がブロックｎ内の領域を通過できる範囲にあることが必要になる。上記検索条件としては、このような位置情報の範囲と方向情報の範囲の論理積となる。この方向範囲の情報については、視点位置範囲５０に対応する位置情報の範囲と、視点位置範囲５０（基準視点位置Pst）からのブロックｎの方向の情報などを利用した所定の演算により求めることができる。

ステップＳ２０７では、先ず、図３の［３−１］の説明に従い、ローカル、即ちメモリカード３０において記憶されている撮像画像ファイルのうちから、ステップＳ２０６にて生成した検索条件に該当する位置情報と方向情報の組み合わせを持つものを検索する。

ステップＳ２０８では、上記ステップＳ２０７による検索結果に基づき、ステップＳ２０８により、検索された撮像画像ファイルが有ったか否かについて判別する。ここで、肯定の判別結果が得られた場合には、後述するステップＳ２１１に進む。これに対して、ステップＳ２０８にて否定の判別結果が得られたのであれば、ステップＳ２０９に進む。

ステップＳ２０９に至った場合、ブロックｎにプロットできる撮像画像ファイルは、ローカルには存在していなかったことになる。そこで、この場合には、ステップＳ２０９により、図３の［３−２］の説明に従い、写真サーバ２に対する検索を実行する。
このためには、制御部１７は、通信部２７を制御してデジタルスチルカメラ１を写真サーバと接続させたうえで、ステップＳ２０６により生成した検索条件を、必要に応じて写真サーバ２が解釈可能な形式に変換した上で、写真サーバ２に送信する。つまり写真サーバ２に対して検索要求を行う。

写真サーバ２においては、この検索要求の受信に応答して、例えば制御部４１が、要求とともに受信した検索条件に該当する位置情報と方向情報の組み合わせを持つ撮像画像ファイルを記憶部４２から検索する処理を実行する。そして、検索条件に該当する撮像画像ファイルがあれば、これらをデジタルスチルカメラ１に対して送信する。無ければ、検索条件に該当する撮像画像ファイルは無かったことの通知を行う。

ステップＳ２１０においては、上記した写真サーバ２からの応答の結果に基づき、検索条件に該当する撮像画像ファイルが有ったか否かについての判別を行う。ここで肯定の判別結果が得られたのであれば、ステップＳ２１１に進む。これに対して否定の判別結果が得られた場合には、ブロックｎにプロットできる撮像画像ファイルはローカルにも写真サーバ２にも無かったことになる。この場合には、ステップＳ２１１，Ｓ２１２をスキップしてステップＳ２１３に進む。

ステップＳ２０８、又はステップＳ２１０により肯定の判別結果が得られた場合には、ステップＳ２１１に進むことになる。
ステップＳ２１１に至った場合、検索された撮像画像ファイルは複数存在する可能性がある。しかし、１つのブロック４１に対してプロットできる中心点、即ち撮像画像ファイルは１つのみとされている。そこで、ステップＳ２１１においては、条件を与えて、最終的に最も適切とされる１つの撮像画像ファイルに絞り込むための絞り込み処理を行う。この絞り込み処理により残った１つの撮像画像ファイルが、即ち、ブロックｎに対応する合成用画像となる。

そこで、続くステップＳ２１２においては、ブロックｎに対して、上記ステップＳ２１１により得られた合成用画像の中心点をプロットする処理を実行し、ステップＳ２１３に進む。

ステップＳ２１３に至った段階では、ブロック０〜ブロックｎまでについて、プロットの処理が完了していることになる。なお、ステップＳ２１０において否定の判別結果が得られた場合には、プロットすべき撮像画像ファイルがなかったことが確定されたことを以て、プロット処理の完了となる。
ステップＳ２１３においておいては、ブロック番号を示す変数ｎについて最大値であるか否かについて判別する。ここで否定の判別結果が得られた場合には、未だプロットの処理が完了していないブロックがあることになる。そこで、ステップＳ２１４により変数ｎについてインクリメントしてステップＳ２０６に戻る。
これに対してステップＳ２１３にて肯定の判別結果が得られた場合には、ステップＳ２１５、Ｓ２１６の処理を実行する。

ステップＳ２１５に至った段階では、キャンバス４０における全てのブロック４１についてプロットの処理が完了しており、ブロックごとに対応する１つの撮像画像データが得られている状態にある。
ステップＳ２１５においては、先の説明のようにして、第１の表示例としての態様の表示に対応する表示用パノラマ画像データを生成する。次に、ステップＳ２１６により、生成した表示用パノラマ画像データを利用して表示画面部２３Ａに対してパノラマ画像を表示させる。

なお、ステップＳ２１０を経てステップＳ２１１に進んだ場合には、デジタルスチルカメラ１においては、写真サーバ２から取得した撮像画像ファイルのデータを保持していることになる。この写真サーバ２から取得した撮像画像ファイルの扱いとして、例えば１つには、ＲＡＭに保持しておくこととして、今回のパノラマ画像表示が終了したタイミングに応じて破棄することが考えられる。若しくは、メモリカード３０に記憶させることも考えられる。

次に、図１７のフローチャートにより、上記図１６のステップＳ２１１としての絞り込み処理の手順例について説明する。
図１７において、先ず、ステップＳ３０１においては、図１６のステップＳ２０７若しくはステップＳ２０９により検索された撮像画像データが１つ（１枚）であるか否かについて判別する。
ここで肯定の判別結果が得られた場合には、この１つの撮像画像データを合成用画像とすればよく、実質的な絞り込み処理を行う必要はない。そこで、この場合には、ステップＳ３０２〜Ｓ３０９までの処理をスキップしてステップＳ２１２に進む。
これに対して、ステップＳ３１０にて否定の判別結果が得られた場合には、複数の撮像画像ファイルが検索されていることになる。そこで、この場合にはステップＳ３０２以降の手順に進む。

ここで、本実施形態としては、基準画像と合成用画像とにより形成されるパノラマ画像として、できるだけ臨場感が得られるようにすることを最優先させるという考え方をとる。この場合、合成用画像としては、できるだけ基準画像に近い環境で撮像されたものが好ましいことになる。撮像された環境が似ていれば、それだけ基準画像と合成用画像の色合いであるとか雰囲気などが似てくるために臨場感を与えやすくなるからである。
ステップＳ３０２以降の絞り込み処理は、以降の説明から分かるように、この考え方に従ったものとなっている。

ステップＳ３０２においては、先ず、検索された撮像画像ファイルと基準画像としての撮像画像ファイルとから、メタデータの１つである撮像記録の日時を示す日時情報を読み込んで取得する。なお、ここでの日時情報は、年、月、日、時、分（、秒）によるものであるとする。
また、ステップＳ３０２においては、検索された撮像画像ファイルと基準画像としての撮像画像ファイルから、位置情報のメタデータも読み込んで取得しておく。この位置情報は、ステップＳ３０９にて利用する。

ステップＳ３０３においては、上記ステップＳ３０２により取得した日時情報における時刻（時、分）の情報を利用した絞り込み処理を実行する。
ここでの絞り込み処理としては、例えば、基準画像の時刻に対して、差分が最も少ないとされる時刻の撮像画像ファイルを候補として抽出する。
例えば、差分について「３０分以内」、「１時間以内」、「３時間以内」「６時間以内」・・・のようにしてグループ化して、このグループに対して候補の撮像画像ファイルを当て嵌めていく。そして、これらのうちで最も小さな差分に属している撮像画像ファイルを候補として抽出する。

例えば、基準画像が日中に撮像されたものであるのに対して、合成用画像が夜に撮像されたものであると、撮像した位置や方向が近くとも、相当に雰囲気の違う画像が合成されてしまう。
そこで、時刻による絞り込みを行うこととすれば、基準画像が撮像された時刻と合成用画像が撮像された時刻が近くなる。即ち、合成用画像としては、基準画像と同じ時間帯に撮像されたものが抽出される可能性が高くなり、同じような日照、照明の状態が得られることになる。

ステップＳ３０４においては、上記ステップＳ３０３による処理により絞り込まれた撮像画像ファイルが１枚のみであるか否かについて判別する。ここで、肯定の判別結果が得られたのであれば、ステップＳ３０５以降の絞り込み処理はスキップして、ステップＳ２１２に進む。
これに対して否定の判別結果が得られた場合には、ステップＳ３０５に進む。

ステップＳ３０５においては、ステップＳ３０３により候補として残った複数の撮像画像ファイルを対象にして、季節による絞り込み処理を実行する。
例えば同じ位置、方向から撮像した画像であっても、季節が異なれば、相当に異なる雰囲気となる可能性は相応に高い。そこで、ステップＳ３０５においては、上記候補として残ったもののうちから、基準画像の季節に最も近いとされる季節の撮像画像ファイルを候補として抽出する。
このためには、ステップＳ３０２にて取得した日時情報における月の情報を用いる。例えば、春については３月〜５月、夏については６月〜８月、秋については９月から１１月、冬については１２月から２月、のようにして設定する。そして、先ずは、基準画像の季節と同じ季節の撮像画像ファイルがあれば、これらの撮像画像ファイルを新たな候補とし、無ければ、基準画像の季節に対して、その次（若しくはその前）となる季節の撮像画像ファイルを探していく。このような手順で、季節による絞り込みを行う。

ステップＳ３０６では、上記ステップＳ３０５による絞り込み処理の結果、候補として残った撮像画像ファイルが１つであるか否かについて判別し、肯定の判別結果であれば、ステップＳ２１２に進む。これに対して否定の判別結果が得られたのであれば、ステップＳ３０７に進む。

ステップＳ３０７においては年代による絞り込み処理を実行する。
同じ位置、方向により撮像しても、年代が離れるほど、例えば建物の様子であるとか周囲の環境が変化している可能性が高くなる。従って、年代が近いほど、合成用画像としては好適であることになる。
そこで、ステップＳ３０７においては、ステップＳ３０５により候補として残ったもののうちから、基準画像の年代にできるだけ近い撮像画像ファイルを候補として抽出する。
この年代による絞り込みでは、ステップＳ３０２にて取得した日時情報における年の情報を用いる。そのうえで、時刻に準じて、基準画像との年代の差分について「１年以内」、「５年以内」、「１０年以内」、「３０年以内」・・・のようにしてグループ化して、このグループに対して候補の撮像画像ファイルを当て嵌めていく。そして、これらのうちで最も小さな差分に属している撮像画像ファイルを候補として抽出する。

ステップＳ３０８においては、上記ステップＳ３０７による絞り込み処理の結果、候補として残った撮像画像ファイルが１つであるか否かについて判別し、肯定の判別結果であれば、ステップＳ２１２に進む。これに対して否定の判別結果が得られたのであれば、ステップＳ３０９に進む。

ステップＳ３０９及びステップＳ３１０は、天候による絞り込み処理に関連する。
つまり、基準画像を撮像したときの天気と、合成用画像の天気とが異なっていれば、異なる雰囲気の画像になってしまう。例えば基準画像が晴天時のものならば、合成用画像も晴天時のものとしたほうが、同じような雰囲気になって好ましい。

先ず、ステップＳ３０９においては天候情報を取得する。
このために、基準画像と、現段階において候補として残っている複数の撮像画像ファイルのそれぞれについての天候を、ネットワーク３経由で、天候情報サーバ（図示せず）に問い合わせる。この問い合わせに際して、画像ごとに、日時情報と位置情報とを天候情報サーバに対して送信する。

天候情報サーバでは、画像ごとに、その日時情報が示す日時においてその位置情報が示す地域について記録されている天候を検索して、この検索した天候の内容を示す天候情報として、デジタルスチルカメラ１に対して返す。これにより、デジタルスチルカメラ１側では、画像ごとの天候情報を得ることができる。

そして、制御部１７は、ステップＳ３１０により、上記のようにして取得した天候情報を利用して、基準画像の天候とできるだけ近い天候の撮像画像ファイルを候補として抽出する処理を実行する。例えば基準画像の天候情報が晴天を示すのであれば、同じく晴天の撮像画像ファイルを抽出するようにする。ここで、同じ晴天の撮像画像ファイルが無ければ、例えば、晴天にできるだけ近い天候として、曇りの撮像画像ファイルを抽出するようにする。さらに無ければ、雨の撮像画像ファイルを抽出する。このようにして、できるだけ基準画像に近い天候で撮像された撮像画像ファイルを抽出する。

なお、ここでの絞り込み処理としては、この天候によるものが最終段階とされている。このため、例えば上記の処理によっても未だ複数の撮像画像ファイルが候補として残った場合には、予め定めた規則（例えば最も日時情報が近いもの選択する）に従って、１つの撮像画像ファイルを最終候補として決定する。これがブロックｎにプロットすべき撮像画像ファイル、即ち、合成用画像となる。
ステップＳ３１０による処理を完了するとステップＳ２１２に進む。

なお、上記処理では、絞り込み処理は、時刻、季節、年代、天候のパラメータの順で行っている。これは、合成用画像を選別するにあたっての優先順を、上記時刻、季節、年代、天候の順としていることによる。ただし、ここで設定している優先順は、あくまでも妥当とされる１つの考え方に基づいたものであり、他の考え方に基づいて、上記とは異なる優先順とされてもよい。つまり、絞り込み処理にあたって利用するパラメータの順番は、適宜変更されてよい。また、上記した時刻、季節、年代、天候の一部を利用した絞り込み処理とすることも考えられる。

また、上記図１７の処理は、先にも述べたように、１つの考え方として、できるだけ基準画像に近い雰囲気の合成用画像を得ることを目的として構成されたものである。
しかし、これとは別に、娯楽性を高めるために、基準画像の雰囲気からはかけ離れた合成用画像を敢えて合成させることで、パノラマ画像のちぐはぐさであるとか意外性などを楽しんでもらうという考え方をとることもできる。この場合には、例えば図１７の絞り込み処理として、時刻、季節、年代、天候の少なくとも１つについて、基準画像に対してできるだけかけ離れた撮像画像ファイルをほう補として抽出するようなアルゴリズムとすることも考えられる。

図１８のフローチャートは、図１６のステップＳ２１６としてのパノラマ画像の表示開始処理、及び以降の表示に対応する表示制御のための処理手順例を示している。なお、ここでの表示制御も、第１の表示例に対応したものである。
ここでは、はじめのステップＳ４０１、及びステップＳ４０２が、ステップＳ２１６の表示開始の処理に対応する。

ステップＳ４０１において制御部１７は、初期設定として、キャンバスにおいて基準画像が対応するブロック、即ち基準画像の中心点がプロットされているブロックを表示対象ブロックとして設定する。
次に、ステップＳ４０２により、表示対象ブロックにその中心点がプロットされている画像が主画像として表示されるようにして制御を実行する。
つまり、表示対象ブロックに対応する画像が表示画面部２３Ａのほぼ中心に位置して最前面で表示されるようにする。また、この画像に対してカーソルＣＲを配置表示させる。
初期表示では、ステップＳ４０１によって基準画像が表示対象ブロックに対応付けられているので、基準画像が主画像として表示される。

ステップＳ４０３においては、パノラマ画像の表示停止を指示する操作が行われたか否かについて判別している。ここで肯定の判別結果が得られたのであれば、ステップＳ４１２に進むことで、これまでのパノラマ画像表示を停止させて通常表示に切り換えるための表示制御を実行する。ここでの通常表示とは、例えば、メモリカード３０に記憶されている画像を通常に再生して表示画面部２３Ａに表示させることをいう。
これに対して、ステップＳ４０３にて否定の判別結果が得られた場合には、ステップＳ４０４に進む。

ステップＳ４０４においては、記録指示の操作が行われたか否かについて判別する。この記録指示の操作は、例えばパノラマ画像表示中におけるシャッターキー操作であるとか、パノラマ画像の表示中において同じ表示画面部２３Ａにメニュー画面を呼び出して記録指示のための操作を行うような態様を考えることができる。
ステップＳ４０４において記録指示操作は行われなかったとして否定の判別結果が得られた場合には、ステップＳ４０５をスキップしてステップＳ４０６に進む。

これに対して、ステップＳ４０４において記録指示操作が行われたとして肯定の判別結果が得られた場合には、ステップＳ４０５の処理を実行してからステップＳ４０６に進む。
ステップＳ４０５においては、記録指示操作が行われたときに表示画面部２３Ａに表示させていたパノラマ画像を、１つの撮像画像ファイルとして、メモリカード３０に記録するための処理を実行する。

つまり、本実施形態では、ユーザが移動表示操作を行いながらパノラマ画像を表示させているときに、気に入った画像があれば、記録指示操作を行うことで、その画像を他の撮像画像ファイルと同じく、メモリカード３０に記憶させておくことができる。これにより、パノラマ画像を見るだけではなく、記録することも可能となって、例えば娯楽性などがより高まる。

ステップＳ４０６においては、パノラマ画像を移動させる操作が行われたか否かについて判別しており、ここで否定の判別結果が得られたのであれば、ステップＳ４０３に戻るようにされている。
これに対してステップＳ４０６において肯定の判別結果が得られたのであれば、ステップＳ４０７に進む。

ステップＳ４０７においては、ステップＳ４０６の操作に応じて指示された移動方向について、上、下、左、右のいずれであるのかを判別する。
上であると判別した場合には、ステップＳ４０８に進んで、これまで表示対象ブロックとして設定されていたブロックに隣接する上のブロックを、新規の表示対象ブロックとして設定する。つまり、１つ上のブロックに表示対象ブロックを移動させる。そのうえで、ステップＳ４０２に戻る。これにより、パノラマ画像としては、これまでの画像に対して１つ上に配置されていた画像が主画像として表示されることになる。

また、ステップＳ４０７にて、下であると判別した場合には、ステップＳ４０９に進んで、一つ下のブロックに対して表示対象ブロックを移動させる設定を行った後、ステップＳ４０２に戻る。
同様に、ステップＳ４０７にて、左であると判別した場合には、ステップＳ４１０に進んで、一つ左のブロックに対して表示対象ブロックを移動させる設定を行った後、ステップＳ４０２に戻る。
ステップＳ４０７にて、右であると判別した場合には、ステップＳ４１１に進んで、一つ右のブロックに対して表示対象ブロックを移動させる設定を行った後、ステップＳ４０２に戻る。
なお、上記ステップＳ４０８〜Ｓ４１１に至った場合において、これまでの表示対象ブロックが上、下、左、右の端のブロックとされていることで、それ以上移動させることができないときには、特に表示対象ブロックを移動させる処理を実行させることなく、ステップＳ４０２に戻ればよい。

なお、これまでに図５、図１６〜図１８のフローチャートにより説明してきた処理は、先にも述べたようにして、デジタルスチルカメラ１の制御部１７（ＣＰＵ）がプログラムを実行することにより実現される処理としてみることができる。
このようなプログラムは、例えば制御部１７としてのＣＰＵが記憶装置として利用するＲＯＭやフラッシュメモリに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてフラッシュメモリなどに記憶させることが考えられる。また、所定のデータインターフェースを経由させるなどして、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得してインストールできるように構成することも考えられる

＜６．変形例＞
［第１の変形例］

図１９を参照して、本実施形態としての第１の変形例について説明する。
例えば図１２に示したキャンバス４０は二次元平面とされていた。これに対して、第１の変形例では、図１９に示すようにして円筒型キャンバス４０Ａを定義している。
この円筒型キャンバス４０Ａは、図示するようにして円筒形状とされている。そのうえで、その内壁側に対して、ブロック４１を設定している。また、この円筒型キャンバス４０Ａのブロック４１は、東西南北(NEWS)の方位と絶対的な関係が与えられている。

この円筒型キャンバス４０Ａに対応する視点位置Pは、図１９（ａ）に示するようにして、円筒型キャンバス４０Ａの内側の底面において設定される。また、例えば基準視点位置Pstとしては、例えば図示するようにして、この円形状の底面の中心となるようにして設定すればよい。
この場合において、ブロック４１に対する基準画像及び合成用画像の中心点のプロットは、図１２〜図１４による説明に準じて実行すればよい。各ブロックに対する中心点のプロットが完了した状態を図１９（ｂ）に示している。

このような円筒型キャンバス４０Ａを定義して生成されるパノラマ画像としては、基準画像を撮像したときの視点を中心にして、３６０°の周囲の画像を表示させることが可能になる。

［第２の変形例］

図２０は第２の変形例を示している。
この第２の変形例では、キャンバスとして、ドーム形状のドーム型キャンバス４０Ｂを定義することとしている。
このドーム型キャンバスにおける視点位置Pは、ドーム内の底面において設定される。例えば基準視点位置Pstは、円形のドーム底面の中心位置に設定されている。
そのうえで、この場合にも、図１２〜図１４による説明と同様の要領で画像の中心点をプロットしていく。

これにより形成されるパノラマ画像は、上方向に移動していってもどこかで画像が途切れることなく、天井、天空でつながっているようにして表示されるものとなる。

［第３の変形例］

図２１は、第３の変形例を示している。
第３の変形例では、キャンバスとして円筒型キャンバス４０Ｃを定義する。この円筒型キャンバス４０Ｃは、円筒形状である点では、第１の変形例と同様である。ただし、ブロック４１は、内壁側ではなく外壁に対して設定される。
また、基準視点位置Pstは円筒型キャンバス４０Ｃの外側となる。そして、この基準視点位置Pstから、基準画像が持つ方向情報Ｄstにより１つのブロックに対するプロットが行われていることになる。

視点範囲５０は、例えば円筒型キャンバス４０Ａを例えばその中心に配置したうえで、この基準視点位置Pstを含むようにされた一定範囲の領域として設定される。

また、この円筒型キャンバス４０Ａに対する合成用画像の中心点のプロットにあたっては、視点範囲５０内に視点位置があり、この視点位置から円筒型キャンバス４０Ａのブロックに対して到達できる方向情報を持つ撮像画像ファイルが合成用画像として抽出されることになる。

そして、この円筒型キャンバス４０Ｃにより表示されるパノラマ画像としては、移動・スクロール表示を行うことによって、１つの同じ被写体を、３６０°の範囲で視点を移動させながら見ることができるようになる。

また、他の変形例として、図示は省略するが、次のようなパノラマ画像も考えることができる。
つまり、先ずは、基準画像を選択してパノラマ画像を表示画面部２３Ａに対して表示させ、この状態で、例えば左右方向に移動させる操作を行うと、基準画像を撮像した基準視点位置からの３６０°の画像を見ることができる。そのうえで、移動操作として、例えばそのときに向いている方向に対して前進していく操作も行えるようにする。すると、その移動操作に応じては、視点位置が移動する。そして、この移動した視点位置において、また左右方向に沿った移動操作を行うと、この移動後の視点位置からの３６０°の画像を見ることができる。以降同様にして、視点位置を、そのときに向いている方向に対して前進させるようにして移動させると、またその移動後の視点位置にて周囲３６０°の画像を見ることができる、というものである。
例えばこのための表示制御としては、視点の移動操作に応じて、基準視点位置を変更し、この変更された基準視点位置に基づいて、例えば円筒型キャンバス４０Ａに対するプロットを行う、という処理を行うようにされる。

なお、これまでの実施形態では、パノラマ画像の表示をデジタルスチルカメラにより行う構成を例に挙げてきた。しかし、例えば静止画としての撮像画像を記録可能なビデオカメラなどにも適用できる。さらに、例えば本実施形態の構成を実現できるプログラムを、例えばパーソナルコンピュータなどにインストールされる、いわゆる写真ビューワなどといわれる機能のアプリケーションソフトウェアとして提供することも考えられる。

また、これまでの説明では、本実施形態としてのパノラマ画像の生成は、ユーザによるパノラマ画像表示のための操作をトリガとして行われるものとして説明した。しかし、これに限定されることなく、例えばパノラマ画像の生成を撮像装置などが自動的に実行できるように構成することも考えられる。
例えば、本実施形態に対応するデジタルスチルカメラをクレードルに設置しておくなど、電源供給が可能な状態で放置しておくとする。すると、そのときに装填されているメモリカードに記憶されている撮像画像ファイルの全て又はその一部を基本画像として、自動的にパノラマ画像を生成するような構成とすることが考えられる。

本実施形態に対応する画像処理システムの構成例（第１例）を示す図である。 本実施形態に対応する画像処理システムの構成例（第２例）を示す図である。 本実施形態に対応する画像処理システムの動作概要例を説明するための図である。 デジタルスチルカメラの構成例を示す図である。 デジタルスチルカメラによる撮像画像ファイル記録のための処理手順例を示すフローチャートである。 撮像画像ファイルの構造例を示す図である。 写真サーバの構成例を示す図である。 本実施形態のパノラマ画像についての第１の表示例を模式的に示す図である。 パノラマ画像における基準画像と合成用画像の関係を示す図である。 本実施形態のパノラマ画像についての第２の表示例を模式的に示す図である。 第２の表示例における画像上で被写体サイズの調整の仕方を模式的に説明するための図である。 本実施形態のパノラマ画像表示のために定義されるキャンバスの例と、キャンバスに対する基準画像のプロット処理の例を模式的に示す図である。 本実施形態のパノラマ画像表示のために定義されるキャンバスの例と、キャンバスに対する合成用画像のプロット処理の例を模式的に示す図である。 キャンバスと視点範囲との関係を示す図である。 パノラマ画像の移動制御の概念を説明するための図である。 表示用パノラマ画像データ生成して、パノラマ画像を表示開始させるまでの処理手順例を示すフローチャートである。 合成用画像の候補となる撮像画像ファイルの絞り込み処理の手順例を示すフローチャートである。 パノラマ画像を移動表示させるための処理手順例を示すフローチャートである。 実施の形態における第１の変形例を説明するための図である。 実施の形態における第２の変形例を説明するための図である。 実施の形態における第３の変形例を説明するための図である。

符号の説明

１ デジタルスチルカメラ、２ 写真サーバ、３ ネットワーク、４ パーソナルコンピュータ、１１ 光学系、１２ イメージセンサ、１３ Ａ／Ｄコンバータ、１４ 信号処理部、１５ エンコード／デコード部、１６ メディアコントローラ、１７ 制御部、１８ ＲＯＭ、１９ ＲＡＭ、２０ フラッシュメモリ、２１ 操作部、２２ 表示ドライバ、２３ 表示部、２４ 時計部、２５ 位置検出部、２６ 方向検出部、２７ 通信部、３０ メモリカード、２３Ａ 表示画面部

Claims (13)

1. 撮影位置を示す位置情報、及び撮影方向を示す方向情報が少なくとも付加情報として付加された撮像画像データであり、基準として選択された基準画像データの位置情報に基づいて、視点範囲を設定する視点範囲設定手段と、
   上記位置情報及び方向情報が付加情報として付加された撮像画像データを蓄積する蓄積部から、上記視点範囲内を視点位置にして上記基準画像データの画像枠よりも外の画像を撮像しているとの条件を満たす位置情報及び方向情報が付加情報として付加された撮像画像データを、合成用画像データとして取得する合成用画像データ取得手段と、
   上記基準画像データの画像と上記合成用画像データの画像を、上記位置情報と方向情報とに基づいて設定した位置に配置して合成して表示用画像データを生成する表示用画像生成手段と、
   表示制御として、上記表示用画像データにおける部分領域が表示画面部にて表示されるようにするとともに、表示領域の移動指示に応じて、これまで表示画面部にて表示すべき表示用画像データの部分領域を、上記移動指示により指示された移動方向に対応させて変更する表示制御手段と、
   を備える画像処理装置。
2. 基準画像及び合成用画像の合成位置設定に利用するための面であり、この面全体が画像の配置されるべき配置領域ごとに分割された仮想画像配置面を設定するもので、基準として定めた基準配置領域に対して、上記基準画像データの位置情報及び方向情報により決まる撮像方向線が通過する中心点が配置されるべき仮想画像配置面設定手段をさらに備え、
   上記合成用画像データ取得手段は、上記基準配置領域以外の配置領域ごとに、上記中心点が配置されることとなる位置情報及び方向情報を有する合成用画像データを取得するようにされ、
   上記表示用画像生成手段は、上記仮想画像配置面の基準配置領域に対して上記基準画像データの中心点を配置するようにして基準画像の合成位置を設定するとともに、上記基準配置領域以外の配置領域ごとに、上記上記合成用画像データ取得手段が取得した合成用画像データの中心点を配置して合成用画像の合成位置を設定し、これらの合成位置が設定された基準画像及び合成用画像を合成して上記表示用画像を生成する、
   請求項１に記載の画像処理装置。
3. 上記表示制御手段は、
   表示対象として設定された上記配置領域である表示対象配置領域に配置された画像が上記部分領域にて主画像として表示されるように制御するものとされ、画像の移動指示に応じて、上記表示対象配置領域を移動させる設定を行うようにされている、
   請求項２に記載の画像処理装置。
4. 記録指示に応じて、そのときに表示画面部にて表示されている表示用画像データの部分領域から成る１つの画像データを、記録媒体に記録させる記録制御手段をさらに備える、
   請求項１から請求項３の少なくともいずれか１つに記載の画像処理装置。
5. 上記合成用画像データ取得手段は、
   １つの配置領域に中心点が配置される撮像画像データが複数であるときには、合成用画像データに付加される付加情報に基づいて合成用画像データとすべき撮像画像データの絞り込みを実行する、
   請求項１から請求項４の少なくともいずれか１つに記載の画像処理装置。
6. 上記合成用画像データ取得手段は、上記付加情報により示される撮像が行われた時刻に基づいて上記絞り込みを実行する、
   請求項５に記載の画像処理装置。
7. 上記合成用画像データ取得手段は、付加情報により示される撮像が行われた季節に基づいて上記絞り込みを実行する、
   請求項５又は請求項６に記載の画像処理装置。
8. 上記合成用画像データ取得手段は、付加情報により示される撮像が行われた年代に基づいて上記絞り込みを実行する、
   請求項５から請求項７の少なくともいずれか１つに記載の画像処理装置。
9. 上記合成用画像データ取得手段は、付加情報である位置情報及び撮像した日時を示す情報に基づいて取得した、撮像が行われたときの天候情報に基づいて、上記絞り込みを実行する、
   請求項５から請求項８の少なくともいずれか１つに記載の画像処理装置。
10. 上記蓄積部は、撮像装置が撮像を行って上記撮像画像ファイルを記録する記憶媒体である、
    請求項１から請求項９の少なくともいずれか１つに記載の画像処理装置。
11. 上記蓄積部は、ネットワーク上に存在し、上記撮像画像ファイルを記憶管理するサーバである
    請求項１から請求項１０の少なくともいずれか１つに記載の画像処理装置。
12. 撮影位置を示す位置情報、及び撮影方向を示す方向情報が少なくとも付加情報として付加された撮像画像データであり、基準として選択された基準画像データの位置情報に基づいて、視点範囲を設定する視点範囲設定手順と、
    上記位置情報及び方向情報が付加情報として付加された撮像画像データを蓄積する蓄積部から、上記視点範囲内を視点位置にして上記基準画像データの画像枠よりも外の画像を撮像しているとの条件を満たす位置情報及び方向情報が付加情報として付加された撮像画像データを、合成用画像データとして取得する合成用画像データ取得手順と、
    上記基準画像データの画像と上記合成用画像データの画像を、上記位置情報と方向情報とに基づいて設定した位置に配置して合成して表示用画像データを生成する表示用画像生成手順と、
    表示制御として、上記表示用画像データにおける部分領域が表示画面部にて表示されるようにするとともに、表示領域の移動指示に応じて、これまで表示画面部にて表示すべき表示用画像データの部分領域を、上記移動指示により指示された移動方向に対応させて変更する表示制御手順と、
    を実行する画像処理方法。
13. 撮影位置を示す位置情報、及び撮影方向を示す方向情報が少なくとも付加情報として付加された撮像画像データであり、基準として選択された基準画像データの位置情報に基づいて、視点範囲を設定する視点範囲設定手順と、
    上記位置情報及び方向情報が付加情報として付加された撮像画像データを蓄積する蓄積部から、上記視点範囲内を視点位置にして上記基準画像データの画像枠よりも外の画像を撮像しているとの条件を満たす位置情報及び方向情報が付加情報として付加された撮像画像データを、合成用画像データとして取得する合成用画像データ取得手順と、
    上記基準画像データの画像と上記合成用画像データの画像を、上記位置情報と方向情報とに基づいて設定した位置に配置して合成して表示用画像データを生成する表示用画像生成手順と、
    表示制御として、上記表示用画像データにおける部分領域が表示画面部にて表示されるようにするとともに、表示領域の移動指示に応じて、これまで表示画面部にて表示すべき表示用画像データの部分領域を、上記移動指示により指示された移動方向に対応させて変更する表示制御手順と、
    を画像処理装置に実行させるプログラム。

Images