JP2010252258A - 電子機器及び撮像装置 - Google Patents

Abstract

【課題】関連付け画像の存在を考慮した表示を行う。
【解決手段】光学ズーム倍率の変更を介して得られた広角画像と狭角画像を互いに関連付けた上で記録媒体に記録しておく。広角画像の再生時には、広角画像（３１１）上における狭角画像の視野の範囲を表す枠（３１２）を重畳表示することで、狭角画像の存在及び狭角画像の視野をユーザに知らしめる。ユーザは、その枠を選択することで、広角画像に代わって狭角画像を表示させることができる。
【選択図】図１５

Description

本発明は、デジタルカメラなどの撮像装置、及び、撮像装置や画像再生装置などの電子機器に関する。

通常、デジタルカメラの撮影によって得られた画像（静止画像又は動画像）の１つ１つは、他の画像と何の関係も持たない独立の画像として記録媒体に記録されるが、ユーザにとっては、複数の画像同士が互いに関連している場合も多い。例えば、図２に示す如く、人物の全体像を撮影することによって静止画像２０１を取得した後に、光学ズームを行って、人物の顔の部分が大きく映し出された静止画像２０２を撮影することがある。ユーザにとって、それらの静止画像同士は互いに関連した画像である。

記録媒体の大容量化に伴って、ユーザは多数の画像撮影を次々と行い、デジタルカメラに設けられた記録媒体に多数の画像を次々と保存してゆく。このため、指定した画像を再生する時点においては、関連画像の有無や指定画像と関連画像との関係を失念していることも多い。

尚、下記特許文献１には、動画像を形成する画像列に含まれる画像間のズーム率を利用して高解像度画像を生成する技術が開示されている。

特開平１１−２５２４２８号公報

そこで本発明は、関連画像の有無等を考慮した表示を可能ならしめる電子機器及び撮像装置を提供することを目的とする。

本発明に係る電子機器は、表示部と、第１画像を含む複数の画像の画像データを記録媒体から抽出するとともに、前記第１画像に関連付けられた第２画像が前記複数の画像に含まれているか否かを表す関連付け情報を前記記録媒体から受け、受けた前記画像データ及び前記関連付け情報に基づいて前記表示部の表示内容を制御する表示制御部と、を備え、前記表示制御部は、前記第１画像を前記表示部に表示させるとき、前記第２画像が前記複数の画像に含まれているか否かに応じて前記表示部の表示内容を変更することを特徴とする。

これにより、第１画像の表示時に第１画像に関連付けられた第２画像の有無等をユーザに認識させることができる。ユーザは、その認識を元に、第２画像の閲覧等を行うことができる。

具体的には例えば、前記関連付け情報は、前記第１画像の視野と前記第２画像の視野との関係を表す視野関係情報を含み、前記表示制御部は、前記第２画像が前記複数の画像に含まれている場合において前記第１画像を前記表示部に表示させるとき、前記第１画像上における前記第２画像の視野の範囲を示す指標も前記表示部に表示させる。

第１画像の再生時において上記のような指標を表示するようにすれば、第１及び第２画像間の視野関係をユーザに明確に認識させることが可能となる。簡素な操作によって表示画像を第１画像から第２画像へと変化させるようにしておけば、所望の視野を有する画像を容易にユーザに閲覧せしめることが可能となる。

更に具体的には例えば、前記第１及び第２画像の画像データは、撮影によって生成されて前記記録媒体に記録され、前記視野関係情報は、前記第１画像の撮影時における光学ズーム倍率と前記第２画像の撮影時における光学ズーム倍率との比、または、前記第１及び第２画像間の位置ずれの検出結果に基づいて生成される。

尚、前記比と前記検出結果の双方に基づいて前記視野関係情報を生成するようにしてもよい。前記比又は前記検出結果に基づいて前記視野関係情報を生成する方法は、前記比と前記検出結果の双方に基づいて前記視野関係情報を生成する方法を包含する。

また具体的には例えば、前記表示制御部は、前記第２画像が前記複数の画像に含まれている場合において前記第１画像を前記表示部に表示させるとき、前記第２画像に基づくサムネイル画像又は前記第２画像の存在を示す指標も前記表示部に表示させる。

また具体的には例えば、前記表示制御部は、前記第１画像に基づくサムネイル画像を含む複数のサムネイル画像を前記表示部に同時に表示させるとき、前記第２画像が前記複数の画像に含まれているか否かに応じて前記表示部の表示内容を変更する。

本発明に係る撮像装置は、上記の電子機器の一形態である。当該撮像装置は、前記第１及び第２画像の画像データを撮影によって取得する撮像部と、前記関連付け情報を前記第１及び第２画像の画像データとともに前記記録媒体に記録する記録制御部と、を備えている。

本発明によれば、関連画像の有無等を考慮した表示を可能ならしめる電子機器及び撮像装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の概略全体ブロック図である。 光学ズーム倍率の変更を介して撮影された２枚の静止画像を表す図である。 図１の圧縮処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 画像ファイルの構造を示す図である。 本発明の第１実施例に係り、静止画像同士が関連付けられる時の撮像装置の動作例を説明するための図である。 互いに関連付けられる静止画像群の画像ファイルの内容を示す図である。 ２枚の画像間の視野関係を説明するための図である。 互いに関連付けられる静止画像群の画像ファイルに格納されるべき内容の変形例を示す図である。 本発明の第１実施例に係り、動画像同士が関連付けられる時の撮像装置の動作例を説明するための図である。 互いに関連付けられる動画像群の画像ファイルの内容を示す図である。 本発明の第１実施例に係り、関連付け機能が有効となっている時における撮像装置の動作の流れを表すフローチャートである。 本発明の第２実施例に係る撮像装置の一部ブロック図である。 本発明の第２実施例に係り、複数の隣接フレーム間位置ずれベクトルから対象画像間の位置ずれベクトルが求められる様子を示す図である。 図１の表示処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第３実施例に係り、全画面表示時における表示画像の例を示す図である。 本発明の第３実施例に係り、全画面表示時における表示画像の他の例を示す図である。 本発明の第３実施例に係り、全画面表示時における表示画像の更に他の例を示す図である。 本発明の第３実施例に係り、全画面表示時における表示画像の更に他の例を示す図である。 本発明の第３実施例に係り、全画面表示時における表示画像の更に他の例を示す図である。 本発明の第３実施例に係る２枚の関連付け画像の例を示す図である。 図２０（ａ）及び（ｂ）に対応する、全画面表示時における表示画像の例を示す図である。 本発明の第３実施例に係り、表示画面の全表示領域が複数の表示領域に分割される様子を示す図である。 本発明の第３実施例に係り、サムネイル表示時における表示画像の例を示す図である。 本発明の第３実施例に係り、サムネイル表示時における表示画像の他の例を示す図である。 本発明の第３実施例に係り、サムネイル表示時における表示画像の更に他の例を示す図である。 本発明の第３実施例に係り、サムネイル表示時における表示画像の更に他の例を示す図である。 本発明の第３実施例に係り、サムネイル表示時における表示画像の更に他の例を示す図である。 本発明の第３実施例に係り、サムネイル表示時における表示画像の更に他の例を示す図である。 本発明の第４実施例に係り、画像ファイルのファイル名の構造を示す図である。 本発明の第４実施例に係る４枚の静止画像を示す図である。 本発明の第４実施例に係る４枚の静止画像のファイル名を説明するための図である。 本発明の第６実施例に係る撮像装置の一部ブロック図である。 本発明の第６実施例に係り、リサンプリング対象画像と縮小画像との画素数関係を示す図である。 本発明の第６実施例に係り、リサンプリング対象画像の画素配列を示す図である。 本発明の第６実施例に係り、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図（ａ）、第１の縮小画像の画素配列を示す図（ｂ）、及び、第２の縮小画像の画素配列を示す図（ｃ）である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第７実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

［基本的な構成の説明］
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。但し、撮像装置１を、静止画像のみを撮影可能なデジタルスチルカメラとして構成するようにしてもよい。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。

通常、撮影によって得られた画像（静止画像又は動画像）の１つ１つは、他の画像と何の関係も持たない独立の画像として外部メモリ１８に記録されるが、ユーザにとっては、複数の画像同士が互いに関連している場合も多い。例えば、図２に示す如く、人物の全体像を撮影することによって静止画像２０１を取得した後に、光学ズームを行って、人物の顔の部分が大きく映し出された静止画像２０２を撮影することがある。ユーザにとって、それらの静止画像同士は互いに関連した画像である。撮像装置１は、このような関連した画像に対して、特徴的な記録処理及び表示動作を行う。

図３は、撮像装置１の一部のブロック図である。符号４１〜４３によって参照される各部位は、図１の圧縮処理部１６に設けられる。関連付け処理部４１は、複数の画像を互いに関連付けるための処理を行い、外部メモリ１８に記録される画像ファイル内に関連付けに関するデータを格納する。互いに関連付けられる複数の画像には、静止画像のみが含まれることもあるし、動画像のみが含まれることもあるし、静止画像と動画像が混在することもある。

静止画像処理部４２は、映像信号処理部１３から送られてきた画像データ（映像信号）がシャッタボタン２６ｂの押下操作に伴って得られた静止画像の画像データであるとき、その静止画像の画像データを所定の圧縮方式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）にて圧縮し、得られた静止画像の圧縮画像データを外部メモリ１８に記録する。動画像処理部４３は、映像信号処理部１３から送られてきた画像データ（映像信号）が録画ボタン２６ａの押下操作に伴って得られた動画像の画像データであるとき、その動画像の画像データを所定の圧縮方式（例えば、ＭＰＥＧ（Moving Picture Experts Group）方式）にて圧縮し、得られた動画像の圧縮画像データを外部メモリ１８に記録する。

圧縮画像データは、画像ファイル内に格納された上で付加データと共に外部メモリ１８に記録される。図４に、１つの画像ファイルの構造を示す。１つの静止画像に対して１つの画像ファイルが作成され、１つの動画像に対して１つの画像ファイルが作成される。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の圧縮画像データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域からなる。付加データには、項目ａ〜ｆのデータが含まれる。項目ａ〜ｆのデータは、例えば、関連付け処理部４１によって生成され画像ファイル内に書き込まれる。

或る１つの画像（静止画像又は動画像）に注目して、付加データの意義を説明する。尚、注目画像に関連付けられた画像の内、注目画像の上位に位置づけられた画像を親画像（注目画像の親画像）と呼び、注目画像の下位に位置づけられた画像を子画像（注目画像の子画像）と呼ぶ。互いに関連付けられるべき複数の画像の内、何れを親画像とするかは任意であるが、以下の説明では、特に記述なき限り、時間的に最も先に撮影された画像が親画像として設定される。１つの親画像に、１又は複数の子画像が関連付けられる。

注目画像（静止画像又は動画像）についての画像ファイルのヘッダ領域には、
項目ａとして、注目画像を他の画像と区別して識別するための画像ＩＤが格納され、
項目ｂとして、注目画像に対して関連付け機能が有効となっているか否かを表す関連付けフラグが格納され、
項目ｃとして、注目画像に関連付けられた親画像の画像ＩＤ（以下、関連親ＩＤという）が格納され、
項目ｄとして、注目画像に関連付けられた子画像の画像ＩＤ（以下、関連子ＩＤという）が格納され、
項目ｅとして、注目画像と注目画像の子画像との視野関係を特定するための視野関係情報が格納され、
項目ｆとして、注目画像のサムネイル画像の画像データが格納される。
親画像と子画像との関連付けの内容を表す関連付け情報は、項目ｂ〜ｅのデータ（情報）を含む、と考えることができる。

注目画像の画像ＩＤは、注目画像についての画像ファイルのファイル名としても用いられる。但し、画像ＩＤとは別個のファイル名を画像ファイルに付けるようにしてもよい。

関連付けフラグは、関連付け機能が有効となっているときに「ＯＮ」となり、関連付け機能が無効となっているときに「ＯＦＦ」となる。以下の説明では、特に記述なき限り、関連付けフラグは全て「ＯＮ」となっているものとする。注目画像の撮影に先立って成された操作部２６に対する所定操作により、関連付けフラグは「ＯＮ」となる。

注目画像に親画像が存在しない時、注目画像の画像ファイルにおける項目ｃには「ＮＯＮＥ」が書き込まれ、注目画像に子画像が存在しない時、注目画像の画像ファイルにおける項目ｄ及びｅには「ＮＯＮＥ」が書き込まれる。尚、視野関係情報の詳細は後述の各実施例から明らかとなる。

注目画像のサムネイル画像は、解像度を低下させるための解像度変換（例えば間引き処理）を注目画像に施すことによって生成される、注目画像の縮小画像である。注目画像が動画像である場合は、注目画像としての動画像を形成する１番目のフレーム画像（時間的に最も早いフレーム画像）の縮小画像が、注目画像のサムネイル画像として生成及び記録される。項目ｆに格納されるサムネイル画像の画像データは、所定の圧縮方式による圧縮を経た圧縮画像データである。サムネイル画像の圧縮画像データは、圧縮処理部１６内で生成される。

以下、第１〜第７実施例において、関連付け機能に関与する具体的な動作等を説明する。矛盾が生じないならば、或る実施例に記載した事項を他の実施例に適用することもできる。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、互いに関連付けられた画像間において撮影時の光学ズーム倍率が異なることを想定する。撮像部１１の光学系には、ズームレンズが含まれている。このズームレンズを光学系の光軸方向に移動させることで光学ズーム倍率が変更可能となるように、撮像部１１が形成されている。光学ズーム倍率が或る基準倍率である状態を基準として光学ズーム倍率がｋ倍になれば、撮像装置１の画角が１／ｋ倍になる共に撮影される画像の視野（換言すれば、撮影範囲）も１／ｋ倍になる（ｋ＞０）。

図５を参照して、静止画像同士が関連付けられる時の撮像装置１の動作例を説明する。ユーザによる１回目のシャッタボタン２６ｂの押下により静止画像ＳＴ１が得られた後、光学ズーム倍率を増大させる操作が撮像装置１に対してなされ、その操作に従って光学ズーム倍率が増大した後、ユーザによる２回目のシャッタボタン２６ｂの押下により静止画像ＳＴ２が得られたことを想定する。また、光学ズーム倍率の変更を除き、静止画像ＳＴ１の撮影時点及び静止画像ＳＴ２の撮影時点間において、被写体と撮像装置１との位置関係等を含む撮影条件は全て一定であるとする。静止画像ＳＴ１は、注目人物の全体像が視野内に収まるように撮影された静止画像であり、静止画像ＳＴ２は、注目人物の顔の部分が大きく映し出されるように撮影された静止画像である。

図６に示される画像ファイルＦＬ_ST1は、静止画像ＳＴ１の撮影後であって且つ静止画像ＳＴ２の撮影前に生成されて外部メモリ１８に記録される静止画像ＳＴ１の画像ファイルであり、図６に示される画像ファイルＦＬ_ST2は、静止画像ＳＴ２の撮影後に生成されて外部メモリ１８に記録される静止画像ＳＴ２の画像ファイルである。静止画像ＳＴ２の撮影後、静止画像ＳＴ１の画像ファイルの付加データが修正される。画像ファイルの修正は、例えば、図３の関連付け処理部４１が行う。図６に示される画像ファイルＦＬ_ST1’は、画像ファイルＦＬ_ST1を修正したものであり、静止画像ＳＴ２の撮影後には、画像ファイルＦＬ_ST1’が静止画像ＳＴ１の画像ファイルとして外部メモリ１８に記録される。

画像ファイルＦＬ_ST1、ＦＬ_ST2及びＦＬ_ST1’について詳説する。画像ファイルＦＬ_ST1において、項目ａに画像ＩＤとして「００１」が書き込まれ、項目ｆに静止画像ＳＴ１のサムネイル画像の画像データ（圧縮画像データ）が書き込まれ、本体領域に静止画像ＳＴ１そのものの圧縮画像データが書き込まれる。静止画像ＳＴ１の撮影時点において、静止画像ＳＴ１に親画像及び子画像は存在しないため、画像ファイルＦＬ_ST1の項目ｃ、ｄ及びｅには「ＮＯＮＥ」が書き込まれる。

画像ファイルＦＬ_ST2において、項目ａに画像ＩＤとして「００２」が書き込まれ、項目ｆに静止画像ＳＴ２のサムネイル画像の画像データ（圧縮画像データ）が書き込まれ、本体領域に静止画像ＳＴ２そのものの圧縮画像データが書き込まれる。今、関連付け機能が有効となっていることを想定しているため、静止画像ＳＴ１は静止画像ＳＴ２にとっての親画像であり、静止画像ＳＴ２は静止画像ＳＴ１にとっての子画像である。故に、画像ファイルＦＬ_ST2の項目ｃには、静止画像ＳＴ１の画像ＩＤである「００１」が書き込まれる。また、本例の想定下において、静止画像ＳＴ２に子画像は存在しないため、画像ファイルＦＬ_ST2の項目ｄ及びｅには「ＮＯＮＥ」が書き込まれる。

静止画像ＳＴ２の撮影後、静止画像ＳＴ１の画像ファイルの項目ｄ及びｅが修正される。従って、画像ファイルＦＬ_ST1及びＦＬ_ST1’間で項目ｄ及びｅの内容が異なる（その他の点において両画像ファイルの内容は同じである）。画像ファイルＦＬ_ST1’の項目ｄには、静止画像ＳＴ１の子画像である静止画像ＳＴ２の画像ＩＤ、即ち「００２」が書き込まれる。画像ファイルＦＬ_ST1’の項目ｅには、静止画像ＳＴ１と静止画像ＳＴ２との視野関係を特定する視野関係情報が書き込まれる。

例えば、静止画像ＳＴ１及びＳＴ２の撮影時における光学ズーム倍率が夫々「１」及び「３」であり、これに伴って、静止画像ＳＴ２の撮影時における撮像装置１の撮影範囲が水平及び垂直方向において静止画像ＳＴ１のそれの１／３であったとする（即ち、水平及び垂直方向において静止画像ＳＴ２の視野が静止画像ＳＴ１の視野の１／３であったとする）。この場合、例えば、「１／３」という数値を画像ファイルＦＬ_ST1’の視野関係情報として書き込む。静止画像ＳＴ１の視野の中心と静止画像ＳＴ２の視野の中心が一致しているという仮定の下、「１／３」という視野関係情報によって、静止画像ＳＴ１上における静止画像ＳＴ２の視野の範囲が特定される。

或いは、上記仮定の下、図７に示す如く、静止画像ＳＴ１上に静止画像ＳＴ２の視野（撮影範囲）の外枠矩形２２０を設定し、外枠矩形２２０の対角線上の頂点２２１及び２２２の、静止画像ＳＴ１上における座標値（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）を決定して、図８に示す如く、その決定した座標値（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）を画像ファイルＦＬ_ST1’の視野関係情報として書き込むようにしても良い。

このような視野関係情報の作成が可能となるように、図３の関連付け処理部４１は、関連付けられるべき複数の画像の撮影時における光学ズーム倍率を内部メモリ１７等を利用して一時的に記憶する。

尚、静止画像ＳＴ２の撮影後、静止画像ＳＴ１及びＳＴ２に関連付けられるべき他の静止画像ＳＴ３が撮影された場合も、同様の処理がなされる。静止画像ＳＴ１は静止画像ＳＴ３にとっての親画像であり、静止画像ＳＴ３は静止画像ＳＴ１にとっての子画像である。従って、静止画像ＳＴ３の画像ファイルの項目ｃには「００１」が書き込まれ、静止画像ＳＴ３の撮影後、静止画像ＳＴ１の画像ファイルの項目ｄに静止画像ＳＴ３の画像ＩＤである「００３」が追記されると共に静止画像ＳＴ１の画像ファイルの項目ｅに静止画像ＳＴ１及びＳＴ３間の視野関係情報が追記される。

但し、静止画像ＳＴ２が静止画像ＳＴ３にとっての親画像であると考えることも可能であるし、静止画像ＳＴ３は静止画像ＳＴ２にとっての子画像であると考えることも可能である。このように考えた場合、静止画像ＳＴ３の画像ファイルの項目ｃには「００２」が書き込まれ、静止画像ＳＴ３の撮影後、静止画像ＳＴ２の画像ファイルの項目ｄに静止画像ＳＴ３の画像ＩＤである「００３」が書き込まれると共に静止画像ＳＴ２の画像ファイルの項目ｅに静止画像ＳＴ２及びＳＴ３間の視野関係情報が書き込まれる。

静止画像同士が関連付けられる時の動作について説明したが、動画像同士が関連付けられる時の動作も同様である。図９を参照して、動画像同士が関連付けられる時の撮像装置１の動作例を説明する。ユーザの録画ボタン２６ａに対する操作により１番目の動画像ＭＶ１の撮影がなされ、動画像ＭＶ１の撮影終了後、録画ボタン２６ａに対する再度の操作により２番目の動画像ＭＶ２の撮影がなされたとする。また、動画像ＭＶ１の撮影開始後であって且つ動画像ＭＶ２の撮影開始前に、光学ズーム倍率を増大させる操作が撮像装置１に対してなされたことを想定する。図９に示される画像２３１は、動画像ＭＶ１を形成する１番目のフレーム画像であり、図９に示される画像２３２は、動画像ＭＶ２を形成する１番目のフレーム画像である。

例として、フレーム画像２３１及び２３２が、夫々、図５の静止画像ＳＴ１及びＳＴ２と全く同じ画像である場合を想定する。このように想定すると、静止画像ＳＴ１及びＳＴ２がフレーム画像２３１及び２３２に置き換わっただけで、静止画像同士の関連付け処理と動画像同士の関連付け処理は同様である。即ち、以下のような、動画像に対する画像ファイルが生成される。

図１０に示される画像ファイルＦＬ_MV1は、動画像ＭＶ１の撮影後であって且つ動画像ＭＶ２の撮影前に生成されて外部メモリ１８に記録される動画像ＭＶ１の画像ファイルであり、図１０に示される画像ファイルＦＬ_MV2は、動画像ＭＶ２の撮影後に生成されて外部メモリ１８に記録される動画像ＭＶ２の画像ファイルである。動画像ＭＶ２の撮影後、動画像ＭＶ１の画像ファイルの付加データが修正される。画像ファイルの修正は、例えば、図３の関連付け処理部４１が行う。図１０に示される画像ファイルＦＬ_MV1’は、画像ファイルＦＬ_MV1を修正したものであり、動画像ＭＶ２の撮影後には、画像ファイルＦＬ_MV1’が動画像ＭＶ１の画像ファイルとして外部メモリ１８に記録される。

画像ファイルＦＬ_MV1、ＦＬ_MV2及びＦＬ_MV1’について詳説する。画像ファイルＦＬ_MV1において、項目ａに画像ＩＤとして「０１１」が書き込まれ、項目ｆにフレーム画像２３１のサムネイル画像の画像データ（圧縮画像データ）が書き込まれ、本体領域に動画像ＭＶ１そのものの圧縮画像データが書き込まれる。動画像ＭＶ１の撮影時点において、動画像ＭＶ１に親画像及び子画像は存在しないため、画像ファイルＦＬ_MV1の項目ｃ、ｄ及びｅには「ＮＯＮＥ」が書き込まれる。

画像ファイルＦＬ_MV2において、項目ａに画像ＩＤとして「０１２」が書き込まれ、項目ｆにフレーム画像２３２のサムネイル画像の画像データ（圧縮画像データ）が書き込まれ、本体領域に動画像ＭＶ２そのものの圧縮画像データが書き込まれる。今、関連付け機能が有効となっていることを想定しているため、動画像ＭＶ１は動画像ＭＶ２にとっての親画像であり、動画像ＭＶ２は動画像ＭＶ１にとっての子画像である。故に、画像ファイルＦＬ_MV2の項目ｃには、動画像ＭＶ１の画像ＩＤである「０１１」が書き込まれる。また、本例の想定下において、動画像ＭＶ２に子画像は存在しないため、画像ファイルＦＬ_MV2の項目ｄ及びｅには「ＮＯＮＥ」が書き込まれる。

動画像ＭＶ２の撮影後、動画像ＭＶ１の画像ファイルの項目ｄ及びｅが修正される。従って、画像ファイルＦＬ_MV1及びＦＬ_MV1’間で項目ｄ及びｅの内容が異なる（その他の点において両画像ファイルの内容は同じである）。画像ファイルＦＬ_MV1’の項目ｄには、動画像ＭＶ１の子画像である動画像ＭＶ２の画像ＩＤ、即ち「０１２」が書き込まれる。画像ファイルＦＬ_MV1’の項目ｅには、動画像ＭＶ１と動画像ＭＶ２との視野関係を特定する視野関係情報が書き込まれる。実際には、画像ファイルＦＬ_MV1’の項目ｅには、フレーム画像２３１とフレーム画像２３２との視野関係を特定する視野関係情報が書き込まれる。画像ファイルＦＬ_MV1’の視野関係情報は、フレーム画像２３１及び２３２を静止画像ＳＴ１及びＳＴ２に置き換えて考えた時の、画像ファイルＦＬ_ST1’の視野関係情報と等しい（図６〜図８参照）。

動画像ＭＶ２の撮影後に、動画像ＭＶ１及びＭＶ２に関連付けられるべき他の動画像ＭＶ３が撮影された場合も、上述と同様の処理がなされる（上述の、静止画像ＳＴ３が撮影された時の動作説明を参照）。

静止画像同士又は動画像同士が関連付けられる時の画像ファイル作成動作を説明したが、静止画像と動画像を関連付ける時においても同様の画像ファイル作成動作がなされる。例えば、静止画像ＳＴ１及び動画像ＭＶ１を親画像及び子画像として関連付けることが可能であるが、この場合において静止画像ＳＴ１の画像ファイルに書き込まれる視野関係情報は、静止画像ＳＴ１及びフレーム画像２３１間の視野関係情報である（図５及び図９参照）。

［動作フローチャート］
次に、関連付け機能が有効となっている時における撮像装置１の動作の流れを、図１１のフローチャートに沿って説明する。

まず、撮影モードにおいて注目画像を撮影するために録画ボタン２６ａ又はシャッタボタン２６ｂが押下されると、ステップＳ１１にて、撮像部１１から注目画像の画像データが取得される。ここで取得される画像データは、１フレーム周期分の画像データであるとする。録画ボタン２６ａ又はシャッタボタン２６ｂは間隔をおいて複数回押下されうるが、ここにおける注目画像とは、録画ボタン２６ａ又はシャッタボタン２６ｂに対する最新の押下操作によって得られるべき動画像又は静止画像を指す。

続くステップＳ１２において、関連付け処理部４１は、注目画像に関連付けられた画像（静止画像又は動画像）が存在するか否かを判定する。注目画像に関連付けられた画像が存在しない場合（ステップＳ１２のＮ）、ステップＳ１１にて取得した画像データは圧縮されてから外部メモリ１８に記録され（ステップＳ１８）、その後、ステップＳ１１に戻る。

一方、注目画像に関連付けられた画像が存在する場合は（ステップＳ１２のＹ）、ステップＳ１３の分岐ステップに移行し、注目画像が動画像であるか否かが判断される。注目画像が動画像であって且つステップＳ１１にて取得された最新の画像データが該注目画像の１番目のフレーム画像のそれである場合はステップＳ１５に移行するが、注目画像が動画像であってもステップＳ１１にて取得された最新の画像データが該注目画像の第１番目のフレーム画像のそれでない場合はステップＳ１８に移行する（ステップＳ１４）。ステップＳ１８に移行した場合、ステップＳ１１にて取得された画像データは圧縮されてから外部メモリ１８に記録され（ステップＳ１８）、その後、ステップＳ１１に戻る。また、ステップＳ１３において、注目画像が静止画像である場合もステップＳ１５に移行する。

ステップＳ１５において、関連付け処理部４１は、注目画像の親画像と注目画像としての子画像との間における撮影時の光学ズーム倍率の比を算出し、その比から該親画像及び子画像間の視野関係情報を作成する。その後、ステップＳ１６において、注目画像についての付加データが作成され、その付加データは注目画像の画像ファイルのヘッダ領域に記録される。更に、続くステップＳ１７にて注目画像の親画像の画像ファイル内における付加データが修正される。その修正の後、ステップＳ１１にて取得された画像データは圧縮されてから外部メモリ１８に記録され（ステップＳ１８）、その後、ステップＳ１１に戻る。

尚、図１１のフローチャートにおいては、画像ファイルが作成されるステップが明示されていないが、録画ボタン２６ａ又はシャッタボタン２６ｂが押下されると、自動的に対応する画像ファイルが外部メモリ１８内に作成される。

図５に対応する動作例を図１１のフローチャートに当てはめた場合、以下のように処理が進行する。静止画像ＳＴ１の撮影時点においては、注目画像としての静止画像ＳＴ１に関連付けられた画像は存在しないため、ステップＳ１８の圧縮及び記録処理を介してステップＳ１１に戻る。この時点では、外部メモリ１８に画像ファイルＦＬ_ST1が記録される（図６参照）。

その後、光学ズーム倍率の変更を介して静止画像ＳＴ２が撮影されると、今度は、静止画像ＳＴ２が注目画像となる。注目画像としての静止画像ＳＴ２には親画像（静止画像ＳＴ１）が存在するため、ステップＳ１２及びＳ１３の分岐ステップを介してステップＳ１５に移行する。関連付け処理部４１は、親画像である静止画像ＳＴ１の撮影時点における光学ズーム倍率と子画像である静止画像ＳＴ２の撮影時点における光学ズーム倍率との比を算出して、その比に基づき静止画像ＳＴ１及びＳＴ２間の視野関係情報を作成する（ステップＳ１５）。

そして、注目画像（静止画像ＳＴ２）についての付加データを注目画像の画像ファイルに記録する一方で親画像（静止画像ＳＴ１）の画像ファイルの付加データを修正し、更に、注目画像の圧縮画像データを記録する（ステップＳ１６〜Ｓ１８）。この段階におけるステップＳ１６及びＳ１８の処理により外部メモリ１８に画像ファイルＦＬ_ST2が記録され、ステップ１７の修正処理により外部メモリ１８内の画像ファイルＦＬ_ST1が画像ファイルＦＬ_ST1’へと修正される（図６参照）。図９に対応する動作例を図１１のフローチャートに当てはめた場合も、同様の処理がなされる。

＜＜第２実施例＞＞
第２実施例を説明する。第１実施例では、視野関係情報が光学ズーム倍率に基づいて作成されているが、第２実施例では、互いに関連付けられる画像間の位置ずれに基づいて視野関係情報が作成される。視野関係情報の作成方法を除き、第２実施例は第１実施例と同様である。従って、第２実施例では、以下、視野関係情報の作成に関する説明だけを行う。

図１の映像信号処理部１３には、時間的に隣接して得られた２枚のフレーム画像間の位置ずれを検出する動き検出部４５が設けられている（図１２参照）。動き検出部４５は、対比される２枚のフレーム画像の画像データに基づき、代表点マッチング法やブロックマッチング法、勾配法などを用いて、撮像装置１の動き（手ぶれ等）に起因する２枚のフレーム画像間の位置ずれを検出する。ここで検出される位置ずれは二次元量であるため、それを位置ずれベクトルと呼ぶ。また、時間的に隣接して得られた２枚のフレーム画像間の位置ずれを、隣接フレーム間位置ずれベクトルと呼ぶ。

上述したように、撮影モードでは所定のフレーム周期にて周期的に被写体の撮影が行われており、周期的にフレーム画像が得られる。図５の動作例を参照すれば、周期的な撮影によって得られた時系列で並ぶフレーム画像群の内、シャッタボタン２６ｂの押下に従って得られた１枚のフレーム画像が静止画像ＳＴ１又はＳＴ２として取り扱われ、それ以外のフレーム画像はスルー画像として表示部２７に順次更新表示される（但し、静止画像ＳＴ１又はＳＴ２とスルー画像とは解像度が異なりうる）。

図１２に示す如く、関連付け処理部４１は、動き検出部４５の検出結果に基づいて親画像及び子画像間の位置ずれベクトルを算出し、その位置ずれベクトルから親画像及び子画像間の視野関係情報を求める。

例えば、親画像としての静止画像ＳＴ１と子画像としての静止画像ＳＴ２との間の位置ずれベクトルＶＥＣ_Aは、以下のように求められる（図５及び図１３参照）。静止画像ＳＴ１の撮影時点から静止画像ＳＴ２の撮影時点までの間に得られた全てのフレーム画像（静止画像ＳＴ１及びＳＴ２を含む）を対象にして、時間的に隣接する２枚のフレーム画像を対比することにより、隣接フレーム間位置ずれベクトルを順次算出しておく。そして、静止画像ＳＴ１及びＳＴ２の撮影間に光学ズーム倍率の変更がなされていない場合においては、算出した全ての隣接フレーム間位置ずれベクトルの合成ベクトルを、位置ずれベクトルＶＥＣ_Aとして求めることができる。位置ずれベクトルＶＥＣ_Aは、親画像を基準とした子画像の位置ずれ（即ち、親画像から見た子画像の位置ずれ）を表す。

静止画像ＳＴ１及びＳＴ２の撮影間に光学ズーム倍率の変更がなされていない場合においては、位置ずれベクトルＶＥＣ_Aのみに基づいて、画像ファイルＦＬ_ST1’に記録されるべき視野関係情報が定まる。例えば、その場合において、ベクトルＶＥＣ_Aの向きが右方向であって且つベクトルＶＥＣ_Aの大きさが１０画素分である場合は、親画像を基準として子画像の視野（撮影範囲）が右方向に１０画素分だけずれていることを示す視野関係情報が作成及び記録される。

静止画像ＳＴ１及びＳＴ２の撮影間に光学ズーム倍率の変更がなされている場合においては、その光学ズーム倍率の変更の状態と静止画像ＳＴ１及びＳＴ２の撮影間に得られた各隣接フレーム間位置ずれベクトルとに基づいて、画像ファイルＦＬ_ST1’に記録されるべき視野関係情報を定めればよい。

静止画像同士が関連付けられる時における視野関係情報の作成方法について説明したが、動画像同士が関連付けられる時、及び、静止画像及び動画像が関連付けられる時におけるそれも同様である。動画像の関連付けに関しては、第１実施例で述べたように、動画像を形成する１番目のフレーム画像を静止画像と見立てて考えれば足る。

また、第２実施例における視野関係情報の作成方法を、図１１のフローチャートに当てはめる場合、第１実施例で述べたステップＳ１５における処理を、「親画像及び子画像間の位置ずれベクトルを算出して該位置ずれベクトルから視野関係情報を作成する処理」に置き換えれば足る。

尚、隣接フレーム間位置ずれベクトル、親画像及び子画像間の位置ずれベクトルを、画像データに基づいて算出するのではなく、撮像装置１の動きを検出するセンサ（不図示）の検出結果に基づいて算出するようにしてもよい。該センサは、例えば、撮像装置１の筐体の角速度を検出する角速度センサ、撮像装置１の筐体の加速度を検出する加速度センサである。

＜＜第３実施例＞＞
第３実施例について説明する。第３実施例では、関連付けがなされた画像の表示方法例を説明する。

図１４は、図１に示される表示処理部２０の内部ブロック図を含む、撮像装置１の一部ブロック図である。表示処理部２０は、符号６１〜６４によって参照される各部位を含む。外部メモリ１８に記録されている画像ファイルの本体領域内の圧縮画像データは伸張処理部１９にて伸張されてから関連付け表示処理部６１に与えられる。また、外部メモリ１８から読み出された付加データ（図４）も関連付け表示処理部６１に与えられる。関連付け表示処理部６１は、付加データから画像間の関連状態を認識し、与えられた画像データ及び付加データに基づいて表示部２７に表示すべき画像についての映像信号を生成する。

関連付け表示処理部６１にて生成された映像信号は、表示用映像処理部６２に送られる。表示用映像処理部６２は、与えられた映像信号によって表される画像が表示部２７上にて表示可能となるように、必要に応じて、その画像の解像度変換を行い、解像度変換後の画像の映像信号をＶＲＡＭ６３（Video Random Access Memory）に書き込む。ＶＲＡＭ６３は、表示部２７に対するビデオ表示部分のメモリである。表示ドライバ６４は、ＶＲＡＭ６３に書き込まれた映像信号によって表される画像を表示部２７の表示画面に表示させる。

また、指定された１枚の画像を表示部２７の表示画面の全体を用いて表示することを全画面表示と呼び、表示部２７の表示画面を複数の表示領域に分割し複数のサムネイル画像を表示部２７の表示画面上に同時表示することをサムネイル表示と呼ぶ。更に、互いに関連付けられた複数の画像の内、比較的広い視野を有する画像（撮影画角が比較的広い画像）を広角画像と呼ぶと共に比較的狭い視野を有する画像（撮影画角が比較的狭い画像）を狭角画像と呼ぶ。また、或る画像に対して関連付けられている画像を、関連付け画像とも呼ぶ。尚、以下の説明において、単に表示画像と言った場合、それは、関連付け表示処理部６１にて生成されて表示部２７の表示画面上に表示される画像を指す。また、以下の説明における操作は、特に記述なき限り、操作部２６に対してなされる操作を指す。但し、表示部２７にタッチパネル機能が備えられている場合、操作は、タッチパネル操作であってもよい。

［全画面表示］
全画面表示について、複数の表示方法を例示する。後述の、全画面表示の第１〜第５方法では、図５の静止画像ＳＴ１が親画像及び広角画像として且つ図５の静止画像ＳＴ２が子画像及び狭角画像として互いに関連付けられていることを想定する。

図１５（ａ）の画像３１１は、全画面表示の第１方法における表示画像である。静止画像ＳＴ１を全画面表示させるための操作がなされた場合、表示画像３１１を表示することができる。表示画像３１１は、広角画像である静止画像ＳＴ１上に枠３１２を重畳したものである。枠３１２は図７の外枠矩形２２０と一致し、枠３１２内の範囲は静止画像ＳＴ１上における静止画像ＳＴ２の視野の範囲（撮影範囲）を表す。尚、ユーザの指示に従って、枠３１２の表示を消すことも可能である（即ち、図１５（ｂ）の表示画像３１３を全画面表示させることも可能である）。

図１６（ａ）の画像３２１は、全画面表示の第２方法における表示画像である。静止画像ＳＴ１を全画面表示させるための操作がなされた場合、表示画像３２１を表示することができる。表示画像３２１は、静止画像ＳＴ１の端部に、静止画像ＳＴ１に関連付けられた画像が存在することを示唆する指標３２２を重畳したものである。指標３２２が表示されている状態において所定操作を行うと図１６（ｂ）の表示画像３２３が全画面表示される。表示画像３２３は、静止画像ＳＴ１上に静止画像ＳＴ２のサムネイル画像３２４を重畳した画像である。静止画像ＳＴ１に静止画像ＳＴ２以外の画像が更に関連付けられている場合、静止画像ＳＴ１上に複数の関連付け画像のサムネイル画像を重畳表示するようにしてもよい。

図１７（ａ）の画像３３１は、全画面表示の第３方法における表示画像である。静止画像ＳＴ２を全画面表示させるための操作がなされた場合、表示画像３３１を表示することができる。表示画像３３１は、狭角画像である静止画像ＳＴ２の端部に広角画像である静止画像ＳＴ１のサムネイル画像３３２を重畳したものである。図１７（ａ）では、サムネイル画像３３２に更に図１５（ａ）の枠３１２と同じものを表す枠３３３が重畳されている。ユーザの指示に従って、枠３３３の表示を消すことも可能である（即ち、図１７（ｂ）の表示画像３３４を全画面表示させることも可能である）。

図１８の画像３４１は、全画面表示の第４方法における表示画像である。静止画像ＳＴ２を全画面表示させるための操作がなされた場合、表示画像３４１を表示することができる。表示画像３４１は、静止画像ＳＴ２の端部に静止画像ＳＴ１のサムネイル画像３４２を重畳したものである。表示画像３４１では、更に、サムネイル画像３４２の端部に静止画像ＳＴ２に関連付けられた画像の枚数を表す数値が重畳されている。表示画像３４１において、この数値は１である。即ち、図１８の表示画像３４１は、静止画像ＳＴ２に関連付けられた画像の枚数が１枚であることを示唆している。

尚、表示画像３１１、３２１又は３２３（又は３１３）が表示されている時に、簡素な所定操作（例えば、枠３１２、指標３２２又はサムネイル画像３２４を選択する操作）を行うと、表示画像を、表示画像３３１、３３４又は３４１へと切り替えることができる（図１５（ａ）、図１６（ａ）、図１７（ａ）及び図１８など参照）。反対に、表示画像３３１、３３４又は３４１が表示されている時に、簡素な所定操作（例えば、サムネイル画像３３２又は３４２を選択する操作）を行うと、表示画像を、表示画像３１１、３２１又は３２３（又は３１３）へと切り替えることができる。

図１９の画像３５１は、全画面表示の第５方法における表示画像である。全画面表示の第５方法では、静止画像ＳＴ１を全画面表示させるための操作がなされた場合、まず、表示画像３５１を全画面表示する。表示画像３５１及び表示画像３５１上の枠３５２は、それぞれ図１５（ａ）の表示画像３１１及び枠３１２と同じものである。表示画像３５１の全画面表示を行っている状態において表示ズーム操作（電子ズーム操作）を撮像装置１に与えると、被写体が拡大表示される。即ち、表示ズーム操作により現時点の表示画像の一部が拡大表示される。表示ズーム後の表示画像の中心は必ずしも表示画像３５１の中心と一致している必要はないが、今、それらの中心が一致している場合を想定する。

表示画像３５１が全画面表示されている状態から表示ズーム操作によって表示ズーム倍率を徐々に増大させていくと、全画面表示される表示画像が、順次、表示画像３５１ａ、３５１ｂへと変化してゆく。表示画像３５１ａは、表示画像３５１の中央付近の一部を拡大した画像上に枠３５２ａを重畳したものであり、表示画像３５１ｂは、表示画像３５１ａの中央付近の一部を拡大した画像上に枠３５２ｂを重畳したものである。枠３５２ａ及び３５２ｂ内の範囲は、夫々、表示画像３５１ａ及び３５１ｂ上における静止画像ＳＴ２の視野の範囲（撮影範囲）を表している。

表示画像３５１ｂが全画面表示されている状態から表示ズーム操作によって表示ズーム倍率を更に増大させると、表示画像３５１ｂに代わり、表示画像３５３が全画面表示される。表示画像３５３は、静止画像ＳＴ２の画像データに基づく、図１７（ａ）の表示画像３３１と同じ画像である。表示画像３５３が全画面表示されている状態から表示ズーム倍率を減少させる操作を行うと、全画面表示される表示画像は、順次、表示画像３５３から表示画像３５１ｂ、３５１ａ、３５１へと変化する。

全画面表示の第６方法を説明する。全画面表示の第６方法では、図２０（ａ）及び（ｂ）の静止画像３６１及び３６２が互いに関連付けられており、静止画像３６１及び３６２の内の、一方が親画像及び静止画像ＳＴ１として且つ他方が子画像及び静止画像ＳＴ２として機能していることを想定する。静止画像３６１及び３６２間には位置ずれが存在しており、第２実施例で述べた方法に従って、静止画像３６１及び３６２間の位置ずれベクトルに応じた視野関係情報が作成及び記録されているものとする。

このような想定の下、全画面表示の第６方法では、静止画像３６１を全画面表示させるための操作がなされた場合、図２１（ａ）の表示画像３６３を表示することができる。表示画像３６３は、静止画像３６１に矢印型指標３６４を重畳したものである。矢印型指標３６４は、静止画像３６１を基準とする静止画像３６１及び３６２間の位置ずれの向きと同じ（又は略同じ）向きを持つ矢印である。

表示画像３６３上における矢印型指標３６４の位置は任意であるが、その位置を、矢印型指標３６４の向きに応じて決定することが望ましい。即ち例えば、表示画像３６３の如く、矢印型指標３６４の向きが左上向きであるなら、表示画像３６３の中央より左上側に矢印型指標３６４を配置するとよい。

矢印型指標３６４の内部には、静止画像３６１の関連付け画像であって、且つ、静止画像３６１を基準とする静止画像３６１との間の位置ずれの向きが矢印型指標３６４の向きと一致（或いは略一致）する関連付け画像の枚数を表す数値が示される（但し、この数値の表示を割愛することも可能である）。本例では、該数値は１となっているが、その枚数が２以上であるなら、該数値は当然２以上となる。

表示画像３６３が表示されている時に所定操作（例えば、矢印型指標３６４を選択する操作）を行うと、表示画像が図２１（ａ）の表示画像３６３から図２１（ｂ）の表示画像３６５へと切り替わる。表示画像３６５は、図２０（ｂ）の静止画像３６２に矢印型指標３６６を重畳したものものである。矢印型指標３６６の生成方法は、矢印型指標３６４のそれと同様である。

尚、矛盾なき限り、全画面表示の各方法において、静止画像ＳＴ１と静止画像ＳＴ２の関係を入れ替えて考えるようにしても良い。例えば、全画面表示の第２方法において、静止画像ＳＴ２の端部に静止画像ＳＴ２に関連付けられた画像が存在することを示唆する指標を重畳した表示画像を全画面表示するようにしてもよい。また、全画面表示の各方法では、静止画像ＳＴ１に関連付け画像が存在することを想定したが、静止画像ＳＴ１に関連付けられた画像がない場合において、静止画像ＳＴ１を全画面表示させるための操作がなされた場合には、静止画像ＳＴ１そのものが単に全画面表示される（静止画像ＳＴ２についても同様）。

また、表示の対象画像が静止画像であることを想定して全画面表示の各方法を説明したが、表示の対象画像が動画像である場合においても上述の全画面表示の各方法を適用することができる。この際、互いに関連付けられた動画像が上述の動画像ＭＶ１及びＭＶ２である場合においては、適宜、静止画像ＳＴ１及びＳＴ２を夫々フレーム画像２３１及び２３２に置き換えて考えればよい（図９参照）。

上述の全画面表示の各方法によれば、全画面表示されている画像に関連付けられた画像の有無を容易に確認することができる。特に、関連付け画像の視野を表す枠（図１５（ａ）の枠３１２など）を表示することによって、関連付け画像の視野を容易に確認することができる。そして、簡素な操作によって表示画像を広角画像から狭角画像へ又は狭角画像から広角画像へと変化できるようにしておくことにより、ユーザは所望の視野を有する画像を容易に閲覧することが可能となる。また、表示ズーム操作がなされた際に、単に広角画像の一部の電子ズーム画像を表示すると表示画像の画質が悪くなるが、全画像表示の第５方法の如く、表示ズーム操作がなされた時に広角画像から狭角画像に表示画像を変更することにより、高精細な注目被写体の画像を簡単に表示することが可能となる。また、全画像表示の第６方法に示すような表示を可能としておくことにより、視野が互いにずれた複数の関連付け画像を容易に切り替え表示させることができる。

［サムネイル表示］
サムネイル表示について、複数の表示方法を例示する。後述のサムネイル表示の第１〜第３方法では、図５の静止画像ＳＴ１が親画像及び広角画像として且つ図５の静止画像ＳＴ２が子画像及び狭角画像として互いに関連付けられていることを想定すると共に、関連付け画像を有さない画像（以下、独立画像という）のサムネイル画像が静止画像ＳＴ１又はＳＴ２のサムネイル画像と同時に表示されることを想定する。

サムネイル表示を行う場合においては、図２２に示す如く、表示部２７の表示画面上の全表示領域ＡＲ_ALLが複数の表示領域に分割される。以下の説明では、特に述べない限り、全表示領域ＡＲ_ALLが４つの表示領域ＡＲ１〜ＡＲ４に分割されることを想定する。

図２３（ａ）の画像４１１は、サムネイル表示の第１方法における表示画像である。静止画像ＳＴ１をサムネイル表示させるための操作がなされた場合、表示画像４１１を表示することができる。表示画像４１１では、表示領域ＡＲ１に画像４１２が表示され且つ表示領域ＡＲ２及びＡＲ３に夫々第１及び第２の独立画像のサムネイル画像が表示されている。画像４１２は、静止画像ＳＴ１のサムネイル画像の端部に、静止画像ＳＴ１に関連付けられた画像が存在することを示唆する指標４１３を重畳したものである。表示画像４１１の代わりに、図２３（ｂ）の表示画像４１１ａ又は図２３（ｃ）の表示画像４１１ｂを表示することも可能である。即ち、表示領域ＡＲ１における静止画像ＳＴ１のサムネイル画像の端部に、指標４１３の代わりに、表示画像４１１ａの如く静止画像ＳＴ２のサムネイル画像（静止画像ＳＴ２のサムネイル画像の縮小画像）を重畳表示するようにしても良いし、表示画像４１１ｂの如く静止画像ＳＴ１に関連付けられた画像の枚数を表す数値を重畳表示するようにしても良い。

尚、表示画像４１１、４１１ａ又は４１１ｂの代わりに、図２４の表示画像４１１ｃを表示することも可能である。即ち、表示領域ＡＲ１に静止画像ＳＴ１のサムネイル画像そのものを単に表示することも可能である（表示画像４１１ｃの表示領域ＡＲ２及びＡＲ３には第１及び第２の独立画像のサムネイル画像が表示される）。

また、全表示領域ＡＲ_ALLの分割数が４である時には、図２３（ｂ）の表示画像４１１ａの如く、親画像（静止画像ＳＴ１）のサムネイル画像の端部に子画像（静止画像ＳＴ２）のサムネイル画像を重畳表示し、全表示領域ＡＲ_ALLの分割数が所定個数以上となった時には（例えば、１６個になった時には）、図２３（ｃ）の表示画像４１１ｂの如く、親画像のサムネイル画像の端部に親画像に関連付けられた画像の枚数を表す数値を重畳表示するようにしてもよい。即ち例えば、表示画像４１１ａが表示されている状態において全表示領域ＡＲ_ALLの分割数を１６個にする操作がなされた場合、表示画像４１１ａの代わりに図２５の表示画像４１５を表示するようにしてもよい。表示画像４１５では、画像４１６と第１及び第２の独立画像のサムネイル画像が並べて表示されている。画像４１６は、親画像である静止画像ＳＴ１のサムネイル画像の端部に、静止画像ＳＴ１に関連付けられた画像の枚数を表す数値を重畳したものである。

サムネイル表示の第１方法では、表示画像４１１、４１１ａ、４１１ｂ、４１１ｃ又は４１５のように、まず、親画像又は独立画像のサムネイル画像が表示され、子画像のサムネイル画像が表示領域ＡＲ１〜ＡＲ４の何れかの全体を使って表示されることはない。但し、表示画像４１１、４１１ａ、４１１ｂ、４１１ｃ又は４１５が表示されている状態において、静止画像ＳＴ１のサムネイル画像を選択する操作を施すと、図２６に示すような表示画像４１８が表示される。表示画像４１８では、静止画像ＳＴ１のサムネイル画像と静止画像ＳＴ１の子画像のサムネイル画像が並んでサムネイル表示されている。

図２７の画像４２１及び４２２の夫々は、サムネイル表示の第２方法における表示画像である。サムネイル表示の第２方法では、静止画像ＳＴ１をサムネイル表示させるための操作がなされた場合、まず、表示画像４２１が表示され、一定時間の経過後、表示画像４２１に代わって表示画像４２２が表示され、更に一定時間の経過後に表示画像４２１が表示される。即ち、表示画像４２１及び４２２が、一定時間が経過するごとに交互に表示される。表示画像４２１では、表示領域ＡＲ１に親画像である静止画像ＳＴ１のサムネイル画像が表示され、表示画像４２２では、表示領域ＡＲ１に子画像である静止画像ＳＴ２のサムネイル画像が表示される。表示画像４２１及び４２２の夫々において、表示領域ＡＲ２及びＡＲ３には第１及び第２の独立画像のサムネイル画像が表示されている。

仮に、静止画像ＳＴ１に対して静止画像ＳＴ２以外の子画像が更に関連付けられている場合は、表示画像４２１と、表示画像４２２と、静止画像ＳＴ２以外の該子画像のサムネイル画像を含み且つ静止画像ＳＴ１及びＳＴ２のサムネイル画像を含まない表示画像（不図示）とが順番に表示される。このように、サムネイル表示の第２方法では、互いに関連付けられた複数の関連付け画像のサムネイル画像が１枚ずつ順番にサムネイル表示される。

サムネイル表示の第３方法を説明する。サムネイル表示の第３方法では、サムネイル表示を行わせるための操作がなされた時、互いに関連付けられた親画像及び子画像の各サムネイル画像が同一の表示画像上に表示されると共に表示領域が余っている場合は独立画像のサムネイル画像も同時に表示される。但し、この際、互いに関連付けられた画像群が独立画像と区別して視認可能なように表示内容の制御がなされる。

例えば、図２８（ａ）〜（ｄ）に示される表示画像４３１、４３２、４３３又は４４４を表示することができる。表示画像４３１、４３２、４３３及び４３４の夫々において、表示領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４には、静止画像ＳＴ１のサムネイル画像、静止画像ＳＴ２のサムネイル画像、第１の独立画像のサムネイル画像及び第２の独立画像のサムネイル画像が表示される。

但し、表示画像４３１〜４３４では、静止画像ＳＴ１及びＳＴ２から成る関連付け画像群が独立画像と区別して視認可能となるように、指標の表示等がなされている。即ち、
表示画像４３１では、静止画像ＳＴ１及びＳＴ２のサムネイル画像が表示されている領域を取り囲む枠４３５が表示されており、
表示画像４３２では、静止画像ＳＴ１及びＳＴ２のサムネイル画像が表示されている領域を結ぶような指標４３６が表示されており、
表示画像４３３では、静止画像ＳＴ１及びＳＴ２のサムネイル画像の各端部に同一の指標が重畳表示されており、
表示画像４３４では、静止画像ＳＴ１及びＳＴ２のサムネイル画像における外枠の色が第１の色で統一されている一方で第１及び第２の独立画像のサムネイル画像における外枠の色が夫々第２及び第３の色とされている（第１〜第３の色は、互いに異なる色である）。また、外枠の色を異ならせるのではなく、外枠の線の種類を、静止画像ＳＴ１及びＳＴ２のサムネイル画像と独立画像のサムネイル画像との間で異ならせるようにしてもよい。

尚、矛盾なき限り、サムネイル表示の各方法において、静止画像ＳＴ１と静止画像ＳＴ２の関係を入れ替えて考えるようにしても良い。また、サムネイル表示の各方法では、静止画像ＳＴ１に関連付け画像が存在することを想定したが、静止画像ＳＴ１に関連付け画像がない場合においては、静止画像ＳＴ１のサムネイル画像そのものを含む複数のサムネイル画像が同一の表示画面上に単にサムネイル表示される（即ち例えば、単に図２４の表示画像４１１ｃが表示される）。

また、表示の対象画像が静止画像であることを想定してサムネイル表示の各方法を説明したが、表示の対象画像が動画像である場合においても上述のサムネイル表示の各方法を適用することができる。この際、互いに関連付けられた動画像が上述の動画像ＭＶ１及びＭＶ２である場合においては、適宜、静止画像ＳＴ１及びＳＴ２を夫々フレーム画像２３１及び２３２に置き換えて考えればよい（図９参照）。

上述のサムネイル表示の各方法によれば、サムネイル表示されている画像に関連付けられた画像の有無を容易に確認することができる、或いは、サムネイル表示された複数の画像が互いに関連付けられているのか否かを容易に確認することができる。

尚、撮影モードにおいて、図５の例に沿って静止画像ＳＴ１に続いて静止画像ＳＴ２が撮影された時、静止画像ＳＴ２が関連付け画像であることをユーザに明示すべく、図１７（ａ）又は（ｂ）に示すような表示画像３３１又は３３４を全画面表示するようにしても良いし、静止画像ＳＴ２の端部に静止画像ＳＴ２に関連付けられた画像の存在を示唆する指標を重畳したものを全画面表示するようにしてもよい。

また、全画面表示に関する上記各方法及びサムネイル表示に関する上記各方法では、親画像及び子画像間で撮影画角が異なっていることを想定しているが（但し、全画面表示の第６方法を除く）、矛盾が生じない限り、本実施例で述べた各方法は、親画像及び子画像の撮影画角が同じである場合に対しても適用可能である。

また、全画面表示に関する上記各方法及びサムネイル表示に関する上記各方法では、主として、親画像に関連付けられた子画像の枚数が１枚であることを想定しているが、その枚数は２以上であっても良い。例えば、図２８（ａ）に示すものとは異なるが、仮に図２８（ａ）の表示画像４３１に静止画像ＳＴ１〜ＳＴ３のサムネイル画像が含まれており且つ静止画像ＳＴ１〜ＳＴ３が関連付け画像群を形成しているならば、表示画像４３１に、静止画像ＳＴ１〜ＳＴ３のサムネイル画像を取り囲む枠を表示すればよい。

＜＜第４実施例＞＞
第４実施例について説明する。第４実施例では、関連付けがなされた画像のファイル名の決定方法について説明する。図２９に示す如く、ファイル名は、英字から成るファイル文字列と、数値から成るファイル番号と、拡張子と、を結合して形成される。第４実施例では、ファイル文字列及び拡張子を固定しつつ、関連付けを考慮してファイル番号を定める。ファイル番号の決定及び変更並びにファイル番号の画像ファイルへの書き込みは、図３の関連付け処理部４１によって成される。

例えば、互いに関連付けられた複数の関連付け画像群の内、より広角な画像のファイル番号がより小さくなるようにするとよい。この内容を、図３０を参照して説明する。今、関連付け機能が有効（ＯＮ）となっている状態において画像５０１及び５０２をこの順番で撮影した後、関連付け機能を無効（ＯＦＦ）にしてから画像５０３及び５０４をこの順番で撮影したことを想定する。この場合、画像５０１及び５０２は、互いに関連付けられた関連付け画像群を形成し、画像５０３及び５０４の夫々は独立画像となる。また、画像５０１の撮影後であって画像５０２の撮影前に光学ズーム倍率を減少させる操作があったものとする。そうすると、画像５０１は、画像５０２よりも狭い画角にて撮影された、比較的狭い視野を有する狭角画像であり、画像５０２は、画像５０１よりも広い画角にて撮影された、比較的広い視野を有する広角画像である。

関連付け処理部４１は、図３１（ａ）に示す如く、時間的に早くに撮影された画像に対してより小さいファイル番号が割り当てられるように複数の画像に対するファイル番号を仮決定するが、その複数の画像に関連付け画像群が含まれている場合は、より広い視野を有する関連付け画像により小さなファイル番号が割り当てられるように関連付け画像のファイル番号を変更する。

即ち、図３０に示す例の場合、図３１（ａ）に示す如く、画像５０１、５０２、５０３及び５０４に対して一旦ファイル番号「０００１」、「０００２」、「０００３」及び「０００４」が割り当てられるが、画像５０１の画角よりも画像５０２の方が広角であるため、図３１（ｂ）に示す如く、画像５０１のファイル番号が「０００２」に変更されると共に画像５０２のファイル番号が「０００１」に変更される。勿論、画像５０１及び５０２の画像ファイル内の付加データは、この変更内容に従う。

或いは例えば、互いに関連付けられた複数の関連付け画像群の内、より狭角な画像のファイル番号がより広角な画像のファイル番号の従属番号となるようにファイル番号を変更してもよい。即ち、図３０に示す例の場合、図３１（ａ）に示す如く、画像５０１、５０２、５０３及び５０４に対して一旦ファイル番号「０００１」、「０００２」、「０００３」及び「０００４」が割り当てられるが、画像５０１の画角よりも画像５０２の方が広角であるため、図３１（ｃ）に示す如く、画像５０２のファイル番号を「０００１」に変更すると共に画像５０１のファイル番号をファイル番号「０００１」の従属番号である「０００１−０１」に変更するようにしてもよい。この変更に伴い、画像５０３及び５０４のファイル番号を夫々「０００２」及び「０００３」に変更してもよい。勿論、画像５０１〜５０４の画像ファイル内の付加データは、これらの変更内容に従う。尚、画像５０１のファイル番号を、ファイル番号「０００１」の従属番号とは異なる別の番号に変更するようにしても構わない。

本実施例の如くファイル名を変更することにより、関連付け画像群内における画角の大小関係等がファイル名から容易に把握できるようになり、ユーザによるファイル管理が容易となる。

＜＜第５実施例＞＞
第５実施例について説明する。第５実施例では、関連付けの解除及び追加について説明する。関連付けの解除とは、互いに関連付けられた複数の関連付け画像の内の全部又は一部を、独立画像に変更する処理を指す。関連付けの追加とは、或る独立画像を他の画像に関連付ける処理を指す。関連付けの解除及び追加は、例えば、全画面表示又はサムネイル表示が成されている状態において所定操作を撮像装置１に施すことにより実施される。その所定操作に伴う実際の解除及び追加は、図３の関連付け処理部４１によって成され、その解除及び追加の内容は外部メモリ１８の記録データに反映される。

今、第１〜第ｎの画像が互いに関連付けられている状態を想定し（ｎは２以上の整数）、この状態を起点として、第１の画像に対して関連付けの解除がなされた場合を考える。

この場合、第１の画像が独立画像となる。そして、例えば、第１の画像が親画像であった場合又は第１の画像が第１〜第ｎの画像の中で最も視野の広い画像（撮影画角が最も広い画像）である場合においては、第２〜第ｎの画像の内、最もファイル番号の小さい画像又は撮影画角が最も広い画像が親画像となるように且つ他の画像が子画像となるように、第２〜第ｎの画像間の関連付けを再実施するとよい。

また、第１の画像が親画像であった場合又は第１の画像が第１〜第ｎの画像の中で最も視野の広い画像（撮影画角が最も広い画像）である場合において、第１の画像に対して関連付けの解除が成された場合には、自動的に、第２〜第ｎの画像間の関連付けも解除するようにしてもよい。

関連付けの追加は、ユーザが新たに関連付けを行いたい画像を指定することによって実現される。

＜＜第６実施例＞＞
第６実施例について説明する。互いに関連付けられる複数の画像がシャッタボタン２６ｂ又は録画ボタン２６ａに対する複数回の押下操作によって取得されることを上述したが、関連付けることのできる複数の画像の取得方法はこれに限定されず、任意の方法にて得た複数の画像を関連付けた上で上述の記録処理や表示処理を行うことも可能である。第６実施例では、関連付けることのできる複数の画像の生成方法の一例を説明する。

図３２は、第６実施例に係る撮像装置１の一部ブロック図である。映像信号処理部１３ａは、符号８１〜８３によって参照される各部位を備える。映像信号処理部１３ａを、図１の映像信号処理部１３として用いることができる。映像信号処理部１３ａは、撮像素子（イメージセンサ）３３が単一のイメージセンサから成る、いわゆる単板方式の撮像素子であることに対応した映像信号処理部である。

撮像素子３３の受光画素の前面に、光の赤成分のみを透過させる赤フィルタ、光の緑成分のみを透過させる緑フィルタ及び光の青成分のみを透過させる青フィルタがベイヤ配列に従って配置されている。このため、ＡＦＥ１２からの出力信号によって表される原画像上には、赤成分の強度を表すＲ信号がベイヤ配列に従ってモザイク状に配列されている（緑成分の強度を表すＧ信号及び青成分の強度を表すＢ信号も同様）。デモザイキング処理部８１は、ＡＦＥ１２の出力信号に対して周知のデモザイキング処理を施すことにより、原画像から色補間画像を生成する。色補間画像上の１つ１つの画素には、Ｒ、Ｇ及びＢ信号の全てが割り当てられる。画像処理部８２は、この色補間画像に対して所定の画像処理（エッジ強調処理やノイズ除去処理など）を施す。

リサンプリング処理部８３は、その画像処理後の色補間画像をリサンプリング対象画像として取り扱い、リサンプリング対象画像をリサンプリングすることによってＰ枚の縮小画像を生成する。Ｐは２以上の整数である。図３３は、Ｐが２である場合を例示している。リサンプリング対象画像の水平方向及び垂直方向における画素数を夫々Ｍｘ及びＭｙで表すと共に、リサンプリングによって生成される各縮小画像の水平方向及び垂直方向における画素数を夫々Ｎｘ及びＮｙで表す。Ｍｘ、Ｍｙ、Ｎｘ及びＮｙは、２以上の整数（例えば数１００〜数１０００）であるが、常に不等式「（Ｍｘ×Ｍｙ）＞Ｐ×（Ｎｘ×Ｎｙ）」が満たされる。

Ｐ枚の縮小画像の画像データは、圧縮処理部１６において所定の圧縮方式（例えば、ＪＰＥＧ方式）にて圧縮され、圧縮後の画像データは外部メモリ１８に記録される。この際、圧縮処理部１６は、Ｐ枚の縮小画像を互いに関連付けた上でそれらの圧縮画像データを外部メモリ１８に記録する。複数の画像の画像データ（圧縮画像データ）を関連付けて外部メモリ１８に記録する方法は、上述の各実施例にて述べた通りである。尚、外部メモリ１８に記録されるべきＰ枚の縮小画像の画像データは、１枚の静止画像の撮影を指示する操作がシャッタボタン２６ｂに対して成された際に生成される。

リサンプリングの方法として様々な方法が利用可能であるが、一例として、Ｐが２であって且つリサンプリング対象画像に対する縮小画像の縮小率が１／２である場合におけるリサンプリング方法を、以下に説明する。この場合、Ｎｘ＝Ｍｘ／２、Ｎｙ＝Ｍｙ／２である。

尚、二次元画像上の画素を記号Ｐ［ｘ，ｙ］にて表すと共に、二次元画像上の位置を［ｘ，ｙ］にて表す。リサンプリング対象画像及び縮小画像の夫々は、勿論、二次元画像である。注目した二次元画像上の画素Ｐ［ｘ，ｙ］の中心位置は、その注目した二次元画像上の位置［ｘ，ｙ］と一致する。注目した二次元画像において、画素Ｐ［ｘ，ｙ］の右、左、上、下に隣接する画素は、夫々、画素Ｐ［ｘ＋１，ｙ］、Ｐ［ｘ−１，ｙ］、Ｐ［ｘ，ｙ＋１］、Ｐ［ｘ，ｙ−１］である。二次元画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。ｘ及びｙの夫々は、整数又は小数を含む値をとる。

図３４に、リサンプリング対象画像６００の画素配列を示す。図３４には、リサンプリング対象画像６００上における（８×８）個分の画素が示されている。

図３５（ａ）に、リサンプリング対象画像６００上の画素と、第１及び第２の縮小画像６１１及び６１２上の画素との位置関係を示す。第１の縮小画像６１１は、図３５（ａ）の太い実線で囲まれた各画素から形成され、第２の縮小画像６１２は、図３５（ａ）の太い破線で囲まれた各画素から形成される。図３５（ｂ）及び（ｃ）は、夫々、第１及び第２の縮小画像６１１及び６１２の画素配列を示している。リサンプリング対象画像６００上における（８×８）画素から、縮小画像６１１上における（４×４）画素と縮小画像６１２上における（４×４）画素が生成される。

リサンプリング対象画像６００上における位置［２ｎ_A−１，２ｎ_B−１］の画素信号（Ｒ、Ｇ及びＢ信号）が縮小画像６１１上における位置［ｎ_A，ｎ_B］の画素信号（Ｒ、Ｇ及びＢ信号）となるように、且つ、リサンプリング対象画像６００上における位置［２ｎ_A，２ｎ_B］の画素信号（Ｒ、Ｇ及びＢ信号）が縮小画像６１２上における位置［ｎ_A，ｎ_B］の画素信号（Ｒ、Ｇ及びＢ信号）となるように、リサンプリングが行われる（ｎ_A及びｎ_Bは自然数）。

Ｐ枚の縮小画像をリサンプリングによって生成する際のサンプリング位置（リサンプリング位置）がＰ枚の縮小画像間で異なる。リサンプリング処理部８３は、Ｐ枚の縮小画像を生成する際、このサンプリング位置（リサンプリング位置）の相違を表す位置ずれ情報も作成する。位置ずれ情報は、例えば、親画像の画像ファイルのヘッダ領域内に記録される付加データに含められる。上述の例において、縮小画像６１１及び６１２は互いに関連付けられ、縮小画像６１１が親画像として縮小画像６１２が子画像として機能する。

位置ずれ情報は、縮小画像６１１を基準とした、縮小画像６１１及び６１２間のサンプリング位置（リサンプリング位置）の相違を表す、水平及び垂直成分を含むベクトル情報である。縮小画像６１１のサンプリング位置（例えば、縮小画像６１１上における位置［１，１］）から見て、縮小画像６１２の対応サンプリング位置（例えば、縮小画像６１２上における位置［１，１］）は、リサンプリング対象画像６００上の１画素分だけ右方向にずれていると共にリサンプリング対象画像６００上の１画素分だけ下方向にずれている。そのずれを表す情報が位置ずれ情報として縮小画像６１１の付加データに含められる。この位置ずれ情報は、縮小画像間の位置ずれを、縮小画像の画素間隔よりも分解能の高い所謂サブピクセルの分解能で表している。

再生モードにおいて、外部メモリ１８から伸張処理部１９を介してＰ枚の縮小画像の画像データ及び位置ずれ情報が超解像処理部（不図示）に入力される。超解像処理部を、例えば、表示処理部２０内に設けておくことができる。超解像処理部は、位置ずれ情報及びＰ枚の低解像度画像としてのＰ枚の縮小画像に基づき、超解像処理（高解像度化処理）によって１枚の高解像度画像を生成する。この高解像度画像の水平方向及び垂直方向における画素数は、リサンプリング対象画像と同様、夫々Ｍｘ及びＭｙである。サブピクセルの分解能を有する位置ずれ情報及びＰ枚の低解像度画像に基づいて１枚の高解像度画像を生成する超解像処理として、公知の超解像処理を含む任意の超解像処理を利用可能である。生成された高解像度画像の画像データを図１４の表示用映像処理部６２に与えることで、高解像度画像を表示部２７にて表示することができる。上述のリサンプリングを利用した記録処理によれば、再生画像の画質劣化を殆ど招くことなく、画像の記録サイズを削減することができる。

また、外部メモリ１８から読み出した各縮小画像の画像データ及び付加データを関連付け表示処理部６１（図１４参照）に与えることにより、第３実施例で述べたような表示を行うことも可能である。

＜＜第７実施例＞＞
外部メモリ１８の記録データに基づく上述の各処理（表示処理や超解像処理など）を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。この場合、その電子機器内に、図１４の表示処理部２０及び表示部２７を設けておくと共に必要に応じて第６実施例で述べた超解像処理部を設けておき、外部メモリ１８の記録データを電子機器に与えればよい。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
親画像及び子画像間で撮影画角が異なる場合において、広角画像が親画像として且つ狭角画像が子画像として関連付けられる例を上述したが、広角画像を子画像として且つ狭角画像を親画像として関連付けることも可能である。

［注釈２］
複数の画像間の関連付けを撮像装置１が自動的に行う動作を上述したが、ユーザが、それを手動にて行うようにしても良い。即ち、複数の画像の撮影後において、ユーザが、所定操作を行うことで該複数の画像を関連付けることも可能である。この関連付けを指示する操作内容に従って、対応する画像ファイル内の付加データ（図４参照）も修正される。

［注釈３］
上述の各説明は、１つの静止画像又は１つの動画像に対して１つの画像ファイルが作成されることを前提にしているが、複数の画像（静止画像又は動画像）に対して１つの画像ファイルが作成されても良い。即ち例えば、互いに関連付けられるべき複数の画像（静止画像又は動画像）の画像データを１つの画像ファイルにまとめて格納しておくようにしてもよい。また、１つの画像（静止画像又は動画像）に対して１つの画像ファイルを作成した上で、関連付けられるべき複数の画像についての複数の画像ファイルを１つのファイルとして外部メモリ１８に保存しておくようにしてもよい。

［注釈４］
図１の撮像装置１又は第７実施例に係る電子機器は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部１３及び表示処理部２０内で実行される処理の全部又は一部を、ソフトウェアを用いて実現することも可能である。勿論、それらをハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１又は第７実施例に係る電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

［注釈５］
例えば、以下のように考えることができる。表示処理部２０は、表示部２７の表示内容を制御する表示制御部としての機能を有する。画像データ及び付加データを外部メモリ１８に記録させる動作は記録制御部（不図示）によって制御される。この記録制御部の機能は、ＣＰＵ２３、圧縮処理部１６、及び／又は、外部メモリ１８の前段に設けられたメモリドライバ（不図示）により実現される、と考えることができる。

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
１６ 圧縮処理部
１８ 外部メモリ
１９ 伸張処理部
２０ 表示処理部
２７ 表示部
３３ 撮像素子（イメージセンサ）
４１ 関連付け処理部
６１ 関連付け表示処理部

Claims (6)

1. 表示部と、
   第１画像を含む複数の画像の画像データを記録媒体から抽出するとともに、前記第１画像に関連付けられた第２画像が前記複数の画像に含まれているか否かを表す関連付け情報を前記記録媒体から受け、受けた前記画像データ及び前記関連付け情報に基づいて前記表示部の表示内容を制御する表示制御部と、を備え、
   前記表示制御部は、前記第１画像を前記表示部に表示させるとき、前記第２画像が前記複数の画像に含まれているか否かに応じて前記表示部の表示内容を変更する
   ことを特徴とする電子機器。
2. 前記関連付け情報は、前記第１画像の視野と前記第２画像の視野との関係を表す視野関係情報を含み、
   前記表示制御部は、前記第２画像が前記複数の画像に含まれている場合において前記第１画像を前記表示部に表示させるとき、前記第１画像上における前記第２画像の視野の範囲を示す指標も前記表示部に表示させる
   ことを特徴とする請求項１に記載の電子機器。
3. 前記第１及び第２画像の画像データは、撮影によって生成されて前記記録媒体に記録され、
   前記視野関係情報は、前記第１画像の撮影時における光学ズーム倍率と前記第２画像の撮影時における光学ズーム倍率との比、または、前記第１及び第２画像間の位置ずれの検出結果に基づいて生成される
   ことを特徴とする請求項２に記載の電子機器。
4. 前記表示制御部は、前記第２画像が前記複数の画像に含まれている場合において前記第１画像を前記表示部に表示させるとき、前記第２画像に基づくサムネイル画像又は前記第２画像の存在を示す指標も前記表示部に表示させる
   ことを特徴とする請求項１に記載の電子機器。
5. 前記表示制御部は、前記第１画像に基づくサムネイル画像を含む複数のサムネイル画像を前記表示部に同時に表示させるとき、前記第２画像が前記複数の画像に含まれているか否かに応じて前記表示部の表示内容を変更する
   ことを特徴とする請求項１に記載の電子機器。
6. 請求項１〜請求項５の何れかに記載の電子機器としての撮像装置であって、
   前記第１及び第２画像の画像データを撮影によって取得する撮像部と、
   前記関連付け情報を前記第１及び第２画像の画像データとともに前記記録媒体に記録する記録制御部と、を備えた
   ことを特徴とする撮像装置。

Images