JP2010263269A

JP2010263269A - 撮像装置

Info

Publication number: JP2010263269A
Application number: JP2009110411A
Authority: JP
Inventors: Norikazu Tsunekawa; 法和恒川
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2009-04-30
Filing date: 2009-04-30
Publication date: 2010-11-18

Abstract

【課題】複数の静止画像を撮影する際において、望ましい撮影範囲の設定を支援する。
【解決手段】１回目のシャッタボタン押下によって１枚目の静止画像を撮影した後、２枚目の静止画像の撮影を指示する２回目のシャッタボタン押下を待機している期間中、最新のプレビュー画像２１２と１枚目の静止画像に基づく画像２１１をブレンディング合成することで得た画像を、表示用画像２１３として生成及び表示する。画像２１１は、例えば、１枚目の静止画像から抽出した顔領域内の画像である。ユーザは、画像２１１及びプレビュー画像２１２内における同一の被写体が表示画面上で重なるようにカメラ操作を行い、２回目のシャッタボタン押下を行うことで、撮影範囲が互いに一致した第１及び第２の静止画像を得ることができる。
【選択図】図９

Description

本発明は、デジタルカメラ等の撮像装置に関する。

近年、撮像装置には、液晶ディスプレイ等から成る表示部が備えられていることが多い。この種の撮像装置の撮影モードにおいては、現在の被写体の様子を表す撮影範囲確認用の動画像が表示部に表示される。ユーザは、その表示から撮影範囲を確認しつつ、所望のタイミングにてシャッタボタンを操作することで所望の静止画像を取得する。

一方、同一の被写体をとらえた複数の低解像度画像から高解像度画像を生成する超解像処理が知られている。超解像処理では、低解像度画像間の位置ずれをサブピクセルの分解能にて検出し、その検出結果を用いて低解像度画像の高解像度化を行うが、この際、低解像度画像間の位置ずれが大きすぎると位置ずれの検出そのものができなくなったり、狭い視野部分しか高解像度化ができなくなったりする。従って、高解像度画像を生成するための複数の低解像度画像を複数回の静止画像撮影によって得ようとするユーザは、撮影範囲が略同じとなるように複数回の静止画像撮影を行う。

しかしながら、複数回の静止画像撮影を行う過程において、既に撮影した静止画像の撮影範囲を正確に覚えておくことは容易でないこともあり、結果、複数の低解像度画像としての複数の静止画像の撮影範囲が互いに大きくずれることもある（換言すれば、それらの静止画像間の位置ずれの大きさが大きくなりすぎることもある）。このような大きなずれがあると、上述したように、位置ずれの検出そのものができなくなったり、狭い視野部分しか高解像度化ができなくなったりする。従って、このような大きなずれを生じさせるような撮影は、望ましい撮影ではない（一種の失敗撮影である）と言える。

また、人物の全体像を背景をも含めて撮影した後、続けて、人物の顔の部分が大きく映し出された画像を撮影するなど、関連性の高い複数の静止画像を連続的に撮影することも多い。このような場合、ユーザは、既に撮影した第１の静止画像の撮影範囲を考慮して、次に撮影しようとする第２の静止画像の撮影範囲を決定するが、第１の静止画像の撮影後、第２の静止画像用の撮影範囲を決定しようとする時において、第１の静止画像の撮影範囲を正確に覚えていないことも多い。このため、第１の静止画像の撮影範囲との関係において良好な撮影範囲（構図）を有する第２の静止画像を取得できなくこともある。このような第２の静止画像の撮影は、ユーザにとって望ましい撮影ではない（一種の失敗撮影である）と言える。

他方、パノラマ画像を生成する技術も提案されている。例えば、撮像装置を横又は縦に振りながら複数回の静止画像撮影を行うことで撮影範囲の異なる複数の静止画像を取得し、その複数の静止画像をイメージモザイキングにより合成することで各静止画像の視野よりも広い視野を有するパノラマ画像を生成することができる。水平又は垂直方向にずれの少ない複数の静止画像を撮影することで、理想的なパノラマ画像を生成することができる。しかしながら、第１の静止画像の撮影後、第２の静止画像用の撮影範囲を決定しようとする時において、ユーザは、第１の静止画像の撮影範囲を正確に覚えていないことも多く、これに起因して、第１の静止画像との関係において水平又は垂直方向にずれの少ない第２の静止画像を撮影できないことも多い。そのずれが大きくなるような第２の静止画像の撮影は、望ましい撮影ではない（一種の失敗撮影である）と言える。

尚、パノラマ画像生成用の画像の撮影時におけるカメラ操作を支援する技術が下記特許文献１に開示されている。この技術では、パノラマ画像生成用の画像の撮影時における機器の移動速度を検出し、移動速度に応じて警告音を発したり、機器の移動軌跡等を通知したりする。しかしながら、このような通知だけでは、ユーザが、どのような撮影を行えば良好なパノラマ画像を得ることができるのか分かりにくい。

特開２００７−３０６５２４号公報

或る静止画像の撮影後に他の静止画像の撮影を行う場合において、後者の静止画像の撮影範囲を望ましいものにするための支援技術があれば、上述したような失敗撮影の発生も抑制される。

そこで本発明は、望ましい撮影範囲の設定を支援する機能を備えた撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体の静止画像及び動画像を撮影する撮像部と、前記静止画像又は動画像の撮影指示を受け付ける指示受付部と、前記撮像部にて撮影された前記静止画像又は前記動画像を表示する表示部と、前記表示部の表示内容を制御する表示制御部と、を備えた撮像装置において、前記表示制御部は、第１の撮影指示に従う撮影によって第１の静止画像が得られた後、現在の被写体の動画像を前記表示部に表示させつつ、前記第１の静止画像に基づく画像をも前記表示部に表示させることを特徴とする。

これにより、ユーザは、第１の静止画像の状態を考慮して、以後に撮影されるべき静止画像の撮影範囲（構図）を決定することができる。即ち、望ましい撮影範囲の設定が支援される。

尚、動画像は時系列上に並ぶ複数の静止画像から形成される。従って、第１の撮影指示は動画像の撮影指示であることもあり、第１の静止画像は、第１の撮影指示に従って撮影された動画像を形成する１枚の静止画像であっても良い。

具体的には例えば、前記表示制御部は、前記第１の静止画像の撮影が行われた後であって且つ前記第１の撮影指示と異なる第２の撮影指示に基づく第２の静止画像が撮影されるまでの期間において、前記現在の被写体の動画像と前記第１の静止画像の一部画像又は全体画像とが同時に視認可能となるように、前記表示部を制御する。

また例えば、当該撮像装置に、前記第１の静止画像と、前記現在の被写体の動画像を形成する各静止画像との間の位置ずれを検出する位置ずれ検出部と、前記位置ずれの検出が不可能なとき、その旨を通知する通知部と、を更に設けるようにしても良い。

撮像装置において位置ずれ検出結果を利用した様々な処理（超解像処理など）を実行することができるが、対比画像の撮影範囲が異なりすぎて対比画像間の位置ずれが大きくなりすぎると、位置ずれを検出できなくなる。このような場合に、上記通知を行うようにすれば、ユーザに撮影範囲の修正を促すことできる。

尚、通知が表示部の表示によって成される場合、通知部は表示制御部に内包されると考えることができる。通知を音声出力等によって成すことも可能である。

或いは例えば、当該撮像装置は、前記第１の静止画像と、前記現在の被写体の動画像を形成する各静止画像との間の位置ずれを検出する位置ずれ検出部を更に備え、前記表示制御部は、前記現在の被写体の動画像を前記表示部に表示させている際、検出された前記位置ずれの向きに応じた指標をも前記表示部に表示させる。

また例えば、前記表示制御部は、前記期間において、前記第１の静止画像上における特定位置の画像と前記現在の被写体の動画像上における前記特定位置の画像とが前記表示部の表示画面上において同一位置に表示されるように、前記表示部を制御する。

或いは例えば、当該撮像装置は、前記第１及び第２の静止画像を含む複数の静止画像を合成することによって、各静止画像の画角よりも広い画角を有する合成画像を生成する画像合成部を更に備え、前記表示制御部は、前記期間において、前記第１の静止画像上における特定位置の画像と前記現在の被写体の動画像上における前記特定位置の画像とが前記表示部の表示画面上において異なる位置に表示されるように、前記表示部を制御し、前記第１の静止画像上における特定位置の画像の、前記表示画面上における表示位置を、予め定められた前記合成画像上における前記第１及び第２の静止画像間の位置関係に基づいて決定する。

更に或いは例えば、前記表示制御部は、前記期間において、前記表示部の表示領域を第１及び第２の表示領域を含む複数の表示領域に分割し、前記第１の表示領域に前記現在の被写体の動画像が表示されるように且つ前記第２の表示領域に前記第１の静止画像が表示されるように、前記表示部を制御する。

本発明に係る他の撮像装置は、被写体の静止画像及び動画像を撮影する撮像部と、前記静止画像の撮影指示を受け付ける指示受付部と、前記撮像部にて撮影された前記静止画像又は前記動画像を表示する表示部と、前記表示部の表示内容を制御する表示制御部と、前記撮像部の撮影画角を調整するための画像調整部と、を備えた撮像装置において、前記表示制御部は、第１の撮影指示に基づく第１の静止画像の撮影が行われた後、前記画像調整部によって前記撮影画角の増大がなされたとき、現在の被写体の動画像を前記表示部に表示させつつ、前記第１の静止画像の画角を表す指標を前記現在の被写体の動画像上に重ね合わせて前記表示部に表示させることを特徴とする。

これにより、ユーザは、第１の静止画像の画角を考慮して、以後に撮影されるべき静止画像の撮影範囲（構図）を決定することができる。即ち、望ましい撮影範囲の設定が支援される。

本発明によれば、望ましい撮影範囲の設定を支援する機能を備えた撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の概略全体ブロック図である。任意の二次元画像が配置されるべき二次元座標面を表す図である。図１に示される表示部の概略的な外観図である。図１の撮像装置の撮影によって得られたフレーム画像（ａ）と、そのフレーム画像が通常表示される場合における表示部の状態（ｂ）を示す図である。プレビュー期間の意義を説明するための図である。図１の撮像装置の一部のブロック図である。本発明の第１実施例に係る超解像処理を担う部位のブロック図である。本発明の第１実施例に係る第１の対象静止画像を示す図である。本発明の第１実施例に係る表示用画像の生成方法を説明するための図である。本発明の第１実施例に係る他の表示用画像の生成方法を説明するための図である。本発明の第２実施例に係る表示用画像を示す図である。本発明の第３実施例に係る第１及び第２の対象静止画像を示す図である。本発明の第３実施例に係る表示用画像の生成方法を説明するための図である。本発明の第４実施例に係る表示用画像を示す図である。本発明の第５実施例に係り、パノラマ画像の生成処理を担う部位のブロック図である。本発明の第５実施例に係り、撮像装置の被写体の状態を表す図である。本発明の第５実施例に係る第１の対象静止画像を示す図である。本発明の第５実施例に係る表示用画像の生成方法を説明するための図である。図１８に示される表示用画像上に、２つの位置における座標値を追記した図である。本発明の第６実施例に係り、撮像装置の被写体の状態を表す図である。本発明の第６実施例に係り、表示用画像上における重畳用画像を示す図である。本発明の第７実施例に係り、表示画面に設けられた表示領域が複数領域に分割される様子を示した図である。本発明の第７実施例に係る表示用画像の生成方法を説明するための図である。本発明の第７実施例に係る表示用画像を示す図である。本発明の第７実施例に係る他の表示用画像を示す図である。本発明の第７実施例に係る更に他の表示用画像を示す図である。本発明の第８実施例に係る表示用画像を示す図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第８実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

［基本的な構成の説明］
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。但し、撮像装置１を、静止画像のみを撮影可能なデジタルスチルカメラとして構成するようにしてもよい。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。或る画素に対する画像データを、画素信号と呼ぶこともある。画素信号は、例えば、輝度信号及び色差信号を含む。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。

以下では、特に記述なき限り、撮影モードにおける動作を説明する。但し、撮影モードにおいて実行する必要が必ずしもない処理（例えば、後述の超解像処理）は、再生モードにおいて実行しても良い。また、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。

所定のフレーム周期にて周期的に得られたフレーム画像は表示部２７に更新表示される。即ち、順次得られるフレーム画像の集まりは動画像として表示部２７に表示される。ユーザは、この表示内容を見ることによって撮像部１１の撮影範囲（換言すれば、撮像部１１の撮影における視野）を確認し、所望のタイミングにて、シャッタボタン２６ｂの押下操作による静止画像の撮影指示を行う。この撮影指示がなされた直後に得られる１枚のフレーム画像の画像データが外部メモリ１８に記録される。この撮影指示に従って得られた、外部メモリ１８に記録されるべき静止画像としてのフレーム画像を対象静止画像と呼ぶ。対象静止画像以外の各フレーム画像は、撮影範囲確認用の画像として機能する。対象静止画像以外のフレーム画像を、プレビュー画像とも呼ぶ。尚、対象静止画像とプレビュー画像との間で、画像の解像度が異なりうる。

図２に、任意の二次元画像が配置されるべき二次元座標面としてのＸＹ座標面を示す。図２において、符号２００が付された矩形枠は、二次元画像の外形枠を表している。ＸＹ座標面は、二次元画像２００の水平方向に伸びるＸ軸と、二次元画像２００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。ＸＹ座標面上及び二次元画像２００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の垂直位置を表す。ＸＹ座標面及び二次元画像２００において、注目点のＸ軸座標値であるｘの値が増加するにつれて該注目点の位置は右側に移動し、注目点のＹ軸座標値であるｙの値が増加するにつれて該注目点の位置は上側に移動するものとする。

図３に、表示部２７の概略的な外観図を表している。表示部２７は、液晶ディスプレイ等の表示画面２７ａと、撮像装置１の筐体の一部である表示部筐体２７ｂと、から成る。

表示部２７は、表示画面２７ａの全表示領域を用いて或る１枚のフレーム画像を表示することができ、そのような表示を通常表示と呼ぶ。例えば、図４（ａ）に示されるフレーム画像を通常表示する場合には、図４（ｂ）に示されるような表示がなされる。通常表示では、表示画面２７ａの中心にフレーム画像の中心位置における画像が表示されると共に、表示画面２７ａの右上端、左上端、左下端及び右下端に、夫々、フレーム画像の右上端、左上端、左下端及び右下端における画像が表示される。通常表示において、フレーム画像以外の指標（例えば、人物の顔を囲む枠）等を表示することも可能である。また、表示画面２７ａに表示される画像を表示用画像とも言う。尚、図４（ａ）に示されるフレーム画像は、波打ち際に立っている人物を撮影することで得たものである。図４（ａ）のフレーム画像の左上側に位置する斜線部分は海に相当し、斜線部分中に存在する二重輪は海に浮かぶ浮き輪に相当する。図８の対象静止画像２１０等についても同様である。

以下、シャッタボタン２６ｂの押下による静止画像の撮影指示を、単にシャッタボタン押下とも言う。シャッタボタン押下がなされると、そのシャッボタン押下に従って得られるべき対象静止画像が、一定期間、表示画面２７ａに通常表示される。図５に示す如く、対象静止画像を通常表示するための該一定期間以外の期間を、プレビュー期間と呼ぶ。プレビュー期間において最新のプレビュー画像を単に通常表示にて更新表示することもできるが、撮像装置１は、プレビュー期間において特徴的な表示を行うこともできる。

この特徴的な表示の具体例を説明する実施例として、以下に、第１〜第８実施例を説明する。矛盾が生じないのであれば、第１〜第８実施例の内、或る実施例に述べた事項を他の実施例に適用することもでき、２以上の実施例を組み合わせることも可能である。

尚、図６に示す如く、表示部２７の表示内容は撮像装置１に設けられた表示制御部２９によって制御される。表示部２７は、表示制御部２９の制御の下で表示を行う。表示制御部２９は、例えば、ＣＰＵ２３及び表示処理部２０によって、或いは、映像信号処理部１３、ＣＰＵ２３及び表示処理部２０によって実現される。表示制御部２９に内在する表示画像生成部３０は、１又は複数のフレーム画像の画像データに基づき表示用画像を生成する。また、本明細書では、記述の簡略化上、符号を参照することによって該符号に対応する名称を省略又は略記することがある。例えば、対象静止画像２１０（図８参照）を単に画像２１０と表記することもあるが、両者は同じものを指す。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、複数の低解像度画像から高解像度画像を生成する超解像処理が撮像装置１内で実行可能であることを想定する。図７は、超解像処理を担う部位のブロック図である。位置ずれ検出部５１及び超解像演算部５２を、例えば、図１の映像信号処理部１３に設けておくことができる。

複数の低解像度画像の画像データが位置ずれ検出部５１及び超解像演算部５２に与えられる。撮影によって得られたフレーム画像が低解像度画像として機能する。位置ずれ検出部５１は、複数の低解像度画像の内の、任意の２枚の低解像度画像間の位置ずれを検出する。この際、位置ずれ検出部５１は、所謂サブピクセルの分解能で２枚の低解像度画像間の位置ずれを検出する。従って、この位置ずれの検出の最小単位は、低解像度画像の画素間隔よりも小さい。超解像演算部５２は、位置ずれ検出部５１による位置ずれの検出結果と複数の低解像度画像に基づいて、１枚の高解像度度画像を生成する。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。生成された高解像度画像の画像データを、圧縮処理部１６を介して外部メモリ１８に記録することができる。複数の低解像度画像から１枚の高解像度画像を生成するための超解像処理として、公知の超解像処理を含む任意の超解像処理を利用可能である。

位置ずれ検出部５１において第１及び第２の低解像度画像間の位置ずれを検出する場合、典型的には例えば、第１の低解像度画像から参照領域を抽出すると共に第２の低解像度画像に検出領域を設定し、参照領域内の画像の画像特徴と検出領域内の画像の画像特徴との類似度評価を検出領域の位置を探索範囲内で順次変更しながら実行する。そして、最大の類似度が得られた検出領域の位置と、第１の低解像度画像上における参照領域の位置とのずれを、第１及び第２の低解像度画像間の位置ずれとして検出する。尚、上記の類似性評価を介して求められた最大の類似度が所定の基準類似度よりも小さい場合、位置ずれの検出が不可であると判断することができる。

第２の低解像度画像に設定される探索範囲は、通常、第１の低解像度画像上の参照領域の中心位置を自身の中心位置として有する矩形領域とされ、探索範囲の大きさは第２の低解像度画像の全画像領域の大きさよりも小さくされる。探索範囲の大きさを大きくすれば、位置ずれ検出の処理負荷が大きくなると共に誤検出の可能性も増大するからである。

第１実施例では、複数の対象静止画像を複数の低解像度画像として用いて複数の対象静止画像に基づく高解像度画像を生成するが、位置ずれ検出部５１によって検出可能な位置ずれの大きさには、探索範囲の大きさに依存する上限がある。従って、複数の対象静止画像間の位置ずれはある程度小さい必要がある。また、複数の対象静止画像を用いて各対象静止画像の視野と同程度の視野を有する高解像度画像を生成するためには、対象静止画像を撮影する際の撮影範囲が複数の対象静止画像間で概ね同じである必要がある（即ち、概ね同じ構図を持った複数の対象静止画像を撮影する必要がある）。このことを考慮しても、複数の対象静止画像間の位置ずれは小さい方が良い。

上記のような事情に鑑み、表示制御部２９は、第１の対象静止画像の撮影後であって且つ第２の対象静止画像の撮影前のプレビュー期間において、順次得られる最新のプレビュー画像を表示画面２７ａに更新表示させつつ、同時に第１の対象静止画像の一部画像又は全体画像を表示画面２７ａに表示させる。これにより、そのプレビュー期間において、順次更新表示されるプレビュー画像の集まり（即ち、現在の被写体の動画像）と第１の対象静止画像の一部画像又は全体画像とが同時に視認可能となる。このような同時視認を実現する表示は、後述の第２〜第７実施例においても成される。

尚、第ｉの対象静止画像は第ｉのシャッタボタン押下によって撮影が指示される画像であり、第（ｉ＋１）のシャッタボタン押下は、第ｉのシャッタボタン押下の次になされるシャッタボタン押下を指すと共に、第（ｉ＋１）の対象静止画像は、第ｉの対象静止画像の次に取得される対象静止画像を指すものとする。ここで、ｉは整数である。また、第ｉの対象静止画像の撮影後であって且つ第ｊの対象静止画像の撮影前のプレビュー期間を、プレビュー期間Ｐ_ijと表記する（ｊは、ｊ＝ｉ＋１を満たす整数）。

図８〜図１０を参照して、第１実施例における表示方法を、より具体的に説明する。図８及び図１０に示される画像２１０は、第１の対象静止画像を表している。図９に示される画像２１１は、対象静止画像２１０から抽出した、対象静止画像２１０の一部画像である。画像２１１は、プレビュー期間Ｐ₁₂において、重畳用画像として機能する。

撮像装置１は、顔検出処理を実行可能である。顔検出処理を、例えば、図１の映像信号処理部１３にて行うことが可能である。顔検出処理では、任意の注目画像の画像データに基づいて注目画像上における人物の顔を検出すると共に該顔を含む画像領域である顔領域を注目画像から抽出する。重畳用画像２１１は、対象静止画像２１０に対して顔検出処理を施した時に対象静止画像２１０から抽出された顔領域内の画像である。

図９及び図１０において、画像２１２は、プレビュー期間Ｐ₁₂に撮影されたプレビュー画像としての１枚のフレーム画像を表している。表示部２７は、フレーム画像２１２の撮影直後において、図９の表示用画像２１３又は図１０の表示用画像２１４を表示する。表示用画像２１３は、対象静止画像２１０の一部画像である重畳用画像２１１とフレーム画像２１２の全体画像を重ね合わせるように合成することで得た画像であり、表示用画像２１４は、対象静止画像２１０の全体画像とフレーム画像２１２の全体画像を重ね合わせるように合成することで得た画像である。上述したように、対象静止画像２１０やフレーム画像２１２上の左上側に描写されている斜線領域は海を表している。本来、上記の合成によって、対象静止画像２１０上に描写されている海も表示用画像２１４に反映されることになるが、図１０では、図示の煩雑化防止のため、その反映を割愛している。

表示用画像２１３又は２１４を生成するために、第１及び第２の混合画像のブレンディングを利用する。第１及び第２の混合画像のブレンディングでは、第１の混合画像上の位置（ｘ，ｙ）に配置された画素の画素信号Ｓ₁（ｘ，ｙ）と第２の混合画像上の位置（ｘ，ｙ）に配置された画素の画素信号Ｓ₂（ｘ，ｙ）を所定の比率にて混合したものが、混合結果画像上の位置（ｘ，ｙ）に配置された画素の画素信号Ｓ_R（ｘ，ｙ）として求められる。即ち、Ｓ_R（ｘ，ｙ）＝（１−α）・Ｓ₁（ｘ，ｙ）＋α・Ｓ₂（ｘ，ｙ）である。混合比率を決定する係数αの値は、不等式「０＜α＜１」を満たす任意の値とされる。この種のブレンディングは、一般に、アルファブレンディングとも呼ばれる。

第１の混合画像として重畳用画像２１１を用いると共に第２の混合画像としてフレーム画像２１２を用いれば、混合結果画像として表示用画像２１３が得られる。第１の混合画像としてフレーム画像２１０を用いると共に第２の混合画像としてフレーム画像２１２を用いれば、混合結果画像として表示用画像２１４が得られる。尚、図９に示す如く、重畳用画像２１１の外形を表す重畳枠２１５が表示用画像２１３に重畳される。但し、重畳枠２１５の重畳表示は必須ではない。

上述のブレンディングの方法からも明らかなように、第１実施例では、第１の対象静止画像上における任意の注目位置（ｘ，ｙ）の画像とプレビュー期間Ｐ₁₂中の撮影によって得られるフレーム画像上又は該フレーム画像を含んで構成される動画像上における上記注目位置（ｘ，ｙ）の画像とが、表示画面２７ａ上において同一位置に表示される。これは、後述の第２〜第４実施例においても同様である。即ち例えば、対象静止画像２１０上における人物の顔の画像データが対象静止画像２１０の中心位置付近に存在していると仮定したならば、対象静止画像２１０の中心位置における画像とフレーム画像２１２の中心位置における画像とが、表示用画像２１３上の中心位置（即ち、表示画面２７ａ上の中心位置）に混合表示される。

超解像処理を利用して高解像度画像を得ようとするユーザは、表示用画像２１３又は２１４を確認しつつ、表示されている第１の対象静止画像上の被写体の位置とプレビュー画像から成る動画像上の被写体の位置とが表示画面２７ａ上でなるだけ一致するように撮像装置１の撮影方向を調整した上で、第２のシャッタボタン押下を行う。これにより、第１の対象静止画像と略同じ構図の第２の対象静止画像が得られる。２枚の低解像度画像から１枚の高解像度画像を生成する場合は、得られた第１及び第２の対象静止画像から１枚の高解像度画像が得られる。

３枚の低解像度画像としての第１〜第３の対象静止画像から１枚の高解像度画像を生成する場合は、第１の対象静止画像の一部又は全体（本例において、画像２１１又は２１０）とプレビュー期間Ｐ₂₃中に得られたフレーム画像とを上記ブレンディングを用いて合成することで得た表示用画像がプレビュー期間Ｐ₂₃において表示される。ユーザは、この表示用画像を確認しつつ、表示されている第１の対象静止画像上の被写体の位置とプレビュー画像から成る動画像上の被写体の位置とが表示画面２７ａ上でなるだけ一致するように撮像装置１の撮影方向を調整した上で、第３のシャッタボタン押下を行う。これにより、第１の対象静止画像と略同じ構図の第３の対象静止画像が得られる。尚、プレビュー期間Ｐ₂₃中の表示用画像の生成に際しては、第１の対象静止画像の代わりに、第２の対象静止画像を用いるようにしてもよい。超解像処理に、更に他の対象静止画像が必要な場合も同様である。

超解像処理を利用しようとするユーザは、第１の対象静止画像を撮影した後、どのような撮影範囲（構図）にて次の対象静止画像を撮影すべきか分からなくなることがあるが、上述のような表示用画像を表示することで、２枚目以降の対象静止画像に適切な撮影範囲が明らかとなり、ユーザは、容易に２枚目以降の対象静止画像の撮影範囲を決定することができる。この結果、所望の超解像処理効果を得ることが可能となる。

尚、上述の例では、第１の記録対象画像から抽出されるべき重畳用画像を顔領域内の画像としているが、その重畳用画像は顔領域内の画像でなくともよい（後述の他の実施例においても同様）。例えば、ピントが合っている画像領域内の画像や、被写体距離が最も短い被写体の画像データが存在する画像領域内の画像を、重畳用画像として第１の記録対象画像から抽出するようにしてもよい。被写体距離とは、撮像装置１と被写体との間の実空間上における距離を指す。被写体距離が最も短い被写体とは、撮像装置１の撮影範囲に収まっている全被写体の内、最も被写体距離が短い被写体を指す。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は第１実施例の変形例に相当し、第２実施例において特に述べない事項に関しては、第１実施例の記載が第２実施例にも適用される。第２実施例では、図９の表示用画像２１３をプレビュー期間Ｐ₁₂中において表示している際、図７の位置ずれ検出部５１の検出結果に応じて、重畳枠２１５を点滅させる。

より具体的に説明する。第１の対象静止画像２１０（図８参照）の撮影後のプレビュー期間Ｐ₁₂において、次々とフレーム画像が周期的に撮影されるが、位置ずれ検出部５１は、対象静止画像２１０とプレビュー期間Ｐ₁₂に撮影される各フレーム画像との間における位置ずれを検出する。この位置ずれ検出において対象静止画像２１０に設定される上記参照領域は、例えば、対象静止画像２１０から抽出された顔領域とされる。上述したように、検出可能な位置ずれの大きさには上限があるため、対比画像間の位置ずれが大きすぎると、位置ずれ検出を行うことができない（位置ずれの検出が不可であると判断される）。

表示制御部２９（図６参照）は、位置ずれを検出することができた場合は、図１１（ａ）の表示用画像２２１のように重畳枠２１５を点滅させないが、位置ずれの検出が不可であると判断された場合は、図１１（ｂ）の表示用画像２２２のように重畳枠２１５を点滅させる（図１１（ｂ）の破線は、時間経過と共に重畳枠２１５が明るくなったり暗くなったりする様子を示している）。撮影範囲の変化によって、位置ずれ検出が可能な状態に戻ったのならば上記点滅の実行は中止される。

位置ずれ検出ができないほど撮影範囲に変化が生じると超解像処理を実行することができなくなるが、上記のような表示を行うことにより位置ずれ検出の可／不可がユーザに示されて、ユーザは位置ずれ検出が可能なように、撮像装置１を横に振るなどして撮影範囲を修正する。結果、位置ずれ検出及び超解像処理を実行可能な複数の対象静止画像を得ることが可能となる。

尚、上述の例では、重畳枠２１５の点滅によって位置ずれ検出の可／不可をユーザに知らせているが、重畳枠２１５の点滅以外の方法によって、位置ずれ検出の可／不可をユーザに知らせても良い。例えば、重畳枠２１５の色の変化によってそれを知らせても良いし、音声出力を用いてそれを知らせるようにしてもよい。

＜＜第３実施例＞＞
第３実施例を説明する。撮像装置１には、複数の対象静止画像を互いに関連付けて外部メモリ１８に記録する関連付け機能が備えられており、第３実施例では、この関連付け機能が利用される場合を想定する。例えば、ユーザが関連付け機能を有効にした場合、それが無効にされるまでに撮影される複数の対象静止画像が互いに関連付けられて外部メモリ１８に記録される。

今、関連付け機能が有効になっている状態において、図１２（ａ）及び（ｂ）に示される第１の対象静止画像２３１及び第２の対象静止画像２３２が撮影されることを想定する。対象静止画像２３１の撮影後であって且つ対象静止画像２３２の撮影前に、撮像部１１の画角（以下、撮影画角又は単に画角とも言う）を増大させるべく、いわゆる光学ズーム倍率の減少がなされたものとする。撮像部１１の画角の増大又は減少は、撮像部１１の光学系の内部に配置されたズームレンズ（不図示）を撮像部１１の光軸方向に移動させることで実現できる。ユーザは、操作部２６を用いて画角の増大又は減少を指示することができる。

通常、撮影によって得られた画像の１つ１つは、他の画像と何の関係も持たない独立の画像として外部メモリ１８に記録されるが、ユーザにとっては、複数の画像同士が互いに関連している場合も多い。例えば、図１２（ａ）に示す如く、人物の顔の部分が大きく映し出された画像２３１を取得した後に、画角を減少させて人物の全体像を背景をも含めて撮影することがある（勿論、その逆の場合もある）。ユーザにとって、それらの画像同士は互いに関連した画像である。撮像装置１は、このような関連した画像を関連付けて記録することができる。

関連付けの方法は任意である。例えば、外部メモリ１８内に、第１の対象静止画像を保存するための第１の画像ファイルと第２の対象静止画像を保存するための第２の画像ファイルを作成し、第１及び第２の画像ファイルの本体領域に、夫々、第１及び第２の対象静止画像の画像データを格納する。各画像ファイルは、本体領域とヘッダ領域を有する。そして、第１の画像ファイルのヘッダ領域に第２の画像ファイルを指し示すリンク情報を書き込む。これに加えて或いはこれに代えて、第２の画像ファイルのヘッダ領域に第１の画像ファイルを指し示すリンク情報を書き込む。これにより、第１の画像ファイル内の第１の対象静止画像と第２の画像ファイル内の第２の対象静止画像は、互いに関連付けられる。また、第１及び第２の対象静止画像を同一の画像ファイルに記録することで関連付けを実現しても良い。

対象静止画像２３１の撮影後、撮像部１１の撮影画角が変更されていない時点において表示される表示用画像の生成方法は、第１実施例のそれと同様である。或いは、単に、その時点においては、通常表示を行うようにしても良い。

図１３の画像２３３は、プレビュー期間Ｐ₁₂に撮影されたプレビュー画像としての１枚のフレーム画像を表している。但し、対象静止画像２３１とフレーム画像２３３との撮影間において、撮影画角が増大しているものとする。従って、フレーム画像２３３の撮影画角は対象静止画像２３１の撮影画角よりも大きく、これに伴ってフレーム画像２３３の視野は対象静止画像２３１の視野よりも大きい。

表示部２７は、フレーム画像２３３の撮影直後において、図１３の表示用画像２３４を表示する。表示用画像２３４は、対象静止画像２３１の一部又は全部の縮小画像である重畳用画像２３１ａとフレーム画像２３３の全体画像を重ね合わせるように合成することで得た画像である。重畳用画像２３１ａは、画素の間引き処理や画素補間を用いた再標本化によって、画像２３１の大きさ（画素数）を縮小することで生成される。画像２３１から重畳用画像２３１ａを生成する際の縮小率は、対象静止画像２３１の撮影画角とフレーム画像２３３の撮影画角との比に応じて決定される。即ち、対象静止画像２３１の撮影画角がフレーム画像２３３の撮影画角の１／３であるなら、画像２３１の大きさを面積比で１／３に縮小する処理を介して重畳用画像２３１ａが生成される。

画像２３１ａ及び２３３から表示用画像２３４を生成する方法は、第１実施例で述べた、画像２１１及び２１２から表示用画像２１３を生成する方法と同様である（図９参照）。尚、図１３に示す如く、重畳用画像２３１ａの外形を表す重畳枠２３５が表示用画像２３４に重畳される。但し、重畳枠２３５の重畳表示は必須ではない。

例えば、関連付けが成された静止画像間で視野の中心を一致させたい場合、ユーザは、表示用画像２３４を確認しつつ、重畳用画像内の被写体の位置とプレビュー画像から成る動画像上の被写体の位置が表示画面２７ａ上でなるだけ一致するように撮像装置１の撮影方向を調整した上で、第２のシャッタボタン押下を行う。これにより、所望の第２の対象静止画像が得られる。第３、第４・・・の対象静止画像を撮影する場合も同様である。

ユーザは、複数の対象静止画像の撮影を行う際、どのような撮影範囲で１枚目の対象静止画像の撮影を行ったかを失念することがあり（どこを撮ったのか分からなくなることがあり）、この結果、１枚目の対象静止画像の撮影範囲との関係において２枚目以降の対象静止画像の撮影範囲が満足のいくものでなくなってしまうことがある。これを考慮し、第３実施例では、上記のような表示用画像を生成及び表示するようにする。これにより、既に撮影した対象静止画像の撮影範囲との関係を考慮して、それと関連付けて記録されるべき他の対象静止画像用の撮影範囲を決定することができる。

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例は第１〜第３実施例の変形例に相当し、第４実施例において特に述べない事項に関しては、第１〜第３実施例の記載が第４実施例にも適用される。第４実施例では、プレビュー期間Ｐ₁₂中において、現在の被写体の撮影画像であるフレーム画像の撮影範囲の中心と第１の対象静止画像の撮影範囲の中心とを一致させるために、撮像装置１を動かすべき向きを表示用画像に重畳する。

この実現のために、位置ずれ検出部５１は、第１の対象静止画像とプレビュー期間Ｐ₁₂に撮影される各フレーム画像との間における位置ずれを検出する。但し、ここで検出される位置ずれの分解能はサブピクセルの分解能を有していなくとも良い。そして、検出した位置ずれの向きに応じた向きを持つ矢印型指標を表示用画像に重畳する。

例えば、第１の対象静止画像として図８の対象静止画像２１０が撮影された後、プレビュー期間Ｐ₁₂においてフレーム画像２１２が撮影された場合、その直後において、図１４の表示用画像２１３ａを表示画面２７ａに表示する。表示用画像２１３ａは、図９の表示用画像２１３に矢印型指標２４１を重畳したものである。対象静止画像２１０上における人物の顔領域の中心位置が（ｘ₁，ｙ₁）であって且つフレーム画像２１２上における人物の顔領域の中心位置が（ｘ₂，ｙ₂）であるならば、矢印型指標２４１は、表示用画像２１３ａ上における位置（ｘ₁，ｙ₁）から位置（ｘ₂，ｙ₂）へと向かう向きを有する矢印である。位置（ｘ₁，ｙ₁）と位置（ｘ₂，ｙ₂）との距離が増大するにつれて、矢印型指標２４１の大きさを増大させるようにしてもよい。

ユーザは、矢印型指標２４１の向きに撮像装置１の筐体を振ることによって、対象静止画像２１０上の注目被写体の位置と現在の注目被写体の位置を表示画面２７ａ上で一致させることができ、その一致が実現されている状態において第２のシャッタボタン押下を行うことにより、第１及び第２の対象静止画像間の位置ずれを非常に小さなものに抑えることができる。尚、ここにおける注目被写体は、人物又は顔である。

第１の対象静止画像の撮影後に撮影画角の変更があった場合も同様である。即ち例えば、第１の対象静止画像として図１２（ａ）の対象静止画像２３１が撮影された後、プレビュー期間Ｐ₁₂において撮影画角の増大を経て図１３のフレーム画像２３３が撮影された場合、図１３の表示用画像２３４に矢印型指標２４１と同様の指標を重畳した表示用画像が生成及び表示される。

上記のような矢印型指標を重畳表示することよって、撮影範囲の中心を一致させた複数の対象静止画像の取得が支援される。

尚、上述の説明では、矢印型指標を生成するために位置ずれ検出部５１の検出結果を用いているが、それ以外の処理の結果に基づいて矢印型指標を生成するようにしてもよい。例えば、各フレーム画像に対する顔検出処理の結果から矢印型指標２４１を生成することもできる。上述の位置（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）は、対象静止画像２１０及びフレーム画像２１２に対する顔検出処理の結果から自動的に定まるからである。逆に考えて、位置ずれ検出部５１は、顔検出処理の結果から２枚の静止画像間の位置ずれを検出するようにしても良い（他の実施例においても同様）。この場合、位置ずれが検出されるべき２枚の静止画像が対象静止画像２１０及びフレーム画像２１２であるならば、顔検出処理によって求められた位置（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）から対象静止画像２１０及びフレーム画像２１２間の位置ずれが定まる。

或いは例えば、追尾処理の結果を用いて矢印型指標２４１を生成することもできる。即ち例えば、画像データに基づいて画像上における移動体の位置の追尾を行う追尾処理が実行可能となるように撮像装置１を形成しておく。撮像装置１にて、公知の方法を含む任意の追尾処理方法を利用可能である。そして、撮像装置１の撮影範囲内に収まる人物を移動体として捉えて追尾処理を実行し、追尾処理によって求められる、対象静止画像２１０上の人物の位置とフレーム画像２１２上の人物の位置から矢印型指標２４１を生成すればよい。逆に考えて、位置ずれ検出部５１は、追尾処理の結果から２枚の静止画像間の位置ずれを検出するようにしても良い（他の実施例においても同様）。この場合、位置ずれが検出されるべき２枚の静止画像が対象静止画像２１０及びフレーム画像２１２であるならば、追尾処理によって求められた、対象静止画像２１０上の人物の位置とフレーム画像２１２上の人物の位置から対象静止画像２１０及びフレーム画像２１２間の位置ずれが定まる。

＜＜第５実施例＞＞
第５実施例を説明する。第５実施例に係る撮像装置１は、イメージモザイキングによって、複数の対象静止画像から各対象静止画像の視野（画角）よりも広い視野（画角）を有するパノラマ画像を生成する。図１５は、パノラマ画像の生成処理を担う部位のブロック図である。変換パラメータに基づいて第１〜第ｎの対象静止画像からパノラマ画像を生成するパノラマ画像生成部（画像合成部）６１及び第１〜第ｎの対象静止画像に基づいて該変換パラメータを算出する変換パラメータ算出部６２を、例えば、図１の映像信号処理部１３内に設けておくことができる。ここで、ｎは２以上の整数である。

イメージモザイキングでは、互いに重なり合う画像領域（即ち、同一の被写体が写っている画像領域）を有する２枚の対象静止画像（以下、隣接画像とも言う）に注目し、同一の被写体が重なり合うように２枚の隣接画像を貼り合わせ合成することで、各隣接画像よりも視野の広い合成画像を生成する。ｎ＝２である場合は、その合成画像が、最終的に生成されるべきパノラマ画像である。ｎが３以上である場合は、上記のような合成画像を生成する処理を隣接画像の組ごとに実行することでｎ枚の対象静止画像に基づくパノラマ画像を生成する。隣接画像間において互いに重なり合う画像領域を、以下、重なり領域という。

パノラマ画像生成部６１及び変換パラメータ算出部６２は、公知のイメージモザイキング方法を含む任意の方法によってイメージモザイキングを実現可能である。

典型的には例えば、合成されるべき２枚の隣接画像の内、一方の隣接画像から特徴点の抽出を行う。特徴点の抽出は、その一方の隣接画像の画像データに基づき、公知の特徴点抽出器（例えば、コーナ検出器）を用いて実現できる。その後、テンプレートマッチング等を用いて、一方の隣接画像から抽出した特徴点に対応する点を他方の隣接画像内で探索する。そして、一方の隣接画像から抽出した特徴点と他方の隣接画像から探索された点（以下、対応点という）との間で対応付けを行い、一方の隣接画像上における特徴点の座標値（ｘ，ｙ）と他方の隣接画像上における対応点の座標値（ｘ，ｙ）を抽出する。このような座標値の抽出を、複数組分実行し、得られた複数組分の座標値から、各隣接画像の座標系を基準座標系に変換するための変換パラメータを求める。このような変換パラメータの導出を、第１〜第ｎの対象静止画像に対して行う。パノラマ画像生成部６１は、得られた変換パラメータを用いて各対象静止画像に幾何学的変換を施すことで、各対象静止画像を基準座標系上の画像に変換する。これにより、基準座標系上において、各対象静止画像を繋ぎ合わせたようなパノラマ画像が生成される。尚、基準座標系上において、複数の対象静止画像が重なり合う領域においては、画素信号のブレンディング等が行われる。

第５実施例では、このようなパノラマ画像を生成すべきことが、ユーザによって指示されていることを想定する。表示制御部２９（図６参照）は、良好なパノラマ画像を生成するための支援（表示による支援）を行う。１つの例として、ｎ＝２である場合、即ち、第１及び第２の対象静止画像からパノラマ画像を生成する場合における表示方法を説明する。

図１６は、撮像装置１側から見た、撮像装置１の被写体の状態を表している。破線２５１が付された矩形範囲は、第１の対象静止画像の撮影時に設定されるべき撮像装置１の撮影範囲であり、破線２５２が付された矩形範囲は、第２の対象静止画像の撮影時に設定されるべき撮像装置１の撮影範囲である。第１の対象静止画像の撮影後、撮像装置１を右方向に振って撮影範囲を図１６の右側に移動させ、これによって水平方向に広い視野を有するパノラマ画像を生成すべきことが予め設定されているものとする。

ユーザは、撮像装置１の撮影範囲を矩形範囲２５１にした状態で第１のシャッタボタン押下を行うことにより、図１７に示される第１の対象静止画像２５３を取得する。表示画像生成部３０（図６参照）は、対象静止画像２５３の一部画像を重畳用画像２５４として抽出する。対象静止画像２５３上の何れの位置に配置された画像を重畳用画像２５４として抽出するかは、撮影範囲２５１と撮影範囲２５２の位置関係から決定され、第１及び第２の対象静止画像間の重なり領域内に位置すべき画像が重畳用画像２５４として抽出される。尚、重畳用画像２５４の、対象静止画像２５３上における中心位置を（ｘ_A，ｙ_A）にて表す。

図１８の画像２５５は、プレビュー期間Ｐ₁₂に撮影されたプレビュー画像としての１枚のフレーム画像を表している。表示部２７は、フレーム画像２５５の撮影直後において、図１８の表示用画像２５６を表示する。表示用画像２５６は、重畳用画像２５４とフレーム画像２５５の全体画像を重ね合わせるように合成することで得た画像である。図１８に示す如く、重畳用画像２５４の外形を表す重畳枠２５７が表示用画像２５６に重畳される。但し、重畳枠２５７の重畳表示は必須ではない。尚、図１８において、フレーム画像２５５上における位置（ｘ_A，ｙ_A）に黒丸を付している。

画像２５４及び２５５から表示用画像２５６を生成する方法は、第１実施例で述べた、画像２１１及び２１２から表示用画像２１３を生成する方法と同様である（図９参照）。但し、第１実施例と異なり、第１の対象静止画像上における任意の注目位置（ｘ，ｙ）の画像とプレビュー期間Ｐ₁₂中の撮影によって得られるフレーム画像上又は該フレーム画像を含んで構成される動画像上における上記注目位置（ｘ，ｙ）の画像とが、表示画面２７ａ上において異なる位置に表示される（注目位置（ｘ，ｙ）は、例えば（ｘ_A，ｙ_A））。これは、後述の第６実施例においても同様である。

即ち例えば、撮影範囲２５１の中心から見て撮影範囲２５２の中心が、Ｘ軸方向にΔｘだけずれており且つＹ軸方向においてずれが存在していないと仮定したならば、図１９に示す如く（図１７及び図１８も参照）、フレーム画像２５５の位置（ｘ_A，ｙ_A）における画像は、表示用画像２５６上において位置（ｘ_A，ｙ_A）に表示される一方、対象静止画像２５３の位置（ｘ_A，ｙ_A）における画像は、表示用画像２５６上において位置（ｘ_A−Δｘ，ｙ_A）に表示される。対象静止画像２５３の位置（ｘ_A，ｙ_A）における画像を、表示用画像２５６上のどの位置に表示すべきかは（即ち、Δｘの値は）、撮影範囲２５１と撮影範囲２５２の位置関係に基づいて決定される。つまり、第１の対象静止画像上における特定位置の画像の、表示画面２７ａ上における表示位置は、パノラマ画像上における第１及び第２の対象静止画像間の位置関係に基づいて決定される（第６実施例においても同様）。この位置関係は、各対象静止画像の撮影前に定められる（第６実施例においても同様）。

パノラマ画像を得ようとするユーザは、表示用画像２５６を確認しつつ、重畳用画像内の被写体の位置とプレビュー画像から成る動画像上の被写体の位置とが表示画面２７ａ上でなるだけ一致するように撮像装置１の撮影方向を調整した上で、第２のシャッタボタン押下を行う。これにより、第２の対象静止画像の撮影時における撮影範囲が、図１６の撮影範囲２５２と同じ又は略同じとなる。

結果、垂直方向にずれの少ない第１及び第２の対象静止画像をパノラマ画像の生成に利用することができる。また、第２の対象静止画像の撮影時における撮影範囲が、第１の対象静止画像のそれに対して大きくずれすぎると、両画像間の重なり領域がなくなって或いは小さくなりすぎて正確な変換パラメータが算出できなくなるし、逆に、その重なり領域が大きすぎると、生成されるパノラマ画像の視野が各対象静止画像のそれと殆ど変わらなくなる。第５実施例によれば、このような問題が解消される。

尚、第１の対象静止画像から抽出されるべき重畳用画像の大きさは任意である。例えば、図１７に示す例では、対象静止画像２５３の中央右寄りに位置する、対象静止画像２５３の大きさの１／９程度の画像が重畳用画像２５４として抽出されているが、対象静止画像２５３の中央右寄りに位置する、対象静止画像２５３の大きさの１／３程度の画像を重畳用画像３５４として抽出するようにしてもよい。また、図示及び説明の便宜上、顔領域内の画像を含む画像が重畳用画像になっている例を挙げたが、重畳用画像に顔領域内の画像が含まれている必要はない。

また、上述の例では、水平方向に広い視野を有するパノラマ画像が生成される場合について説明しているが、垂直方向に広い視野を有するパノラマ画像が生成される場合も同様である。

＜＜第６実施例＞＞
第６実施例を説明する。第６実施例は第５実施例の変形例に相当し、第６実施例において特に述べない事項に関しては、第５実施例の記載が第６実施例にも適用される。第６実施例では、ｎ＝６である場合、即ち、第１〜第６の対象静止画像からパノラマ画像を生成する場合における表示方法を説明する。

図２０（ａ）及び（ｂ）の夫々は、撮像装置１側から見た、撮像装置１の被写体の状態を表している。図２０（ｂ）においては、６つの撮影範囲を表すべき６つの矩形範囲が示されている。即ち、破線２６１〜２６６が付された矩形範囲は、夫々、第１〜第６の対象静止画像の撮影時に設定されるべき撮像装置１の撮影範囲である。矩形範囲２６１〜２６６は、第１〜第６の対象静止画像の実際の撮影範囲ではなく、それらの目標に相当する。水平方向において３枚分の対象静止画像を合成し且つ垂直方向において２枚分の対象静止画像を合成することで１枚のパノラマ画像を生成すべきことが、予め設定されているものとする。

ユーザは、撮像装置１の撮影範囲を矩形範囲２６１にした状態で第１のシャッタボタン押下を行うことにより、第１の対象静止画像を取得する。第１の対象静止画像の一部画像は重畳用画像として抽出され、プレビュー期間Ｐ₁₂において、最新のプレビュー画像と第１の対象静止画像に基づく重畳用画像とを合成した画像が表示用画像として表示される。重畳用画像の抽出方法及び表示用画像の生成方法は、第５実施例におけるそれと同様である。図２１（ａ）に、プレビュー期間Ｐ₁₂における表示用画像上の重畳用画像の例を示す。プレビュー期間Ｐ₁₂における表示用画像上の重畳用画像は、第１の対象静止画像の中央の右側よりに位置する、第１の対象静止画像の一部画像である。但し、図２１（ａ）に示す如く、その重畳用画像は、表示用画像上においては左側よりに表示される。

ユーザは、プレビュー期間Ｐ₁₂における表示用画像を確認しつつ、重畳用画像内の被写体の位置とプレビュー画像から成る動画像上の被写体の位置とが表示画面２７ａ上でなるだけ一致するように撮像装置１の撮影方向を調整した上で、第２のシャッタボタン押下を行う。これにより、第２の対象静止画像の撮影時における撮影範囲が、図２０（ｂ）の撮影範囲２６２と同じ又は略同じとなる。

その後、同様の表示用画像の生成処理が、第６の対象静止画像の撮影が完了するまで実行される。但し、プレビュー期間Ｐ_ijにおいては、第ｊの対象静止画像との間で重なり領域を有する、既に撮影された対象静止画像から重畳用画像が抽出されて、その重畳用画像と最新のプレビュー画像とを合成した画像が表示用画像として表示される（上述したように、ｊは、ｊ＝ｉ＋１を満たす整数）。即ち、プレビュー期間Ｐ₂₃においては、第２の対象静止画像に基づく重畳用画像を用いた表示用画像が表示され、プレビュー期間Ｐ₃₄においては、第３の対象静止画像に基づく重畳用画像を用いた表示用画像が表示され、プレビュー期間Ｐ₄₅においては、第４の対象静止画像に基づく重畳用画像を用いた表示用画像が表示され、プレビュー期間Ｐ₅₆においては、第５の対象静止画像に基づく重畳用画像を用いた表示用画像が表示される。図２１（ｂ）に、プレビュー期間Ｐ₃₄における表示用画像上の重畳用画像の例を示す。プレビュー期間Ｐ₃₄における表示用画像上の重畳用画像は、第３の対象静止画像の中央の下側よりに位置する、第３の対象静止画像の一部画像である。但し、図２１（ｂ）に示す如く、その重畳用画像は、表示用画像上においては上側よりに表示される。

既に撮影された複数の対象静止画像に基づく重畳用画像を表示することも可能である。例えば、図２１（ｃ）に、プレビュー期間Ｐ₄₅における表示用画像上の重畳用画像の例を示す。図２１（ｃ）に示される重畳用画像は、第５の対象静止画像との間で重なり領域を有する第２及び第４の対象静止画像から生成される。

第６実施例においても、第５実施例と同様の効果が得られる。尚、第５及び第６実施例では、ｎが２又は６である場合における動作を説明したが、ｎは３、４若しくは５又は７以上であっても良い。

＜＜第７実施例＞＞
第７実施例を説明する。まず、図２２を参照して、表示画面２７ａに設けられた表示領域を説明する。図２２において、実線で囲まれた矩形領域２７０は、表示画面２７ａにおける全表示領域であり、破線で囲まれた領域２７１及び他の破線で囲まれた矩形領域２７２は、全表示領域２７０の一部である。表示領域２７１及び２７２は、互いに重なり合わない。表示領域２７１は、全表示領域２７０から表示領域２７２を除いた時に残る表示領域である。表示領域２７２を、表示画面２７ａの端部に配置することができる。図２２の例では、表示領域２７２を、表示画面２７ａの右下端部に配置させている。

第７実施例では、プレビュー期間Ｐ₁₂において、最新のプレビュー画像が順次更新されつつ画像領域２７１に表示されるように（換言すれば、現在の被写体の動画像が画像領域２７１に表示されるように）且つ第１の対象静止画像が画像領域２７２に表示されるように、最新のフレーム画像及び第１の対象静止画像に基づいて表示用画像を生成する。この際、表示領域２７２内に第１の対象静止画像の全体が収まるように、第１の対象静止画像に対して解像度変換（画素の間引きなど）がなされる。プレビュー画像の外形が矩形であるに対して表示領域２７１の外形は矩形ではないため、プレビュー画像の一部のみが表示画面２７ａ上に表示されることとなる。即ち、図２３に示す如く、最新のプレビュー画像の右下端部における一部画像を第１の対象静止画像の縮小画像に置き換えることによって得た画像が、プレビュー期間Ｐ₁₂における表示用画像となる（図２４も参照）。

但し、最新のプレビュー画像の右下端部における一部画像を第１の対象静止画像の縮小画像に単純に置き換えるのではなく、最新のプレビュー画像の右下端部における一部画像と第１の対象静止画像の縮小画像とを上記ブレンディングによって合成した画像を表示領域２７２に表示するようにしてもよい。

例えば、第１の対象静止画像が図８の画像２１０であって且つプレビュー期間Ｐ₁₂にて撮影された最新のプレビュー画像が図９の画像２１２である場合においては、画像２１２の撮影直後において、図２４に示すような表示用画像２７４が表示される。

また例えば、第１の対象静止画像が図１３の画像２３３であって且つプレビュー期間Ｐ₁₂にて撮影された最新のプレビュー画像が図１２（ａ）の画像２３１である場合においては、画像２３１の撮影直後において、図２５に示すような表示用画像２７５が表示される。この例では、第１の対象静止画像としての画像２３３（図１３）の撮影後、撮影画角の減少を経て最新のプレビュー画像としての画像２３１（図１２（ａ））が撮影されたことを想定している。この際、図２６に示す如く、表示領域２７２内に表示された第１の対象静止画像上に、最新のプレビュー画像の視野（画角）を表す枠２７６を重畳表示するようにしてもよい。

表示領域２７２上における枠２７６の大きさは、最新のプレビュー画像の撮影時における光学ズーム倍率と第１の対象静止画像の撮影時における光学ズーム倍率との比により決まる。

表示領域２７２上における枠２７６の表示位置、即ち、表示画面２７ａに表示された第１の対象静止画像上における枠２７６の位置は、第１の対象静止画像の撮影時点と最新のプレビュー画像の撮影時点との間の期間に得られた各隣接フレーム間位置ずれベクトルと、その期間中における光学ズーム倍率の変更の状態と、から求めることができる。隣接フレーム間位置ずれベクトルとは、時間的に隣接する２枚のフレーム画像間の位置ずれの大きさ及び向きを表すベクトルであり、そのベクトルを上述の位置ずれ検出部５１を用いて導出することができる。尚、第１の対象静止画像及び最新のプレビュー画像の画像データに基づき、画像マッチング等を用いて、表示領域２７２上における枠２７６の表示位置を直接求めるようにしてもよい。

プレビュー期間Ｐ₁₂において、ユーザは、図２４〜図２６に示すような表示用画像を確認しながら、第２の対象静止画像用の撮影範囲を決定することができる。第７実施例において、超解像処理を利用することも可能であるし、関連付け機能を利用することも可能であるし、パノラマ画像の生成を行うことも可能である。

例えば、第１及び第２の対象静止画像を含む複数の対象静止画像に基づいて超解像処理を実行する場合又はパノラマ画像の生成を行う場合においては、最新のプレビュー画像と第１の対象静止画像を表示画面２７ａ上で確認しながら、超解像処理に適した第２の対象静止画像又はパノラマ画像の生成に適した第２の対象静止画像が得られるように撮影範囲を調節すればよい。第１及び第２の対象静止画像を互いに関連付けて外部メモリ１８に記録する場合においては、最新のプレビュー画像と第１の対象静止画像を表示画面２７ａ上で確認しながら、第１の対象静止画像の撮影範囲との関係においてユーザが望むように第２の対象静止画像用の撮影範囲を決定すればよい。

第７実施例によっても、上述の各実施例にて達成される効果に類似する効果を得ることができる。

また、第１の対象静止画像の撮影後、画角の減少が行われる場合においては、次のような有益性もある。例えば、比較的広い画角にて注目被写体をとらえた第１の対象静止画像の撮影を行った後、注目被写体を大きく映し出した第２の対象静止画像を得るべく光学ズーム倍率を増大させる操作を行うことがあるが、この際、注目被写体が撮像装置１の撮影範囲から出てしまったり、注目被写体を表示画面上で見失ったりすることが良くある。更には、今、どこを撮影しているのか分からなくなることもある。画角が狭い状態において注目被写体を一度見失うと、再度、注目被写体を撮影範囲内に収めるまでに大きな時間を要することも多い。このような場合において、図２５又は図２６に示すような表示用画像を表示するようにしておけば、注目被写体との関係において現在の撮影範囲を認識でき、注目被写体を一時的に見失うことがあったとしても注目被写体を撮影範囲内に素早く且つ適切に収めることが可能となる。

＜＜第８実施例＞＞
第８実施例を説明する。第８実施例では、第１の対象静止画像の撮影後のプレビュー期間Ｐ₁₂において画角の増大があることを想定し、そのような想定下で有益な表示方法を説明する。

まず、光学ズーム倍率が倍率Ｚ₁である状態で、第１の対象静止画像が撮影されたとし、その第１の対象静止画像が図１２（ａ）の画像２３１であった場合を考える。倍率Ｚ₁は、光学ズーム倍率における所定の最低倍率（即ち、１倍）よりも大きい。ユーザは、第１の対象静止画像の撮影後、プレビュー期間Ｐ₁₂において、光学ズーム倍率を倍率Ｚ₁から倍率Ｚ₂へと減少させることで（Ｚ₁＞Ｚ₂≧１）、撮影画角を増大させる。今、プレビュー期間Ｐ₁₂において、光学ズーム倍率が倍率Ｚ₂となっている状態における最新のプレビュー画像が図１３の画像２３３であるとする。そうすると、画像２３３の撮影直後において、図２７に示すような表示用画像２８１が生成されて表示画面２７ａに表示される。

表示用画像２８１は、最新のプレビュー画像としての図１３の画像２３３に、枠２８２を重畳したものである。枠２８２は、画像２３３及び表示用画像２８１上における、第１の対象静止画像（本例において、図１２（ａ）の画像２３１）の視野の外枠を表している（換言すれば、画像２３３及び表示用画像２８１上における、第１の対象静止画像の画角を表している）。

表示用画像２８１上における枠２８２の大きさは、最新のプレビュー画像の撮影時における光学ズーム倍率Ｚ₂と第１の対象静止画像の撮影時における光学ズーム倍率Ｚ₁との比により決まる。

表示用画像２８１上における枠２８２の位置、即ち、表示画面２７ａに表示された最新のプレビュー画像（本例において、図１３の画像２３３）上における枠２８２の位置は、第１の対象静止画像の撮影時点と最新のプレビュー画像の撮影時点との間の期間に得られた各隣接フレーム間位置ずれベクトルと、その期間中における光学ズーム倍率の変更の状態と、から求めることができる。尚、第１の対象静止画像及び最新のプレビュー画像の画像データに基づき、画像マッチング等を用いて、表示用画像２８１上における枠２８２の位置を直接求めるようにしてもよい。

上述の如く、第８実施例では、プレビュー期間Ｐ₁₂において、現在の被写体の動画像を表示しつつ、第１の対象静止画像の視野（画角）を示す指標を現在の被写体の動画像上に重ね合わせて表示する。尚、その指標の例として枠２８２を挙げたが、第１の対象静止画像の視野（画角）をユーザに視認させることができる限り、その指標は枠２８２以外の指標であっても良い。

第８実施例は、特に、関連付け機能を利用する場合に有益である。例えば、枠２８２の表示位置が表示画面２７ａの中央に位置するように、ユーザが撮像装置１の撮影方向を調節し、その後に第２のシャッタボタン押下をすることで、第１及び第２の対象静止画像の視野中心を一致させることができる。即ち、視野中心が互いに一致するものの視野の大きさ（画角の大きさ）が互いに異なる複数の対象静止画像を互いに関連付けられた画像群として外部メモリ１８に記録する、といったことが可能となる。勿論、複数の対象静止画像間で視野中心を一致させるか否かはユーザの自由である。しかしながら、何れにせよ、ユーザは、既に撮影された対象静止画像の視野（画角）を表示画面上で確認しながら、これから撮影しようとする対象静止画像用の撮影範囲を決定することができるため、良好な構図の設定が支援される。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の各実施例では、主として、第２の対象静止画像の撮影範囲の設定を支援するための、プレビュー期間Ｐ₁₂における表示制御を説明したが、それ以降のプレビュー期間（例えば、Ｐ₂₃やＰ₃₄）における表示制御も、プレビュー期間Ｐ₁₂のそれと同様とされる。

［注釈２］
第１及び第２の対象静止画像を含む各対象静止画像は、録画期間において得られるものであっても良い。録画期間とは、録画ボタン２６ａに対する１回目の押下操作によって動動画の撮影及び記録が開始された時点を始期とし、録画ボタン２６ａに対する２回目の押下操作によって動動画の撮影及び記録が終了した時点を終期とする期間である。録画期間中においても、シャッタボタン押下がなされると、１枚の静止画像が対象静止画像として得られる。この対象静止画像は、録画期間中に撮影されるべき動画像（以下、対象動画像という）を形成する、１枚の静止画像としての１枚のフレーム画像でありうる。

［注釈３］
また、第１の対象静止画像は、対象動画像を形成する１枚のフレーム画像であっても良い。この場合、対象動画像の録画期間の終了後に、対象動画像を形成する複数のフレーム画像の内、任意の１枚のフレーム画像を第１の対象静止画像として抽出すればよい。この後、ユーザは、第２の対象静止画像の撮影を指示することになるが、その第２の対象静止画像の撮影前のプレビュー期間において、上述したように、順次得られる最新のプレビュー画像を表示画面２７ａに更新表示させつつ、同時に第１の対象静止画像の一部画像又は全体画像を表示画面２７ａに表示させると良い。

［注釈４］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能であり、撮像装置１内の一部については、ソフトウェアのみによって実現することも可能である。ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

［注釈５］
例えば、以下のように考えることができる。図１の操作部２６は、静止画像又は動画像の撮影指示を受け付ける指示受付部として機能する。撮像部１１の光学系内に配置された上記ズームレンズ（不図示）は、撮影画角を調整するための画角調整部として機能する。この画角調整部に、ズームレンズを駆動するドライバ（不図示）が更に含まれていると考えても構わない。

１撮像装置
１１撮像部
２６ｂシャッタボタン
２７表示部
２９表示制御部
３０表示画像生成部
３３撮像素子

Claims

被写体の静止画像及び動画像を撮影する撮像部と、
前記静止画像又は動画像の撮影指示を受け付ける指示受付部と、
前記撮像部にて撮影された前記静止画像又は前記動画像を表示する表示部と、
前記表示部の表示内容を制御する表示制御部と、を備えた撮像装置において、
前記表示制御部は、第１の撮影指示に従う撮影によって第１の静止画像が得られた後、現在の被写体の動画像を前記表示部に表示させつつ、前記第１の静止画像に基づく画像をも前記表示部に表示させる
ことを特徴とする撮像装置。
前記表示制御部は、前記第１の静止画像の撮影が行われた後であって且つ前記第１の撮影指示と異なる第２の撮影指示に基づく第２の静止画像が撮影されるまでの期間において、前記現在の被写体の動画像と前記第１の静止画像の一部画像又は全体画像とが同時に視認可能となるように、前記表示部を制御する
ことを特徴とする請求項１に記載の撮像装置。
前記第１の静止画像と、前記現在の被写体の動画像を形成する各静止画像との間の位置ずれを検出する位置ずれ検出部と、
前記位置ずれの検出が不可能なとき、その旨を通知する通知部と、を更に備えた
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
前記第１の静止画像と、前記現在の被写体の動画像を形成する各静止画像との間の位置ずれを検出する位置ずれ検出部を更に備え、
前記表示制御部は、前記現在の被写体の動画像を前記表示部に表示させている際、検出された前記位置ずれの向きに応じた指標をも前記表示部に表示させる
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
前記表示制御部は、前記期間において、前記表示部の表示領域を第１及び第２の表示領域を含む複数の表示領域に分割し、前記第１の表示領域に前記現在の被写体の動画像が表示されるように且つ前記第２の表示領域に前記第１の静止画像が表示されるように、前記表示部を制御する
ことを特徴とする請求項２に記載の撮像装置。
被写体の静止画像及び動画像を撮影する撮像部と、
前記静止画像の撮影指示を受け付ける指示受付部と、
前記撮像部にて撮影された前記静止画像又は前記動画像を表示する表示部と、
前記表示部の表示内容を制御する表示制御部と、
前記撮像部の撮影画角を調整するための画像調整部と、を備えた撮像装置において、
前記表示制御部は、第１の撮影指示に基づく第１の静止画像の撮影が行われた後、前記画像調整部によって前記撮影画角の増大がなされたとき、現在の被写体の動画像を前記表示部に表示させつつ、前記第１の静止画像の画角を表す指標を前記現在の被写体の動画像上に重ね合わせて前記表示部に表示させる
ことを特徴とする撮像装置。