JP2012070329A - 撮像装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】パノラマ撮像をする場合に、成功率の向上を図ること。
【解決手段】画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎に、撮像部１６から出力されるフレームの画像データを取得して記憶部１８に保持する。そして、画像合成部５２は、これまでに累積的に保持された複数のフレームの画像データの少なくとも一部を合成することによって、合成画像の画像データを生成する。画像判定部５３は、画像合成部５２により新たなフレームの画像データが取得される毎に、新たなフレームが合成対象として有効か否かを判定する。画像判定部５３は、最初のフレームの画像データと新たなフレームの画像データとの画角の変位量に応じて前記新たなフレームが合成大勝として有効か否かを判定する判定基準を制御する。
【選択図】図２

Description

本発明は、撮像装置及び方法並びにプログラムに関し、特に、パノラマ撮像をする撮像装置及び方法並びにプログラムに関する。

従来より、一部のデジタルカメラにおいて、横長のワイドな画像（以下「パノラマ画像」という）撮影する機能を有するものが存在する。
上記のパノラマ画像の撮影方法の一例としては、例えば、ユーザがシャッタスイッチを押下操作した状態を維持しながら、自身の体を軸にしてデジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させることにより、その期間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像データを横方向（水平方向）に合成することによって、パノラマ画像の画像データを生成する（特許文献１参照）。

特開平０６−３０３５６２号公報

しかしながら、ユーザがデジタルカメラを水平方向に回転させながら垂直方向にほぼ固定して撮影する場合、身体の回転させる必要があるためにユーザは撮像範囲が広がるほど困難になり、結果的に撮像画角における垂直方向の位置は変化する傾向にある。
このため、上記の撮影方法ではパノラマ撮像の途中であっても、垂直方向の移動量が一定以上に大きくなると、パノラマ画像の連続性が得られないための撮像が失敗してしまう恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、パノラマ撮像をする場合に、その撮像の成功率の向上を図ることを目的とする。

上記目的を達成するため、請求項１の発明は、所定時間の間隔毎に撮像する撮像手段を備える撮像装置において、前記撮像手段によって順次撮像される画像データの少なくとも一部を合成することによって、合成画像データを生成する画像合成手段と、前記撮像手段によって新たに撮像された画像データが、前記画像合成手段によって生成する合成画像データの合成対象として有効か否かを判定する画像判定手段と、を備え、前記画像判定手段は、前記撮像手段によって最初に撮像された画像データと前記新たに撮像された画像データとの画角の変位量に応じて、前記画像判定手段による前記新たな画像データが合成対象として有効か否かを判定する判定基準を制御する制御手段を備えたことを特徴とする。

また、請求項２に記載の発明は、上記請求項１に記載の発明において、前記制御手段は、前記最初に撮像された画像データと前記新たに撮像された画像データとの画角の変化量が大きくなるほど、前記判定基準を緩和する、ことを特徴とする。

また、請求項３に記載の発明は、上記請求項１又は２に記載の発明において、前記画像合成手段は、前記画像判定手段により前記新たなフレームの画像データが有効でないと判定された場合、前記合成画像データの生成を停止させる、ことを特徴とする。

また、請求項４に記載の発明は、上記請求項１乃至３の何れか１項に記載の発明において、前記画像判定手段は、前記新たな画像データの一部の領域の画像データを用いて、前記新たな画像データが合成対象として有効か否かを判定する、ことを特徴とする。

また、請求項５に記載の発明は、上記請求項１乃至４の何れか１項に記載の発明において、該撮像装置本体の角度変位量を検出する角度変位量検出手段を備え、前記画角の変位量は、前記角度変位量検出手段によって検出される角度変位量であることを特徴とする。

また、上記目的を達成するため、請求項６の発明は、所定時間の間隔毎に撮像する撮像手段を備える撮像装置が実行する撮像方法において、前記撮像手段によって順次撮像される画像データの少なくとも一部を合成することによって、合成画像データを生成する画像合成ステップと、前記撮像手段によって新たに撮像された画像データが、前記画像合成ステップによって生成する合成画像データの合成対象として有効か否かを判定する画像判定ステップと、を含み、前記画像判定ステップは、前記撮像手段によって最初に撮像された画像データと前記新たに撮像された画像データとの画角の変位量に応じて、前記画像判定ステップによる前記新たな画像データが合成対象として有効か否かを判定する判定基準を制御する制御ステップを含む、撮像方法であることを特徴とする。

また、上記目的を達成するため、請求項７の発明は、所定時間の間隔毎に撮像する撮像手段を備える撮像装置を制御するコンピュータに、前記撮像手段によって順次撮像される画像データの少なくとも一部を合成することによって、合成画像データを生成する画像合成機能、前記撮像手段によって新たに撮像された画像データが、前記画像合成機能によって生成する合成画像データの合成対象として有効か否かを判定する画像判定機能、を備え、前記画像判定機能の一部として、前記撮像手段によって最初に撮像された画像データと前記新たに撮像された画像データとの画角の変位量に応じて、前記画像判定機能による前記新たな画像データが合成対象として有効か否かを判定する判定基準を制御する機能を、実現させるプログラムであることを特徴とする。

本発明によれば、パノラマ撮像をする場合に、その成功率の向上を図ることができるようになる。

本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。 図１のデジタルカメラが、撮像処理を実行するための機能的構成を示す機能ブロック図である。 図２のデジタルカメラの動作モードとして、通常撮像モードとパノラマ撮像モードとがそれぞれ選択された場合における撮像操作を説明する図である。 図３に示すパノラマ撮像モードによって生成されるパノラマ画像の一例を示す図である。 パノラマ撮像モードが選択された場合におけるユーザの撮像操作の様子を示す上面図である。 図５に示すユーザの操作によってパノラマ撮像がなされている最中に、図２のデジタルカメラに累積的に保持された各画像データの各々に対応する各フレームを示す図である。 図２のデジタルカメラが実行する撮像処理の流れの一例を示すフローチャートである。 図７の撮像処理のうち、パノラマ撮像処理の詳細な流れを示すフローチャートである。 図７の撮像処理のうち、パノラマ撮像処理の詳細な流れを示すフローチャートである。 図８のパノラマ撮像処理のうち、画像判定処理の詳細な流れを示すフローチャートである。

以下、図面を参照して、本発明に係る実施形態について説明する。

図１は、本発明に係る撮像装置の一実施形態としてのデジタルカメラ１のハードウェア構成を示すブロック図である。

デジタルカメラ１は、CPU(Central Processing Unit)１１と、ROM(Read Only Memory)１２と、RAM(Random Access Memory)１３と、バス１４と、光学系１５と、撮像部１６と、画像処理部１７と、記憶部１８と、表示部１９と、操作部２０と、通信部２１と、角速度センサ２２と、ドライブ２３と、を備えている。

CPU１１は、ROM１２に記憶されているプログラム、又は記憶部１８からRAM１３にロードされたプログラムに従って、各種の処理を実行する。
ROM１２はまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶している。

例えば、本実施形態では、後述する図２の撮像制御部５１乃至画像合成部５３の各機能を実現するプログラムが、ROM１２や記憶部１８に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図２の撮像制御部５１乃至表示制御部５４の各機能を実現することができる。
なお、後述する図２の撮像制御部５１乃至画像合成部５３の各機能のうち少なくとも一部を、画像処理部１７に移譲することも可能である。

CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、光学系１５、撮像部１６、画像処理部１７、記憶部１８、表示部１９、操作部２０、通信部２１、角速度センサ２２、及びドライブ２３が接続されている。

光学系１５は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、撮像部１６の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系１５にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。

撮像部１６は、光電変換素子やAFE(Analog Front End)等から構成されている。光電変換素子は、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子から構成される。光電変換素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をAFEに順次供給する。
AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部１６の出力信号として出力する。
なお、以下、撮像部１６の出力信号を、「撮像画像の画像データ」と呼ぶ。従って、撮像部１６からは撮像画像の画像データが出力されて、画像処理部１７等に適宜供給される。

画像処理部１７は、DSP(Digital Signal Processor)や、VRAM(Video Random Access Memory)等から構成されている。
画像処理部１７は、CPU１１と協働して、撮像部１６から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
ここで、撮像部１６から一定時間毎に入力される撮像画像の画像データを、以下、「フレームの画像データ」と呼ぶ。本実施形態では、当該フレームが処理単位として採用されている。即ち、画像処理部１７は、撮像部１６から供給されたフレームの画像データを、各種画像処理を施した上で出力する。

記憶部１８は、DRAM(Dynamic Random Access Memory)等で構成され、画像処理部１７から出力されたフレームの画像データや、後述するパノラマ途中画像の画像データ等を一時的に記憶する。また、記憶部１８は、各種画像処理に必要な各種データ等も記憶する。

表示部１９は、例えばLCD（Liquid Crystal Device：液晶表示装置）やLCD駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部１９は、記憶部１８等から供給される画像データにより表現される画像、例えば後述するスルー画像をフレーム単位で表示する。

操作部２０は、シャッタスイッチ４１の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部２０は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をCPU１１に供給する。

通信部２１は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。

角速度センサ２２は、ジャイロ等からなり、デジタルカメラ１の角度変位量を検出し、検出結果を示すデジタル信号（以下、単に「角度変位量」と呼ぶ）をCPU１１に供給する。なお、角速度センサ２２は、地磁気の方向（流れ）を検出する機能を有しており、必要に応じて方位センサの機能も発揮するものとする。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、リムーバブルメディア３１から読み出されたプログラムが、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像データ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、図１のデジタルカメラ１が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア３１に記録するまでの一連の処理（以下、「撮像処理」と呼ぶ）を実行するための機能的構成を示す機能ブロック図である。

図２に示すように、CPU１１には、撮像制御部５１と、画像合成部５２と、画像判定部５３と、が設けられている。
なお、上述したように、撮像制御部５１乃至画像判定部５３の各機能は、本実施形態のようにCPU１１に搭載されている必要は特になく、これらの各機能のうち少なくとも一部を、画像処理部１７に移譲させることも可能である。
撮像制御部５１は、撮像処理の実行全体を制御する。例えば、撮像制御部５１は、デジタルカメラ１の動作モードとして、通常撮像モードと、パノラマ撮像モードとを選択的に切り替えて、切り替え後の動作モードに従った処理を実行することができる。
パノラマ撮像モードになると、画像合成部５２及び画像判定部５３が、撮像制御部５１の制御の下で動作する。

ここで、撮像制御部５１乃至画像判定部５３の理解を容易にすべく、それらの機能的構成の説明の前に、図３及び図４を適宜参照して、パノラマ撮像モードについて詳しく説明する。

図３は、図１のデジタルカメラ１の動作モードとして、通常撮像モードとパノラマ撮像モードとがそれぞれ選択された場合における撮像操作を説明する図である。
詳細には、図３（Ａ）は、通常撮像モードでの撮像操作を説明する図である。図３（Ｂ）は、パノラマ撮像モードでの撮像操作を説明する図である。
図３（Ａ）及び図３（Ｂ）のそれぞれにおいて、デジタルカメラ１の奥にある絵は、デジタルカメラ１の被写体を含む実世界の様子を示している。また、図３（Ｂ）に示す縦の点線は、デジタルカメラ１の移動方向の各位置ａ、ｂ、ｃを示している。デジタルカメラ１の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ１の撮像方向（角度）を変化させた場合における、デジタルカメラ１の光軸が移動する方向をいう。

通常撮像モードとは、デジタルカメラ１の画角に対応するサイズ（解像度）の画像を、撮像する場合の動作モードをいう。
通常撮像モードでは、図３（Ａ）に示すように、ユーザは、デジタルカメラ１を固定させた状態で、操作部２０のシャッタスイッチ４１を下限まで押下する。なお、このように、シャッタスイッチ４１を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
撮像制御部５１は、全押し操作がなされた直後に画像処理部１７から出力されたフレームの画像データを、記録対象としてリムーバブルメディア３１に記録させるまでの一連の処理の実行を制御する。
以下、このように、通常撮像モードにおいて撮像制御部５１の制御により実行される一連の処理を、「通常撮像処理」と呼ぶ。

一方、パノラマ撮像モードとは、パノラマ画像を撮像する場合の動作モードをいう。
パノラマ撮像モードでは、図３（Ｂ）に示すように、ユーザは、シャッタスイッチ４１の全押し操作を維持した状態で、デジタルカメラ１を同図中黒矢印の方向に移動させる。
撮像制御部５１は、全押し操作が維持されている間、画像合成部５２等を制御して、角速度センサ２２からの角度変位量が一定値に達する毎に、その直後に画像処理部１７から出力されたフレームの画像データを記憶部１８に一時的に記憶していくことを繰り返す。
その後、ユーザは、全押し操作を解除する操作、即ちシャッタスイッチ４１から指等を離す操作（以下、このような操作を「リリース操作」と呼ぶ）をすることで、パノラマ撮像の終了を指示する。
撮像制御部５１は、画像合成部５２等を制御して、パノラマ撮像の終了が指示されると、これまでに記憶部１８に記憶された複数のフレームの画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
そして、撮像制御部５１は、画像合成部５２等を制御して、パノラマ画像の画像データを、記録対象としてリムーバブルメディア３１に記録させる。
このように、撮像制御部５１は、パノラマ撮像モードにおいて、画像合成部５２等を制御して、パノラマ画像の画像データを生成し、それを記録対象としてリムーバブルメディア３１に記録させるまでの一連の処理を制御する。
以下、このように、パノラマ撮像モードにおいて撮像制御部５１の制御により実行される一連の処理を「パノラマ撮像処理」と呼ぶ。

換言すると、画像合成部５２は、撮像制御部５１の制御の下、次のような処理を実行する。
即ち、画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎に（角度変位量が一定値になる毎）に、撮像制御部５１から発行される取得指令を受けて、画像処理部１７から１フレームの画像データを取得して、記憶部１８に記憶させる。
そして、撮像制御部５１からパノラマ撮像の終了が指示されると、画像合成部５２は、これまでに記憶部１８に記憶された複数のフレームの画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。

図４は、図３に示すパノラマ撮像モードにおいて、このような画像合成部５２により生成されたパノラマ画像の画像データを示している。
即ち、パノラマ撮像モードにおいて、図３（Ｂ）に示すような撮像操作が行われると、撮像制御部５１の制御の下、画像合成部５２により、図４に示すようなパノラマ画像Ｐ３の画像データが生成され、リムーバブルメディア３１に記録される。

ただし、図４のパノラマ画像Ｐ３の画像データは、デジタルカメラ１が垂直方向に固定された状態を維持できた場合に得られる理想的なデータである。
しかしながら、実際には、ユーザがデジタルカメラ１を垂直方向に固定し続けることは困難である。特に、撮像範囲が広がると、その困難性は増加していく傾向にある。以下、このことを、図５を参照して具体的に説明する。

図５は、パノラマ撮像モードが選択された場合におけるユーザの撮像操作の様子を示す上面図である。
ユーザ１００は、例えば図５に示すように、右腕１０１でデジタルカメラ１を保持した状態で、シャッタスイッチ４１を全押し操作することで、パノラマ撮像を開始させる。
ここで、パノラマ撮像が開始した時点のデジタルカメラ１の光軸の方向は、図５に示す実線の矢印Ｓの方向であったものとする。
この場合、パノラマ撮像が開始すると、ユーザ１００は、自身の体１０２を軸として、デジタルカメラ１の光軸の方向が矢印Ｓの方向となっている時点を開始点として、デジタルカメラ１を水平方向（図５の紙面に対して平行な方向）に例えば右回りに回転させる。

ここで、仮に、デジタルカメラ１が水平方向に回転中であっても、その垂直方向（図５の紙面に対して垂直な方向）の位置が固定され続けていれば、図４のパノラマ画像Ｐ３のような理想的な画像データが得られることになる。
しかしながら、実際問題として、ユーザ１００にとっては、デジタルカメラ１を垂直方向にほぼ固定しておくことは困難である。その困難性は、撮像範囲が広くなるほど、即ちデジタルカメラ１の回転角度が大きくなるほど増加していく。

ここで、パノラマ撮像中の現時点のデジタルカメラ１の回転角度を示す指標として、総合角度変位量θを導入する。
総合角度変位量θとは、デジタルカメラ１の中心と体１０２の中心とが一致すると仮定して、図５において、矢印Ｓの方向（パノラマ撮像画像の開始時点のデジタルカメラ１の光軸の方向）と、現時点のデジタルカメラ１の光軸の方向とのなす角度θをいう。本実施形態では、図８のステップＳ３８の処理として説明するように、パノラマ撮像の開始時点から現時点までに、角度センサ２２からの角度変位量の累積値が、総合角度変位量θとして採用されている。

パノラマ撮像が開始されてからしばらくの間は、デジタルカメラ１の総合角度変位量θは範囲Ｄ１に含まれている。
このように、デジタルカメラ１の総合角度変位量θが範囲Ｄ１に含まれている間、ユーザ１０１は、体１０２をほぼ動かさずに、デジタルカメラ１を保持している右腕１０１だけを移動させることで、デジタルカメラ１を水平方向に右回りに回転させることができる。
よって、デジタルカメラ１の総合角度変位量θが範囲Ｄ１に含まれている間、デジタルカメラ１の垂直方向の位置はほぼ一定に保たれる。

しかしながら、その後、デジタルカメラ１の水平方向の右回りの回転が進むと、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれるようになる。
デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれるようになると、それ以降、ユーザ１００は、体１０２を捻って、デジタルカメラ１を水平方向に右回りに回転させる必要が生ずる。
このように、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれるようになると、ユーザ１００が体１０２を捻っていくので、デジタルカメラ１を保持する右腕１０１が下がっていく。
よって、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれている間、デジタルカメラ１の垂直方向の位置は下方に変化していく傾向になる。

さらに、その後、デジタルカメラ１の水平方向の右回りの回転が進むと、デジタルカメラ１の総合角度変位量θが範囲Ｄ３に含まれるようになる。
デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれるようになると、それ以降、ユーザ１００は、体１０２全体を回転させて、デジタルカメラ１を水平方向に右回りに回転させる必要が生ずる。
このように、デジタルカメラ１の総合角度変位量θが範囲Ｄ３に含まれるようになると、ユーザ１００が体１０２全体を回転させるので、体１０２全体が上下に振動するように動く。
よって、デジタルカメラ１の総合角度変位量θが範囲Ｄ３に含まれている間、デジタルカメラ１の垂直方向の位置も上下方向に振動するように変化していく傾向になる。

なお、説明の便宜上、デジタルカメラ１の水平方向の回転が、右回りの場合のみ説明したが、左回りの場合であっても同様な傾向になる。

図６は、図５に示した範囲Ｄ１乃至Ｄ３においてパノラマ撮像がなされている最中に、撮像部１６から出力されて、記憶部１８に累積的に保持された各画像データの各々に対応する各フレームを示している。
図６において、フレームＰ（ｋ）は、パノラマ撮像が開始されてからｋ番目に記憶部１８に保持された画像データに対応するフレームを示している。
横軸は、デジタルカメラ１の総合角度変位量θを示しており、縦軸は、デジタルカメラ１の垂直方向の位置を示している。なお、垂直方向の位置ＴＨ１乃至ＴＨ３については後述する。

ここで、図６の紙面の下方（奥）が実世界の３次元空間であるとすると、フレームＰ（ｋ）を示す長方形の範囲内に含まれる３次元空間が撮像された結果得られる２次元像（画像）が、当該フレームＰ（ｋ）に該当する。
そこで、以下、フレームＰ（ｋ）に写り込む３次元空間の垂直方向の位置を、「フレームＰ（ｋ）の垂直方向の位置」と呼ぶ。
即ち、垂直方向の位置が高いフレームＰ（ｋ）には、３次元空間の高い位置に存在する物体等の像が、被写体像として含まれる。これに対して、垂直方向の位置が低いフレームＰ（ｋ）には、３次元空間の低い位置に存在する物体等の像が、被写体像として含まれる。

フレームＰ（１）乃至Ｐ（４）は、総合角度変位量θが範囲Ｄ１に含まれるときに得られたものである。
範囲Ｄ１においては、上述したように、デジタルカメラ１の垂直方向の位置はほぼ動かない傾向にあるので、図６に示すように、フレームＰ（１）乃至Ｐ（４）の垂直方向の位置もほぼ変化しない。

フレームＰ（５）乃至Ｐ（ｉ＋１）は、総合角度変位量θが範囲Ｄ２に含まれるときに得られたものである。
範囲Ｄ２においては、上述したように、デジタルカメラ１の垂直方向の位置は下方向に変化する傾向があるので、図５に示すように、フレームＰ（５）乃至Ｐ（ｉ＋１）の垂直方向の位置も下方向に変化している。

フレームＰ（ｉ＋２）以降のフレームは、総合角度変位量θが範囲Ｄ３に含まれるときに得られたものである。
範囲Ｄ３においては、上述したように、デジタルカメラ１の垂直方向の位置は上下方向に振動するように変化する傾向があるので、図５に示すように、フレームＰ（ｉ＋２）の垂直方向の位置も上下方向に振動するように変化している。

このように、１回のパノラマ撮像の範囲内であっても、デジタルカメラ１の総合角度変位量θによって、フレームＰ（ｋ）の垂直方向の位置の変動の傾向は異なることになる。
そこで、図２の画像判定部５３は、パノラマ撮像によって順次得られるフレームの画像データが有効であるか否かを判定する処理を実行するに際し、有効であるか否かの判定基準を、デジタルカメラ１の移動位置（総合角度変位量θ）に応じて変化させる。
ここで、フレームＰ（ｋ）の画像データが有効とは、前回までに得られたフレームＰ（１）乃至Ｐ（ｋ−１）、及び、判定対象のフレームＰ（ｋ）の各画像データをその順番で水平方向に合成させた場合に、パノラマ画像の画像データとして連続性が保たれることをいう。
この場合、フレームＰ（ｋ）の画像データが有効か否かの判定手法として、例えば本実施形態では、次のような手法が採用されている。即ち、フレームＰ（ｋ）の垂直方向の所定位置が、基準範囲内であるか否かによって判定する判定手法が採用されている。
この垂直方向の基準範囲が、判定基準の一例として採用されており、本実施の形態では、デジタルカメラ１の移動位置（総合角度変位量θ）に応じて変化する。
なお、このような一連の処理を、以下、「画像判定処理」と呼ぶ。

ここで、画像判定処理自体は、従来においても実行される場合があった。しかしながら、従来においては、デジタルカメラ１の移動位置（総合角度変位量θ）は考慮されずに、判定基準は固定されていた。
例えば、図６の例でいえば、従来においては、垂直方向の最上位基準位置ＴＨ１及び最下位基準位置ＴＨ０が、判定基準として一律に固定されていた。
即ち、従来においては例えば、フレームＰ（ｋ）の垂直方向の上限位置（例えば１ライン目の垂直方向の位置）が最上位基準位置ＴＨ１以上であり、フレームＰ（ｋ）の垂直方向の下限位置（例えば最終ライン目の垂直方向の位置）が最下位基準位置ＴＨ０以下である場合に、フレームＰ（ｋ）の画像データが有効である、といった判定基準が一律に固定されていた。
この場合、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれるようになって、例えばフレームＰ（５）のデータが得られた場合には、当該フレームＰ（５）のデータは無効であると判定されるようになる。そして、パノラマ画像の連続性が得られないための撮像失敗のエラーとして、パノラマ撮像が強制終了してしまう。
即ち、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれるようになると、人体の特性上、垂直方向の変動が大きくなってしまい、これにより撮像失敗のエラーとしてパノラマ撮像が強制終了してしまうことが多くなり、その分だけ、パノラマ撮像の成功率が低下してしまう。

そこで、本実施形態では、画像判定部５３は、このような人体の特性上致し方が無い垂直方向の変動で撮像失敗のエラーが発生しないように、デジタルカメラ１の総合角度変位量θに応じて、判定基準を変化させる。

例えば、図６の例でいえば、デジタルカメラ１の総合角度変位量θが範囲Ｄ１に含まれている場合には、画像判定部５３は、従来と同様に、最上位基準位置ＴＨ１及び最下位基準位置ＴＨ０を用いる判定基準を用いる。

一方、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれている場合には、画像判定部５３は、例えば、最上位基準位置を、範囲Ｄ１の場合の位置ＴＨ１から、位置ＴＨ２に変更する。なお、最下位基準位置については、範囲Ｄ１の場合の位置ＴＨ０をそのまま採用してもよいし、変化させてもよい。
これにより、範囲Ｄ２において、人体の特性上、垂直方向の位置が下方向に変化する傾向があるフレームＰ（５）乃至Ｐ（ｉ＋１）の各画像データは、有効であると判定される。その結果、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれている場合においても、撮像失敗のエラーとしてパノラマ撮像が強制終了してしまうことが激減し、パノラマ撮像を継続することが可能になる。

さらに、デジタルカメラ１の総合角度変位量θが範囲Ｄ３に含まれている場合には、画像判定部５３は、例えば、最上位基準位置を、範囲Ｄ２の場合の位置ＴＨ２から、位置ＴＨ３に変更する。また、図示はしないが、画像判定部５３は、最下位基準位置についても、上げる方向に変化させる。
これにより、範囲Ｄ３において、人体の特性上、垂直方向の位置が上下方向に振動するように変化する傾向があるフレームＰ（ｉ＋２）以降の各画像データは、有効であると判定される。その結果、デジタルカメラ１の総合角度変位量θが範囲Ｄ３に含まれている場合においても、撮像失敗のエラーとしてパノラマ撮像が強制終了してしまうことが激減し、パノラマ撮像を継続することが可能になる。

換言すると、画像判定部５３は、デジタルカメラ１の総合角度変位量θからユーザ１００の撮像操作の状態を推定し、その推定結果に基づいて、判定基準を変化させている、と把握することもできる。
即ち、デジタルカメラ１の総合角度変位量θが範囲Ｄ１に含まれる場合には、画像判定部５３は、ユーザ１００の撮像操作の状態は正常状態であると推定し、その推定結果に基づいて、従来と同様の上述した判定基準を用いる。
一方、デジタルカメラ１の総合角度変位量θが範囲Ｄ２に含まれる場合には、画像判定部５３は、ユーザ１００の撮像操作の状態は右腕１０２が下方に向かっている状態であると推定し、その推定結果に基づいて、上述した判定基準に変更する。
さらに、デジタルカメラ１の総合角度変位量θが範囲Ｄ３に含まれる場合には、画像判定部５３は、ユーザ１００の撮像操作の状態は体１０３が上下に振動するように動いている状態であると推定し、その推定結果に基づいて、上述した判定基準に変更する。

なお、判定基準の変更手法は、特に上述した例に限定されず、任意でよい。ただし、デジタルカメラ１の総合角度変位量θが大きくなるほど、人体の特性上、デジタルカメラ１の垂直方向の変動量は大きくなってしまう場合が多いので、本実施形態のように、範囲を広める方向、即ち緩和する方向に判定基準を変化させると好適である。

以上、図２乃至図６を参照して、本発明が適用されるデジタルカメラ１の機能的構成について説明した。
次に、図７を参照して、このような機能的構成を有するデジタルカメラ１が実行する撮像処理について説明する。

図７は、撮像処理の流れの一例を示すフローチャートである。
本実施形態では、撮像処理は、デジタルカメラ１の図示せぬ電源がオン状態になると開始する。

ステップＳ１において、図２の撮像制御部５１は、操作検出処理及び初期設定処理を実行する。
操作検出処理とは、操作部２０の各スイッチの状態を検出する処理をいう。撮像制御部５１は、操作検出処理を実行することにより、動作モードとして、通常撮像モードが設定されているのか、それともパノラマ撮像モードが設定されているのかを検出することができる。
また、本実施形態の初期設定処理の１つとして、角度変位量の一定値と、角度変位量の最大限界である閾値（例えば、３６０度）とを設定する処理が採用されている。
具体的には、角度変位量の一定値と、角度変位量の最大限界である閾値（例えば、３６０度）は、図１のROM１２に予め記憶されており、ROM１２から読み出されてRAM１３に書き込まれることで設定される。なお、角度変位量の一定値は、後述する図８のステップＳ３５の判定処理で用いられる。一方、角度変位量の最大限界である閾値（例えば、３６０度）は、同図のステップＳ４３の判定処理で用いられる。
また、本実施形態では、後述する図８のステップＳ３４，Ｓ３８等に示すように、角速度センサ２２によって検出された角度変位量は累積加算されて、その累積加算値としての累積角度変位量や総合角度変位量（両者の違いは後述する）がRAM１３に格納される。そこで、これらの累積角度変位量や総合角度変位量を０にリセットする処理が、本実施形態の初期設定処理の１つとして採用されている。なお、累積角度変位量は、後述する図８のステップＳ３５の判定処理で、上述した一定値と比較される。一方、総合角度変位量は、後述する図８のステップＳ３５の判定処理で、上述した一定値と比較される。
さらにまた、本実施形態の初期設定処理の１つとして、エラーフラグを０にリセットする処理が採用されている。エラーフラグとは、パノラマ撮像処理中にエラーが発生した時に１にセットされるフラグをいう（後述する図９のステップＳ４５参照）。

ステップＳ２において、撮像制御部５１は、スルー撮像処理及びスルー表示処理を開始する。
即ち、撮像制御部５１は、撮像部１６や画像処理部１７を制御して、撮像部１６による撮像動作を継続させる。そして、撮像制御部５１は、撮像部１６による撮像動作が継続されている間、当該撮像部１６を介して画像処理部１７から順次出力されるフレームの画像データを、メモリ（本実施形態では記憶部１８）に一時的に記憶させる。このような撮像制御部５１による一連の制御処理が、ここでいう「スルー撮像処理」である。
また、撮像制御部５１は、表示制御部５４を制御して、スルー撮像時にメモリ（本実施形態では記憶部１８）に一時的に記録された各画像データを順次読み出して、各々に対応するフレーム画像を表示部１９に順次表示させる。このような撮像制御部５１による一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部１９に表示されているフレーム画像を、以下、「スルー画像」と呼ぶ。
このようにして、スルー画像が表示部１９に表示される。なお、本実施形態では、後述するステップＳ８の通常撮像処理又はステップＳ８のパノラマ撮像処理が終了するまでの間、スルー画像が表示部１９に表示され続けるものとする。

ステップＳ３において、撮像制御部５１は、シャッタスイッチ４１が半押しされたか否かを判定する。
ここで、半押しとは、操作部２０のシャッタスイッチ４１の途中（下限に至らない所定の位置）まで押下する操作をいい、以下、「半押し操作」とも適宜呼ぶ。
シャッタスイッチ４１が半押しされていない場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、撮像制御部５１は、処理の終了指示がなされたか否かを判別する。
処理の終了指示は、特に限定されないが、本実施形態では、デジタルカメラ１の図示せぬ電源がオフ状態になった旨の通知が採用されているものとする。
従って、本実施形態では電源がオフ状態になりその旨が撮像制御部５１に通知されると、ステップＳ１２においてＹＥＳであると判定されて、撮像処理全体が終了となる。
これに対して、電源がオン状態の場合には、電源がオフ状態になった旨の通知はなされないので、ステップＳ１２においてＮＯであると判定され、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、本実施形態では電源がオン状態を維持している限り、シャッタスイッチ４１が半押しされるまでの間、ステップＳ３：ＮＯ及びステップＳ１２：ＮＯのループ処理が繰り返し実行されて、撮像処理は待機状態となる。

このスルー表示処理中に、シャッタスイッチ４１が半押しされると、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。

ステップＳ４において、撮像制御部５１は、撮像部１６を制御して、いわゆるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理を実行する。

ステップＳ５において、撮像制御部５１は、シャッタスイッチ４１が全押しされたか否かを判定する。
シャッタスイッチ４１が全押しされない場合には、ステップＳ５においてＮＯであると判定される。この場合には、処理はステップＳ４に戻され、それ以降の処理が繰り返される。即ち、本実施形態では、シャッタスイッチ４１が全押しされるまでの間、ステップＳ４、及びステップＳ５：ＮＯのループ処理が繰り返し実行されて、ＡＦ処理がその都度実行される。

その後、シャッタスイッチ４１が全押しされると、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
ステップＳ６において、撮像制御部５１は、現在設定されている撮像モードがパノラマ撮像モードであるか否かを判定する。
パノラマ撮像モードでない場合、即ち通常撮像モードが現在設定されている場合、ステップＳ６においてＮＯであると判定され、処理はステップＳ７に進む。
ステップＳ７において、撮像制御部５１は、上述した通常撮像処理を実行する。
即ち、全押し操作がなされた直後に画像処理部１７から出力された１フレームの画像データが、記録対象としてリムーバブルメディア３１に記録される。これにより、ステップＳ８の通常撮像処理が終了して、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理については上述したので、ここではその説明は省略する。

これに対して、パノラマ撮像モードが現在設定されている場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ８に進む。
ステップＳ８において、撮像制御部５１は、上述したパノラマ撮像処理を実行する。
パノラマ撮像処理の詳細については図８及び図９を参照して後述するが、原則として、パノラマ画像の画像データが生成されて、記録対象としてリムーバブルメディア３１に記録される。これにより、ステップＳ８のパノラマ撮像処理が終了して、処理はステップＳ９に進む。

ステップＳ９において、撮像制御部５１は、エラーフラグは１であるか否かを判定する。
詳細については、図８及び図９を参照して後述するが、パノラマ画像の画像データが記録対象としてリムーバブルメディア３１に記録されて、ステップＳ８のパノラマ撮像処理が適正に終了すると、エラーフラグは０になっている。このような場合には、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理は上述したので、ここではその説明は省略する。
これに対して、ステップＳ８のパノラマ撮像処理中に何らかのエラーが発生すると、当該パノラマ撮像処理は不適性に終了する。このような場合には、エラーフラグは１になっているため、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、撮像制御部５１は、エラーの内容を表示部１９に表示する。表示されるエラーの内容の具体例については、後述する。
ステップＳ１１において、撮像制御部５１は、パノラマ撮像モードを解除し、エラーフラグを０にリセットする。
その後、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、撮像制御部５１は、ユーザによる次の新たな撮像操作に備える。

以上、図７を参照して、撮像処理の流れについて説明した。
次に、図８及び図９を参照して、図７の撮像処理のうち、ステップＳ９のパノラマ撮像処理の詳細な流れについて説明する。

図８及び図９は、パノラマ撮像処理の詳細な流れを説明するフローチャートである。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ４１が全押しされると、図７のステップＳ５及びＳ６においてＹＥＳとあると判定されて、処理はステップＳ８に進み、パノラマ撮像処理として次のような処理が実行される。

即ち、図８のステップＳ３１において、撮像制御部５１は、角速度センサ２２から角度変位量を取得する。

ステップＳ３２において、撮像制御部５１は、ステップＳ３１の処理で取得した角度変位量が０より大きいか否かを判定する。
ユーザがデジタルカメラ１を移動させていない状態では、角度変位量は０になるため、ステップＳ３２においてＮＯであると判定され、処理は、ステップＳ３３に進む。

ステップＳ３３において、撮像制御部５１は、角度変位量０の継続が所定時間経過したか否かを判定する。所定時間としては、例えば、ユーザがシャッタスイッチ４１を全押ししてから、デジタルカメラ１の移動を開始するまでに必要な時間よりも長い適当な時間を採用することができる。
所定時間が経過していない場合には、ステップＳ３３においてＮＯであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ１を移動させていない状態の継続時間が所定時間より短い場合には、撮像制御部５１は、ステップＳ３１乃至ステップＳ３３：ＮＯのループ処理を繰り返し実行することで、パノラマ撮像処理を待機状態にする。

この待機状態中に、ユーザが、デジタルカメラ１を移動させると、角速度センサ２２からの角度変位量は０よりも大きな値になる。このような場合には、ステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ３４に進む。

ステップＳ３４において、撮像制御部５１は、これまでの累積角度変位量に対して、ステップＳ３２の処理で取得した角度変位量を加算することによって、累積角度変位量を更新する（累積角度変位量＝累積角度変位量＋角度変位量）。即ち、RAM13に累積角度変位量として格納される値が更新される。

累積角度変位量とは、このように角度変位量が累積加算された値であり、デジタルカメラ１の移動量を示している。
ここで、本実施形態では、ユーザがデジタルカメラ１を一定量移動させる度に、パノラマ途中画像の画像データ生成用の１フレームの画像データ（合成対象）が、画像処理部１７から画像合成部５２に供給されるものとする。
これを実現すべく、デジタルカメラ１の移動量としての「一定量」に対応する累積角度変位量が、図７のステップＳ１の初期設定処理により「一定値」として予め与えられている。
即ち、本実施形態では、累積角度変位量が一定値に達する毎に、１フレームの画像データ（合成対象）が画像処理部１７から画像合成部５２に供給されると共に、累積角度変位量が０にリセットされる。
このような一連の処理が、次のステップＳ３５以降の処理として実行される。

即ち、ステップＳ３５において、撮像制御部５１は、累積角度変位量が一定値に達したか否かを判定する。
累積角度変位量が一定値に達していない場合には、ステップＳ３５においてＮＯであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ１を一定量移動させることによって、累積角度変位量が一定値に達しない限り、撮像制御部５１は、ステップＳ３１乃至Ｓ３５のループ処理を繰り返し実行する。
その後、ユーザがデジタルカメラ１を一定量移動させることによって、累積角度変位量が一定値に達したときは、ステップＳ３５においてＹＥＳであると判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、画像合成部５２は、撮像制御部５１の制御の下、１フレーム画像データを画像処理部１７から取得する。
即ち、撮像制御部５１は、累積角度変位量が一定値に達したとして、処理をステップＳ３６に進めると、画像合成部５２に対して取得指令を発行する。
この取得指令を受けた画像合成部５２は、ステップＳ３６の処理として、画像処理部１７から１フレームの画像データを取得する。

ステップＳ３７において、撮像制御部５１は、ステップＳ３６の処理で取得した１フレームの画像データと、総合角度変位量とを対応付けて記憶させる。

ステップＳ３８において、撮像制御部５１は、これまでの総合角度変位量に対して、現在の角度変位量（＝略一定値）を加算することによって、総合角度変位量を更新する（総合角度変位量＝総合角度変位量＋累積角度変位量）。即ち、RAM13に総合角度変位量として格納される値が更新される。

ステップＳ３９において、撮像制御部５１は、累積角度変位量を０にリセットする。即ち、RAM13に累積角度変位量として格納される値が０に更新される。

このように、累積角度変位量は、１フレームの画像データ（合成対象）が画像処理部１７から画像合成部５２に供給されるタイミング、即ち取得指令の発行タイミングを制御するために用いられる。よって、累積角度変位量は、一定に達して取得指令が発行される毎に０にリセットされる。
したがって、撮像制御部５１は、累積角度変位量を用いても、パノラマ撮像処理が開始されてから現在までにデジタルカメラ１がどこまで移動したのかを認識することができない。
そこで、このような認識を可能にすべく、本実施形態では、累積角度変位量とは別に、総合角度変位量が採用されている。
即ち、総合角度変位量とは、角度変位量が累積加算された値であるが、一定量に達しても０にリセットされずに、パノラマ撮像処理が終了するまでの間（詳細には後述するステップＳ４６の処理が実行されるまでの間）累積加算され続ける値である。

このようにして、ステップＳ３８の処理で総合角度変位量が更新されると共に、ステップＳ３９の処理で累積角度変位量が０にリセットされると、処理はステップＳ４０に進む。

ステップＳ４０において、画像判定部５３は、ステップＳ３６の処理で取得したフレームの画像データの有効性を判定する画像判定処理を実行する。
画像判定処理の詳細については、図１０を参照して後述するが、ステップＳ３６の処理で取得されたフレームの画像データの有効性が判定されると、処理はステップＳ４１に進む。

ステップＳ４１において、撮像制御部５１は、リリース操作が行われたか否かを判定する。
リリース操作が行われていない場合、即ち、ユーザによるシャッタスイッチ４１の全押しが継続されている場合には、ステップＳ４１においてＮＯであると判定されて、処理はステップＳ４２に進む。

ステップＳ４２において、撮像制御部５１は、画像取得のエラーが発生したか否かを判定する。
画像取得のエラーについては、特に限定されないが、例えば、本実施形態では、ステップＳ４０の画像判定処理で、ステップＳ３６の処理で取得されたフレームの画像データが無効であると判定されたことがエラーの１つとして採用されている。

ステップＳ４０の画像判定処理で、ステップＳ３６の処理で取得されたフレームの画像データが有効であると判定され、その他画像取得にエラーが発生していない場合には、ステップＳ４２においてＮＯであると判定され、処理はステップＳ４３に進む。
ステップＳ４３において、撮像制御部５１は、総合角度変位量が閾値を超えたか否かを判別する。
上述したように、総合角度変位量とは、パノラマ撮像処理が開始されてから（全押し操作がなされてから）、ステップＳ３８の処理が実行される時点までの角度変位量の累積加算値である。
ここで、本実施形態では、パノラマ撮像中にユーザがデジタルカメラ１を移動させることが可能な最大移動量が予め決定されている。このようなデジタルカメラ１の移動量としての「最大移動量」に対応する総合角度変位量が、図７のステップＳ１の初期設定処理により「閾値」として予め与えられている。
このように、本実施形態では、総合角度変位量が閾値に達したことは、デジタルカメラ１が最大移動量だけ移動したことを意味する。
従って、総合角度変位量が閾値に達していない場合、即ちデジタルカメラ１の移動量が最大移動量まで達していない場合、ユーザはデジタルカメラ１をまだ移動し続けることができるので、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。
即ち、角度変位量０の継続が所定時間経過すること（デジタルカメラ１が所定時間移動しないこと）もエラーの１つに含めると、エラーが発生しない状態で、全押し操作が継続されている限り、ステップＳ３１乃至Ｓ４３のループ処理が繰り返し実行される。

その後、エラーが発生しない状態で、リリース操作がなされるか（ステップＳ４１の処理でＹＥＳであると判定されるか）又はデジタルカメラ１が最大移動量まで移動した（ステップＳ４３の処理でＹＥＳであると判定された）場合、処理はステップＳ４４に進む。
ステップＳ４４において、撮像制御部５１は、画像合成部５２を介して、パノラマ画像の画像データを生成し、記録対象の画像データとしてリムーバブルメディア３１に記録させる。

そして、図９のステップＳ４６において、撮像制御部５１は、総合角度変位量を０にリセットする。
これにより、パノラマ撮像処理は適正に終了する。即ち、図７のステップＳ８の処理は適正に終了して、次のステップＳ９の処理でＮＯであると判定される。なお、ステップＳ９の処理でＮＯであると判定された後の処理については、上述したので、ここではその説明は省略する。

なお、上述の一連の処理中に何らかのエラーが発生した場合、即ち、図８のステップＳ３３の処理でＹＥＳであると判定されるか、又は、ステップＳ４１の処理でＹＥＳであると判定された場合、処理は図９のステップＳ４５に進む。
例えば、ステップＳ４０の画像判定処理で、ステップＳ３６の処理で取得されたフレームの画像データが無効であると判定された場合、ステップＳ４１の処理でＹＥＳであると判定されて、処理はステップＳ４５に進む。
ステップＳ４５において、撮像制御部５１は、エラーフラグを１にセットする。
この場合、ステップＳ４４の処理は実行されずに、即ち、パノラマ画像の画像データは記録されずに、パノラマ撮像処理は不適正に終了する。
即ち、図７のステップＳ８の処理は不適正に終了して、次のステップＳ９の処理でＹＥＳであると判定されて、ステップＳ１０の処理でエラーの内容が表示される。
この場合のエラー内容の表示は、上述したように特に限定されないが、例えば、「画像取得に失敗しました」や「時間オーバーです」等のメッセージ表示を採用することができる。

以上、図８及び図９を参照して、パノラマ撮像処理の詳細な流れについて説明した。
次に、図１０を参照して、パノラマ撮像処理のうち、ステップＳ４０の画像判定処理の詳細な流れについて説明する。

図８は、パノラマ撮像処理の詳細な流れを説明するフローチャートである。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ４１が全押しされると、図７のステップＳ５及びＳ６においてＹＥＳとあると判定されて、処理はステップＳ８に進み、パノラマ撮像処理として次のような処理が実行される。

即ち、図１０のステップＳ６１において、画像合成部５３は、直前の図８のステップＳ３７の処理で記憶された画像データに対応するフレーム（以下、「判定対象のフレーム」と呼ぶ）の垂直の位置を推定する。
ここで、垂直の位置の推定の手法は、特に限定されない。例えば、各速度センサ２２の垂直方向の角度変位量に基づいて推定する手法や、判定対象のフレームと前回に取得されたフレームとの比較結果に基づいて推奨する手法を採用することもできる。

ステップＳ６２において、画像合成部５３は、直前の図８のステップＳ３８の処理で演算された総合角度変位量θに基づいて、判定基準を設定する。

ステップＳ６３において、画像合成部５３は、ステップＳ６２の処理で設定された判定基準を用いて、判定対象のフレームの画像データの有効性を判定する。
このように、図１０の例の画像判定処理では、フレームの画像データが取得される毎（判定対象のフレーム毎）に、その時点の総合角度変位量θに基づいて設定された判定基準を用いて、判定対象のフレームの画像データの有効性が判定される。従って、人体の特性上致し方が無い垂直方向の変動があっても、判定対象のフレームの画像データは有効であると判定されることが多くなる。

このようにして、ステップＳ６１乃至Ｓ６３の処理で、判定対象のフレームの画像データの有効性が判定されると、画像判定処理は終了する。即ち、図８のステップＳ４０の処理は終了し、処理はステップＳ４１に進む。なお、ステップＳ４１以降の処理については上述したので、ここではその説明は省略する。

以上説明したように、本実施形態のデジタルカメラ１は、所定時間の間隔毎に撮像することによって順次得られる画像データのそれぞれを、フレームの画像データとして順次出力する撮像部１６を備えている。
本実施形態のデジタルカメラ１はまた、画像合成部５２と、画像判定部５３と、を備えている。
画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎に（累積角度変位量が一定値以上になる毎）に、撮像部１６から出力されるフレームの画像データを取得して記憶部１８等に保持する。そして、画像合成部５２は、これまでに累積的に保持された複数のフレームの画像データの少なくとも一部を合成することによって、合成画像の画像データを生成する。
画像判定部５３は、画像合成部５２により新たなフレームの画像データが取得される毎に、新たなフレームが合成対象として有効か否かを判定する。
ここで、画像判定部５３は、パノラマ撮像の開始時点から、新たなフレームの画像データが取得されるときまでの撮像装置の移動量（本実施形態では総合角度変位量θ）に応じて、判定基準を設定する。
これにより、人体の特性上致し方ない垂直方向の変動を考慮した判定が可能になる。即ち、総合角度変位量θが大きくなるに従い、人体の特性上、デジタルカメラ１の垂直方向の位置の変動量は大きくなる。このような場合であっても、新たなフレームが、人体の特性上致し方ない垂直方向の変動を含むものであっても、無効とせずに有効と判断することができるようになる。その結果、無用なエラーを発生させずに、パノラマ撮像を最後まで継続させることが可能になる。
このようにして、パノラマ撮像をする場合に、成功率の向上を図ることが可能になる。

なお、発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態においては、判定基準は、総合角度変位量θに基づいて設定されたが、その設定手法は、特にこれに限定されない。
例えば、画像判定部５３により前回の判定がなされてから、新たなフレームの画像データが取得されるまでのデジタルカメラ１の移動量に応じて、判定基準を可変設定する、という設定手法を採用してもよい。

また、上述の実施形態においては、画像判定部５３は、新たなフレームの画像データの有効性を判定する際には、当該新たなフレームの画像データ全体を用いて判定していたが、特にこれに限定されない。
例えば、画像合成部５２は、パノラマ画像の画像データを生成する場合、合成対象の各フレームのうちの一部の領域の画像データをトリミングして合成することもできる。このような場合には、画像判定部５３は、新たなフレームのうち、トリミング対象となる一部の領域のみを用いて、当該新たなフレームの有効性を判定することができる。
この場合、同一の判定基準を採用するならば、新たなフレーム全体を用いるよりも、その一部の領域のみを用いて、当該新たなフレームの有効性を判定した方が、有効であるという判定が緩和される方向になる。
よって、その分だけ、無用なエラーを発生させずに、パノラマ撮像を最後まで継続させることが可能になる。
このようにして、パノラマ撮像をする場合に、その撮像の成功率の向上を図ることが可能になる。
なお、当該新たなフレームの有効性を判定する一部の領域は、トリミング対象の領域に特に限定されず、任意の領域でも構わない。

また、上述の実施形態においては、角速度センサ２２によってデジタルカメラ１の角度変位を検出する構成にしたが、角度変位量の検出する手法は、特にこれに限定されない。
例えば、スルー画像を解析する画像処理によって画像間の角度変位を検出することでデジタルカメラ１の角度変位を検出する手法を採用してもよい。

また、上述の実施形態においては、パノラマ途中画像及びパノラマ画像は、横長の構成とされたが、特にこれに限定されず、デジタルカメラ１の移動方向に則した方向に長くなる構成、例えば縦長の構成としてもよい。

また例えば、上述の実施形態では、本発明が適用される撮像装置は、デジタルカメラ１として構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、パノラマ画像の撮像が可能になる撮像機能を有する電子機器一般に適用することができ、例えば、本発明は、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、撮像装置又は当該撮像装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM１２や記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１…デジタルカメラ、１１…CPU、１２…ROM、１３…RAM、１５…光学系、１６…撮像部、１７…画像処理部、１８…記憶部、１９…表示部、２０…操作部、２１…通信部、２２…角速度センサ、２３…ドライブ、３１…リムーバブルメディア、４１…シャッタスイッチ、５１…撮像制御部、５２…画像合成部、５３…画像判定部

Claims (7)

1. 所定時間の間隔毎に撮像する撮像手段を備える撮像装置において、
   前記撮像手段によって順次撮像される画像データの少なくとも一部を合成することによって、合成画像データを生成する画像合成手段と、
   前記撮像手段によって新たに撮像された画像データが、前記画像合成手段によって生成する合成画像データの合成対象として有効か否かを判定する画像判定手段と、
   を備え、
   前記画像判定手段は、前記撮像手段によって最初に撮像された画像データと前記新たに撮像された画像データとの画角の変位量に応じて、前記画像判定手段による前記新たな画像データが合成対象として有効か否かを判定する判定基準を制御する制御手段を備えたことを特徴とする撮像装置。
2. 前記制御手段は、前記最初に撮像された画像データと前記新たに撮像された画像データとの画角の変化量が大きくなるほど、前記判定基準を緩和する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像合成手段は、前記画像判定手段により前記新たなフレームの画像データが有効でないと判定された場合、前記合成画像データの生成を停止させる、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記画像判定手段は、前記新たな画像データの一部の領域の画像データを用いて、前記新たな画像データが合成対象として有効か否かを判定する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 当該撮像装置本体の角度変位量を検出する角度変位量検出手段を備え、
   前記画角の変位量は、前記角度変位量検出手段によって検出される角度変位量であることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 所定時間の間隔毎に撮像する撮像手段を備える撮像装置が実行する撮像方法において、
   前記撮像手段によって順次撮像される画像データの少なくとも一部を合成することによって、合成画像データを生成する画像合成ステップと、
   前記撮像手段によって新たに撮像された画像データが、前記画像合成ステップによって生成する合成画像データの合成対象として有効か否かを判定する画像判定ステップと、
   を含み、
   前記画像判定ステップは、前記撮像手段によって最初に撮像された画像データと前記新たに撮像された画像データとの画角の変位量に応じて、前記画像判定ステップによる前記新たな画像データが合成対象として有効か否かを判定する判定基準を制御する制御ステップを含む、
   ことを特徴とする撮像方法。
7. 所定時間の間隔毎に撮像する撮像手段を備える撮像装置を制御するコンピュータに、
   前記撮像手段によって順次撮像される画像データの少なくとも一部を合成することによって、合成画像データを生成する画像合成機能、
   前記撮像手段によって新たに撮像された画像データが、前記画像合成機能によって生成する合成画像データの合成対象として有効か否かを判定する画像判定機能、
   を備え、
   前記画像判定機能の一部として、前記撮像手段によって最初に撮像された画像データと前記新たに撮像された画像データとの画角の変位量に応じて、前記画像判定機能による前記新たな画像データが合成対象として有効か否かを判定する判定基準を制御する機能を、
   実現させることを特徴とするプログラム。

Images