JP2019041399A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】パノラマ撮像の場合に、現在の被写体像が撮像目標のパノラマ画像のどの位置であるかをユーザが正確に認識できるようにすること。【解決手段】画像処理部１７は、撮像部１６から入力される被写体の撮像画像に対して画像処理を施して、複数のフレームの画像データを順次生成する。画像合成部５２は、パノラマ画像の撮像においては、入力される画像データの取得指令毎に画像処理部１７によって生成された１フレームの画像データを取得し、前回までの取得指令において取得した１フレーム以上の画像データに、今回取得した１フレームの画像データを合成して、生成予定のパノラマ画像のうち、現在までに撮像された領域を示すパノラマ途中画像を生成する。表示制御部５４は、パノラマ画像の撮像においては、画像処理部１７によって生成された各フレームの画像と、画像合成部５２によって生成されたパノラマ途中画像とを、表示部１９に共に表示させる。【選択図】図２

Description

本発明は、画像処理装置に関する。

従来より、撮像装置が有する一機能としてパノラマ撮像機能がある。
同機能は、ユーザがシャッタスイッチを押下操作した状態を維持しながら、デジタルカメラを水平方向に移動させ、撮像装置がその間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像データを横方向（水平方向）に合成することによって、パノラマ画像の画像データを生成する機能である。

特許文献１には、デジタルカメラが、現在撮像している最中の画像の上に横長の枠を重畳して表示させ、当該横長の枠内において横方に伸びるバーを用いて、パノラマ撮像の進行状態を提示する技術（以下、「特許文献１の技術」と呼ぶ）が開示されている。

特開平０６−３０３５６２号公報

しかしながら、特許文献１の技術の場合、ユーザは、撮像中にこれまでの撮像の履歴について、例えばパノラマ撮像が開始されてから現在までにどのような画像が撮像されてきたのかについて確認することができない。
このため、パノラマ撮像の終了後に画像データとして記録されたパノラマ画像に、必要な画像が欠落している場合や、逆に、余分な画像が混在している場合等があり、ユーザは、所望のパノラマ画像を得るために、何度も撮像操作を繰り返す必要があった。

本発明は、このような状況に鑑みてなされたものであり、パノラマ撮像中に、これまでの撮像の履歴をユーザが容易に視認できるようにすることを目的とする。

請求項１に記載の発明は、撮像手段で撮像された画像を処理する画像処理装置であって、前記撮像手段の撮像範囲が変更されて連続撮像された画像に基づいてパノラマ途中画像を生成する第１生成手段と、前記撮像手段による連続撮像中にあって、当該撮像手段により撮像される現在の画像に基づくスルー画像と、前記第１生成手段で生成されたパノラマ途中画像と、を共に表示するよう制御する表示制御手段と、前記撮像手段による前記連続撮像の終了により、当該連続撮像の終了までに前記撮像手段により連続撮像された画像に基づいてパノラマ画像データを生成する第２生成手段と、を備えることを特徴とする。

本発明によれば、パノラマ撮像中に、これまでの撮像の履歴をユーザが容易に視認できるようになる。

本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。 図１のデジタルカメラが、撮像処理を実行するための機能的構成を示す機能ブロック図である。 図１のデジタルカメラの動作モードとして、通常撮像モードとパノラマ撮像モードとがそれぞれ選択された場合における撮像操作を説明する図である。 図３に示すパノラマ撮像モードによって生成されるパノラマ画像の一例を示す図である。 パノラマ途中画像が表示された図１のデジタルカメラの外観構成を示す裏面図である。 図２の画像処理部の合成処理を説明する図である。 撮像処理の流れの一例を示すフローチャートである。 図７の撮像処理のうち、パノラマ撮像処理の詳細な流れを示すフローチャートである。

以下、図面を参照して、本発明に係る実施形態について説明する。

図１は、本発明に係る撮像装置の一実施形態としてのデジタルカメラ１のハードウェア構成を示すブロック図である。

デジタルカメラ１は、CPU(Central Processing Unit)１１と、ROM(Read Only Memory)１２と、RAM(Random Access Memory)１３と、バス１４と、光学系１５と、撮像部１６と、画像処理部１７と、記憶部１８と、表示部１９と、操作部２０と、通信部２１と、角速度センサ２２と、ドライブ２３と、を備えている。

CPU１１は、ROM１２に記憶されているプログラム、又は記憶部１８からRAM１３にロードされたプログラムに従って、各種の処理を実行する。
ROM１２はまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶している。

例えば、本実施形態では、後述する図２の撮像制御部５１乃至表示制御部５４の各機能を実現するプログラムが、ROM１２や記憶部１８に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図２の撮像制御部５１乃至表示制御部５４の各機能を実現することができる。
なお、後述する図２の撮像制御部５１乃至表示制御部５４の各機能のうち少なくとも一部を、画像処理部１７に移譲することも可能である。

CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、光学系１５、撮像部１６、画像処理部１７、記憶部１８、表示部１９、操作部２０、通信部２１、角速度センサ２２、及びドライブ２３が接続されている。

光学系１５は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、撮像部１６の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系１５にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。

撮像部１６は、光電変換素子やAFE(Analog Front End)等から構成されている。光電変換素子は、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子から構成される。光電変換素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をAFEに順次供給する。
AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部１６の出力信号として出力する。
なお、以下、撮像部１６の出力信号を、「撮像画像の画像データ」と呼ぶ。従って、撮像部１６からは撮像画像の画像データが出力されて、画像処理部１７等に適宜供給される。

画像処理部１７は、DSP(Digital Signal Processor)や、VRAM(Video Random Access Memory)等から構成されている。
画像処理部１７は、CPU１１と協働して、撮像部１６から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
ここで、撮像部１６から一定時間毎に入力される撮像画像の画像データを、以下、「フレームの画像データ」と呼ぶ。本実施形態では、当該フレームが処理単位として採用されている。即ち、画像処理部１７は、撮像部１６から供給されたフレームの画像データを、各種画像処理を施した上で出力する。

記憶部１８は、DRAM(Dynamic Random Access Memory)等で構成され、画像処理部１７から出力されたフレームの画像データや、後述するパノラマ途中画像の画像データ等を一時的に記憶する。また、記憶部１８は、各種画像処理に必要な各種データ等も記憶する。

表示部１９は、例えばLCD（Liquid Crystal Device：液晶表示装置）やLCD駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部１９は、記憶部１８等から供給される画像データにより表現される画像、例えば後述するスルー画像をフレーム単位で表示する。

操作部２０は、シャッタスイッチ４１の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部２０は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をCPU１１に供給する。

通信部２１は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。

角速度センサ２２は、ジャイロ等からなり、デジタルカメラ１の角度変位量を検出し、検出結果を示すデジタル信号（以下、単に「角度変位量」と呼ぶ）をCPU１１に供給する。なお、角速度センサ２２は、地磁気の方向も検出する機能を有し、これにより必要に応じて方位センサの機能も発揮するものとする。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、リムーバブルメディア３１から読み出されたプログラムが、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像データ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、図１のデジタルカメラ１が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア３１に記録するまでの一連の処理（以下、「撮像処理」と呼ぶ）を実行するための機能的構成を示す機能ブロック図である。

CPU１１には、撮像処理の実行を制御する撮像制御部５１が設けられている。
撮像制御部５１は、例えば、デジタルカメラ１の動作モードとして、通常撮像モードと、パノラマ撮像モードとを選択的に切り替えて、切り替え後の動作モードに従った処理を実行することができる。

図３は、図１のデジタルカメラ１の動作モードとして、通常撮像モードとパノラマ撮像モードとがそれぞれ選択された場合における撮像操作を説明する図である。
詳細には、図３（Ａ）は、通常撮像モードでの撮像操作を説明する図である。図３（Ｂ）は、パノラマ撮像モードでの撮像操作を説明する図である。
図３（Ａ）及び図３（Ｂ）のそれぞれにおいて、デジタルカメラ１の奥にある絵は、デジタルカメラ１の被写体を含む実世界の様子を示している。また、図３（Ｂ）に示す縦の点線は、デジタルカメラ１の移動方向の各位置ａ、ｂ、ｃを示している。デジタルカメラ１の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ１の撮像方向（角度）を変化させた場合における、デジタルカメラ１の光軸が移動する方向をいう。

通常撮像モードとは、デジタルカメラ１の画角に対応するサイズ（解像度）の画像を、撮像する場合の動作モードをいう。
通常撮像モードでは、図３（Ａ）に示すように、ユーザは、デジタルカメラ１を固定させた状態で、操作部２０のシャッタスイッチ４１を下限まで押下する。なお、このように、シャッタスイッチ４１を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
撮像制御部５１は、全押し操作がなされた直後に画像処理部１７から出力されたフレームの画像データを、記録対象としてリムーバブルメディア３１に記録させるまでの一連の処理の実行を制御する。
以下、このように、通常撮像モードにおいて撮像制御部５１の制御により実行される一連の処理を、「通常撮像処理」と呼ぶ。

一方、パノラマ撮像モードとは、パノラマ画像を撮像する場合の動作モードをいう。
パノラマ撮像モードでは、図３（Ｂ）に示すように、ユーザは、シャッタスイッチ４１の全押し操作を維持した状態で、デジタルカメラ１を同図中黒矢印の方向に移動させる。
撮像制御部５１は、全押し操作が維持されている間、画像合成部５２を制御して、角速度センサ２２からの角度変位量が一定値に達する毎に、その直後に画像処理部１７から出力されたフレームの画像データを記憶部１８に一時的に記憶していくことを繰り返す。
その後、ユーザは、全押し操作を解除する操作、即ちシャッタスイッチ４１から指等を離す操作（以下、このような操作を「リリース操作」と呼ぶ）をすることで、パノラマ撮像の終了を指示する。
撮像制御部５１は、パノラマ撮像の終了が指示されると、これまでに記憶部１８に記憶された複数のフレームの画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
そして、撮像制御部５１は、パノラマ画像の画像データを、記録対象としてリムーバブルメディア３１に記録させる。
このように、撮像制御部５１は、パノラマ撮像モードにおいて、パノラマ画像の画像データを生成し、それを記録対象としてリムーバブルメディア３１に記録させるまでの一連の処理を制御する。
以下、このように、パノラマ撮像モードにおいて撮像制御部５１の制御により実行される一連の処理を「パノラマ撮像処理」と呼ぶ。

図４は、パノラマ撮像処理の結果得られたパノラマ画像の画像データを示している。
即ち、パノラマ撮像モードにおいて、図３（Ｂ）に示すような撮像操作が行われると、撮像制御部５１によりパノラマ撮像処理の実行が制御される。その結果として、図４に示すようなパノラマ画像Ｐ３の画像データが生成され、リムーバブルメディア３１に記録される。

本実施形態ではさらに、通常撮像モードとパノラマ撮像モードとを問わず、図２の撮像制御部５１は、スルー撮像処理及びスルー表示処理を実行する。
即ち、ユーザは、全押し操作をする前に、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理等をデジタルカメラ１に実行させるべく、操作部２０のシャッタスイッチ４１を途中（下限に至らない所定の位置）まで押下する操作を行うことができる。なお、このように、シャッタスイッチ４１の途中（下限に至らない所定の位置）まで押下する操作を、以下、「半押し操作」又は単に「半押し」と呼ぶ。
撮像制御部５１は、半押し操作がなされると、撮像部１６や画像処理部１７を制御して、撮像部１６による撮像動作を継続させる。そして、撮像制御部５１は、撮像部１６による撮像動作が継続されている間、当該撮像部１６を介して画像処理部１７から順次出力されるフレームの画像データを、メモリ（本実施形態では記憶部１８）に一時的に記憶させる。このような撮像制御部５１による一連の制御処理が、ここでいう「スルー撮像処理」である。
また、撮像制御部５１は、表示制御部５４を制御して、スルー撮像時にメモリ（本実施形態では記憶部１８）に一時的に記録された各画像データを順次読み出して、各々に対応するフレーム画像を表示部１９に順次表示させる。このような撮像制御部５１による一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部１９に表示されているフレーム画像を、以下、「スルー画像」と呼ぶ。

本実施形態では、さらに、パノラマ撮像モードが選択されている状態で全押し操作がなされた場合、生成予定のパノラマ画像のうち、現在までに撮像された領域を示す画像（以下、「パノラマ途中画像」と呼ぶ）がスルー画像に重畳されて表示部１９に表示される。

図５は、パノラマ途中画像が表示された図１のデジタルカメラ１の外観構成を示す裏面図である。
図５（Ａ）は、図３（Ｂ）の位置ａに移動したときのデジタルカメラ１の外観構成を示している。図５（Ｂ）は、図３（Ｂ）の位置ｂに移動したときのデジタルカメラ１の外観構成を示している。図５（Ｃ）は、図３（Ｂ）の位置ｃに移動したときのデジタルカメラ１の外観構成を示している。
即ち、パノラマ撮像モードで、ユーザが、デジタルカメラ１を位置ａ乃至位置ｃに順次移動させた場合における、デジタルカメラ１の表示状態の推移が、図５（Ａ）乃至図５（Ｃ）に示されている。
具体的には、デジタルカメラ１が位置ａ、位置ｂ、位置ｃに順次移動すると、表示部１９には、スルー画像ＰＡ１、ＰＢ１、ＰＣ１の各々が位置ａ、ｂ、ｃの各々に対応して順次表示される。本実施形態ではさらに、このようなスルー画像ＰＡ１、ＰＢ１、ＰＣ１の各々に対して、パノラマ途中画像ＰＡ２、ＰＢ２、ＰＣ２の各々が重畳して表示される。
ユーザは、このようなパノラマ途中画像ＰＡ２、ＰＢ２、ＰＣ２を視認しながらパノラマ撮像の操作をすることができるので、パノラマ撮像が開始されてから現在までの撮像の履歴を容易かつ正確に視認することができる。その結果、ユーザは、何度も撮像操作を繰り返さずとも、所望のパノラマ画像を容易かつ簡単に得ることが可能になる。

図２に示すように、デジタルカメラ１のCPU１１には、このようなパノラマ途中画像の表示を可能にすべく、上述した撮像制御部５１に加えてさらに画像合成部５２、画像縮小部５３、及び表示制御部５４が設けられている。
なお、上述したように、画像合成部５２、画像縮小部５３、及び表示制御部５４の各機能は、本実施形態のようにCPU１１に搭載されている必要は特になく、これらの各機能のうち少なくとも一部を、画像処理部１７に移譲させることも可能である。

画像合成部５２は、画像処理部１７から順次供給されてくるフレームの画像データを、供給された順番で水平方向に順次合成していく処理（以下、「画像合成処理」と呼ぶ）を実行する。画像合成処理の結果、パノラマ途中画像の画像データが得られて、画像縮小部５３に供給される。
具体的には例えば、撮像制御部５１は、角速度センサ２２の検出結果を監視し、角度変位量の累積値が一定値に達する毎に、画像合成部５２に対して取得指令を発行する。画像合成部５２は、取得指令を受け取った直後に画像処理部１７から供給されたフレームの画像データを、合成対象として取得する。即ち、画像合成部５２は、シャッタスイッチ４１の全押し操作が開始されてから、撮像制御部５１からの取得指令が発行される毎に、合成対象のフレームの画像データを順次取得する。
そして、画像合成部５２は、シャッタスイッチ４１の全押し操作が開始されてから現在までの間に合成対象として取得した複数のフレームの画像データを、取得した順番で水平方向に順次合成していく。
このような画像合成処理の結果として、パノラマ途中画像の画像データが、画像合成部５２において得られて、画像縮小部５３に供給される。

ここで、画像合成処理の対象となる画像データは、特に限定されず、例えば、シャッタスイッチ４１の全押し操作が開始されてから現在までの間に取得された複数のフレームの各々の画像データであってもよい。ただし、本実施形態では、前回の合成処理の際に生成されたパノラマ途中画像の画像データと、直前に合成対象として取得されたフレームの画像データとが、合成処理の対象として採用されている。
即ち、本実施形態では、画像合成部５２により生成されるパノラマ途中画像のサイズ（解像度）は、最終的に生成され得るパノラマ画像の最大サイズと同一の固定サイズとされている。
このため、パノラマ撮像の途中、即ち、デジタルカメラ１の移動中においては、これまでに取得された幾つかのフレームの画像データが水平方向に合成されても、水平方向のサイズが最大サイズに満たず、フレームの有効画像では埋められない領域が出てくる。本実施形態では、このような領域は、所定の色（例えば、図５の例では黒色）が一律に塗られた領域となる。このような領域、即ち、画素値が全て一定（例えば、黒を示す０で一定）の領域を、以下、「ブランク領域」と呼ぶ。
そこで、本実施形態では、画像合成部５２は、前回のパノラマ途中画像の画像データと、直前に合成対象として取得したフレームの画像データを用いて、前回のパノラマ途中画像のブランク領域に、合成対象のフレームを上書きする画像合成処理を実行する。

図６は、図２の画像合成部５２の合成処理を説明する図である。
本実施形態では、図６に示すような記憶領域１０１が、例えば記憶部１８に設けられているものとする。
記憶領域１０１は、Ｎ個のフレーム記憶領域１０１−１乃至１０１−Ｎに区分されている。ここで、Ｎは２以上の任意の整数値である。ただし、フレーム記憶領域１０１−１乃至１０１−Ｎの水平方向（図のｘ軸の方向）のサイズが、パノラマ途中画像の水平方向のサイズ（解像度）、即ち最終的に生成され得るパノラマ画像の水平方向の最大サイズと同一となる。また、Ｎは、１回のパノラマ撮像処理において、合成対象として画像合成部５２に取得され得るフレームの画像データの最大個数と一致している。
即ち、シャッタスイッチ４１が全押し操作されてパノラマ撮像処理が開始されてから、Ｋ回目の取得指令が発行された場合に、画像合成部５２に合成対象として取得されたフレームの画像データの少なくとも一部が、フレーム記憶領域１０１−Ｋに記憶される。
ここで、フレームの画像データの少なくとも一部と記述したのは、フレームの画像データのサイズが、フレーム記憶領域１０１−Ｋのサイズよりも大きい場合があるからである。このような場合、フレームの所定の一部に該当する画像データのみが、フレーム記憶領域１０１−Ｋに記憶される。

このように、本実施形態では、記憶領域１０１に記憶されている画像データ全体が、パノラマ途中画像の画像データである。記憶領域１０１には、初期状態として、同一の画素値（例えば、黒色を示す０）が一律に記憶されている。即ち、初期状態では、Ｎ個のフレーム記憶領域１０１−１乃至１０１−Ｎの全てがブランク領域となっている。
従って、Ｋ回目の合成対象のフレームの画像合成部５２に取得されたタイミングでは、Ｎ個のフレーム記憶領域１０１−１乃至１０１−Ｎのうち、フレーム記憶領域１０１−１乃至１０１−（Ｋ−１）には、有効画像の画像データが含まれている。ここで、有効画像とは、１乃至（Ｋ−１）回目の各々の合成対象のフレームの（少なくとも一部）がその順番で水平方向（図６中ｘ軸方向）に合成された画像をいう。一方で、フレーム記憶領域１０１−Ｋ乃至１０１−Ｎは、ブランク領域となっている。
このブランク領域であるフレーム記憶領域１０１−Ｋ乃至１０１−Ｎのうち、フレーム記憶領域１０１−Ｋに対して、Ｋ回目に合成対象として取得されたフレームの画像データの少なくとも一部が記憶される。これにより、記憶領域１０１に記憶されたデータ全体が、パノラマ途中画像の画像データとして生成される。
その後、図２の画像合成部５２は、記憶領域１０１に記憶されたデータ全体を、パノラマ途中画像の画像データとして読み出して、画像縮小部５３に供給する。

画像縮小部５３は、画像合成部５２からパノラマ画像の画像データが供給される毎に、当該画像データに対して、サイズ（解像度）を縮小する縮小処理を施す。ここで、縮小率は、縮小後のパノラマ途中画像がスルー画像（フレーム）よりも小さくなる範囲内で、任意に設定することが可能である。
このようにしてサイズ（解像度）が縮小されたパノラマ途中画像の画像データは、画像縮小部５３から表示制御部５４に供給される。

表示制御部５４は、記憶部１８に一時的に記憶された画像データにより表現されるフレームを、スルー画像として表示部１９に表示させる制御を実行する。
さらに、パノラマ撮像処理中には、表示制御部５４は、画像縮小部５３から供給される縮小後の画像データにより表現される画像、即ち、縮小されたパノラマ途中画像をスルー画像に重畳させて表示部１９に表示させる制御を実行する。

その後、シャッタスイッチ４１からユーザの指等が離されると、即ちリリース操作がなされると、撮像制御部５１は、記録対象の画像データをリムーバブルメディア３１に記録させる制御を実行する。
具体的には、通常撮像モードの場合には、撮像制御部５１は、画像処理部１７から出力されるフレームの画像データを、記録対象の画像データとしてリムーバブルメディア３１に記録させる制御を実行する。
一方、パノラマ撮像モードの場合には、撮像制御部５１は、画像合成部５２を介して、パノラマ画像の画像データを、記録対象の画像データとしてリムーバブルメディア３１に記録させる制御を実行する。
例えば、画像合成部５２は、記憶領域１０１（図６）に記憶されているデータのうち、ブランク領域以外の有効画像の部分の画像データを読み出して、縮小処理や拡大処理等の画像処理を適宜施す。これにより、記録対象のパノラマ画像の画像データが生成される。このようにして生成されたパノラマ画像の画像データは、ドライブ２３に供給されて、記録対象の画像データとしてリムーバブルメディア３１に記録される。

次に、図７を参照して、このような機能的構成を有するデジタルカメラ１が実行する撮像処理について説明する。

図７は、撮像処理の流れの一例を示すフローチャートである。
本実施形態では、撮像処理は、デジタルカメラ１の図示せぬ電源がオン状態になると開始する。

ステップＳ１において、図２の撮像制御部５１は、操作検出処理及び初期設定処理を実行する。
操作検出処理とは、操作部２０の各スイッチの状態を検出する処理をいう。撮像制御部５１は、操作検出処理を実行することにより、動作モードとして、通常撮像モードが設定されているのか、それともパノラマ撮像モードが設定されているのかを検出することができる。
また、本実施形態の初期設定処理の１つとして、角度変位量の一定値と、角度変位量の最大限界である閾値（例えば、３６０度）とを設定する処理が採用されている。
具体的には、角度変位量の一定値と、角度変位量の最大限界である閾値（例えば、３６０度）は、図１のROM１２に予め記憶されており、ROM１２から読み出されてRAM１３に書き込まれることで設定される。なお、角度変位量の一定値は、後述する図８のステップＳ３５の判定処理で用いられる。一方、角度変位量の最大限界である閾値（例えば、３６０度）は、同図のステップＳ４５の判定処理で用いられる。
また、本実施形態では、後述する図８のステップＳ３４，Ｓ４０等に示すように、角速度センサ２２によって検出された角度変位量は累積加算されて、その累積加算値としての累積角度変位量や総合角度変位量（両者の違いは後述する）がRAM１３に格納される。そこで、これらの累積角度変位量や総合角度変位量を０にリセットする処理が、本実施形態の初期設定処理の１つとして採用されている。なお、累積角度変位量は、後述する図８のステップＳ３５の判断処理で、上述した一定値と比較される。一方、総合角度変位量は、後述する図８のステップＳ４５の判断処理で、上述した一定値と比較される。
さらにまた、本実施形態の初期設定処理の１つとして、エラーフラグを０にリセットする処理が採用されている。エラーフラグとは、パノラマ撮像処理中にエラーが発生した時に１にセットされるフラグをいう（後述する図８のステップＳ４４参照）。

ステップＳ２において、撮像制御部５１は、シャッタスイッチ４１が半押しされたか否かを判定する。
シャッタスイッチ４１が半押しされていない場合、ステップＳ２においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、撮像制御部５１は、処理の終了指示がなされたか否かを判別する。
処理の終了指示は、特に限定されないが、本実施形態では、デジタルカメラ１の図示せぬ電源がオフ状態になった旨の通知が採用されているものとする。
従って、本実施形態では電源がオフ状態になりその旨が撮像制御部５１に通知されると、ステップＳ１２においてＹＥＳであると判定されて、撮像処理全体が終了となる。
これに対して、電源がオン状態の場合には、電源がオフ状態になった旨の通知はなされないので、ステップＳ１２においてＮＯであると判定され、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、本実施形態では電源がオン状態を維持している限り、シャッタスイッチ４１が半押しされるまでの間、ステップＳ２：ＮＯ及びステップＳ１２：ＮＯのループ処理が繰り返し実行されて、撮像処理は待機状態となる。

この待機状態中に、シャッタスイッチ４１が半押しされると、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、撮像制御部５１は、上述したスルー撮像処理及びスルー表示処理を開始する。
これにより、スルー画像が表示部１９に表示される。なお、本実施形態では、後述するステップＳ８の通常撮像処理又はステップＳ９のパノラマ撮像処理が終了するまでの間、スルー画像が表示部１９に表示され続けるものとする。

ステップＳ４において、撮像部１６を制御して、いわゆるＡＦ処理を実行する。

ステップＳ５において、撮像制御部５１は、シャッタスイッチ４１が全押しされたか否かを判定する。
シャッタスイッチ４１が全押しされない場合には、ステップＳ５においてＮＯであると判定される。この場合には、処理はステップＳ４に戻され、それ以降の処理が繰り返される。即ち、本実施形態では、シャッタスイッチ４１が全押しされるまでの間、ステップＳ４、及びステップＳ５：ＮＯのループ処理が繰り返し実行されて、ＡＦ処理がその都度実行される。

その後、シャッタスイッチ４１が全押しされると、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
ステップＳ６において、撮像制御部５１は、現在設定されている撮像モードがパノラマ撮像モードであるか否かを判定する。
パノラマ撮像モードでない場合、即ち通常撮像モードが現在設定されている場合、ステップＳ６においてＮＯであると判定され、処理はステップＳ７に進む。
ステップＳ７において、撮像制御部５１は、上述した通常撮像処理を実行する。
即ち、全押し操作がなされた直後に画像処理部１７から出力された１フレームの画像データが、記録対象としてリムーバブルメディア３１に記録される。これにより、ステップＳ８の通常撮像処理が終了して、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理については上述したので、ここではその説明は省略する。

これに対して、パノラマ撮像モードが現在設定されている場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ８に進む。
ステップＳ８において、撮像制御部５１は、上述したパノラマ撮像処理を実行する。
パノラマ撮像処理の詳細については図８を参照して後述するが、原則として、パノラマ画像の画像データが生成されて、記録対象としてリムーバブルメディア３１に記録される。これにより、ステップＳ８のパノラマ撮像処理が終了して、処理はステップＳ９に進む。

ステップＳ９において、撮像制御部５１は、エラーフラグは１であるか否かを判定する。
詳細については、図８を参照して後述するが、パノラマ画像の画像データが記録対象としてリムーバブルメディア３１に記録されて、ステップＳ８のパノラマ撮像処理が適正に終了すると、エラーフラグは０になっている。このような場合には、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理は上述したので、ここではその説明は省略する。
これに対して、ステップＳ８のパノラマ撮像処理中に何らかのエラーが発生すると、当該パノラマ撮像処理は不適性に終了する。このような場合には、エラーフラグは１になっているため、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、撮像制御部５１は、エラーの内容を表示部１９に表示する。表示されるエラーの内容の具体例については、後述する。
ステップＳ１１において、撮像制御部５１は、パノラマ撮像モードを解除し、エラーフラグを０にリセットする。
その後、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、撮像制御部５１は、ユーザによる次の新たな撮像操作に備える。

以上、図７を参照して、撮像処理の流れについて説明した。
次に、図８を参照して、図７の撮像処理のうち、ステップＳ９のパノラマ撮像処理の詳細な流れについて説明する。

図８は、パノラマ撮像処理の詳細な流れを説明するフローチャートである。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ４１が全押しされると、図７のステップＳ６においてＹＥＳと判定されると、処理はステップＳ８に進み、パノラマ撮像処理として次のような処理が実行される。

即ち、図８のステップＳ３１において、撮像制御部５１は、角速度センサ２２から角度変位量を取得する。

ステップＳ３２において、撮像制御部５１は、ステップＳ３１の処理で取得した角度変位量が０より大きいか否かを判定する。
ユーザがデジタルカメラ１を移動させていない状態では、角度変位量は０になるため、ステップＳ３２においてＮＯであると判定され、処理は、ステップＳ３３に進む。

ステップＳ３３において、撮像制御部５１は、角度変位量０の継続が所定時間経過したか否かを判定する。所定時間としては、例えば、ユーザがシャッタスイッチ４１を全押ししてから、デジタルカメラ１の移動を開始するまでに必要な時間よりも長い適当な時間を採用することができる。
所定時間が経過していない場合には、ステップＳ３３においてＮＯであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ１を移動させていない状態の継続時間が所定時間より短い場合には、撮像制御部５１は、ステップＳ３１乃至ステップＳ３３：ＮＯのループ処理を繰り返し実行することで、パノラマ撮像処理を待機状態にする。

この待機状態中に、ユーザが、デジタルカメラ１を移動させると、角速度センサ２２からの角度変位量は０よりも大きな値になる。このような場合には、ステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ３４に進む。

ステップＳ３４において、撮像制御部５１は、これまでの累積角度変位量に対して、ステップＳ３２の処理で取得した角度変位量を加算することによって、累積角度変位量を更新する（累積角度変位量＝累積角度変位量＋角度変位量）。即ち、RAM13に累積角度変位量として格納される値が更新される。

累積角度変位量とは、このように角度変位量が累積加算された値であり、デジタルカメラ１の移動量を示している。
ここで、本実施形態では、ユーザがデジタルカメラ１を一定量移動させる度に、パノラマ途中画像の画像データ生成用の１フレームの画像データ（合成対象）が、画像処理部１７から画像合成部５２に供給されるものとする。
これを実現すべく、デジタルカメラ１の移動量としての「一定量」に対応する累積角度変位量が、図７のステップＳ１の初期設定処理により「一定値」として予め与えられている。
即ち、本実施形態では、累積角度変位量が一定値に達する毎に、１フレームの画像データ（合成対象）が画像処理部１７から画像合成部５２に供給されると共に、累積角度変位量が０にリセットされる。
このような一連の処理が、次のステップＳ３５以降の処理として実行される。

即ち、ステップＳ３５において、撮像制御部５１は、累積角度変位量が一定値に達したか否かを判定する。
累積角度変位量が一定値に達していない場合には、ステップＳ３５においてＮＯであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ１を一定量移動させることによって、累積角度変位量が一定値に達しない限り、撮像制御部５１は、ステップＳ３１乃至Ｓ３５のループ処理を繰り返し実行する。
その後、ユーザがデジタルカメラ１を一定量移動させることによって、累積角度変位量が一定値に達したときは、ステップＳ３５においてＹＥＳであると判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、画像合成部５２は、撮像制御部５１の制御の下、１フレーム画像データを画像処理部１７から取得する。
即ち、撮像制御部５１は、累積角度変位量が一定値に達したとして、処理をステップＳ３６に進めると、画像合成部５２に対して取得指令を発行する。
この取得指令を受けた画像合成部５２は、ステップＳ３６の処理として、画像処理部１７から１フレームの画像データを取得する。

ステップＳ３７において、画像合成部５２は、取得した１フレームの画像データ（そのうちの少なくとも一部）を、記憶領域１０１（図６）のブランク領域に上書きすることによって、パノラマ途中画像の画像データを生成する。
パノラマ途中画像の画像データが画像合成部５２から画像縮小部５３に供給されると、処理はステップＳ３８に進む。

ステップＳ３８において、画像縮小部５３は、供給されたパノラマ途中画像の画像データのサイズ（解像度）を縮小する。
縮小後のパノラマ途中画像の画像データが画像縮小部５３から表示制御部５４に供給されると、処理はステップＳ３９に進む。

ステップＳ３９において、表示制御部５４は、画像縮小部５３から供給された画像データにより表わされる画像、即ち、縮小後のパノラマ途中画像をスルー画像に重畳して表示部１９に表示させる。

ステップＳ４０において、撮像制御部５１は、これまでの総合角度変位量に対して、現在の角度変位量（＝略一定値）を加算することによって、総合角度変位量を更新する（総合角度変位量＝総合角度変位量＋累積角度変位量）。即ち、RAM13に総合角度変位量として格納される値が更新される。

ステップＳ４１において、撮像制御部５１は、累積角度変位量を０にリセットする。即ち、RAM13に累積角度変位量として格納される値が０に更新される。

このように、累積角度変位量は、１フレームの画像データ（合成対象）が画像処理部１７から画像合成部５２に供給されるタイミング、即ち取得指令の発行タイミングを制御するために用いられる。よって、累積角度変位量は、一定に達して取得指令が発行される毎に０にリセットされる。
したがって、撮像制御部５１は、累積角度変位量を用いても、パノラマ撮像処理が開始されてから現在までにデジタルカメラ１がどこまで移動したのかを認識することができない。
そこで、このような認識を可能にすべく、本実施形態では、累積角度変位量とは別に、総合角度変位量が採用されている。
即ち、総合角度変位量とは、角度変位量が累積加算された値であるが、一定量に達しても０にリセットされずに、パノラマ撮像処理が終了するまでの間（詳細には後述するステップＳ４７の処理が実行されるまでの間）累積加算され続ける値である。

このようにして、ステップＳ４０の処理で総合角度変位量が更新されると共に、ステップＳ４１の処理で累積角度変位量が０にリセットされると、処理はステップＳ４２に進む。

ステップＳ４２において、撮像制御部５１は、リリース操作が行われたか否かを判定する。
リリース操作が行われていない場合、即ち、ユーザによるシャッタスイッチ４１の全押しが継続されている場合には、ステップＳ４２においてＮＯであると判定されて、処理はステップＳ４３に進む。

ステップＳ４３において、撮像制御部５１は、画像取得のエラーが発生したか否かを判定する。
画像取得のエラーについては、特に限定されないが、例えば、本実施形態では、デジタルカメラ１が斜め方向、上下方向、又は逆方向に一定量以上移動したことがエラーとして採用されている。

画像取得にエラーが発生していない場合には、ステップＳ４３においてＮＯであると判定され、処理はステップＳ４４に進む。
ステップＳ４４において、撮像制御部５１は、総合角度変位量が閾値を超えたか否かを判別する。
上述したように、総合角度変位量とは、パノラマ撮像処理が開始されてから（全押し操作がなされてから）、ステップＳ４２の処理が実行される時点までの角度変位量の累積加算値である。
ここで、本実施形態では、パノラマ撮像中にユーザがデジタルカメラ１を移動させることが可能な最大移動量が予め決定されている。このようなデジタルカメラ１の移動量としての「最大移動量」に対応する総合角度変位量が、図７のステップＳ１の初期設定処理により「閾値」として予め与えられている。
このように、本実施形態では、総合角度変位量が閾値に達したことは、デジタルカメラ１が最大移動量だけ移動したことを意味する。
従って、総合角度変位量が閾値に達していない場合、即ちデジタルカメラ１の移動量が最大移動量まで達していない場合、ユーザはデジタルカメラ１をまだ移動し続けることができるので、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。
即ち、角度変位量０の継続が所定時間経過すること（デジタルカメラ１が所定時間移動しないこと）もエラーの１つに含めると、エラーが発生しない状態で、全押し操作が継続されている限り、ステップＳ３１乃至Ｓ４４のループ処理が繰り返し実行される。
この間、図５を参照して上述したように、デジタルカメラ１の移動に応じて、スルー画像の表示が更新されるとともに、パノラマ途中画像の表示も更新されていく。
ユーザは、このように更新され続けるパノラマ途中画像を視認しながらパノラマ撮像の操作をすることができるので、パノラマ撮像が開始されてから現在までの撮像の履歴を容易かつ正確に視認することができる。その結果、ユーザは、何度も撮像操作を繰り返さずとも、所望のパノラマ画像を容易かつ簡単に得ることが可能になる。

その後、エラーが発生しない状態で、リリース操作がなされるか（ステップＳ４２の処理でＹＥＳであると判定されるか）又はデジタルカメラ１が最大移動量まで移動した（ステップＳ４５の処理でＹＥＳであると判定された）場合、処理はステップＳ４６に進む。
ステップＳ４６において、撮像制御部５１は、画像合成部５２を介して、パノラマ画像の画像データを生成し、記録対象の画像データとしてリムーバブルメディア３１に記録させる。

そして、ステップＳ４７において、撮像制御部５１は、総合角度変位量を０にリセットする。
これにより、パノラマ撮像処理は適正に終了する。即ち、図７のステップＳ８の処理は適正に終了して、次のステップＳ９の処理でＮＯであると判定される。なお、ステップＳ９の処理でＮＯであると判定された後の処理については、上述したので、ここではその説明は省略する。

なお、上述の一連の処理中に何らかのエラーが発生した場合、即ち、ステップＳ３３の処理でＹＥＳであると判定されるか、又は、ステップＳ４３の処理でＹＥＳであると判定された場合、処理はステップＳ４４に進む。
ステップＳ４４において、撮像制御部５１は、エラーフラグを１にセットする。
この場合、ステップＳ４６の処理は実行されずに、即ち、パノラマ画像の画像データは記録されずに、パノラマ撮像処理は不適正に終了する。
即ち、図７のステップＳ８の処理は不適正に終了して、次のステップＳ９の処理でＹＥＳであると判定されて、ステップＳ１０の処理でエラーの内容が表示される。
この場合のエラー内容の表示は、上述したように特に限定されないが、例えば、「画像取得に失敗しました」や「時間オーバーです」等のメッセージ表示を採用することができる。

以上説明したように、本実施形態のデジタルカメラ１は、所定時間の間隔毎に撮像することによって順次得られる画像データのそれぞれを、フレームの画像データとして順次出力する撮像部１６を備えている。
本実施形態のデジタルカメラ１はまた、画像合成部５２と、表示制御部５４と、を備えている。
画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎（上述した累積角度変位量が一定値に到達する毎）に、撮像部１６から出力されるフレームの画像データを画像処理部１７を介して取得して、記憶部１８に保持させる。そして、画像合成部５２は、これまでに記憶部１８に累積的に保持された複数のフレームの画像データの少なくとも一部を合成することによって、パノラマ途中画像（合成画像）の画像データを順次生成する。
表示制御部５４は、撮像部１６から画像データとして順次出力されるフレーム（即ちスルー画像）と、画像合成部５２により画像データとして順次生成されるパノラマ途中画像（合成画像）とを同時に表示させる制御を実行する。
これにより、図５を参照して上述したように、デジタルカメラ１の移動に応じて、スルー画像の表示が更新されるとともに、パノラマ途中画像（合成画像）の表示も更新されてく。
ユーザは、このように更新され続けるパノラマ途中画像（合成画像）を視認しながらパノラマ撮像の操作をすることができるので、パノラマ撮像が開始されてから現在までの撮像の履歴を容易かつ正確に視認することができる。その結果、ユーザは、何度も撮像操作を繰り返さずとも、所望のパノラマ画像を容易かつ簡単に得ることが可能になる。

特に、本実施形態のデジタルカメラ１において、表示制御部５４は、スルー画像に対してパノラマ途中画像（合成画像）を重畳して表示部１９に表示させる制御を実行している。
この場合には、ユーザは、スルー画像とパノラマ途中画像とを同時に視認できるので、スルー画像から現在撮像している被写体が何であるのかを視認するとともに、当該被写体がパノラマ画像のどの部分に含まれるのかを、より正確に視認することが可能になる。

本実施形態のデジタルカメラ１は、パノラマ途中画像の画像データを縮小する画像縮小部５３をさらに備えている。
これにより、表示制御部５４は、縮小後のパノラマ途中画像をスルー画像に重畳して表示部１９に表示させることができる。
この場合には、パノラマ途中画像によってスルー画像が大きく隠れることがないので、ユーザは、次の撮像対象の被写体をスルー画像から確実に視認できる。

本実施形態のデジタルカメラ１において、画像合成部５２は、リリース操作がなされたり、総合角度変位量が閾値に到達する等の所定条件が満たされると、記録用の合成画像の画像データとして、パノラマ画像の画像データを生成する。
この場合、撮像制御部５１は、記録用として生成されたパノラマ画像の画像データをリムーバブルメディア３１に記録する制御を実行する。
このようにして、ユーザは、何度も撮像操作を繰り返さずとも、所望のパノラマ画像の画像データを容易かつ簡単にリムーバブルメディア３１に記録させることが可能になる。

なお、発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態においては、スルー画像に対して縮小後のパノラマ途中画像が重畳されて表示部１９に表示されるようにしたが、スルー画像及びパノラマ途中画像の表示形態は、同時に表示される形態であれば足り、特にこれに限定されない。

例えば、表示部１９の画面を上下に２分割して、上側と下側のうち、一方の画面にスルー画像を表示させ、他方の画面にパノラマ途中画像を表示させるようにしてもよい。
このように、スルー画像とパノラマ途中画像とを明確に区別して表示することにより、
ユーザは、パノラマ画像の形成過程を表すパノラマ画像をより鮮明に視認できるようになる。その結果、ユーザは、パノラマ撮像が開始されてから現在までの撮像の履歴をより一段と容易かつ正確に視認できるようになり、より少ない撮像操作で、所望のパノラマ画像を容易かつ簡単に得ることが可能になる。

また例えば、パノラマ途中画像は、必要に応じて、縮小させずに表示させるようにすることも可能である。
また、本実施形態では、画像合成部５２は、前回のパノラマ途中画像の画像データと、直前に合成対象として取得したフレームの画像データを用いて、前回のパノラマ途中画像のブランク領域に、合成対象のフレームを上書きする画像合成処理を実行するものとしたが、ブランク領域を表示せずにパノラマ途中画像のみを表示することも可能である。

また、上述の実施形態においては、画像縮小部５３は、画像合成部５２の後段に設けられたが、画像合成部５２の前段に設けられてもよい。この場合、画像縮小部５３は、画像処理部１７から順次供給されるフレームの画像データを順次縮小する。従って、画像合成部５２は、縮小後の各フレームの画像データを合成することによって、パノラマ途中画像の画像データを生成する。

また、上述の実施形態においては、角速度センサ２２によってデジタルカメラ１の角度変位を検出する構成にしたが、角度変位量の検出する手法は、特にこれに限定されない。
例えば、スルー画像を解析する画像処理によってデジタルカメラ１の角度変位を検出する手法を採用してもよい。

また、上述の実施形態においては、パノラマ途中画像及びパノラマ画像は、横長の構成とされたが、特にこれに限定されず、デジタルカメラ１の移動方向に則した方向に長くなる構成、例えば縦長の構成としてもよい。

また例えば、上述の実施形態では、本発明が適用される撮像装置は、デジタルカメラ１として構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、パノラマ画像の撮像が可能になる撮像機能を有する電子機器一般に適用することができ、例えば、本発明は、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、撮像装置又は当該撮像装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM１２や記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１…デジタルカメラ、１１…CPU、１２…ROM、１３…RAM、１５…光学系、１６…撮像部、１７…画像処理部、１８…記憶部、１９…表示部、２０…操作部、２１…通信部、２２…角速度センサ、２３…ドライブ、３１…リムーバブルメディア、４１…シャッタスイッチ、５１…撮像制御部、５２…画像合成部、５３…画像縮小部、５４…表示制御部

上記目的を達成するため、本発明の一態様の画像処理装置は、
被写体を連続して撮像して画像データを順次出力する撮像手段と、
略所定の方向に前記撮像手段の撮像範囲が移動されながら撮像された被写体に対応する順次出力された複数の画像データを、合成する画像合成手段と、
前記画像合成手段により合成される合成領域の画像範囲が限界合成範囲に到達したか否かを判別する判別手段と、
前記撮像手段により被写体が連続して撮像されている間、当該撮像手段により順次出力された画像データに対応する画像と、前記画像合成手段により順次合成された画像データに対応する前記合成領域の画像とを同時に表示手段に表示させる表示制御手段と、
前記表示制御手段により前記順次出力された画像データに対応する画像と前記合成領域の画像とが前記表示手段に表示されている間、前記画像合成手段による画像データの合成のための撮像の終了を、前記判別手段により前記合成領域の画像範囲が前記限界合成範囲に到達したと判断されたタイミング又は前記判別手段により前記合成領域の画像範囲が前記限界合成範囲に到達したと判断されるよりも前のタイミングで指示する指示手段と、
前記指示手段により前記撮像の終了が指示された場合、当該撮像の終了が指示されるまでに前記撮像手段により撮像された複数の画像データの合成画像データを記録手段に記録させる記録制御手段と、
を備えることを特徴とする。

Claims (10)

1. 撮像手段で撮像された画像を処理する画像処理装置であって、
   前記撮像手段の撮像範囲が変更されて連続撮像された画像に基づいてパノラマ途中画像を生成する第１生成手段と、
   前記撮像手段による連続撮像中にあって、当該撮像手段により撮像される現在の画像に基づくスルー画像と、前記第１生成手段で生成されたパノラマ途中画像と、を共に表示するよう制御する表示制御手段と、
   前記撮像手段による前記連続撮像の終了により、当該連続撮像の終了までに前記撮像手段により連続撮像された画像に基づいてパノラマ画像データを生成する第２生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記パノラマ途中画像を前記スルー画像に重畳して表示するよう制御する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２生成手段で生成されたパノラマ画像データを記録媒体に記録制御する記録制御手段と、
   を更に具備したことを特徴とする請求項１又は２に記載の画像処理装置。
4. パノラマ撮像モードを有し、
   前記第１生成手段は、前記パノラマ撮像モードが選択された状態での前記撮像手段に対する撮像開始指示に基づいて、前記パノラマ途中画像を生成する、
   を更に具備したことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 前記撮像範囲の変更量を検出する検出手段と、
   前記検出手段で検出される前記撮像範囲の変更量が閾値に達したか否かを判別する判別手段と、
   を更に具備し、
   前記第２生成手段は、前記判別手段で前記閾値に達したと判別された場合に、前記撮像手段による前記連続撮像を終了と判断して前記パノラマ画像データを生成する、
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
6. 前記検出手段は、前記撮像手段による撮像方向の方向変位量を検出することで、前記撮像範囲の変更量を検出し、
   前記判別手段は、前記方向変位量が所定閾値に達したか否かを判別することで、前記撮像範囲の変更量が前記閾値に達したか否かを判別する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、当該画像処理装置本体の方向変位を検出する検出手段と、
   前記検出手段で検出される前記方向変位の変位量が閾値に達したか否かを判別する判別手段と、
   を更に具備し、
   前記第２生成手段は、前記判別手段で前記閾値に達したと判別された場合に、前記撮像手段による前記連続撮像を終了と判断して前記パノラマ画像データを生成する、
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
8. 前記撮像手段による撮像の終了を指示する終了指示操作を検出する第２検出手段と、
   を更に具備し、
   前記第２生成手段は、前記第２検出手段で前記終了指示操作を検出した際は、前記判別手段で前記閾値に達したと判別される前であっても前記撮像手段による前記連続撮像を終了と判断して前記パノラマ画像データを生成する、
   ことを特徴とする請求項１〜７の何れかに記載の画像処理装置。
9. 撮像手段で撮像された画像を処理する画像処理方法であって、
   前記撮像手段の撮像範囲が変更されて連続撮像された画像に基づいてパノラマ途中画像を生成する第１生成ステップと、
   前記撮像手段による連続撮像中にあって、当該撮像手段により撮像される現在の画像に基づくスルー画像と、前記第１生成手段で生成されたパノラマ途中画像と、を共に表示するよう制御する表示制御ステップと、
   前記撮像手段による前記連続撮像の終了により、当該連続撮像の終了までに前記撮像手段により連続撮像された画像に基づいてパノラマ画像データを生成する第２生成ステップと、
   を含むことを特徴とする画像処理方法
10. 撮像手段で撮像された画像を処理する画像処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記撮像手段の撮像範囲が変更されて連続撮像された画像に基づいてパノラマ途中画像を生成する第１生成手段、
    前記撮像手段による連続撮像中にあって、当該撮像手段により撮像される現在の画像に基づくスルー画像と、前記第１生成手段で生成されたパノラマ途中画像と、を共に表示するよう制御する表示制御手段、
    前記撮像手段による前記連続撮像の終了により、当該連続撮像の終了までに前記撮像手段により連続撮像された画像に基づいてパノラマ画像データを生成する第２生成手段、
    として機能させるようにしたプログラム。

Images