JP2012080204A - 画像処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】違和感のない広角画像を生成すること。
【解決手段】画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎に、画像処理部１７から１つの画像データを取得する。そして、画像合成部５２は、これまでに取得された複数の画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。合成位置判定部５３は、画像合成部５２の合成対象のうち、隣接する２つの画像データ同士の対応する領域内で前記画像データ同士を比較するためのラインを設定し、対応するライン同士の少なくとも一部についての類似度を、複数のラインについて算出し、最も類似度の高いラインに基づいて、隣接する２つの画像データの合成位置を決定する。
【選択図】図２

Description

本発明は、画像処理装置及び方法並びにプログラムに関し、特に、広角画像を生成可能な画像処理装置及び方法並びにプログラムに関する。

デジタルカメラや、撮像機能を有する携帯電話などにおいては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。
したがって、パノラマ撮像など、ハードスペックを越えるような広角画像を取得する場合は、一定方向に撮像装置を動かしながら連写し、得られた複数の画像を合成することで広角画像を生成する技術がある（例えば、特許文献１参照）。

上述のパノラマ撮像を実現するためには、ユーザは、例えば、シャッタスイッチを押下操作した状態を維持しながら、自身の体を軸にして、デジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させる。
すると、デジタルカメラは、その間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像（以下、「撮像画像」と呼ぶ）の画像データを横方向（水平方向）に合成することによって、パノラマ画像の画像データを生成する。
特許文献１には、複数回の撮像処理の毎に撮像画像における特徴点を検出し、隣接する２枚の撮像画像の特徴点同士が一致するように、複数の撮像画像の画像データを横方向に合成することによって、パノラマ画像の画像データを生成する手法が開示されている。

特開平１１−２８２１００号公報

しかしながら、特許文献１の手法を採用した場合、単に特徴点の位置合わせだけを利用して隣接する２枚の撮像画像の画像データを合成しているので、その合成位置の精度が充分に得られない場合があった。
その結果、２枚の撮像画像の合成位置近辺では、同一の被写体が二重に存在して記録されたり、逆に本来存在するはずの被写体が含まれていない、といった違和感のある合成画像が得られることになる。

本発明は、このような状況に鑑みてなされたものであり、違和感のない広角画像を生成することを目的とする。

上記目的を達成するため、請求項１の発明は、所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する取得手段と、前記取得手段によって取得された複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する画像合成手段を備え、前記画像合成手段は、前記画像合成手段の合成対象のうち、隣接する複数の画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する複数の画像の合成位置を決定する合成位置決定手段を含む撮像装置であることを特徴とする。

また、請求項２に記載の発明は、上記請求項１に記載の発明において、前記合成位置判定手段は、前記隣接する複数の画像同士の対応する領域内で、複数のラインを設定し、設定したラインのうち前記最も類似度の高いライン同士を、それぞれの合成位置として判定する、ことを特徴とする。

また、請求項３に記載の発明は、上記請求項１又は２に記載の発明において、前記合成位置判定手段は、さらに、類似度を求める前記ラインについて、ライン長、ライン幅、ライン位置及び本数のうちの少なくとも一部を可変設定する設定手段を含む、ことを特徴とする。

また、請求項４に記載の発明は、上記請求項１乃至３の何れかに記載の発明において、撮像手段を備え、前記取得手段は、前記撮像手段によって所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する、ことを特徴とする。

また、上記目的を達成するため、請求項５の発明は、所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する取得手段を備える画像処理装置の画像処理方法であって、前記取得手段によって取得された複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する画像合成ステップと、を含み、前記画像合成ステップは、前記画像合成ステップにおける合成対象のうち、隣接する２つの画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する２つの画像の合成位置を決定する合成位置決定ステップを含む撮像方法であることを特徴とする。

また、上記目的を達成するため、請求項６の発明は、所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する取得手段を備える画像処理装置を制御するコンピュータに、前記取得手段によって取得された複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する画像合成機能を実現させ、前記画像合成機能は、前記画像合成手段の合成対象のうち、隣接する２つの画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する２つの画像の合成位置を決定する合成位置決定機能を実現させるプログラムであることを特徴とする。

本発明によれば、違和感のない広角画像を生成することができるようになる。

本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。 図１のデジタルカメラが、撮像処理を実行するための機能的構成を示す機能ブロック図である。 図２のデジタルカメラの動作モードとして、通常撮像モードとパノラマ撮像モードとがそれぞれ選択された場合における撮像操作を説明する図である。 図３に示すパノラマ撮像モードによって生成されるパノラマ画像の一例を示す図である。 パノラマ画像の画像データを生成するにあたり、各画像を合成する場合の合成位置の判定手法を説明する図である。 図２のデジタルカメラが実行する撮像処理の流れの一例を示すフローチャートである。 図６の撮像処理のうち、パノラマ撮像処理の詳細な流れを示すフローチャートである。

以下、図面を参照して、本発明に係る実施形態について説明する。

図１は、本発明に係る画像処理装置の一実施形態としてのデジタルカメラ１のハードウェア構成を示すブロック図である。

デジタルカメラ１は、CPU(Central Processing Unit)１１と、ROM(Read Only Memory)１２と、RAM(Random Access Memory)１３と、バス１４と、光学系１５と、撮像部１６と、画像処理部１７と、記憶部１８と、表示部１９と、操作部２０と、通信部２１と、角速度センサ２２と、ドライブ２３と、を備えている。

CPU１１は、ROM１２に記憶されているプログラム、又は記憶部１８からRAM１３にロードされたプログラムに従って、各種の処理を実行する。
ROM１２はまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶している。

例えば、本実施形態では、後述する図２の撮像制御部５１乃至合成位置判定部５３の各機能を実現するプログラムが、ROM１２や記憶部１８に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図２の撮像制御部５１乃至合成位置判定部５３の各機能を実現することができる。
なお、後述する図２の撮像制御部５１乃至合成位置判定部５３の各機能のうち少なくとも一部を、画像処理部１７に移譲することも可能である。

CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、光学系１５、撮像部１６、画像処理部１７、記憶部１８、表示部１９、操作部２０、通信部２１、角速度センサ２２、及びドライブ２３が接続されている。

光学系１５は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、撮像部１６の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系１５にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。

撮像部１６は、光電変換素子やAFE(Analog Front End)等から構成されている。光電変換素子は、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子から構成される。光電変換素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をAFEに順次供給する。
AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部１６の出力信号として出力する。
なお、以下、撮像部１６の出力信号を、「撮像画像の画像データ」と呼ぶ。従って、撮像部１６からは撮像画像の画像データが出力されて、画像処理部１７等に適宜供給される。

画像処理部１７は、DSP(Digital Signal Processor)や、VRAM(Video Random Access Memory)等から構成されている。
画像処理部１７は、CPU１１と協働して、撮像部１６から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
ここで、以下、特に断りのない限り、「画像データ」とは、撮像部１６から一定時間毎に入力される撮像画像の画像データ、又は、当該画像データが加工等されたものを呼ぶ。即ち、本実施形態では、当該画像データが処理単位として採用されている。

記憶部１８は、DRAM(Dynamic Random Access Memory)等で構成され、画像処理部１７から出力された画像データや、後述するパノラマ途中画像の画像データ等を一時的に記憶する。また、記憶部１８は、各種画像処理に必要な各種データ等も記憶する。

表示部１９は、例えばLCD（Liquid Crystal Device：液晶表示装置）やLCD駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部１９は、記憶部１８等から供給される画像データにより表現される画像、例えば後述するスルー画像を画像データ単位で表示する。

操作部２０は、シャッタスイッチ４１の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部２０は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をCPU１１に供給する。

通信部２１は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。

角速度センサ２２は、ジャイロ等からなり、デジタルカメラ１の角度変位量を検出し、検出結果を示すデジタル信号（以下、単に「角度変位量」と呼ぶ）をCPU１１に供給する。なお、角速度センサ２２は、必要に応じて方位センサの機能も発揮するものとする。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、リムーバブルメディア３１から読み出されたプログラムが、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像データ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、図１のデジタルカメラ１が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア３１に記録するまでの一連の処理（以下、「撮像処理」と呼ぶ）を実行するための機能的構成を示す機能ブロック図である。

図２に示すように、CPU１１には、撮像制御部５１と、画像合成部５２と、合成位置判定部５３と、が設けられている。
なお、上述したように、撮像制御部５１乃至合成位置判定部５３の各機能は、本実施形態のようにCPU１１に搭載されている必要は特になく、これらの各機能のうち少なくとも一部を、画像処理部１７に移譲させることも可能である。
撮像制御部５１は、撮像処理の実行全体を制御する。例えば、撮像制御部５１は、デジタルカメラ１の動作モードとして、通常撮像モードと、パノラマ撮像モードとを選択的に切り替えて、切り替え後の動作モードに従った処理を実行することができる。
パノラマ撮像モードになると、画像合成部５２及び合成位置判定部５３が、撮像制御部５１の制御の下で動作する。

ここで、撮像制御部５１乃至合成位置判定部５３の理解を容易にすべく、それらの機能的構成の説明の前に、図３及び図４を適宜参照して、パノラマ撮像モードについて詳しく説明する。

図３は、図１のデジタルカメラ１の動作モードとして、通常撮像モードとパノラマ撮像モードとがそれぞれ選択された場合における撮像操作を説明する図である。
詳細には、図３（Ａ）は、通常撮像モードでの撮像操作を説明する図である。図３（Ｂ）は、パノラマ撮像モードでの撮像操作を説明する図である。
図３（Ａ）及び図３（Ｂ）のそれぞれにおいて、デジタルカメラ１の奥にある絵は、デジタルカメラ１の被写体を含む実世界の様子を示している。また、図３（Ｂ）に示す縦の点線は、デジタルカメラ１の移動方向の各位置ａ、ｂ、ｃを示している。デジタルカメラ１の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ１の撮像方向（角度）を変化させた場合における、デジタルカメラ１の光軸が移動する方向をいう。

通常撮像モードとは、デジタルカメラ１の画角に対応するサイズ（解像度）の画像を、撮像する場合の動作モードをいう。
通常撮像モードでは、図３（Ａ）に示すように、ユーザは、デジタルカメラ１を固定させた状態で、操作部２０のシャッタスイッチ４１を下限まで押下する。なお、このように、シャッタスイッチ４１を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
撮像制御部５１は、全押し操作がなされた直後に画像処理部１７から出力された画像データを、記録対象としてリムーバブルメディア３１に記録させるまでの一連の処理の実行を制御する。
以下、このように、通常撮像モードにおいて撮像制御部５１の制御により実行される一連の処理を、「通常撮像処理」と呼ぶ。

一方、パノラマ撮像モードとは、パノラマ画像を撮像する場合の動作モードをいう。
パノラマ撮像モードでは、図３（Ｂ）に示すように、ユーザは、シャッタスイッチ４１の全押し操作を維持した状態で、デジタルカメラ１を同図中黒矢印の方向に移動させる。
撮像制御部５１は、全押し操作が維持されている間、画像合成部５２等を制御して、角速度センサ２２からの角度変位量が一定値に達する毎に、その直後に画像処理部１７から出力された画像データを記憶部１８に一時的に記憶していくことを繰り返す。
その後、ユーザは、全押し操作を解除する操作、即ちシャッタスイッチ４１から指等を離す操作（以下、このような操作を「リリース操作」と呼ぶ）をすることで、パノラマ撮像の終了を指示する。
撮像制御部５１は、画像合成部５２等を制御して、パノラマ撮像の終了が指示されると、これまでに記憶部１８に記憶された複数の画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
そして、撮像制御部５１は、画像合成部５２等を制御して、パノラマ画像の画像データを、記録対象としてリムーバブルメディア３１に記録させる。
このように、撮像制御部５１は、パノラマ撮像モードにおいて、画像合成部５２等を制御して、パノラマ画像の画像データを生成し、それを記録対象としてリムーバブルメディア３１に記録させるまでの一連の処理を制御する。
以下、このように、パノラマ撮像モードにおいて撮像制御部５１の制御により実行される一連の処理を「パノラマ撮像処理」と呼ぶ。

換言すると、画像合成部５２は、撮像制御部５１の制御の下、次のような処理を実行する。
即ち、画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎に（角度変位量が一定値になる毎）に、撮像制御部５１から発行される取得指令を受けて、画像処理部１７から１つの画像データを取得する。そして、画像合成部５２は、これまでに取得された複数の画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。

図４は、図３に示すパノラマ撮像モードにおいて、このような画像合成部５２により生成されたパノラマ画像の画像データを示している。
即ち、パノラマ撮像モードにおいて、図３（Ｂ）に示すような撮像操作が行われると、撮像制御部５１の制御の下、画像合成部５２により、図４に示すようなパノラマ画像Ｐ３の画像データが生成され、リムーバブルメディア３１に記録される。

合成位置判定部５３は、画像合成部５２によって合成される対象の複数の画像データの各々について、その合成位置を、ライン単位で判定する。
ここで、ラインとは、画像データを構成する各画素のうち、線、又は長方形を構成する画素の集合体をいう。ここで、線の方向又は長方形の長手方向を「長さ方向」と呼び、その長さ方向の長さを「ライン長」と呼び、長さ方向と直交する方向を「幅方向」と呼び、その幅方向の長さを「ライン幅」と呼ぶ。
この場合、線とは、幅方向の画素数が「１」であって、長さ方向の画素数が「Ｌ（Ｌは２以上の整数値）」の画素の集合体を指す。ここで、ライン長及びライン幅の単位を画素数で表現するものとすると、線とは、ライン長が「Ｌ」でライン幅が「１」の画素の集合体である。一方、長方形とは、ライン長が「Ｌ」であって、ライン幅が「Ｗ（Ｗは、２以上の整数値であって、Ｌよりも小さい整数値）」の画素の集合体を指す。要するに、ライン幅を示すＷとして「１」も含めるならば、ライン長が「Ｌ」であって、ライン幅が「Ｗ」の画素の集合体が、ここでいうラインである。
ラインの長さ方向は、特に限定されず任意の方向でよいが、複数の画像データが合成される方向に対して垂直方向が好適である。ラインの長さ方向が、隣接する撮像画像が合成される場合の境界線の方向と一致するためである。本実施形態では、複数の画像データは水平方向（横方向）に合成されるので、ラインの長さ方向は垂直方向であるものとする。よって、本実施形態の説明をしている範囲内では、以下、特に断りのない限り、ラインとは垂直方向のラインを意味するものとする。

図５は、合成位置判定部５３による合成位置の判定手法を説明する図である。
図５において、画像データＦａは、パノラマ撮像中に、Ｋ回目（Ｋは２以上の整数値）の撮像により得られた撮像画像の画像データを示している。画像データＦｂは、同パノラマ撮像中に、Ｋ＋１回目の撮像により得られた撮像画像の画像データを示している。即ち、画像データＦａが得られた次の回に、画像データＦｂが得られたことになる。

図５（Ａ）に示すように、合成位置判定部５３は、画像データＦａと画像データＦｂとの重なり部分（同一の被写体が含まれている部分）を検出し、当該重なり部分を検索範囲として特定する。
ここで、画像データＦａと画像データＦｂとの重なり部分（同一の被写体が含まれている部分）の検出手法は、特に限定されず、画像データＦａと画像データＦｂとを画像処理により比較する手法等任意の手法を採用することができる。
ただし、本実施形態では、上述したように、デジタルカメラ１が所定量だけ移動する毎に（角度変位量が一定値になる毎）に１回の画像データの撮像が行われる。従って、当該所定量（角度変位量の一定値）に基づいてある程度の重なり部分は推定することができる。そこで、本実施形態では、当該所定量（角度変位量の一定値）に基づいて推定された部分を、重なり部分とするといった手法が採用されている。
次に、合成位置判定部５３は、例えば、画像データＦａと画像データＦｂとの各々の検索範囲となっている領域の左端を基準として、基準から右方に同距離の位置にある画像データＦａと画像データＦｂとの各々のライン同士の類似度を算出する。
類似度を算出するラインの位置及び本数は、特に限定されないが、ここでは説明の簡略上、予め定められた等間隔で４本のラインがあるものとする。即ち、図５（Ａ）に示すように、画像データＦａからは４本のラインａ１乃至ａ４が選択され、画像データＦｂからは４本のラインｂ１乃至ｂ４が選択されている。そして、ラインａ１とラインｂ１との類似度、ラインａ２とラインｂ２との類似度、ラインａ３とラインｂ３との類似度、及び、ラインａ４とラインｂ４との類似度がそれぞれ算出される。
なお、類似度の算出手法は、特に限定されないが、本実施形態では、比較対象の２本のラインの画素単位の輝度値の差分の二乗和、即ち、SSD(Sum of Squared Differences)を用いて類似度を算出する手法が採用されている。

ここで、例えば、図５（Ｂ）に示すように、ラインａ２とラインｂ２との類似度が一番高かった（SSDが最小であった）ものとする。
この場合、図５（Ｃ）に示すように、画像データＦａのラインａ２と、画像データＦｂのラインｂ２とが端同士として張り合わされるように、画像データＦａの一部分Ｆａｐの画像データと、画像データＦｂの一部分Ｆｂｐの画像データとが合成されることになる。
即ち、画像データＦａにとってはラインａ２がいわゆる合成ラインとなり、画像データＦｂにとってはラインｂ２がいわゆる合成ラインとなる。

以上、図２乃至図５を参照して、本発明が適用されるデジタルカメラ１の機能的構成について説明した。
次に、図６を参照して、このような機能的構成を有するデジタルカメラ１が実行する撮像処理について説明する。

図６は、撮像処理の流れの一例を示すフローチャートである。
本実施形態では、撮像処理は、デジタルカメラ１の図示せぬ電源がオン状態になると開始する。

ステップＳ１において、図２の撮像制御部５１は、操作検出処理及び初期設定処理を実行する。
操作検出処理とは、操作部２０の各スイッチの状態を検出する処理をいう。撮像制御部５１は、操作検出処理を実行することにより、動作モードとして、通常撮像モードが設定されているのか、それともパノラマ撮像モードが設定されているのかを検出することができる。
また、本実施形態の初期設定処理の１つとして、角度変位量の一定値と、角度変位量の最大限界である閾値（例えば、３６０度）とを設定する処理が採用されている。
具体的には、角度変位量の一定値と、角度変位量の最大限界である閾値（例えば、３６０度）は、図１のROM１２に予め記憶されており、ROM１２から読み出されてRAM１３に書き込まれることで設定される。なお、角度変位量の一定値は、後述する図７のステップＳ３５の判定処理で用いられる。一方、角度変位量の最大限界である閾値（例えば、３６０度）は、同図のステップＳ４４の判定処理で用いられる。
また、本実施形態では、後述する図７のステップＳ３４，Ｓ３９等に示すように、角速度センサ２２によって検出された角度変位量は累積加算されて、その累積加算値としての累積角度変位量や総合角度変位量（両者の違いは後述する）がRAM１３に格納される。そこで、これらの累積角度変位量や総合角度変位量を０にリセットする処理が、本実施形態の初期設定処理の１つとして採用されている。なお、累積角度変位量は、後述する図７のステップＳ３５の判定処理で、上述した一定値と比較される。一方、総合角度変位量は、後述する図７のステップＳ４４の判定処理で、上述した閾値と比較される。
さらにまた、本実施形態の初期設定処理の１つとして、エラーフラグを０にリセットする処理が採用されている。エラーフラグとは、パノラマ撮像処理中にエラーが発生した時に１にセットされるフラグをいう（後述する図７のステップＳ４３参照）。

ステップＳ２において、撮像制御部５１は、スルー撮像処理及びスルー表示処理を開始する。
即ち、撮像制御部５１は、撮像部１６や画像処理部１７を制御して、撮像部１６による撮像動作を継続させる。そして、撮像制御部５１は、撮像部１６による撮像動作が継続されている間、当該撮像部１６を介して画像処理部１７から順次出力される画像データを、メモリ（本実施形態では記憶部１８）に一時的に記憶させる。このような撮像制御部５１による一連の制御処理が、ここでいう「スルー撮像処理」である。
また、撮像制御部５１は、表示制御部５４を制御して、スルー撮像時にメモリ（本実施形態では記憶部１８）に一時的に記録された各画像データを順次読み出して、各々に対応する画像データの画像を表示部１９に順次表示させる。このような撮像制御部５１による一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部１９に表示されている画像データの画像を、以下、「スルー画像」と呼ぶ。

ステップＳ３において、撮像制御部５１は、シャッタスイッチ４１が半押しされたか否かを判定する。
ここで、半押しとは、操作部２０のシャッタスイッチ４１の途中（下限に至らない所定の位置）まで押下する操作をいい、以下、「半押し操作」とも適宜呼ぶ。
シャッタスイッチ４１が半押しされていない場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、撮像制御部５１は、処理の終了指示がなされたか否かを判別する。
処理の終了指示は、特に限定されないが、本実施形態では、デジタルカメラ１の図示せぬ電源がオフ状態になった旨の通知が採用されているものとする。
従って、本実施形態では電源がオフ状態になりその旨が撮像制御部５１に通知されると、ステップＳ１２においてＹＥＳであると判定されて、撮像処理全体が終了となる。
これに対して、電源がオン状態の場合には、電源がオフ状態になった旨の通知はなされないので、ステップＳ１２においてＮＯであると判定され、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、本実施形態では電源がオン状態を維持している限り、シャッタスイッチ４１が半押しされるまでの間、ステップＳ３：ＮＯ及びステップＳ１２：ＮＯのループ処理が繰り返し実行されて、撮像処理は待機状態となる。

このスルー表示処理中に、シャッタスイッチ４１が半押しされると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、撮像制御部５１は、撮像部１６を制御して、いわゆるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理を実行する。

ステップＳ５において、撮像制御部５１は、シャッタスイッチ４１が全押しされたか否かを判定する。
シャッタスイッチ４１が全押しされない場合には、ステップＳ５においてＮＯであると判定される。この場合には、処理はステップＳ４に戻され、それ以降の処理が繰り返される。即ち、本実施形態では、シャッタスイッチ４１が全押しされるまでの間、ステップＳ４、及びステップＳ５：ＮＯのループ処理が繰り返し実行されて、ＡＦ処理がその都度実行される。

その後、シャッタスイッチ４１が全押しされると、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
ステップＳ６において、撮像制御部５１は、現在設定されている撮像モードがパノラマ撮像モードであるか否かを判定する。
パノラマ撮像モードでない場合、即ち通常撮像モードが現在設定されている場合、ステップＳ６においてＮＯであると判定され、処理はステップＳ７に進む。
ステップＳ７において、撮像制御部５１は、上述した通常撮像処理を実行する。
即ち、全押し操作がなされた直後に画像処理部１７から出力された１つの画像データが、記録対象としてリムーバブルメディア３１に記録される。これにより、ステップＳ７の通常撮像処理が終了して、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理については上述したので、ここではその説明は省略する。

これに対して、パノラマ撮像モードが現在設定されている場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ８に進む。
ステップＳ８において、撮像制御部５１は、上述したパノラマ撮像処理を実行する。
パノラマ撮像処理の詳細については図７を参照して後述するが、原則として、パノラマ画像の画像データが生成されて、記録対象としてリムーバブルメディア３１に記録される。これにより、ステップＳ８のパノラマ撮像処理が終了して、処理はステップＳ９に進む。

ステップＳ９において、撮像制御部５１は、エラーフラグは１であるか否かを判定する。
詳細については、図７を参照して後述するが、パノラマ画像の画像データが記録対象としてリムーバブルメディア３１に記録されて、ステップＳ８のパノラマ撮像処理が適正に終了すると、エラーフラグは０になっている。このような場合には、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理は上述したので、ここではその説明は省略する。
これに対して、ステップＳ８のパノラマ撮像処理中に何らかのエラーが発生すると、当該パノラマ撮像処理は不適正に終了する。このような場合には、エラーフラグは１になっているため、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、撮像制御部５１は、エラーの内容を表示部１９に表示する。表示されるエラーの内容の具体例については、後述する。
ステップＳ１１において、撮像制御部５１は、パノラマ撮像モードを解除し、エラーフラグを０にリセットする。
その後、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、撮像制御部５１は、ユーザによる次の新たな撮像操作に備える。

以上、図６を参照して、撮像処理の流れについて説明した。
次に、図７を参照して、図６の撮像処理のうち、ステップＳ８のパノラマ撮像処理の詳細な流れについて説明する。

図７は、パノラマ撮像処理の詳細な流れを説明するフローチャートである。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ４１が全押しされると、図６のステップＳ５及びＳ６においてＹＥＳとあると判定されて、処理はステップＳ８に進み、パノラマ撮像処理として次のような処理が実行される。

即ち、図７のステップＳ３１において、撮像制御部５１は、角速度センサ２２から角度変位量を取得する。

ステップＳ３２において、撮像制御部５１は、ステップＳ３１の処理で取得した角度変位量が０より大きいか否かを判定する。
ユーザがデジタルカメラ１を移動させていない状態では、角度変位量は０になるため、ステップＳ３２においてＮＯであると判定され、処理は、ステップＳ３３に進む。

ステップＳ３３において、撮像制御部５１は、角度変位量０の継続が所定時間経過したか否かを判定する。所定時間としては、例えば、ユーザがシャッタスイッチ４１を全押ししてから、デジタルカメラ１の移動を開始するまでに必要な時間よりも長い適当な時間を採用することができる。
所定時間が経過していない場合には、ステップＳ３３においてＮＯであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ１を移動させていない状態の継続時間が所定時間より短い場合には、撮像制御部５１は、ステップＳ３１乃至ステップＳ３３：ＮＯのループ処理を繰り返し実行することで、パノラマ撮像処理を待機状態にする。

この待機状態中に、ユーザが、デジタルカメラ１を移動させると、角速度センサ２２から取得される角度変位量は０よりも大きな値になる。このような場合には、ステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ３４に進む。

ステップＳ３４において、撮像制御部５１は、これまでの累積角度変位量に対して、ステップＳ３１の処理で取得した角度変位量を加算することによって、累積角度変位量を更新する（累積角度変位量＝累積角度変位量＋角度変位量）。即ち、RAM13に累積角度変位量として格納される値が更新される。

累積角度変位量とは、このように角度変位量が累積加算された値であり、デジタルカメラ１の移動量を示している。
ここで、本実施形態では、ユーザがデジタルカメラ１を一定量移動させる度に、パノラマ途中画像の画像データ生成用の１つの画像データ（合成対象）が、画像処理部１７から画像合成部５２に供給されるものとする。
これを実現すべく、デジタルカメラ１の移動量としての「一定量」に対応する累積角度変位量が、図６のステップＳ１の初期設定処理により「一定値」として予め与えられている。
即ち、本実施形態では、累積角度変位量が一定値に達する毎に、１つの画像データ（合成対象）が画像処理部１７から画像合成部５２に供給されると共に、累積角度変位量が０にリセットされる。
このような一連の処理が、次のステップＳ３５以降の処理として実行される。

即ち、ステップＳ３５において、撮像制御部５１は、累積角度変位量が一定値に達したか否かを判定する。
累積角度変位量が一定値に達していない場合には、ステップＳ３５においてＮＯであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ１を一定量移動させることによって、累積角度変位量が一定値に達しない限り、撮像制御部５１は、ステップＳ３１乃至Ｓ３５のループ処理を繰り返し実行する。
その後、ユーザがデジタルカメラ１を一定量移動させることによって、累積角度変位量が一定値に達したときは、ステップＳ３５においてＹＥＳであると判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、画像合成部５２は、撮像制御部５１の制御の下、１つの画像データを画像処理部１７から取得する。
即ち、撮像制御部５１は、累積角度変位量が一定値に達したとして、処理をステップＳ３６に進めると、画像合成部５２に対して取得指令を発行する。
この取得指令を受けた画像合成部５２は、ステップＳ３６の処理として、画像処理部１７から１つの画像データを取得する。

ステップＳ３７において、合成位置判定部５３は、ステップＳ３６の処理で取得された画像データと、前回の画像データとの類似度をライン単位で演算する。
例えば上述の図５の例でいえば、ステップＳ３６の処理で取得された画像データが、画像データＦｂに該当し、前回の画像データが、画像データＦａに該当する。そして、画像データＦｂのラインｂ１乃至ｂ４の各々と、画像データＦａのラインａ１乃至ａ４の各々との類似度が演算される。

ステップＳ３８において、画像合成部５２は、ステップＳ３７の処理で類似度が演算されたラインのうち、類似度が一番高いラインを合成ラインとして、パノラマ途中画像の画像データを生成する。
パノラマ途中画像とは、パノラマ撮像モードが選択されている状態で全押し操作がなされた場合、生成予定のパノラマ画像のうち、現在までに撮像された領域を示す画像をいう。
即ち、Ｋ回目（Ｋは２以上の整数値）のステップＳ３８の処理の場合、その直前のＫ回目のステップＳ３６の処理では、Ｋ回目の画像データが得られたことになる。よって、１乃至Ｋ−１回目の画像データの各々の一部が合成された画像（Ｋ−１回目に生成されたパノラマ途中画像）の右方の合成ラインの部分（図５の例のラインａ２に該当する部分）と、Ｋ回目の画像データの左方の合成ラインの部分（図５の例のラインｂ２に該当する部分）とで貼りあわせたような画像が、Ｋ回目（今回）のパノラマ途中画像となる。

ステップＳ３９において、撮像制御部５１は、これまでの総合角度変位量に対して、現在の累積角度変位量（＝略一定値）を加算することによって、総合角度変位量を更新する（総合角度変位量＝総合角度変位量＋累積角度変位量）。即ち、RAM13に総合角度変位量として格納される値が更新される。

ステップＳ４０において、撮像制御部５１は、累積角度変位量を０にリセットする。即ち、RAM13に累積角度変位量として格納される値が０に更新される。

このように、累積角度変位量は、１つの画像データ（合成対象）が画像処理部１７から画像合成部５２に供給されるタイミング、即ち取得指令の発行タイミングを制御するために用いられる。よって、累積角度変位量は、一定に達して取得指令が発行される毎に０にリセットされる。
したがって、撮像制御部５１は、累積角度変位量を用いても、パノラマ撮像処理が開始されてから現在までにデジタルカメラ１がどこまで移動したのかを認識することができない。
そこで、このような認識を可能にすべく、本実施形態では、累積角度変位量とは別に、総合角度変位量が採用されている。
即ち、総合角度変位量とは、角度変位量が累積加算された値であるが、一定量に達しても０にリセットされずに、パノラマ撮像処理が終了するまでの間（詳細には後述するステップＳ４６の処理が実行されるまでの間）累積加算され続ける値である。

このようにして、ステップＳ３９の処理で総合角度変位量が更新されると共に、ステップＳ４０の処理で累積角度変位量が０にリセットされると、処理はステップＳ４１に進む。

ステップＳ４１において、撮像制御部５１は、リリース操作が行われたか否かを判定する。
リリース操作が行われていない場合、即ち、ユーザによるシャッタスイッチ４１の全押しが継続されている場合には、ステップＳ４１においてＮＯであると判定されて、処理はステップＳ４２に進む。

ステップＳ４２において、撮像制御部５１は、画像取得のエラーが発生したか否かを判定する。
画像取得のエラーについては、特に限定されないが、例えば、本実施形態では、デジタルカメラ１が斜め方向、上下方向、又は逆方向に一定量以上移動したことがエラーとして採用されている。

画像取得にエラーが発生していない場合には、ステップＳ４２においてＮＯであると判定され、処理はステップＳ４４に進む。
ステップＳ４４において、撮像制御部５１は、総合角度変位量が閾値を超えたか否かを判別する。
上述したように、総合角度変位量とは、パノラマ撮像処理が開始されてから（全押し操作がなされてから）、ステップＳ４４の処理が実行される時点までの角度変位量の累積加算値である。
ここで、本実施形態では、パノラマ撮像中にユーザがデジタルカメラ１を移動させることが可能な最大移動量が予め決定されている。このようなデジタルカメラ１の移動量としての「最大移動量」に対応する総合角度変位量が、図６のステップＳ１の初期設定処理により「閾値」として予め与えられている。
このように、本実施形態では、総合角度変位量が閾値に達したことは、デジタルカメラ１が最大移動量だけ移動したことを意味する。
従って、総合角度変位量が閾値に達していない場合、即ちデジタルカメラ１の移動量が最大移動量まで達していない場合、ユーザはデジタルカメラ１をまだ移動し続けることができるので、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。
即ち、角度変位量０の継続が所定時間経過すること（デジタルカメラ１が所定時間移動しないこと）もエラーの１つに含めると、エラーが発生しない状態で、全押し操作が継続されている限り、ステップＳ３１乃至Ｓ４４：ＮＯのループ処理が繰り返し実行される。

その後、エラーが発生しない状態で、リリース操作がなされるか（ステップＳ４１の処理でＹＥＳであると判定されるか）又はデジタルカメラ１が最大移動量まで移動した（ステップＳ４４の処理でＹＥＳであると判定された）場合、処理はステップＳ４５に進む。
ステップＳ４５において、撮像制御部５１は、画像合成部５２を介して、パノラマ画像の画像データを生成し、記録対象の画像データとしてリムーバブルメディア３１に記録させる。
なお、本実施形態では、画像データが取得される毎に、パノラマ途中画像の画像データが生成されているので、ステップＳ４５の処理時点で生成されているパノラマ途中画像の画像データが、最終的なパノラマ画像の画像データとして採用される。

そして、ステップＳ４６において、撮像制御部５１は、総合角度変位量を０にリセットする。
これにより、パノラマ撮像処理は適正に終了する。即ち、図６のステップＳ８の処理は適正に終了して、次のステップＳ９の処理でＮＯであると判定される。なお、ステップＳ９の処理でＮＯであると判定された後の処理については、上述したので、ここではその説明は省略する。

なお、上述の一連の処理中に何らかのエラーが発生した場合、即ち、ステップＳ３３の処理でＹＥＳであると判定されるか、又は、ステップＳ４２の処理でＹＥＳであると判定された場合、処理はステップＳ４３に進む。
ステップＳ４３において、撮像制御部５１は、エラーフラグを１にセットする。
この場合、ステップＳ４５の処理は実行されずに、即ち、パノラマ画像の画像データは記録されずに、パノラマ撮像処理は不適正に終了する。
即ち、図６のステップＳ８の処理は不適正に終了して、次のステップＳ９の処理でＹＥＳであると判定されて、ステップＳ１０の処理でエラーの内容が表示される。
この場合のエラー内容の表示は、上述したように特に限定されないが、例えば、「画像取得に失敗しました」や「時間オーバーです」等のメッセージ表示を採用することができる。

以上説明したように、本実施形態のデジタルカメラ１は、所定時間の間隔毎に撮像することによって順次得られる画像データのそれぞれを、画像データとして順次出力する撮像部１６を備えている。
本実施形態のデジタルカメラ１はまた、画像合成部５２と、合成位置判定部５３と、を備えている。
画像合成部５２は、デジタルカメラ１が所定量だけ移動する毎（上述した累積角度変位量が一定値に到達する毎）に、撮像部１６から出力される画像データを画像処理部１７を介して取得して、記憶部１８に保持させる。そして、画像合成部５２は、これまでに記憶部１８に累積的に保持された複数の画像データの少なくとも一部を合成することによって、パノラマ途中画像（合成画像）の画像データを順次生成する。
合成位置判定部５３は、画像合成部５２の合成対象のうち、隣接する２つの画像データ同士の対応する領域内で、対応するライン同士の類似度を、複数のラインについて算出し、最も類似度の高いラインに基づいて、隣接する２つの画像データの合成位置を判定する。
これにより、図５を参照して上述したように、適切な位置で複数の画像データの一部が合成されていく。よって、２つの画像データの合成位置近辺で、同一の被写体がだぶって含まれるように合成されてしまうことや、本来存在するはずの被写体が含まれないように合成されてしまうことが防止される。その結果、違和感のないパノラマ画像の画像データが得られることになる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態においては、合成位置判定部５３により合成位置が判定される場合には、画像データの垂直方向の画素数と同一のライン長を有するラインが採用され、ライン全体同士の類似度が判定された。
しかしながら、ライン全体である必要は特に無く、ラインの一部分同士の類似度が判定されるようにしてもよい。

例えば、上述の実施形態においては、合成位置判定部５３により合成位置が判定される場合に用いられるラインについて、ライン長、ライン幅、ライン位置、及び、本数は固定されていた。
しかしながら、ライン長、ライン幅、ライン位置、及び、本数のうち少なくとも一部について、可変設定できるようにしてもよい。即ち、合成位置判定部５３は、類似度を求めるラインについて、ライン長、ライン幅、ライン位置、及び本数のうちの少なくとも一部を可変設定する機能を有するようにしてもよい。

また、上述の実施形態においては、角速度センサ２２によってデジタルカメラ１の角度変位量を検出する構成にしたが、角度変位量を検出する手法は、特にこれに限定されない。
例えば、スルー画像を解析する画像処理によってデジタルカメラ１の角度変位量を検出する手法を採用してもよい。

また、上述の実施形態においては、パノラマ途中画像及びパノラマ画像は、横長の構成とされたが、特にこれに限定されず、デジタルカメラ１の移動方向に則した方向に長くなる構成、例えば縦長の構成としてもよいし、画像合成部５２によって生成する画像はパノラマ画像に限らず、複数の画像を合成することにより、１つの画像の画角よりも画角が広い広角画像を生成するものであればよい。

また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ１として構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、パノラマ画像の生成が可能になる機能を有する電子機器一般に適用することができ、例えば、本発明は、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、画像処理装置又は当該画像処理装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM１２や記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１…デジタルカメラ、１１…CPU、１２…ROM、１３…RAM、１５…光学系、１６…撮像部、１７…画像処理部、１８…記憶部、１９…表示部、２０…操作部、２１…通信部、２２…角速度センサ、２３…ドライブ、３１…リムーバブルメディア、４１…シャッタスイッチ、５１…撮像制御部、５２…画像合成部、５３…合成位置判定部

Claims (6)

1. 所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する取得手段と、
   前記取得手段によって取得された複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する画像合成手段を備え、
   前記画像合成手段は、前記画像合成手段の合成対象のうち、隣接する複数の画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する複数の画像の合成位置を決定する合成位置決定手段
   を含むことを特徴とする画像処理装置。
2. 前記合成位置判定手段は、前記隣接する複数の画像同士の対応する領域内で、複数のラインを設定し、設定したラインのうち前記最も類似度の高いライン同士を、それぞれの合成位置として判定する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記合成位置判定手段は、さらに、類似度を求める前記ラインについて、ライン長、ライン幅、ライン位置及び本数のうちの少なくとも一部を可変設定する設定手段を含む、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像手段を備え、
   前記取得手段は、前記撮像手段によって所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する、
   ことを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する取得手段を備える画像処理装置の画像処理方法であって、
   前記取得手段によって取得された複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する画像合成ステップと、
   を含み、
   前記画像合成ステップは、前記画像合成ステップにおける合成対象のうち、隣接する２つの画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する２つの画像の合成位置を決定する合成位置決定ステップ
   を含むことを特徴とする画像処理方法。
6. 所定時間毎に撮像することによって順次得られた第１の画角の画像を複数取得する取得手段を備える画像処理装置を制御するコンピュータに、
   前記取得手段によって取得された複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する画像合成機能を実現させ、
   前記画像合成機能は、前記画像合成手段の合成対象のうち、隣接する２つの画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する２つの画像の合成位置を決定する合成位置決定機能
   を実現させることを特徴とするプログラム。

Images