JP2012109863A - 撮像装置と画像処理方法 - Google Patents

Abstract

【課題】パノラマ画像を生成する場合に処理負荷が低く使用するメモリを少なくできるようにする。
【解決手段】撮像方向の移動中に生成された複数の撮像画像を圧縮処理してメモリ領域ＭＡに記憶させる。メモリ領域ＭＡに記憶されている撮像画像からパノラマ画像の生成で合成される部分画像を抽出してメモリ領域ＭＣに記憶させる再記憶を行う。再記憶後に、メモリ領域ＭＡを部分画像のパノラマ合成のためのメモリ領域ＭＤとして用いる。リアルタイムで部分画像の抽出を行う必要がなく処理負荷を低くできる。撮像画像を記憶するメモリ領域とパノラマ合成で使用するメモリ領域を個々に設ける必要がないので、使用するメモリを少なくできる。
【選択図】 図４

Description

この発明は、撮像装置と画像処理方法に関する。詳しくは、複数の撮像画像から画像を抽出して合成することでパノラマ画像を生成する場合、処理負荷が低く使用するメモリを少なくできるようにする。

近年、撮像方向を移動させつつ連続して複数枚の撮像を行い、複数枚の撮像画像からパノラマ画像を生成することが実現されている。例えば、特許文献１では、角速度センサにより検出した角速度値に応じて固体撮像素子から読み出す画像の読み出し幅を調整して、読み出した部分画像を合成してパノラマ画像を生成することが行われている。

特開２０１０−２８７６４号公報

ところで、パノラマ画像の生成で合成される部分画像を撮像方向の移動中にリアルタイムで読み出す場合、高い処理能力が必要となる。また、リアルタイムで部分画像の読み出しを行う場合、何フレームか先までの撮像画像を考慮して部分画像を決定した場合に比べて画質が劣化したパノラマ画像となってしまうおそれがある。例えば、画像内に動体が含まれている場合、何フレームか先の撮像画像で画質の良好な動体画像が得られる場合がある。このため、リアルタイムで部分画像の読み出しを行うと、画質の良好な動体画像を部分画像として読み出すことができず、良好な画質のパノラマ画像を生成できない。さらに、角速度値に応じて読み出し幅を調整して部分画像をリアルタイムで読み出すと、例えば人物の顔の位置で部分画像が途切れてしまい、パノラマ画像の合成では、画像の接続位置が人物の顔の位置となってしまう場合も生じる。

また、撮像方向を移動しながら撮像を行うことにより得られた複数枚の撮像画像をメモリに記憶して、動き検出情報とメモリに記憶した撮像画像から部分画像を決定すれば、良好な画質のパノラマ画像を得ることができる。しかし、複数枚の撮像画像を記憶したメモリ領域とは別個にパノラマ画像を合成するためのメモリ領域が必要となる。このため、例えば所定容量のメモリを用いて、当該メモリに複数枚の撮像画像を記憶するための領域とパノラマ画像を合成するための領域を設けた場合、パノラマ画像のサイズを大きくすると、撮像画像を記憶するための領域が少なくなる。したがって、撮像方向の移動速度を高めて撮像画像の枚数を削減する撮像操作を行わなければならない。または、撮像方向の移動速度を高めることなくパノラマ画像のサイズを大きくするために、容量の大きなメモリが必要となる。

そこで、この発明では、パノラマ画像を生成する場合に処理負荷が低く使用するメモリを少なくできる撮像装置と画像処理方法を提供することを目的とする。

この発明の第１の側面は、
撮像方向の移動中に生成された複数の撮像画像を記憶する第１のメモリ領域と、
パノラマ画像の生成で合成される部分画像を記憶する第２のメモリ領域と、
前記第１のメモリ領域に記憶されている撮像画像から前記部分画像を抽出して前記第２のメモリ領域に再記憶させて、前記第１のメモリ領域を前記第２のメモリ領域に再記憶された部分画像をパノラマ合成するためのメモリ領域とする制御部と
を有する撮像装置にある。

この発明においては、撮像方向の移動中に生成された複数の撮像画像が例えば圧縮処理されて第１のメモリ領域に記憶される。また、第１のメモリ領域に記憶されている撮像画像からパノラマ画像の生成で合成される部分画像が第２のメモリ領域に再記憶されて、第１のメモリ領域は部分画像のパノラマ合成のためのメモリ領域として用いられる。

再記憶では、パノラマ画像の短手方向と直交する方向の画像サイズが圧縮処理単位のサイズであって部分画像を含む再記憶対象領域の画像を抽出して、抽出した画像を圧縮処理して第２のメモリ領域に記憶させる。また、撮像画像を圧縮処理して第１のメモリ領域に記憶する場合、再記憶では、伸張処理した撮像画像から再記憶対象領域の画像を抽出して圧縮処理を行い、再記憶対象領域は撮像画像の圧縮処理における処理単位の位置と一致させる。また、再記憶対象領域の画像の圧縮処理では、撮像画像と該撮像画像から抽出した画像の圧縮率を等しくする。また、パノラマ画像の短手方向と直交する方向の画像サイズを圧縮処理単位の自然数倍とした再記憶単位で伸張可能に、撮像画像を圧縮処理して第１のメモリ領域に記憶し、第１のメモリ領域から部分画像を含む再記憶単位の圧縮画像を抽出して、第２のメモリ領域に記憶させる。

この発明の第２の側面は、
撮像方向の移動中に生成された複数の撮像画像を第１のメモリ領域に記憶する工程と、
前記第１のメモリ領域に記憶されている撮像画像から、パノラマ画像の生成で合成される部分画像を抽出して第２のメモリ領域に再記憶させて、前記第１のメモリ領域を前記第２のメモリ領域に再記憶された部分画像をパノラマ合成するためのメモリ領域とする工程とを
設けた画像処理方法にある。

この発明によれば、撮像方向の移動中に生成された複数の撮像画像が第１のメモリ領域に記憶されて、第１のメモリ領域に記憶されている撮像画像からパノラマ画像の生成で合成される部分画像を抽出して第２のメモリ領域に記憶させる再記憶が行われて、第１のメモリ領域が第２のメモリ領域に再記憶された部分画像をパノラマ合成するためのメモリ領域として用いられる。したがって、リアルタイムで部分画像の抽出を行う必要がなく処理負荷を低くできる。また、部分画像が第２のメモリ領域に再記憶されると、撮像画像が記憶されている第１のメモリ領域は、パノラマ合成のためのメモリ領域として用いられることから、撮像画像を記憶するメモリ領域とパノラマ合成のためのメモリ領域を個々に設ける必要がなく、使用するメモリを少なくできる。

撮像装置の構成を示す図である。 パノラマ画像を生成するときの動作を示すフローチャートである。 記憶される撮像画像を例示した図である。 メモリ領域の割り当て状態を示す図である。 再記憶処理を示すフローチャートである。 撮像方向の移動方向を示す図である。 第１の生成動作例を説明するための図である。 第２の生成動作例を説明するための図である。 第３の生成動作例を説明するための図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
２−１．パノラマ画像生成動作
２−２．パノラマ画像生成動作例
２−２−１．第１の生成動作例
２−２−２．第２の生成動作例
２−２−３．第３の生成動作例

＜１．撮像装置の構成＞
以下、この発明の実施の形態について、図面を参照しながら説明する。図１は、この発明の撮像装置の構成例を示している。撮像装置１０は、光学系ブロック２１、撮像部２２、信号処理部２３、解像度変換／画角調整部２４、圧縮伸張部２５、表示制御部２６、記録再生制御部２８、Ｉ／Ｏ部３１を有している。さらに、撮像装置１０には、制御部４１、ＲＯＭ４２、ＲＡＭ４３が設けられている。また、各部はバス５０を介して接続されている。また、表示制御部２６には表示部２７、記録再生制御部２８には記録媒体２９が接続可能とされている。また、Ｉ／Ｏ部３１には操作部３２が接続されている。さらに、制御部４１には、動き検出センサ部３３が接続されている。

光学系ブロック２１は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、後述する制御部４１からの命令に基づき、各機構を駆動して、絞りやフォーカス、ズームなどが制御されるようになっている。被写体からの光は、光学系ブロック２１を介して撮像部２２に入射される。また、光学系ブロック２１のレンズ系では、撮像装置１０の動きを生じても、動きぼけの生じていない撮像画像を得るための補正レンズ等が設けられている。

撮像部２２は、撮像素子、フロントエンド、タイミングジェネレータ等で構成されている。撮像部２２の撮像素子例えばＣＣＤ(Charge Coupled Device)またはＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャ等は、タイミングジェネレータで生成されたタイミング信号に基づいて駆動される。撮像素子は、入射された光を光電変換により電気信号に変換して、撮像信号としてライン順次で出力する。フロントエンドは、例えばノイズ抑圧部、自動利得制御部およびＡ／Ｄ変換部等で構成されている。フロントエンドは、撮像素子から出力されたアナログの撮像信号に対し、ノイズ抑圧部で例えば相関二重サンプリング処理を施してノイズを抑圧し、自動利得制御部でゲインを制御する。そして、Ａ／Ｄ変換部で画像データに変換して出力する。この画像データは、撮像素子の各画素それぞれに直接的に対応するデータからなるＲＡＷデータである。タイミングジェネレータは、制御部４１から供給されたこのコマンドに応じて、例えばフレーム同期信号や水平同期信号、垂直同期信号といったタイミング信号を生成して撮像素子に供給する。

信号処理部２３は、撮像部２２からの画像データに対して欠陥補正やレンズ補正などの各種補正処理、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ガンマ補正処理、エッジ強調処理などを施す。

解像度変換／画角調整部２４は、記録モードに応じた解像度や後述する表示部２７に表示するのに適した解像度等に、画像データの解像度を変換する処理を行う。また、解像度変換／画角調整部２４は、所望の画角の画像となるように、画角調整を行う。

圧縮伸張部２５は、画像データの圧縮処理と圧縮処理された画像データの伸張処理を行う。圧縮伸張方式の種類は、特に問わないが、例えばＪＰＥＧ(Joint Photographic Experts Group)方式が適用される。すなわち、圧縮伸張部２５は、供給された画像データのフレームを例えば８×８画素といった所定サイズのブロックに分割し、このブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。量子化されたデータは、ハフマン圧縮などの可変長圧縮によりさらに圧縮されて出力される。圧縮伸張部２５による圧縮画像データの伸張処理は、圧縮処理の逆の処理を以て行われる。

表示制御部２６は、信号処理後の画像データを表示部２７に表示可能な形式の信号に変換する。表示部２７は、例えばＬＣＤ(Liquid Crystal Display)等の表示素子を用いて構成されている。表示部２７は、撮像装置１０におけるビューファインダとして用いられるとともに、記録媒体２９から再生された画像のモニタとして用いられる。また、表示制御部２６は、制御部４１から供給される命令に基づき、表示部２７に文字や図形を表示させるための表示信号を生成する。表示信号に応じた表示も、表示部２７に表示される。例えば、撮像装置１０に対する各種設定を行うための設定画面や、撮像装置１０の各種状態を示す表示などが表示部２７に表示される。

記録再生制御部２８は、記録媒体２９に対するデータの記録制御や、記録媒体２９に記録されたデータの再生制御を行う。記録媒体２９としては、例えば着脱可能な不揮発性メモリを用いることができる。また、記録媒体２９として記録可能なタイプの光ディスクを用いることもできる。さらに、着脱可能または撮像装置１０に内蔵されるハードディスクを記録媒体２９として用いることもできる。

Ｉ／Ｏ部３１は、操作部３２からの操作信号の取り込みを行う。操作部３２は、各種の操作ボタンや操作キー等で構成されている。例えば、操作部３２は、電源供給のＯＮ／ＯＦＦを切り換える電源キー、撮影モードや記録モードなどの動作モードを切り換えるモード切り換えキー、カーソル移動のためのキーなどが設けられる。さらに、操作部３２は、静止画を撮影する際に用いられるシャッターボタン、フォーカス、絞り、ズームなどを操作するための操作キーなども設けられる。操作部３２は、操作ボタンや操作キー等に対するユーザ操作に応じて操作信号を生成して、Ｉ／Ｏ部３１を介して制御部４１に出力する。また、リモートコントロール操作等が行われる場合、操作部３２には、リモートコントロール信号受信部が設けられる。リモートコントロール信号受信部は、受信されたリモートコントロール信号を操作信号として制御部４１に出力する。

動き検出センサ部３３は、例えばジャイロ等を用いて構成されている。動き検出センサ部３３は、撮像装置１０の動きを検出して、検出した動きを示す動き検出信号を制御部４１に出力する。

制御部４１は、ＣＰＵ(Central Processing Unit)を用いて構成されている。制御部４１は、ＲＯＭ(Read Only Memory)４２に予め記憶されたプログラムを読み出して実行することで、撮像装置１０の動作制御を行う。例えば、制御部４１は、バス５０を介して供給された操作信号に基づき制御信号を生成する。制御部４１は、バス５０を介して各部に制御信号を供給して、撮像装置１０の動作がユーザ操作に対応した動作となるように各部を制御する。また、制御部４１は、ＲＡＭ(Random Access Memory)４３をワークメモリとして用いて、種々の制御やパノラマ画像の生成等を行う。

＜２．撮像装置の動作＞
２−１．パノラマ画像生成動作
次に、撮像装置１０の動作について説明する。図２は、撮像装置１０でパノラマ画像を生成するときの動作を示すフローチャートである。

ステップＳＴ１で制御部４１は画像記録を行う。制御部４１は、パノラマ画像を生成するために撮像方向をスイングまたは平行移動しても動きぼけを生じていない複数枚の撮像画像の生成を行い、生成した撮像画像の画像データをＲＡＭ４３に記憶してステップＳＴ２に進む。例えば、制御部４１は、シャッターオン状態とされた場合、動き検出センサ部３３からの動き検出信号に基づき光学系ブロック２１の補正レンズ等を駆動して、動きぼけの生じていない撮像画像を順次生成させる。また制御部４１は、生成した撮像画像の画像データをＲＡＭ４３に記憶させる。なお、制御部４１は、動き検出センサ部３３からの動き検出信号に基づき、撮像部２２の撮像素子を光軸に対して直交する方向に駆動して、動きぼけの生じていない撮像画像の画像データを生成するようにしてもよい。

また、制御部４１は、撮像画像の画像データをＲＡＭ４３に記憶する場合、フレーム内の所定領域の画像データのみを記憶するようにしてもよい。例えば、特許文献１に記載されているように、スリット状（短冊状）に部分画像を読み出すとき、パノラマ画像の短手方向に対して直交する方向の幅が長すぎると投影面が円柱と見なせなくなり、パノラマ合成で画像が滑らかに繋がらない可能性がある。したがって、図３に示すように、撮像画像ＧＭにおいて、パノラマ画像の短手方向に対して直交する方向の幅が中央位置ＣＰを基準として所定幅Ｗとなる領域の画像データのみをＲＡＭ４３に記憶させれば、記憶できる撮像画像の枚数を増やすことができる。なお、所定幅Ｗは、パノラマ画像を構成する部分画像が、いずれかの所定幅の撮像画像に含まれているように設定する。

ステップＳＴ２で制御部４１は、記録終了であるか否か判別する。制御部４１はシャッターオン状態であるときステップＳＴ１に戻り、シャッターオフ状態となったときステップＳＴ３に進む。したがって、シャッターオン状態である期間中、動きぼけの生じていない撮像画像の画像データがＲＡＭ４３に順次記憶される。また、ＲＡＭ４３に記憶された撮像画像は、スイングまたは平行移動に応じて撮像方向が変化した画像となる。

図４は、ＲＡＭ４３において、パノラマ画像の生成に用いられるメモリ領域の割り当て状態を示している。メモリ領域ＭＡは、撮像画像を記憶する領域であり、例えば図４の（Ａ）では、シャッター期間中に、１枚目の撮像画像の圧縮データＤａ_1からＭ枚目の撮像画像の圧縮データＤａ_Mが記憶された場合を示している。また、図４において、メモリ領域ＭＢは、圧縮伸張処理を行うときに用いられるワーク領域である。さらに、メモリ領域ＭＣは、メモリ領域ＭＡに記憶されている撮像画像から、パノラマ画像の生成で合成される部分画像を抽出して記憶しておく領域である。

ステップＳＴ３で制御部４１は、部分画像判別処理を行う。制御部４１はＲＡＭ４３に記憶された撮像画像からパノラマ画像の生成で合成する部分画像を判別する。制御部４１は、特許文献１と同様に、動き検出センサ部３３で撮像装置１０の動き検出を行い、パノラマ撮影の開始から終了までの角速度値を積分して、撮影開始位置に対する相対的な角度を算出する。さらに制御部４１は、算出した相対的な角度に基づき部分画像の領域を判別する。また、制御部４１は、撮像画像から所望の被写体例えば顔の検出を行い、パノラマ合成において部分画像の接続位置が所望の被写体の位置となる場合、接続位置が所望の被写体の位置とならないように、部分画像の幅や部分画像を抽出する撮像画像の変更等を行う。また、制御部４１は、複数の撮像画像から動いている被写体の検出を行い、検出した被写体の画質がもっと良好である画像を部分画像の領域と判別してもよい。

ステップＳＴ４で制御部４１は、再記憶処理を行う。制御部４１は、パノラマ画像の生成で必要とするメモリを少なくするため、ステップＳＴ３で判別した部分画像の領域の画像データをＲＡＭ４３のメモリ領域ＭＣに再記憶する。また、各撮像画像の画像データが記憶されていたメモリ領域ＭＡは、メモリ領域ＭＣに再記憶された部分画像をパノラマ合成するためのメモリ領域とする。

図５は、再記憶処理を示すフローチャートである。ステップＳＴ２１で制御部４１は、パラメータの初期化を行う。制御部４１は、再記憶を行う撮像画像を示すパラメータｎを初期値「１」に設定してステップＳＴ２２に進む。

ステップＳＴ２２で制御部４１は、ｎ枚目に部分画像があるか判別する。制御部４１は、ステップＳＴ３の部分画像判別処理によって、ｎ枚目の撮像画像に部分画像があると判別されている場合はステップＳＴ２３に進む。また、ｎ枚目の撮像画像に部分画像がないと判別されている場合はステップＳＴ２８に進む。

ステップＳＴ２３で制御部４１は、再記憶対象領域を決定する。制御部４１は、部分画像の領域を圧縮処理単位に切り上げて再記憶対象領域としてステップＳＴ２４に進む。

ステップＳＴ２４で制御部４１は、ｎ枚目の撮像画像の伸張処理を行う。制御部４１は、ｎ枚目の撮像画像の圧縮データを伸張処理して、伸張処理後の画像データをメモリ領域ＭＢに記憶してステップＳＴ２５に進む。また、制御部４１は、ｎ枚目の撮像画像の伸張処理において、ステップＳＴ２３で決定した再記憶対象領域の画像データが得られた場合には伸張処理を終了する。このように伸張処理を行えば、１フレーム分の全ての画像データが得られるまで伸張処理を行う必要がなく、伸張処理の効率化をはかることができる。

ステップＳＴ２５で制御部４１は、再記憶対象領域の圧縮処理を行う。制御部４１は、伸張処理されたｎ枚目の撮像画像の画像データから、再記憶対象領域の画像データを抽出して圧縮処理を行いステップＳＴ２６に進む。

ステップＳＴ２６で制御部４１は、再記憶対象領域の記録処理を行う。制御部４１は、再記憶対象領域の圧縮データをＲＡＭ４３のメモリ領域ＭＣに記憶する。また制御部４１は、部分画像に関するリスト情報を生成する。制御部４１は、例えばパノラマ画像の生成において何番目の部分画像の圧縮データがメモリ領域ＭＣにおけるいずれの位置に記憶されているか等を示したリスト情報を生成してステップＳＴ２７に進む。

このようにステップＳＴ２４からステップＳＴ２６の処理を行うと、例えば再記憶処理対象の撮像画像が１枚目の撮像画像である場合、１枚目の撮像画像の圧縮データＤａ_1の伸張処理が行われる。さらに、１枚目の撮像画像の画像データから部分画像の領域を圧縮処理単位に切り上げた再記憶対象領域の画像データの抽出、抽出した再記憶対象領域の画像データの圧縮処理が行われる。したがって、図４の（Ｂ）に示すように、メモリ領域ＭＣに、再記憶対象領域の圧縮データＤｂ_p1が記憶される。

ステップＳＴ２７で制御部４１は、全撮像画像の再記憶処理が終了したか判別する。制御部４１は、パラメータｎがＲＡＭ４３に記憶した撮像画像の枚数であるか判別する。制御部４１は、パラメータｎが撮像画像の枚数未満の値であるときステップＳＴ２９に進む。また、制御部４１は、パラメータｎが記憶されている撮像画像の枚数の値である場合、再記憶処理を終了して図２のステップＳＴ５に進む。

ステップＳＴ２８で制御部４１は、パラメータｎに「１」を加算した値を新たなパラメータ値に設定してステップＳＴ２１に戻る。

したがって、例えば図４に示すように、メモリ領域ＭＡにＭ枚の撮像画像が記憶されており、パラメータｎが「ｎ＝Ｍ」となると、全撮像画像の再記憶処理が終了する。また、全撮像画像の再記憶処理が終了すると、図４の（Ｃ）に示すように、メモリ領域ＭＣには、パノラマ画像の生成において合成対象となる部分画像を含む全ての対象領域の圧縮データＤｂ_p1〜Ｄｂ_pkが記憶された状態となる。さらに、全撮像画像の再記憶処理が終了すると、パノラマ画像の生成で合成される部分画像の圧縮データがメモリ領域ＭＣに全て記憶されていることから、メモリ領域ＭＡに記憶されている撮像画像の圧縮データは不要となる。したがって、図４の（Ｄ）に示すように、制御部４１はメモリ領域ＭＡを開放して、この開放されたメモリ領域を、メモリ領域ＭＣに再記憶された部分画像をパノラマ合成するためのメモリ領域ＭＤとする。

図２のステップＳＴ４で再記憶処理が終了するとステップＳＴ５で制御部４１は、伸張処理を行う。制御部４１は、ＲＡＭ４３のメモリ領域ＭＣに記憶されている１つの再記憶対象領域の圧縮データを読み出して伸張処理を行いステップＳＴ６に進む。なお、伸張処理では、ＲＡＭ４３のメモリ領域ＭＢを利用する。

ステップＳＴ６で制御部４１は合成処理を行う。制御部４１は、ＲＡＭ４３のメモリ領域ＭＤを用いて部分画像のパノラマ合成を行う。上述のように再記憶対象領域は、部分画像の領域を圧縮処理単位に切り上げた領域であることから、制御部４１は、メモリ領域ＭＢに記憶されている伸張処理後の画像データから、部分画像の画像データを抽出してメモリ領域ＭＤに記憶する。また、制御部４１は、部分画像の画像データをメモリ領域ＭＤに記憶する際に、部分画像と隣接する部分画像との接続ラインが一致するように記憶させてステップＳＴ７に進む。

ステップＳＴ７で制御部４１は、合成処理終了であるか判別する。制御部４１は、メモリ領域ＭＤへの記憶が完了していない再記憶対象領域の圧縮データが残っている場合、ステップＳＴ５に戻り、残っていない場合はステップＳＴ８に進む。すなわち、ステップＳＴ５からステップＳＴ８の処理を行うと、ＲＡＭ４３のメモリ領域ＭＤには、接続ラインが一致するように部分画像が順次記憶されて、パノラマ画像の画像データＤｃ_PANが記憶された状態となる。

ステップＳＴ８で制御部４１は、解像度変換／画角調整処理を行う。制御部４１は、ＲＡＭ４３のメモリ領域ＭＤに記憶されている画像データＤｃ_PANを解像度変換／画角調整部２４に供給して、パノラマ画像を表示部２７に対応した解像度や画角、ユーザ等によって指定された解像度や画角としてステップＳＴ９に進む。

ステップＳＴ９で制御部４１は、圧縮処理を行う。制御部４１は、解像度変換／画角調整処理が行われたパノラマ画像の画像データＤｄ_PANを圧縮伸張部２５に供給して、所定の方式で圧縮処理してステップＳＴ１０に進む。

ステップＳＴ１０で制御部４１は、記録媒体への記録を行う。制御部４１は、ステップＳＴ９で生成された圧縮データを記録再生制御部２８に供給して、記録媒体２９に記録させて処理を終了する。

２−２．パノラマ画像の生成動作例
次に、パノラマ画像の生成動作例について説明する。撮像装置１０を用いて解像度の高いパノラマ画像を生成する場合、撮像素子において画素数が多い辺がパノラマ画像の短辺側となるようにして撮像方向の移動を行う。例えば、図６の（Ａ）に示すように、撮像装置１０を横方向として撮像を行う場合、矢印で示すように撮像方向を縦方向に移動させて、縦長のパノラマ画像を生成する。また、図６の（Ｂ）に示すように、撮像装置１０を縦方向として撮像を行う場合、矢印で示すように撮像方向を横方向に移動させて、横長のパノラマ画像を生成する。

２−２−１．第１の生成動作例
図７は、第１の生成動作例を示している。図７の（Ａ）は、撮像画像を示しており、図７の（Ｂ）は再記憶対象領域の画像を示している。また、撮像画像と再記憶対象領域の画像において、パノラマ画像の生成で用いられない不要部分の領域を斜線で示している。例えば、１枚目の撮像画像では、部分画像判別処理で、ライン位置「０」から１４９６ライン分が部分画像として判別されている。２枚目の撮像画像では、部分画像判別処理で部分画像が存在しないと判別されている。３枚目の撮像画像では、部分画像判別処理で、ライン位置「４８０」から２００ライン分が部分画像として判別されており、４枚目の撮像画像では、部分画像判別処理で、ライン位置「８２３」から５０ライン分が部分画像として判別されている。さらに、２５枚目の撮像画像では、部分画像判別処理で、ライン位置「１１６」から１４２０ライン分が部分画像として判別されている。

このように部分画像が判別されている場合、制御部４１は、部分画像の領域を圧縮処理単位に切り上げた再記憶対象領域を決定する。次に、制御部４１は、再記憶対象領域の画像データを撮像画像の画像データから抽出して、抽出した再記憶対象領域の画像データを圧縮処理してＲＡＭ４３のメモリ領域ＭＣに記憶する。ここで、例えばＪＰＥＧ方式で圧縮処理する場合、最小圧縮単位（ＭＣＵ：Minimum Coded Unit）であるマクロブロック単位で画像を区切り、マクロブロック単位の圧縮処理が行われている。

最小圧縮ユニットを８×８画素のマクロブロック単位とした場合、１枚目の撮像画像における部分画像（ｐ１枚目）はライン位置「０」から１４９６ライン分であり、１４９６ラインは１８７ブロック分に相当する。このため、制御部４１は、ライン位置「０」から１４９６ライン分の領域を再記憶対象領域とする。３枚目の撮像画像における部分画像（ｐ２枚目）はライン位置「４８０」から２００ライン分であり、２００ラインは２５ブロック分に相当する。このため、制御部４１は、ライン位置「４８０」から２００ライン分の領域を再記憶対象領域とする。４枚目の撮像画像における部分画像（ｐ３枚目）はライン位置「８２３」から５０ライン分であり、５０ラインは（６ブロック＋２ライン）に相当する。このため、制御部４１は、ライン位置「８２３」から５６ライン分である７ブロックの領域を再記憶対象領域とする。さらに２５枚目の撮像画像における部分画像（ｐｋ枚目）はライン位置「１１６」から最後のラインまでの１４２０ライン分であり、１４２０ラインは（１７７ブロック＋４ライン）に相当する。このため、制御部４１は、ライン位置「１１２」から最後のラインまでの１４２４ライン分である１７８ブロックの領域を再記憶対象領域とする。したがって、ＲＡＭ４３のメモリ領域ＭＣには、図７の（Ｂ）に示すように部分画像を含む再記憶対象領域の圧縮データが記憶されることになる。また、再記憶対象領域の画像データから部分画像の画像データを抽出して合成することで、パノラマ画像を生成できる。

２−２−２．第２の生成動作例
撮像画像を例えばＪＰＥＧ方式で圧縮処理する場合、マクロブロック単位で画像を区切り圧縮処理が行われている。このため、再記憶処理においても、部分画像の抽出をマクロブロックの位置に合わせて行うことで、撮像画像の圧縮処理と部分画像の圧縮処理において、マクロブロックの位置の相違による画質の劣化を防止できる。第２の生成動作例は、部分画像の抽出を撮像画像の圧縮処理におけるマクロブロックの位置と合わせた場合を示している。

図８の（Ａ）は、撮像画像を示しており、図８の（Ｂ）は再記憶対象領域の画像を示している。また、撮像画像と再記憶対象領域の画像において、パノラマ画像の生成で用いられない不要部分の領域を斜線で示している。例えば、１枚目の撮像画像では、部分画像判別処理で、ライン位置「０」から１４９６ライン分が部分画像として判別されている。２枚目の撮像画像では、部分画像判別処理で、部分画像が存在しないと判別されている。３枚目の撮像画像では、部分画像判別処理で、ライン位置「４８０」から２００ライン分が部分画像として判別されており、４枚目の撮像画像では、部分画像判別処理で、ライン位置「８２３」から５０ライン分が部分画像として判別されている。さらに、２５枚目の撮像画像では、部分画像判別処理で、ライン位置「１１６」から１４２０ライン分が部分画像として判別されている。

このように部分画像が判別されている場合、制御部４１は、部分画像の領域を圧縮処理単位に切り上げて、さらにマクロブロックの位置を一致させた再記憶対象領域を設定する。制御部４１は、再記憶対象領域の画像データを撮像画像の画像データから抽出して、抽出した再記憶対象領域の画像データを圧縮処理してＲＡＭ４３のメモリ領域ＭＣに記憶する。

最小圧縮ユニットを８×８画素のマクロブロック単位とした場合、１枚目の撮像画像における部分画像（ｐ１枚目）はライン位置「０」から１４９６ライン分であり、１４９６ラインは１８７ブロック分に相当する。また、ライン位置「０」からのブロックは、撮像画像の圧縮処理におけるマクロブロックの位置と一致する。このため、制御部４１は、ライン位置「０」から１４９６ライン分の領域を再記憶対象領域とする。３枚目の撮像画像における部分画像（ｐ２枚目）はライン位置「４８０」から２００ライン分であり、２００ラインは２５ブロック分に相当する。また、ライン位置「４８０」からのブロックは、撮像画像の圧縮処理におけるマクロブロックの位置と一致する。このため、制御部４１は、ライン位置「４８０」から２００ライン分の領域を再記憶対象領域とする。４枚目の撮像画像における部分画像（ｐ３枚目）はライン位置「８２３」から５０ライン分であり、５０ラインは（６ブロック＋２ライン）に相当する。また、ライン位置「８２３」は、マクロブロックの最初のライン位置ではない。このため、制御部４１は、撮像画像の圧縮処理におけるマクロブロックの開始位置であるライン位置「８１６」から、６４ライン分である８ブロックの領域を再配置対象領域とする。さらに２５枚目の撮像画像における部分画像（ｐｋ枚目）はライン位置「１１６」から最後のラインまでの１４２０ライン分であり、１４２０ラインは（１７７ブロック＋４ライン）に相当する。このため、制御部４１は、撮像画像の圧縮処理におけるマクロブロックの開始位置であるライン位置「１１２」から、最後のラインまでの１４２４ライン分である１７８ブロックの領域を再記憶対象領域とする。したがって、ＲＡＭ４３のメモリ領域ＭＣには、図８の（Ｂ）に示すように部分画像を含む対象領域の画像が記憶されることになる。また、再記憶対象領域の画像データから部分画像の画像データを抽出して合成することで、パノラマ画像を生成できる。

このように、再記憶対象領域が撮像画像の圧縮処理におけるマクロブロックの位置に合わせて設定されるので、再記憶対象領域の画像データを用いて圧縮処理を行う場合、マクロブロックの位置が異なることによる画質劣化を防止できる。

また、再記憶対象領域の画像データを圧縮処理する場合に、撮像画像の圧縮処理において用いた量子化情報を用いることで、圧縮率を等しくすることができ、圧縮率の違いによる画質劣化を防止することができる。この場合、図５に示すフローチャートでは、ステップＳＴ２５で圧縮処理を行う場合、撮像画像の圧縮時に用いられている量子化情報を用いて圧縮処理を行う。

例えば、１枚目の撮像画像の圧縮処理における量子化ステップが「Ｑ１」であるときは、１枚目の撮像画像の画像データから抽出した再記憶対象領域の画像データは量子化ステップを「Ｑ１」として圧縮処理を行う。同様に、３枚目の撮像画像の圧縮処理における量子化ステップが「Ｑ３」であるときは、３枚目の撮像画像の画像データから抽出した再記憶対象領域の画像データは量子化ステップを「Ｑ３」として圧縮処理を行う。また、４枚目の撮像画像の圧縮処理における量子化ステップが「Ｑ４」であるときは、４枚目の撮像画像の画像データから抽出した再記憶対象領域の画像データは量子化ステップを「Ｑ４」として圧縮処理を行う。さらに、２５枚目の撮像画像の圧縮処理における量子化ステップが「Ｑ２５」であるときは、２５枚目の撮像画像の画像データから抽出した再記憶対象領域の画像データは量子化ステップを「Ｑ２５」として圧縮処理を行う。

２−２−３．第３の生成動作例
第１および第２の生成動作では、撮像画像の圧縮データを伸張処理してから対象領域の画像データの抽出を行っている。しかし、撮像画像の圧縮データから部分画像を含む圧縮処理単位で圧縮データを抽出すれば、撮像画像の圧縮データの伸張処理や再記憶対象領域の画像データの圧縮処理を行う必要がなく、再記憶処理を効率よく行うことができる。例えば、図５に示すフローチャートにおいて、ステップＳＴ２４とステップＳＴ２５の処理を行う必要がない。また、ステップＳＴ２６では、ＲＡＭ４３のメモリ領域ＭＡに記憶されている撮像画像の圧縮データから部分画像を含む圧縮データを圧縮処理単位で抽出してメモリ領域ＭＣに記憶すればよい。

第３の生成動作では、撮像画像の圧縮データから部分画像を含む圧縮データを圧縮処理単位で抽出して再記憶を行う場合を示している。

図９の（Ａ）は、撮像画像を示しており、図９の（Ｂ）は再記憶対象領域の画像を示している。また、撮像画像と再記憶対象領域の画像において、パノラマ画像の生成で用いられない不要部分の領域を斜線で示している。例えば、１枚目の撮像画像では、部分画像判別処理で、ライン位置「０」から１４９６ライン分が部分画像として判別されている。２枚目の撮像画像では、部分画像判別処理で、部分画像が存在しないと判別されている。３枚目の撮像画像では、部分画像判別処理で、ライン位置「４８０」から２００ライン分が部分画像として判別されており、４枚目の撮像画像では、部分画像判別処理で、ライン位置「８２３」から５０ライン分が部分画像として判別されている。さらに、２５枚目の撮像画像では、部分画像判別処理で、ライン位置「１１６」から１４２０ライン分が部分画像として判別されている。

制御部４１は、撮像画像の画像データをＲＡＭ４３のメモリ領域ＭＡに記憶するとき、パノラマ画像の短手方向と直交する方向の画像サイズを圧縮処理単位の自然数倍である再記憶単位として、再記憶単位で伸張可能に撮像画像を圧縮処理する。さらに、制御部４１は、圧縮データをメモリ領域ＭＡに記憶する。

例えば制御部４１は、撮像画像の画像データをマクロブロックの１列分または複数列分を再記憶単位として、再記憶単位の画像データを圧縮処理してそれぞれ１つのファイルとする。また、例えば制御部４１は、撮像画像の画像データをＪＰＥＧ方式で圧縮処理して記憶する場合、画像の区切りを示す識別情報であるリスタートマーカを再記憶単位と次の再記憶単位の圧縮データ間に設ける。このようにリスタートマーカを設けることで、１つのファイルでも再記憶単位で独立に伸張処理を行うことができるようになる。なお、図９では、再記憶単位の領域を一点鎖線で示している。

制御部４１は、再記憶単位で伸張可能に撮像画像を圧縮処理してメモリ領域ＭＡに記憶して、部分画像を含む再記憶単位の領域を再記憶対象領域に設定する。例えば、撮像画像が再記憶単位で分割されて、分割画像の圧縮データがそれぞれ１つのファイルとされている場合、制御部４１は、部分画像を含むファイルの圧縮データを再記憶対象領域の圧縮データとする。また、例えばリスタートマーカが設けられている場合、制御部４１は、部分画像を含むリスタートマーカで区分された再記憶単位の圧縮データを再記憶対象領域の圧縮データとする。

最小圧縮ユニットを８×８画素のマクロブロック単位として、マクロブロックの１列分を再記憶単位としてファイル化またはリスタートマーカが設けられている場合、１枚目の撮像画像における部分画像（ｐ１枚目）はライン位置「０」から１４９６ライン分であり、１４９６ラインは１８７ブロック分に相当する。また、ライン位置「０」からのブロックは、マクロブロックと位置が一致する。このため、制御部４１は、ライン位置「０」から１４９６ライン分の領域の圧縮データを再記憶対象領域の圧縮データとする。３枚目の撮像画像における部分画像（ｐ２枚目）はライン位置「４８０」から２００ライン分であり、２００ラインは２５ブロック分に相当する。また、ライン位置「４８０」からのブロックは、マクロブロックと位置が一致する。このため、制御部４１は、ライン位置「４８０」から２００ライン分の領域の圧縮データを再記憶対象領域の圧縮データとする。４枚目の撮像画像における部分画像（ｐ３枚目）はライン位置「８２３」から５０ライン分であり、５０ラインは（６ブロック＋２ライン）に相当する。また、ライン位置「８２３」は、マクロブロックの最初のライン位置ではない。このため、制御部４１は、撮像画像の圧縮処理におけるマクロブロックの開始位置であるライン位置「８１６」から６４ライン分である８ブロックの領域の圧縮データを再記憶対象領域の圧縮データとする。さらに２５枚目の撮像画像における部分画像（ｐｋ枚目）はライン位置「１１６」から最後のラインまでの１４２０ライン分であり、１４２０ラインは（１７７ブロック＋４ライン）に相当する。このため、制御部４１は、撮像画像の圧縮処理におけるマクロブロックの開始位置であるライン位置「１１２」から最後のラインまでの１４２４ライン分である１７８ブロック領域の圧縮データを、再記憶対象領域の圧縮データとする。したがって、ＲＡＭ４３のメモリ領域ＭＣには、図９の（Ｂ）に示すように部分画像を含む再記憶対象領域の圧縮データが再記憶単位で記憶されることになる。また、再記憶対象領域の画像データから部分画像の画像データを抽出して合成することで、パノラマ画像を生成できる。

第３の生成動作を行うと、撮像画像の圧縮データに対して独立して伸張処理できる処理単位で再記憶対象領域が設定されるので、撮像画像の圧縮データの伸張処理や再記憶対象領域の画像データの圧縮処理を行うことなく再記憶処理を行うことが可能となる。したがって、効率よく再記憶処理を行うことができる。また、伸張処理と圧縮処理を繰り返すことによる画質の劣化を防止できる。

このように、撮像装置１０では、撮像画像を順次メモリに記憶したのち部分画像の領域を判別して再記憶処理を行い、図４の（Ｄ）に示すように撮像画像が記憶されていたメモリ領域ＭＡを、メモリ領域ＭＣに再記憶された部分画像をパノラマ合成するためのメモリ領域ＭＤとして利用する。このため、リアルタイムで処理を行う必要がないので、高い処理能力が必要とされない。また、メモリ領域を効率よく利用することができる。したがって、パノラマ画像を生成する場合に処理負荷が低く使用するメモリを少なくできる。

さらに、撮像画像を記憶するメモリ領域ＭＡと部分画像をパノラマ合成してパノラマ画像を生成するためのメモリ領域ＭＤを別個に設ける従来の撮像装置に比べて、撮像装置１０はメモリ領域ＭＡ，ＭＤを広く確保できる。したがって、従来の撮像装置のように、メモリ領域ＭＡ，ＭＤを広く確保できない場合、大きなパノラマ画像の生成では、スイングまたは平行移動の動作速度を早めて撮像画像の枚数を削減する等の操作を撮像時に考慮する必要がないので、操作性を向上できる。さらに、メモリ領域を効率よく利用できるので大きなサイズのパノラマ画像を生成する場合でも大容量のＲＡＭを用いる必要がなく撮像装置を安価に提供できる。

なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、撮像装置を横方向として撮像を行う場合、撮像方向を横方向に移動させて、横長のパノラマ画像を生成する。または、撮像装置を縦方向として撮像を行う場合、撮像方向を縦方向に移動させて、縦長のパノラマ画像を生成する場合にも、撮像画像をメモリ領域ＭＡに記憶させて、記憶されている撮像画像から部分画像を抽出してメモリ領域ＭＣに再記憶して、撮像画像が記憶されているメモリ領域をパノラマ合成で使用するメモリ領域としてもよい。

この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明の撮像装置と画像処理方法では、撮像方向の移動中に生成された複数の撮像画像が第１のメモリ領域に記憶されて、第１のメモリ領域に記憶されている撮像画像からパノラマ画像の生成で合成される部分画像を抽出して第２のメモリ領域に記憶させる再記憶が行われて、第１のメモリ領域が部分画像のパノラマ合成のためのメモリとして用いられる。このため、リアルタイムで部分画像の抽出を行う必要がなく処理負荷を低くできる。また、パノラマ画像の生成で合成される部分画像が第２のメモリ領域に記憶されると、撮像画像が記憶されている第１のメモリ領域は、パノラマ合成のためのメモリとして用いられることから、撮像画像を記憶するメモリとパノラマ合成のためのメモリを個々に設ける必要がなく、使用するメモリを少なくできる。したがって、デジタルカメラ等の撮像装置に適している。

１０・・・撮像装置、２１・・・光学系ブロック、２２・・・撮像部、２３・・・信号処理部、２４・・・解像度変換／画角調整部、２５・・・圧縮伸張部、２６・・・表示制御部、２７・・・表示部、２８・・・記録再生制御部、２９・・・記録媒体、３１・・・Ｉ／Ｏ部、３２・・・操作部、３３・・・動き検出センサ部、４１・・・制御部、４２・・・ＲＯＭ、４３・・・ＲＡＭ、５０・・・バス

Claims (8)

1. 撮像方向の移動中に生成された複数の撮像画像を記憶する第１のメモリ領域と、
   パノラマ画像の生成で合成される部分画像を記憶する第２のメモリ領域と、
   前記第１のメモリ領域に記憶されている撮像画像から前記部分画像を抽出して前記第２のメモリ領域に再記憶させて、前記第１のメモリ領域を前記第２のメモリ領域に再記憶された部分画像をパノラマ合成するためのメモリ領域とする制御部と
   を有する撮像装置。
2. 画像の圧縮伸張処理を行う圧縮伸張部をさらに有し、
   前記制御部は、前記パノラマ画像の短手方向と直交する方向の画像サイズが圧縮単位のサイズであって前記部分画像を含む再記憶対象領域の画像を抽出して、該抽出した画像を前記圧縮伸張部で圧縮処理して前記第２のメモリ領域に記憶させる請求項１記載の撮像装置。
3. 前記制御部は、前記撮像画像を前記圧縮伸張部で圧縮処理して前記第１のメモリ領域に記憶し、前記再記憶では、前記再記憶対象領域を前記撮像画像の圧縮処理における処理単位の位置と一致させる請求項２記載の撮像装置。
4. 前記制御部は、前記撮像画像を前記圧縮伸張部で圧縮処理して前記第１のメモリ領域に記憶し、前記再記憶では、前記再記憶対象領域の画像の圧縮処理において、前記撮像画像から抽出した画像の圧縮率を、該画像を前記第１のメモリ領域に記憶させるときの圧縮率と等しくする請求項２記載の撮像装置。
5. 画像の圧縮伸張処理を行う圧縮伸張部をさらに有し、
   前記制御部は、前記パノラマ画像の短手方向と直交する方向の画像サイズを前記圧縮処理単位の自然数倍とした再記憶単位で伸張可能に、前記撮像画像を圧縮処理して前記第１のメモリ領域に記憶し、前記再記憶では、前記第１のメモリ領域から前記部分画像を含む再記憶単位の圧縮画像を抽出して、前記第２のメモリ領域に記憶させる請求項１記載の撮像装置。
6. 前記制御部は、前記撮像画像を前記再記憶単位で分割して、分割画像毎に圧縮処理して前記第１のメモリ領域に記憶する請求項５記載の撮像装置。
7. 前記制御部は、前記撮像画像を圧縮処理する場合に、前記再記憶単位毎に画像の区切りを示す識別情報を設ける請求項５記載の撮像装置。
8. 撮像方向の移動中に生成された複数の撮像画像を第１のメモリ領域に記憶する工程と、
   前記第１のメモリ領域に記憶されている撮像画像から、パノラマ画像の生成で合成される部分画像を抽出して第２のメモリ領域に再記憶させて、前記第１のメモリ領域を前記第２のメモリ領域に再記憶された部分画像をパノラマ合成するためのメモリ領域とする工程とを
   設けた画像処理方法。

Images