JP2011082917A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より効果的に撮像された被写体の画像を表示できるようにする。
【解決手段】撮像装置１１は、回動中心Ｃ１１を中心として回動している状態で、複数の撮像画像Ｐ（１）乃至Ｐ（Ｎ）を撮像する。撮像装置１１は、得られた複数の撮像画像のそれぞれから、撮像画像における所定の基準位置により定まる領域を短冊画像として切り出して、それらの短冊画像を並べて合成することにより、撮像空間上の所定の領域を被写体とするパノラマ画像を生成する。撮像装置１１は、撮像画像からの短冊画像の切り出し位置をずらしながら、複数のパノラマ画像を生成することで、複数のパノラマ画像からなるパノラマ動画像を得る。このパノラマ動画像によれば、撮像画像中の被写体を、動きを持たせて表示させることができる。本発明は、カメラに適用することができる。
【選択図】図１

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、パノラマ画像上の被写体に動きを持たせることができるようにした画像処理装置および方法、並びにプログラムに関する。

近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。

例えば、撮像された写真の効果的な提示方法として、いわゆるパノラマ画像が知られている。パノラマ画像は、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を、それらの静止画像上の同じ被写体が重なるように並べることにより得られる１枚の静止画像である（例えば、特許文献１参照）。

このようなパノラマ画像によれば、通常の撮像装置による１枚分の静止画像の撮像範囲（画角）よりも、より広い範囲の空間を被写体として表示させることができるので、より効果的に撮像された被写体の画像を表示することができる。

特許第３１６８４４３号公報

ところで、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる時刻に撮像された被写体であるから、パノラマ画像を生成するために撮像した静止画像群は、被写体の動きに関する情報を持っているということができる。

しかしながら、上述したパノラマ画像では、パノラマ画像に含まれる被写体の動きを表現することはできないので、撮像された被写体の画像を充分効果的に表示できているとはいえなかった。

本発明は、このような状況に鑑みてなされたものであり、撮像された被写体の画像をより効果的に表示することができるようにするものである。

本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成手段と、複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成手段とを備え、前記短冊画像生成手段は、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成し、前記パノラマ画像生成手段は、前記領域の位置ごとに前記パノラマ画像を生成することで、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の領域が表示される複数の前記パノラマ画像からなる画像群を生成する。

複数の前記パノラマ画像のそれぞれには、前記撮像空間上の同じ領域が表示されるようにすることができる。

画像処理装置には、複数の前記パノラマ画像を所定の時間間隔で順番に表示させる表示制御手段をさらに設けることができる。

画像処理装置には、前記パノラマ画像上の動きのある被写体が指定された場合、複数の前記撮像画像のうち、前記動きのある被写体が含まれる前記撮像画像を特定する特定手段と、前記特定手段により特定された複数の前記撮像画像のそれぞれについて、前記撮像画像から、前記動きのある被写体が含まれる領域を切り出して切り出し画像とすることで、複数の切り出し画像群を生成する切り出し画像生成手段とをさらに設け、前記表示制御手段には、複数の前記切り出し画像を所定の時間間隔で順番に表示させることができる。

画像処理装置には、連続して表示される前記パノラマ画像に基づいて、前記パノラマ画像から動きのある被写体を検出する検出手段をさらに設け、前記表示制御手段には、複数の前記パノラマ画像を順番に表示させる場合、前記パノラマ画像における前記動きのある被写体の含まれる領域を、他の領域とは異なる表示形式で表示させることができる。

複数の前記パノラマ画像は、それらの前記パノラマ画像を順番に表示させた場合に、前記撮像空間上の所定範囲内の各領域が、前記所定範囲の領域の一方の端から他方の端まで順番に表示される画像とすることができる。

前記位置情報生成手段には、前記撮像画像上の予め定められた複数のブロック領域を用いて、前記撮像画像よりも前の時刻に撮像された撮像画像から、複数の前記ブロック領域と対応するブロック対応領域のそれぞれを探索することにより、前記位置情報を生成させることができる。

前記位置情報生成手段には、複数の前記ブロック領域の相対的な位置関係と、複数の前記ブロック対応領域の相対的な位置関係とに基づいて、動きのある被写体が含まれる前記ブロック領域を検出させ、前記動きのある被写体が含まれる前記ブロック領域が検出された場合、複数の前記ブロック領域のうち、検出された前記ブロック領域とは異なる前記ブロック領域を用いて前記ブロック対応領域を探索することにより、前記位置情報を生成させることができる。

本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成ステップと、複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成ステップと、複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成ステップとを含み、前記短冊画像生成ステップにおいて、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成させ、前記パノラマ画像生成ステップにおいて、前記領域の位置ごとに前記パノラマ画像を生成することで、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の領域が表示される複数の前記パノラマ画像からなる画像群を生成させる。

本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報が生成され、複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域が切り出されて、前記領域を含む短冊画像が生成され、複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像が生成される。このとき、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像が生成され、前記領域の位置ごとに前記パノラマ画像を生成することで、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の領域が表示される複数の前記パノラマ画像からなる画像群が生成される。

本発明の一側面によれば、撮像された被写体の画像を、より効果的に表示することができる。

撮像画像の撮像方法を説明する図である。 パノラマ動画像の表示例を示す図である。 本発明を適用した撮像装置の一実施の形態の構成例を示す図である。 信号処理部の構成例を示す図である。 動画像再生処理を説明するフローチャートである。 撮像画像の位置合わせについて説明する図である。 中心座標の算出について説明する図である。 パノラマ動画像の再生処理を説明するフローチャートである。 短冊画像の切り出しについて説明する図である。 パノラマ動画像の生成について説明する図である。 部分パノラマ動画像の再生処理を説明するフローチャートである。 部分パノラマ動画像の生成について説明する図である。 パン動画像の再生処理を説明するフローチャートである。 撮像画像の補完について説明する図である。 パン動画像の生成について説明する図である。 被写体追尾動画像の再生処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

［パノラマ動画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、１つのパノラマ動画像を生成する。

パノラマ動画像は、撮像装置が１度の撮像により撮像することができる実空間上の撮像範囲（画角）よりも、より広い範囲の領域が被写体として表示される複数のパノラマ画像からなる画像群である。したがって、パノラマ動画像は、パノラマ動画像を構成する各パノラマ画像を１フレーム分の画像と考えれば１つの動画像であるということもできるし、パノラマ動画像を構成する各パノラマ画像を１枚の静止画像と考えれば静止画像群であるということもできる。以下では、説明を簡単にするため、パノラマ動画像が、動画像であるものとして説明を続ける。

ユーザが撮像装置にパノラマ動画像を生成させようとする場合、ユーザは撮像装置を操作して、パノラマ動画像の生成に用いられる撮像画像を撮像させる。

例えば、図１に示すように撮像画像の撮像時には、ユーザは、撮像装置１１の光学レンズを図中、手前側に向けて、回動中心Ｃ１１を中心として撮像装置１１を図中、右から左方向に回動（パン）させながら連続して被写体を撮像させる。このとき、ユーザは、静止している同じ被写体が、連続して撮像される複数の撮像画像に含まれるように、撮像装置１１の回動速度を調整する。

このように撮像装置１１を移動させながら撮像画像を撮像させることで、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）が得られる。

ここで、撮像画像Ｐ（１）は、Ｎ枚の撮像画像のうち最も撮像時刻の古い画像、つまり最初に撮像された画像であり、撮像画像Ｐ（Ｎ）はＮ枚の撮像画像のうち、最も撮像時刻の新しい、最後に撮像された画像である。以下では、ｎ番目（但し、１≦ｎ≦Ｎ）に撮像された撮像画像を撮像画像Ｐ（ｎ）とも称することとする。

なお、各撮像画像は、連写された静止画像であってもよいし、撮影された動画像の１フレーム分の画像であってもよい。

また、図１において、撮像装置１１自体を９０度だけ回転させ、つまり撮像装置１１を横向きにして撮像を行った方が、図中、縦方向により長い撮像画像を得ることができる場合には、撮像装置１１を横向きにして撮像画像の撮像を行うようにしてもよい。そのような場合、撮像画像が撮像装置１１と同じ方向に９０度だけ回転されて、パノラマ動画像の生成が行われる。

このようにしてＮ枚の撮像画像が得られると、撮像装置１１は、これらの撮像画像を用いてパノラマ動画像を生成し、表示する。ここで、パノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全領域が被写体として表示される動画像である。

パノラマ動画像が生成されると、例えば撮像装置１１には、図２に示すパノラマ動画像ＰＭＶが表示される。ユーザは、表示されたパノラマ動画像ＰＭＶ上の所定の領域を指定することにより、さらにその指定された領域に関連する新たな動画像を表示させることができる。

例えば、ユーザによりパノラマ動画像ＰＭＶの任意の位置が指定されると、撮像装置１１には、指定された位置を中心とする、パノラマ動画像ＰＭＶ上の領域ＢＰのみを被写体とする部分パノラマ動画像が表示される。つまり部分パノラマ動画像を表示させる処理は、パノラマ動画像の一部の領域を拡大表示させる処理である。

また、ユーザは、パノラマ動画像ＰＭＶ上の一部の領域がパンされながら表示されるパン動画像や、動きのある所定の被写体の領域だけが継続して拡大表示される被写体追尾動画像も表示させることができる。

［撮像装置の構成］
図３は、本発明を適用した撮像装置１１の一実施の形態の構成例を示す図である。

撮像装置１１は、操作入力部２１、撮像部２２、撮像制御部２３、信号処理部２４、バス２５、バッファメモリ２６、圧縮伸張部２７、ドライブ２８、記録媒体２９、表示制御部３０、および表示部３１から構成される。

操作入力部２１はボタンなどからなり、ユーザの操作を受けて、その操作に応じた信号を信号処理部２４に供給する。撮像部２２は、光学レンズや撮像素子などからなり、被写体からの光を光電変換することにより撮像画像を撮像して、撮像制御部２３に供給する。撮像制御部２３は撮像部２２による撮像を制御するとともに、撮像部２２から取得した撮像画像を信号処理部２４に供給する。

信号処理部２４は、バス２５を介してバッファメモリ２６乃至ドライブ２８、および表示制御部３０と接続されており、操作入力部２１からの信号に応じて撮像装置１１の全体を制御する。

例えば、信号処理部２４は、撮像制御部２３からの撮像画像を、バス２５を介してバッファメモリ２６に供給したり、バッファメモリ２６から取得した撮像画像からパノラマ動画像を生成したりする。また、信号処理部２４は、バッファメモリ２６から取得した撮像画像から、部分パノラマ動画像、パン動画像、被写体追尾動画像なども生成する。

バッファメモリ２６は、SDRAM（Synchronous Dynamic Random Access Memory）などからなり、バス２５を介して供給された撮像画像等のデータを一時的に記録する。圧縮伸張部２７は、バス２５を介して供給された画像を所定の方式によりエンコードしたり、デコードしたりする。

ドライブ２８は、バス２５から供給されたパノラマ動画像を記録媒体２９に記録させたり、記録媒体２９に記録されているパノラマ動画像を読み出してバス２５に出力したりする。記録媒体２９は、撮像装置１１に着脱可能な不揮発性のメモリからなり、ドライブ２８の制御に従ってパノラマ動画像を記録する。

表示制御部３０は、バス２５を介して供給されたパノラマ動画像等を表示部３１に供給して表示させる。表示部３１は、例えばLCD（Liquid Crystal Display）などからなり、表示制御部３０の制御に従ってパノラマ動画像等の各種の画像を表示する。

［信号処理部の構成］
また、図３の信号処理部２４は、より詳細には図４に示すように構成される。

すなわち、信号処理部２４は、動き推定部６１、パノラマ動画生成部６２、部分パノラマ動画生成部６３、パン動画生成部６４、および被写体追尾動画生成部６５から構成される。

動き推定部６１は、バス２５を介して供給された、撮像時刻の異なる２つの撮像画像を用いて動き推定（Motion Estimation）を行う。動き推定部６１は、座標算出部７１を備えている。

座標算出部７１は、動き推定の結果に基づいて、２つの撮像画像上の同じ被写体が重なるように、それらの撮像画像を、所定の平面上に並べて配置したときの各撮像画像の相対的な位置関係を示す情報を生成する。具体的には、所定の平面上に２次元のｘｙ座標系をとったときの撮像画像の中心の位置の座標（以下、中心座標と称する）が、撮像画像の相対的な位置関係を示す情報として算出される。

パノラマ動画生成部６２は、バス２５を介して供給された撮像画像および中心座標を用いて、パノラマ動画像を生成する。パノラマ動画生成部６２は、短冊画像生成部７２を備えている。短冊画像生成部７２は、撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して短冊画像とする。パノラマ動画生成部６２は、生成された短冊画像を合成して複数のパノラマ画像を生成することで、パノラマ画像群であるパノラマ動画像を生成する。

ここで、１フレーム分のパノラマ動画像、つまり１つのパノラマ画像は、撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が被写体として表示される画像である。

部分パノラマ動画生成部６３は、バス２５を介して供給された撮像画像および中心座標を用いて、部分パノラマ動画像を生成する。部分パノラマ動画像は、パノラマ動画像上の所定の領域のみが表示される画像である、複数の部分パノラマ画像から構成される。

また、部分パノラマ動画生成部６３は、部分短冊画像生成部７３を備えている。部分短冊画像生成部７３は、撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して部分短冊画像とする。部分パノラマ動画生成部６３は、生成された部分短冊画像を合成して複数の部分パノラマ画像を生成することで、部分パノラマ画像群である部分パノラマ動画像を生成する。

パン動画生成部６４は、バス２５を介して供給された撮像画像および中心座標を用いて、パン動画像を生成する。パン動画像は、撮像画像の撮像時に撮像対象となった撮像空間上の一部の領域が被写体として表示される、複数のパン画像から構成される。各パン画像には、撮像空間上の互いに異なる領域が被写体として含まれている。

また、パン動画生成部６４は、補完部７４およびパン短冊画像生成部７５を備えている。補完部７４は、撮像画像に基づいて、互いに連続して撮像された撮像画像間に、新たな撮像画像を補完する。パン短冊画像生成部７５は、補完された撮像画像の所定の領域を切り出してパン短冊画像とする。パン動画生成部６４は、生成されたパン短冊画像を合成して複数のパン画像を生成することで、パン画像群であるパン動画像を生成する。

被写体追尾動画生成部６５は、バス２５を介して供給された撮像画像および中心座標を用いて、被写体追尾動画像を生成する。被写体追尾動画生成部６５は、特定部７６を備えており、特定部７６は、複数の撮像画像のうち、パノラマ動画像上の指定された動きのある被写体が含まれるものを特定する。被写体追尾動画生成部６５は、特定部７６により特定された撮像画像から、動きのある被写体を切り出すことにより、被写体追尾動画像を生成する。

［動画像再生処理の説明］
次に、図５のフローチャートを参照して、撮像装置１１が撮像画像を撮像してパノラマ動画像等の各種の動画像を生成し、それらの動画像を再生する動画像再生処理について説明する。この動画像再生処理は、ユーザにより操作入力部２１が操作され、パノラマ動画像の生成が指示されると開始される。

ステップＳ１１において、撮像部２２は、図１に示したように撮像装置１１が移動している状態で、被写体を撮像する。これにより、１枚（以下、１フレームと称する）の撮像画像が得られる。撮像部２２で撮像された撮像画像は、撮像部２２から撮像制御部２３を介して信号処理部２４に供給される。

ステップＳ１２において、信号処理部２４は、撮像部２２から供給された撮像画像を、バス２５を介してバッファメモリ２６に供給し、一時的に記録させる。このとき、信号処理部２４は、記録させる撮像画像が何番目に撮像された撮像画像であるかを特定できるように、撮像画像にフレーム番号を付して記録させる。なお、以下、ｎ番目に撮像された撮像画像Ｐ（ｎ）を、フレームｎの撮像画像Ｐ（ｎ）とも称することとする。

ステップＳ１３において、動き推定部６１は、バス２５を介してバッファメモリ２６から現フレームｎと、その直前のフレーム（ｎ−１）の撮像画像を取得し、動き推定により撮像画像の位置合わせを行う。

例えば、直前のステップＳ１２においてバッファメモリ２６に記録された撮像画像が、ｎ番目に撮像された撮像画像Ｐ（ｎ）である場合、動き推定部６１は、現フレームｎの撮像画像Ｐ（ｎ）と、直前のフレーム（ｎ−１）の撮像画像Ｐ（ｎ−１）を取得する。

そして、動き推定部６１は、図６に示すように、撮像画像Ｐ（ｎ）上の９個のブロックBL(n)−1乃至ブロックBR(n)−3と同じ画像が、直前のフレームの撮像画像Ｐ（ｎ−１）上のどの位置にあるかを探索することで、位置合わせを行う。

ここで、ブロックBC(n)−1乃至ブロックBC(n)−3は、撮像画像Ｐ（ｎ）のほぼ中央に位置する図中、縦方向の仮想的な直線である境界CL−n上に、図中縦方向に並んでいる矩形領域である。

また、ブロックBL(n)−1乃至ブロックBL(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの左側に位置する、縦方向の仮想的な直線である境界LL−n上に、図中縦方向に並んでいる矩形領域である。同様に、ブロックBR(n)−1乃至ブロックBR(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの右側に位置する、縦方向の仮想的な直線である境界RL−n上に、図中縦方向に並んでいる矩形領域である。これらの９個のブロックBL(n)−1乃至ブロックBR(n)−3の位置は、予め定められている。

動き推定部６１は、撮像画像Ｐ（ｎ）上の９個の各ブロックについて、そのブロックと同じ形状および大きさである撮像画像Ｐ（ｎ−１）上の領域であって、ブロックとの差分の最も小さい領域（以下、ブロック対応領域と称する）を探索する。ここで、ブロックとの差分は、処理対象のブロック、例えばブロックBL(n)−1と、ブロック対応領域の候補とされている領域との同じ位置の画素の画素値の差分絶対値の和などとされる。

このような動き推定を行うと、理想的には撮像画像Ｐ（ｎ）上のブロックBL(n)−1乃至ブロックBR(n)−3のそれぞれに対して、それらのブロックの相対的な位置関係と同じ位置関係で撮像画像Ｐ（ｎ−１）上に位置するブロック対応領域が得られることになる。

撮像画像Ｐ（ｎ）上の処理対象のブロックに対応する、撮像画像Ｐ（ｎ−１）のブロック対応領域は、撮像画像Ｐ（ｎ−１）上において、処理対象のブロックとの差分が最も小さい領域である。そのため、ブロック対応領域には、処理対象のブロックと同じ画像が表示されているものと推定される。

したがって、ブロックBL(n)−1乃至ブロックBR(n)−3と、対応するブロック対応領域とが重なるように所定平面上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを重ねて並べれば、それらの撮像画像上の同じ被写体が重なるはずである。

しかしながら、実際には、ブロックとブロック対応領域とが全く同じ位置関係とはならないことがある。そのため、より詳細には動き推定部６１は、全てのブロックとブロック対応領域とがほぼ重なるように、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを平面上に並べて、その結果を撮像画像の位置合わせの結果とする。

なお、撮像画像上に動きのある被写体があり、その被写体が撮像画像Ｐ（ｎ）上のブロック内に含まれる場合には、得られた９個のブロック対応領域は、ブロックBL(n)−1乃至ブロックBR(n)−3と同じ位置関係とはならなくなる。

そこで、動き推定部６１は、得られたブロック対応領域のそれぞれの相対的な位置関係が、撮像画像Ｐ（ｎ）上のブロックの相対的な位置関係と異なる場合には、動きのある被写体が含まれると推定されるブロックを除外し、再度、動き推定による位置合わせを行う。つまり、他のブロック対応領域と相対的な位置関係が異なるブロック対応領域が検出され、検出されたブロック対応領域に対応する撮像画像Ｐ（ｎ）上のブロックが処理対象から除外されて、残りのブロックのみが用いられて再度、動き推定が行われる。

具体的には、ブロックBL(n)−1乃至ブロックBR(n)−3が距離ＱＬの間隔で、図６中、縦横等間隔に並んでいるとする。例えば、互いに隣り合うブロックBL(n)−1とブロックBL(n)−2との距離、およびブロックBL(n)−1とブロックBC(n)−1との距離は、ともにＱＬとなる。この場合、動き推定部６１は、各ブロックに対応するブロック対応領域の相対的な位置関係に基づいて、撮像画像Ｐ（ｎ）上の動きのあるブロックを検出する。

すなわち、動き推定部６１は、ブロックBR(n)−3に対応するブロック対応領域と、ブロックBC(n)−3に対応するブロック対応領域など、互いに隣接するブロック対応領域同士の距離ＱＭを求める。

その結果、ブロックBR(n)−2およびブロックBC(n)−3については、それらのブロックに対応するブロック対応領域と、ブロックBR(n)−3に対応するブロック対応領域との距離ＱＭの、距離ＱＬとの差の絶対値が、予め定められた閾値以上であったとする。

また、ブロックBR(n)−2およびブロックBC(n)−3に対応するブロック対応領域と、他の隣接するブロック対応領域（ブロックBR(n)−3のブロック対応領域を除く）との距離ＱＭの、距離ＱＬとの差の絶対値は、予め定められた閾値未満であったとする。

この場合、ブロックBR(n)−3とは異なる他のブロックのブロック対応領域は、各ブロックの相対的な位置関係と同じ位置関係で並んでいる。ところが、ブロックBR(n)−3のブロック対応領域だけは、他のブロック対応領域に対して、各ブロックの位置関係とは異なる位置関係となっている。このような検出結果が得られた場合、動き推定部６１はブロックBR(n)−3に、動きのある被写体が含まれているとする。

なお、動きのあるブロックの検出には、互いに隣接するブロック対応領域同士の距離だけでなく、注目するブロック対応領域の隣接する他のブロック対応領域に対する回転角度などが用いられてもよい。つまり、例えば他のブロック対応領域に対して、所定の角度以上、傾いているブロック対応領域があれば、そのブロック対応領域に対応するブロックに、動きのある被写体が含まれているとされる。

このようにして、動きのあるブロックが検出されると、動き推定部６１は、その動きのあるブロックを除く残りのブロックを用いた動き推定により、再度、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）との位置合わせを行う。

このように、動きのある被写体が含まれるブロックを除外し、動きのない被写体、つまりいわゆる背景のみが含まれるブロックだけを用いて位置合わせを行うことで、より正確に位置合わせを行うことができる。この位置合わせの結果に従って撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）を並べれば、動きのない被写体が重なるように、それらの撮像画像を重ねて並べることができる。

位置合わせが行われると、次に座標算出部７１は、これまでに撮像された撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）を、各フレームの位置合わせの結果に従って所定の平面上、つまりｘｙ座標系上に並べたときの撮像画像Ｐ（ｎ）の中心座標を算出する。

例えば、図７に示すように、撮像画像Ｐ（１）の中心がｘｙ座標系の原点の位置となり、かつ撮像画像に含まれる同じ被写体が重なるように、各撮像画像が並べられる。なお、図中、横方向はｘ方向を示しており、縦方向はｙ方向を示している。また、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）上の各点Ｏ（１）乃至点Ｏ（ｎ）は、それらの撮像画像の中心の位置を示している。

例えば、処理対象の現フレームの撮像画像が撮像画像Ｐ（ｎ）であるとすると、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ−１）のそれぞれの中心の点Ｏ（１）乃至点Ｏ（ｎ−１）の中心座標が既に求められて、バッファメモリ２６に記録されている。

座標算出部７１は、バッファメモリ２６から撮像画像Ｐ（ｎ−１）の中心座標を読み出して、読み出した中心座標と、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）の位置合わせの結果とから、撮像画像Ｐ（ｎ）の中心座標を求める。つまり、点Ｏ（ｎ）のｘ座標およびｙ座標が中心座標として求められる。

図５のフローチャートの説明に戻り、ステップＳ１３において位置合わせが行われ、撮像画像Ｐ（ｎ）の中心座標が求められると、処理はステップＳ１４に進む。

ステップＳ１４において、動き推定部６１は、得られた撮像画像Ｐ（ｎ）の中心座標をバッファメモリ２６に供給し、撮像画像Ｐ（ｎ）と関連付けて記録させる。

ステップＳ１５において、信号処理部２４は、予め定められた所定枚数の撮像画像を撮像したか否かを判定する。例えば、図１に示したように、所定の空間上の領域を、Ｎ回に分けて撮像する場合、Ｎ枚の撮像画像が撮像されたときに、所定枚数の撮像画像を撮像したと判定される。

なお、撮像装置１１にジャイロセンサなど、撮像装置１１が回動した角度を検出できる機器が設けられている場合には、撮像画像を撮像した枚数ではなく、撮像画像の撮像を開始してから撮像装置１１が所定の角度だけ回動したかが判定されるようにしてもよい。この場合であっても、所定の空間上の特定の領域全体が被写体とされて、撮像画像の撮像が行われたか否かを特定することができる。

ステップＳ１５において、まだ所定枚数の撮像画像を撮像していないと判定された場合、処理はステップＳ１１に戻り、次のフレームの撮像画像が撮像される。

これに対して、ステップＳ１５において、所定枚数の撮像画像を撮像したと判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、撮像装置１１は、パノラマ動画像の再生処理を行う。すなわち、信号処理部２４は、バッファメモリ２６から撮像画像および中心座標を取得して、それらの撮像画像および中心座標に基づいて、パノラマ動画像を生成する。また、表示制御部３０は、生成されたパノラマ動画像を再生し、表示部３１にパノラマ動画像を表示させる。なお、パノラマ動画像の再生処理の詳細は後述する。

パノラマ動画像の再生処理が行われると、表示部３１にはパノラマ動画像が表示される。すると、ユーザは、必要に応じて操作入力部２１を操作し、表示されたパノラマ動画像上の所望の位置を指定する等して、各種の動画像の再生を指示する。ユーザによる操作が行われると、その操作に応じた信号が、操作入力部２１から信号処理部２４に供給される。

ステップＳ１７において、信号処理部２４は、操作入力部２１からの信号に基づいて、部分パノラマ動画像の再生が指示されたか否かを判定する。

ステップＳ１７において、部分パノラマ動画像の再生が指示されたと判定された場合、ステップＳ１８において、撮像装置１１は、部分パノラマ動画像の再生処理を行って、動画像再生処理は終了する。

すなわち、バッファメモリ２６に記録されている撮像画像および中心座標に基づいて、部分パノラマ動画像が生成され、生成された部分パノラマ動画像が再生される。なお、部分パノラマ動画像の再生処理の詳細は後述する。

これに対して、ステップＳ１７において、部分パノラマ動画像の再生が指示されなかったと判定された場合、処理はステップＳ１９に進む。

ステップＳ１９において、信号処理部２４は、操作入力部２１からの信号に基づいて、パン動画像の再生が指示されたか否かを判定する。

ステップＳ１９において、パン動画像の再生が指示されたと判定された場合、ステップＳ２０において、撮像装置１１は、パン動画像の再生処理を行って、動画像再生処理は終了する。すなわち、バッファメモリ２６に記録されている撮像画像および中心座標に基づいて、パン動画像が生成され、生成されたパン動画像が再生される。なお、パン動画像の再生処理の詳細は後述する。

一方、ステップＳ１９においてパン動画像の再生が指示されなかったと判定された場合、ステップＳ２１において、信号処理部２４は、操作入力部２１からの信号に基づいて、被写体追尾動画像の再生が指示されたか否かを判定する。

ステップＳ２１において、被写体追尾動画像の再生が指示されたと判定された場合、ステップＳ２２において、撮像装置１１は、被写体追尾動画像の再生処理を行って、動画像再生処理は終了する。すなわち、バッファメモリ２６に記録されている撮像画像および中心座標に基づいて、被写体追尾動画像が生成され、生成された被写体追尾動画像が再生される。なお、被写体追尾動画像の再生処理の詳細は後述する。

また、ステップＳ２１において、被写体追尾動画像の再生が指示されなかったと判定された場合、表示されているパノラマ動画像の再生が終了すると、動画像再生処理は終了する。

このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像を用いてパノラマ動画像を生成し、再生する。また、撮像装置１１は、パノラマ動画像の再生中に、ユーザにより部分パノラマ動画像、パン動画像、または被写体追尾動画像の再生が指示されると、指示された動画像を生成し、再生する。

［パノラマ動画像の再生処理の説明］
次に、図８のフローチャートを参照して、図５のステップＳ１６の処理に対応するパノラマ動画像の再生処理について説明する。

ステップＳ５１において、短冊画像生成部７２は、バッファメモリ２６から、Ｎ枚の撮像画像とその中心座標を取得し、取得した撮像画像および中心座標に基づいて、各撮像画像の所定の領域を切り出して、短冊画像を生成する。

例えば、短冊画像生成部７２は、図９に示すように撮像画像Ｐ（ｎ）上の境界CL−nを基準として定まる領域を、短冊画像Ｔ−ｎとして切り出す。なお、図９にいて図６における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図９では、連続して撮像された撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）が、それらの中心座標に基づいて、同じ被写体が重なるように並べられている。撮像画像Ｐ（ｎ＋１）上の境界CL−（n＋1）は、撮像画像Ｐ（ｎ）における境界CL−nに対応する境界である。つまり、境界CL−nおよび境界CL−（n＋1）は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）上の同じ位置にある図中、縦方向の仮想的な直線である。

また、図中、縦方向の直線である境界ML（C）−nおよび境界MR（C）−nは、撮像画像Ｐ（ｎ）上の境界CL−n近傍にある直線であって、それぞれ境界CL−nの左側および右側に、予め定められた距離だけ離れて位置している。

同様に、図中、縦方向の直線である境界ML（C）−（n＋1）および境界MR（C）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界CL−（n＋1）近傍にある直線であって、それぞれ境界CL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。

例えば、短冊画像生成部７２は、撮像画像Ｐ（ｎ）から短冊画像Ｔ−ｎを切り出す場合、撮像画像Ｐ（ｎ）上における、境界ML（C）−nから、境界MR（C）−（n＋1）の位置までの領域を短冊画像Ｔ−ｎとして切り出す。ここで、撮像画像Ｐ（ｎ）上における境界MR（C）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（C）−（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。

同様に、撮像画像Ｐ（ｎ−１）から短冊画像Ｔ−（ｎ−１）が切り出される場合には、撮像画像Ｐ（ｎ−１）上における、境界ML（C）−（n−1）から、境界MR（C）−nの位置までの領域が短冊画像Ｔ−（ｎ−１）として切り出される。

したがって、短冊画像Ｔ−ｎにおいて、境界ML（C）−nから境界MR（C）−nの位置までの領域の被写体は、短冊画像Ｔ−（n−1）における、境界ML（C）−nから境界MR（C）−nの位置までの領域の被写体と基本的には同じ被写体となる。但し、短冊画像Ｔ−ｎおよび短冊画像Ｔ−（n−1）は、それぞれ撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）から切り出された画像であるので、同じ被写体であっても撮像された時刻は異なる。

同様に、短冊画像Ｔ−ｎにおいて、境界ML（C）−（n＋1）から境界MR（C）−（n＋1）の位置までの領域の被写体は、短冊画像Ｔ−（n＋1）における、境界ML（C）−（n＋1）から境界MR（C）−（n＋1）の位置までの領域の被写体と基本的に同じとなる。

このように、撮像画像から、撮像画像上のほぼ中央の境界を基準として定まる領域を切り出して短冊画像とし、各撮像画像から切り出した短冊画像を並べれば、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が表示されることになる。各撮像画像から得られた短冊画像を並べて合成することで得られる１つの画像が、パノラマ動画像を構成する１フレーム分のパノラマ画像とされる。

ステップＳ５２において、パノラマ動画生成部６２は、短冊画像、および撮像画像の中心座標に基づいて、各フレームの短冊画像を並べて合成し、パノラマ動画像の１フレーム分の画像データ、つまり１つのパノラマ画像を生成する。

パノラマ動画生成部６２は、例えば短冊画像Ｔ−ｎおよび短冊画像Ｔ−（ｎ−１）を合成するにあたり、それらの短冊画像における境界ML（C）−nから境界MR（C）−nの位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値を求める。

つまり、中心座標に基づいて短冊画像Ｔ−ｎおよび短冊画像Ｔ−（ｎ−１）を並べると、それらの短冊画像における境界ML（C）−nから境界MR（C）−nの位置までの領域が互いに重なることになる。パノラマ動画生成部６２は、短冊画像Ｔ−ｎおよび短冊画像Ｔ−（ｎ−１）の互いに重なっている画素の画素値を重み付き加算し、その結果得られた値を、それらの画素に対応する位置のパノラマ画像の画素の画素値とする。

なお、短冊画像Ｔ−ｎと短冊画像Ｔ−（ｎ−１）における、境界ML（C）−nから境界MR（C）−nの位置までの領域の画素の重み付き加算時の重みは、次のような特徴を有するように定められる。

すなわち、境界CL−nから境界MR（C）−nまでの位置の画素については、画素の位置が境界CL−nから境界MR（C）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ−ｎの画素の寄与率がより高くなるようにされる。逆に、境界CL−nから境界ML（C）−nまでの位置の画素については、画素の位置が境界CL−nから境界ML（C）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ−（ｎ−１）の画素の寄与率がより高くなるようにされる。

また、パノラマ画像の生成時において、短冊画像Ｔ−ｎの境界MR（C）−nから境界ML（C）−（n＋1）までの領域は、その領域がそのままパノラマ画像とされる。

さらに、短冊画像Ｔ−ｎと短冊画像Ｔ−（ｎ＋１）との合成時には、それらの短冊画像における境界ML（C）−（n＋1）から境界MR（C）−（n＋1）の位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値が求められる。

すなわち、境界CL−（n＋1）から境界MR（C）−（n＋1）までの位置の画素については、画素の位置が境界CL−（n＋1）から境界MR（C）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ−（ｎ＋１）の画素の寄与率がより高くなるようにされる。逆に、境界CL−（n＋1）から境界ML（C）−（n＋1）までの位置の画素については、画素の位置が境界CL−（n＋1）から境界ML（C）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ−ｎの画素の寄与率がより高くなるようにされる。

このように、短冊画像の合成にあたり、連続するフレームの短冊画像の端近傍の領域を重み付き加算してパノラマ画像の画素の画素値とすることにより、単に短冊画像を並べて１つの画像とする場合と比べて、より自然な画像を得ることができる。

例えば、単に短冊画像を並べてパノラマ画像とする場合、短冊画像の端付近の被写体の輪郭が歪になってしまったり、連続するフレームの短冊画像の明るさが異なると、パノラマ画像の領域ごとに明るさのむらが生じたりする恐れがある。

そこで、パノラマ動画生成部６２では、短冊画像の端近傍の領域を重み付き加算により合成することで、被写体の輪郭が歪になったり、明るさのむらが生じたりすることを防止し、より自然なパノラマ画像を得ることができる。

また、撮像画像の位置合わせ時に、動き推定部６１が撮像画像に基づいて、撮像部２２を構成する光学レンズによるレンズ歪みを検出しておき、短冊画像の合成時に、短冊画像生成部７２が、レンズ歪みの検出結果を用いて短冊画像を補正するようにしてもよい。すなわち、レンズ歪みの検出結果に基づいて、短冊画像に生じた歪みが画像処理により補正される。

以上のようにして得られた１フレーム分のパノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全撮像範囲の領域が被写体として表示される画像である。パノラマ動画生成部６２は、１フレーム分のパノラマ動画像を生成すると、生成したパノラマ動画像の画像データを、バス２５を介して圧縮伸張部２７に供給する。

ステップＳ５３において、圧縮伸張部２７は、パノラマ動画生成部６２から供給されたパノラマ動画像の画像データを、例えばJPEG（Joint Photographic Experts Group）方式でエンコードし、バス２５を介してドライブ２８に供給する。

ドライブ２８は、圧縮伸張部２７からのパノラマ動画像の画像データを記録媒体２９に供給し、記録させる。画像データの記録時においては、画像データには、パノラマ動画生成部６２によりフレーム番号が付与される。

ステップＳ５４において、信号処理部２４は、予め定められた所定フレーム分だけパノラマ動画像の画像データを生成したか否かを判定する。例えば、Ｍフレームの画像データからなるパノラマ動画像が生成されると定められている場合には、Ｍフレーム分の画像データが得られたときに、所定フレーム分のパノラマ動画像を生成したと判定される。

ステップＳ５４において、まだ所定フレーム分のパノラマ動画像を生成していないと判定された場合、処理はステップＳ５１に戻り、パノラマ動画像の次のフレームの画像データが生成される。

例えば、パノラマ動画像の１フレーム目の画像データが生成される場合、図９を参照して説明したように、撮像画像Ｐ（ｎ）の境界ML（C）−nから、境界MR（C）−（n＋1）の位置までの領域が切り出されて撮像画像Ｐ（ｎ）の短冊画像Ｔ−ｎとされる。

そして、パノラマ動画像の２フレーム目以降の画像データが生成される場合、撮像画像Ｐ（ｎ）からの短冊画像Ｔ−ｎの切り出し位置が、境界CL−nから境界CL−（n＋1）までの幅ＣＷの分ずつ図９中、左方向にずらされていく。

つまり、パノラマ動画像のｍフレーム目の短冊画像Ｔ−ｎを、短冊画像Ｔ（ｍ）−ｎ（但し、１≦ｍ≦Ｍ）とする。この場合、ｍフレーム目の短冊画像Ｔ（ｍ）−ｎの切り出し位置は、短冊画像Ｔ（１）−ｎの切り出し位置から図９中、左側に幅ＣＷの（ｍ−１）倍の距離だけずれた位置とされる。

したがって、例えば２フレーム目の短冊画像Ｔ（２）−ｎが切り出される領域は、撮像画像Ｐ（ｎ）上の図９における短冊画像Ｔ−ｎと同じ形状および大きさの領域であって、その右端の位置が境界MR（C）−nの位置となる領域とされる。

ここで、短冊画像の切り出し領域がずらされる方向は、撮像画像の撮像時に撮像装置１１を回動させる方向に応じて、予め定められる。例えば、図９の例においては、所定のフレームの撮像画像の中心位置に対して、その次のフレームの撮像画像の中心位置が、常に図中、右側に位置するように、撮像装置１１が回動されることが前提とされている。すなわち、図９の例においては、撮像装置１１の撮像時の移動方向が、図中、右方向（ｘ方向）であることが前提とされている。

撮像装置１１の移動に伴う撮像画像の中心位置の移動の方向と反対方向に、短冊画像の切り出し位置をフレームごとにずらしていけば、パノラマ動画像を構成する各パノラマ画像において、動きのない同じ被写体は、同じ位置に表示されることになるからである。

このように、短冊画像の切り出し位置をフレームごとにずらしながら、パノラマ動画像の各フレームの画像データを生成すると、例えば図１０に示すようなパノラマ動画像が得られる。なお、図１０において図中、横方向は図９における横方向に対応している。例えば、図１０における横方向はｘｙ座標系のｘ方向に対応する。

図１０の例では、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像Ｔ（１）−１乃至短冊画像Ｔ（１）−Ｎが生成され、それらの短冊画像が合成されてパノラマ画像Ｗ（１）が得られる。

同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像Ｔ（２）−１乃至短冊画像Ｔ（２）−Ｎが生成され、それらの短冊画像が合成されてパノラマ画像Ｗ（２）が得られる。

ここで、パノラマ画像Ｗ（１）およびパノラマ画像Ｗ（２）は、それぞれパノラマ動画像の１フレーム目および２フレーム目を構成する画像である。また、例えば撮像画像Ｐ（２）における短冊画像Ｔ（２）−２の切り出し領域は、短冊画像Ｔ（１）−２の切り出し領域を図中、左側に幅ＣＷだけずらした位置の領域とされる。この幅ＣＷの大きさは、撮像画像のフレームごとに変化する。さらに、例えば短冊画像Ｔ（１）−１と短冊画像Ｔ（２）−２とには、異なる時刻の同じ被写体が表示されることになる。

したがって、パノラマ画像Ｗ（１）とパノラマ画像Ｗ（２）には、異なる時刻の同じ被写体が表示されることになる。また、１フレーム分のパノラマ動画像は、異なる複数のフレームの撮像画像から得られた短冊画像が合成されて生成されるため、１つのパノラマ画像であっても、各領域に表示される被写体は、それぞれ撮像された時刻が異なる。

なお、より詳細には、各パノラマ画像の端の部分は、撮像画像Ｐ（１）および撮像画像Ｐ（Ｎ）が用いられて生成される。例えば、パノラマ画像Ｗ（１）の図中、左端の部分は、撮像画像Ｐ（１）の左端から短冊画像Ｔ（１）−１の右端の部分の画像とされる。

図８のフローチャートの説明に戻り、ステップＳ５４において、所定フレーム分のパノラマ動画像を生成したと判定された場合、信号処理部２４は、ドライブ２８を介して記録媒体２９からパノラマ動画像を構成する各フレームのパノラマ画像を読み出す。そして、信号処理部２４は、読み出したパノラマ画像を圧縮伸張部２７に供給してデコードを指示し、処理はステップＳ５５に進む。

ステップＳ５５において、圧縮伸張部２７は信号処理部２４から供給されたパノラマ動画像の画像データ、つまり各パノラマ画像を、例えばJPEG方式でデコードし、信号処理部２４に供給する。

ステップＳ５６において、信号処理部２４は、圧縮伸張部２７からのパノラマ動画像に対して強調表示処理を施す。

すなわち、信号処理部２４は、パノラマ動画像を構成する各パノラマ画像について、連続するフレームのパノラマ画像同士の差分を求めて、パノラマ画像上から動きのある被写体が表示されている領域を検出する。ここで、フレーム間の差分は、パノラマ画像の領域ごとに、パノラマ画像の画素の画素値の差分を求めることにより求められる。

そして、信号処理部２４は、パノラマ画像上の動きのある被写体が検出された領域が、他の領域とは異なる表示形式で強調して表示されるように、パノラマ画像を加工する。例えば、パノラマ動画像の再生時に、動きのある被写体の部分が、赤色などの特定の色で表示されたり、動きのある被写体が赤色の枠で囲まれたりするように、パノラマ画像が加工される。

このように、パノラマ動画像に強調表示処理を施すことで、パノラマ動画像の再生時において、ユーザは容易に動きのある部分を知ることができる。

ステップＳ５７において、信号処理部２４は、強調表示処理されたパノラマ動画像を構成する、各フレームのパノラマ画像を予め定められた大きさに縮小する。例えば、パノラマ画像全体が、表示部３１の表示画面上に表示しきれる大きさとなるように、縮小処理が行われる。

信号処理部２４は、パノラマ動画像を縮小すると、縮小されたパノラマ動画像を表示制御部３０に供給する。なお、縮小されたパノラマ動画像も記録媒体２９に供給されて記録されるようにしてもよい。

ステップＳ５８において、表示制御部３０は、信号処理部２４からのパノラマ動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０はパノラマ動画像を構成するパノラマ画像を、所定の時間間隔で、それらのパノラマ画像に付与されたフレーム番号の順番に表示させる。

これにより、表示部３１には、パノラマ動画像の各フレームが、所定の時間間隔で順番に表示される。つまり、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間の領域の全体を被写体とする動画像が表示される。このようにして表示されるパノラマ動画像の各フレームを構成するパノラマ画像自体は静止画像であるが、同じ空間上の領域が被写体とされるため、パノラマ動画像の各領域に表示される個々の被写体は、動きを持つことになる。パノラマ動画像が表示されると、パノラマ動画像の再生処理は終了し、その後、処理は図５のステップＳ１７に進む。

このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像のそれぞれから、切り出し領域をずらしながら複数の短冊画像を生成し、切り出した位置ごとに短冊画像を合成して、パノラマ動画像の各フレームを構成するパノラマ画像を生成する。

このようにして生成されたパノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるので、撮像された被写体の画像をより効果的に表示することができる。しかも、１つのパノラマ画像上の各領域の被写体は、それぞれ異なる時刻のものとなるので、より面白味のある画像を提示することができる。つまり、撮像された被写体をさらに効果的に表示することができる。

なお、以上においては、Ｎ枚の撮像画像を撮像し、一旦、全ての撮像画像をバッファメモリ２６に記録させてから、それらの撮像画像を用いてパノラマ動画像を生成すると説明したが、撮像画像の撮像を行いながら、同時にパノラマ動画像の生成を行ってもよい。

また、一旦、パノラマ動画像を生成してから、そのパノラマ動画像を縮小すると説明したが、撮像画像から直接、縮小されたパノラマ動画像を生成するようにしてもよい。この場合、パノラマ動画像を再生するまでの処理量をより少なくすることができるので、より迅速にパノラマ動画像を表示させることができる。さらに、パーソナルコンピュータ等の装置に、撮像画像からパノラマ動画像を生成する機能を設け、カメラにより撮像された撮像画像からパノラマ動画像を生成させるようにしてもよい。

［部分パノラマ動画像の再生処理の説明］
次に、図１１のフローチャートを参照して、図５のステップＳ１８の処理に対応する部分パノラマ動画像の再生処理について説明する。この部分パノラマ動画像の再生処理は、ユーザによりパノラマ動画像上の所定の位置が指定され、部分パノラマ動画像の再生が指示されると開始される。

ステップＳ８１において、部分パノラマ動画生成部６３は、操作入力部２１からの信号に基づいて、バッファメモリ２６に記録されている撮像画像のなかから、処理対象となる撮像画像を特定する。

すなわち、部分パノラマ動画生成部６３は、パノラマ画像上における、ユーザにより指定された位置を中心とする所定の大きさの領域を定める。例えば、図２の領域ＢＰが定められる。なお、この領域ＢＰの大きさは、ユーザにより指定された拡大表示の倍率などにより定められてもよい。

そして、部分パノラマ動画生成部６３は、ｘｙ座標系上における撮像画像Ｐ（ｎ）の境界ML（C）−nのｘ座標が、定めた領域ＢＰの図２中、左端の位置に対応するｘｙ座標系上の位置となるフレームｎを特定する。また、部分パノラマ動画生成部６３は、フレームｎと、領域ＢＰの位置およびｘ方向の長さとから定まるフレーム（ｎ＋α）を特定する。

そして、部分パノラマ動画生成部６３は、フレームｎからフレーム（ｎ＋α）までの撮像画像を処理対象の撮像画像とする。これらの撮像画像は、パノラマ画像上の領域ＢＰが表示される動画像の生成に必要とされる撮像画像である。なお、領域ＢＰ内の被写体が表示される全ての撮像画像が処理対象とされ、それらの処理対象の撮像画像から部分パノラマ動画像が生成されてもよい。

ステップＳ８２において、部分短冊画像生成部７３は、バッファメモリ２６に記録されている処理対象とされた撮像画像と、それらの撮像画像の中心座標とに基づいて、撮像画像の所定の領域を切り出して、部分短冊画像を生成する。

例えば、１フレーム目の部分パノラマ画像の生成に用いられる部分短冊画像として、フレームｎの撮像画像Ｐ（ｎ）からは、図９の短冊画像Ｔ−ｎの一部の領域が切り出される。具体的には、部分短冊画像の図９中、横方向の幅は短冊画像Ｔ−ｎと同じとされ、部分短冊画像の縦方向の端のそれぞれの、短冊画像Ｔ−ｎの図中、上下の端からの距離は、ｘｙ座標系上の領域ＢＰの位置および大きさにより定まる。

ステップＳ８３において、部分パノラマ動画生成部６３は、部分短冊画像、および撮像画像の中心座標に基づいて部分短冊画像を並べて合成し、部分パノラマ動画像の１フレーム分の画像データ、つまり部分パノラマ画像を生成する。

各部分短冊画像の合成時においては、短冊画像の合成時と同様に、互いに隣接する部分短冊画像の端の部分が重み付き加算されて、部分パノラマ画像の画素の画素値が求められる。なお、１フレーム分の部分パノラマ画像の生成には、処理対象の全てのフレームの撮像画像が用いられる訳ではなく、部分パノラマ画像の大きさにより定まる数の連続するフレームの撮像画像だけが用いられる。

ステップＳ８４において、部分パノラマ動画生成部６３は、所定フレーム分だけ部分パノラマ動画像の画像データを生成したか否かを判定する。ステップＳ８４において、まだ所定フレーム分の部分パノラマ動画像を生成していないと判定された場合、処理はステップＳ８２に戻り、部分パノラマ動画像の次のフレームの画像データが生成される。

部分パノラマ動画像の２フレーム目以降の画像データが生成される場合、パノラマ動画像の場合と同様に、撮像画像からの部分短冊画像の切り出し位置がずらされていく。なお、部分短冊画像の切り出し位置がずらされる方向および幅は、短冊画像の切り出し位置がずらされる方向および幅ＣＷと同じとされる。

このように、部分短冊画像の切り出し位置をフレームごとにずらしながら、部分パノラマ動画像の各フレームの画像データを生成すると、例えば図１２に示すような部分パノラマ動画像が得られる。

なお、図１２中、図２における場合と対応する部分には同じ符号を付してあり、その説明は適宜省略する。また、図１２において図中、横方向は図９における横方向に対応している。例えば、図１２における横方向はｘｙ座標系のｘ方向に対応する。

図１２の例では、３枚の撮像画像Ｐ（ｎ）乃至撮像画像Ｐ（ｎ＋２）から、部分短冊画像ＰＴ（１）−１乃至部分短冊画像ＰＴ（１）−３が生成され、それらの部分短冊画像が合成されて部分パノラマ画像ＰＷ（１）が得られる。

同様に、３枚の撮像画像Ｐ（ｎ＋１）乃至撮像画像Ｐ（ｎ＋３）から、部分短冊画像ＰＴ（２）−１乃至部分短冊画像ＰＴ（２）−３が生成され、それらの部分短冊画像が合成されて部分パノラマ画像ＰＷ（２）が得られる。また、３枚の撮像画像Ｐ（ｎ＋２）乃至撮像画像Ｐ（ｎ＋４）から、部分短冊画像ＰＴ（３）−１乃至部分短冊画像ＰＴ（３）−３が生成され、それらの部分短冊画像が合成されて部分パノラマ画像ＰＷ（３）が得られる。

ここで、部分パノラマ画像ＰＷ（１）乃至部分パノラマ画像ＰＷ（３）は、それぞれ部分パノラマ動画像の１フレーム目乃至３フレーム目を構成する画像である。また、例えば撮像画像Ｐ（ｎ＋１）における部分短冊画像ＰＴ（２）−１の切り出し領域は、部分短冊画像ＰＴ（１）−２の切り出し領域を図中、左側に幅ＣＷだけずらした位置の領域とされる。

さらに、例えば部分短冊画像ＰＴ（１）−１乃至部分短冊画像ＰＴ（３）−１には、それぞれ異なる時刻の同じ被写体が表示されることになる。

このようにして得られた部分パノラマ画像ＰＷ（１）乃至部分パノラマ画像ＰＷ（３）には、パノラマ動画像ＰＭＶ上の領域ＢＰに含まれる被写体、つまり撮像空間上の同じ領域が表示され、各部分パノラマ画像上の被写体は、撮像時刻の異なるものとなる。

図１１のフローチャートの説明に戻り、ステップＳ８４において所定フレーム分の部分パノラマ動画像が生成されたと判定された場合、部分パノラマ動画生成部６３は、生成された部分パノラマ動画像を表示制御部３０に供給する。そして、その後、処理はステップＳ８５に進む。

ステップＳ８５において、表示制御部３０は、部分パノラマ動画生成部６３からの部分パノラマ動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０は部分パノラマ動画像を構成する部分パノラマ画像を、所定の時間間隔で順番に表示させる。

これにより、表示部３１には、パノラマ動画像上においてユーザに指定された領域の動画像、つまり撮像画像の撮像時に撮像対象となった撮像空間の特定の領域を被写体とする動画像が表示される。したがって、ユーザは、部分パノラマ画像を表示させることで、パノラマ動画像上の注目する領域を拡大表示させ、その領域をより詳細に観察することができるようになる。部分パノラマ動画像が再生されると、部分パノラマ動画像の再生処理は終了し、その後、図５の動画像再生処理も終了する。

このようにして、撮像装置１１は、撮像画像から、切り出し領域をずらしながら複数の部分短冊画像を生成して合成し、部分パノラマ動画像の各フレームを構成する部分パノラマ画像を生成する。

このようにして生成された部分パノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるので、撮像された被写体の画像をより効果的に表示することができる。

なお、撮像画像から部分パノラマ動画像を生成すると説明したが、既に生成された縮小前のパノラマ動画像の各フレームのパノラマ画像から、領域ＢＰの画像が切り出されて、各フレームの部分パノラマ画像とされてもよい。

［パン動画像の再生処理の説明］
次に、図１３のフローチャートを参照して、図５のステップＳ２０の処理に対応するパン動画像の再生処理について説明する。このパン動画像の再生処理は、ユーザによりパノラマ動画像上の所定の位置が指定され、パン動画像の再生が指示されると開始される。

ステップＳ１１１において、パン動画生成部６４は、操作入力部２１からの信号に基づいて、バッファメモリ２６に記録されている撮像画像のなかから、処理対象となる撮像画像を特定する。

すなわち、パン動画生成部６４は、ユーザにより指定されたパノラマ画像上の位置を中心とする所定の大きさの領域を定め、その領域のｘ方向の一方の端に対応するｘｙ座標系上の位置（ｘ座標）が、境界ML（C）−nの位置となるフレームｎを特定する。ここで、領域の一方の端とは、パノラマ画像上において、撮像装置１１の移動方向とは反対の方向側の端、例えば、図２の左側の端をいう。パン動画生成部６４は、特定されたフレームｎからフレーム（ｎ＋β）までの撮像画像を処理対象とする。例えばβは、１つのパン画像として表示させるパノラマ画像上の領域の大きさなどから定められる。

ステップＳ１１２において、補完部７４は、処理対象とされたフレームの撮像画像をバッファメモリ２６から読み出して、読み出した撮像画像を補完する。すなわち、連続するフレーム間に、予め定められた数の撮像画像が補完される。

例えば、図１４に示すように、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）との間に、Ｒ枚の新たな撮像画像Ｐｎ（１）乃至撮像画像Ｐｎ（Ｒ）が補完により挿入されるとする。図１４では、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）とが中心座標に基づいて、ｘｙ座標系上に並べて配置されている。また、図１４の例では、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）の中心座標のｙ座標は同じであるものとする。

いま、撮像画像Ｐ（ｎ）の中心から、撮像画像Ｐ（ｎ＋１）の中心までの距離がΔＯ（ｎ）であるとする。また、補完される撮像画像のうち、フレームｎからｒ番目（但し、１≦ｒ≦Ｒ）に補完されるフレームの撮像画像が撮像画像Ｐｎ（ｒ）とする。この場合、撮像画像Ｐ（ｎ）の図中、左端から（ΔＯ（ｎ）×ｒ）／（Ｒ＋１）だけ離れた位置から、撮像画像Ｐ（ｎ）の右端までの撮像画像Ｐ（ｎ）の領域が、そのまま撮像画像Ｐｎ（ｒ）とされる。

すなわち、図中、撮像画像Ｐ（ｎ）の左端から、撮像画像Ｐ（ｎ＋１）の左端までの位置が（Ｒ＋１）等分される。そして、等分された位置のそれぞれから、撮像画像Ｐ（ｎ）の図中、右端の位置までの撮像画像Ｐ（ｎ）の領域のそれぞれが、そのまま撮像画像Ｐｎ（１）乃至撮像画像Ｐｎ（Ｒ）とされる。

また、撮像画像Ｐｎ（ｒ）は、ｘｙ座標系においても、撮像画像Ｐｎ（ｒ）とされる撮像画像Ｐ（ｎ）の領域と重なるように配置される。なお、撮像画像Ｐｎ（ｒ）の中心座標は、撮像画像Ｐ（ｎ）の中心座標のｘ座標に、（ΔＯ（ｎ）×ｒ）／（Ｒ＋１）が加算されたものとされる。

このように、撮像画像を補完することにより、実質的にパン動画像のフレームレートを高くすることができる。これにより、パン動画像上の被写体がより滑らかに動くようにすることができ、パン動画像の品質を向上させることができる。

図１３のフローチャートの説明に戻り、処理対象の撮像画像が補完されると、パン動画生成部６４は、補完後の撮像画像のそれぞれに、フレーム番号を付与し直す。

ステップＳ１１３において、パン短冊画像生成部７５は、補完された処理対象の撮像画像と、それらの撮像画像の中心座標とに基づいて、撮像画像の所定の領域を切り出して、パン短冊画像を生成する。

例えば、パン動画像の１フレーム目の生成に用いられるパン短冊画像として、フレームｎの撮像画像Ｐ（ｎ）からは、図９の短冊画像Ｔ−ｎの一部の領域が切り出される。具体的には、図９中、パン短冊画像とされる領域の横方向の幅は短冊画像Ｔ−ｎと同じとされる。また、パン短冊画像の縦方向の端のそれぞれの、短冊画像Ｔ−ｎの図９中、上下の端からの距離は、パノラマ画像上における、パン動画像として表示させようとする領域の位置および大きさにより定まる。

ステップＳ１１４において、パン動画生成部６４は、パン短冊画像、および撮像画像の中心座標に基づいてパン短冊画像を並べて合成し、パン動画像の１フレーム分の画像データ、つまり１つのパン画像を生成する。

各パン短冊画像の合成時においては、短冊画像の合成時と同様に、互いに隣接するパン短冊画像の端の部分が重み付き加算されて、パン画像の画素の画素値が求められる。

ステップＳ１１５において、パン動画生成部６４は、所定フレーム分だけパン動画像の画像データを生成したか否かを判定する。ステップＳ１１５において、まだ所定フレーム分のパン動画像を生成していないと判定された場合、処理はステップＳ１１３に戻り、パン動画像の次のフレームの画像データが生成される。

パン動画像の２フレーム目以降の画像データが生成される場合、パノラマ動画像の場合と同様に、撮像画像からのパン短冊画像の切り出し位置がずらされていく。但し、パン短冊画像の切り出し位置がずらされる幅は、短冊画像の切り出し位置がずらされる幅ＣＷと同じとされるが、パン短冊画像の切り出し位置がずらされる方向は、短冊画像の切り出し位置がずらされる方向とは反対方向となる。

このように、パン短冊画像の切り出し位置をフレームごとにずらしながら、パン動画像の各フレームの画像データを生成すると、例えば図１５に示すようなパン動画像が得られる。

なお、図１５において図中、横方向は図９における横方向に対応している。例えば、図１５における横方向はｘｙ座標系のｘ方向に対応する。

図１５の例では、３枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（３）から、パン短冊画像ＤＴ（１）−１乃至パン冊画像ＤＴ（１）−３が生成され、それらのパン短冊画像が合成されてパン画像ＰＤ（１）が得られる。

同様に、３枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（３）から、パン短冊画像ＤＴ（２）−１乃至パン冊画像ＤＴ（２）−３が生成され、それらのパン短冊画像が合成されてパン画像ＰＤ（２）が得られる。また、３枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（３）から、パン短冊画像ＤＴ（３）−１乃至パン冊画像ＤＴ（３）−３が生成され、それらのパン短冊画像が合成されてパン画像ＰＤ（３）が得られる。

ここで、パン画像ＰＤ（１）乃至パン画像ＰＤ（３）は、それぞれパン動画像の１フレーム目乃至３フレーム目を構成する画像である。また、例えば撮像画像Ｐ（１）におけるパン短冊画像ＤＴ（２）−１の切り出し領域は、パン短冊画像ＤＴ（１）−１の切り出し領域を図中、右側に幅ＣＷだけずらした位置の領域とされる。

さらに、例えばパン短冊画像ＤＴ（３）−１乃至パン短冊画像ＤＴ（１）−３には、それぞれ異なる時刻の同じ被写体が表示されることになる。

このようにして得られたパン画像ＰＤ（１）乃至パン画像ＰＤ（３）には、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の特定の範囲の領域の一部が表示される。また、各パン画像で被写体として表示される撮像空間上の領域の位置は、パン動画像のフレームごとに、撮像装置１１が撮像時に回動される方向にずれていくことになる。

図１３のフローチャートの説明に戻り、ステップＳ１１５において、所定フレーム分のパン動画像が生成されたと判定された場合、パン動画生成部６４は、生成されたパン動画像を表示制御部３０に供給する。そして、その後、処理はステップＳ１１６に進む。

ステップＳ１１６において、表示制御部３０は、パン動画生成部６４からのパン動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０はパン動画像を構成するパン画像を、所定の時間間隔で順番に表示させる。

これにより、表示部３１には、パノラマ動画像上の所定範囲の各領域が、ユーザに指定された領域から、特定方向（撮像装置１１の移動方向）にパンされながら表示される。すなわち、撮像画像の撮像時に撮像対象となった撮像空間上の所定範囲内の各領域が、その所定範囲の領域の一方の端から、他方の端までスクロールされながら順番に表示される動画像が再生される。パン動画像が再生されると、パン動画像の再生処理は終了し、その後、図５の動画像再生処理も終了する。

このようにして、撮像装置１１は、撮像画像から、切り出し領域をずらしながら複数のパン短冊画像を生成して合成し、パン動画像の各フレームを構成するパン画像を生成する。このようにして生成されたパン動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるので、撮像された被写体の画像をより効果的に表示することができる。さらに、被写体となる領域がパンされながら表示されるので、より面白味のある動画像を提示することができる。

［被写体追尾動画像の再生処理の説明］
次に、図１６のフローチャートを参照して、図５のステップＳ２２の処理に対応する被写体追尾動画像の再生処理について説明する。この被写体追尾動画像の再生処理は、ユーザによりパノラマ動画像上の動きのある被写体が指定され、被写体追尾動画像の再生が指示されると開始される。

ステップＳ１４１において、被写体追尾動画生成部６５の特定部７６は、操作入力部２１からの信号に基づいて、バッファメモリ２６に記録されている撮像画像のなかから、処理対象となる撮像画像を特定する。

例えば、特定部７６は、表示されているパノラマ動画像を用いて、バッファメモリ２６に記録されている撮像画像のうち、ユーザにより指定された被写体が含まれる撮像画像を処理対象とする。この処理対象とされる撮像画像は、複数の連続したフレームの撮像画像である。例えば、指定された被写体が含まれる撮像画像の検出は、撮像画像の各領域と、パノラマ動画像上の指定された被写体が含まれる領域との差分を求めることにより、行われる。

ステップＳ１４２において、被写体追尾動画生成部６５は、処理対象とされた撮像画像のうちの１つを選択する。具体的には、まだ選択されていない処理対象の撮像画像のうち、最もフレーム番号の古い撮像画像が選択される。

ステップＳ１４３において、被写体追尾動画生成部６５は、選択した撮像画像から、ユーザにより指定された被写体を含む領域を切り出して、切り出した領域を切り出し画像とする。

例えば、撮像画像において、指定された被写体の重心の位置を中心とし、被写体全体を囲む領域の画像が、切り出し画像とされる。したがって、切り出し画像には、指定された被写体が丁度収まっており、切り出し画像の中心に、被写体の重心が位置することになる。このように、被写体の重心位置を中心とする領域を切り出して切り出し画像とすることにより、被写体追尾動画像の再生時において、常に被写体を画面のほぼ中央に表示させることができるようになる。

ステップＳ１４４において、被写体追尾動画生成部６５は、必要に応じて、生成された切り出し画像に対して拡大縮小処理を施し、切り出し画像を所定の大きさの画像とする。すなわち、切り出し画像全体が、予め定められた大きさとなるように、切り出し画像が拡大または縮小される。

これは、撮像画像のフレームによって、撮像空間上における指定された被写体と、撮像装置１１との距離が変わるため、撮像画像から生成される切り出し画像の大きさが、常に同じ大きさとはならないからである。

ステップＳ１４５において、被写体追尾動画生成部６５は、処理対象の全ての撮像画像を処理したか否か、つまり全ての撮像画像から切り出し画像を生成したか否かを判定する。

ステップＳ１４５において、まだ全ての撮像画像を処理していないと判定された場合、処理はステップＳ１４２に戻り、上述した処理が繰り返される。すなわち、次の撮像画像が選択されて、その撮像画像から切り出し画像が生成される。

これに対して、ステップＳ１４５において、全ての撮像画像を処理したと判定された場合、被写体追尾動画生成部６５は、得られた切り出し画像からなる画像群を被写体追尾動画像として、表示制御部３０に供給する。表示制御部３０に被写体追尾動画像が供給されると、その後、処理はステップＳ１４６に進む。

ステップＳ１４６において、表示制御部３０は、被写体追尾動画生成部６５からの被写体追尾動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０は被写体追尾動画像を構成する切り出し画像を、所定の時間間隔で順番に表示させる。

これにより、表示部３１には、パノラマ動画像上の動きのある所定の被写体が拡大表示される。被写体追尾動画像は、動きのある被写体が常に画面の中央に表示される動画像であるので、ユーザは、被写体追尾動画像を表示させることで、パノラマ動画像上の注目する被写体を拡大表示させ、その被写体をより詳細に観察することができるようになる。

被写体追尾動画像が再生されると、被写体追尾動画像の再生処理は終了し、その後、図５の動画像再生処理も終了する。

このようにして、撮像装置１１は、撮像画像から被写体の領域を切り出して、被写体追尾動画像を構成する各フレームの切り出し画像を生成する。このようにして生成された被写体追尾動画像によれば、パノラマ動画像上の注目する被写体を拡大して、より詳細に観察することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮像装置， ２２ 撮像部， ２４ 信号処理部， ６１ 動き推定部， ６２ パノラマ動画生成部， ６３ 部分パノラマ動画生成部， ６４ パン動画生成部， ６５ 被写体追尾動画生成部， ７１ 座標算出部， ７２ 短冊画像生成部

Claims (10)

1. 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、
   複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成手段と、
   複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成手段と
   を備え、
   前記短冊画像生成手段は、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成し、
   前記パノラマ画像生成手段は、前記領域の位置ごとに前記パノラマ画像を生成することで、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の領域が表示される複数の前記パノラマ画像からなる画像群を生成する
   画像処理装置。
2. 複数の前記パノラマ画像のそれぞれには、前記撮像空間上の同じ領域が表示される
   請求項１に記載の画像処理装置。
3. 複数の前記パノラマ画像を所定の時間間隔で順番に表示させる表示制御手段をさらに備える
   請求項２に記載の画像処理装置。
4. 前記パノラマ画像上の動きのある被写体が指定された場合、複数の前記撮像画像のうち、前記動きのある被写体が含まれる前記撮像画像を特定する特定手段と、
   前記特定手段により特定された複数の前記撮像画像のそれぞれについて、前記撮像画像から、前記動きのある被写体が含まれる領域を切り出して切り出し画像とすることで、複数の切り出し画像群を生成する切り出し画像生成手段と
   をさらに備え、
   前記表示制御手段は、複数の前記切り出し画像を所定の時間間隔で順番に表示させる
   請求項３に記載の画像処理装置。
5. 連続して表示される前記パノラマ画像に基づいて、前記パノラマ画像から動きのある被写体を検出する検出手段をさらに備え、
   前記表示制御手段は、複数の前記パノラマ画像を順番に表示させる場合、前記パノラマ画像における前記動きのある被写体の含まれる領域を、他の領域とは異なる表示形式で表示させる
   請求項４に記載の画像処理装置。
6. 複数の前記パノラマ画像は、それらの前記パノラマ画像を順番に表示させた場合に、前記撮像空間上の所定範囲内の各領域が、前記所定範囲の領域の一方の端から他方の端まで順番に表示される画像である
   請求項１に記載の画像処理装置。
7. 前記位置情報生成手段は、前記撮像画像上の予め定められた複数のブロック領域を用いて、前記撮像画像よりも前の時刻に撮像された撮像画像から、複数の前記ブロック領域と対応するブロック対応領域のそれぞれを探索することにより、前記位置情報を生成する
   請求項１に記載の画像処理装置。
8. 前記位置情報生成手段は、複数の前記ブロック領域の相対的な位置関係と、複数の前記ブロック対応領域の相対的な位置関係とに基づいて、動きのある被写体が含まれる前記ブロック領域を検出し、前記動きのある被写体が含まれる前記ブロック領域が検出された場合、複数の前記ブロック領域のうち、検出された前記ブロック領域とは異なる前記ブロック領域を用いて前記ブロック対応領域を探索することにより、前記位置情報を生成する
   請求項７に記載の画像処理装置。
9. 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、
   複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成手段と、
   複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成手段と
   を備える画像処理装置の画像処理方法であって、
   前記位置情報生成手段が、複数の前記撮像画像から前記位置情報を生成し、
   前記短冊画像生成手段が、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成し、
   前記パノラマ画像生成手段が、前記領域の位置ごとに前記パノラマ画像を生成することで、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の領域が表示される複数の前記パノラマ画像からなる画像群を生成する
   ステップを含む画像処理方法。
10. 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成ステップと、
    複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成ステップと、
    複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成ステップと
    を含む処理をコンピュータに実行させ、
    前記短冊画像生成ステップにおいて、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成させ、
    前記パノラマ画像生成ステップにおいて、前記領域の位置ごとに前記パノラマ画像を生成することで、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の領域が表示される複数の前記パノラマ画像からなる画像群を生成させる
    プログラム。

Images