JP2014099820A - 画像撮影装置、画像撮影方法 - Google Patents

Abstract

【課題】 同一の被写体が重複して写り込まないパノラマ画像を効率的に生成する画像撮影装置、画像撮影方法を提供することにある。
【解決手段】 撮影方向を変更しながら順次、撮影した複数の撮影画像を合成してパノラマ画像を生成する画像撮影装置において、ｎ（ｎ≧３）回目の撮影時に、ｎ−２回目からｎ−１回目に撮影画像に新たに追加された第１の差分画像と、ｎ回目の撮影画像の第１の差分画像と同じ領域の第２の差分画像との間の各画素の撮影画像内における位置の距離を示す第１の動き量を検出する検出手段と、第２の差分画像の各画素について、第１の動き量が、ｎ−１回とｎ回間の撮影方向の変更に対応する第２の動き量と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込まない合成手段と、を有し、検出手段及び合成手段が、ｎ回目の撮影時の処理を繰り返す。
【選択図】図２

Description

本発明は、画像撮影装置、画像撮影方法に関する。

デジタルカメラなどで撮像した複数の画像を合成することによって、パノラマ画像を生成する手法が知られている（例えば、特許文献１、２）。このようなパノラマ画像では、通常よりも広い画角の領域の画像を生成することができ、例えば、広範囲の風景などを１つの画像として表現可能になる。

このようなパノラマ画像の生成手法において、例えば、画像撮影装置は、撮影対象の範囲が分割された個々の撮影領域を設定する。そして、画像撮影装置は、デジタルカメラの支持機構を制御して、各撮影領域にデジタルカメラの画角を設定し連続的に撮影し、生成された画像を合成する。画角とは、カメラで撮影される範囲を角度で表したものである。このように、画像撮影装置は、１台のカメラの画角を振って撮影領域を順次切り替えて、個々の撮影領域の画像を連続撮影する。

特開２０００−３２４３８０号公報 特開平９−１７３２９８号公報

しかしながら、１台のカメラの画角を振って撮影領域を順次切り替えて複数の撮影領域の画像を連続撮影する手法によると、合成したパノラマ画像における複数箇所に同一の被写体が写り込むことがある。これは、１つの撮影領域で撮影された移動被写体（人物）が、連続撮影中に、別の撮影領域に移動して再度撮影されたためである。同一の被写体が写りこんだパノラマ画像は、見るものに不自然な印象を与えるため、品質が悪いと評価されてしまう。

また、撮影対象の範囲が広い場合、同一の被写体が複数の撮影領域で撮影される可能性が高くなる。また、撮影領域の画像を合成することで画像の解像度が向上するため、同一の被写体が写り込んでいることが明確になり得る。

さらに、撮影対象の範囲に存在する移動物体が１つであれば、移動物体を回避するように撮影順序を変更することにより対処が可能であるが、撮影対象範囲に複数の移動物体がランダムに移動する場合、対処が困難である。

本発明は、同一の被写体が重複して写り込まないパノラマ画像を効率的に生成する画像撮影装置、画像撮影方法を提供することにある。

第１の側面は、撮影方向を変更しながら順次、撮影した複数の撮影画像を合成してパノラマ画像を生成する画像撮影装置において、ｎ（ｎ≧３）回目の撮影時に、ｎ−２回目からｎ−１回目に前記撮影画像に新たに追加された第１の差分画像と、前記ｎ回目の前記撮影画像の前記第１の差分画像と同じ領域の第２の差分画像との間の各画素の前記撮影画像内における位置の距離を示す第１の動き量を検出する検出手段と、前記第２の差分画像の各画素について、前記第１の動き量が、前記ｎ−１回と前記ｎ回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込まない合成手段と、を有し、前記検出手段及び前記合成手段が、前記ｎ回目の撮影時の処理を繰り返す。

第１の側面によれば、同一の被写体が重複して写り込まないパノラマ画像が効率的に生成される。

本実施の形態例における画像撮影装置の構成の一例を示す図である。 パノラマ画像生成処理の概要について説明する図である。 動き量の判定処理について説明する図である。 パノラマ画像生成処理について説明するフローチャート図である。 移動物体の移動速度がより遅いパノラマ画像の生成処理を説明する図である。

以下、図面にしたがって本発明の実施の形態について説明する。ただし、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

［パノラマ画像］
本実施の形態例におけるパノラマ画像とは、例えば、撮影装置が１回に撮影可能な画角よりも、画角の広い画像を示す。画像撮影装置は、例えば、撮影方向を一定の方向に、順次、変更して撮影し生成した複数の撮影画像を合成してパノラマ画像を生成する。撮影方向の変更方向は、水平方向または垂直方向である。本実施の形態例では、撮影方向の変更量は、均一になるように設定される。例えば、予め定められた撮影対象の領域が等分割され、撮影対象とされる。そして、各撮影対象の領域に対応するように撮影方向が変更される。

撮影方向の変更は、画像撮影装置による自動制御、または、ユーザによる手動制御によって行われる。自動制御が行われる場合、例えば、支持機構によって自動的に均一の所定の変更量分、画像撮影装置の方向が変更され撮影が行われる。一方、手動制御が行われる場合、例えば、ユーザによって撮影方向が変更され、撮影方向の変更量が所定量に達した瞬間に、自動的に撮影が行われる。そして、生成された各撮影画像が合成され、パノラマ画像が生成される。

［移動物体の複数写りこみ］
ところで、撮影方向の移動方向と同一の方向に移動する被写体（人物や物）があると、１つの移動物体が、合成対象の複数の撮影画像に写り込むことがある。本実施の形態例では、移動する被写体を、移動物体と称する。このような複数の撮影画像が合成して生成されるパノラマ画像には、同一の移動物体が重複して写り込んでしまう。なお、移動物体が撮影方向の移動方向と反対方向に移動する場合については、１つの移動物体が複数の撮影画像に写り込むことは生じ得ない。

そこで、本実施の形態例における画像撮影装置は、ｎ（ｎ≧３）回目の撮影時に、ｎ−２回目からｎ−１回目に撮影画像に新たに追加された第１の差分画像と、ｎ回目の撮影画像の第１の差分画像と同じ領域の第２の差分画像との間の各画素の撮影画像内における位置の距離を示す第１の動き量を検出する。そして、画像撮影装置は、合成処理として、第２の差分画像の各画素について、第１の動き量が、ｎ−１回とｎ回間の撮影方向の変更に対応する第２の動き量と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込みを行わない。画像撮影装置は、第１の動き量の検出処理と合成処理とを繰り返す。

これにより、本実施の形態例における画像撮影装置は、同一の移動物体が重複して写り込むことを効率的に回避して、パノラマ画像を生成することができる。また、本実施の形態例における画像撮影装置は、パノラマ画像の生成時に使用されるメモリ容量を最小限に抑える。

または、画像撮影装置は、さらに、ｎ＋１回目の撮影時に、第１の動き量の検出処理として、パノラマ画像が第１の差分画像と同じ領域に未書き込みの画素を有する場合、ｎ回目の第２の差分画像と、ｎ＋１回目の第１の差分画像と同じ領域の第３の差分画像との間の各画素の第１の動き量を検出する。この場合、画像撮影装置は、合成処理として、第３の差分画像の各画素について、第１の動き量が、ｎ回とｎ＋１回間の撮影方向の変更に対応する第２の動き量と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込みを行わない。画像撮影装置は、パノラマ画像が未書き込みの画素を有する間、第１の動き量の検出処理と合成処理とを繰り返す。

まず、本実施の形態例における画像撮影装置の構成について、例図に基づいて説明する。

［画像撮影装置の構成］
図１は、本実施の形態例における画像撮影装置１００の構成の一例を示す図である。画像撮影装置１００は、例えば、デジタルカメラを示す。

図１の撮像部１２は、撮影制御部１１にしたがって撮像動作を実施する部分であり、光学系１２１や撮像素子１２２によって構成される。光学系１２１は、図示していないが、例えば、レンズ、絞り機構、シャッタ機構、などを含む。撮影制御部１１は、操作パネル１０を介してユーザによって入力された情報にしたがって撮像部１２を制御する。操作パネル１０は、各種ボタンによって構成され、ユーザの操作指示に対応する入力信号を生成し撮影制御部１１に入力する。ユーザは、例えば、操作パネル１０を介して、パノラマ画像の撮影モードを指示する。

信号処理部１３は、撮像部１２の撮像処理によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。そして、画像処理部１４は、デジタルデータに対する各種の画像処理を行う。また、ランダムパターン生成部１５は、パノラマ画像の初期データであるランダムパターンを生成する。

そして、メモリ１６には、画像処理後のデジタルデータや、パノラマ画像のデジタルデータ等が一次的に格納される。メモリ１６は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリなどの記憶装置によって構成される。メモリ１６に格納されたデジタルデータは、記録・再生処理部１８による指示に基づいて、記憶媒体１７に格納される。記憶媒体１７は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリ、メモリカード等の記憶装置によって構成される。

また、記憶媒体１７に格納されたデジタルデータは、記録・再生処理部１８による指示に基づいて、画像表示制御部１９、動画表示制御部２０にしたがって表示される。画像表示制御部１９は記憶媒体１７に格納された撮像画像のデジタルデータ、動画表示制御部２０は記憶媒体１７に格納された撮像動画のデジタルデータを、液晶表示部２１に表示させる。液晶表示部２１は、例えば、ＲＧＢ信号の生成回路などから構成され、各表示制御部１９、２０によって制御されたデジタルデータを表示する。

［パノラマ画像生成部４０］
続いて、パノラマ画像生成部４０について説明する。パノラマ画像生成部４０は、例えば、ランダムパターン検出部３０、移動分検出部３１、移動量算出部３２、移動速度算出部３３、移動検出部３４等を有する。さらに、パノラマ画像生成部４０は、移動分メモリ１〜ｎ（Ｐｍ）、第１の動き量検出部３７、第２の動き量変換部３５、動き量比較部３６、画面合成部３８等を有する。

移動検出部３４は、加速度センサー３４１、及び、角速度センサー３４２を有する。移動検出部３４は、各センサーによって取得された移動情報を移動速度算出部３３に入力する。移動速度算出部３３は、移動情報に基づいて移動速度及びその傾きを算出し、移動量算出部３２に入力する。移動量算出部３２は、移動速度及び傾きに基づいて積分等の演算を行い、移動の角度情報、及び、移動量を算出する。そして、第２の動き量変換部３５は、算出された移動量、角度情報に基づいて、撮影方向の変更によってシフトした撮影画像上の移動量を示す第２の動き量に変換する。

移動分検出部３１は、移動量算出部３２によって算出された撮影方向の移動量に基づいて、撮影方向の移動によって追加された、撮影画像における新たな撮影領域（以下、差分領域と称する）を検出する。また、移動分検出部３１は、差分領域に対応する差分画像を検出し、必要に応じて、移動分メモリ１〜ｎ（Ｐｍ）に格納する。また、第１の動き量検出部３７は、移動分メモリ１〜ｎ（Ｐｍ）に格納された差分画像間の各画素について、撮影画像内における座標位置の距離を示す第１の動き量を検出する。そして、動き量比較部３６は、第１の動き量と第２の動き量とを比較し、比較結果を画面合成部３８に出力する。

画面合成部３８は、第１の動き量と第２の動き量との比較結果に基づいて、差分画像の各画素について、パノラマ画像への合成対象とするか否かを判定する。なお、ランダムパターン検出部３０は、合成処理中のパノラマ画像からランダムパターンを検出する。パノラマ画像生成部４０の処理の流れについては、後述する。

［パノラマ画像生成処理の概要］
図２は、本実施の形態例における画像撮影装置１００のパノラマ画像生成処理の概要について説明する図である。同図では、左列に１回目から６回目までの撮影画像ｇ１〜ｇ６、中央列に、対応する左列の撮影画像ｇ１〜ｇ６のうち合成対象とされる部分画像、右列に、左列の撮影画像ｇ１〜ｇ６に対応して生成されるパノラマ画像ｐ１〜ｐ６が表される。なお、この例において、移動物体ＺＺは、撮影方向と同一の方向に移動する。また、移動物体ＺＺは、網点パターンの楕円で表される。

［１回目］
初めに、１回目の撮影画像ｇ１が生成されたときの処理について説明する。この例では、１回目の撮影画像ｇ１に移動物体ＺＺの画像は含まれていない。本実施の形態例において、画面合成部３８は、１回目の撮影画像ｇ１については、全ての画素についてパノラマ画像ｐ１に書き込む。なお、パノラマ画像は、初め、全ての画素について、未合成の画素であることを示すランダムデータ（黒塗り部分）を有する。このため、左列の１回目の撮影画像ｇ１に対応して生成されるパノラマ画像ｐ１は、１回目の撮影画像ｇ１に対応する領域には１回目の撮影画像ｇ１を、その他の領域にはランダムデータを有する。

［２回目］
続いて、２回目の撮影画像ｇ２が生成されたときの処理について説明する。この例では、２回目の撮影画像ｇ２において、１回目の撮影から撮影方向が動いたことによって追加された新たな撮影領域Ｄ２に、移動物体ＺＺが写り込んでいる。本実施の形態例において、追加された新たな撮影領域を差分領域、差分領域に対応する画像を差分画像と称する。２回目の撮影画像ｇ２において、１回目から２回目に追加された差分領域（以下、２回目の差分領域と称する）Ｄ２は、横線パターンの矩形で表される。また、２回目の撮影画像ｇ２において、１回目の撮影領域と重複する領域はブランクＢＬで表される。本実施の形態例の画面合成部３８は、２回目の撮影画像ｇ２については、パノラマ画像ｐ２への合成処理を行わない。

［３回目］
続いて、３回目の撮影画像ｇ３が生成されたときの処理について説明する。この例において、２回目の撮影から３回目の撮影にかけて変更された撮影方向と同一の方向に、移動物体ＺＺが移動している。そして、３回目の撮影画像ｇ３における、２回目から３回目に追加された差分領域（以下、３回目の差分領域と称する）Ｄ３に、移動物体ＺＺが写り込んでいる。３回目の撮影画像ｇ３において、３回目の差分領域Ｄ３は、切り込み型パターンの矩形で表される。また、２回目の撮影画像ｇ２と同様にして、３回目の撮影画像ｇ３において、２回目の差分領域Ｄ２は横線パターンの矩形で表され、１回目の撮影領域と重複する領域はブランクＢＬで表される。

本実施の形態例において、画面合成部３８は、３回目の撮影画像ｇ３が生成されたとき、２回目の差分領域Ｄ２について、２回目の撮影画像ｇ２と３回目の撮影画像ｇ３とを比較して静止画素と判定された画素について、パノラマ画像ｐ３に書き込む。具体的に、まず、２回目の差分領域Ｄ２について、２回目の撮影画像ｇ２の差分画像ｄ２−２と３回目の撮影画像ｇ３の差分画像ｄ２−３間で、対応する画素の撮影画像内における座標位置の距離を示す第１の動き量が検出される。そして、２回目の差分領域Ｄ２に含まれる画素のうち、第１の動き量が、撮影方向の変更に対応して生じる撮影領域の撮影画像内における移動距離を示す第２の動き量と一致する画素について、静止画素と判定される。つまり、２回目の差分領域Ｄ２に含まれる各画素であって、２回目の撮影画像ｇ２における座標位置と３回目の撮影画像ｇ３における座標位置との間の距離（第１の動き量）が、撮影方向の変更に対応する距離（第２の動き量）と一致する画素が、静止画素と判定される。静止画素と判定された画素は、移動物体ＺＺを構成する画素ではないとみなされるため、画像データがパノラマ画像ｐ３に書き込まれる。

この例では、図２の中央列に示される３回目の撮影画像ｇ３に対応する部分画像ｓ３が、パノラマ画像ｐ３に書き込まれる。部分画像ｓ３は、３回目の撮影画像ｇ３の２回目の差分画像ｄ２−３における楕円を除く領域の画像である。したがって、図２の右列に示される３回目の撮影画像ｇ３に対応して生成されるパノラマ画像ｐ３には、新たに、３回目の撮影画像ｇ３における２回目の差分画像ｄ２−３のうち、移動物体ＺＺを構成する画素を除く画素の画像データが書き込まれる。

［４回目］
続いて、４回目の撮影画像ｇ４が生成されたときの処理について説明する。同様にして、３回目の撮影から４回目の撮影にかけて変更された撮影方向と同一の方向に、移動物体ＺＺが移動している。そして、４回目の撮影画像ｇ４における、３回目から４回目に追加された差分領域（以下、４回目の差分領域と称する）Ｄ４に、移動物体ＺＺが写り込んでいる。４回目の撮影画像ｇ４において、４回目の差分領域Ｄ４は、縦線パターンの矩形で表される。また、２、３回目の撮影画像ｇ２、ｇ３と同様にして、４回目の撮影画像ｇ４において、２回目の差分領域Ｄ２は横線パターンの矩形、３回目の差分領域Ｄ３は切り込み型パターンの矩形で表され、１回目の撮影領域と重複する領域はブランクＢＬで表される。

本実施の形態例において、画面合成部３８は、４回目の撮影画像ｇ４が生成されたとき、２回目の差分領域Ｄ２、及び、３回目の差分領域Ｄ３について、３回目の撮影画像ｇ３と４回目の撮影画像ｇ４とを比較して静止画素と判定された画素について、パノラマ画像ｐ４に書き込む。ただし、例えば、画面合成部３８は、静止画素と判定された画素のうち、パノラマ画像において未だ合成されていない画素の画像データをパノラマ画像ｐ４に書き込む。

具体的に、まず、２回目の差分領域Ｄ２に含まれる各画素ついて、３回目の撮影画像ｇ３の差分画像ｄ２−３における座標の位置と、４回目の撮影画像ｇ４の差分画像ｄ２−４における座標の位置との間の距離（第１の動き量）が、撮影方向の変更に対応する距離（第２の動き量）と一致する場合に、静止画素と判定される。また、３回目の差分領域Ｄ３に含まれる各画素ついて、３回目の撮影画像ｇ３の差分画像ｄ３−３における座標の位置と、４回目の撮影画像ｇ４の差分画像ｄ３−４における座標の位置との間の距離（第１の動き量）が、撮影方向の変更に対応する距離（第２の動き量）と一致する場合に、静止画素と判定される。そして、静止画素と判定された画素のうち、パノラマ画像において未合成である画素の画像データが、パノラマ画像ｐ４に書き込まれる。

このように、２回目の差分領域Ｄ２について、前回の３回目の撮影画像ｇ３の生成時は、２回目の撮影画像ｇ２と３回目の撮影画像ｇ３との間で第１の動き量が検出されるのに対し、４回目の撮影画像ｇ４では、３回目の撮影画像ｇ３と４回目の撮影画像ｇ４との間で第１の動き量が検出される。

この例では、図２の中央列に示される４回目の撮影画像ｇ４に対応する部分画像ｓ４が、パノラマ画像ｐ４に書き込まれる。部分画像ｓ４は、２回目の差分画像ｄ２−４における楕円領域の画像、３回目の差分画像ｄ３−４における楕円を除く領域の画像を有する。前述したとおり、パノラマ画像に合成済みの画素を含む２回目の差分領域Ｄ２については、動き量が一致する画素のうち未合成の画素について、画像データがパノラマ画像ｐ４に書き込まれる。一方、３回目の差分領域Ｄ３は合成済みの画素を含まないため、動き量が一致する全ての画素について、画像データがパノラマ画像ｐ４に書き込まれる。したがって、図２の右列に示される４回目の撮影画像ｇ４に対応して生成されるパノラマ画像ｐ４には、新たに、部分画像ｓ４のうち未合成の画素の画像データが書き込まれる。

ここで、３回目の撮影画像ｇ３が生成されたとき、及び、４回目の撮影画像ｇ４が生成されたときの動き量の判定処理についてより具体的に説明する。

［動き量の検出処理（Ａ）：３回目の撮影画像ｇ３の生成時］
図３は、動き量の判定処理について説明する図である。初めに、同図の（Ａ）に示される３回目の撮影画像ｇ３が生成されたときの動き量の判定処理について説明する。図２において前述したとおり、図３の３回目の撮影画像ｇ３において、横線パターンで表される２回目の差分領域Ｄ２に含まれる各画素について、２、３回目の撮影画像ｇ２、ｇ３間で第１の動き量の検出が行われる。前述したとおり、第１の動き量とは、２回目の撮影画像ｇ２における画素の座標位置と、３回目の撮影画像ｇ３における対応する画素の座標位置との間の距離を示す。２回目の撮影画像ｇ２の画素に対応する３回目の撮影画像ｇ３の画素は、例えば、ブロックマッチング方式等によって検出される。具体的に、例えば、撮影画像をｍ×ｍのブロックに分割し、２回目の撮影画像ｇ２における対象ブロックについて、３回目の撮影画像ｇ３から類似ブロックが探索される。なお、距離は、ベクトルであってもよい。

この例において、２回目から３回目の撮影にかけて、撮影方向の変更に基づくデジタルカメラの右方向への移動角度に伴い、撮影領域が右方向にシフトする。これにより、撮影画像内における２回目の差分領域Ｄ２の各画素の座標位置が、３回目の撮影画像ｇ３において動き量ｎ分左方向にシフトする。つまり、差分領域Ｄ２に含まれる各画素について、２回目の撮影画像ｇ２内における座標位置と、３回目の撮影画像ｇ３内における座標位置との間の距離が、左方向に動き量ｎ分シフトすることを示す。

これは、２、３回目の撮影画像ｇ２、ｇ３間で画像の内容に変更が生じない場合、２回目の差分領域Ｄ２に含まれる各画素について検出される第１の動き量ｎは一律の値となることを示す。また、検出された第１の動き量ｎは、撮影方向の変更に伴うデジタルカメラの角度移動によって生じる撮影領域の撮影画像における位置の変更距離を示す第２の動き量ｎと一致することを示す。

しかしながら、２回目の差分領域Ｄ２について、２回目の撮影画像ｇ２においては楕円部分に移動物体ＺＺが写り込んでいるのに対し、３回目の撮影画像ｇ３においては移動物体ＺＺが写り込んでいない。このため、２回目の差分領域Ｄ２の楕円領域に含まれる各画素について、動き量ｎとは異なる動き量が検出される。より具体的に、２回目の撮影画像ｇ２における楕円領域に含まれる各画素ついて、対応する画素が３回目の撮影画像ｇ３内から検出されないため、第１の動き量は検出されない。

この結果、２回目の差分領域Ｄ２に含まれる各画素ついて、楕円を除く領域に含まれる画素の第１の動き量は、デジタルカメラの移動角度に対応する第２の動き量と一致するのに対し、楕円領域に含まれる画素の第１の動き量は第２の動き量と一致しない。そこで、差分画像ｄ２−３の楕円を除く領域の各画素について、第１の動き量と第２の動き量とが一致することから静止画と判定され、画像データがパノラマ画像ｐ３に書き込まれる。

なお、３回目の撮影画像ｇ３における、切り込みパターンで表された３回目の差分領域Ｄ３に含まれる画素ついては、２回目の撮影画像ｇ２に対応する領域がない。このため、基本的には、３回目の差分領域Ｄ３に含まれる各画素について、第１の動き量は検出されない。ただし、３回目の差分領域Ｄ３における楕円領域に含まれる各画素については、２、３回目の撮影画像ｇ２、ｇ３間で、撮影画像内の同一の座標に位置する。即ち、３回目の差分領域Ｄ３の楕円領域に含まれる各画素について、座標位置が２、３回目の撮影画像ｇ２、ｇ３間で変化していないことから、第１の動き量として０が検出される。

この結果、３回目の差分領域Ｄ３に含まれる各画素の第１の動き量（検出不可、０）は、デジタルカメラの移動角度に対応する第２の動き量ｎと一致しない。そこで、３回目の差分領域Ｄ３に含まれる各画素については、静止画と判定されず、画像データはパノラマ画像ｐ３に書き込まれない。

このように、本実施の形態例における画像撮影装置１００は、ｎ回目（ｎ≧３）の撮影時に、ｎ−２回目（図３（Ａ）の例ではｎ＝３、即ち、１回目）からｎ−１回目（例えば、２回目）に撮影画像に新たに追加された第１の差分画像（例えば、ｄ２−２）と、ｎ回目（例えば、３回目）の撮影画像の第１の差分画像と同じ領域の第２の差分画像（例えば、ｄ２−３）との間の各画素の撮影画像内における位置の距離を示す第１の動き量を検出する。そして、画像撮影装置１００は、合成処理として、第２の差分画像（例えば、ｄ２−３）の各画素について、第１の動き量が、ｎ−１回とｎ回間（例えば、２回と３回間）の撮影方向の変更に対応する第２の動き量（例えば、動き量ｎ）と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込みを行わない。画像撮影装置１００は、この第１の動き量の検出処理と合成処理とを繰り返す。

図３（Ａ）の例では、第２の差分領域Ｄ２に含まれる各画素について、２回目の撮影画像ｇ３における第１の差分画像ｄ２−２と、３回目の撮影画像ｇ３における第２の差分画像ｄ２−３とにおいて、楕円を除く領域に含まれる画素については第１の動き量ｎが検出され、楕円領域に含まれる画素については第１の動き量が検出されない。そこで、第１、２の動き量が一致する差分画像ｄ２−３における楕円を除く領域に含まれる画素について、画像データがパノラマ画像に書き込まれる。

続いて、図３の（Ｂ）に示される４回目の撮影画像ｇ４が生成されたときの動き量の判定処理について説明する。

［動き量の検出（Ｂ）：４回目の撮影画像ｇ４の生成時］
図２において前述したとおり、横線パターンで表される２回目の差分領域Ｄ２の各画素、切り込みパターンで表される３回目の差分領域Ｄ３に含まれる各画素について、３、４回目の撮影画像ｇ３、ｇ４間で第１の動き量の検出が行われる。同様にして、第１の動き量とは、３回目の撮影画像ｇ３における画素の座標位置と、４回目の撮影画像ｇ４における対応する画素の座標位置との間の距離を示す。なお、距離は、ベクトルであってもよい。

この例において、３回目から４回目の撮影にかけて、撮影方向の変更に基づくデジタルカメラの右方向への移動角度に伴い、撮影画像内における２回目の差分領域Ｄ２、及び、３回目の差分領域Ｄ３の各画素の座標位置が、それぞれ、４回目の撮影画像ｇ４において動き量ｎ分左方向にシフトする。つまり、差分領域Ｄ２、Ｄ３に含まれる各画素について、３回目の撮影画像ｇ３内における座標位置と、４回目の撮影画像ｇ４内における座標位置との間の距離が、左方向に動き量ｎ分シフトすることを示す。

これは、３、４回目の撮影画像ｇ３、ｇ４間で画像の内容に変更が生じない場合、２、３回目の差分領域Ｄ２、Ｄ３に含まれる各画素について検出される第１の動き量ｎは一律の値となることを示す。また、検出された第１の動き量ｎは、撮影方向の変更に伴うデジタルカメラの角度移動によって生じる撮影領域の撮影画像における位置の変更距離を示す第２の動き量ｎと一致することを示す。

この例において、２回目の差分領域Ｄ２に含まれる画素ついては、３、４回目の撮影画像ｇ３、ｇ４間で画像の内容に変更がない。このため、２回目の差分領域Ｄ２に含まれる各画素ついて、３、４回目の撮影画像ｇ３、ｇ４における第１の動き量は、デジタルカメラの移動角度に対応して生じる第２の動き量と一致する。一方、３回目の差分領域Ｄ３について、３回目の撮影画像ｇ３の楕円部分においては移動物体ＺＺが写り込んでいるのに対し、４回目の撮影画像ｇ４においては移動物体ＺＺが写り込んでいない。３回目の撮影画像ｇ３における楕円領域含まれる各画素について、対応する画素が４回目の撮影画像ｇ４内から検出されないため、第１の動き量は検出されない。この結果、３回目の差分領域Ｄ３に含まれる各画素ついて、楕円を除く領域に含まれる画素の第１の動き量は第２の動き量と一致するのに対し、楕円領域に含まれる画素の第１の動き量は第２の動き量と一致しない。

なお、４回目の撮影画像ｇ４における、縦線パターンで表された４回目の差分領域Ｄ４に含まれる各画素ついては、３回目の撮影画像ｇ３に対応する画素がない。このため、基本的には、４回目の差分領域Ｄ４に含まれる各画素について、第１の動き量の検出は不可能である。ただし、４回目の差分領域Ｄ４の楕円領域に含まれる各画素については、３、４回目の撮影画像ｇ３、ｇ４間で、撮影画像内の同一の座標に位置する。即ち、４回目の差分領域Ｄ４の楕円領域に含まれる各画素について、座標位置が３、４回目の撮影画像ｇ３、ｇ４間で変化していないことから、第１の動き量として０が検出される。

この結果、差分画像ｄ２−４の各画素、及び、差分画像ｄ３−４の楕円を除く領域の各画素について、第１の動き量と第２の動き量とが一致することから静止画と判定され、画像データがパノラマ画像ｐ４に書き込まれる。また、４回目の差分領域Ｄ４に含まれる各画素については、画像データはパノラマ画像ｐ４に書き込まれない。

このように、本実施の形態例における画像撮影装置１００は、ｎ＋１回目（例えば、４回）の撮影時に、さらに、パノラマ画像が第１の差分画像（例えば、ｄ２−２）と同じ領域（例えば、第２の差分領域Ｄ２）に未書き込み画素を有する場合、さらに、ｎ回目（例えば、３回）の第２の差分画像（例えば、ｄ２−３）と、ｎ＋１回目の第１の差分画像と同じ領域の第３の差分画像（例えば、ｄ２−４）との間の各画素の第１の動き量を検出する。そして、画像撮影装置１００は、合成処理として、第３の差分画像の各画素について、第１の動き量が、ｎ回とｎ＋１回間（例えば、３回と４回間）の撮影方向の変更に対応する第２の動き量（例えば、動き量ｎ）と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込みを行わない。画像撮影装置１００は、パノラマ画像が未書き込みの画素を有する間、第１の動き量の検出処理と合成処理とを繰り返す。

図３（Ｂ）の例では、第２の差分領域Ｄ２に含まれる各画素について、３回目の撮影画像ｇ３における第２の差分画像ｄ２−３と、４回目の撮影画像ｇ４における第３の差分画像ｄ２−４とにおいて第１の動き量ｎが検出される。そこで、差分画像ｄ２−４の第１、２の動き量が一致する画素のうち、未合成の画素についてについて、画像データがパノラマ画像に書き込まれる。

続いて、図２に戻り、５回目以降の撮影画像の撮影時の処理について説明する。

［５回目］
続いて、５回目の撮影画像ｇ５が生成されたときの処理について説明する。同様にして、４回目の撮影から５回目の撮影にかけて変更された撮影方向と同一の方向に、移動物体ＺＺが移動している。そして、５回目の撮影画像ｇ５における、４回目から５回目に追加された差分領域（以下、５回目の差分領域と称する）Ｄ５に、移動物体ＺＺが写り込んでいる。

５回目の撮影画像ｇ５において、５回目の差分領域Ｄ５は、網点パターンの矩形で表される。本実施の形態例において、画面合成部３８は、５回目の撮影画像ｇ５が生成されたとき、３回目の差分領域Ｄ３、及び、４回目の差分領域Ｄ４について、４回目の撮影画像ｇ４と５回目の撮影画像ｇ５とを比較して静止画素と判定された画素について、パノラマ画像ｐ５に書き込む。つまり、画面合成部３８は、パノラマ画像ｐ４において合成が完了していない４回目までの差分領域Ｄ３、Ｄ４について、４、５回目の撮影画像ｇ４、ｇ５間の各画素の第１の動き量と、撮影方向の移動に対応する第２の動き量とが一致する画素について、パノラマ画像ｐ５に書き込む。

この例において、３回目の差分領域Ｄ３に含まれる全ての画素ついて、４回目の撮影画像ｇ４の差分画像ｄ３−４、５回目の撮影画像ｇ５の差分画像ｄ３−５間における第１の動き量が、撮影方向の変更に対応する第２の動き量と一致する。また、４回目の差分領域Ｄ４については、楕円を除く領域の画素について、４回目の撮影画像ｇ４の差分画像ｄ４−４、５回目の撮影画像ｇ５の差分画像ｄ４−５間における第１の動き量が、撮影方向の変更に対応する第２の動き量と一致する。このため、図２の中央列に示される部分画像ｓ５は、３回目の差分画像ｄ３−５、及び、４回目の差分画像ｄ４−５における楕円を除く領域の画像を有する。したがって、図２の右列に示される５回目の撮影画像ｇ５に対応して生成されるパノラマ画像ｐ５には、新たに、部分画像ｓ５のうち未合成の画素に対応する画像が書き込まれる。

ここで、図２の例において、パノラマ画像ｐ１〜ｐ６は、１回目の撮影領域と、２〜４回目の差分領域Ｄ２〜Ｄ４とによって構成される。このため、画像撮影装置１００は、パノラマ画像における２〜４回目の差分領域Ｄ２〜Ｄ４に含まれる画素について、未合成の画素を示すランダムパターンを有する画素がなくなるまで、第１の動き量の検出処理、及び、合成処理を繰り返す。この例において、パノラマ画像ｐ５は、６回目以降の差分領域を含まないものの４回目の差分領域に未合成の画素を有するため、さらに６回目の撮影画像ｇ６を生成し、４回目の差分領域Ｄ４について、５、６回目の撮影画像ｇ５、ｇ６間における各画素の第１の動き量の検出処理を行う。

［６回目］
続いて、６回目の撮影画像ｇ６が生成されたときの処理について説明する。同様にして、５回目の撮影から６回目の撮影にかけて変更された撮影方向と同一の方向に、移動物体ＺＺが移動している。そして、６回目の撮影画像ｇ６における、５回目から６回目に追加された差分領域（以下、６回目の差分領域と称する）Ｄ６に、移動物体ＺＺが写り込んでいる。

６回目の撮影画像ｇ６において、６回目の差分領域Ｄ６は、斜線パターンの矩形で表される。本実施の形態例において、画面合成部３８は、パノラマ画像ｐ５において、４回目までの差分領域Ｄ２〜Ｄ４のうち合成が完了していない差分領域について、５回目の撮影画像ｇ５と６回目の撮影画像ｇ６とを比較して静止画素と判定された画素について、画像データをパノラマ画像ｐ６に書き込む。そこで、画面合成部３８は、４回目の差分領域Ｄ４に含まれる未合成画素ついて、５、６回目の撮影画像ｇ５、ｇ６間の第１動き量と、撮影方向の移動に対応する第２動き量とを比較する。

この例において、４回目の差分領域Ｄ４に含まれる全ての画素ついて、５回目の撮影画像ｇ５の差分画像ｄ４−５、６回目の撮影画像ｇ６の差分画像ｄ４−６間における第１の動き量が、撮影方向の変更に対応する第２の動き量と一致する。このため、この例では、図２の中央列に示される部分画像ｓ６は、４回目の差分画像ｄ４−６を有する。したがって、図２の右列に示される６回目の撮影画像ｇ６に対応して生成されるパノラマ画像ｐ６には、新たに、４回目の差分画像ｄ４−６のうち未合成画素の画像データが書き込まれる。

このようにして、1回目から６回目の撮影画像ｇ１〜ｇ６に基づいて、パノラマ画像ｐ６が生成される。この例において、移動物体ＺＺの画像はパノラマ画像ｐ６に含まれていない。このように、同図のように、２〜６回目の撮影画像ｇ２〜ｇ６のそれぞれに移動物体ＺＺが写り込んでいる場合であっても、パノラマ画像ｐ６には移動物体ＺＺが写り込まず、同一の移動物体ＺＺがパノラマ画像ｐ６に重複して写り込むことが回避される。

なお、この例では、移動物体ＺＺが写り込まないパノラマ画像ｐ６が生成される。しかしながら、画像撮影装置１００は、移動物体ＺＺが１つ写り込むパノラマ画像ｐ６を生成してもよい。この場合、画像撮影装置１００は、例えば、パノラマ画像に書き込まれる最終の差分領域Ｄ４（以下、最終差分領域と証する）については、第１の動き量に基づいて判定することなく、全ての画素の画像データをパノラマ画像ｐ６に書き込む。具体的に、画像撮影装置１００は、４回目の撮影画像ｇ４の生成時に、差分画像ｄ４−４を全てパノラマ画像ｐ４に書き込む。これにより、パノラマ画像の最終差分領域に、移動物体ＺＺを含む差分画像ｄ４−４が合成される。これにより、１つの移動物体ＺＺが写り込んだパノラマ画像が生成される。

続いて、図２、３によって説明した画像撮影装置１００の処理について、フローチャート図にしたがって説明する。

［パノラマ画像生成処理の流れ］
図４は、本実施の形態例における画像撮影装置１００のパノラマ画像生成処理について説明するフローチャート図である。なお、初め、パノラマ画像は、全ての画素について、デフォルトの情報としてランダムパターンを有する。ランダムパターンは、未合成の画素であることを示す所定のデータである。この例では、図４のフローチャート図の処理を、図２で説明したパノラマ画像の生成処理に基づいて説明する。

［１回目］
初めに、画像撮影装置１００の撮影制御部１１は、撮像部１２を制御して１回目の撮影処理を実行させる（Ｓ１１）。そして、信号処理部１３及び画像処理部１４の処理が行われ、１回目の撮影画像ｇ１が生成される。このとき、１回目の撮影画像ｇ１については、全ての画素について、画像データがパノラマ画像ｐ１に書き込まれメモリ１６に記憶される。

［２回目］
続いて、撮影制御部１１は、画像撮影装置１００の撮影方向を移動させる（Ｓ１２）。このとき、移動量算出部３２は、移動速度算出部３３によって算出された移動量、角度情報に基づいて、撮影方向の移動に伴う移動量を検出し（Ｓ１４）、例えば、積分した移動量がパノラマ画像モードで予め設定された所定の移動量に達したときに、撮影制御部１１に撮影指示を行う。撮影指示が行われると、撮影制御部１１は、撮像部１２を制御して２回目の撮影処理を実行させる（Ｓ１３）。同様にして、２回目の撮影画像ｇ２が生成される。

続いて、画像撮影装置１００のランダムパターン検出部３０は、パノラマ画像ｐ１が、２回目の差分領域Ｄ２内に、ランダムパターンを有するか否かを判定する（Ｓ１６）。つまり、ランダムパターン検出部３０は、パノラマ画像における２回目の差分領域Ｄ２に、未合成の画素が存在するか否かを判定する。この場合、パノラマ画像における２回目の差分領域Ｄ２は、未だ合成されていない領域であるため、ランダムパターンが検出される（Ｓ１６のＹＥＳ）。

そこで、移動分検出部３１は、２回目の撮影画像ｇ２における２回目の差分領域Ｄ２に対応する差分画像ｄ２−２を、移動分メモリＰｍに記憶する（Ｓ１９）。次に、第１の動き量検出部３７は、移動分メモリＰｍに記憶された２回目の撮影画像ｇ２における差分画像ｄ２−２の各画素について、１回目の撮影画像ｇ１との撮影画像上における座標位置の距離を第１の動き量として検出する（Ｓ２０）。ただし、２回目の差分領域Ｄ２は、１回目の撮影画像ｇ１に含まれないため、第１の動き量は検出されない。

一方、第２の動き量変換部３５は、移動量算出部３２によって算出された撮影方向の変更による移動量を、第１の動き量と同じ単位の第２の動き量に変換する（Ｓ１５）。前述したとおり、この例において、各回における撮影方向の変更量は一定に設定される。このため、第２の動き量は、１回だけ取得されてもよいし、予め設定されてもよい。ただし、各回における撮影方向の変更量は、一定である必要はない。

続いて、動き量比較部３６は、第１の動き量と第２の動き量とを比較して、一致するか否かを判定する（Ｓ２１）。この場合、２回目の差分領域Ｄ２に係る第１の動き量は検出されないため、動き量は一致しない（Ｓ２１のＮＯ）。このため、パノラマ画像への合成は行われず（Ｓ２２）、続いて、撮影方向の移動距離が最終距離に到達したか否かが判定される（Ｓ２４）。この場合、未だ、移動距離が最終距離に到達していないため（Ｓ２４のＮＯ）、続いて、３回目の撮影のため、撮影方向の移動工程が行われる（Ｓ１２）。同様にして、移動量算出部３２によって、移動量に基づく撮影指示が行われると、撮影制御部１１は、撮像部１２を制御して３回目の撮影処理を実行させる（Ｓ１３）。同様にして、３回目の撮影画像ｇ３が生成される。

［３回目］
続いて、ランダムパターン検出部３０は、パノラマ画像ｐ２が、３回目までの差分領域（２回目の差分領域Ｄ２、及び、３回目の差分領域Ｄ３）に、ランダムパターンを有するか否かを判定する（Ｓ１６）。この場合、パノラマ画像ｐ２における２、３回目の差分領域Ｄ２、Ｄ３は、未だ合成が完了していない領域であるため、ランダムパターンが検出される（Ｓ１６のＹＥＳ）。

そこで、移動分検出部３１は、３回目の撮影画像ｇ３における２回目の差分領域Ｄ２に対応する差分画像ｄ２−３、及び、３回目の差分領域Ｄ３に対応する差分画像ｄ３−３を、移動分メモリＰｍに記憶する（Ｓ１９）。そして、第１の動き量検出部３７は、移動分メモリＰｍに記憶された３回目の撮影画像ｇ３における差分画像ｄ２−３、及び、差分画像ｄ３−３の各画素ついて、２回目の撮影画像ｇ２の差分画像ｄ２−２との撮影画像上における座標位置の距離を第１の動き量として検出する（Ｓ２０）。これにより、例えば、２回目の差分領域Ｄ２について、図２の中央列に示した、差分画像ｄ２−３における楕円を除く領域の画素について動き量ｎが、第１の動き量として検出される。

一方、第２の動き量変換部３５は、同様にして、移動量算出部３２によって算出された移動量を第２の動き量に変換し（Ｓ１５）、動き量比較部３６は、第１の動き量と第２の動き量とを比較して、一致するか否かを判定する（Ｓ２１）。この例において、図２の中央列に示された、２回目の差分領域Ｄ２の差分画像ｄ２−３における楕円を除く領域の画素について、第１の動き量と第２の動き量とが一致する（Ｓ２１のＹＥＳ）。このため、差分画像ｄ２−３における楕円を除く領域の画素について、パノラマ画像に書き込まれ合成される（Ｓ２３）。また、差分画像ｄ２−３における楕円領域、及び、３回目の差分領域Ｄ３の差分画像ｄ３−３の画素については、第２の動き量と一致しないことから（Ｓ２１のＮＯ）、パノラマ画像への合成は行われない（Ｓ２２）。

そして、撮影方向の移動距離が最終距離に到達したか否かが判定され（Ｓ２４）、未だ、移動距離が到達していないことから（Ｓ２４のＮＯ）、４回目の撮影のための、撮影方向の移動工程が行われる（Ｓ１２）。同様にして、移動量算出部３２によって撮影指示が行われると、撮影制御部１１は、撮像部１２を制御して４回目の撮影処理を実行させ（Ｓ１３）、４回目の撮影画像ｇ４が生成される。

［４回目］
続いて、ランダムパターン検出部３０は、パノラマ画像ｐ３が、４回目までの差分領域（２回目の差分領域Ｄ２、３回目の差分領域Ｄ３、及び、４回目の差分領域Ｄ４）に、ランダムパターンを有するか否かを判定する（Ｓ１６）。この場合、パノラマ画像ｐ３における２〜４回目の差分領域Ｄ２〜Ｄ４は、未だ合成が完了していない領域であるため、ランダムパターンが検出される（Ｓ１６のＹＥＳ）。

そこで、移動分検出部３１は、４回目の撮影画像ｇ４における２〜４回目の差分領域Ｄ２〜Ｄ４に対応する各差分画像ｄ２−４、ｄ３−４、ｄ４−４を、移動分メモリＰｍに記憶する（Ｓ１９）。そして、第１の動き量検出部３７は、移動分メモリＰｍに記憶された各差分画像ｄ２−４、ｄ３−４、ｄ４−４の各画素について、３回目の撮影画像ｇ３の差分画像ｄ２−３、ｄ３−３との撮影画像上における座標位置の距離を第１の動き量として検出する（Ｓ２０）。これにより、例えば、各差分画像ｄ２−４、ｄ３−４、ｄ４−４のうち、図２の中央列に示した部分画像ｓ４の画素について、第２の動き量と同一の第１の動き量ｎが検出される。

同様にして、第２の動き量変換部３５は、移動量算出部３２によって算出された移動量を第２の動き量に変換し（Ｓ１５）、動き量比較部３６は、第１の動き量と第２の動き量とを比較して、一致するか否かを判定する（Ｓ２１）。この例において、図２の中央列に示された、部分画像ｓ４の画素について、第１の動き量と第２の動き量とが一致し（Ｓ２１のＹＥＳ）、未合成の画素についてパノラマ画像に合成される（Ｓ２３）。また、第１の動き量と第２の動き量とが一致しない部分画像ｓ４以外の差分画像については（Ｓ２１のＮＯ）、パノラマ画像への合成が行われない（Ｓ２２）。

［５回目］
同様にして、未だ、移動距離が到達していないため（Ｓ２４のＮＯ）、続いて、５回目の撮影のための撮影方向の移動工程が行われ（Ｓ１２）、５回目の撮影処理が実行され（Ｓ１３）、５回目の撮影画像ｇ５が生成される。

パノラマ画像には、５回目以降の差分領域が含まれない。このため、ランダムパターン検出部３０は、パノラマ画像が、４回目までの差分領域（２〜４回目の差分領域Ｄ２〜Ｄ４）に、ランダムパターンを有するか否かを判定する（Ｓ１６）。このとき、パノラマ画像における２回目の差分領域Ｄ２に含まれる画素は全て合成済みであるため、ランダムパターンが検出されない（Ｓ１６のＮＯ）。これにより、移動分メモリＰｍのうち、２回目の差分領域Ｄ２に対応する差分画像が記憶された移動分メモリＰｍが解放される（Ｓ１７）。そして、次の撮影画像に対応する差分画像のために切り替えられる（Ｓ１８）。

このように、本実施の形態例における画像撮影装置１００によると、各撮影画像のうち、差分画像についてのみ移動分メモリＰｍに記憶されると共に、移動分メモリＰｍに記憶された合成が完了した差分領域に対応する差分画像が解放される。これにより、同一の被写体が重複して写り込むことを回避したパノラマ画像の生成処理において、使用するメモリ容量が抑えられる。

なお、例えば、５回目の撮影画像ｇ５の処理では、４、５回目の撮影画像ｇ４、ｇ５の差分画像に基づいて第１の動き量が検出されるため、２、３回目の撮影画像ｇ２、ｇ３における差分画像は使用されない。このため、例えば、５回目の撮影画像ｇ５の生成処理の前に、２、３回目の撮影画像における各差分画像が移動分メモリＰｍから解放されてもよい。例えば、画像撮影装置１００は、ｎ回目の撮影画像を生成する前に、移動分メモリＰｍに記憶された差分画像のうち、ｎ−２回目までの撮影画像の差分画像を解放してもよい。これにより、使用するメモリ容量がさらに抑えられる。

図４のフローチャート図に戻り、２回目の差分領域Ｄ２に対して、３、４回目の差分領域Ｄ３、Ｄ４は未だ合成が完了していない領域であるため、ランダムパターンが検出され（Ｓ１６のＹＥＳ）、５回目の撮影画像ｇ５における対応する差分画像ｄ３−５、ｄ４−５が移動分メモリＰｍに記憶される（Ｓ１９）。そして、同様にして、移動分メモリＰｍに記憶された各差分画像ｄ３−５、ｄ４−５の各画素について、４回目の撮影画像ｇ４の差分画像ｄ３−４、４−４との撮影画像上における座標位置の距離が第１の動き量として検出され（Ｓ２０）、第２の動き量と比較される。続く各工程（Ｓ２１〜Ｓ２４）については、同様である。

［６回目］
そして、６回目の撮影画像ｇ６が生成されると（Ｓ１２、Ｓ１３）、パノラマ画像が４回目までの差分領域（２〜４回目の差分領域Ｄ２〜Ｄ４）に、ランダムパターンを有するか否かが判定される（Ｓ１６）。そして、３回目の差分領域Ｄ３に対応する各差分画像が記憶された移動分メモリが解放されると共に（Ｓ１６のＮＯ、Ｓ１７、Ｓ１８）、６回目の撮影画像ｇ６における４回目の差分領域Ｄ４に対応する差分画像ｄ４−６が移動分メモリＰｍに新たに記憶される（Ｓ１６のＹＥＳ、Ｓ１９）。そして、同様にして、移動分メモリＰｍに記憶された差分画像ｄ４−６の各画素について、５回目の撮影画像ｇ５の差分画像ｄ４−５との撮影画像上における座標位置の距離が第１の動き量として検出され（Ｓ２０）、第２の動き量と比較される。

このとき、４回目の差分領域Ｄ４に含まれる全ての画素について、第１、２の動き量が一致し（Ｓ２１のＹＥＳ）、パノラマ画像に合成される。これにより、パノラマ画像の全ての画素について、合成が完了する。また、このとき、移動距離が最終距離に到達し（Ｓ２４のＹＥＳ）、パノラマ画像の生成処理が終了する。

なお、図４のフローチャート図では、移動距離が最終距離に到達した場合に（Ｓ２４のＹＥＳ）、パノラマ画像の生成処理を終了しているが、画像撮影装置１００は、パノラマ画像における未合成の画素がなくなったときに、パノラマ画像の生成処理を終了してもよい。なお、画像撮影装置１００は、前述したとおり、パノラマ画像における最終差分領域（この例では、差分領域Ｄ４）について、動き量の検出及び判定を行うことなく、全ての画素（この例では、差分画像ｄ４−４の画素）についてパノラマ画像に合成してもよい。

以上のようにして、本実施の形態例における画像撮影装置１００は、ｎ回目の撮影時に、本実施の形態例における画像撮影装置１００は、ｎ−２（ｎ≧３）回目（例えば、１回目）からｎ−１回目（例えば、２回目）に撮影画像に新たに追加された第１の差分画像と、ｎ回目（例えば、３回目）の撮影画像の第１の差分画像と同じ領域の第２の差分画像との間の各画素の撮影画像内における位置の距離を示す第１の動き量を検出する。

そして、画像撮影装置１００は、合成処理として、第２の差分画像の各画素について、第１の動き量が、ｎ−１回とｎ回間（例えば、２回と３回間）の撮影方向の変更に対応する第２の動き量（例えば、動き量ｎ）と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込みを行わない。画像撮影装置１００は、この第１の動き量の検出処理と合成処理とを繰り返す。

このように、画像撮影装置１００は、前後の撮影画像の差分画像の各画素について、前回と今回の撮影画像間における撮影画像上の座標位置の距離を示す第１の動き量が、撮影方向の変更に対応する第２の動き量と一致する画素を静止画として検出し、パノラマ画像に書き込む。このため、移動物体の画像を除く静止画のみがパノラマ画像に書き込まれる。これにより、画像撮影装置１００は、複数の撮影画像に移動物体が重複して写り込んでいる場合であっても、移動物体を除く画像を効率的に検出することにより、同一の移動物体が重複して写り込むことが回避されたパノラマ画像を効率的に生成することができる。これにより、矛盾を有するパノラマ画像が生成されることが回避される。

また、本実施の形態例における画像撮影装置１００はメモリ（この例では、移動分メモリＰｍ）を有し、メモリには、ｎ回目の撮影時に、第ｎ−１回目（例えば、２回目）の撮影画像における第１の差分画像、ｎ回目（例えば、３回目）の撮影画像における第２の差分画像が記憶される。また、このとき、メモリには、ｎ−１回目の撮影画像における第１の差分画像を除く画像、及び、ｎ回目の撮影画像における第２の差分画像を除く画像は記憶されない。

即ち、本実施の形態例における画像撮影装置１００は、同一の移動物体が重複して写り込まないパノラマ画像を生成するにあたり、各撮影画像を全てメモリに記憶させる必要がない。画像撮影装置１００は、メモリに記憶された前後回の撮影画像の一部である第１、２の差分画像に基づいて合成対象の画素を検出可能である。このため、画像撮影装置１００は、使用するメモリ容量を最小限に抑えながら、同一の移動物体が重複して写り込まないパノラマ画像を生成することができる。

また、本実施の形態例における画像撮影装置１００は、パノラマ画像が第１の差分画像と同じ領域（例えば、第２の差分領域）に未書き込み画素を有する場合、さらに、ｎ回目（例えば、３回）の第２の差分画像と、ｎ＋１回目（例えば、４回）の第１の差分画像と同じ領域の第３の差分画像との間の各画素の第１の動き量を検出する。そして、画像撮影装置１００は、合成処理として、第３の差分画像の各画素について、第１の動き量が、ｎ回とｎ＋１回間（例えば、３回と４回間）の撮影方向の変更に対応する第２の動き量（例えば、動き量ｎ）と一致する場合に画素の画像データをパノラマ画像に書き込み、一致しない場合には書き込みを行わない。画像撮影装置１００は、パノラマ画像が未書き込みの画素を有する間、第１の動き量の検出処理と合成処理とを繰り返す。

このように、画像撮影装置１００は、パノラマ画像が未合成の画素を有する間、未合成の画素が位置する差分領域に含まれる各画素について、前回と今回の撮影画像間における第１の動き量が第２の動き量と一致する画素を検出しパノラマ画像に書き込む処理を繰り返す。これにより、画像撮影装置１００は、複数の撮影画像のある撮影領域（差分領域）に移動物体が連続して写り込む場合であっても、移動物体を除く静止画を効率的に検出、合成することができ、同一の移動物体が重複して写り込むことが回避されたパノラマ画像を効率的に生成することができる。これにより、移動物体が複数の撮影画像における同差分領域に連続して写り込む場合であっても、矛盾を有するパノラマ画像が生成されることが回避される。

また、本実施の形態例における画像撮影装置１００は、パノラマ画像における未書き込みであることを示す未合成画素に注目し、未合成画素がある領域について、第１の動き量の検出処理及び合成処理を繰り返す。これにより、画像撮影装置１００は、未書き込みの画素に基づいて、移動物体が写り込んだ差分領域を認識することができ、当該差分領域を対象として静止画の合成を行うことができる。また、画像撮影装置１００は、撮影方向を戻して、再度、合成が完了しない差分領域について、第１の動き量の検出処理及び合成処理を繰り返してもよい。

また、本実施の形態例における画像撮影装置１００はメモリ（この例では、移動分メモリＰｍ）を有し、メモリには、ｎ回目（例えば、３回目）の撮影時に、第ｎ−１回目（例えば、２回目）の撮影画像における第１の差分画像と第２の差分画像とが記憶され、ｎ−１回目の撮影画像における第１の差分画像を除く画像、及び、ｎ回目の撮影画像における第２の差分画像を除く画像は記憶されない。また、メモリには、ｎ＋１回目（例えば、４回目）の撮影時に、第２の差分画像と、ｎ＋１回目の撮影画像における第３の差分画像とが記憶され、ｎ回目の撮影画像における第２の差分画像を除く画像、及び、ｎ＋１回目の撮影画像における第３の差分画像を除く画像は記憶されない。

つまり、本実施の形態例における画像撮影装置１００は、同一の移動物体が重複して写り込まないパノラマ画像を生成するにあたり、ｎ−１回目からｎ＋１回目までの撮影画像を全てメモリに記憶させることなく、ｎ−１回目、ｎ回目の撮影画像の一部である第１、２の差分画像、または、ｎ回目、ｎ＋１回目の撮影画像の一部である第２、３の差分画像をメモリに記憶させればよい。画像撮影装置１００は、必要最小限の差分画像に基づいて、合成対象となる静止画素を検出することができる。このため、画像撮影装置１００は、使用するメモリ容量を最小限に抑えながら、同一の移動物体が重複して写り込まないパノラマ画像を生成することができる。

さらに、本実施の形態例における画像撮影装置１００の合成処理において、パノラマ画像の第１の差分画像と同じ領域に全ての画素が書き込まれたとき、第１の差分画像と同じ領域のすべての差分画像をメモリから削除する。つまり、第１の差分領域に含まれる全ての画素についてパノラマ画像への書き込みが完了したとき、第１の差分領域に対応する差分画像が全てメモリから削除される。これにより、画像撮影装置１００は、使用するメモリ容量をさらに効率的に抑えながら、同一の移動物体が重複して写り込まないパノラマ画像を生成することができる。

なお、本実施の形態例の画像撮影装置１００は、１回目の撮影時に生成される１回目の撮影画像ｇ１について、全ての画素の画像データをパノラマ画像に書き込む。しかしながら、画像撮影装置１００は、１回目の撮影画像ｇ１の画素の画像データをパノラマ画像に書き込まなくてもよい。例えば、画像撮影装置１００は、各差分画像のうち、静止画と判定された画素の画像データのみをパノラマ画像に書き込む。

具体的に、画像撮影装置１００は、例えば、図２の例において、１回目の撮影画像ｇ１の各画素の画像データをパノラマ画像ｐ１に書き込まない。そして、画像撮影装置１００は、３回目の撮影画像ｇ３の生成時から、検出された静止画を示す部分画像ｓ３をパノラマ画像に合成していく。そして、パノラマ画像における未合成の画素がなくなるまで、第１の動き量の検出処理、及び、合成処理を繰り返す。つまり、パノラマ画像には、静止画と判定された画素についてのみ書き込まれる。これにより、例えば、移動物体が１回目の撮影画像ｇ１に写り込んでいるような場合であっても、移動物体がパノラマ画像に合成されることが回避される。

［別のパノラマ画像の例］
なお、本実施の形態例における画像撮影装置１００におけるパノラマ画像の生成処理は、移動物体がいずれの速度で移動する場合であっても適用可能である。例えば、移動物体の移動速度がより速い場合は、図２で示した２回目から６回目の撮影画像ｇ２〜ｇ６のうち、一部の撮影画像にのみ移動物体が写り込む。このため、画像撮影装置１００は、同様の工程を行うことにより、パノラマ画像に同一の被写体が複数写り込むことを効果的に防止すると共に、使用するメモリの容量を抑えることができる。

一方、移動物体の移動速度がより遅い場合は、図２と同様にして、２回目から６回目の撮影画像ｇ２〜ｇ６の全ての撮影画像に移動物体が写り込む。ただし、移動物体の移動速度がより遅い場合は、差分領域の合成に要する撮影画像の数が多くなることがある。この場合についても同様にして、画像撮影装置１００は、パノラマ画像に同一の被写体が複数写り込むことを効果的に防止すると共に、使用するメモリの容量を抑えることができる。ここで、図２で示したパノラマ画像に対して、移動物体の移動速度がより遅いパノラマ画像の生成処理について説明する。

図５は、図２で示したパノラマ画像に対して、移動物体ＺＺの移動速度がより遅いパノラマ画像の生成処理について説明する図である。図２と同様にして、移動物体ＺＺは、撮影方向の移動方向と同一の方向に移動する。ただし、図５のパノラマ画像では、図２で示したパノラマ画像に対して、移動物体ＺＺの移動速度が遅い。このため、３回目の撮影画像ｇ３において、図２の例では移動物体ＺＺが３回目の差分領域Ｄ３に写り込んでいるのに対し、図５の例では２回目の差分領域Ｄ２と３回目の差分領域Ｄ３の間に写り込む。

［１回目、２回目］
図２のパノラマ画像と同様にして、画面合成部３８は、１回目の撮影画像ｇ１については、全ての画素についてパノラマ画像に書き込む。また、画面合成部３８は、２回目の撮影画像ｇ２について、パノラマ画像への合成処理を行わない。

［３回目］
続いて、３回目の撮影画像ｇ３が生成されたとき、画面合成部３８は、２回目の差分領域Ｄ２に含まれる各画素について、２、３回目の撮影画像ｇ２、ｇ３間における第１の動き量を検出し、第２の動き量と一致する画素の画像データをパノラマ画像ｐ３に書き込む。この例において、図５の中央列に示される３回目の撮影画像ｇ３に対応する部分画像ｓ３の各画素について、静止画と判定されパノラマ画像ｐ３に合成される。

［４回目］
次に、４回目の撮影画像ｇ４が生成されたとき、画面合成部３８は、２、３回目の差分領域Ｄ２、Ｄ３に含まれる各画素ついて、３、４回目の撮影画像ｇ３、ｇ４間における第１の動き量を検出し、第２の動き量と一致する画素の画像データをパノラマ画像ｐ４に書き込む。この例において、図５の中央列に示される４回目の撮影画像ｇ４に対応する部分画像ｓ４の各画素について、静止画と判定されパノラマ画像ｐ４に合成される。図５の例では、移動物体ＺＺの移動速度が遅いため、図２の例では、４回目の撮影画像ｇ４の生成時に２回目の差分領域Ｄ２の合成が完了するのに対し、図５の例では、未だ２回目の差分領域Ｄ２の合成が完了しない。

［５回目］
次に、５回目の撮影画像ｇ５が生成されたとき、画面合成部３８は、２〜４回目の差分領域Ｄ２〜Ｄ４に含まれる各画素ついて、４、５回目の撮影画像ｇ４、ｇ５間における第１の動き量を検出し、第２の動き量と一致する画素の画像データをパノラマ画像ｐ５に書き込む。この例において、図５の中央列に示される５回目の撮影画像ｇ５に対応する部分画像ｓ５の各画素について、静止画と判定されパノラマ画像ｐ５に合成される。図５の例では、２回目の差分領域Ｄ２の合成処理が、５回目の撮影画像ｇ５の生成時に完了する。このように、移動物体の移動速度が遅い場合、１つの差分領域に含まれる各画素の合成が完了するまで時間を要する。このため、移動分メモリＰｍに格納される差分画像も多くなる。

［６回目以降］
６回目以降の撮影画像についても同様である。図５の例では、画像撮影装置１００は、例えば、８回目の撮影画像（図示せず）が生成されたとき、縦線パターンで示される４回目の差分領域Ｄ４（最終差分領域）に含まれる全ての画素の合成が完了する。このように、最終差分領域（４回目の差分領域Ｄ４）の合成が、図２の例では６回目の撮影画像ｇ６の生成時に完了したのに対し、図５の例では、移動物体の移動速度が遅いことにより、８回目の撮影画像の生成時に完了する。

または、画像撮影装置１００は、例えば、パノラマ画像に書き込まれる最終差分領域Ｄ４については、７回目の撮影画像ｇ７の生成時に、差分画像ｄ４−７を全てパノラマ画像に書き込んでもよい。これにより、１つの移動物体ＺＺが差分領域Ｄ４に写り込んだパノラマ画像が生成される。

以上のように、本実施の形態例における画像撮影装置１００は、移動物体ＺＺの速度がより遅い場合、及び、より速い場合であっても、移動物体が写り込んでいない画素を効率的に検出し合成することにより、同一の移動物体が重複して写り込まないパノラマ画像を効率的に生成することができる。また、画像撮影装置１００は、使用するメモリ容量を最小限に抑えながら、同一の移動物体が重複して写り込んでいないパノラマ画像を生成することができる。

なお、本実施の形態例における第１の動き量検出処理、及び、合成処理は、コンピュータ読み取り可能な記録媒体にプログラムとして記憶され、当該プログラムをコンピュータが読み出して実行することによって行われてもよい。

以上の実施の形態をまとめると、次の付記のとおりである。

（付記１）
撮影方向を変更しながら順次、撮影した複数の撮影画像を合成してパノラマ画像を生成する画像撮影装置において、
ｎ（ｎ≧３）回目の撮影時に、
ｎ−２回目からｎ−１回目に前記撮影画像に新たに追加された第１の差分画像と、前記ｎ回目の前記撮影画像の前記第１の差分画像と同じ領域の第２の差分画像との間の各画素の前記撮影画像内における位置の距離を示す第１の動き量を検出する検出手段と、
前記第２の差分画像の各画素について、前記第１の動き量が、前記ｎ−１回と前記ｎ回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込まない合成手段と、を有し、
前記検出手段及び前記合成手段が、前記ｎ回目の撮影時の処理を繰り返す画像撮影装置。

（付記２）
付記１において、
ｎ＋１回目の撮影時に、
前記検出手段は、前記パノラマ画像が前記第１の差分画像と同じ領域に未書き込み画素を有する場合、さらに、前記ｎ回目の前記第２の差分画像と、ｎ＋１回目の前記第１の差分画像と同じ領域の第３の差分画像との間の各画素の前記第１の動き量を検出し、
前記合成手段は、さらに、前記第３の差分画像の各画素について、前記第１の動き量が、前記ｎ回と前記ｎ＋１回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込みを行わず、
前記パノラマ画像が未書き込みの画素を有する間、前記検出手段及び合成手段が、前記ｎ＋１回目の撮影時の処理を繰り返す画像撮影装置。

（付記３）
付記１において、
前記画像撮影装置はメモリを有し、
前記メモリには、前記ｎ回目の撮影時に、前記第ｎ−１回目の撮影画像における前記第１の差分画像と、前記ｎ回目の撮影画像における第２の差分画像とが記憶され、前記ｎ−１回目の撮影画像における前記第１の差分画像を除く画像、及び、前記ｎ回目の撮影画像における前記第２の差分画像を除く画像は記憶されない画像撮影装置。

（付記４）
付記２において、
前記画像撮影装置はメモリを有し、
前記メモリには、
前記ｎ回目の撮影時に、前記第ｎ−１回目の撮影画像における前記第１の差分画像と前記ｎ回目の撮影画像における第２の差分画像とが記憶され、前記ｎ−１回目の撮影画像における前記第１の差分画像を除く画像、及び、前記ｎ回目の撮影画像における前記第２の差分画像を除く画像は記憶されず、
前記ｎ＋１回目の撮影時に、前記第２の差分画像と、前記ｎ＋１回目の撮影画像における前記第３の差分画像とが記憶され、前記ｎ回目の撮影画像における前記第２の差分画像を除く画像、及び、前記ｎ＋１回目の撮影画像における前記第３の差分画像を除く画像は記憶されない画像撮影装置。

（付記５）
付記３または４において、
前記合成手段において、前記パノラマ画像の前記第１の差分画像と同じ領域に全ての画素が書き込まれたとき、前記第１の差分画像と同じ領域のすべての差分画像を前記メモリから削除する画像撮影装置。

（付記６）
付記１乃至５のいずれかにおいて、
前記合成手段は、１回目の撮影時に、１回目の撮影画像の全ての画素の画素データを前記パノラマ画像に書き込む画像撮影装置。

（付記７）
撮影方向を変更しながら順次、撮影した複数の撮影画像を合成してパノラマ画像を生成する画像撮影方法において、
ｎ（ｎ≧３）回目の撮影時に、
ｎ−２回目からｎ−１回目に前記撮影画像に新たに追加された第１の差分画像と、前記ｎ回目の前記撮影画像の前記第１の差分画像と同じ領域の第２の差分画像との間の各画素の前記撮影画像内における位置の距離を示す第１の動き量を検出する検出工程と、
前記第２の差分画像の各画素について、前記第１の動き量が、前記ｎ−１回と前記ｎ回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込まない合成工程と、を有し、
前記ｎ回目の撮影時の前記検出工程、及び、前記合成工程が繰り返される画像撮影方法。

（付記８）
付記７において、
ｎ＋１回目の撮影時に、
前記検出工程は、前記パノラマ画像が前記第１の差分画像と同じ領域に未書き込み画素を有する場合、さらに、前記ｎ回目の前記第２の差分画像と、ｎ＋１回目の前記第１の差分画像と同じ領域の第３の差分画像との間の各画素の前記第１の動き量を検出し、
前記合成工程は、さらに、前記第３の差分画像の各画素について、前記第１の動き量が、前記ｎ回と前記ｎ＋１回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込みを行わず、
前記パノラマ画像が未書き込みの画素を有する間、前記ｎ＋１回目の撮影時の前記検出工程、及び、合成工程が繰り返される画像撮影方法。

１００：画像撮影装置、１０：操作パネル、１１：撮影制御部、１２：撮像部、１３：信号処理部、１４：画像処理部、１５：ランダムパターン生成部、１６：メモリ、１７：記憶媒体、１８：記録・再生処理部、１９：画像表示制御部、２０：動画表示制御部、２１：液晶表示部、３０：ランダムパターン検出部、３１：移動分検出部、３２：移動量算出部、３３：移動速度算出部、３４：移動検出部、Ｐｍ：移動分メモリ１〜ｎ、３５：第２の動き量変換部、３６：動き量比較部、３７：第１の動き量検出部、３８：画面合成部

Claims (8)

1. 撮影方向を変更しながら順次、撮影した複数の撮影画像を合成してパノラマ画像を生成する画像撮影装置において、
   ｎ（ｎ≧３）回目の撮影時に、
   ｎ−２回目からｎ−１回目に前記撮影画像に新たに追加された第１の差分画像と、前記ｎ回目の前記撮影画像の前記第１の差分画像と同じ領域の第２の差分画像との間の各画素の前記撮影画像内における位置の距離を示す第１の動き量を検出する検出手段と、
   前記第２の差分画像の各画素について、前記第１の動き量が、前記ｎ−１回と前記ｎ回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込まない合成手段と、を有し、
   前記検出手段及び前記合成手段が、前記ｎ回目の撮影時の処理を繰り返す画像撮影装置。
2. 請求項１において、
   ｎ＋１回目の撮影時に、
   前記検出手段は、前記パノラマ画像が前記第１の差分画像と同じ領域に未書き込み画素を有する場合、さらに、前記ｎ回目の前記第２の差分画像と、ｎ＋１回目の前記第１の差分画像と同じ領域の第３の差分画像との間の各画素の前記第１の動き量を検出し、
   前記合成手段は、さらに、前記第３の差分画像の各画素について、前記第１の動き量が、前記ｎ回と前記ｎ＋１回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込みを行わず、
   前記パノラマ画像が未書き込みの画素を有する間、前記検出手段及び合成手段が、前記ｎ＋１回目の撮影時の処理を繰り返す画像撮影装置。
3. 請求項１において、
   前記画像撮影装置はメモリを有し、
   前記メモリには、前記ｎ回目の撮影時に、前記第ｎ−１回目の撮影画像における前記第１の差分画像と、前記ｎ回目の撮影画像における第２の差分画像とが記憶され、前記ｎ−１回目の撮影画像における前記第１の差分画像を除く画像、及び、前記ｎ回目の撮影画像における前記第２の差分画像を除く画像は記憶されない画像撮影装置。
4. 請求項２において、
   前記画像撮影装置はメモリを有し、
   前記メモリには、
   前記ｎ回目の撮影時に、前記第ｎ−１回目の撮影画像における前記第１の差分画像と前記ｎ回目の撮影画像における第２の差分画像とが記憶され、前記ｎ−１回目の撮影画像における前記第１の差分画像を除く画像、及び、前記ｎ回目の撮影画像における前記第２の差分画像を除く画像は記憶されず、
   前記ｎ＋１回目の撮影時に、前記第２の差分画像と、前記ｎ＋１回目の撮影画像における前記第３の差分画像とが記憶され、前記ｎ回目の撮影画像における前記第２の差分画像を除く画像、及び、前記ｎ＋１回目の撮影画像における前記第３の差分画像を除く画像は記憶されない画像撮影装置。
5. 請求項３または４において、
   前記合成手段において、前記パノラマ画像の前記第１の差分画像と同じ領域に全ての画素が書き込まれたとき、前記第１の差分画像と同じ領域のすべての差分画像を前記メモリから削除する画像撮影装置。
6. 請求項１乃至５のいずれかにおいて、
   前記合成手段は、１回目の撮影時に、１回目の撮影画像の全ての画素の画素データを前記パノラマ画像に書き込む画像撮影装置。
7. 撮影方向を変更しながら順次、撮影した複数の撮影画像を合成してパノラマ画像を生成する画像撮影方法において、
   ｎ（ｎ≧３）回目の撮影時に、
   ｎ−２回目からｎ−１回目に前記撮影画像に新たに追加された第１の差分画像と、前記ｎ回目の前記撮影画像の前記第１の差分画像と同じ領域の第２の差分画像との間の各画素の前記撮影画像内における位置の距離を示す第１の動き量を検出する検出工程と、
   前記第２の差分画像の各画素について、前記第１の動き量が、前記ｎ−１回と前記ｎ回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込まない合成工程と、を有し、
   前記ｎ回目の撮影時の前記検出工程、及び、前記合成工程が繰り返される画像撮影方法。
8. 請求項７において、
   ｎ＋１回目の撮影時に、
   前記検出工程は、前記パノラマ画像が前記第１の差分画像と同じ領域に未書き込み画素を有する場合、さらに、前記ｎ回目の前記第２の差分画像と、ｎ＋１回目の前記第１の差分画像と同じ領域の第３の差分画像との間の各画素の前記第１の動き量を検出し、
   前記合成工程は、さらに、前記第３の差分画像の各画素について、前記第１の動き量が、前記ｎ回と前記ｎ＋１回間の前記撮影方向の変更に対応する第２の動き量と一致する場合に前記画素の画像データを前記パノラマ画像に書き込み、一致しない場合には書き込みを行わず、
   前記パノラマ画像が未書き込みの画素を有する間、前記ｎ＋１回目の撮影時の前記検出工程、及び、合成工程が繰り返される画像撮影方法。

Images