JP2009278350A - 撮像装置および撮像装置における撮像方法 - Google Patents

Abstract

【課題】撮影処理中に生じるブラックアウト時の画像の移動量を推定し、画像移動量の算出精度を向上させること。
【解決手段】動き検出部１５は、現フレーム画像と直前フレーム画像との間で動き検出を行ってフレーム間移動量を検出する。また、撮影処理の開始前の所定数フレーム分のフレーム間移動量をもとにその移動量変化の傾向を判定するとともに、撮影処理の終了後の所定数フレーム分のフレーム間移動量をもとにその移動量変化の傾向を判定する。そして、判定した撮影前および撮影後の移動量変化の各傾向に応じて撮影前および／または撮影後の移動量変化を用い、撮影処理の開始後、ライブビュー画像の表示が停止されてから復帰するまでのブラックアウトとなる像消失時間に従って、撮影中移動量を推定する。
【選択図】図２

Description

本発明は、撮像装置およびこの撮像装置における撮像方法に関するものである。

従来から、デジタルカメラ等の撮像装置において、複数の撮影画像を合成してパノラマ画像を生成するパノラマ撮影モードを備えたものが知られており、撮像装置をパンニングさせながら被写体を部分毎に撮影し、撮影した画像データを合成することによって、この部分毎の撮影画像が繋ぎ合されたパノラマ画像を得ることができる。デジタルカメラでは、撮像素子からの出力をライブビュー画像として所定のフレームレートで表示部に表示させることにより電子ファインダーとして用いているが、パノラマ撮影モードでは、このライブビュー画像間の動きをフレーム毎に検出して積算することによって画像の移動量を求め、撮影画像間の繋ぎ目を検出するようにしている。これによれば、継ぎ目に違和感が生じない適切なタイミングで撮影処理を行うことができる。例えば、特許文献１には、パンニングに伴う画像間の動き（動きベクトル）を求め、この動きベクトルをもとに撮影画像を繋ぎ合わせる際の幅を制御する技術が開示されている。

特許第３４２１８５９号公報

ところで、撮影処理中（露光中）は撮像素子からの出力がないため、ライブビュー画像の表示が一旦停止され、一時的に表示部に何も表示されないブラックアウト状態となる。ここで、ブラックアウト中に装置本体が動かされてしまうと、この間の画像の動きを検出することができないため、画像移動量の算出精度が低下し、撮影画像間の繋ぎ目を正しく検出できないという問題があった。またこの結果、合成時の繋ぎ目にズレが生じ、生成したパノラマ画像に違和感が生じる場合があった。

本発明は、上記に鑑みてなされたものであって、撮影処理中に生じるブラックアウト時の画像の移動量を推定し、画像移動量の算出精度を向上させることができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる撮像装置は、被写体像を撮像して画像データを生成する撮像部を備え、複数回の撮影処理を行って複数の撮影画像を生成する撮像装置であって、前記撮像部によって撮像された前記画像データをライブビュー画像として連続表示する表示部と、所定のフレーム毎に前記ライブビュー画像の移動量を検出する移動量検出部と、前記撮影処理の際、前記表示部への前記ライブビュー画像の表示が停止されてから前記撮影処理の終了後に表示が復帰するまでの時間を計測する時間計測部と、前記撮影処理の開始前に検出された前記画像データの移動量変化の傾向を判定するとともに、前記撮影処理の終了後に検出された前記画像データの移動量変化の傾向を判定する移動量変化判定部と、前記移動量変化判定部によって判定された前記撮影処理の開始前および終了後における前記移動量変化の各傾向に応じて前記撮影処理の開始前に検出された前記画像データの移動量変化および／または前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記時間計測部によって計測された計測時間に従って、前記撮影処理中の画像移動量を推定する撮影中移動量推定部と、を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影処理の開始を指示する撮影開始指示部と、前記撮影処理の後、前記移動量検出部によって検出される前記画像データの移動量に従って移動する移動マークと、該移動マークの移動目標位置を示す移動目標マークとを前記ライブビュー画像上に表示する制御を行う表示制御部と、を備え、前記表示制御部は、前記撮影処理中の画像移動量をもとに前記移動マークの初期表示位置を設定し、前記撮影開始指示部は、前記移動マークが前記移動目標位置に移動した時点で、次の撮影処理の開始を指示することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記移動量変化判定部は、前記撮影処理の開始前における前記移動量変化の傾向および終了後における前記移動量変化の傾向を、それぞれ少なくとも前記撮影処理中の装置本体の動きが停止または減速していることを示す収束パターンか否かに分類することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影中移動量推定部は、前記移動量変化判定部によって前記撮影処理の開始前および終了後における前記移動量変化の各傾向がそれぞれ前記収束パターンに分類された場合に、前記撮影処理の開始前に検出された前記画像データの移動量変化および前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記計測時間に従って、前記撮影処理中の前記ライブビュー画像の移動量を補間することで前記撮影処理中の画像移動量を推定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影中移動量推定部は、前記移動量変化判定部によって前記撮影処理の開始前または終了後のいずれか一方の前記移動量変化の傾向が前記収束パターンに分類された場合に、前記収束パターンに分類された前記撮影処理の開始前または前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記計測時間に従って、前記撮影処理中の前記画像データの移動量を補間することで前記撮影処理中の画像移動量を推定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影中移動量推定部は、前記収束パターンに分類された前記撮影処理の開始前および／または終了後に検出された前記画像データの移動量変化をもとに近似式を導出し、該近似式に従って前記撮影処理中の前記画像データの移動量を補間することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影中移動量推定部は、前記近似式に従って補間した前記撮影処理中の前記画像データの移動量を所定の基準値と比較し、比較結果をもとに前記補間した前記撮影処理中の前記画像データの移動量を前記基準値で置き換えて前記撮影処理中の画像移動量を推定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記移動量変化判定部は、前記撮影処理の開始前および終了後における前記移動量変化の各傾向が前記収束パターンではない場合に、前記各傾向をもとに、前記撮影処理中の装置本体の動きが等速であることを示す等速パターンか否かに分類し、前記撮影中移動量推定部は、前記移動量変化判定部によって前記等速パターンに分類された場合に、前記撮影処理の開始前に検出された前記画像データの移動量変化および前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記計測時間に従って、前記撮影処理中の前記画像データの移動量を補間することで前記撮影処理中の画像移動量を推定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影中移動量推定部は、前記移動量変化判定部によって前記等速パターンに分類されない場合に、前記撮影処理の開始直前に検出された１つの移動量および前記撮影処理の終了直後に検出された１つの移動量を用い、前記計測時間に従って、前記撮影処理中の前記画像データの移動量を補間することを特徴とする。

また、本発明にかかる撮像装置における撮像方法は、被写体像を撮像して画像データを生成する撮像部を備え、複数回の撮影処理を行って複数の撮影画像を生成する撮像装置における撮像方法であって、前記撮像部によって撮像された前記画像データをライブビュー画像として表示部に連続表示する表示ステップと、所定のフレーム毎に前記ライブビュー画像の移動量を検出する移動量検出ステップと、前記撮影処理時において、前記表示部への前記ライブビュー画像の表示が停止されてから前記撮影処理の終了後に表示が復帰するまでの時間を計測する時間計測ステップと、前記撮影処理の開始前に検出された前記画像データの移動量変化の傾向を判定するとともに、前記撮影処理の終了後に検出された前記画像データの移動量変化の傾向を判定する移動量変化判定ステップと、前記移動量変化判定ステップで判定された前記撮影処理の開始前および終了後における前記移動量変化の各傾向に応じて前記撮影処理の開始前に検出された前記画像データの移動量変化および／または前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記時間計測ステップで計測された計測時間に従って、前記撮影処理中の画像移動量を推定する撮影中移動量推定ステップと、を含むことを特徴とする。

本発明によれば、撮影処理の開始前および終了後に検出されたライブビュー画像の移動量変化の傾向に応じてこの撮影処理の開始前および／または終了後におけるライブビュー画像の移動量を用い、撮影処理の際の表示部へのライブビュー画像の表示が停止されてから復帰するまでの計測時間に従って、撮影処理中の画像移動量を推定することができる。これによれば、撮影処理中に生じるブラックアウト時の画像の移動量を推定できるので、撮影処理中に装置本体が動かされた場合であっても、画像移動量を精度良く算出することができるという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮像装置をデジタルカメラに適用した場合を例にとって説明する。

（実施の形態）
図１は、デジタルカメラ１の背面図である。図１に示すように、デジタルカメラ１は、カメラ本体２の上面に配設された撮影タイミングを指示するためのシャッターボタン（レリーズボタン）３、カメラ本体２の背面に配設された電源ボタン４やメニューボタン５、上下左右の各方向ボタン（上ボタン、下ボタン、左ボタンおよび右ボタン）を有する十字ボタン６、操作内容を確定する等のためのＯＫボタン７、各種画面を表示する表示部２２等を備えている。また、図示しないが、カメラ本体２の前面には、ファインダーや撮像レンズ等が配設されている。ユーザが電源ボタン４を押下し、電源をＯＮすると、デジタルカメラ１は撮影可能な状態（撮影モード）となる。この撮影モードでは、撮像レンズを通して撮像素子１２（図２参照）に結像されている被写体像が１フレーム（例えば１／３０秒）毎に取り込まれ、ライブビュー画像として表示部２２にリアルタイムに表示されるようになっている。そして、例えばシャッターボタン３の押下タイミング等で電子的な撮影が行われる。

先ず、このデジタルカメラ１の構成について説明する。図２は、デジタルカメラ１の構成例を示す概略ブロック図である。図２に示すように、デジタルカメラ１は、撮像光学系１１、撮像部としての撮像素子１２、ＡＦＥ（Analog Front End）１３、フレームメモリ１４、移動量検出部としての動き検出部１５、画像処理部１６、記録媒体Ｉ／Ｆ１７、記録媒体保持部１８、記録媒体１９、ビデオエンコーダ２０、表示ドライバ２１、表示部２２、ビデオ信号出力端子２３、操作部２４、ＲＡＭ２５、ＲＯＭ２６、コントローラ２７等を備える。

撮像光学系１１は、撮像レンズ、絞り、シャッター等を含み、入射される被写体像を撮像素子１２に結像する。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子であり、被写体からの光束を、撮像光学系１１を介して受光し、光電変換することによってフレーム単位の画像データ（アナログ電気信号）を得るものである。ＡＦＥ１３は、撮像素子１２によって得られる画像データに対してＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を施した後、Ａ／Ｄ変換処理を施してデジタル電気信号に変換する。ＡＦＥ１３によってデジタル化された画像データは、フレームメモリ１４および動き検出部１５に出力されるとともに、ＲＡＭ２５に一時的に記憶される。

フレームメモリ１４は、動き検出部１５による作業用メモリとして用いられる。このフレームメモリ１４は、２フレーム分の画像データを記憶するための領域を備え、ライブビュー画像の表示時（以下、「ライブビュー時」と呼ぶ。）において、現フレームのライブビュー画像（現フレーム画像）および直前に取り込まれた直前フレームのライブビュー画像（直前フレーム画像）の画像データが記憶される。

動き検出部１５は、ＡＦＥ１３からの画像データをもとに、画像間の動きを検出するためのものであり、ＡＦＥ１３から随時入力されてフレームメモリ１４に記憶される現フレーム画像を、既にフレームメモリ１４に記憶されている直前フレーム画像と比較する。そして、各画像に映る同一の被写体位置の変化量を表す動きベクトルを算出することによって現フレーム画像と直前フレーム画像との間の動きを検出し、ライブビュー画像のフレーム間移動量を算出する。なお、必ずしもフレーム単位で動き検出を行う必要はなく、所定のフレーム間隔で動き検出を行うこととしてもよい。

図３は、フレーム間の動き検出について説明するための図であり、直前フレーム画像の画角範囲の一例を示している。動き検出部１５は、図３に示すように、直前フレーム画像中に複数の代表点Ｂ１１を配置する。代表点Ｂ１１を配置する位置やそのサイズ、数等は、例えば予め設定しておく。また、現フレーム画像中に、直前フレーム画像中に配置した、前記各代表点に対する探索範囲を設定する。そして、直前フレームの各代表点と対応する探索範囲とでパタンマッチングを行い、各代表点と最も相関の高い位置を現フレーム画像中の各探索範囲の中から探索する。このパタンマッチングによって得られた各代表点の動きベクトルをもとに、画面全体の動きを示す代表動きベクトルを求める。

図４は、この動き検出部１５の機能構成を示す模式図である。図４に示すように、動き検出部１５は、上記のようにして検出したフレーム間移動量の信頼性を評価する信頼性評価部１５１と、撮影処理の開始前の所定数フレーム分のフレーム間移動量をもとにその移動量変化の傾向を判定するとともに、撮影処理の終了後の所定数フレーム分のフレーム間移動量をもとにその移動量変化の傾向を判定する移動量変化判定部１５３と、撮影処理中の画像移動量（撮影中移動量）を推定する撮影中移動量推定部１５５と、フレーム間移動量と撮影中移動量とをもとにパノラマ撮影の開始時からの画像移動量（積算移動量）を更新する移動量更新部１５７とを含む。また、図示しないが、動き検出部１５は、過去に検出したフレーム間移動量やその信頼性の評価結果等を一時的に記憶しておくためのＲＡＭを内部に備えている。このＲＡＭには、直近の所定数フレーム分（例えば４フレーム分）のフレーム間移動量が随時更新記憶されるようになっている。

画像処理部１６は、図２に示すように、ＲＡＭ２５に一旦記憶された画像データを読み出し、この画像データに対して各種の画像処理を施すとともに、記録用、表示用、パノラマ合成用等に適した画像データに変換する処理を行う。例えば、撮影画像やパノラマ画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、ＪＰＥＧ（Joint Photographic Experts Group）方式等に基づく画像データの圧縮処理や伸張処理を行う。また、パノラマ合成用に撮影された複数の撮影画像の画像データを合成し、１枚のパノラマ画像を生成する処理等を行う。この画像処理部１６で画像処理された画像データは、記録媒体Ｉ／Ｆ１７に出力されて記録媒体１９に記録され、あるいはビデオエンコーダ２０に出力されて表示部２２に表示される。

ビデオエンコーダ２０は、表示用に変換された画像データを表示ドライバ２１に送出する。例えば撮影モードでは、１フレーム毎に撮像素子１２から取り込まれて画像処理部１６によって画像処理された画像データをフレーム単位で表示部２２に切換表示させ、ライブビュー画像の表示を行う。一方、再生モードでは、記録媒体１９から読み出されて画像処理部１６よって画像処理された撮影画像やパノラマ画像を表示部２２に表示させる。また、このビデオエンコーダ２０は、ビデオ信号出力端子２３に接続された外部機器に対し、必要に応じて表示用の画像データを出力する。表示部２２は、撮影画像やライブビュー画像の他、デジタルカメラ１の各種設定情報等を表示するためのものであり、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置で実現される。

記録媒体Ｉ／Ｆ１７は、記録媒体保持部１８によって挿脱自在に保持される記録媒体１９に対して、記録用に変換された画像データ等の書き込みや、記録された画像データの読み出し等を行う。記録媒体１９は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のメモリカードである。

操作部２４は、撮影タイミングの指示や、パノラマ撮影モードを含む各種の撮影モードや再生モードといったモードの設定操作、撮影条件の設定操作等、ユーザによる各種操作を受け付けて操作信号をコントローラ２７に通知するためのものであり、各種機能が割り当てられたボタンスイッチ等で実現される。この操作部２４は、図１のシャッターボタン３、電源ボタン４、メニューボタン５、十字ボタン６およびＯＫボタン７を含む。

ＲＯＭ２６は、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等を予め記憶する。ＲＡＭ２５は、画像処理部１６やコントローラ２７の作業用メモリとして用いられる。例えば、ＡＦＥ１３からの画像データ等が一時的に記憶され、表示部２２に表示するライブビュー画像の画像データを生成する際の作業用やパノラマ画像を生成する際の作業用、撮影画像やパノラマ画像を記録媒体１９に記録する際の作業用に用いられる。

コントローラ２７は、操作部２４からの操作信号等に応じてＲＯＭ２６からカメラプログラムを読み出して実行し、デジタルカメラ１を構成する各部の動作制御やメモリ制御を行ってデジタルカメラ１全体の動作を統括的に制御する。また、ＡＦ（自動焦点）、ＡＥ（自動露出）、ＡＷＢ（自動ホワイトバランス）等の処理を行う。このコントローラ２７は、パノラマ撮影モードにおいて撮影処理の開始タイミングを指示する撮影開始指示部２７１と、この撮影開始指示部２７１の指示によって開始された撮影処理の開始後であって表示部２２へのライブビュー画像の表示が停止されてから、撮影処理の終了時であって表示部２２へのライブビュー画像の表示が復帰するまでのブラックアウトとなる像消失時間を計測時間としてカウント（計測）し、動き検出部１５に出力する時間計測部としての像消失時間計測部２７３とを含む。

次に、以上のように構成されるデジタルカメラ１の撮影モードの一つであるパノラマ撮影モードについて説明する。図５は、パノラマ撮影モードの概要を説明する図である。パノラマ撮影モードでは、複数回の撮影処理を行って、複数の画像（以下、パノラマ画像用に撮影される撮影画像を「部分画像」という。）の画像データを生成する。例えば、ユーザは、シャッターボタン３を押下し、１枚目の部分画像を撮影する。その後カメラ本体２を所定のパノラマ撮影方向へとパンニング操作し、２枚目の部分画像撮影位置に達したところで、２枚目の部分画像を撮影する。以後、任意の枚数の部分画像の撮影を繰り返すことで、被写体を部分毎に撮影する。パンニング操作とは、パノラマ撮影方向に沿ってカメラ本体２を回転させながら移動させる操作のことをいう。図５では、ユーザが、シャッターボタン３の押下後にカメラ本体２を左側から右側に向けて水平方向にパンニング操作し、例えば３枚の部分画像Ｉ１，Ｉ３，Ｉ５を撮影した場合を示している。ここで、各部分画像Ｉ１，Ｉ３，Ｉ５の撮影処理は、１枚目の部分画像Ｉ１についてはシャッターボタン３の押下タイミングで行われる。２枚目以降の部分画像Ｉ３，Ｉ５については、ユーザによるカメラ本体２のパンニング操作の途中で自動的に行われる。そして、このようにして生成した部分毎の部分画像Ｉ１，Ｉ３，Ｉ５を、それぞれ隣り合う部分画像Ｉ１，Ｉ３，Ｉ５間の位置関係が合うように繋ぎ合わせて合成し、１枚のパノラマ画像Ｉ７を生成する。具体的には、部分画像Ｉ１の右端の領域Ａ１と、部分画像Ｉ３の左端の領域Ａ３とに映る重複部分を探索し、探索された重複部分をもとに、部分画像Ｉ１と部分画像Ｉ３とを合成する。同様にして、部分画像Ｉ３の右側の領域Ａ５と、部分画像Ｉ５の左側の領域Ａ７とに映る重複部分をもとに、部分画像Ｉ３と部分画像Ｉ５とを合成する。

このように、パノラマ画像を生成するためには、各部分画像の所定範囲が重複している必要があるが、一方で、重複部分が所定範囲からずれると合成箇所の探索処理に時間を要し、合成処理時間が増大してしまう。また、重複部分が著しく所定範囲からずれると、合成箇所を検出することができず、合成の結果、継ぎ目に違和感のあるパノラマ画像となる。このため、２枚目以降の部分画像の撮影処理は、重複部分が適切な範囲となるようなタイミングで行う必要がある。本実施の形態では、１枚目の撮影処理の後、移動マークとしてのポインタと、このポインタの移動目標位置を示す移動目標マークとしてのターゲットとをライブビュー画像上に表示し、ポインタをターゲット上に移動させるようなパンニング操作を促す。

図６および図７は、パノラマ撮影を行う際のデジタルカメラ１の操作を説明するための図であり、パノラマ撮影モードにおいて表示部２２に表示される表示画面の遷移例を示している。パノラマ撮影モードでは先ず、ライブビュー画像の表示が開始される（図６（ａ））。そして、シャッターボタン３が押下されるまで待機状態となる。ユーザは、このライブビュー画像を見ながらシャッターボタン３を押下し、１枚目の部分画像の撮影タイミングを指示する。撮影タイミングを指示すると撮影処理が開始され、１枚目の部分画像が生成される。ここで、撮影処理が開始されると、ライブビュー画像の表示が一旦停止されて露光に移る。すなわち、露光中や転送中等は撮像素子１２からの出力がないためライブビュー画像が取り込めず、表示部２２の表示は、何も表示されないブラックアウト状態となる（図６（ｂ））。そして、露光が終わると、画像データの転送処理や画像処理を経てライブビュー画像の表示が復帰する。また、１枚目の部分画像の撮影の後復帰したライブビュー画像上には、ポインタＰＭとターゲットＴＭとが表示され（図６（ｃ））、２枚目の部分画像を撮影するためのターゲットＴＭへのパンニング操作を促す。ここで、図６（ｃ）では、向かって右側にポインタＰＭが、左側にターゲットＴＭが配置されており、パノラマ撮影方向が“右”の場合の操作例を示している。パノラマ撮影方向は、例えばユーザが「右」または「左」のいずれか一方を選択することで確定される。なお、パノラマ撮影方向が“左”の場合には、ポインタは画面左側、ターゲットは画面右側を初期表示位置として配置される。ユーザがカメラ本体２をパノラマ撮影方向である右方向に向けて水平方向にパンニング操作すると、ポインタＰＭは、動き検出部１５が行う動き検出処理の結果更新される積算移動量に従ってライブビュー画像とともにターゲットＴＭが配置される左側へと移動していく（図６（ｄ））。ここで、動き検出部１５は、右方向に向けたパンニング操作に応じてフレーム間移動量を正の値として算出し、左方向に向けたパンニング操作に応じてフレーム間移動量を負の値として算出する。

そして、図７に示すように、ポインタＰＭがターゲットＴＭの枠内に移動すると（図７（ａ））、撮影処理が自動的に開始される。この撮影処理においても、１枚目の部分画像の撮影処理のときと同様にライブビュー画像の表示が一旦停止され、表示部２２の表示は何も表示されないブラックアウト状態となる（図７（ｂ））。そして、露光が終わり、画像データの転送処理や画像処理の後にライブビュー画像の表示が復帰する。また、２枚目の部分画像の撮影の後復帰したライブビュー画像上には、１枚目の撮影後と同様にしてポインタＰＭとターゲットＴＭとが表示され、３枚目の部分画像を撮影するためのパンニング操作を促すが、２枚目以降の撮影処理の後では、動き検出部１５が行う撮影中移動量推定処理の結果、撮影中移動量が推定されて積算移動量が更新される。そして、この積算移動量をもとに次の撮影位置が決定されてポインタＰＭの初期表示位置が調整されるようになっている。例えば、撮影処理中にカメラ本体２がほとんど動かされなければ、ポインタＰＭは、ライブビュー画像の右側端部の所定位置を初期表示位置として配置される（図７（ｃ））。部分画像の撮影処理中にカメラ本体２が右方向に動かされた場合には、ポインタＰＭは、前述の所定位置よりもターゲットＴＭ側を初期表示位置として配置される（図７（ｄ））。

次に、デジタルカメラ１の動作について説明する。図８は、デジタルカメラ１の状態遷移図である。図８に示すように、デジタルカメラ１は、電源ボタン４が押下されて電源がＯＮされると（ａ１）、カメラ電源ＯＦＦ状態Ｃ₁から静止画撮影待機状態Ｃ₃に遷移し、撮影モードとなる。撮影モードでは、撮像素子１２に結像されている被写体像の画像データをＲＡＭ２５に記憶し、この画像データをフレーム単位で切り換えて表示部２２に表示する一連の処理を繰り返し行い、ライブビュー画像の表示を継続的に行う。また、電源ボタン４が押下されて電源がＯＦＦされると（ａ３）、デジタルカメラ１は、カメラ電源ＯＦＦ状態Ｃ₁へと遷移する。

そして、パノラマ撮影モードが選択されると（ａ５）、デジタルカメラ１は、静止画撮影待機状態Ｃ₃から撮影状態Ｃ₅へと遷移する。ここで、１枚目の部分画像の撮影に際しては、シャッターボタン３の押下タイミングで撮影処理を開始する。そして、撮影を完了すると（ａ７）、デジタルカメラ１は、撮影状態Ｃ₅から撮影方向検出状態Ｃ₇へと遷移する。ここでは、ライブビュー画像間の動きを検出することによってカメラ本体２のパンニング操作を検出し、パノラマ撮影方向を確定する。パノラマ撮影方向が確定すると（ａ９）、デジタルカメラ１は、撮影方向検出状態Ｃ₇から移動量検出状態Ｃ₉へと遷移する。ここでは先ず、パノラマ撮影方向に従って、ライブビュー画像上にポインタとターゲットとを表示させる。そして、フレーム毎に検出されるフレーム間移動量を随時積算することによって積算移動量を更新し、ポインタを移動させる。ポインタがターゲットに重なるとポインタの移動を完了し（ａ１１）、デジタルカメラ１は、移動量検出状態Ｃ₉から撮影状態Ｃ₅へと遷移して撮影処理を開始する。２枚目以降の撮影を完了した場合には（ａ１３）、デジタルカメラ１は、撮影状態Ｃ₅から移動量推定状態Ｃ₁₁へと遷移する。ここでは、撮影中移動量を推定し、推定した撮影中移動量をもとに積算移動量を更新するとともに、推定した撮影中移動量をもとにポインタの初期表示位置を調整して設定し、ライブビュー画像上にポインタとターゲットとを表示させる。推定を完了すると（ａ１５）、デジタルカメラ１は、移動量推定状態Ｃ₁₁から移動量検出状態Ｃ₉へと遷移し、次の部分画像の撮影に移る。このようにして、所定枚数の部分画像を撮影したならば、生成した部分画像を合成してパノラマ画像を生成し、パノラマ撮影を終える（ａ１７）。このとき、デジタルカメラ１は、撮影状態Ｃ₅から静止画撮影待機状態Ｃ₃へと遷移する。

図９は、撮影モードにおけるデジタルカメラ１の動作を示すフローチャートである。撮影モードでは先ず、コントローラ２７が、撮影モードの種類を判定する。通常の撮影モード等のパノラマ撮影モード以外の撮影モードが設定されている場合には（ステップｂ１：Ｎｏ）、その撮影モードに応じた撮影動作に移り（ステップｂ３）、終了後、処理を終える。

一方、パノラマ撮影モードが設定されている場合には（ステップｂ１：Ｙｅｓ）、先ず１枚目の部分画像の撮影を行う。すなわち、撮影開始指示部２７１が、シャッターボタン３が押下されたタイミングを撮影タイミングとして撮影処理の開始を指示する。これによって撮影処理が開始され、各部の動作を制御してこのときの撮影範囲の静止画像を１枚目の部分画像として撮影する（ステップｂ５）。この撮影処理の開始後、ライブビュー画像の表示が一旦停止される。このライブビュー画像の表示は、撮影処理の終了時、すなわち、露光の後、画像データの転送処理や画像処理を終えると復帰するようになっている。

続いて、コントローラ２７は、パノラマ撮影方向の指示を促す撮影方向誘導ＯＳＤ（On-Screen Display）をライブビュー画像上に表示する制御を行い、この撮影方向誘導ＯＳＤによってカメラ本体２のパノラマ撮影方向へのパンニング操作を促して、例えば“左”または“右”のいずれかのパノラマ撮影方向の指示を受け付ける（ステップｂ７）。そして、ステップｂ９〜ステップｂ１３の処理をフレーム毎に繰り返し実行し、カメラ本体２のパンニング操作を検出する。すなわち、動き検出部１５が現フレーム画像と直前フレーム画像との間の動き検出を行い、フレーム間移動量を随時積算して積算移動量を算出・更新する（ステップｂ９）。そして、コントローラ２７が、積算移動量をもとに撮影方向判定処理を行う（ステップｂ１１）。このとき、ユーザが撮影方向誘導ＯＳＤの表示に従ってカメラ本体２を左側に向けて水平方向に回転させれば、パノラマ撮影方向は左方向として確定される。同様にして、ユーザがカメラ本体２を右側に向けて水平方向に回転させると、パノラマ撮影方向は右方向として確定される。カメラ本体２が動かされずにパノラマ撮影方向が確定されない場合には（ステップｂ１３：Ｎｏ）、ステップｂ９に戻る。

そして、パノラマ撮影方向を確定したならば（ステップｂ１３：Ｙｅｓ）、続いてコントローラ２７は、表示制御部として、ポインタとターゲットとをライブビュー画像上に表示する制御を行う（ステップｂ１５）。具体的には、コントローラ２７は、ステップｂ９で積算された積算移動量をもとにポインタの初期表示位置を設定し、ポインタとターゲットとをライブビュー画像上に配置する。またこのとき、ポインタとターゲットとの位置関係をパノラマ撮影方向に従って決定する。

この後、ポインタがターゲットの位置に移動するまでの間、ステップｂ１７〜ステップｂ２１の処理をフレーム毎に繰り返し行う。すなわち先ず、動き検出部１５が動き検出処理を行って積算移動量を更新する（ステップｂ１７）。続いてコントローラ２７が、動き検出処理の結果更新された積算移動量をもとにポインタの表示位置を移動させ、表示を更新する（ステップｂ１９）。そして、コントローラ２７は、ポインタの表示位置がターゲットの枠内か否かを判定し、ターゲットの枠内でないならば（ステップｂ２１：Ｎｏ）、ステップｂ１７に戻る。

ポインタがターゲットの枠内に移動した場合には（ステップｂ２１：Ｙｅｓ）、動き検出部１５が、現時点で内部のＲＡＭに記憶されている直近の所定数フレーム分のフレーム間移動量を撮影前動きデータとし、撮影中移動量推定処理用に内部のＲＡＭ内に記憶する（ステップｂ２３）。そして、像消失時間計測部２７３が、撮影処理直前最後のスルー画の露光が終了した時点で像消失時間の計測を開始する（ステップｂ２５）。続いて、撮影開始指示部２７１が、撮影処理の開始を指示する（ステップｂ２７）。ここでの指示によって撮影処理が開始され、このときの撮影範囲の静止画像を部分画像として撮影する。そして、撮影処理を終えると（ステップｂ２９）、像消失時間計測部２７３は、像消失時間の計測を終了する（ステップｂ３１）。

続いてコントローラ２７は、所定枚数の撮影を終了したか否かを判定する。例えば、３枚の部分画像を撮影してパノラマ画像を生成する場合であれば、３枚の部分画像を撮影したか否かを判定する。部分画像の枚数は固定でもよいし、ユーザが適宜設定できるように構成してもよい。所定枚数の撮影が終了していない場合には（ステップｂ３３：Ｎｏ）、動き検出部１５が撮影中移動量推定処理を行い、撮影中移動量を推定して積算移動量を更新する（ステップｂ３５）。続いてコントローラ２７が、表示制御部として、撮影中移動量推定処理で推定された撮影中移動量をもとにポインタの初期表示位置を調整して設定し、ポインタとターゲットとをライブビュー画像上に表示する制御を行う（ステップｂ３７）。このとき、そして、ポインタとターゲットとの位置関係をパノラマ撮影方向に従って決定する。その後、ステップｂ１７に戻る。

そして、所定枚数の撮影を行った場合には（ステップｂ３３：Ｙｅｓ）、画像処理部１６が、撮影した所定枚数の部分画像をパノラマ撮影方向に従って繋ぎ合わせて合成し、パノラマ画像を生成する（ステップｂ３９）。そして、コントローラ２７が、生成したパノラマ画像を表示部２２に表示する制御を行い（ステップｂ４１）、処理を終了する。また、このとき、生成したパノラマ画像を記録媒体１９に記録する。

次に、図９のステップｂ１１で行う撮影方向判定処理について説明する。図１０は、撮影方向判定処理の詳細な処理手順を示すフローチャートである。この撮影方向判定処理では、図９のステップｂ９で算出・更新された積算移動量の水平成分の絶対値を予め設定される所定の方向閾値と比較することによって、カメラ本体２のパンニング操作を検出する。そして、積算移動量（水平成分）の絶対値が方向閾値以下の場合には（ステップｃ１：Ｎｏ）、コントローラ２７は、撮影方向未確定とする（ステップｃ３）。そして、図９のステップｂ１１にリターンする。一方、積算移動量（水平成分）の絶対値が方向閾値より大きい場合には（ステップｃ１：Ｙｅｓ）、コントローラ２７は、この積算移動量（水平成分）が０より大きければ（ステップｃ５：Ｙｅｓ）、パノラマ撮影方向を「右」として確定する（ステップｃ７）。そして、図９のステップｂ１１にリターンする。また、コントローラ２７は、積算移動量（水平成分）が０未満の場合には（ステップｃ５：Ｎｏ）、パノラマ撮影方向を「左」として確定する（ステップｃ９）。そして、図９のステップｂ１１にリターンする。

次に、図９のステップｂ１７で行う動き検出処理について説明する。図１１は、動き検出処理の詳細な処理手順を示すフローチャートである。この動き検出処理では、動き検出部１５は、現フレーム画像と直前フレーム画像との間で動き検出を行って（ステップｄ１）、検出したフレーム間移動量を動き検出部１５のＲＡＭに記憶する（ステップｄ３）。続いて、信頼性評価部１５１が、フレーム間移動量の信頼性の評価を行う（ステップｄ５）。ここでの評価の結果、信頼性評価部１５１がフレーム間移動量を信頼性ありと判定した場合には（ステップｄ７：Ｙｅｓ）、続いて移動量更新部１５７が、積算移動量の前回値と今回のフレーム間移動量との合計値を積算移動量として更新する（ステップｄ９）。そして、図９のステップｂ１７にリターンする。

ここで、信頼性評価部１５１が行う信頼性の評価について説明する。信頼性評価部１５１は、フレーム間移動量をもとに評価パラメータの値を算出し、信頼性の有無を判定する。例えば、複数配置された代表点に対するマッチング失敗数が多い場合や、得られた動きベクトルの方向に統一性が無い場合は、フレーム間移動量の信頼性が低いと考えられる。そこで、代表点数に対するマッチング成功数を第１の評価パラメータとして算出する。また、マッチングが成功している動きベクトルをその方向毎にグループ分けして要素数の最大値を選出し、マッチング成功数に対する要素数の最大値を第２の評価パラメータとして算出する。そして、信頼性評価部１５１は、得られた各評価パラメータが予め設定される所定の閾値を超えているか否かによって、フレーム間移動量の信頼性の有無を判定する。

一方、ステップｄ５での評価の結果、信頼性評価部１５１がフレーム間移動量を信頼性なしと判定した場合には（ステップｄ７：Ｎｏ）、移動量更新部１５７は、フレーム間移動量推定処理を行って、現フレーム画像と直前フレーム画像との間の動き量を推定する（ステップｄ１１）。例えば、動き検出部１５のＲＡＭに随時更新記憶される直近の所定数フレーム分のフレーム間移動量をもとに、例えばこれらの平均値を求める等し、現フレーム画像と直前フレーム画像との間の推定移動量とする。そして、移動量更新部１５７は、積算移動量の前回値と推定移動量との合計値を積算移動量として更新する（ステップｄ１３）。そして、図９のステップｂ１７にリターンする。

次に、図９のステップｂ３５で行う撮影中移動量推定処理について説明する。図１２は、撮影中移動量推定処理の詳細な処理手順を示すフローチャートである。図１２に示すように、この撮影中移動量推定処理では、動き検出部１５は先ず、撮影処理後所定数フレームが経過するまでの間（ステップｅ１：Ｎｏ）、動き検出処理を行う（ステップｅ３）。この動き検出処理の処理手順は、図１１に示した動き検出処理と同様であり、この結果、撮影処理直後の所定数フレーム分のフレーム間移動量が撮影後動きデータとして動き検出部１５のＲＡＭに記憶される。

所定数フレームが経過したならば（ステップｅ１：Ｙｅｓ）、続いて移動量変化判定部１５３が、撮影前移動量変化判定処理を実行する（ステップｅ５）。図１３は、撮影前移動量変化判定処理の詳細な処理手順を示すフローチャートである。撮影前移動量変化判定処理では、移動量変化判定部１５３は先ず、撮影前動きデータとして動き検出部１５のＲＡＭに記憶されている撮影処理の開始前に検出された所定フレーム数分のフレーム間移動量を用い、例えば近似直線を求めて撮影前の移動量変化の傾きを算出する（ステップｆ１）。続いて、移動量変化判定部１５３は、算出した傾きを予め設定された所定の閾値Ｖ_S1と比較する。この閾値Ｖ_S1の値は適宜設定できるが、本実施の形態では、例えば閾値Ｖ_S1を“０”とする。算出した傾きが閾値Ｖ_S1より大きい場合（ここでは傾きが正の値の場合）には（ステップｆ３：Ｙｅｓ）、移動量変化判定部１５３は、撮影処理の開始直前に最後に検出されたフレーム間移動量の値（以下、「撮影前切片」と呼ぶ。）を判定する。すなわち、移動量変化判定部１５３は、撮影前切片が“０”より大きい場合には（ステップｆ５：Ｙｅｓ）、撮影前変化パターンを「増加」に分類し（ステップｆ７）、図１２のステップｅ５にリターンする。一方、移動量変化判定部１５３は、撮影前切片が“０”以下の場合には（ステップｆ５：Ｎｏ）、ステップｆ１３に移行し、撮影前変化パターンを「減少」に分類して、図１２のステップｅ５にリターンする。

また、ステップｆ１で算出した傾きが閾値Ｖ_S1以下の場合（ここでは傾きが“０”以下の場合）には（ステップｆ３：Ｎｏ）、続いて移動量変化判定部１５３は、この傾きを所定の閾値Ｖ_S2と比較する。この閾値Ｖ_S2の値は適宜設定できるが、本実施の形態では、例えば閾値Ｖ_S2を“０”とする。算出した傾きが閾値Ｖ_S2より小さい場合（ここでは傾きが負の値の場合）には（ステップｆ９：Ｙｅｓ）、移動量変化判定部１５３は、撮影前切片の値を判定する。すなわち、移動量変化判定部１５３は、撮影前切片が“０”より大きい場合には（ステップｆ１１：Ｙｅｓ）、ステップｆ１３に移行し、撮影前変化パターンを「減少」に分類して、図１２のステップｅ５にリターンする。撮影前切片が“０”以下の場合には（ステップｆ１１：Ｎｏ）、移動量変化判定部１５３は、撮影前変化パターンを「増加」に分類し（ステップｆ１５）、図１２のステップｅ５にリターンする。

そして、移動量変化判定部１５３は、ステップｆ１で算出した傾きが閾値Ｖ_S1以下であって（ステップｆ３：Ｎｏ）、閾値Ｖ_S2以上の場合（ステップｆ９：Ｎｏ）、すなわち、ここでは傾きが“０”の場合は、撮影前変化パターンを「一定」に分類し（ステップｆ１７）、図１２のステップｅ５にリターンする。

撮影前移動量変化判定処理を終えると、続いて移動量変化判定部１５３は、図１２に示すように、撮影後移動量変化判定処理を実行する（ステップｅ７）。図１４は、撮影後移動量変化判定処理の詳細な処理手順を示すフローチャートである。撮影後移動量変化判定処理では、移動量変化判定部１５３は先ず、撮影後動きデータとして動き検出部１５のＲＡＭに記憶されている撮影処理の開始後に検出された所定フレーム数分のフレーム間移動量を用い、例えば近似直線を求めて撮影後の移動量変化の傾きを算出する（ステップｇ１）。続いて、移動量変化判定部１５３は、算出した傾きを予め設定された所定の閾値Ｖ_S1と比較する。算出した傾きが閾値Ｖ_S1より大きい場合（ここでは傾きが正の値の場合）には（ステップｇ３：Ｙｅｓ）、移動量変化判定部１５３は、撮影処理の開始直後に最初に検出されたフレーム間移動量の値（以下、「撮影後切片」と呼ぶ。）を判定する。すなわち、移動量変化判定部１５３は、撮影後切片が“０”より大きい場合には（ステップｇ５：Ｙｅｓ）、撮影後変化パターンを「増加」に分類し（ステップｇ７）、図１２のステップｅ７にリターンする。一方、移動量変化判定部１５３は、撮影後切片が“０”以下の場合には（ステップｇ５：Ｎｏ）、ステップｇ１３に移行し、撮影後変化パターンを「減少」に分類して、図１２のステップｅ７にリターンする。

また、ステップｇ１で算出した傾きが閾値Ｖ_S1以下の場合（ここでは傾きが“０”以下の場合）には（ステップｇ３：Ｎｏ）、続いて移動量変化判定部１５３は、この傾きを所定の閾値Ｖ_S2と比較する。算出した傾きが閾値Ｖ_S2より小さい場合（ここでは傾きが負の値の場合）には（ステップｇ９：Ｙｅｓ）、移動量変化判定部１５３は、撮影後切片の値を判定する。すなわち、移動量変化判定部１５３は、撮影後切片が“０”より大きい場合には（ステップｇ１１：Ｙｅｓ）、ステップｇ１３に移行し、撮影後変化パターンを「減少」に分類して、図１２のステップｅ７にリターンする。撮影後切片が“０”以下の場合には（ステップｇ１１：Ｎｏ）、移動量変化判定部１５３は、撮影後変化パターンを「増加」に分類し（ステップｇ１５）、図１２のステップｅ７にリターンする。

そして、移動量変化判定部１５３は、ステップｇ１で算出した傾きが閾値Ｖ_S1以下であって（ステップｇ３：Ｎｏ）、閾値Ｖ_S2以上の場合（ステップｇ９：Ｎｏ）、すなわち、ここでは傾きが“０”の場合は、撮影後変化パターンを「一定」に分類し（ステップｇ１７）、図１２のステップｅ７にリターンする。

撮影後移動量変化判定処理を終えたならば、図１２に示すように、続いて撮影中移動量推定部１５５が、ステップｅ５の撮影前移動量変化判定処理で分類された撮影前変化パターンを判定する。撮影前変化パターンが「減少」の場合には（ステップｅ９：Ｙｅｓ）、撮影中移動量推定部１５５は、続いて撮影後変化パターンを判定する。撮影後変化パターンが「増加」ならば（ステップｅ１１：Ｙｅｓ）、撮影中移動量推定部１５５は、前後収束時推定処理を実行し（ステップｅ１３）、ステップｅ２９に移行する。撮影前変化パターンが「減少」の場合であって（ステップｅ９：Ｙｅｓ）、撮影後変化パターンが「増加」でない場合には（ステップｅ１１：Ｎｏ）、撮影中移動量推定部１５５は、前収束時推定処理を実行し（ステップｅ１５）、ステップｅ２９に移行する。一方、撮影中移動量推定部１５５は、ステップｅ５で判定した撮影前変化パターンが「減少」以外の場合であって（ステップｅ９：Ｎｏ）、撮影後変化パターンが「増加」の場合には（ステップｅ１７：Ｙｅｓ）、後収束時推定処理を実行し（ステップｅ１９）、ステップｅ２９に移行する。また、撮影後変化パターンが「増加」でなければ（ステップｅ１７：Ｎｏ）、撮影中移動量推定部１５５は、撮影前変化パターンおよび撮影後変化パターンを判定し、各変化パターンが「一定」の場合には（ステップｅ２１：Ｙｅｓ）、撮影前切片と撮影後切片とを比較する。そして、撮影中移動量推定部１５５は、これらがほぼ一致している場合には（ステップｅ２３：Ｙｅｓ）、前後等速時推定処理を実行し（ステップｅ２５）、ステップｅ２９に移行する。撮影前変化パターンおよび撮影後変化パターンが「一定」でない場合（ステップｅ２１：Ｎｏ）や撮影前切片と撮影後切片とが一致していない場合には（ステップｅ２３：Ｎｏ）、撮影中移動量推定部１５５は、２点間推定処理を実行し（ステップｅ２７）、ステップｅ２９に移行する。ステップｅ２９では、撮影中移動量推定部１５５は、積算移動量の前回値と、前後収束時推定処理、前収束時推定処理、後収束時推定処理、前後等速時推定処理または２点間推定処理の結果算出された撮影中移動量との合計値を積算移動量として算出する。そして、図９のステップｂ３５にリターンする。

続いて、前後収束時推定処理、前収束時推定処理、後収束時推定処理、前後等速時推定処理および２点間推定処理について順次説明する。

先ず、前後収束時推定処理について説明する。前後収束時推定処理は、上記したように、撮影前変化パターンが「減少」であって、撮影後変化パターンが「増加」である前後収束時に行われる。図１５および図１６は、横軸をフレーム、縦軸をフレーム間移動量（％）として、撮影処理の開始前に検出された４フレーム分のフレーム間移動量である撮影前動きデータと、撮影処理の終了後に検出された４フレーム分のフレーム間移動量である撮影後動きデータとをプロットしてグラフ化した図である。ここでは、フレーム間移動量を、前回の撮影位置から次に撮影を行う撮影位置まで移動したときの移動量を１００％とした場合の値（％）として示している。具体的には、図１５は、前後収束時であって、パンニング方向が「右」の場合の撮影前後の移動量変化例を示しており、図１６は、パンニング方向が「左」の場合の撮影前後の移動量変化例を示している。ここで、パンニング方向とは、撮影者（ユーザ）が実際にカメラ本体２を動かしている（パンニングしている）方向のことである。これに対し、図９のステップｂ１３で確定するパノラマ撮影方向は、ユーザが事前に指示するパノラマ撮影の方向であり、パノラマ画像を生成する際に部分画像を繋ぎ合わせる方向に相当する。ここで、パノラマ撮影方向が「右」であれば、ユーザは、カメラ本体２をパノラマ撮影方向である右方向にパンニングする。しかしながら、実際のパノラマ撮影時には、ポインタがターゲットを超えてその左側まで移動してしまった場合等、カメラ本体２をパノラマ撮影方向の逆方向である左方向にパンニングする場面が発生し得る。この実際のパンニングの方向を、パノラマ撮影方向と区別してパンニング方向と呼ぶ。例えば、図１５に示すように、撮影前の移動量変化が減少傾向であれば、図１５中に破線領域で示した撮影処理の際のカメラ本体２の動きが停止または減速していると推測できる。また、撮影後の移動量変化が増加傾向であれば、撮影処理の途中でまたは撮影処理の終了後にカメラ本体２の動きが停止状態または低速状態から加速していると推定できる。パンニング方向が「左」の場合も同様に、図１６に示すように、撮影前の移動量変化が減少傾向にあり、撮影後の移動量変化が増加傾向にあれば、図１６中に破線領域で示した撮影処理の際のカメラ本体２の動きが停止または減速していると推測できる。ここで、撮影処理の際のカメラ本体２の動きが停止または減速していることを示す撮影前変化パターンが「減少」の場合や撮影後変化パターンが「増加」の場合を、「収束（収束パターン）」と呼ぶ。そして、撮影前の移動量変化および撮影後の移動量変化が収束している場合に、前後収束時推定処理を行う。

図１７〜図２１は、前後収束時推定処理について説明するための図であり、図１５等と同様に、横軸をフレーム、縦軸をフレーム間移動量（％）として、撮影処理の開始前に検出された４つのフレーム間移動量と、撮影処理の終了直後に検出された４つのフレーム間移動量とをプロットしてグラフ化して示している。具体的には、図１７〜図２１は、パンニング方向が「右」の場合の前後収束時推定処理を説明する図である。前後収束時推定処理では、例えば、図１７に示すように、先ず、像消失時間に従って、撮影処理中のブラックアウトとなる区間に仮想フレームｆ_ｖ11，ｆ_ｖ13を設定する。続いて、撮影前の移動量変化から例えば近似直線Ｇ１１を求めるとともに、撮影後の移動量変化から近似直線Ｇ１３を求める。このとき、各近似直線Ｇ１１，Ｇ１３の交点Ｐ１１を求める。そして、この交点Ｐ１１のフレーム間移動量が“０”以上であれば、図１８に示すように、導出した各近似直線Ｇ１１，Ｇ１３によって定まる値で各仮想フレームｆ_ｖ11，ｆ_ｖ13のフレーム間移動量Ｐ１３，Ｐ１４を補間し、各値の積算値を撮影中移動量とする。

一方、図１９に示すように、撮影前の移動量変化から求めた近似直線Ｇ２１と撮影後の移動量変化から求めた近似直線Ｇ２３との交点Ｐ２１のフレーム間移動量が基準値の一例である“０”より小さい場合がある。例えば、撮影中にポインタがターゲットを通り過ぎてしまい、カメラ本体２がパノラマ撮影方向と反対方向にパンニングされた場合や、反対方向にパンニングされていないにもかかわらず、撮影前の減少の傾きが小さく、撮影後の増加の傾きが大きいため、交点Ｐ２１が場合“０”より小さい等と推測できる。この場合には、例えば、反対方向にパンニングしていないにもかかわらず“０”より小さく推測してしまう誤りを軽減するために、撮影処理中のフレーム間移動量の置き換えを行う。すなわち、図２０に示すように、“０”より小さいフレーム間移動量を“０”に置き換えて、各仮想フレームｆ_ｖ21，ｆ_ｖ23のフレーム間移動量Ｐ２３，Ｐ２４を補間する。そして、各値の積算値を撮影中移動量とする。なお、図示しないが、パンニング方向が「左」の場合には、左方向へのパンニング操作によってフレーム間移動量が負の値として算出される。このため、補間したフレーム間移動量が“０”より大きい場合に、その値を“０”に置き換えることにより撮影中移動量を推定する。このように、撮影前および撮影後の移動量変化の各傾向が収束パターンに分類される場合には、撮影前の移動量変化および撮影後の移動量変化を用いて、撮影中移動量を推定することができる。

図２１は、前後収束時推定処理の詳細な処理手順を示すフローチャートである。前後収束時推定処理では、撮影中移動量推定部１５５は先ず、像消失時間に従って仮想フレームの設定を行う（ステップｈ１）。続いて、撮影中移動量推定部１５５は、撮影前動きデータを用いて近似式を導出するとともに、撮影後動きデータを用いて近似式を導出する（ステップｈ３）。近似式の導出手法は特に限定されるものではなく、図１３に示して説明した撮影前移動量変化判定処理のステップｆ１で求めた近似直線および図１４に示して説明した撮影後移動量変化判定処理のステップｇ１で求めた近似直線を用いることとしてもよい。そして、撮影中移動量推定部１５５は、設定した仮想フレームのフレーム間移動量を、導出した近似式に従って近似して補間する（ステップｈ５）。

続いて、撮影中移動量推定部１５５は、撮影前切片および撮影後切片を判定する。各値が“０”より大きい値であれば（ステップｈ７：Ｙｅｓ）、続いて撮影中移動量推定部１５５は、ステップｈ３で導出した近似式の交点を判定する。そして、撮影中移動量推定部１５５は、交点のフレーム間移動量が“０”より小さい場合には（ステップｈ９：Ｙｅｓ）、“０”より小さい仮想フレームのフレーム間移動量を“０”に置き換えて（ステップｈ１１）、ステップｈ１７に移行する。なお、近似式の交点を算出せずに、“０”より小さい仮想フレームのフレーム間移動量がある場合に、この値を“０”に置き換えることとしてもよい。交点のフレーム間移動量が“０”以上であれば（ステップｈ９：Ｎｏ）、ステップｈ１７に移行する。また、撮影中移動量推定部１５５は、撮影前切片および撮影後切片の値が“０”以下の場合には（ステップｈ７：Ｎｏ）、ステップｈ３で導出した近似式の交点を判定する。そして、撮影中移動量推定部１５５は、交点が“０”以下であれば（ステップｈ１３：Ｙｅｓ）、ステップｈ１７に移行する。交点が“０”より大きい場合には（ステップｈ１３：Ｎｏ）、撮影中移動量推定部１５５は、０より大きい仮想フレームのフレーム間移動量を“０”に置き換えて（ステップｈ１５）、ステップｈ１７に移行する。なお、近似式の交点を算出せずに、“０”より大きい仮想フレームのフレーム間移動量がある場合に、この値を“０”に置き換えることとしてもよい。

ステップｈ１７では、撮影中移動量推定部１５５は、補間または置換した仮想フレームのフレーム間移動量の値を積算して撮影中移動量として算出する。そして、図１２のステップｅ１３にリターンする。

次に、前収束時推定処理について説明する。前収束時推定処理は、上記したように、撮影前変化パターンが「減少」であって、撮影後変化パターンが「増加」ではない前収束時に行われる。図２２は、前収束時であってパンニング方向が「右」の場合の撮影前後の移動量変化の一例を示す図であり、図２３は、前収束時であってパンニング方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。図２２や図２３に示すように、撮影前の移動量変化のみが収束している場合には、この撮影前の移動量変化を用いて撮影中移動量を推定する。

図２４および図２５は、パンニング方向が「右」の場合の前収束時推定処理について説明するための図である。前収束時推定処理では、先ず、図２４に示すように、像消失時間に従って、撮影処理中のブラックアウトとなる区間に仮想フレームｆ_ｖ31，ｆ_ｖ33を設定する。続いて、撮影前の移動量変化から例えば近似直線Ｇ３１を求め、この近似直線Ｇ３１に従って各仮想フレームｆ_ｖ31，ｆ_ｖ33のフレーム間移動量を補間する。そしてこのとき、仮想フレームｆ_ｖ31，ｆ_ｖ33のフレーム間移動量が基準値の一例である“０”より小さい場合に、図２５に示すように、“０”より小さいフレーム間移動量を“０”に置き換えて、各仮想フレームｆ_ｖ31，ｆ_ｖ33のフレーム間移動量Ｐ３１，Ｐ３２を補間する。そして、各値の積算値を撮影中移動量とする。このように、撮影前の移動量変化の傾向が収束パターンに分類された場合には、撮影前の移動量変化を用いて、撮影中移動量を推定することができる。

図２６は、前収束時推定処理の詳細な処理手順を示すフローチャートである。前収束時推定処理では、撮影中移動量推定部１５５は先ず、像消失時間に従って仮想フレームの設定を行う（ステップｉ１）。続いて、撮影中移動量推定部１５５は、撮影前動きデータを用いて近似式を導出する（ステップｉ３）。そして、撮影中移動量推定部１５５は、設定した仮想フレームのフレーム間移動量を、導出した近似式に従って近似して補間する（ステップｉ５）。

続いて、撮影中移動量推定部１５５は、撮影前切片を判定する。撮影前切片の値が“０”より大きい値であれば（ステップｉ７：Ｙｅｓ）、続いて撮影中移動量推定部１５５は、仮想フレームのフレーム間移動量を判定する。そして、撮影中移動量推定部１５５は、“０”より小さい仮想フレームのフレーム間移動量があれば（ステップｉ９：Ｙｅｓ）、その値を“０”に置き換えて（ステップｉ１１）、ステップｉ１７に移行する。“０”より小さい仮想フレームのフレーム間移動量がなければ（ステップｉ９：Ｎｏ）、ステップｉ１７に移行する。また、撮影中移動量推定部１５５は、撮影前切片の値が“０”以下の場合であって（ステップｉ７：Ｎｏ）、“０”より大きい仮想フレームのフレーム間移動量がある場合に（ステップｉ１３：Ｙｅｓ）、その値を“０”に置き換えて（ステップｉ１５）、ステップｉ１７に移行する。“０”より大きい仮想フレームのフレーム間移動量がなければ（ステップｉ１３：Ｎｏ）、ステップｉ１７に移行する。

ステップｉ１７では、撮影中移動量推定部１５５は、補間または置換した仮想フレームのフレーム間移動量の値を積算して撮影中移動量として算出する。そして、図１２のステップｅ１５にリターンする。

次に、後収束時推定処理について説明する。後収束時推定処理は、上記したように、撮影前変化パターンが「減少」ではなく、撮影後変化パターンが「増加」である後収束時に行われる。図２７は、後収束時であってパンニング方向が「右」の場合の撮影前後の移動量変化の一例を示す図であり、図２８は、後収束時であって撮影前のパンニング方向が「右」、撮影後のパンニング方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。図２７や図２８に示すように、撮影後の移動量変化のみが収束している場合には、この撮影後の移動量変化を用いて撮影中移動量を推定する。

図２９および図３０は、パンニング方向が「右」の場合の後収束時推定処理について説明するための図である。後収束時推定処理では、先ず、図２９に示すように、像消失時間に従って、撮影処理中のブラックアウトとなる区間に仮想フレームｆ_ｖ41，ｆ_ｖ43を設定する。続いて、撮影後の移動量変化から例えば近似直線Ｇ４３を求め、この近似直線Ｇ４３に従って各仮想フレームｆ_ｖ41，ｆ_ｖ43のフレーム間移動量を補間する。そしてこのとき、仮想フレームｆ_ｖ41，ｆ_ｖ43のフレーム間移動量が基準値の一例である“０”より小さい場合に、図３０に示すように、“０”より小さいフレーム間移動量を“０”に置き換えて、各仮想フレームｆ_ｖ41，ｆ_ｖ43のフレーム間移動量Ｐ４１，Ｐ４２を補間する。そして、各値の積算値を撮影中移動量とする。このように、撮影後の移動量変化の傾向が収束パターンに分類された場合には、撮影後の移動量変化を用いて、撮影中移動量を推定することができる。

図３１は、後収束時推定処理の詳細な処理手順を示すフローチャートである。後収束時推定処理では、撮影中移動量推定部１５５は先ず、像消失時間に従って仮想フレームの設定を行う（ステップｊ１）。続いて、撮影中移動量推定部１５５は、撮影後動きデータを用いて近似式を導出する（ステップｊ３）。そして、撮影中移動量推定部１５５は、設定した仮想フレームのフレーム間移動量を、導出した近似式に従って近似して補間する（ステップｊ５）。

続いて、撮影中移動量推定部１５５は、撮影後切片を判定する。撮影後切片の値が“０”より大きい値であれば（ステップｊ７：Ｙｅｓ）、続いて撮影中移動量推定部１５５は、仮想フレームのフレーム間移動量を判定する。そして、撮影中移動量推定部１５５は、“０”より小さい仮想フレームのフレーム間移動量があれば（ステップｊ９：Ｙｅｓ）、その値を“０”に置き換えて（ステップｊ１１）、ステップｊ１７に移行する。“０”より小さい仮想フレームのフレーム間移動量がなければ（ステップｊ９：Ｎｏ）、ステップｊ１７に移行する。また、撮影中移動量推定部１５５は、撮影後切片の値が“０”以下の場合であって（ステップｊ７：Ｎｏ）、“０”より大きい仮想フレームのフレーム間移動量がある場合に（ステップｊ１３：Ｙｅｓ）、その値を“０”に置き換えて（ステップｊ１５）、ステップｊ１７に移行する。“０”より大きい仮想フレームのフレーム間移動量がなければ（ステップｊ１３：Ｎｏ）、ステップｊ１７に移行する。

ステップｊ１７では、撮影中移動量推定部１５５は、補間または置換した仮想フレームのフレーム間移動量の値を積算して撮影中移動量として算出する。そして、図１２のステップｅ１９にリターンする。

次に、前後等速時推定処理について説明する。前後等速時推定処理は、上記したように、撮影前および撮影後の各変化パターンが「一定」であって、撮影前切片と撮影後切片の値がほぼ一致している等速時に行われる。図３２は、等速時であってパンニング方向が「右」の場合の撮影前後の移動量変化の一例を示す図であり、図３３は、前収束時であってパンニング方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。図３２や図３３に示すように、撮影前後の移動量変化の各傾向が「一定」であり、撮影前切片および撮影後切片の値がほぼ一致している場合には、撮影処理中にカメラ本体２がほぼ等速で動いていると推測できる。この場合には、撮影前後の移動量変化を用いて撮影中移動量を推定する。例えば、図３２の例では先ず、像消失時間に従って、撮影処理中のブラックアウトとなる区間に仮想フレームｆ_ｖ51，ｆ_ｖ53を設定する。続いて、撮影処理の開始前の４つのフレーム間移動量と撮影処理の終了後の４つのフレーム間移動量とから、例えば近似直線Ｇ５１を求める。そして、この近似直線Ｇ５１に従って各仮想フレームｆ_ｖ51，ｆ_ｖ53のフレーム間移動量Ｐ５１，Ｐ５２を補間し、各値の積算値を撮影中移動量とする。同様にして、図３３の例では、撮影処理の開始前の４つのフレーム間移動量と撮影処理の終了後の４つのフレーム間移動量とから例えば近似直線Ｇ６１を求める。そして、この近似直線Ｇ６１に従って、像消失時間に従って設定した各仮想フレームｆ_ｖ61，ｆ_ｖ63のフレーム間移動量Ｐ６１，Ｐ６２を補間する。このように、撮影前および撮影後の移動量変化の傾向が等速パターンに分類された場合には、撮影前の移動量変化および撮影後の移動量変化を用いて、撮影中移動量を推定することができる。

図３４は、前後等速時推定処理の詳細な処理手順を示すフローチャートである。前後等速時推定処理では、撮影中移動量推定部１５５は先ず、像消失時間に従って仮想フレームの設定を行う（ステップｋ１）。続いて、撮影中移動量推定部１５５は、撮影前動きデータおよび撮影後動きデータを用いて近似式を導出する（ステップｋ３）。続いて、撮影中移動量推定部１５５は、設定した仮想フレームのフレーム間移動量を、導出した近似式に従って近似して補間する（ステップｋ５）。そして、撮影中移動量推定部１５５は、補間した仮想フレームのフレーム間移動量の値を積算して撮影中移動量として算出する（ステップｋ７）。そして、図１２のステップｅ２５にリターンする。

次に、２点間推定処理について説明する。２点間推定処理は、上記したように、撮影前および撮影後の移動量変化の傾向がいずれも収束しておらず、且つ撮影前および撮影後の移動量変化の傾向が等速でもない場合に行われる。図３５および図３６は、２点間推定処理を説明する図である。具体的には、図３５は、撮影前のパンニング方向が「左」、撮影後のパンニング方向が「右」の場合の撮影前後の移動量変化の一例を示し、図３６は、パンニング方向が「右」の場合の撮影前後の移動量変化の一例を示している。２点間推定処理では、撮影処理の開始直前および撮影処理の終了直後に検出されたフレーム間移動量を用いて、撮影中移動量を推定する。例えば、図３５の例では先ず、像消失時間に従って、撮影処理中のブラックアウトとなる区間に仮想フレームｆ_ｖ71，ｆ_ｖ73を設定する。続いて、撮影処理の開始直前の１つのフレーム間移動量である撮影前切片Ｐ７１の値と撮影処理の終了直後の１つのフレーム間移動量である撮影後切片Ｐ７２の値とから、例えば近似直線Ｇ７１を求める。そして、この近似直線Ｇ７１に従って各仮想フレームｆ_ｖ71，ｆ_ｖ73のフレーム間移動量Ｐ７３，Ｐ７４を補間し、各値の積算値を撮影中移動量とする。同様にして、図３６の例では、撮影前切片Ｐ８１と撮影後切片Ｐ８２とから例えば近似直線Ｇ８１を求める。そして、この近似直線Ｇ８１に従って、像消失時間に従って設定した各仮想フレームｆ_ｖ81，ｆ_ｖ83のフレーム間移動量Ｐ８３，Ｐ８４を補間する。

図３７は、２点間推定処理の詳細な処理手順を示すフローチャートである。２点間推定処理では、撮影中移動量推定部１５５は先ず、像消失時間に従って仮想フレームの設定を行う（ステップｌ１）。続いて、撮影中移動量推定部１５５は、撮影前切片および撮影後切片の各値を用いて近似式を導出する（ステップｌ３）。続いて、撮影中移動量推定部１５５は、設定した仮想フレームのフレーム間移動量を、導出した近似式に従って近似して補間する（ステップｌ５）。そして、撮影中移動量推定部１５５は、補間した仮想フレームのフレーム間移動量の値を積算して撮影中移動量として算出する（ステップｌ７）。そして、図１２のステップｅ２７にリターンする。

以上説明したように、本実施の形態によれば、撮影処理の開始前の所定数フレーム分のフレーム間移動量をもとにその移動量変化の傾向を判定するとともに、撮影処理の終了後の所定数フレーム分のフレーム間移動量をもとにその移動量変化の傾向を判定し、収束パターンに分類された移動量変化を用い、像消失時間に従って撮影中移動量を推定することができる。また、等速パターンに分類された場合には、撮影前および撮影後の移動量変化を用い、像消失時間に従って撮影中移動量を推定することができる。これによれば、撮影処理中に生じるブラックアウト時の画像の移動量を推定できるので、ライブビュー画像の表示が一旦停止されてブラックアウトが生じる撮影処理中にカメラ本体２が動かされた場合であっても、画像移動量を精度良く算出することができるという効果を奏する。したがって、部分画像間の繋ぎ目を正しく検出することができ、部分画像を合成して違和感のない自然なパノラマ画像を生成することができる。

なお、上記した実施の形態では、パンニング操作をしながら撮影を行う２枚目以降の部分画像の撮影処理の後、撮影中移動量を算出する場合について説明したが、１枚目の撮影処理の後においても、２枚目以降の撮影処理の後と同様にして撮影中移動量の算出を行うようにしても構わない。

また、上記した実施の形態では、「右」または「左」のいずれかをパノラマ撮影方向とする場合について説明したが、左右以外の方向をパノラマ撮影方向とすることもできる。例えば、「上」または「下」をパノラマ撮影方向としたパノラマ撮影を行う場合には、図１０に示した撮影方向判定処理において、積算移動量の垂直成分の絶対値を予め設定される所定の方向閾値と比較するように構成し、積算移動量の垂直成分の正負を判定して正の値であれば「上」、負の値であれば「下」としてパノラマ撮影方向を確定する。

デジタルカメラの背面図である。 デジタルカメラの構成例を示す概略ブロック図である。 フレーム間の動き検出について説明するための図である。 動き検出部の機能構成を示す模式図である。 パノラマ撮影モードの概要を説明する説明図である。 パノラマ撮影モードにおいて表示部に表示される表示画面の遷移例を示す図である。 パノラマ撮影モードにおいて表示部に表示される表示画面の遷移例を示す図である。 デジタルカメラの状態遷移図である。 撮影モードにおけるデジタルカメラの動作を示すフローチャートである。 撮影方向判定処理の詳細な処理手順を示すフローチャートである。 動き検出処理の詳細な処理手順を示すフローチャートである。 撮影中移動量推定処理の詳細な処理手順を示すフローチャートである。 撮影前移動量変化判定処理の詳細な処理手順を示すフローチャートである。 撮影後移動量変化判定処理の詳細な処理手順を示すフローチャートである。 前後収束時であってパノラマ撮影方向が「右」の場合の撮影前後の移動量変化の一例を示す図である。 前後収束時であってパノラマ撮影方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。 前後収束時推定処理について説明するための図である。 前後収束時推定処理について説明するための図である。 前後収束時推定処理について説明するための図である。 前後収束時推定処理について説明するための図である。 前後収束時推定処理の詳細な処理手順を示すフローチャートである。 前収束時であってパノラマ撮影方向が「右」の場合の撮影前後の移動量変化の一例を示す図である。 前収束時であってパノラマ撮影方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。 前収束時推定処理について説明するための図である。 前収束時推定処理について説明するための図である。 前収束時推定処理の詳細な処理手順を示すフローチャートである。 後収束時であってパノラマ撮影方向が「右」の場合の撮影前後の移動量変化の一例を示す図である。 後収束時であってパノラマ撮影方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。 後収束時推定処理について説明するための図である。 後収束時推定処理について説明するための図である。 後収束時推定処理の詳細な処理手順を示すフローチャートである。 等速時であってパノラマ撮影方向が「右」の場合の撮影前後の移動量変化の一例を示す図である。 前収束時であってパノラマ撮影方向が「左」の場合の撮影前後の移動量変化の一例を示す図である。 前後等速時推定処理の詳細な処理手順を示すフローチャートである。 ２点間推定処理を説明する図である。 ２点間推定処理を説明する図である。 ２点間推定処理の詳細な処理手順を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ カメラ本体
１１ 撮像光学系
１２ 撮像素子
１３ ＡＦＥ
１４ フレームメモリ
１５ 動き検出部
１５１ 信頼性評価部
１５３ 移動量変化判定部
１５５ 撮影中移動量推定部
１５７ 移動量更新部
１６ 画像処理部
１７ 記録媒体Ｉ／Ｆ
１８ 記録媒体保持部
１９ 記録媒体
２０ ビデオエンコーダ
２１ 表示ドライバ
２２ 表示部
２３ ビデオ信号出力端子
２４ 操作部
３ シャッターボタン
４ 電源ボタン
２５ ＲＡＭ
２６ ＲＯＭ
２７ コントローラ
２７１ 撮影開始指示部
２７３ 像消失時間計測部

Claims (10)

1. 被写体像を撮像して画像データを生成する撮像部を備え、複数回の撮影処理を行って複数の撮影画像を生成する撮像装置であって、
   前記撮像部によって撮像された前記画像データをライブビュー画像として連続表示する表示部と、
   所定のフレーム毎に前記ライブビュー画像の移動量を検出する移動量検出部と、
   前記撮影処理の際に、前記表示部への前記ライブビュー画像の表示が停止されてから前記撮影処理の終了後に表示が復帰するまでの時間を計測する時間計測部と、
   前記撮影処理の開始前に検出された前記画像データの移動量変化の傾向を判定するとともに、前記撮影処理の終了後に検出された前記画像データの移動量変化の傾向を判定する移動量変化判定部と、
   前記移動量変化判定部によって判定された前記撮影処理の開始前および終了後における前記移動量変化の各傾向に応じて前記撮影処理の開始前に検出された前記画像データの移動量変化および／または前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記時間計測部によって計測された計測時間に従って、前記撮影処理中の画像移動量を推定する撮影中移動量推定部と、
   を備えることを特徴とする撮像装置。
2. 前記撮影処理の開始を指示する撮影開始指示部と、
   前記撮影処理の後、前記移動量検出部によって検出される前記画像データの移動量に従って移動する移動マークと、該移動マークの移動目標位置を示す移動目標マークとを前記ライブビュー画像上に表示する制御を行う表示制御部と、
   を備え、
   前記表示制御部は、前記撮影処理中の画像移動量をもとに前記移動マークの初期表示位置を設定し、
   前記撮影開始指示部は、前記移動マークが前記移動目標位置に移動した時点で、次の撮影処理の開始を指示することを特徴とする請求項１に記載の撮像装置。
3. 前記移動量変化判定部は、前記撮影処理の開始前における前記移動量変化の傾向および終了後における前記移動量変化の傾向を、それぞれ少なくとも前記撮影処理中の装置本体の動きが停止または減速していることを示す収束パターンか否かに分類することを特徴とする請求項１に記載の撮像装置。
4. 前記撮影中移動量推定部は、前記移動量変化判定部によって前記撮影処理の開始前および終了後における前記移動量変化の各傾向がそれぞれ前記収束パターンに分類された場合に、前記撮影処理の開始前に検出された前記画像データの移動量変化および前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記計測時間に従って、前記撮影処理中の前記ライブビュー画像の移動量を補間することで前記撮影処理中の画像移動量を推定することを特徴とする請求項３に記載の撮像装置。
5. 前記撮影中移動量推定部は、前記移動量変化判定部によって前記撮影処理の開始前または終了後のいずれか一方の前記移動量変化の傾向が前記収束パターンに分類された場合に、前記収束パターンに分類された前記撮影処理の開始前または前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記計測時間に従って、前記撮影処理中の前記画像データの移動量を補間することで前記撮影処理中の画像移動量を推定することを特徴とする請求項３に記載の撮像装置。
6. 前記撮影中移動量推定部は、前記収束パターンに分類された前記撮影処理の開始前および／または終了後に検出された前記画像データの移動量変化をもとに近似式を導出し、該近似式に従って前記撮影処理中の前記画像データの移動量を補間することを特徴とする請求項３に記載の撮像装置。
7. 前記撮影中移動量推定部は、前記近似式に従って補間した前記撮影処理中の前記画像データの移動量を所定の基準値と比較し、比較結果をもとに前記補間した前記撮影処理中の前記画像データの移動量を前記基準値で置き換えて前記撮影処理中の画像移動量を推定することを特徴とする請求項６に記載の撮像装置。
8. 前記移動量変化判定部は、前記撮影処理の開始前および終了後における前記移動量変化の各傾向が前記収束パターンではない場合に、前記各傾向をもとに、前記撮影処理中の装置本体の動きが等速であることを示す等速パターンか否かに分類し、
   前記撮影中移動量推定部は、前記移動量変化判定部によって前記等速パターンに分類された場合に、前記撮影処理の開始前に検出された前記画像データの移動量変化および前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記計測時間に従って、前記撮影処理中の前記画像データの移動量を補間することで前記撮影処理中の画像移動量を推定することを特徴とする請求項３に記載の撮像装置。
9. 前記撮影中移動量推定部は、前記移動量変化判定部によって前記等速パターンに分類されない場合に、前記撮影処理の開始直前に検出された１つの移動量および前記撮影処理の終了直後に検出された１つの移動量を用い、前記計測時間に従って、前記撮影処理中の前記画像データの移動量を補間することを特徴とする請求項８に記載の撮像装置。
10. 被写体像を撮像して画像データを生成する撮像部を備え、複数回の撮影処理を行って複数の撮影画像を生成する撮像装置における撮像方法であって、
    前記撮像部によって撮像された前記画像データをライブビュー画像として表示部に連続表示する表示ステップと、
    所定のフレーム毎に前記ライブビュー画像の移動量を検出する移動量検出ステップと、
    前記撮影処理時において、前記表示部への前記ライブビュー画像の表示が停止されてから前記撮影処理の終了後に表示が復帰するまでの時間を計測する時間計測ステップと、
    前記撮影処理の開始前に検出された前記画像データの移動量変化の傾向を判定するとともに、前記撮影処理の終了後に検出された前記画像データの移動量変化の傾向を判定する移動量変化判定ステップと、
    前記移動量変化判定ステップで判定された前記撮影処理の開始前および終了後における前記移動量変化の各傾向に応じて前記撮影処理の開始前に検出された前記画像データの移動量変化および／または前記撮影処理の終了後に検出された前記画像データの移動量変化を用い、前記時間計測ステップで計測された計測時間に従って、前記撮影処理中の画像移動量を推定する撮影中移動量推定ステップと、
    を含むことを特徴とする撮像装置における撮像方法。

Images