JP2017021250A - 撮像装置、画像処理方法 - Google Patents

Abstract

【課題】画質低下を抑制しながらユーザが意図した撮影範囲の合成画像を得ることができる撮像装置等を提供する。
【解決手段】ブレ検知ユニット３９により検知されたブレ量に基づき、レンズ１１または撮像素子２２を駆動して露光中のブレを補正するＩＳユニット２３と、連写して得られる複数枚の画像データの内の任意の２枚の相関値を算出する位置合せ処理部３１と、相関値に基づき２枚の画像データを位置合わせして合成する合成処理部３２と、連写合成モードを設定可能なマイクロコンピュータ５０と、を備え、ＩＳユニット２３は、連写合成モードが設定されている場合にはライブビュー中のブレ補正範囲を制限する撮像装置。
【選択図】図１

Description

本発明は、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を備えた撮像装置、画像処理方法に関する。

近年、連写撮影により得られた複数枚の画像を合成して１枚の画像を生成する機能を備えた撮像装置が提案されている。ここに画像合成は、例えば、高ダイナミックレンジ画像（ＨＤＲ画像）、低ノイズ画像（ＮＲ（ノイズリダクション）画像）、超解像画像などを生成するために行われる。そして、合成の元となる複数枚の画像は、露光中の手ブレが少ないこと、および各画像間の位置ズレが少ないことが望ましい。

一方で、従来より、撮像素子やレンズを移動させることにより、手ブレを補正する手ブレ補正機構（ＩＳ（Image Stabilization）機構）が提案されている。

露光中の手ブレに対しては、この手ブレ補正機構を、連写撮影時の各画像の露光中に用いれば、露光中の手ブレを補正することができる。また、各画像間の位置ズレに対しては、例えば、特開２００６−８６７４１号公報において、画素ピッチ、焦点距離、ブレ検出手段により得られた画像間の角度ブレなどの情報に基づいてブレ補正範囲を決定することで、各画像間の位置ズレを効率的に補正する技術が記載されている。

このとき、複数枚の画像を連写して撮影している間中、ＩＳ機構を連続して動作させると、ＩＳ機構のストローク限界を超えてしまうことがあり、この場合には露光中の手ブレを補正することができなくなってしまう。そこで、画像毎の露光中の手ブレを同精度で補正するために、１枚の画像を撮影し終える毎にＩＳ機構を初期位置に戻すセンタリング処理が行われる。ただし、このセンタリング処理は、各画像間の位置ズレを発生させることになる。

こうした画像間の位置ズレに対しては、画像間の相関演算を行うことによりズレ量を示すグローバルベクトルを算出して、算出したグローバルベクトルに基づき合成処理時に補正することが可能である。例えば、特開２０１２−４９６０３号公報には、２枚の画像を比較して部分的なズレ量を示すローカルベクトル、および画像全体のズレ量を示すグローバルベクトルを取得し、取得したこれらのベクトルを用いて該２枚の画像を位置合せし合成する技術が記載されている。

ただし、特に、露光時間が長秒時となる場合などにはＩＳ機構のストローク量が増えて、センタリング処理による画像間の位置ズレ量も大きくなるために、ズレ量を示すグローバルベクトルを画像から算出するにはかなり広い領域をサーチ対象としなければならず、相関演算処理の時間が長くなってしまう。さらに、画像間の位置ズレが大きいということは、つまり、複数の画像に共通する画像部分が小さいということであるために、共通する画像部分から生成される合成画像の画質が低下してしまう。

ところで、従来からＩＳ機構が搭載されているカメラでは、手ブレの影響を受けることなく撮影直前に撮影範囲を確認するために、１ｓｔレリーズスイッチがオンされた時点からＩＳ機構を動作させて、２ｎｄレリーズスイッチがオンされたときにそのＩＳ機構の動作状態のまま引き続きブレ補正を行いながら本露光を行っている。これにより、特に望遠撮影などの手ブレが生じやすい場合に、撮影範囲の確認を安定して行うことができるようになる。

特開２００６−８６７４１号公報 特開２０１２−４９６０３号公報

しかしながら、１ｓｔレリーズスイッチがオンされた時点からＩＳ機構を動作させると、１枚目の画像と２枚目以降の画像とで撮影範囲に相違が生じてしまう。この相違は、１ｓｔレリーズスイッチがオンされた時点から２ｎｄレリーズスイッチがオンされた時点までの間に生じるために、仮に各画像の露光時間が短く複数の画像間のセンタリング量の相違が小さい場合であっても、発生を回避することはできない。しかも、１ｓｔレリーズと２ｎｄレリーズとの時間間隔はユーザ操作によって様々に変化して一定せず、この時間間隔が長い場合には１枚目の画像のセンタリング量がかなり大きくなってしまう。

この１枚目の画像のセンタリング量が大きいことは、１枚の画像のみを撮影する場合や単に複数の画像を連続して撮影するだけの場合にはそれほど問題にならないが、画像合成を行うために連写された複数枚の画像の場合には、上述したように画質の低下を招くことになる。さらに、ユーザは構図等を考慮して撮影範囲を決定し２ｎｄレリーズを行っているために、画像合成においては１枚目の画像を基準画像とすることが好ましいが、センタリング量が大きい１枚目の画像を基準画像とすると、２枚目以降の画像との相関演算により多くの時間が必要であり、ひいては画像合成処理に時間を要することになる。

一方、１枚目の画像の露光を開始する直前にセンタリング処理を行えば１枚目の画像のセンタリング量を２枚目以降の画像のセンタリング量と同等のレベルに抑えることができるが、この場合には、ユーザが２ｎｄレリーズ操作を行った時点で観察していた撮影範囲と、実際に撮影された１枚目の画像の撮影範囲とが異なってしまい、ユーザが意図した構図の画像を得ることができなくなってしまう。

本発明は上記事情に鑑みてなされたものであり、合成画像の画質低下を抑制しながら、ユーザが意図した撮影範囲の合成画像を得ることができる撮像装置、画像処理方法を提供することを目的としている。

本発明のある態様による撮像装置は、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有する撮像装置において、前記撮像装置の動きの大きさをブレ量として検知するブレ検知部と、前記ブレ検知部により検知されたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正するブレ補正部と、連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する相関値演算部と、前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する合成処理部と、前記合成処理部による合成を行うための撮影モードである連写合成モードを設定可能なモード設定部と、を備え、前記ブレ補正部は、前記連写合成モードが設定されている場合には、ライブビュー中のブレ補正範囲を制限する。

本発明のある態様による画像処理方法は、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成し得る画像処理方法において、撮像装置の動きの大きさを検知して得られたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正する第１ステップと、連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する第２ステップと、前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する第３ステップと、前記第３ステップによる合成を行うための撮影モードである連写合成モードを設定可能な第４ステップと、を有し、第４ステップにおいて前記連写合成モードが設定されている場合には、前記第１ステップにおいて、ライブビュー中のブレ補正範囲を制限する。

本発明の撮像装置、画像処理方法によれば、合成画像の画質低下を抑制しながら、ユーザが意図した撮影範囲の合成画像を得ることができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置における単写撮影モードおよび連写撮影モードの処理を示すフローチャート。 上記実施形態１において、単写撮影または連写撮影におけるＩＳユニットの、１ｓｔレリーズスイッチがオンされた直後から２ｎｄレリーズスイッチがオンされて１枚目の画像の露光が終了するまでの動作例を示す図。 上記実施形態１において、連写撮影におけるＩＳユニットの、１枚目の画像の露光が終了してから２枚目の画像の露光が開始されるまでの動作例を示す図。 上記実施形態１において、連写撮影におけるＩＳユニットの、２枚目の画像の露光が開始されてから２枚目の画像の露光が終了するまでの動作例を示す図。 上記実施形態１の撮像装置における連写合成モードを含む撮影モードの処理を示すフローチャート。 上記実施形態１の図６のステップＳ２６における合成処理の詳細を示すフローチャート。 上記実施形態１において、基準画像に評価パッチを配置した様子を示す図。 上記実施形態１において、対象画像にサーチパッチを配置した様子を示す図。 本発明の実施形態２の撮像装置における連写合成モードを含む撮影モードの処理を示すフローチャート。 上記実施形態２において、連写合成モードが設定されている場合に１ｓｔレリーズスイッチがオンされた後のライブビュー時のＩＳユニットにおける制限されたブレ補正範囲を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図９は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。なお、本実施形態においては、撮像装置としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。

この撮像装置は、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信できるように接続して構成されていて、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有している。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。

絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ５０と通信し、マイクロコンピュータ５０からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ５０へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ５０とを、双方向に通信できるように接続する。

次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、ＩＳ（Image Stabilization）ユニット２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＥ処理部２８と、ＡＦ処理部２９と、ＡＷＢ処理部３０と、位置合せ処理部３１と、合成処理部３２と、画像処理部３３と、ＪＰＥＧ処理部３８と、ブレ検知ユニット３９と、ＬＣＤドライバ４１と、ＬＣＤ４２と、ＥＶＦ（電子ビューファインダ：Electronic View Finder）ドライバ４３と、ＥＶＦ４４と、メモリインタフェース（メモリＩ／Ｆ）４５と、記録媒体４６と、操作部４７と、フラッシュメモリ４８と、マイクロコンピュータ５０と、を備えている。

メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成の光学シャッタとなっている。このメカニカルシャッタ２１は、マイクロコンピュータ５０の指令により駆動されて、撮像素子２２への光束の到達時間、つまり撮像素子２２による被写体の露光時間を制御する。

撮像素子２２は、撮像面に所定の画素ピッチで２次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ５０の制御に基づき、レンズ１１および絞り１２からの光束を受光し撮像して（つまり、結像された被写体の光学像を光電変換して）アナログ画像信号を生成する撮像部である。ここに、撮像素子２２は、レンズ１１の光軸に垂直な面を受光面とするように配置されているために、複数の画素の２次元状配列方向は、レンズ１１の光軸に垂直な方向となる。

本実施形態の撮像素子２２は、例えば、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列（Ｒ（赤色）Ｇ（緑色）Ｂ（青色）ベイヤー配列）のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

ＩＳユニット２３は、ブレ検知ユニット３９により後述するように検知されたブレ量に基づき、レンズ１１と撮像素子２２との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正すると共に、１枚の画像の露光が終了して次の１枚の画像の露光が始まるまでの間に駆動対象を所定位置にリセットするセンタリング処理が可能なブレ補正部である。

本実施形態においては、ＩＳユニット２３が、ブレ検知ユニット３９により後述するように検知される撮像装置の動きに基づき、光軸に垂直な面内において手ブレをキャンセルする方向に撮像素子２２を移動するセンサシフト方式の構成を例に挙げて説明する。ただし、ブレ補正部として、レンズ１１を移動させるレンズシフト方式を採用しても良いし、センサシフト方式とレンズシフト方式との両方を採用しても構わない。

アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（適宜、画像データという）に変換する。

バス２６は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、ＩＳユニット２３と、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＥ処理部２８と、ＡＦ処理部２９と、ＡＷＢ処理部３０と、位置合せ処理部３１と、合成処理部３２と、画像処理部３３と、ＪＰＥＧ処理部３８と、ブレ検知ユニット３９と、ＬＣＤドライバ４１と、ＥＶＦドライバ４３と、メモリＩ／Ｆ４５と、マイクロコンピュータ５０と、に接続されている。

Ａ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。

ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは合成処理部３２、画像処理部３３、ＪＰＥＧ処理部３８等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

ＡＥ処理部２８は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカニカルシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる電子シャッタの制御）等に用いられる。

ＡＦ処理部２９は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。

ＡＷＢ処理部３０は、ＲＡＷ画像データに基づき、被写体のカラーバランスを検出して、ＲＧＢ各成分に対するゲインをそれぞれ算出し、算出したゲインを乗算することでホワイトバランスを調整するオートホワイトバランス処理を行う。

位置合せ処理部３１は、連写して得られる複数枚の画像データの内の、任意の２枚の画像データ（一方を、基準画像、他方を対象画像という）に対して、それぞれ所定の領域内における画像データを用いて相関値を算出する相関値演算部であり、算出した相関値に基づいて基準画像に対する対象画像のズレ量を算出する。

合成処理部３２は、位置合せ処理部３１により算出された相関値に基づく位置ずれに応じて、基準画像と対象画像とを位置合わせしてから合成し、１枚の合成画像データを生成する画像合成部である。ここで行われる画像合成は、例えば、露出量が異なる複数枚の画像を用いた高ダイナミックレンジ画像合成（ＨＤＲ画像合成）、時分割露光を行った複数枚の画像を用いた加算合成、平均合成、比較明合成、あるいは比較暗合成、画素ピッチの非整数倍の移動量で画素ずらしした複数枚の画像を用いた超解像画像合成、などの何れであっても構わない。

連写合成モードにおいて取得された複数枚の画像を合成する場合には、例えば、まず１枚目に取得された画像を基準画像に設定する（ただし、後述するように、ユーザが基準画像を選択するようにしても構わない）。そして、２枚目、もしくはそれ以降に新たに取得された画像を対象画像に順次設定しながら、位置合せ処理部３１および合成処理部３２により上述したような処理を行うことを最終画像が取得されるまで行うことにより、最終的な合成画像を生成する。

なお、位置合せ処理部３１および合成処理部３２による処理は、ＲＡＷ画像データに対して行っても良いし、画像処理部３３によって画像処理が行われた画像データに対して行っても構わない。

画像処理部３３は、ＲＡＷ画像データ、あるいは合成処理部３２によりＲＡＷ画像データから生成された合成画像データに対して種々の画像処理を行うものであり、ＷＢ補正部３４、同時化処理部３５、色再現処理部３６、およびＮＲ処理部３７を含んでいる。

ＷＢ補正部３４は、白色の被写体が白色として観察されるように、画像データに対してホワイトバランス処理を行う。

同時化処理部３５は、１画素につきＲＧＢ成分の内の１色成分のみが存在するＲＧＢベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補完して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換するデモザイキング処理を行う。

色再現処理部３６は、画像データにカラーマトリクス演算を行うことにより、被写体の色をより忠実に再現する処理を行う。

ＮＲ処理部３７は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。

こうして画像処理部３３によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。

ＪＰＥＧ処理部３８は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出してＪＰＥＧ圧縮方式に従って圧縮してＪＰＥＧ画像データを生成し、ＳＤＲＡＭ２７に記憶させる。このＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データは、マイクロコンピュータ５０によりヘッダ等を付加されて、メモリＩ／Ｆ４５を介して記録媒体４６にＪＰＥＧファイルとして記録される。

また、ＪＰＥＧ処理部３８は、圧縮画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ５０の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４５を介して記録媒体４６から読み出され、ＳＤＲＡＭ２７に一旦記憶される。ＪＰＥＧ処理部３８は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧファイル中のＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。

ブレ検知ユニット３９は、ジャイロセンサ等を備えたブレ検知部であり、例えば手ブレなどによる撮像装置の動きの大きさをブレ量として検知する。そして、ブレ検知ユニット３９は、検知結果をマイクロコンピュータ５０へ出力するようになっている。

ＬＣＤドライバ４１は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ４２を駆動制御して映像信号に基づく画像をＬＣＤ４２に表示させる。

ＬＣＤ４２は、上述したようなＬＣＤドライバ４１の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ＥＶＦドライバ４３は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＥＶＦ４４を駆動制御して映像信号に基づく画像をＥＶＦ４４に表示させる。

ＥＶＦ４４は、上述したようなＥＶＦドライバ４３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ここに、ＬＣＤ４２またはＥＶＦ４４において行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４６に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などがある。

メモリＩ／Ｆ４５は、記録媒体４６へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体４６からの画像データの読み出しも行う。

記録媒体４６は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体４６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４６は、撮像装置に固有の構成である必要はない。

操作部４７は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（単写撮影モード、連写撮影モード、連写合成モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）、再生モードなどが含まれている。この操作部４７に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ５０へ出力される。

フラッシュメモリ４８は、マイクロコンピュータ５０により実行される処理プログラムと、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４８が記憶する情報としては、例えば、画像処理に用いるパラメータ、撮像装置を特定するための機種名や製造番号、ユーザにより設定された設定値、などが幾つかの例として挙げられる。このフラッシュメモリ４８が記憶する情報は、マイクロコンピュータ５０により読み取られる。

マイクロコンピュータ５０は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ５０は、ユーザにより操作部４７から操作入力が行われると、フラッシュメモリ４８に記憶されている処理プログラムに従って、フラッシュメモリ４８から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

制御部であるマイクロコンピュータ５０は、特に撮影モードにおいて、上述したＩＳユニット２３にブレ補正を行わせながら撮像素子２２に撮像を行わせて１枚の画像データを取得させる撮像制御部としても機能するようになっている。

さらに、マイクロコンピュータ５０は、操作部４７からの設定入力に応じて、あるいはフラッシュメモリ４８から読み込んだ処理プログラムに従った自動設定に応じて、合成処理部３２による合成を行うための撮影モードである連写合成モードを設定可能なモード設定部として機能する。

次に、図２は、撮像装置における単写撮影モードおよび連写撮影モードの処理を示すフローチャートである。この処理（および、以下の各フローチャートに示す処理）は、制御部であるマイクロコンピュータ５０の制御に基づき行われる。

電源ボタンにより撮像装置の電源がオンされて図示しないメインルーチンの処理を行っているときに、操作部４７の操作により撮像装置が撮影モードに設定されると、この処理が実行される。

するとまず、初期設定を行う（ステップＳ１）。この初期設定では、例えば、撮影モードの種類や画像処理設定などのカメラ設定を読み込む。

次に、レリーズボタンが半押しされて１ｓｔレリーズスイッチがオンしているか否かを判定する（ステップＳ２）。

ここで、１ｓｔレリーズスイッチがオフであると判定された場合には、１ｓｔレリーズスイッチがオンされるのを待機する。この１ｓｔレリーズスイッチがオンされるのを待機する間は、メカニカルシャッタ２１が開いた状態となっていて、ライブビューが行われているものとする。

そして、１ｓｔレリーズスイッチがオンしていると判定された場合には、ライブビューにおいて取得された最新の画像に基づいて、ＡＥ処理部２８により測光演算を行い、ＡＦ処理部２９により測距演算を行って、撮影条件を算出する（ステップＳ３）。

一般的には、手振れの影響を受けることなく撮影直前の撮影範囲を確認するために、１ｓｔレリーズスイッチがオンになるとＩＳユニット２３を駆動して手ブレを補正し画像を安定化するようにしている。そこでここでは、１ｓｔレリーズスイッチがオンになっているときに、ブレ検知ユニット３９の出力に応じてブレ補正部であるＩＳユニット２３を駆動することにより、ブレ補正動作を行う（ステップＳ４）。これにより、手ブレによる影響を排除した状態で撮影範囲を確認することが可能となる。

続いて、レリーズボタンが全押しされて２ｎｄレリーズスイッチがオンしたか否かを判定する（ステップＳ５）。

ここで、２ｎｄレリーズスイッチがオフであると判定された場合には、１ｓｔレリーズスイッチがオフに変化したか否かを判定する（ステップＳ６）。

そして、１ｓｔレリーズスイッチがオフに変化したと判定された場合にはステップＳ２に戻って上述した処理を行い、１ｓｔレリーズスイッチがオンのままであると判定された場合にはステップＳ５に戻って２ｎｄレリーズスイッチがオンするのを待機する。

こうして、ステップＳ５において、２ｎｄレリーズスイッチがオンしたと判定された場合には、撮影モードが単写撮影モードであるか連写撮影モードであるかを判定する（ステップＳ７）。ここに、単写撮影モードは、１回の撮影動作で１枚の静止画像を取得する撮影モードである。また、ここでの連写撮影モードは、１回の撮影動作で複数枚の静止画像を連続して取得する撮影モードであって、取得した複数枚の画像を合成処理する連写合成モードでないモードを指している（連写合成モードを含む場合の処理については、後で図６を参照して説明する）。

ここで単写撮影モードであると判定された場合には、撮像素子２２により露光を行って、生成された画像をアナログ処理部２４およびＡ／Ｄ変換部２５により処理してＳＤＲＡＭ２７に記憶する画像取り込みを行う（ステップＳ８）。なお、ここでの露光は、一般的にメカニカルシャッタ２１を用いて行われるために（ただし、電子シャッタを用いることを妨げるものではない）、メカニカルシャッタ２１を一旦閉じてから、再びメカニカルシャッタ２１を開閉動作させて露光を行うことになる。

また、ステップＳ７において、連写撮影モードであると判定された場合にも、撮像素子２２により露光を行って、生成された画像をアナログ処理部２４およびＡ／Ｄ変換部２５により処理してＳＤＲＡＭ２７に記憶する画像取り込みを行う（ステップＳ９）。

これらステップＳ８またはステップＳ９における露光を行っている最中でも、ブレ検知ユニット３９の出力に応じてブレ補正部であるＩＳユニット２３を駆動し続けることにより、露光中の手ブレによる露光ブレを補正している。

露光が終了すると、次の露光を行うための準備として、初期位置から移動した位置となっているＩＳユニット２３を、再び初期位置に戻すセンタリング処理を行う（ステップＳ１０）。ここでのセンタリング処理は、連写における次の画像を露光する際に、露光中のブレを前画像と同様のストロークで補正するために必要な動作となる。

そして、マイクロコンピュータ５０は、連写が完了したか否かを判定して（ステップＳ１１）、完了していないと判定された場合には、必要に応じて撮影条件の変更を行い（ステップＳ１２）、ステップＳ９へ戻って次の画像の露光と取り込みを行う。

ステップＳ８の処理を行った場合、またはステップＳ１１において連写が完了したと判定された場合には、単写撮影で取得された１枚の画像、または連写撮影で取得された複数枚の画像に対して、画像処理部３３により画像処理を行う（ステップＳ１３）。

そして、画像処理を行った画像を、メモリＩ／Ｆ４５を介して記録媒体４６へ記録して（ステップＳ１４）、この処理から図示しないメイン処理にリターンする。

図３は、単写撮影または連写撮影におけるＩＳユニット２３の、１ｓｔレリーズスイッチがオンされた直後から２ｎｄレリーズスイッチがオンされて１枚目の画像の露光が終了するまでの動作例を示す図である。

１ｓｔレリーズスイッチがオンになると同時にＩＳユニット２３が動作を開始するために、１ｓｔレリーズスイッチがオンになった時点では、ＩＳユニット２３は初期位置となっており、位置Ｐｏに示す撮像素子２２の中心Ｃｏは、光軸中心（ここではＩＳユニット２３の中心Ｏ）に一致している。

１ｓｔレリーズスイッチがオンになっている間は、ブレ検知ユニット３９が検知した手ブレを補正するようにＩＳユニット２３が駆動され、撮像素子２２が手ブレを相殺する方向に移動される。

従って、２ｎｄレリーズスイッチがオンされた時点（つまり、１枚目の画像の露光が開始された時点）の、位置Ｐ１ｓに示す撮像素子２２の中心Ｃ１ｓは、一般に、ＩＳユニット２３の中心Ｏから移動した位置となっている。

１枚目の画像の露光中においても、ブレ検知ユニット３９が検知した手ブレを補正するようにＩＳユニット２３は引き続き駆動される。

その結果、１枚目の画像の露光が終了した時点の、位置Ｐ１ｅに示す撮像素子２２の中心Ｃ１ｅは、ＩＳユニット２３の中心Ｏから、例えば大きく移動した位置となっている。

撮影モードが単写撮影モードである場合には、ここで撮影が終了となって、通常はライブビューの状態に戻る。

図４は、連写撮影におけるＩＳユニット２３の、１枚目の画像の露光が終了してから２枚目の画像の露光が開始されるまでの動作例を示す図である。

連写時には、上述したように、次の画像の露光中のブレを前画像と同様のストロークで補正するためにセンタリング処理が行われる。従って、２枚目の画像の露光が開始された時点の、位置Ｐ２ｓに示す撮像素子２２の中心Ｃ２ｓは、初期位置であるＩＳユニット２３の中心Ｏに戻っている。

図５は、連写撮影におけるＩＳユニット２３の、２枚目の画像の露光が開始されてから２枚目の画像の露光が終了するまでの動作例を示す図である。

２枚目の画像の露光が開始される時点でセンタリング処理が行われた後は、ブレ検知ユニット３９が検知した手ブレを補正するようにＩＳユニット２３が駆動される。従って、２枚目の画像の露光が終了した時点の、位置Ｐ２ｅに示す撮像素子２２の中心Ｃ２ｅは、ＩＳユニット２３の中心Ｏから移動した位置となっている。

ただし、２枚目以降の画像の露光終了時点のＩＳユニット２３の駆動量は、１枚目の画像の露光終了時点のＩＳユニット２３の駆動量のような１ｓｔレリーズスイッチがオンされてから１枚目の画像が露光開始されるまで間に生じた駆動量を含むことはないために、ほぼ露光中のブレを補正するための駆動量のみとなっている。従って、図５と図３を比較すれば分かるように、中心Ｏから中心Ｃ２ｅまでの距離は、中心Ｏから中心Ｃ１ｅまでの距離よりもずっと小さくなっている。

次に、図６は、撮像装置における連写合成モードを含む撮影モードの処理を示すフローチャートである。

この処理を開始してステップＳ１〜Ｓ３の処理を行うと、この撮像装置に設定されている撮影モードの情報を取得する（ステップＳ２１）。

続いて、取得した撮影モードが連写合成モードであるか否かを判定する（ステップＳ２２）。

ここで連写合成モードであると判定された場合には、ＩＳユニット２３によるブレ補正をオフにしてから（ステップＳ２３）、また、連写合成モードでないと判定された場合には、ＩＳユニット２３によるブレ補正をオンにしてから（ステップＳ２４）、ステップＳ５〜Ｓ６の処理を行う。ただし、ステップＳ２３の処理によりブレ補正をオフするのは、２ｎｄレリーズスイッチがオンされるまでの間だけである。

こうして、ステップＳ５において、２ｎｄレリーズスイッチがオンしたと判定された場合には、ステップＳ２３においてブレ補正をオフにした場合には再びブレ補正をオンにしてから、ステップＳ７において、撮影モードが単写撮影モードであるか連写撮影モードであるかを判定する。ここで判定する連写撮影モードは、図２の処理とは異なり、画像合成を伴わない連写撮影モードだけでなく、画像合成を伴う連写合成モードも含んでいる。

ここで連写撮影モードであると判定された場合には、ステップＳ９〜Ｓ１２の処理を行い、ステップＳ１１において連写が完了したと判定された場合には、連写撮影モードが連写合成モードであるか否かを判定する（ステップＳ２５）。

ここで、連写合成モードであると判定された場合には、取得された複数枚の画像に対して、位置合せ処理部３１により相関値演算を行い、算出された相関値に基づき合成処理部３２により画像合成を行って合成画像を生成する（ステップＳ２６）。この合成処理については、後で図７を参照して説明する。

このステップＳ２６の処理を行った場合、ステップＳ２５において連写合成モードでないと判定された場合、またはステップＳ８の処理を行った場合には、ステップＳ１３およびステップＳ１４の処理を行って、この処理から図示しないメイン処理にリターンする。

次に、図７は、図６のステップＳ２６における合成処理の詳細を示すフローチャートである。なお、この図７には、ある特定の一枚の画像に対して別の一枚の画像を合成し、以降その合成画像に対して、さらにそれ以外の画像を順次合成して行く処理の例を示しているが、この処理順序に限定されるものではない。

この処理を開始すると、まず、合成処理を行う際の基準となる画像（基準画像）を選択する（ステップＳ３１）。この選択は、ＬＣＤ４２等にグラフィックユーザインタフェース（ＧＵＩ）を表示して、ユーザに選択させるようにしても良いし、レリーズタイムラグ等を考慮して（つまり、２枚目以降の画像を基準画像として選択すると、ユーザが２ｎｄレリーズ操作を行った時点で意図した構図の合成画像を得ることができなくなってしまうために）、連写１枚目を自動的に基準画像として選択するようにしても構わない。

次に、基準画像を除く他の連写画像の中から、基準画像に対して最初に合成する対象画像を選択する（ステップＳ３２）。この処理は、通常は、自動処理により連写順に画像を選択すれば良い。

続いて、選択した基準画像および対象画像に対して、相関値を算出し、ベクトル演算を行ってローカルベクトルおよびグローバルベクトルを算出する処理を、以下に示すように行う。ここに、ローカルベクトルおよびグローバルベクトルを算出する方法には様々な方法があるが、ここでは一般的なブロックマッチングによる算出方法を例に挙げて説明する。

まず、相関値を算出するための領域の数であるパッチ数、評価用領域である評価パッチＥＰのサイズ、探索用領域であるサーチパッチＳＰのサイズなどを設定値として読み込む（ステップＳ３３）。

次に、基準画像ＳＩに対して複数の領域としての評価パッチＥＰを配置する（ステップＳ３４）。ここに、図８は、基準画像ＳＩに評価パッチＥＰを配置した様子を示す図である。図示のように、評価パッチＥＰは、例えば一定の間隔をおいて基準画像ＳＩ内に垂直方向および水平方向に配列されている。

さらに、対象画像ＯＩに対して、評価パッチＥＰよりもサイズが大きい領域であるサーチパッチＳＰを、基準画像ＳＩの評価パッチＥＰに１対１に対応するように配置する（ステップＳ３５）。ここに、図９は、対象画像ＯＩにサーチパッチＳＰを配置した様子を示す図である。図示のように、サーチパッチＳＰも、例えば一定の間隔をおいて対象画像ＯＩ内に垂直方向および水平方向に配列されている。

続いて、ブロックマッチングを行う。すなわち、位置が対応する評価パッチＥＰおよびサーチパッチＳＰを１組選択する。そして、サーチパッチＳＰ内で評価パッチＥＰをスキャンして、各スキャン位置毎に差分絶対値和（ＳＡＤ（Sum of Absolute Difference）値）を相関値として算出する（ステップＳ３６）。

そして、スキャンしながら算出された複数のＳＡＤ値の内の、最小値を与えるものが最も相関値が高いとして、そのスキャン位置と、元の評価パッチＥＰの位置と、のベクトルをローカルベクトルとして算出する（ステップＳ３７）。

その後、位置が対応する評価パッチＥＰおよびサーチパッチＳＰの組を全て処理し終えたか否かを判定する（ステップＳ３８）。ここで、未だ全ての組の処理を終えていないと判定された場合には、ステップＳ３６へ戻って次の評価パッチＥＰおよびサーチパッチＳＰの組を選択して、上述したような処理を行う。従って、相関値の算出は、設定した領域であるパッチ毎に行われる。

こうして、ステップＳ３８において、全ての評価パッチＥＰおよびサーチパッチＳＰの組の処理が完了したと判定された場合には、全てのローカルベクトルのベクトルヒストグラムを算出して、算出したベクトルヒストグラムにおける例えば最頻ベクトル（ただし、最頻ベクトルに限るものではなく、平均ベクトルや加重平均ベクトル等であっても構わない）を、グローバルベクトルとして算出する（ステップＳ３９）。

このような処理によりローカルベクトルおよびグローバルベクトルを算出する場合には、処理時間および算出可能なベクトル長さがサーチパッチＳＰのサイズに依存する。このために、相関値を算出するに際して、基準画像ＳＩおよび対象画像ＯＩを予め縮小しておき、縮小された基準画像ＳＩおよび対象画像ＯＩによりローカルベクトルおよびグローバルベクトルを算出し、その後に、算出したローカルベクトルおよびグローバルベクトルを縮小前の画像サイズ相当に拡大して適用するようにしても構わない。これにより、処理時間の短縮を図りながら、縮小していない画像におけるサーチパッチＳＰのサイズを実質的に大きくすることができ、ベクトル長さが長い場合にも対応することができる。この縮小していない画像におけるサーチパッチＳＰのサイズの最大幅を、以下では適宜、相関値探索範囲と呼ぶことにする。

そして、現在の合成画像に対象画像を合成する処理を行う（ステップＳ４０）。この合成処理は、例えば、対象画像を基準画像に位置合わせしてから行われる。ここに、具体的な画像の合成方法については、例えば上記特開２０１２−４９６０３号公報に記載されたような、得られたローカルベクトル、グローバルベクトルを用いて位置合せを行い、２枚の画像を合成する方法などを用いれば良い（ただし、この合成方法に限定されるものではない）。

その後、全ての画像の合成が完了したか否かを判定して（ステップＳ４１）、未合成の画像が存在する場合には、ステップＳ３２へ戻って次の未処理画像を対象画像に選択してから、上述したような処理を行う。

こうして、ステップＳ４１において、全ての画像の合成が完了したと判定された場合には、この処理からリターンする。

このような実施形態１によれば、ＩＳユニット２３は、連写合成モードが設定されている場合には、１ｓｔレリーズスイッチがオンされてから２ｎｄレリーズスイッチがオンされるまでの間のライブビュー中のブレ補正を行わないために、１枚目の画像と２枚目以降の画像との撮影範囲の相違が大きくならないようにし、画像合成処理における合成範囲が狭くなるのを防いで、画質が低下するのを抑制することができる。

また、１枚目の画像が露光開始される直前のセンタリング処理を行っていないために、ユーザが意図した撮影範囲の合成画像を得ることができる。

さらに、２ｎｄレリーズスイッチがオンされた後の露光中は、通常のブレ補正を行うために、連写における各画像の露光中のブレを抑制し、合成画像の画質を確保することができる。

そして、連写合成モードが設定されていない場合には、１ｓｔレリーズスイッチがオンされてから２ｎｄレリーズスイッチがオンされるまでの間のライブビューを、ブレの影響を軽減した状態で観察することができる。
［実施形態２］

図１０および図１１は本発明の実施形態２を示したものであり、図１０は撮像装置における連写合成モードを含む撮影モードの処理を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１においては、連写合成モードが設定されている場合に、１ｓｔレリーズスイッチがオンされてから２ｎｄレリーズスイッチがオンされるまでのライブビューを行っている期間、ブレ補正をオフするようにしたが、本実施形態は、ブレ補正をオフする代わりにブレ補正範囲を制限するようにしたものとなっている。

この処理を開始するとステップＳ１〜Ｓ３およびステップＳ２１〜Ｓ２２の処理を行い、ステップＳ２２において連写合成モードであると判定された場合には、相関値探索範囲を取得する（ステップＳ５１）。

この相関値探索範囲は、評価パッチＥＰのサイズおよびサーチパッチＳＰのサイズを取得することにより決定され、上述したように、相関値の最小値を探索するために、評価パッチＥＰのスキャンが行われるサーチパッチＳＰのサイズの、縮小していない画像における最大幅である。ここに、相関値探索範囲は、連写における１枚の画像の露光時間が短い場合には小さくすることができ、１枚の画像の露光時間が長い場合には位置合わせの精度を確保するために大きくする必要がある。

さらに、取得した相関値探索範囲に基づいて、１ｓｔレリーズスイッチがオンされてから２ｎｄレリーズスイッチがオンされるまでの間のライブビューにおいて行われるブレ補正範囲を制限する（ステップＳ５２）。すなわち、通常のブレ補正では、ＩＳユニット２３の可動範囲（全ストローク）がブレ補正可能な範囲となるのに対して、本実施形態における連写合成モードが設定されている場合の１ｓｔレリーズスイッチがオンされた後のライブビュー時には、後段で行う合成処理において位置合せ可能なズレ量である相関値探索範囲までをブレ補正範囲としている。

ステップＳ５２を行った場合には制限されたブレ補正範囲内において、また、ステップＳ２２において連写合成モードでないと判定された場合には通常のブレ補正範囲内において、ブレ補正を行う（ステップＳ５３）。従って、連写合成モードの場合には、制限されたブレ補正範囲を超えるブレが発生したとしても、そのブレに追従してのブレ補正は行われない。

その後は、ステップＳ２５およびステップＳ２６を含むステップＳ５〜Ｓ１４の処理を上述した図６と同様に行って（従って、各画像を露光中は通常のブレ補正範囲内におけるブレ補正を行って）、この処理から図示しないメイン処理にリターンする。

図１１は、連写合成モードが設定されている場合に１ｓｔレリーズスイッチがオンされた後のライブビュー時のＩＳユニット２３における制限されたブレ補正範囲を示す図である。

相関値を算出する際にサーチパッチＳＰ内において評価パッチＥＰがスキャンされる範囲である探索範囲ＳＲに基づいて、ＩＳユニット２３において撮像素子２２が移動できるブレ補正範囲を制限している。すなわち、制限されたブレ補正範囲ＬＡは、中心がＩＳユニット２３の中心Ｏに一致している撮像素子２２が、水平左右方向に探索範囲ＳＲを上限として移動可能であり、かつ垂直上下方向に探索範囲ＳＲを上限として移動可能な範囲となっている。

このような制限されたブレ補正範囲ＬＡ内でのみブレに追従するように制御することで、１ｓｔレリーズスイッチがオンされてから２ｎｄレリーズスイッチがオンされるまでの間のＩＳユニット２３の駆動量が、ローカルベクトルおよびグローバルベクトルを算出可能な範囲内に収まるために、画像合成との両立を図ることができる。

なお、ここではセンサシフト方式におけるＩＳユニット２３の制限されたブレ補正範囲の例を示したが、レンズシフト方式の場合にも同様にブレ補正範囲を制限すれば良い。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、ＩＳユニット２３が、位置合せ処理部３１における相関値探索範囲に基づいて連写合成モードにおけるライブビュー中のブレ補正範囲を制限するようにしたために、１ｓｔレリーズスイッチがオンされてから２ｎｄレリーズスイッチがオンされるまでの間のライブビューを、ブレの影響をある程度軽減した状態で観察することができる。

また、上述したように、連写における１枚の画像の露光時間に応じて相関値探索範囲の大小が変化するために、例えば１枚の露光時間の設定値に応じてユーザがＩＳユニット２３の設定を切り替えて、ブレ補正範囲を手動で制限するように構成することも可能である。これに対して本実施形態の構成によれば、相関値探索範囲を自動的に取得してブレ補正範囲を自動的に制限しているために、このようなユーザの手間が不要となる利点がある。

なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う画像処理方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子
２３…ＩＳユニット
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＥ処理部
２９…ＡＦ処理部
３０…ＡＷＢ処理部
３１…位置合せ処理部
３２…合成処理部
３３…画像処理部
３４…ＷＢ補正部
３５…同時化処理部
３６…色再現処理部
３７…ＮＲ処理部
３８…ＪＰＥＧ処理部
３９…ブレ検知ユニット
４１…ＬＣＤドライバ
４２…ＬＣＤ
４３…ＥＶＦドライバ
４４…ＥＶＦ
４５…メモリＩ／Ｆ
４６…記録媒体
４７…操作部
４８…フラッシュメモリ
５０…マイクロコンピュータ
ＥＰ…評価パッチ
ＬＡ…制限されたブレ補正範囲
ＯＩ…対象画像
ＳＩ…基準画像
ＳＰ…サーチパッチ
ＳＲ…探索範囲

Claims (4)

1. 連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有する撮像装置において、
   前記撮像装置の動きの大きさをブレ量として検知するブレ検知部と、
   前記ブレ検知部により検知されたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正するブレ補正部と、
   連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する相関値演算部と、
   前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する合成処理部と、
   前記合成処理部による合成を行うための撮影モードである連写合成モードを設定可能なモード設定部と、
   を備え、
   前記ブレ補正部は、前記連写合成モードが設定されている場合には、ライブビュー中のブレ補正範囲を制限することを特徴とする撮像装置。
2. 前記ブレ補正部は、前記連写合成モードが設定されている場合には、ライブビュー中のブレ補正を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記ブレ補正部は、前記相関値演算部における相関値探索範囲に基づいて、前記ライブビュー中のブレ補正範囲を制限することを特徴とする請求項１に記載の撮像装置。
4. 連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成し得る画像処理方法において、
   撮像装置の動きの大きさを検知して得られたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正する第１ステップと、
   連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する第２ステップと、
   前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する第３ステップと、
   前記第３ステップによる合成を行うための撮影モードである連写合成モードを設定可能な第４ステップと、
   を有し、
   第４ステップにおいて前記連写合成モードが設定されている場合には、前記第１ステップにおいて、ライブビュー中のブレ補正範囲を制限することを特徴とする画像処理方法。

Images