JP2016061912A - 撮像装置及び像ブレ補正方法 - Google Patents

Abstract

【課題】誤補正を防ぎ高精度な補正を行う像ブレ補正手段を持つ撮像装置を提供する。
【解決手段】撮像装置は、被写体像を所定の撮像フレームレートで撮像しフレーム毎に画像データを取得する撮像部と、フレーム毎に連続する複数の画像データ間の相関に基づき被写体像の第１の移動量を算出する第１の像移動量算出部と、撮像装置の姿勢変化に伴う加速度を検出する加速度センサと、加速度センサが検出した加速度値と第１の像移動量算出部が算出した第１の像移動量の値に基づき加速度センサの検出基準値を算出する検出基準値算出部と、加速度センサが検出した加速度値を検出基準値に基づいて補正し補正後加速度値を算出する加速度補正部と、加速度補正部が算出した補正後加速度値に基づき撮像装置に対して被写体像が並進移動することにより撮像面に生じる並進像ブレ量を補正する第２の移動量を算出する第２の像移動量算出部とを備える。
【選択図】図８

Description

この発明は、手ブレ等に起因して生じる像ブレのうち特に並進方向の像ブレ補正を行う像ブレ補正手段を具備する撮像装置及び像ブレ補正方法に関するものである。

従来、撮像光学系により結像された光学像を、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子等（以下、撮像素子という）を用いて順次光電変換し、これにより取得された画像信号を所定の形態の画像データ（例えば静止画像又は動画像を表わすデジタル画像データ）として記憶媒体に記憶すると共に、当該デジタル画像データに基いて静止画像又は動画像を表示する画像表示装置、例えば液晶表示（Liquid Crystal Display；ＬＣＤ）装置や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）表示装置等を備えて構成され、さらに手ブレ等に起因して生じる像ブレ補正を行う像ブレ補正手段を具備する撮像装置、例えばデジタルカメラやビデオカメラ等の撮像装置が一般に実用化され広く普及している。

近年実用化されている撮像装置においては、手ブレ補正手段の性能向上がめざましく、撮像装置を手に保持して撮像動作を実行する場合にも、手ブレ等を気にすること無く、誰でも簡単に像ブレの少ない鮮明な画像を撮像することができる環境が整いつつある。

従来の撮像装置における像ブレ補正手段においては、一般に、装置本体に生じる回転運動を検出し、その回転運動によって生じる撮像面の像ブレ、いわゆる角度ブレを補正している。ここで、上記角度ブレは、撮像装置の撮像光学系の焦点距離によって像ブレの影響が大きくなることが知られている。例えば、一般的には、１／焦点距離（３５ｍｍフイルムを用いる撮像装置に適用される撮像光学系の画角に換算した焦点距離）・秒（ｓｅｃ．）のシャッタ速度よりも低速側のシャッタ速度において像ブレ等に起因する画質の劣化が目立ち始めるといわれている。この場合のシャッタ速度（１／焦点距離・秒）は手ブレ限界秒時などと呼ばれている。

近年においては、回転運動を検出する角速度センサの性能向上によって、角度ブレ補正については、ほとんど問題とならないレベルにまで補正が可能となっており、手ブレ限界秒時よりも、さらに低速側にシャッタ速度を落としても（例えば露出段数で４段階程度）像ブレの少ない撮像結果を得ることが可能となっている。

一方、撮像装置において生じる像ブレは、上記回転運動による角度ブレのほかに、例えば撮像装置が撮像面に対して並行方向に移動することによって生じるいわゆる並進ブレがある。この並進ブレは、撮像光学系の焦点距離に依存することはないが、例えば撮像倍率が大きくなる程、像ブレが大きくなるという傾向がある。そのために、優れた像ブレ補正性能を持つ撮像装置であっても、例えば撮像装置を手に保持した状態で近接撮像動作を行なうといった状況下において、像ブレが生じ易くなってしまうという問題点がある。

そこで、従来の撮像装置において、並進ブレを抑制するための工夫として、例えば特開平７−２２５４０５号公報等によって、種々の提案がなされている。

上記特開平７−２２５４０５号公報等によって開示されている撮像装置は、カメラに作用する三軸方向の加速度及び角速度を検出する加速度センサ、角速度センサを備え、各センサからの出力によって並進方向のブレ量（移動量）を検出するというものである。

特開平７−２２５４０５号公報

ところが、上記特開平７−２２５４０５号公報等によって開示されている手段では、姿勢検出手段により重力加速度成分を算出して、加速度センサより検出した加速度から重力成分減算するため、姿勢検出を高精度で実現する必要がある。しかしながら、初期姿勢を正確に求めることは技術的に難易度が高く、また姿勢変化に追従するために演算負荷も増加するという問題点がある。

さらに、重力減算後の加速度に対して、２回積分を行うことで移動量を求めているが、重力演算後の加速度に誤差があった場合に、誤差が積分により増大されてしまい積分値が発散し誤補正の原因になるという問題点がある。

このような問題点を解決するには、例えば加速度を積分して得られる速度に対して定期的に正しい速度に補正するといった対策が考えられるが、そのような対策手段についての技術的構成についての記載は、上記公報等には開示されていない。

また一般に、加速度センサの出力は定常的に重力加速度成分を検出してしまうことから検出誤差となる可能性も考えられる。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、重力補正などの複雑な処理を必要とせず、加速度センサの基準値及び移動速度を定期的に更新することで誤補正を防止し、比較的精度の高い補正を行い得ることのできる像ブレ補正手段を具備する撮像装置，像ブレ補正方法を提供することである。

上記目的を達成するために、本発明の一態様の撮像装置は、姿勢変化に伴って生じる像ブレを補正する像ブレ補正手段を具備し、被写体像を所定の撮像フレームレートにて撮像してそれぞれのフレーム毎に画像データを取得する撮像部と、前記フレーム毎に撮像されそれぞれ連続する複数の画像データ間の相関に基づいて被写体像の第１の移動量を算出する第１の像移動量算出部と、前記撮像装置の姿勢変化に伴う加速度を検出する加速度センサと、前記加速度センサによって検出された加速度値と前記第１の像移動量算出部によって検出された第１の像移動量の値に基づいて前記加速度センサの検出基準値を算出する検出基準値算出部と、前記加速度センサによって検出された加速度値を前記検出基準値に基づいて補正して補正後加速度値を算出する加速度補正部と、前記加速度補正部によって算出された補正後加速度値に基づいて前記撮像装置に対して前記被写体像が並進方向に移動することにより撮像面に生じる並進像ブレ量を補正する第２の移動量を算出する第２の像移動量算出部とを具備する。

本発明の一態様の像ブレ補正方法は、撮像装置の姿勢変化に伴って生じる像ブレを補正する像ブレ補正方法であって、被写体像を所定の撮像フレームレートにて撮像してそれぞれのフレーム毎に画像データを取得する撮像工程と、前記フレーム毎に撮像されそれぞれ連続する複数の画像データ間の相関に基づいて被写体像の第１の移動量を検出する工程と、加速度センサによって前記撮像装置の姿勢変化に伴う加速度値を検出する工程と、前記検出された加速度と前記第１の像移動量とに基づいて前記加速度センサの検出基準値を算出する工程と、前記加速度センサによって検出された加速度の値を前記検出基準値に基づいて補正してそれによって得られた補正後加速度値を算出する工程と、前記補正後加速度値に基づいて並進方向に移動することにより撮像面に生じる並進像ブレ量を補正する第２の移動量を算出する工程とを具備する。

本発明によれば、重力補正などの複雑な処理を必要とせず、加速度センサの基準値及び移動速度を定期的に更新することで誤補正を防止し、比較的精度の高い補正を行い得ることのできる像ブレ補正手段を具備する撮像装置，像ブレ補正方法を提供することができる。

本発明の第１の実施形態の像ブレ補正手段を具備する撮像装置の外観斜視図 図１の撮像装置の内部構成の概略を示すブロック構成図 本実施形態の撮像装置を用いて撮像動作を行う際のファインダー像の表示例 本実施形態の撮像装置を用いて撮像動作を行う際のファインダー像（フォーカスエリアの拡大像）の表示例 本実施形態の撮像装置におけるライブビュー表示画像において連続する画像フレーム（Ｆn〜Ｆｎ＋３）の概念図 本実施形態の撮像素子において、撮像素子の露光時間と、ライブビュー画像の取得タイミング，加速度センサの検出加速度等の時間関係を示すタイムチャート 本実施形態の撮像装置における加速度センサの検出加速度と時間との関係を示す表 本実施形態の撮像装置における信号処理主要部の機能を示すブロック構成図 本実施形態の撮像装置におけるシステムコントローラの制御の流れを示すフローチャート 本実施形態の撮像装置におけるブレ補正マイコンの撮像動作待機時の制御の流れを示すフローチャート 本実施形態の撮像装置におけるブレ補正マイコンの撮像動作時の制御の流れを示すフローチャート 本実施形態の撮像装置を用いた静止画撮像動作時の制御タイミングを示すタイミングチャート 本発明の第２の実施形態の撮像装置における信号処理主要部の機能を示すブロック構成図 本発明の第３の実施形態の撮像装置における信号処理主要部の機能を示すブロック構成図 本発明の第３の実施形態の撮像装置におけるシステムコントローラの制御処理シーケンス示すフローチャート

以下、図示の実施の形態によって本発明を説明する。なお、以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識可能な程度に示すために、各部材の寸法関係や縮尺等を構成要素毎に異ならせて示している場合がある。したがって、本発明は、これら各図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率，各構成要素の相対的な位置関係等に関し、図示の形態のみに限定されるものではない。

本発明の各実施形態は、例えば撮像光学系により結像された光学像を、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子等（以下、撮像素子という）を用いて順次光電変換し、これにより得られた画像信号を所定の形態の画像データ（例えば静止画像又は動画像を表わすデジタル画像データ）として記憶媒体に記憶すると共に、この記憶媒体に記憶されたデジタル画像データに基づいて静止画像又は動画像を再生表示する画像表示装置、例えば液晶表示ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）ディスプレイ等を備えて構成されたデジタルカメラやビデオカメラ等の撮像装置を例示するものである。

［第１の実施形態］
図１は、本発明の第１の実施形態の像ブレ補正手段を具備する撮像装置の外観斜視図であって、当該撮像装置に設定する座標系及びブレ方向を説明する図である。

まず、本実施形態の撮像装置において、手ブレ等に起因して生じる姿勢変化時の運動について、以下に説明する。

本実施形態において例示する撮像装置は、図１に示すように、カメラ本体１と撮像光学系を有するレンズ鏡筒２とによって主に構成されており、カメラ本体１に対してレンズ鏡筒２が着脱自在に構成されるいわゆるレンズ交換式の撮像装置である。なお、本発明を適用し得る撮像装置は、この形態の撮像装置に限られることはなく、例えばカメラ本体に対してレンズ鏡筒が固定された形態の撮像装置でもよい。

カメラ本体１の前面には、被写体からの光を受けて被写体像として結像する撮像光学系を備えたレンズ鏡筒２が装着されている。このレンズ鏡筒２における撮像光学系の光軸Ｏに沿う方向をＺ軸とする。ここで、Ｚ軸の正方向は、カメラ本体１から被写体に向く方向とする（図１の矢印Ｚ参照）。なお、Ｚ軸の負方向は、上記正方向の逆方向である。

また、カメラ本体１の標準姿勢（いわゆる横位置に構えた姿勢；図１に示す状態）において、カメラ本体１の水平方向をＸ軸とする。ここで、Ｘ軸の正方向は、被写体側からカメラ本体１に向かって右手方向（つまり、使用者（ユーザ）からカメラ本体１を見た場合の左手方向）とする（図１の矢印Ｘ参照）。なお、Ｘ軸の負方向は、上記正方向の逆方向である。

さらに、カメラ本体１の標準姿勢において、カメラ本体１の垂直方向をＹ軸とする。ここで、Ｙ軸の正方向は、標準姿勢における上方向とする（図１の矢印Ｙ参照）。なお、Ｙ軸の負方向は、上記正方向の逆方向である。

なお、図１においては、上記ＸＹＺ座標系がカメラ本体１と重複して見難くなるのを防ぐために、座標系の原点位置をずらして記載している。しかしながら、この座標系の原点は、実際には、撮像素子５（後述する；図２参照）の撮像面の中心にあり、一般的には、撮像面と撮像光学系の光軸Ｏとが交差する点である。この座標系は、カメラ本体１に固定された座標系であり、カメラ本体１が移動または回転すれば、座標系も地球に対して移動または回転することになる。また、この座標系において、Ｘ−Ｙ平面は撮像面に一致する面である。

また、このような座標系において、Ｚ軸周りの回転運動をロールといい、Ｘ軸周りの回転運動をピッチといい、Ｙ軸周りの回転運動をヨーという。

さらに、以下の説明においては、例えば当該座標系の原点からＺ軸正方向を見たときのＺ軸周りの左回転をロールの正方向回転というものとし、原点からＸ軸正方向を見たときのＸ軸周りの左回転をピッチの正方向回転というものとし、原点からＹ軸正方向を見たときのＹ軸周りの右回転をヨーの正方向回転というものとする。

なお、上述した座標軸の正負方向や回転方向の正負は、後述する角速度センサ９や加速度センサ１０（図２等参照）の実装方向に依存する便宜上のものであり理論的には上記に限定されるものではない。

上述した座標系において、回転中心が原点（あるいは回転中心が原点を含むカメラ本体１内）にある場合は主に角度ブレをもたらし、回転中心がカメラ本体１の外部にある場合には角度ブレに加えて並進ブレをもたらす。したがって、ブレ補正を行う必要があるような並進ブレが発生するのは、実質的に、回転中心がカメラ本体１の外部にあるときであると考えて差し支えない。

角度ブレに関しては、原点周りの回転運動として考えればよい。即ち、ヨー方向の回転運動により光軸Ｏが左右に振られて撮像素子５上に結像する被写体像が左右に移動し、ピッチ方向の回転運動により光軸Ｏが上下に振られて撮像素子５上に結像する被写体像が上下に移動することは周知である。また、ロール方向の回転運動は、画面の横位置や縦位置及びその中間の斜め位置をもたらすことも周知である。

次に、本実施形態の撮像装置の内部構成の概略を、以下に説明する。図２は、本実施形態の撮像装置の内部構成の概略を示すブロック構成図である。

本実施形態の撮像装置は、カメラ本体１と、レンズ鏡筒２とによって主に構成されている。このうちレンズ鏡筒２は、撮像光学系２ａと、この撮像光学系２ａの光軸Ｏ上における位置を検出するエンコーダ３等を有して主に構成されている。

レンズ鏡筒２は、被写体からの光を透過させて被写体像を形成し、撮像素子５の撮像面に結像させる複数の光学レンズ等からなる撮像光学系と、この撮像光学系を構成する複数の光学レンズ等を保持する複数のレンズ保持部材と、この複数のレンズ保持部材のうちの所定のレンズ保持部材を光軸Ｏに沿う方向に所定のタイミングで進退移動させて、焦点調節動作（フォーカシング）や変倍動作（ズーミング）を行うための駆動部材等を含んで構成されている。なお、レンズ鏡筒２は、その他の各種の構成部材を有して構成されるものであるが、それらの構成部材については本発明に直接関連しない部分であるので、図示及び説明を省略する。

カメラ本体１の内部には、シャッタ機構４と、撮像素子５と、駆動部６と、システムコントローラ７と、ブレ補正マイコン８と、角速度センサ９と、加速度センサ１０と、レリーズＳＷ（スイッチ）１１と、電子ビューファインダ（ＥＶＦ）１２と、メモリーカード１３等が配設されている。

シャッタ機構４は、例えば、撮像素子５の前面側（撮像光学系２ａ側）に配設されていて、開閉動作を行うことにより露光時間を制御する構成部である。シャッタ機構４は、開状態になった時、撮像素子５の撮像面を露光状態にし、閉状態になった時、撮像素子５の撮像面を遮光状態にする。本実施形態の撮像装置におけるシャッタ機構４としては、例えばフォーカルプレーン方式のシャッタ機構等を適用した場合を想定している。しかしながら、シャッタ機構４としては、その他の方式のものを適用することも可能である。例えば、レンズ鏡筒２の内部に配設されるレンズシャッタ機構を適用してもよい。

撮像素子５は、システムコントローラ７の制御指示に基づいて、撮像面に結像された被写体像を電気信号に変換する光電変換素子である。ここで変換された電気信号は、システムコントローラ７へと出力されて、このシステムコントローラ７において所定の信号処理が施されることによって所定の形態の画像信号が生成される。この撮像素子５は、撮像面に平行な２次元方向に移動可能となるように、後述する駆動部６によって支持されている。

なお、本実施形態において、撮像素子５は、上述したように光電変換素子として説明しているが、この撮像素子５は、実際には電気部品としての光電変換素子そのものだけではなく、光電変換素子を駆動したり、当該光電変換素子から出力される画像信号等を取り扱かったりするための電子回路を構成する複数の電気部品と、これら電気部品を実装する電気基板等を含む構成ユニットをさすものとする。簡略に説明すると、撮像素子５は、被写体像を所定の撮像フレームレートにて撮像して、それぞれのフレーム毎に画像データを取得する撮像部として機能する構成ユニットである。

駆動部６は、上述したように、撮像素子５を移動可能に支持すると共に、後述するブレ補正マイクロコンピュータ（以下、ブレ補正マイコンという）７の制御指示に基づいて図１等に示したＸ方向およびＹ方向に向けて撮像素子５を移動させる駆動を行う構成部である。

システムコントローラ７は、撮像素子５からの入力信号を受けて所定の形態の画像信号を生成すると共に、撮像装置の全体の機能に関わる各種の制御を統合的に行う制御部である。システムコントローラ７は、以下に説明するように、ブレ補正マイコン８を制御して、ブレ検出を行わせ、そのブレ検出結果に基づいてブレ補正を行わせる制御等も行う。

角速度センサ９は、回転運動を検出する角速度検出部として構成されたセンサであり、単位時間当たりの角度変化を角速度として検出しブレ補正マイコン８へ出力する。角速度センサ９は、Ｙ軸周りのヨー回転運動，Ｘ軸周りのピッチ回転運動，Ｚ軸周りのロール回転運動のそれぞれの角速度を検出する。

加速度センサ１０は、少なくともＸ軸方向の加速度（Ｘ加速度）とＹ軸方向の加速度（Ｙ加速度）とを検出する加速度検出部である。さらに、本実施形態における加速度センサ１０は、Ｚ軸方向の加速度（Ｚ加速度）も検出し得る。そして、加速度センサ１０は、検出した各方向への加速度をブレ補正マイコン８へと出力する。

なお、上述した角速度センサ９と加速度センサ１０とは、検出時間を異ならせて時系列的に（つまり所定の時間間隔毎に）検出を行って、検出結果を逐次ブレ補正マイコン８へと出力している。

ブレ補正マイコン８は、システムコントローラ７の制御指示に基づいて、角速度センサ
９の出力と加速度センサ１０の出力とを受けてカメラ本体１のブレ量を算出する。また、ブレ補正マイコン８は、検出したブレ方向とは反対方向に向けて、検出したブレ量分だけ撮像素子５を駆動する制御指示を駆動部６に対して出力する。これを受けて駆動部６は、撮像面における像ブレを打ち消すために撮像素子５を駆動する。これによって、撮像素子５によって所得される撮像画像に発生する像ブレを補正することができる。

なお、ここでは撮像素子５を駆動して像ブレ補正を行うように構成しているが、これに代えて、あるいはこれに加えて、撮像光学系２ａの一部の光学レンズを光軸Ｏに直交する方向、若しくは光軸Ｏに対して傾く方向等に駆動する等によって、像ブレ補正を行うような構成としてもよい。

なお、ブレ補正マイコン８，角速度センサ９，加速度センサ１０等を含む構成部材によってブレ量検出装置が構成されている。このブレ量検出装置と駆動部６とを含んで像ブレ補正装置が構成されている。そして、この像ブレ補正装置は、当該撮像装置の姿勢変化に伴って生じる像ブレを補正するための像ブレ補正手段として機能する構成ユニットである。

レリーズＳＷ（スイッチ）１１は、所定の操作部材（不図示）に連動するスイッチ部材である。このレリーズＳＷ（スイッチ）１１はシステムコントローラ７に接続されており、所定の指示信号、即ちレリーズ指示信号をシステムコントローラ７へと伝送するスイッチ部材である。詳述すると、レリーズＳＷ（スイッチ）１１は、撮像部に対して例えば静止画の露光開始指示を与える撮像操作入力部である。

具体的には、レリーズＳＷ（スイッチ）１１は、例えば２段式の押圧スイッチが適用されており、１段目の押圧操作（半押し操作あるいは１ｓｔ．レリーズ操作）によるファーストレリーズ信号によって自動焦点調節動作（ＡＦ動作）や自動露出動作（ＡＥ動作）が実行され、２段目の押圧操作（全押し操作あるいは２ｎｄ．レリーズ操作）によるセカンドレリーズ信号によってシャッタ機構の駆動を含む露光動作が実行される。

電子ビューファインダ（ＥＶＦ）１２は、例えば液晶パネル等の表示用デバイスを含んで構成された表示装置であり、撮像素子５によって取得されシステムコントローラ７等によって生成された画像信号を受けて表示可能な形態の画像データに変換し使用者（ユーザ）が視認可能に表示する構成部である。

メモリーカード１３は、例えばカメラ本体１に対して着脱自在に構成された不揮発性の記憶媒体と、これに対応するカード駆動機構等を含む構成ユニットである。ここで、カード駆動機構は、例えば上記撮像素子５によって取得されシステムコントローラ７等によって生成された画像信号を受けて、これを記録可能な形態のデータファイルに変換し、こうして生成したデータファイルの記憶媒体に対する読み書きを行う構成部である。

なお、カメラ本体１には、図示を省略しているが、上記メモリーカード１３とは別の記憶媒体として、例えばシステムコントローラ７によって実行される制御プログラムや、各種の制御を行うのに用いられる各種パラメータ等が予め記憶されている不揮発性の記憶媒体が設けられている。

なお、撮像装置としては、上述した構成部材のほかにも各種の構成部材を有してなるものであるが、それら図示及び説明を省略した構成部材については、本発明に直接関連しない部分であり、従来の撮像装置と同等のものが設けられているものとする。

このように構成された本実施形態の撮像装置における作用の概略的な流れを、図１，図２に基づいて以下に簡単に説明する。

被写体からの光束は、撮像光学系２ａを透過することによって撮像素子５の撮像面に被写体像として結像する。

シャッタ機構４は、システムコントローラ７からの制御指示に基づいて開閉動作が行われることによって、撮像素子５の露光状態と遮光状態とを切り換える。

使用者（ユーザ）が所定の操作部材（シャッタレリーズボタン；不図示）を押し下げ操作すると、これに連動するレリーズＳＷ１１から所定の指示信号（レリーズ信号）が発生する。このレリーズ信号を受けて、システムコントローラ７は、予め設定された若しくはファーストレリーズ信号に応じて実行されたＡＥ動作によって設定されたシャッタ速度値のいずれかに基づいてシャッタ機構４を駆動制御して、所定の時間だけ開状態として、撮像素子５の撮像面を露出する露光状態にする。

撮像素子５は撮像面が露光状態にあるとき、撮像面上に結像された被写体像から光電変換処理を実行する。システムコントローラ７は、撮像素子５によって取得された電荷を画像信号として読み出す。システムコントローラ７は、上記読み出された画像信号に対して種々の信号処理を施した後、ＥＶＦ１２へと出力してライブビュー画像として表示させたり、メモリーカード１３へと出力して画像データとして記録したりする。

角速度センサ９は、軸周りの回転運動の角速度を検出し、ブレ補正マイコン８へと通知する。ここで、角速度センサ９は、撮像光学系２ａの光軸Ｏと直交する面における撮像装置の水平方向、即ちピッチ方向を軸とした回転運動、同様に垂直方向、即ちヨー方向を軸とした回転運動のそれぞれの角速度を検出する。

ブレ補正マイコン８は、取得した角速度の値に基づいて角度変化を算出し、角度変化量と、撮像光学系２ａの焦点距離の情報とに基づいて撮像素子５の撮像面上における角度ブレ量を算出し、これにより生じる像ブレを打ち消す方向に、駆動部６の駆動制御を実行する。このような作用によって、像ブレの少ない画像を取得することができる。

加速度センサ１０は、撮像装置の姿勢変化に起因してカメラ本体１に生じるＸ方向及びＹ方向への並行移動に伴う加速度を検出する。ここで、検出された加速度に基づいて、ブレ補正マイコン８は並進方向への移動量を算出する。また、ブレ補正マイコン８は、撮像素子５の撮像面上における並進ブレ量への変換を行い、これらのデータに基づいて上記角度ブレ量と共に、そのときの像ブレを打ち消す方向への駆動部６の駆動制御を実行する。

ここで、本発明の基本的な概念を、図３〜図７を用いて以下に説明する。図３，図４は、本実施形態の撮像装置を用いて撮像動作を行う際のファインダー像の表示例を示している。

ここで、図３は、例えば花を被写体とした近接撮像動作を行う際のＥＶＦ１２に表示されるファインダー像の一例である。図３において、画面枠の略中央部分に表示される矩形状の枠線は、焦点調節動作を行う対象となる領域、即ちいわゆるフォーカスエリアを示している。

図４は、図３に示すフォーカスエリアの拡大像を示している。この状態においては、画面内でシフト方向（並進方向）の像ブレが発生し易い状況である。そのような状況を表すために、被写体像を実線と点線とで示している。つまり、このような近接撮像動作の状況下において像ブレが生じている場合は、ライブビュー表示画像における前回表示フレームと今回表示フレームとの間には、被写体像の表示位置にずれが生じる。図４において、破線で示す像を前回表示フレームの被写体像とし、実線で示す像を今回表示フレームの被写体像とすると、図４に示す矢印で示される移動量が、このとき発生したブレ量となる。

ライブビュー表示画像についての角度ブレ補正が行なわれているものとすると、その角度ブレはほとんど補正された状態となっているので、ここで検出された移動量は、撮像装置の並進方向への移動に伴うブレ量か、若しくは被写体側の移動に伴うブレ量であると考えられる。被写体が完全な静止物とすると、検出された移動量から、フレーム間の像移動速度を算出することができ、さらに、撮像光学系２ａの焦点距離情報と、フォーカス位置から求められる像倍率情報とによって撮像装置の並進移動速度を求めることができる。

図５は、撮像装置におけるライブビュー表示画像において連続する画像フレーム（Ｆn〜Ｆｎ＋３）の概念図である。

図５において、先行フレームＦｎと、その直後の後続フレームＦｎ＋１との間の像ずれ量からフレーム間の平均移動速度Ｖｎが求められる。同様に、後続フレームＦｎ＋１と、その直後の後続フレームＦｎ＋２との間の像ずれ量から当該フレーム間の平均移動速度Ｖｎ＋１が求められる。以下、後続のフレーム間の平均移動速度は、全く同様に求めることができる。

そして、上述のようにして求めた先行平均移動速度Ｖｎと後続平均移動速度Ｖｎ＋１から当該フレーム間の速度変化が求められ、同フレーム間の加速度の平均値ａｎを算出することができる。同様に、後続平均移動速度Ｖｎ＋１と、その直後の後続平均移動速度Ｖｎ＋２から当該フレーム間の速度変化が求められ、同フレーム間の加速度の平均値ａｎ＋１を算出することができる。

図６は、本実施形態の撮像素子において、撮像素子の露光時間と、ライブビュー画像の取得タイミング，加速度センサの検出加速度等の時間関係を示すタイムチャートである。

図６において（Ａ）は、撮像素子５の読み出しタイミングの同期をとる垂直同期信号ＶＤを示している。垂直同期信号ＶＤは、各フレームの開始時点を示している。

図６において（Ｂ）は、撮像素子５での各ラインの露光期間を示している。撮像素子５は、例えばローリングシャッター方式によって１ラインずつシステムコントローラ７に読み出される。つまり、露光期間はライン間の読み出し時間に時間差が発生する。このことから、一フレーム分の露光期間の形状が、図示のように、略菱型状によって示されている。

図６において（Ｃ）は、各フレームの読み出し後に、最新フレームの画像と先行フレームの画像とを比較して、両者間の像の移動量を算出することによって得られる像の移動速度を表す像面移動速度を示している。

図６において（Ｄ）は、加速度センサ１０によって検出される加速度値のアナログ信号（検出信号）の値を示している。この加速度信号がブレ補正マイコン８に入力され、ブレ補正マイコン８においてデジタル信号への変換、即ちＡＤ変換処理がなされる。

図６において（Ｅ）は、加速度を積算することによって求められる本体速度変化を示しており、所定期間ごとの積算値を示している。図６においては、連続する各フレームの露光中心から露光中心までの積算を行なっている。

本発明の基本的な考え方は、各フレーム間の像面移動速度から求められる速度変化と、加速度センサ１０から検出された加速度の積算により求まる速度変化とが一致するはずであることから、両者が一致するように加速度センサ１０の検出基準値を調整するというものである。

図７は、本実施形態の撮像装置における加速度センサ１０の検出加速度と時間との関係を示す表である。

図７において、ライブビュー画像から算出したフレーム間の平均加速度を破線で示し、積算期間（ｔ１〜ｔ２）の加速度の平均値を実線で示している。そして、上記両者の差が、加速度センサの検出結果に生じるセンサオフセットとして示されている。

積算期間ｔ２以降は、検出したオフセットを減算することで誤差の少ない加速度を検出することができる。ここで検出しているオフセットは、温度や姿勢変化など様々な要因で生じるが基準値が毎周期補正されるので誤差が蓄積する恐れが無いという利点がある。

図８は、本実施形態の撮像装置における信号処理主要部の機能を示すブロック構成図である。

図８に示すように、システムコントローラ７の内部には、移動ベクトル抽出部７１と、フレーム間並行移動速度算出部７２と、フレーム間速度変化算出部７３とを具備している。また、ブレ補正マイコン８の内部には、オフセット減算器８１と、第一積分器８２と、第二積分器８３と、加速度オフセット算出部８４と、速度算出部８５と、速度変化加算器８６と、第三積分器８８と、像倍率乗算器８９とを具備している。

ここで、撮像素子５によって取得された画像信号がシステムコントローラ７の移動ベクトル抽出部７１に入力される。すると、この移動ベクトル抽出部７１は、入力された画像信号におけるフレーム間の像移動量を検出し、その像移動量に基づいて移動ベクトルを抽出する処理を実行する。

なお、この場合において、処理の対象とするフレームは、連続する２つのフレームを対象としてもよいし、所定数のフレームを間引いて抽出した２つのフレームを対象としてもよい。通常の場合、並進ブレの像ブレブレ成分は、低周波が支配的であるために、フレームを間引いた結果を処理対象としても支障は無い。

続いて、上記移動ベクトル抽出部７１にて抽出された移動ベクトルについて、フレーム間並行移動速度算出部７２は、撮像素子５の撮像面におけるＸ方向とＹ方向のそれぞれの移動速度に分離してフレーム間移動速度を算出する処理を実行する。ここで、像面のフレーム間移動速度は、撮像面上の像の移動量と、比較したフレーム間の時間データに基づいて算出することができる。さらに、連続して算出されたフレーム間並行移動速度のデータからフレーム間速度変化算出部７３によって、各フレーム間での速度変化を算出して平均加速度に変換する処理を実行する。

したがって、上記システムコントローラ７における移動ベクトル抽出部７１，フレーム間並行移動速度算出部７２，フレーム間速度変化算出部７３は、フレーム毎に撮像され、それぞれ連続する複数の画像データ間の相関に基づいて被写体像の第１の移動量を算出する第１の像移動量算出部として機能する構成部である。

上記フレーム間速度変化算出部７３において求められる平均加速度は、像面における値であるが、像倍率データを用いて除算することによって撮像装置の平均加速度とすることができる。

具体的には、例えば、撮像面での像の移動量が１０μｍ（＝０．０１ｍｍ）の場合に、像倍率＝０．１倍であるとすると、撮像装置の移動量＝０．１ｍｍであるものと換算することができる。

上述のようにして、システムコントローラ７にて算出された平均加速度値と、フレーム間並行移動速度値などのデータは、例えば通信インタフェース等を経由してブレ補正マイコン８へと通知される。

ブレ補正マイコン８においては、例えば１ｍｓの周期で加速度センサ１０から加速度データを取得しており、これに基づいてオフセット補正値を減算後、第一積分器８２で積算処理を行っている。

第一積分器８２では、フレーム毎の露光中心タイミングにてシステムコントローラ７からブレ補正マイコン８へのタイミング通知が行われるが、このタイミングで、積分結果をクリアしている。したがって、第一積分器８２での積分結果は、露光タイミングから露光タイミングまでの間の加速度の累積加算値となる。

加速度オフセット算出部８４では、上記システムコントローラ７から通知されたデータのうち平均加速度値と、第一積分器８２で算出された加速度積算値を積算回数で除算した平均加速度値との差を算出し、オフセット減算器８１において減算する際の加速度オフセット値としている。

つまり、加速度オフセット算出部８４は、加速度センサ１０によって検出された加速度値と、上記第１の像移動量算出部（７１，７２，７３）によって算出された第１の像移動量の値に基づいて加速度センサ１０の検出基準値を算出する検出基準値算出部として機能する構成部である。

また、オフセット減算器８１は、加速度センサ１０によって検出された加速度値を、上記加速度オフセット算出部８４によって算出された検出基準値に基づいて補正して、補正後の加速度値を算出する加速度補正部として機能する構成部である。

以上が、本実施形態の撮像装置の撮像動作待機時におけるシステムコントローラ７による制御の流れである。

続いて、撮像動作が開始されると、システムコントローラ７は、撮像動作の開始直前に求められたフレーム間並行移動速度のデータ（第１の像移動速度）をブレ補正マイコン８へと通知する。これを受けてブレ補正マイコン８は、速度算出部８５において、上記システムコントローラ７から通知されたフレーム間並行移動速度に基づいて撮像動作開始時の初速度（露光前並進速度）を求める処理を実行する。

一方、第二積分器８３では、加速度センサ１０からの加速度に対してオフセット補正された加速度を撮像動作開始時点から積算処理を開始する。これは、露光開始からの速度変化の算出、即ち静止画露光中の並進速度の算出を行うことである。

速度変化加算器８６では、速度算出部８５で求められた初速度と、第二積分器８３で算出された速度変化とを加算することによって並行移動速度を求めることができる。

第三積分器８８では、露光中の並行移動速度を積分することで、撮像装置の並行移動量を算出し、像倍率乗算器８９にて像倍率を乗算する。これによって撮像素子５の撮像面におけるブレ量に変換する。こうして算出されたブレ量を用いて、このブレ量を打ち消す方向に、駆動部６を駆動制御する。これによって並進ブレを補正することができる。

ここで、第三積分器８８は、上記オフセット減算器８１（加速度補正部）によって算出された補正後加速度値に基づいて、当該撮像装置に対して被写体像が並進方向に移動することにより撮像面に生じる並進像ブレ量を補正する第２の移動量を算出する第２の像移動量算出部として機能する。

また、第２の移動量算出部は、レリーズＳＷ（スイッチ）１１（撮像操作入力部）によって静止画撮像の撮像開始指示を与えられた場合において、速度算出部８５が静止画撮像直前に算出された第１の像移動速度に基づいて撮像装置の露光前並進速度を算出し、第二積分器８３が上記算出された露光前並進速度に加速度センサ１０で検出した加速度を積算することで、静止画露光中の並進速度を算出し、第三積分器８８が上記算出された静止画露光中の並進速度に基づいて撮像面に生じる並進ブレ補正量を算出する。

次に、本実施形態の撮像装置におけるシステムコントローラ７及びブレ補正マイコン８の制御の流れを図９〜図１１のフローチャートに基づいて、以下に説明する。

図９は、本実施形態の撮像装置におけるシステムコントローラ７の制御の流れを示すフローチャートであり、ライブビュー画像の表示中の動きを示している。なお、実際の撮像動作中には様々な制御処理が行われているのであるが、図９においては、本発明に直接関連する並進ブレ補正に関わる処理のみを記載し、その他の動作フローの図示及び説明は省略する。

まず、撮像装置が電源オン状態で起動している状態にあり、動作モードが撮像動作を実行しうる撮像動作モードに設定されているものとする。この状態にあるとき、システムコントローラ７は、例えばシャッタ機構４を駆動制御して開状態とする。これによって、レンズ鏡筒２の撮像光学系２ａによって生成される被写体像は撮像素子５の撮像面上に結像する状態となる。システムコントローラ７は、撮像素子５を駆動制御して、被写体像の光電変換処理を実行する。

図９に示すステップＳ１において、システムコントローラ７は、撮像素子５から出力された画像信号を受けて所定の画像処理を施して、ＥＶＦ１２にて表示可能なライブビュー画像データを生成し、これをＥＶＦ１２へ出力する（ライブビュー画像取得処理）。

次に、ステップＳ２において、システムコントローラ７は、移動ベクトル抽出部７１を制御して、ライブビュー画像データ中の前後する２つのフレームにおける各フォーカスエリアを対象とするフレーム間の移動ベクトルを抽出する処理を実行する。この場合において、処理の対象とするフレームは、連続する２つのフレームを対象としてもよいし、所定数のフレームを間引いて抽出した２つのフレームを対象としてもよい。

続いて、ステップＳ３において、システムコントローラ７は、フレーム間並行移動速度算出部７２を制御して、上述のステップＳ２の処理にて抽出された移動ベクトルに基づき撮像素子５の撮像面におけるＸ方向及びＹ方向の移動量を求めると共に、フレーム周期からフレーム間平均移動速度を算出する処理を実行する。

ステップＳ４において、システムコントローラ７は、フレーム間速度変化算出部７３を制御して、上述のステップＳ３の処理にて連続して取得されるフレーム間移動速度に基づいて速度変化を求めフレーム間平均加速度を算出する処理を実行する。

ステップＳ５において、システムコントローラ７は、像倍率を算出する処理を実行する。ここで、像倍率は、エンコーダ３（図２参照）によって求められる撮像光学系２ａの光軸Ｏ上における位置情報に基づいて決定される焦点距離情報と被写体距離情報とから算出することができる。

次に、ステップＳ６において、システムコントローラ７は、上述のステップＳ５の処理にて算出された像倍率データに基づいて、像面換算のフレーム間平均加速度を撮像装置における平均加速度に変換する演算処理を実行する。

続いて、ステップＳ７において、システムコントローラ７は、上述のステップＳ６の処理にて取得された平均加速度データをブレ補正マイコン８へと通知する。これにより、システムコントローラ７側の処理は終了する。

図１０は、本実施形態の撮像装置におけるブレ補正マイコン８の撮像動作待機時の制御の流れを示すフローチャートである。上述の図９のステップＳ７の処理にてシステムコントローラ７側の処理が終了すると、この図１０のフローチャートへと移行する。

図１０のステップＳ１１において、ブレ補正マイコン８は、加速度センサ１０の出力信号に基づいて加速度値を取得する。

次に、ステップＳ１２において、ブレ補正マイコン８は、加速度の積算を行なう演算処理を実行する。

続いて、ステップＳ１３において、ブレ補正マイコン８は、システムコントローラ７から定期的に送られてくる加速度積算期間の終了通知に基づいて所定の積算期間が経過したか否かの確認を行う。ここで、積算期間が経過したことが確認されたら、次のステップＳ１４の処理に進む。また、積算期間が経過していない場合には、上述のステップＳ１１の処理に戻る。

ステップＳ１４において、ブレ補正マイコン８は、加速度積算値を積算回数で除算して加速度平均値を算出する演算処理を実行する。

次に、ステップＳ１５において、ブレ補正マイコン８は、システムコントローラ７から通知されるフレーム間平均加速度値と、上述のステップＳ１４の処理にて算出された加速度積算値との差に基づいてオフセット値を算出する演算処理を実行する。

続いて、ステップＳ１６において、ブレ補正マイコン８は、オフセット補正値を上述のステップＳ１５の処理にて算出したオフセット値で更新する処理を実行する。

ステップＳ１７において、ブレ補正マイコン８は、加速度積算値をクリアする処理を実行する。

そして、ステップＳ１８において、ブレ補正マイコン８は、撮像動作を開始する旨の指示が発生しているか否かの確認を行う。ここで、撮像開始指示が確認された場合には、撮像動作の処理（図１１のフローチャート）へと移行する。また、撮像開始指示が確認されない場合には、上述のステップＳ１１の処理に戻って、以降の処理を繰り返す。

図１１は、本実施形態の撮像装置におけるブレ補正マイコン８の撮像動作時の制御の流れを示すフローチャートである。

まず、図１１のステップＳ２１において、ブレ補正マイコン８は、システムコントローラ７から通知されたフレーム間平均速度値に基づいて、撮像開始時点の初速度を算出する処理を実行する。この処理は、撮像開始時に１回のみ行なわれる。

次に、ステップＳ２２において、ブレ補正マイコン８は、加速度センサ１０の出力信号に基づいて加速度値を取得する。

次いで、ステップＳ２３において、ブレ補正マイコン８は、撮像動作待機中に求められたオフセット値（図１０のステップＳ１５の処理参照）を角速度から減算する演算処理を実行する。

続いて、ステップＳ２４において、ブレ補正マイコン８は、加速度を積分して速度変化を算出する演算処理を実行する。ここで算出される速度変化としては、撮像動作開始時には積分値＝０にクリアされていることから撮像動作開始時点からの速度変化となる。

次に、ステップＳ２５において、ブレ補正マイコン８は、加速度積分結果と初速度とを加算して、撮像装置の並進移動速度を算出する演算処理を実行する。

ステップＳ２６において、ブレ補正マイコン８は、上述のステップＳ２５の処理にて算出された並進移動速度を積分して並進移動量を算出する演算処理を実行する。

ステップＳ２７において、ブレ補正マイコン８は、上述のステップＳ２６の処理にて算出された並進移動量に像倍率を乗算することによって、撮像面におけるブレ量を算出する。

次に、ステップＳ２８において、ブレ補正マイコン８は、上述のステップＳ２６の処理にて算出されたブレ量を打ち消す方向に、駆動部６を駆動制御する。これによって並進ブレが補正される。

そして、ステップＳ２９において、ブレ補正マイコン８は、撮像動作が終了したか否かの確認を行う。ここで、撮像動作の終了が確認された場合には、当該処理シーケンスを終了し、例えば撮像待機状態に戻る。また、撮像動作の終了が確認されない場合には、上述のステップＳ２２の処理に戻って、以降の処理を繰り返す。

図１２は、本実施形態の撮像装置を用いた静止画撮像動作時の制御タイミングを示すタイミングチャートである。

図１２において（Ａ）は、撮像素子５の読み出しタイミングの同期をとる垂直同期信号ＶＤを示している。垂直同期信号ＶＤは、各フレームの開始タイミングを示している。

図１２において（Ｂ）は、シャッタ機構４の制御信号としての先幕制御信号及び後幕制御信号を示している。これら先幕制御信号及び後幕制御信号は、Ｈｉｇｈ状態において、シャッタ幕のうち先幕及び後幕をそれぞれ吸着した状態となる。

図１２において（Ｃ）は、撮像素子５での各ラインの露光期間を示している。露光期間は、ライン間に時間差が生じることから、一フレーム分の露光期間の形状が、図示のように、略菱型状によって示されている。

図１２において（Ｄ）は、各フレームの読み出し後に、最新フレームの画像と先行フレームの画像とを比較して、両者間の像の移動量を算出することによって得られる像の移動速度を表す像面移動速度を示している。

図１２において（Ｅ）は、連続した像の移動速度の変化量に基づいて各フレーム間の時間で平均化して得られる加速度平均を示している。

図１２において（Ｆ）は、加速度センサ１０からの検出信号を表す加速度を示している。

図１２において（Ｇ）は、加速度を積算することによって求められる本体速度変化を示しており、所定期間ごとの積算値を示している。

図１２において（Ｈ）は、静止画撮像動作中に発生する像ブレを補正するために算出される並進移動速度を表す補正速度を示している。

図１２において（Ｉ）は、並進移動速度を積分した結果に基づいて算出される並進補正量を示している。

ここで、図１２を用いて、本実施形態の撮像素子における制御の流れを簡単に説明する。まず、撮像素子５から画像信号の読み出しが完了したら像面移動速度を算出する。例えば、静止画撮像動作の開始直前のフレームｆｎ＋２（図１２（Ｃ）参照）の読み出しが完了したら、その前のフレームｆｎ＋１（図１２（Ｃ）参照）と比較して像の移動量を算出する。その算出結果の像移動量とフレーム周期とから像面の移動速度（図１２（Ｄ）参照）を求める。ここで、移動速度ＩＶｔ２−ｔ３は、各フレームの露光中心であるｔ２からｔ３の平均移動速度である。

次に、ＩＶｔ１−ｔ２とＩＶｔ２−ｔ３との差から速度変化を求め、フレーム周期とから平均加速度（図１２（Ｅ）参照）Ｉαｔ２−ｔ３が求められる。

これと並行して、露光中心タイミング間の加速度を積分することによって撮像装置に生じた速度変化ＡＶｔ２−ｔ３が求められ、積分期間で平均化することによって平均加速度Ａαｔ２−ｔ３が算出できる。

画像から求められる加速度平均値Ｉαｔ２−ｔ３と、加速度センサ１０の出力から求められる平均化速度Ａαｔ２−ｔ３とは、共に露光中心タイミングであるｔ２〜ｔ３の期間の値であり一致するはずである。よって、この差分を加速度センサ１０に生じたオフセットノイズとして加速度補正演算に用いる。

また、ｔ２〜ｔ３の積算結果のｔ３における積算値と、速度変化平均値との差分を求め、その差分を画像から算出した平均速度ＩＶｔ２−ｔ３に加算することで、ｔ３における並進速度が求められる。ｔ３における並進速度は、静止画撮像動作中に補正を行なう際に算出される補正速度の初速度となる。この初速度に対して、加速度を積分した速度変化を加算することで静止画撮像動作中の並進速度を算出することができる。

ｔ４は静止画撮像フレームの開始タイミングであり、ｔ５は露光の開始タイミングであり、露光開始から並進速度を積分することで並進移動量を求めることができる。この並進移動量に基づいて、像面上の像移動量に変換し、それを打ち消す方向に撮像素子５を移動させることで、静止画撮像動作中の並進ブレ補正を行うことができる。

以上説明したように上記第１の実施形態によれば、画像信号から求められる移動量より加速度を算出し、加速度センサの基準値を算出するようにしたので、実際の像ブレと検出結果とが一致せずに、誤補正する可能性を防止することができる。また、重力加速度や温度ドリフト等、全てを含めて補正を行うので、検出値の補正にかかる処理負荷を低減することができる。さらに、毎周期、速度及び基準値が更新されるので、誤差が積算されることによる誤補正を回避することができる。

［第２の実施形態］
次に、本発明の第２の実施形態の撮像装置について、以下に説明する。本実施形態の撮像装置の構成は、上述の第１の実施形態と基本的に略同様である。本実施形態の撮像装置においては、ブレ補正マイコン８の内部に被写体ブレを検出する機能を備えた被写体ブレ判定部を設け、これにより被写体の動きによって生じる像ブレ補正についての誤補正を防止するよう構成した点が異なるのみである。したがって、上述の第１の実施形態と同様の構成については、その詳細説明は省略し、異なる構成についてのみ以下に説明する。

図１３は、本発明の第２の実施形態の撮像装置における信号処理主要部の機能を示すブロック構成図である。図１３は、上述の第１の実施形態における図８に相当する。

図１３に示すように、本実施形態の撮像装置においては、上記第１の実施形態に対して被写体ブレ検出手段である被写体ブレ判定部９０が追加配置されている点のみが異なる。

ここで、被写体ブレ検出手段である被写体ブレ判定部９０は、第１の像移動速度と、第１速度変化量と、第２速度変化量とのうちの少なくとも１つ以上の情報に基づいて被写体に動きがあるか否かを検出する。

即ち、被写体ブレ判定部９０は、画像信号から求められるフレーム間並進速度及び速度変化と加速度から求められる並進移動速度変化に基づいて被写体ブレの有無を判定して、被写体ブレがあるものと判定された場合には、加速度オフセット算出部８４において算出された加速度オフセット値を無効化した後、像倍率に０を乗算することによってブレ量が算出されないようにする。なお、被写体ブレがないものと判定された場合である通常時においては、光学系２ａの状態に基づいた像倍率が乗算されるようにしている。
具体的には、像倍率は、光学系２ａの変倍動作に関わる焦点距離と、焦点調整動作に関わり特定できる被写体距離とによる関係で決まるものである。

即ち、被写体ブレ判定部９０（被写体ブレ検出手段）は、被写体に動きありと判定した場合は、加速度センサ１０の基準値算出処理及び並進ブレ補正量の算出を停止する。

被写体ブレ判定部９０では、例えば画像信号から得られるフレーム間並進速度が、通常の撮像動作を行うために使用者（ユーザ）が撮像装置を手等に保持して構えた場合に想定される並進移動量よりも大きい場合には、被写体が動いているのか、若しくは撮像装置が例えばパンニングされている等、フレーミング変更のための操作が行なわれている可能性が考えられる。

通常の撮像動作の場合に撮像装置を構えるときには、平均的に１ｍｍ／ｓｅｃ．程度の並進移動量が発生する。そこで、この値を大きく上回る値、例えば５ｍｍ／ｓｅｃ．以上の並進移動量が発生したような場合には、加速度オフセット値を無効化する。

なお、この判定の閾値は上述の例に限定されるものではなく、検出したい精度に応じて決定すれば良いのは勿論である。

また、画像信号から算出される速度変化と加速度とを積分して得られる速度変化の差が大きい場合、被写体ブレがあると判定し、加速度オフセット算出結果を無効化して、像倍率に０を乗算し、ブレ量が算出されないようにする。その他の構成及び作用は、上述の第１の実施形態と略同様である。

以上説明したように、上記第２の実施形態によれば、上述の第１の実施形態と略同様の効果を得ることができる。また、本実施形態においては、被写体ブレを検出した場合には、加速度のオフセット補正もブレ量の算出も行なわない。したがって、被写体ブレによって基準値を誤算出してしまい、その結果、誤補正を生じるといった可能性を低減することができる。

なお、本実施形態における被写体ブレ判定部の構成は、上述した形態に限定されるものではないのは勿論であって、被写体ブレの検出や撮像装置のパンニング等のいわゆるカメラワークを検出することができる構成であれば、他の形態であってもよい。例えば、角速度センサ９の検出結果に基づいてカメラワークを検出し、パンニングされていると判定するような構成としてもよい。あるいは、移動ベクトル検出領域をパターンマッチングにより相関性を検出し、相関性が低い場合に加速度オフセット値を無効化するといった制御を行うようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態の撮像装置について、以下に説明する。本実施形態の撮像装置の構成は、上述の第１の実施形態と基本的に略同様である。本実施形態の撮像装置においては、システムコントローラ７の内部に、動画像の像ブレを検出し、そのブレ補正を行う機能を備えた動画ブレ補正部を設けて構成した点が異なるのみである。したがって、上述の第１の実施形態と同様の構成については、その詳細説明は省略し、異なる構成についてのみ以下に説明する。

図１４は、本発明の第３の実施形態の撮像装置における信号処理主要部の機能を示すブロック構成図である。図１４は、上述の第１の実施形態における図８に相当する。

動画ブレ補正部７４は、撮像素子５から読み出された画像信号から動画用の画像の切り出しを行なう動画ブレ補正手段である。このとき、動画ブレ補正部７４は、移動ベクトル抽出部７１（第１の像移動量算出部）によって抽出された移動ベクトル（像移動量）に基づいて、像の移動（像移動量）を打ち消す方向に動画用画像の切り出し位置を移動させる。

動画ブレ補正部７４にて切り出された動画用画像は、システムコントローラ７内の各種画像処理部にて様々な画像処理が施され、その後、再生に適する形態に信号処理された画像信号はＥＶＦ１２へと出力される。そして、このＥＶＦ１２において、ライブビュー画像として、即ちファインダー画像として表示される。その他の構成は、上述の第１の実施形態と略同様である。

次に、本実施形態の撮像装置におけるシステムコントローラ７の作用を説明する。図１５は、本実施形態の撮像装置におけるシステムコントローラの制御処理シーケンス示すフローチャートである。図１５は、上述の第１の実施形態における図９に相当する。

また、本実施形態の撮像装置におけるシステムコントローラの制御処理シーケンスにおいては、上述の第１の実施形態における同処理に対して、ステップＳ２の処理の後の処理シーケンスとして、ステップＳ２Ａの処理、即ち動画ブレ補正処理を加えている点が異なるのみである。

このステップＳ２Ａの動画ブレ補正処理は、ステップＳ２の処理におけるフレーム間移動ベクトル抽出処理によって抽出された移動ベクトルに基づいて画像の切り出し位置を切り換える処理である。その他の処理シーケンスは、上述の第１の実施形態と略同様である。

以上説明したように、上記第３の実施形態によれば、上述の第１の実施形態と略同様の効果を得ることができる。また、本実施形態においては、フレーム間で抽出した移動ベクトルに基づいて動画ブレ補正を行なう処理を加えたことによって、撮像動作の待機中に行うフレーミング動作の際のファインダー像（ライブビュー画像）においても並進移動による像ブレの影響を除去し、像ブレの無いファインダー像によって構図決定等、撮像前操作を快適に行うことができる。

上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定可能であることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク，ＣＤ−ＲＯＭ等，不揮発性メモリ等の可搬媒体や、ハードディスク，揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記憶されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供が可能なものである。利用者は、製品出荷後であっても、自ら通信ネットワーク，インターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールしたりすることで、動作可能にすることができ、これによって容易に本実施形態の撮像装置を実現することができる。

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明は、デジタルカメラ等、撮像機能に特化した電子機器である撮像装置に限られることはなく、撮像機能を備えたその他の形態の電子機器、例えばデジタルムービーカメラ，携帯電話，スマートフォン，電子手帳，電子辞書，携帯情報端末，パーソナルコンピュータ，タブレット型端末機器，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮像機能付き電子機器に対し広く適用することができる。

さらに、撮像素子を用いて画像を取得し、その取得画像を表示装置に表示する機能を有する電子機器、例えば望遠鏡，双眼鏡，顕微鏡等の観察用機器に対しても同様に適用することができる。

１……カメラ本体，
２……レンズ鏡筒，
２ａ……撮像光学系，
３……エンコーダ，
４……シャッタ機構，
５……撮像素子，
６……駆動部，
７……システムコントローラ，
８……ブレ補正マイコン，
９……角速度センサ，
１０……加速度センサ，
１３……メモリーカード，
７１……移動ベクトル抽出部，
７２……フレーム間並行移動速度算出部，
７３……フレーム間速度変化算出部，
７４……動画ブレ補正部，
８１……オフセット減算器，
８２……第一積分器，
８３……第二積分器，
８４……加速度オフセット算出部，
８５……速度算出部，
８６……速度変化加算器，
８８……第三積分器，
８９……像倍率乗算器，
９０……被写体ブレ判定部，

Claims (6)

1. 姿勢変化に伴って生じる像ブレを補正する像ブレ補正手段を具備する撮像装置において、
   被写体像を所定の撮像フレームレートにて撮像してそれぞれのフレーム毎に画像データを取得する撮像部と、
   前記フレーム毎に撮像され、それぞれ連続する複数の画像データ間の相関に基づいて被写体像の第１の移動量を算出する第１の像移動量算出部と、
   前記撮像装置の姿勢変化に伴う加速度を検出する加速度センサと、
   前記加速度センサによって検出された加速度値と、前記第１の像移動量算出部によって算出された第１の像移動量の値に基づいて、前記加速度センサの検出基準値を算出する検出基準値算出部と、
   前記加速度センサによって検出された加速度値を、前記検出基準値に基づいて補正して、補正後加速度値を算出する加速度補正部と、
   前記加速度補正部によって算出された補正後加速度値に基づいて、前記撮像装置に対して前記被写体像が並進方向に移動することにより撮像面に生じる並進像ブレ量を補正する第２の移動量を算出する第２の像移動量算出部と、
   を具備することを特徴とする撮像装置。
2. 前記検出基準値算出部は、さらに、
   前記補正後加速度値を逐次積算する積算部と、
   前記第１の像移動量算出部による前記第１の移動量の検出結果から第１の像移動速度を算出し、前回フレーム時に検出された第１の像移動速度と今回フレーム時に検出された第１の像移動速度の差から第１速度変化量を算出する第１速度変化量算出部と、
   前記第１の像移動量算出部の検出フレーム間に対応する期間での前記加速度センサの検出結果の積算値から第２速度変化量を算出する第２速度変化量算出部と、
   を具備し、
   前記検出基準値算出部は、前記第１速度変化量と前記第２速度変化量に基づいて、前記加速度センサの前記検出基準値を算出することを特徴とする請求項１記載の撮像装置。
3. 前記撮像部に対して静止画の露光開始指示を与える撮像操作入力部を、さらに有し、
   前記第２の像移動量算出部は、前記撮像操作入力部によって静止画撮像の撮像開始指示を与えられた場合において、静止画撮像直前に算出された前記第１の像移動速度に基づいて当該撮像装置の露光前並進速度を算出し、前記露光前並進速度に前記加速度センサで検出した加速度を積算することで静止画露光中の並進速度を算出し、前記静止画露光中の並進速度に基づいて撮像面に生じる並進ブレ補正量を算出することを特徴とする請求項１または請求項２のいずれか１つに記載の撮像装置。
4. 前記第１の像移動速度と、前記第１速度変化量と、前記第２速度変化量と、のうちの少なくとも１つ以上の情報に基づいて、被写体に動きがあるか否かを検出する被写体ブレ検出手段を、さらに具備し、
   前記被写体ブレ検出手段は、被写体に動きありと判定した場合は、前記加速度センサの基準値算出及び並進ブレ補正量の算出を停止することを特徴とする請求項１〜請求項３のうちのいずれか１つに記載の撮像装置。
5. 動画ブレ補正手段を、さらに具備し、
   前記動画ブレ補正手段は、前記第１の像移動量算出部によって検出された移動量に基づいて、移動量を打ち消す方向に画像切り出し位置を移動させることを特徴とする請求項１記載の撮像装置。
6. 撮像装置の姿勢変化に伴って生じる像ブレを補正する像ブレ補正方法において、
   被写体像を所定の撮像フレームレートにて撮像してそれぞれのフレーム毎に画像データを取得する撮像工程と、
   前記フレーム毎に撮像され、それぞれ連続する複数の画像データ間の相関に基づいて被写体像の第１の移動量を検出する工程と、
   加速度センサによって前記撮像装置の姿勢変化に伴う加速度値を検出する工程と、
   前記検出された加速度と前記第１の像移動量とに基づいて前記加速度センサの検出基準値を算出する工程と、
   前記加速度センサによって検出された加速度の値を、前記検出基準値に基づいて補正して、それによって得られた補正後加速度値を算出する工程と、
   前記補正後加速度値に基づいて並進方向に移動することにより撮像面に生じる並進像ブレ量を補正する第２の移動量を算出する工程と、
   を具備することを特徴とする撮像装置の像ブレ補正方法。

Images