JP2006229393A - 撮像装置 - Google Patents

Abstract

【課題】露光時間の中心位置での手ぶれ信号に対する相対的手ぶれ量の度数分布から求めた代表値から手ぶれを補正しても、手ぶれ信号の変化によっては手ぶれを十分に補正できない。
【解決手段】撮像期間中において、たとえば、１回の撮像期間が１０ｍｓであれば、０．１ｍｓ間隔でその撮像期間を１００回サンプリングし、露光期間中での手ぶれ信号の最大値、最小値を求め（Ｓ３０１）、最大値、最小値の間をｍ分割し（Ｓ３０２）、各領域（各ゾーン）での度数分布を求める（Ｓ３０３）。発生頻度の最大の領域の手ぶれ信号は露光期間中での手ぶれ信号の変化に対応した代表値として十分に通用するから、発生頻度の最大の領域の手ぶれ信号を代表値とし、その代表値からフレーム間シフト量算出回路で画像シフト量を算出して手ぶれ補正する（Ｓ３０４）。
【選択図】図６

Description

本発明は、手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置に関する。

動画撮影時において、手ぶれを検出すると、フレーム間のぶれによって撮像画に像揺れが生じて不快感を与えるため、撮影時の手ぶれを補正して像ぶれを防止する構成が知られている。たとえば、特開平１１−２６６３９２号公報では、ビデオカメラの手ぶれ補正として、検出した手ぶれ量が所定範囲内にあるときのみ露光を行うことにより、被写体位置の安定した画面のみを撮影して、手ぶれ補正された画像を得ている。
しかし、この構成は静止画に対して有効とはいえ、動画に適用すると、フレーム間の露光間隔が相違するため、撮影された動画がギクシャクしたものとなり、違和感が避けられず、動画への応用が難しい。

また、特開２００３−２３４９４６号公報では、角速度センサなどから検出した手ぶれ信号を所定の間隔でサンプリングし、サンプリング値から手ぶれを低減させる補正量、たとえば、露光時間の中心位置の補正量を算出して像ぶれのない画像を出力している。
この公報での手ぶれ補正について図示すると、図１１に示すように、画像１、２、３に対して、露光時間の中心位置での手ぶれ信号θｘｃを検出し、その手ぶれ信号に応じて画像データの相対的な位置が補正される。
動画電子手ぶれ補正のイメージについて図１２を参照しながら説明すると、図１２（Ａ）（Ｂ）（Ｃ）は変動する３つのフレームを示し、図１２（Ｄ）（Ｅ）は３つのフレームの単純に順次表示した画像と、補正された画像を順次表示した画像とを示す。図１２（Ｄ）の画像は手ぶれ補正されない画像に、図１２（Ｅ）の画像は手ぶれ補正された画像にそれぞれ相当する。

動画においてはフレーム間のずれが手ぶれとして認識されるため、画像シフトによって補正する。図１２（Ａ）（Ｂ）（Ｃ）に示すように、たとえば３枚の画像１、２、３を考えた場合、画像１と２の間は（Ｘ１→）で表される画像が紙面上で左側にずれる方向でのベクトル移動、２と３の間は（Ｘ２→）で表される画像が紙面上で右側にずれる方向でのベクトル移動と仮定する。この場合、単純に画像１、２、３を順次表示すると図１２（Ｄ）に示すように、ぶれて見える。しかし、（Ｘ１→）（Ｘ２→）の逆ベクトル分をずらして順次表示すれば（画像１＋画像２＊（−Ｘ１→）＋画像３＊（−Ｘ１→）＊（−Ｘ２→））、図１２（Ｅ）に示すように、手ぶれのない明瞭な像が見える。ここで「＊」は、画像シフトを表す演算子とする。

しかし、手ぶれ信号θｘの変化によっては手ぶれを十分に補正できず、手ぶれの残った画像となる。たとえば、露光期間中に手ぶれ信号が、円滑に変化せず、図１３のように急変する場合での手ぶれ補正を考える。図１４は露光時間の中心位置での手ぶれ信号θｘｃに対する露光時間（画像１）中の相対的手ぶれ量Δθｘの度数分布を示す。手ぶれ信号θｘの波形が所定の露光時間ｔ内でほぼ直線的に増加する図１２の画像１では、図１４（Ａ）に示すように、露光時間（画像１）中の相対的手ぶれ量Δθｘの度数分布は左右対称となり、相対的手ぶれ量Δθｘの平均値（点線で図示する）はほぼゼロとなる。つまり、このような規則的な変化においては、露光時間の中心位置での手ぶれ信号θｘｃが手ぶれ量Δθｘの平均値とほぼ等しくなるので、露光時間の中心位置での手ぶれ信号θｘｃに応じて画像データの相対的な位置を補正すれば、補正が正確に行える。

これに対して、手ぶれ信号θｘが所定の露光時間ｔ内で山型に変化する画像２では、図１４（Ｂ）に示すように、相対的手ぶれ量Δθｘの度数分布はマイナス側に散在し、相対的手ぶれ量Δθｘの平均値はゼロとならず、マイナス値として残る。また、谷型に変化する画像３では、図１４（Ｃ）に示すように、相対的手ぶれ量Δθｘの度数分布はプラス側に散在し、相対的手ぶれ量Δθｘの平均値はゼロとならず、プラス値として残る。
このように、相対的手ぶれ量Δθｘの平均値がマイナス値やプラス値として残る画像２、３では、露光時間の中心位置での手ぶれ信号θｘｃは代表値とならない。そのため、中心位置での手ぶれ信号θｘｃに応じて画像データの相対的な位置を補正しても、相対的手ぶれ量Δθｘの平均値のマイナス値やプラス値に対応した手ぶれが残り、補正が正確に行えない。従って、像揺れのある動画となる。
特開平１１−２６６３９２号公報 特開２００３−２３４９４６号公報

本発明の目的は、手ぶれを正確に補正して像揺れのない画像を復元する撮像装置を提供することにある。

上記目的を達成するために、本発明によれば、時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、その手ぶれ量に応じて画像データの各フレーム間の画像シフト量を求めて、画像データの相対的な位置を補正して画像を復元している。

つまり、請求項１に係る本発明においては、被写体を撮像するための光学系と、前記光学系により形成された被写体像より画像データを得るための撮像部と、前記撮像部の露光を制御するための露光制御部と、手ぶれを検出するための手ぶれ検出部と、前記撮像部を連続的に動作させるためのコントローラと、前記コントローラにより撮像部から順次得られた画像データの、各フレーム間で発生した画像シフト量を求めるに当り、露光時間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、該露光期間中の手ぶれ量より画像シフト量を求めるための画像シフト量演算回路と、前記画像シフト量演算回路で求めた画像シフト量に応じて画像データの相対的な位置を補正することにより各フレーム間で発生した手ぶれを補正するための手ぶれ補正回路と、前記手ぶれ補正回路により補正された画像データを適用された記録媒体に記録するための記録回路と、を具備している。

請求項２に係る本発明においては、被写体像を撮像するための光学系と、前記光学系により形成された被写体像より画像データを得るための撮像部と、前記撮像部の露光を制御するための露光制御部と、手ぶれを検出するための手ぶれ検出部と、前記撮像部の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号を記憶するためのメモリと、前記撮像部を連続的に動作させるためのコントローラと、前記コントローラにより撮像部から順次送得られた画像データの、各フレーム間で発生した画像シフト量を求めるに当り、前記メモリに記憶された時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、該露光期間中の手ぶれ量から画像シフト量を求めるための画像シフト量演算回路と、前記画像シフト量演算回路で求めた画像シフト量に応じて画像データの相対的な位置を補正することにより各フレーム間で発生した手ぶれを補正するための手ぶれ補正回路と、前記手ぶれ補正回路により補正された画像データを適用された記録媒体に記録するための記録回路と、を具備している。

請求項３に係る本発明においては、被写体を撮像するための光学系と、前記光学系により形成された被写体像より画像データを得るための撮像部と、前記撮像部の露光を制御するための露光制御部と、手ぶれを検出するための手ぶれ検出部と、前記撮像部を連続的に動作させるためのコントローラと、前記コントローラにより撮像部から順次得られた画像データの、各フレーム間で発生した画像シフト量を求めるに当り、露光時間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、該露光期間中の手ぶれ量より画像シフト量を求めるための画像シフト量演算回路と、前記画像シフト量演算回路で求めた画像シフト量に応じて画像データの相対的な位置を補正することにより各フレーム間で発生した手ぶれを補正するための手ぶれ補正回路と、前記手ぶれ補正回路により補正された画像データを表示するための表示部と、を具備している。

請求項４に係る本発明においては、前記統計的な処理は、露光期間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号の大きさに応じて、複数の手ぶれ量のゾーンに分割し、これらのゾーンの中で最も発生頻度の大きいゾーンより露光期間中の手ぶれ量を決定する処理とされる。

請求項５に係る本発明においては、前記統計的な処理は、露光期間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号の時間的な平均値より露光期間中の手ぶれ量を決定する処理とされる。

請求項６に係る本発明においては、前記統計的な処理は、露光期間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号より、所定の順位の大きさの手ぶれ量より露光期間中の手ぶれ量を決定する処理とされる。

請求項１に係る本発明によれば、動画の撮像において、露光期間中の時系列の手ぶれ検出信号に対して統計的な処理を施し、露光期間中の手ぶれ量を決定して画像シフト量を求めているため、手ぶれ信号の変化に対して適切に対応して露光期間中の手ぶれ量の代表値を正確に求めることができ、手ぶれを高い精度で補正でき、手ぶれの影響の少ない動画を取得して記録することができる。

請求項２に係る本発明によれば、動画の撮像において、露光期間中の時系列の手ぶれ検出信号に対して統計的な処理を施し、露光期間中の手ぶれ量を決定して画像シフト量を求めているため、手ぶれ信号の変化に対して適切に対応して露光期間中の手ぶれ量の代表値を正確に求めることができ、手ぶれを高い精度で補正でき、手ぶれの影響の少ない動画を取得して記録することができる。また露光期間中の時系列の手ぶれ検出信号をメモリに記憶するようにしたので、手ぶれ防止の処理を撮像後に順序だてて実行することができる。

請求項３に係る本発明によれば、動画の撮像において、露光期間中の時系列の手ぶれ検出信号に対して統計的な処理を施し、露光期間中の手ぶれ量を決定して画像シフト量を求めているため、手ぶれ信号の変化に対して適切に対応して露光期間中の手ぶれ量の代表値を正確に求めることができ、手ぶれを高い精度で補正でき、手ぶれの影響の少ない動画を取得して表示することができる。

請求項４に係る本発明によれば、統計的な処理が、時系列の手ぶれ検出信号の大きさに応じて複数の手ぶれ量のゾーンに分割し、最も発生頻度の大きいゾーンより露光期間中の手ぶれ量を決定する処理であるため、最も発生する頻度の大きな手ぶれ量に応じて画像シフト量を求めることができ、精度の高い手ぶれ補正ができる。

請求項５に係る本発明によれば、統計的な処理が、時系列の手ぶれ検出信号の時間的な平均値より露光期間中の手ぶれ量を決定する処理であるため、簡単な演算で露光期間中の手ぶれ量の平均的なレベルが求められ、この平均的な手ぶれ量に応じて画像シフト量を求めることができ、精度の高い手ぶれ補正ができる。

請求項６に係る本発明によれば、統計的な処理が、所定の順位の大きさの手ぶれ量より露光期間中の手ぶれ量を決定する処理であるため、簡単な演算で露光期間中の手ぶれ量の中間的なレベルを求めることができ、この中間的な手ぶれ量に応じて画像シフト量を求めることができ、精度の高い手ぶれ補正ができる。

本発明によれば、時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、その手ぶれ量に応じて画像データの各フレーム間の画像シフト量を求めて、画像データの相対的な位置を補正して手ぶれを補正しており、統計的な処理として、たとえば、時系列の手ぶれ検出信号の大きさに応じて分割したゾーンのうち最も発生頻度の高いゾーンより露光期間中の手ぶれ量を決定する処理があげられる。

以下、図面を参照して本発明の各実施例を説明する。図１は、撮像装置としてデジタルカメラに適用した本発明の実施例１を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。

図１（Ａ）（Ｂ）からわかるように、カメラボディ１の前面にレンズユニット２が接続されるとともに、ファインダ６がカメラボディ１の背面に一体的に組み付けられている。レンズユニット２は、複数枚の撮影用レンズとその駆動部とから構成されており、その詳細は図２に即して後述する。

３はレリーズスイッチであり、押すと（オンすると）撮影動作が開始される。４はＴボタン４ー１、Ｗボタン４ー２からなるズームスイッチであり、Ｔボタンを押すとテレ側への撮影レンズの変倍動作が行われ、Ｗボタンを押すとワイド側への変倍動作が行われる。５は手ぶれモードの設定スイッチであり、手ぶれモードスイッチ５を押して手ぶれモードに設定すると、モードランプ５ー１が点灯して手ぶれモードであることが認識される。

６はビューファインダであり、ビューファインダ６はたとえば小型ＬＣＤをルーペで拡大する電子ビューファインダからなり、撮像を行う前の被写体像の観察状態において撮像素子（ＣＣＤ）の画像をリアルタイムで表示するいわゆるスルー画（「ライブビュー」ともいう）がビューファインダに表示可能となっている。また動画を撮像する際には、撮像され記録される動画をリアルタイムに表示することも可能である。７は静止画、動画を切替えるモードキー(スライドキー)であり、モードキー７をＳ側（ＳＴＩＬＬ）にすると静止画撮影モードが設定され、Ｍ側（ＭＯＶＩＥ）にすると動画撮影モードが設定される。

８はフラッシュであり、低輝度時には発光して被写体を照明する補助光となる。９はモード操作キーであり、モード操作キー９の中央の決定ボタンの周囲に４個のボタンが配置され、マクロ撮影、セルフタイマー、フラッシュなどがモード操作キー９によって設定される。１０は背面ＬＣＤパネルであり、撮影した画像が再生されるとともに、スルー画も表示可能となっている。１１はパワースイッチであり、パワースイッチ１１を押してオンとすることにより、露光、撮像などが可能となる。背面ＬＣＤパネル１０は、ビューファインダ６とともにモニタ（表示素子）として利用され、ビューファインダ６、背面ＬＣＤパネル１０は、シーケンスコントローラ１１９からの制御信号によって、ＬＣＤドライバ１５４を介して駆動制御される。なお、ビューファインダ６、背面ＬＣＤパネル１０をＬＣＤ６、１０と適宜表示する。

図２は光学系であるレンズユニット２の概略図であり、レンズユニットは、たとえば３枚のレンズ１２、１３、１４を有して構成されている。３枚のレンズのうち、レンズ１２、１３は、相互の位置関係を変えることによってレンズの焦点距離を変化させる、いわゆる変倍レンズ（ズームレンズ）であり、ズームの際には、ズームモータ１０４の駆動力が、ギア１８ａ、１８ｂを介してズーム用レンズ駆動カム機構１７に伝達され、レンズ駆動カム機構１７によってレンズ１２、１３が光軸に沿って動かされる。

レンズ１４は光軸に沿って前後に移動することによってピントずれを調整するいわゆるフォーカスレンズであり、フォーカス調整時には、フォーカスモータ１０５の駆動力が、ギア２０ａ、２０ｂ介してフォーカス用レンズ駆動カム機構１９に伝達され、レンズ駆動カム機構１９によってレンズ１４が動かされる。レンズ１４の後方には、たとえばＣＣＤからなる撮像素子（撮像部）１１４が位置し、レンズ１２、１３、１４を通過した光束が撮像素子上に結像し、撮像素子の各画素で光電変換されて撮像する。１５は絞り、１６はシャッタであり、絞り１５、シャッタ１６によって撮像素子１１４への光量（露光）が制御され、これらは露光制御部として機能する。メカニカルなシャッタ１６に代えて、撮像素子１１４の素子シャッタ（電子シャッタ）を使用してもよい。

図３はデジタルカメラの制御回路の構成図であり、１０１はたとえばリチウムイオン充電池などの充電可能な電池からなるバッテリである。１０２は、バッテリ１０１から昇圧回路や降圧回路によって必要な電圧の電源を生成して各処理回路に供給する電源回路である。１０３はモータドライバ回路であり、スイッチングトランジスタを含む電気回路で構成され、シーケンスコントローラ１１９の指示にしたがってズームモータ１０４、フォーカスモータ１０５、シャッタモータ１０６、絞りモータ１０７を駆動制御する。１０８、１０９は相互に直交するＸ軸、Ｙ軸の回りの角速度を検出する角速度センサ（手ぶれ検出部）であり、図１（Ａ）に示すように、素子の長辺方向を軸として互いに直交する方向に配置され、その軸に沿った角速度を検出する。

１１０は角速度センサ１０８、１０９の出力のオフセットをキャンセルしたり、その出力を増幅するアナログ処理回路である。アナログ処理回路１１０の出力はＡ／Ｄ変換回路１１１でデジタル信号に変換されて手ぶれ信号演算回路１１２に入力される。手ぶれ信号演算回路１１２はその入力を時間で積分して時間毎の変位角度を算出し、この変位角度を時間に対応して出力して、つまり時系列に出力し、さらにこの変位角度とレンズ２の焦点距離情報より撮像面上の(ＣＣＤ１１４上の)画像の光軸付近の手ぶれによる上下方向（Ｙ軸方向）、左右方向（Ｘ軸方向）の変位を検出する。
手ぶれの検出は角速度センサ１０８、１０９に限定されず、角速度センサ１０８、１０９の代わりに、その演算処理を変更すれば、角加速度センサや２個ワンペアの加速度センサで手ぶれを検出して、同様の時系列の手ぶれ信号を算出してもよい。

１１３は、手ぶれ信号演算回路１１２で検出された時系列の手ぶれ信号を記憶する手ぶれ信号メモリ回路であり、手ぶれ信号メモリ回路１１３が露出時間中の時系列の手ぶれ信号を記憶しているため、画像データの取得後に手ぶれ防止のための画像シフトを行うことができ、処理を順序立てて実行できる。１１９はマイクロコンピュータなどのＣＰＵからなるシーケンスコントローラであり、レリーズスイッチ３、ズームスイッチ４（Ｔ、Ｗ）、パワースイッチ１１、手ぶれモードスイッチ５、モードキー７などのオン・オフを検出し、各構成要素の動きを制御してデジタルカメラ全体の制御を行う。

１１４は、図２で述べたレンズユニット２の背後に位置するＣＣＤからなる撮像素子（撮像部）であり、撮像素子１１４はシーケンスコントローラ１１９からの制御信号により、ＣＣＤドライバ（図示しない）を介して駆動制御される。１１５は撮像素子（ＣＣＤ）１１４からの出力を処理するＣＣＤ出力処理回路、１１６はＣＣＤ出力処理回路１１５で処理された画像データを一時保持する画像メモリであり、たとえば、ＳＤＲＡＭが画像メモリ１１６として用いられる。画像メモリ（ＳＤＲＡＭ）１１６に記憶されたデータに、画像処理回路１１７においてＹＣ分離処理（ＲＧＢ処理）、シェーディング補正処理、ディストーション補正処理などの基本的な処理が実行される。しかし、画像処理回路１１７では、画像圧縮は行なわれず（これらは後述する画像圧縮・伸長回路１５１でなされる）、データは画像シフト回路１３２に送られる。画像処理回路１１７では上記のように種々の処理がなされるが、各処理の中間段階の画像データは、画像メモリ１１６に適宜一時保持される。

１３１は、動画（またはスルー画）を構成する各フレーム間のシフト量を算出するためのフレーム間シフト量算出回路であり、フレーム間シフト量算出回路１３１は、手ぶれ信号演算回路１１２から各フレーム期間ごとの手ぶれ信号を受け取り、対応する画像のシフトすべき量を算出する。１３２は画像シフト回路であり、撮像素子（ＣＣＤ）１１４からの画像を画像メモリ１１６を介して受け取り、フレーム間シフト量算出回路１３１の出力に基づいて、手ぶれに応じたフレーム間のシフト量だけシフトして、動画（またはスルー画）における手ぶれ補正を行なう。フレーム間シフト量算出回路１３１、画像シフト回路１３２により動画の手ぶれ補正回路１３０が形成される。

手ぶれ補正回路１３０で処理された手ぶれ補正済みの動画は、画像圧縮・伸長回路１５１によってデータ圧縮され、記録回路１５２によって画像記録媒体１５３に記録される。画像記録媒体１５３は、カメラに内蔵されたフラッシュメモリであってもよいし、また外部から装填されるメモリカードであってもよい。また、静止画、動画を問わず、モニタ画像としてビューファインダ６やカメラボディ背面の背面ＬＣＤパネル１０に送られて表示される。画像圧縮・伸長回路１５１は、画像記憶媒体１５３から記録回路１５２によって読み出された画像データをビューファインダ６、ディスプレイ１０に表示するための伸長機能も備えている。画像記憶媒体１５３に画像シフト回路１３２からの出力を記録回路１５２によって記録すれば、揺れの少ない動画を記録できる。

図４は撮像のメインフローを示す。まず、パワースイッチ１１を押して（Ｓ１０１）、沈胴状態のレンズをセットアップし（Ｓ１０２）、手ぶれ補正モードが設定されているか否かを判断する（Ｓ１０３）。手ぶれモードスイッチ５は押すたびにオン、オフが繰り返され、オンであればモードランプ５ー１が点灯して手ぶれ補正フラグ１が設定され（Ｓ１０４）、オフであればモードランプ５−１が消灯して手ぶれ補正フラグが０に設定される（Ｓ１０６）。手ぶれモードスイッチ５がオンで、手ぶれ補正フラグが１であれば、手ぶれ検出が開始され（Ｓ１０５）、手ぶれモードスイッチ５がオフで、手ぶれ補正フラグが０であれば、手ぶれ検出は実行されない（Ｓ１０７）。

次に、撮影モードとしての静止画、動画が判断され（Ｓ１０８）、モードキー７がＳ側に位置して静止画モードであれば、静止画が撮像可能になる（Ｓ１０９）。静止画撮像については本発明と直接関係ないため説明を省略する。モードキー７がＭ側に位置して動画モードであれば、動画が撮像可能になる。次にレリーズスイッチ３のオンが判断される（Ｓ１１０）。レリーズスイッチ３が押されなければ、他のスイッチ操作の有無が判断され（Ｓ１１１）、いずれかのスイッチがオンであれば対応する処理がなされてから（Ｓ１１２）、スルー画表示（Ｓ１１３）がなされる。いずれのスイッチもオフであれば、直ちにスルー画表示（Ｓ１１３）が実行される。このＳＷ対応処理では、ズームＳＷ４−１、４−２、モードキー７等が操作された時に、ズーミングや、モードの変更等の処理を行う。

スルー画表示（Ｓ１１３）の詳細について図５を参照しながら説明すると、まず撮像素子１１４を動作させて撮像を行う（Ｓ２０１）。次に手ぶれ補正フラグが１か否か判断され（Ｓ２０２）、フラグが１であれば、フレーム間シフト量算出回路１３１が、手ぶれ信号演算回路１１２から各フレーム期間ごとの手ぶれ信号を受けて対応する画像のシフト量を算出する（Ｓ２０３）。そして、フレーム間シフト量算出回路１３１で算出したシフト量だけ、画像シフト回路１３２で画像をシフトして手ぶれ補正がなされ（Ｓ２０４）、手ぶれ補正されたスルー画が背面ＬＣＤパネル１０とビューファインダ６の両方に表示される（Ｓ２０５）。表示されるＬＣＤとして、ビューファインダ６、背面ＬＣＤパネル１０のいずれかが撮影者（ユーザ）によって選択され、その選択されたＬＣＤにスルー画が表示されるようにしてもよい。

Ｓ２０２でフラグが０であれば、手ぶれ補正のなされないぶれたままのスルー画が表示される（Ｓ２０５）。Ｓ２０５の後にスルー画表示のシーケンスを終了してＳ１０３に戻る。このようにレリーズＳＷ３が押されていない状態、すなわち撮像前の観察状態では、Ｓ１０３〜Ｓ１１３のシーケンスを繰返して行う。ここでＳ１０３〜Ｓ１１３のシーケンスにおいては、通過する処理（ステップ）のバリエーションにより経過時間が変動するが、このスルー画の表示の間隔が１秒当り３０フレームに相当する３３ｍｓｅｃとなるように調整タイマ（図示しない）で調整されている。

Ｓ１１０でレリーズスイッチ３が押されていれば、動画の撮像が実行され（Ｓ１１４）、画像処理回路１１７で画像処理される。次に手ぶれ補正フラグが１か否かが判断される（Ｓ１１５）。フラグが１であれば、フレーム間シフト量算出回路１３１が、手ぶれ信号演算回路１１２から各フレーム期間ごとの手ぶれ信号を受けて対応する画像のシフト量を算出する（Ｓ１１６）。そして、フレーム間シフト量算出回路１３１で算出したシフト量だけ、画像シフト回路１３２で画像をシフトして手ぶれ補正がなされ（Ｓ１１７）、手ぶれ補正された動画が背面ＬＣＤパネル１０とビューファインダ６の両方に表示される（Ｓ１１８）。表示されるＬＣＤとして、ビューファインダ６、背面ＬＣＤパネル１０のいずれかが撮影者（ユーザ）によって選択され、その選択されたＬＣＤにスルー画が表示されるようにしてもよい。
Ｓ１１５でフラグが０であれば、手ぶれ補正のなされないぶれたままの動画が表示される（Ｓ１１８）。ＬＣＤに表示された画像は記録回路１５２によって画像記録媒体１５３上に書込まれる（１１９）。

ここで動画の撮影間隔が１秒当たり３０フレームに相当する３３ｍｓとなるように調整タイマ（図示しない）で調整されており、レリーズスイッチ３の再オンが確認され（Ｓ１２０）、レリーズスイッチ３が再度押されていなければ、再度押されるまで所定間隔（３３ｍｓ）で連続して撮像され、ＬＣＤに表示されて画像記録媒体１５３上に書込まれる。そして、レリーズスイッチ３が再度押されると撮像を停止して、Ｓ１０３に戻される。

本発明では、露光期間中の時系列の手ぶれ検出信号に対して統計的な処理を施すことにより、露光期間中の手ぶれ信号の変化に対応した手ぶれ量を代表値としており、統計的な処理によって正確な代表値が求められ、正確な代表値から画像シフト量を求めているため、精度の高い動画（またはスルー画）の手ぶれ補正が可能となる。そして、手ぶれの影響の少ない動画（またはスルー画）がＬＣＤにリアルタイムで表示できる。

統計的な処理の一例について説明するために、図４のＳ１１５のサブルーチンの画像シフト量演算のフローチャートを図６に示す。
まず、露光期間中での手ぶれ信号の最大値、最小値を求め（Ｓ３０１）、最大値、最小値の間をｍ分割し（Ｓ３０２）、各領域（各ゾーン）での度数分布を求め（Ｓ３０３）、発生頻度の最大の領域（ゾーン）の手ぶれ信号を代表値とし、その代表値からフレーム間シフト量算出回路１３１で画像シフト量を算出する（Ｓ３０４）。

つまり、撮像期間中において、たとえば、０．１ｍｓ間隔で手ぶれ検出出力をサンプリングし、１回の撮像期間が１０ｍｓであれば、その撮像期間を１００回（＝１０／０．１）サンプリングし、検出された手ぶれ信号をその手ぶれ信号の大きさに応じて２０分割（ｍ＝２０）した領域（ゾーン）に振り分けて、度数分布を作成する。
図７は、前回の露光期間の手ぶれ信号の代表値を０基準とし、最大値、最小値の間を２０分割（ｍ＝２０）した場合での手ぶれ信号の度数分布の１例であり、度数分布のピークとなる発生頻度最大の領域である左から１５番目の領域の手ぶれ信号θ１５を代表値とし、この代表値の手ぶれ信号θ１５から画像シフト量が算出される。なお、今回の露光期間での代表値となった手ぶれ信号θ１５が次回の露光期間の０基準とされる。

このように、露光期間中の時系列の手ぶれ信号に対して、発生頻度最大の領域での手ぶれ信号θ１５を代表値とすれば、発生頻度最大の手ぶれ信号θ１５は露光期間中での手ぶれ信号の変化に対応した代表値として適切なものであるから、露光期間中の手ぶれ量の代表値が正確に求められる。そして、正確な代表値に応じて画像シフト量を求めているため、精度の高い補正ができる。

手ぶれ信号に対する統計的な処理において、実施例１と異なる実施例２を以下に示す。実施例２では、手ぶれ信号の平均的なレベル（平均値）を代表値としている。
すなわち、実施例２における図４のＳ１１５のサブルーチンの画像シフト量演算のフローチャートを図８に示す。図８の画像シフト量演算を説明する前に、その手法を図９に即して説明すると、１回の撮像期間が２０ｍｓｅｃである場合、撮像期間中に１ｍｓｅｃ間隔で手ぶれ信号を２０回サンプリングし、それぞれの手ぶれ信号Ｂｕｒｅｉ（ｉ＝１〜２０）を求める。

図８の画像シフト量演算においては、まず、番号ｉを１から始め（Ｓ４０１）、手ぶれ信号の和をＢｕｒｅＴとして、ＢｕｒｅＴに初期値ゼロを設定する（Ｓ４０２）。次にＢｕｒｅＴを番号ｉの手ぶれ信号との和（ＢｕｒｅＴ＋Ｂｕｒｅｉ）に置き換え（Ｓ４０３）、次に番号ｉを（ｉ＋１）で置き換える（Ｓ４０４）。そして、ｉ＝２０に達したかどうか、すなわちＢｕｒｅ１からＢｕｒｅ２０までの２０の手ぶれ信号が加算されたか確認し（Ｓ４０５）、２０の手ぶれ信号が加算されると、手ぶれ信号の平均値ＢｕｒｅＭ（＝ＢｕｒｅＴ／２０）を算出し（Ｓ４０６）、この手ぶれ信号の平均値ＢｕｒｅＭからフレーム間シフト量算出回路１３１で画像シフト量を演算する（Ｓ４０７）。

このように、実施例２では、露光期間中の時系列の手ぶれ検出信号として所定間隔でサンプリングした手ぶれ信号の平均値を代表値としている。そして、露光期間中の平均的なレベル（平均値）は簡単な演算で求められ、平均値は露光期間中での手ぶれ信号の変化に対応した代表値として適切なものであるから、露光期間中の手ぶれ量の代表値が簡単な演算で正確に求められる。そして、正確な代表値である平均的な手ぶれ量に応じて画像シフト量を求めているため、精度の高い補正ができる。

手ぶれ検出信号に対する統計的な処理において、所定の順位、たとえは中央値（中位値）の手ぶれ信号を代表値とした実施例３の画像シフト量演算のフローチャートを図９に示す。実施例３においても、たとえば、実施例２と同様に、１回の撮像期間が２０ｍｓｅｃであれば、撮像期間中に１ｍｓｅｃ間隔で手ぶれ信号を２０回サンプリングしてそれぞれの手ぶれ信号Ｂｕｒｅｉ（ｉ＝１〜２０）を求めており、図９は実施例３においても利用される。

実施例３の画像シフト量演算では、２０の手ぶれ信号（Ｂｕｒｅ１〜Ｂｕｒｅ２０）がソーティングされて、たとえば、大きな順に並び換えられる（Ｓ５０１）。大きな順でなく小さい順に並び換えてもよい。偶数である２０の手ぶれ信号の中央値は大きな順で１０番目と１１番目との間に存在するから、１０番目に大きなぶれデータをＢｕｒｅＡ（Ｓ５０２）、１１番目に大きなぶれデータをＢｕｒｅＢとする（Ｓ５０３）。そして、２０の手ぶれ信号の中央値を１０番目および１１番目に大きなぶれデータの平均値（＝（ＢｕｒｅＡ＋ＢｕｒｅＢ）／２）として算出し（Ｓ５０４）、この手ぶれ信号の中央値からフレーム間シフト量算出回路１３１で画像シフト量を演算する（Ｓ５０５）。ここで、サンプリングの数が奇数であれば、たとえば、サンプリングの数が１９であれば、１０番目に大きな手ぶれ信号がそのまま中央値となり、平均値を求める必要はない。

このように、実施例３では、露光期間中の時系列の手ぶれ検出信号として所定間隔でサンプリングした手ぶれ信号の中間的なレベル（中央値）を代表値としている。そして、露光期間中の中間的なレベル（中央値）が簡単な演算で求められ、中央値は露光期間中での手ぶれ信号の変化に対応した代表値として適切なものであるから、露光期間中の手ぶれ量の代表値が簡単な演算で正確に求められる。そして、正確な代表値である中間的な手ぶれ量に応じて画像シフト量を求めているため、精度の高い補正ができる。

図１〜４は実施例１〜３に共通するため、実施例２、３においては、図１〜４の説明を省略する。

上述した実施例は本発明を説明するためのものであり、本発明は実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上記以外の変形や応用が可能であることはいうまでもない。

本発明によれば、露光期間中の時系列の手ぶれ検出信号に対して統計的な処理を施すことにより、露光期間中での手ぶれ信号の変化に対応した代表値が正確に求められ、時系列の手ぶれ信号に応じて動画（またはスルー画）がシフト補正され、揺れの少ない動画（またははスルー画）が得られるため、手ぶれによる揺れの少ない動画（またはスルー画）を必要とする分野に本発明が広範囲に応用できる。

デジタルカメラに適用した本発明の実施例１〜３を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。 レンズユニットの概略図である。 デジタルカメラの制御回路の構成を示す。 実施例１〜３における撮像のメインフローチャートを示す。 図４のＳ１１３のスルー画表示のフローチャートを示す。 実施例１における図４のＳ１１６のサブルーチンの画像シフト量演算のフローチャートを示す。 実施例１の統計的処理における手ぶれ信号の度数分布を示す。 実施例２における図４のＳ１１６のサブルーチンの画像シフト量演算のフローチャートを示す。 実施例２の統計的処理における手ぶれ信号を示す。 実施例３における図４のＳ１１６のサブルーチンの画像シフト量演算のフローチャートを示す。 従来技術を説明するための、露光期間中での変化の円滑な手ぶれ信号の一例を示す。 図１１における画像１〜３の画像シフトを示す。 従来技術を説明するための、露光期間中での変化の急激な手ぶれ信号の一例を示す。 図１３における画像１〜３の相対的手ぶれ量の度数分布を示す。

符号の説明

１ カメラボディ
２ レンズユニット（光学系）
５ 手ぶれモードスイッチ
６ ビューファインダ
７ モードキー
１０ 背面ＬＣＤパネル
１１ パワースイッチ
１５ 絞り（露光制御部）
１６ シャッタ（露光制御部）
１０８、１０９ Ｘ軸、Ｙ軸の角速度センサ（手ぶれ検出部）
１１０ アナログ処理回路（手ぶれ検出部）
１１２ 手ぶれ信号演算回路
１１３ 手ぶれ信号メモリ回路
１１４ 撮像素子（ＣＣＤ；撮像部）
１１５ ＣＣＤ出力処理回路（コントローラ）
１１７ 画像処理回路
１１９ シーケンスコントローラ
１３０ 動画手ぶれ処理回路
１３１ フレーム間シフト量算出回路
１３２ 画像シフト回路（手ぶれ補正回路）
１５１ 画像圧縮・伸長回路
１５２ 記録回路
１５３ 画像記録媒体
１５４ ＬＣＤドライバ

Claims (6)

1. 被写体を撮像するための光学系と、
   前記光学系により形成された被写体像より画像データを得るための撮像部と、
   前記撮像部の露光を制御するための露光制御部と、
   手ぶれを検出するための手ぶれ検出部と、
   前記撮像部を連続的に動作させるためのコントローラと、
   前記コントローラにより撮像部から順次得られた画像データの、各フレーム間で発生した画像シフト量を求めるに当り、露光時間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、該露光期間中の手ぶれ量より画像シフト量を求めるための画像シフト量演算回路と、
   前記画像シフト量演算回路で求めた画像シフト量に応じて画像データの相対的な位置を補正することにより各フレーム間で発生した手ぶれを補正するための手ぶれ補正回路と、
   前記手ぶれ補正回路により補正された画像データを適用された記録媒体に記録するための記録回路と、
   を具備する撮像装置。
2. 被写体像を撮像するための光学系と、
   前記光学系により形成された被写体像より画像データを得るための撮像部と、
   前記撮像部の露光を制御するための露光制御部と、
   手ぶれを検出するための手ぶれ検出部と、
   前記撮像部の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号を記憶するためのメモリと、
   前記撮像部を連続的に動作させるためのコントローラと、
   前記コントローラにより撮像部から順次送得られた画像データの、各フレーム間で発生した画像シフト量を求めるに当り、前記メモリに記憶された時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、該露光期間中の手ぶれ量から画像シフト量を求めるための画像シフト量演算回路と、
   前記画像シフト量演算回路で求めた画像シフト量に応じて画像データの相対的な位置を補正することにより各フレーム間で発生した手ぶれを補正するための手ぶれ補正回路と、
   前記手ぶれ補正回路により補正された画像データを適用された記録媒体に記録するための記録回路と、
   を具備する撮像装置。
3. 被写体を撮像するための光学系と、
   前記光学系により形成された被写体像より画像データを得るための撮像部と、
   前記撮像部の露光を制御するための露光制御部と、
   手ぶれを検出するための手ぶれ検出部と、
   前記撮像部を連続的に動作させるためのコントローラと、
   前記コントローラにより撮像部から順次得られた画像データの、各フレーム間で発生した画像シフト量を求めるに当り、露光時間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号に対して統計的な処理を施すことにより露光期間中の手ぶれ量を決定し、該露光期間中の手ぶれ量より画像シフト量を求めるための画像シフト量演算回路と、
   前記画像シフト量演算回路で求めた画像シフト量に応じて画像データの相対的な位置を補正することにより各フレーム間で発生した手ぶれを補正するための手ぶれ補正回路と、
   前記手ぶれ補正回路により補正された画像データを表示するための表示部と、
   を具備する撮像装置
4. 前記統計的な処理は、露光期間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号の大きさに応じて、複数の手ぶれ量のゾーンに分割し、これらのゾーンの中で最も発生頻度の大きいゾーンより露光期間中の手ぶれ量を決定する処理であることを特徴とする請求項１乃至３記載の撮像装置。
5. 前記統計的な処理は、露光期間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号の時間的な平均値より露光期間中の手ぶれ量を決定する処理であることを特徴とする請求項１乃至３記載の撮像装置。
6. 前記統計的な処理は、露光期間中に前記手ぶれ検出部により求められた時系列の手ぶれ検出信号より、所定の順位の大きさの手ぶれ量より露光期間中の手ぶれ量を決定する処理であることを特徴とする請求項１乃至３記載の撮像装置。
   
   

Images