JP2006229392A - 撮像装置および画像データ表示方法 - Google Patents

Abstract

【課題】手ぶれ復元演算に時間を要し、構図やシャッタタイミングを迅速に確認できないとともに、手ぶれ復元処理の効果が使用者にわかり難い。
【課題を解決するための手段】画像処理１の処理回路でＹＣ分離処理などの画像処理１が画像データに実行されるとともに、手ぶれ復元処理回路で手ぶれ復元演算が行われ、画像処理２の処理回路でγ変換（画像処理２）が実行される。手ぶれ復元前の画像データ（ＤＴ）を最初に表示しながら、分割された画像エリア毎に手ぶれ復元処理回路で手ぶれ復元演算が実行され、手ぶれ復元処理の終了したブロック毎に、手ぶれ復元後の画像データ（ＤＴＢ）に順次切換えて表示される。手ぶれ復元演算中には手ぶれマークが点滅するため、表示中の画像データが手ぶれ復元前の画像データ（ＤＴ）であることが認識される。
【選択図】図１１

Description

本発明は、手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置および画像データ表示方法に関する。

デジタルカメラ、ビデオカメラなどの撮像装置において、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する要求がある。たとえば、デジタルカメラ(以下、「カメラ」と適宜略す)においては、静止画などの手ぶれ補正は角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の手ぶれ復元演算を行う技術が知られている。

ぶれ復元に際して、点ひろがり関数（ＰＳＦ）で補正することが提案されており、点ひろがり関数を利用すれば、比較的容易に画像の復元が行える。しかし、点ひろがり関数で補正された復元画像はぶれ軌跡上の画素の輝度値を関数としているが、ぶれ軌跡以外の画素の影響も無視できない。そのため、点ひろがり関数から演算したぶれ軌跡とぶれ画像のぶれ軌跡とが完全に対応せず、正確な手ぶれ復元が難しい。

そのため、たとえば、特開平１１ー１３４４８１号公報では、ぶれ画像とぶれ軌跡データから求めた点ひろがり関数とからぶれ画像を復元し、復元に際して、ぶれ軌跡の周辺の画素の輝度値を考慮して復元画像を生成している。この手ぶれ復元方法によれば、ぶれ軌跡以外の画素の影響も考慮され、従来よりも良好な復元画像が得られる。

しかし、この復元演算はデジタルカメラ等の撮像装置に広く用いられる小型ＬＳＩ等で処理を行う場合、たとえば数秒間というような、かなりの演算時間を要する。そのため、撮像後の画像がすぐに表示されず、構図やシャッタタイミングを素早く確認できない。
また、上記の手ぶれ復元方式を採用した場合、復元処理後の画像のみを表示したのでは、その効果が使用者にわかり難いという問題がある。
特開平１１ー１３４４８１号公報

本発明の目的は、手ぶれ復元演算が行え、撮像後速やかに構図やシャッタタイミングの確認ができるとともに、手ぶれ復元前後の効果が容易に確認できる撮像装置および画像データ表示方法を実現することにある。

上記目的を達成するために、本発明によれば、撮像後、手ぶれ復元前の画像データが、表示素子に表示され、手ぶれ復元前の画像データを表示しながら手ぶれ復元処理がなされ、手ぶれ復元処理後に、画像データの表示が手ぶれ復元処理前の画像データの表示から手ぶれ復元処理後の画像データの表示に切換えられている。

つまり、請求項１に係る本発明によれば、被写体像を形成するための光学系と；前記光学系により形成された被写体像より画像データを得るための撮像部と；カメラの手ぶれを検出するための手ぶれ検出部と；前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と；前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と；前記画像データを表示するための表示素子と；前記撮像部から得られた画像データであって、上記手ぶれ復元部で処理する前の画像データである第１の画像データを前記表示素子に表示し、前記手ぶれ復元部により復元処理が終了した後に復元処理がなされた画像データである第２の画像データを第１の画像データに切換えて表示を行う表示コントローラと；前記復元処理がなされた第２の画像データを適用された記録媒体に記録するための記録コントローラと；を具備して構成されている。

請求項２に係る本発明によれば、前記撮像部の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶部をさらに具備し；前記手ぶれ復元関数算出部は、前記手ぶれ検出信号記憶部に記憶された前記時系列の手ぶれ検出信号から手ぶれ復元関数を検出している。

請求項３に係る本発明によれば、前記表示コントローラは、第１の画像データを表示中に手ぶれ復元のための処理中であることを上記表示素子に表示している。

請求項４に係る本発明によれば、前記表示コントローラは、第１の画像データの表示から第２の画像データの表示に切換えた後に、手ぶれ復元処理が施された画像データであることを前記表示素子に表示している。

請求項５に係る本発明によれば、前記光学系により発生するディストーションを記憶された補正データに基づいて補正するためのディストーション補正部をさらに具備し、前記表示コントローラは、第１の画像データとしてディストーション補正のなされた画像データを表示し、第２の画像データとしてディストーション補正および手ぶれ復元処理のなされた画像データを表示している。

請求項６に係る本発明によれば、前記光学系により発生するディストーションを記憶された補正データに基づいて補正するためのディストーション補正部をさらに具備し；前記表示コントローラは、第１の補正データとしてディストーション補正と手ぶれ復元処理のいずれの処理もなされていない画像データを表示し、第２の画像データとしてディストーション補正および手ぶれ復元処理のなされた画像データを表示している。

請求項７に係る本発明によれば、前記表示コントローラは、第１の画像データの表示から第２の画像データの表示への変更に際して、手ぶれ復元処理の終了した画像エリアから順次切換えている。

請求項８に係る本発明によれば、撮影して得られた画像データに対して、手ぶれ復元処理を行って手ぶれの影響の軽減された画像データを得る撮影装置の画像データの表示方法であって；撮影して手ぶれの影響を含む画像データを取得し；前記手ぶれの影響を含む画像データを表示し；前記手ぶれの影響を含む画像データに対して、上記撮影中の手ぶれの検出出力に基づいて手ぶれ復元処理を行い；前記手ぶれ復元処理が終了した後に画像データの表示を、前記手ぶれ復元処理を行う前の画像データの表示から、手ぶれ復元処理を行った画像データに切換えている。

請求項９に係る本発明によれば、前記手ぶれ復元処理の終了した画像エリアから、手ぶれ復元処理前の画像データを手ぶれ復元処理後の画像データに順次切換えて表示している。

請求項１に係る本発明の構成によれば、時間を要する手ぶれ復元演算を行っている間に手ぶれ演算を行いながら復元処理前の画像データを表示しているため、構図やシャッタタイミングの確認が素早くできる。また、手ぶれ復元処理前の画像表示から、手ぶれ復元処理後の画像表示に切換えているため、手ぶれ復元処理の前および後の両画像が容易に比較され、手ぶれ復元の効果が視覚上で確認できる。

請求項２に係る本発明の構成によれば、露出時間中の時系列の手ぶれ検出信号の手ぶれ信号検出信号を手ぶれ検出信号部で記憶したため、画像データの取得後に手ぶれ復元演算を行え、処理を順序立てて実行できる。

請求項３に係る本発明の本構成によれば、手ぶれ復元の処理中であることを表示しているため、現在表示されている画像が手ぶれ復元前の画像であることを使用者に知らせることができる。

請求項４に係る本発明の構成によれば、表示されている画像が手ぶれ復元処理のなされた画像であることを使用者に知らせることができる。

請求項５に係る本発明の構成によれば、時間を要する手ぶれ復元演算を行っている間に手ぶれ演算を行いながら復元処理前の画像データを表示して構図やシャッタタイミングの確認が素早く行えるだけでなく、ディストーションの補正も行うことにより、構図やシャッタタイミングの確認の正確性が高められる。

請求項６に係る本発明の構成によれば、演算に時間を要するディストーション補正演算および手ぶれ復元演算をいずれも行うことなく画像を表示しているため、構図やシャッタタイミングの確認が素早く行える。

請求項７に係る本発明の構成によれば、画像データを所定数のエリアに区切って各エリア毎に手ぶれ復元演算を順次行い、手ぶれ復元演算の終了したエリアから手ぶれ復元処理の終了した画像に順次切換えて行くことにより、手ぶれ復元演算が時々刻々進行して行く様子を使用者に伝えることができる。また、手ぶれ復元演算の前後の画像の比較においても注目すべきポイントが判り易い。

請求項８に係る本発明の構成によれば、時間を要する手ぶれ復元演算を行っている間に手ぶれ演算を行いながら復元処理前の画像データを表示しているため、構図やシャッタタイミングの確認が素早くできる。また、手ぶれ復元処理前の画像表示から、手ぶれ復元処理後の画像表示に切換えているため、手ぶれ復元処理の前および後の両画像が容易に比較され、手ぶれ復元の効果が視覚上で確認できる。

請求項９に係る本発明の構成によれば、手ぶれ復元演算が時々刻々進行して行く様子を使用者に伝えることができるとともに、手ぶれ復元演算の前後の画像の比較においても注目すべきポイントが判り易い。

本発明によれば、撮像後、手ぶれ復元前の画像データを表示し、手ぶれ復元前の画像データを表示しながら手ぶれ復元処理を行って、手ぶれ復元処理後に、画像データの表示を手ぶれ復元処理前の画像データの表示から手ぶれ復元後の画像データの表示に切換えることにより、撮像後での構図やシャッタタイミングの迅速な確認を実現している。

以下、図面を参照して本発明の各実施例を説明する。図１は、撮像装置としてデジタルカメラに適用した本発明の実施例１を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。

図１（Ａ）（Ｂ）からわかるように、カメラボディ１の前面にレンズユニット２が接続されるとともに、ファインダ６がカメラボディ１の背面に一体的に組み付けられている。レンズユニット２は、複数枚の撮影用レンズとその駆動部とから構成されており、その詳細は図２に即して後述する。

３はレリーズスイッチであり、半押しと全押しの２段スイッチになっている。半押し（１ｓｔレリーズ）で撮影準備動作が開始され、全押し（２ｎｄレリーズ）で撮影動作が開始される。４はＴボタン４ー１、Ｗボタン４ー２からなるズームスイッチであり、Ｔボタンを押すとテレ側への撮影レンズの変倍動作が行われ、Ｗボタンを押すとワイド側への変倍動作が行われる。５は手ぶれモードの設定スイッチであり、手ぶれモードスイッチ５を押して手ぶれモードに設定すると、モードランプ５ー１が点灯して手ぶれモードであることがわかる。

６はビューファインダであり、ビューファインダ６はたとえば小型ＬＣＤをルーペで拡大する電子ビューファインダからなり、撮像素子（ＣＣＤ）の画像をリアルタイムで表示し、いわゆるスルー画（「ライブビュー」ともいう）がビューファインダに表示可能となっている。７は静止画、動画を切替えるモードキー(スライドキー)であり、モードキー７をＳ側（ＳＴＩＬＬ）にすると静止画撮影モードが設定され、Ｍ側（ＭＯＶＩＥ）にすると動画撮影モードが設定される。

８はフラッシュであり、低輝度時には発光して被写体を照明する補助光となる。９はモード操作キーであり、モード操作キー９の中央の決定ボタンの周囲に４個のボタンが配置され、マクロ撮影、セルフタイマー、フラッシュなどのＯＮがモード操作キー９によって設定される。１０は背面ＬＣＤパネルであり、撮影した画像が再生されるとともに、スルー画も表示可能となっている。１１はパワースイッチであり、パワースイッチ１１を押してＯＮとすることにより、露光、撮像などが可能となる。背面ＬＣＤパネル１０は、ビューファインダ６とともにモニタ（表示素子）として利用され、ビューファインダ６、背面ＬＣＤパネル１０は、シーケンスコントローラ１１９からの制御信号によって、ＬＣＤドライバ１５４を介して駆動制御される。なお、ビューファインダ６、背面ＬＣＤパネル１０をＬＣＤ６、１０と適宜表示する。

図２は光学系であるレンズユニット２の概略図であり、レンズユニットは、たとえば３枚のレンズ１２、１３、１４を有して構成されている。３枚のレンズのうち、レンズ１２、１３は、相互の位置関係を変えることによってレンズの焦点距離を変化させる、いわゆる変倍レンズ（ズームレンズ）であり、ズームの際には、ズームモータ１０４の駆動力が、ギア１８ａ、１８ｂを介してズーム用レンズ駆動カム機構１７に伝達され、レンズ駆動カム機構１７によってレンズ１２、１３が光軸に沿って動かされる。

レンズ１４は光軸に沿って前後に移動することによってピントずれの調整を行ういわゆるフォーカスレンズであり、フォーカス調整の際には、フォーカスモータ１０５の駆動力が、ギア２０ａ、２０ｂを介してフォーカス用レンズ駆動カム機構１９に伝達され、レンズ駆動カム機構１９によってレンズ１４が動かされる。レンズ１４の後方には、たとえばＣＣＤからなる撮像素子（撮像部）１１４が位置し、レンズ１２、１３、１４を通過した光束が撮像素子上に結像し、撮像素子の各画素で光電変換されて撮像する。１５は絞り、１６はシャッタであり、絞り１５、シャッタ１６によって撮像素子１１４への光量（露光）が制御される。メカニカルなシャッタ１６に代えて、撮像素子１１４の素子シャッタ（電子シャッタ）を使用してもよい。

図３はデジタルカメラの制御回路の構成図であり、１０１はたとえばリチウムイＯＮ充電池などの充電可能な電池からなるバッテリである。１０２は、バッテリ１０１から昇圧回路や降圧回路によって必要な電圧の電源を生成して各処理回路に供給する電源回路である。１０３はモータドライバ回路であり、スイッチングトランジスタを含む電気回路で構成され、シーケンスコントローラ１１９の指示にしたがってズームモータ１０４、フォーカスモータ１０５、シャッタモータ１０６、絞りモータ１０７を駆動制御する。１０８、１０９は相互に直交するＸ軸、Ｙ軸の回りの角速度を検出する角速度センサ（手ぶれ検出部）であり、図１（Ａ）に示すように、素子の長辺方向を軸として互いに直交する方向に配置され、その軸に沿った角速度を検出する。

１１０は角速度センサ１０８、１０９の出力のオフセットをキャンセルしたり、その出力を増幅するアナログ処理回路であり、角速度センサ１０８、１０９とともに手ぶれ検出部を構成する。アナログ処理回路１１０の出力はＡ／Ｄ変換回路１１１でデジタル信号に変換されて基本軌跡演算回路１１２に入力される。基本軌跡演算回路１１２はその入力を時間で積分して時間毎の変位角度を算出し、この変位角度とレンズ２の焦点距離情報より、撮像面上の(ＣＣＤ１１４上の)画像の光軸付近の手ぶれによる上下方向（Ｙ方向）、左右方向（Ｘ方向）のぶれ軌跡を検出する。
ここで、手ぶれの検出は角速度センサ１０８、１０９に限定されず、角速度センサ１０８、１０９の代わりに、その演算処理を変更すれば、角加速度センサや２個ワンペアの加速度センサで手ぶれを検出して、同様のぶれ軌跡を算出してもよい。

１１３は、基本軌跡演算回路１１２で検出されたぶれ軌跡（軌跡データＬＣＴ−ＤＴ）を記憶する軌跡メモリ回路であり、手ぶれ検出信号記憶部として機能する。１１９はマイクロコンピュータなどのＣＰＵからなるシーケンスコントローラであり、レリーズスイッチ３、ズームスイッチ４（Ｔ、Ｗ）、パワースイッチ１１、手ぶれモードスイッチ５、モードキー７などのＯＮ・オフを検出し、各構成要素の動きを制御してデジタルカメラ全体の制御を行う。軌跡メモリ回路１１３が露出時間中の時系列の手ぶれ復元検出信号を記憶しているため、画像データの取得後に手ぶれ復元演算を行うことができ、処理を順序立てて実行できる。

１２２は手ぶれによる画像の劣化を復元するための手ぶれ復元関数ｆ^-1を各画面エリア毎に算出する回路であり、手ぶれ復元関数ｆ^-1は、基本軌跡演算回路１１２の出力から原画像がどのように変化するかを予測して出力される。ここで、手ぶれ復元関数ｆ^-1は手ぶれによって発生する手ぶれ劣化関数ｆの逆関数である。

１１４は、図２で述べたレンズユニット２の背後に位置するＣＣＤからなる撮像素子（撮像部）、１１５は撮像素子（ＣＣＤ）１１４からの出力を処理するＣＣＤ出力処理回路、１１６はＣＣＤ出力処理回路１１５で処理された画像データを一時保持する画像メモリであり、たとえば、ＳＤＲＡＭが画像メモリ１１６として用いられる。画像メモリ（ＳＤＲＡＭ）１１６に記憶されたデータは、画像処理１回路１１７−１によってＹＣ分離処理（ＲＧＢ処理）がなされる。さらに補正値記憶メモリ１２０に記憶されたシェーディング補正データやディストーション補正データなどを利用してシェーディング補正処理、ディストーション補正処理などの処理が実行される。

デジタルカメラのレンズ２には、ズーム位置およびフォーカス位置に依存した画像歪（デイストーション）を持っているため、補正が必要になる。画像歪（ディストーション）とは画面の中心に比べて周辺部で画像の形状が歪む現象であり、通常たる型や、糸巻き型等の特性を持っている。またこれもレンズ２の特性によりズーム位置およびフォーカス位置に依存して画面の中央に対して周辺では光量が低下する特性がある。この特性をシェーディングと呼ぶ。本実施例のデジタルカメラでは、上記のシェーディング補正処理、ディストーション補正処理を行うために、画面のエリアごとに、ズーム位置、フォーカス位置に対応した画像歪（ディストーション）補正データやシェーディング補正データなどの補正データが補正値記憶メモリ１２０に記憶されている。これらのＹＣ分離処理、シェーディング補正処理、ディストーション補正処理を併せて画像処理１とする。しかし、画像処理１回路１１７−１では、手ぶれ画像の復元演算の障害となるγ変換や画像圧縮は実行されず、γ変換や画像圧縮のなされていない画像データが手ぶれ復元処理回路１２３や画像処理２回路１１７−２に送られる。なお、撮像素子１１４はシーケンスコントローラ１１９からの制御信号により、ＣＣＤドライバ（図示しない）を介して駆動制御される。

ここでγ変換とは画像データがモニタ等に表示された際、あるいはペーパー等に印刷された際に画像の諧調特性が人間の視覚に合致するように、撮像時点で得られた画像データの諧調特性を人間の視覚に合せてずらすための変換である。もしγ変換を画像処理１回路１１７−１で実行すると、手ぶれ復元の処理を実行する前に画像データの原初的なリニアリティが失われてしまうおそれがあるため、手ぶれ復元処理の後にγ変換を実行している。また、画像処理１回路１１７−１で圧縮処理を行うと、圧縮された画像データに対して手ぶれ復元処理を実行することは不可能なので、手ぶれ復元処理の後に圧縮処理を実行している。

γ変換や画像圧縮のなされていない画像データが画像処理１回路１１７−１から手ぶれ復元処理回路１２３に送られて、画面のエリアごとに手ぶれ復元関数算出回路１２２で算出された手ぶれ復元関数ｆ^-1によって手ぶれ復元演算が行われる。デイストーション、シェーディングの影響を排して手ぶれによる画像劣化の復元が手ぶれ復元処理回路１２３で実行された画像データは、画像処理２回路１１７−２でγ変換（画像処理２）され、さらに、画像圧縮・伸長回路１５１でデータ圧縮されて画像記録媒体１５３に書き込まれる。画像記録媒体１５３への書き込みは、シーケンスコントローラ１１９からの制御信号によって制御され、システムコントローラは記録コントローラとして機能する。
画像記録媒体１５３として、内蔵フラッシュメモリのような内蔵メモリや、装填式メモリカードのような外部メモリが用いられる。画像圧縮・伸長回路１５１は、画像記録媒体１５３から読み出された画像データをビューファインダ６、背面ＬＣＤパネル１０に表示するための伸長機能も備えている。なお、内蔵フラッシュメモリ、外部メモリ（たとえば、装填式メモリカード）などの画像記録媒体１５３に、手ぶれ復元処理回路１２３で処理を行った画像データを記録すれば、画面全体で鮮鋭な画像データを記録できる。

画像データは画像処理１回路１１７−１によってＹＣ分離処理（ＲＧＢ処理）、シェーディング補正処理、ディストーション補正処理などの画像処理１が実行されるとともに、手ぶれ復元処理回路１２３で手ぶれが補正され、画像処理２回路１１７−２でγ変換（画像処理２）が実行される。また、画像圧縮・伸長回路１５１で画像データの圧縮がなされ、さらに画像記録媒体１５３に記録された圧縮画像データを読み出して伸長を行い、ＬＣＤ６、１０（ビューファインダ６、背面ＬＣＤパネル１０）に表示される。ここで上記の画像処理１回路１１７−１、手ぶれ復元処理回路１２３、画像処理２回路１１７−２、画像圧縮・伸長回路１５１は画像メモリ１１６に接続されており、画像メモリ１１６はこれらの回路で処理された画像データを一時保持するためのメモリとして機能する。

静止画での手ぶれ補正（手ぶれ復元処理）について述べると、図４は静止画での電子手ぶれ補正のイメージであり、図４（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、図４（Ｃ）は撮像素子（ＣＣＤ）１１４上でのぶれ軌跡、図４（Ｄ）は原画像と撮像画像との関係を示す。

図３に即して述べたように、角速度センサ１０８、１０９で検出したＸ軸およびＹ軸の手ぶれから、基本軌跡演算回路１１２に、図４（Ａ）（Ｂ）に示すような時間対応の、つまり時系列の変位角θｘ、θｙのデータが出力される。次に、その時点でのズームの位置からレンズの焦点距離がわかるため近軸計算によって、図４（Ｃ）に示すように、撮像素子（ＣＣＤ）１１４上のぶれの変位軌跡が算出され、このぶれの変位軌跡が軌跡メモリ回路１１３に記憶される。そして、この軌跡メモリ１１３に記憶された撮像素子１１４上のぶれ軌跡から、手ぶれによる手ぶれ劣化係数ｆを算出し、手ぶれ劣化係数ｆによって撮像画像（原画像）ｉがぶれ画像ｊに劣化しているはずであるから、ｆの逆関数ｆ^-1すなわち手ぶれ復元関数を演算して求めて、この手ぶれ復元関数ｆ^-1を用いて逆変換すれば、手ぶれの影響のない撮像画像ｉが復元される。

このように静止画においては、撮影時の手ぶれによる時系列の手ぶれによる撮像素子１１４上のぶれ軌跡から手ぶれ劣化係数ｆを算出し、ｆの逆関数ｆ^-1すなわち手ぶれ復元関数による逆変換によってぶれ画像を復元している。

図５は撮影モードのメインフローを示す。まず、パワースイッチ１１を押して沈胴状態のレンズをセットアップし、レリーズＳＷ３の１ｓｔレリーズが判断され（Ｓ１０１）、１ｓｔレリーズがＯＮされるまで、ＣＣＤ１１４が所定周期で連続的に動作して得た画像データ（スルー画）が、電子ビューファインダ６、背面ＬＣＤパネル１０に表示される（Ｓ１０２）。レリーズＳＷ３の１ｓｔレリーズがＯＮされると、測光センサ（図示しない）によって測光し、測光結果に基づいて露出演算がなされ（Ｓ１０３）、さらに測距センサ（図示しない）によって測距され、フォーカスモータ１０５を駆動制御し、フォーカスレンズ１４を駆動させて自動フォーカシング（ＡＦ）がなされる（Ｓ１０４）。

それから、レリーズＳＷ３の１ｓｔレリーズのＯＦＦが判断され（Ｓ１０５）、１ｓｔレリーズ動作が中止されていれば、Ｓ１０１に戻って、次の１ｓｔレリーズがＯＮとなるまで待機する。Ｓ１０５で１ｓｔレリーズがＯＮであれば、次に、レリーズＳＷ３の２ｎｄレリーズのＯＮが判断され（Ｓ１０６）、２ｎｄレリーズがＯＮされない場合はＳ１０５に戻って１ｓｔレリーズの判断が実行される。Ｓ１０６でレリーズＳＷ３の２ｎｄレリーズがＯＮされると、ＣＣＤ１１４を動作させて撮影がなされる。つまり、露光動作（撮影）がなされ（Ｓ１０７）、ＣＣＤ１１４に蓄積した電荷が光電変換され、ＣＣＤ出力処理回路１１５を介して画像データが読み出される（Ｓ１０８）。そして、画像処理１回路１１７−１で、ＹＣ分離処理、シェーデイング補正、ディストーション補正などの画像処理１が施され（Ｓ１０９）、画像処理１の施された画像データ（ＤＴＲとする）は画像メモリ１１６に記憶される（Ｓ１１０）。また、図５に図示しないが、手ぶれ検出部である角速度センサ１０８、１０９は常時動作しており、この露光動作（撮影）が実行されている期間中の手ぶれによる軌跡データ（ＬＯＣ−ＤＴ）が軌跡メモリー回路１１３に記憶されるようになっている。

次に手ぶれ補正モードのＯＮが判断され（Ｓ１１１）、手ぶれモードがＯＮなら画像メモリ１１６に記憶された画像処理１後の画像データＤＴＲに対して画像記録処理１がなされ（Ｓ１１２）、手ぶれモードがＯＦＦなら、画像記録処理２がなされる（Ｓ１１３）。そして、画像記録処理１、２を経て、１コマの撮影シーケンスが終了してＳ１０１に戻される。

図６、図７はサブルーチンの画像記録処理１、２のフローチャートを示す。図６に示す画像記録処理１のフローチャートにおいては、まず、画像メモリ１１６に記憶されている画像処理１後の画像データＤＴＲを読み出して、画像処理２（γ変換）が実行される（Ｓ２０１）。区別のために、画像処理２の施された画像データを画像データ（ＤＴ）とする。

画像処理２の施された画像データ（ＤＴ）には、手ぶれ補正がなされておらず、復元処理前の画像データ（ＤＴ）が図８（Ａ）に示すようにＬＣＤ６、１０に最初に表示される（Ｓ２０２）。それから、軌跡メモリ回路１１３に記憶された軌跡データ（ＬＯＣ−ＤＴ）に基づいて手ぶれ復元関数が手ぶれ復元関数算出回路１２２で算出され（Ｓ２０３）、算出された手ぶれ復元関数に基づいて、画像メモリ１１６に記憶されている画像データ（ＤＴＲ）に手ぶれ復元処理が実行される（Ｓ２０４）。
図８（Ａ）に示す復元処理前の画像データ（ＤＴ）の表示では、“手ぶれマーク”が点滅して手ぶれ復元演算中であることが併せて表示される。“手ぶれマーク”を点滅させて手ぶれ復元演算中であることを表示することにより、現在表示されている画像データが手ぶれ復元前の画像データであることを使用者に知らせることができる。

レリーズＳＷ３の１ｓｔレリーズが再びＯＮ（再ＯＮ）されると、手ぶれ復元処理を中断して次の撮影が優先して実行され、次の撮影の終了後に、中断された手ぶれ復元処理の残りの処理が行われる（Ｓ２０６）。１ｓｔレリーズの再ＯＮの判定により、次コマの撮影が優先されるため、シャッタタイミングを確実にものにできる。再ＯＮがなければ、手ぶれ復元処理は中断されることなく実行され（Ｓ２０７）、手ぶれ復元処理後の画像データに対して画像処理２が実行される（Ｓ２０８）。得られた画像データを区別のために画像データ（ＤＴＢ）とする。そして、手ぶれ復元処理後の画像データ（ＤＴＢ）が図８（Ｅ）に示すようにＬＣＤ６、１０に表示される。次に画像データ（ＤＴＢ）を画像圧縮・伸長回路１５１で、ＪＰＥＧに準拠した圧縮フォーマットで圧縮処理する（Ｓ２１０）。

図８（Ｅ）に示す手ぶれ復元処理後の画像データ（ＤＴＢ）の表示では、“手ぶれマーク”の点灯によって、表示する画像データが手ぶれ復元処理後の画像データ（ＤＴＢ）であることを併せて表示する。“手ぶれマーク”が点滅から点灯に切り換わることによって手ぶれ復元処理の終了が使用者に知らされ、“手ぶれマーク”の点灯した表示での画像データが手ぶれ復元処理後の画像データ（ＤＴＢ）であることを使用者が認識できる。“手ぶれマーク”の点滅（図８（Ａ））および点灯（図８（Ｅ））の表示はシステムコントローラ１１９からの制御信号のもとで制御され、シーケンスコントローラは表示コントローラとしても機能する。

圧縮された画像データ（ＤＴＢ−ＪＰＧ）と手ぶれ復元処理の基礎となった軌跡データ（ＬＯＣ−ＤＴ）とを併せた画像ファイルを作成して、画像記録媒体１５３に記憶する（Ｓ２１１）。ここで画像ファイルの構造は、図９に示すように、データ部に圧縮画像データ（ＤＴＢ−ＪＰＧ）を、ヘッダ部に、軌跡データ（ＬＯＣ−ＤＴ）と画像ファイルに付随するヘッダ情報（撮影パラメータや画像データの規格情報など）と、その画像ファイルが手ぶれ復元処理のなされたものであるか否かを示すフラグであるＢ−フラグを１（手ぶれ復元処理あり）として併せて記録する。

次に、図７を参照しながら、サブルーチンの画像記録処理２のフローチャートについて述べると、画像記録処理２では、手ぶれ補正が実行されず、画像記録処理１のＳ２０３〜Ｓ２０９が省略される。すなわち、まず、画像メモリ１１６に記憶されている画像データを読み出して画像処理２（γ変換）を実行し（Ｓ３０１）、復元処理前の画像データ（ＤＴ）がＬＣＤ６、１０に表示される（Ｓ３０２）。画像データ（ＤＴ）が画像圧縮・伸長回路１５１でＪＥＰＧに準拠した圧縮フォーマットで圧縮処理され（Ｓ３０３）、圧縮された画像データ（ＤＴ−ＪＰＧ）と軌跡データ（ＬＯＣ−ＤＴ）とを併せた画像ファイルを作成し、画像記録媒体１５３に記憶する（Ｓ３０４）。つまり、図９に示すように、圧縮画像データを画像ファイルのデータ部に、軌跡データ（ＬＯＣ−ＤＴ）をヘッダ部に記録する。また、画像記録媒体１５３に記憶される画像ファイル（ＤＴ）には手ぶれ復元処理がなされていないから、画像ファイルのヘッダ部のＢ−フラグは０（手ぶれ復元処理なし）として記録する。

上記のように、手ぶれ補正モードでの撮影において、演算に時間を要する手ぶれ復元演算を行っている間に、手ぶれ復元前の画像データ（ＤＴ、第１の画像データ）を表示するため、構図やシャッタタイミングの確認が、素早く行える。また、手ぶれ復元前の画像データ（ＤＴ、第１の画像データ）の表示から手ぶれ復元後の画像データ（ＤＴＢ、第２の画像データ）の表示に切換えられるため、手ぶれ復元前後の画像データが容易に比較でき、手ぶれ復元の効果が容易に確認できる。

手ぶれ復元の前後の画像データ（ＤＴ、ＤＴＢ）の表示は、図８に限定されず、種々な変形も考えられる。たとえば、図８（Ａ）に示すように、手ぶれ復元の演算が終了するまで、手ぶれ復元演算中であることを“手ぶれマーク”を点滅させて表示しながら、手ぶれ復元前の画像データ（ＤＴ）を最初に表示し（暫時表示し）、手ぶれ復元演算の終了後に手ぶれ復元後の画像データ（ＤＴＢ）に一括して全面的に切換えている（図８（Ｅ））。これに対して次のように表示してもよい。

たとえば、図１０のように、画像データの領域（画面上での領域）をスリット状（短冊状）のＬ個のエリア（ブロック）に分割し、右から１、２、３・・・・Ｌの順に画像エリア毎に手ぶれ復元演算を実行して、手ぶれ復元演算の終了した画像エリアについて、手ぶれ復元演算前の画像データ（ＤＴ）を手ぶれ復元演算後の画像データ（ＤＴＢ）に順次切換えて表示してもよい。図１１は表示の切換えを示し、手ぶれ復元前の表示（Ａ）が、（Ｂ）（Ｃ）（Ｄ）に示すように、手ぶれ復元演算後の画像データ（ＤＴＢ）に順次切換えられて表示され、全てのブロックでの手ぶれ復元演算が終了すると、（Ｅ）に示すように、手ぶれ復元後の画像データ（ＤＴＢ）が全面的に表示される。なお、図１１（Ａ）は図８（Ａ）に、図１１（Ｅ）は図８（Ｅ）にそれぞれ対応する。

また、図１２に示すようにＭｘＮ個（Ｍ行ｘＮ列）のエリア（ブロック）に画像データの領域を分割し、画像エリア毎に手ぶれ復元演算を実行して、画像データを切換えて表示してもよい。つまり、画像エリア１−１、・・・・・１−Ｍ、２−１、・・・・・２−Ｍ、・・・・・・、Ｎ−１、・・・・、Ｎ−Ｍの順に手ぶれ復元演算が実行され、手ぶれ復元演算の終了した画像エリアについて、左上から右に、それから下の左にと、図１３（Ａ）（Ｂ）（Ｃ）（Ｄ）（Ｅ）に示すように、手ぶれ復元演算前の画像データ（ＤＴ）が手ぶれ復元演算後の画像データ（ＤＴＢ）に順次切換えて表示される。

図１１、１３に示す表示の変形例１、２では、最初は全画面において手ぶれ復元前の画像データ（ＤＴ）を表示し、画像データを所定の画像エリアに分割し、画像エリア毎に手ぶれ復元演算を実行し、手ぶれ復元演算の終了した画像エリアから、手ぶれ復元処理後の画像データ（ＤＴＢ）に順次切換えて表示している。この順次切方式の表示では、手ぶれ復元演算が時々刻々進行する様子を使用者に視覚的に伝えることができ、使用者が画像データ（ＤＴＢ）の手ぶれ復元処理を段階的に確認できる。また、手ぶれ復元演算前の画像データ（ＤＴ）と手ぶれ復元演算後の画像データ（ＤＴＢ）との比較における注目すべきポイントを使用者が容易に理解できる。

手ぶれ復元前の画像データ（ＤＴ）の表示から手ぶれ復元後の画像データ（ＤＴＢ）への切換え方法は上記に限定されない。たとえば、図１４、１５に示す表示でもよい。まず、図１４の表示を説明すると、手ぶれ復元演算の終了前においては、手ぶれ復元前の画像データ（ＤＴ）が図１４（Ａ）のように表示される。手ぶれ復元演算が終了すると、手ぶれ復元演算後の画像データ（ＤＴＢ）が表示面の一部、たとえば、表示面の右下部分に出現し、手ぶれ復元前の画像データ（ＤＴ）を画面の隅に押しやりながら次第に大きく表示され（図１４（Ｆ）（Ｇ））、最終的には、手ぶれ復元演算後の画像データ（ＤＴＢ）が全面的に表示される（図１４（Ｅ））。

また、図１５の表示では、手ぶれ復元演算の終了するまでは、手ぶれ復元前の画像データ（ＤＴ）が全面的に表示され（図１５（Ａ））、手ぶれ復元演算が終了すると、手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元演算後の画像データ（ＤＴＢ）とを画面の左右半分に表示した同時表示に切換えられる（図１５（Ｈ））。手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元演算後の画像データ（ＤＴＢ）とをしばらく同時に表示した後、手ぶれ復元後の画像データ（ＤＴＢ）の全面表示に切換えられる（図１５（Ｅ））。

図１４、１５のいずれの表示においても、手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元演算後の画像データ（ＤＴＢ）とが同時に表示され、使用者が画像データ（ＤＴ）の手ぶれ復元の前後の画像データを対比しながら手ぶれ復元処理を確認できる。特に、図１４の表示では、手ぶれ復元の前後の画像データがいずれも全体表示され、手ぶれ復元の前後の画像データを全体的に対比できる。他方、図１５の表示では、手ぶれ復元の前後の画像データの対応部分が並行表示され、対応する部分の手ぶれ復元が容易に認識できる。

図１４において、手ぶれ復元前の画像データ（ＤＴ）を表示する（Ａ）の表示から（Ｆ）（Ｇ）を経て手ぶれ復元後の画像データ（ＤＴＢ）を表示する（Ｅ）の表示に切り換わる時間や、図１５において、（Ａ）の表示から並行表示の（Ｈ）を経て手ぶれ復元後の画像データ（ＤＴＢ）を表示する（Ｅ）の表示に切り換わる時間は、一定時間に設定されている。しかし、たとえば使用者のボタン操作によって、（Ａ）の表示から（Ｅ）の表示の切換えに要する全体の所要時間を変更したり、特定の画面、たとえば、図１４（Ｇ）の画面を所定時間表示させたり、図１５（Ｈ）の並行表示画面の表示時間を変更したりするように、システムコントローラ１１９に読み込まれるソフトプログラムを作成しておけば、使用者の多様な好みに対応できる。

実施例１ではシェーデイング補正とディストーション補正とが画像処理１回路１１７−１での画像処理１においていずれも実行されている。しかし、シェーデイング補正、ディストーション補正をいずれも画像処理１回路１１７−１で実行すれば、画像処理１回路１１７−１での処理に時間を要するため、分離して実行してもよく、分離実行する実施例を実施例２として以下に述べる。

図１６は実施例２におけるデジタルカメラの制御回路の構成を示し、この実施例２では、画像処理１回路１１７−１とは別にディストーション補正回路１１８が設けられ、画像処理１回路１１７−１でシェーデイング補正処理がＹＣ分離処理などとともに実行されるのに対して、ディストーション補正回路１１８でディストーション補正処理が実行される。従って補正値記憶メモリ１２０に記憶された補正データのうち、シェーデイング補正データは画像処理１回路１１７−１に、ディストーション補正データはディストーション補正回路１１８にそれぞれ出力される。この点を除けば、実施例２のデジタルカメラの制御回路の構成は実施例１の構成と共通するため、図１６の詳細な説明は省略する。

そして、ＹＣ分離処理、ディストーション補正処理、シェーデイング補正処理などが実行される実施例１の画像処理１（Ｓ１０９）の代わりに、実施例２の対応するＳ１０９では、ディストーション補正を除く、ＹＣ分離処理、シェーデイング補正処理などが画像処理１として実施される。つまり、図５に対応する実施例２のフローチャートはＳ１０９での画像処理１の処理対象のみが相違し、他は図５の実施例１のフローチャートと共通する。図５に対応する実施例２の撮影モードのフローチャートは図示するまでもないため省略する。

実施例１の図６の画像記録処理１に対応する実施例２の画像記録処理１のフローチャートを図１７に示す。まず、画像メモリ１１６に記憶されて読み出された復元処理前の画像データ（ＤＴＲ）に画像処理２（γ変換）が実行され、（Ｓ４０１）、画像データＤＴがＬＣＤ６、１０に最初に表示される（Ｓ４０２）。

それから、軌跡メモリ回路１１３に記憶された軌跡データ（ＬＯＣ−ＤＴ）に基づいて手ぶれ復元関数が手ぶれ復元関数算出回路１２２で算出される（Ｓ４０３）。補正値記憶メモリ１２０に記憶されたディストーション補正データに基づいてディストーション補正回路１１８でディストーション補正処理が実行されて手ぶれ復元処理回路１２３に送られ、手ぶれ復元関数算出回路１２２で算出された手ぶれ復元関数に基づいて手ぶれ復元処理回路１２３で手ぶれ復元処理が実行される（Ｓ４０４）。

上記のディストーション補正処理および手ぶれ復元処理を実行している間に、１ｓｔレリーズが再ＯＮされると、ディストーション補正処理または手ぶれ復元処理を中断して次の撮影が優先して実行され、次の撮影の終了後に、中断されたディストーション補正処理および手ぶれ復元処理の残りの処理が行われる（Ｓ４０６）。１ｓｔレリーズの再ＯＮがなければ、ディストーション補正処理および手ぶれ復元処理は中断されることなく実行され、ディストーション補正処理および手ぶれ復元処理が終了すると（Ｓ４０７）、手ぶれ復元処理後の画像データに対して画像処理２が実行され（Ｓ４０８）、手ぶれ復元処理後の画像データ（ＤＴＢ）が図８（Ｅ）に示すようにＬＣＤ６、１０に表示される（Ｓ４０９）。以下、Ｓ４１０、Ｓ４１１の処理は、実施例１の図６のＳ２１０、Ｓ２１１の処理と同じであるためその説明を省略する。

実施例２では、ディストーション補正演算も手ぶれ復元演算と同様に演算に時間を要する処理であるため、ディストーション補正処理、手ぶれ復元処理のなされない画像データ（ＤＴ）をとりあえず表示している（Ｓ４０２）。この手ぶれ復元処理前の画像データ（ＤＴ）の暫時表示では、画像データ（ＤＴ）が迅速に表示され、構図、シャッタタイミングが素早く確認できる。
実施例１において述べた図８、１１、１３〜１５の画像データの表示例が、実施例２においてもそのまま用いられることはいうまでもない。

上述した実施例は本発明を説明するためのものであり、本発明は実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上記以外の変形や応用が可能であることはいうまでもない。

本発明によれば、手ぶれ復元演算中に手ぶれ復元処理前の画像データを最初に表示し、手ぶれ復元演算後に手ぶれ復元処理後の画像データに切換えることにより、構図やシャッタタイミングの確認が素早くできるため、手ぶれによる劣化画像の復元を必要とする分野に本発明が広範囲に応用できる。

デジタルカメラに適用した本発明の実施例１、２を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図を示す。 レンズユニットの概略図を示す。 実施例１におけるデジタルカメラの制御回路の構成を示す。 静止画での電子手ぶれ補正のイメージを示し、（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、（Ｃ）は撮像素子上でのぶれ軌跡、（Ｄ）は原画像と撮像画像との関係を示す。 実施例１における撮影モードのメインフローチャートを示す。 図５のＳ１１２のサブルーチンの画像記録処理１のフローチャートを示す。 図５のＳ１１３のサブルーチンの画像記録処理２のフローチャートを示す。 画像データの表示例を示す。 画像記録媒体の画像ファイルの構造を示す。 手ぶれ復元演算の分割処理の一例を示す。 図１０の分割処理に対応した画像データ表示例を示す。 手ぶれ復元演算の分割処理の他の例を示す。 図１２の分割処理に対応した画像データ表示例を示す。 画像データの他の表示例を示す。 画像データの別の表示例を示す。 図３に対応する本発明の実施例２におけるデジタルカメラの制御回路の構成を示す。 図６に対応する実施例２におけるサブルーチンの画像記録処理１のフローチャートを示す。

符号の説明

１ カメラボディ
２ レンズユニット（光学系）
５ 手ぶれモードスイッチ
６ ビューファインダ（表示素子）
７ モードキー
１０ 背面ＬＣＤパネル（表示素子）
１１ パワースイッチ
１０８、１０９ Ｘ軸、Ｙ軸の角速度センサ（手ぶれ検出部）
１１２ 基本軌跡演算回路
１１３ 軌跡メモリ回路（手ぶれ検出信号記憶部）
１１４ 撮像素子（ＣＣＤ、撮像部）
１１６ 画像メモリ
１１７−１ 画像処理１の処理回路（ディストーション補正部）
１１７−２ 画像処理２の処理回路
１１８ ディストーション補正回路（ディストーション補正部）
１１９ シーケンスコントローラ（表示コントローラ、記録コントロー）
１２０ 補正値記憶メモリ
１２２ 手ぶれ復元関数算出回路（手ぶれ復元関数算出部）
１２３ 手ぶれ復元処理回路（手ぶれ復元部）
１５１ 画像圧縮・伸長回路
１５３ 画像記録媒体
ＤＴＲ 画像メモリに記憶されている画像データ
ＤＴ 手ぶれ復元処理前の画像データ（第１の画像データ）
ＤＴＢ 手ぶれ復元処理後の画像データ（第２の画像データ）

Claims (9)

1. 被写体像を形成するための光学系と、
   前記光学系により形成された被写体像より画像データを得るための撮像部と、
   カメラの手ぶれを検出するための手ぶれ検出部と、
   前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、
   前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、
   前記画像データを表示するための表示素子と、
   前記撮像部から得られた画像データであって、上記手ぶれ復元部で処理する前の画像データである第１の画像データを前記表示素子に表示し、前記手ぶれ復元部により復元処理が終了した後に復元処理がなされた画像データである第２の画像データを第１の画像データに切換えて表示を行う表示コントローラと、
   前記復元処理がなされた第２の画像データを適用された記録媒体に記録するための記録コントローラと、
   を具備する撮像装置。
2. 前記撮像部の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶部をさらに具備し、
   前記手ぶれ復元関数算出部は、前記手ぶれ検出信号記憶部に記憶された前記時系列の手ぶれ検出信号から手ぶれ復元関数を検出する請求項１記載の撮像装置。
3. 前記表示コントローラは、第１の画像データを表示中に手ぶれ復元のための処理中であることを上記表示素子に表示する請求項１又は２記載の撮像装置。
4. 前記表示コントローラは、第１の画像データの表示から第２の画像データの表示に切換えた後に、手ぶれ復元処理が施された画像データであることを前記表示素子に表示する請求項１乃至３記載の撮像装置。
5. 前記光学系により発生するディストーションを記憶された補正データに基づいて補正するためのディストーション補正部をさらに具備し、
   前記表示コントローラは、第１の画像データとしてディストーション補正のなされた画像データを表示し、第２の画像データとしてディストーション補正および手ぶれ復元処理のなされた画像データを表示する請求項１乃至４記載の撮像装置。
6. 前記光学系により発生するディストーションを記憶された補正データに基づいて補正するためのディストーション補正部をさらに具備し、
   前記表示コントローラは、第１の補正データとしてディストーション補正と手ぶれ復元処理のいずれの処理もなされていない画像データを表示し、第２の画像データとしてディストーション補正および手ぶれ復元処理のなされた画像データを表示する請求項１乃至４記載の撮像装置。
7. 前記表示コントローラは、第１の画像データの表示から第２の画像データの表示への変更に際して、手ぶれ復元処理の終了した画像エリアから順次切換える請求項１、５、６記載の撮像装置。
8. 撮影して得られた画像データに対して、手ぶれ復元処理を行って手ぶれの影響の軽減された画像データを得る撮影装置の画像データの表示方法であって、
   撮影して手ぶれの影響を含む画像データを取得し、
   前記手ぶれの影響を含む画像データを表示し、
   前記手ぶれの影響を含む画像データに対して、上記撮影中の手ぶれの検出出力に基づいて手ぶれ復元処理を行い、
   前記手ぶれ復元処理が終了した後に画像データの表示を、前記手ぶれ復元処理を行う前の画像データの表示から、手ぶれ復元処理を行った画像データに切換える画像データ表示方法。
9. 前記手ぶれ復元処理の終了した画像エリアから、手ぶれ復元処理前の画像データを手ぶれ復元処理後の画像データに順次切換えて表示する請求項８記載の画像データ表示方法。
   
   

Images