JP2006279807A - 手ぶれ補正装置 - Google Patents

Abstract

【課題】 この発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれとピンボケによる画像劣化を同時に補正できる手ぶれ補正装置を提供することを目的とする。
【解決手段】 撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれ関数に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ関数から一般逆フィルタが生成される。
【選択図】 図２

Description

この発明は、手ぶれ補正装置に関する。

静止画手ぶれ補正技術は、静止画撮影における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。

手ぶれを検出する方法には、手ぶれセンサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズや撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。

一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。

したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。

ところで、画像劣化の原因は、手ぶれと、ピンボケとに大別できる。角速度センサで検出した手ぶれ情報から手ぶれ関数（画像劣化関数）を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて画像復元を行うことにより、手ぶれによる画像劣化を補正することができる。しかしながら、ピンボケに対しては効果はない。
特開平１１−２４１５５号公報

この公報には、センサで検出した角速度データを用いて画像復元を行う手ぶれ補正装置において、角速度データの算出時にシャッター開口経時変化を考慮することで、より正確な画像劣化関数を作成する手ぶれ補正方法が開示されている。
特開２００４−８８５６７号公報 この公報には、角速度センサで検出した手ぶれデータと焦点距離データとを撮像画像ファイルのヘッダに付加して記録し、画像再生時に上記手ぶれデータと焦点距離データとを用いて画像復元を行う手ぶれ補正装置が開示されている。 特開２００４−２９９８１３号公報 この公報には、連写撮影時に角速度センサで検出した角速度データを撮像画像ファイルのヘッダに付加して記録し、連写画像再生時に表示範囲を制限することで手ぶれによる画像の表示変動を視覚的に抑制する電子撮像装置が開示されている。 特開２００１−３５００８１号公報 この公報には、デジタルカメラの自動焦点調節方式である、山登り方式（コントラスト方式）と自己相関方式（位相差方式）についての簡単な説明が記載されている。 特開平１１−２５８４８９号公報 この公報には、デジタルカメラの自動焦点調節方式である自己相関方式（位相差方式）についての詳細な説明が記載されている。

この発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれとピンボケによる画像劣化を同時に補正できる手ぶれ補正装置を提供することを目的とする。

請求項１に記載の発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれ関数に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ関数から一般逆フィルタが生成されることを特徴とする。

請求項２に記載の発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、角速度センサによって検出された手ぶれ情報に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ情報から手ぶれ関数が生成されることを特徴とする。

請求項３に記載の発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、一般逆フィルタに先鋭化処理を行う先鋭化処理手段および合焦状態に応じて先鋭化処理手段の先鋭化強度を制御する制御手段を備えており、先鋭化処理手段によって得られた一般逆フィルタを用いて撮像画像に対して画像復元が行われることを特徴とする。

請求項４に記載の発明は、請求項１乃至２の発明において、平滑化処理手段としてガウシアンフィルタを用いた平滑化処理手段が用いられており、制御手段は合焦状態に応じてガウシアンフィルタの分散を制御することを特徴とする。

請求項５に記載の発明は、請求項１乃至４の発明において、合焦状態は、合焦制御方式として山登り方式が採用されている場合には、撮影が行われた時点のコントラスト値で表され、合焦制御方式として自己相関方式が採用されている場合には、撮影が行われた時点での結像位置間隔と予め設定された合焦時の結像位置間隔との差の絶対値で表されることを特徴とする。

この発明によれば、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれとピンボケによる画像劣化を同時に補正できるようになる。

以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。

〔１〕本発明の基本的な考え方

角速度センサで検出した角速度データから手ぶれ関数（ＰＳＦ）を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて画像復元を行う手ぶれ補正装置では、角速度方向のカメラぶれは補正されるが、それ以外のぶれやぼけ（例えば、平行移動ぶれやピンボケ）は補正されない。

そこで、本発明では、合焦状態に基づいて、角速度データまたは手ぶれ関数（ＰＳＦ）を平滑化することにより、手ぶれ関数（ＰＳＦ）に手ぶれ情報だけでなくそれ以外のぼけ情報を付加する。具体的には、合焦評価値が低いほどピンボケの度合いが強いと判定し、角速度データまたは手ぶれ関数（ＰＳＦ）に強い平滑化処理を施す。このようにして得られた手ぶれ関数（ＰＳＦ）を用いて画像復元処理を行うと、角速度方向のぶれ補正だけでなく、エッジ強調効果が得られるため、ピンボケが改善される。

なお、角速度データまたは手ぶれ関数（ＰＳＦ）を平滑化する代わりに、一般逆フィルタに対して先鋭化処理を施すようにしてもよい。

上記平滑化処理には、例えば、移動平均、ガウシアンフィルタ等を用いる。また、上記先鋭化処理には、アンシャープマスク等を用いる。

〔２〕デジタルカメラの構成

図１は、デジタルカメラの構成を示している。
ＣＣＤ２は、レンズ１を通して入射した光学像を光電変換し、電気信号として出力する。ＣＣＤ２の出力信号は、Ａ／Ｄ変換器３によってデジタル信号に変換される。Ａ／Ｄ変換器３の出力データは、画像処理回路４によって所定の画像処理が施された後、画像メモリ５に格納される。画像メモリ５に格納された画像データは、手ぶれ補正回路２３によって手ぶれ補正が行われた後、モニタ７に表示されたり、メモリカード８に記憶されたりする。なお、画像メモリ５は、メモリ制御回路２２によって制御される。

角速度センサ１１、１２は、カメラの角速度を検出するために設けられている。一方の角速度センサ１１はカメラのパン方向の角速度を、他方の角速度センサ１２はカメラのチルト方向の角速度をそれぞれ検出する。

各角速度センサ１１、１２の出力信号は、それぞれアンプ１３、１４によって増幅された後、Ａ／Ｄ変換器１５、１６によってデジタルデータに変換される。Ａ／Ｄ変換器１５、１６によって得られた角速度データは、センサデータメモリ１７を介してマイコン２０に入力される。

マイコン２０は、合焦制御回路（オートフォーカス制御回路）１８、メモリ制御回路２２、手ぶれ補正回路２３等を制御する。マイコン２０には、そのプログラムや必要なデータを記憶するプログラム＆データメモリ２１が接続されている。また、マイコン２０には、操作部１９から操作信号が入力される。

〔３〕合焦制御回路１８についての説明
合焦制御回路１８で用いられるＡＦ（オートフォーカス）制御方式には、山登り方式（コントラスト方式）と自己相関方式（位相差方式）とがある。これらの方式について説明する。

〔３−１〕山登り方式（コントラスト方式）
山登り方式は、合焦状態では画像のコントラストが最大になるという特性を利用して、画面のある特定領域の画像信号のコントラスト値を評価値とし、その評価値が極大となるレンズ位置を探索する方式である。コントラスト値としては、例えば、画面のある特定領域内の画像信号の高周波成分の総和が用いられる。

つまり、あるレンズ位置でコントラスト値を取得した後、レンズ位置を少し移動させてコントラスト値を取得する。前回よりもコントラスト値が高くなれば、レンズ位置を同じ移動方向に移動させて同様な処理を行う。前回よりもコントラスト値が低くなった場合には、レンズ位置を逆の移動方向に移動させて同様な処理を行う。このようにして、レンズ位置を少しずつ移動させては、コントラスト値を前回の値と比較するといったことを繰り返し行うことにより、合焦位置を探索する。最終的には、どちらの方向に移動させてもコントラスト値が低下する位置を合焦位置とする。

この方式では、合焦位置を高精度に検出できるという長所があるが、反復処理を伴うため時間がかかるという短所がある。合焦制御回路１８に山登り方式が採用されている場合には、合焦制御回路１８からマイコン２０に、撮影が行われた時点（その時点の直前）のコントラスト値が合焦評価値Ｅとして送られる。

〔３−２〕自己相関方式（位相差方式）
自己相関方式では、レンズの光軸から離れた箇所を通過した光のみで結像された像は焦点合わせ（レンズ位置）により、光軸と直角方向に動くことを利用して、レンズの光軸から離れた光を２つに分解して結像し、その結像位置間隔で前ピン、合焦、後ピン状態を検出する。合焦時の結像位置間隔は撮像装置毎に既知の値Ｄ₀ である。前ピン状態（レンズが予定焦点面よりも被写体側にある状態）では結像位置間隔は狭くなり、後ピン状態（レンズが予定焦点面よりも撮影者側にある状態）では結像位置間隔は広くなる。

検出した結像位置間隔Ｄと予め設定された合焦時の結像位置間隔Ｄ₀ との差の絶対値｜Ｄ−Ｄ₀ ｜を合焦評価値Ｅとして、合焦評価値Ｅが所定の閾値Ｅ_thより小さいか（Ｅ＜Ｅ_th）か否かを判別する。Ｅ＜Ｅ_thなら、現在のレンズ位置を合焦位置と判定とする。Ｅ≧Ｅ_thなら、前ピンであるか後ピンであるか、および合焦評価値Ｅとに基づいて、合焦評価値Ｅが小さくなるようにレンズ位置を調整する。このように処理を、Ｅ＜Ｅ_thとなるまで行う。

この方式では、ピントのずれ量（合焦評価値Ｅに応じた値）とずれ方向（前ピン状態または後ピン状態）とが検出できるため、比較的短時間で合焦させることが可能であるという長所があるが、合焦位置精度が低いという問題がある。そこで、最終的な微調整に山登り方式を用いることが多い。

合焦制御回路１８に自己相関方式が採用されている場合には、合焦制御回路１８からマイコン２０に、撮影が行われた時点（その時点の直前）での結像位置間隔Ｄと予め設定された合焦時の結像位置間隔Ｄ₀ との差の絶対値｜Ｄ−Ｄ₀ ｜が合焦評価値Ｅとして送られる。

〔４〕手ぶれ補正処理回路の構成

図２は、手ぶれ補正処理回路２３の構成を示している。

手ぶれ補正処理回路２３は、画像復元フィルタ計算部３０、画像復元処理部４０およびリンギング除去処理部５０を備えている。

画像復元フィルタ計算部３０は、パン方向の角速度データおよびチルト方向の角速度データと合焦評価値とに基づいて、画像復元フィルタ（一般逆フィルタ）の係数を算出する。画像復元処理部４０は、画像復元フィルタ計算部３０によって算出されたフィルタ係数に基づいて、撮像画像（手ぶれ画像）に対して画像復元処理を行う。リンギング除去処理部５０は、画像復元処理部４０によって得られた復元画像からリンギングを除去する。

〔５〕画像復元フィルタ計算部３０の説明

画像復元フィルタ計算部３０は、角速度センサ１１、１２によって検出された角速度データ（手ぶれ信号）を動きベクトルに変換する手ぶれ信号／動きベクトル変換処理部３１、手ぶれ信号／動きベクトル変換処理部３１によって得られた動きベクトルを、画像のボケを表す手ぶれ関数（ＰＳＦ：Point Spread Function)に変換する動きベクトル／手ぶれ関数変換処理部３２、動きベクトル／手ぶれ関数変換処理部３２よって得られた手ぶれ関数（ＰＳＦ）を合焦評価値に応じて平滑化する平滑化処理部３３および平滑化処理部３３によって得られた手ぶれ関数（ＰＳＦ）を一般逆フィルタ（画像復元フィルタ）に変換する手ぶれ関数／一般逆フィルタ変換処理部３４を備えている。

〔５−１〕手ぶれ信号／動きベクトル変換処理部３１についての説明

手ぶれの元データは、撮影開始から撮影終了までの間の角速度センサ１１、１２の出力データである。角速度センサ１１、１２を用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔ｄｔ[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔ｄｔ[sec] は、たとえば、１ｍｓｅｃである。

図３に示すように、例えば、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ１１によって電圧Ｖ_g [mV]に変換された後、アンプ１３によって増幅される。アンプ１３から出力される電圧Ｖ_a [mV] はＡ／Ｄ変換器１５によってデジタル値Ｄ_L [step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度Ｓ[mV/deg/sec]、アンプ倍率Ｋ[ 倍] 、Ａ／Ｄ変換係数Ｌ[mV/step] を用いて計算する。

角速度センサ１１によって得られる電圧値Ｖ_g [mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Ｖ_g [mV]は、次式（１）で表される。

Ｖ_g ＝Ｓθ’…（１）

また、アンプ１３は電圧値を増幅するだけなので、増幅された電圧Ｖ_a [mV] は、次式（２）で表される。

Ｖ_a ＝ＫＶ_g …（２）

アンプ１３で増幅された電圧値Ｖ_a [mV] はＡ／Ｄ変換され、ｎ[step]（例えば、−５１２〜５１２）のデジタル値Ｄ_L [step]を使って表現される。Ａ／Ｄ変換係数をＬ[mV/step] とすると、デジタル値Ｄ_L [step]は、次式（３）で表される。

Ｄ_L ＝Ｖ_a ／Ｌ…（３）

上記式（１）〜（３）を用いることで、次式（４）に示すように、センサデータから角速度を求めることができる。

θ’＝（Ｌ／ＫＳ）Ｄ_L …（４）

撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。

角速度データの１つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf ＝１／ｄｔ[Hz]とすると、θ[deg] は次式（５）で表される。

θ＝θ’／ｆ＝（Ｌ／ＫＳｆ）Ｄ_L …（５）

図４に示すように、ｒ[mm]を焦点距離（３５[mm]フィルム換算）とすると、カメラの回転量θ[deg] から画面上の移動量ｄ[mm]が次式（６）により求められる。

ｄ＝ｒｔａｎθ…（６）

ここで求められた移動量ｄ[mm]は、３５[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。

３５[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図５に示すように、３５[mm]フィルム換算時は画像サイズの横×縦が３６[mm]×２４[mm]と決まっている。デジタルカメラで撮影した画像の大きさをＸ[pixel] ×Ｙ[pixel] とし、水平方向（パン方向）のぶれをｘ[pixel] 、垂直方向（チルト方向）のぶれをｙ[pixel] とすると、変換式は次式（７）、（８）となる。

ｘ＝ｄ_x （Ｘ／３６）＝ｒｔａｎθ_x （Ｘ／３６）…（７）
ｙ＝ｄ_y （Ｙ／２４）＝ｒｔａｎθ_y （Ｙ／２４）…（８）

上記式（７）、（８）には、ｄとθに添字のｘとｙが使用されているが、添字ｘは水平方向の値であることを、添字ｙは垂直方向の値であることを示している。

上記式（１）〜（８）をまとめると、水平方向（パン方向）のぶれｘ[pixel] 、垂直方向（チルト方向）のぶれｙ[pixel] は、次式（９）、（１０）で表される。

ｘ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）Ｄ_Lx｝Ｘ／３６…（９）
ｙ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）Ｄ_Ly｝Ｙ／２４…（１０）

この変換式（９）、（１０）を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量（動きベクトル）を求めることができる。

撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ（サンプル点の数だけ）得ることができ、それらの始点と終点を順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。

〔５−２〕動きベクトル／手ぶれ関数変換処理部３２について
手ぶれを空間フィルタを使って表すことができる。図６の左側の図で示される手ぶれの軌跡（カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量）に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。

この軌跡に合わせて重み付けしたオペーレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。ＰＳＦの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が１になるように正規化された値となる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。

図６の中央の図は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図６の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。図６の右側の図においては、ＰＳＦの重みの低い（動きベクトルの大きさが大きい）要素を黒く表示し、重みの高い（動きベクトルの大きさが小さい）要素を白く表示している。

上記〔５−１〕で得られた動きベクトル（画像のぶれ量）は手ぶれの軌跡と、軌跡の速度をデータとして持つ。

ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素を決定する。そして、手ぶれの速度からＰＳＦの要素にかける重みを決定する。

上記〔５−１〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでＰＳＦにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてＰＳＦにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の2 点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。

Bresenham の直線描画アルゴリズムを図７の例を用いて説明する。図７において矢印のついた直線は動きベクトルを示している。

（ａ）ドット位置の原点（０，０）から出発し、動きベクトルの水平方向の要素を１つ増やす。
（ｂ）動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて１より大きくなった場合にはドット位置の垂直方向を１つ増やす。
（ｃ）再び動きベクトルの水平方向の要素を１つ増やす。

このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。

ＰＳＦの要素にかける重みは、動きベトクル毎にベクトルの大きさ（速度成分）が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が１になるように、各要素の重みを正規化する。図８に図７の動きベクトルにより得られるＰＳＦを示す。速度の速いところ（動きベクトルの長いところ）は重みが小さくなり、速度の遅いところ（動きベクトルの短いところ）は重みが大きくなる。

〔５−３〕平滑化処理部３３について

〔５−３−１〕合焦制御回路１８に山登り方式が採用されている場合
合焦制御回路１８に山登り方式が採用されている場合には、合焦制御回路１８からマイコン２０を介して平滑化処理部３３に、撮影が行われた時点（その時点の直前）のコントラスト値が合焦評価値Ｅとして送られる。この評価値Ｅが大きいほど、合焦状態に近いと判定できる。

同じシーンを撮影した場合、合焦評価値Ｅが小さいほど、撮像画像のピンボケの度合いが高くなる。例えば、山登り探索中に撮影が行われた場合には、ピンボケが発生するが、このときの合焦評価値Ｅは小さい値を示す。また、山登り探索結果が間違った極値に陥った場合も、ピンボケが発生するが、このときの合焦評価値Ｅは小さい値を示す。

特開平５−７３２３号公報には、シーンに依存しないように評価値を正規化する手法が開示されている。この手法によって、合焦評価値Ｅを正規化した値を用いることにより、シーンが異なってもピンボケの度合いを正確に検出することができる。

平滑化処理部３３では、手ぶれ信号／動きベクトル変換処理部３１によって得られたＰＳＦに対して、次式（１１）で示す二次元ガウス関数（ガウシアンフィルタ）を畳み込むことにより、ＰＳＦを平滑化する。

上記式（１１）において、σは分散を表し、ｒは中央要素からの半径を表している。

上記式（１１）の分散σを大きくすると裾野の長いフィルタ係数分布になり、ＰＳＦのぼけの度合いが増加し、このようなＰＳＦから生成された一般逆フィルタを用いて画像復元を行うと、先鋭化効果が増大する。つまり、分散σを大きくするとピンボケ復元効果が強まる。

そこで、合焦評価値Ｅの大きさとガウシアンフィルタの分散σを逆比例させる。すなわち、合焦評価値Ｅが大きい（ぼけ度合いが小さい）場合には、分散σを小さくして、ピンボケ復元効果を弱める。逆に合焦評価値Ｅが小さい（ぼけ度合いが大きい）場合には、分散σを大きくして、ピンボケ復元効果を強める。

図９は、合焦制御回路１８に山登り方式が採用されている場合の合焦評価値Ｅ、ピンボケの度合い、平滑化強度（分散σ）、ＰＳＦ、補正信号（復元信号）およびピンボケ復元効果の関係を示している。

図９において、信号ａはピンボケおよび手ぶれのない信号を示し、信号ｂは信号ａに対してピンボケおよび手ぶれのある手ぶれ信号を示している。補正信号ｃ１、ｃ２、ｃ３は、手ぶれ信号ｂに対する補正信号を示している。

合焦評価値Ｅが大きい（ぼけ度合いが小さい）場合には、平滑化強度（分散σ）が小さくされ、それによって得られたＰＳＦから生成された一般逆フィルタによって復元された補正信号ｃ１は、ピンボケ復元効果が小さいことがわかる。逆に、合焦評価値Ｅが小さい（ぼけ度合いが大きい）場合には、平滑化強度（分散σ）が大きくされ、それによって得られたＰＳＦから生成された一般逆フィルタによって復元された補正信号ｃ３は、ピンボケ復元効果が大きいことがわかる。

このように合焦評価値Ｅの大きさとガウシアンフィルタの分散σを逆比例させることにより、ピンボケの度合いに応じた適度なピンボケ復元効果が得られる。

〔５−３−２〕合焦制御回路１８に自己相関方式が採用されている場合
合焦制御回路１８に自己相関方式が採用されている場合には、合焦制御回路１８からマイコン２０を介して平滑化処理部３３に、撮影が行われた時点（その時点の直前）での結像位置間隔Ｄと予め設定された合焦時の結像位置間隔Ｄ₀ との差の絶対値｜Ｄ−Ｄ₀ ｜が合焦評価値Ｅとして送られる。この評価値Ｅが０に近いほど、合焦状態に近いと判定できる。

平滑化処理部３３では、手ぶれ信号／動きベクトル変換処理部３１によって得られたＰＳＦに対して、上記式（１１）で示す二次元ガウス関数（ガウシアンフィルタ）を畳み込むことにより、ＰＳＦを平滑化する。

合焦制御回路１８に自己相関方式が採用されている場合には、合焦評価値Ｅの大きさとガウシアンフィルタの分散σを比例させる。すなわち、合焦評価値Ｅが小さい（ぼけ度合いが小さい）場合には、分散σを小さくして、ピンボケ復元効果を弱める。逆に合焦評価値Ｅが大きい（ぼけ度合いが大きい）場合には、分散σを大きくして、ピンボケ復元効果を強める。このように合焦評価値Ｅの大きさとガウシアンフィルタの分散σを比例させることにより、ピンボケの度合いに応じた適度なピンボケ復元効果が得られる。

〔５−４〕手ぶれ関数／一般逆フィルタ変換処理部３４について

画像は水平方向にＮ_x 画素、垂直方向にＮ_y 画素の解像度でデジタル化されているものとする。水平方向にｉ番目、垂直方向にｊ番目の位置にある画素の値をｐ（ｉ，ｊ）で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をｈ（ｌ，ｍ）とする。ここで、簡単のため、−ｎ＜ｌ，ｍ＜ｎとすると、注目画素の変換は次式（１２）によって表現することができる。また、ｈ（ｌ，ｍ）自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はｈ（ｌ，ｍ）の係数値によって決まる。

デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが０以外の画素値を持ち、それ以外の画素値は０となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。

点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が１になる空間フィルタをPoint Spread Function(PSF 、点広がり関数 )と呼ぶ。この実施例では、ＰＳＦとして動きベクトル／手ぶれ関数変換処理部３２によって得られたＰＳＦを用いる。

ＰＳＦを縦横（２ｎ＋１）×（２ｎ＋１）の空間フィルタｈ（ｌ，ｍ）、−ｎ＜ｌ，ｍ＜ｎでモデル化するとき、各画素について、ボケの無い画像の画素値ｐ（ｉ，ｊ）とボケのある画像の画素値ｐ’（ｉ，ｊ）とは、上記式（１２）の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値ｐ’（ｉ，ｊ）であり、ボケの無い画像の画素値ｐ（ｉ，ｊ）は何らかの方法で計算する必要がある。

上記式（１２）を全ての画素について書き並べると、次式（１３）に示すようになる。

これらの式をまとめて行列表現することが可能であり、次式（１４）となる。ここで、Ｐは元画像をラスター走査順に一元化したものである。

Ｐ’＝Ｈ×Ｐ …（１４）

Ｈの逆行列Ｈ^-1が存在すれば、Ｐ＝Ｈ^-1×Ｐを計算することによって、劣化した画像Ｐ’から劣化の無い画像Ｐを求めることが可能であるが、一般にはＨの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式（１５）に一般逆行列の例を示す。

Ｈ^* ＝（Ｈ^t ・Ｈ＋γ・Ｉ）^-1・Ｈ^t …（１５）

ここでＨ^* はＨの一般逆行列、Ｈ^t はＨの転置行列、γはスカラー、ＩはＨ^t ・Ｈと同じサイズの単位行列である。Ｈ^* を用いて次式（１６）を計算することで、観察された手ぶれ画像Ｐ’から手ぶれが補正された画像Ｐを得ることができる。γは補正の強さを調整するパラメータである。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。

Ｐ’＝Ｈ^* ×Ｐ …（１６）

画像サイズを６４０×４８０とした場合、上記式（１６）のＰは３０７，２００×１の行列、Ｈ^* は３０７，２００×３０７，２００の行列となる。このような非常に大きな行列となるため、上記式（１５）、（１６）を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくする。

まず、上記式（１６）において、Ｐの元になる画像のサイズを６３×６３など、比較小さなサイズにする。６３×６３の画像であれば、Ｐは３９６９×１の行列、Ｈ^* は３９６９×３９６９の行列となる。Ｈ^* はボケ画像全体を補正された画像全体に変換する行列であり、Ｈ^* の各行とＰの積は各画素の補正を行う演算に相当する。Ｈ^* の真ん中の行とＰの積は、６３×６３画素の元画像の、真ん中の画素に対する補正に該当する。Ｐは元画像をラスター走査順に一元化したものであったから、逆に、Ｈ^* の真ん中の行を逆ラスター走査により２次元化することで、６３×６３のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタと呼ぶ。このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。

〔６〕画像復元処理部４０について

画像復元処理部４０は、図２に示すように、ノイズ除去のためのフィルタ回路４１と、一般逆フィルタを用いて画像復元を行うためのフィルタ回路部４２とを備えている。フィルタ回路４１はメディアンフィルタを用いてフィルタ処理を行う。

カメラによって撮影された手ぶれ画像は、フィルタ回路４１に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ回路４１によって得られた画像は、画像復元フィルタ計算部３０によって生成された一般逆フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれおよびピンボケのない画像が復元される。フィルタ回路４２によって得られた画像v ＿fukugen は、リンギング除去処理部５０内の加重平均処理部５３に送られる。

〔６〕リンギング除去処理部５０についての説明

リンギング除去処理部５０は、図２に示すように、エッジ強度算出部５１、加重平均係数算出部５２および加重平均処理部５３を備えている。

カメラによって撮影された手ぶれ画像v ＿tebre は、エッジ強度算出部５１に送られ、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。

図１０に示すように、注目画素ｖ２２を中心とする３×３の領域を想定する。注目画素ｖ２２に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図１１に示すPrewitt のエッジ抽出オペレータを用いる。図１１（ａ）は水平エッジ抽出オペレータを示し、図１１（ｂ）は垂直エッジ抽出オペレータを示している。

水平エッジ成分dhおよび垂直エッジ成分dvは、次式（１７）、（１８）によって求められる。

dh＝v11 ＋v12 ＋v13 −v31 −v32 −v33 …（１７）
dv＝v11 ＋v21 ＋v31 −v13 −v23 −v33 …（１８）

次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素ｖ２２のエッジ強度v ＿edgeを次式（１９）に基づいて算出する。

v ＿edge＝sqrt(dh ×dh＋dv×dv） …（１９）

なお、注目画素ｖ２２のエッジ強度v ＿edgeとして、abs(dh) ＋abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに３×３のノイズ除去フィルタをかけてもよい。

エッジ強度算出部５１によって算出された各画素のエッジ強度v ＿edgeは、加重平均係数算出部５２に与えられる。加重平均係数算出部５２は、次式（２０）に基づいて、各画素の加重平均係数ｋを算出する。

If v ＿edge＞ th then k＝1
If v ＿edge≦ th then k＝v ＿edge/th …（２０）

th は十分に強いエッジであることを判定するための閾値である。つまり、v ＿edgeと加重平均係数ｋとの関係は、図１２に示すような関係となる。

加重平均係数算出部５２によって算出された各画素の加重平均係数ｋは、加重平均処理部５３に与えられる。画像復元処理部４０によって得られた復元画像の画素値をv ＿fukugen とし、カメラによって撮像された手ぶれ画像の画素値をv ＿tebre とすると、加重平均処理部５３は、次式（２１）で表される計算を行うことにより、復元画像の画素値v ＿fukugen と手ぶれ画像の画素値v ＿tebre とを加重平均する。

v ＝k ×v ＿fukugen ＋（１−ｋ）×v ＿tebre …（２１）

つまり、エッジ強度v ＿edgeが閾値ｔｈより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部４０によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。

上記実施例では、画像復元フィルタ計算部３０内の動きベクトル／手ぶれ関数変換処理部３２によって生成されたＰＳＦに対して、合焦評価値Ｅに応じた平滑化処理を施しているが、角速度データに対して、合焦評価値Ｅに応じた平滑化処理を施すようにしてもよい。

また、上記のような平滑化処理を行う代わりに、画像復元フィルタ計算部３０内の手ぶれ関数／一般逆フィルタ変換処理部３４によって生成された一般逆フィルタに、合焦評価値Ｅに応じた先鋭化処理を行うようにしてもよい。この場合には、ピンボケの度合いが高いほど（山登り方式では合焦評価値Ｅが小さいほど、自己相関方式では合焦評価値Ｅが大きいほど）、先鋭度が高くなるように先鋭化処理を行う。この先鋭化処理には、アンシャープマスクなどが用いられる。

デジタルカメラの構成を示すブロック図である。 手ぶれ補正処理回路の構成を示すブロック図である。 角速度センサ１１の出力を増幅するアンプ１３およびアンプ出力をデジタル値に変換するＡ／Ｄ変換器１５を示すブロック図である。 カメラの回転量θ[deg] と画面上の移動量ｄ[mm]との関係を示す模式図である。 ３５[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。 手ぶれを表現する空間フィルタ（ＰＳＦ）を示す模式図である。 Bresenham の直線描画アルゴリズムを説明するための模式図である。 図７の動きベクトルにより得られるＰＳＦを示す模式図である。 合焦制御回路１８に山登り方式が採用されている場合の合焦評価値Ｅ、ピンボケの度合い、平滑化強度（分散σ）、ＰＳＦ、補正信号（復元信号）およびピンボケ復元効果の関係を示す模式図である。 注目画素ｖ２２を中心とする３×３の領域を示す模式図である。 Prewitt のエッジ抽出オペレータを示す模式図である。 エッジ強度v ＿edgeと加重平均係数ｋとの関係を示すグラフである。

符号の説明

１１、１２ 角速度センサ
３０ 画像復元フィルタ計算部
４０ 画像復元処理部
５０ リンギング除去処理部
３１ 手ぶれ信号／動きベクトル変換処理部
３２ 動きベクトル／手ぶれ関数変換処理部
３３ 平滑化処理部
３４ 手ぶれ関数／一般逆フィルタ変換処理部
４２ フィルタ回路

Claims (5)

1. 撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、
   手ぶれ関数に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ関数から一般逆フィルタが生成されることを特徴とする手ぶれ補正装置。
2. 撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、
   角速度センサによって検出された手ぶれ情報に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ情報から手ぶれ関数が生成されることを特徴とする手ぶれ補正装置。
3. 撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、
   一般逆フィルタに先鋭化処理を行う先鋭化処理手段および合焦状態に応じて先鋭化処理手段の先鋭化強度を制御する制御手段を備えており、先鋭化処理手段によって得られた一般逆フィルタを用いて撮像画像に対して画像復元が行われることを特徴とする手ぶれ補正装置。
4. 平滑化処理手段としてガウシアンフィルタを用いた平滑化処理手段が用いられており、制御手段は合焦状態に応じてガウシアンフィルタの分散を制御することを特徴とする請求項１および２のいずれかに記載の手ぶれ補正装置。
5. 合焦状態は、合焦制御方式として山登り方式が採用されている場合には、撮影が行われた時点のコントラスト値で表され、合焦制御方式として自己相関方式が採用されている場合には、撮影が行われた時点での結像位置間隔と予め設定された合焦時の結像位置間隔との差の絶対値で表されることを特徴とする請求項１、２、３および４のいずれかに記載の手ぶれ補正装置。

Images