JP2009260622A - 撮像装置 - Google Patents

Abstract

【課題】画像品質を劣化させることなく撮影画像の回復処理を行うことができるデジタルカメラ１を提供する。
【解決手段】レンズ鏡筒３０を通過した光束を受光し、スルー画像４０の画像信号を出力する撮像素子１４と、スルー画像４０の画像信号に基づくスルー画像４０の点像広がり関数（ＰＳＦ）を算出する算出手段（２２）と、前記点像広がり関数の信頼性を判定する信頼性判定手段（２２）と、信頼性判定手段（２２）により信頼性ありと判定された場合に、撮像素子１４から出力される撮影画像の画像信号に基づく撮影画像の回復処理を行う画像回復手段（２２）とを有するデジタルカメラ１である。
【選択図】図１Ａ

Description

この発明は、撮像装置に関する。

本撮影により得られる画像（撮影画像）から算出されたＰＳＦに基づいて、その撮影画像に生じたボケやブレの回復処理を行う技術は知られている（特許文献１）。

特開平１１−１３４４８１号公報

上記従来の手法によれば、撮影画像に生じたブレやボケをＰＳＦとして推定し、ブレやボケを含む劣化画像としての撮影画像を、ブレやボケのない理想画像に近づけるように回復させる。なお、ＰＳＦとは、点像広がり関数（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）である。

しかしながら、上記従来の回復手法では、撮影画像から算出されるＰＳＦが正確であるとは限らず、仮に精度の悪いＰＳＦであった場合にそのＰＳＦに基づいて撮影画像の回復処理を行うと、回復処理を行っていない撮影画像よりもさらに画像品質が劣化するという問題があった。

発明が解決しようとする課題は、画像品質を劣化させることなく撮影画像の回復処理を行うことができる撮像装置を提供することである。

この発明は、以下の解決手段によって上記課題を解決する。

なお、以下の解決手段では、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。

発明に係る撮像装置は、撮影光学系（３０）を通過した光束を受光し、第１の画像信号を出力する撮像手段（１４）と、第１の画像信号に基づく第１の画像（４０）の点像広がり関数（ＰＳＦ）を算出する算出手段（２２）と、点像広がり関数の信頼性を判定する信頼性判定手段（２２）と、信頼性判定手段（２２）により信頼性ありと判定された場合に、第１の画像信号より後に撮像手段（１４）から出力される第２の画像信号に基づく第２の画像の回復処理を行う画像回復手段（２２）とを有する。

上記発明において、信頼性判定手段（２２）は、第１の画像（４０）の焦点調節状態と、第１の画像（４０）の点像広がり関数から算出される第１の画像（４０）の劣化量との相関性から信頼性を判定することができる。

上記発明において、信頼性判定手段（２２）は、相関性が高いときに信頼性ありと判定することができる。

上記発明において、焦点調節状態は前記第１の画像のコントラストの評価値であり、前記劣化量は第１の画像（４０）の点像広がり関数から算出されるボケ量であってもよい。

上記発明において、前記焦点調節状態は、第１の画像（４０）の自動焦点検出領域（４０ａ）における焦点調節状態であってもよい。

上記発明において、算出手段（２２）は、信頼性判定手段（２２）により信頼性ありと判定された場合に、第２の画像の点像広がり関数を算出することができる。

上記発明において、画像回復手段（２２）は、第２の画像に対して回復処理を行うか否かを判定し、回復処理を行うと判定したときに回復処理を行うことができる。

上記発明において、画像回復手段（２２）は、第２の画像の劣化量が所定基準より大きい場合に回復処理を行うと判定することができる。

上記発明において、劣化量は、第２の画像のボケ量及びブレ量の少なくとも何れかであればよい。

上記発明において、撮像手段（１４）は、光束を受光する撮像面（１４１）を有し、撮像面（１４１）から取り込んだ画像を光電変換して第１の画像信号及び第２の画像信号を出力する光電変換部（１４２２）を有するように構成することができる。

上記発明によれば、画像品質を劣化させることなく撮影画像の回復処理を行うことができる。

以下、発明の実施形態を図面に基づいて説明する。

《デジタルカメラ》
図１Ａに示すように、撮像装置の一例としての本実施形態に係るデジタルカメラ１は、カメラボディ１０とレンズ鏡筒３０から構成される。

レンズ鏡筒３０（撮影光学系）には、光軸３に沿って移動可能なフォーカスレンズ３１と、このフォーカスレンズ３１を光軸３に沿って移動させるレンズ駆動モータ３２と、フォーカスレンズ３１の位置を検出するためのレンズ位置検出部３３とが設けられている。

フォーカスレンズ３１の光軸３に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒３０に固定された固定筒に回転可能に回転筒（図示省略。以下同じ）を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ３１を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、レンズ駆動モータ３２によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ３１が光軸に沿って直進移動することになる。

なお、レンズ鏡筒３０にはフォーカスレンズ３１以外のレンズ群が設けられているが、ここではフォーカスレンズ３１を例に挙げて説明する。

上述したようにレンズ鏡筒３０に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ３１は光軸方向に直進移動するが、その駆動源としてのレンズ駆動モータ３２がレンズ鏡筒３０に設けられている。レンズ駆動モータ３２と回転筒とは、例えば複数の歯車からなる変速機で連結され、レンズ駆動モータ３２の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ３１が光軸３の何れかの方向へ直進移動することになる。なお、レンズ駆動モータ３２の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ３１は光軸３の逆方向へ直進移動することになる。

フォーカスレンズ３１の位置はレンズ位置検出部３３であるエンコーダによって検出される。既述したとおり、フォーカスレンズ３１の光軸方向の位置は回転筒の回転角に相関するので、例えばレンズ鏡筒３０に対する回転筒の相対的な回転角を検出すれば求めることができる。

レンズ位置検出部３３としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを挙げることができる。

フォーカスレンズ３１は、上述した回転筒の回転によってカメラボディ１０側の端部（以下、「至近端」ともいう。）から被写体側の端部（以下、「無限端」ともいう。）までの間を光軸方向に移動することができ（この範囲を「レンズの移動範囲Ｌ」ともいう。）、この移動はカメラボディ１０のレンズ駆動制御部１１からの指令によって制御される。

カメラボディ１０には、レンズ駆動制御部１１と、オートフォーカススイッチ１３と、撮像素子１４と、ＡＤ変換器１６と、撮像素子ドライバ１８と、一時記憶用のメモリ２０と、記憶メディア２１と、ＣＰＵ２２と、ディスプレイドライバ２４と、ディスプレイ２６と、電源スイッチ２８と、撮影ボタン２９とが設けられている。

撮像素子１４（撮像手段）は、カメラボディ１０内の光軸３上に配置されており、フォーカスレンズ３１等によって結像された像（光束）を受光し、これを光電変換した画像信号を出力する。撮像素子１４が出力する画像信号には、撮影ボタン２９が半押しされた後、全押しされる前に取り込まれる本撮影前のスルー画像４０（第１の画像、図４参照）の画像信号と、撮影ボタン２９が全押しされた後に取り込まれる、本撮影により得られる画像（第２の画像、以下「撮影画像」という。）とが含まれる。

撮像素子１４は、半導体チップから構成された、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成される。撮像素子１４の一方の主面１４１が撮像面となる。

図１Ｂに示すように、撮像素子１４は、矩形状の撮像面１４１の平面上に、複数の撮像画素１４２が、二次元的に配列され、緑色の波長領域を透過するカラーフィルタを有する緑画素Ｇと、赤色の波長領域を透過するカラーフィルタを有する赤画素Ｒと、青色の波長領域を透過するカラーフィルタを有する青画素Ｂがいわゆるベイヤー配列（Ｂａｙｅｒ Ａｒｒａｎｇｅｍｅｎｔ）されたものである。すなわち、隣接する４つの画素群１４３（稠密正方格子配列）において一方の対角線上に２つの緑画素が配列され、他方の対角線上に赤画素と青画素が１つずつ配列されている。このベイヤー配列された画素群１４３を単位として、当該画素群１４３を撮像面１４１に二次元状に繰り返し配列することで撮像素子１４が構成されている。なお、単位画素群１４３の配列は、図示する稠密正方格子以外にも、例えば稠密六方格子配列にすることもできる。また、カラーフィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用することもできる。

図１Ｃに示すように、一つの撮像画素１４２は、マイクロレンズ１４２１と、光電変換部１４２２と、図示しないカラーフィルタとから構成される。

図１Ｄに示すように、撮像画素１４２は、撮像素子１４の半導体回路基板１４４の表面に光電変換部１４２２が造り込まれ、その表面にマイクロレンズ１４２１が形成されている。図示しないカラーフィルタは、マイクロレンズ１４２１と光電変換部１４２２との間に設けられる。光電変換部１４２２は、マイクロレンズ１４２１によりレンズ鏡筒３０（図１Ａ参照）の射出瞳（例えばＦ１．０）を通過した光束を受光する形状とされ、光束ＩＢを受光する。

本実施形態の光電変換部１４２２は、撮像面１４１（図１Ａ及び図１Ｂ参照）から取り込んだ画像（スルー画像４０及び撮影画像の双方を含む）を光電変換してその画像の画像信号を出力することができる。

図１Ａに戻り、本実施形態の撮像素子１４は、オートフォーカススイッチ１３をＯＮ状態にして自動合焦探索を行う際、フォーカスレンズ３１を通過した像の所定領域４０ａ（図４参照）における焦点評価値をＣＰＵ２２へ出力する。

ＣＰＵ２２の具体的処理動作については後述する。

なお、カメラボディ１０には合焦表示部（図示省略）が設けられていてもよい。合焦表示部は、例えばファインダ（図示省略）やディスプレイ２６内に表示されるマークで構成したり、カメラボディ１０の外部にＬＥＤランプなどの表示手段（図示省略）で構成したり、あるいはファインダに設けられたオートフォーカス用ターゲットマークの色彩の変化で構成することができる。

《画像回復処理の一例》
次に、デジタルカメラ１を用いた画像回復処理の一例を説明する。

図１Ａ、図３及び図４に示すように、まず、カメラ１の電源スイッチ２８がＯＮされていることを確認した上でステップＳ１に進む。

《ステップＳ１》
ステップＳ１にて、ＣＰＵ２２は、撮像素子ドライバ１８を介して撮像素子１４から送出されたスルー画像４０の画像出力を一定周期で取り込んでメモリ２０に格納するとともに、ディスプレイドライバ２４を介してディスプレイ２６に各スルー画像４０を表示させる。

そして撮影ボタン２９が半押しされると、ＣＰＵ２２は、レンズ駆動制御部１１に指令を送出し、この指令を受けたレンズ駆動制御部１１からの指令を受けたレンズ駆動モータ３２によりフォーカスレンズ３１の位置を移動させつつ、ステップＳ２に進む。

《ステップＳ２》
ステップＳ２にて、ＣＰＵ２２は、まず、撮像素子１４から送出されたスルー画像４０の画像出力から、予め決められた所定領域４０ａにおけるＰＳＦを算出して、ステップ３に進む。ここでの所定領域４０ａは、例えばスルー画像４０の焦点検出領域などが挙げられる。焦点検出領域は複数設けられていてもよい。なお、ＰＳＦとは、上述したように点像広がり関数であり、一点から出た光がどのように広がるかを表す関数である。

一般に、撮影画像のＰＳＦを算出し、この算出されたＰＳＦを用いて、ブレやボケを含む「劣化画像」としての撮影画像を、ブレやボケのない「理想画像」に近づけるように復元させる方法は知られている。

ここで、（ｘ、ｙ）を撮影画像上の座標とし、ブレやボケを含む劣化画像をｇ（ｘ、ｙ）、ブレやボケのない理想画像をｈ（ｘ、ｙ）、ブレやボケによって広がった点像の情報（ＰＳＦ関数）をｐ（ｘ、ｙ）とすると、これら３つの式は次の関係を満たす。図５はこれらの関係を模式的に表したものである。

［数１］ ｇ（ｘ、ｙ）＝ｈ（ｘ、ｙ）＊ｐ（ｘ、ｙ） …式１
式１中、＊はコンボリューション（畳み込み積分）演算を表すものである。

ここで、式１をフーリエ変換して、空間周波数（ｕ，ｖ）領域２にすると、式１は以下の式２になる。

［数２］ Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）＊Ｐ（ｕ、ｖ） …式２
ここで、劣化画像ｇ（ｘ，ｙ）に加えて、何らかの方法によりＰＳＦ関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、式２を変形した以下の式３により、理想画像のスペクトルＨ（ｕ，ｖ）を算出することができる。

［数３］ Ｈ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ） …式３
そして、式３で算出されるＨ（ｕ，ｖ）を逆フーリエ変換すれば、理想画像ｈ（ｘ、ｙ）を算出することができる。

本実施形態では、撮影画像のＰＳＦを用いて直ちにその撮影画像の画像劣化を復元させるのではなく、スルー画像４０の段階でそのスルー画像４０のＰＳＦを算出し、これの良し悪しを判定した後、撮影画像に対して適用し、撮影画像の画像劣化を復元させようとするものである。

本実施形態において、スルー画像４０のＰＳＦを算出するには、従来撮影画像に対して行われていた種々の算出方法、例えば、劣化画像のフーリエ変換の振幅スペクトルがゼロになる周期と方向を検出してブレの大きさと方向を検出する方法（特開２００６−２２１３４７）や、動きベクトルを利用して算出する方法（特開２００７−６０４５）などを用いることができ、特に限定されない。

以下の説明では、画像の自己相関に基づいてＰＳＦを算出する方法を例示する。

図６に示すように、まずステップＳ２１では、撮像素子１４から出力される撮影ボタン２９が半押しされたときのスルー画像４０のアナログ画像信号をＡ／Ｄ変換器１６によりデジタル画像信号へ変換し、内部メモリ２０に取り込み（画像取込み）、ステップＳ２２に進む。

ステップＳ２２では、取り込んだスルー画像４０のＲＧＢ成分中Ｇ成分を抽出して（Ｇ成分抽出）、ステップＳ２３に進む。Ｇ成分を抽出するのは、ＰＳＦ算出に色成分は不要であるからである。

ステップＳ２３では、ダウンサンプリングして、取り込んだスルー画像４０の画像サイズを小さくし（画像縮小）、ステップＳ２４へ進む。画像サイズを縮小するのは、演算量を小さくするためである。

ステップＳ２４では、図７に示すように、画像ｇを７×７の領域にブロック分割してステップＳ２５に進む。

図６に戻り、ステップＳ２５では、ステップＳ２４で分割した全ブロック中、画素値が飽和している画素を有するブロックを演算から除外し（飽和ブロック除去）、ステップＳ２６へ進む。

ステップＳ２６では、ラプラシアン処理によって輪郭を強調させた後、ステップＳ２７へ進む。

ステップＳ２７では、全ブロック中、テクスチャ（模様）の無いブロックを除外し（無模様ブロック除外）、ステップＳ２８へ進む。テクスチャの無いブロックは、ブレやボケを検出できないからである。

ステップＳ２８では、除外されず残っているブロックについて自己相関値を演算し（自己相関値演算）、ステップＳ２９へ進む。図８の例では画像ｇの内太線の４つのブロックが残っているブロック（演算対象）であり、それぞれのブロックについて演算を行う。

２次元の自己相関関数値Ｒ_ｆｆは、次式で定義される。

［数４］

ここで、Ｂをブロック化された画像（５×５ｐｉｘｅｌ）、ａ、ｂをＸ、Ｙ方向の画素間距離、Ｎは自己相関を演算する領域のＸ方向の長さ、ＭはＹ方向の長さを示す。自己相関値の演算は、図８に示すように、画像Ｂをずらしながら重なり合っている領域の画素同士の積の結果を加算し、これを領域の面積で除算することで行われる。

図６に戻り、ステップＳ２９では、ステップＳ２８にて算出された自己相関値の演算結果を基に、自己相関画像を作成し（自己相関画像作成）、ステップＳ３０へ進む。

自己相関値は、ａ＝０、ｂ＝０の時、つまり画素が完全に重なっている時に最大となる。Ｒ_ｆｆ（０，０）を基に正規化を行い、グレースケール０〜２５５に対応させ画像を作成する。図９に算出された自己相関画像の例を示す。図９の例では、４つのブロックにおいて、それぞれ斜め方向への自己相関が高く、ブレが斜め方向に生じていると推定される。

図６に戻り、ステップＳ３０では、ステップＳ２９にて作成した自己相関画像を平均化した画像（この例では４つの画像の平均）を、ＰＳＦ推定結果として算出する（ブロック平均化）。

図１０に示すように、算出されたＰＳＦ推定結果から、スルー画像４０（図４参照）には、直線的な所定長さと方向を持つブレと、所定量のボケとが含まれていることが確認できる。

《ステップＳ３》
図１Ａ、図３及び図４に戻り、ステップＳ３にて、ＣＰＵ２２は、ステップＳ２で算出したＰＳＦからスルー画像４０のボケ量を算出し、ステップＳ４に進む。スルー画像４０のボケ量は、例えばＰＳＦから算出されるスルー画像４０の劣化量などから算出することができる。なお、ステップＳ３の算出結果は、逐次メモリ２０に記憶される。

《ステップＳ４》
ステップＳ４にて、ＣＰＵ２２は、ステップＳ１で撮像素子１４から送出されたスルー画像４０の画像出力から所定領域４０ａにおける焦点評価値（例えばコントラスト評価値）を演算して、ステップＳ５へ進む。この焦点評価値は、例えば撮像素子１４からの画像出力の高周波成分を、高周波透過フィルタを用いて抽出し、これを積算して焦点電圧を検出することで求めることができる。また、遮断周波数が異なる２つの高周波透過フィルタを用いて高周波成分を抽出し、それぞれを積算して焦点電圧を検出することにより求めることもできる。なお、ステップＳ４の算出結果は、逐次メモリ２０に記憶される。

《ステップＳ５及びＳ６》
ステップＳ５にて、ＣＰＵ２２は、ステップＳ４で算出した焦点評価値の最大値が検出されるか否かを判定し、焦点評価値の最大値が検出されない場合（Ｓ５にてＮｏ）には、ピント位置が未だ決定していないので、ステップＳ６へ進み、フォーカスレンズ３２の位置を再度移動させつつ、ステップＳ１へ戻り、Ｓ２〜Ｓ５の各ステップを繰り返す。これに対し、焦点評価値の最大値が検出され（Ｓ５にてＹｅｓ）、ピント位置が決定すると、ステップＳ７へ進む。

ステップＳ５及びＳ６は、例えば次の方法で行うことができる。ＣＰＵ２２は、レンズ駆動制御部１１に制御信号を送出してフォーカスレンズ３１を所定のサンプリング間隔で駆動させ、それぞれの位置における焦点評価値を求め、このコントラスト評価値が最大となるフォーカスレンズ３１の位置を、例えば内挿法などの演算方式を用いて求める。この内挿法による焦点評価値の最大値の求め方を図２を参照しながら説明する。ここでは３点内挿法を説明する。

図２の上図に示した丸印は焦点評価値のサンプリング点を示しており、例えばフォーカスレンズ３１の探索範囲に８箇所Ｐ１〜Ｐ８の焦点評価値が取得されているものとする。破線で示す曲線は焦点評価値のプロファイルを示し、レンズ位置Ｐｘにピークを有する。なお、図２の下図は時間に対するフォーカスレンズ３１の位置の軌跡を示すグラフである。

取得された８個の焦点評価値では、焦点評価値Ｐ５が最大となっているが、３点内挿法では、最大の焦点評価値Ｐ５とその前後に位置する焦点評価値Ｐ４，Ｐ６とを用いてレンズの合焦位置Ｐｘを算出する。まず、最大の点Ｐ５および３点のうち最小の点Ｐ６を通る直線Ｌ１を算出する。この直線Ｌ１の傾きをＫとしたとき、傾きが−Ｋで、残りの点Ｐ４を通る直線Ｌ２を算出する。そして、直線Ｌ１と直線Ｌ２との交点のレンズ位置座標を求める。この交点のレンズ位置座標がフォーカスレンズ３１の合焦位置Ｐｘとして求められる。こうして求められたフォーカスレンズ３１の合焦位置ＰｘをＣＰＵ２２からレンズ駆動制御部１１に送出し、レンズ駆動モータ３２を制御してフォーカスレンズ３１を合焦位置に移動させる。なお、オートフォーカススイッチ１３をＯＦＦ状態にした場合は、使用者が回転筒（図示省略）を回転させることにより手動による合焦操作を行うことができる。

《ステップＳ７》
図１Ａ、図３及び図４に戻り、ステップＳ７にて、ＣＰＵ２２は、ステップＳ２で算出したＰＳＦに信頼性があるか否かを判定する。ＰＳＦの信頼性の判定は、例えばピント位置前後の３ポジション（図２の上図のＰ４〜Ｐ６）について、ステップＳ４〜Ｓ６で算出する焦点評価値の相対的な大きさと、ステップＳ３で算出したスルー画像４０のボケ量の相対的な大きさとを、各ポジションについて比較することにより行うことができる。

本実施形態では、ＰＳＦから算出したボケ量が正しければ、図１１及び図１２に示すように、フォーカスレンズ位置に対する焦点評価値（コントラスト評価値）とボケ量の相関関係は負の関係になるものと考えられる。そこで図１３に示すように、本実施形態では、横軸に焦点評価値としてのコントラスト評価値、縦軸にボケ量とり、近似直線を演算する。そして演算された近似直線の傾きが負（右下がり）の場合、図９に示す自己相関画像のように自己相関が強い（相関性が高い）と判断する（グレースケール０〜２５５のうち２５５側に寄っている）。その結果、上記算出されたＰＳＦ推定結果及びそのＰＳＦ推定結果から算出したボケ量は正しい可能性が高いと考え、信頼性有りと判断する。

図１Ａ、図３及び図４に戻り、ステップＳ７にて、信頼性有りと判定された（Ｓ７にてＹｅｓ）場合、ステップＳ８へ進む。

これに対し、上記近似直線の傾きが負でない場合、自己相関が強いとは判断されず、算出されたＰＳＦ推定結果及びそのＰＳＦ推定結果から算出したボケ量が正しい可能性は低いと考え、信頼性なしと判断する。信頼性なしと判定された（Ｓ７にてＮｏ）場合、ステップＳ９へ進む。

《ステップＳ８及びＳ９》
ステップＳ８にて、ＣＰＵ２２は、フラグ（ＦＬＧ）１を立ててステップＳ１０へ進む。ステップＳ９にて、ＣＰＵ２２は、フラグ（ＦＬＧ）０を立ててステップＳ１０へ進む。

《ステップＳ１０》
ステップＳ１０にて、撮影ボタン２９が全押しされると（本撮影）、静止画の撮影が行われ、撮影画像が得られる。撮影画像データがメモリ２０に記憶された後、ステップＳ１１へ進む。

《ステップＳ１１》
ステップＳ１１にて、ＣＰＵ２２は、フラグ１が立っているか否かを判定する。すなわち、上述したステップＳ７における判定結果がＹｅｓで、ステップＳ８にてフラグ１が立っていれば（Ｓ１１にてＹｅｓ）、ステップＳ１２へ進む。これに対し、ステップＳ７における結果がＮｏで、ステップ９にてフラグ０が立っていれば（Ｓ１１にてＮｏ）、撮影画像を記憶メディア２１（図１Ａ参照）に記録して終了する。Ｓ１１にてＮｏの場合、後述の画像回復処理を行わないのは、スルー画像４０におけるＰＳＦに信頼性がなく、この信頼性のないＰＳＦに基づき画像回復処理を行った場合、撮影画像がより一層劣化してしまうおそれがあるからである。

《ステップＳ１２》
ステップＳ１２にて、ＣＰＵ２２は、撮影画像のＰＳＦを算出して、ステップＳ１３へ進む。撮影画像のＰＳＦを算出するには、例えば上述した画像の自己相関に基づく方法（ステップＳ２、図６参照）などを用いることができる。

《ステップＳ１３》
ステップＳ１３にて、ＣＰＵ２２は、撮影画像に対して、画像回復処理を行うか否かを判定する。この判定は、ＣＰＵ２２によってステップＳ１２で算出したＰＳＦによる撮影画像のボケ量とブレ量を算出した後、この算出したボケ量及びブレ量の一方又は双方が所定の閾値を超えるか否か、すなわち実際に撮影画像が劣化しているか否かを判定することにより行うことができる。その結果、閾値を超えていれば（Ｓ１３にてＹｅｓ）、撮影画像が劣化画像であると判断し、ステップＳ１４へ進む。これに対し、閾値以下であれば（Ｓ１３にてＮｏ）、撮影画像は劣化画像ではなく、画像回復の必要がないと判断し、その撮影画像を記憶メディア２１（図１Ａ参照）に記録して終了する。

《ステップＳ１４》
ステップＳ１４にて、ＣＰＵ２２は、劣化画像と判断された撮影画像の回復処理を実行する。この回復処理を行うことにより、ブレ量やボケ量が所定の閾値を超える劣化画像を修復し、ブレやボケのない理想画像に近づけるように回復させることができる。撮影画像の回復処理の方法は特に限定されるものではなく、ステップＳ１２で算出したＰＳＦに基づいて、例えばウィナーフィルタなどを利用することにより行うことができる。

以上説明してきたように、本実施形態によれば、スルー画像４０の段階でＰＳＦを算出し、この算出したＰＳＦに信頼性が有るか否かを判断する。その結果信頼性があると判断された場合にはじめて撮影画像のＰＳＦを算出し、さらにこの算出したＰＳＦから撮影画像のボケ量とブレ量を算出する。そして、この算出したボケ量及びブレ量が所定の閾値を超える場合に、撮影画像が劣化画像であると判断し、その撮影画像の画像回復処理を行う。従って、スルー画像４０のＰＳＦに信頼性がない場合には、たとえ撮影画像にボケやブレが生じていても画像回復処理を行わない。このため、行った画像回復処理により撮影画像の劣化がより進んでしまうことを効果的に防止することができる。

すなわち本実施形態では、上述した各ステップのように判断することで、ＰＳＦを用いた画像回復によって、撮影画像がより劣化してしまう可能性を低くすることができる。

なお、上述した実施形態では、スルー画像４０の焦点検出状態をコントラスト検出法により算出する場合を例示するが、特にこの検出法に限定する趣旨ではなく、位相差検出法により算出する場合も含む。スルー画像４０の焦点調節状態を位相差検出法により算出する場合、図３におけるステップＳ４〜Ｓ６に代えて、スルー画像４０の位相差によるデフォーカス量を算出し、この算出したデフォーカス量が所定の閾値より小さい場合にステップＳ７以降に進むようにすればよい。

図１Ａはデジタルカメラを示すブロック図である。 図１Ｂは図１Ａの撮像素子における撮像画素の配列を模式的に示す正面図である。 図１Ｃは図１Ｂに示す撮像画素の一つを拡大して示す正面図である。 図１Ｄは図１Ｂに示す撮像画素の一つを拡大して示す断面図である。 図２は図１Ａのカメラの合焦判定を説明するためのグラフである。 図３は本実施形態に係る画像復元処理の一例を示すフローチャートである。 図４はスルー画像と焦点評価値及びＰＳＦの算出領域との関係を示す説明図である。 図５はブレやボケを含む劣化画像とブレやボケのない理想画像とブレやボケによって広がった点像の情報（ＰＳＦ関数）との関係を表した模式図である。 図６は画像の自己相関に基づいたＰＳＦの算出方法の一例を示すフローチャートである。 図７は図６のステップＳ２４での処理状態を示す概略図である。 図８は図６のステップＳ２８での自己相関値を演算する対象と演算手順を示す説明図である。 図９は図６のステップＳ２９にて作成される自己相関画像の一例を示す説明図である。 図１０は図６のステップＳ３０にて算出されたＰＳＦ推定結果を示す説明図である。 図１１はフォーカスレンズ位置に対する焦点評価値（コントラスト評価値）の関係を示すグラフである。 図１２はフォーカスレンズ位置に対するボケ量の関係を示すグラフである。 図１３は本実施形態における焦点評価値であるコントラスト評価値とボケ量の相関関係を示すグラフである。

符号の説明

１…デジタルカメラ（撮像装置）
１０…カメラボディ（撮像装置）
１１…レンズ駆動制御部
１３…オートフォーカススイッチ
１４…撮像素子（撮像手段）
１６…ＡＤ変換器
１８…撮像素子ドライバ
２０…メモリ
２１…記憶メディア
２２…ＣＰＵ（算出手段、信頼性判定手段、画像回復手段）
２４…ディスプレイドライバ
２６…ディスプレイ
２８…電源スイッチ
２９…撮影ボタン
３０…レンズ鏡筒
３１…フォーカスレンズ
３２…レンズ駆動モータ
３３…レンズ位置検出部
４０…スルー画像（第１の画像）

Claims (10)

1. 撮影光学系を通過した光束を受光し、第１の画像信号を出力する撮像手段と、
   前記第１の画像信号に基づく第１の画像の点像広がり関数を算出する算出手段と、
   前記点像広がり関数の信頼性を判定する信頼性判定手段と、
   前記信頼性判定手段により信頼性ありと判定された場合に、前記第１の画像信号より後に前記撮像手段から出力される第２の画像信号に基づく第２の画像の回復処理を行う画像回復手段とを、有する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記信頼性判定手段は、前記第１の画像の焦点調節状態と、前記第１の画像の点像広がり関数から算出される前記第１の画像の劣化量との相関性から前記信頼性を判定することを特徴とする撮像装置。
3. 請求項２記載の撮像装置であって、
   前記信頼性判定手段は、前記相関性が高いときに信頼性ありと判定することを特徴とする撮像装置。
4. 請求項２又は３記載の撮像装置であって、
   前記焦点調節状態は前記第１の画像のコントラストの評価値であり、前記劣化量は前記第１の画像の点像広がり関数から算出されるボケ量であることを特徴とする撮像装置。
5. 請求項２〜４の何れか一項記載の撮像装置であって、
   前記焦点調節状態は、前記第１の画像の自動焦点検出領域における焦点調節状態であることを特徴とする撮像装置。
6. 請求項１〜５の何れか一項記載の撮像装置であって、
   前記算出手段は、前記信頼性判定手段により信頼性ありと判定された場合に、前記第２の画像の点像広がり関数を算出する撮像装置。
7. 請求項１〜６の何れか一項記載の撮像装置であって、
   前記画像回復手段は、前記第２の画像に対して回復処理を行うか否かを判定し、回復処理を行うと判定したときに、前記回復処理を行うことを特徴とする撮像装置。
8. 請求項７記載の撮像装置であって、
   前記画像回復手段は、前記第２の画像の劣化量が所定基準より大きい場合に、前記回復処理を行うと判定することを特徴とする撮像装置。
9. 請求項８記載の撮像装置であって、
   前記劣化量は、前記第２の画像のボケ量及びブレ量の少なくとも何れかであることを特徴とする撮像装置。
10. 請求項１〜９の何れか一項記載の撮像装置であって、
    前記撮像手段は、前記光束を受光する撮像面を有し、前記撮像面から取り込んだ画像を光電変換して前記第１の画像信号及び第２の画像信号を出力する光電変換部を有することを特徴とする撮像装置。

Images