JP2010258689A - 画像復元装置 - Google Patents

Abstract

【課題】劣化画像の、失われた空間周波数を復元する。
【解決手段】同一シーンを複数の異なる劣化特性で撮影し、得られた劣化画像および劣化特性をそれぞれ周波数変換する。周波数変換されたそれぞれの劣化画像および劣化特性同士を加算する。加算された劣化画像に対して、加算された劣化特性の逆特性をかけることで画像復元することで、劣化によって減少、もしくは失われた、一部の空間周波数を復元する。
【選択図】図１

Description

本発明は、劣化した画像から劣化を低減した画像を得る画像復元装置に関するものである。

カメラなどの撮像装置で撮像した画像には、物理的な制約により、レンズの開口制限やレンズの収差などによる劣化が生じる。また撮影条件によっては、手ぶれやピンボケなどの劣化が生じる。劣化した画像は、数１に定義したモデルとなる。

ｉ（ｘ、ｙ）はカメラなどで撮影され得られた劣化画像、ａ（ｘ、ｙ）はレンズの開口制限、レンズの収差、手ぶれ、ピンボケなどの劣化を表す関数、ｓ（ｘ、ｙ）は劣化を含まない原画像である。
さらに、数１をフーリエ変換すると数２となる。

Ｉ（ｐ、ｖ）、Ａ（ｐ、ｖ）、Ｓ（ｐ、ｖ）はそれぞれ、ｉ（ｘ、ｙ）、ａ（ｘ、ｙ）、ｓ（ｘ、ｙ）をフーリエ変換したものである。原画像の復元画像を生成するには、劣化画像に劣化関数の逆特性に対応する関数をかければよい。逆特性に対応する関数として劣化関数の逆行列１／Ａ（ｐ、ｖ）をそのまま劣化画像に乗じると、推定原画像Ｓ（ｐ、ｖ）は数３の式で表される。

ノイズを抑制しつつ画像復元する方法として、ウィナーフィルタを適用して、劣化関数の逆特性に対応する関数を劣化画像に乗じる方法がある。ウィナーフィルタは数４の式で与えられる。すなわち、Ｂ（ｐ、ｖ）を劣化画像に乗じて、復元画像を生成する。

ここで、Ｍｎ（ｐ、ｖ）はノイズのパワースペクトル密度で、Ｍｓ（ｐ、ｖ）は原画像のパワースペクトル密度である。ただし、通常、Ｍｎ（ｐ、ｖ）およびＭｓ（ｐ、ｖ）を正確に求めることが困難であるため、次式のように定数Γで近似する。

ここで近似定数Γはノイズを抑えつつ良好な復元画像を得るために適当な値を設定する必要がある。この問題に対して、特許文献１では、所定数の異なる近似定数Γ１〜Γｎを用いて所定数ｎ個のウィナーフィルタの周波数応答を導出する。さらに導出したウィナーフィルタの周波数応答を、劣化画像の周波数領域の情報であるＩ（ｐ，ｖ）に個別にかけることで、所定数の空間周波数領域復元情報を得る。得られた空間周波数領域情報を逆離散フーリエ変換（ＩＤＦＴ）し、所定数の復元画像を得る。さらに、所定数の復元画像と劣化画像について局所領域毎に２乗誤差を導出する。そして、前記２乗誤差の値が最小な復元画像を選択することで、復元に最適なΓの値を局所領域毎に導出する。

特開２００８−１６５６５７

しかしながら上記の構成では、ノイズの増幅は抑えられることを期待できるが、劣化によって減少した空間周波数を復元することが困難であったので、その対策が望まれていた。

本発明は、このような状況に鑑みてなされたものであって、その目的は、劣化によって減少した一部の空間周波数を復元することが可能な画像復元装置を提供するものである。

本発明の上記課題は、互いに異なる劣化特性で同じシーンが撮像された複数の劣化画像と劣化特性とから、当該シーンについての復元画像を生成する画像復元装置であって、
前記劣化画像同士を周波数領域で加算して加算劣化画像を導出する手段と、前記劣化特性同士を周波数領域で加算して加算劣化特性を導出する手段と、前記加算劣化画像に前記加算劣化特性の逆特性に対応する関数を作用させて、当該シーンについての復元画像を生成する手段とを有することを特徴とする画像復元装置によって解決される。

本発明の画像復元装置によれば、劣化によって減少した一部の空間周波数を復元した良好な画像復元を実現できる。

撮像装置の一連の処理の流れを表すフローチャートである。 画像復元するステップ１０３を説明した図である。 周波数特性の異なる複数の劣化画像を得る方法を表した図である。 周波数特性の異なる複数の劣化画像を得る方法を表した図である。 周波数特性の異なる複数の劣化画像を得る方法を表した図である。 周波数特性の異なる複数の劣化画像を得る方法を表した図である。 原画像のディスプレー上に表示した中間調画像を表す写真である。 劣化画像のディスプレー上に表示した中間調画像を表す写真である。 復元画像のディスプレー上に表示した中間調画像を表す写真である。 装置構成を表す図である。 画像のパワースペクトルを表した図である。 復元画像のパワースペクトルである。 異なる劣化特性で劣化画像を取得する為の装置構成を表した図である。 画像復元装置をハードウェア化した図である。

（第１の実施例）
図面を参照して本発明の実施例について詳細に説明する。図１０（ａ）に本実施の形態に係る撮像装置を示す。図１０（ａ）に示す本実施例はデジタルカメラについてのものであるが、顕微鏡、監視カメラについて本発明を適用することも可能である。図１０（ａ）において、１３１１はレリーズボタン、１３０１はレンズ、１３０８は表示装置、１３１０は撮影モード選択ボタンである。

図１０（ｂ）は図１０（ａ）の撮像装置のブロック図を表している。図中の矢印および線分は制御データおよび画像データの流れを示している。図１０（ｂ）において、１３０１はレンズ、１３０２は撮像素子、１３０３はＡ／Ｄ変換部である。レンズ１３０１は、被撮像シーンの光学象を結象する光学系の少なくとも一部を構成する。１３０４はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１３０５はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。１３０６は画像復元部、１３０７は記録装置、１３０８は表示装置、１３０９はレンズを移動させるレンズ駆動部、１３１０は撮影モード選択ボタン、１３１１はレリーズボタンである。ＣＰＵ１３０４は撮影するための処理を制御する。

画像復元部１３０６は、ＣＰＵ１３０４とは別途設けられており、ハードウェア化されて構成される。画像復元部１３０６は、一連の画像復元処理を、ハードウェアのロジックに置き換え、再構成可能な集積回路、もしくは、集積回路に実装し実現する。処理速度の観点から、画像復元処理をハードウェア化して行う構成が望ましい。なお、画像復元部の機能をＣＰＵ１３０４での処理によって実現することも可能である。

ここで図１０（ｂ）および図１を用いて、本発明を適用可能な撮像装置の動作の流れを説明する。まず、撮影モード選択ボタン１３１０を用いて、画像復元機能を選択する。ＣＰＵ１３０４での設定に基づいて、レンズ位置や絞りが変更されて、所定の劣化特性が反映される。なお、単にオートフォーカス機能によって、レンズ位置や絞りを変更させてもよい。なぜなら、オートフォーカス機能を用いる場合であっても、劣化の無い画像を取得することはできないからである。オートフォーカス画像は、合焦状態の近傍の劣化画像である。レリーズボタン１３１１が押されると、撮像素子１３０２が受光する。すなわち設定された劣化特性が反映された状態で、所望のシーンについて劣化画像が撮像される。撮像素子１３０２から読み出された劣化画像はＡ／Ｄ変換部１３０３でデジタルデータに変換される。変換された劣化画像は、ＣＰＵ１３０４で算出された劣化特性データとともにＲＡＭ１３０５に一時記憶される。

さらに１枚目の撮像と異なる劣化特性で同じシーンについて２枚目の画像を撮像する。異なる劣化特性を撮像に反映するために、フォーカス位置が変更される。すなわち、１枚目撮像時と異なるレンズ駆動スケジュールがＣＰＵ１３０４で設定される。この駆動スケジュールに基づいてレンズ駆動部１３０９が光学系を構成する少なくとも一部のレンズを移動させることによって、フォーカス位置が変更される。この状態で、１枚目と同じシーンについて撮像素子１３０２に受光させ、Ａ／Ｄ変換部１３０３でデジタルデータに変換する。すなわち２枚目の劣化画像は、１枚目とはフォーカス位置の異なる劣化特性で撮像される。変換された２枚目の劣化画像は、Ａ／Ｄ変換部１３０３から、ＣＰＵ１３０４で算出された劣化特性データとともにＲＡＭ１３０５に一時記憶される。再びフォーカス位置を変更して、異なる劣化特性で同じシーンについての撮像を続けてもよい。より良好な画像復元を期待することができる。このようにして、同じシーンを複数回撮像することによって、互いに異なる劣化特性で同じシーンについて撮像された複数の劣化特性を取得する。

ＲＡＭ１３０５に一時記憶された複数の劣化画像と劣化特性データを、画像復元部１３０６が読み込む。画像復元部１３０６は、これらの劣化画像と劣化特性から画像復元処理を行い、復元画像を算出する。画像復元部１３０６における画像復元処理の詳細については後述する。画像復元部１３０６にて算出された復元画像は記録装置１３０７に転送される。再生時は記録装置１３０７に保存された復元画像を表示装置１３０８に表示する。

図１は、撮像装置の処理の流れを表すフローチャートである。図１のフローについて説明する。

まず、ステップ１０１で同じシーンについての複数の劣化特性と複数の劣化画像を取得する。ステップ１０１で取得する複数の劣化特性は、周波数空間での周波数特性が異なるものである。また、複数の劣化画像は、原画像を前記複数の劣化特性によって、劣化した画像である。周波数特性が異なる複数の劣化特性を用いる理由としては、周波数特性が異なる複数の劣化画像を用いる事で、減少した周波数を補い合うことが可能であり、良好な画像復元を行う事ができるからである。原画像は必ずしも、全てのノイズ要因や劣化要因を乗り除いたものである必要はない。

ステップ１０１で、撮像に異なる劣化特性を反映させて、周波数特性の異なる複数の劣化画像を得る方法について図３を用いて説明する。図３に記載されているレンズは理想レンズであると仮定する。図３（ａ）と（ｂ）は、点光源３０１、レンズ１３０１、撮像素子１３０２で構成されている。ただし、レンズ１３０１に対して光軸上で相対的に異なる位置に撮像素子１３０２が配置されるので、図３（ａ）と図３（ｂ）ではフォーカス位置が異なる。そのため、撮像素子１３０２上の像３０２と像３０３は、互いに異なったものになる。点光源３０１に対する像が像３０２と像３０３になるため、像３０２、像３０３は点像分布関数であると考えられ、像３０２と像３０３は異なる周波数特性であると言える。レンズ駆動部１３０９を用いて、撮像素子１３０２をレンズ１３０１に対して光軸軸上で相対的に異なる位置に配置してフォーカス位置を変更することによって、撮像に異なる劣化特性を反映させる。撮像毎にフォーカス位置を変更して、同じシーンについての撮像を複数回行う。このようにして、互いに異なる劣化特性で撮像を行って、周波数特性の異なる複数の劣化画像を得ることができる。

ステップ１０２からステップ１０４の処理は画像復元部１３０６で行われる。図１４は、ウィナーフィルタを適用してステップ１０２から１０４の処理をハードウェア化して構成した画像復元部１３０６を示す。１９０１は、劣化画像をフーリエ変換するフーリエ変換部である。１９０２は、劣化画像同士を加算して加算劣化画像を導出する加算部である。１９０３は、劣化特性をフーリエ変換するフーリエ変換部である。１９０４は、劣化特性同士を加算して加算劣化特性を導出する加算部である。１９０５は、加算劣化特性を用いてウィナーフィルタを作成するウィナーフィルタ作成部である。１９０６は、加算劣化画像にウィナーフィルタを乗じて復元画像を得るフィルタリング部である。１９０７は、復元画像をフーリエ逆変換するフーリエ逆変換部である。

ステップ１０２について説明する。画像復元部１３０６が、複数の劣化画像とこれらの劣化特性をＲＡＭ１３０５から読み込む。読み込んだ複数の劣化特性および、複数の劣化画像を周波数領域の情報に変換する。空間領域の情報から周波数領域の情報に変換する方法としては、離散フーリエ変換を用いても良いし、離散コサイン変換を用いても良い。周波数領域への変換方法については特に限定されない。

ステップ１０３について説明する。ステップ１０３では、画像復元部１３０６が周波数を合成して画像復元処理を行う。取得した劣化画像同士を周波数領域で加算して加算劣化画像を得る。取得した劣化特性同士を周波数領域で加算して加算劣化特性を得る。加算劣化画像に、加算劣化特性の逆の特性に対応する関数を作用させて復元画像を生成する。

例えば数６の式に従って、加算劣化画像に加算劣化特性の逆行列を乗じて、数６の式で表される復元画像を生成する。Ｓ（ｐ、ｖ）は復元画像の周波数領域の情報であり、ｎは複数の劣化特性および複数の劣化画像の総数である。Ｉｍ（ｐ，ｖ）は周波数領域の各劣化画像であり、Ａｍ（ｐ，ｖ）はこれらの劣化画像の周波数領域の劣化特性である。ΣＩｍ（ｐ，ｖ）は劣化画像を加算して得られる加算劣化画像であり、ΣＡｍ（ｐ，ｖ）は劣化特性を加算して得られる加算劣化特性である。

本発明には、一般的な画像復元問題の手法を適用することが可能である。例えば、数７の式に従ってウィナーフィルタを適用することができる。または、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を適用してもよい。

周波数を合成して画像復元するステップ１０３について図２を用いて詳細に説明する。

実際には劣化画像を取得する枚数は限定されないが、図２では、二枚の劣化画像を取得することを前提に説明する。まず、あるシーンについての劣化前の原画像の周波数情報２０１がある。原画像の周波数情報２０１には、劣化特性の周波数情報２０２が掛けられる。また、２０１と異なる劣化特性の周波数情報２０３が掛けられる。劣化特性の周波数情報２０２，２０３の作用を受け、同じシーンについての劣化画像の周波数情報２０４、２０５が得られる。ここで、劣化特性の周波数情報２０２、２０３が異なるため、劣化画像の周波数情報２０４、２０５は異なる周波数特性となる。このとき、劣化によって、周波数成分２０６、２０７は、一部の情報が失われてしまっている。そこで、劣化画像の周波数情報２０４、２０５を加算して、加算劣化画像を得る処理２０８を行う。さらに劣化特性の周波数情報２０２、２０３を加算して、加算劣化特性を得る処理２０９を行う。ここで、劣化特性の周波数情報２０２，２０３および、劣化画像の周波数情報２０４，２０５の周波数特性は異なる。すなわち、加算する処理２０８、２０９によって、同一周波数の値において、一方の周波数の振幅が小さく、一方の周波数の振幅が大きい場合、周波数を補う事が可能である。このため、周波数情報を有効に活用した画像復元が可能になる。最後に画像復元する処理２１０では、２０８で加算された画像の周波数情報について、２０９で加算された劣化特性の周波数情報の逆特性に対応する関数をかけることで画像復元を行う。復元後の復元画像は２１１のような周波数の減少を改善した周波数情報となる。

ステップ１０４では、周波数を合成して画像復元する１０３で得られた周波数情報を、周波数領域から空間領域に変換する。

なお、ステップ１０２から１０４の処理は、画像処理装置におけるソフトウェアとして処理してもよい。その場合には、ステップ１０２から１０４の処理を実行するための画像復元プログラムを記録装置１３０７からＲＡＭに１３０５に展開して、ＣＰＵ１３０４が実行することによって、ステップ１０２から１０４の処理を実現する。

ステップ１０５は、周波数逆変換するステップ１０４で空間領域に変換された画像を出力するステップである。画像復元部１３０６にて算出された復元画像が記録装置１３０７に転送される。再生時には記録装置１３０７に保存された復元画像を表示装置１３０８に表示する。このように処理することで、良好な復元画像を得ることが可能になる。

異なる劣化特性を同じシーンについての撮像に反映させる方法は、実施形態１に挙げた方法に限られない。他の方法について図４、図５，図６、図１３を用いて説明する。図４、図５，図６、図１３に記載されているレンズは理想レンズであると仮定する。

まず、図４を用いてフィルター特性を変えることによって、互いに異なる劣化特性を反映させて周波数特性の異なる複数の劣化画像を得る方法を説明する。図４（ａ）は、点光源４０１、レンズ１３０１、フィルター４０４、撮像素子１３０２で構成されている。図４（ｂ）は、フィルター４０５が異なる形状に設定されている点において図４（ａ）と異なる。フィルターの形状は、絞り駆動部を用いて調整する。このとき、撮像素子上の像は、図４（ａ）で４０２、図４（ｂ）で４０３になる。フィルター４０４の形状とフィルター４０５の形状は互いに異なるので、像４０２と像４０３も異なる像となり、周波数特性の異なった画像を得る事ができる。撮像毎にフィルターの形状を異なる形状に設定して、同じシーンについての撮像を複数回行う。このようにして、周波数特性の異なる複数の劣化画像を得ることができる。

図５を用いて、レンズの屈折率を変えることによって、異なる劣化特性を反映させて周波数特性の異なる複数の劣化画像を得る方法を説明する。図５（ａ）は、点光源５０１、レンズ５０４、撮像素子１３０２で構成されている。図５（ｂ）は、点光源５０１、レンズ５０５、撮像素子１３０２で構成されている。レンズには、印加電圧を変更することによって屈折率を調整可能な液体レンズを用いる。印加電圧の変更は、電圧調整手段によって行う。図５（ａ）と（ｂ）では、印加電圧に基づいて異なる屈折率が設定されていて、フォーカス位置が異なる。レンズ５０４とレンズ５０５の屈折率を変えることで、撮像素子上の像５０２、５０３を異なる位置にフォーカスが合った状態にする。このように屈折率を変えて、フォーカス位置を変化させて、同じシーンを複数回撮像することによって、異なる劣化特性を反映させて周波数特性の異なる複数の劣化画像を得ることができる。撮像装置の構成によっては、互いに異なる劣化特性を同時に反映させて、同じシーンについての複数の劣化画像を一度の撮像で取得することもできる。この場合には、複数の劣化画像を同時に取得することができるので、同じシーンについての撮像を繰り返さなくてすむ。図６と図１３がその例である。

図６を用いて、撮像素子の読み出し特性を変えることで互いに異なる劣化特性を反映させて周波数特性の異なる複数の劣化画像を得る方法を説明する。図６の１３０２は、光学系によって結像した光学像を電気信号に変換する撮像素子を表す。６０１は撮像素子１３０２の一部を拡大した図である。６０３は、第１の受光部を表す。６０４は、第２の受光部を表す。撮像素子６０１上には、アレイ状にマイクロレンズが配置される。各マイクロレンズについて複数に分割される分割受光部が設けられる。図６では、受光部が、共通のマイクロレンズ下で第１の受光部６０３と第２の受光部６０４とに分割されている。第１の受光部６０３からの電気信号と第２の受光部６０４からの電気信号は、互いに独立した映像信号として処理される。第１の受光部と第２の受光部が受光する光束の光強度分布は互いに異なるので、それぞれから取得される画像には互いに異なる劣化特性が反映される。すなわち、互いに異なる劣化特性で同じシーンが撮像された複数の劣化画像を取得する。同じタイミングで複数の劣化画像を取得するので、複数の劣化画像を取得するのに要する時間を短縮することができる。図１３では、ビームスプリッタ１８０４を含む光学系を有する撮像装置を用いる。ここで、１８０１は点光源であり、１３０１はレンズである。ビームスプリッタ１８０４は、被撮像シーンの光学像を形成する光束の入射光を透過光と反射光に分割する。１８０５は、ビームスプリッタ１８０４を透過した光束を受光する位置に配置される第１の撮像素子である。像１８０２が、ビームスプリッタ１８０４を透過した光束によって第１の撮像素子１８０５上に生成される。１８０６は、ビームスプリッタ１８０４で反射された光束を受光する位置に配置される第２の撮像素子である。像１８０３が、ビームスプリッタ１８０４で反射された光束によって第２の撮像素子１８０６上に生成される。第１の撮像素子１８０５とビームスプリッタ１８０４間の距離が、第２の撮像素子１８０６とビームスプリッタ１８０４間の距離と異なるように配置する。すなわち、像１８０２の撮像には、像１８０３の撮像とは異なるフォーカス位置が反映される。このような構成を用いて、異なる劣化特性で複数の劣化画像を撮像する。同じタイミングで複数の劣化画像を取得するので、複数の劣化画像を取得するのに要する時間を短縮することができる。

続いて、本発明による画像復元方法の有効性について説明する。

上述した本発明の画像復元方法を適用して画像復元を行うことで本発明の有効性を確認する。

まず、有効性の確認に使用する原画像を図７（ａ）に示す。原画像は解像度２５６×２５６のグレースケール画像である。図７（ｂ）は、原画像のパワースペクトルである。

次に、原画像を劣化させ、周波数特性の異なる複数の劣化画像を作成する。ここで、劣化画像の枚数は限定されないが、有効性の検証では２枚とする。周波数特性の異なる複数の劣化画像を作成する為に、図７（ｃ）に示される第一のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と図７（ｅ）に示される第二のＰＳＦを用いる。図７（ｄ）（ｆ）は、それぞれ図７（ｃ）、（ｅ）のパワースペクトルである。第一のＰＳＦは幅１０ピクセル、角度２０度の直線であり、第二のＰＳＦは幅１０ピクセル、角度１６０度の直線である。第一のＰＳＦと第二のＰＳＦをそれぞれ原画像に畳み込む。さらに第一ＰＳＦを畳み込んだ原画像に対して平均０分散０．００００３のガウスのノイズを、第ニＰＳＦを畳み込んだ原画像に対して平均０分散０．００００３のガウスのノイズを加えた。第一第二のＰＳＦを畳み込み、ノイズを加えた原画像は、図８（ａ）に示される第一の劣化画像と図８（ｅ）に示される第二の劣化画像となる。第一の劣化画像と第二の劣化画像のパワースペクトルはそれぞれ図８（ｂ）と図８（ｆ）である。

得られた第一の劣化画像と第二の劣化画像、および第一のＰＳＦと第二のＰＳＦに対して、離散フーリエ変換を用いて周波数領域に変換する。周波数領域に変換された、第一の劣化画像、第二の劣化画像、および第一のＰＳＦ、第二のＰＳＦを、数６の式に従って加算を行い、加算された劣化画像と加算されたＰＳＦを計算する。加算された劣化画像に加算された劣化特性の逆特性に対応する関数をかける方法としては数７のウィナーフィルタを用いて、近似定数Γを０．０５として演算を行った。逆特性をかけた後、逆フーリエ変換し、復元画像を得る。得られた復元画像を図９（ａ）に示す。また復元画像のパワースペクトルを図９（ｂ）示す。復元画像について原画像とのＰＳＮＲ値を計算した結果を表１に示す。

また、有効性を検証するために、第一の劣化画像と第一のＰＳＦおよび、第ニの劣化画像と第ニのＰＳＦの組み合わせでそれぞれ数５のウィナーフィルタを用い、近似定数Γを０．０５で演算を行った。演算結果は図８（ｃ）に示される第一の復元画像と図８（ｇ）に示される第二の復元画像である。第一の復元画像と第二の復元画像のパワースペクトルはそれぞれ図８（ｄ）と図８（ｈ）となる。

第一の劣化画像および復元画像、第二の劣化画像および復元画像の原画像とのＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）値を計算した結果を表２に示す。

表１および表２から、本発明の画像復元方法を適用して生成した復元画像のＰＳＮＲは、表２における第一の復元画像のＰＳＮＲに比べて１．８９７３ｄｂ向上している。この結果から、本発明の画像復元方法を用いることによって良好な画像復元が行える事が確認できた。

さらに、原画像および、第一第二の劣化画像、第一第二の復元画像、復元画像の一部のパワースペクトルを用いて、本発明の画像復元方法が、劣化によって減少もしくは、失われた空間周波数を復元可能であることを説明する。

図１１（ａ）は元画像のパワースペクトルである。また、復元の効果を確認する為に図１１（ａ）の１２８行目のデータ１４０１の値を、図１１（ｂ）にパワースペクトルの強度を縦軸としてプロットした。加えて、図１１（ｃ）は、第一の劣化画像のパワースペクトルである図８（ｂ）の１２８行目のデータをプロットした図である。同様に、図１１（ｄ）は、第二の劣化画像のパワースペクトルである図８（ｆ）の１２８行目のデータをプロットした図である。図１１（ｅ）は、第一の復元画像のパワースペクトルである図８（ｄ）の１２８行目のデータをプロットした図である。図１１（ｆ）は、第二の復元画像のパワースペクトルである図８（ｈ）の１２８行目のデータをプロットした図である。図１２は、復元画像のパワースペクトルである図９（ｂ）の１２８行目のデータをプロットした図である。

ここで、図１１（ｂ）、図１１（ｃ）、図１１（ｄ）、図１１（ｅ）、図１１（ｆ）、図１２の１０１列目の強度（１４０２、１５０１、１５０２、１６０１、１６０２、１７０１）を用いて劣化によって減少もしくは、失われた空間周波数を復元可能であることを説明する。

図１１（ｂ）の１４０２の値は４．３０２８である。図１１（ｂ）は原画像の一部のパワースペクトルである。また、図１１（ｃ）の１５０１の値は撮像時の劣化により原画像の一部のパワースペクトル１４０２と比べて、１．４０７７に減少している。図１１（ｄ）の１５０２の値についても撮影時の劣化により原画像の一部のパワースペクトル１４０２と比べて、１．５３５５に減少している。ここで、図１１（ｅ）、図１１（ｆ）は図１１（ｃ）、図１１（ｄ）に対して数５のウィナーフィルタを用い、近似定数Γを０．０５で演算を行った後のパワースペクトルである。図１１（ｅ）の１６０１の値は０．２２０３であり、図１１（ｆ）の１６０２値は１．０１２であるので、どちらもウィナーフィルタによる復元処理では、失われた周波数成分は復元されないことがわかる。図１２は、本発明の画像復元方法を用いて復元した復元画像の一部のパワースペクトルであり、１７０１の値は、２．５５０６である。

上記より、１６０１と１６０２の値との原画像の一部のパワースペクトル値１４０２との差分は、それぞれ４．０８２５と３．２９０８である。さらに、１７０１の値との原画像の一部のパワースペクトル値１４０２との差分は、１．７５２２であり、原画像により近い値になっていることがわかる。また、詳細には示していないが、パワースペクトルの他の失われた成分に関しても、良好に復元されていることが図より見て取れる。この結果から、本発明の画像復元方法は、原信号により近いパワースペクトル値を導出しており、減少もしくは失われ空間周波数を良好に復元している事がわかる。

１３１１ レリーズボタン
１３０１ レンズ
１３０８ 表示装置
１３１０ 撮影モード選択ボタン

Claims (9)

1. 互いに異なる劣化特性で同じシーンが撮像された複数の劣化画像と劣化特性とから、当該シーンについての復元画像を生成する画像復元装置であって、
   前記劣化画像同士を周波数領域で加算して加算劣化画像を導出する手段と、前記劣化特性同士を周波数領域で加算して加算劣化特性を導出する手段と、前記加算劣化画像に前記加算劣化特性の逆特性に対応する関数を作用させて、当該シーンについての復元画像を生成する手段とを有することを特徴とする画像復元装置。
2. 互いに異なる劣化特性で同じシーンが撮像された複数の劣化画像と劣化特性とから、当該シーンについての復元画像を生成する画像処理装置の画像復元プログラムであって、
   前記画像処理装置に、前記劣化画像同士を周波数領域で加算して加算劣化画像を導出する工程と、前記劣化特性同士を周波数領域で加算して加算劣化特性を導出する工程と、前記加算劣化画像に前記加算劣化特性の逆特性に対応する関数を作用させて、当該シーンについての復元画像を生成する工程とを実行させることを特徴とする画像復元プログラム。
3. 互いに異なる劣化特性で同じシーンについての劣化画像を撮像する機能を有する撮像装置であって、
   撮像した前記劣化画像同士を周波数領域で加算して加算劣化画像を導出する手段と、
   前記劣化特性同士を周波数領域で加算して加算劣化特性を導出する手段と、
   前記加算劣化画像に前記加算劣化特性の逆特性に対応する関数を作用させて、当該シーンについての復元画像を生成する手段とを
   有することを特徴とする撮像装置。
4. 撮像素子と、
   前記撮像素子上に被撮像シーンの光学像を結像する光学系と、
   前記光学系を構成する少なくとも一部のレンズを移動させてフォーカス位置を制御するレンズ駆動手段とを有し、
   撮像毎にフォーカス位置が異なるように前記レンズ駆動手段を制御して、同じシーンを複数回撮像することによって、前記劣化画像を撮像することを特徴とする請求項３に記載の撮像装置。
5. 撮像素子と、
   少なくとも一部に印加電圧によって屈折率を調整可能な液体レンズを含み、前記撮像素子に被撮像シーンの光学像を結像する光学系と、
   前記液体レンズに印加する電圧を調整する電圧調整手段とを有し、
   撮像毎に電圧が異なるように前記電圧調整手段を制御して、同じシーンを複数回撮像することによって、前記劣化画像を撮像することを特徴とする請求項３に記載の撮像装置。
6. 撮像素子と、
   絞りを含み、前記撮像素子に被撮像シーンの光学像を結像する光学系と、
   前記絞りの形状を制御する絞り駆動手段とを有し、
   撮像毎に前記絞りの形状が異なるように前記絞り駆動手段を制御して、同じシーンを複数回撮像することによって、前記劣化画像を撮像することを特徴とする請求項３に記載の撮像装置。
7. 被撮像シーンの光学像を形成する光束の入射光を透過光と反射光に分割するビームスプリッタを含む光学系と、
   前記透過光を受光する第１の撮像素子と、
   前記反射光を受光する第２の撮像素子とを有し、
   前記第１の撮像素子と前記ビームスプリッタとの間の光軸上の距離が、前記第２の撮像素子と前記ビームスプリッタとの間の光軸上の距離と異なり、第１及び第２の撮像素子によって前記劣化画像を撮像することを特徴とする請求項３に記載の撮像装置。
8. 被撮像シーンの光学像を結像させる光学系と、
   前記光学系によって結像した光学像を電気信号に変換する撮像素子と、
   前記電気信号を映像信号に処理する手段とを有し、
   前記撮像素子は、アレイ状の複数のマイクロレンズと、
   各々のマイクロレンズに対応して設けられ、それぞれが第１の受光部と第２の受光部とに分割された複数の分割受光部を有し、
   前記第１の受光部からの電気信号と前記第２の受光部からの電気信号とを互いに独立に処理することによって前記劣化画像を撮像することを特徴とする請求項３に記載の撮像装置。
9. 互いに異なる劣化特性で同じシーンが撮像された複数の劣化画像と劣化特性とから、当該シーンについての復元画像を生成する画像復元方法であって、
   前記劣化画像同士を周波数領域で加算して加算劣化画像を導出する工程と、前記劣化特性同士を周波数領域で加算して加算劣化特性を導出する工程と、前記加算劣化画像に前記加算劣化特性の逆特性に対応する関数を作用させて、当該シーンについての復元画像を生成する工程とを有することを特徴とする画像復元方法。