JP2012069099A - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】画像回復処理において、撮像素子にて発生した折り返り信号の増幅に起因する弊害を低減する。
【解決手段】画像処理装置は、光学系１０７ａおよび撮像素子１０７ｂを含む撮像系により生成された撮影画像を取得する画像入力部１０７と、画像回復フィルタを作成するフィルタ作成部１０１，１０２，１０３と、撮影画像に対して画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理部１０５とを有する。フィルタ作成部は、撮像素子において発生し得る折り返り信号の周波数特性に応じて画像回復フィルタにおける各周波数成分の増幅率を設定する。
【選択図】図１

Description

本発明は、光学系の影響により劣化した画像を高解像度の画像に回復する画像処理技術に関する。

光学系を通して被写体を撮影する場合、光学系で発生した回折や光学系の収差の影響によって、１点の被写体からの光が像面上で１点に収束せずに空間的な広がりを持つことがある。このような広がりは、ＰＳＦ（Point Spread Function：点像強度分布関数）により表される。そして、撮影（撮像素子）により取得された画像には、被写体部分にＰＳＦで表される広がり成分が畳み込まれることでぼけが発生し、該画像の解像度が劣化する。

このような光学系による画像劣化を画像処理技術（画像回復処理）により補正する方法として、以下のような方法が提案されている。

実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）とし、ＰＳＦをｈ（ｘ，ｙ）とし、劣化画像をｇ（ｘ，ｙ）とするとき、これらは以下の関係を有する。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ ・・・（１）
この（１）式にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） ・・・（２）
となる。ただし、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。
よって、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） ・・・（３）
となる。これは、周波数空間上で劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で除することで、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。したがって、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化を受ける前の画像ｆ（ｘ，ｙ）を得ることができる。

ただし、実際にこのような処理を行って回復画像を得る場合、撮像素子によって生じたノイズを著しく増幅させることになり、良好な画像を得ることが難しい。そこで、ノイズ増幅を抑制するための画像回復処理として、以下の（４）式で表されるウィーナーフィルタを用いることが知られている。
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）^２＋Γ） ・・・（４）
ただし、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。

（４）式を、光学系の周波数と位相情報を持つＯＴＦに乗算すれば、光学系での回折や光学系の収差により発生したＰＳＦの位相を０にし、周波数特性を増幅することで、高解像度で良好な画像を得ることができる。

また、特許文献１には、画像回復後のＰＳＦに微小な広がりを設定して画像回復処理を行う画像処理方法が開示されている。また、特許文献２には、ＰＳＦから作成した画像回復フィルタにより劣化画像を回復する画像回復処理が開示されている。

特開２００６−２３８０３２号公報 特開２００９−１２４５６８号公報

ところで、光学系により形成された被写体像（光学像）は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等の撮像素子によって電気的にサンプリングされる。このとき、本来は連続量である光学像が撮像素子の複数の画素によって離散的な値に変換されるため、周波数空間ではサンプリング周波数を周期に持つ周波数信号となる。そして、この周期性により、周波数信号がサンプリング周波数の２分の１を超えて分布している場合、周波数信号の裾が重なって折り返り信号（エイリアシング）となってしまうために正確な信号が再現できなくなる。このサンプリング周波数の２分の１の値をナイキスト周波数という。

一般に、劣化画像を回復するための画像回復処理を行う際に高周波成分を大きく増幅すると、ノイズのみならず、ナイキスト周波数を超えた周波数の折り返り信号をも増幅することとなる。これにより、回復画像にモアレ、色づき、アーティファクト等が現れるという弊害が生じる。

本発明は、撮像素子において発生した折り返り信号の増幅による弊害を低減することにより、良好な回復画像を得ることを可能とする画像処理装置、画像処理方法および画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、光学系および撮像素子を含む撮像系により生成された撮影画像を取得する画像入力部と、画像回復フィルタを作成するフィルタ作成部と、撮影画像に対して画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理部とを有する。そして、フィルタ作成部は、撮像素子において発生し得る折り返り信号の周波数特性に応じて画像回復フィルタにおける各周波数成分の増幅率を設定することを特徴とする。

なお、撮像系と上記画像処理装置とを含む撮像装置も本発明の他の一側面を構成する。

また、本発明のさらに他の一側面としての画像処理方法（画像処理プログラム）は、光学系および撮像素子を含む撮像系により生成された撮影画像を取得するステップと、画像回復フィルタを作成するステップと、撮影画像に対して画像回復フィルタを用いた画像回復処理を行って回復画像を生成するステップとを有し、画像回復フィルタを作成するステップにおいて、撮像素子において発生し得る折り返り信号の周波数特性に応じて画像回復フィルタにおける各周波数成分の増幅率を設定することを特徴とする。

本発明によれば、画像回復処理において、撮像素子にて発生した折り返り信号の増幅によるモアレ、色づき、アーティファクト等の発生を抑制し、高解像度で良好な回復画像を得ることができる。

本発明の実施例１である画像処理装置の構成を示すブロック図。 実施例１における画像回復処理を示すフローチャート。 本発明の実施例２である画像処理装置の構成を示すブロック図。 実施例２における画像回復処理を示すフローチャート。 光学系の収差が小さい場合と大きい場合のＰＳＦの例を示す図。 光学系の収差が小さい場合における画像回復処理前のＭＴＦと折り返り信号の例を示す図。 光学系の収差が小さい場合における画像回復処理前のＭＴＦの例を示す図。 光学系の収差が小さい場合におけるウィーナーフィルタによる回復Ｇａｉｎの例を示す図。 光学系の収差が小さい場合における本発明の実施例３の画像回復フィルタによる回復Ｇａｉｎの例を示す図。 光学系の収差が小さい場合におけるウィーナーフィルタによる画像回復処理後のＭＴＦの例を示す図。 光学系の収差が小さい場合における実施例３の画像回復フィルタによる画像回復処理後のＭＴＦの例を示す図。 光学系の収差が大きい場合における画像回復処理前のＭＴＦと折り返り信号の例を示す図。 光学系の収差が大きい場合における画像回復処理前のＭＴＦの例を示す図。 光学系の収差が大きい場合におけるウィーナーフィルタによる回復Ｇａｉｎの例を示す図。 光学系の収差が大きい場合における実施例３の画像回復フィルタによる回復Ｇａｉｎの例を示す図。 光学系の収差が大きい場合におけるウィーナーフィルタによる画像回復処理後のＭＴＦの例を示す図。 光学系の収差が大きい場合における実施例３の画像回復フィルタによる画像回復処理後のＭＴＦの例を示す図。 画像回復処理前と画像回復処理後の画像の例を示す図。 撮像素子のサンプリング周波数までの帯域における画像回復処理前のＭＴＦの例を示す図。 撮像素子のサンプリング周波数までの帯域における画像回復処理後のＭＴＦの例を示す図。 撮像素子のサンプリング周波数までの帯域における回復Ｇａｉｎの例を示す図。 撮像素子の色成分別の画素配列の一例を示す図。 撮像素子の色成分別の画素配列における周波数特性の一例を示す図。 周辺像高における非対称な形状をもったＰＳＦの一例を示す図。 周辺像高のＰＳＦにかける回復Ｇａｉｎの一例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置としての撮像装置の構成を示している。本実施例の撮像装置は、撮像光学系１０７ａ、撮像光学系１０７ａにより形成された被写体像（光学像）を光電変換する撮像素子１０７ｂおよび撮像素子１０７ｂからの出力信号に基づいて撮影画像を生成する画像生成回路１０７ｃを含む撮影画像入力部１０７を有する。

また、撮像装置は、ＯＴＦ入力部１０１、画像回復フィルタ作成システム１０２、フーリエ変換処理システム１０３、実空間画像回復フィルタ保持部１０４、畳み込み処理実行システム１０５および回復画像出力部１０６を有する。

本実施例では、ＯＴＦ入力部１０１は、撮像光学系１０７ａおよび撮像素子１０７ｂを含む撮像系のＯＴＦ（光学伝達関数）およびＯＴＦのナイキスト周波数を取得する。ここで用いられるＯＴＦは、コンピュータによる撮像光学系１０７ａのシミュレーション結果として得ることができる。

画像回復フィルタ作成システム１０２は、ＯＴＦ入力部１０１に入力されたＯＴＦから画像回復フィルタを作成する。この際、画像回復フィルタ作成システム１０２は、撮像素子１０７ｂにて発生した折り返り信号（エイリアシング）の周波数特性に応じて（折り返り信号の周波数特性を考慮して）、画像回復フィルタにおける撮影画像（ＭＴＦ）の各周波数成分の増幅率を設定する。

折り返り信号は、撮像素子１０７ｂの１画素のサイズ（画素サイズ）から決定されるナイキスト周波数を超える周波数の信号である。ここで、ｂを画素サイズとすると、ナイキスト周波数は１／（２ｂ）で表される。

フーリエ変換処理システム１０３は、画像回復フィルタ作成システム１０２にて折り返り信号の周波数特性を考慮して作成された画像回復フィルタに対してフーリエ変換を行って、実空間上での画像回復フィルタを作成する。ＯＴＦ入力部１０１、画像回復フィルタ作成システム１０２およびフーリエ変換処理システム１０３によりフィルタ作成部が構成される。

実空間画像回復フィルタ保持部１０４は、フーリエ変換処理システム１０３によって作成された実空間上での画像回復フィルタを保持しておく。

畳み込み処理実行システム（回復処理部）１０５は、実空間画像回復フィルタ保持部１０４にて保持された実空間上での画像回復フィルタを用いて、撮影画像入力部１０７から取得された撮影画像に対して畳み込み処理（画像回復処理）を行う。回復画像出力部１０６は、畳み込み処理実行システム１０５による画像回復処理により得られた、高解像度で良好な回復画像を出力する。出力された回復画像は、半導体メモリ等の記録媒体に記録されたり、モニタに表示されたりする。

なお、画像回復フィルタは、撮影画像の取得ごとに作成してもよいし、撮影画像の取得前に作成して保存しておいてもよい。後者の場合、撮影画像入力部１０７から撮影画像を取り込むだけで画像回復処理を行うことが可能となる。

図２のフローチャートには、図１に示した画像処理装置における画像処理手順（画像処理方法）を示している。なお、この画像処理は、コンピュータである画像処理装置が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１００１で、ＯＴＦ入力部１０１にＯＴＦが入力されると、次にステップＳ１００２では、撮影画像入力部１０７から撮影画像が入力される。

続いて、ステップＳ１００３では、画像回復フィルタ作成システム１０２が、入力されたＯＴＦから、折り返り信号の周波数特性に応じた画像回復フィルタを作成する。さらに、フーリエ変換処理システム１０３は、画像回復フィルタ作成システム１０２にて作成された画像回復フィルタに対するフーリエ変換を行って、実空間上の画像回復フィルタを作成する。そして、ステップＳ１００４では、畳み込み処理実行システム１０５は、フーリエ変換処理システム１０３で作成された画像回復フィルタを撮影画像に対して実空間上で畳み込む。これにより、ステップＳ１００５にて、高解像度で良好な回復画像が生成され、回復画像出力部１０６から出力される。

図３には、本発明の実施例２である画像処理装置としての撮像装置の構成を示している。本実施例の撮像装置は、撮像光学系２０８ａ、該撮像光学系２０８ａにより形成された被写体像を光電変換する撮像素子２０８ｂおよび撮像素子２０８ｂからの出力信号に基づいて画像を生成する画像生成回路２０８ｃを含む撮影画像入力部２０８を有する。

また、撮像装置は、ＰＳＦ入力部２０１、第１のフーリエ変換処理システム２０２、画像回復フィルタ作成システム２０３、第２のフーリエ変換処理システム２０４、画像回復フィルタ保持部２０５および畳み込み処理実行システム２０６を有する。さらに、撮像装置は、回復画像出力部２０７を有する。

ＰＳＦ入力部２０１は、実測されたＰＳＦ（点像強度分布関数）と該実測ＰＳＦのナイキスト周波数を取得する。第１のフーリエ変換処理システム２０２は、実測ＰＳＦからＯＴＦ（光学伝達関数）へのフーリエ変換を行う。これにより、実測ＰＳＦに基づくＯＴＦが取得される。

画像回復フィルタ作成システム２０３は、フーリエ変換により得られたＯＴＦから画像回復フィルタを作成する。この際、画像回復フィルタ作成システム２０３は、撮像素子２０８ｂにおいて発生した折り返り信号の周波数特性に応じて（折り返り信号の周波数特性を考慮して）、画像回復フィルタにおける撮影画像（ＭＴＦ）の各周波数成分の増幅率を設定する。

実施例１でも説明したように、折り返り信号は、撮像素子２０８ｂの１画素のサイズ（画素サイズ）から決定されるナイキスト周波数を超える周波数信号である。ここで、ｂを画素サイズとすると、ナイキスト周波数は１／（２ｂ）で表される。

第２のフーリエ変換処理システム２０４は、画像回復フィルタ作成システム２０３にて折り返り信号の周波数特性を考慮して作成された画像回復フィルタに対してフーリエ変換を行い、実空間上での画像回復フィルタを作成する。ＰＳＦ入力部２０１、第１のフーリエ変換処理システム２０２、画像回復フィルタ作成システム２０３および第２のフーリエ変換処理システム２０４によりフィルタ作成部が構成される。

画像回復フィルタ保持部２０５は、第２のフーリエ変換処理システム２０４によって作成された実空間上での画像回復フィルタを保持しておく。

畳み込み処理実行システム（回復処理部）２０６は、画像回復フィルタ保持部２０５に保持された実空間上での画像回復フィルタを用いて、撮像素子を含む撮影画像入力部２０８から取得された撮影画像に対して畳み込み処理（画像回復処理）を行う。

回復画像出力部２０７は、畳み込み処理実行システム２０６による画像回復処理により得られた、高解像度で良好な回復画像を出力する。出力された回復画像は、半導体メモリ等の記録媒体に記録されたり、モニタに表示されたりする。

なお、実施例１と同様に、画像回復フィルタは、撮影画像の取得ごとに作成してもよいし、撮影画像の取得前に作成して保存しておいてもよい。後者の場合、撮影画像入力部２０８から撮影画像を取り込むだけで画像回復処理を行うことが可能となる。

図４のフローチャートには、図３に示した画像処理装置における画像処理手順（画像処理方法）を示している。なお、この画像処理は、コンピュータである画像処理装置が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ２００１で、ＰＳＦ入力部２０１に実測ＰＳＦが入力されると、次にステップＳ２００２では、第１のフーリエ変換処理システム２０２は、入力された実測ＰＳＦにフーリエ変換を行ってＯＴＦを取得する。次に、ステップＳ２００３では、撮影画像入力部２０８から撮影画像が入力される。

続いて、ステップＳ２００４では、画像回復フィルタ作成システム２０３は、実測ＰＳＦからのフーリエ変換により得られたＯＴＦから、折り返り信号の周波数特性に応じた画像回復フィルタを作成する。さらに、第２のフーリエ変換処理システム２０４は、画像回復フィルタ作成システム２０３により作成された画像回復フィルタに対してフーリエ変換を行って、実空間上の画像回復フィルタを作成する。そして、ステップＳ２００５では、畳み込み処理実行システム２０６は、作成された画像回復フィルタを撮影画像に対して実空間上で畳み込む。これにより、ステップＳ２００６にて、高解像度で良好な回復画像が生成され、回復画像出力部２０７から出力される。
なお、上記実施例１，２では、画像回復処理を行う画像処理装置を内蔵した撮像装置について説明した。しかし、本発明では、撮像装置とは別の画像処理装置をパーソナルコンピュータにより構成し、撮像装置にて生成された撮影画像を画像処理装置に取り込んで、実施例１，２にて説明した画像処理プログラムにより回復画像を生成させるようにしてよい。

次に、実施例１，２にて説明した画像回復処理について実施例３として詳しく説明する。従来、光学系で発生した回折や光学系の収差によって劣化した画像を、高解像度な画像に回復する画像回復処理が種々提案されている。しかし、撮像素子にて発生し得る折り返り信号（折り返り成分）によって発生する画像回復処理後の弊害を低減する手法は提案されていない。そこで、本実施例では、より高解像度で良好な画像を得るために、上記弊害を低減できるようにした画像回復処理を行う。

まず、本実施例の画像回復処理の概要について説明する。撮像光学系によって発生する回折や撮像光学系の収差は、撮像光学系の焦点距離（ズーム位置）、撮影距離（フォーカス位置）および像高といった条件によってその種類や絶対量が異なる。このため、ＰＳＦ（点像強度分布関数）やＯＴＦ（光学伝達関数）もそれらの条件に応じて異なる。そこで、本実施例では、それぞれの条件に応じた画像回復フィルタを作成し、使用する画像回復フィルタを順次切り替えながら画像回復処理を行う。

ただし、このような画像回復処理を行う場合、それぞれの条件でのＰＳＦの空間的な広がりの大きさに応じた画像回復フィルタの周波数特性は大きく異なる。このため、画像回復処理に以下のような問題が生じる。

ＰＳＦの空間的な広がりが小さい領域（例えば、画像の中央領域）では、そのＯＴＦはナイキスト周波数を超えた高周波領域でも十分大きな値を持つことになる。したがって、画像回復フィルタに折り返り成分を多く含むこととなる。一方、ＰＳＦの空間的な広がりが大きい領域（例えば、画像の周辺領域）では、そのＯＴＦはナイキスト周波数を超えた高周波領域ではほとんど値を持たない。したがって、画像回復フィルタにもほとんど折り返り成分を含まない。上記各条件に応じた画像回復フィルタはその周波数特性が大きく異なるため、これらの周波数特性を一律に増幅すると、高周波の折り返り成分によるモアレ、色づき、アーティファクト等の弊害が発生する。

このような問題を解決するための方法として、本実施例では、折り返りの周波数特性（空間周波数特性）を考慮して画像回復フィルタにおける各周波数成分の増幅率を設定する。

通常は、画像回復処理においてＯＴＦを全周波数領域で１にするような増幅処理を行うと、撮像素子によって発生したノイズを著しく増幅させてしまい、良好な画像が得られない。そこで、ノイズ増幅を抑制しながら良好な画像を得るウィーナーフィルタが一般に知られている。これに対し、本実施例の画像回復処理によれば、撮像素子によるノイズ増幅を抑制するだけでなく、折り返り成分の増幅を抑制することができ、さらに良好な回復画像を得ることができる。

次に、本実施例の画像回復処理の技術的意義について説明する。本実施例では、例えば（５）式で示す画像回復フィルタ（Ｆｉｌｔｅｒ）を用いる。ただし、この画像回復フィルタは、折り返り信号の空間周波数特性を考慮して作成された画像回復フィルタの一例に過ぎず、他の画像回復フィルタを用いてもよい。
Ｆｉｌｔｅｒ＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／
（｜Ｈ（ｕ，ｖ）｜^２＋Γ＋｜Ｈ（u-u_ sampling, v-v_ sampling)｜） ・・（５）
ただし、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）、u_samplingは撮像素子による空間周波数ｕでのサンプリング周波数、v_samplingは撮像素子による空間周波数ｖでのサンプリング周波数、Γはノイズの増幅量を低減するための定数である。

（５）式で示した画像回復フィルタを用いた画像回復処理の例を以下に示す。光学系の軸上のＯＴＦは高周波成分を多く含むため、折り返り成分の発生量が多くなるが、上記のよう折り返りの特性を考慮した画像回復フィルタを作成すれば、折り返り成分の量が多い周波数帯は増幅が抑制される。したがって、モアレ、色づき、アーティファクト等が発生するという画像回復処理による弊害を抑えることができる。

また、光学系の軸外のＯＴＦは高周波成分が少ないため、折り返り成分の発生量が少なくなるが、上記のよう折り返りの特性を考慮した画像回復フィルタを作成すれば、折り返り成分の量が少ない周波数帯は増幅量が大きくなる。これにより、高解像度が得られる。

図５（ａ）には、光学系の収差が小さい場合のＰＳＦを示している。この場合のＭＴＦ（変調伝達関数）を図６（ａ）に示す。図６（ａ）（および図６（ｂ）、図７〜１１）において、横軸は周波数を示しており、該周波数の最大値はナイキスト周波数である。また、図６（ａ）（および図６（ｂ））において、縦軸はＭＴＦの周波数特性を示している。

図６（ａ）において、ＭＴＦはナイキスト周波数においても有意な値を持っている。このような場合、図６（ｂ）に破線で示すような折り返り成分（折り返り信号）によって、ＭＴＦは図７に示すようになる。

図７に示すようなＭＴＦに基づいて画像回復フィルタを作成すると、折り返り信号を大きく増幅してしまい、画像回復処理後の画像にモアレ、色づき、アーティファクト等の弊害が発生する。このような弊害は、特にナイキスト周波数近傍のＭＴＦを大きく増幅すると発生し易い。

ここでは、画像回復処理の前後のＭＴＦ比を増幅率としての回復Ｇａｉｎと定義する。すなわち、
回復Ｇａｉｎ＝画像回復処理後のＭＴＦ／画像回復処理前のＭＴＦ
である。

そして、本実施例では、上述した弊害の発生を抑制するために、折り返り信号の発生量が多い周波数帯は回復Ｇａｉｎを抑制するように画像回復フィルタに周波数特性を持たせる。言い換えれば、画像回復フィルタにおける各周波数成分の増幅率を、折り返り信号の発生量が多い周波数成分ほど小さくなるように設定する。

図８は、（４）式で表される通常のウィーナーフィルタを用いた場合の回復Ｇａｉｎ（縦軸）を示している。また、図９は、本実施例における折り返り信号の周波数特性を考慮した画像回復フィルタを用いた場合の回復Ｇａｉｎ（縦軸）を示している。

まず、ウィーナーフィルタによる画像回復処理について説明する。図１０に示す画像回復処理後のＭＴＦ（縦軸）は、図７に示す画像回復処理前のＭＴＦに対して、図８に示すウィーナーフィルタ（（４）式）による回復Ｇａｉｎを乗算することで得られる。この場合の画像回復処理では、折り返り信号の寄与が最も大きいナイキスト周波数近傍でも有意な回復Ｇａｉｎを有するため、ナイキスト周波数のＭＴＦを増幅する際に弊害が発生するおそれがある。

次に、本実施例における折り返り信号の周波数特性を考慮した画像回復フィルタを用いた画像回復処理について説明する。図１１に示す画像回復処理後のＭＴＦ（縦軸）は、図７に示す画像回復処理前のＭＴＦに対して、図９に示す折り返り信号の周波数特性を考慮した画像回復フィルタ（（５）式）による回復Ｇａｉｎを乗算することで得られる。

この場合の画像回復処理では、折り返り信号の寄与が最も大きいナイキスト周波数近傍では回復Ｇａｉｎが微小になるので、ナイキスト周波数のＭＴＦの増幅を抑えることができ、上述した弊害の発生を抑制することができる。

なお、上述した撮像素子により発生し得る折り返り信号の周波数特性だけでなく、光学ローパスフィルタによって発生し得る折り返り信号を考慮した画像回復フィルタを作成して用いてもよい。

図５（ｂ）には、光学系の収差が大きい場合のＰＳＦを示している。この場合のＭＴＦを図１２（ａ）に示す。図１２（ａ）（および図１２（ｂ）、図１３〜１７）において、横軸は周波数を示しており、該周波数の最大値はナイキスト周波数である。また、図１２（ａ）（および図１２（ｂ））において、縦軸はＭＴＦの周波数特性を示している。

図１２（ａ）において、ＭＴＦはナイキスト周波数では小さな値となっている。このような場合、図１２（ｂ）に破線で示すような折り返り信号によって、ＭＴＦは図１３に示すようになる。

図１３に示されたＭＴＦに基づいて画像回復フィルタを作成すると、折り返り信号を大きく増幅してしまい、画像回復処理後の画像にモアレ、色づき、アーティファクト等の弊害が発生してしまう。このような弊害は、特にナイキスト周波数近傍のＭＴＦを大きく増幅すると発生し易い。

本実施例では、上述した弊害の発生を抑制するために、折り返り信号の発生量が多い周波数帯は回復Ｇａｉｎを抑制するように画像回復フィルタに周波数特性を持たせる。つまり、画像回復フィルタにおける各周波数成分の増幅率を、折り返り信号の発生量が多い周波数成分ほど小さくなるように設定する。

図１４は、（４）式で表される通常のウィーナーフィルタを用いた場合の回復Ｇａｉｎ（縦軸）を示している。また、図１５は、本実施例における折り返り信号の周波数特性を考慮した画像回復フィルタを用いた場合の回復Ｇａｉｎ（縦軸）を示している。

まず、ウィーナーフィルタによる画像回復処理について説明する。図１６に示す画像回復処理後のＭＴＦ（縦軸）は、図１３に示す画像回復処理前のＭＴＦに対して、図１４に示すウィーナーフィルタ（（４）式）による回復Ｇａｉｎを乗算することで得られる。この場合の画像回復処理では、折り返り信号の寄与が最も大きいナイキスト周波数近傍でも有意な回復Ｇａｉｎを有するため、ナイキスト周波数のＭＴＦを増幅する際に弊害が発生するおそれがある。

次に、本実施例における折り返り信号の周波数特性を考慮した画像回復フィルタを用いた画像回復処理について説明する。図１７に示す画像回復処理後のＭＴＦ（縦軸）は、図１３に示す画像回復処理前のＭＴＦに対して、図１５に示す折り返り信号の周波数特性を考慮した画像回復フィルタ（（５）式）による回復Ｇａｉｎを乗算することで得られる。

この場合の画像回復処理では、折り返り信号の寄与が最も大きいナイキスト周波数近傍では回復Ｇａｉｎが微小になるので、ナイキスト周波数のＭＴＦの増幅を抑えることができ、上述した弊害の発生を抑制することができる。

図１８（ａ）には、画像回復処理前の画像の例を示している。本実施例で説明した画像回復フィルタを用いた画像回復処理により、図１８（ｂ）に例示するような回復画像が得られる。

なお、実施例３では、画像回復フィルタにおける各周波数成分の増幅率を折り返り信号の発生量が多い周波数成分ほど小さくなるように設定する場合について説明したが、必ずしも単純にこのような設定ではなく、様々な要素を考慮して増幅率を設定してもよい。

さらに実施例３では、折り返り信号を含むＭＴＦに基づいて画像回復フィルタによる各周波数成分の増幅率を設定する場合について説明した。しかし、撮像系のＭＴＦにおける折り返り信号を含まない周波数特性と折り返り信号の周波数特性との比に基づいて画像回復フィルタによる各周波数成分の増幅率を設定してもよい。

本実施例では、撮像素子のＲＧＢ画素配列のような、いわゆるベイヤ配列になっている画素に対する処理として、例えば（６）式で示す画像回復フィルタ（Ｆｉｌｔｅｒ）を用いる。ただし、この画像回復フィルタは、折り返り信号の空間周波数特性を考慮して作成された画像回復フィルタの一例に過ぎず、他の画像回復フィルタを用いてもよい。

ただし、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Ｍ（ｕ，ｖ）は撮像素子の画素配列の周波数特性である。Ｇａｉｎｆｕｎｃは画像回復フィルタの回復Ｇａｉｎを周波数に応じて制御するための関数であり、換言すれば増幅率を決定するための関数である。また、Γはノイズの増幅量を低減するための定数である。

図１９は折り返り信号の量が大きいＭＴＦ、中程度のＭＴＦおよび小さいＭＴＦを撮像素子のサンプリング周波数までの周波数帯域で示している。これらは一般的には収差量が小さい場合のＭＴＦ、中程度のＭＴＦおよび大きいＭＴＦに相当する。

図２０に示す画像回復処理後のＭＴＦ（縦軸）は、図１９に示す画像回復処理前のＭＴＦに対して、図２１に示す折り返り信号の周波数特性を考慮した画像回復フィルタ（（６）式）による回復Ｇａｉｎを乗算することで得られる。

この場合の画像回復処理では、折り返り信号の寄与が最も大きいナイキスト周波数近傍では回復Ｇａｉｎが微小になるので、ナイキスト周波数のＭＴＦの増幅を抑えることができ、上述した弊害の発生を抑制することができる。

図２２（ａ）〜（ｃ）はデジタルカメラで用いられる撮像素子における色成分別の画素配列の一例を示しており、ここではＲを図２２（ｂ）により、Ｇを図２２（ａ）により、Ｂを図２２（ｃ）により示している。

単板式の撮像素子上では、Ｒ，Ｇ，Ｂごとに光を感知できる画素位置が異なるような、いわゆるモザイク配列になっている。ここでモザイク配列の周波数特性による折り返り信号を考慮すれば、例えばＲＧＢごとの画素配列の画像に対して画像回復処理を行うことが可能となる。図２２（ａ）〜（ｃ）でそれぞれ、光を感知できる画素（白）を１、光を感知できない画素（黒）を０とし、それぞれをｍ＿Ｒ（ｘ,ｙ），ｍ＿Ｇ（ｘ,ｙ），ｍ＿Ｂ（ｘ,ｙ）とおく。

このときＲ，Ｇ，Ｂそれぞれの周波数空間上での画像回復フィルタを、

とし、モザイク配列ではない状態での撮像素子のナイキスト周波数までを、それぞれの色成分別での画素配列における周波数帯域として用いる。これにより、モザイク配列の色成分別画素の画像に対して画像回復処理が可能となる。

ただし、Ｆｉｌｔｅｒ＿Ｒ（ｕ，ｖ），Ｆｉｌｔｅｒ＿Ｇ（ｕ，ｖ），Ｆｉｌｔｅｒ＿Ｂ（ｕ，ｖ）はそれぞれ、撮像素子における色成分別の画素配列の周波数帯域を考慮した周波数空間上での画像回復フィルタである。

Ｈ＿Ｒ（ｕ，ｖ），Ｈ＿Ｇ（ｕ，ｖ），Ｈ＿Ｂ（ｕ，ｖ）はそれぞれ、ＲＧＢの光学空中像におけるＯＴＦである。

Ｍ＿Ｒ（ｕ，ｖ），Ｍ＿Ｇ（ｕ，ｖ），Ｍ＿Ｂ（ｕ，ｖ）はそれぞれ、撮像素子における色成分別の画素配列（ＲＧＢ）の周波数特性であり、それぞれｍ＿Ｒ（ｘ,ｙ），ｍ＿Ｇ（ｘ,ｙ），ｍ＿Ｂ（ｘ,ｙ）にフーリエ変換を施したものである。

図２３には、その具体的な周波数特性の関数を示す。Ｍ＿Ｇ（ｕ，ｖ）は黒丸の位置のみに１が存在するくし型関数であり、Ｍ＿Ｒ（ｕ，ｖ）とＭ＿Ｂ（ｕ，ｖ）は白抜き四角の位置のみに１が存在するくし型関数である。図中に示しているナイキスト周波数とは、ＲＧＢ別の画素配列となっている画像を一枚の画像に変換した際の、画像に抜けがない状態でのナイキスト周波数に相当する。

Gainfunc＿Ｒ（ｕ，ｖ），Gainfunc＿Ｇ（ｕ，ｖ），Gainfunc＿Ｂ（ｕ，ｖ）はそれぞれ、画像回復フィルタの回復Ｇａｉｎを周波数に応じて制御するための関数であり、換言すれば、色別の増幅率を決定するための関数である。
また、

はコンボリューション演算を表す。さらに、Γ＿Ｒ，Γ＿Ｇ，Γ＿Ｂはノイズの増幅量を低減するための定数である。

図２４には、周辺像高における非対称な形状を持ったＰＳＦの例を示す。これを図２２のようなＲＧＢの画素配列で画像を取得できる撮像素子で取得する。このとき、ＲＧＢそれぞれの周波数帯域を考慮した回復Ｇａｉｎの一例を図２５に示す。図２５は、図２４中の白点線に沿った断面における回復Ｇａｉｎを示しており、縦軸は回復Ｇａｉｎの値そのものを示している。

実施例５として、交換レンズ等の撮像光学系が、カメラ（撮像装置）本体に対して、取り外しが可能なカメラ（撮像装置）によって取得された画像を、パーソナルコンピュータ等の画像処理装置で画像回復処理を行う形態について説明する。

画像処理装置の記憶手段には、ＣＤやＤＶＤ等の記録媒体に記録された本発明の画像処理プログラムがインストールされ、画像処理装置のＣＰＵは、そのプログラムの指示に従って、以下の画像処理を実行する。

画像処理プログラムが記録された記録媒体には、画像回復フィルタを生成するために必要な係数データが記録されている。プログラムを画像処理装置にインストールする際に、記憶媒体から画像処理装置の記憶手段に係数データが書き込まれる。

画像処理装置が画像回復処理を行う際に、それら係数データと撮像素子が特定可能な情報を用いて２次元データである画像回復フィルタを生成する。そして、その画像回復フィルタを回復対象としている画像に対してコンボリューションすることによって回復画像が生成される。

一方、カメラ本体は、カメラ本体に取り付けられた交換レンズの情報（交換レンズを特定することができる識別情報）を交換レンズから受け取ることが可能である。

また、カメラ本体のメモリ（記憶手段）には、カメラ本体が有する撮像素子を特定可能な情報、特に撮像素子の画素のサイズに関する情報が記憶されている。

カメラと画像処理装置の互いの通信が可能になると、カメラは、自身のメモリから回復対象となる画像と、その画像を取得した際の交換レンズの識別情報と撮像素子を特定可能な情報を読み出し、それらを画像処理装置に送信する。ここで、撮像素子の画素のサイズを特定可能な情報とは、例えばカメラ本体の識別情報や撮像素子の識別情報や撮像素子の画素のサイズのデータ等である。

一般的に、カメラによって取得された画像には、ＥＸＩＦ情報などに代表される、画像を撮像した際の撮影条件が付帯される。撮影条件とは、交換レンズのＩＤ（識別情報）や交換レンズのＦ値や交換レンズの焦点距離や被写体距離等である。よって、カメラは、上記方法に代えてＥＸＩＦ情報を含む画像を画像処理装置側に送信してもよい。

画像処理装置は、画像と交換レンズの識別情報と撮像素子が特定可能な情報を受信し、あらかじめ記憶手段に記憶されたデータを参照して、カメラから送信された撮影条件に対応する係数データを読み出す。撮影条件に対応する係数データとは、複数の撮影条件から決まる係数データであってもよいし、複数の撮影条件のうち、例えば交換レンズの識別情報から決まる係数データであってもよい。

そして、その係数データを用いて、カメラから送信された撮像素子を特定可能な情報に基づいて、画像回復フィルタを生成する。そして、生成された画像回復フィルタを使用して、画像を回復する。係数データは、光学伝達関数を生成するための係数データであり、係数データを用いて生成された光学伝達関数の逆数をフーリエ変換することにより、画像回復フィルタを生成する。

以上のように、撮像素子を特定可能な情報を用いて画像回復フィルタを生成し、その画像回復フィルタを用いて画像を回復することによって、撮像素子において発生し得る折り返り信号による弊害を低減し、高い画質を有する回復画像を生成することができる。

実施例６として、撮像光学系とカメラ本体が一体になっているカメラ（撮像装置）から取得された画像を、パーソナルコンピュータ等の画像処理装置で画像回復処理を行う形態について説明する。

画像処理装置の記憶手段には、ＣＤやＤＶＤ等の記録媒体に記録された本発明の画像処理プログラムがインストールされ、画像処理装置のＣＰＵは、そのプログラムの指示に従って、以下の画像処理を実行する。

画像処理プログラムが記録された記録媒体には、画像回復フィルタを生成するために必要な係数データが記録されている。プログラムをインストールする際に、それら記憶媒体から画像処理装置の記憶手段に係数データが書き込まれ、画像処理装置が、画像回復処理を行う際に、それら係数データから２次元データである画像回復フィルタを生成する。そして、その画像回復フィルタを回復対象としている画像に対してコンボリューションすることによって回復画像が生成される。

一方、撮像装置は、自身のメモリ（記憶手段）に、自身のＩＤ（識別情報）を記憶しており、撮像された画像にその情報をＥＸＩＦ情報として記録する機能を有している。

撮像装置と画像処理装置の互いの通信が可能になると、撮像装置は、自身のメモリから回復対象となる画像と撮像装置のＩＤ（識別情報）を含むＥＸＩＦ情報を画像処理装置に送信する。

画像処理装置は、その画像とＥＸＩＦ情報を受信し、ＥＸＩＦ情報に基づいて決まる係数データを読み出す。そして、その係数データと撮像装置のＩＤを用いて画像回復フィルタ生成し、その生成された画像回復フィルタを使用して、画像を回復する。

以上のように、撮像装置のＩＤを用いて画像回復フィルタすることによって、撮像素子において発生し得る折り返り信号による弊害を低減し、高い画質を有する回復画像を生成することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好な画像回復処理を行える画像処理装置や撮像装置を提供できる。

１０２，２０３ 画像回復フィルタ作成システム
１０５，２０６ 畳み込み処理実行システム
１０７，２０８ 撮影画像入力部
１０７ａ，２０８ａ 撮影光学系
１０７ｂ，２０８ｂ 撮像素子

ただし、実際にこのような処理を行って回復画像を得る場合、撮像素子によって生じたノイズを著しく増幅させることになり、良好な画像を得ることが難しい。そこで、ノイズ増幅を抑制するための画像回復処理として、以下の（４）式で表されるウィーナーフィルタを用いることが知られている。
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）｜ ^２＋Γ） ・・・（４）
ただし、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。

本発明の一側面としての画像処理装置は、光学系および撮像素子を含む撮像系により生成された撮影画像を取得する画像入力部と、画像回復フィルタを作成するフィルタ作成部と、撮影画像に対して画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理部とを有する。そして、フィルタ作成部は、光学系の光学伝達関数と撮像素子のサンプリング周波数とを用いて、折り返り信号を含む光学伝達関数を生成し、該折り返り信号を含む光学伝達関数の周波数特性に応じて画像回復フィルタにおける各周波数成分の増幅率を設定することを特徴とする。

また、本発明のさらに他の一側面としての画像処理方法（画像処理プログラム）は、光学系および撮像素子を含む撮像系により生成された撮影画像を取得するステップと、画像回復フィルタを作成するステップと、撮影画像に対して画像回復フィルタを用いた画像回復処理を行って回復画像を生成するステップとを有し、画像回復フィルタを作成するステップは、画像回復フィルタにおける各周波数成分の増幅率を、光学系の光学伝達関数と撮像素子のサンプリング周波数とを用いて生成された、折り返り信号を含む光学伝達関数の周波数特性に応じて設定することを特徴とする。

画像回復フィルタ作成システム２０３は、フーリエ変換により得られたＯＴＦから画像回復フィルタを作成する。この際、画像回復フィルタ作成システム２０３は、撮像素子２０８ｂにおいて発生した折り返り信号の周波数特性に応じて（折り返り信号の周波数特性を考慮して：言い換えれば、折り返り信号を含むＯＴＦの周波数特性に応じて）、画像回復フィルタにおける撮影画像（ＭＴＦ）の各周波数成分の増幅率を設定する。

さらに実施例３では、折り返り信号を含むＭＴＦに基づいて（言い換えれば、折り返り信号を含むＯＴＦの周波数特性に応じて）画像回復フィルタによる各周波数成分の増幅率を設定する場合について説明した。しかし、撮像系のＭＴＦにおける折り返り信号を含まない周波数特性と折り返り信号の周波数特性との比に基づいて画像回復フィルタによる各周波数成分の増幅率を設定してもよい。

Claims (14)

1. 光学系および撮像素子を含む撮像系により生成された撮影画像を取得する画像入力部と、
   画像回復フィルタを作成するフィルタ作成部と、
   前記撮影画像に対して前記画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理部とを有し、
   前記フィルタ作成部は、前記撮像素子において発生し得る折り返り信号の周波数特性に応じて前記画像回復フィルタにおける各周波数成分の増幅率を設定することを特徴とする画像処理装置。
2. 前記フィルタ作成部は、撮像素子の色成分の画素配列によるサンプリング周波数までの周波数帯域で、前記色成分の画素配列の折り返り信号の周波数特性に応じて前記画像回復フィルタにおける各周波数成分の増幅率を設定し、前記撮像素子の画素配列のナイキスト周波数までの周波数帯域で、前記画像回復フィルタを作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ作成部は、前記折り返り信号の発生量が多い周波数成分ほど小さくなるように前記増幅率を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記フィルタ作成部は、前記光学系の光学伝達関数のシミュレーション結果または実測された点像強度分布関数をフーリエ変換して得られた光学伝達関数を用いて前記画像回復フィルタを作成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記フィルタ作成部は、前記撮像系の変調伝達関数における前記折り返り信号を含まない周波数特性と前記折り返り信号の周波数特性との比に基づいて前記増幅率を設定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 光学系および撮像素子を含む撮像系と、
   請求項１から５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
7. 光学系および撮像素子を含む撮像系により生成された撮影画像を取得するステップと、
   画像回復フィルタを作成するステップと、
   前記撮影画像に対して前記画像回復フィルタを用いた画像回復処理を行って回復画像を生成するステップとを有し、
   前記画像回復フィルタを作成するステップにおいて、前記撮像素子において発生する折り返り信号の周波数特性に応じて前記画像回復フィルタにおける各周波数成分の増幅率を設定することを特徴とする画像処理方法。
8. コンピュータに、
   光学系および撮像素子を含む撮像系により生成された撮影画像を取得するステップと、
   画像回復フィルタを作成するステップと、
   前記撮影画像に対して前記画像回復フィルタを用いた前記画像回復処理を行って回復画像を生成するステップとを含む処理を実行させ、
   前記画像回復フィルタを作成するステップにおいて、前記コンピュータに、前記撮像素子において発生する折り返り信号の周波数特性に応じて前記画像回復フィルタにおける各周波数成分の増幅率を設定することを特徴とする画像処理プログラム。
9. 光学系および撮像素子を含む撮像系により生成された撮影画像と、前記撮影画像の撮影条件と、前記撮像素子の画素のサイズが特定可能な情報を取得する取得ステップと、
   前記撮影条件に対応する係数データを取得する係数データ取得ステップと、
   前記係数データと前記撮像素子の画素のサイズが特定可能な情報に基づいて画像回復フィルタを作成するフィルタ作成ステップと、
   前記撮影画像に対して前記画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理ステップを有することを特徴とする画像処理方法。
10. 前記フィルタ作成ステップにおいて、前記係数データと前記撮像素子の画素サイズが特定可能な情報に基づく光学伝達関数の生成を介して、前記画像回復フィルタを作成することを特徴とする請求項９に記載の画像処理方法。
11. コンピュータに、
    光学系および撮像素子を含む撮像系により生成された撮影画像と、前記撮影画像の撮影条件と、前記撮像素子の画素のサイズが特定可能な情報を取得する取得ステップと、
    前記撮影条件に対応する係数データを取得する係数データ取得ステップと、
    前記係数データと前記撮像素子の画素のサイズが特定可能な情報に基づいて画像回復フィルタを作成するフィルタ作成ステップと、
    前記撮影画像に対して前記画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理ステップとを含む処理を実行させることを特徴とする画像処理プログラム。
12. 前記フィルタ作成ステップにおいて、前記係数データと前記撮像素子の画素サイズが特定可能な情報に基づく光学伝達関数の生成を介して、前記画像回復フィルタを作成することを特徴とする請求項１１に記載の画像処理プログラム。
13. 光学系および撮像素子を含む撮像系により生成された撮影画像と、前記撮影画像の撮影条件と、前記撮像素子の画素のサイズが特定可能な情報を取得する取得手段と、
    前記撮影条件に対応する係数データを取得する係数データ取得手段と、
    前記係数データと前記撮像素子の画素のサイズが特定可能な情報に基づいて画像回復フィルタを作成するフィルタ作成手段と、
    前記撮影画像に対して前記画像回復フィルタを用いた画像回復処理を行って回復画像を生成する回復処理手段とを有することを特徴とする画像処理装置。
14. 前記フィルタ作成手段は、前記係数データと前記撮像素子の画素サイズが特定可能な情報に基づく光学伝達関数の生成を介して、前記画像回復フィルタを生成することを特徴とする請求項１３に記載の画像処理装置。