JP2011123589A5 - - Google Patents

Description

画像処理方法、画像処理装置、撮像装置および画像処理プログラム

本発明は、撮像により生成された画像の劣化成分を、画像回復フィルタを用いて補正（低減）する画像処理に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけが含まれる。このようなぼけは、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけは、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも、撮像光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部である。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像光学系の光学伝達関数は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることで像の広がりが発生するだけでなく、各色成分内で波長ごとの結像位置のずれ、すなわち位相ずれによっても像の広がりが発生する。このため、点像分布関数を主光線（撮像光学系の瞳の中心を通る光線）と直交する各方向（アジムス方向）の１次元断面で見たときに、収差の位相劣化成分は点像分布関数に非対称性を発生させる。また、振幅劣化成分はアジムス方向ごとのＰＳＦの広がりの大きさに影響する。

したがって、撮像光学系による画像劣化を画像処理にて高精度に補正するためには、収差の位相劣化成分と振幅劣化成分を補正することが必要である。

振幅劣化成分を補正する方法として、特許文献１にて開示されているように、画像中のエッジ部分を検出してエッジを強調するエッジ強調処理が知られている。

また、位相劣化成分を補正する方法として、特許文献２にて開示されているように、画像の色成分ごとに像倍率を変更する幾何補正が知られている。

さらに、振幅劣化成分と位相劣化成分を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学伝達関数の情報を用いて画像の劣化成分を補正（低減）する処理を画像回復処理と称する。

画像回復処理の概要は以下の通りである。劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元のとき、通常は画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数が多いほど回復精度が向上する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平／垂直方向においてそれぞれ３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは一線を隔する。画像回復フィルタは光学伝達関数に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。

ただし、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して撮像光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。

撮像光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。したがって、ノイズがある場合には、鑑賞用画像として良好な画像は得られない。

このことは以下のように式で表せる。Ｎはノイズ成分である。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば式（１）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは低周波側が高く、高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

しかし、実際のＳＮ比をパラメータに設定して回復処理を行っても、所望の画質に対してノイズが許容できない場合には、ＳＮＲパラメータを調整して回復ゲインを下げながらノイズの増幅をより抑制する必要がある。これは、式（１）のＳＮＲの値をより大きな値に設定することである。また、実際に撮影された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合にも、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。さらに、ＲＧＢの色成分ごとに回復度合が想定しているものと異なると、回復画像に色づき、すなわち偽色が発生してしまうことがある。この偽色も、ノイズやリンギング等のアーティファクトの１つである。

図１９には、回復画像に発生した偽色の例を示している。図中の破線部に偽色が発生している。偽色Ａは、製造誤差によりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。偽色Ｂは、太陽の反射光が強いために発生した輝度飽和により、輝度飽和部の周辺が回復処理前の画像よりも色づいた状態になることで発生している。偽色Ｃは、ピントずれによりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。

ウィナーフィルタでは、式（１）のＳＮＲの値を大きく設定することで回復度合が低下するが、高周波から低下がはじまり、回復度合を低下させても回復前の周波数特性を再現できない。これは、式（１）１でＳＮＲが周波数特性を持たない限り、Ｍ＝１、すなわち画像回復フィルタが画像に影響を与えない状態にならないことから明らかである。

特許文献３では、回復度合を調整するために、画像回復フィルタを設計する際のパラメータを式（２）のようにしている。

Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）はそれぞれ、回復画像および劣化画像のフーリエ変換である。調整パラメータαにより、何も作用しないフィルタ（α＝０）から逆フィルタ（α＝１）に変化するように構成しているため、元の画像から最大に回復した画像までの範囲で画像の回復度合を調整可能としている。

特開２０００−１５６８１６号公報 特開平０６−１１３３０９号公報 特開２００７−１８３８４２号公報

上述したように、撮像光学系を通した撮像によって生成された画像の劣化は、収差の位相成分と振幅成分を含むが、特に非対称収差による像流れを補正するためには位相成分の補正が必要になる。

特許文献１にて開示されたエッジ強調方法は、収差特性を用いていないものの、エッジ部分のみを強調するので、エッジ以外の部分のノイズ増幅を抑制することができる。しかしながら、収差の位相成分（ＰＴＦ）を補正することができないので、コマ収差や倍率色収差などの非対称性を補正することができない。エッジ強調を行っても画像の周辺部の像流れを補正できない。

特許文献２にて開示された倍率色収差補正方法は、ＰＳＦの色成分間の位置ずれによる色ずれを補正できるが、画像位置のシフト変換であるため、各色成分のＰＳＦ自体の非対称性を補正することはできない。コマ収差のあるＰＳＦはメリジオナル方向に非対称性を持っているため、光軸（画像中心）に近い側と遠い側でエッジのぼけ方が異なる。さらに、色のコマ収差があるため、色成分ごとにも光軸に近い側と遠い側のそれぞれでエッジのぼけ方が異なる。したがって、画像倍率を色成分間で揃えてエッジの色ずれを目立たないように補正しても、光軸に近い側と遠い側では色の滲み方が異なるので、両側をそれぞれ最適にすることはできない。

特許文献３にて開示された画像回復処理方法は、画像の振幅劣化成分および位相劣化成分を補正することはできるが、上記のようにノイズを増幅してしまう。ノイズ増幅は、画像の振幅成分および位相成分のうち振幅成分の補正に伴い発生する。特許文献３にて開示された画像回復フィルタは、振幅成分の補正量を低下させると位相成分の補正量も低下させるフィルタであり、ウィナーフィルタと同様に、回復前の振幅特性を保存したまま位相成分のみを補正することはできない。

本発明は、回復画像におけるノイズの増幅を抑制しながら、コマ収差や倍率色収差等の非対称収差を低減し、鮮鋭性も向上させるようにした画像処理方法および画像処理装置を提供する。

本発明の一側面としての画像処理方法は、撮像系により生成された画像を取得するステップと、撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて該画像の補正処理を行うステップとを有する。画像回復フィルタは、該画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする。

本発明の他の一側面としての画像処理装置は、撮像系により生成された画像を処理する。該装置は、撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて該画像の補正処理を行う補正手段を有する。画像回復フィルタは、該画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする。

本発明の他の一側面としての撮像装置は、撮像光学系により形成された被写体像を光電変換して画像を生成する撮像素子と、前記撮像光学系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて前記画像の補正処理を行う補正手段を有し、前記画像回復フィルタは、前記画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする。

さらに、本発明の他の一側面としての画像処理プログラムは、撮像系により生成された画像を取得する処理と、撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いた該画像の補正処理とをコンピュータに実行させる。そして、画像回復フィルタは、該画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする。

本発明によれば、画像の位相劣化成分を撮像系の光学伝達関数に基づいて選択又は生成された画像回復フィルタを用いて低減することで、倍率色収差やコマ収差等の非対称収差を高精度に補正することができる。そして、収差の非対称性を補正することで、高精細な画像を生成することができる。

本発明の実施例である画像処理方法の説明図。 実施例の画像処理方法にて用いられる画像回復フィルタの説明図。 実施例の画像処理方法にて用いられる画像回復フィルタの説明図。 実施例の画像処理方法による点像の補正状態の説明図。 実施例の画像処理方法における振幅と位相の説明図。 実施例の画像処理方法における位相補正画像の説明図。 本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。 実施例１における画像回復フィルタの選択についての説明図。 実施例１における画像処理の説明図。 実施例１における画像処理の説明図。 本発明の実施例２における画像処理の説明図。 従来の画像処理方法の説明図。 実施例の画像処理方法の説明図。 実施例２における画像処理方法の説明図。 本発明の実施例３である画像処理方法の説明図。 本発明の実施例４である画像処理システムの説明図。 実施例４の画像処理システムの説明図。 実施例４における補正情報セットの説明図。 偽色の説明図。 エッジ強調フィルタの例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、本発明の実施例において基本となる画像処理方法について説明する。図１には、画像の入力から出力までの処理工程のフローを示す。図中の●印は画像データを表している。

画像取得工程（ステップ）では、入力画像を取得する。該入力画像は、撮像光学系を通した撮像（ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いた光電変換）により生成された画像である。

画像回復フィルタ取得工程では、入力画像の撮像時の条件（撮像条件）に対応する画像回復フィルタを選択又は補正（生成）する。

位相補正工程では、入力画像に対して、画像回復フィルタを用いて該入力画像に含まれる位相劣化成分を補正（低減）する処理（画像回復処理：以下、補正処理ともいう）を行うことで、位相成分が補正された出力画像を得る。この出力画像は、位相成分を補正する工程での出力画像であり、最終画像を生成するために、図１の工程の前後や途中に他の画像処理工程を挿入してもよい。ここにいう「他の画像処理」とは、エッジ強調処理、歪曲収差補正および周辺光量補正等の電子収差補正、デモザイキング、ガンマ変換、画像圧縮等を含む。

次に、上記各工程での具体的な処理について説明する。

「入力画像」
入力画像は、基本的には、撮像光学系により形成された物体像（被写体像）を撮像素子により光電変換して得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系は、レンズの他にも曲率を有するミラー（反射面）を用いることもできる。また、撮像光学系と撮像素子とにより撮像系が構成される。

ただし、本発明の実施例としての画像処理方法は、撮像光学系を含まない撮像系により生成された入力画像にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置といった撮像装置は、レンズのような撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数（狭義の光学伝達関数）によるものではないが、撮像系のシステム伝達関数によるものであり、このシステム伝達関数は光学伝達関数に相当するものとも言える。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系を含まない撮像系のシステム伝達関数をも含む広義の光学伝達関数である。

また、入力画像は、例えば、ＲＧＢの色成分の情報を有している。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることも可能である。さらに、色温度を用いることも可能である。

色成分情報は、モザイク画像の各画素が有する１つの色成分の信号値でもよいし、モザイク画像を色補間処理（デモザイキング処理）して得られるデモザイク画像の各画素が有する複数の色成分の信号値でもよい。モザイク画像は、色補間処理、ガンマ変換、ＪＰＥＧ等の画像圧縮といった種々の画像処理を行う前の画像として、ＲＡＷ画像とも称される。

特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して各画素が１つの色成分の信号値を有するモザイク画像を取得することになる。この場合、色補間処理を行うことで各画素に複数の色成分の信号値を有したデモザイク画像を生成することができる。また、多板（例えば、３板）の撮像素子を用いる場合には、撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の信号値を得ることができる。この場合、撮像素子間で対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。

また、入力画像や出力画像には、レンズの焦点距離、絞り値、被写体距離等の撮像条件や該画像を補正するための各種の補正情報を付帯することができる。撮像から出力までの一連の処理を１つの閉じた撮像装置で行う場合には、画像に撮像条件情報や補正情報を付帯しなくとも装置内で取得することもできる。撮像装置からＲＡＷ画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮像条件情報や補正情報を付帯することが好ましい。

ただし、画像処理装置側に予め補正情報が記憶されており、撮像条件情報から補正係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。

「画像回復処理」
図２には、画像回復フィルタを模式的に示す。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてタップ数（セル数）を決めることができる。図２では、例として、１１×１１タップの２次元フィルタを示している。画像回復フィルタの各タップは、画像回復処理を行う入力画像の各画素に対応する。図２では、各タップが有する値（係数値）を省略している。

画像回復処理の工程において、該画像回復フィルタを用いて入力画像に対するコンボリューション処理が行われる。コンボリューション処理では、入力画像のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

画像回復フィルタのある断面での各タップが有する係数値（以下、タップ値ともいう）を図３に示す。画像回復フィルタのタップ値の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。

画像回復フィルタは、撮像系（撮像光学系）の光学伝達関数（ＯＴＦ）を計算又は計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。また、このような実空間での画像回復フィルタを用いて入力画像に対するコンボリューション処理を行うことで、画像回復処理において、画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。

実施例で用いる画像回復フィルタは、振幅成分と位相成分を補正する従来の画像回復フィルタとは異なり、基本的には位相成分のみを補正する機能を有する。実施例で用いる画像回復フィルタの作成方法を説明する前に、従来用いられているウィナーフィルタについて説明する。

画像上のある位置でのある色成分の点像分布関数（ＰＳＦ）のメリジオナル方向の断面を図４（ａ）に、その周波数特性を図５に示す。図５（Ｍ）は振幅成分であるＭＴＦを、図５（Ｐ）は位相成分であるＰＴＦを示している。また、図４と図５の（ａ）〜（ｄ）はそれぞれ、ＰＳＦとその周波数特性として対応している。

図４（ａ）に示す補正前のＰＳＦは、コマ収差により非対称な形状を有しており、図５（Ｍ‐ａ）に示すように、高周波ほど振幅応答の低いＭＴＦ特性を持ち、図５（Ｐ‐ａ）に示すように位相ずれが発生している。

これを光学伝達関数（ＯＴＦ）の逆関数（１／ＯＴＦ（ｕ，ｖ））を逆フーリエ変換して生成した画像回復フィルタを用いて補正すると、理想的には図４（ｂ）に示すように、ＰＳＦが広がりを持たないデルタ関数のように補正される。図４（ｂ）に対応するＭＴＦは、図５（Ｍ‐ｂ）に示すように全周波数にわたって１になり、ＰＴＦは図５（Ｐ‐ｂ）に示すように全周波数にわたって０になっている。

しかし、前述したように、画像回復フィルタの生成にあたっては、ノイズ増幅の影響を制御する必要がある。図４（ａ）のＰＳＦを式（１）に示したウィナーフィルタで回復したＰＳＦは、図４（ｃ）のように、位相が補正されることで対称形状になり、振幅が向上されることでＰＳＦの広がりが小さく先鋭な形状になる。図４（ｃ）に対応するＭＴＦは、図５（Ｍ‐ｃ）のように回復ゲインを抑制したものになり、ＰＴＦは図５（Ｐ‐ｂ）のように全周波数にわたって０になっている。

回復ゲインを抑制したにも関わらず、ＰＴＦが０に補正される理由を式（３）を用いて説明する。

被写体として点光源を仮定すると、被写体の周波数特性は位相ずれが無く、振幅特性が全周波数にわたって１となる。これを撮像光学系を通して得られる画像の周波数特性は光学伝達関数（ＯＴＦ）そのものとなり、画像としてはＰＳＦ形状の画素値分布になる。すなわち、入力画像の周波数特性をＯＴＦとして、これに画像回復フィルタの周波数特性を掛け合わせれば、回復画像の周波数特性を知ることができる。これを式で表現すると、式（３）のように、ＯＴＦであるＨ（ｕ，ｖ）は相殺され、回復画像の周波数特性は、右辺のようになる。右辺の｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値であるＭＴＦであるため、回復度合を決定するパラメータＳＮＲの値に関わらず位相成分は消滅することになる。

次に、位相成分のみを補正する機能を有した実施例の画像回復フィルタについて説明する。式（１）と式（３）から分かるように、式（４）のｒＯＴＦの部分が点光源を撮影した画像の回復後の周波数特性になる。

換言すると、点光源に関わらず、どのような被写体でも、あたかも光学伝達関数（ＯＴＦ）がｒＯＴＦの特性を持った撮像光学系で撮影されたような画像を得ることができる。したがって、式（５）（および式（６））のように、ｒＯＴＦの特性を回復前の撮像光学系のＭＴＦとすることで、あたかもＭＴＦはそのままで位相劣化の無い撮像光学系で撮影した画像を得ることができる。

式（５）の両辺にＨ（ｕ，ｖ）を乗じると、

である。

なお、式（５）（および式（６））では、ｒＯＴＦの特性を回復前の撮像光学系のＭＴＦを示す（｜Ｈ（ｕ，ｖ）｜）としたが、実部のみを有するＯＴＦとして扱ってもよい。

また、ｒＯＴＦは実部のみを有することが好ましいが、許容可能な範囲で虚部に値を持たせたＯＴＦを用いてもよい。このときのＰＳＦを図４（ｄ）に示す。ＭＴＦを向上させていないためにＰＳＦの鮮鋭度は向上していないが、位相劣化成分が補正されているために対称な形状になっている。ＭＴＦは、図５（Ｍ‐ｄ）に示すように回復前の（ａ）から変化せず、ＰＴＦは図５（Ｐ‐ｄ）に示すように全周波数にわたって０に補正されている。

このように、実施例の画像回復フィルタによって位相成分のみを回復することが可能となり、振幅成分を増幅していないためノイズの増幅も発生しない。

この回復処理を色成分ごとにそれぞれのＯＴＦを用いて行うことで、各色成分とも対称な収差形状にすることが可能である。さらに、色成分ごとのＯＴＦには基準波長に対する位相ずれの成分も含むことができるため、色成分間のＰＳＦの位相ずれも同時に補正することができる。このように、実施例の画像回復フィルタは、位相劣化を補正して色成分ごとのＰＳＦ形状を対称にすることで、コマ収差を補正するとともに倍率色収差も補正することができる。したがって、画像中のエッジ部のぼけを光軸に近い側と遠い側で対称にでき、像流れを抑制することができ、色にじみの状態も両側で最適にすることができる。これを図６を用いて説明する。

図６（ａ），（ｂ）には、図６（ｉ）に示す画像領域の周辺部に存在するエッジ部の回復前の断面であり、分かりやすくするために２つの色成分を実線と点線で区別している。Ｘ印は光軸中心又は画像中心を示す。

図６（ａ），（ｂ）を比較すると、色成分ごとに（ｂ）側にフレアが大きい外向性のコマ収差の影響でぼけ方が異なっている。また、倍率色収差により色成分間のエッジの位置がずれている。一方、図６（ｃ），（ｄ）は実施例の画像回復フィルタにより位相劣化成分を補正した画像の断面である。色成分ごとに対称なぼけに補正され、さらに倍率色収差が補正されている。図６（ｅ），（ｆ）は、図６（ａ），（ｂ）の断面について、点線で示した色成分を従来のようにシフトして倍率色収差を補正したものである。両エッジでぼけ方が異なっているため、共に色にじみを最適には補正することはできない。さらに、当然ながら像流れも補正できない。

実施例の画像回復処理では、位相補正工程において、入力画像の振幅劣化成分と位相劣化成分のうち位相劣化成分のみを補正する。ただし、ここにいう「位相劣化成分のみを補正する」は、必ずしも振幅成分が全く影響を受けない（振幅劣化成分が全く補正されない）場合に限定する意味ではなく、ノイズ増幅が許容される範囲内であれば振幅成分が変化してもよい。例えば、各周波数において、回復前のＭＴＦからのＭＴＦの増幅率が２倍以下であれば、振幅成分が変化しても構わない。より好ましくは、回復前のＭＴＦの１．５倍以下の増幅率、さらに好ましくは１．２倍以下の増幅率に抑えることで、ノイズ増幅を抑制しつつ位相成分を回復することができる。

また、式（５）（および式（６））には、振幅成分に影響を与えず、位相成分のみに補正効果を与える画像回復フィルタの特性を示した。しかし、画像回復フィルタは、式（５）（および式（６））により示されるものに限定されず、同様の効果が得られれば、他の画像回復フィルタを用いてもよい。

さらに、光学伝達関数（ＯＴＦ）は撮像光学系のみならず、撮像の過程で光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを生成することが望ましい。

また、画像がＲＧＢ形式のカラー画像である場合は、ＲＧＢの各色成分に対応した３つの画像回復フィルタを作成すればよい。撮像光学系には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとの画像回復フィルタは特性が色収差に基づいて異なる。このことは、図３の画像回復フィルタの断面図（係数値）が色成分ごとに異なる。画像回復フィルタの縦横のタップ数やタップ配列に関しても、１１×１１や正方配列である必要はない。

ここで、画像回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は種々の適応的な非線形処理を施されていないことが好ましい。したがって、例えば、デモザイキング処理に非線形処理が含まれる場合には、画像回復処理はモザイク画像（ＲＡＷ画像）に対して行うことが好ましい。

ただし、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで同様に回復処理を行うことができる。また、回復の要求精度が低い場合や種々の画像処理を施された画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。

本発明の実施例としての画像処理方法は、入力画像がモザイク画像であってもデモザイク画像であっても適用することができる。

以上説明した画像処理方法の各工程は、実際の処理ではいくつかの工程が同時にまとめて実行されることも可能である。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、上記説明に用いた式は、本発明の実施例としての画像処理方法の具体的なアルゴリズムを限定する意味ではなく、目的を達成しうる範囲で必要に応じて変形が可能である。

図７には、本発明の実施例１である画像処理装置を搭載した撮像装置の基本構成を示している。

撮像光学系１０１は、不図示の被写体からの光に、撮像素子１０２上に被写体像を形成させる。撮像素子１０２は、被写体像を電気信号に変換する。撮像素子１０２から出力された電気信号（アナログ信号）は、Ａ／Ｄコンバータ１０３によりデジタル画像データに変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル画像データ（入力画像）に対して、各種の画像処理と、位相成分（位相劣化成分）の補正処理とを行う。まず、画像処理部１０４は、状態検知部１０７から撮像光学系１０１の状態（例えば、焦点距離、絞り値、被写体距離（撮像距離））を示す情報である光学系状態情報を得る。状態検知部１０７は、システムコントローラ１１０から直接、光学系状態情報を得てもよいし、撮像光学系１０１の動作を制御する撮像光学系制御部１０６から得てもよい。

次に、画像処理部１０４は、光学系状態情報から得られる撮像光学系１０１の状態に応じた画像回復フィルタを記憶部１０８から選択する。そして、選択した画像回復フィルタ又は該選択した画像回復フィルタを補正することで新たに生成した画像回復フィルタを用いて、入力画像に対して位相成分の補正処理を行う。

図８を用いて、画像回復フィルタの選択と補正について説明する。図８には、記憶部１０８に格納された複数の画像回復フィルタ（黒丸）を模式的に示す。記憶部１０８に記憶された画像回復フィルタは、焦点距離（状態Ａ）、絞り値（状態Ｂ）および被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。

なお、図８では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。

このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを選択する方法について説明する。

図８において、大きな白丸で示した撮像状態が、検知された実際の撮像状態であるとする。実際の撮像状態に対応する位置またはその近傍に、予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の１つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（状態相違量）を算出し、最も距離の短い位置の画像回復フィルタを選択する。この方法により、図８に小さな白丸で示した位置の画像回復フィルタが選択される。

また、他の方法として、画像回復フィルタの選択に、撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向との積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する。

次に、選択された画像回復フィルタを補正することで新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離（状態相違量）を算出し、最も距離の短い位置の画像回復フィルタを選択する。このとき状態相違量が最も小さくなるため、この後に使用する補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。

図８では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて、選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。

また、別の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタを状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等を用いて補間すればよい。

また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態にて光学伝達関数（ＯＴＦ）を計測して求めることもできる。

そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は、位相劣化成分が補正されたことにより、収差の対称性が改善された画像である。また、表示部１０５には、補正処理後の画像に表示のための所定の処理を行った画像を表示してもよいし、高速表示のために補正処理を行わない、又は簡易的な補正処理を行った画像を表示してもよい。

以上の画像処理部１０４での一連の処理は、システムコントローラ１１０によって制御される。また、撮像光学系１０１の駆動は、システムコントローラ１１０の指示を受けた撮像光学系制御部１０６が制御する。

絞り１０１ａの開口径が制御されることで、絞り値が変化する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりその位置が制御される。撮像光学系１０１内に、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよいが、該光学素子が撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える場合には、該光学素子を考慮して画像回復フィルタを作成する必要がある。赤外カットフィルタを挿入する場合には、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点で考慮が必要になる。

撮像光学系１０１は、撮像装置本体に対して一体に設けられたものでもよいし、交換可能に設けられたものであってもよい。

また、光学伝達関数（ＯＴＦ）は、同じ撮影状態においても撮像光学系１０１の像高（画像上での位置）に応じて変化するので、補正処理を像高に応じて変更して行うことが望ましい。

本実施例の撮像装置では、先に説明した画像回復処理を画像処理装置としての画像処理部１０４で行う。図９（ａ）には、画像処理部１０４で行う画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。

画像処理部１０４は、画像取得工程で入力画像を取得する。次に、画像処理部１０４は、状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択する。そして、位相補正工程で、画像処理部１０４は、画像回復フィルタを用いて入力画像に対して補正処理（画像回復処理）を行う。

次に、画像処理部１０４は、出力画像の生成に必要なその他の処理を行い、回復された画像を出力する。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。

図９（ｂ）に、「その他の処理」を行う例を示す。位相補正工程の後に、歪曲収差補正およびシェーディング補正を行い、振幅補正工程でエッジ強調処理を行っている。歪曲収差補正は、撮像光学系１０１の歪曲収差特性に応じた画素座標の幾何変換処理であり、画素補間処理を伴うため鮮鋭度が劣化する。このためエッジ強調処理を行うことで、鮮鋭度の劣化や撮像光学系１０１の収差による振幅劣化を補正する。

また、位相補正処理は、画像回復フィルタを用いるが、画像回復フィルタの各タップ（セル）は画像の各画素に対応している必要があるため、歪曲収差補正による座標変換でＰＳＦが変形される前に補正しておくことが望ましい。歪曲収差が補正された画像に対して画像回復フィルタを適用すると、画像回復フィルタを歪曲収差補正の座標変換に対応して変換する必要が発生する。

また、エッジ強調処理は、その他必要な処理と組み合わせて一括して行ってもよい。例えば、図１０に示すように、位相成分を補正する画像回復フィルタと振幅成分を補正するエッジ強調フィルタとを合成したフィルタを用いて、位相補正工程と振幅補正工程を１つの工程として行ってもよい。図１のように別の工程として処理する場合には、画像回復フィルタで位相劣化成分を高精度に補正するために、エッジ強調処理は位相補正処理よりも後段にすることが望ましい。

各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。例えば、複雑な収差形状をより対称形状にするために、ノイズ増幅を伴わない位相成分の補正にはＯＴＦの周波数特性を用い、ノイズ増幅を伴う振幅補正にはエッジ部を考慮したエッジ強調処理を行う。このように、位相成分の補正の際に振幅成分にも多少の影響を与えて、さらにエッジ強調処理を行うことは、本発明の実施例に含まれる。

そして、振幅成分の補正には、エッジ強調フィルタを用いることができる。エッジ強調フィルタは、入力画像をそのまま出力するフィルタと微分フィルタとの差分によって生成することができる。微分フィルタは、１次微分を行うソーベルフィルタや、図２０に示すように２次微分を行うラプラシアンフィルタ等が知られている。エッジ強調フィルタは、隣接画素との画素値の関係により処理を行うため、図のようにタップ数が３×３程度のフィルタが用いられることが多い。

一方、位相成分の補正に用いる画像回復フィルタはフィルタのタップ数が大きい方が位相劣化をより高精度に補正することができる。そのため、画像中で最大のタップ数を有する画像回復フィルタの一辺のタップ数は、エッジ強調フィルタの一辺のタップ数の３倍以上であることが好ましい。さらに好ましくは、３倍以上１０倍以下とすることが好ましい。下限を下回ると位相劣化の補正精度が悪く、収差の非対称性が十分に補正できない。また上限を上回ると、補正精度は高いがフィルタが大きくなるため、フィルタ情報を保持する記憶部のコストや処理負荷が増大してしまう。

また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファー）とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み（記憶）および読み出しを行う。一時的記憶部として、記憶部１０８を用いてもよい。

次に、本発明の実施例２である画像処理方法について説明する。この画像処理方法も、実施例１にて説明した撮像装置と同様の構成を有する撮像装置の画像処理部（画像処理装置）にて実行される。

本実施例では、入力画像の収差成分を抽出し、この収差成分の除去量を制御することで回復度合を調整する。回復度合の調整によって、収差成分のうち収差の非対称性の変動が無く、ぼけ量のみが変化する。

図１１には、本実施例において実行される画像処理方法のフローを示す。以下の説明において、記号ｍは、画像の色成分（例えばＲ，Ｇ，Ｂ）を表す。つまり、Ａ_ｍは（Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ）を示し、それぞれＡのＲ成分、ＡのＧ成分およびＡのＢ成分を表す。Ａは、図１１中のｇ，ｆ，ｆｄ，Ｓ，Ｓｄ等に相当する。

ＲＧＢの色成分を有する入力画像ｇ_ｍに対して色成分ごとに選択又は生成された画像回復フィルタを用いて、光学伝達関数（ＯＴＦ）に応じて劣化した入力画像の位相および振幅の回復処理を行い、第１の画像ｆｄ１_ｍを得る。ここでの回復処理は、位相成分と振幅成分をともに補正するため、画像回復フィルタとしては、例えばウィナーフィルタを用いればよい。

第１の画像ｆｄ１_ｍは、収差の振幅成分および位相成分が補正されているため、収差の非対称性が除去され、かつぼけが低減されて鮮鋭度が向上している。ただし、この画像には、上述したように、ノイズ増幅や偽色が含まれている。

一方、入力画像ｇ_ｍに対して色成分ごとに画像回復フィルタを用いて光学伝達関数（ＯＴＦ）に応じて劣化した入力画像の位相成分の回復処理を行い、第２の画像ｆｄ２_ｍを得る。第２の画像ｆｄ２_ｍは、収差の位相成分のみが補正されているため、収差の非対称性は除去されているが、ぼけは補正されていない。言い替えれば、第２の画像ｆｄ２_ｍは、光学伝達関数（ＯＴＦ）の位相成分（ＰＴＦ）は補正されているが、その絶対値成分であるＭＴＦは変化していない。

第１の画像ｆｄ１_ｍから第２の画像ｆｄ２_ｍを、式（７）のように対応する画素ごとに信号値を減算することで、色成分ごとの回復成分情報Ｓ_ｍを生成する。

そして、式（８）のように、色成分ごとに、回復成分情報Ｓ_ｍを回復強度調整係数μ_ｍに応じて第２の画像ｆｄ２_ｍに合成することで、補正画像ｆ_ｍを得る。

補正画像ｆ_ｍは、式（８）から分かるように、回復強度調整係数μ_ｍが０のときに第２の画像ｆｄ２_ｍとして得られ、回復強度調整係数μ_ｍが１のときに第１の画像ｆｄ１_ｍとして得られる。また、回復強度調整係数μ_ｍが０から１の間においては、第２の画像ｆｄ２_ｍから第２の画像ｆｄ１_ｍの間で連続的に回復度合が調整される。

ここで、第２の画像ｆｄ２_ｍと回復成分情報Ｓ_ｍとはともに位相成分が補正され、振幅成分のみが異なる状態であるので、回復度合の調整量に応じて位相成分が変動することは無く、常に位相成分が補正された状態を維持できる。すなわち、従来の方法では、回復度合に応じて、鮮鋭度の変化と共に倍率色収差やコマ収差の変動が発生してしまうが、本実施例の方法では、対称性を維持したまま鮮鋭度のみを変化させることができる。

次に、上記フローの順に、各工程の具体的な処理について説明する。実施例１にて説明した処理と同じ処理については説明を省略する。

「第１の画像ｆｄ１_ｍ」
振幅成分および位相成分を回復する画像回復フィルタを用いた画像回復処理により、第１の画像ｆｄ１_ｍが得られる。従来における画像回復では、この第１の画像ｆｄ１_ｍを回復画像（補正画像）として出力している。第１の画像ｆｄ１_ｍが必要な画質を満たしていれば、補正画像ｆ_ｍとして用いることができるが、実際には上記のようにノイズ増幅や偽色が含まれている。ノイズ増幅に関しては、予め画像回復フィルタの回復度合を適正に設定することで抑制できるが、リンギングや偽色に関しては、その発生量の予測が困難であるため、回復画像を評価して再度、回復度合を調整する必要がある。

「第２の画像ｆｄ２_ｍ」
位相成分のみを回復する画像回復フィルタを用いた画像回復処理により第２の画像ｆｄ２_ｍが得られる。この第２の画像ｆｄ２_ｍは、画像の画素値の絶対値成分（ＭＴＦ）の増幅を行っていないため、ノイズ増幅が生じない。また、位相劣化成分が補正されるため、例えばメリジオナル方向の色成分間の結像位置に対する非対称性が原因となる倍率色収差は除去される。また、コマ収差はメリジオナル方向、サジタル方向を含む全アジムス方向においてそれぞれ対称性を持つようになるため、非点収差のような点対称な収差形状に補正される。ここで、コマ収差が補正後に回転対称性を持たないのは、位相が全アジムス方向で揃っていてもＭＴＦがアジムス方向依存を持っているので、アジムス方向によってぼけ量が異なるためである。

「回復成分情報Ｓ_ｍ」
第１の画像ｆｄ１_ｍから第２の画像ｆｄ２_ｍを、式（７）のように減算する（色成分および画素ごとの減算処理を行う）ことで、色成分ごとの回復成分情報Ｓ_ｍを生成することができる。第１の画像ｆｄ１_ｍおよび第２の画像ｆｄ２_ｍは、撮像光学系で劣化した位相劣化成分が同等に補正され、位相成分の状態が等しく、振幅成分が異なっている。したがって、回復成分情報Ｓ_ｍは、第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍの振幅成分の差分情報ということができる。ここで、位相成分の状態としては、第１の画像ｆｄ１_ｍおよび第２の画像ｆｄ２_ｍともに、撮像光学系による位相劣化成分が十分に除去された状態として揃っていることが望ましい。振幅成分の状態としては、後述する回復強度調整係数により回復度合を調整できるため、異なった状態である。

このため、回復成分情報Ｓ_ｍは、第２の画像ｆｄ２_ｍの位相ずれ以外の収差成分と画像回復処理により発生したノイズの増加成分やリンギング成分、さらには偽色成分も含んでいる。

「回復強度調整係数μおよび補正画像ｆ_ｍ」
式（８）に示すように、色成分ごとに回復成分情報Ｓ_ｍを回復強度調整係数μ_ｍに応じて第２の画像ｆｄ２_ｍに合成することで、補正画像ｆ_ｍを得る。補正画像ｆ_ｍは、回復強度調整係数μ_ｍが０のときに第２の画像ｆｄ２_ｍとして得られ、回復強度調整係数μ_ｍが１のときに第１の画像ｆｄ１_ｍとして得られる。また、回復強度調整係数μ_ｍが０から１の間においては、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍの間で連続的に回復度合を調整することができる。

第２の画像ｆｄ２_ｍと回復成分情報Ｓ_ｍは共に位相成分が補正され、振幅成分のみが異なる状態である。このため、回復度合の調整量に応じて位相成分が変動することは無く、常に位相が補正された状態を維持できる。回復強度調整係数μの基本範囲は、０≦μ≦１であるが、μ＞１とすることで強調補正した画像を得ることもできる。

さらに、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合を調整することができる。これは、被写体の照明光源の分光変動や撮像光学系の製造誤差等の要因で、色成分ごとに光学伝達関数（ＯＴＦ）が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合の強弱を調整するのに有効である。照明光源の分光特性が変化することは、波長ごとの強度比が変化することであるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した補正画像ｆ_ｍを得ることができる。

また、撮像光学系に製造誤差がある場合の影響の１つに、例えば、画像の左右対称な位置で劣化度合が異なることがあり、この劣化度合の差異は、画像上でのぼけ成分やその相対的な色にじみ成分の差異として現れる。ぼけ成分については、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。

色にじみ成分については、画像の位置による色にじみ量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。

出力画像の画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として回復度合が低くても十分に弊害の無い画像を出力できることは出力画像の保障として重要である。これらの場合に対して、回復強度調整係数μを調整することで対応を行うことができる。

また、一般の写真撮影においても、収差が残っていることでフレアが存在する柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。

また、式（７）を変形して、第２の画像から第１の画像を減算して回復成分情報を抽出し、式（８）を変形して第２の画像から、この回復成分情報を回復強度調整係数に応じて減算しても、数式上は等価であり、同じ効果が得られる。

上記のように回復度合を変更するためには、従来は画像回復フィルタを生成する際のパラメータを変更する必要があったため、回復度合を変更する度に画像回復フィルタを再計算する必要があった。さらに、再計算した画像回復フィルタを用いて入力画像に対してコンボリューション処理を行う必要があった。これは画像処理を高速に行うための大きな障壁となっていた。

しかし、本実施例の画像処理方法では、回復度合を調整する場合にも、画像の合成比を変化させるだけであるので、画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。また、回復度合を下げても収差の非対称性が少なくとも点対称な状態に補正されているため、倍率色収差が除去された状態で変動が無く、コマ収差の特徴である像の流れも補正されている。

従来の画像処理方法と本実施例の画像処理方法とを、図１２および図１３を用いて比較する。図１２は従来の画像処理方法（画像回復処理）のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像を評価して、そのまま出力画像とするか再度、回復度合を変更するかを判定する。回復度合を変更する場合には、回復パラメータを変更し、画像回復フィルタを再計算し、再度、入力画像に対して画像回復処理を行う。これを繰り返して所望の画像が得られたら回復画像（出力画像）として出力する。

一方、図１３は本実施例の画像処理方法（画像回復処理）のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザーが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復画像とする。この回復画像を評価して、そのまま補正画像（出力画像）とするか再度、回復度合を変更するかを判定する。回復度合を変更する場合には、調整パラメータを変更し、再度、画像合成処理を行う。この調整パラメータが、上述した回復強度調整係数μである。

このように、従来の画像回復処理と本実施例の画像回復処理では、調整時の画像回復フィルタの再計算の必要の有無および画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で大きく異なる。

また、出力画像としての採用の可否の判定や、回復度合の変更に伴う調整パラメータの変更は、ユーザーが主観的な評価に基づいて行ってもよいし、予め画像の評価関数を設定しておいて自動的に行ってもよい。さらに、入力画像の画素の特徴量に応じて自動的に調整パラメータを変更することもできる。「画素の特徴量」とは、入力画像の部分的なコントラストや輝度レベル等である。画像の部分的なコントラストの高低を検出する方法として、例えば微分フィルタを用いる方法が知られている。これを用いることで、画像中のエッジ部とそうでない部分を分離することができる。エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、エッジ部については回復度合が高くなるように調整パラメータを設定する。一方、エッジ部でない比較的濃淡の少ない部分は回復度合を高くしても画像全体の鮮鋭度には影響せず、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合が低くなるように調整パラメータを設定する。

また、輝度レベルが低い部分は、本来の画像信号とノイズ信号のＳＮ比が悪いため、回復度合を高くするとノイズが目立ち易いので、回復度合が低くなるように調整パラメータを設定する。一方、輝度飽和をしている部分は、本来の画像信号が撮像素子のレンジの上限でクリップされており、ここでは収差の状態も想定している状態とは大きく異なるので、画像回復による弊害が発生し易い。そこで、回復度合が低くなるように調整パラメータを設定することで弊害を回避することができる。

その他にも、被写体を認識して被写体の種別に応じた回復度合の調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されている。しかし、画像回復により人物の顔にノイズや偽色などのアーティファクトが発生すると、非常に不自然な画像になってしまうため、回復度合を適度に調整することが好ましい。

また、画素の特徴量に応じて調整パラメータを変更することは、画像の位置によって調整パラメータを変更することを意味している。本実施例では、画像合成処理において画像を画素単位で合成するので、その際の混合比を変更するだけで比較的容易に調整することができる。このように画素単位で回復度合を調整できることも本実施例の特徴の１つである。

調整パラメータの設定値は、他にもＩＳＯ感度、焦点距離、被写体距離、絞り値等の撮像条件に応じて変更することもできる。

また、本発明の画像処理方法の基本的なフローを説明したが、ここで説明した工程のうちいくつかの工程を一括して同時に行ってもよい。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、必要に応じて変形が可能である。

本実施例の画像回復処理（画像処理方法）は、図７に示した画像処理部１０４で実行される。図１４に、画像処理部１０４で実行される本実施例の画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。

画像処理部１０４は、取得工程で入力画像を取得する。次に、画像処理部１０４は、状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程で、画像処理部１０４は、画像回復フィルタを用いて入力画像に対して回復処理を行う。画像回復工程では、振幅成分および位相成分を補正（回復）した第１の画像と、位相成分のみを補正（回復）した第２の画像とを生成する。

回復成分情報生成工程では、画像処理部１０４は、第１の画像と第２の画像の各画素の信号値の差分から回復成分情報を生成する。回復成分情報は、第１の画像と第２の画像との差分情報であるため、値としては正の値や負の値を持っている。

そして、この回復成分情報生成工程では、画像処理部１０４は、回復強度調整係数μの調整パラメータの設定値を取得する。調整パラメータの設定方法としては、撮像条件や像高に応じて予め用意された設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。または、ユーザーが任意に設定することもできる。

次に、回復画像生成工程で、画像処理部１０４は、調整パラメータに応じて回復成分情報を第２の画像に合成して補正画像を生成する。具体的には、回復成分情報の各画素値に回復強度調整係数μを乗じた画素値を画素ごとに第２の画像に加えることで補正画像を得る。

次に、画像処理部１０４は、画像形成に必要なその他の処理を行い、回復された画像（補正画像）を出力する。ここでのその他の処理の例としては、実施例１で説明したのと同じである。

なお、本実施例では、第２の画像を生成するにあたって、位相成分のみを回復しているが、この際に許容範囲のノイズ増幅が発生する程度に振幅成分に変化を与えても構わない。

本実施例では、画像回復処理に伴う偽色の発生をさらに抑制する画像処理方法について説明する。図１５は、色成分ごとの回復成分情報Ｓ_ｍを色合成比調整係数ωに応じて色合成することで、色成分ごとの色合成回復成分情報Ｓｄ_ｍを生成し、この色合成回復成分情報Ｓｄ_ｍを第２の画像Ｓ_ｍに合成する処理のフローを示している。

色合成比調整係数ωは、各色成分について全ての色成分の回復成分情報Ｓ_ｍをこの色合成比調整係数ωに応じて色合成し、色合成回復成分情報Ｓｄ_ｍを生成するための係数であり、色成分の混合比である。したがって、回復成分情報Ｓ_ｍから色合成回復成分情報Ｓｄ_ｍを生成する処理は、式（９）およびこれを色成分ｍ，ｎについて展開して記した式（１０）として表現することができる。

次に、式（１０）の９つの色合成比調整係数ωの決定方法について説明する。はじめに、色合成比調整係数ωの２つの例について説明する。

１つ目は、回復強度調整係数μを１とした場合に、補正画像として第１の画像ｆｄ１_ｍと同じ画像を得るための色合成比調整係数ωである。式（１０）の色合成比調整係数ωの対角成分を１として残りの成分を０として単位行列をとすると、色合成回復成分情報Ｓｄ_ｍは、それ自身の色成分の回復成分情報Ｓ_ｍと等しくなる。これは、補正画像ｆ_ｍを第１の画像ｆｄ１_ｍと同じ画像として出力する場合の係数設定である。この場合、前述した通り、補正画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色の発生リスクも大きい。

２つ目は、偽色を完全に発生させないための色合成比調整係数ωである。式（１０）の色合成比調整係数ωの全要素を１／３とおくと、色合成回復成分情報Ｓｄ_ｍは全ての色成分の回復成分情報Ｓ_ｍを平均化したものになり、色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂともに完全に同じものになる。色合成回復成分情報Ｓｄ_ｍが全ての色成分で等しいということは、この後の工程で第２の画像ｆｄ２_ｍに色合成回復成分情報Ｓｄ_ｍを合成する際に、色成分に関する付加情報の相違が全く無いことになるので、偽色が絶対に発生しない。

ただし、各色成分の収差情報を平均化しているので、１つ目の第１の画像ｆｄ１_ｍを出力画像とする場合に比べて回復度合、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Ｓ_ｍを平均化しても、各色成分の回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの間には少なからず正の相関（類似性）があるので、入力画像ｇ_ｍに対して補正画像の鮮鋭度は向上している。したがって、これが偽色の発生リスクを完全に除去した回復条件となる。

上では、偽色の発生リスクを最大化した場合と最小化した場合の色合成比調整係数ωの設定について説明した。この色合成比調整係数ωを連続的に変化させることで、偽色の発生リスクと回復度合のバランスを連続的に調整することができる。

式（１０）の色合成比調整係数ωを単位行列とした場合と全て１／３とした場合以外の中間的な色合成比調整係数ωの決定方法の例を以下に説明する。色合成比調整係数ωは、９つの設定自由度を有しているため、各要素値の設定が難しい場合がある。例えば、撮像装置や画像処理システム上で一般ユーザーがこの色合成比調整係数ωを可変に設定する場合がその一つの例である。

この困難性を解決するために、色合成比調整係数ωの各要素間に従属関係を持たせて、制御する自由度を低減する。ただし、この従属関係は、回復度合と偽色の発生リスクとのバランスを調整できる関係である必要がある。また、撮像装置や画像処理システムを提供する側としても好適な調整パラメータを少ない自由度で制御できることは、装置の開発工程や生産工程での作業効率を向上することができる。

色合成比調整係数ωの決定方法の例として、はじめに２つの制約条件を設ける。１つ目の制約条件は、式（１１）のように、式（１０）の行列ωの行ごとの和をそれぞれ１とするものである。これは、例えばＲ成分の色合成回復成分情報Ｓｄ_Ｒを生成するための回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄ_ｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。

２つ目の制約条件は、式（１２）のように、式（１０）の行列ωの列ごとの和を１とするものである。これは、各色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂを生成する際に、回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを各色成分に分配してそれぞれ使い果たすことを意味している。

上記の２つの制約条件を設けると、色合成比調整係数ωは式（１３）のように表現することができる。

さらに、本実施例の目的は、回復度合を確保しながら偽色の発生リスクを抑制することであるので、各色合成回復成分情報Ｓｄ_ｍは色成分間での類似性が高い、すなわち相違が小さい方が好ましいことになる。前述したω＝１／３とした場合の説明は、各色合成回復成分情報Ｓｄ_ｍの色成分間での相違が全く無いために偽色の発生リスクが最小、すなわち偽色の発生が全く無い状態であった。したがって、ある色成分の回復成分情報Ｓ_ｍを各色成分の色合成回復成分情報Ｓｄ_ｍにできるだけ均等に配分すればよいことになるので、式（１３）の各列の分散が小さい方が偽色の発生リスクを低減できる。

これに基づいて、式（１３）の各列の分散を最小化すると、式（１４）のように記すことができる。式（１４）は、設定パラメータがωの１つになっているので、回復度合と偽色の発生リスクのバランスの調整を容易に制御することができる。

式（１４）においてω＝１とすると、行列ωは単位行列となり、回復度合と偽色の発生リスクがともに最大になる。また、ω＝１／３とすると、行列ωは全ての要素が１／３となり、回復度合が低下するとともに偽色の発生リスクが全く無くなる。したがって、１／３≦ω≦１の範囲で色合成比調整係数ωを低下させていくと、偽色の発生リスクを低減していく調整が可能となる。

ここでは、色合成比調整係数ωの決定方法の例を示したが、決定方法に関してはこれに限るものではない。例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄ_ｍが全ての色成分で０（ゼロ）になるので、補正画像ｆ_ｍは第２の画像ｆｄ２_ｍそのものとなる。このように、０≦ω≦１の範囲で色合成比調整係数ωを調整することで、位相成分のみ回復した第２の画像ｆｄ２_ｍから、振幅成分および位相成分を回復した第１の画像ｆｄ１_ｍまでの範囲で出力画像を調整して得ることができる。また、式（１１）を１よりも大きく設定することで、さらに補正を強調させることも可能である。

このように、行列ωの各要素の設定自由度は１つに限定せず、９つの自由度や別の制約条件に基づいて低減された自由度で調整することもできる。例えば、式（１３）に基づいて設定すれば自由度は６である。

また、色合成比調整係数ωの範囲についても、上記した補正画像ｆ_ｍとして入力画像や強調画像を得る場合のように、１／３≦ω≦１に限定せず設定することもできる。すなわち、式（１４）は、回復度合と偽色の発生リスクを１つの設定パラメータωで容易に決定するための例にすぎない。本実施例の本質は、回復成分情報Ｓ_ｍを色成分間で合成し、色合成回復成分情報Ｓｄ_ｍの色成分間の類似性を制御することで、偽色の発生リスクを抑制することである。

また、式（１５）のように色合成比調整係数ωと回復成分調整係数μを組み合わせて制御することもできる。これらを組み合わせることにより、色合成比調整係数ωは１／３≦ω≦１の範囲として偽色の発生を抑制し、回復成分調整係数μの範囲を０≦ω≦１として回復度合を制御することが可能である。

回復成分調整係数μを色成分で共通にして、式（１６）のようにすることもできる。

また、上記のように色成分間の回復成分情報Ｓ_ｍを色合成する際には、各画素に複数の色成分情報を持っていることが必要になる。したがって、上記の画像回復処理を各画素に１つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理（デモザイキング処理）を行う必要がある。そのために、各色成分の回復成分情報Ｓ_ｍに対して色補間処理を行う、あるいは第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍに対してそれぞれ色補間処理を行うことで、各画素に複数の色成分情報をもった回復成分情報Ｓ_ｍを生成すればよい。

図１６には、本発明の実施例４である画像処理システムの構成を示している。画像処理装置２０１は、コンピュータ機器により構成され、実施例１〜３にて説明した画像処理方法を該コンピュータ機器に実行させるための画像処理ソフトウェア（画像処理プログラム）２０６を搭載している。

撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像（撮影画像データ）を記憶する。

画像処理装置２０１は、撮像装置２０２又は記憶媒体２０３から撮影画像データを取得し、所定の画像処理を行った出力画像（補正画像）データを出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力する。また、出力先を画像処理装置２０１に内蔵された記憶部とし、該記憶部に出力画像データを保存しておくこともできる。出力機器２０５としては、プリンタ等が挙げられる。画像処理装置２０１には、モニタである表示機器２０４が接続されており、ユーザーはこの表示機器２０４を通して画像処理作業を行うとともに、補正画像を評価することができる。画像処理ソフトウェア２０６は、画像の位相劣化成分および振幅劣化成分の補正機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

また、図１７には、別の画像処理システムの構成を示している。実施例１のように撮像装置２０２単体で実施例１〜３の画像処理を行う場合は、撮像装置２０２から直接、出力機器２０５に補正画像を出力することができる。

また、出力機器２０５に、実施例１〜３の画像処理方法を実行する画像処理装置を搭載することで、出力機器２０５にて画像の補正処理を行うことも可能である。さらに、出力機器２０５の出力時の画像劣化特性を考慮して画像補正を行うことで、より高画質な画像を提供することができる。

ここで、位相劣化成分および振幅劣化成分の補正処理を含む画像処理を行うための補正データの内容と補正データの受け渡しについて説明する。図１８には、補正データの内容を示す。補正情報セットは、以下の補正に関する情報を有している。

「補正制御情報」
補正制御情報は、撮像装置２０２、画像処理装置２０１および出力機器２０５のどれで補正処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置２０２で初期設定の補正のみを行い、画像処理装置２０１でエッジ強調のゲイン調整を行う場合、画像回復フィルタを画像処理装置２０１に伝送する必要は無い。一方、撮像装置２０２から補正前の画像を取得して画像処理装置２０１で補正処理を行う場合には、画像処理装置２０１に画像回復フィルタを伝送する必要がある。また、使用された撮像装置を示す撮像装置情報や、該撮像装置の撮像状態情報に基づいて、対応する画像回復フィルタを予め画像処理装置２０１に保持された中から選択し、必要に応じて補正して用いる方法がある。

「撮像装置情報」
撮像装置情報は、製品名称に相当する撮像装置２０２の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。

「撮像状態情報」
撮像状態情報は、撮影時の撮像装置２０２の状態に関する情報である。例えば、焦点距離、絞り値、被写体距離、ＩＳＯ感度、ホワイトバランス設定等である。

「撮像装置個別情報」
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な補正パラメータを設定するために有効な情報である。補正パラメータとは、画像回復フィルタの補正係数、エッジ強調のゲイン値、歪曲補正およびシェーディング補正における設定値等を含む。

「画像回復フィルタ群」
画像回復フィルタ群は、位相成分の補正（回復）に用いる画像回復フィルタのセットである。ただし、実施例２、３の場合には、位相成分と振幅成分を回復する画像回復フィルタも含む。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置（機器）から画像回復フィルタを伝送する必要がある。

「ユーザー設定情報」
ユーザー設定情報は、ユーザーの好みに応じた先鋭度に補正するための補正パラメータまたは補正パラメータの補正値である。ユーザーは補正パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが補正パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。

さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した装置又は機器は補正処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

回復画像におけるノイズの増幅を抑制しながら、鮮鋭性も向上させる画像処理方法を提供できる。

１０１：撮像光学系
１０２：撮像素子
１０４：画像処理部
１０５：表示部
１０７：状態検知部
１０８：記憶部
１１０：システムコントローラ

Claims (7)

1. 撮像系により生成された画像を取得するステップと、
   前記撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて前記画像の補正処理を行うステップとを有し、
   前記画像回復フィルタは、前記画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする画像処理方法。
2. 前記光学伝達関数に基づいて、前記画像回復フィルタを生成又は選択するステップを有することを特徴とする請求項１に記載の画像処理方法。
3. 前記補正処理による前記画像の振幅劣化成分の増幅率が２倍以下であることを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記画像回復フィルタとは別のエッジ強調フィルタを用いて前記画像の振幅劣化成分を低減させるステップを有することを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
5. 撮像系により生成された画像を処理する画像処理装置であって、
   前記撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて前記画像の補正処理を行う補正手段を有し、
   前記画像回復フィルタは、前記画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする画像処理装置。
6. 撮像光学系により形成された被写体像を光電変換して画像を生成する撮像素子と、
   前記撮像光学系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて前記画像の補正処理を行う補正手段を有し、
   前記画像回復フィルタは、前記画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする撮像装置。
7. 撮像系により生成された画像を取得する処理と、
   前記撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いた前記画像の補正処理とをコンピュータに実行させる画像処理プログラムであって、
   前記画像回復フィルタは、前記画像の位相劣化成分および振幅劣化成分のうち該位相劣化成分のみを低減させるフィルタであることを特徴とする画像処理プログラム。