JP2013051599A5 - - Google Patents

Description

撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点（集光点）に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。

そのため、例えばウィナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。画像の色にじみ成分の劣化の補正は、例えば、画像の色成分毎のぼけ量が均一となるようにぼけ成分を補正することで実現できる。なお、撮像光学系のズーム位置や絞り径等の撮像状態に応じて光学伝達関数が変動するため、撮像状態に応じた画像回復フィルタを用いることにより、精度の良い画像回復処理を実現することができる。

特許文献１では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献１記載の画像回復処理では、非合焦範囲における先鋭度の向上は実現できたとしても、ＲＡＷ画像に適用した画像回復処理で発生する色付きを十分抑制することはできない。

上述の目的は、撮像装置によって撮像された、各画素が１つの色成分を有する画像における、撮像装置の撮像光学系の収差による画質の劣化を補正するための画像処理装置であって、画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間手段と、画像のうち基準の色成分以外の色成分の各々について、値を有する画素と画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第１の取得手段と、撮像光学系の収差を示す関数に基づいた画像回復フィルタを、画像の色成分の各々に対して適用する画像回復処理手段と、画像回復フィルタが適用された画像のうち基準の色成分について、画素補間処理を行う第２の画素補間手段と、画像回復フィルタが適用された画像のうち基準の色成分以外の色成分の各々について、値を有する画素と第２の画素補間手段による画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第２の取得手段と、第１の取得手段と第２の取得手段が取得した色差の変化に応じて、画像回復フィルタが適用された画像の画素値を補正する画素値補正手段と、を有することを特徴とする画像処理装置によって達成される。

（画像回復処理部１１１）
図２は画像回復処理部１１１の機能構成例を示すブロック図、図３は画像回復処理部１１１における画像回復処理を説明するためのフローチャートである。
画像回復処理部１１１には、図４（ａ）に示すように各画素が１つの色成分を持つＲＡＷ画像が入力される。従って、図４（ｂ）〜（ｄ）に示すように、各色成分は一部の画素にのみ値を有する。画像回復処理部１１１での処理は、図４（ｂ）〜（ｄ）に示す色成分（色プレーン）ごとに行われる。ここでは、ＲＡＷ画像が色成分ごとに入力されているように図示しているが、実際に色プレーンごとに分離して入力するようにしてもよいし、ＲＡＷ画像が保存されたメモリから、必要な色成分だけ読み出して処理するように構成してもよい。

このように、対象の画素が有する色成分について、周辺の画素値から計算した水平方向及び垂直方向の画素値の変化量であるＨ＿ＤＩＦＦ、Ｖ＿ＤＩＦＦを求め、変化量の絶対値が小さい方向を決定する。そして、対象の画素を挟んで位置する、一対の同色成分の画素値を補間（ここでは平均）して対象の画素における色成分値を求めることができる。このような適応的な画素補間処理の結果を図５（ｉ）に示す。また、式８〜１１を用いて説明した適応的な画像補間処理を適用せず、周辺の同色画素の画素値を単純に補間する画素補間処理の結果を図５（ｆ）〜（ｈ）に示す。Ｇ画素についての画素補間処理結果である図５（ｉ）及び（ｆ）の比較から明らかなように、適応的な画素補間処理を行った場合は、線形補間を行なった場合に対して先鋭度が低下していないことが分かる。

このような画像回復フィルタは、上述のように撮像光学系の光学伝達関数を計算若しくは計測し、光学伝達関数の逆関数を逆フーリエ変換して得ることができる。なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。そのため、例えば後述するウィナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。

・画素値調整部（Ｒ）１０１０が行う、Ｒに対する判定
判定条件１：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・画素値調整部（Ｂ）１０１１が行う、Ｂに対する判定
判定条件１：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｂ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｂ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号

この判定結果により、画素値調整が必要と決定された画素について、画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、Ｓ２０８において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。
・画素値調整部（Ｒ）１０１０による、Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１４）
判定条件２を満たす場合（色差反転）：
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１５）
・画素値調整部（Ｂ）１０１１による、Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｂ（ｘ，ｙ） ・・・（式１６）
判定条件２を満たす場合（色差反転）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１７）

このように、本実施形態で説明した処理を実施するにあたり、処理中の画像データは様々な時点で保持することができる。例えば回復フィルタ適用部１００４〜１００６に入力する各色成分は色成分ごとに保持しても良いし、ベイヤー配列のまま（色プレーンに分離せずに）保持してもよい。また、図２の構成のように、第１の画素補間部１００１と第２の画素補間部１００７で生成されたＧ成分を、ベイヤー配列のＧ成分とは別に保持してもよい。データの保持方法は、システムの有するメモリ容量等に応じて適宜決定すればよい。

・倍率色収差補正成分を含まない画像回復フィルタ
画像回復処理の実空間と周波数空間での特性を図１２を用いて説明する。図１２において、（ａ）は画像回復処理前の点像分布関数を、（ｂ）は回復後の点像分布関数をそれぞれ示している。また、図１２（ｃ）の４０１は画像回復処理前のＭＴＦ、４０２は画像回復処理後のＭＴＦを示し、図１２（ｄ）の４０３は画像回復処理前のＰＴＦ、４０４は画像回復処理後のＰＴＦを示している。図１２（ａ）からわかるように、画像回復処理前の点像分布関数は非対称な広がりを有し、この非対称性により、対応するＰＴＦは零ではない値を有する（図１２（ｄ）の４０３）。画像回復処理は、図１２（ｃ）の４０２に示すようにＭＴＦを増幅し、図１２（ｄ）の４０４に示すようにＰＴＦを零に補正するため、画像回復処理後の点像分布関数は図１２（ｂ）に示すように対称で先鋭になる。

Claims (15)

1. 撮像装置によって撮像された、各画素が１つの色成分を有する画像における、前記撮像装置の撮像光学系の収差による画質の劣化を補正するための画像処理装置であって、
   前記画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間手段と、
   前記画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第１の取得手段と、
   前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記画像の色成分の各々に対して適用する画像回復処理手段と、
   前記画像回復フィルタが適用された画像のうち前記基準の色成分について、画素補間処理を行う第２の画素補間手段と、
   前記画像回復フィルタが適用された画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第２の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第２の取得手段と、
   前記第１の取得手段と前記第２の取得手段が取得した前記色差の変化に応じて、前記画像回復フィルタが適用された画像の画素値を補正する画素値補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記画素値補正手段は、前記第１の取得手段と前記第２の取得手段が取得した前記色差の変化に応じて、前記画像回復フィルタが適用された画像のうち、前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像のうち前記基準の色成分以外の色成分の各々について、前記撮像光学系の倍率色収差を補正する倍率色収差補正手段をさらに有し、
   前記第１の取得手段は前記倍率色収差が補正された色成分の各々について前記色差を取得し、
   前記画像回復処理手段は、倍率色収差の補正を行わない画像回復フィルタを適用することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記画像が、ベイヤー配列の原色カラーフィルタを備えた撮像素子によって撮像され、
   前記基準の色成分がＧ成分であることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記画像回復処理手段は、前記Ｇ成分をＧ１成分とＧ２成分に分離し、前記Ｇ１成分と前記Ｇ２成分とで個別に前記画像回復フィルタを適用することを特徴とする請求項４記載の画像処理装置。
6. さらに、前記画素値補正手段の出力する前記基準の色成分以外の色成分と、前記画像回復フィルタが適用された前記基準の色成分とをそれぞれ画素補間して出力する第３の画素補間手段を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記第１の画素補間手段、前記第２の画素補間手段、及び前記第３の画素補間手段の少なくとも１つは、補間する画素の特定の色成分の値を、該画素の周囲の、前記特定の色成分以外の色成分の値を用いて決定した補間方法によって前記画素補間処理を行うことを特徴とする請求項６記載の画像処理装置。
8. 前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
10. 前記画像回復フィルタは前記撮像光学系の点像分布関数に応じた２次元フィルタであることを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
11. 前記画像回復フィルタは前記撮像光学系の非対称な点像分布関数に応じた２次元フィルタであることを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像回復処理手段は前記２次元フィルタを用いてコンボリューション処理を行うことを特徴とする請求項１０又は請求項１１に記載の画像処理装置。
13. 被写体の光学像を結像する撮像光学系と、
    前記光学像を撮像する撮像素子と、
    請求項１乃至請求項１２のいずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
14. 撮像装置によって撮像された、各画素が１つの色成分を有する画像における、前記撮像装置の撮像光学系の収差による画質の劣化を補正するための、画像処理装置によって実行される画像処理方法であって、
    前記画像処理装置の第１の画素補間手段が、前記画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間工程と、
    前記画像処理装置の第１の取得手段が、前記画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第１の取得工程と、
    前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記画像の色成分の各々に対して適用する画像回復処理工程と、
    前記画像処理装置の第２の画素補間手段が、前記画像回復フィルタが適用された画像のうち前記基準の色成分について画素補間処理を行う第２の画素補間工程と、
    前記画像処理装置の第２の取得手段が、前記画像回復フィルタが適用された画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第２の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第２の取得工程と、
    前記画像処理装置の画素値補正手段が、前記第１の取得工程と前記第２の取得工程で取得された前記色差の変化に応じて、前記画像回復フィルタが適用された画像の画素値を補正する画素値補正工程と、
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至請求項１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。