JP2013051598A5 - - Google Patents

Description

撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点（集光点）に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。

この現象は以下の式で表すことができる。なお、Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） ・・・（式６）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
・・・（式７）
そのため、例えば詳細を後述するウィナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。

特許文献１では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献１記載の画像回復処理では、非合焦範囲における先鋭度の向上は実現できたとしても、ＲＡＷ画像に適用した画像回復処理で発生する色付きを十分抑制することはできない。

上述の目的は、撮像装置によって撮像された画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、画像に対して撮像光学系の倍率色収差の補正を行う第１の倍率色収差補正手段と、倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得手段と、撮像光学系の収差に基づいた画像回復フィルタを倍率色収差が補正された画像に適用する画像回復処理手段と、画像回復フィルタが適用された画像に対し、色に関する特徴量を取得する第２の取得手段と、第１の取得手段と第２の取得手段が取得した色に関する特徴量の変化に応じて、画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有することを特徴とする画像処理装置によって達成される。

画像回復処理部１１１は、ＲＧＢの画素のうちＲ画素とＢ画素（又は、各画素におけるＲ成分とＢ成分）に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の画素に対し、色付き抑制のための画素値調整が必要と決定する。
・Ｒに対する判定
判定条件１：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・Ｂに対する判定
判定条件１：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｂ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｂ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号

この判定結果により、画素値調整が必要と決定された画素について、画素値補正手段としての画像回復処理部１１１はＳ３０８において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。
・Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１８）
判定条件２を満たす場合（色差反転）：
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１９）
・Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｂ（ｘ，ｙ） ・・・（式２０）
判定条件２を満たす場合（色差反転）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式２１）

Ｓ４０７において画像回復処理部１１１は、Ｓ４０６での倍率色収差補正処理後の画像の色に関する特徴量の一例として、各画素についてＳ３０６と同様に色差情報を取得する。
次に行なわれるＳ４０８からＳ４０９の処理は、第１の実施形態で説明した図７のＳ３０７からＳ３０８の処理と同様であるため、説明は割愛する。

Claims (13)

1. 撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、
   前記画像に対して前記撮像光学系の倍率色収差の補正を行う第１の倍率色収差補正手段と、
   前記倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得手段と、
   前記撮像光学系の収差に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する画像回復処理手段と、
   前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第２の取得手段と、
   前記第１の取得手段と前記第２の取得手段が取得した前記色に関する特徴量の変化に応じて、前記画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有することを特徴とする画像処理装置。
2. 前記画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像がＲＧＢ成分から構成され、前記色に関する特徴量が、Ｇ成分もしくはＲＧＢ成分から生成した輝度成分の値に対するＲ成分の値の差分であり、前記画素値補正手段は画素のＲ成分の値を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像がＲＧＢ成分から構成され、前記色に関する特徴量が、Ｇ成分もしくはＲＧＢ成分から生成した輝度成分の値に対するＢ成分の値の差分であり、前記画素値補正手段は画素のＢ成分の値を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. さらに、前記画像回復フィルタが適用された画像から倍率色収差を検出して補正する第２の倍率色収差補正手段を有し、
   前記第２の取得手段が、前記第２の倍率色収差補正手段によって倍率色収差が補正された画像に対して前記色に関する特徴量を取得することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記画像回復フィルタは、前記撮像光学系の点像分布関数に基づいて生成されることを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 前記撮像光学系の点像分布関数は非対称な広がりを有することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像回復フィルタは、色成分ごとの非対称な収差を補正することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
10. 前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
11. 被写体の光学像を結像する撮像光学系と、
    前記光学像を撮像する撮像素子と、
    請求項１乃至請求項１０のいずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
12. 撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、
    前記画像処理装置の倍率色収差補正手段が、前記画像に対して前記撮像光学系の倍率色収差の補正を行う工程と、
    前記画像処理装置の第１の取得手段が、前記倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得工程と、
    前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する工程と、
    前記画像処理装置の第２の取得手段が、前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第２の取得工程と、
    前記画像処理装置の前記第１の取得工程と前記第２の取得工程で取得された前記色に関する特徴量の変化に応じて、画素値補正手段が、前記画像回復フィルタが適用された画像の画素値を補正する工程とを有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至請求項１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。