JP2019140605A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像の鮮鋭感を維持したまま、収差等による画質劣化を適切に補正可能にすることを課題とする。【解決手段】画像処理装置は、画像の特徴を検出する検出手段（１０４）と、画像に対してノイズ低減処理を行うノイズ低減手段（１０５）と、ノイズ低減処理の前の画像に対して画像回復処理を行う回復手段（１０３）と、ノイズ低減処理の後の画像の交流成分を強調する強調手段（１０６）と、画像の特徴に基づいて、画像回復処理の度合いと交流成分を強調する処理の度合いとを設定する設定手段（１０４）と。を有する。【選択図】図１

Description

本発明は、画質劣化を補正等する画像処理技術に関する。

撮像光学系の収差や回折現象によって撮像画像に生じた画質劣化を、撮像光学系の光学伝達関数（ＯＴＦ）から算出した補正特性を有する画像回復フィルタを用いて補正する、画像回復処理と呼ばれる技術が知られている（例えば特許文献１）。画像回復処理では、一般に撮像画像に含まれる各周波数成分を強調することで画像の鮮鋭度を回復するような処理が行われる。また、画像回復処理では、画像の鮮鋭度を回復することだけでなく、撮像光学系の軸上色収差、色のコマ収差など色成分に関わる収差を補正することも可能である。

画像回復処理では、前述のように各周波数成分を強調する処理が行われるため、例えば撮像画像にノイズが含まれている場合にはノイズの周波数成分も強調されてしまう。このため、例えば画像回復処理の度合い（画像回復フィルタによる補正の度合い）を大きくすると、ノイズも増大することになる。また、画像回復処理の後にノイズ低減処理（ノイズリダクション処理、以下ＮＲ処理とする。）が行われる場合、画像回復処理によって増大したノイズ成分も含めてＮＲ処理が行われることになるため、充分なノイズ低減効果が得られなくなることがある。

一方、画像回復処理の度合いを小さくすれば、ノイズの増大は抑えられることになる。例えば特許文献２には、高感度撮像された撮像画像のようにノイズが多い画像に対しては、画像回復処理における補正の度合いを弱くする技術が開示されている。そして、このように画像回復処理の度合いを弱くしてノイズの増大を抑えることで、画像回復処理の後にＮＲ処理が行われる場合でも、ある程度充分なノイズ低減結果を得られるようになる。

特開２０１１−２１７０８７号公報 特開２０１０−２５８６２８号公報

しかし、高感度撮像された撮像画像のようにノイズが目立つ画像に対し画像回復処理を行う場合において、画像回復処理の度合いを弱くすると、例えば高コントラストのエッジや光源付近に目立って現れる軸上色収差や色のコマ収差を補正できなくなってしまう。

そこで、本発明は、画像の鮮鋭感を維持しつつ、軸上色収差や色のコマ収差等を適切に補正可能にすることを目的とする。

本発明は、画像の特徴を検出する検出手段と、前記画像に対してノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理の前の前記画像に対して画像回復処理を行う回復手段と、前記ノイズ低減処理の後の前記画像の交流成分を強調する強調手段と、前記画像の特徴に基づいて、前記画像回復処理の度合いと前記交流成分を強調する処理の度合いとを設定する設定手段と、を有することを特徴とする。

本発明によれば、画像の鮮鋭感を維持しつつ、軸上色収差や色のコマ収差等を適切に補正可能となる。

第１実施形態の撮像装置の概略構成を示す図である。 画像回復処理部の概略構成を示す図である。 輝度信号処理部の概略構成を示す図である。 コントラスト判定処理のフローチャートである。 着目画素とその周辺画素の説明に用いる図である。 コントラスト値と閾値と判定値との関係を示す図である。 画像回復処理部におけるゲインと判定値との関係を示す図である。 輝度信号処理部におけるゲインと判定値との関係を示す図である。 第２実施形態の撮像装置の概略構成を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、第１実施形態の撮像装置の概略構成例を示した図である。本実施形態の撮像装置は、撮像部１００、Ａ／Ｄ変換部１０１、ＷＢ部１０２、画像回復処理部１０３、コントラスト検出部１０４、輝度ＮＲ部１０５、輝度信号処理部１０６、色ＮＲ部１１０、色信号処理部１１１を有して構成されている。また、図２は本実施形態の撮像装置の画像回復処理部１０３の内部構成例を示した図であり、図３は輝度信号処理部１０６の内部構成例を示した図である。図２の画像回復処理部１０３と図３の輝度信号処理部１０６の説明については後述する。

図１において、撮像部１００は、図示しない撮像光学系の撮影レンズ、撮像素子及びその駆動回路を含み、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。撮像部１００から出力されるアナログ信号は、Ａ／Ｄ変換部１０１によってデジタル信号に変換される。Ａ／Ｄ変換部１０１にてデジタル信号に変換された画像信号はＷＢ部１０２に入力され、ＷＢ部１０２では公知のホワイトバランス処理が行われる。ＷＢ部１０２でホワイトバランス処理された画像信号は、画像回復処理部１０３およびコントラスト検出部１０４に入力される。画像回復処理部１０３およびコントラスト検出部１０４の構成及び動作については後述するため、ここではそれらの詳細な説明を省略する。

画像回復処理部１０３で後述するように画像回復処理された画像信号は輝度ＮＲ部１０５に入力され、輝度ＮＲ部１０５では輝度ノイズ低減処理（輝度ノイズリダクション処理、以下輝度ＮＲ処理とする。）が行われる。輝度ＮＲ処理としては、例えば、画像信号を輝度信号に変換し、その輝度信号の画像に含まれるエッジ成分の方向を検出し、当該方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減するような公知の方法等が用いられる。輝度ＮＲ部１０５で輝度ＮＲ処理された後の輝度信号は、輝度信号処理部１０６に入力される。構成と処理の詳細は後述するが、輝度信号処理部１０６では、ガンマ補正やエッジ強調処理などの輝度信号処理が行われる。

また画像回復処理部１０３で画像回復処理された画像信号は、色ＮＲ部１１０にも入力される。色ＮＲ部１１０では、公知の色補間処理および公知の色ノイズ低減処理（色ノイズリダクション処理、以下色ＮＲ処理とする。）が行われる。色補間処理としては、例えば、画像信号を色差信号Ｖ（Ｒ−Ｙ）、Ｕ（Ｂ−Ｙ）等に変換し、その色差信号に対して色ＮＲ処理を行うような公知の方法等が用いられる。色ＮＲ処理としては、例えば、色差信号の画像に含まれるエッジ成分の方向を検出し、その方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減するような公知の方法等が用いられる。色ＮＲ部１１０で色ＮＲ処理された後の色信号は、色信号処理部１１１に入力される。色信号処理部１１１では、公知の色変換マトリックス処理、色抑圧処理等の色補正処理が行われる。

次に、画像回復処理部１０３による画像回復処理の概要について説明する。
画像回復処理は、撮像光学系の収差や回折現象等によって画質劣化が生じている画像に対し、撮像光学系の光学伝達関数（ＯＴＦ）の情報に基づいた補正を行って画質劣化を低減する処理である。画像回復処理としては、撮像光学系の光学伝達関数の逆特性を有する画像回復フィルタを用いて、入力画像に対する畳み込み演算（コンボリューション処理）を行う方法等が知られている。なお、画像回復処理への入力画像や画像回復処理後の出力画像には、撮像光学系の焦点距離および絞り値や被写体距離（または撮像距離）等の撮影条件や、入力画像を補正するための各種補正情報が付帯されていてもよい。すなわち撮像光学系の光学伝達関数は、撮影条件である撮像光学系の絞り値や焦点距離（ズーム位置）等に応じて変化し、さらに撮像面上での像高によっても変化するため、それら撮影条件等の各種情報を付帯するようにしてもよい。

ここで、撮像部１００により撮像され、Ａ／Ｄ変換部１０１、ＷＢ部１０２を介して画像回復処理部１０３に入力された画像をｄ（ｘ，ｙ）とする。なお入力画像ｄ（ｘ，ｙ）は、撮像光学系の収差や回折現象等で生じた画質劣化を含む画像であるとする。一方、撮像光学系の収差や回折現象によって生ずる画質劣化を含まない場合の画像をｆ（ｘ，ｙ）とする。さらに光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。この場合、以下の式（１）が成り立つ。ただし、式（１）中の＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｄ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） 式（１）

この式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。式（２）において、Ｈは点像分布関数（ＰＳＦ）のｈをフーリエ変換して得られた光学伝達関数（ＯＴＦ）である。また、式（２）のＤ，Ｆはそれぞれｄ，ｆをフーリエ変換して得られた関数であり、（ｕ，ｖ）は２次元周波数面での座標すなわち周波数を示す。
Ｄ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） 式（２）

画質劣化を含む入力画像から、画質劣化を含まない画像を得るためには、以下の式（３）ように、上記式（２）の両辺をＨで除算すればよい。
Ｄ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） 式（３）
この式（３）の演算によって、Ｆ（ｕ，ｖ）すなわちＤ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、画質劣化を含まない画像ｆ（ｘ，ｙ）に略々相当する回復画像が得られる。

ここで、Ｈ^-1を逆フーリエ変換したものをＫとすると、以下の式（４）のように、実面での画像に対するコンボリューション処理を行うことで、同様に画質劣化を含まない画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｄ（ｘ，ｙ）＊Ｋ（ｘ，ｙ）＝ｆ（ｘ，ｙ） 式（４）
式（４）中のＫ（ｘ，ｙ）が画像回復フィルタに相当する。

また画像回復処理部１０３への入力画像が２次元画像である場合、一般に、画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなされる。また画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、画像処理装置の出力画像としての要求画質、画像処理装置としての画像処理能力、ＰＳＦの広がり幅等に応じて、画像回復フィルタの実現可能なタップ数が設定される。

さらに画像回復フィルタは、少なくとも回折の特性を反映している必要があるため、例えば水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは異なるタップ数が設定される。そして、画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、画質劣化を含む入力画像における振幅成分と位相成分の劣化をともに高精度に補正することができる。

一方で、実際の入力画像にはノイズ成分が含まれる。このため、前述したように光学伝達関数（ＯＴＦ）の逆数を求めて作成した画像回復フィルタを用いると、入力画像に含まれるノイズ成分が大幅に増幅されてしまうことになる。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮像光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。すなわち、画像回復フィルタを用いると、撮像光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまう。そして、結果的にＭＴＦを持ち上げる度合い、すなわち画像回復処理の度合い（以下、回復ゲインとする。）に応じてノイズが増幅されてしまう。したがって、ノイズ成分を含む入力画像からは、鑑賞用の画像として良好な回復画像が得られない。このことは、以下の式（５），式（６）で表される。なお、式（５）、式（６）中のＮはノイズ成分を表す。
Ｄ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） 式（５）
Ｄ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） 式（６）

このようなノイズ成分を含む入力画像に対する画像回復処理の方法としては、例えば式（７）に示すウィナーフィルタのように、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて画像回復処理の度合いつまり回復ゲインを制御する方法が知られている。
Ｍ(u,v) ＝(１/Ｈ(u,v))・(|Ｈ(u,v)|²／(|Ｈ(u,v)|²＋ＳＮＲ²)) 式（７）

式（７）のＭ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。本実施形態では、式（７）のＭ（ｕ，ｖ）が画像回復フィルタの周波数特性を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

以上述べたように、撮像画像に対して画像回復処理を適用した場合、画像の鮮鋭度が高まるとともに、撮像部１００の撮像光学系の軸上色収差や色のコマ収差など色成分に関わる収差を補正することができる。ここで、例えば、光源などのコントラストの高い被写体は、軸上色収差や色のコマ収差がでやすいという特徴を有するとともに、低コントラスト被写体と比較してノイズとエッジの分離が容易であるという特徴がある。一方、コントラストの低い被写体は、軸上色収差や色のコマ収差の収差が目立ち難いという特徴を有するとともに、ノイズとエッジの分離が難しく、画像回復処理により画像のノイズが強調されると、ＮＲ性能に大きな影響を与えるという特徴がある。そこで、本実施形態では、コントラストが高い被写体画像については回復ゲインを強くするように設定し、画像のコントラストの低い被写体画像については回復ゲインを弱くするように設定する。

また、詳細については後述するが、本実施形態では、回復ゲインを弱めに設定した分の鮮鋭度の低下分を、輝度ＮＲ処理後の輝度信号処理部１０６で補うようにする。すなわち、本実施形態では、輝度ＮＲ処理前の画像回復処理の回復ゲインと、輝度ＮＲ処理後に後述する輝度信号処理部１０６で行われる強調処理のゲインとにおける重みのバランスを調整するようなゲイン設定を行う。このようにすることで、画像の鮮鋭感を維持したまま、軸上色収差や色のコマ収差の収差を適切に補正することができる。

また一般に、高感度で撮像された画像は、低感度で撮像された画像よりもノイズが多くなる傾向にある。このため、高感度で撮影された画像について例えば回復ゲインを弱くしてノイズの増大を抑えるようにすると、高コントラストのエッジや光源付近に目立って現れる軸上色収差や色のコマ収差を補正できなくなってしまう。そこで、本実施形態では、高感度で撮像された画像に対しては、低感度で撮像された画像と比較して、エッジ強調処理の強調ゲインに対する重みを相対的に大きくするように設定する。

本実施形態において、画像回復処理部１０３における画像回復処理の回復ゲインや、後述する輝度信号処理部１０６における強調処理の強調ゲインは、図１のコントラスト検出部１０４で行われるコントラスト判定処理の結果を基に設定される。
以下、図４のフローチャートを用い、図１のコントラスト検出部１０４で行われるコントラスト判定処理の動作を説明する。図４のフローチャートは一つの着目画素について行われる処理であり、着目画素が切り替わるごとに図４のフローチャートの処理が行われる。なお、図４のフローチャートの説明ではステップＳ４０１〜Ｓ４０６をそれぞれＳ４０１〜Ｓ４０６と略記する。

Ｓ４０１において、コントラスト検出部１０４は、着目画素とその周辺の画素とから画像の特徴を表す値、すなわち本実施形態の場合はコントラストの相関を表すコントラスト値を検出する。図５は、着目画素とその周辺画素の一例を示した図である。図５では、ＲＧＢ三原色のＧ画素を例に挙げ、中央の画素が着目画素でありＧ１１で表され、その周辺画素がＧ００，Ｇ０１，Ｇ０２，Ｇ１０，Ｇ１２，Ｇ２０，Ｇ２１，Ｇ２２で表されている。コントラスト検出部１０４は、式（８）に示すように、着目画素及び周辺画素の各画素値の最大値と最小値との差分を、コントラスト値Ｃｏとして取得する。式（１）において、Ｃｏはコントラスト値、ＧＭＡＸは着目画素及び周辺画素の各画素値のなかの最大値、ＧＭＩＮは着目画素及び周辺画素の各画素値のなかの最小値を表している。
Ｃｏ＝ＧＭＡＸ−ＧＭＩＮ 式（８）

次にＳ４０２において、コントラスト検出部１０４は、コントラスト値Ｃｏを閾値Ｔｈ１と比較する。そして、コントラスト検出部１０４は、コントラスト値Ｃｏが閾値未満（Ｃｏ＜Ｔｈ１）である場合にはＳ４０６に処理を進め、Ｓ４０６において判定値ｖａｌを０に設定した後、図４のコントラスト判定処理を終了する。一方、コントラスト値Ｃｏが閾値以上（Ｃｏ≧Ｔｈ１）である場合、コントラスト検出部１０４はＳ４０３に処理を進める。

Ｓ４０３に進むと、コントラスト検出部１０４は、コントラスト値Ｃｏを閾値Ｔｈ２と比較する。そして、コントラスト検出部１０４は、コントラスト値Ｃｏが閾値Ｔｈ２より大きい場合（Ｃｏ＞Ｔｈ２）にはＳ４０５に処理を進め、Ｓ４０５において判定値ｖａｌを１に設定した後、図４のコントラスト判定処理を終了する。一方、コントラスト値Ｃｏが閾値以下の場合（Ｃｏ≦Ｔｈ２）、コントラスト検出部１０４はＳ４０４に処理を進める。

Ｓ４０４に進むと、コントラスト検出部１０４は、判定値ｖａｌを０から１の間（０＜ｖａｌ＜１）で線形補間により求めた値に設定する。そして、Ｓ４０４において判定値ｖａｌを設定した後、コントラスト検出部１０４は、図４のコントラスト判定処理を終了する。

図６は、図４に示したコントラスト判定処理におけるコントラスト値Ｃｏと閾値Ｔｈ１，Ｔｈ２、および設定される判定値ｖａｌとの関係を示した図である。図６に示すように、コントラスト値Ｃｏが閾値Ｔｈ１より小さい場合、判定値ｖａｌは０に設定され、コントラスト値Ｃｏが閾値Ｔｈ２より大きい場合、判定値ｖａｌは１に設定される。また、コントラスト値Ｃｏが閾値Ｔｈ１と閾値Ｔｈ２との間の場合には、式（９）に示すような線形補間演算による判定値ｖａｌが設定される。
ｖａｌ＝（Ｃｏ−Ｔｈ１）／（Ｔｈ２−Ｔｈ１） 式（９）

なお、ここではコントラストの判定にＧ画素を用いたが、Ｂ画素やＲ画素、または公知のＹ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂの割合で合成したＹ画素を用いてもよい。また、図５では、着目画素とその周辺画素の領域として３×３画素の領域を用いた例を挙げたが、これに限られるものではない。

続いて、画像回復処理部１０３の動作の詳細について、図２に示した構成を参照しながら説明する。図２に示すように、画像回復処理部１０３は、回復フィルタ適用部２０１、画像回復フィルタ選択部２０２、ゲイン回路２０３、加算回路２０４、引算回路２０５を有して構成されている。なお、図２にはＷＢ部１０２とコントラスト検出部１０４も示されている。

画像回復フィルタ選択部２０２は、撮像部１００の不図示の撮影光学系に含まれるズームレンズのズーム位置（焦点距離）や絞り値等の撮影時の撮影条件に適した画像回復フィルタを選択する。なお、選択された画像回復フィルタは、必要に応じて補正されてもよい。例えば、画像回復フィルタのデータ数を低減するために離散的な撮影条件のデータを用意しておき、離散的な撮像状態に適した画像回復フィルタとなるように補間してもよい。

続いて、回復フィルタ適用部２０１において、画像回復フィルタ選択部２０２で選択された回復フィルタと画像回復処理部１０３に入力された入力画像とで、コンボリューション処理が行われる。

続いて、引算回路２０５は回復フィルタ適用部２０１でコンボリューション処理された画像と画像回復処理部１０３への入力画像との差分画像を生成する。ここで、差分画像は画像回復処理の交流成分（以下ＡＣ成分とする）を意味している。そして、その差分画像つまり画像回復処理のＡＣ成分が、ゲイン回路２０３に入力される。

ゲイン回路２０３は、画像回復処理のＡＣ成分について、コントラスト検出部１０４にて検出された判定値ｖａｌに応じた回復ゲインによるゲイン処理を行う。
ここで、図７に示すゲイン特性を用いて、ゲイン回路２０３による処理について説明する。図７の横軸はコントラスト検出部１０４にて検出された判定値ｖａｌを示し、縦軸はゲイン回路２０３にかかるゲインＲＧを示している。本実施形態において、このゲインＲＧが、画像回復処理における回復ゲインに相当する。この図７に示すゲイン特性は、式（１０）により表される。式（１０）において、ＲＧＭａｘは判定値ｖａｌ＝１に対応したゲイン、ＲＧＭｉｎは判定値ｖａｌ＝０に対応したゲインである。すなわちゲイン回路２０３では、ＡＧＭａｘとＡＧＭｉｎとの間のゲインの範囲内のゲインＲＧがかけられる。
ＲＧ＝（ＲＧＭａｘ−ＲＧＭｉｎ）＊ｖａｌ＋ＲＧＭｉｎ 式（１０）

このように、判定値ｖａｌが大きい（つまりコントラストが高い）場合には、ゲイン回路２０３にかかるゲインＲＧは大きくなる。逆に、判定ｖａｌが小さい（つまりコントラストが低い）場合には、ゲイン回路２０３にかかるゲインＲＧは小さくなる。

前述したゲイン回路２０３によるゲイン処理後のＡＣ成分は、加算回路２０４に入力される。加算回路２０４は、画像回復処理部１０３の入力画像と、ゲイン回路２０３によるゲイン処理後のＡＣ成分とを加算する。すなわち、この加算回路２０４の出力が、画像回復処理部１０３による画像回復処理後の画像信号となされる。

ここで、画像回復処理部１０３への入力画像をＲｅｉとし、回復フィルタ適用部２０１からの出力をＲｅｏとすると、画像回復処理部１０３の出力ＲＥＣＯは、式（１１）により表される。式（１１）のＲＧは、前述したようにコントラスト値Ｃｏに基づく判定値ｖａｌに応じて設定されたゲインである。

ＲＥＣＯ＝Ｒｅｉ＋（Ｒｅｏ−Ｒｅｉ）×ＲＧ 式（１１）

次に、輝度信号処理部１０６の動作の詳細について、図３に示した構成を参照しながら説明する。図３に示すように、輝度信号処理部１０６は、Ｂ補間回路３００、Ｒ補間回路３０１、Ｇ補間回路３０２、エッジ強調回路３０３、ＭＩＸ回路３０４、加算回路３０５を有して構成されている。なお、図２には輝度ＮＲ部１０５とコントラスト検出部１０４も示されている。

前述した図２の画像回復処理部１０３から出力された画像回復処理後の画像信号は、前述した輝度ＮＲ部１０５を介して、輝度信号処理部１０６のＢ補間回路３００、Ｒ補間回路３０１、Ｇ補間回路３０２に入力される。Ｂ補間回路３００は、Ｂ画素以外の色信号レベルを全て０とし、各画素に２次元のＬＰＦ（ローパフフィルタ）処理を行う。これにより、Ｂ補間回路３００からはＢ信号が出力され、当該Ｂ信号は後述するＭＩＸ回路３０４に入力する。Ｒ補間回路３０１は、Ｒ画素以外の色信号レベルを全て０とし、各画素に２次元のＬＰＦ処理を行う。これにより、Ｒ補間回路３０１からはＲ信号が出力され、当該Ｒ信号は後述するＭＩＸ回路３０４に入力する。Ｇ補間回路３０２は、Ｇ画素以外の色信号レベルを全て０とし、各画素に２次元のＬＰＦ処理を行う。これにより、Ｇ補間回路３０２からはＧ信号が出力される。この例では、Ｇ画素は線形補間処理を行っているが、これに限るものではなく、例えば特開２００５−１０９９９１号公報に開示されているような適応補間処理が行われてもよい。Ｇ補間回路３０２から出力されたＧ信号は、エッジ強調回路３０３と加算回路３０５とに入力される。

エッジ強調回路３０３の詳細な構成と動作の説明は後述するが、当該エッジ強調回路３０３から出力されたエッジ信号は、加算回路３０５によってＧ補間回路３０２から出力されたＧ信号と加算されて、ＭＩＸ回路３０４に入力される。

ＭＩＸ回路３０４は、Ｒ補間回路３０１からのＲ信号と、Ｂ補間回路３００からのＢ信号と、加算回路３０５によりエッジ信号が加算されたＧ信号とを、所定のＭＩＸ比率によりミックス処理して、輝度信号Ｙを生成する。すなわち、ＭＩＸ回路３０４では、式（１２）により、輝度信号Ｙを生成する。

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ 式（１２）

次に、エッジ強調回路３０３の詳細な構成と動作について説明する。エッジ強調回路３０３は、ＨＢＰＦ回路３１１、ＶＢＰＦ回路３１３、ＤＢＰＦ回路３１５、コアリング回路３１２，３１４，３１６、加算回路３１７、ゲイン回路３１８を有して構成されている。

エッジ強調回路３０３に入力されたＧ信号は、ＨＢＰＦ回路３１１、ＶＢＰＦ回路３１３、ＤＢＰＦ回路３１５に入力される。ＨＢＰＦ回路３１１は、入力されたＧ信号から水平方向のエッジを検出し、エッジ信号として出力する。ＨＢＰＦ回路３１１の出力であるエッジ信号はコアリング回路３１２に入力され、コアリング回路３１２では、主に輝度ＮＲ部１０５で低減できなかった微小なノイズ成分を低減するようなコアリング処理を行う。同様にＶＢＰＦ回路３１３は、Ｇ信号から垂直方向のエッジを検出し、エッジ信号として出力する。ＶＢＰＦ回路３１３の出力であるエッジ信号はコアリング回路３１４に入力され、コアリング回路３１４では、主に輝度ＮＲ部１０５で低減できなかった微小なノイズ成分を低減する。ＤＢＰＦ回路３１５は、Ｇ信号から斜め方向のエッジを検出して、エッジ信号として出力する。ＤＢＰＦ回路３１５の出力であるエッジ信号はコアリング回路３１６に入力され、コアリング回路３１６では、主に輝度ＮＲ部１０５で低減できなかった微小なノイズ成分を低減する。その後、コアリング回路３１２，３１４，３１６から出力されたエッジ信号は、加算回路３１７で加算されて、ゲイン回路３１８に入力される。

ゲイン回路３１８は、加算回路３１７から出力されたエッジ信号について、コントラスト検出部１０４にて検出された判定値ｖａｌに応じたゲイン処理を行う。ここで、エッジ信号は、輝度ＮＲ処理後の画像のＡＣ成分に相当し、ゲイン回路３１８では判定値ｖａｌに応じたゲイン（以下、強調ゲインとする。）によるゲイン処理が行われることで、輝度ＮＲ処理後のＡＣ成分を強調する処理が行われることになる。

図８に示すゲイン特性を用いて、ゲイン回路３１８による処理について説明する。図８の横軸はコントラスト検出部１０４にて検出された判定値ｖａｌを示し、縦軸はゲイン回路３１８にかかるゲインＡＧを示している。この図８に示すゲイン特性は、式（１３）により表される。式（１３）において、ＡＧＭａｘは判定値ｖａｌ＝０に対応したゲイン、ＡＧＭｉｎは判定値ｖａｌ＝１に対応したゲインである。ＡＧＭａｘとＡＧＭｉｎとの間のゲインの範囲は、前述したＲＧＭａｘとＲＧＭｉｎのゲインの範囲と同じでもよいが、本実施形態では、ＡＧＭａｘとＡＧＭｉｎとの間のゲインの範囲の方が相対的に狭い範囲であるとする。
ＡＧ＝（ＡＧＭｉｎ−ＡＧＭａｘ）＊ｖａｌ＋ＡＧＭａｘ 式（１３）

このように、判定値ｖａｌが大きい（つまりコントラストが高い）場合には、ゲイン回路３１８にかかるゲインＡＧは小さくなる。逆に、判定ｖａｌが小さい（つまりコントラストが低い）場合には、ゲイン回路３１８にかかるゲインＡＧは大きくなる。

以上説明したように、第１実施形態の撮像装置においては、コントラスト値に基づく判定値に応じて、画像回復処理の回復ゲインとＡＣ成分を強調する処理の強調ゲインとに対する重みのバランスを調整するようになされている。例えば、本実施形態の場合、コントラスト値Ｃｏに応じた判定値ｖａｌが閾値Ｔｈ１以上である場合には、画像回復処理の回復ゲインの重みが、ＡＣ成分を強調する処理の強調ゲインの重みに対して、相対的に大きく設定される。すなわち本実施形態では、画像のコントラストが高い場合には、画像回復処理部１０３における回復ゲインを強くし、エッジ強調回路３０３における強調ゲインを小さくするように、ゲインに対する重みのバランスが調整される。一方、撮像装置において、画像のコントラストが低い場合には、画像回復処理部１０３における回復ゲインを小さくし、鮮鋭度が下がる分をエッジ強調回路３０３の強調ゲインを大きくするようにして鮮鋭度を補うように、ゲインに対する重みのバランスが調整される。このようにすることで、第１実施形態の撮像装置によれば、画像の鮮鋭感を維持したまま、軸上色収差や色のコマ収差の収差、回折現象によって生じる画質劣化を適切に補正することが可能となる。

次に、第２実施形態について説明する。
図９は、第２実施形態の撮像装置の概略構成例を示した図である。第２実施形態の撮像装置は、撮像部９００、Ａ／Ｄ変換部９０１、ＷＢ部９０２、画像回復処理部９０３、コントラスト検出部９０４、輝度ＮＲ部９０５、輝度信号処理部９０７、色ＮＲ部９１０、色信号処理部９１１を備えている。さらに第２実施形態の撮像装置は、画像回復処理部９０６と演算部９０８をも有している。なお撮像部９００、Ａ／Ｄ変換部９０１、ＷＢ部９０２、画像回復処理部９０３、コントラスト検出部９０４、輝度ＮＲ部９０５、色ＮＲ部９１０、色信号処理部９１１は、前述した図１の対応した各構成と概ね同様であるため、それらの詳細な説明は省略する。

輝度信号処理部９０７の構成は、概ね前述した図３と同様であるため、その図示は省略するが、第２実施形態の場合、輝度信号処理部９０７にはコントラスト検出部９０４からの判定値は入力されない。第２実施形態の輝度信号処理部９０７の場合、ゲイン回路３１８では、予め決められた強調ゲインを用いたゲイン処理が行われる。

図９の構成において、前述した図１の構成と異なるのは、輝度ＮＲ部９０５と輝度信号処理部９０７との間に画像回復処理部９０６が設けられ、コントラスト検出部９０４からの判定値ｖａｌが演算部９０８を介して画像回復処理部９０６に入力される点である。画像回復処理部９０６には、コントラスト検出部９０４からの判定値ｖａｌに対して演算部９０８で（１−ｖａｌ）の演算がなされた後の判定値ｖａｌ'が入力される。画像回復処理部９０６は第１実施形態の画像回復処理部１０３の図３に示した構成と概ね同じ構成を有している。ただし、画像回復処理部９０６の場合、演算部９０８からの判定値ｖａｌ'に応じたゲインが図３のゲイン回路３１８に対して設定される。

すなわち第２実施形態の場合、輝度ＮＲ処理後のＡＣ成分を強調する処理は画像回復処理部９０６により行われ、強調ゲインに相当する回復ゲインは判定値ｖａｌ'に応じて設定される。また、判定値ｖａｌ'は、（１−ｖａｌ）の演算により求められる値となっている。このため画像回復処理部９０３で判定値ｖａｌに応じて回復ゲインが弱めに設定された場合、輝度ＮＲ処理後の画像回復処理部９０６で設定されるゲインは、画像回復処理部９０３で回復ゲインが弱められた分に相当する値だけ大きめの値に設定されることになる。

このように、第２実施形態においても第１実施形態と同様に、コントラストの高い被写体画像には画像回復処理部９０３における回復ゲインが強めに設定され、コントラストの低い被写体画像には画像回復処理部９０３における回復ゲインが弱めに設定される。また第２実施形態の場合、画像回復処理部９０３で回復ゲインを弱めに設定した分は、輝度ＮＲ処理後の画像回復処理部９０６においてゲインを大きめに設定することで補うようになされる。これにより、第２実施形態においても第１実施形態と同様に、画像の鮮鋭感を維持したまま、軸上色収差や色のコマ収差の収差を適切に補正することができる。

前述した第１，第２実施形態では撮像装置としてデジタルカメラを例に挙げたが、これには限定されない。本実施形態の撮像装置は、例えばデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどでもよい。

なお、前述した各実施形態のコントラスト検出部、画像回復処理部、輝度ＮＲ部、色ＮＲ部、輝度信号処理部、色信号号処理部等は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェアにより実行される場合、例えばＲＯＭ等に記載されているプログラムをＣＰＵが実行することにより実現される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像部、１０３：画像回復処理部、１０４：コントラスト検出部、１０５：輝度ＮＲ部、１０６：輝度信号処理部、１１０：色ＮＲ部、１１１：色信号処理部

Claims (12)

1. 画像の特徴を検出する検出手段と、
   前記画像に対してノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減処理の前の前記画像に対して画像回復処理を行う回復手段と、
   前記ノイズ低減処理の後の前記画像の交流成分を強調する強調手段と、
   前記画像の特徴に基づいて、前記画像回復処理の度合いと前記交流成分を強調する処理の度合いとを設定する設定手段と、
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、前記画像の特徴に基づいて、前記画像回復処理の度合いと前記交流成分を強調する処理の度合いとに対する重みのバランスを調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記画像の特徴に基づいて、前記画像回復処理の度合いを決めるゲインと前記交流成分を強調する処理の度合いを決めるゲインとを設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段は、前記画像の特徴としてコントラストの相関を示す値を検出し、
   前記設定手段は、前記コントラストの相関を示す値と所定の閾値との比較の結果に応じて、前記画像回復処理の度合いを決めるゲインと前記交流成分を強調する処理の度合いを決めるゲインとを設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記設定手段は、前記コントラストの相関を示す値が所定の閾値以上である場合に、前記画像回復処理の度合いを決めるゲインに対する重みを、前記交流成分を強調する処理の度合いを決めるゲインの重みに対して、相対的に大きく設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、高感度で撮像された画像に対しては、低感度で撮像された画像と比較して、前記ノイズ低減処理の後に行う前記交流成分を強調する処理の度合いに対する重みを相対的に大きくするように設定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記交流成分を強調する処理は、前記ノイズ低減処理の後の前記画像のエッジ強調処理を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記交流成分を強調する処理は、前記ノイズ低減処理の後の前記画像に対して更に微小なノイズ成分を低減するコアリング処理を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記交流成分を強調する処理は、前記ノイズ低減処理の後の前記画像に更に行う画像回復処理を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
10. 前記交流成分を強調する処理が行われるゲインの範囲は、前記画像回復処理が行われるゲインの範囲よりも相対的に狭いことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 画像処理装置が実行する画像処理方法であって、
    画像の特徴を検出する検出工程と、
    前記画像に対してノイズ低減処理を行うノイズ低減工程と、
    前記ノイズ低減処理の前の前記画像に対して画像回復処理を行う回復工程と、
    前記ノイズ低減処理の後の前記画像の交流成分を強調する強調工程と、
    前記画像の特徴に基づいて、前記画像回復処理の度合いと前記交流成分を強調する処理の度合いとを設定する設定工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images