JP2011248479A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】入力された画像データに対して、画像補正後に助長されたノイズを補正する画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像における露出が適正か否かを判定する判定手段と、前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段とを有する。
【選択図】図７

Description

本発明は、入力されたデジタル画像データに対して、画像補正後に助長されたノイズを補正する画像処理装置、画像処理方法、およびプログラムに関する。

従来、デジタルカメラで撮影された写真画像データに対して様々な補正を行い、好適な写真画像をプリントする装置・方法が、数多く提案されている。このような画像補正方法は、大別すると、画像全体に均一な補正を行う均一補正と、画像の局所的な性質に応じて補正量が変化する局所補正の二つに分けて考えることができる。このうち後者の局所補正の代表的なものとして、露出の覆い焼き補正が挙げられる。覆い焼き補正とは、例えば、人物などの被写体が暗く背景が明るい場合に、暗い人物領域の明度は大きく上昇させ、明るい背景領域の輝度はさほど変化させないようにする。このことにより、背景の白トビを抑えて、人物領域の明るさを適正に補正するというものである。覆い焼き補正の一例として、入力画像に対してフィルタ処理を施して低周波画像、すなわち、ぼけ画像を生成し、該ぼけ画像を明るさの制御因子として用いることで、デジタル画像に対する覆い焼き補正を実現する手法がある。

覆い焼き手法は明るさを局所的に制御できるため、１つのトーンカーブよりも、暗部補正量を大きくすることが可能だが、その反面、暗部ノイズが大きく助長される。この課題に対して特許文献１では、ネットワークカメラで撮影したフレームを覆い焼き処理で局所的な明るさ補正を行う際に、助長されたノイズ成分の除去を行う方法である。

特開２００６−６５６７６号公報

以上説明したような覆い焼き補正後の助長されたノイズ除去方法には、以下のような課題が存在する。特許文献１では、画像の輝度成分を抽出し、輝度成分ぼけ画像を用いて覆い焼き処理を行い、局所的な明暗差の補正量に応じて、ローパスフィルタ等のぼけフィルタを使用し、暗部の高周波ノイズを除去している。しかしながら、ローパスフィルタ等のぼけフィルタのみ使用しているため、画像全体的には、ぼけた感じになってしまう課題がある。

特に、覆い焼き補正の制御量から、ノイズ除去処理の制御を行う場合、覆い焼き処理は、暗部の補正量が高く設定されているため、特に暗部がぼけてしまう。例えば、画像の暗部にノイズではないぼかしたくないエッジが存在していた場合にも、全体としてよりぼけた画像が生成されてしまう。また、ノイズ除去方法にメディアンフィルタまたはローパスフィルタを使用し、暗部の高周波ノイズを除去しているため、覆い焼き補正処理で助長される低周波ノイズに関しては、除去できない。

本発明の画像処理装置は、上記課題を解決するために、本発明の画像処理装置は以下の構成を有する。入力画像における露出が適正か否かを判定する判定手段と、前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段とを備え、前記フィルタ処理手段は、前記補正手段による前記注目画素に対する明るさの補正量が大きいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、前記補正手段による前記注目画素に対する明るさの補正量が小さいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める。

本発明における別の構成として、画像処理装置は以下の構成を有する。入力画像における露出が適正か否かを判定する判定手段と、前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、前記入力画像または前記補正手段により画像の明るさを補正された画像のいずれかから、画像中のエッジの強度を示すエッジ判定量を検出するエッジ判定手段と、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段とを備え、前記フィルタ処理手段は、前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が小さいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が大きいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める。

覆い焼き補正処理の制御量に従ってローパスフィルタ等のノイズ除去を行う際に起こる画像全体のぼけ感を緩和しつつ、覆い焼き補正によって補正されていない領域に影響を与えることなく助長されたノイズを除去することができる。また、特に画像の暗部に存在するぼかしたくないエッジ部をぼかさずにノイズを除去することができる。また、覆い焼き補正によって補正されていない領域に影響を与えることなく、助長された高周波ノイズと低周波ノイズを除去することができる。

本発明の基礎となる処理のブロック図。 本発明に係るハードウェア構成図。 本発明に係る低周波画像生成部１０２の処理フロー図。 本発明に係る低周波画像生成を説明するための図。 本発明に係る覆い焼き処理フロー図。 本発明の基礎となるノイズ除去フロー図。 第一実施形態に係る処理のブロック図。 第一実施形態に係るノイズ除去フロー図。 第一実施形態に係るフィルタ切り替え制御を説明するための図。 第二実施形態に係る処理のブロック図。 第二実施形態に係るエッジ判定を説明するための図。 第二実施形態に係るノイズ除去フロー図。 第二実施形態に係る強調係数Ｊの算出を説明するための図。 第二実施形態に係る平坦係数Ｍの算出を説明するための図。 第三実施形態に係る処理のブロック図。 第三実施形態に係るノイズ除去フロー図。 第三実施形態に係る画素置き換え処理を説明するための図。 本発明に係る露出適正度判定部１０１の処理フロー図。

＜第一実施形態＞
（ハードウェア構成の説明）
図２に、本発明の画像処理方法を実施可能なハードウェア構成を示す。なお、図２は、本実施形態における例であり、本発明は、図２の構成に限定されない。本実施形態のハードウェア構成は、コンピュータ２００と、それに接続されたプリンタ２１０及び画像取得装置２１１（例えば、デジタルカメラやスキャナ等）を有している。コンピュータ２００は、システムバス２０１に、ＣＰＵ２０２，ＲＯＭ２０３，ＲＡＭ２０４、ハードディスク等の二次記憶装置２０５が接続されている。

また、ユーザインターフェースとして、表示部２０６、キーボード２０７、ポインティングデバイス２０８がＣＰＵ２０２等に接続されている。更に、コンピュータ２００は、プリンタ２１０とＩ／Ｏインターフェース２０９を介して接続されている。更に、コンピュータ２００は、画像取得装置２１１とＩ／Ｏインターフェース２０９を介して接続されている。ＣＰＵ２０２は、アプリケーション（以下の説明する処理を実行する機能）の実行が指示されると二次記憶装置２０５等の記憶部にインストールされているプログラムを読み出してＲＡＭ２０４にロードする。その後、そのプログラムを起動することにより、その指示された処理を実行することができる。

（全体処理フローの説明）
図１に、本実施形態の基礎となる処理のブロック図を示している。本実施形態における処理の詳細な特徴については、図７を用いて後述するが、その前に本発明の実施形態の基礎となる全体処理フローについて述べておく。以下では図１を用いて処理の流れを説明する。また、必要に応じてフローチャートを用い、各処理部における処理の詳細説明を行う。

まず、画像取得装置２１１であるデジタルカメラで撮影を行い、メモリカード等の記録メディアに記憶されているデジタル画像データを取得する。そして、取得したデジタル画像データを入力画像として、露出適正度判定部１０１に入力する。なお、ここでは、デジタル画像データを取得する画像取得装置２１１としてデジタルカメラを挙げているが、デジタル画像データを取得可能な装置であれば、これに限定されない。

例えば、アナログカメラで撮影されたフィルムを読み取ることにより、デジタル画像データとして取得するスキャナ等を画像取得装置２１１としても良い。或いは、ネットワークで接続されたサーバの記憶媒体から、デジタル画像データを取得しても良い。本発明を適用するために、入力画像データのフォーマットについて特に限定しないが、ここでは説明を簡単にするために、画像データの各画素値がＲＧＢ成分値（各成分８ｂｉｔ）で構成されているものとする。

（露出適正度判定）
次に、露出適正度判定部１０１は、入力画像データから画像解析処理を行い、露出適正判定を行う。図１８は、露出適正度判定部１０１における処理フローを示している。露出適正度判定フローでは、まず、Ｓ１８０１において、入力画像中から主要被写体（例えば人物の顔）を抽出する被写体抽出処理を行う。なお、主要被写体抽出処理については、様々な公知文献で開示されており、本発明に適用可能であればどの手法を用いてもよい。例えば本発明に適用可能な例として次のような技術がある。

特開２００２−１８３７３１号公報によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出する。算出した値が、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較した時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。

さらに、特登録３５５７６５９によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。次に、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。

その他、顔および器官位置を検出する方法としては、特開平８−７７３３４号公報、特開２００１−２１６５１５号公報、特登録２９７３６７６号、特開平１１−５３５２５号公報、特開２０００−１３２６８８号公報、特開２０００−２３５６４８号公報、特登録３５４９０１３号、特登録２５４１６８８号など、数多くの手法が提案されている。

次に、Ｓ１８０２において、抽出した主要被写体に対し、露出不足の状態を判定するために、入力画像データの主要被写体領域の特徴量解析を行う。例えば、露出不足画像を判定する基準となる輝度平均と彩度分布値を設定しておく。そして、輝度平均および彩度分散値が予め設定した輝度平均と彩度分布値が高い場合には適正露出の画像とし、平均輝度および彩度分散値が予め設定した値よりも低い場合には露出不足の画像とする。そのために、画像の特徴量として、主要被写体の平均輝度Ｙａと彩度分散値Ｓａを算出する。

次にＳ１８０３において、算出した画像の特徴量と予め設定した特徴量とを比較し、露出不足の状態を判定する。例えば、予め主要被写体の基準平均輝度値Ｙｂと基準彩度分散値Ｓｂを定めておく。そして、算出した主要被写体の平均輝度値Ｙａが基準平均輝度値Ｙｂより低く、算出した主要被写体の彩度分散値Ｓａが基準彩度分散値Ｓｂより低い場合に、露出不足と判定する。

露出適正度判定は、露出適正状態を判定できればいずれの方法を用いても構わない。例えば、逆光画像のように、画像全体が明るいが主要被写体は暗い画像を露出不足画像と設定することができる。この場合、特徴量として、入力された画像データ全体の平均輝度値Ｙｃを算出する。更に、抽出した主要被写体領域の平均輝度値Ｙａを算出する。そして、画像データ全体の平均輝度値Ｙｃより主要被写体領域の平均輝度値Ｙｂが低い場合に、露出不足の状態であると判定することもできる。

また、例えば、露出不足の画像を判定する方法として、特願２００９−０９８４８９の画像処理方法がある。特願２００９−０９８４８９では、特徴量算出部で、色空間変換した画像データを解析し、明度成分および色のばらつき成分の特徴量を算出し、シーン判定部へ送信する。例えば、ＹＣｂＣｒ色空間の画像データから、明度成分として輝度（Ｙ）の平均値を算出する。また、色のばらつき成分として色差（Ｃｂ）の分散値を算出する。

以下の式を用いて、輝度（Ｙ）の平均値を算出する。

［式１］

以下の式２および式３を用いて、色差（Ｃｂ）の平均値を求めてから、色差の分散値を算出する。

［式２］

［式３］

次に、シーン判定部は、特徴量算出部で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値との距離を算出する。そして、算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを取得画像のシーンと判定する。例えば、特徴量は、明度成分の特徴量として輝度（Ｙ）の平均値、色のばらつき成分の特徴量として色差（Ｃｂ）の分散値とする。

予め設定してある各シーンを示す複数の特徴量も同様に、明度成分の特徴量として輝度（Ｙ）の平均値、色のばらつき成分の特徴量として色差（Ｃｂ）の分散値とする。予め設定してある各シーンを２つのシーンとし、夜景シーン及び露出不足シーンとする。夜景シーンには、３つの代表値を保持するとし、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値の特徴量の組み合わせを３つ設定しておく。

露出不足シーンには、４つの代表値を保持するとし、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値の特徴量の組み合わせを４つ設定しておく。取得画像から算出した特徴量の組み合わせの値と７つの代表値との差を計算し、７つの特徴量の中で最も差の小さい代表値を算出する。最も差の小さい代表値の予め設定したシーン設定を、取得画像のシーンと判定する。なお、上述したように、露出不足の状態を判定できればいずれの方法を用いて構わない。

次に、Ｓ１８０４において、上述したような露出判定により入力画像データが適正露出であると判定された場合（Ｓ１８０４にてＮＯ）には、覆い焼き処理を行わず、本処理フローを終了する。なお、その後に通常の画像処理フロー（不図示）を経てプリント処理が実行される。入力画像データが露出不足であると判定された場合（Ｓ１８０４にてＹＥＳ）には、Ｓ１８０５にて低周波画像生成部１０２で低周波画像を生成し、覆い焼き補正部１０３及びノイズ除去部１０４における処理（覆い焼き処理）を行う。

（低周波画像生成処理）
低周波画像生成部１０２は、入力画像データから、複数のぼけ度合いが異なるぼけ画像を生成し、生成した複数のぼけ画像を合成した低周波画像を生成する。図３は、低周波画像生成部１０２のフローを示している。

ぼけ画像生成フローでは、まずＳ３０１において、入力画像（例としてＲＧＢカラー画像）を基準解像度となるように解像度変換する。基準解像度は予め定められたサイズであり、例えば面積が（８００×１２００画素）相当となるように、入力画像の幅と高さを変倍する。なお、解像度変換には最近隣補間や線形補間等の様々な補間方法が存在するが、ここではどの補間方法を用いてもよい。

次に、Ｓ３０２において、基準解像度に変倍後のＲＧＢカラー画像を、公知の輝度色差変換式を用いて輝度画像に変換する。ここで用いられる輝度色差変換式については、本発明の本質ではないため、説明を省略する。次に、Ｓ３０３において、変倍後の画像データに対して予め定められたローパスフィルタを施し、その結果得られた低周波画像は、輝度画像とは別のＲＡＭ２０４の領域に、記憶・保持される。ローパスフィルタには様々な種類の方法があるが、ここでは例として以下に示す式４のような５×５の平滑化フィルタを用いる場合を想定する。

［式４］

なお、本発明におけるぼけ画像生成方法は、式４として示した平滑化フィルタに限定されるものではない。例えば、平滑化フィルタの係数をガウスフィルタとしてもよいし、公知のＩＩＲ、ＦＩＲフィルタを用いても構わない。

上記のようなフィルタを用いて、ぼけ画像生成処理を適用した後、画像をＲＡＭ２０４等の記憶部に記憶する（Ｓ３０４）。その後、ぼけ画像生成処理が終了しているかを判定する（Ｓ３０５）。ぼけ画像の生成が終了していなければ（Ｓ３０５にてＮＯ）、さらにぼけ度合いの異なるぼけ画像を生成するために、縮小処理を行う（Ｓ３０６）。ここではＳ３０６において、上述したローパスフィルタ後の画像データを予め定められた縮小率（例えば１／４）のサイズに縮小した後、Ｓ３０３に戻って同様にフィルタ処理を施す。上記縮小処理とローパスフィルタによるボケ画像生成を必要回数だけ繰り返し、サイズの異なる複数のぼけ画像を生成する。

ここでは説明を簡略化するため、図４に示すような２つのサイズのぼけ画像を生成し、記憶部に保存しているものとする。ぼけ画像Ｂはぼけ画像Ａに比して縦横のサイズがそれぞれ１／４となっているが、フィルタはぼけ画像Ａと同様のフィルタを施しているため、ぼけ画像Ｂをぼけ画像Ａと同じサイズにリサイズすれば、Ａよりもぼけ度合いが強い画像となっている。そして、２つのぼけ画像４０１、４０２を同じサイズで加重平均し、低周波画像を得る。ここでは、カットオフ周波数が異なる低周波画像を複数のぼけ画像として加重平均で合成し、低周波画像としている。しかし、入力画像から低周波画像を生成できれば、これに限られない。

（覆い焼き処理）
次に、覆い焼き補正部１０３は、低周波画像を用いて入力画像に対して局所的に明暗の補正処理を行う。図５は、本発明に適用可能な覆い焼き処理のフローを示している。

まずＳ５０１において、処理対象画像の座標を示す座標位置（Ｘ，Ｙ）を初期化する。次に、Ｓ５０２において、座標位置（Ｘ，Ｙ）に相当する低周波画像上の画素値を取得する。ここで、低周波画像の各画素の座標を（Ｘｚ，Ｙｚ）として示す。低周波画像における座標位置（Ｘｚ，Ｙｚ）の画素値を取得した後、Ｓ５０３おいて、覆い焼き処理を行うための強調係数Ｋを算出する。覆い焼き補正の手法は公知文献で既に開示されている手法のうちいずれを用いてもよいが、例として、以下の式５により強調係数Ｋを決定する。

［式５］
Ｋ＝ｇ×（１．０−（Ｂ（Ｘｚ，Ｙｚ）／２５５））
式５において、Ｂ（Ｘｚ，Ｙｚ）は、座標（Ｘｚ，Ｙｚ）における低周波画像の画素値（０〜２５５）であり、ｇは所定の定数である。式５は、低周波画像が暗い場合（画素値が小さい）に強調係数Ｋは大きくなり、逆に明るい場合（画素値が大きい）には強調係数Ｋが小さくなることを意味している。低周波画像における各画素の値により、入力画像における明るさの補正量を局所的に変化させることができる。

強調係数Ｋを用いて、Ｓ５０４では、出力画像の各画素値の各色成分に強調係数Ｋを乗じて覆い焼き補正を行う。強調係数Ｋは、出力画像がＲＧＢ成分を保持している場合には、ＲＧＢ成分それぞれに対して乗じてもよいし、例えば、ＲＧＢ成分を輝度色差成分（ＹＣｂＣｒ）に変換し、Ｙ成分にのみ乗じてもよい。

以上の処理を、処理対象画像における全ての画素に対して行うことで（Ｓ５０５〜Ｓ５０８）、低周波画像を用いた覆い焼き処理を行うことが可能となる。なお、強調係数を用いた方法の他、どのような覆い焼き方式を用いたとしても、本発明の範疇に含まれることは言うまでもない。

（ノイズ除去処理）
次に、ノイズ除去部１０４は、フィルタ処理を備え、上述した低周波画像及び強調係数に応じてノイズ除去処理の補正強度を変更し、覆い焼き補正後の画像にノイズ除去処理を行う。図６は、ノイズ除去処理のフローを示している。

まず、Ｓ６０１において、覆い焼き補正後の画像全体に、ローパスフィルタ処理を行い、記憶部に格納する。ここではノイズ除去方法としてローパスフィルタを行っているが、低周波画像に応じて、補正処理および補正強度の少なくとも一方を変更でき、高周波ノイズを除去できるいずれの種類のフィルタ処理を用いても良い。例えば、フィルタとしてメディアンフィルタを用いても良い。

次に、Ｓ６０２において、処理対象画像の座標を示す座標位置（Ｘ，Ｙ）を初期化する。次に、Ｓ６０３において、座標（Ｘ，Ｙ）に相当する低周波画像上の画素値を取得する。ここで、低周波画像の各画素の座標を（Ｘｚ，Ｙｚ）として示す。また、覆い焼き補正処理を適用した後の画像における各画素の座標を（Ｘｗ，Ｙｗ）として示す。次に、Ｓ６０４において、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画像上の画素値を取得する。

次に、Ｓ６０５において、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画像にローパスフィルタ処理を行った画像上の画素値を取得する。ここで、ローパスフィルタ処理を行った後の画像における各画素の座標を（Ｘｖ，Ｙｖ）として示す。次に、Ｓ６０６において、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画素値とローパスフィルタ後の画素値との差分値Ｓを以下の式を用いて算出する。

［式６］
Ｓ（Ｘ，Ｙ）＝（Ｃ（Ｘｗ，Ｙｗ）−Ｄ（Ｘｖ，Ｙｖ））
上式において、Ｃ（Ｘｗ，Ｙｗ）は、座標（Ｘｗ，Ｙｗ）における覆い焼き補正後の画像の画素値（０〜２５５）を示す。Ｄ（Ｘｖ，Ｙｖ）は、座標（Ｘｖ，Ｙｖ）における覆い焼き補正後の画像にローパスフィルタ処理を行った画像の画素値（０〜２５５）を示す。差分値Ｓは、ここでは、ＲＧＢの色毎の差分値として説明するが、画素の濃度差を示す値であれば、いずれでも良い。例えば、ＲＧＢを輝度・色差成分に変換し、輝度成分のみの差分としても良い。

次に、Ｓ６０７において、上述した覆い焼き補正部１０３の処理と同様に、座標（Ｘ，Ｙ）に相当する低周波画像上の座標（Ｘｚ，Ｙｚ）の画素値を取得し、強調係数Ｋを算出する。次に、Ｓ６０８において、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画素値Ｃ（Ｘｗ，Ｙｗ）に対して、差分値Ｓに強調係数Ｋを乗じた値を減算することでノイズ除去を行う。ノイズ除去の算出式を以下に示す。

［式７］
Ｎ（Ｘ，Ｙ）＝Ｃ（Ｘｗ，Ｙｗ）−ｈ×Ｋ×Ｓ（Ｘ，Ｙ）
式７において、Ｎ（Ｘ，Ｙ）は、座標（Ｘ，Ｙ）におけるノイズ除去後の画素値（ＲＧＢ各０〜２５５）であり、ｈは所定の定数である。定数ｈについては、経験的に定義しても良いし、強調係数Ｋに応じて定義しても良い。式７において、低周波画像が暗い場合にノイズ除去の補正強度は大きくなり、逆に明るい場合には補正強度が小さくなることを意味している。

ノイズ除去後の画素値を算出する際に、処理対象画像がＲＧＢ成分を保持している場合には、ＲＧＢ成分それぞれに乗じてもよいし、例えば、ＲＧＢ成分を輝度色差成分（ＹＣｂＣｒ）に変換し、Ｙ成分にのみ乗じてもよい。以上の処理を、処理対象画像上の全ての画素値に対して行うことで（Ｓ６０９〜Ｓ６１２）、低周波画像を用いたノイズ除去処理を行うことが可能となる。そして、プリンタ２１０は、補正済み画像データを印刷媒体に印字する。

上記で述べた処理により、覆い焼き補正の局所的な制御量を決定する際に用いる低周波画像を利用することで、暗部ノイズとは関係のない余計な領域に影響を与えることもなく、助長された暗部ノイズの除去を行うことができる。また、暗部ノイズ助長のために、覆い焼き補正処理の補正強度を抑制しなければならなかった処理に関しても、補正強度を強くすることができるので、覆い焼き補正の効果も上昇させることができる。

（本実施形態の特徴）
しかしながら上記の流れで処理を行うことにより、ノイズ除去処理として覆い焼き補正量に応じて、ノイズ除去の補正量を制御しても、ぼけた方向（低周波方向）にしか補正されないため、出力結果としての画像全体がぼけた感じになる。

そこで、本実施形態の特徴は上記処理の流れを基礎として、ノイズ除去及びエッジ強調処理の２つのフィルタ処理で、低周波画像を用いて２つのフィルタ処理を切り替えることにより、画像全体のぼけ感を緩和する。以下、本実施形態の特徴となる複数のフィルタを用いて、低周波画像を用いた覆い焼き補正量に応じてノイズ除去及びエッジ強調の処理について説明を行う。

図７に、本実施形態の特徴となる処理のブロック図を示している。図７は基礎とする構成を示した図１に対応しており、以下では図７を用いて処理の流れを説明し、各処理部に対し必要に応じてフローチャートを用いて、処理の詳細説明を行う。図７において、フィルタ処理部１０５が図１との差異であり、画像取得装置２１１、露出適正度判定部１０１、低周波画像生成部１０２、覆い焼き補正部１０３、プリンタ２１０は、第一実施形態と同様であるため詳細は省略する。

本実施形態の特徴となるフィルタ処理部１０５について、以下で、詳細な説明を行う。フィルタ処理部１０５は、複数のフィルタ処理を備え、上述した低周波画像を用いた覆い焼き補正量に応じて、フィルタ処理および補正強度を変更する。

ここで、複数のフィルタ処理の１つは、高周波成分を低減するためのローパスフィルタと、高周波成分を強調するためのハイパスフィルタとする。本実施形態において、ローパスフィルタは、平滑化することで細かい変動成分であるノイズの除去を行える５×５画素の平均値フィルタ処理とする。また、ハイパスフィルタは、原画像から平滑化した画像を減算して高周波成分を抽出し、これを原画像に加算して高周波成分を強調することでエッジ強調するアンシャープマスク処理とする。アンシャープマスク処理において、ローパスフィルタで利用した５×５画素の平均値フィルタ処理結果を利用する。

ローパスフィルタで利用した平均値フィルタ処理結果を利用することで、原画像と平均値フィルタ結果の差分を加減算だけでローパス、ハイパスフィルタを実現できるため、高速化が図れる。また、１つのローパスフィルタ後の画像を使いまわすことができ、効率的なメモリ使用量で処理を行うことができる。そして、覆い焼き補正処理後の画像を入力画像とし、上述した低周波画像を用いた覆い焼き補正量に応じて、ノイズ除去処理またはエッジ強調処理のフィルタ処理および補正強度を変更する。

（フィルタ処理）
図８は、本実施形態におけるフィルタ処理部１０５における処理を説明するためのフロー図である。本実施形態において、基礎とする処理フローとして示した図６に対応し、図８のＳ８０１〜Ｓ８０７の詳細は、図６のＳ６０１〜Ｓ６０７と同様であるため省略する。また、図８のＳ８０９〜Ｓ８１２の詳細は、図６のＳ６０９〜Ｓ６１２と同様であるため省略する。以下では、Ｓ８０８について詳細な説明を行う。

Ｓ８０８について、図９を用いて説明を行う。図９は、本実施形態におけるフィルタ処理の強調係数Ｌの算出方法を説明するための図である。図９において、横軸は上述した低周波画像を用いた覆い焼き補正量（０〜２５５）、縦軸はフィルタ処理の強調係数Ｌ（１．０〜−１．０）を示す。図９において、覆い焼き補正量によって、ａとｂ及びａとｃを結ぶ直線上で、フィルタ処理の強調係数が変化することを示している。

本実施形態では、ａを閾値とし、覆い焼き補正量がａ〜２５５の場合は、ノイズ除去処理を行い、０〜ａの場合は、エッジ強調処理を行うようにフィルタ処理を切り替える。さらに、覆い焼き補正量がａ〜２５５の場合は、２５５に近づくに従ってノイズ除去処理のためにローパスフィルタの寄与率（補正強度）が上昇する。これに対し、覆い焼き補正量が０〜ａの場合は、０に近づくに従って、エッジ強調処理のためにハイパスフィルタの寄与率（補正強度）が上昇する。なお、閾値ａは予め定義されているものとする。本実施形態におけるノイズ除去処理は、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画素値Ｃ（Ｘｗ，Ｙｗ）に、差分値Ｓにフィルタ処理の強調係数Ｌを乗じた値を減算することで、ノイズ除去を行う。以下にノイズ除去処理にて用いる算出式を示す。

［式８］
Ｆ（Ｘ，Ｙ）＝Ｃ（Ｘｗ，Ｙｗ）−ｈ×Ｌ×Ｓ（Ｘ，Ｙ）
上式において、Ｆ（Ｘ，Ｙ）は、座標（Ｘ，Ｙ）におけるノイズ除去後またはエッジ強調後の画素値（ＲＧＢ各０〜２５５）であり、ｈは所定の定数である。定数ｈは、経験的に定義しても良いし、強調係数Ｌに応じて定義しても良い。また、本実施形態におけるエッジ強調処理は、アンシャープマスク処理とするため、算出したフィルタ処理の強調係数Ｌを式８に適用することで、エッジ強調を行える。

アンシャープマスク処理は、入力画像の画素値とローパスフィルタ処理後の画素値の差分を入力画像の画素値に加算することで、実現させることができる。従って、ノイズ除去処理は、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画素値Ｃ（Ｘｗ，Ｙｗ）に、差分値Ｓにフィルタ処理の強調係数Ｌを乗じた値を減算するところを加算すれば実現させることができる。そして、図９において、既に、エッジ強調を行う覆い焼き補正量がａ〜２５５になる際には、強調係数Ｌをマイナス値の係数にしているため、式８をそのまま使用することでエッジ強調も行うことができる。従って、式８は、処理対象である低周波画像が暗い場合にはノイズ除去の補正強度は大きくなり、逆に明るい場合にはエッジ強調の補正強度が大きくなることを意味している。

以上の処理を、出力画像上の全ての画素値に対して行うことで（Ｓ８０９〜Ｓ８１２）、低周波画像を用いた覆い焼き補正量に応じてノイズ除去処理及びエッジ強調処理を行うことが可能となる。そして、プリンタ２１０は、補正済み画像データを印刷媒体に印刷する。以上、本実施形態における処理のブロック図の説明である。

（効果）
本実施形態では、覆い焼き補正処理により助長されたノイズを除去することができる。更に、低周波画像を用いて複数のフィルタ処理を切り替えて、ノイズ除去及びエッジ強調処理を加えることで、画像全体のぼけ感を緩和することができる。また、低周波画像を用いた覆い焼き補正量に応じて、ノイズ除去及びエッジ強調処理を行うので、覆い焼き補正によって補正されていない領域に影響を与えることなく処理が行うことができる。

具体的には、画像中の暗い領域には、覆い焼き処理で強調された暗部ノイズを除去することができる。また、画像中の明るい領域では、エッジ強調することにより、暗い領域をノイズ除去することによっての画像全体のぼけ感を緩和させることができる。また、従来、ノイズ除去処理とエッジ強調処理を行う場合に、まずノイズ除去処理のフィルタ処理を行う。また、ノイズ除去処理後の画像に対し、エッジ強調処理のフィルタ処理を行う必要があるが、本実施形態では、同時にノイズ除去とエッジ強調処理を切り替えることができるので、処理速度としても効率的に処理を行うことができる。

＜第二実施形態＞
以下より、本発明における第二実施形態について説明する。第一実施形態によれば、低周波画像を用いて覆い焼き補正の補正強度を局所的に変化させ、覆い焼き補正量に応じて、ノイズ除去の補正量を制御させることで、適正に暗部ノイズを除去することができる。しかしながら、低周波画像を用いた覆い焼き補正量に応じて、フィルタ処理および補正強度を変更するノイズ除去を行っても、覆い焼き補正量が高くなる暗い領域にぼかしたくないエッジ領域が存在する場合には、そのエッジ領域もぼけてしまうことになる。

（本実施形態の特徴）
上記課題を解決するために、本実施形態では、覆い焼き補正画像のエッジ判定を行い、低周波画像を用いた覆い焼き補正量だけではなく、エッジ判定結果も用いてノイズ除去の処理及び制御量を行う。以下、本実施形態に係る画像処理システムの概要について図を参照して説明する。

（ハードウェア構成の説明）
本発明の画像処理方法を実施可能なハードウェア構成は、第一実施形態にて示した図２と同様であるため、説明を省略する。

（全体処理フローの説明）
図１０に、本実施形態における処理のブロック図を示している。以下では図１０を用いて処理の流れを説明し、各処理部に対し必要に応じてフローチャートを用いて、処理の詳細説明を行う。図１０において、画像取得装置２１１、露出適正度判定部１０１、低周波画像生成部１０２、覆い焼き補正部１０３、プリンタ２１０は、第一実施形態にて示した図７と同様であるため詳細な説明は省略する。

まず、画像取得装置２１１で、デジタルカメラで撮影し、メモリカード等の記録メディアに記憶されているデジタル画像データを取得する。そして、取得したデジタル画像データを入力画像として、露出適正度判定部１０１に入力する。次に、露出適正度判定部１０１は、入力画像データから画像解析処理を行い、露出適正判定を行う。入力画像データが適正露出であると判定された場合には、通常の画像処理フロー（不図示）を経てプリント処理が実行される。

露出適正度判定部１０１にて入力画像データが露出不足であると判定された場合には、まず、低周波画像生成部１０２で低周波画像を生成し、覆い焼き補正部１０３の処理を行う。更に、エッジ判定部１０６にて覆い焼き補正後の画像を用いてエッジ判定処理を行い、低周波画像とエッジ判定量を用いてフィルタ処理部１０５の処理を行う。次に、低周波画像生成部１０２は、入力画像データから、複数のぼけ度合いが異なるぼけ画像を生成し、生成した複数のぼけ画像を合成し、低周波画像を生成する。次に、覆い焼き補正部１０３は、低周波画像から入力画像に対して覆い焼き補正処理を行う。

本実施形態において、第一実施形態と異なるフィルタ処理部１０５及びエッジ判定部１０６について、以下で、詳細な説明を行う。エッジ判定部１０６は、覆い焼き補正後の画像で、エッジ判定処理を行い、画素毎にエッジ判定量を算出する。算出した画素毎のエッジ判定量をＲＡＭ２０４等の記憶部に格納する。なお、エッジ判定処理については、様々な公知文献で開示されており、ここではどの手法を用いてもよい（詳細説明省略）。

（エッジ判定処理）
本実施形態でのエッジ判定方法は、まず、覆い焼き補正後の画像から輝度成分を抽出する。次に、注目画素を含む３×３画素の平均値と、注目画素を含む７×７画素の平均値を算出する。次に、３×３画素の平均値と７×７画素の平均値の差分値（０〜２５５）を算出し、差分値をエッジ判定量とする。

図１１は、エッジ判定部１０６の処理を説明するため図である。図１１において、覆い焼き補正後の画像から輝度成分を抽出し、エッジ判定を行う注目画素１１０１を中心に９×９画素を示す。覆い焼き補正後の画像における注目画素１１０１のエッジ判定を行う場合、太枠３×３画素領域１１０２内の計９画素の平均値を算出する。また、太枠７×７画素領域１１０３内の計４９画素の平均値を算出し。そして、太枠３×３画素領域１１０２内の計９画素の平均値と太枠７×７画素領域１１０３内の計４９画素の平均値との差分値（０〜２５５）を算出する。算出した差分値を注目画素１１０１のエッジ判定量とする。

エッジ判定量は、０に近いほど平坦度合いが強く、２５５に近づくに従って平坦度合いが弱くなりエッジ強度が強いことを示す。本実施形態では、覆い焼き補正後の画像に対してエッジ判定処理を行っているが、入力画像に対してエッジ判定処理を行っても良いし、低周波画像に対してエッジ判定処理を行っても良い。

（ノイズ除去処理）
次に、フィルタ処理部１０５はフィルタ処理を備え、上述した低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じて、フィルタ処理および補正強度を変更し、覆い焼き補正処理後の画像を入力画像とし、ノイズ除去処理を行う。

図１２は、本実施形態におけるノイズ除去処理のフローを示している。本実施形態において、図１２のＳ１２０１〜Ｓ１２０６の詳細は、第一実施形態で述べた図８のＳ８０１〜Ｓ８０６と同様である省略する。また、図１２のＳ１２１１〜Ｓ１２１４の詳細は、第一実施形態で述べた図８のＳ８０９〜Ｓ８１２と同様である省略する。以下では、第一実施形態とは異なる、Ｓ１２０７〜Ｓ１２１０について詳細な説明を行う。

Ｓ１２０７において、上述した覆い焼き補正部１０３の処理と同様に、座標（Ｘ，Ｙ）に相当する低周波画像上の座標（Ｘｚ，Ｙｚ）の画素値を取得し、強調係数Ｊを算出する。

図１３は、本実施形態のフィルタ処理の強調係数Ｊの算出を説明するための図である。図１３において、横軸は取得した覆い焼き補正量（０〜２５５）、縦軸は強調係数Ｊ（０〜１．０）を示す。図１３において、覆い焼き補正量によって、ａ’とｂ’を結ぶ直線上で、強調係数Ｊが変化することを示している。本実施形態では、覆い焼き補正量は、２５５に近いほど覆い焼きによる補正量が大きく、０に近づくに従って覆い焼きによる補正量が小さくなることを示している。従って、覆い焼き補正量が大きくなれば、強調係数Ｊが上昇することを示している。また、覆い焼き補正量におけるａ’、強調係数Ｊにおけるｂ’のそれぞれの値は、覆い焼き補正量、強調係数それぞれの範囲内において予め定義されているものとする。

次に、Ｓ１２０８において、エッジ判定部１０６で算出した座標（Ｘ，Ｙ）に対応するエッジ判定量を取得する。次に、Ｓ１２０９において、取得したエッジ判定量から、平坦係数Ｍを算出する。

図１４は、本実施形態の平坦係数Ｍの算出を説明するための図である。図１４において、横軸は取得したエッジ判定量（０〜２５５）、縦軸は平坦係数Ｍ（１．０〜−１．０）を示す。図１４において、エッジ判定量によって、ｐとｑ及びｐとｒを結ぶ直線上で、平坦係数Ｍが変化することを示している。本実施形態では、ｐを閾値とし、エッジ判定量が０〜ｐの場合は、ノイズ除去処理を行い、ｐ〜２５５の場合は、エッジ強調処理を行うようにフィルタ処理を切り替える。さらに、エッジ判定量が０〜ｐの場合は、０に近づくに従ってノイズ除去処理のためにローパスフィルタの寄与率（補正強度）が上昇する。これに対し、エッジ判定量がｐ〜２５５の場合は、２５５に近づくに従って、エッジ強調処理のためにハイパスフィルタの寄与率（補正強度）が上昇する。また、エッジ判定量におけるｐ、平坦係数Ｍにおけるｑ及びｒのそれぞれの値は、エッジ判定量、平坦係数それぞれの範囲内において予め定義されているものとする。

次に、Ｓ１２１０において、ノイズ除去処理は、座標（Ｘ，Ｙ）に相当する覆い焼き補正後の画素値Ｃ（Ｘｗ，Ｙｗ）に、第一実施形態同様の差分値Ｓにフィルタ処理の強調係数Ｊと平坦係数Ｍを乗じた値を減算することで、ノイズ除去を行う。以下にノイズ除去に用いる算出式を示す。

［式９］
Ｆ（Ｘ，Ｙ）＝Ｃ（Ｘｗ，Ｙｗ）−ｈ×Ｌ×Ｓ（Ｘ，Ｙ）×Ｍ
式９において、Ｆ（Ｘ，Ｙ）は、座標（Ｘ，Ｙ）におけるノイズ除去後またはエッジ強調後の画素値（ＲＧＢ各０〜２５５）であり、ｈは所定の定数である。定数ｈは、経験的に定義しても良いし、強調係数Ｊに応じて定義しても良い。

以上の処理を、出力画像上の全ての画素値に対して行うことで（Ｓ１２１１〜Ｓ１２１４）、低周波画像を用いた覆い焼き補正量とエッジ判定量に応じてノイズ除去処理及びエッジ強調処理を行うことが可能となる。そして、プリンタ２１０は、補正済み画像データを印刷媒体に印刷する。以上が、本実施形態における処理のブロック図の説明である。

（効果）
本実施形態では、低周波画像を用いた覆い焼き補正量に応じて、ノイズ除去を行う際に、暗い領域にエッジ部が存在する場合にも、覆い焼き補正量の他にエッジ判定量を用いることにより、そのエッジ部分をぼかさずノイズを除去することができる。また、ノイズ除去を行う際に、低周波画像を用いた覆い焼き補正量とエッジ判定量との影響に応じて処理を行うため、ノイズ及びエッジとは関係のない余計な領域に影響を与えることもなく、助長されたノイズの除去を行うことができる。

具体的には、暗い領域で平坦な部分に関しては、ノイズ除去を行うことで、覆い焼き処理で助長されたノイズを除去することができる。また、暗い領域でもエッジ部分に関しては、暗い領域で平坦な部分に比べノイズ除去を行う補正量を少なくし、エッジ強調することで、暗部に存在するぼかしたくないエッジ部をぼかさずにノイズを除去することができる。また、覆い焼き処理で助長されたノイズ以外の領域に関しては、ノイズ除去の強度が弱くなるので、明るい領域でも階調がゆるやかな平坦な領域に対しても、疑似輪郭などの別の弊害を起こすことなく処理を行うことができる。

＜第三実施形態＞
続いて、本発明における第三実施形態について説明する。第二実施形態によれば、低周波画像を用いた覆い焼き補正量及びエッジ判定量を用いることで、効果的なノイズ除去を行うことができる。しかしながら、第二実施形態で想定するノイズ除去方法は、ローパスフィルタ等の高周波ノイズをぼかすことによって除去するもので、覆い焼き補正処理で助長された低周波ノイズは除去できない。

（本実施形態の特徴）
上記課題を解決するために、本実施形態では、低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じて、第二実施形態に示した処理の他に低周波ノイズを除去するフィルタ処理を行う。以下、本発明の実施形態に係る画像処理システムの概要について図を参照して説明する。

（ハードウェア構成の説明）
本発明の画像処理方法を実施可能なハードウェア構成は、第一実施形態にて述べた図２と同様であるため、説明を省略する。

（全体処理フローの説明）
図１５に、本実施形態における処理のブロック図を示している。以下では図１５を用いて処理の流れを説明し、必要に応じて各部におけるフローチャートを用いて、処理の詳細説明を行う。図１５において、画像取得装置２１１、露出適正度判定部１０１、低周波画像生成部１０２、覆い焼き補正部１０３、フィルタ処理部１０５、エッジ判定部１０６、プリンタ２１０は、第二実施形態と同様であるため詳細は省略する。

まず、画像取得装置２１１で、デジタルカメラで撮影し、メモリカード等の記録メディアに記憶されているデジタル画像データを取得する。そして、取得したデジタル画像データを入力画像として、露出適正度判定部１０１に入力する。次に、露出適正度判定部１０１は、入力画像データから画像解析処理を行い、露出適正判定を行う。入力画像データが適正露出であると判定された場合には、通常の画像処理フロー（不図示）を経てプリント処理が実行される。

露出適正度判定部１０１にて入力画像データが露出不足であると判定された場合には、まず、低周波画像生成部１０２で低周波画像を生成し、覆い焼き補正部１０３の処理を行う。更に、エッジ判定部１０６にて覆い焼き補正後の画像を用いてエッジ判定処理を行い、低周波画像とエッジ判定量を用いてフィルタ処理部１０５の処理を行う。次に、低周波画像生成部１０２は、入力画像データから、ぼけ度合いが異なる複数のぼけ画像を生成し、生成した複数のぼけ画像を合成して低周波画像を生成する。次に、覆い焼き補正部１０３は、低周波画像から入力画像に対して覆い焼き補正処理を行う。

エッジ判定部１０６は、覆い焼き補正後の画像を用いてエッジ判定処理を行い、画素毎にエッジ判定量を算出する。算出した画素毎のエッジ判定量をＲＡＭ２０４等の記憶部に格納する。次に、フィルタ処理部１０５は、低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じてフィルタ処理と、補正強度を変更し覆い焼き補正処理後の画像を入力画像としてノイズ除去処理とを行う。本実施形態の特徴である、第二実施形態における処理の流れと異なる第２フィルタ処理部１０７について、詳細な説明を行う。

（第２フィルタ処理）
第２フィルタ処理部１０７は、１以上のフィルタを備え、低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じて、低周波ノイズ除去用の第２フィルタ処理を行う。本実施形態において、低周波ノイズ除去用の第２フィルタ処理は、注目画素と周辺画素との置き換え処理（シャッフリング処理）で説明する。低周波ノイズ除去用のフィルタ処理方法は、様々な公知文献で開示されており、ここでは特に手法を限定しない（詳細説明省略）。

図１６は、本実施形態におけるノイズ除去処理のフローを示している。本実施形態において、図１６のＳ１６０１〜Ｓ１６０５の詳細は、第二実施形態で述べた図１２のＳ１２０２、Ｓ１２０３、Ｓ１２０７〜Ｓ１２０９と同様であるため省略する。また、図１６のＳ１６０８〜Ｓ１６１１の詳細は、第二実施形態で述べた図１２のＳ１２１１〜Ｓ１２１４と同様であるため省略する。以下では、第二実施形態とは異なる、Ｓ１６０６、Ｓ１６０７について詳細な説明を行う。

Ｓ１６０６において、覆い焼き処理を行うための強調係数Ｋとエッジ判定量による算出した平坦係数Ｍを用いて、閾値ＴＨを算出する。閾値ＴＨは、第２フィルタ処理のうちの低周波ノイズ用のノイズ除去処理で行うシャッフリング処理において、画素を置き換えるか否かを判定する際の閾値を示す。閾値ＴＨは、例えば、以下の式１１に示す強調係数Ｋと平坦係数Ｍを乗じた値から算出することで、覆い焼き補正の補正強度とエッジの平坦強度を考慮して、低周波ノイズの除去処理を行うことができる。

［式１１］
ＴＨ＝ｔ×Ｋ×Ｍ
式１１において、ｔは定数であり、予め定義されているものとする。また、定数ｔは、強調係数Ｋや平坦係数Ｍに応じて変更しても良い。式１１は、画像が暗く平坦な場合に閾値ＴＨが大きくなり、逆に明るくエッジ度合いが大きい場合には閾値ＴＨが小さくなることを意味している。

次に、Ｓ１６０７において、所定の領域内でランダムに周辺画素値を取得し、注目画素と周辺画素値との差分Ｔが閾値ＴＨを越えているか否かを判定する。そして、差分Ｔが閾値ＴＨを越えている場合には、置き換え処理を行わない。また、差分Ｔが閾値ＴＨを越えていない場合には、注目画素とランダムに取得した周辺画素値との置き換え処理を行う。

図１７で、本実施形態の画素置き換え処理の説明を行う。図１７において、注目画素１７０１に対し、注目画素と中心として所定の置き換え範囲を７×７画素の太枠１７０２に設定する。太枠１７０２内の注目画素以外の４８画素からランダムに画素を選択する。ランダムに選択された画素を選択画素１７０３とすると、注目画素１７０１と選択画素１７０３との差分を算出する。

そして、注目画素の強調係数Ｋと平坦係数Ｍから算出した閾値ＴＨと、注目画素１７０１と選択画素１７０３との差分を比較し、当該差分が閾値ＴＨを越えている場合は画素の置き換えを行わない。また、当該差分が閾値ＴＨを越えていない場合は、選択画素１７０３の画素値を注目画素１７０１の画素値に設定し、逆に、注目画素１７０１の画素値を選択画素１７０３の画素値に設定し、画素を置き換える。

式１１において、閾値ＴＨは、所定の定数であるｔに、強調係数Ｋと平坦係数Ｍを乗算しているだけだが、閾値ＴＨを算出する際に用いられる式はこれに限られない。例えば、低周波ノイズは、青空の画像のような階調差の差が少ない画素の配列構造で起こりやすいので、明暗を示す強調係数Ｋに対しては、ある程度明るい領域まで強調係数が高い値に設定するようにしてもよい。逆に、エッジ部分に関しては、線のようなエッジの部分で、置き換え処理を行ってしまうと線が切れてしまう弊害が想定されるので、エッジである可能性が高い場合には、平坦係数をより低い値に設定するようにしてもよい。また、本実施形態では、置き換え処理で選択される画素は、ランダムで選択しているが、これに限られない。例えば、所定の領域の指定された位置との置き換えでもよい。また、図１７に示した置き換え範囲は７×７画素に限定されるものではなく、画像の特性等に合わせて範囲を変更しても良い。

以上の処理を、出力画像上の全ての画素値に対して行うことで（Ｓ１６０８〜Ｓ１６１１）、低周波画像及びエッジ判定量を用いた低周波ノイズ対策用の第２フィルタ処理を行うことが可能となる。そして、プリンタ２１０は、補正済み画像データを印刷媒体に印刷する。以上が、本実施形態における処理のブロック図の説明である。

また、本実施形態では、ノイズ除去用の第２フィルタ処理に平均値フィルタを用いたローパスフィルタ、エッジ強調にアンシャープマスク処理を用いたハイパスフィルタ利用している。しかし、公知であるノイズ除去処理及びエッジ強調処理であれば、いずれの方法でも良い（詳細説明省略）。例えば、ノイズ除去処理のローパスフィルタをメディアンフィルタやガウシアンフィルタなど、平滑化処理を行うことで高周波成分を低減できるフィルタ処理であっても良い。また、エッジ強調処理のハイパスフィルタをグラディエントフィルタやラプラシアンフィルタなど、尖鋭化処理を行うことで高周波成分を強調できるフィルタ処理であっても構わない。

また、本実施形態では、覆い焼き補正処理後の画像に対し、ノイズ除去及びエッジ強調処理を行っているが、覆い焼き補正処理前の画像に対し、低周波画像を用いて、ノイズ除去及びエッジ強調処理を行っても構わない。

（効果）
本実施形態では、覆い焼き補正の局所的な制御量を決定する際に用いる低周波画像及びエッジ判定結果を利用することで、覆い焼きで助長された高周波ノイズと低周波ノイズを除去することができる。具体的には、撮影された暗部のノイズは、局所的に周辺画素と濃度差が出るスパイクノイズなどの高周波ノイズがあるので、ローパスフィルタ処理で除去することができる。そこで、高周波ノイズを除去できたことで、次に覆い焼き処理で助長された低周波ノイズが視覚的に目立つようになる。この場合でも、低周波ノイズ除去処理を行うことで改善させることができる。

また、覆い焼き補正の補正強度とエッジの平坦強度を考慮しているので、ノイズ及びエッジとは関係のない余計な領域に影響を与えることもなく、助長されたノイズの除去を行うことができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 入力画像における露出が適正か否かを判定する判定手段と、
   前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、
   前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、
   少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、
   前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段と
   を備え、
   前記フィルタ処理手段は、
   前記補正手段による前記注目画素に対する明るさの補正量が大きいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
   前記補正手段による前記注目画素に対する明るさの補正量が小さいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
   ことを特徴とする画像処理装置。
2. 入力画像における露出が適正か否かを判定する判定手段と、
   前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、
   前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、
   前記入力画像または前記補正手段により画像の明るさを補正された画像のいずれかから、画像中のエッジの強度を示すエッジ判定量を検出するエッジ判定手段と、
   少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、
   前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段と
   を備え、
   前記フィルタ処理手段は、
   前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が小さいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
   前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が大きいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
   ことを特徴とする画像処理装置。
3. 前記判定手段は、前記入力画像における顔領域を検出し、前記顔領域における画素の明るさに基づいて露出の適正を判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記低周波画像は、カットオフ周波数が異なる複数の低周波画像が合成されている画像であることを特徴とする請求項１に記載の画像処理装置。
5. 前記ローパスフィルタよるフィルタ処理は、平均値フィルタ、メディアンフィルタ、ガウシアンフィルタのうち少なくとも一つによる高周波成分を低減させるフィルタ処理であることを特徴とする請求項１に記載の画像処理装置。
6. 前記ハイパスフィルタによるフィルタ処理は、アンシャープマスク、グラディエントフィルタ、ラプラシアンフィルタのうち少なくとも一つによる高周波成分を強調させるフィルタ処理であることを特徴とする請求項１に記載の画像処理装置。
7. 前記フィルタ処理手段によってフィルタ処理された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、前記注目画素を該注目画素の周辺画素に置き換える処理を行う置き換え手段を更に有することを特徴とする請求項２に記載の画像処理装置。
8. 前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて画素毎に閾値を算出し、前記注目画素と前記周辺画素の差分が前記閾値を越えていない場合、前記置き換え処理を行い、前記差分が前記閾値を越えている場合、前記置き換え処理を行わないことを特徴とする請求項７に記載の画像処理装置。
9. 前記フィルタ処理を適用した後の画像を印刷媒体に印字する印刷手段を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
10. 判定手段が、入力画像における露出が適正か否かを判定する判定工程と、
    生成手段が、前記判定工程において前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成工程と、
    補正手段が、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正工程と、
    フィルタ処理手段が、前記補正工程において補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理工程と
    を有し、
    前記フィルタ処理工程において、
    前記補正工程における前記注目画素に対する明るさの補正量が大きいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
    前記補正工程における前記注目画素に対する明るさの補正量が小さいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
    ことを特徴とする画像処理方法。
11. 判定手段が、入力画像における露出が適正か否かを判定する判定工程と、
    生成手段が、前記判定工程において前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成工程と、
    補正手段が、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正工程と、
    エッジ判定手段が、前記入力画像または前記補正工程において画像の明るさを補正された画像のいずれかから、画像中のエッジの強度を示すエッジ判定量を検出するエッジ判定工程と、
    フィルタ処理手段が、前記補正工程において補正された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理工程と
    を有し、
    前記フィルタ処理工程において、
    前記補正工程における前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が小さいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
    前記補正工程における前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が大きいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
    ことを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images