JP2010193199A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】少ない演算量で、エッジぼけのないコントラストを向上させた補正画像を得る。
【解決手段】入力画像に対し、輝度信号を抽出する輝度信号抽出部と、輝度信号画像を構成する画素について、注目画素を順次定め、注目画素周辺の複数個の画素および注目画素の画素値の中で、その値が中心域となる複数個の画素値の平均値を、注目画素の補正画素値とするフィルタリングを行なうことで第１の補正画像を生成するフィルタリング処理部と、フィルタリング画像と入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＬＲ処理部と、を備えた画像処理装置。
【選択図】図１

Description

本発明は、画像のコントラストを改善する画像処理装置および画像処理方法に関する。

画像のコントラストを改善する画像処理方法に、人の視覚は照明光を除去して外界を見る明暗恒常性や色恒常性を備えているという、Ｒｅｔｉｎｅｘ理論を用いた画像処理方法が提案されている。Ｒｅｔｉｎｅｘ理論によると視覚は各物体の反射率の比によって色を知覚する。反射率は、照明に依存しない被写体の画像成分であり、したがって、原画像から照明光を分離して反射光を得ることによって、画像のコントラストの補正が可能になると考えられる。

Ｒｅｔｉｎｅｘ理論を用いた代表的な画像処理アルゴリズムにおいて、照明光は、推定照明光として原画像のぼけ画像が用いられる。ぼけ画像は、例えば、原画像にガウスフィルタ、平均化フィルタ等を施すことで得ることができる。また、ぼけ画像は、ＲＧＢ各成分のぼけ画像ではなく、輝度（Ｙ）成分のぼけ画像とすることも提案されている。

ガウスフィルタでは、スケールを表わす定数ｃが用いられるが、フィルタ定数ｃの大きさによって周辺情報量が変化するため処理効果が異なった画像が得られる。例えば、フィルタスケールｃが小さい値の場合、参照される周辺情報量は少ないため、エッジ再現が良好であるが、局所的な情報を参照するため、補正にムラが生じ、全体としての色再現性に乏しくなる。また、フィルタスケールｃが大きい値の場合、広い範囲での周辺情報を参照するため、画像全体のコントラスト補正および色再現性は良好ではあるが、細部の明暗の再現性に乏しくなる。また、フィルタスケールｃと原画像によっては、ぼけ部分と原画像のエッジ部分との境界に帯状妨害（ｈａｌｏ）と呼ばれる、エッジぼけが生じる。

このエッジぼけを防ぐために、複数の大きさのフィルタスケールを用いるＭｕｌｔｉ−Ｓｃａｌｅ−Ｒｅｔｉｎｅｘという方式が提案されている。また、バイラテラルフィルタを用いることも提案されている。バイラテラルフィルタは、画像をスムーズにしつつ、エッジ部分はぼかすことのない効果を持つエッジ保持平滑化フィルタであり、フィルタリングを行う際に、画素間の距離で重みを決めるのではなく、輝度の差も見て、変化が大きいところは重みを小さくすることによってエッジを残すようにしている。

特開２００７−８８９１３号公報

Ｍｕｌｔｉ−Ｓｃａｌｅ−Ｒｅｔｉｎｅｘ方式を用いたり、バイラテラルフィルタを用いることにより、エッジを保持したぼけ画像を生成することができ、Ｒｅｔｉｎｅｘアルゴリズムによる良好なコントラスト補正効果を得ることができる。

しかし、これらの手法は、２重にガウスフィルタリングを行うことに相当し、演算量が膨大となる。このため、現状の演算処理スピード、コスト等を考慮すれば実際の画像処理装置への実装は難しい。そこで、本発明は、少ない演算量で、エッジぼけのないコントラストを向上させた補正画像を得ることを目的とする。

上記課題を解決するため、本発明の第１の態様である画像処理装置は、入力画像に対し、特定の色成分画像を抽出する画像抽出手段と、前記画像抽出手段によって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素周辺の複数個の画素および前記注目画素の画素値の中で、その値が中心域となる複数個の画素値の平均値を、前記注目画素の補正画素値とするフィルタリングを行なうことで第１の補正画像を生成するフィルタリング手段と、前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理手段とを備えたことを特徴とする。

また、上記課題を解決するため、本発明の第２の態様である画像処理装置は、入力画像に対し、特定の色成分画像を抽出する画像抽出手段と、前記画像抽出手段によって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素を除いた注目画素周辺の複数個の画素の画素値の中で、その値が中心域となる複数個の画素値に複数段階の重み付け係数を乗算したものの総和と、前記注目画素の画素値に重み付け係数を乗算したものとの和を、前記注目画素の補正画素値とするフィルタリングを行うことで第１の補正画像を生成し、前記フィルタリングでの前記複数段階の重み付け係数および前記注目画素についての重み付け係数の総和が１であるフィルタリング手段と、前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理手段とを備えたことを特徴とする。

いずれの画像処理装置においても、前記フィルタリング手段で抽出する前記注目画素周辺の画素は、前記注目画素を中心とする正方エリア内の画素とすることができる。

上記課題を解決するため、本発明の第３の態様である画像処理方法は、入力画像に対し、特定の色成分画像を抽出する画像抽出ステップと、前記画像抽出ステップによって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素周辺の複数個の画素および前記注目画素の画素値の中で、その値が中心域となる複数個の画素値の平均値を、前記注目画素の補正画素値とするフィルタリングを行なうことで第１の補正画像を生成するフィルタリングステップと、前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理ステップとを有することを特徴とする。

また、上記課題を解決するため、本発明の第４の態様である画像処理方法は、入力画像に対し、特定の色成分画像を抽出する画像抽出ステップと、前記画像抽出ステップによって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素を除いた注目画素周辺の複数個の画素の画素値の中で、その値が中心域となる複数個の画素値に複数段階の重み付け係数を乗算したものの総和と、前記注目画素の画素値に重み付け係数を乗算したものとの和を、前記注目画素の補正画素値とするフィルタリングを行うことで第１の補正画像を生成し、前記フィルタリングでの前記複数段階の重み付け係数および前記注目画素についての重み付け係数の総和が１であるフィルタリングステップと、前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理ステップとを有することを特徴とする。

いずれの画像処理方法においても、前記フィルタリングステップで抽出する前記注目画素周辺の画素は、前記注目画素を中心とする正方エリア内の画素とすることができる。

本発明によれば、少ない演算量で、エッジぼけのないコントラストを向上させた補正画像を得ることができる。

本実施形態に係る画像処理装置のブロック図である。 第１実施例におけるフィルタリング方法の概念図である。 第１実施例におけるフィルタリング処理のフローチャートである。 メディアンフィルタの概念図である。 サンプルとしての原画像を示す図である。 フィルタサイズを５×５ピクセルとした場合に、従来の平均化フィルタリングを行った画像と第１実施例のフィルタリングを行なった画像とを示す図である。 フィルタサイズを９×９ピクセルとした場合に、従来の平均化フィルタリングを行った画像と第１実施例のフィルタリングを行なった画像とを示す図である。 フィルタリング毎の推定照明光画像のヒストグラムを示す図である。 プリ処理を行なった場合のフィルタリング毎のヒストグラムを示す図である。 フィルタリング毎の補正後の推定照明光成分を示す図である。 補正推定照明光成分を用いたＬＲ処理後の各成分のヒストグラムを示す図である。 第２実施例におけるフィルタリング方法の概念図である。 第２実施例におけるフィルタリング処理のフローチャートである。 フィルタサイズを５×５ピクセルとした場合に、従来のガウスフィルタリングを行った画像と第２実施例のフィルタリングを行なった画像とを示す図である。 フィルタサイズを９×９ピクセルとした場合に、従来のガウスフィルタリングを行った画像と第２実施例のフィルタリングを行なった画像とを示す図である。 フィルタリング毎の推定照明光画像のヒストグラムを示す図である。 プリ処理を行なった場合のフィルタリング毎のヒストグラムを示す図である。 フィルタリング毎の補正後の推定照明光成分を示す図である。 補正推定照明光成分を用いたＬＲ処理後の各成分のヒストグラムを示す図である。

本発明の実施の形態について図面を参照して詳細に説明する。まず、Ｒｅｔｉｎｅｘ理論を用いた画像処理の概要について説明する。Ｒｅｔｉｎｅｘ理論を用いた代表的な画像処理アルゴリズムの１つにＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ（以下、「Ｃ／Ｓ Ｒｅｔｉｎｅｘ」と称する）がある。このアルゴリズムを［数１］、［数２］を用いて説明する。

［数１］はＲｅｔｉｎｅｘ理論を表した式である。Ｒは物体そのものの反射率、すなわち求める補正画像でありＲｅｔｉｎｅｘ出力と呼ぶ。Ｉは入力画像であり、例えば、カメラなどの撮影画像などが考えられる。Ｌは照明光、すなわち、撮影時の環境光を表す。


ここで、（ｘ、ｙ）は二次元画像の座標を表し、Ｉｉ（ｘ、ｙ）は座標（ｘ、ｙ）の画素値を示す。また、［数２］における添え字ｉは入力画像の各色成分を表し、入力画像がＲＧＢ画像である場合、ｉ＝Ｒ，Ｇ，Ｂである。

Ｃ／Ｓ Ｒｅｔｉｎｅｘでは、Ｌは入力画像のぼけ画像とし、Ｒｅｔｉｎｅｘ出力画像は、［数２］によって算出される。ここで、Ｆ（ｘ、ｙ）は周辺関数とし、入力画像Ｉとの畳み込み積分により、照明光Ｌとして算出される。周辺関数Ｆ（ｘ、ｙ）にはガウス関数などが用いられる。周辺関数をガウス関数とした場合の、Ｆ（ｘ、ｙ）を［数３］、［数４］に示す。


ここで、ｃはガウスフィルタＦのスケールを表す定数である。

一般的なＣ／Ｓ Ｒｅｔｉｎｅｘ［数２］では、［数１］の逆算から割り算を行う代わりに、ｌｏｇ演算を用い、引き算で演算を行う。この［数２］で表されるアルゴリズムは、Ｎｏｎ−Ｌｉｎｅａｒ Ｒｅｔｉｎｅｘ（以下、「ＮＬＲ」と称する）と呼ばれる。

ＮＬＲでは、ｌｏｇ関数を用いることにより、暗部ノイズ、オフセットレベルの点で不安定であり、また、Ｒ、Ｇ、Ｂそれぞれの成分でアンバランスが起こるとの指摘がされており、［数５］に示すようなｌｏｇ関数を使用しないＬｉｎｅａｒ Ｒｅｔｉｎｅｘ（以下、「ＬＲ」と称する）というアルゴリズムが提案されている。

このアルゴリズムでは、ｌｏｇ演算を使用せず、また、推定照明光は、各色成分のぼけ画像でなく、Ｙ成分、すなわち輝度成分のぼけ画像とすることで、補正後のＲ、Ｇ、Ｂのアンバランスを防いでいる。［数５］において、Ａはゲイン定数である。

従来のＲｅｔｉｎｅｘアルゴリズムでは、Ｒｅｔｉｎｅｘ出力を最終的な出力の階調幅に合わせるためのゲイン・オフセットが必要となっていた。これは、各色成分または輝度成分のフィルタリングにより得られる照明光成分の階調範囲が、元の成分の階調範囲に比べて狭くなっており、処理前のＲ、Ｇ、Ｂそれぞれの画素が、自身の画素値よりも小さい値によって割り算されることにより、本来の階調以上の値となる場合があることによるものである。

そこで、ＬＲのポスト処理として、原画像とＲｅｔｉｎｅｘ処理画像との、平均輝度の比によって、Ｒｅｔｉｎｅｘ処理後のゲイン・オフセットを行う、原画像とＲｅｔｉｎｅｘ処理画像との、全画素の平均値の比によって、Ｒｅｔｉｎｅｘ処理後のゲイン・オフセットを行うなどのポスト処理が提案されている。

さらに、推定照明光成分Ｌを、原画像と推定照明光成分Ｌとの、ダイナミックレンジの比によって、ゲイン・オフセットを行い、補正後の推定照明光成分Ｌ２によってＬＲを行う、推定照明光成分Ｌに、ガンマ補正を行い、ガンマ補正後の推定照明光成分Ｌ３によってＬＲを行う、などのプリ処理も提案されている。

また、［数２］、［数５］で示される、Ｃ／Ｓ Ｒｅｔｉｎｅｘでは、照明光Ｌを算出するための周辺関数Ｆ（ｘ、ｙ）は単一の関数である。これらは、“Ｓｉｎｇｌｅ−Ｓｃａｌｅ−Ｒｅｔｉｎｅｘ（以下、「ＳＳＲ」と称する）”と呼ばれており、［数３］、［数４］に示した周辺関数Ｆ（ｘ、ｙ）をガウス関数とした場合のフィルタスケールｃのように、定数の大きさによってフィルタ面積が変わり、周辺情報量が変化するため、処理効果が異なった画像が得られる。

例えば、フィルタスケールが小さい値の場合、参照される周辺情報量は少ないため、エッジ再現が良好であるが、局所的な情報を参照するため、補正にムラが生じ、全体としての色再現性に乏しくなる。また、フィルタスケールが大きい値の場合、広い範囲での周辺情報を参照するため、画像全体のコントラスト補正および色再現性は良好ではあるが、細部の明暗の再現性に乏しくなる。また、上述のように、フィルタスケールと原画像によっては、照明光Ｌ、すなわちＹ成分のぼけ画像と、原画像との割り算の際に、ぼけ部分と原画像のエッジ部分との境界に帯状妨害（ｈａｌｏ）と呼ばれる、エッジぼけが生じる。

そこで、複数の大きさの周辺関数（ガウス関数の場合、フィルタスケール）によるＳＳＲ画像を合成することにより、良好な補正を行う“Ｍｕｌｔｉ−Ｓｃａｌｅ−Ｒｅｔｉｎｅｘ（以下、ＭＳＲ）”という方式が提案されている。［数５］で示したＬＲによるＭＳＲは、［数６］で表される。

従来のＲｅｔｉｎｅｘアルゴリズムでは、輝度成分のぼけ画像を算出するために、主にガウスフィルタリング、平均化フィルタリングなどの平滑化フィルタを用いている。そのため、上述したように、フィルタスケールによって補正画像にエッジぼけが生じる。

このエッジぼけを回避するために、ＭＳＲ以外の手法として、バイラテラルフィルタを用いることが考えられている。バイラテラルフィルタは、画像をスムーズにしつつもエッジ部分はぼかすことのない効果を持つエッジ保持平滑化フィルタであり、フィルタリングを行う際に、画素間の距離で重みを決めるのではなく、輝度の差も見て、変化が大きいところは重みを小さくすることによってエッジを残す方法である。式にすると、［数７］に示すように、一般の場合には、ある画素のフィルタの後の値は、位置に移動する重みＷｘと、輝度に依存する重みＷｄの合成となる。

ここで（ｐｘ、ｐｙ）は画像中の座標（ｘ、ｙ）の位置、（ｄｘ、ｄｙ）は、座標（ｘ、ｙ）の輝度とする。ぼかしフィルタリングをガウスフィルタで行う場合、Ｗｘは、［数３］、［数４］を変形して［数８］のように表わす。

σｘは［数３］におけるフィルタスケールｃに相当する。次に、輝度による重み付けＷｄを［数９］に示す。

バイラテラルフィルタを用いることにより、エッジをぼかすことなく、Ｒｅｔｉｎｅｘアルゴリズムのよる補正効果を得ることが出来る。しかし、バイラテラルフィルタリングは、２重にガウスフィルタリングを行うことに相当し、演算量が膨大であり、実際の画像処理装置への実装は困難であった。そこで、本実施形態では、少ない演算量で、エッジぼけのないコントラストを向上させた補正画像を得るためのフィルタリング処理を行なう画像処理装置について説明する。

図１は本実施形態に係る画像処理装置のブロック図である。本実施形態において画像処理装置は、入力画像に対してＬＲ処理、プリ処理、ポスト処理を行なって出力する。これらの処理を行なうため、画像処理装置１０は画像入力部１１と、輝度信号抽出部１２と、Ｒｅｔｉｎｅｘ処理部１３と、ポスト処理部１４と、画像出力部１５とを備えている。

画像入力部１１は、画像データを入力し、ＲＧＢ信号に分離してＲｅｔｉｎｅｘ処理部１３および輝度信号抽出部１２に出力する。画像入力部１１は、例えば、撮像素子など、直接被写体を撮像し、画像信号を出力するデバイスを用いて構成することができる。また、ＭＰＥＧ、ＪＰＥＧなどの画像圧縮信号を、伝送路を介して受信する受信装置であってもよく、さらに画像圧縮信号のデコードを行うデコーダ等であってもよい。

なお、本例では原画像をＲＧＢ色空間で分離したが、色空間はＲＧＢに限らず、ＨＳＶ、ＹＩＱ、ＹＣｂＣｒなどでもよい。また、画像入力部１１からの出力信号を、撮像素子から直接出力されるＲＡＷ信号、ＭＰＥＧ・ＪＰＥＧなど圧縮信号をし、別途、色成分抽出部、デコーダなどを設けるようにしてもよい。

輝度信号抽出部１２は、画像信号のＲＧＢ成分から輝度成分Ｙを算出し、Ｒｅｔｉｎｅｘ処理部１３に出力する。ただし、画像入力部１１において画像信号をＹＩＱ、ＹＣｂＣｒ等の色空間に分離した場合は、すでに輝度成分が得られているため輝度信号抽出部１２における輝度成分の算出は不要である。

Ｒｅｔｉｎｅｘ処理部１３は、ＲＧＢ信号および輝度信号Ｙを入力してＬＲ処理を施す。この処理を行なうため、Ｒｅｔｉｎｅｘ処理部１３は、フィルタリング処理部１３１、プリ処理部１３２、ＲＬ処理部１３３を備えている。

Ｒｅｔｉｅｎｘ処理部１３からのＲＬ処理画像（Ｒ２，Ｇ２，Ｂ２）は、ポスト処理部１４において、上述したクリッピングなどの処理が施され、補正画像（Ｒ３，Ｇ３，Ｂ３）として画像出力部１５に出力され、画像出力部１５が外部装置等に出力する。

Ｒｅｔｉｎｅｘ処理部１３において、フィルタリング処理部１３１は、輝度成分Ｙのフィルタリングを行うことによって推定照明光成分Ｌを得る。本実施形態では、推定照明光成分Ｌは、プリ処理部１３２によってゲイン補正等が施され、補正推定照明光成分Ｌ２とするが、プリ処理は行なわないようにしてもよい。また、画像入力部１１から出力された画像信号の各成分は、ＬＲ処理部１３３において、推定照明光成分Ｌ２によってＬＲ処理を施される。

従来のＲｅｔｉｎｅｘ処理では、フィルタリング処理部１３１で、ガウスフィルタを用い、Ｙ成分のぼかし画像を推定照明光成分とする手法が主流である。しかし、ガウスフィルタでは、上述のように、スケール定数（［数３］におけるｃ）の大きさによってフィルタの面積すなわち周辺情報量が変化するため、処理効果が異なった画像が得られる。この結果、フィルタスケールによっては、帯状妨害（エッジぼけ）などが生じていた。

本実施形態のフィルタリング処理部１３１で用いるフィルタは、以下の実施例で説明するように、簡易な演算でエッジを保持しつつ平滑化を行うフィルタリングを実現し、フィルタスケールによる帯状妨害を防ぐことが可能である。

フィルタリング処理部１３１で行なうフィルタリング方法の第１実施例について図２、図３を用いて説明する。第１実施例では、ＬＲのフィルタリング処理として、注目画素含む、注目画素近傍の複数（ｎ個：ｎは任意の正の整数）の画素を抽出し、抽出された近傍の画素（周辺画素）および注目画素の画素値の中で、値の大きさが中心となる複数個（ｍ個：ｍは任意の正の整数、ｍ＜ｎ）の平均値を、注目画素の補正画素値とするフィルタリングを行う。

図２は、第１実施例におけるフィルタリング方法の概念図である。ここではフィルタサイズを５×５ピクセルとした場合について説明する。また、図３は、第１実施例におけるフィルタリング処理のフローチャートである。

第１実施例では、図２に示すように、注目画素Ｐｉｊを中心とする近傍５×５＝２５画素を周辺画素としてフィルタリングを行う。以下の処理は画像に含まれる全画素のＹ成分に対して順次行なうものとする（Ｓ１０１）。なお、“ＲＯＷＳ”は画像の横方向の画素数、“ＣＯＬＳ”は縦方向の画素数である。

まず、注目画素Ｐｉｊを含む周辺画素２５画素（ピクセル）の画素値（輝度値）を抽出する（Ｓ１０２）。次に、抽出した画素値を値の大きさでソートする（Ｓ１０３）。ソートされたピクセル値のうち、最大値から降順に８ピクセル（大きい方から順に８ピクセル）、最小値から昇順に８ピクセル（小さい方から順に８ピクセル）を除外する（Ｓ１０４、Ｓ１０５）。すなわち、周辺画素２５画素を画素値順に並べた場合の中心値となる９ピクセルを抽出する。

抽出された９ピクセルのうち、更に、最大値から降順に４ピクセル（大きい方から順に４ピクセル）、最小値から昇順に４ピクセル（小さい方から順に４ピクセル）を抽出する（Ｓ１０６）、すなわち中心値１ピクセルを除く８ピクセルを抽出する。

最終的に抽出された８ピクセルに、１/８を乗算し（Ｓ１０７）、その総和、すなわち８ピクセルの平均値を注目画素値と入れ替える（Ｓ１０８）。以上の処理を、画像全体の画素に対して行う。

上記の処理は、平均化フィルタとメディアンフィルタを合成したフィルタとなり、フィルタリングされた画像は、エッジを保持しつつ、全体が平滑化された画像となっている。第１実施例のフィルタは、メディアンフィルタと平均化フィルタを応用したものである。メディアンフィルタとは、スパイクノイズを取り除くのに適しているフィルタであり、アルゴリズムは、奇数個のデータの中間に位置するデータをその位置のデータとして採用するというものである。

図４は、メディアンフィルタの概念図である。例えば、図４（ａ）に示すように、１，２，１００，５，６とデータが並んでいた場合、大きく変化した１００のデータをノイズと判断して取り除くことができ、３個のデータ単位でメディアンフィルタをかけると、
１,２，１００→２
２，１００,５→５
１００,５,６→６
：
のように、１００だけ取り除くことができる。

図４（ｂ）に示すように、０,０,１,１，１００，１０１,１０００，１００，１０２・・・といったデータの場合は、１０００がノイズで、１から１００に変化している箇所がエッジ部分と見なすことができる。これのデータを３個のデータ単位でメディアンフィルタにかけると、
０,０,１→０
０,１,１→１
１,１，１００→１
１，１００，１０１→１００
１００，１０１,１０００→１０１
１０１,１０００，１００→１０１
１０００，１００，１０２→１０２
：
と、ノイズ成分の１０００だけが取り除かれ、エッジに相当する部分のデータは保持される。

平均化フィルタで平滑化を行うと、エッジ部分が前後のデータで平均化されエッジが無くなる可能性があるが、メディアンフィルタではエッジはなくならない。第１実施例では、この２種類のフィルタの特徴を活かし、平滑化を行いつつ、エッジを保持するフィルタによってＬＲを行う。

サンプルとして図５に示した原画像のＹ成分に対して、フィルタサイズを５×５ピクセルとした場合に、従来の平均化フィルタリングを行った画像を図６（ａ）に示し、第１実施例のフィルタリングを行なった画像を図６（ｂ）に示す。図６（ａ）では全体的にぼけた画像となっているのに対し、図６（ｂ）は一部分が平滑化されているが、エッジが保持され、原画像の形状をほぼ残した画像となっている。

さらに、図５に示した原画像のＹ成分に対して、フィルタサイズを９×９ピクセルとした場合に、従来の平均化フィルタリングを行った画像を図７（ａ）に示し、第１実施例のフィルタリングを行った画像を図７（ｂ）に示す。本図では、より一層第１実施例のフィルタの効果が表れている。

また、フィルタサイズを９×９ピクセルとした場合の、ガウスフィルタによるフィルタリングを行った推定照明光画像のヒストグラムを図８（ａ）に示し、平均化フィルタを行った推定照明光画像のヒストグラムを図８（ｂ）に示し、第１実施例のフィルタによるフィルタリングを行った推定照明光画像のヒストグラムを図８（ｃ）に示す。

Ｒｅｔｉｎｅｘ処理の概要で述べたように、推定照明光成分の階調範囲が、フィルタリングにより元のＹ成分に比べて狭くなり、処理前のＲ、Ｇ、Ｂそれぞれの画素が、自身の画素値よりも小さい値によって割り算されることがある。この場合、補正画像が、本来の階調幅以上の値となる。第１実施例のフィルタでは、ガウスフィルタおよび平均化フィルタに比べ、推定照明光成分の低階調成分が若干多くなっており、補正後の画像は、本来の階調幅以上の値となることが予想される。

このため、ＬＲ処理部１３３の前段にプリ処理部１３２を設け、プリ処理を行うようにしている。プリ処理部１３２が行なうプリ処理の一例として、ガンマ補正によるプリ処理（ガンマ値は固定、γ＝０．３）を行った場合の各フィルタのヒストグラムを図９に示す。なお、図９（ａ）がガウスフィルタを用いたときのヒストグラムを示し、図９（ｂ）が平均化フィルタを用いたときのヒストグラムを示し、図９（ｃ）が第１実施例のフィルタを用いたときのヒストグラムを示している。

さらに、平均化フィルタを用いた場合の補正後の推定照明光成分Ｌ２を図１０（ａ）に示し、第１実施例のフィルタを用いた場合の補正後の推定照明光成分Ｌ２を図１０（ｂ）に示す。

図９のヒストグラムから分かるように、プリ処理によって低輝度部分の分布がなくなる。すなわち、ＬＲ処理の際の分母が分子に対して大幅に小さくなることがなく、ＬＲ処理によって、本来の階調幅以上の値となる画素が少なくなる。また、図１０（ａ）、図１０（ｂ）を比較すると、図１０（ａ）の平均化フィルタを用いた場合は全体がぼけた画像となっているのに対し、第１実施例のフィルタを用いた場合は、広いエリア、細かいエッジはぼけているものの、全体としての輪郭となるエッジは保持されている。

第１実施例のフィルタによって生成された推定照明光成分Ｌは、プリ処理部１３２によって補正され補正推定照明光成分Ｌ２となる。補正推定照明光成分Ｌ２を用いたＬＲ処理後の各成分（Ｒ，Ｇ，Ｂ）のヒストグラムを図１１に示す。本図に示すように、殆どのヒストグラムが１以下に集中しており、１以上の画素を“１”としてクリッピング処理を行っても、画質に大きな影響は及ぼさない。ポスト処理部１４によって、例えば、１以上の画素のクリッピングを行い、画像出力部１５へ補正画像の出力を行うが、従来の方法のようなゲイン・オフセットや、クリッピング係数の算出などの演算を行う必要はない。また、画像出力部１５が、設定された階調以上の画素値を最大階調値にして出力することを許容するものであれば、ポスト処理部１４は設けなくてもよい。

以上説明したように、第１実施例のフィルタリング方法を用いたＲｅｔｉｎｅｘ処理により、少ない演算量で、エッジぼけを改善したコントラスト補正画像を得ることが可能となる。また、本実施例では、注目画素を中心とした正方エリアの周辺画素を抽出し、最終的に平均を取るためのピクセル数を２のべき乗とするため、中心値を除いた８ピクセルとしたが、平均化を行うための中心値の数は奇数でもよく、中心値を含めた値でもよい。

一般に、Ｒｅｔｉｎｅｘ処理では、フィルタリングによるＹ成分のぼかし画像によって推定された照明光成分が補正・画質に大きく影響する。そのためぼかし画像を生成するためのフィルタは、注目画素を中心に等距離範囲の周辺画素値を参照することが望ましい。参照するエリアは円形に近いもの、ひし形などが考えられるが、本実施例では、注目画素を中心とした正方エリアの周辺画素を抽出することにより、抽出及び演算を簡略化している。すなわち、画素の抽出をハードウェアで実現する際等は、抽出領域をガウスフィルタのような円形に近いエリアとするよりも、正方エリアとすることが処理を大幅に簡易化することが可能であることによる。

フィルタリング処理部１３１で行なうフィルタリング方法の第２実施例について図１２、図１３を用いて説明する。第２実施例では、ＬＲのフィルタリング処理として、注目画素近傍の複数（ｎ個：ｎは任意の正の整数）の画素を抽出し、抽出された近傍の画素（周辺画素）の中で、注目画素以外の、値の大きさが中心となる複数個（ｍ個：ｍは任意の正の整数、ｍ＜ｎ）に複数段階の重み付け係数（Ｗｍ）を乗算したものの総和と、注目画素に重み付け係数（Ｗｐ）を乗算したものの和を、注目画素の補正画素値とし、重み付け係数の総和（ΣＷｍ＋Ｗｐ）が１となるフィルタリングを行う。第２実施例の画像処理装置１０は、第１実施例と同様に図２に示したブロック図の構成とすることができる。

図１２は、第２実施例におけるフィルタリング方法の概念図である。ここではフィルタサイズを５×５ピクセルとした場合について説明する。また、図１３は、第２実施例におけるフィルタリング処理のフローチャートである。

第２実施例では、図１２に示すように、注目画素Ｐｉｊを中心とする近傍５×５＝２５画素のうち、注目画素を除く２４画素を周辺画素としてフィルタリングを行う。以下の処理は画像に含まれる全画素のＹ成分に対して順次行なうものとする（Ｓ２０１）。なお、“ＲＯＷＳ”は画像の横方向の画素数、“ＣＯＬＳ”は縦方向の画素数である。

まず、注目画素Ｐｉｊを除く周辺画素２４画素（ピクセル）の画素値（輝度値）を抽出する（Ｓ２０２）。次に、抽出した画素値を値の大きさでソートする（Ｓ２０３）。ソートされたピクセル値のうち、最大値から降順に８ピクセル（大きい方から順に８ピクセル）、最小値から昇順に８ピクセル（小さい方から順に８ピクセル）を除外する（Ｓ２０４、Ｓ２０５）。すなわち、周辺画素２４画素を画素値順に並べた場合の中心値となる８ピクセルを抽出する。

抽出された８ピクセルのうち、更に、最大値から降順に２ピクセル（大きい方から順に２ピクセル）、最小値から昇順に２ピクセル（小さい方から順に２ピクセル）を抽出し（Ｓ２０６）、重み付け係数Ｗ１（＝１/１６）を乗算する（Ｓ２０７）。次に、残った４ピクセルに、重み付け係数Ｗ２（＝１/８）を乗算する（Ｓ２０８）。

更に、注目画素Ｐｉｊに、重み付け係数Ｗ０（＝１/４）を乗算し（Ｓ２０９）、処理（Ｓ２０７）、処理（Ｓ２０８）、処理（Ｓ２０９）において、重み付け係数が乗算された９ピクセルの画素値の総和を注目画素値と入れ替える（Ｓ２１０）。以上の処理を、画像全体の画素に対して行う。

第２実施例の処理は、メディアンフィルタとガウスフィルタを応用したものである。ガウスフィルタによる平滑化と、メディアンフィルタによるエッジ保持の特徴とが活かされ、フィルタリングされた画像は、エッジを保持しつつ、全体が平滑化された画像となっている。

サンプルとして図５に示した原画像のＹ成分に対して、フィルタサイズを５×５ピクセルとした場合に、従来のガウスフィルタリングを行った画像を図１４（ａ）に示し、第２実施例のフィルタリングを行なった画像を図１４（ｂ）に示す。図１４（ａ）では全体的にぼけた画像となっているのに対し、図１４（ｂ）は一部分が平滑化されているが、エッジが保持され、原画像の形状をほぼ残した画像となっている。

さらに、図５に示した原画像のＹ成分に対して、フィルタサイズを９×９ピクセルとした場合に、従来のガウスフィルタリングを行った画像を図１５（ａ）に示し、第２実施例のフィルタリングを行った画像を図１５（ｂ）に示す。本図では、より一層第２実施例のフィルタの効果が表れている。

また、フィルタサイズを９×９ピクセルとした場合の、ガウスフィルタによるフィルタリングを行った推定照明光画像のヒストグラムを図１６（ａ）に示し、平均化フィルタを行った推定照明光画像のヒストグラムを図１６（ｂ）に示し、第２実施例のフィルタによるフィルタリングを行った推定照明光画像のヒストグラムを図１６（ｃ）に示す。

第１実施例と同様に、ガンマ補正によるプリ処理（ガンマ値は固定、γ＝０．３）を行った場合の各フィルタのヒストグラムを図１７に示す。なお、図１７（ａ）がガウスフィルタを用いたときのヒストグラムを示し、図１７（ｂ）が平均化フィルタを用いたときのヒストグラムを示し、図１７（ｂ）が第２実施例のフィルタを用いたときのヒストグラムを示している。

さらに、ガウスフィルタを用いた場合の補正後の推定照明光成分Ｌ２を図１８（ａ）に示し、第２実施例のフィルタを用いた場合の補正後の推定照明光成分Ｌ２を図１８（ｂ）に示す。

図１７のヒストグラムから分かるように、プリ処理によって低輝度部分の分布がなくなる。すなわち、ＬＲ処理の際の分母が分子に対して大幅に小さくなることがなく、ＬＲ処理によって、本来の階調幅以上の値となる画素が少なくなる。また、図１８（ａ）、図１８（ｂ）を比較すると、図１８（ａ）のガウスフィルタを用いた場合は全体がぼけた画像となっているのに対し、第２実施例のフィルタを用いた場合は、広いエリア、細かいエッジはぼけているものの、全体としての輪郭となるエッジは保持されている。

第２実施例のフィルタによって生成された推定照明光成分Ｌは、プリ処理部１３２によって補正され補正推定照明光成分Ｌ２となる。補正推定照明光成分Ｌ２を用いたＬＲ処理後の各成分（Ｒ，Ｇ，Ｂ）のヒストグラムを図１９に示す。本図に示すように、殆どのヒストグラムが１以下に集中しており、１以上の画素を“１”としてクリッピング処理を行っても、画質に大きな影響は及ぼさない。ポスト処理部１４によって、例えば、１以上の画素のクリッピングを行い、画像出力部１５へ補正画像の出力を行うが、従来の方法のようなゲイン・オフセットや、クリッピング係数の算出などの演算を行う必要はない。また、画像出力部１５が、設定された階調以上の画素値を最大階調値にして出力することを許容するものであれば、ポスト処理部１４は設けなくてもよい。

以上説明したように、第２実施例のフィルタリング方法を用いたＲｅｔｉｎｅｘ処理により、少ない演算量で、エッジぼけを改善したコントラスト補正画像を得ることが可能となる。また、第１実施例および第２実施例は、周辺画素は注目画素を中心とした正方エリアのものとしたが、周辺画素として抽出するエリアは、注目画素を中心としたものであればよく、正方形に限定されず、例えば、円形等であってもよい。

１０…画像処理装置
１１…画像入力部
１２…輝度信号抽出部
１３…Ｒｅｔｉｎｅｘ処理部
１４…ポスト処理部
１５…画像出力部
１３１…フィルタリング処理部
１３２…プリ処理部
１３３…ＬＲ処理部

Claims (6)

1. 入力画像に対し、特定の色成分画像を抽出する画像抽出手段と、
   前記画像抽出手段によって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素周辺の複数個の画素および前記注目画素の画素値の中で、その値が中心域となる複数個の画素値の平均値を、前記注目画素の補正画素値とするフィルタリングを行なうことで第１の補正画像を生成するフィルタリング手段と、
   前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理手段と、を備えたことを特徴とする画像処理装置。
2. 入力画像に対し、特定の色成分画像を抽出する画像抽出手段と、
   前記画像抽出手段によって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素を除いた注目画素周辺の複数個の画素の画素値の中で、その値が中心域となる複数個の画素値に複数段階の重み付け係数を乗算したものの総和と、前記注目画素の画素値に重み付け係数を乗算したものとの和を、前記注目画素の補正画素値とするフィルタリングを行うことで第１の補正画像を生成し、前記フィルタリングでの前記複数段階の重み付け係数および前記注目画素についての重み付け係数の総和が１であるフィルタリング手段と、
   前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理手段と、を備えたことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記フィルタリング手段で抽出する前記注目画素周辺の画素は、前記注目画素を中心とする正方エリア内の画素であることを特徴とする画像処理装置。
4. 入力画像に対し、特定の色成分画像を抽出する画像抽出ステップと、
   前記画像抽出ステップによって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素周辺の複数個の画素および前記注目画素の画素値の中で、その値が中心域となる複数個の画素値の平均値を、前記注目画素の補正画素値とするフィルタリングを行なうことで第１の補正画像を生成するフィルタリングステップと、
   前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理ステップとを有することを特徴とする画像処理方法。
5. 入力画像に対し、特定の色成分画像を抽出する画像抽出ステップと、
   前記画像抽出ステップによって得られた特定色成分の画像を構成する画素について、注目画素を順次定め、前記注目画素を除いた注目画素周辺の複数個の画素の画素値の中で、その値が中心域となる複数個の画素値に複数段階の重み付け係数を乗算したものの総和と、前記注目画素の画素値に重み付け係数を乗算したものとの和を、前記注目画素の補正画素値とするフィルタリングを行うことで第１の補正画像を生成し、前記フィルタリングでの前記複数段階の重み付け係数および前記注目画素についての重み付け係数の総和が１であるフィルタリングステップと、
   前記第１の補正画像と前記入力画像とを用い、Ｒｅｔｉｎｅｘ処理によってコントラストを補正した第２の補正画像を生成するＲｅｔｉｎｅｘ処理ステップとを有することを特徴とする画像処理方法。
6. 請求項４または５に記載の画像処理方法であって、
   前記フィルタリングステップで抽出する前記注目画素周辺の画素は、前記注目画素を中心とする正方エリア内の画素であることを特徴とする画像処理方法。