JP2016086347A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】画像データを取得する取得部と、取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出する解析部と、算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施す平滑化処理部と、を備えることを特徴とする、画像処理装置。
【選択図】図７

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年では、デジタルスチルカメラのような撮像装置が広く普及している。このような撮像装置の中には、逆光補正やＨＤＲ（High Dynamic Range）等のような所謂ダイナミックレンジ圧縮技術を利用したものもある。このような撮像装置では、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像を、例えば、暗部及び明部のいずれかまたは双方のレンジを縮退させることで撮像している。

また、上記に説明した一部のレンジが縮退された画像の視認性を向上させる技術として、当該画像に対して、Retinex理論を応用した画像処理を施すことで、局所的なダイナミックレンジ補正を行う技術がある。Retinex理論を応用した画像処理では、入力画像の明るさの成分を、照明光成分と反射率成分とに分離し、照明光成分に対して変調を施したうえで、変調後の照明光成分と反射率成分とを再合成することで局所的にダイナミックレンジが補正された出力画像を得る。

特開２００３−８９３５号公報

前述した、Retinex理論を応用した画像処理では、照明光成分を抽出するために、入力画像に対して平滑化フィルタを適用する場合がある。一方で、入力画像に対する平滑化フィルタの適用により、被写体と背景との間の境界の近傍に原画像にはない不自然な画像パターン（所謂、Halo現象）が発生する場合がある。

このような課題に対して、特許文献１には、Halo現象の発生を抑制するための画像処理技術の一例として、平滑化フィルタとしてεフィルタを適用し、ε値を制御することで、エッジを保持しつつ平滑化を行う技術が開示されている。

一方で、特許文献１に係る発明では、背景と被写体との間の境界（以降では、「階段調のエッジ」と呼ぶ場合がある）と、被写体の模様により明暗（階調）が変化する境界（以降では、「模様調のエッジ」と呼ぶ場合がある）とが区別されずに処理される。そのため、例えば、被写体が、当該被写体の模様には依存せずに一様に照明されている状況下においても、特許文献１に開示された技術では、特に明暗の強い模様の部分においてエッジが保持され、模様そのものが照明光成分として扱われる場合がある。そのため、特許文献１に係る発明では、Halo現象の発生を抑制された画像が得られるものの、被写体の模様の部分においてコントラストが縮退される場合がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データを取得する取得部と、取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出する解析部と、算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施す平滑化処理部と、を備えることを特徴とする、画像処理装置が提供される。

前記解析部は、前記第２のパラメタとして前記分散を算出し、前記第１のパラメタを∇、当該第２のパラメタをσ^２、補正係数をｋとした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出してもよい。

前記解析部は、前記第２のパラメタとして前記分散に基づく標準偏差を算出し、前記第１のパラメタを∇、当該第２のパラメタをσ、補正係数をｋとした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出してもよい。

前記解析部は、前記第２のパラメタとして前記分散を算出し、前記第１のパラメタを∇、当該第２のパラメタをσ^２、前記第１のパラメタに対する補正係数をｋ_∇、当該分散に対する補正係数をｋ_σとした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出してもよい。

前記解析部は、前記分散を、前記注目画素と、前記第１の範囲よりもより広い範囲に含まれる周辺画素とに基づき算出してもよい。

前記解析部は、第１の通過周波数範囲を有する帯域制限フィルタを適用することで前記第１の勾配を算出し、前記第１の通過周波数範囲よりもより低域側に広い第２の通過周波数範囲を有する帯域制限フィルタを適用することで前記第２の勾配を算出してもよい。

前記解析部は、前記第２のパラメタとして前記第２の勾配を算出し、前記第１のパラメタを∇_１、当該第２のパラメタを∇_２とした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出してもよい。

前記解析部は、前記第２のパラメタとして前記第２の勾配を算出し、前記第１のパラメタを∇_１、当該第２のパラメタを∇_２とした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出してもよい。

前記解析部は、前記第１のパラメタの絶対値と、前記階段調強度とを乗算することで、前記エッジ強度を算出してもよい。

前記解析部は、前記第１のパラメタの二乗と、前記階段調強度とを乗算することで、前記エッジ強度を算出してもよい。

前記平滑化処理部は、算出された前記エッジ強度に基づきε値を決定し、当該ε値に応じた適応型εフィルタに基づき、前記非線形平滑化処理を施してもよい。

前記平滑化処理部は、算出された前記エッジ強度と所定の閾値との比較結果に基づき、前記ε値を決定してもよい。

前記平滑化処理部は、算出された前記エッジ強度が前記閾値を超える場合には、前記ε値を最小値とし、前記エッジ強度が前記閾値以下の場合には、前記ε値を最大値としてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像データを取得することと、取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出することと、算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施すことと、を含むことを特徴とする、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、画像データを取得することと、取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出することと、算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施すことと、を実行させる、プログラムが提供される。

以上説明したように本発明によれば、画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムが提供される。

本発明の実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 照明光生成部による平滑化処理の処理結果の一例を示した図である。 比較例に係る照明光生成部の機能構成の一例を示したブロック図である。 ε値調整部がエッジ強度Ｋ_Ｇ−ε値変換を行うための関数の一例を示している。 入力Ｉの一例を示した図である。 図５に示した入力Ｉに対して、一次微分フィルタを適用することで勾配∇を算出した場合の、入力画像中の画素ごとの勾配∇の変化の一例を示している。 同実施形態に係る照明光生成部の機能構成の一例を示したブロック図である。 図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの分散σ^２に基づく標準偏差σの変化の一例を示している。 図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの階段調強度Ｋ_Ｓの変化の一例を示している。 図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとのエッジ強度Ｋ_Ｇの変化の一例を示している。 同実施形態に係るε値調整部によるε値の調整に係る処理の内容について説明するための説明図である。 ε値調整部がエッジ強度Ｋ_Ｇに応じてε値を設定するための関数の一例を示している。 ε値調整部がエッジ強度Ｋ_Ｇに応じてε値を設定するための関数の他の一例を示している。 ε値調整部がエッジ強度Ｋ_Ｇに応じてε値を設定するための関数の他の一例を示している。 同実施形態に係る照明光生成部の一連の処理の流れの一例を示したフローチャートである。 変形例に係るε値制御部の機能構成の一例を示したブロック図である。 変形例に係る照明光生成部の一連の処理の流れの一例を示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．概要：Retinex理論を応用した画像処理装置＞
本発明の実施形態に係る画像処理装置の特徴をよりわかりやすくするために、まず、Retinex理論を応用した画像処理の概要について説明する。

一般的に、デジタルスチルカメラのような撮像装置により画像が撮像される場合に、撮像される自然界の光の明るさのレンジが、当該撮像装置に設けられた撮像素子のダイナミックレンジ超える場合がある。そのため、当該撮像装置の中には、逆光補正やＨＤＲ等のような所謂ダイナミックレンジ圧縮技術を利用して、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像を撮像するものもある。このようなダイナミックレンジ圧縮技術を利用した撮像装置では、撮像される画像の暗部及び明部のいずれかまたは双方のレンジを縮退させることで、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像の撮像を可能としている。

このようにして撮像された、所謂ダイナミックレンジが縮退された画像の視認性を向上させる技術として、Retinex理論を応用することで、画像処理として局所的なダイナミックレンジ補正を施す技術が知られている。

具体的には、Retinex理論では、画像中に撮像された光は、照明光成分と反射率成分とを掛けあわせたものとみなされる。即ち、照明光成分をＬ、反射率成分をＲとした場合に、入力画像の明るさの成分Ｉは、以下に示す（式１）で示されることとなる。

Retinex理論を応用した局所的なダイナミックレンジ補正を行う場合には、画像処理装置は、入力画像の明るさの成分Ｉから、照明光成分Ｌと反射率成分Ｒとを分離して処理する。なお、以降では、入力画像の明るさの成分Ｉを、単に「入力Ｉ」と記載する場合がある。

ここで、図１を参照して、本実施形態に係る画像処理装置の機能構成の一例として、Retinex理論を応用した局所的なダイナミックレンジ補正を行う画像処理装置の機能構成の一例について説明する。図１は、本実施形態に係る画像処理装置１の機能構成の一例を示したブロック図である。

図１に示すように、本実施形態に係る画像処理装置１は、照明光生成部１０と、除算部３０と、照明光変調部５０と、積算部７０とを含む。

照明光生成部１０は、入力Ｉに基づき照明光成分Ｌを生成するための構成である。具体的には、照明光生成部１０は、入力Ｉに対して平滑化処理を施すことで（例えば、平滑化フィルタを適用することで）、当該入力Ｉから照明光成分Ｌを生成する。そして、照明光生成部１０は、生成した照明光成分Ｌを示すデータを、除算部３０と、照明光変調部５０とに出力する。なお、照明光生成部１０については、詳細を別途後述する。

除算部３０は、入力Ｉに基づき反射率成分Ｒを生成するための構成である。具体的には、除算部３０は、照明光生成部１０から照明光成分Ｌを示すデータを取得し、前述した（式１）に基づき、入力Ｉを取得した照明光成分Ｌで除算することで、反射率成分Ｒを算出する。そして、除算部３０は、算出した反射率成分Ｒを示すデータを、積算部７０に出力する。

照明光変調部５０は、照明光生成部１０から、入力Ｉに基づき生成された照明光成分Ｌのデータを取得する。照明光変調部５０は、照明光成分Ｌに対して局所的な変調を施すことで、新たな照明光成分Ｌ’（即ち、照明光成分Ｌに対して局所的な変調が施された照明光成分Ｌ’）を生成する。そして、照明光変調部５０は、生成した新たな照明光成分Ｌ’を示すデータを、積算部７０に出力する。

積算部７０は、除算部３０から出力される反射率成分Ｒと、照明光変調部５０から出力される照明光成分Ｌ’
（即ち、照明光成分Ｌに対して局所的な変調が施された照明光成分Ｌ’）とを積算することで再合成する。そして、積算部７０は、反射率成分Ｒと照明光成分Ｌ’とが再合成されることで生成された明るさの成分Ｉ’に基づく画像を、出力画像として所定の出力先に出力する。

以上のようにして、画像処理装置１は、入力画像に対して局所的にダイナミックレンジが補正された出力画像を生成して出力する。以上、図１を参照して、本実施形態に係る画像処理装置１の機能構成の一例として、Retinex理論を応用した局所的なダイナミックレンジ補正を行う画像処理装置の機能構成の一例について説明した。

＜２．照明光生成部＞
［２．１．概要］
次に、本実施形態に係る照明光生成部１０の詳細について説明する。なお、本説明では、本実施形態に係る照明光生成部１０の特徴をよりわかりやすくするために、まず、従来の構成に基づく照明光生成部１０の課題について整理する。

前述の通り、照明光生成部１０は、入力Ｉに対して平滑化処理を施すことで（例えば、平滑化フィルタを適用することで）、当該入力Ｉから照明光成分Ｌを生成する。一方で、この入力Ｉに対する平滑化処理により、所謂Halo現象が発生する場合がある。このHalo現象は、被写体と背景との間の境界における明るさの急激な変化が平滑化処理により平滑化され、当該境界の近傍におけるコントラストが緩和されることで発生する。

例えば、図２は、照明光生成部１０による平滑化処理の処理結果の一例を示した図であり、被写体と背景との間の境界に対して平滑化処理を施した場合における、画像中の画素ごとの明るさの強度の変化の一例を、入出力それぞれについて示している。なお、本説明における明るさの強度とは、例えば、画素値、輝度値、または明度値等を示すものとする。以降の説明では、単に「明るさの強度」と表記した場合には、これらのいずれであっても該当し得るものとする。図２において横軸は、画像中の画素の位置を示し、縦軸は、明るさの強度を示している。また、図２において、参照符号Ｉは、入力画像の明るさの成分を示している。また、参照符号Ｌは、入力Ｉに対して平滑化処理を施した場合の出力（即ち、生成された照明光成分）を示している。

図２に示すように、入力Ｉのうち、被写体と背景との間の境界に対して平滑化処理が施されると、当該境界における急激な明るさの変化が緩和された照明光成分Ｌが生成される。このように、被写体と背景との間の急激な明るさの変化が緩和されることで、被写体と背景との間の境界のコントラストが緩和され、Halo現象として顕在化する場合がある。

ここで、図３を参照して、上記に説明したようなHalo現象の発生を抑制して照明光成分Ｌを生成する照明光生成部１０の一例について、比較例として以下に説明する。図３は、比較例に係る照明光生成部１０の機能構成の一例を示したブロック図である。なお、比較例に係る照明光生成部１０を、本実施形態に係る照明光生成部１０と区別するために、以降では、「照明光生成部１０’」と記載する場合がある。

図３に示した、比較例に係る照明光生成部１０’は、平滑化処理のためのフィルタとしてεフィルタを適用し、エッジ強度に応じて当該εフィルタのε値を制御することで、入力Ｉに対してエッジを保持しながら平滑化処理を施す。

具体的には、図３に示すように、比較例に係る照明光生成部１０’は、平滑化処理部１１と、ε値制御部１９とを含む。なお、平滑化処理部１１が、所謂εフィルタに相当する。また、ε値制御部１９は、勾配算出部１９１と、ε値調整部１９３とを含む。

勾配算出部１９１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。

なお、勾配算出部１９１が、勾配∇を算出する方法の一例として、以下に（式２）として示すように、一次微分フィルタを適用する方法（所謂、ハイパスフィルタを適用する方法）が挙げられる。

なお、（式２）において、ｎは、周辺画素を特定するためのオペレータ長を示している。また、Ｉ（ｘ−ｎ，ｙ）及びＩ（ｘ＋ｎ，ｙ）は、オペレータ長をｎとした場合における、注目画素に対するｘ方向（例えば、横方向）の周辺画素の明るさの成分を示している。同様に、Ｉ（ｘ，ｙ−ｎ）及びＩ（ｘ，ｙ＋ｎ）は、オペレータ長をｎとした場合における、注目画素に対するｙ方向（例えば、縦方向）の周辺画素の明るさの成分を示している。なお、オペレータ長ｎ＝１とした場合には、タップ数は３となり、オペレータ長ｎ＝２とした場合には、タップ数は５となる。

また、他の一例として、勾配算出部１９１は、以下に（式３）として示すような、平滑化効果を持たせた帯域制限フィルタを適用して算出してもよい。

以上のようにして、勾配算出部１９１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇を算出する、そして、勾配算出部１９１は、注目画素ごとに算出した勾配∇を、ε値調整部１９３に出力する。

ε値調整部１９３は、入力画像中の注目画素ごとに算出された勾配∇を、勾配算出部１９１から取得する。ε値調整部１９３は、注目画素ごとに取得した勾配∇（具体的には、勾配∇の絶対値）を、当該注目画素におけるエッジ強度Ｋ_Ｇとして認識する。即ち、注目画素の座標を（ｘ，ｙ）、当該注目画素における勾配を∇（ｘ，ｙ）とした場合に、当該注目画素のエッジ強度Ｋ_Ｇ（ｘ，ｙ）は、以下に（式４）として示す関係式に基づき導出される。

そして、ε値調整部１９３は、エッジ強度Ｋ_Ｇが高いほどε値を小さくし、エッジ強度Ｋ_Ｇが低いほどε値が大きくなるように、エッジ強度Ｋ_Ｇをε値に変換する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）。例えば、図４は、ε値調整部１９３が、エッジ強度Ｋ_Ｇ−ε値変換を行うための関数ｆ_ε（Ｋ_Ｇ）の一例を示している。

以上のようにして、ε値調整部１９３は、注目画素ごとに、当該注目画素のエッジ強度Ｋ_Ｇに応じてε値を算出し、算出したε値を平滑化処理部１１に出力する。

平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１９３から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

以上のような構成により、比較例に係る照明光生成部１０’は、エッジと判断される部分では平滑化の効果を低めることで当該エッジを保持し、エッジ以外の部分については平滑化の効果を高めるように、入力Ｉに対して非線形平滑化処理を施す。これにより、比較例に係る照明光生成部１０’は、Halo現象の発生を抑制して照明光成分Ｌを生成することが可能となる。

一方で、上述した比較例に係る照明光生成部１０’は、背景と被写体との間の境界（以降では、「階段調のエッジ」と呼ぶ場合がある）と、被写体の模様により明暗（階調）が変化する境界（以降では、「模様調のエッジ」と呼ぶ場合がある）とを区別することが困難である。そのため、照明光生成部１０’は、階段調のエッジと模様調のエッジとを識別せずに、一様にエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに応じて平滑化処理を施す。

例えば、図５は、入力Ｉの一例を示した図であり、入力画像中の画素ごとの明るさの強度の変化の一例を示している。なお、図５に示す例では、説明をわかりやすくするために、入力画像のｘ方向（例えば、横方向）についてのみ着目して、入力画像中の画素ごとの明るさの強度の変化を示している。即ち、図５の横軸は、入力画像中のｘ方向に沿った画素の位置を示している。また、図５の縦軸は、各画素の明るさの強度を示している。

また、図６は、図５に示した入力Ｉに対して、一次微分フィルタを適用することで勾配∇を算出した場合の、入力画像中の画素ごとの勾配∇の変化の一例を示している。即ち、図６の横軸は、図５の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図６の縦軸は、画素ごとに算出された勾配∇を示している。

図５に示す例において、参照符号ｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂとして示した部分は、入力画像中における、階段調のエッジにより明暗が大きく変化している部分を模式的に示している。また、参照符号ｖ１７として示した部分は、模様調のエッジにより明暗が大きく変化している部分を模式的に示している。なお、図６において、参照符号ｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、ｖ１５ｂ、及びｖ１７で示した部分は、図５において、同様の参照符号が付された入力画像中の位置と、同じ位置に対応する部分を示している。

図６に示す例では、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、勾配∇の値が略等しい。そのため、勾配∇をエッジＫ_Ｇとして認識した場合には、照明光生成部１０’は、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとを識別することは困難である。

ここで、被写体の模様により明暗が変化している部分（即ち、模様調の部分）は、当該模様に依存せずに一様に照明されていると考えられ、多くの場合は、当該模様調の部分はエッジを保持されずに平滑化処理が施されることが望ましい。しかしながら、比較例に係る照明光生成部１０’は、被写体の模様により明暗が変化する部分（即ち、模様調のエッジ）についても、階段調のエッジと同様に保持する。そのため、比較例に係る照明光生成部１０’により入力画像を処理した場合には、平滑化処理により、入力画像中における被写体の模様のコントラストが縮退し、結果として、模様が薄まったような出力画像が出力される場合がある。

本実施形態に係る照明光生成部１０は、上記問題を鑑みてなされたものであり、その目的とするところは、入力画像中における階段調のエッジと模様調のエッジとを識別して、当該入力画像に対して非線形平滑化処理を施すことが可能な仕組みを提供することにある。そこで、以降では、本実施形態に係る照明光生成部１０について、さらに詳しく説明する。

［２．２．機能構成］
図７を参照して、本実施形態に係る照明光生成部１０の機能構成の一例について説明する。図７は、本実施形態に係る照明光生成部１０の機能構成の一例を示したブロック図である。

図７に示すように、本実施形態に係る照明光生成部１０は、平滑化処理部１１と、ε値制御部１３とを含む。なお、平滑化処理部１１については、前述した比較例に係る照明光生成部１０’（図３参照）と同様のため詳細な説明は省略する。また、ε値制御部１３は、勾配算出部１３１と、分散算出部１３３と、ε値調整部１３５とを含む。

勾配算出部１３１は、前述した比較例に係る照明光生成部１０’の勾配算出部１９１と同様である。即ち、勾配算出部１３１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。

なお、勾配算出部１３１は、フィルタオペレータを利用した畳み込み積分により、注目画素ごとの勾配∇を算出してもよい。例えば、以下に示す（式５）は、前述した（式２もしくは式３）に示した一次微分フィルタを、畳み込み積分により示した場合の一例である。

なお、上記に示した（式５）において、Ｗは、勾配∇を算出するためのオペレータ（以降では、「勾配オペレータ」と記載する場合がある）を示している。例えば、以下に示す（式６）は、オペレータ長ｎ＝１とした場合における、勾配オペレータＷの一例を示している。

また、他の一例として、以下に示す（式７）は、オペレータ長ｎ＝２とした場合における、勾配オペレータＷの一例を示している。

なお、（式６）及び（式７）に示した勾配オペレータは、あくまで一例であり、オペレータ長ｎや、オペレータの各係数は、適宜変更してもよい。

以上のようにして、勾配算出部１３１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇を算出する。そして、勾配算出部１３１は、注目画素ごとに算出した勾配∇を、ε値調整部１３５に出力する。

分散算出部１３３は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度に基づき、分散σ^２を注目画素ごとに算出する。

ここで、注目画素の座標を（ｘ，ｙ）、座標（ｘ−ｉ，ｙ−ｊ）に位置する画素の明るさの強度をＩ_{ｘ−ｊ，ｙ−ｉ}とした場合に、注目画素の分散σ^２（ｘ，ｙ）は、以下に示す（式８）に基づき算出される。

なお、上記に示した（式８）を、以下に示す（式９）のように展開してもよい。

例えば、図８は、図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの分散σ^２に基づく標準偏差σの変化の一例を示している。なお、図８に示す例では、図６に示した、入力画像中の画素ごと勾配∇と単位をそろえるために、入力画像中の画素ごとに算出された分散σ^２に基づく、当該画素ごとの標準偏差σの変化として示している。即ち、図８の横軸は、図５及び図６の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図８の縦軸は、画素ごとに算出された標準偏差σを示している。なお、標準偏差σは、分散σ^２の平方根により算出されることは言うまでもない。換言すると、分散算出部１３３は、分散σ^２に替えて標準偏差σを算出してもよいことは言うまでもない。

以上のようにして、分散算出部１３３は、入力画像中の注目画素ごとに、当該注目画素と、当該注目画素の周辺画素それぞれとの明るさの強度に基づき、分散σ^２を算出する。そして、分散算出部１３３は、注目画素ごとに算出した分散σ^２を、ε値調整部１３５に出力する。

ε値調整部１３５は、勾配算出部１３１から、注目画素ごとに算出された勾配∇を取得する。また、ε値調整部１３５は、分散算出部１３３から、注目画素ごとに算出された分散σ^２を取得する。

ここで、図６に示した画素ごとの勾配∇の変化と、図８に示した画素ごとの標準偏差σ（換言すると、分散σ^２）の変化とのそれぞれとを比較することで、本実施形態に係るε値調整部１３５の特徴について説明する。

図６を参照して前述したように、画素ごとに算出された勾配∇のみに着目した場合には、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、勾配∇の値が略等しく、これらを識別することは困難である。

これに対して、画素ごとに算出された標準偏差σのみに着目した場合には、図８に示すように、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、標準偏差σの値が異なるため、これらを識別することが可能である。一方で、参照符号ｖ１３ａ及びｖ１５３で示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、標準偏差σの値が略等しく、これらを識別することは困難である。

一方で、図６及び図８を比較するとわかるように、勾配∇と標準偏差σとでは、階段調のエッジと模様調のエッジとの判別が困難な部分に差が生じる。この差は、勾配∇と標準偏差σとの間の特性差によるものであり、本実施形態に係るε値調整部１３５は、この特性差を利用して階段調のエッジと模様調のエッジとを判別する。

具体的には、勾配∇は、注目画素の隣接もしくは近傍の画素間における差分を示している。また、標準偏差σは、前述した（式８）において、オペレータ長ｍに基づき定義される範囲におけるばらつきを示している。理想的な状態では、階段調のエッジは、標準偏差σの最大値（頂点）と勾配∇の絶対値の最大値とは、略等しい値を示す傾向にある。これに対して、模様調のエッジは、勾配∇の絶対値よりも標準偏差σの方が大きい値を示す傾向にある。そこで、本実施形態に係るε値調整部１３５は、勾配∇と標準偏差σとの間の乖離度を階段調強度Ｋ_Ｓとして算出し、当該階段調強度Ｋ_Ｓに基づき階段調のエッジと模様調のエッジとを判別する。

例えば、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）とに基づき、以下に示す（式１０）に基づき算出される。

なお、（式１０）において、ｋ_∇及びｋ_σは、勾配∇（ｘ，ｙ）の絶対値と、標準偏差σ（ｘ，ｙ）の最大値との比が１となるように設定された、勾配∇（ｘ，ｙ）及び標準偏差σ（ｘ，ｙ）それぞれに対する補正係数（換言すると、正規化のための係数）である。なお、補正係数ｋは、補正係数ｋ_∇及びｋ_σをまとめたものに相当する。

補正係数ｋ_∇及びｋ_σは、あらかじめ算出された定数であってもよい。また、他の一例として、明るさの強度差が異なる複数の理想的な階段調のエッジのデータに基づき、｜∇｜／σを１に補正するような関数を事前に算出し、当該関数を、補正係数ｋ_∇及びｋ_σとして設定してもよい。

なお、上記に示した（式１０）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１１）で表されることとなる。

ここで、階段調強度Ｋ_Ｓは、１以下の値となり、１に近いほど、対応する注目画素の近傍で明るさがより急峻に変化していることを示している。即ち、階段調強度Ｋ_Ｓが１に近いほど、対応する注目画素が階段調のエッジに相当し得ることを示している。

なお、上記に示した階段調強度Ｋ_Ｓの算出式は、あくまで一例であり、勾配∇と、標準偏差σ（換言すると、分散σ^２）との間の乖離度を示していれば、階段調強度Ｋ_Ｓの算出方法は上記に示す例には限定されない。

具体的な一例として、ε値調整部１３５は、勾配∇の二乗と分散σ^２との乖離度に基づき階段調強度Ｋ_Ｓを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と分散σ^２（ｘ，ｙ）とに基づき、以下に示す（式１２）に基づき算出される。

ここで、上記に示した（式１２）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１３）で表されることとなる。

また、他の一例として、ε値調整部１３５は、勾配∇の二乗と分散σ^２との差を乖離度として、当該乖離度に基づき階段調強度Ｋ_Ｓを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と分散σ^２（ｘ，ｙ）とに基づき、以下に示す（式１４）に基づき算出される。

ここで、上記に示した（式１４）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１５）で表されることとなる。

以上のようにして、ε値調整部１３５は、勾配∇と標準偏差σ（換言すると、分散σ^２）との間の乖離度に基づき階段調強度Ｋ_Ｓを算出する。例えば、図９は、図５に示した入力Ｉに基づき算出された（即ち、図６に示した画素ごとの勾配∇と、図８に示した画素ごとの標準偏差σとに基づき算出された）、入力画像中の画素ごとの階段調強度Ｋ_Ｓの変化の一例を示している。即ち、図９の横軸は、図５、図６、及び図８の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図９の縦軸は、画素ごとに算出された階段調強度Ｋ_Ｓを示している。

図９を参照するとわかるように、階段調のエッジｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂと、模様調の各エッジｖ１７とでは、階段調強度Ｋ_Ｓが大きく乖離している。

具体的な一例として、階段調強度Ｋ_Ｓの算出に際し、勾配∇を算出する際のオペレータ長ｎ（例えば（式２）に示した変数ｎ）と、分散σ^２を算出する際のオペレータ長ｍ（例えば（式８）に示した変数ｍ）とを等しい値に設定したとする。この場合には、階段調のエッジでは、補正係数ｋ_∇及びｋ_σそれぞれを１としたとしても、勾配∇の絶対値と標準偏差σとでは、ほとんど差が無く、階段調強度Ｋ_Ｓは約１を示す。これに対して、模様調のエッジでは、勾配∇の絶対値が標準偏差σよりも低くなり、階段調のエッジに比べて階段調強度Ｋ_Ｓが低い値を示す。

このような特性を利用して、ε値調整部１３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇の絶対値に対して、当該注目画素について算出した階段調強度Ｋ_Ｓを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度Ｋ_Ｇを算出する。即ち、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素におけるエッジ強度Ｋ_Ｇ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と階段調強度Ｋ_Ｓとに基づき、以下に示す（式１６）に基づき算出される。

なお、勾配∇を算出する際のオペレータ長ｎと、分散σ^２を算出する際のオペレータ長ｍとは、ｎ≦ｍとなるように設定することが望ましい。

また、他の一例として、ε値調整部１３５は、以下に（式１７）として示すように、入力画像中の注目画素ごとに、当該画素における勾配∇^２に対して階段調強度Ｋ_Ｓを乗じることで、エッジ強度Ｋ_Ｇを算出してもよい。

以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇と、当該注目画素について算出された階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出する。例えば、図１０は、図５に示した入力Ｉに基づき算出された（即ち、図６に示した画素ごとの勾配∇と、図９に示した画素ごとの階段調強度Ｋ_Ｓとに基づき算出された）、入力画像中の画素ごとのエッジ強度Ｋ_Ｇの変化の一例を示している。即ち、図１０の横軸は、図５、図６、及び図９の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図１０の縦軸は、画素ごとに算出されたエッジ強度Ｋ_Ｇを示している。

図１０に示すように、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出することで、模様調のエッジｖ１７が抑制され、階段調のエッジｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂが当該エッジ強度Ｋ_Ｇとして抽出される。即ち、ε値調整部１３５は、以上のようにして算出されたエッジ強度Ｋ_Ｇに基づき、階段調のエッジ及び模様調のエッジのうち階段調のエッジのみが保持されるようにε値を調整する（換言すると、エッジ強度Ｋ_Ｇ−ε値変換を行う）。

ここで、ε値調整部１３５による、エッジ強度Ｋ_Ｇに基づくε値の調整に係る処理について、図１１を参照しながら具体的な例を挙げて説明する。図１１は、本実施形態に係るε値調整部１３５によるε値の調整に係る処理の内容について説明するための説明図である。

図１１の上側の図は、入力画像中の画素ごとの明るさの強度の変化の一例を示している。また、図１１中の下側の図は、入力画像中の注目画素ごとのエッジ強度Ｋ_Ｇの変化の一例を示している。図１１の上側及び下側の図それぞれの横軸は、入力画像中のｘ方向に沿った画素の位置を示している。また、図１１の上側の図の縦軸は、明るさの強度を示している。また、図１１の下側の図の縦軸は、エッジ強度Ｋ_Ｇを示している。

また、図１１において、参照符号ｎは、オペレータ長を示しており、図１１に示す例では、勾配∇を算出する際のオペレータ長ｎと、分散σ^２を算出する際のオペレータ長ｍとが、ｍ＝ｎの関係を満たすものとする。また、図１１に示す例では、画素の位置ｘ＝０の部分が階段調のエッジの部分に相当し、ｘ＝±１、±２の位置は、位置ｘ＝０の画素を注目画素とした場合の、ｘ方向に沿った周辺画素の一例に相当する。

図１１に示す例では、εフィルタ（即ち、平滑化処理部１１による平滑化処理）のオペレータ長ｎ＝２とした場合には、画素の位置ｘが−２〜＋２の範囲においてHalo現象が発生し得る。そのため、図１１に示す例の場合には、画素の位置ｘが−２〜＋２の範囲において、εフィルタのε値がより低くなるように（例えば、最小となるように）調整されることが望ましい。

そこで、ε値調整部１３５は、図１１の下側の図に示すように、エッジ強度Ｋ_Ｇの閾値ｔｈ_Ｇを設定し、注目画素ごとに算出されたエッジ強度Ｋ_Ｇを当該閾値ｔｈ_Ｇと比較する。そして、ε値調整部１３５は、例えば、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇを超える画素についてはε値を最小値ε_ＭＩＮに設定し、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇ以下の画素についてはε値を最大値ε_ＭＡＸに設定する。

例えば、図１２は、ε値調整部１３５がエッジ強度Ｋ_Ｇに応じてε値を設定する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）ための関数ｆ_ε（Ｋ_Ｇ）の一例を示している。

ここで、比較のために、図１３に、ε値調整部１３５がエッジ強度Ｋ_Ｇ−ε値変換を行うための関数ｆ_ε（Ｋ_Ｇ）の他の一例について示す。図１３に示す例は、比較例として前述した照明光生成部１０’のε値調整部１９３と同様の方法（図２参照）で、エッジ強度Ｋ_Ｇ−ε値変換を行う場合の関数ｆ_ε（Ｋ_Ｇ）の一例に相当する。

図１３に示すように、比較例に係るε値調整部１９３では、ε値の最大値ε_ＭＡＸと最小値ε_ＭＩＮとの間を、閾値ｔｈ_Ｇ１とｔｈ_Ｇ２とで区分される範囲において線型変調している。これは、比較例に係るε値調整部１９３が、階段調のエッジと模様調のエッジとを判別することが困難であるため、階段調のエッジと模様調のエッジと判別せずに一様にエッジ強度Ｋ_Ｇによりε値を制御せざるを得ないことによる。

このような特性から、比較例に係るε値調整部１９３に依れば、例えば、エッジ強度の強い模様調のエッジは平滑化されずに保持され、エッジ強度の弱い階段調のエッジについては平滑化されて保持されないといった結果も出力され得る。また、比較例に係るε値調整部１９３に依れば、例えば、図１１においてｘ＝±１、±２の位置で示されたエッジ強度が中程度から比較的低い画素では、若干ではあるものの平滑化処理が施される。そのため、当該画素において、エッジが保持される度合いが低くなり、当該画素付近に、平滑化処理に伴う弱いHalo現象が発生する場合がある。

これに対して、本実施形態に係るε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づき算出されたエッジ強度Ｋ_Ｇに応じてε値を調整する。このエッジ強度Ｋ_Ｇは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、ε値調整部１３５は、図１２に示すような閾値ｔｈ_Ｇに基づく閾値処理により、エッジ強度Ｋ_Ｇ−ε値変換を行うことが可能となる。

また、前述したエッジ強度Ｋ_Ｇの特性から、本実施形態に係るε値調整部１３５では、閾値ｔｈ_Ｇを比較的低い値（少なくとも、図１３に示す閾値ｔｈ_Ｇ２よりも低い値）に設定することが可能である。そのため、本実施形態に係るε値調整部１３５に依れば、例えば、図１１においてｘ＝±１、±２の位置で示されたエッジ強度が中程度から比較的低い画素においてもエッジを保持することが可能となる。

なお、図１２に示す関数ｆ_ε（Ｋ_Ｇ）はあくまで一例であり、本実施形態に係るε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づき算出されたエッジ強度Ｋ_Ｇに対して、図１３に示すような関数ｆ_ε（Ｋ_Ｇ）を適用してもよいことは言うまでもない。また、他の一例として、ε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づき算出されたエッジ強度Ｋ_Ｇに対して、図１４に示すような関数ｆ_ε（Ｋ_Ｇ）を適用することで、エッジ強度Ｋ_Ｇ−ε値変換を行ってもよい。図１４は、ε値調整部１３５がエッジ強度Ｋ_Ｇに応じてε値を設定する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）ための関数ｆ_ε（Ｋ_Ｇ）の他の一例を示している。

以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。

なお、以降の処理については、前述した比較例に係る照明光生成部１０’と同様である。即ち、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

以上説明したように、本実施形態に係る照明光生成部１０は、注目画素ごとに勾配∇と分散σ^２（換言すると、標準偏差σ）とを算出し、当該勾配∇と分散σ^２との間の乖離度に基づき、階段調強度Ｋ_Ｓを算出する。そして、照明光生成部１０は、当該勾配∇と当該階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに基づきε値を調整する。なお、このエッジ強度Ｋ_Ｇは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、照明光生成部１０は、入力画像中の階段調のエッジと模様調のエッジとを判別し、例えば、階段調のエッジについては平滑化の効果を低めることで保持し、模様調のエッジを含む他の部分については平滑化の効果を高めるように、非線形平滑化処理を施すことが可能となる。なお、本実施形態に係る照明光生成部１０では、注目画素ごとに算出された勾配∇が「第１のパラメタ」の一例に相当し、分散σ^２（または、標準偏差σ）が「第２のパラメタ」の一例に相当する。

以上、図７〜図１４を参照して、本実施形態に係る照明光生成部１０の機能構成の一例について説明した。

［２．３．処理］
次に、図１５を参照して、本実施形態に係る照明光生成部１０の一連の処理の流れの一例について説明する。図１５は、本実施形態に係る照明光生成部１０の一連の処理の流れの一例を示したフローチャートである。

（ステップＳ１０１）
勾配算出部１３１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。なお、勾配算出部１３１は、フィルタオペレータを利用した畳み込み積分により、注目画素ごとの勾配∇を算出してもよい。また、勾配∇については、例えば、前述した（式２）及び（式３）のいずれかに基づき算出することが可能である。そして、勾配算出部１３１は、注目画素ごとに算出した勾配∇を、ε値調整部１３５に出力する。

（ステップＳ１０３）
分散算出部１３３は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度に基づき、分散σ^２を注目画素ごとに算出する。なお、分散σ^２については、例えば、前述した（式８）に基づき算出することが可能である。そして、分散算出部１３３は、注目画素ごとに算出した分散σ^２を、ε値調整部１３５に出力する。

（ステップＳ１０５）
ε値調整部１３５は、勾配算出部１３１から、注目画素ごとに算出された勾配∇を取得する。また、ε値調整部１３５は、分散算出部１３３から、注目画素ごとに算出された分散σ^２を取得する。ε値調整部１３５は、注目画素ごとに取得した勾配∇と標準偏差σとの間の乖離度に基づき階段調強度Ｋ_Ｓを算出する。なお、階段調強度Ｋ_Ｓについては、例えば、前述した（式１０）、（式１２）、及び（式１４）のいずれかに基づき算出することが可能である。

（ステップＳ１０７）
次いで、ε値調整部１３５は、注目画素ごとに、当該注目画素における勾配∇と、当該注目画素について算出した階段調強度Ｋ_Ｓとに基づき、エッジ強度Ｋ_Ｇを算出する。なお、エッジ強度Ｋ_Ｇについては、例えば、前述した（式１６）及び（式１７）のいずれかに基づき算出することが可能である。

（ステップＳ１０９）
注目画素ごとにエッジ強度Ｋ_Ｇを算出したら、ε値調整部１３５は、注目画素ごとに、当該エッジ強度Ｋ_Ｇを所定の閾値ｔｈ_Ｇと比較し、当該比較結果に応じて当該注目画素に対するε値を設定する。具体的な一例として、ε値調整部１３５は、図１２に示した関数ｆ_ε（Ｋ_Ｇ）に基づき、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇを超える画素についてはε値を最小値ε_ＭＩＮに設定し、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇ以下の画素についてはε値を最大値ε_ＭＡＸに設定する。

以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。

そして、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

以上、図１５を参照して、本実施形態に係る照明光生成部１０の一連の処理の流れの一例について説明した。

なお、上述した一連の動作、即ち、入力画像中の注目画素ごとに、勾配∇と分散σ^２との間の乖離度を示す階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに応じて設定されたε値に基づき、当該入力画像に対して平滑化処理を施す方法が、「画像処理方法」の一例に相当する。

また、上述した一連の動作は、照明光生成部１０の各構成を動作させる装置のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、上述した処理を実行する構成が含まれる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、装置の外部から接続される記録媒体にプログラムが格納されていてもよい。この場合には、プログラムが格納された記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。

＜３．変形例＞
次に、本実施形態に係る照明光生成部１０の変形例について説明する。変形例に係る照明光生成部１０は、前述した照明光生成部１０（図７参照）と、ε値制御部の構成が異なる。そこで、本説明では、変形例に係る照明光生成部１０について、特に、前述した照明光生成部１０と異なるε値制御部の構成及び動作に着目して説明する。なお、前述した実施形態に係るε値制御部１３と区別するために、以降では、変形例に係るε値制御部を、「ε値制御部１５」と記載する場合がある。

［３．１．ε値制御部の構成］
まず、図１６を参照して、変形例に係るε値制御部１５の機能構成の一例について説明する。図１６は、変形例に係るε値制御部１５の機能構成の一例を示したブロック図である。

前述した実施形態に係るε値制御部１３（図７参照）では、入力画像中の注目画素ごとに勾配∇と分散σ^２とを算出し、当該勾配∇と分散σ^２との乖離度を示す階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出していた。これに対して、変形例に係るε値制御部１５では、入力画像中の注目画素ごとに、オペレータ長が互いに異なるオペレータに基づき勾配∇_１及び∇_２（即ち、周辺画素として参照される範囲が異なる、換言すれば通過周波数帯域が異なる勾配∇_１及び∇_２）を算出し、当該勾配∇_１及び∇_２の間の乖離度を示す階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出する点で異なる。

具体的には、図１６に示すように、変形例に係るε値制御部１５は、第１勾配算出部１５１と、第２勾配算出部１５３と、ε値調整部１５５とを含む。

第１勾配算出部１５１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇_１を算出するための構成である。同様に、第２の勾配算出部１５３は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇_２を算出するための構成である。

なお、第１勾配算出部１５１及び第２勾配算出部１５３のそれぞれが、勾配を算出する方法については、前述した実施形態に係る勾配算出部１３１（図７参照）と同様である。

また、第１勾配算出部１５１が勾配∇_１を算出するためのオペレータ長をｎ、第２勾配算出部１５３が勾配∇_２を算出するためのオペレータ長をｍとした場合に、当該オペレータ長ｎ及びｍは、ｍ＞ｎとなるように設定されることが望ましい。

より具体的には、勾配∇_１及び∇_２は、（式３）として前述したような平滑化効果を持たせた帯域制限フィルタを適用することで算出されるとよい。また、このとき、勾配∇_２の通過帯域が、勾配∇_１の通過帯域よりも低域側に広く設定されることがより望ましい。なお、勾配∇_１については、（式２）として前述したようなハイパスフィルタを適用することで算出されてもよい。なお、勾配∇_１の通過帯域が、「第１の通過周波数範囲」の一例に相当し、勾配∇_２の通過帯域が、「第２の通過周波数範囲」の一例に相当する。

このような構成により、勾配∇_１及び∇_２のそれぞれが算出されることで、階段調のエッジにおいては、勾配∇_１の絶対値は、勾配∇_２の絶対値に包含される。一方で、模様調のエッジにおいては、勾配∇_１の絶対値は、勾配∇_２の絶対値におおよそ包含されるものの、勾配∇_２については、模様調のエッジのエッジ強度に応じて振幅が激しく変化することとなる。なお、後述するε値調整部１５５は、このような勾配∇_１及び∇_２の特性を利用して、勾配∇_１と勾配∇_２との間の乖離度を示す階段調強度Ｋ_Ｓに基づき、エッジ強度Ｋ_Ｇを算出する。

なお、第１勾配算出部１５１が勾配∇_１を算出するためにオペレータ長ｎのオペレータに基づき、周辺画素が参照される範囲が「第１の範囲」の一例に相当する。また、第２勾配算出部１５３が勾配∇_２を算出するためにオペレータ長ｍ（ｍ＞ｎ）のオペレータに基づき、周辺画素が参照される範囲が「第２の範囲」の一例に相当する。

以上のようにして、第１勾配算出部１５１は、注目画素ごとに勾配∇_１を算出し、算出した勾配∇_１をε値調整部１５５に出力する。同様に、第２勾配算出部１５３は、注目画素ごとに勾配∇_２を算出し、算出した勾配∇_２をε値調整部１５５に出力する。

ε値調整部１５５は、第１勾配算出部１５１から、注目画素ごとに算出された勾配∇_１を取得する。また、ε値調整部１５５は、第２勾配算出部１５３から、注目画素ごとに算出された勾配∇_２を取得する。

ε値調整部１５５は、取得した勾配∇_１と勾配∇_２との乖離度を示す階段調強度Ｋ_Ｓを算出する。例えば、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇_１（ｘ，ｙ）と勾配∇_２（ｘ，ｙ）とに基づき、以下に示す（式１８）に基づき算出される。

なお、上記に示した（式１８）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１９）で表されることとなる。

また、他の一例として、ε値調整部１５５は、勾配∇_１と勾配∇_２との差を乖離度として、当該乖離度に基づき階段調強度Ｋ_Ｓを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇_１（ｘ，ｙ）と勾配∇_２（ｘ，ｙ）とに基づき、以下に示す（式２０）に基づき算出される。

なお、上記に示した（式２０）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式２１）で表されることとなる。

以上のようにして、ε値調整部１５５は、勾配∇_１と勾配∇_２との間の乖離度に基づき階段調強度Ｋ_Ｓを算出する。

なお、以降の処理については、前述した実施形態に係るε値調整部１３５と同様である。即ち、ε値調整部１５５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇_１と、当該注目画素について算出された階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出する。なお、エッジ強度Ｋ_Ｇは、前述した（式１６）及び（式１７）のいずれかに基づき算出することが可能である。

そして、ε値調整部１５５は、注目画素ごとに算出したエッジ強度Ｋ_Ｇを、所定の閾値ｔｈ_Ｇと比較し、比較結果に応じてε値を設定する。なお、ε値調整部１３５がエッジ強度Ｋ_Ｇに応じてε値を設定する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）ための関数ｆ_ε（Ｋ_Ｇ）の一例として、図１２に示す関数ｆ_ε（Ｋ_Ｇ）が挙げられる。もちろん、ε値調整部１５５は、前述した実施形態に係るε値調整部１３５と同様に、エッジ強度Ｋ_Ｇ−ε値変換を行うための関数ｆ_ε（Ｋ_Ｇ）として、図１３に示す関数ｆ_ε（Ｋ_Ｇ）や、図１４に示す関数ｆ_ε（Ｋ_Ｇ）を適用してもよいことは言うまでもない。

以上のようにして、ε値調整部１５５は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。

そして、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

以上説明したように、変形例に係る照明光生成部１０は、注目画素ごとにオペレータ長が互いに異なるオペレータに基づき勾配∇_１及び∇_２を算出することで通過帯域の異なった勾配∇₁及び勾配∇₂を取得し、当該勾配∇_１及び∇_２の間の乖離度に基づき、階段調強度Ｋ_Ｓを算出する。そして、照明光生成部１０は、注目画素ごとに、勾配∇_１と階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに基づきε値を調整する。このような構成により、変形例に係る照明光生成部１０は、入力画像中の階段調のエッジと模様調のエッジとを判別し、例えば、階段調のエッジについては平滑化の効果を低めることで保持し、模様調のエッジを含む他の部分については平滑化の効果を高めるように、非線形平滑化処理を施すことが可能となる。なお、変形例に係る照明光生成部１０では、注目画素ごとに算出された勾配∇_１が「第１のパラメタ」の一例に相当し、勾配∇_２が「第２のパラメタ」の一例に相当する。

以上、図１６を参照して、変形例に係るε値制御部１５の機能構成の一例について説明した。

［３．２．処理］
次に、図１７を参照して、変形例に係る照明光生成部１０の一連の処理の流れの一例について説明する。図１７は、変形例に係る照明光生成部１０の一連の処理の流れの一例を示したフローチャートである。

（ステップＳ３０１）
第１勾配算出部１５１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素を基準として、オペレータ長ｎのオペレータに基づき参照される周辺画素それぞれの明るさの強度に基づき、勾配∇_１を注目画素ごとに算出する。なお、勾配∇_１は、（式３）として前述したような平滑化効果を持たせた帯域制限フィルタと、（式２）として前述したようなハイパスフィルタとのうちのいずれかを適用することで算出されるとよい。そして、第１勾配算出部１５１は、注目画素ごとに算出した勾配∇_１を、ε値調整部１５５に出力する。

（ステップＳ３０３）
また、第２勾配算出部１５３は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素を基準として、オペレータ長ｍ（ｍ＞ｎ）のオペレータに基づき参照される周辺画素それぞれの明るさの強度に基づき、勾配∇_２を注目画素ごとに算出する。なお、勾配∇_２は、（式３）として前述したような平滑化効果を持たせた帯域制限フィルタを適用することで算出されるとよい。また、このとき、勾配∇_２の通過帯域が、勾配∇_１の通過帯域よりも低域側に広く設定されることがより望ましい。そして、第２勾配算出部１５３は、注目画素ごとに算出した勾配∇_２を、ε値調整部１５５に出力する。

（ステップＳ３０５）
ε値調整部１５５は、第１勾配算出部１５１から、注目画素ごとに算出された勾配∇_１を取得する。また、ε値調整部１５５は、第２勾配算出部１５３から、注目画素ごとに算出された勾配∇_２を取得する。ε値調整部１５５は、取得した勾配∇_１と勾配∇_２との乖離度を示す階段調強度Ｋ_Ｓを算出する。なお、階段調強度Ｋ_Ｓについては、例えば、前述した（式１８）及び（式２０）のいずれかに基づき算出することが可能である。

（ステップＳ３０７）
次いで、ε値調整部１５５は、注目画素ごとに、当該注目画素における勾配∇_１と、当該注目画素について算出された階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出する。なお、エッジ強度Ｋ_Ｇは、例えば、前述した（式１６）及び（式１７）のいずれかに基づき算出することが可能である。

（ステップＳ３０９）
注目画素ごとにエッジ強度Ｋ_Ｇを算出したら、ε値調整部１５５は、注目画素ごとに、当該エッジ強度Ｋ_Ｇを所定の閾値ｔｈ_Ｇと比較し、当該比較結果に応じて当該注目画素に対するε値を設定する。具体的な一例として、ε値調整部１５５は、図１２に示した関数ｆ_ε（Ｋ_Ｇ）に基づき、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇを超える画素についてはε値を最小値ε_ＭＩＮに設定し、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇ以下の画素についてはε値を最大値ε_ＭＡＸに設定する。

以上のようにして、ε値調整部１５５は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。

そして、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

以上、図１７を参照して、変形例に係る照明光生成部１０の一連の処理の流れの一例について説明した。

［３．３．まとめ］
以上説明したように、変形例に係る照明光生成部１０は、注目画素ごとに、オペレータ長が互いに異なるオペレータに基づき勾配∇_１及び∇_２を算出することで通過帯域の異なった勾配∇₁及び勾配∇₂を取得し、当該勾配∇_１及び∇_２の間の乖離度に基づき、階段調強度Ｋ_Ｓを算出する。そして、照明光生成部１０は、当該勾配∇_１と当該階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに基づきε値を調整する。このような構成により、変形例に係る照明光生成部１０は、入力画像中の階段調のエッジと模様調のエッジとを判別し、例えば、階段調のエッジについては平滑化の効果を低めることで保持し、模様調のエッジを含む他の部分については平滑化の効果を高めるように、非線形平滑化処理を施すことが可能となる。

なお、勾配∇_２は、勾配∇_１との間で相関関係を持って変動するが、分散値σ^２ほど安定した値とならない傾向にある。そのため、変形例に係る照明光生成部１０によるε値の制御に基づく平滑化処理は、前述した実施形態に係る照明光生成部１０によるε値の制御に基づく平滑化処理に比べて、模様調のエッジのエッジ強度を抑制する効果が薄い傾向にある。

しかしながら、分散σ^２の算出に係る処理に比べて、勾配∇の算出に係る処理の方が、処理時間が短く、回路化のコストも低い傾向にある。即ち、変形例に係る照明光生成部１０は、前述した実施形態に係る照明光生成部１０に比べて、照明光成分Ｌの生成に係る処理時間を短縮し、生産コストをより低減することが可能となる。

＜４．まとめ＞
以上、本実施形態に係る画像処理装置１について詳細に説明した。上記に説明したように、本実施形態に係る画像処理装置１において、照明光生成部１０は、注目画素ごとに勾配∇と分散σ^２（換言すると、標準偏差σ）とを算出し、当該勾配∇と分散σ^２との間の乖離度に基づき、階段調強度Ｋ_Ｓを算出する。そして、照明光生成部１０は、当該勾配∇と当該階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに基づきε値を調整する。なお、このエッジ強度Ｋ_Ｇは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、本実施形態に係る照明光生成部１０は、入力画像中の階段調のエッジと模様調のエッジとを判別し、例えば、階段調のエッジについては平滑化の効果を低めることで保持し、模様調のエッジを含む他の部分については平滑化の効果を高めるように、非線形平滑化処理を施すことが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理装置
１０ 照明光生成部
１１ 平滑化処理部
１３ ε値制御部
１３１ 勾配算出部
１３３ 分散算出部
１３５ ε値調整部
１５ ε値制御部
１５１ 第１勾配算出部
１５３ 第２勾配算出部
１５５ ε値調整部
３０ 除算部
５０ 照明光変調部
７０ 積算部

Claims (15)

1. 画像データを取得する取得部と、
   取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出する解析部と、
   算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施す平滑化処理部と、
   を備えることを特徴とする、画像処理装置。
2. 前記解析部は、
   前記第２のパラメタとして前記分散を算出し、
   前記第１のパラメタを∇、当該第２のパラメタをσ^２、補正係数をｋとした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出することを特徴とする、請求項１に記載の画像処理装置。
   

   
3. 前記解析部は、
   前記第２のパラメタとして前記分散に基づく標準偏差を算出し、
   前記第１のパラメタを∇、当該第２のパラメタをσ、補正係数をｋとした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出することを特徴とする、請求項１に記載の画像処理装置。
   

   
4. 前記解析部は、
   前記第２のパラメタとして前記分散を算出し、
   前記第１のパラメタを∇、当該第２のパラメタをσ^２、前記第１のパラメタに対する補正係数をｋ_∇、当該分散に対する補正係数をｋ_σとした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出することを特徴とする、請求項１に記載の画像処理装置。
   

   
5. 前記解析部は、前記分散を、前記注目画素と、前記第１の範囲よりもより広い範囲に含まれる周辺画素とに基づき算出する、請求項２〜４のいずれか一項に記載の画像処理装置。
6. 前記解析部は、第１の通過周波数範囲を有する帯域制限フィルタを適用することで前記第１の勾配を算出し、前記第１の通過周波数範囲よりもより低域側に広い第２の通過周波数範囲を有する帯域制限フィルタを適用することで前記第２の勾配を算出する、請求項１に記載の画像処理装置。
7. 前記解析部は、
   前記第２のパラメタとして前記第２の勾配を算出し、
   前記第１のパラメタを∇_１、当該第２のパラメタを∇_２とした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出することを特徴とする、請求項１または６に記載の画像処理装置。
   

   
8. 前記解析部は、
   前記第２のパラメタとして前記第２の勾配を算出し、
   前記第１のパラメタを∇_１、当該第２のパラメタを∇_２とした場合に、前記階段調強度Ｋ_Ｓを、以下に示す計算式に基づき算出することを特徴とする、請求項１または６に記載の画像処理装置。
   

   
9. 前記解析部は、前記第１のパラメタの絶対値と、前記階段調強度とを乗算することで、前記エッジ強度を算出する、請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記解析部は、前記第１のパラメタの二乗と、前記階段調強度とを乗算することで、前記エッジ強度を算出する、請求項１〜８のいずれか一項に記載の画像処理装置。
11. 前記平滑化処理部は、算出された前記エッジ強度に基づきε値を決定し、当該ε値に応じた適応型εフィルタに基づき、前記非線形平滑化処理を施すことを特徴とする、請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記平滑化処理部は、算出された前記エッジ強度と所定の閾値との比較結果に基づき、前記ε値を決定することを特徴とする、請求項１１に記載の画像処理装置。
13. 前記平滑化処理部は、算出された前記エッジ強度が前記閾値を超える場合には、前記ε値を最小値とし、前記エッジ強度が前記閾値以下の場合には、前記ε値を最大値とすることを特徴とする、請求項１２に記載の画像処理装置。
14. 画像データを取得することと、
    取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出することと、
    算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施すことと、
    を含むことを特徴とする、画像処理方法。
15. コンピュータに、
    画像データを取得することと、
    取得された前記画像データ中の注目画素を基準とした第１の範囲に含まれる周辺画素それぞれの画素値に基づく第１の勾配を示す第１のパラメタと、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散、及び、前記第１の範囲よりもより広い第２の範囲に含まれる周辺画素それぞれの前記画素値に基づく第２の勾配のいずれかに基づく第２のパラメタとの間の乖離度を示す階段調強度に基づきエッジ強度を算出することと、
    算出されたエッジ強度に基づき、前記注目画素と前記第１の範囲に含まれる前記周辺画素とのそれぞれの前記画素値に対して、非線形平滑化処理を施すことと、
    を実行させる、プログラム。

Images