JP2009038504A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】局所コントラスト成分の伸張を図ることにより、コントラスト成分の伸張度合を均一かつより明瞭に見えるようにする。
【解決手段】画像処理装置２０は、入力画像データａを平滑化処理して平滑化処理データを得る平滑化フィルタ処理装置２２と、入力画像データａを平滑化処理データで割算して局所コントラスト成分ｃを得る割算手段２３と、局所コントラスト成分ｃを伸張して伸張後局所コントラスト成分ｅを生成するコントラスト成分処理手段２５と、平滑化処理データを伸張して伸張後全体明るさ成分を生成する全体明るさ成分処理手段２４と、伸張後局所コントラスト成分ｅと伸張後全体明るさ成分ｄを合成する合成手段２６とを備える。局所コントラスト成分処理手段２５は、局所コントラスト成分ｃから所要のコントラスト基準値を引き算し、所要のコントラスト係数を掛け算すると共に、所要のコントラスト基準値を加算して伸張後局所コントラスト成分ｅを生成する。
【選択図】 図１

Description

この発明は、画像処理技術に係るもので、特にコントラストを強調させるための改善した画像処理装置および画像処理方法に関するものである。

従来の画像処理装置は、その画像処理方法の一つであるコントラスト伸張処理の手法として「Ｒｅｔｉｎｅｘ」を採用したものがある。この「Ｒｅｔｉｎｅｘ」の手法は、入力画像データを局所コントラスト成分と全体明るさ成分に分離し、各々の信号に対して伸張を行なった後で、両者を合成することで、オリジナルの画像と比べてコントラストを強調したり明るさを変えることができるようになっている。

従来の画像処理装置、図８に示すように、画像オリジナルイメージを画像処理装置１の平滑化フィルタ処理装置２により局所コントラスト成分と全体明るさ成分のレベル変換処理を行なった後、局所コントラスト成分と合成するようになっている。

この「Ｒｅｔｉｎｅｘ」の手法による入力画像データの全体明るさ成分は、入力画像データを平滑化フィルタ処理をかけることにより求めることができる。

全体明るさ処理手段３は、全体明るさ成分に対して伸張処理、例えば非線形処理を行なうことで暗い部分の輝度を上げることができるようになっている。局所コントラスト成分は、入力画像データを全体明るさ成分で除算することで求めることができる。局所コントラスト成分は、図９に示すように、通常１付近（Ｙ軸）に各画素ｇのコントラストに応じて分散分布する（例えば、非特許文献１参照）。

このように、従来の画像処理装置における局所コントラスト成分は、入力画像データの明るさを平準化した全体明るさ成分で除すことで求めるため、通常は１を中心とした分布を持つことになる。
映像情報メディア学会誌Ｖｏｌ．５６，Ｎｏ．３，ｐｐ．４６９〜４７５（２００２）の「広ダイナミックレンジカメラ用階調変換処理の開発」

従来の画像処理装置において、局所コントラスト成分を単純に倍数化すると、図１０に示すように、輝度レベルの所要基準を１とすると、１以下の局所コントラスト成分のレベルが１以上になってしまうことがある。

通常、所要基準は、入力画像データの平均値を平滑化した後の画像データの平均値で割って得られた値を、例えばＡとすると、局所コントラスト成分は、Ａを中心とした分布を示す。このＡは、通常の所要基準として、例えば「１」が用いられる。

このような処理が施されると、全体明るさ成分と合成した画像のコントラストは大きくなるが、画面全体の輝度も明るくなってしまう。

通常は、局所コントラスト成分を伸張処理することでコントラストを強調することができるが、局所コントラスト成分を単純に倍数化すると、局所コントラスト成分は大きな値にシフトし、Ａ以下の局所コントラスト成分がＡ以上の値を持つ場合がある。この処理後局所コントラスト成分と処理後全体明るさ成分とを合成すると、例えば図１０に示すように、処理前の画素群ｈのコントラストレベルから処理後の画素群ｈ´のコントラストレベルは強調されるが、画面全体の輝度も明るくなる。

本発明は、以上の点に鑑みてなされたもので、局所コントラスト成分の伸張を図ることにより、コントラスト成分の伸張度合を均一かつより明瞭に見えるようにすることができる画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、入力画像データを平滑化処理して平滑化処理データを得る平滑化フィルタ処理装置と、前記入力画像データを前記平滑化処理データで割算して局所コントラスト成分を得る割算手段と、前記局所コントラスト成分を伸張して伸張後局所コントラスト成分を生成するコントラスト成分処理手段と、前記平滑化処理データを伸張して伸張後全体明るさ成分を生成する全体明るさ成分処理手段と、前記伸張後局所コントラスト成分と前記伸張後全体明るさ成分を合成する合成手段とを備え、前記局所コントラスト成分処理手段は、前記後局所コントラスト成分から所要のコントラスト基準値を引き算し、所要のコントラスト係数を掛け算すると共に、前記所要のコントラスト基準値を加算して伸張後局所コントラスト成分を生成することを特徴とする画像処理装置を提供する。

上記目的を達成するために、本発明によれば、入力画像データを平滑化処理して平滑化処理データを得るステップと、前記入力画像データを前記平滑化処理データで割算して局所コントラスト成分を得るステップと、前記局所コントラスト成分を伸張して伸張後局所コントラスト成分を生成するステップと、前記平滑化処理データを伸張して伸張後全体明るさ成分を生成するステップと、前記伸張後局所コントラスト成分と前記伸張後全体明るさ成分を合成するステップと、前記伸張後局所コントラスト成分を生成するステップは、前記伸張後局所コントラスト成分から所要のコントラスト基準値を引き算し、所要のコントラスト係数を掛け算すると共に、前記所要のコントラスト基準値を加算して伸張後局所コントラスト成分を生成するステップを含むことを特徴とする画像処理方法を提供する。

本発明によれば、局所コントラスト成分の伸張を図ることにより、コントラスト成分の伸張度合を均一かつより明瞭に見えるようにすることができる画像処理装置および画像処理方法を提供することができる。

［第１の実施形態］
図１は、本発明の画像処理装置の第１の実施形態の概要を示すブロック図である。図２は、図１の画像処理装置により得られた局所コントラスト成分の分布を示すグラフである。

図１に示す画像処理装置２０は、画像データの入力端末２１からの入力画像データａを平滑化処理する平滑化フィルタ処理装置２２と、入力画像データａを平滑化処理して全体の明るさ成分ｂを持つ画像データｂにより入力画像データａを割算して局所コントラスト成分ｃを生成する割算手段２３と、全体の明るさ成分ｂを伸張して新たな明度を持つ伸張後全体明るさ成分ｄを生成する全体明るさ成分処理手段２４と、局所コントラスト成分ｃを伸張して新たなコントラスト成分を含む伸張後局所コントラスト成分ｅを生成する局所コントラスト成分処理手段２５と、伸張後全体明るさ成分ｄおよび伸張後局所コントラスト成分ｅを掛け算して所望のコントラスト成分を含む出力画像データｆを生成する掛け算手段２６とを備える。

平滑化フィルタ処理装置２２は、入力画像から輝度成分を高精度に抽出するために、基本的には、大振幅の急峻なエッジを保った極狭帯域にする照明光抽出処理がなされることにより、全体明るさ成分ｂが得られる。

割算手段２３は、入力画像データａを全体明るさ成分ｂで除することにより局所コントラスト成分ｃを得ることができる。この局所コントラスト成分ｃは、例えば図２に示すように、縦軸にコントラスト成分全体の平均値を、例えば「１」と仮定して、コントラストの明るい側で、例えば「１．０５」として更に明るく、また、暗い側で、例えば「０．９６」として暗くなるように縦軸に伸張して表すことで、前記縦軸「１」を中心に明暗を強調した画素群ｑの２次元分布に表すことができる。

全体明るさ成分処理手段２４は、全体明るさ成分ｂの各画素を伸張した伸張後全体明るさ成分ｄを生成するものである。すなわちこの伸張後全体明るさ成分ｄは、全体明るさ成分処理手段２４による例えば非線形処理による伸張処理により、高精度に抽出された照明成分から反射率成分を分離して得られた照明成分に圧縮処理が施され、反射率成分と再合成することにより、画像の濃淡の差が大きいより明瞭な画像が得られる。

局所コントラスト成分処理手段２５は、図１に示すように、割算手段２３側から受信した局所コントラスト成分ｃを、図３に示す局所コントラスト成分処理手段２５における局所コントラスト成分伸張方法により画像伸張することにより、伸張後局所コントラスト成分ｅが生成されるようになっている。これは、局所コントラスト成分ｃを、局所コントラスト成分処理手段２５により非線形処理を施したままであると、処理後の局所コントラスト成分は、伸張度合いが不均一なものとなるために前記の局所コントラスト成分伸張方法を採用している。

この局所コントラスト成分伸張方法の具体的処理方法について、図３を参照して説明する。

図３は、図１の画像処理装置における局所コントラスト成分処理手段２５の局所コントラスト成分演算手段２５ａの一例を説明する図である。図３に示す局所コントラスト成分演算手段２５ａによる局所コントラスト成分伸張方法について説明する。

局所コントラスト成分演算手段２５ａには、コントラスト成分伸張のために演算処理をなさしめるための演算プログラムｐ１を備えている。

この局所コントラスト成分演算手段２５ａは、演算プログラムｐ１を起動させ、このプログラムｐ１の処理手順に沿って処理がなされ、入力される局所コントラスト成分ｃを所要のレベルに伸張処理する。この局所コントラスト成分演算手段２５ａに搭載した演算プログラムｐ１は、図３に示すように局所コントラスト成分ｃの輝度レベルから所定の輝度レベル（例えば１とする）を引き算したものに所要の係数を乗算し、これに前記の１を再び加算処理されて伸張後局所コントラスト成分ｅが生成される。

掛け算手段２６は、伸張後全体明るさ成分ｄおよび伸張後局所コントラスト成分ｅを乗算することにより、コントラスト成分が強調されつつ、画面全体の輝度も所要のレベルに保持させることができる。

次に、画像処理装置２０の作用を図４を参照して説明する。

入力画像データａを平滑化フィルタ処理装置２２で平滑化処理して平滑化処理データを得るステップ＜ステップ１（ｓｔ１）＞と、入力画像データａを割算手段２３により平滑化処理データで割算して局所コントラスト成分ｃを得るステップ＜ステップ２（ｓｔ２）＞と、局所コントラスト成分ｃを、局所コントラスト成分処理手段２５の局所コントラスト成分演算手段２５ａの掛け演算プログラムｐ１で演算処理して新たなコントラスト成分を含む伸張後局所コントラスト成分ｅを生成する。なお、この伸張後局所コントラスト成分ｅの生成過程で、伸張後局所コントラスト成分ｅから所要のコントラスト基準値を引き算し、所要のコントラスト係数を掛け算すると共に、所要のコントラスト基準値を加算するステップを含む＜ステップ３（ｓｔ３）＞と、前記平滑化処理データを伸張して伸張後全体明るさ成分を生成するステップ＜ステップ４（ｓｔ４）＞と、＜ステップ３（ｓｔ３）＞により得た伸張後局所コントラスト成分ｅと＜ステップ４（ｓｔ４）＞により得た伸張後全体明るさ成分ｄとを乗算（合成）して出力画像データｆを生成するステップ＜ステップ５（ｓｔ５）＞と、を含む。

このように、＜ステップ１（ｓｔ１）＞〜＜ステップ５（ｓｔ５）＞の各ステップを踏むことにより、局所コントラスト成分ｃを伸張するにあたって、コントラスト成分の伸張度合いを均一にし、且つ画面全体を明瞭に見えるコントラスト画像を得ることができる。

［第２の実施形態］
次に、本発明の第２の実施形態である画像処理装置３０について、図５および図６を参照して説明する。

画像処理装置３０は、第１の実施形態における画像処理装置２０の局所コントラスト成分処理手段２５を更に改良した局所コントラスト成分処理手段３１である。画像処理装置３０は、第１の実施形態を示す図１の局所コントラスト成分処理手段２５を、局所コントラスト成分処理手段３１に置き換えた構成である。

図５は、画像処理装置３０の第２の実施形態における局所コントラスト成分処理手段の一例を説明する図である。

画像処理装置３０の局所コントラスト成分処理手段３１のコントラスト成分演算手段３１ａは、図５に示すように、コントラスト成分演算手段３１ａに演算プログラムｐ２およびｐ１を備えている。このプログラムｐ２入力した局所コントラスト成分ｃをプログラムの処理手順に従って演算処理がなされ、図７に示すように、画素群ｒの配列が行なわれる。図７は、図５および図６に示す局所コントラスト成分処理手段３１による局所コントラスト成分伸張方法により生成された伸張後局所コントラスト成分ｅの分布を示すグラフである。

このグラフの縦軸に示す基準値１を中心にして、例えば＋０．０５、−０．０５のライン、すなわち、図７の基準値１．０５のポイントと、−０．９５のポイントの幅内に点在するコントラスト成分を構成する画素群ｒは、矢印（↑，↓）のように＋側または−側の何れかの側に、前記幅以上に伸張される。なお、±０ポイント付近に点在する画素群ｒは伸張されない。

更に、図３に示したプログラムｐ１で演算処理することにより、局所コントラスト成分を均等に伸張させるように演算処理される。この演算処理の結果、新たなコントラスト成分を含む改良された伸張後局所コントラスト成分ｅ１を生成し出力される。

一方、画像処理装置３０の局所コントラスト成分処理手段３１のコントラスト成分演算手段３１ｂを用いることができる。

図６は、画像処理装置３０の第２の実施形態における局所コントラスト成分処理手段の他の例を説明する図である。図６に示すコントラスト成分演算手段３１ｂは、入力した局所コントラスト成分ｃを演算プログラムｐ３の処理手順に従って演算処理することにより、基準値Ａ（コントラスト成分全体を平均したときの値＝Ａ（基準局所コントラスト成分））を中心にして所定の＋レベル（例えば＋ｘ）より高い場合は、実測値のままのコントラスト成分を用い、−レベル（例えば−ｘ）より低い場合も、実測値のままのコントラスト成分を用いることができるように演算処理する手段である。

その他の構成については、上述した第１の実施例と同様であるので説明を省略する。

次に、図５に示すコントラスト成分演算手段３１ａおよび図６に示すコントラスト成分演算手段３１ｂの具体的作用について説明する。

局所コントラスト成分処理手段３１のコントラスト成分演算手段３１ａに入力された局所コントラスト成分ｃは、図５に示すように、局所コントラスト成分ｃの輝度レベルから所定の輝度レベル（例えば１とする）を引き算したものが、所要の輝度基準値レベルである、例えば０．０５（＝ｘ）としたときは、この＋０．０５の範囲の輝度レベルのものは、１を＋した合計１．０５の輝度レベルに合わせられる。また、逆に、基準値が−０．０５の範囲の輝度レベルのものは、１を＋した合計０．９５〜１の範囲の輝度レベルのものは全て０．９５の輝度レベルに合わせられる。これによって、メリハリの利いたコントラスト画面が得られる。従って、基準値レベルは、任意に選定して輝度レベルを可変することができる。

次に、局所コントラスト成分処理手段３１のコントラスト成分演算手段３１ｂに入力された局所コントラスト成分ｃは、図１に示すように、割算手段２３側より局所コントラスト成分ｃを局所コントラスト成分処理手段３１が受信することにより、図６に示すように、コントラスト成分演算手段３１ａの有する演算プログラムｐ３によって演算処理される。この演算プログラムｐ３による演算処理は、局所コントラスト成分ｃの輝度レベルから基準値Ａを引き算した値と輝度レベル（＝αとする）と比較して高い場合には、正味の輝度レベルとする（コントラスト成分の伸張を行なわない）ように作用する。

また、局所コントラスト成分ｃが基準値Ａのレベルと同等であれば０とする。すなわち、コントラスト伸張は行なわない。

次に、αが−である場合には、局所コントラスト成分ｃの輝度レベルから基準となる輝度レベルを引き算した値と輝度レベル−αと比較して低い場合には、−αの輝度レベルに合わせるように作用する。そして、局所コントラスト成分ｃに所要の係数を乗算して基準値Ａを加算し、伸張後局所コントラスト成分ｅとして出力する。

従って、本来生成されているところのメリハリの利いた伸張後局所コントラスト成分ｅを得ることができる。これによって、全体的になお一層のメリハリの利いたコントラスト画面が得られる。

なお、上記αについては、その値を任意に選定できるので、所望の輝度レベルに応じて選定し実行することができる。

また、上述した実施形態の画像処理装置２０（３０）によれば、全体明るさ成分処理手段２４および局所コントラスト成分処理手段２５（３１）は、それぞれコントラスト圧縮手段を併用したコントラスト伸張・圧縮手段を用いてもよい。

このコントラスト伸張・圧縮手段を用いた場合には、コントラスト成分の画像の濃淡の差が小さい画像が得られる。このように、画像の濃淡の差が小さい画像を得る場合には、全体の輝度レベルが低下するが、画像全体をイメージ表示する場合等の用途には好適する。

本発明の画像処理装置の第１の実施形態の概要を示すブロック図。 図１の画像処理装置により得られた局所コントラスト成分の分布を示すグラフ。 図１の画像処理装置における局所コントラスト成分処理手段の一例を説明する図。 図１の画像処理装置において出力画像データを得るまでの流れを示すフロー図。 本発明の画像処理装置の第２の実施形態における局所コントラスト成分処理手段の一例を説明する図。 本発明の画像処理装置の第２の実施形態における局所コントラスト成分処理手段の他の例を説明する図。 図５および図６に示す局所コントラスト成分処理手段による局所コントラスト成分伸張方法により生成された伸張後局所コントラスト成分の分布を示すグラフ。 従来の画像処理装置を示すブロック図。 図８の画像処理装置における局所コントラスト成分伸張方法により生成された局所コントラスト成分の分布を示すグラフ。 図８の画像処理装置における局所コントラスト成分と、伸張後局所コントラスト成分とを比較して示すグラフ。

符号の説明

２０，３０ 画像処理装置
２１ 入力端末
２２ 平滑化フィルタ処理装置
２３ 割算手段
２４ 全体明るさ成分処理手段
２４ａ 明るさ成分演算手段
２５，３１ 局所コントラスト成分処理手段
２５ａ，３１ａ 局所コントラスト成分演算手段
２６ 掛け算手段
ａ 入力画像データ
ｂ 全体明るさ成分
ｃ 局所コントラスト成分
ｄ 伸張後全体明るさ成分
ｅ 伸張後局所コントラスト成分
ｆ 出力画像データ
ｐ１，ｐ２，ｐ３ 演算プログラム

Claims (3)

1. 入力画像データを平滑化処理して平滑化処理データを得る平滑化フィルタ処理装置と、
   前記入力画像データを前記平滑化処理データで割算して局所コントラスト成分を得る割算手段と、
   前記局所コントラスト成分を伸張して伸張後局所コントラスト成分を生成するコントラスト成分処理手段と、
   前記平滑化処理データを伸張して伸張後全体明るさ成分を生成する全体明るさ成分処理手段と、
   前記伸張後局所コントラスト成分と前記伸張後全体明るさ成分を合成する合成手段とを備え、
   前記局所コントラスト成分処理手段は、前記後局所コントラスト成分から所要のコントラスト基準値を引き算し、所要のコントラスト係数を掛け算すると共に、前記所要のコントラスト基準値を加算して伸張後局所コントラスト成分を生成することを特徴とする画像処理装置。
2. 前記局所コントラスト成分処理手段は、入力した局所コントラスト成分を、前記基準値を中心にして所定の＋、−の幅内に点在するコントラスト成分を、それぞれ＋側および−側の前記幅以上に伸張させるようにしたことを特徴とする請求項１記載の画像処理装置。
3. 入力画像データを平滑化処理して平滑化処理データを得るステップと、
   前記入力画像データを前記平滑化処理データで割算して局所コントラスト成分を得るステップと、
   前記局所コントラスト成分を伸張して伸張後局所コントラスト成分を生成するステップと、
   前記平滑化処理データを伸張して伸張後全体明るさ成分を生成するステップと、
   前記伸張後局所コントラスト成分と前記伸張後全体明るさ成分を合成するステップと、
   前記伸張後局所コントラスト成分を生成するステップは、前記伸張後局所コントラスト成分から所要のコントラスト基準値を引き算し、所要のコントラスト係数を掛け算すると共に、前記所要のコントラスト基準値を加算して伸張後局所コントラスト成分を生成するステップを含むことを特徴とする画像処理方法。

Images