JP2009065374A

JP2009065374A - 画像処理装置及び画像処理方法

Info

Publication number: JP2009065374A
Application number: JP2007230536A
Authority: JP
Inventors: Masaji Tamura; 正司田村; Narihiro Matoba; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-09-05
Filing date: 2007-09-05
Publication date: 2009-03-26
Anticipated expiration: 2027-09-05
Also published as: JP5025392B2

Abstract

【課題】従来の階調補正は、階調変換ルックアップテーブルを用いて行うが、所定値未満の入力領域では1倍強の増幅で、画像信号中のノイズも増幅される。また、処理対象画素を信号レベルで分離し、低輝度部と高輝度部に別個のローパスフィルタをかけるノイズ抑止法は、低輝度部でノイズ抑圧ため強いローパスフィルタをかけ、暗部被写体での解像度が低下し画像がぼける。
【解決手段】ラインバッファで入力画像信号を複数ライン分保持し、処理対象画素とその周辺の複数画素をラインバッファから取り出してローパスフィルタでフィルタ処理を行い、ラインバッファからの処理対象画素の画像信号値からローパスフィルタの出力値を第一の加算手段で減算し、ローパスフィルタの出力値に対し階調変換を階調変換手段で行い、階調変換後の信号値に第一の加算手段の出力を第二の加算手段で加算する。
【選択図】図１

Description

本発明はディジタルカメラやイメージスキャナなどの画像入力装置や、入力画像を表示あるいは印刷するディスプレイやカラープリンタ等の画像出力装置において、画像入力装置または画像出力装置の特性に応じて画像の階調を補正する画像処理技術に関するものである。

CCD (Charge Coupled Devices)等の撮像素子を備えたディジタルカメラやイメージスキャナなどの画像入力装置や、画像入力装置で入力した画像を表示あるいは印刷するディスプレイやカラープリンタ等の画像出力装置では、撮像あるいは印刷デバイスの特性に応じて画像の階調を補正する画像処理を装置内で行うのが一般的である。こうした画像入出力装置のうち、ディジタルカメラにおいて階調を補正する手順に関して、従来の方法について説明する。

階調を補正する最も平易で一般的な構成としては、図１３に示すような階調変換特性をルックアップテーブルなどに予め定義しておき、画像処理対象である画素（以下、注目画素と称す）の入力値に対して変換後の値を参照出力する処理を行うことで実現できる。しかしながら、この方法を用いた場合、図１３において入力信号がIx未満の輝度領域では、階調変換によって１倍を超える信号増幅が行われるため、画像信号に含まれるノイズも同時に増幅されてしまう問題があった。

また、注目画素値を信号レベル毎のしきい値で分離して、低輝度部に低輝度用のローパスフィルタをかけ、高輝度部に高輝度用のローパスフィルタをかけることで、ノイズを抑えながら階調変換を行う方法が特開平06-113172号公報に提案されている。

しかしながら、画像入出力装置において上記方法により階調変換を行う従来の信号処理は、信号増幅率が大きい低輝度領域ではノイズを抑圧するために強いローパスフィルタをかけるため、暗部の被写体で解像度が低下し画像がぼけるという問題があった。

特開平06-113172号公報

本発明は、かかる問題点を解決するためになされたものであり、暗部の被写体における解像度を低下させずにノイズ増幅を抑えた階調変換を行う画像処理を実現することを目的とする。

本発明に係る画像処理装置は、入力された画像信号を複数ライン分保持するラインバッファ手段と、ラインバッファ手段から処理対象の注目画素とその周辺の画素を含む複数の画像信号を取り出しフィルタ処理を行うローパスフィルタ手段と、ラインバッファ手段からの処理対象注目画素の画像信号値からローパスフィルタ手段の出力値を減算する第一の加算手段と、ローパスフィルタ手段の出力値に対して階調変換を行う階調変換手段と、階調変換後の信号値に第一の加算手段からの出力を加算する第二の加算手段を備える。

本発明に係る画像処理装置によれば、ローパスフィルタ手段で、処理対象の注目画素とその周辺の複数の水平方向及び垂直方向の画素のノイズ除去処理を実施し、ローパスフィルタ処理後のデータに対して階調変換手段で階調変換を行い、注目画素値とローパスフィルタ処理後のノイズ除去された値の差分値を、階調変換手段からの階調変換出力値に加算しているので、従来の階調変換処理におけるノイズの増幅、あるいは低輝度領域での解像度の低下を防止し、ノイズが増幅されることなく高解像度に階調変換処理を実施できる効果がある。

実施の形態１．
以下、本発明の実施の形態１を図について説明する。図１は、本発明の実施の形態１による画像処理装置を示すブロック図である。図１において、１は画像の複数ライン分のデータを保持するラインバッファ手段、２はラインバッファ手段１から供給される複数の水平方向の画素及び複数の垂直方向の画素を用いてノイズ除去を行うローパスフィルタ手段、３はローパスフィルタ処理後のデータに対して階調変換を行う階調変換手段としてのルックアップテーブル、４はラインバッファ手段１から供給されるローパスフィルタ手段２における処理対象の注目画素値とローパスフィルタ手段２によってノイズ除去された値の差分を算出する第一の加算手段、５は第一の加算手段４で算出された処理対象の注目画素とローパスフィルタ処理後の値の差分値をルックアップテーブル３からの階調変換出力値に加算する第二の加算手段である。

以下、図１のブロック図に基づいて画像処理装置の動作を説明する。
例えばローパスフィルタ手段２においてノイズ除去フィルタとして水平３画素、垂直３画素の３タップフィルタを行う場合について説明する。ラインバッファ手段１には３ライン分の画像データが保持されており、中央ラインの処理対象注目画素を中心にした３タップ分の画素データがローパスフィルタ手段２に転送される。ローパスフィルタ手段２におけるタップの内容を図２に示す。図２において、中央の画素Y11が階調変換しようとする処理対象の注目画素に相当する。

ローパスフィルタ手段２では、例えば式（1）に従ってローパスフィルタ処理を行い、出力値Ylpfを算出する。

ローパスフィルタ手段２の出力値Ylpfは、次段の処理に分岐して供給される。すなわち、一方はラインバッファ手段１から供給される注目画素値Y11とローパスフィルタ手段２の出力値Ylpfの差分値を算出する第一の加算手段４に供給され、他方はルックアップテーブル３に供給される。

ルックアップテーブル３からは、ローパスフィルタ手段２の出力値Ylpfに対して階調変換処理を行った出力値LUT(Ylpf)が出力される。また、ルックアップテーブル３からの出力値LUT(Ylpf)は第二の加算手段５に入力され、第一の加算手段４からの出力値Y22-Ylpfと加算され、最終出力Youtが得られる。

以上の処理をまとめると式（2）のように表される。

本実施の形態に記載する階調変換処理を行った場合の信号特性の変化を図３〜図５に示す。図３において、(ａ)は本来はフラットな画素信号に対してランダムノイズが混入している様子を示しており、(ｂ)は(ａ)に示すランダムノイズ混入画素信号に従来の単純な階調補正を適用した結果である。図３(ｂ)から、ノイズが増幅されている様子がわかる。また、図４(ａ)はローパスフィルタ手段２の出力信号Ylpf、(ｂ)はローパスフィルタ手段２の出力信号Ylpfに対してルックアップテーブル３により階調補正を行ったLUT(Ylpf)信号を示し、図５は階調補正後の信号LUT(Ylpf)に対して第一の加算手段４からの出力値Y22-Ylpfを加算した結果、即ち第二の加算手段５の出力信号である。図３(ｂ)と図５から、本実施の形態における画像処理装置により階調補正を行った場合、非線形な階調補正の影響でノイズが増幅されるのを抑制し、階調変換後の信号において変換前と同様のS/Nが得られることがわかる。

以上のように、本実施の形態の画像処理装置によれば、従来はノイズが増幅される、あるいは低輝度領域の解像度が低下する階調変換処理を、ノイズが増幅されることなく高解像度に実施できる効果がある。

実施の形態２．
以下、実施の形態２を図について説明する。図６は、本発明の実施の形態２による画像処理装置を示すブロック図である。図６において、１から５は実施の形態１における図１と同様の構成である。図６においては、乗算手段６を備えている点が図１に示す実施の形態１と異なっている。

次に、実施の形態２における画像処理装置の動作について記述する。
実施の形態２では、処理対象の注目画素信号Y11と、注目画素信号Y11を中心にローパスフィルタ手段２でノイズ除去した信号Ylpfの差分を第一の加算手段４で算出した後、レジスタ等によって外部から与えられる所定の係数αを乗算手段６で乗ずる点が特徴である。実施の形態２における階調補正処理の演算式を式（３）に示す。

以上のように画像処理装置を構成することによって、例えばデジタルカメラで階調補正を行う場合、低感度で撮影したノイズの少ない画像が入力された場合には係数αに大きな値を与えてシャープにエッジを再現し、高感度で撮影したノイジーな画像が入力された場合には係数αに小さい値を与えてノイズ除去を重視した階調補正を行うことが可能になる。

実施の形態３．
以下、実施の形態３を図について説明する。図７は、本発明の実施の形態３による画像処理装置を示したブロック図である。図７において、１及び３から６は実施の形態２における図６と同様の構成である。図７においては、ローパスフィルタ手段２の構成が図６に示す実施の形態２と異なっている。図８は図７におけるローパスフィルタ手段２の内部構成を示した図である。図８において、７は図２の処理対象の注目画素Y11を中心にした３タップの各画素を用いて処理対象の注目画素を通るエッジの有無を検出するエッジ検出フィルタ、８は３タップの各画素を用いるローパスフィルタである。また、図７においては、エッジ検出フィルタ７のエッジ検出結果が乗算手段６に入力される構成になっている点も実施の形態２と異なっている。

次に、本実施の形態における動作について説明する。以下、本実施の形態における特徴的な動作であるローパスフィルタ手段２の動作について最初に説明する。エッジ検出フィルタ７に入力された３タップの各画素に対して、例えばSobelフィルタを適用することで処理対象の注目画素がエッジ上にあるか否かを判定する。Sobelフィルタの係数の例を図９に示す。Sobelフィルタは、図２の各画素値に、図９の同じ座標の係数を乗じて加算した結果が大きい場合に処理対象の注目画素がエッジ上にあり、加算結果が小さいときに処理対象の注目画素がエッジ上にないと判断することができるためエッジ検出が可能である。例えば図９(ａ)のフィルタ係数を乗じた場合は処理対象の注目画素が水平エッジ上にあるか否かを判断でき、(ｂ)のフィルタ係数を乗じた場合は処理対象の注目画素が垂直エッジ上にあるか否かを判断できる。エッジ検出フィルタ７におけるエッジ検出値Edgeを算出する演算式を式（４）に示す。ここで、Kxyは座標(x,y)におけるフィルタ係数である。

例えば、エッジ検出部７で検出された各方向のエッジ強度Edgeのうち最大のものが所定のしきい値THedgeと比較し、これより大きい場合は処理対象の注目画素がエッジ上にあると判定しローパスフィルタ手段２から乗算手段６に対して通常のαを用いた乗算実行を指示する信号（例えば"1"）を送出し、所定のしきい値THedgeより小さければ処理対象の注目画素はエッジ上にないと判定しローパスフィルタ手段２から乗算手段６に対してα=0とした乗算実行を指示する信号（例えば"0"）を送出する。これによって、エッジ領域では式（３）がそのまま実行され、非エッジ領域では式（３）のうちノイズレベルのオフセットを加算する第１項がキャンセルされるためローパスフィルタ値に階調補正を行ったLUT(Ylpf)が最終的に出力されることになる。

本実施の形態では、エッジ領域と非エッジ領域を検出し、領域に応じてエッジのみを強調しノイズをより抑圧した階調補正結果を得られるという効果がある。

実施の形態３では、エッジ検出フィルタ７としてSobelフィルタを用いる場合について説明したが、この限りでなく、ラプラシアンフィルタなど画像中のエッジ情報を抽出できる処理であれば同様の効果を得ることができる。

実施の形態４．
以下、実施の形態４を図について説明する。実施の形態４のブロック構成は実施の形態３と同様に図７である。ただし、ローパスフィルタ手段２の構成が図７に示す実施の形態３と異なっている。実施の形態４のローパスフィルタ手段２の構成を図１０に示す。図１０のローパスフィルタ手段２では、エッジ検出フィルタ７におけるエッジ検出結果がローパスフィルタ８に入力されている点が図８と異なっている。

次に、本実施の形態における動作について説明する。以下、本実施の形態における特徴的な動作であるローパスフィルタ手段２の動作について最初に説明する。エッジ検出フィルタ７では例えば図９のSobelフィルタを用いて処理対象の注目画素Y11がエッジ上にあるか否かと、エッジ上にある場合のエッジ方向を検出する。ローパスフィルタ８では、エッジ検出フィルタ７の検出結果に基づき、例えば図１１に示すローパスフィルタ係数のセットから最適なフィルタ係数を選択してローパスフィルタ処理を実施する。例えば、エッジ検出フィルタ７において検出値が図９(ａ)の最大かつエッジしきい値THedgeを超える場合、処理対象の注目画素は水平エッジ上に存在すると判定し、ローパスフィルタ８では図１１(ａ)の水平解像度を重視したフィルタ係数を選択しローパスフィルタ処理を行う。また、エッジ検出フィルタ７において検出値が図９(ｂ)の最大かつエッジしきい値THedgeを超える場合、処理対象の注目画素は垂直エッジ上に存在すると判定し、ローパスフィルタ８では図１１(ｂ)の垂直解像度を重視したフィルタ係数を選択しローパスフィルタ処理を行う。また、エッジ検出フィルタ７の検出結果の最大値がしきい値THedgeを超えない場合、処理対象の注目画素は非エッジ領域にあると判定し、図１１(ｃ)のノイズ除去重視のフィルタ係数を用いてローパスフィルタをかける。

以上のように画像処理装置を構成することによって、解像度を重視しながらエッジ近傍のノイズを良好に除去しつつ、非エッジ領域には十分なノイズ除去効果を発揮できる効果がある。

実施の形態４では、エッジ検出フィルタ７としてSobelフィルタを用いる場合について説明したが、この限りでなく、ラプラシアンフィルタなど画像中のエッジ情報を抽出できる処理と、処理対象の注目画素の上下画素の差分値と左右画素の差分値を比較するなどして相関方向を検出できる処理を組み合わせるなどして同様の効果を得ることができる。

実施の形態５．
以下、実施の形態５を図について説明する。図１２は、本発明の実施の形態５を示す画像処理装置を示したブロック図である。図１２において、１から５は実施の形態１における図１と同様の構成である。図１２においては、ルックアップテーブルを３ａ、３ｂと２つ備えた点、およびセレクタ９を備えた点が図１と異なっている。ルックアップテーブル３ｂはラインバッファ手段１から出力される処理対象の注目画素に対して、一般的な階調変換を行い、セレクタ９は、このルックアップテーブル３ｂの出力と第二の加算手段５からの出力結果を選択して出力する。
なお、ルックアップテーブル３ｂは第二の階調変換手段として用いられるもので、その階調変換特性は、ルックアップテーブル３ａと同じ特性を有する。

次に、本実施の形態における動作について説明する。以下、本実施の形態における特徴的な動作である２つのルックアップテーブル３ａ及び３ｂとセレクタ９の動作について説明する。図１２における１、２、３ａ、４、５を用いた階調変換方法は実施の形態１で説明した動作と同じである。本実施の形態に特徴的な動作として、ルックアップテーブル３ｂはラインバッファ手段１から出力される処理対象の注目画素Y11に対して、ルックアップテーブル３ａにて規定されている階調変換特性と同じ特性で一般的な階調変換を行い、LUT(Y11)を出力する。また、ルックアップテーブル３ａから実施の形態１と同様に出力値LUT(Ylpf)が出力され、第二の加算手段５からは上記式（２）のYoutが出力される。ここで、階調変換された値として、YoutとLUT(Y11)の２つが得られることになるが、図１３におけるゲイン値が1.0になる点Ixを境界に、セレクタ９を用いていずれか一方の出力値を選択し出力する。セレクタ９における具体的な動作を以下に示す。尚、lxは階調変換特性から予め与えておく。

(i) Y11 > Ix の場合出力値：LUT(Y11)
(ii) Y11≦lx の場合出力値：Yout

以上のように画像処理装置を構成することによって、非線形な階調変換によってノイズが増幅される輝度領域においては、本発明の階調変換装置を用いることで良好にノイズが抑圧された出力を得ることができ、階調変換によってノイズが抑圧される輝度領域においては、一般的な階調変換によってノイズが抑圧された出力を選択的に得られるという効果がある。

上記実施の形態では、lxを予め与えておく構成で説明したがこの限りでなく、階調変換特性を設定したルックアップテーブル３ａ及び３ｂの設定値から自動的に算出する構成にしてもよい。

また、上記実施の形態では、実施の形態１に対応する構成について説明したが、実施の形態２〜実施の形態４の何れの形態にも対応する構成にすることが可能である。何れの形態においても、ラインバッファ手段１からの処理対象の注目画素Y11に対して、一般的な階調変換を行うルックアップテーブル３ｂを備え、ルックアップテーブル３ｂの出力と第二の加算手段５からの出力とを処理対象の注目画素の入力値で選択的に切り替え出力するセレクタ９を備える構成とすればよい。

また、以上の全ての実施の形態では、ローパスフィルタ手段２として３タップの例を示したがこの限りでなく、処理対象の画像サイズやノイズ特性に応じて任意のサイズに設定し、また複数のローパスフィルタを備えて検出されたエッジの周波数帯域などに応じて切り替え使用する構成にしてもよい。

また、実施の形態４及び実施の形態５では、エッジ検出フィルタ７として３タップのSobelフィルタを用いる例を示したがこの限りでなく、任意タップサイズのエッジ検出可能な処理に置き換えることでも同様の効果を得ることができる。

また、以上の全ての実施の形態では、階調変換手段として予め階調変換特性を記述したルックアップテーブル３を用いる構成を示したが、この限りでなく、変換曲線の代表的な点のみを登録し各点間を線形補間などで補間して使用する方法や、変換曲線を多次曲線で定義しておき変換処理時に出力値を演算出力する構成にしてもよい。

本発明の画像処理技術は、ディジタルカメラやイメージスキャナなどの画像入力装置や、入力画像を表示あるいは印刷するディスプレイやカラープリンタ等の画像出力装置に適用可能である。

本発明の実施の形態１による画像処理装置を示すブロック図である。ローパスフィルタ手段におけるタップの内容説明図である。 (ａ)はランダムノイズが混入した原画素信号特性図、(b)は(ａ)の原画素信号を従来方法により階調補正した特性図である。 (ａ)はローパスフィルタの出力信号特性図、(ｂ)はローパスフィルタ出力信号の階調補正後の特性図である。第二の加算器の出力信号特性図である。本発明の実施の形態２による画像処理装置を示すブロック図である。本発明の実施の形態３による画像処理装置を示すブロック図である。実施の形態３によるローパスフィルタ手段の内部構成図である。 Sobelフィルタ係数例の説明図で、(ａ)は注目画素が水平エッジ上にあるか否かを判断する場合、(ｂ)は注目画素が垂直エッジ上にあるか否かを判断する場合の係数例である。実施の形態４によるローパスフィルタ手段の内部構成図である。ローパスフィルタ処理時のフィルタ係数例の説明図で、(ａ)は水平解像度を重視した場合、(ｂ)は垂直解像度を重視した場合、(ｃ)はノイズ除去重視の場合のフィルタ係数例である。本発明の実施の形態５による画像処理装置を示すブロック図である。従来装置のルックアップテーブルに保存される階調変換特性図である。

符号の説明

１；ラインバッファ手段、２；ローパスフィルタ手段、３、３a、３b；ルックアップテーブル、４；第一の加算手段、５；第二の加算手段、６；乗算手段、7；エッジ検出フィルタ、８；ローパスフィルタ、９；セレクタ。

Claims

入力された画像信号を複数ライン分保持するラインバッファ手段と、ラインバッファ手段から処理対象画素およびその周辺画素を含む複数の画像信号を取り出してフィルタ処理を行うローパスフィルタ手段と、ラインバッファ手段からの処理対象画素の画像信号値からローパスフィルタ手段の出力値を減算する第一の加算手段と、ローパスフィルタ手段の出力値に対して階調変換を行う階調変換手段と、階調変換後の信号値に第一の加算手段からの出力を加算する第二の加算手段を備えたことを特徴とする画像処理装置。
第二の加算手段で、階調変換手段による階調変換後の信号値に加算される第一の加算手段の出力信号値に所定の係数を乗算する乗算手段を備えたことを特徴とする請求項１記載の画像処理装置。
ローパスフィルタ手段は、ラインバッファ手段から処理対象画素とその周辺画素を含む複数の画像信号を取り出して、エッジ検出を行うとともにフィルタ処理を行う構成にされ、乗算手段は、第一の加算手段からの出力信号値にローパスフィルタ手段において検出されたエッジ検出値に基づいた係数を乗算する構成にされたことを特徴とする請求項２記載の画像処理装置。
ローパスフィルタ手段は、ラインバッファ手段から処理対象画素とその周辺画素を含む複数の画像信号を取り出しエッジ検出を行うとともに、検出されたエッジ検出値に基づいてフィルタ係数を選択し、フィルタ処理を行う構成にされたことを特徴とする請求項２記載の画像処理装置。
ラインバッファ手段からの処理対象画素に階調変換を行う第二の階調変換手段と、第二の加算手段からの出力信号値と第二の階調変換手段からの信号を入力信号値に応じて切り替え出力可能なセレクタ手段を備えたことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
入力された画像信号を複数ライン分ラインバッファ手段に保持するステップと、ラインバッファ手段から処理対象の画素とその周辺の画素を含む複数の画像信号を取り出しローパスフィルタ処理を行うステップと、ラインバッファ手段から取り出した処理対象画素の画像信号値からローパスフィルタ処理後の出力値を減算する第一の加算ステップと、ローパスフィルタ処理後の出力値に対して階調変換手段を用いて階調変換を行うステップと、階調変換後の信号値に第一の加算ステップからの出力を加算する第二の加算ステップを備えたことを特徴とする画像処理方法。