JP2005130136A - 画像信号処理装置及び画像信号処理方法 - Google Patents

Abstract

【課題】 画像信号からのノイズ成分の除去を、ノイズを残留させたり或いはエッジを鈍らせたりすることなく好適に行うことが可能な画像信号処理装置及び画像信号処理方法を提供する。
【解決手段】 ホワイトバランス係数を用いたホワイトバランス調整処理を各分解色の画像信号に施した後で、エッジ成分をレベルスライスによって除去した後のノイズ成分を各分解色の画像信号から除去する。レベルスライスにおけるしきい値を、ホワイトバランス係数を用いて補正する。
【選択図】 図１

Description

本発明は、画像信号処理装置及び画像信号処理方法に関する。

カメラ撮影した画像信号に施す画像信号処理として、ホワイトバランスを調整する処理がある。

カメラにより撮影された画像は、被写体に照射されている光源の色温度によって青みがかったり赤みがかったりする。そのような撮影条件の場合にホワイトバランスの調整処理を施すと、撮影した画像信号のＲ（赤）信号成分、Ｇ（緑）信号成分、Ｂ（青）信号成分に対してそれぞれ係数が乗算されることにより各色のレベルが補正され、その補正により、照射光の色温度によらず白い色の物体は白く写るようにできる。

具体的には、光源の色温度が低くなった場合、撮影した画像のＲ信号成分が大きくなって赤みがかってしまうので、それを抑えるためにＲ信号成分に乗算される係数はＧ信号成分やＢ信号成分に乗算される係数と比べて小さい値とする。また光源の色温度が高くなった場合、Ｂ信号成分が大きくなって青みがかってしまうので、それを抑えるためにＢ信号成分に乗算される係数はＧ信号成分やＲ信号成分に乗算される係数と比べて小さい値とする。

次に、ホワイトバランスの調整処理を行う従来の画像信号処理装置について具体的に説明する。

図６は従来の画像信号処理装置の一例を示すブロック図である。

図６に示すように、従来の画像信号処理装置５００は、入力端子４４、４５、４６、４７、４８、４９、５０、出力端子５１、５２、５３、色分離回路５４、乗算回路５５、５６、５７、ホワイトバランス係数発生回路５８、ノイズ除去回路５９、６０、６１、γ補正回路６２、６３、６４、マトリックス回路６５を備えている。

入力端子４４には画像信号が入力し、この画像信号は更に色分離回路５４に入力される。

色分離回路５４は、入力した映像信号からＲＧＢ各信号成分を抽出し、抽出したＲＧＢ各信号成分を乗算器５５、５６、５７とホワイトバランス係数発生回路５８に入力する。

ホワイトバランス係数発生回路５８は、入力した画像信号のＲＧＢ各信号成分からホワイトバランス係数を計算してその結果を乗算器５５、５６、５７に出力する。

乗算器５５、５６、５７は、入力される画像信号のＲＧＢ各信号成分とホワイトバランス係数を乗算する。これにより、ホワイトバランスが調整される。また、乗算器５５、５６、５７による乗算後の信号はノイズ除去回路５９、６０、６１に入力される。

また、入力端子４５、４６、４７からはレベルスライス信号が、入力端子４８、４９、５０からはノイズ除去の強度を指定する係数としてのノイズ除去強度指定信号が、それぞれノイズ除去回路５９、６０、６１へと入力される。

ノイズ除去回路５９、６０、６１は、入力されるノイズ除去強度指定信号及びレベルスライス信号を用いて、対応するＲＧＢ各信号成分からノイズ成分を除去する（後述）。

ノイズ除去回路５９、６０、６１の出力はガンマ補正回路６２、６３、６４に入力されてガンマ補正され、ガンマ補正回路６２、６３、６４の出力はマトリックス回路６５のＲＧＢ各入力端子に入力され、ＲＧＢ信号がＹＣｂＣｒ信号に変換され、出力端子５１、５２、５３より出力される。

図７は従来の画像信号処理装置５００のノイズ除去回路５９、６０、６１を示すブロック図である。

図７に示すように、ノイズ除去回路５９（ノイズ除去回路６０、６１も同様）は、入力端子６６、６７、６８、ノイズ成分抽出フィルタ６９、レベルスライス回路７０、乗算器７１、減算器７２、出力端子７３を備えている。

入力端子６６には、画像信号（つまり対応する色の信号成分）が入力される。

入力した画像信号はノイズ成分抽出フィルタ６９に入力され、そこでノイズ成分が抽出され、このノイズ成分はレベルスライス回路７０に入力する。

レベルスライス回路７０は、ノイズ成分に含まれるエッジ成分（画像における輪郭部分の画像成分）をレベルスライスによって除去する。なお、レベルスライス回路７０で行われるレベルスライスにおけるスライスレベルとしては、入力端子６７から入力されるレベルスライス信号のレベルを用いる。

レベルスライス回路７０から出力されるレベルスライス後のノイズ成分は、乗算回路７１に入力され、入力端子６８から入力されるノイズ除去強度指定信号と乗算される。この乗算後のノイズ成分は、減算回路７２に入力される。

減算回路７２は、入力端子６６から入力する画像信号より乗算器７１から入力されるノイズ成分を減算し、ノイズ除去後の画像信号として、出力端子７３から出力する。

次に、図８及び図９を参照して、従来の画像信号処理装置５００の動作について説明する。

図８は画像信号処理装置５００の動作を示すタイムチャートである。

先ず、入力端子４４から撮像デバイスの光学フィルタ画素の並び順（フィルタパターンの順）に信号が入力し、色分離回路５４においてＲ信号成分Ｓ１２（図８（ａ））、Ｇ信号成分Ｓ１３（図８（ｂ））、Ｂ信号成分Ｓ１４（図８（ｃ））に分離される。

ここでは一面白い物体を青みを帯びた投射光で撮影したと仮定する。青みを帯びた光で白いものを撮影したのでＲ信号成分Ｓ１２はＧ信号成分Ｓ１３、Ｂ信号成分Ｓ１４に対してレベルが低くなる。具体的には、例えば、Ｒ信号成分Ｓ１２の信号レベルがＧ信号成分Ｓ１３、Ｂ信号成分Ｓ１４の１／４であるとする。

各信号成分Ｓ１２、Ｓ１３、Ｓ１４はホワイトバランス係数発生回路５８に入力され、これら各信号成分Ｓ１２、Ｓ１３、Ｓ１４のレベルに応じて各色毎のホワイトバランス係数が計算される。この場合、Ｒ信号成分Ｓ１２がＧ信号成分Ｓ１３、Ｂ信号成分Ｓ１４に対してレベルが１／４であるので、Ｒ信号成分Ｓ１２に対する係数が、他の２色の信号成分Ｓ１３、Ｓ１４に対する係数の４倍の値として演算される。

これら演算された各色毎のホワイトバランス係数が、乗算回路５５、５６、５７にてそれぞれＲ信号成分Ｓ１２、Ｇ信号成分Ｓ１３、Ｂ信号成分Ｓ１４と乗算される。これにより、各色信号成分はそれぞれホワイトバランス調整処理がなされて、Ｒ信号成分はＳ１５（図８（ｄ））、Ｇ信号成分はＳ１６（図８（ｅ））、Ｂ信号成分はＳ１７（図８（ｆ））となる。

ここで、図８（ｄ）に示すように、Ｒ信号成分Ｓ１５は、他の２色の４倍のホワイトバランス係数で増幅されているので、信号に含まれるノイズ成分も大きくなっている。

これら信号成分Ｓ１５、Ｓ１６、Ｓ１７は、それぞれ対応するノイズ除去回路５９、６０、６１に入力され、ノイズ除去された信号Ｓ３４（図８（ｇ））、Ｓ３５（図８（ｈ））、Ｓ３６（図８（ｉ））となり、ガンマ補正回路６２、６３、６４に入力してガンマ補正され、マトリックス回路６５に入力し、ＹＣｂＣｒ信号に変換される。

次に、ノイズ除去回路５９、６０、６１の動作を説明する。

図９は図７のノイズ除去回路の動作を示すタイムチャートである。

ここでは、代表してノイズ除去回路６１の動作を説明する。

ノイズ除去回路６１の入力端子６６には、図９（ａ）（図８（ｄ）と同じ）のＲ信号成分Ｓ１５が入力され、このＲ信号成分Ｓ１５は、更にノイズ成分抽出フィルター６９に入力される。

ノイズ成分抽出フィルター６９では、Ｒ信号成分Ｓ１５からノイズ成分、すなわち図９（ｂ）の信号Ｓ１８を抽出する。この信号Ｓ１８は、レベルスライス回路７０に入力される。

レベルスライス回路７０には、他に、入力端子６７から入力するレベルスライス信号が入力される。

レベルスライス回路７０では、ノイズ成分である信号Ｓ１８が、レベルスライス信号のスライスレベルＳ１９によりレベルスライスされる。

すなわち、レベルスライス回路７０は、信号Ｓ１８がスライスレベルＳ１９のレベルであるＳ１９を越えるとＳ１９とし、−Ｓ１９を下回ると−Ｓ１９とするようにレベルスライスする。つまり、信号Ｓ１８は、Ｓ１９を越えるレベル並びに−Ｓ１９を下回るレベルが削除される。

この結果、レベルスライス後のノイズ成分は、図９（ｃ）に示す信号Ｓ２０となる。

信号Ｓ２０は、入力端子６８から入力したノイズ除去強度指定信号と乗算器７１で乗算され、入力端子６６から入力した画像信号であるＲ信号成分Ｓ１５から減算器７２で減算され、ノイズ除去されたＲ信号成分Ｓ２１（図９（ｄ））として出力端子７３から出力される。

なお、ノイズ除去及びホワイトバランス調整処理を行う他の技術としては、例えば、特許文献１の技術がある。
特開２００３−４７０２１号公報（図１）

ところで、上記のようなホワイトバランス処理によって信号成分を調整すると、ホワイトバランス係数が大きい場合はノイズ成分まで強調されてしまう。

しかし、図９（ｂ）→図９（ｃ）の処理のように、ホワイトバランス係数が大きい色のノイズ成分に対しても他の色と同じスライスレベルでレベルスライスを行うと、レベルスライス回路７０を通過することによりノイズ成分は大幅に低減する。このため、レベルスライス回路７０を通過後のノイズ成分を減算回路７２にて画像信号から除去しても、適正なノイズ除去ができない。このため、ノイズ除去後の画像信号は、図９（ｄ）に示すように、多くのノイズ成分を含んだままとなってしまうという問題がある。

逆に、ホワイトバランス係数が小さい場合には、ノイズ成分が減衰しているが、取り除きたいエッジ成分も減衰している。これを一定の（他の色と同じ）スライスレベルでレベルスライスを行うと、レベルスライス回路７０はエッジ成分まで通してしまう。その結果、減算回路７２では、エッジ成分までも画像信号から減算することになるため画像のエッジを鈍らせてしまう。

なお、特許文献１の技術では、ホワイトバランス係数をホワイトバランスの調整処理以外にも用いるが、この技術は、輝度信号のＳ／Ｎ劣化を抑制する技術に過ぎず、やはり上記と同様の問題を解決できない。

本発明は、上記のような問題点を解決するためになされたもので、画像信号からのノイズ成分の除去を、ノイズを残留させたり或いはエッジを鈍らせたりすることなく好適に行うことが可能な画像信号処理装置及び画像信号処理方法を提供することを目的とする。

上記課題を解決するため、本発明の画像信号処理装置は、ホワイトバランス係数を用いたホワイトバランス調整処理を各分解色の画像信号に施した後で、エッジ成分をレベルスライスによって除去した後のノイズ成分を各分解色の画像信号から除去するように構成された画像信号処理装置において、前記レベルスライスにおけるしきい値を、前記ホワイトバランス係数を用いて補正するように構成されていることを特徴としている。

本発明の画像信号処理装置においては、入力される各分解色の画像信号のレベル比に基づいて、ホワイトバランス調整処理に用いられるホワイトバランス係数を発生するホワイトバランス係数発生手段と、前記ホワイトバランス係数を用いたホワイトバランス調整処理後の画像信号からノイズ成分を抽出するノイズ抽出手段と、前記ノイズ抽出手段により抽出されたノイズ成分からエッジ成分をレベルスライスによって除去するレベルスライス手段と、前記レベルスライス手段によりエッジ成分が除去された後のノイズ成分を、ホワイトバランス調整処理後の画像信号から除去するノイズ除去手段と、を備える画像信号処理装置において、前記レベルスライス手段によるレベルスライスにおけるしきい値を、前記ホワイトバランス係数を用いて補正するように構成されていることを特徴としている。

本発明の画像信号処理装置においては、前記ノイズ抽出手段、前記レベルスライス手段及び前記ノイズ除去手段を、各分解色毎に備えるとともに、各分解色のノイズ抽出手段、レベルスライス手段及びノイズ除去手段による処理を並行して行うように構成されていることを好ましい一例とする。

或いは、本発明の画像信号処理装置においては、前記ノイズ抽出手段、前記レベルスライス手段及び前記ノイズ除去手段を、各分解色の画像信号に共通使用するとともに、各分解色の画像信号に対するノイズ抽出手段、レベルスライス手段及びノイズ除去手段の処理を時分割多重で行うことも好ましい。

また、本発明の画像信号処理装置においては、前記しきい値の補正は、各分解色毎に、しきい値にホワイトバランス係数を乗算することにより行うように構成されていることが好ましい。

また、本発明の画像信号処理装置においては、各分解色毎のホワイトバランス係数として、各分解色の画像信号のレベル比の逆数を割り当てるように構成されていることが好ましい。

本発明の画像信号処理装置は、例えば、デジタルカメラであることを好ましい一例とする。

本発明の画像信号処理方法は、ホワイトバランス係数を用いたホワイトバランス調整処理を各分解色の画像信号に施した後で、エッジ成分をレベルスライスによって除去した後のノイズ成分を各分解色の画像信号から除去する画像信号処理方法において、前記レベルスライスにおけるしきい値として、前記ホワイトバランス係数を用いて補正された値を用いることを特徴としている。

本発明の画像信号処理方法においては、前記しきい値の補正は、各分解色毎に、しきい値にホワイトバランス係数を乗算することにより行うことが好ましい。

本発明の画像信号処理方法においては、各分解色毎のホワイトバランス係数として、各分解色の画像信号のレベル比の逆数を割り当てることが好ましい。

本発明によれば、ノイズ成分からエッジ成分を除去するレベルスライスにおけるしきい値を、ホワイトバランス係数を用いて補正するので、ホワイトバランス係数が各分解色毎に異なる結果としてノイズ成分の大きさまでも各分解色で異なる場合にも、画像信号からのノイズ成分の除去を好適に行うことが可能となり、、画像信号にノイズを残留させたり或いは画像におけるエッジを鈍らせたりすることない。よって、各分解色の画像信号が同レベルとなるようにできる。

つまり、各分解色のホワイトバランス係数は撮影シーンによって変化し、その結果、各分解色のノイズレベルが相互に異なってしまうが、このような場合にも、各分解色の画像信号が同レベルとなるようにできる。

以下、図面を参照して、本発明に係る実施形態について説明する。

〔第１の実施形態〕
図１は第１の実施形態に係る画像信号処理装置を示すブロック図である。

図１に示すように、第１の実施形態に係る画像信号処理装置１００は、例えば、デジタルカメラを構成するものであり、入力端子１、色分離回路１９、ホワイトバランス係数発生回路１１、乗算回路８、９、１０、入力端子２０、２１、２２、入力端子２、３、４、ノイズ除去回路１２、１３、１４、γ補正回路１５、１６、１７、マトリックス回路１８及び出力端子５、６、７を備えている。

このうち入力端子１には画像信号が入力され、この画像信号は更に色分離回路１９に入力される。

色分離回路１９は、入力される画像信号を各分解色の信号成分に分離する。すなわち、例えば、赤色の赤信号成分（Ｒ信号成分）、緑色の緑信号成分（Ｇ信号成分）、青色の青信号成分（Ｂ信号成分）に分離する。また、色分離回路１９は、分離後の各信号成分を、それぞれ別個に出力する。

色分離回路１９により分離後に出力されるＲＧＢ各信号成分のうち、Ｒ信号成分はＲ信号成分用の乗算回路８に、Ｇ信号成分はＧ信号成分用の乗算回路９に、Ｂ信号成分はＢ信号成分用の乗算回路１０に、それぞれ入力される。

また、ＲＧＢ各信号成分は、ともにホワイトバランス係数発生回路（ホワイトバランス係数発生手段）１１に入力される。

ホワイトバランス係数発生回路１１は、各分解色の画像信号のレベル（強度）比、すなわちＲＧＢ各信号成分のそれぞれのレベル比に基づいて、各分解色毎のホワイトバランス係数を演算により発生する。ホワイトバランス係数は、ホワイトバランスを調整するための係数である。具体的には、例えば、各分解色のレベルの逆数を各分解色毎のホワイトバランス係数とする。例えば、Ｒ信号成分だけが他の２色の信号成分の１／４の信号レベルである場合には、Ｒ信号成分に対するホワイトバランス係数は、他の２色の信号成分に対するホワイトバランス係数の４倍の値とする。つまり、各分解色毎のホワイトバランス係数として、各分解色の画像信号のレベル比の逆数を割り当てる。

このようにホワイトバランス係数発生回路１１にて演算された各色毎のホワイトバランス係数は、各色成分用の乗算回路８、９、１０に入力される。すなわち、Ｒ信号成分に対するホワイトバランス係数は乗算回路８に、Ｇ信号成分に対するホワイトバランス係数は乗算回路９に、Ｂ信号成分に対するホワイトバランス係数は乗算回路１０に、それぞれ入力される。

各乗算回路８、９、１０では、対応する分解色のホワイトバランス係数と、対応する分解色の信号成分とを乗算する。すなわち、乗算回路８では、Ｒ信号成分と、Ｒ信号成分に対するホワイトバランス係数と、を乗算し、乗算回路９では、Ｇ信号成分と、Ｇ信号成分に対するホワイトバランス係数と、を乗算し、乗算回路１０では、Ｂ信号成分と、Ｂ信号成分に対するホワイトバランス係数と、を乗算する。これにより、各分解色の信号成分は、それぞれホワイトバランス調整がなされる（ホワイトバランスの調整処理）。

このようにホワイトバランス調整がなされたＲＧＢ信号は、各色成分用のノイズ除去回路１２、１３、１４に入力される。すなわち、Ｒ信号成分はノイズ除去回路１４に、Ｇ信号成分はノイズ除去回路１３に、Ｂ信号成分はノイズ除去回路１２に、それぞれ入力される。

また、入力端子２０、２１、２２には、レベルスライス信号が入力され、このレベルスライス信号は、更に、各ノイズ除去回路１２、１３、１４に入力される。レベルスライス信号は、信号成分に含まれるノイズ成分とエッジ成分とを区別するためのしきい値（スライスレベル）となる信号である。

さらに、入力端子２、３、４には、ノイズ除去の強度を指定する係数としてのノイズ除去強度指定信号が入力され、このノイズ除去強度指定信号は、更に、各ノイズ除去回路１２、１３、１４に入力される。

加えて、ノイズ除去回路１２、１３、１４には、ホワイトバランス係数発生回路１１にて演算（発生）された、対応する分解色のホワイトバランス係数も入力される。すなわち、ノイズ除去回路１４にはＲ信号成分用のホワイトバランス係数が、ノイズ除去回路１３にはＧ信号成分用のホワイトバランス係数が、ノイズ除去回路１２にはＢ信号成分用のホワイトバランス係数が、それぞれ入力される。

ノイズ除去回路１２、１３、１４は、このように入力されるホワイトバランス係数、ノイズ除去強度指定信号及びレベルスライス信号を用いて、各分解色の信号成分（画像信号）からノイズ成分を除去し、ノイズ除去後の各信号成分を出力する。なお、ノイズ除去回路１２、１３、１４の構成については詳細を後述する。

ノイズ除去回路１２、１３、１４から出力された画像信号（各色信号成分）は、各色成分用のγ補正回路１５、１６、１７に入力される。

γ補正回路１５、１６、１７は、対応する色信号成分の画像信号にそれぞれγ補正を施す。

更に、γ補正後の画像信号は、マトリックス回路１８に入力される。

マトリックス回路１８は、γ補正回路１５、１６、１７によるγ補正後の画像信号（ＲＧＢ信号）をＹＣｂＣｒ信号に変換して出力する。その出力は、更に、出力端子５、６、７より出力される。

次に、ノイズ除去回路１２、１３、１４の構成について詳細に説明する。

図２はノイズ除去回路１２、１３、１４を示すブロック図である。

なお、ノイズ除去回路１２、１３、１４は互いに同様の回路構成となっている。ここでは代表してノイズ除去回路１４の説明をする。

図２に示すように、ノイズ除去回路１４は、入力端子２５と、入力端子３０と、入力端子２３と、入力端子２４と、乗算回路２７と、ノイズ成分抽出フィルター２６と、レベルスライス回路２８と、乗算回路２９と、減算回路３２と、出力端子３１とを備えている。

このうち入力端子２５には、画像信号のＲ信号成分（ホワイトバランス調整後）が入力され、このＲ信号成分は、更に、ノイズ成分抽出フィルター（ノイズ抽出手段）２６に入力される。

ノイズ成分抽出フィルター２６は、Ｒ信号成分に含まれるノイズ成分を抽出し、そのノイズ成分をレベルスライス回路（レベルスライス手段）２８に出力する。

また、入力端子２３からはレベルスライス信号が入力され、入力端子２４からはホワイトバランス係数（Ｒ信号成分用）が入力され、更に、これらホワイトバランス係数及びレベルスライス信号はともに乗算回路２７に入力される。

乗算回路２７は、入力されるホワイトバランス係数とレベルスライス信号とを乗算する。すなわち、スライスレベル信号（つまりレベルスライスにおけるしきい値）を、ホワイトバランス係数を用いて補正する。ここで、乗算回路２７は、レベルスライスにおけるしきい値であるスライスレベル信号を、ホワイトバランス係数を用いて補正する補正手段として機能する。

この補正後のスライスレベル信号は、レベルスライス回路２８に入力される。

レベルスライス回路２８は、ノイズ成分抽出フィルター２６により抽出されたノイズ成分からレベルスライスによってエッジ成分を除去する。すなわち、レベルスライス回路２８は、スライスレベル信号を用いたレベルスライスによって、ノイズ成分からエッジ成分を除去する（詳細後述）。

また、レベルスライス回路２８によりエッジ成分が除去されたノイズ成分は、乗算回路２９に出力される。

また、入力端子３０には、ノイズ除去強度指定信号が入力され、このノイズ除去強度指定信号は、更に、乗算回路２９に入力される。

乗算回路２９は、エッジ成分を除去後のノイズ成分と、ノイズ除去強度指定信号と、を乗算し、この乗算後のノイズ成分を減算回路３２に出力する。

減算回路（ノイズ除去手段）３２は、入力端子２５からのＲ信号成分よりノイズ成分を減算する。つまり、Ｒ信号成分からノイズ成分を除去する。

このようにノイズ除去された後のＲ信号成分は、出力端子３１より出力される。

同様に、ノイズ除去回路１２、１３では、それぞれＢ信号成分、Ｇ信号成分からノイズ成分を除去し、ノイズ除去後の信号を出力する。なお、各ノイズ除去回路１２、１３、１４での処理は、互いに並行して行われる。

次に、図３及び図４を参照して、画像信号処理装置１００の動作について説明する。

図３は画像信号処理装置１００の動作を示すタイムチャートである。なお、縦軸は信号のレベル（強度）、横軸は時間である。

先ず、入力端子１から撮像デバイスの光学フィルタ画素の並び順（フィルタパターンの順）に信号が入力し、色分離回路１９においてＲ信号成分Ｓ１（図３（ａ））、Ｇ信号成分Ｓ２（図３（ｂ））、Ｂ信号成分Ｓ３（図３（ｃ））に分離される。

ここでは一面白い物体を青みを帯びた投射光で撮影したと仮定する。青みを帯びた光で白いものを撮影したのでＲ信号成分Ｓ１はＧ信号成分Ｓ２、Ｂ信号成分Ｓ３に対してレベルが低くなる。具体的には、例えば、Ｒ信号成分Ｓ１の信号レベルがＧ信号成分Ｓ２、Ｂ信号成分Ｓ３の１／４であるとする。

各信号成分Ｓ１、Ｓ２、Ｓ３はホワイトバランス係数発生回路１１に入力され、これら各信号成分Ｓ１、Ｓ２、Ｓ３のレベルに応じて各色毎のホワイトバランス係数が計算される。この場合、Ｒ信号成分Ｓ１がＧ信号成分Ｓ２、Ｂ信号成分Ｓ３に対してレベルが１／４であるので、Ｒ信号成分Ｓ１に対する係数が、他の２色の信号成分Ｓ２、Ｓ３に対する係数の４倍の値として演算される。

これら演算された各色毎のホワイトバランス係数が、乗算回路８、９、１０にてそれぞれＲ信号成分Ｓ１、Ｇ信号成分Ｓ２、Ｂ信号成分Ｓ３と乗算される。これにより、各色信号成分はそれぞれホワイトバランス調整処理がなされて、Ｒ信号成分はＳ４（図３（ｄ））、Ｇ信号成分はＳ５（図３（ｅ））、Ｂ信号成分はＳ６（図３（ｆ））となる。

ここで、図３（ｄ）に示すように、Ｒ信号成分Ｓ４は、他の２色の４倍のホワイトバランス係数で増幅されているので、信号に含まれるノイズ成分も大きくなっている。

信号成分Ｓ４、Ｓ５、Ｓ６は、乗算回路８、９、１０より、それぞれ対応するノイズ除去回路１２、１３、１４に入力される。

ノイズ除去回路１２、１３、１４では、信号成分Ｓ４、Ｓ５、Ｓ６からノイズ成分を除去する。これにより、赤信号成分はＳ３１（図３（ｇ））、緑信号成分はＳ３２（図３（ｈ））、青信号成分はＳ３３（図３（ｉ））となる（詳細後述）。

ノイズ除去回路１２、１３、１４から出力された信号成分Ｓ３１、Ｓ３２、Ｓ３３は、それぞれ対応するγ補正回路１５、１６、１７に入力されてγ補正され、マトリックス回路１８に出力される。

マトリックス回路１８では、画像信号（ＲＧＢ信号）をＹＣｂＣｒ信号に変換して出力し、その出力は、更に出力端子５、６、７より出力される。

次に、ノイズ除去回路の動作を説明する。

図４はノイズ除去回路１４の動作を示すタイムチャートである。

ノイズ除去回路１４の入力端子２５には、図４（ａ）（図３（ｄ）と同じ）のＲ信号成分Ｓ４が入力され、このＲ信号成分Ｓ４は、更にノイズ成分抽出フィルター２６に入力される。

ノイズ成分抽出フィルター２６では、Ｒ信号成分Ｓ４からノイズ成分、すなわち図４（ｂ）の信号Ｓ７を抽出する。この信号Ｓ７は、レベルスライス回路２８に入力される。

入力端子２３には、レベルスライス信号が入力される。

入力端子２４には、Ｒ信号成分用のホワイトバランス係数、すなわち、他の２色に対するホワイトバランス係数の４倍の値の係数が入力される。具体的には、例えば、他の２色に対するホワイトバランス係数は、それぞれ１であり、従って、Ｒ信号成分用のホワイトバランス係数は、４である。

また、乗算回路２７では、Ｒ信号成分用のホワイトバランス係数と、レベルスライス信号と、を乗算し、乗算後のレベルスライス信号をレベルスライス回路２８に出力する。

ここで、図４（ｂ）には、入力端子２３から入力されるレベルスライス信号を信号Ｓ８として示し、乗算回路２７による乗算後のレベルスライス信号をＳ９として示している。つまり、信号Ｓ９は、信号Ｓ８の例えば４倍のレベルとされている。

レベルスライス回路２８では、ノイズ成分である信号Ｓ７が、乗算回路２７による乗算後のレベルスライス信号のスライスレベルＳ９によりレベルスライスされる。

すなわち、レベルスライス回路２８は、信号Ｓ７がスライスレベルＳ９のレベルであるＳ９を越えるとＳ９とし、−Ｓ９を下回ると−Ｓ９とするようにレベルスライスする。つまり、信号Ｓ７は、Ｓ９を越えるレベル並びに−Ｓ９を下回るレベルが削除され、これによりエッジ成分が削除される。この結果、レベルスライス後のノイズ成分は、図４（ｃ）に示す信号Ｓ１０となる。

なお、ここでは、信号Ｓ７の最大レベルがＳ９に一致し、最低レベルが−Ｓ９に一致するような理想的な場合を示したが、例えば、図３（ａ）の信号Ｓ１に途中でパルス状の段差が生じる様な場合には、図４（ｂ）の信号Ｓ７にもパルス状に上側及び下側に突出する信号成分が含まれるので、このような突出部分がレベルスライスによって除去されることとなる。

このように、理想的な場合にも、そうでない場合にも、図４（ｃ）に示すように、エッジ成分が過不足なく除去されたノイズ成分を抽出することができる。

レベルスライス（によりエッジ成分が除去された）後のノイズ成分である信号Ｓ１０は、レベルスライス回路２８から乗算回路２９に出力される。

乗算回路２９では、信号Ｓ１０（ノイズ成分）と、入力端子３０から入力されるノイズ除去強度指定信号と、を乗算し、この乗算後のノイズ成分を減算器３２に出力する。

減算器３２では、ノイズ成分を、入力端子２５からのＲ信号成分Ｓ４より減算する。これにより、Ｒ信号成分Ｓ４は、ノイズ成分が過不足なく除去されてＲ信号成分Ｓ３１（図４（ｄ）、図３（ｇ））となり、その信号レベルは他の２色の信号レベルと等しくなる。

つまり、図３（ｇ）、図３（ｈ）、図３（ｉ）に示すように、各分解色の画像信号が互いに同レベルとなり、しかも、ノイズを残留したり、或いは画像におけるエッジが鈍ったりすることもない。

このようにノイズ除去されたＲ信号成分Ｓ３１は、出力端子３１から出力される。

以上のような第１の実施形態によれば、ノイズ成分からエッジ成分を除去するためのレベルスライスにおけるしきい値（スライスレベル）をホワイトバランス係数により補正する。すなわち、そのしきい値に対し、ホワイトバランス係数に応じて色毎に異なる利得制御を施す。よって、ノイズ成分の強さが色毎の信号成分に応じて異なる画像信号の場合にも、最適なスライスレベルでレベルスライスを行うことが可能となる。その結果、画像信号からのノイズ成分の除去を、ノイズを残留させたり或いはエッジを鈍らせたりすることなく好適に行うことが可能となる。よって、各分解色の画像信号を同レベルとなるように補正することができる。

〔第２の実施形態〕
第２の実施形態では、ノイズ除去回路及びγ補正回路を各分解色の画像信号の処理に共通使用する例を説明する。

なお、第２の実施形態に係る画像信号処理装置は、以下に説明する点の他は上記の第１の実施形態に係る画像信号処理装置１００と同様であるので、同様の構成要素には同一の符号を付し、その説明を省略する。

図５は、第２の実施形態に係る画像信号処理装置２００を示すブロック図である。

図２に示すように、第２の実施形態に係る画像信号処理装置２００は、画像信号が入力される入力端子３２、画像信号を各分解色の信号成分に分離する色分離回路３８、各分解色のホワイトバランス係数を発生するホワイトバランス係数発生回路４０、ホワイトバランス係数と信号成分との乗算を各分解色毎に行う乗算回路３９、レベルスライス信号が入力される入力端子３３、ノイズ除去強度指定信号が入力される入力端子３４、ホワイトバランス調整処理後の画像信号からのノイズ除去を行うノイズ除去回路４１、ノイズ除去回路４１によるノイズ除去後の画像信号に対しγ補正を行うγ補正回路４２、マトリックス回路４３及び出力端子３５、３６、３７を備えている。

このうち入力端子３２には画像信号が入力され、この画像信号は更に色分離回路３８に入力される。

色分離回路１９は、入力される画像信号を各分解色の信号成分（例えば、赤色の赤信号成分（Ｒ信号成分）、緑色の緑信号成分（Ｇ信号成分）、青色の青信号成分（Ｂ信号成分）に分離する。

ここで、上記の第１の実施形態においては、色分離回路１９からの出力は別個の経路を介して行うのに対し、第２の実施形態においては、色分離回路３８からの出力を１つの経路を介して時分割多重に行う。すなわち、例えば、Ｒ信号成分、Ｇ信号成分、Ｂ信号成分の順で、順次、信号出力を行う。

また、乗算回路３９では、各分解色のホワイトバランス係数と、対応する分解色の信号成分と、を乗算することを、各分解色で順番に行う。すなわち、例えば、Ｒ信号成分用のホワイトバランス係数とＲ信号成分との乗算、Ｇ信号成分用のホワイトバランス係数とＧ信号成分との乗算、Ｂ信号成分用のホワイトバランス係数とＢ信号成分との乗算を、この順に行い、この順でノイズ除去回路４１に出力する。

また、ノイズ除去回路４１の構成は、上記の第１の実施形態に係る画像信号処理装置１００におけるノイズ除去回路１２、１３、１４と同様である。

ノイズ除去回路４１では、各分解色の信号成分からのノイズ除去を、各分解色で順番に行う。すなわち、例えば、Ｒ信号成分からのノイズ除去と、Ｇ信号成分からのノイズ除去と、Ｂ信号成分からのノイズ除去と、をこの順に行い、この順でγ補正回路４２に出力する。つまり、各分解色の画像信号に対するノイズ成分抽出フィルター２６、レベルスライス回路２８及びレベルスライス回路２８の処理を時分割多重で行う。

また、γ補正回路４２でも、各分解色の信号成分に対するγ補正を時分割多重で行い、γ補正後の各信号成分を順にマトリックス回路４３に出力する。

マトリックス回路４３では、各分解色の信号成分を揃うまで蓄積し、揃ったら同時に出力する。

以上のような第２の実施形態によれば、色分離回路３８からの出力以降、マトリックス回路４３への入力までの処理を時分割多重に行うので、乗算器３９、ノイズ除去回路４１、γ補正回路４２がそれぞれ１個になり回路規模を縮小できるという効果が得られる。

本発明の第１の実施形態に係る画像処理装置を示すブロック図である。 図１の画像処理装置が備えるノイズ除去回路を示すブロック図である。 図１の画像処理装置の動作を説明するためのタイムチャートである。 図２のノイズ除去回路の動作を説明するためのタイムチャートである。 本発明の第２の実施形態に係る画像処理装置を示すブロック図である。 従来の画像処理装置を示すブロック図である。 図６の画像処理装置が備えるノイズ除去回路を示すブロック図である。 図６の画像処理装置の動作を説明するためのタイムチャートである。 図７のノイズ除去回路の動作を説明するためのタイムチャートである。

符号の説明

１００ 画像信号処理装置
１１ ホワイトバランス係数発生回路（ホワイトバランス係数発生手段）
１２ ノイズ除去回路
１３ ノイズ除去回路
１４ ノイズ除去回路
２６ ノイズ成分抽出フィルター（ノイズ抽出手段）
２８ レベルスライス回路（レベルスライス手段）
３２ 減算回路（ノイズ除去手段）
２００ 画像信号処理装置
４１ ノイズ除去回路
４０ ホワイトバランス係数発生回路（ホワイトバランス係数発生手段）

Claims (10)

1. ホワイトバランス係数を用いたホワイトバランス調整処理を各分解色の画像信号に施した後で、エッジ成分をレベルスライスによって除去した後のノイズ成分を各分解色の画像信号から除去するように構成された画像信号処理装置において、
   前記レベルスライスにおけるしきい値を、前記ホワイトバランス係数を用いて補正するように構成されていることを特徴とする画像信号処理装置。
2. 入力される各分解色の画像信号のレベル比に基づいて、ホワイトバランス調整処理に用いられるホワイトバランス係数を発生するホワイトバランス係数発生手段と、
   前記ホワイトバランス係数を用いたホワイトバランス調整処理後の画像信号からノイズ成分を抽出するノイズ抽出手段と、
   前記ノイズ抽出手段により抽出されたノイズ成分からエッジ成分をレベルスライスによって除去するレベルスライス手段と、
   前記レベルスライス手段によりエッジ成分が除去された後のノイズ成分を、ホワイトバランス調整処理後の画像信号から除去するノイズ除去手段と、
   を備える画像信号処理装置において、
   前記レベルスライス手段によるレベルスライスにおけるしきい値を、前記ホワイトバランス係数を用いて補正するように構成されていることを特徴とする画像信号処理装置。
3. 前記ノイズ抽出手段、前記レベルスライス手段及び前記ノイズ除去手段を、各分解色毎に備えるとともに、
   各分解色のノイズ抽出手段、レベルスライス手段及びノイズ除去手段による処理を並行して行うように構成されていることを特徴とする請求項２に記載の画像信号処理装置。
4. 前記ノイズ抽出手段、前記レベルスライス手段及び前記ノイズ除去手段を、各分解色の画像信号に共通使用するとともに、
   各分解色の画像信号に対するノイズ抽出手段、レベルスライス手段及びノイズ除去手段の処理を時分割多重で行うことを特徴とする請求項２に記載の画像信号処理装置。
5. 前記しきい値の補正は、各分解色毎に、しきい値にホワイトバランス係数を乗算することにより行うように構成されていることを特徴とする請求項１乃至４のいずれか一項に記載の画像信号処理装置。
6. 各分解色毎のホワイトバランス係数として、各分解色の画像信号のレベル比の逆数を割り当てるように構成されていることを特徴とする請求項１乃至５のいずれか一項に記載の画像信号処理装置。
7. 当該画像信号処理装置は、デジタルカメラであることを特徴とする請求項１乃至６のいずれか一項に記載の画像信号処理装置。
8. ホワイトバランス係数を用いたホワイトバランス調整処理を各分解色の画像信号に施した後で、エッジ成分をレベルスライスによって除去した後のノイズ成分を各分解色の画像信号から除去する画像信号処理方法において、
   前記レベルスライスにおけるしきい値として、前記ホワイトバランス係数を用いて補正された値を用いることを特徴とする画像信号処理方法。
9. 前記しきい値の補正は、各分解色毎に、しきい値にホワイトバランス係数を乗算することにより行うことを特徴とする請求項８に記載の画像信号処理方法。
10. 各分解色毎のホワイトバランス係数として、各分解色の画像信号のレベル比の逆数を割り当てることを特徴とする請求項８又は９に記載の画像信号処理方法。
    
    

Images