JP2008206180A - 画像信号処理装置 - Google Patents

Abstract

【課題】 入力される画像信号のノイズ成分を適切に検出し、ノイズ成分を画像信号から除去する画像信号処理装置を提供する。
【解決手段】 本発明による画像信号処理装置１０は、ノイズ検出部３０、動き検出部６０、偽輪郭低減部９０および演算部１２０を備える。ノイズ検出部３０は、現フレームまたは前フレームの画像信号の低域成分に基づいて仮ノイズ成分を検出する。動き検出部６０は、前フレームと前々フレームの画像信号から画像の動きを検出する。偽輪郭低減部９０は、画像信号の色相成分または高域成分をもとに、偽輪郭の発生を予測する。仮ノイズ成分のレベルは、動き検出部６０および偽輪郭低減部９０において検出または予測された結果をもとに、演算部１２０により調整される。これにより、ノイズ成分を適切に検出することが可能となる。
【選択図】 図１

Description

本発明は入力信号からノイズ成分を低減するノイズ低減技術に関し、特に入力される画像信号のノイズ成分を検出して、画像信号からノイズ成分を除去する画像信号処理技術に関する。

アナログ信号をデジタル信号に変換する際、アナログ信号にノイズがのり、ノイズがのったアナログ信号をデジタル化することがある。例えばＣＣＤカメラにより画像を撮影するとき、アナログ回路においてノイズが発生することもあり、またアナログ信号の伝送中にノイズがのることもある。このようなノイズは、ランダムノイズと呼ばれ、どの画素上にノイズがのるか不明であり、またサイズも不規則である。そのため、基本的にランダムノイズは、連続するフレーム間において同一の画素には発生しないという性質をもつ。このようなノイズを低減する手法として、現フレーム、前フレームおよび前々フレームの画像信号から動きの度合いを検出し、動きの度合いが大きくなるにつれて、画像信号から除去するノイズ成分を小さくし、動きの度合いが所定値より大きくなったときに、ノイズ成分がないものと制御するノイズ抑制方法を提案するものがある（例えば、特許文献１参照。）。
特開２００２−３３９４２号公報

ノイズ成分を低減することは、画質に重大な影響を与えるため、画像処理分野における重要な課題の一つといえる。特に動画像では、連続するフレームにおいて同一画素の画像信号が変化した場合に、フレーム間で動きが発生しているのか、ノイズ成分が発生しているかの判断が難しくなる。特許文献１は、そのような場合におけるノイズ抑制手法の一つのアプローチを示すものであるが、まだ改良の余地はあるといえる。また、画像信号のノイズ成分を低減した結果、それを表示したときに、現実には存在しないはずの擬似的な境界線があらわれることがある。これは「偽輪郭」と呼ばれる現象で、ノイズ成分のない、いわゆる良質の画像において発生しやすいという性質がある。

本発明は、そうした課題に鑑みてなされたものであり、その目的は、画像信号のノイズ成分を適切に検出し、検出したノイズ成分を画像信号から除去する画像信号処理技術を提供することにある。

上記課題を解決するために、本発明のある態様は、入力される画像信号のノイズ成分を低減する画像信号処理装置に関する。この態様の画像信号処理装置は、画像信号のノイズ成分を検出するノイズ検出部と、画像信号の色相成分を取得する第１取得部と、第１取得部において取得した色相成分をもとに、ノイズ検出部において検出されたノイズ成分のレベルを調整する第１演算部と、画像信号から、第１演算部において調整された第１ノイズ成分を除去する第１ノイズ除去部とを備える。

ノイズ検出部は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号に基づいて、ノイズ成分を検出し、第１取得部は、現フレームの画像信号の色相成分を取得してもよい。第１取得部は、画像信号の画素の色相成分と、画像信号の画素の周囲の画素の色相成分とを積算した画像信号の色相成分を取得してもよい。第１演算部は、色相成分が所定の値にあるときに、ノイズ成分のレベルの制限量を極大としてもよい。

本発明のさらに別の態様は、入力される画像信号のノイズ成分を低減する画像信号処理装置に関する。この態様の画像信号処理装置は、画像信号のノイズ成分を検出するノイズ検出部と、画像信号の高域成分を取得する第２取得部と、第２取得部において取得した高域成分をもとに、ノイズ検出部において検出されたノイズ成分のレベルを調整する第２演算部と、画像信号から、第２演算部において調整された第２ノイズ成分を除去する第２ノイズ除去部とを備える。

ノイズ検出部は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号に基づいて、ノイズ成分を検出し、第２取得部は、現フレームの画像信号の高域成分を取得してもよい。第２取得部は、画像信号の画素の高域成分と、画像信号の画素の周囲の画素の高域成分とを積算した画像信号の高域成分を取得してもよい。第２演算部は、第２取得部において取得した高域成分が大きいほど、ノイズ成分のレベルの制限量を少なくし、高域成分が小さいほど、ノイズ成分のレベルの制限量を多くしてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、入力される画像信号のノイズ成分を検出し、残像および偽輪郭の発生を抑制することのできる画像信号処理装置を提供することができる。

図１は、本発明の実施の形態に係る画像信号処理装置１０の構成を示す。画像信号処理装置１０において、画像信号は入力端子１２から入力され、ノイズ除去手段である減算部１３０においてノイズ成分を除去されて、出力端子１４から出力される。ノイズ成分を除去された画像信号は、フレームメモリ２０に記録され、次の画像信号のノイズ成分の低減処理において、１つ前のフレーム（以下、「前フレーム」と呼ぶ）の画像信号として利用される。この画像信号は、さらにフレームメモリ２２に記録され、続く画像信号のノイズ成分の低減処理において、２つ前のフレーム（以下、「前々フレーム」と呼ぶ）の画像信号として利用される。このように、入力端子１２から現フレームの画像信号が入力された場合、フレームメモリ２０に前フレームの画像信号が記録され、フレームメモリ２２に前々フレームの画像信号が記録されている。

本実施の形態において、画像信号とは、ある画素についての信号を意味し、特に示さない限り、現フレームの画像信号、前フレームの画像信号、前々フレームの画像信号とは、同一の画素についての信号を意味する。

画像信号処理装置１０は、ノイズ除去手段である減算部１３０に供給するノイズ成分を求めるために、暫定的なノイズ成分を検出するノイズ検出部３０と、画像信号における動きを検出する動き検出部６０と、偽輪郭の発生予測を行う偽輪郭低減部９０と、ノイズ検出部３０において検出したノイズ成分のレベルを、動き検出部６０による検出結果、および／または、偽輪郭低減部９０による予測結果をもとに調整して求める演算部１２０とを備える。演算部１２０において調整されたノイズ成分は減算部１３０に伝達され、入力された画像信号から除去される。

まず、ノイズ検出部３０は、低域成分取得部３２、低域成分取得部３８、最大値取得部４４、閾値算出部４６、減算部４８およびノイズ算出部５０を備える。
低域成分取得部３２は、低域成分算出部３４および積算部３６を有し、低域成分取得部３８は、低域成分算出部４０および積算部４２を有する。

低域成分取得部３２は、現フレームの画像信号の低域成分を取得し、低域成分取得部３８は、前フレームの画像信号の低域成分を取得する。最大値取得部４４は、低域成分取得部３２で取得した低域成分と、低域成分取得部３８で取得した低域成分を比較して、最大値、すなわち大きい方を選択して取得する。閾値算出部４６は、最大値取得部４４で取得した低域成分の最大値をもとに、後述する閾値を算出する。減算部４８は、入力端子１２から供給される現フレームの画像信号と、フレームメモリ２０から供給される前フレームの画像信号の差分を算出する。ノイズ算出部５０は、画像信号の差分値と、閾値算出部４６で算出した閾値とを用いて、ノイズを検出する。

図２は、低域成分算出部３４および低域成分算出部４０における画像信号の低域成分の算出方法を説明するための図である。図２は、３×３で配列した９つの画素を示し、この例では、中心の画素Ｄ２２がノイズを低減する対象画素であるとし、画素Ｄ２２の画像信号の低域成分を求める。画素Ｄ２２の低域成分は、画像の積分信号を表し、例えば以下の式で求めることができる。
（画素Ｄ２２の低域成分）
(1) 16×D22
または
(2) (2×D21 + 4×D22 + 2×D23)+(2×D12 + 4×D22 + 2×D32)
または
(3) (D11 + 2×D12 + D13)+(2×D21 + 4×D22 + 2×D23)+(D31 + 2×D32 + D33)
なお、式中のDxyは図中の画素Ｄｘｙにおける画像信号の値を示す。このように、低域成分算出部３４および低域成分算出部４０は、画像信号の低域成分、ここでは画素Ｄ２２の低域成分を算出することができる。式(1)では、周囲の画素の画像信号を用いずに、画素Ｄ２２の画像信号から低域成分を計算し、式(2)(3)では、画素Ｄ２２の画像信号と周囲の画素の画像信号を用いて平均化処理を施した低域成分を計算する。低域成分算出部３４および低域成分算出部４０は、上式(1)〜(3)のいずれを用いて計算してもよく、また別の計算式により求めてもよい。さらに、画素の低域成分を算出するために設定するエリアは、３×３の領域に限定するものではなく、それ以外の領域を用いることも可能である。

図３は、積算部３６および積算部４２における積算値の算出方法を説明するための図である。図３は、Ｈ×Ｖで配列した画素を示し、この例では、中心の画素Ｄ（(H+1)/2,(V+1)/2)）が低域成分を積算する対象画素であるとする。このように低域成分の積算値を求める場合には、対象画素が上下左右の中心となるようにエリアを設定し、エリア内の画素の低域成分、すなわち対象画素の低域成分と、対象画素の周囲の画素の低域成分を積算する。

Ｄ（(H+1)/2,(V+1)/2)）の低域成分の積算値は、以下の式で求められる。

式(4)において、画素の低域成分とは、低域成分算出部３４および低域成分算出部４０において算出された低域成分である。積算した低域成分は、以後の処理において、画像信号の低域成分として扱われる。なお、低域成分を積算する対象画素が隣接するＤ（(H+3)/2,(V+3)/2)）である場合、Ｄ（(H+3)/2,(V+3)/2)）の低域成分の積算値は、以下の式で求められる。

ノイズ検出部３０では、積算処理以降の処理において、画像信号の低域成分をもとに、図４に示す入出力特性を用いて、コアリング処理により仮のノイズ成分を算出する。コアリング処理は、ノイズ算出部５０において、入力、すなわち減算部４８から出力される画像信号の差分に対して施され、各画素の画像信号に発生しているであろう仮のノイズ成分が求められる。

本実施の形態では、ノイズ算出部５０の入出力特性における閾値TH1およびTH2を、画像信号の低域成分のレベルに応じて変化させることとする。そのため、隣接する画素についてコアリング処理を行う際、両者の画素において低域成分のレベルが大きく異なる場合には、それに応じて閾値が変化した入出力特性をもとに、それぞれの画像信号に対してコアリング処理が施されることになる。一方の画素についてはノイズを検出するが、他方の画素についてはノイズを検出しない状況が頻繁に発生すると、出力画像にチラツキが生じることになり、好ましくない。そのため、積算部３６および積算部４２において、複数の画素の低域成分を積算して１つの画素の低域成分とみなすことによって、隣接する画素間の低域成分のレベル差を小さくし、隣接する画素では、同一または少なくとも近似した入出力特性を用いたコアリング処理を施すことが可能となる。これにより、ノイズ除去処理後の画像のチラツキを予め吸収することができる。

なお、この機能は、積算部３６および積算部４２だけでなく、その前段階で、複数の画素から１つの画素の低域成分を算出する低域成分算出部３４および低域成分算出部４０においても、同様に実現することができる。なお、積算部３６および積算部４２における積算処理は、後述する動き検出部６０における積算部６６、積算部７４、積算部８０、および偽輪郭低減部９０における積算部９６、積算部１０４においても、隣接する画素間で処理方法が大きく変わることを防止するという同様の趣旨の下で行われる。

図４は、ノイズ算出部３０において入力された画像信号の差分に施すコアリング処理の入出力特性を示す。既述のごとく、入力は、減算部４８から送られる現フレームの画像信号と前フレームの画像信号の差分であり、出力は、コアリング処理により暫定的にノイズ成分とみなすことができる仮のノイズ成分である。この例では、入出力特性が以下の式で表される。なお、現フレームと前フレームの同一画素における画像信号の差をd、ノイズ成分のレベルをn、閾値TH1＜閾値TH2とする。k1およびk2は定数である。

(6) n = 0 (d＜-TH2)
n = -k2×(TH2+d) (-TH2≦d≦-TH1)
n = k1×d (-TH1≦d≦TH1)
n = k2×(TH2-d) (TH1≦d≦TH2)
n = 0 (d＞TH2)
なお、k1×TH1 = k2×(TH2-TH1)である。

この入出力特性において、定数k1、すなわち原点を通る直線の傾きを１とすると、入力dが-TH1以上TH1以下（-TH1≦d≦TH1）の範囲では、入力がそのまま出力されることになる。したがって、この範囲にあるときは、ノイズ算出部５０が、画像信号の差分を、そのまま仮ノイズ成分として出力する。一方で、入力dが-TH2より小さくまたTH2より大きい（d＜-TH2、d＞TH2）範囲にあるときは、入力にかかわらず、出力は０となる。この場合、画像信号の差分が、画像における動きにより生じたものと判断し、ノイズ算出部５０は、仮ノイズ成分を０に設定する。入力dが、-TH2以上-TH1以下、またはTH1以上TH2以下（-TH2≦d≦-TH1、TH1≦d≦TH2）の範囲にあるときは、ノイズ成分と動きとのバランスを平均化して、ノイズ成分のレベルを制限する。本実施の形態のノイズ算出部５０は、画像信号の低域成分に基づいて、閾値TH1、TH2を変更した入出力特性をもとに、仮ノイズ成分を検出する。なお、式(6)で示す入出力特性は例示であり、適宜設定可能とされることが好ましい。

最大値取得部４４が、低域成分取得部３２で取得された現フレームの画像信号の低域成分と、低域成分取得部３８で取得された前フレームの画像信号の低域成分とを比較し、最大値、すなわち大きい方の低域成分を選択して取得する。選択された低域成分は、閾値算出部４６に送られる。

図５は、低域成分と閾値の対応を示す対応特性を示す。横軸が低域成分を示し、縦軸が閾値を示す。なお理解を容易にするために、低域成分が輝度を表すと表現すると、右方向が明るい画像を意味し、左方向が暗い画像を意味する。この対応特性によると、低域成分の値に応じて閾値が一意に設定される。閾値算出部４６は、この対応特性に基づいて閾値を算出する。この対応特性は、例えばガンマ補正による入出力特性などから求められる。

図６は、公知のガンマ補正による入出力特性を示す。横軸は輝度を示し、縦軸は実際の出力を示す。この入出力特性によると、入力レベルが高い画像信号同士では、入力レベルに差があっても、出力レベルはそれほど変化しないのに対し、入力レベルが低い画像信号同士では、入力レベルに差があると、その差が出力レベルに顕著に反映される。つまり、入力レベルすなわち輝度が低いと、画像信号にノイズ成分がのっている場合に、その出力レベルが大きく影響を受けることになる。したがって、最大値取得部４４で取得された低域成分のレベルが低い場合には、現フレームと前フレームの画像信号の差分をノイズ成分として検出する閾値を大きくすることが好ましい。

一方で、入力レベルが高い場合には、画像信号にノイズ成分がのっていたとしても出力レベルへの影響は小さい。そのため、低域成分のレベルが高い場合には、現フレームと前フレームの画像信号の差分が大きくても、ノイズ成分と判断して除去する方向で処理するよりも、画像の動きと判断して残す方向で処理する方が画像処理として好ましい。したがって、低域成分のレベルが高い場合には、画像信号の差分をノイズ成分として検出する閾値を小さくすることが好ましい。以上の理由から、図５に示す低域成分と閾値との対応特性は、低域成分が小さいときに閾値が高くなるように設定され、一方で低域成分が大きいときに閾値が低くなるように設定されている。なお、最大閾値TH_HIGHおよび最小閾値TH_LOWは適宜設定することができ、また対応特性自体についても、低域成分の低いレベルから高いレベルに向かう方向に閾値が小さくなる関係を満たすように、適宜設定できることが好ましい。

図４に戻って、閾値算出部４６は、低域成分が小さい場合には閾値TH1、TH2を大きく設定することにより、点線５２で示されるような入出力特性を設定し、一方で低域成分が大きい場合には、閾値TH1、TH2を小さく設定することにより、点線５１で示されるような入出力特性を設定する。図示されるように、点線５２の入出力特性によると、ノイズ算出部５０が画像信号の差分を仮ノイズ成分と判断する範囲が広がり、点線５１の入出力特性によると、ノイズ算出部５０が画像信号の差分を仮ノイズ成分と判断する範囲が狭まることになる。なお、最大値取得部４４が低域成分取得部３２と低域成分取得部３８の出力の最大値を選択するのは、低域成分のレベルが高い方がノイズの影響が小さく、ノイズ成分を除去するための条件を厳しくする方向で制御するためである。別の例では、閾値算出部４６が、低域成分取得部３２と低域成分取得部３８の出力の平均から閾値を算出することも可能である。

以上のように、ノイズ算出部５０は、図４に示す入出力特性をもとに、仮ノイズ成分を検出する。

次に、動き検出部６０の動作を説明する。動き検出部６０は、連続するフレームにおける画像信号の変化量をフレーム間の動きとして検出して、ノイズ検出部３０において検出された仮ノイズ成分のレベルを調整するための係数を設定する。

動き検出部６０は、減算部６２、絶対値取得部６４、係数算出部６８、低域成分取得部７０、低域成分取得部７６、最大値取得部８２および傾き算出部８４を備える。低域成分取得部７０は、低域成分算出部７２および積算部７４を有し、低域成分取得部７６は、低域成分算出部７８および積算部８０を有する。なお低域成分取得部７０は、ノイズ検出部３０における低域成分取得部３８と共用されてもよい。絶対値取得部６４は、絶対値算出部６５および積算部６６を有する。

低域成分取得部７０は、前フレームの画像信号の低域成分を取得し、低域成分取得部７６は、前々フレームの画像信号の低域成分を取得する。最大値取得部８２は、低域成分取得部７０で取得した低域成分と、低域成分取得部７６で取得した低域成分を比較して、最大値、すなわち大きい方を選択して取得する。傾き算出部８４は、最大値取得部８２で取得した低域成分の最大値をもとに、後述する傾きを算出する。低域成分取得部７０および低域成分取得部７６は、ノイズ検出部３０において説明した低域成分取得部３２および低域成分取得部３８と同様の処理を行い、また最大値取得部８２も、最大値取得部４４と同様の処理を行う。

減算部６２は、フレームメモリ２０から供給される前フレームの画像信号と、フレームメモリ２２から供給される前々フレームの画像信号の差分を算出する。
絶対値取得部６４は、前フレームと前々フレームの画像信号の差分の絶対値を取得し、積算部６６は、差分の絶対値を積算処理する。係数算出部６８は、積算部６６において取得された積算値と、傾き算出部８４において算出した傾きをもとに、仮ノイズ成分のレベルを調整するための係数を算出する。

本実施の形態において、減算部６２が、過去の連続するフレームにおける画像信号の変化量を取得する。画像信号処理装置１０では、過去のフレームにおける画像信号が、ノイズ成分を除去された状態でフレームメモリに格納されている。

したがって、過去の連続するフレーム、この例では前フレームの画像信号と前々フレームの画像信号の変化量をとることにより、この変化量を画像信号の動きととらえることができる。絶対値算出部６５は、変化量の絶対値を算出し、積算部６６は、ノイズ検出部３０における積算部３６および積算部４２に関連して説明したように、自身の変化量の絶対値と、周囲の画素における変化量の絶対値を積算する。積算部６６は、式(4)と同様に、下記の式により積算値を算出する。

積算した画像信号の差分の絶対値は、以後の処理において、画像信号の変化量、すなわち動きとして扱われる。係数算出部６８は、絶対値取得部６４からこの画像信号の変化量を受け取る。

図７は、係数算出部６８で係数を算出するための係数と動きの対応特性を示す。横軸が動き、すなわち画像信号の変化量を示し、縦軸が係数を示す。この対応特性によると、動きの量に応じて係数が一意に設定される。対応特性は、動きの量が大きくなると、係数が小さくなるように設定される。図１を参照して、係数算出部６８により算出される係数は、乗算部１２６において仮ノイズ成分に乗算される。このように、係数算出部６８は、仮ノイズ成分のレベルを調整する係数を算出し、この係数は、小さい値をとると、仮ノイズ成分の制限量が大きくなり、大きい値をとると、仮ノイズ成分の制限量が小さくなる性質を持つ。

減算部６２が、過去のフレームの画像信号同士の差分をとることにより、その差分を、画像の動きと捉えることができる。したがって、絶対値取得部６４で取得された動きの絶対値が大きい場合は、その画像自体が動きの大きい動画であることが判断でき、そのため、ノイズ算出部５０において算出された仮ノイズ成分も、ノイズ成分ではなく動きにより生じたものである可能性が高いと考えられる。したがって、動きが大きい場合には、仮ノイズ成分に乗算する係数を小さくし、一方で動きが小さい場合には、反対の理由から仮ノイズ成分が動きによるものではないと考えられるため、仮ノイズ成分に乗算する係数を大きくする。この対応特性の縦軸における始点A1は、適宜設定することができる。本実施の形態では、傾き算出部８４が、対応特性の傾きを画像信号の低域成分によって調整する。

図８は、傾き算出部８４で傾きを算出するための傾きと低域成分との対応特性を示す。横軸が低域成分を示し、縦軸が傾きを示す。なお、本実施の形態では、図７において、傾きを、横軸と対応特性線分との鋭角と定義し、したがって、点線８５で示される傾きが、点線８６で示される傾きよりも大きいとする。

図示されるように、低域成分のレベルが低い場合に傾きが小さく設定され、低域成分のレベルが高い場合に傾きが大きく設定される。図６でガンマ補正の入出力特性に関して説明したように、低域成分のレベルが低い場合は、ノイズの影響が出力に反映されやすく、低域成分のレベルが高い場合は、ノイズの影響が出力に反映されにくい性質がある。図８で示す対応特性もこの性質を利用しており、低域成分のレベルが低い場合には、画像信号の変化量をノイズ成分によるものと判断する必要性が高く、一方で低域成分のレベルが高い場合には、画像信号の変化量をノイズ成分によるものとするよりも、動きによるものとして判断する制御の方が、画像処理として好ましい。この理由から、図８の対応特性は、最大値取得部８２において取得された低域成分が小さい場合には傾きを小さく設定し、逆に低域成分が大きい場合には傾きを大きく設定する。なお、最大傾きS_HIGHおよび最小傾きS_LOWは、適宜設定することができ、また対応特性も、図示のような直線ではなく、適宜設定できることが好ましい。

図７に戻って、傾き算出部８４は、低域成分が小さい場合には傾きを小さく設定することにより、点線８６で示されるような対応特性を設定し、一方で低域成分が大きい場合には、傾きを大きく設定することにより、点線８５で示されるような対応特性を設定する。図示されるように、ある動き量を基準とした場合、点線８６の対応特性による係数値は、点線８５の対応特性による係数よりも大きくなる。係数算出部６８は、傾き算出部８４において設定された傾きをもとに、仮ノイズ成分のレベルを調整するための係数を設定する。以下、係数算出部６８が設定する係数を、係数ａとする。

次に、偽輪郭低減部９０の動作を説明する。偽輪郭低減部９０は、画像信号の色相成分や高域成分をもとに偽輪郭の発生を予測して、ノイズ検出部３０において検出された仮ノイズ成分のレベルを調整するための係数を設定する。

偽輪郭低減部９０は、色相成分取得部９２、係数算出部９８、高域成分取得部１００および係数算出部１０６を備える。色相成分取得部９２は、色相成分算出部９４および積算部９６を有し、高域成分取得部１００は、高域成分算出部１０２および積算部１０４を有する。なお既述のごとく、積算部９６および積算部１０４は、ノイズ検出部３０において説明した積算部３６および積算部４２と同様の積算処理を行う。

まず、色相成分算出部９４は、現フレームの画像信号から、色相成分を算出する。画像信号の画素における色相成分は以下の式により一意に求められる。
(8) Arctan((R-Y)/(B-Y))
算出した色相成分は積算部９６で周囲の画素における色相成分と積算され、係数算出部９８に送られる。積算された色相成分は、以下の式で表される。

図９は、係数算出部９８で係数を算出するための係数と色相成分の対応特性を示す。横軸が色相成分を示し、縦軸が係数を示す。この対応特性によると、色相成分が所定の値P1にあるとき、係数が極小値B2をとる。値P1は、人間の肌色の色相をもとに設定される。人間の目は、肌色の偽輪郭に敏感に反応する。したがって、肌色の色相成分については、ノイズ成分を除去するよりも、偽輪郭が発生する可能性を低減する方が好ましい。係数算出部９８は、図９に示す対応特性にしたがって、画素の色相成分にもとづき偽輪郭の発生を予測し、仮ノイズ成分のレベルを調整するための係数を設定する。なお、係数の極大値B1および極小値B2は適宜設定することが可能である。以下、係数算出部９８が設定する係数を、係数ｂとする。この係数ｂは、極小値B2のときに、仮ノイズ成分のレベルの制限量を極大とする。

偽輪郭の発生を予測する他の方法を説明する。まず高域成分算出部１０２が、現フレームの画像信号の高域成分を算出する。図２に戻って、中心の画素Ｄ２２がノイズを低減する対象画素であるとし、画素Ｄ２２の画像信号の高域成分を求める方法を示す。画素Ｄ２２の高域成分は、画像の微分信号を表し、例えば以下の式で求めることができる。
（画素Ｄ２２の高域成分）
(10)|(-2×D21 + 4×D22 - 2×D23)|+|(-2×D12 + 4×D22 - 2×D32)
または
(11)|(D11 - 2×D12 + D13)+(-2×D21 + 4×D22 - 2×D23)+(D31 - 2×D32 + D3
3)|
式中のDxyは図２中の画素Ｄｘｙにおける画像信号の値を示す。このように、高域成分算出部１０２は、画素Ｄ２２の高域成分を算出することができる。高域成分算出部１０２は、上式(10)〜(11)のいずれを用いて計算してもよく、また別の計算式により求めてもよい。高域成分算出部１０２により算出された高域成分は積算部１０４に送られ、積算部１０４は、高域成分を積算処理する。積算した高域成分は、以後の処理において、画像信号の高域成分として扱われる。積算した高域成分は、以下の式で表される。

図１０は、係数算出部１０６で係数を算出するための係数と高域成分の対応特性を示す。横軸が高域成分を示し、縦軸が係数を示す。この対応特性によると、画像信号の高域成分に応じて係数が一意に設定される。対応特性は、高域成分のレベルが大きくなると、係数が大きくなるように設定され、高域成分のレベルが小さくなると、係数が小さくなるように設定される。偽輪郭は、明るさが緩やかに変化している領域において発生する傾向がある。したがって、明るさが緩やかに変化する領域、すなわち高域成分が小さい画素に対しては、偽輪郭の発生を抑制するために、仮ノイズ成分に乗算する係数を低く設定し、一方で明るさが大きく変化する領域、すなわち高域成分が大きい画素に対しては、偽輪郭を抑制するよりも、ノイズ成分を低減するべく、仮ノイズ成分に乗算する係数を高く設定する。以上の理由から、係数と高域成分の対応特性は、高域成分のレベルが大きくなるにつれて、係数が大きくなるように設定されている。なお、係数の最大値C1および最小値C2は適宜設定することが可能である。以下、係数算出部１０６が設定する係数を、係数ｃとする。

以上により、ノイズ検出部３０において仮ノイズ成分が検出され、仮ノイズ成分のレベルを調整するための係数が、係数算出部６８、係数算出部９８および係数算出部１０６により、それぞれ、係数ａ、係数ｂ、係数ｃとして設定される。
検出された仮ノイズ成分、および設定された係数ａ、係数ｂ、係数ｃは、演算部１２０に送られる。

演算部１２０において、乗算部１２６が仮ノイズ成分のレベルと係数ａとを乗算する。乗算部１２６において、仮ノイズ成分のレベルが、動き検出部６０における動き検出の結果を加味して調整されることにより、出力画像における残像の発生を抑制することができる。乗算部１２４は、乗算部１２６による乗算結果に係数ｃを乗算する。乗算部１２２は、乗算部１２４による乗算結果に係数ｂを乗算する。乗算部１２４および乗算部１２２において、仮ノイズ成分のレベルが、偽輪郭低減部９０における偽輪郭の発生予測の検出結果を加味して調整されることにより、出力画像における偽輪郭の発生を抑制することができる。なお、各乗算部による乗算処理の順番はこれに限らない。

演算部１２０において、係数ａ、係数ｂ、係数ｃは仮ノイズ成分に乗算され、仮ノイズ成分のレベルを制限する要素として機能する。例えば、各係数が０〜１の範囲で設定されている場合を想定すると、係数値が大きいほど、仮ノイズ成分のレベルの制限量は少なくなり、また係数値が小さいほど、仮ノイズ成分のレベルの制限量は多くなる。係数値が１であれば、仮ノイズ成分のレベルに１を乗算することによって仮ノイズ成分のレベルは変化せず、したがって制限量は最小となり、一方で、係数値が０であれば、仮ノイズ成分のレベルに０を乗算することによって仮ノイズ成分のレベルは０となり、したがって制限量は最大となる。

以上の演算処理を受けて仮ノイズ成分のレベルが調整され、入力された画像信号から除去すべきノイズ成分が求まる。画像信号は、ノイズ除去手段である減算部１３０においてノイズ成分を除去され、出力端子１４から出力される。なお、ノイズ成分を除去された画像信号は、次の画像信号の処理のため、フレームメモリ２０に格納される。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施の形態では、ノイズ検出部３０、動き検出部６０、偽輪郭低減部９０および演算部１２０を備えた画像信号処理装置１０について説明したが、これらの構成は単独でも機能することが可能であり、変形例では、これらの構成のうちの１つの構成または複数の構成を備えた画像信号処理装置１０を提供することもできる。

実施の形態に係る画像信号処理装置の構成を示す図である。 低域成分算出部における画像信号の低域成分の算出方法を説明するための図である。 積算部における積算値の算出方法を説明するための図である。 ノイズ算出部において入力された画像信号の差分に施すコアリング処理の入出力特性を示す図である。 低域成分と閾値の対応を示す対応特性を示す図である。 公知のガンマ補正による入出力特性を示す図である。 係数算出部で係数を算出するための係数と動きの対応特性を示す図である。 傾き算出部で傾きを算出するための傾きと低域成分との対応特性を示す図である。 係数算出部で係数を算出するための係数と色相成分の対応特性を示す図である。 係数算出部で係数を算出するための係数と高域成分の対応特性を示す図である。

符号の説明

１０・・・画像信号処理装置、１２・・・入力端子、１４・・・出力端子、２
０、２２・・・フレームメモリ、３０・・・ノイズ検出部、３２、３８、７０、７６・・・低域成分取得部、３６、４２、６６、７４、８０、９６、１０４・・・積算部、３４、４０、７２、７８・・・低域成分算出部、４４、８２・・・最大値取得部４６・・・閾値算出部、４８、６２、１３０・・・減算部、５０・・・ノイズ算出部、６０・・・動き検出部、６４・・・絶対値取得部、６５・・・絶対値算出部、６８、９８、１０６・・・係数算出部、８４・・・傾き算出部、９０・・・偽輪郭低減部、９２・・・色相成分取得部、９４・・・色相成分算出部、１００・・・高域成分取得部、１０２・・・高域成分算出部、１２０・・・演算部、１２２、１２４、１２６・・・乗算部。

Claims (8)

1. 入力される画像信号のノイズ成分を低減する画像信号処理装置であって、
   画像信号のノイズ成分を検出するノイズ検出部と、
   画像信号の色相成分を取得する第１取得部と、
   前記第１取得部において取得した色相成分をもとに、前記ノイズ検出部において検出されたノイズ成分のレベルを調整する第１演算部と、
   画像信号から、前記第１演算部において調整された第１ノイズ成分を除去する第１ノイズ除去部と、
   を備えることを特徴とする画像信号処理装置。
2. 前記ノイズ検出部は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号に基づいて、ノイズ成分を検出し、
   前記第１取得部は、現フレームの画像信号の色相成分を取得することを特徴とする請求項１に記載の画像信号処理装置。
3. 前記第１取得部は、画像信号の画素の色相成分と、画像信号の画素の周囲の画素の色相成分とを積算した画像信号の色相成分を取得することを特徴とする請求項１または２に記載の画像信号処理装置。
4. 前記第１演算部は、色相成分が所定の値にあるときに、ノイズ成分のレベルの制限量を極大とすることを特徴とする請求項１から３のいずれかに記載の画像信号処理装置。
5. 画像信号の高域成分を取得する第２取得部と、
   前記第２取得部において取得した高域成分をもとに、前記ノイズ検出部において検出されたノイズ成分のレベルを調整する第２演算部と、
   画像信号から、前記第２演算部において調整された第２ノイズ成分を除去する第２ノイズ除去部と、
   を備えることを特徴とする請求項１に記載の画像信号処理装置。
6. 前記ノイズ検出部は、現フレームの画像信号と、現フレームの１フレーム前に入力された前フレームの同一画素の画像信号に基づいて、ノイズ成分を検出し、
   前記第２取得部は、現フレームの画像信号の高域成分を取得することを特徴とする請求項５に記載の画像信号処理装置。
7. 前記第２取得部は、画像信号の画素の高域成分と、画像信号の画素の周囲の画素の高域成分とを積算した画像信号の高域成分を取得することを特徴とする請求項５または６に記載の画像信号処理装置。
8. 前記第２演算部は、前記第２取得部において取得した高域成分が大きいほど、ノイズ成分のレベルの制限量を少なくし、高域成分が小さいほど、ノイズ成分のレベルの制限量を多くすることを特徴とする請求項５から７のいずれかに記載の画像信号処理装置。