JP2004328206A

JP2004328206A - ノイズリデューサ

Info

Publication number: JP2004328206A
Application number: JP2003118245A
Authority: JP
Inventors: Hiroshi Yumoto; 洋志湯本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-04-23
Filing date: 2003-04-23
Publication date: 2004-11-18

Abstract

【課題】フレームメモリを使用した巡回型ノイズリデューサでは、入力映像信号とフレームメモリに記憶した１フレーム前の映像信号との差の小レベルの部分をノイズとして検出する。このフレーム間差分の小レベルの信号には、ノイズだけでなく動き成分も含まれている場合があり、この信号を元信号から除去すると映像が劣化するという問題点があった。
【解決手段】従来の巡回型ノイズリデューサに対して、さらにもう一段フレームメモリを追加し、２つの時刻のフレーム間差分値から、フレーム間差分の時間方向の変化を検出する。この変価値を用いて、入力映像信号に含まれるノイズ成分を高い精度で検出する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号処理の分野におけるフレームメモリを用いた巡回型ノイズリデューサに関する。
【０００２】
【従来の技術】
映像信号処理装置において、映像信号の記録、再生、伝送処理等の過程で本来の映像信号と無関係なノイズ成分が混入すると、その出力映像を見た人からは、映像の劣化として認知される。これらノイズ成分を除去することは、映像の高画質化をはかる上で重要である。ノイズリデューサは、入力信号に混入している雑音成分をノイズとして検出し、入力信号から除去するものである。映像信号処理分野のノイズリデューサとしては、フレームメモリを使用した巡回型ノイズリデューサが知られている（例えば特許文献１参照。）。
【０００３】
この巡回型ノイズリデューサは、入力映像信号と１フレーム前の映像信号の差分値を検出し、このフレーム間差分信号の中の小さいレベルの部分をノイズと判断して除去するものである。これは、一般的に映像の動き成分は、時間方向に相関の大きい低周波成分であるのに対して、ノイズは時間方向に相関が殆どないことを利用したものである。
【０００４】
図５は従来の巡回型ノイズリデューサの一例を示したものである。図５のノイズリデューサは、フレームメモリ５１、第３のフレーム間差分検出手段５２、ノイズ検出手段５３、ノイズ除去手段５４から構成される。
【０００５】
フレームメモリ５１は、１フレーム前の出力映像信号を記憶し、映像信号Ｙｆを出力する。第３のフレーム間差分検出手段５２は、入力映像信号Ｙｉｎとフレームメモリの出力映像信号Ｙｆとの差分をとり、フレーム間差分信号ΔＹを出力する。フレーム間差分信号ΔＹは、フレーム間差分を表す信号であり、映像の静止部分ではノイズ成分が出力される。つまり映像が完全静止画である場合、入力映像信号から、このフレーム間差分信号ΔＹをそのまま差し引けば、ノイズを完全に除去することができる。ノイズ検出手段５３は、フレーム間差分信号ΔＹを用いて、入力映像信号に混在するノイズを判定し、ノイズ成分信号Ｎｓを出力する。
【０００６】
以下にノイズ検出手段５３の動作について説明する。
【０００７】
前述したように、入力映像信号が完全静止画である場合、フレーム間差分ΔＹは全てノイズ成分として検出することができる。しかし、入力映像信号が動画であった場合、フレーム間差分ΔＹはノイズ成分以外に動き成分を含むことになる。
【０００８】
そこで、巡回型のノイズリデューサの一例として、フレーム間差分ΔＹに動き適応係数をかけて、映像の動き量を考慮した上でノイズ成分を抽出する方法が提案されている。例えば入力映像信号から動き成分ｍを検出して、この動き成分ｍを５段階に分類し、０から５（０が完全静止画）までの値をとるとしたとき、フレーム間差分ΔＹを（５−ｍ）／５倍して出力するような構成が考えられる。フレームメモリを用いた巡回型のノイズリデューサは、巡回型のフィルタに相当するため、動き適応係数は帰還係数を呼ばれることが多い。動き適応係数の判定方式には、動き検出回路と係数器、非線形関数など様々な方法が提案されている。ここでは、ノイズ検出手段５３として非線形関数を用いた一例を示す。
【０００９】
図６は、従来のノイズ検出手段５３における入出力関係の１例を示したものであり、横軸はノイズ検出手段の入力値でフレーム間差分信号ΔＹ，縦軸はノイズ検出手段の出力値でノイズ成分Ｎｓである。ノイズ検出手段は、入力のΔＹの値によって、検出するノイズ成分の判定を３つのパターンに切り換える。図６の横軸に示したＴｈ１，Ｔｈ２の値は、ノイズ検出手段がノイズ成分を判定する際に用いる任意のしきい値である。
【００１０】
入力ΔＹが０以上Ｔｈ１以下の場合、ノイズ検出手段５３は入力映像信号を完全静止画と判断し、入力を全てノイズ成分Ｎｓとして出力する。
【００１１】
入力ΔＹがＴｈ１より大きく、Ｔｈ２より小さい場合、ノイズ検出手段５３は入力が大きくなるに従って、入力映像信号は静止画から、より動画へ近づくと判断し、ノイズ成分Ｎｓを減衰させる。
【００１２】
入力ΔＹがＴｈ２より大きい場合、ノイズ検出手段５３は入力映像信号を完全動画と判断し、ノイズ成分Ｎｓを０と出力する。
【００１３】
ノイズ除去手段５４は、ノイズ判定手段から出力されたノイズ成分Ｎｓを、入力映像信号から減算し、出力映像信号Ｙｏｕｔを出力する。
【００１４】
以上に示したように、従来のフレームメモリを用いた巡回型のノイズリデューサでは、入力映像信号とフレームメモリ５１に記憶した１フレーム前の映像信号の差の小レベルの部分をノイズとして検出する。
【００１５】
【特許文献１】
特開平１０−４５３７号公報
【００１６】
【発明が解決しようとする課題】
しかしながら、ノイズ検出手段５３はフレーム間差分の値が任意のしきい値を超えた場合、入力映像信号は動画と判断し、任意のしきい値よりも小さい場合は、静止画であると判断して、ノイズ成分の大きさを判定する。このような従来のノイズリデューサでは、入力映像信号が任意のしきい値を超えない程度の動き成分をもっていた場合にも、ノイズ検出手段５３は入力映像信号を完全静止画と判断し、フレーム間差分値を入力映像信号から除去してしまう。このような場合、ノイズリデューサは入力映像信号から動き成分を除去することになり、映像の動き部分においてボケが発生し、映像が劣化するという問題点を有していた。
【００１７】
【課題を解決するための手段】
入力映像信号と１フレーム前の映像信号との差分を検出する第１のフレーム間差分検出手段と、１フレーム前の映像信号と２フレーム前の映像信号との差分を検出する第２のフレーム間差分検出手段と、第１のフレーム間差分検出手段の出力と第２のフレーム間差分検出手段の差分を検出する第３のフレーム間差分検出手段と、第１のフレーム間差分検出手段の出力からノイズ成分を抽出する第１のノイズ検出手段と、第３のフレーム間差分検出手段の出力から、入力映像信号の動画／静止画の判定を行う静止画判定手段と、静止画判定手段の出力によって第１のノイズ検出手段の出力を制御して、最終ノイズ成分を判定する第２のノイズ検出手段と、入力映像信号から第２のノイズ検出手段の出力を除去することを特徴とする。
【００１８】
【発明の実施の形態】
（実施の形態１）
図１は本発明の実施の形態１におけるノイズリデューサの構成を示すブロック図である。本実施の形態は、映像信号の輝度信号に対するノイズリデューサの一例を示したものである。本実施の形態におけるノイズリデューサは、第１のフレームメモリ１、第２のフレームメモリ２、第１のフレーム間差分検出手段３、第２のフレーム間差分検出手段４、第３のフレーム間差分検出手段５、第１のノイズ検出手段６、静止画判定手段７、第２のノイズ検出手段８、ノイズ除去手段９から構成される。
【００１９】
第１のフレームメモリ１は、１フレーム前の入力映像信号を記憶し、この映像信号を出力する。第２のフレームメモリ２は、第１のフレームメモリ１の出力する映像を記憶することにより、２フレーム前の入力映像信号を記憶し、この映像信号を出力する。第１のフレーム間差分検出手段３は、入力映像信号Ｙｉｎと第１のフレームメモリ１の出力映像信号の差分ΔＹ１を出力する。第２のフレーム間差分検出手段４は、第１のフレームメモリ１の出力映像信号と第２のフレームメモリ２の出力映像信号の差分ΔＹ２を出力する。第３のフレーム間差分検出手段５は、フレーム間差分信号ΔＹ１とフレーム間差分信号ΔＹ２の差分信号ΔＹ３を出力する。第１のノイズ検出手段６は、フレーム間差分信号ΔＹ１を用いて、入力映像信号中のノイズ成分Ｎｓを判定する。
【００２０】
第１のノイズ検出手段６の動作については、従来例のノイズ検出手段と同様であるため省略する。本実施の形態では，第１のノイズ検出手段６の一例として、非線形関数を用いる。この非線形関数以外にも、例えば入力映像信号に対して動き検出を行って動き適応係数を決め、フレーム間差分ΔＹに動き適応係数をかけて、ノイズ成分を抽出する構成も考えられる。ノイズを検出する際の動き適応係数の算出方法は、このノイズリデューサとは直接関係ないため、特に方式は指定しない。
【００２１】
静止画判定手段７は、ΔＹ３を用いて、フレーム間差分の時間方向の差分係数αを出力する。以下に静止画判定手段７の動作について説明する。
【００２２】
図３は、静止画判定手段７の入出力関係の１例を示したものである。図３の横軸ΔＹ３は静止画判定手段の入力値であり、時刻の異なる２つのフレーム間差分の差分をとったものである。静止画判定手段７は、入力ΔＹ３の値の大きさによって、出力αの値を３つパターンに切り換えて出力する。以下にこれら３つのパターンを示す。静止画判定手段７の入力ΔＹ３の値が任意のしきい値Ｓｔｈ１よりも小さい場合、αの値を１として出力する。静止画判定手段７の入力ΔＹ３の値が任意のしきい値Ｓｔｈ１よりも大きく、任意のしきい値Ｓｔｈ２よりも小さい場合、αの値を０．５として出力する。静止画判定手段７の入力ΔＹ３の値が任意のしきい値Ｓｔｈ２よりも大きい場合、αの値を０として出力する。静止画判定手段７は、フレーム間差分の時間方向の変化値ΔＹ３の値が小さい場合に大きな出力値を、またこの変化値ΔＹ３の値が大きな場合に、小さい値を出力する関数であれば良く、本実施の形態のような入出力関係に特定しない。
【００２３】
第２のノイズ検出手段８は、第１のノイズ検出手段６の出力Ｎｓと静止画判定手段の出力αの乗算を行い、乗算した結果Ｎｓαを出力する。本実施の形態では、最終的なノイズ成分の判定方法の一例として、第１のノイズ検出手段６の出力と静止画判定手段７の出力αの値の積Ｎｓαを算出する方法を採用した。第１のノイズ検出手段６の出力と静止画判定手段７の出力の２つの情報を用いて、最終的なノイズ成分を判定する構成であれば、本実施の形態のような積をとる方法に限定しない。
【００２４】
ノイズ除去手段９は、入力映像信号から第２のノイズ検出手段８の出力Ｎｓαを差し引き、出力映像信号Ｙｏｕｔを出力する。
【００２５】
本実施の形態におけるノイズリデューサ全体の動きについて、以下に簡単に説明する。図３において、例えばαが１の値をとる場合、最終的なノイズ成分Ｎｓαの値はＮｓとなる。これは２つの時刻のフレーム間差分の相関が極めて高いため、フレーム間差分を全て動き成分と判断したものである。
【００２６】
また、例えばαの値が０の値をとる場合、最終的なノイズ成分Ｎｓαの値は、０となる。これはフレーム間差分ΔＹ１とフレーム間差分ΔＹ２の相関が低いため、フレーム間差分の値をノイズと判定したものである。
【００２７】
（実施の形態２）
図４は本発明の実施の形態２におけるノイズリデューサを示したものである。本実施の形態におけるノイズリデューサは、第１のフレームメモリ１、第２のフレームメモリ２、第１のフレーム間差分検出手段３、第２のフレーム間差分検出手段４、第３のフレーム間差分検出手段５、第１のノイズ検出手段６、静止画判定手段７、第２のノイズ検出手段８、ノイズ除去手段９から構成される。本実施の形態では、ノイズリデューサを構成する各要素の動作は、静止画判定手段７以外は全て実施の形態１と同様のため説明を省略する。
【００２８】
本実施の形態の静止画判定手段７は、第１のノイズ検出手段６の出力を受け、信号αを出力する。静止画判定手段７は、ノイズ検出手段への入力ΔＹ１がＴｈ１より小さい完全静止画領域であった場合（図２参照）のみ、図３の入出力特性に示したαの値を出力し、それ以外の場合は、常にαの値を１で出力する。上述した静止画判定手段７の出力αの切り換えは、本実施の形態では第１のノイズ検出手段６で用いたしきい値Ｔｈ１を使用するが、別途、任意のしきい値を設定し、これを用いて切り換えてもよい。
【００２９】
実施の形態１に対して、上記の処理を追加することにより、フレーム間差分ΔＹ１がＴｈ１より大きくＴｈ２より小さい場合に、ノイズリデューサがノイズ成分に対して、動き成分と判断することを防ぐことが出来る。
【００３０】
【発明の効果】
従来のノイズリデューサでは、フレーム間差分が小レベルの値をとる映像信号に対して、この小レベルの部分がノイズであるか、又は動き成分であるかを判断することは難しかった。以上に示すように、本発明によれば、２つの時刻のフレーム間差分値を用いて、フレーム間差分の時間方向の変化を検出している。
【００３１】
この変化量の相関が極めて高い場合、ノイズの時間方向の相関が殆どない事を考慮すると、フレーム間差分信号は動き成分であると判断することができる。
【００３２】
これにより、本発明を用いたノイズリデューサは、微小な動き成分をもつ映像に対しても高い精度でノイズを除去することが出来る。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるノイズリデューサの構成を示すブロック図
【図２】本発明の実施の形態１におけるノイズリデューサのノイズ検出手段の入出力関係図
【図３】本発明の実施の形態１におけるノイズリデューサの静止画判定手段の入出力関係図
【図４】本発明の実施の形態２におけるノイズリデューサの構成を示すブロック図
【図５】従来のノイズリデューサの構成を示すブロック図
【図６】従来のノイズリデューサのノイズ検出手段の入出力関係図
【符号の説明】
１第１のフレームメモリ
２第２のフレームメモリ
３第１のフレーム間差分検出手段
４第２のフレーム間差分検出手段
５第３のフレーム間差分検出手段
６第１のノイズ検出手段
７静止画判定手段
８第２のノイズ検出手段
９ノイズ除去手段

Claims

入力映像信号と１フレーム前の映像信号との差分を検出する第１のフレーム間差分検出手段と、１フレーム前の映像信号と２フレーム前の映像信号との差分を検出する第２のフレーム間差分検出手段と、前記第１のフレーム間差分検出手段の出力と前記第２のフレーム間差分検出手段の差分を検出する第３のフレーム間差分検出手段と、前記第１のフレーム間差分検出手段の出力からノイズ成分を抽出する第１のノイズ検出手段と、前記第３のフレーム間差分検出手段の出力から、入力映像信号の動画／静止画の判定を行う静止画判定手段と、前記静止画判定手段の出力によって第１のノイズ検出手段の出力を制御して、最終ノイズ成分を判定する第２のノイズ検出手段と、入力映像信号から前記第２のノイズ検出手段の出力を除去することを特徴とするノイズリデューサ。