JP2008017021A - 動画像ノイズ除去装置 - Google Patents

Abstract

【課題】インパルスノイズおよびフレーム間差分の抑圧をともに処理しても、遅延の少なく、必要とするメモリの少ない動画像ノイズ除去装置を提供する。
【解決手段】動画像ノイズ除去装置は、正の整数Ｎが正の整数Ｍを超える場合、入力された画素値および該画素値の入力に対して１から２ｎ｛但し、ｎはＮから（Ｎ−Ｍ）までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値が入力され、フィルタ処理して得る画素値を画素値の入力に対してｎライン分前に入力された画素値に代えて出力する（Ｍ＋１）個の第１画像フィルタと、（Ｍ＋１）個の第１画像フィルタから出力された画素値および（２Ｎ＋１）個入力の第１画像フィルタから出力された画素値が１からＭライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を（２Ｎ＋１）個入力の第１画像フィルタの出力が入力された画素値に代えて出力する第２画像フィルタと、を有する。
【選択図】図８

Description

この発明は、入力動画像のノイズを除去し、画質の改善を行うための動画像ノイズ除去装置に関するものである。

従来のノイズ除去装置において、複数ラインの画素値が入力される複数のフィルタは、独立に処理されることが多かった。そのため、３つのラインが入力されるフィルタを２つ利用するときには、前段に配置されたフィルタで１ライン分遅延され、後段に配置されたフィルタでさらに１ライン分遅延されるので、演算遅延以外に、２ライン分の遅延が必要である。
例えば、３ラインメディアンフィルタでは、入力画素値を２ライン分遅延した画素値、１ライン分遅延した画素値、遅延なしの画素値の３ラインの画素値を入力し、これらをソートして中央の値を出力する。出力画素値は、入力の１ライン分遅延した画素値に相当するので、３ラインメディアンフィルタでの処理遅延は、１ライン分遅延と演算遅延との合算値である（例えば、特許文献１参照）。

また、入力画像を２次元ＬＰＦ演算しているノイズ低減回路では、対象とする画素の周辺が演算対象となるため、少なくとも水平および垂直方向に３個以上の画素値が入力されることが必要である。ここで、最小の３画素×３ラインの入力を想定すると、入力画素値を２ライン分遅延した画素値、１ライン分遅延した画素値、遅延なしの画素値の３ラインの画素値を入力し、ＬＰＦ演算処理を行う。この演算の結果、得られる画素値は中央の１ライン分遅延した画素値である。その結果、動静の判定をこの位置の画素に対して行うこととなり、入力画素値を１ライン分遅延した画素値のノイズ低減演算が実行される。このため、このノイズ低減回路での処理遅延は、１ライン分遅延と演算遅延との合算値である（例えば、特許文献２参照）。

特開平０９−２００５７９号公報 特開平０６−２２５１７８号公報

しかし、メディアンフィルタによるインパルスノイズ除去と、フレーム間差分抑圧フィルタによるノイズ低減とをともに行うときには、メディアンフィルタとフレーム間差分抑圧フィルタとを直列に接続する。このとき、入力ライン分の画素値を揃えるため、ライン遅延が挿入されるが、このライン遅延は、上下のＮラインずつの画素値が入力される場合、すなわち入力ライン数が（２×Ｎ＋１）の場合、Ｎライン分の遅延となる。そして、前段に配置されたフィルタに上下のＮラインずつの画素値が入力され、後段に配置されたフィルタに上下のＭラインずつの画素値が入力されるので、演算遅延に加え、（Ｎ＋Ｍ）ライン分の遅延が発生する。このため、入力ライン数が多いほど遅延が大きくなり、かつ遅延を実現するためのメモリ等の回路も多くなるという問題がある。

この発明の目的は、インパルスノイズおよびフレーム間差分の抑圧をともに処理しても、遅延の少なく、必要とするメモリの少ない動画像ノイズ除去装置を提供することである。

この発明に係わる動画像ノイズ除去装置は、連続するフレーム内の上下方向に並ぶライン上に並ぶ画素のラスタースキャン順に入力される画素値からなる動画像の画像データに含まれるノイズを除去する動画像ノイズ除去装置において、予め定めた正の整数Ｎが予め定めた正の整数Ｍを超える場合、入力された画素値および該画素値の入力に対して１ライン分から２ｎ｛但し、ｎはＮから（Ｎ−Ｍ）までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値がそれぞれ入力され、フィルタ処理して得る画素値を上記画素値の入力に対してｎライン分前に入力されたそれぞれの画素値に代えて出力する（Ｍ＋１）個の第１画像フィルタと、上記（Ｍ＋１）個の第１画像フィルタから出力された画素値および上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタから出力された画素値が１ライン分からＭライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力が入力された画素値に代えて出力する第２画像フィルタと、を有する。

この発明に係わる動画像ノイズ除去装置の効果は、インパルスノイズを除去できる第１画像フィルタとフレーム間差分を抑圧できる第２画像フィルタを備えて動画像のノイズを除去処理しても、第２画像フィルタの入力として第１画像フィルタの出力を入力ライン数を減少させたものを使用しているので、処理に伴って発生する遅延がＭとＮの大きな方の数のライン分の遅延と演算遅延だけであり、従来の（Ｍ＋Ｎ）ライン遅延と演算遅延に比べてＭまたはＮの小さい方分のライン遅延を短縮することができる。

実施の形態１．
図１は、この発明の実施の形態１に係わる動画像ノイズ除去装置の構成図である。
動画像は、所定の周期で切り替わるフレームで構成され、フレームは、複数の画素から構成されている。画素は、人がフレームを眺めたときの上方左端から水平に右手方向に走査され、右端に達すると１画素分下方に移動しながら左端から再度水平に右手方向に走査を繰り返す。このとき、左端から右端に１回走査する画素群をライン（走査線）と称す。
動画像のデータは、画素毎の画素値から構成され、画素値は、ライン毎、フレーム毎に送受信される。そしてこの発明に係わる動画像ノイズ除去装置は、動画像のデータに送受信の過程で加わるノイズをメディアンフィルタとフレーム間差分抑圧フィルタで除去する機能を有する。

この発明の実施の形態１に係わる動画像ノイズ除去装置は、図１に示すように、入力された元動画像の画素値を２ライン分記憶し、２ライン分遅延した画素値を２ライン遅延画素値として出力する２ライン遅延手段１、入力された元動画像の画素値を１ライン分を記憶し、１ライン分遅延した画素値を１ライン遅延画素値として出力する１ライン遅延手段２を有する。

また、動画像ノイズ除去装置は、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値が入力され、２ライン遅延画素値が入力される直近に入力された２個の２ライン遅延画素値、１ライン遅延画素値が入力される直近に入力された２個の１ライン遅延画素値および元動画像の画素値が入力される直近に入力された２個の元動画像の画素値を記憶し、３つの２ライン遅延画素値、３つの１ライン画素値および３つの元動画像の画素値を大きさ順に並べ替え、大きさの中央の画素値を出力する選択回路３を有する。なお、この選択回路３は、３入力の第１画像フィルタであり、３ライン×３画素メディアンフィルタを構成する。

ここで、選択回路３の動作を図２を参照して説明する。図２（ａ）において、１行目には２ライン遅延画素値、２行目には１ライン遅延画素値、３行目には、元動画像の画素値を示す。また、１列目には今回入力された画素値、２列目には直近に入力された画素値、３列目には２つ前に入力された画素値を示す。図２（ａ）に示す９つの画素値を大小の順に並べ替えると図２（ｂ）のようになる。そして、大きさが中央の画素値、図２（ｂ）の場合、８を画素値として出力する。

また、動画像ノイズ除去装置は、入力された元動画像の画素値が入力され、元動画像の画素値が入力される直近に入力された２個の元動画像の画素値を記憶し、３つの元動画像の画素値を大きさ順に並べ替え、大きさの中央の画素値を出力する第３画像フィルタとしての水平メディアンフィルタ４、選択回路３から出力される画素値を１ライン分記憶し、１ライン分遅延する画素値を出力する第２の１ライン遅延手段５を有する。なお、この水平メディアンフィルタ４は、水平３画素メディアンフィルタを構成する。

ここで、水平メディアンフィルタ４の動作を図３を参照して説明する。図３（ａ）において、１列目には今回入力された元動画像の画素値、２列目には直近に入力された元動画像の画素値、３列目には２つ前に入力された元動画像の画素値が示されている。図３（ａ）に示す３つの画素値を大小の順に並べ替えると図３（ｂ）のようになる。そして大きさが中央の画素値、図３（ｂ）の場合、１１を画素値として出力する。

また、動画像ノイズ除去装置は、第２の１ライン遅延手段５から出力される画素値、選択回路３から出力される画素値、水平メディアンフィルタ４から出力される画素値が入力され、第２の１ライン遅延手段５から出力される画素値が入力される直近に入力された２個の画素値、選択回路３から出力される画素値が入力される直近に入力された２個の画素値および水平メディアンフィルタ４から出力される画素値が入力される直近に入力された２個の画素値と入力された３つの画素値とを用いて３行３列の現フレーム画素値行列を作成し、選択回路３から出力される画素値が入力される直近に入力された画素値に対応する画素を囲繞する９画素のフレームメモリ７に記憶されている画素値を用いて３行３列の前フレーム画素値行列を作成し、現フレーム画素値行列と前フレーム画素値行列の行列要素毎の差分の絶対値を求め、差分の絶対値の最大値Ｑを出力する動領域演算手段６を有する。

ここで、動領域演算手段６の動作を図４を参照して説明する。図４（ａ）は、現フレーム画素値行列、図４（ｂ）は、前フレーム画素値行列、図４（ｃ）は、差分の絶対値の行列を示す。そして、差分の絶対値の最大値Ｑは、図４（ｃ）の場合、３となる。

また、動画像ノイズ除去装置は、動領域演算手段６から出力される差分の絶対値の最大値Ｑが入力され、最大値Ｑと予め定められた２つの閾値ＴＨ、２×ＴＨとを用いて３つの特性に分類し、特性を示す値を出力する動領域判定手段８、特性に応じて選択回路３から出力される画素値と、選択回路３から出力される画素値の画素に対応する対応するフレームメモリ７に記憶されている前フレームの画素の画素値と、の差分を抑圧する差分抑圧回路９を有する。なお、動領域演算手段６、動領域判定手段８、差分抑圧回路９およびフレームメモリ７は、第２画像フィルタを構成する。

ここで、動領域判定手段８の動作について説明する。差分の絶対値の最大値Ｑと２つの閾値ＴＨおよび２×ＴＨを用いて３つの特性に分類する。例えば、最大値Ｑが０以上で閾値ＴＨ以下のとき、特性ａ、最大値Ｑが閾値ＴＨを超えて閾値２×ＴＨ以下のとき、特性ｂ、最大値Ｑが閾値２×ＴＨを超えるとき、特性ｃと分類する。
次に、差分抑圧回路９の動作について図５を参照して説明する。図５には、選択回路３から出力される画素値とそれに対応する前フレームの画素値との差分を横軸に表し、選択回路３から出力される画素値を変更した画素値とそれに対応する前フレームの画素値との差分を縦軸に表している。特性ｃの場合、差分は変わらないが、特性ｂの場合、選択回路３から出力された画素値を変更して差分が小さくなるようにする。さらに、特性ａの場合、差分がさらに小さくなるように画素値を変更し、差分抑圧する。

次に、この発明の実施の形態１に係わる動画像ノイズ除去装置の動作を図６のタイミングチャートを使って説明する。
元画像の画素値として、フレームの各ラインの画素の画素値が順次入力される。
選択回路３への入力は、２ライン遅延手段１から出力される２ライン遅延画素値、１ライン遅延手段２から出力される１ライン遅延画素値、元画像の画素値が入力される。
選択回路３からの出力は、３ライン×３画素の９個の画素値の大きさの中央値（メディアン）で１ライン遅延画素値を置き換えるので、この出力には１ライン分の遅延と処理遅延が発生する。
水平メディアンフィルタ４は、元画像の画素値が入力され、水平３画素の３個の画素値の大きさの中央値（メディアン）で元画像の画素値を置き換えて出力するので、この出力には処理遅延が発生する。
動領域演算手段６は、選択回路３から出力された画素値、第２の１ライン遅延手段５から出力される選択回路３から出力された画素値を１ライン分遅延した画素値および水平メディアンフィルタ４から出力された画素値が入力される。このうち、選択回路３から出力された画素値を１ライン分遅延した画素値がある程度の演算遅延の後差分抑圧回路９から最終画素が出力される。結果、入力から出力前の遅延は、１ライン分遅延とメディアンフィルタおよび差分抑圧処理の処理遅延を足したものとなる。

このような動画像ノイズ除去装置は、メディアンフィルタとフレーム間差分抑圧フィルタでの処理を１ライン分遅延と処理遅延だけで行うことができる。そして、従来のようにメディアンフィルタとフレーム間差分抑圧フィルタを直列に接続した場合より１ライン分の遅延を短縮することができる。
また、処理に伴って発生する遅延が影響する範囲は、動領域演算手段６だけであるため、影響を少なく押さえることができる。たとえば、水平メディアンフィルタ４は、垂直方向の細いラインを消しやすいので、その影響で静止領域を動領域と誤判定することがあり得る。しかし、処理対象は１ライン上の、３ライン×３画素のメディアンフィルタの出力であるため、垂直方向の細いラインが消去されて出力されることはない。

また、メディアンフィルタはインパルスノイズ除去に有効であり、一方フレーム間差分抑圧フィルタは、動画像に含まれる静止部分の画素値の揺れを抑制することができる。そして、メディアンフィルタとフレーム間差分抑圧フィルタを直列に接続することで２種類のノイズの除去を行える。さらに、インパルスノイズによる動領域演算での誤判定を防ぐこともできる。

また、この実施の形態１に係わるメディアンフィルタの出力は、選択回路３で行う３ライン×３画素のメディアンフィルタ処理の結果であるが、対象画像の上下左右の５画素のフィルタや、対象画素の上下のみの垂直メディアンフィルタでも実現可能である。また、隣接５画素、上下３画素、水平３画素のメディアンフィルタ、フィルタ無しなどと、何らかの判定に基づいて切替を行うことも可能である。

また、動領域演算手段６では、上述のような演算方法以外にも、周辺９画素に重み付け平均を使用した平均値と処理対象画素位置と同じ位置の前フレームの画素値との差分をとり、その差分値を判定用の値として出力することでも実現可能である。

実施の形態２．
図７は、この発明の実施の形態２に係わる動画像ノイズ除去装置の構成図である。
この発明の実施の形態２に係わる動画像ノイズ除去装置は、図７に示すように、実施の形態１に係わる動画像ノイズ除去装置に３ライン遅延手段１１、４ライン遅延手段１２、垂直５画素フィルタ１３、第２の２ライン遅延手段１４を追加し、選択回路３の代わりに垂直３画素フィルタ１５、水平メディアンフィルタ４の代わりにスルー手段１６、動領域演算手段６の代わりに動領域演算手段６Ｂを有することが異なっており、それ以外は同様であるので、同様な部分に同じ符号を付記して説明は省略する。この実施の形態２に係わる動画像ノイズ除去装置では、垂直３画素フィルタ１５および垂直５画素フィルタ１３が第１画像フィルタを構成している。また、スルー手段１６が第３画像フィルタを構成している。

３ライン遅延手段１１は、入力された元動画像の画素値を３ライン分記憶し、３ライン分遅延した画素値を３ライン遅延画素値として出力する。
４ライン遅延手段１２は、入力された元動画像の画素値を４ライン分記憶し、４ライン分遅延した画素値を４ライン遅延画素値として出力する。

垂直５画素フィルタ１３は、４ライン遅延画素値、３ライン遅延画素値、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値が入力され、４ライン遅延画素値、３ライン遅延画素値、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値に所定の係数で重み付けして加算し、所定の値で除算して、その商を２ライン遅延画素値の代わりに出力する。具体的な例として、垂直５画素フィルタ１３では、式（１）に従って重み付け平均値を求める。なお、画素の座標（ｘ，ｙ）のフィルタ前の画素値をＩ（ｘ，ｙ）、フィルタ後の画素値をＩ’（ｘ，ｙ）とする。
所定の係数の選択方法によっては、画像に含まれる高周波成分を取り除くことができ、その結果インパルスノイズを除去することも可能である。また、同様に特定の周波数成分を強調することも可能で、その結果エッジを強調することも可能である。

垂直３画素フィルタ１５は、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値が入力され、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値に所定の係数で重み付けして加算し、所定の値で除算して、その商を１ライン遅延画素値の代わりに出力する。具体的な例として、垂直３画素フィルタ１５では、式（２）に従って重み付け平均値を求める。この所定の係数は、垂直５画素フィルタ１３の係数と類似の係数を使用しており、垂直５画素フィルタ１３と同様の効果が得られる。
スルー手段１６は、１入力の垂直画像フィルタである。そして、１入力の垂直画像フィルタは元画像の画素値をそのまま出力するものとする。

動領域演算手段６Ｂは、垂直５画素フィルタ１３から出力される画素値、垂直５画素フィルタ１３から出力される画素値が１ライン分遅延された画素値、垂直５画素フィルタ１３から出力される画素値が２ライン分遅延された画素値、垂直３画素フィルタ１５から出力される画素値、スルー手段１６から出力される画素値が入力される。

また、動領域演算手段６Ｂは、第２の２ライン遅延手段１４から出力される画素値が入力される直近に入力された５個の画素値、第２の１ライン遅延手段５から出力される画素値が入力される直近に入力された４個の画素値、垂直５画素フィルタ１３から出力される画素値が入力される直近に入力された４個の画素値、垂直３画素フィルタ１５から出力される画素値が入力される直近に入力された４個の画素値およびスルー手段１６から出力される画素値が入力される直近に入力された４個の画素値と入力された５つの画素値とを用いて５行５列の現フレーム画素値行列を作成する。

また、動領域演算手段６Ｂは、垂直５画素フィルタ１３から出力される画素値が入力される２つ前に入力された画素値に対応する画素を囲繞する２５画素のフレームメモリ７に記憶されている画素値を用いて５行５列の前フレーム画素値行列を作成し、現フレーム画素値行列と前フレーム画素値行列の行列要素毎の差分の絶対値を求め、差分の絶対値の最大値を出力する。

このように構成することで、２つの垂直フィルタとフレーム間差分抑圧フィルタを直列に接続した場合に比べ２ライン分遅延を短縮できる。また、実施の形態１と同様に、遅延を短縮するため、精度の劣るフィルタ出力を使用しているが、領域判定にのみ影響するため、出力画素値に劣化の影響を受けることが少ない。
なお、この実施の形態２においては、垂直フィルタの入力は垂直５画素、垂直３画素としたが、７画素、９画素、・・・、（２ｎ＋１）画素（ｎは１〜Ｎまでの正の整数）と増やしても良い。

また、実施の形態１に係わる動領域演算手段６は、元動画像の画素値、１ライン分遅延された画素値および２ライン分遅延された画素値が入力され、実施の形態２に係わる動領域演算手段６Ｂは、元動画像の画素値、１ライン分遅延している垂直３画素フィルタ１５、２ライン分遅延している垂直５画素フィルタ１３、その垂直５画素フィルタの出力が１ライン分遅延されて全体としては３ライン分遅延している第２の１ライン遅延手段５の出力および垂直５画素フィルタの出力が２ライン分遅延されて全体としては４ライン分遅延している第２の２ライン遅延手段１４の出力が入力されている例を用いて説明したが、元動画像の画素値と１ライン分から２Ｍ（但し、Ｍは１以上の正の整数）ライン分それぞれ遅延された画素値とが入力されてもよい。Ｍが１の場合、実施の形態１の例となり、Ｍが２の場合、実施の形態２の例となる。

また、実施の形態１においては、３つの画素値が入力される１個の第１画像フィルタを用いており、実施の形態２においては、５つの画素値と３つの画素値とがそれぞれ入力される２個の第１画像フィルタを用いて説明したが、これに限るものではない。
ここで一般化した動画像ノイズ除去装置の構成を図８、図９を参照して説明する。図８は、第１画像フィルタに入力される画素値の数（２Ｎ＋１）が第２画像フィルタに入力される画素値の数（２Ｍ＋１）以下の場合の動画像ノイズ除去装置である。即ち、ＮがＭ以下の場合である。図９は、第１画像フィルタに入力される画素値の数（２Ｎ＋１）が第２画像フィルタに入力される画素値の数（２Ｍ＋１）を超えた場合の動画像ノイズ除去装置である。即ち、ＮがＭを超えた場合である。

そして、最も多くの画素値が入力される第１画像フィルタには、元動画像の画素値と１ライン分から２Ｎライン分それぞれ遅延された画素値が入力される。また、第２画像フィルタには、（２Ｍ＋１）個の画素値が入力される。
ＮがＭ以下の場合、図８に示すように、第１画像フィルタの個数は、Ｎ個である。そして、第２画像フィルタには、Ｎ個の第１画像フィルタからの出力と、第３画像フィルタからの出力と、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力を１ライン分から（２Ｍ−Ｎ）ライン分遅延した（２Ｍ−Ｎ）個の画素値が入力される。
一方、ＮがＭを超える場合、図９に示すように、第１画像フィルタの個数は、（Ｍ＋１）個である。そして、第２画像フィルタには、（Ｍ＋１）個の第１画像フィルタからの出力と、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力を１ライン分からＭライン分遅延したＭ個の画素値が入力される。

実施の形態１は、Ｍ＝Ｎ＝１であるので図８の具体例であり、実施の形態２は、Ｍ＝Ｎ＝２であるのでこれも図８の具体例である。
図８に示すＮがＭ以下の場合、Ｎ個の第１画像フィルタに入力される画素値は、それぞれ（２Ｎ＋１）個、｛２（Ｎ−１）＋１｝個、・・・、５個、３個である。
このとき、第２画像フィルタに入力される画素値は（２Ｍ＋１）個であるので、Ｎ個の第１画像フィルタからの出力、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力が１ライン分から（２Ｍ−Ｎ）ライン分それぞれ遅延された（２Ｍ−Ｎ）個の画素値および第３画像フィルタの出力が入力される。そして、第２画像フィルタからの出力は、（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力が（Ｍ−Ｎ）ライン分遅延された画素値に代えて出力され、この（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力がＮライン分遅延された画素値に代えて出力されるので、第２画像フィルタの出力はＭライン分遅延と演算遅延しているので、Ｎライン分だけ遅延が短縮される。

一方、図９に示すＮがＭを超える場合、（Ｍ＋１）個の第１画像フィルタに入力される画素値は、それぞれ（２Ｎ＋１）個、｛２（Ｎ−１）＋１｝個、｛２（Ｎ−２）＋１｝個、・・・、｛２（Ｎ−Ｍ＋１）＋１｝個、｛２（Ｎ−Ｍ）＋１｝個である。
このときも、第２画像フィルタに入力される画素値は（２Ｍ＋１）個であるので、（Ｍ＋１）個の第１画像フィルタからの出力、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力が１ライン分からＭライン分それぞれ遅延されたＭ個の画素値が入力される。そして、第２画像フィルタからの出力は、（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力に代えて出力され、この（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力はＮライン分遅延された画素値に代えて出力されるので、第２画像フィルタの出力はＮライン分遅延と演算遅延の和だけ遅延しているので、Ｍライン分だけ遅延が短縮される。

次に、Ｎ＝４、Ｍ＝３のようにＮがＭを超える場合について説明する。このとき、第１画像フィルタは（Ｍ＋１）＝４個の画像フィルタを有し、それぞれ９個、７個、５個、３個の画素値が入力される。そして、第２画像フィルタには７個の画素値が入力されるが、４個の第１画像フィルタからの出力、９個の画素値が入力された第１画像フィルタからの出力が１ライン分から３ライン分遅延された３個の画素値が入力される。ここで、９個の画素値が入力された第１画像フィルタの出力は４ライン分遅延して入力された画素値に代えて出力されている。第２画像フィルタは、その出力に代えてライン遅延なしで算出するため、合計の遅延は４ライン分遅延と演算遅延の和となる。
また、Ｎ＝４、Ｍ＝１の場合、第１画像フィルタは２個の画像フィルタを有し、それぞれ９個、７個の画素値が入力される。そして、第２画像フィルタには３個の画素値が入力されるが、２個の第１画像フィルタからの出力、９個の画素値が入力された第１画像フィルタからの出力が１ライン分遅延された１個の画素値が入力される。このとき、９個の画素値が入力された第１画像フィルタの出力は４ライン分遅延して入力された画素値に代えて出力されている。第２画像フィルタは、その出力に代えてライン遅延なしで算出するため、合計の遅延は４ライン分遅延と演算遅延の和となる。

この発明の実施の形態１に係わる動画像ノイズ除去装置に構成図である。 実施の形態１に係わる選択回路の処理を説明するための図である。 実施の形態１に係わる水平メディアンフィルタの処理を説明するための図である。 実施の形態１に係わる動領域演算手段の処理を説明するための図である。 実施の形態１に係わる差分抑圧で特性毎の差分抑圧量を示す図である。 動画像ノイズ除去装置のタイミングチャートである。 この発明の実施の形態２に係わる動画像ノイズ除去装置に構成図である。 第１画像フィルタに入力される画素値の数が第２画像フィルタに入力される画素値の数以下の場合の動画像ノイズ除去装置の構成図である。 第１画像フィルタに入力される画素値の数が第２画像フィルタに入力される画素値の数を超えた場合の動画像ノイズ除去装置の構成図である。

符号の説明

１ ２ライン遅延手段、２ １ライン遅延手段、３ 選択回路、４ 水平メディアンフィルタ、５ １ライン遅延手段、６、６Ｂ 動領域演算手段、７ フレームメモリ、８ 動領域判定手段、９ 差分抑圧回路、１１ ３ライン遅延手段、１２ ４ライン遅延手段、１３ 垂直５画素フィルタ、１４ ２ライン遅延手段、１５ 垂直３画素フィルタ、１６ スルー手段。

Claims (8)

1. 連続するフレーム内の上下方向に並ぶライン上に並ぶ画素のラスタースキャン順に入力される画素値からなる動画像の画像データに含まれるノイズを除去する動画像ノイズ除去装置において、
   予め定めた正の整数Ｎが予め定めた正の整数Ｍを超える場合、入力された画素値および該画素値の入力に対して１ライン分から２ｎ｛但し、ｎはＮから（Ｎ−Ｍ）までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値がそれぞれ入力され、フィルタ処理して得る画素値を上記画素値の入力に対してｎライン分前に入力されたそれぞれの画素値に代えて出力する（Ｍ＋１）個の第１画像フィルタと、
   上記（Ｍ＋１）個の第１画像フィルタから出力された画素値および上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタから出力された画素値が１ライン分からＭライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力が入力された画素値に代えて出力する第２画像フィルタと、
   を有することを特徴とする動画像ノイズ除去装置。
2. 連続するフレーム内の上下方向に並ぶライン上に並ぶ画素のラスタースキャン順に入力される画素値からなる動画像の画像データに含まれるノイズを除去する動画像ノイズ除去装置において、
   予め定めた正の整数Ｍが予め定められた正の整数Ｎ以上のとき、入力された画素値および該画素値の入力に対して１ライン分から２ｎ｛但し、ｎはＮから１までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値がそれぞれ入力され、フィルタ処理して得る画素値を上記画素値の入力に対してｎライン分前に入力されたそれぞれの画素値に代えて出力するＮ個の第１画像フィルタと、
   入力された画素値をそのまま、または入力された画素値をフィルタ処理して得る画素値を出力する第３画像フィルタと、
   上記Ｎ個の第１画像フィルタから出力された画素値、上記第３画像フィルタから出力される画素値および上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタから出力された画素値が１ライン分から（２Ｍ−Ｎ）ライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力を（Ｍ−Ｎ）ライン分遅延されて入力された画素値に代えて出力する第２画像フィルタと、
   を有することを特徴とする動画像ノイズ除去装置。
3. 上記第２画像フィルタは、
   直近のフレームの画素値を記憶するフレームメモリと、
   所定個のライン×所定個の画素の画素値と上記フレームメモリに記憶された上記所定個のライン×所定個の画素の画素値から動領域判定値を出力する動領域演算手段と、
   上記動領域判定値および所定の閾値から処理対象の画素が静止領域、動領域または上記動領域と上記静止領域の境界のいずれかに属するか判定する動領域判定手段と、
   上記動領域判定手段の判定結果に応じてあらかじめ決められた３種類の特性から、中央に位置するラインの中央に位置する画素の値を変更して、上記フレームメモリ上の該当する位置の画素の画素値との差を減少させる差分抑圧手段と、
   を有することを特徴とする請求項１または２に記載の動画像ノイズ除去装置。
4. 上記動領域演算手段は、所定の個数のラインの画素値が入力され、中央に位置するラインの中央に位置する画素を囲繞する所定の個数のライン×所定の個数の画素の領域の画素値と、上記フレームメモリに記憶された直近のフレームの上記所定の個数のライン×所定の個数の画素の領域の対応する領域の画素値との差分絶対値を算出し、該差分絶対値の最大値を出力することを特徴とする請求項３に記載の動画像ノイズ除去装置。
5. 上記第１画像フィルタは、メディアンフィルタで構成されることを特徴とする請求項１乃至４のいずれか一項に記載の動画像ノイズ除去装置。
6. 上記第１画像フィルタは、所定の個数のラインの画素値が入力される所定の個数のライン×所定の個数の画素からなるメディアンフィルタであることを特徴とする請求項５に記載の動画像ノイズ除去装置。
7. 上記第３画像フィルタは、１ラインの画素値が入力される水平の所定の個数の画素からなるメディアンフィルタであることを特徴とする請求項２に記載の動画像ノイズ除去装置。
8. 上記第１画像フィルタは、垂直方向に特定の重み付けで平均を取る垂直フィルタであることを特徴とする請求項１乃至４のいずれか一項に記載の動画像ノイズ除去装置。

Images