JP2008508751A - 符号化された画像信号に関する適応型３ｄ虚構映像削減のための装置および方法 - Google Patents

Abstract

【課題】ＤＣＴブロックベースの復号された画像におけるモスキートノイズ削減、ブロック局所化および修正のための効率的で非反復性の３Ｄ（３次元）後処理方法等を提案する。
【解決手段】本発明は、エッジ、ニアエッジ（エッジ付近）、フラット（平坦）、ニアフラット（平坦に近い）、およびテクスチャー領域といった多数の領域に映像を分割する単純な分類に基づいている。また、本発明に係る技法は、等価付加雑音のための効率的な形状適応型局所パワー推定を備えており、各上記領域のための単純なノイズパワー重み付けを与える。時間的に変化する符号化虚構映像を減らすための、最小雑音分散基準を使用する時間フィルタリング構成が提案される。画像全体に関して、特にエッジ領域に関してモスキートおよび／またはランダムノイズを平滑化するために、丈夫で効果的な形状適応型ウィンドウを有する最小平均二乗誤差の、または最小平均二乗誤差様の雑音削減が利用される。
【選択図】図１

Description

本発明は、一つの画像または一連の画像における主としてリアルタイムで動作可能な画像３Ｄ（３次元）雑音削減技法に関する。特に本発明は、離散余弦変換（ディスクリートコサイン変換：ＤＣＴ）ベースの復号された画像のアプリケーションにおける虚構映像削減のための適応型３Ｄ技法に関する。

最近、ＩＴＵ−Ｔ Ｈ２６１、Ｈ２６３、Ｈ２６４およびＩＳＯ ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２規格といった静止画およびビデオの圧縮ための多くの国際規格は、主として可能な圧縮技法としてブロックベースの離散余弦変換（ディスクリートコサイン変換：ＤＣＴ）を提案している。

低速および中速のビット速度では、ブロックベースのＤＣＴ符号化虚構映像は、知覚できるほどになる。このような虚構映像は、画像内エッジの周り、または平滑なゾーン近くに発生するモスキートノイズまたはリンギングノイズ、ならびにブロッキング効果として知られている。静止映像または画像の静止部分に関してはブロッキング効果は、平滑な領域で顕著であり、目視可能である。動的なビデオ信号列に関して、また高解像度大型スクリーンにおいてモスキートノイズは、人間の視覚システム（ＨＶＳ）に対して顕著になる可能性がある。

ブロッキング効果削減のために多くの既存の技法が存在する。Ｈ．ＲｅｅｖｅとＪ．Ｌｉｍの「Reduction of blocking effects in image coding」（画像符号化におけるブロッキング効果の削減）、Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖｏｌ．２３，Ｊａｎ／Ｆｅｂ １９８４，ｐｐ３４−３７（非特許文献１）において著者等は、ブロック境界に適用される低域フィルタの系統的使用を教えている。低域フィルタリングは、ブロッキング虚構映像削減目的のために、Ａｐｓｔｏｌｏｐｏｕｌｏｓ等への米国特許第５,８５０，２９４号（特許文献１）においても利用されている。しかしながらブロック虚構映像を潜在的に表すブロックは、ＤＣＴドメインにおいて検出され、低域フィルタリングは、歪んだブロックに対してだけ適用される。Ｂ．ＲａｍａｍｕｒｔｈｌとＡ．Ｇｅｒｓｈｏの「Nonlinear Space-variant post processing of block coded images」（ブロック符号化画像の非線形空間変量の後処理）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−３４，ＯＣＴ １９８６，ｐｐ．１２５８−１２６８（非特許文献２）では、提案された適応型フィルタリングは、各ブロック境界ピクセルにおけるエッジ方位の検出に基づいている。例えばＡ．Ｚａｋｈｏｒ、「Iterative Procedure for Reduction of Blocking Effects in Transform Image Coding」（変換画像符号化におけるブロッキング効果の削減のための反復手順）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．２，Ｎｏ．１，Ｍａｒ １９９２，ｐｐ．９１−９５（非特許文献３）におけるように、多くの著者は、この目的のために種々のマルチパス手順技法を提案している。これらの反復技法は、潜在的に非反復技法より高い性能を与え得るが、リアルタイム処理に関しては、より魅力的でない。

更に既存の技法においては、ブロック局所化が知られていることが想定される。この想定は、圧縮復号器の直後にブロック修正が適用されるときに妥当である。しかしながらホームシアターの用途のためには虚構映像修正は、復号器出力から最終的表示画像まで、いたるところに存在し得る。このような状況において、考えられている画像は、種々の操作によって、あるいはアナログ変換によってでも部分的にトリミングまたは修正され得る。こうしてブロック位置は、画像境界に関して変えることができる。

モスキートノイズ虚構映像削減（ＭＮＲ）に関しては、米国特許第５，６１０，７２９号においてＮａｋａｊｉｍａは、データが圧縮されたビットストリームから利用可能であるとき、量子化ステップとＩ．Ｐ．Ｂ符号化モードとを使用するブロック平均雑音の推定を教えている。Ｎａｋａｊｉｍａはまた、虚構映像削減のために「Digital image enhancement and noise filtering by use of local statistics」（局所的統計データの使用によるディジタル画像の画質向上と雑音フィルタリング）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ−２、Ｍａｒ １９８０，ｐｐ．１６５−１６８（非特許文献４）におけるＪ．Ｓ．Ｌｅｅによって初めに提案された、よく知られた最小平均二乗誤差（ＭＭＳＥ）フィルタの使用を教えている。しかしながら多くのアプリケーションでは量子化ステップまたは符号化モードは必ずしも知られておらず、あるいはアクセス可能でもない。更に最小平均二乗誤差フィルタはエッジ留保のためには効率的であるが、エッジ付近の雑音削減のためには必要でない。モスキートノイズは、エッジの周りの圧縮雑音である。

米国特許第５，７５４，６９９号（特許文献２）においてＳｕｇａｈａｒａは、ノイズパワー推定のためにブロック量子化ステップサイズ情報を、また虚構映像フィルタリングのために経験的コアリング（除芯）技法を使用することによる同様のアプローチを開示している。

またＭＮＲに関しては、米国特許第５，８５０，２９４号（特許文献３）においてＡｐｏｓｔｏｌｏｐｏｕｌｏｓ等は、真のエッジフィルタリングによる最終的ブレと映像鮮鋭度損失とを避けるために、エッジピクセルを平滑化することよりむしろエッジピクセルを含むブロック内の真の非エッジピクセルに対するフィルタリングを開示している。しかしながら非エッジピクセルに関するフィルタリング技法は、明確には指定されていない。

同様に米国特許第５，８５２，４７５号（特許文献４）においてＧｕｐｔａ等は、エッジの一部ではない、またテクスチャーまたは微細な細部の領域の一部ではない画像の部分にだけ分離可能な低域フィルタを適用している。提案されているポストプロセッサ（後処理装置）はまた、ノイズフリッカー（雑音ちらつき）削減のための時間的ディジタルノイズ削減と、エッジおよびテクスチャーに対する信頼度の高いフィルタリングのためのルックアップテーブル（探索表）ベースの形状適応型ウィンドウとを有する。クロミナンス信号に関してＧｕｐｔａ等は、単純な低域フィルタリングの使用を教えている。Ｓｍｉｔａ等への米国特許第５，９２０，３５６号（特許文献５）は、補充されたマクロブロックの符号化パラメータによってフィルタリングが制御される米国特許第５，８５２，４７５号（特許文献６）の改良バージョンである。

Ｋｉｋｕｃｈｉ等への米国特許第６，０６４，７７６号（特許文献７）では同様の仕方で所定のブロックは、それが平坦な領域の一部であると考えられるか否かにしたがって分類される。もしブロックが平坦な領域の一部であると考えられれば、ブロックピクセル修正は、ＡＣ成分予測技法によって与えられる。

米国特許第６，１８８，７９９号（特許文献８）においてＴａｎ等は、ブロッキング効果とそれからモスキートノイズの逐次的な削減のためにブロック境界が突き止められたときの分離可能な低域フィルタリングの使用を教えている。検出されたブロッキング効果に関しては、第１にバイリニア（双一次）内挿の提案された修正バージョンによってピクセルが修正され、第２に量子化ステップサイズ内の均質な近隣ピクセルの平均値によって修正される。

米国特許第６，３０４，６７８Ｂ１号（特許文献９）においてＹａｎｇ等は、スライディングウィンドウでの反復ピクセル・クラスタリング技法の使用と、主として最大蓋然性推定に基づく虚構映像修正とを教えている。リアルタイム処理についての論議はない。

ＰＣＴ出願Ｎｏ．ＰＣＴ／ＣＡ０２／００８８７（特許文献１０）において適応型空間ＭＮＲが提案されている。ある虚構映像ちらつきのために重要な時間次元は、この出願によって考慮されていない。ブロッキングの検出と修正も考慮されていない。

米国特許第５,８５０，２９４号 米国特許第５，６１０，７２９号 米国特許第５，７５４，６９９号 米国特許第５，８５０，２９４号 米国特許第５，８５２，４７５号 米国特許第５，９２０，３５６号 米国特許第６，０６４，７７６号 米国特許第６，１８８，７９９号 米国特許第６，３０４，６７８Ｂ１号 ＰＣＴ出願Ｎｏ．ＰＣＴ／ＣＡ０２／００８８７ Ｈ．ＲｅｅｖｅとＪ．Ｌｉｍの「Reduction of blocking effects in image coding」（画像符号化におけるブロッキング効果の削減）、Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖｏｌ．２３，Ｊａｎ／Ｆｅｂ １９８４、ｐｐ．３４−３７ Ｂ．ＲａｍａｍｕｒｔｈｌとＡ．Ｇｅｒｓｈｏの「Nonlinear Space-variant post processing of block coded images」（ブロック符号化画像の非線形空間変量の後処理）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−３４，ＯＣＴ １９８６，ｐｐ．１２５８−１２６８ Ａ．Ｚａｋｈｏｒ、「Iterative Procedure for Reduction of Blocking Effects in Transform Image Coding」（変換画像符号化におけるブロッキング効果の削減のための反復手順）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．２，Ｎｏ．１，Ｍａｒ １９９２，ｐｐ．９１−９５ Ｊ．Ｓ．Ｌｅｅの「Digital image enhancement and noise filtering by use of local statistics」（局所統計データの使用によるディジタル画像の画質向上と雑音フィルタリング）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ−２、Ｍａｒ １９８０，ｐｐ．１６５−１６８

本発明は、ブロックベースの復号された画像信号における雑音または虚構映像を効率的に減らすための装置と方法とを提供する。

本発明の一態様によれば、輝度成分を含むブロックベースの復号された画像信号における雑音を減らすための装置が提供される。この装置は、別個の画像領域空間特性に関連する複数の予め決められた画像領域クラスのうちの選択されたクラスにおける輝度ピクセルを分類するために、また対応する選択された領域クラス表示信号を生成するために前記画像信号の同じフレーム内の前記輝度成分に応答するノイズパワー推定器を備える。前記ノイズパワー推定器は更に、対応する輝度ノイズパワー統計特性表示信号を生成するために、輝度ピクセルに関連する局所ウィンドウ分割データを使用することによって前記輝度成分と、前記輝度ピクセルの統計特性を推定するための前記選択された領域クラス表示信号と、に応答する形状適応型輝度ノイズパワー推定器を備える。好都合にはこれら別個の画像領域空間特性は、エッジ、ニアエッジ平坦、平坦およびテクスチャーの空間特性を含む。ノイズパワー推定器は、対応するクロミナンスノイズパワー統計特性表示信号を生成するために、各々の前記クロミナンスピクセルに関連する局所ウィンドウ分割データを使用することによって前記輝度ピクセルに関連する第１、第２のクロミナンスピクセルの統計特性を推定するための前記クロミナンス成分に応答する形状適応型クロミナンスノイズパワー推定器を備える。本装置は更に、前記輝度およびクロミナンスノイズパワー統計特性表示信号にしたがって前記輝度およびクロミナンス成分をフィルタリング（濾波）するための最小出力分散時間雑音削減器と空間雑音削減器とを備える。前記時間雑音削減器は、領域ベースで変化することができ、あるいは画像全体に関して単に静止していることもできる。前記時間フィルタは更に、動きブレ虚構映像を最小にするためのコンテクストベースのソフト動き検出を備える。最小平均二乗誤差に基づく前記空間雑音削減器は、形状適応型ウィンドウ技法または領域適応型ファセットモデルパラメータ計算で利用され得る。この装置は更に、前記画像の１フレーム内のブロック位置を決定するための前記輝度成分に応答するブロック局所化器を備える。信号ドメインに働きかける前記ブロック局所化器は、ブロック検出のためにライン整合フィルタとヒストグラム分析とを利用する。この装置は更に、前記輝度およびクロミナンス成分のためのブロッキング虚構映像削減器を備える。ブロッキング虚構映像削減器は、前記輝度のためのエッジベースフィルタとクロミナンス成分のための水平および垂直フィルタとを備える。ブロッキング虚構映像削減器はまた、可能性のある高周波虚構映像を防止するための高周波領域検出器を備える。最後にこの装置は更に、前記輝度成分のための任意選択的細部品質改善器を備える。前記細部品質改善器は、輝度信号を主要８方向の各方向において別々に適応的に改善する。

本発明の更なる態様によれば、輝度成分を含むブロックベースの復号された画像信号における雑音を減らすための方法が提供される。この方法は、ｉ）別個の画像領域空間特性に関連する複数の予め決められた画像領域クラスのうちの選択されたクラスにおける輝度ピクセルを分類するために、また対応する選択された領域クラス表示信号を生成するために前記画像信号の同じフレーム内の対応する輝度ピクセル空間コンテクストによるノイズパワー推定の工程と、ｉｉ）対応する輝度ノイズパワー統計特性表示信号を生成するために輝度ピクセルに関連する形状適応型局所ウィンドウ分割データを使用することによって前記輝度成分と前記選択された領域クラス表示信号とから前記輝度ピクセルの統計特性を推定する工程と、ｉｉｉ）前記輝度ノイズパワー統計特性表示信号にしたがって前記輝度成分を空間・時間フィルタリングする工程と、を備える。好都合にはこれら別個の画像領域空間特性は、エッジ、ニアエッジ平坦、平坦およびテクスチャーの空間特性を含む。好適にはブロックベースの復号された画像信号は更に、第１、第２のクロミナンス成分を含んでおり、また方法は更に、ｉｖ）対応するクロミナンスノイズパワー統計特性表示信号を生成するために各々の前記クロミナンスピクセルに関連する形状適応型局所ウィンドウ分割データを使用することによって前記輝度成分に関連する第１、第２のクロミナンスピクセルの統計特性を前記クロミナンス成分から推定する工程と、ｖ）前記クロミナンスノイズパワー統計特性表示信号にしたがって前記各クロミナンス成分を空間・時間フィルタリングする工程と、を備える。

本発明の更なる態様によれば、画像信号内の空間モスキートノイズとブロッキング虚構映像とを減らすために圧縮解除（復元）された画像信号を後処理するための装置と方法が提供される。特にポストプロセッサは、画像多数領域分割と、それぞれの輝度およびクロミナンス信号成分のための領域ノイズパワー推定と、それらの関連する適応型雑音修正と、を必要とする。

画像を複数の領域に分割することにおいて本発明の装置と方法は、検出されたエッジ（Ｅ）とニアエッジ・平坦領域（ＮＥＦ）と、平坦領域（Ｆ）と、最後にテクスチャー（Ｔ）領域と、を分類して補強するためにエッジ／非エッジ検出器と簡単な２進統合演算器とを使用する。好適な分割は基本的に、下記の観察に基づいている：第１に、ほとんどの鮮明なモスキートノイズは、ＮＥＦ領域に見出される；第２に、ある重要な雑音はまた、映像のエッジで顕著である；第３に、テクスチャーはモスキートノイズをマスクする；第４に、テクスチャー領域または平坦領域における如何なる過剰なフィルタリングも最終的に微細な信号細部を劣化させるであろう。

画像信号の輝度成分の局所ノイズパワーを推定することにおいて本装置および方法は、復号された画像の対角線高周波成分を考慮する。局所ノイズパワー推定器は、現在ピクセルに類似の局所ピクセルだけを考慮する局所分散計算器と、観察された対角線高周波成分パワーから等価付加ノイズパワーへの変換のためのルックアップテーブル（ＬＵＴ）とを備える。このノイズパワー推定器はまた、各分類された領域のためのノイズパワー重み付けと、最後に領域間の推定された局所ノイズパワーの変動を平滑化するための低域フィルタとを備える。こうして、提案されている方法は、結果として得られる画像品質を保証するために各分割された領域と領域遷移とに関する異なる平滑化程度を可能にする。

雑音修正のためにこの提案されている装置および方法は、ｉ）時間フィルタに関する出力雑音分散の最小化と、ｉｉ）局所平均および局所標準偏差推定のために現在ピクセルに類似強度のピクセルだけを考慮する形状適応型局所分割ウィンドウと、に基づいている。信頼できるウィンドウ分割に関して、好適には局所適応型ウィンドウのために２次元（２Ｄ）低域フィルタが必要とされる。雑音修正器は更に、所定の局所信号平均と局所信号パワーと局所付加ノイズパワーとに関する平均二乗誤差（ＭＭＳＥ）を最小にするために利得計算器を備える。局所形状適応型ウィンドウと最小平均二乗誤差との結合は、上記の分類された領域すべてに働きかける雑音修正器を構成する。

提案されているモスキートノイズ・フィルタリングもブロッキング効果を部分的に減らすことは言及に値する。

本発明のもう一つの広い態様から、復号されたビデオ信号における低いビット速度でひどく損傷されたクロミナンス成分に関するノイズパワー推定と雑音修正のための適応型装置および方法が提供される。各クロミナンス成分内の局所ノイズパワーを推定することにおいて提案の方法は、輝度成分処理に類似している。しかしながらクロミナンスの場合には、領域分類は必要とされない。言い換えれば、画像全体に関して単一の領域だけが存在する。クロミナンス成分の雑音修正のために、上記の輝度ベースの形状適応型ウィンドウ技法と最小平均二乗誤差技法の両者が、輝度の場合と同様な仕方で利用される。クロミナンス・サンプリング速度を考慮することは、クロミナンス信号のために適当な内挿およびデシメーション（decimation）技法の使用を必要とする。

本発明のもう一つの態様によれば、ＤＣＴベースの復号された画像における虚構映像を減らすための方法であって、画像を定義する複数のピクセルの各ピクセルを別個の空間特性を有する、対応する画像領域に関連付ける工程と、前記関連付けられた、対応する画像領域を使用して各ピクセルの虚構映像統計特性を推定する工程と、ピクセルの虚構映像推定統計特性を使用して各ピクセルの時間・空間フィルタリングを実行する工程であって、それによってこれらフィルタリングされたピクセルが、削減された雑音または削減された虚構映像を有する画像を生成する工程と、を備える方法が提供される。

本発明のもう一つの態様によれば、ＤＣＴベースの復号された画像における虚構映像を減らすための方法であって、画像を定義する複数のピクセルの各ピクセルを別個の空間特性を有する、対応する画像領域に関連付ける工程と、前記関連付けられた、対応する画像領域を使用して各ピクセルの虚構映像統計特性を推定する工程と、ピクセルの虚構映像推定統計特性を使用して各ピクセルのフィルタリングを実行する工程であって、それによってこれらフィルタリングされたピクセルが、削減された雑音または削減された虚構映像を有する画像を生成する工程と、前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して前記フィルタリングされたピクセルを修正する工程と、を備える方法が提供される。

本発明のもう一つの態様によれば、ＤＣＴベースの復号された画像における虚構映像を減らすための装置であって、画像を画定する複数のピクセルの各ピクセルの虚構映像統計特性、すなわち別個の空間特性を有する、対応する所定の画像領域を所定のピクセルに関連付けることによって推定される各ピクセルの虚構映像統計特性を与えるための雑音推定ユニットと、各ピクセルの前記虚構映像統計特性を受信して、時間的空間的にフィルタリングされた信号を与えるために前記ピクセルをフィルタリングする時間・空間フィルタリングユニットと、を備える装置が提供される。

本発明の実施形態は、付属図面を参照しながら説明される。
図面を参照すると図１は、本発明によるＭＰＥＧ雑音削減装置ＭＮＲ２の一実施形態のブロック図を表す。

ＭＮＲ２装置１０は、二つの主要なシステム入力を受信する。第１の受信入力１０１は、輝度Ｙ成分とクロミナンスＣｒ／Ｃｂ成分とを備えた画像ビデオ信号である。簡単目的のために図１は、ビデオ入力信号だけを示している。

これを読む熟練者は、異なる表示を除いてこのようなシステムコンポーネントが本技術ではよく知られているように、タイムシェアリング方式で、あるいは並行して実現され得ることを理解するであろう。

第２の入力は、入力１０６において与えられるユーザ修正レベルに対応する。

入力１０６におけるユーザ修正レベルは、例えば雑音修正の強度、またはもし可能であれば符号化伝送速度を表し得る。好適な実施形態ではこのユーザ修正レベルは、発見的仕方でエンドユーザによって制御される。

モスキートノイズ削減装置１０は、雑音推定（ＮＥ）ユニット１１７と時間フィルタ（ＴＦ）１０３と空間雑音削減器（ＳＮＲ）１１１とブロック局所化ユニット１０２とブロック虚構映像削減器（ＢＡＲ）１１３と任意選択的細部品質改善器１１５とを備える。

図３を参照しながら以下詳細に説明される雑音推定ユニット１１７は、ビデオ入力１０１とユーザ修正レベル１０６とを受信して、各ピクセルにおけるノイズパワー推定値を生成する。ノイズパワー推定値１０８、１０７はそれぞれ、時間フィルタ（ＴＦ）１０３と空間雑音削減器１１１とに与えられる。

時間フィルタ１０３は、空間雑音削減器１１１に関して残留ノイズパワー１０７を確立するために今度は雑音推定ユニット１１７に送り返される最適フィルタ係数１０９を決定する。

雑音推定ユニット１１７はまた、図３において下記に説明されるニアエッジ（エッジ付近）平坦領域を正しく分割するためのブロック局所化ユニット１０２からオフセットｘ１０４とオフセットｙ１０５とを受信する。

この装置が圧縮復号器の直後に置かれる場合には、ブロック局所化ユニット１０２は、この場合オフセットｘとオフセットｙが両者ともゼロに等しい、すなわち画像境界にしたがってオフセット（ずれ）なしであることが知られているので、必要とされない可能性がある。

図４ａ、４ｂを参照しながら以下詳細に説明される時間フィルタ１０３は、ビデオ入力信号１０１と領域ベースのノイズパワー推定値信号１０８とを受信して、最適フィルタ係数１０９と時間的にフィルタリングされた画像１１０とを生成する。最適フィルタ係数１０９は、雑音推定ユニット１１７に加えられる。時間的にフィルタリングされた画像１１０は、今度は空間雑音削減器１１１に送られる。

図５を参照しながら以下詳細に説明される空間雑音削減器１１１は、時間的にフィルタリングされた画像信号１１０と空間ノイズパワー推定信号１０７とを受信して、空間圧縮虚構映像削減のために最小平均二乗誤差フィルタリングを実行する。結果として得られた画像（空間・時間フィルタリング画像とも呼ばれる）１１２は、ブロック虚構映像削減器１１３に送られる。

時間的空間的雑音フィルタリングが圧縮ブロッキング効果を部分的に減らすことは注目に値する。

図６を参照しながら以下詳細に説明されるブロック局所化ユニット１０２は、輝度入力画像１０１を受信して、水平（オフセットｘ）および垂直（オフセットｙ）オフセット１０４、１０５をそれぞれ決定し、これらの信号を雑音推定ユニット１１７とブロック虚構映像削減器１１３とに送る。経済性および低潜在性（短い待ち時間）の目的から現在フレームにおける検出されたオフセット（ずれ）が連続する二つのフレーム間で同じオフセットを想定して次のフレームに加えられることに留意することは重要である。

図７ａを参照しながら以下詳細に説明されるブロック虚構映像削減器１１３は、空間的時間的にフィルタリングされた画像１１２とオフセット値信号１０４、１０５とを受信して、ブロック境界ピクセルを決定するために、またブロッキング虚構映像削減のためのフィルタリングを適当に加えるためにエッジ方向を推定する。

結果として得られた画像１１４は、任意選択的細部品質改善器１１５に供給される。エッジ方向フィルタリングが輝度ビデオ成分に加えられることは言及に値する。一方、Ｃｒ、Ｃｂ成分に関しては単に簡単な水平または垂直フィルタが使用される。

図８を参照しながら以下詳細に説明される任意選択的細部品質改善器１１５は、フィルタリングされた画像１１４を受信して、高められた高周波エイリアスなしで最終的な品質改善された画像１１６を与える。

さて図２を参照すると、モスキートノイズ削減装置（ＭＮＲ２−Ｓとも呼ばれる）のもう一つの実施形態がブロック図に示されている。

以下詳細に説明される僅かな差異を除いて、モスキートノイズ削減装置ＭＮＲ２−Ｓは、図１に示した前述のモスキートノイズ削減装置１０に類似している。

より正確には、第１の差異は、雑音推定ユニット１１７によって与えられるフィードバック信号とは対照的に今度はエンドユーザによって制御される雑音分散信号の時間フィルタ入力２０８である。言い換えれば時間フィルタ１０３の機能は、今度は分割ベースの雑音推定とは独立している。

このような場合には時間フィルタ１０３が、独立したランダム雑音のための時間的動的雑音削減器になり、したがって空間フィルタＳＮＲが符号化虚構映像雑音のために留保されることは注目に値する。

第２の差異は、今度は時間フィルタ１０３によって与えられる雑音推定ユニット入力１１０である。一方、図１では雑音推定ユニット１１７は、ビデオ入力１０１を直接受信する。前者の場合、時間的にフィルタリングされた画像信号入力１１０により、雑音推定ユニット１１７は、残留ノイズパワーを推定するために時間フィルタ係数信号１０９を更に必要とすることはない。

これを読む熟練者は、これらの修正の目的が本質的には、ハードウエア実現のために必要とされる、図には示されていないある幾つかの遅延線を減らすことであることを認めるであろう。

さて図３を参照すると雑音推定ユニット１１７の一実施形態がブロック図に示されている。

雑音推定ユニット１１７は、画像分割ユニット３００と雑音測定ユニット３２０と雑音重み付けユニット３４０とクロミナンス雑音推定ユニット３６０とを備える。

画像分割ユニット３００は、ビデオ信号の輝度成分のためにだけ必要である。クロミナンス成分Ｃｒ、Ｃｂのための画像分割が必要とされないことは認められるであろう。

画像分割ユニット３００は、図１に開示されたモスキートノイズ削減器１０または図２に開示されたモスキートノイズ削減器１２にしたがってビデオ入力信号１０１または時間的にフィルタリングされたビデオ信号１１０の輝度成分信号３０１を受信する。輝度成分信号３０１は、エッジ検出器３０２と鮮明テクスチャー検出器３０４とに送られる。

エッジ検出器を考えるための多くの技法が存在することは認めされるであろう。しかしながらモスキートノイズ目的のためには鮮明なエッジだけを検出することが必要であると考えられてきた。実現されたエッジ検出器３０２は、ある雑音強さのための低域フィルタと、それぞれこれに続いて４個の平行ソーベル（Sobel）諧調度コンパスと絶対値の合計と閾値検出器と孤立ピクセルを除去するための、または喪失した検出エッジを補強するためのあるコンテクスト（前後関係）ベースの２進フィルタリングとを備える。これを読む熟練者は、エッジ検出器の説明を理解するであろう。

エッジ検出器３０２は、検出されたエッジ（Ｅ）マップ信号をその出力３０３に出力する。検出されたエッジ（Ｅ）マップ信号は、ブロック拡張３０５に、ゲート３０７、３１３、３１５の負入力に、そして最後に修正マップ３１６に供給される。

鮮明テクスチャー検出器３０４は、直列になった低域フィルタと、ソーベル諧調度コンパスと、絶対値と、最大値検出器と、閾値検出器と、孤立ピクセルを除去するための、または中断された検出を補強するためのあるコンテクストベース２進フィルタリングと、から構成される。鮮明テクスチャー検出器３０４出力信号３１２は、今度はゲート３１３の負でない入力に与えられる。後者は、検出されたテクスチャー（Ｔ）信号３１４をエッジ３０３としてではなく、検出された鮮明テクスチャー３１２として具体化する。これは、もしゲート出力信号がまだ孤立した、または中断した検出を含んでいればゲート３１３の直後に置かれる図示されないコンテクストベースの２進フィルタを必要とするかもしれない。検出されたテクスチャー信号（Ｔ）３１４は、今度はＮＯＲゲート３１５と修正マップ３１６とに入力として加えられる。

ＮＯＲゲート３１５は、テクスチャー（Ｔ）でなくエッジ（Ｅ）でもないと考えられる平坦（Ｆ）領域検出のために使用される。ＮＯＲゲート３１５出力３１１は、修正マップ３１６に供給される。

前述のエッジ（Ｅ）信号３０３は、二つのブロックオフセット値１０４、１０５と共にブロック拡張３０５に加えられる。適当なオフセット値を有する圧縮ブロック内にもし検出されたエッジピクセルが存在すれば、ブロック拡張は、そのブロックをブロックエッジと見做すであろう。ブロック拡張出力３０６は、ニアエッジ（ＮＥ）領域信号３０８をエッジではなくブロックエッジと定義するゲート３０７の正入力に与えられる。ニアエッジ（ＮＥ）領域信号３０８と平坦（Ｆ）信号３１５は、ニアエッジ・平坦（ＮＥＦ）信号３１０を与えるためにＡＮＤゲート３０９によって互いに結合される。ニアエッジ・平坦（ＮＥＦ）信号３１０は、修正マップ（ＣＭ）３１６に供給される。

モスキートノイズの大部分がニアエッジ・平坦（ＮＥＦ）およびエッジ（Ｅ）領域で発見されることは言及に値する。

通常、ブロック拡張は、漸進的輝度信号に関しては８×８、インタレース輝度信号に関しては４×８（４行×８列）の寸法である。しかしながら実際上の目的のため、およびより良好な修正のためにブロック拡張サイズは、８×１０または４×１０といった寸法に達するように通常より幅広に設定され得る。

４個の入力信号（ＮＥＦ）、（Ｅ）、（Ｆ）および（Ｔ）を受信する修正マップ３１６は、上記の分割における如何なる最終的不明確さも解決するために使用される。修正マップ３１６は、各ピクセルに関する下記の優先順位（Ｅ）＞（ＮＥＦ）＞（Ｆ）＞（Ｔ）によって定義される最終的分割を実行する。修正マップ出力信号３１７は、考慮される雑音レベルを確定するために雑音重み付けサブモジュール３４０に供給される。

雑音重み付けを実行する前に先ず、各考慮されているピクセルに関する雑音測定値を取得することが必要である。雑音測定ユニット３２０は、この目的のために設けられている。雑音測定ユニット３２０は、推定される局所的圧縮ノイズパワーを与えるためにビデオ信号の輝度成分３０１を受信する。真の信号変動効果を減らすために、提案されている雑音測定ユニット３２０は、対角線高域成分だけを抽出するために輝度信号入力Ｙ３０１に適用されるダイヤモンド高域フィルタ３２１を使用する。高域フィルタ・インパルス応答は下記のように与えられる：

ダイヤモンドフィルタ出力３２２は、以下詳細に定義されるω_ijとＮに関してそれぞれ二つの入力３２９、３２８を受信する標準偏差推定器３２３に供給される。

形状適応型ウィンドウ３３０から与えられるそれぞれω_ijとＮとに関する信号３２９、３２８は次のように定義される：
（ｃ、ｒ）を現在のピクセル座標であるとする。（ｉ，ｊ）を現在の中心ピクセルの周りのサイズＮｃ×Ｎｒの矩形ウィンドウ内のピクセルの相対座標であるとする。形状適応型ウィンドウは、下記の式：

および

を使用してピクセル（ｉ，ｊ）に関する２進値を与える。上記の方程式において、Ｙ（ｃ，ｒ）は、現在の輝度入力であり、Ｙ_ij（ｃ，ｒ）は現在ピクセル（ｃ，ｒ）を中心とするウィンドウ内の相対座標（ｉ，ｊ）における輝度である。Ｙ（ｃ，ｒ）は明らかにＹ₀₀（ｃ，ｒ）である。またｌｐ（Ｙ_ij（ｃ，ｒ））は（ｃ，ｒ）を中心とする現在ウィンドウ内の相対座標（ｉ、ｊ）における低域フィルタ出力３３２を示す。

雑音に対する強さのための低域フィルタ３２７の存在は、後に続けられる局所分割形状適応型ウィンドウ３３０のために重要である。多くの低域フィルタが可能である。一実施形態では低域フィルタ・インパルス応答は：

によって与えられる。これを読む熟練者は、これが単に修正された低域通過手段であることを認めるであろう。

高周波信号の局所標準偏差推定器３２３は：

によって推定される。ここでｈｐ（Ｙ_ij（ｃ，ｒ））はダイヤモンドフィルタ出力３２２を表す。形状適応型ウィンドウは提案されている実施形態では５行×１１列という比較的小さいサイズであるから、Ｎ（ｃ，ｒ）によるハードウエア分割は、図示されていない小さなルックアップテーブルによって行われ得る。

真の分散と絶対偏差との間の下記の関係：
σ² _hf(c,r) = C.s² _hf(c,r)
に留意することは価値あることである得る。ここでＣは信号分布に依存するスケーリング定数（倍率定数）である。スケーリング定数Ｃは後続の演算において吸収され得る。

標準偏差推定器出力３２４は、今度は入力としてユーザ修正レベル３３１を受信するルックアップテーブル３２５に送られる。ルックアップテーブル３２５は、高周波信号の事前に定義された局所標準偏差３２４ｓ_hf（ｃ，ｒ）をＭＰＥＧ虚構映像の等価付加雑音の局所標準偏差に変換するための予め計算されたルックアップテーブルである。ルックアップテーブル３２５の内容は、モード値によって選択され、選択されたルックアップテーブル３２５は、多くのビデオ信号列に対する種々のＭＰＥＧビット速度の広範なテストから得られている。ルックアップテーブル３２５出力３２６は、等価付加雑音という点からＭＰＥＧ虚構映像の局所標準偏差を与える。現在の実施形態において、図９に示す１６本のルックアップテーブル・カーブに対応する１６レベルのユーザ制御レベル３３１が与えられる。ルックアップテーブル出力３２６は、雑音重み付けサブモジュール３４０に供給される。

雑音重み付けサブモジュール３４０は、図１に示すモスキートノイズ削減器の実施形態の場合に時間および空間フィルタリングの両方に関する局所雑音分散を、図２に示すモスキートノイズ削減器の実施形態の場合に空間フィルタに関する局所雑音分散だけを与えるための分割ベースの重み付け３４１を備える。

分割ベースの重み付け３４１は、局所標準偏差３２６と修正マップ信号３１７とを共に受信する。分割ベースの重み付け３４１は、修正マップ信号３１７の機能において標準偏差３２６に重み付けを実行する：
σ（ｃ，ｒ）を、推定された局所雑音標準偏差３２６であるとする。時間フィルタ１０３に関する領域ベース局所雑音標準偏差σ_rT（ｃ，ｒ）３４２は、
σ_rT（ｃ，ｒ）＝σ（ｃ，ｒ）、時間領域係数
によって定義される。
同様に空間フィルタ１１１に関して領域ベース局所雑音標準偏差σ_rS（ｃ，ｒ）３４６は
σ_rS（ｃ，ｒ）＝σ（ｃ，ｒ）、空間領域係数
と書かれる。

領域係数が、設けられたモスキートノイズ削減器（すなわち図１に開示されたもの、または図２に開示されたもの）に依存し得ることは認められるであろう。事実、領域係数は、設計者の裁量に任されたパラメータである。提案されている実施形態では、領域係数は下記の表に要約される：

更に修正の異なるレベルに関してハロ虚構映像を減らすために、標準偏差画像に対する低域フィルタリング３４３、３４７が推奨される。本実施形態では平方処理３４５、３４９の前に下記の低域フィルタが使用される：

処理されるべき推定された局所雑音分散に対応する平方３４５出力１０８は、図１に開示されたモスキートノイズ削減器のための時間フィルタ１０３に与えられる。図２に開示されたモスキートノイズ削減器のためには低域フィルタ３４３と平方３４５は必要でない。

ところで平方３４９出力３５０は、空間フィルタ１１１に関する残留雑音分散１０７を調整するために乗算器３５１に与えられる。乗算器３５１の他方の入力３５２は、図１または図２に示す選択された構成によって定義され、時間フィルタ１０３によって与えられる係数βである。
ｂ₀１０９を時間フィルタ１０３によって与えられる時間フィルタ係数であるとする。係数β３５２は、下記によって与えられる：

上記の式は、入力として修正マップ３１６の出力３１７とＭＮＲ２／ＭＮＲ２−Ｓの選択３５５とを受信する乗算器３５３によって実現され得る。図２に示すモスキートノイズ削減器の場合には、破線の乗算器３５３と乗算器３５１は必要とされない。

クロミナンス成分に関しては図３のクロミナンス雑音推定サブモジュール３６０は分割を必要とせず、遥かに単純である。４：２：２サンプリングパターンでは、クロミナンス雑音推定サブモジュール３６０は、入力３６１において二つの多重化されたクロミナンス成分Ｃｒ、Ｃｂを受信する。真の信号変動を減らすために、多重化された成分Ｃｒ、Ｃｂは、ダイヤモンド形高域フィルタ３６２に送られる。

多重化された信号に関する後者のインパルス応答は下記によって与えられる：

フィルタ出力３６３は、それぞれω_ijChとＮ_Chとに関する二つの他の入力３７３と３７５とを受信する標準偏差推定器３６４に与えられる。

座標（ｃ，ｒ）に中心を持つ、考えられているウィンドウ内では２進値信号ω_ijCh（ｃ，ｒ）３７３は、共存位相ダウンサンプラー・ホールド（co-sited phase down sampler and hold）３７２によって決定される。ダウンサンプラー・ホールド入力は、輝度の場合の対応する２進信号ω_ij（ｃ，ｒ）３２９である。Ｎ_Ch（ｃ，ｒ）３７５は、考慮されているウィンドウにおけるω_ijCh（ｃ，ｒ）の数である。Ｎ_Chはカウンタ３７４によって与えられる。

例えば、もし輝度成分または多重化されたクロミナンス成分のための、考えられているウィンドウのサイズが５行×１１列であれば、各クロミナンス成分のための有効ウィンドウは、５行×５列である。輝度ウィンドウω_ijの共存位相ダウンサンプリング・ホールドは、要素ごとにウィンドウに下記のサンプリングマトリックスを乗算することと同等である：

このとき、座標（ｃ，ｒ）における中心要素は、標準サンプリングパターン４：２：２における輝度共存位相に対応する。結果として得られるウィンドウω_ijChは、次の非共存位相のためのホールドである。したがってこれが各クロミナンス成分に関して同じウィンドウであることは認められるであろう。

４：４：４のＹ，Ｃｒ，Ｃｂサンプリングパターンでは、クロミナンス成分は別々に考えられる。各クロミナンス成分は、輝度成分に同じであるダイヤモンド形高域フィルタに加えられる。しかしながらクロミナンス成分のために利用されるウィンドウω_ijChは、前述の同じ輝度ウィンドウω_ijである。

高周波信号の局所標準偏差推定器３６４は、４：２：２サンプリングにおいて下記によって定義される多重化されたＳ_hfCrおよびＳ_hfCb信号３６５を与える：

ここで、多重化されたｈｐ（Ｃｒ_ij（ｃ，ｒ））、ｈｐ（Ｃｂ_ij（ｃ，ｒ））はダイヤモンドフィルタ出力３６３を表す。提案されている実施形態では有効形状適応型ウィンドウは５行×５列の比較的小さなサイズであるので、Ｎ_Ch（ｃ，ｒ）によるハードウエア分割は、小さなルックアップテーブル（図示せず）によって行われ得る。

輝度の場合と同様に、標準偏差推定器３６４の出力３６５は、推定された局所標準偏差σ_Cr（ｃ，ｒ）およびσ_Cb（ｃ，ｒ）信号３６７を与えるためにユーザ修正レベル信号３３１とも結合するルックアップテーブル３６６に加えられる。ルックアップテーブル３６６は、輝度成分のための同じルックアップテーブル３２５である。

標準偏差信号３６７は、最終的なハロ効果を減らすために、低域フィルタ３６８に与えられる。多重化された信号３６７に関して低域インパルス応答は下記によって与えられる：

低域フィルタ出力３６９は、空間モスキートノイズ削減器１１１のクロミナンス部に関する分散信号３７１σ² _nSCrおよびσ² _nSCrを与えるために二乗演算器３７０に与えられる。

さて図４ａを参照すると、雑音削減のための時間フィルタ（ＴＦ）の一実施形態が示されている。

雑音削減のための時間フィルタ１０３は、ビデオ入力１０１と第２の入力とを受信する。前述のようにビデオ入力１０１は、輝度Ｙ成分とクロミナンスＣｒ／Ｃｂ成分とを備える。第２の入力は、図１に開示されたモスキートノイズ削減器の場合には１０８であり、図２に開示された雑音削減器の場合には２０８であり得る。

時間フィルタ１０３は、よく知られたユニタリ利得の時間巡回型１次フィルタに基づいている。図４ａによって示されるようにこれは、加算器４０１、乗算器４０４、加算器４０６、およびフレームバッファ遅延４０８によって順次に実現され得る。本技術に通常のスキルを有する人々は、時間フィルタ１０３出力１１０が下記によって与えられることを理解するであろう：

時間的にフィルタリングされたビデオ＝ｂ₀（ビデオ入力）＋（１−ｂ₀）（フィルタリングされた過去のビデオ）。ここでｂ₀はフィルタ係数１０９であり、出力ビデオのフレーム遅れバージョンであるフィルタリングされた過去のビデオはフィルタ信号フィードバックに対応する。

時間フィルタ１０３が図４ｂによって詳細に示されているフィルタ係数計算器４１０を備えることは認められるであろう。

フィルタ係数計算器４１０は、最小出力雑音分散計算ユニット４３０と埋込み型動きソフト検出（ＥＭＳＤ）ユニット４６０とを備える。

最小出力雑音分散計算ユニット４３０は、入力としてビデオ入力１０１とフィルタリングされた過去のビデオ４０２とを受信する。これら二つのビデオ信号の各々は、図示されていないスプリッタによって３つのビデオ成分Ｙ、Ｃｒ、Ｃｂに分解される。ビデオ入力１０１に関してこれらの成分は、Ｙ_c（１０１−Ｙ）、Ｃｒ_c（１０１−Ｃｒ）およびＣｂ_c（１０１−Ｃｂ）と表される。フィルタリングされた過去のビデオ入力４０２に関してこれらの成分は、Ｙ_p（４０２−Ｙ）、Ｃｒ_p（４０２−Ｃｒ）およびＣｂ_p（４０２−Ｃｂ）と表される。

成分的な画像差異は、先ず３つのそれぞれの減算４３１、４３２、４３３によって計算される。４：２：２サンプリングパターンに関して各クロミナンス成分差は、更に水平方向に２だけアップサンプリングされ、装置４３５または４３６によってホールドされる。この演算は、列複写と同等である。Ｙ、ＣｒおよびＣｂ４：４：４に関してはアップサンプリングとホールドは必要でない。結果として得られたこれら３個の画像差は、今度はそれぞれ４３４、４３７、４３８によって二乗される。これらの二乗演算器出力は、合計４３９によって互いに結合される。合計結果４４０は、局所信号平均値に近づく低域フィルタ４４１に与えられる。低域フィルタ４４１の選択されたインパルス応答は、平均計算において９による最終除算を避けるために、

となる。

それから分散信号ｓ² _lpを表す低域フィルタ出力４４２は、埋込み型動きソフト検出ユニット４６０と利得スケーリング４４３とに与えられる。後者において係数は、３個のビデオ成分寄与の加算のための平均項１／３に近い５／１６として選択される。ｓ₀ ²で表されている利得スケーリング出力４４４は、今度は過去画像雑音分散推定器４４５に送られる。

過去画像雑音分散推定器４４５は、過去のフィルタリングされた画像における残留雑音分散ｓ₁ ²の推定器である。過去画像雑音分散推定器（ＰＩＮＶＥ）４４５は、次の式
s₁ ² = (1/2). max [s₀ ²-σ² _nT, σ² _nT].
を実現する。

それから過去画像雑音分散推定器出力４４６ｓ₁ ²は、加算器４４７と除算器４４９に与えられる。

時間雑音入力分散σ² _nT１０６を受信する前者の加算器４４７は、合計（ｓ₁ ²＋σ² _nT）４４８を与える。合計結果４４８は、埋込み型動きソフト検出（ＥＭＳＤ）ユニット４６０に送られ、また分母として除算器４４９に送られる。除算器ｓ₁ ²／（ｓ₁ ²＋σ² _nT）結果４５０が出力雑音分散を最小にするための理論的フィルタ係数を与えることは示され得る。過度に小さな値を減らすために映像の静止部分のための計算されたフィルタ係数ｂ_min４５３は、１／１６という経験項によって低く制限される：
b_min = max [s₁ ²/(s₁ ² + σ² _nT), (1/16)].

フィルタ係数ｂ_min４５３は、埋込み型動きソフト検出（ＥＭＳＤ）４６０に与えられる。

埋込み型動きソフト検出４６０は、最終的フィルタ係数ｂ₀を与えるために低域フィルタ出力４４２と合計（ｓ₁ ²＋σ² _nT）４４８とｂ_min４５３とを受信する。埋込み型動きソフト検出４６０は、比較器４６１と重み付け局所カウンタ４６３と動きソフト結合４６５とを備える。

比較器４６１は、低域フィルタ出力４４２と合計（ｓ₁ ²＋σ² _nT）４４８とを受信して、

として経験的に定義されるハード無動き検出（ｈｎｍ）４６２を表す２進信号を与える。

ハード無動き検出（ｈｎｍ）４６２は、３×３の局所ウィンドウ内で動作する重み付け局所カウンタ４６３に与えられる。（ｃ，ｒ）に中心を持つ、考えられているウィンドウ内の９ピクセルベース決定コンテクストｈｎｍ_ij（ｃ、ｒ）に基づいて、重み付け局所カウンタ４６３は、下記の数式として座標（ｃ，ｒ）における無動きソフト決定ｎｍ４６４を与える。

重み付けカウンタは、３×３ウィンドウから結果として得られた９による最終的な除算を再び避けるために使用される。言い換えれば無動き決定ｎｍは２進値ではなく、０から１まで変化する分数値である。

無動き決定ｎｍ４６４とｂ_min係数フィルタ信号４５３は、今度はピクセルベースの最終フィルタ係数ｂ₀１０９を与えるために動きソフト結合４６５によって互いに結合される：
b₀ = (nm).b_min + (1-(nm)).

重み付け局所カウンタと動きソフト結合は簡単ではあるが、強固で効率的であると考えられている。

フィルタ係数ｂ₀１０９は、雑音フィルタリングのために時間フィルタ１０３に送られ、またフルバージョンＭＮＲ２の場合には残留ノイズパワー推定のために雑音推定ユニット１１７に送られる。フィルタ係数ｂ₀は、輝度成分のため、または４：４：４パターンサンプリングのために直接適用される。しかしながら４：２：２の場合にはｂ₀は、クロミナンス成分フィルタリングのために、図示されない共存ダウンサンプリング・ホールドとなるであろう。

今度は図５を参照すると、形状適応型ウィンドウ空間雑音削減器１１１の一実施形態がブロック図に示されている。

形状適応型ウィンドウ空間雑音削減器１１１は、その明細書が引例によってここに組み込まれている３人の本著者等による２００２年のＰＣＴ出願Ｎｏ．ＰＣＴ／ＣＡ０２／００８８７に記載されている。しかしながら結果として得られるフィルタリング虚構映像であるバンディング効果は、引用された特許出願では論じられていない。完全さのために、提案されている形状適応型ウィンドウ空間雑音削減器１１１は、幾分詳細に提示されるであろう。

形状適応型ウィンドウ空間雑音削減器１１１は、下記に述べられ得る、Ｌｅｅのオリジナルの最小平均二乗誤差（ＭＭＳＥ）削減の修正バージョン（Ｊ．Ｓ．Ｌｅｅ、「Digital Image Enhancement and Noise filtering」（ディジタル画像品質改善および雑音フィルタリング）、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（パターン分析および機械知能に関するＩＥＥＥトランザクション），Ｖｏｌ．Ｐａｍｉ−２，Ｎｏ．２，Ｍａｒ １９８０を参照のこと）である。元の画像をｆ（ｃ，ｒ）と定義すると、入力としての雑音性画像ｇ（ｃ，ｒ）は、ｇ（ｃ，ｒ）＝ｆ（ｃ，ｒ）＋ｎ（ｃ，ｒ）となり、最後にｙ（ｃ，ｒ）はフィルタリングされたバージョンとなるであろう。もし画像の二つの１次局所統計データ、すなわち画像の平均ｍ（ｃ，ｒ）と分散σ² _g（ｃ，ｒ）が知られれば、付加的ゼロ平均および既知の分散σ² _n（ｃ，ｒ）雑音に関して、フィルタリングされた信号出力は下記によって与えられる：

y(c,r) = m(c,r) + K(c,r)[g(c,r)-m(c,r)]
ここで

K(c,r) = max [0, (σ² _g(c,r) - σ² _n(c,r))/σ² _g(c,r)]
一方、誤差パフォーマンスは、下記のように書かれる：

単一の線形推定器に関して、Ｌｅｅのアルゴリズムは、ｍ（ｃ，ｒ）、σ² _g（ｃ，ｒ）が既知であってσ² _g（ｃ，ｒ）＞σ² _n（ｃ，ｒ）であるときに完璧である。しかしながら実際の状況ではこれら二つの１次局所統計データｍ（ｃ，ｒ）とσ² _g（ｃ，ｒ）は未知であり、推定される必要がある。他方、σ² _g（ｃ，ｒ）＜σ² _n（ｃ，ｒ）であるときには、Ｋ（ｃ、ｒ）＝０を使用すると元の画像に含まれた小さな細部は破壊されるであろう。
形状適応型ウィンドウ空間雑音削減器の下記の説明では、提案されている修正は、局所平均および分散推定のための形状適応型ウィンドウと小さな信号分散の場合のためのバンディング効果削減という二つの主要な技法からなる。

図１に示すような形状適応型ウィンドウ空間雑音削減器１１１は、時間フィルタリングユニット１０３から与えられた残留雑音性３成分（Ｙ、Ｃｒ、Ｃｂ）画像１１０と、今度は雑音推定ユニット１１７によって与えられたこれらの対応する推定ノイズパワー１０７とを受信する。

図５に示すように、図５において形状適応型ウィンドウ空間雑音削減器１１１は、輝度空間フィルタ５００とクロミナンス空間フィルタ５５０とを備える。

輝度空間フィルタ５００は、それぞれ輝度成分信号Ｙ_T１１０−Ｙとその残留ノイズパワーσ² _nS１０７−Ｙとを受信する。輝度成分信号Ｙ_T１１０−Ｙは、低域フィルタ５０１と局所平均計算器５０７と加算器５０９とに入力として与えられる。低域フィルタ出力５０２と閾値５０３は、座標（ｃ，ｒ）に中心を持つ現在ウィンドウ内の局所２進信号ω_ij（ｃ，ｒ）５０５とω_ij（ｃ，ｒ）の局所的個数Ｎ（ｃ，ｒ）５０６とを与えるために形状適応型ウィンドウ５０４に送られる。モスキートノイズ削減器実施形態コンテクストではω_ijとＮは、ほんの僅かな差を有する雑音推定ユニット１１７から与えられ得る。

更に形状適応型ウィンドウ５０４技法とその関連低域フィルタ５０２は、前のセクションで既に説明されている。要約すれば、ウィンドウを現在ピクセルにではなく、均質な二つの領域に分割する際に形状適応型ウィンドウ技法は局所平均と局所分散のより正確な推定を可能にする。強固なウィンドウ分割のためには、プリプロセッサとして働く低域フィルタが必要とされる。

計算器５０７は、時間的にフィルタリングされた輝度Ｙ_T１１０−Ｙとそれぞれω_ij（ｃ，ｒ）および（ｃ，ｒ）に関する局所形状適応型ウィンドウパラメータ５０５および５０６とを受信して、その出力において下記によって推定されるその局所平均信号５０８を与える：

局所平均値信号５０８は、加算器５０９の負入力と局所分散計算器５１１とに与えられる。

その入力Ｙ_T１１０−Ｙとω_ij（ｃ，ｒ）とＮ（ｃ，ｒ）５０５、５０６と局所平均５０８とを使用して、計算器５１１は下記のように輝度分散信号５１２を推定する：

局所輝度分散信号σ² _YT（ｃ，ｒ）５１２と局所ノイズパワーσ² _nS（ｃ，ｒ）１０７−Ｙは、今度はＬｅｅのオリジナルバージョンから下記の修正を与える適応型局所利得Ｋ計算器５１３に与えられる：

この方程式において、０と１の間で変化する項（ｂｅ）は、小さな分散のゆっくり変化する領域におけるバンディング効果を表す。所定のピクセルにおけるバンディング効果（ｂｅ）は、所定のスライドするウィンドウ内の全ピクセル数に対する検出された「小分散」ピクセルの比率として推定され得る。一実施形態ではウィンドウサイズは、重み付けカウンタを有する３×３である：

ここで全数のカウントは６４であり、重み８は考えられている中心のピクセル位置に対応する。

減算５０９からの差信号５１０と一緒に前に計算された局所利得Ｋ５１４と局所平均ｍ_Y５０８は、形状適応型ウィンドウ空間雑音削減器（ＳＡＷ−ＳＮＲ）１１１の最終輝度出力１１２−Ｙを得るために使用される：
Y_mnr(c,r) = m_Y(c,r) + K(c,r).[Y_T(c,r) - m_Y(c,r)]
この演算は、図５によって示されるような減算５０９と乗算器５１５と加算器５１７とを包含している。

図５に示すクロミナンス空間フィルタ５５０は、１１０−Ｃｒ／Ｃｂとして示される二つのクロミナンス成分Ｃｒ_T／Ｃｂ_Tとそれぞれの残留ノイズパワーσ² _nSCr／σ² _nSCb１０７−Ｃｒ／Ｃｂと輝度形状適応型ウィンドウω_ij５０５とを受信する。

クロミナンス空間フィルタのためまた４：２：２サンプリングパターンのため、形状適応型ウィンドウω_ij５０５は、水平方向に２だけダウンサンプリングされ、輝度形状適応型ウィンドウω_ijCh５５２をもたらすよう５５１をホールドし、カウンタ５５３により局所ピクセルがＮ_ch５５４をカウントする。４：４：４により、これら操作が必須ではないと理解されるであろう。

これを読む熟練者は、輝度の場合と同様にクロミナンス空間フィルタ５５０の残余部分が下記の式を実現するために使用されることを認めるであろう：
Cr_mnr(c,r) = m_Cr(c,r) + K_Cr(c,r).[Cr_T(c,r) - m_Cr(c,r)]

Cb_mnr(c,r) = m_Cb(c,r) + K_Cb(c,r).[Cb_T(c,r) - m_Cb(c,r)]
ここで

そして

輝度の場合に対する唯一の違いは、今度はバンディング効果に留意しない、すなわちｂｅ＝０である利得Ｋ_CrまたはＫ_Cb計算である。

このような場合、下記を得る：

前述の時間フィルタ１０３と形状適応型ウィンドウ空間雑音削減器は、部分的にブロッキング虚構映像を削減する。しかしながら、より効率的な演算のために、提案されているシステムはまた、図１によって示されたようなブロック局所化ユニット１０２とブロック虚構映像削減器１１３とを含む。ブロック局所化は、映像が何らかの操作の後に与えられるときにだけ必要とされる。本発明では、論議はブロックが画像境界から相対的にシフトされる場合だけに限定される。

今度は図６を参照すると、ブロック局所化ユニット１０２の一実施形態が示されている。

ブロック局所化ユニット１０２は、雑音の多いビデオ入力の輝度成分１０１−Ｙだけを受信する。ブロック検出は、輝度成分にだけ基づいており、提案されているシステムでは３成分Ｙ、ＣｒおよびＣｂのために使用されるであろう。

ブロック局所化ユニット１０２は、ほぼ分離可能な行・列である。受信された信号１０１−Ｙは、二つの別個の垂直および水平な分岐に、特に垂直および水平ラインマスク６０１、６０２に与えられる。使用されるラインマスク・インパルス応答は、一実施形態ではそれぞれ下記の二つの式によって与えられる：

上記のマスクのそれぞれの信号出力６０３、６０４は、更にＰ_3v、Ｐ_3hと表される。

垂直信号Ｐ_3v６０３は、垂直ピクセルと、８個の出力信号６０７〜６１４を与えるライン遅延ネットワーク６０５とに与えられる。これらの信号は、６個のピクセル信号Ｐ_3v、Ｐ_2v、Ｐ_1v、Ｐ_0v、Ｐ_4v、Ｐ_5vと２個の振幅値信号Ａ_1v＝｜Ｐ_1v｜およびＡ_0v＝｜Ｐ_0v｜とからなる。６個の列挙されたピクセルの相対位置は、サイズ２列×３行の下記のウィンドウ内に表され得る：

言い換えれば、Ｐ_2vはピクセル入力Ｐ_3vのピクセル遅延バージョンであり、Ｐ_1vはＰ_3vのライン遅延バージョンである、などである。Ｐ_0vは更に、考えられているピクセル位置に対応する。

同様に水平信号Ｐ_3h６０４は、８個の出力信号６１５〜６２２を与える水平ネットワーク６０６に与えられる。これらの信号は、６個のピクセル信号Ｐ_3h、Ｐ_2h、Ｐ_1h、Ｐ_0h、Ｐ_6h、Ｐ_7hと２個の振幅値信号Ａ_2h＝｜Ｐ_2h｜およびＡ_0h＝｜Ｐ_0h｜とからなる。６個の列挙されたピクセルの相対位置は、サイズ３列×２行の下記のウィンドウ内に表され得る：

Ｐ_2hはピクセル入力Ｐ_3hのピクセル遅延バージョンであり、Ｐ_1hはＰ_3hのライン遅延バージョンである、などである。Ｐ_0hは更に、考えられているピクセル位置に対応する。

信号セット（６０７〜６１４）は、予備的垂直ブロック検出のために垂直ブロック境界テスト６２３に与えられる。擬似コードの垂直テスト６２３は、下記のように与えられる：

もし（閾値１＜Ａ_0v＜閾値２）および（閾値１＜Ａ_1v＜閾値２）であって、また

（サイン（Ｐ_0v）≠サイン（Ｐ_1v））および（サイン（Ｐ_2v）≠サイン（Ｐ_3v））および（サイン（Ｐ_4v）≠サイン（Ｐ_5v））であれば、

ｏｕｔ_v＝１、

そうでなければｏｕｔ_v＝０。

言い換えれば垂直テスト６２３は、閾値検出とゼロ交差検出の両方を実行する。

再び同様に水平テスト６２４は、下記のテストを実行する：

もし（閾値１＜Ａ_0h＜閾値２）および（閾値１＜Ａ_2h＜閾値２）であって、また

（サイン（Ｐ_0h）≠サイン（Ｐ_2h））および（サイン（Ｐ_1h）≠サイン（Ｐ_3h））および（サイン（Ｐ_6h）≠サイン（Ｐ_7h））であれば、

ｏｕｔ_h＝１、

そうでなければｏｕｔ_h＝０。

検出結果ｏｕｔ_vおよびｏｕｔ_h６２５および６２６はそれぞれ、垂直および水平８ピンヒストグラムカウンタと二つの最大値検出６２７および６２８とに送られる。

前者の垂直ヒストグラムベースの検出器６２７は、その出力において１セット４個の結果（６２９〜６３２）を与える：Ｃｈ_m1は第１の最大ヒストグラム振幅とその結合位置Ｉｈ_m1に対応し、Ｃｈ_m2とＩｈ_m2は第２の最大に対応する。Ｉｈ_m1とＩｈ_m2は、０から７までの可能な８個のシフト値である。垂直ライン検出が水平位置を包含することに留意することは興味深い。

同様に水平ヒストグラムベースの検出器６２８は、（６３３〜６３６）によって表される１セットのＣｖｍ１、Ｉｖ_m1、Ｃｖ_m2、Ｉｖ_m2を与える。

それから各１セットの検出結果は、それぞれのオフセット検出に与えられる：すなわち（６２９〜６３２）は水平オフセット検出器６３７に、（６３３〜６３６）は垂直オフセット検出器６３８に与えられる。

水平オフセット検出器６３７は、下記のように擬似コードで記述される：

もし（Ｃｈ_m2≧０．７５Ｃｈ_m1）ならば、Ｏｆｆｓｅｔ ｘ＝８、

そうでなければＯｆｆｓｅｔ ｘ＝Ｉｈ_m1。

垂直オフセット検出器６３８は、下記のように擬似コードで記述される：

もし（Ｃｖ_m2≧０．７５Ｃｖ_m1）ならば、Ｏｆｆｓｅｔ ｙ＝８、

そうでなければＯｆｆｓｅｔ ｙ＝Ｉｖ_m1。

ここで値８は、検出されたブロック境界がないことを示しているが、０〜７は可能なブロック境界シフトを示している。

検出されたＯｆｆｓｅｔ ｘおよびＯｆｆｓｅｔ ｙ、６３９および６４０は、二つの検出されたオフセット入力の論理的結合であるオフセット修正６５０に与えられる：

もし（Ｏｆｆｓｅｔ ｘ≠８）であればＯｆｆｓｅｔ ｘ＝[Ｏｆｆｓｅｔ ｘ＋１]_{modulo 8}

もし（Ｏｆｆｓｅｔ ｙ≠８）であればＯｆｆｓｅｔ ｙ＝[Ｏｆｆｓｅｔ ｙ＋１]_{modulo 8}

もし（Ｏｆｆｓｅｔ ｘ＝８）であって（Ｏｆｆｓｅｔ ｙ≠８）であれば

Ｏｆｆｓｅｔ ｘ＝０

Ｏｆｆｓｅｔ ｙ＝Ｏｆｆｓｅｔ ｙ

そうでなくてもし（Ｏｆｆｓｅｔ ｙ＝８）であって（Ｏｆｆｓｅｔ ｘ≠８）であれば

Ｏｆｆｓｅｔ ｙ＝０

Ｏｆｆｓｅｔ ｘ＝Ｏｆｆｓｅｔ ｘ

そうでなければ

Ｏｆｆｓｅｔ ｘ＝Ｏｆｆｓｅｔ ｘ

Ｏｆｆｓｅｔ ｙ＝Ｏｆｆｓｅｔ ｙ。

修正されたＯｆｆｓｅｔ ｘおよびＯｆｆｓｅｔ ｙの値１０４および１０５は、図１に示すように雑音推定ユニット１１７とブロック虚構映像削減器１１３とに与えられる。

今度は図７ａを参照すると本発明によるブロック虚構映像削減器１１３の一実施形態が示されている。

ブロック虚構映像削減器ユニット１１３は、空間モスキートノイズ削減器１１１によって送達された３成分Ｙ_mnr、Ｃｒ_mnr、Ｃｂ_mnrのビデオ信号１１２を受信し、ブロック虚構映像削減器（ＢＡＲ）ユニット１１３はまた、今度はブロック局所化ユニット１０２によって与えられた二つのオフセット値信号１０４および１０５を受信する。ブロック虚構映像削減器（ＢＡＲ）ユニット１１３は、輝度ブロック虚構映像削減器７００とクロミナンス・ブロック虚構映像削減器７２０とを備える。

輝度ブロック虚構映像削減器７００は、境界マスク発生器（ＢＭＧ）７０１と高周波領域検出器（ＨＦＲＤ）７０３とライン方向検出器（ＬＤＤ）７０５と指向性低域フィルタ（４）（ＤＬＰＦ）７０７と輝度決定セレクタ（ＬＤＳ）７１２とを備える。

境界マスク発生器７０１は、それぞれＯｆｆｓｅｔ ｘとＯｆｆｓｅｔ ｙとによってシフトされたＤＣＴブロック境界を生成するために二つのオフセット値信号１０４、１０５を受信する。開示されている実施形態では境界サイズは１ピクセル幅であって、ブロックサイズは漸進的信号とクロミナンス成分とに関して８×８であり、インタレース輝度信号に関してブロックサイズは４行×８列である。境界マスク発生器７０１は、その出力において、それぞれ無境界、垂直境界、水平境界のための３個の値：０、１、２の出力７０２Ｂｍａｓｋ信号を与える。Ｂｍａｓｋ信号７０２は、輝度決定セレクタ７１２とクロミナンス決定セレクタ７２４に与えられる。これを読む熟練者は、このような境界マスク発生器の実現方法を理解しているであろう。

高周波領域検出器７０３は、空間モスキートノイズ削減器によって与えられる輝度成分Ｙ_mnr１１２-Ｙを受信する。高周波領域検出器７０３は、図示されていない、高域フィルタと、絶対値閾値検出器と、決定結果の統合のための二つのコンテクストベースの３×３の２進フィルタと、を直列に備える。ｉｓｏｌｍａｐと示されている高周波領域検出器７０３出力７０４、孤立性マップは、到来する信号に含まれる最終的高周波エイリアスを防止するための修正を抑制するために輝度決定セレクタ７１２に与えられる。

より正確には高域フィルタ・インパルス応答は、次式によって与えられる：

絶対値閾値検出器は、所定の閾値を有する比較器を後に伴う絶対値演算器を備える。比較器の出力は、もし入力の絶対値が所定の閾値より大きければ「１」に等しく、そうでなければ比較器の出力は「０」に等しい。

最後に、利用されるコンテクストベースの統合演算は、下記の３×３加算・切り離し・ダブル（Add-Remove & Double）閾値２進フィルタによって定義される：

所定の２値（０，１）画像を取り、関心のピクセルの周りにスライドウィンドウを置く。演算出力は下記によって記述される：

ここで合計は、所定のウィンドウ内の２値ピクセルに関して行われる。

統合演算は、モルフォロジック（形態論的）フィルタと同様に閾値決定後に有用である。

図７ｂに更に詳細に示されているライン方向検出器７０５は、輝度成分Ｙ_mnr１１２−Ｙを受信し、この輝度成分は４つの主要な空間方向：０°、４５°、９０°、１３５°にそれぞれ動作する４つの高域フィルタＨＰ₀、ＨＰ₁、ＨＰ₂、ＨＰ₃の入力に与えられる。これらのインパルス応答は下記の通りである：

各フィルタ出力は、絶対値演算器に与えられる。４個の絶対値演算器出力ｈ₀、ｈ₁、ｈ₂、ｈ₃、７６５〜７６８は、今度は方向決定ユニット７５９に与えられる。

方向決定ユニット７５９は、ｄと示された出力を与え、下記の演算を実行する：
・ｈ₀、ｈ₁、ｈ₂、ｈ₃を増加する順序：ｍ₁≦ｍ₂≦ｍ₃≦ｍ₄に分類する。
・方向についての決定：
もし（ｍ₄≦１６）であればｄ＝４
そうでなく、もし（（ｍ₂−ｍ₁）＜１）であればｄ＝４
そうでなければｄ＝ｉ₁
ここで４は無効な方向を示し、
ｉ₁＝｛０，１，２，３｝はｍ₁に関連するインデックスである。

方向決定出力７６０は、ユニット決定統合０、７６１に与えられる。ｄ₀で表された後者の出力７６２は、下記の演算から与えられる：
・局所ウィンドウ３×３における各方向の周波数をカウントする、
・各方向の周波数にしたがって増加する順序に分類する、
・多数票に基づいて決定を行う：
もし（ｆｒｅｑ_max ≧４）であれば、
もし（ｄｉｒ_max≠４）であれば、
ｄ₀＝ｄｉｒ_max
そうでなければ何もしない
そうでなければ
ｄ₀＝４
ここでｄｉｒ_maxは周波数ｆｒｅｑ_maxを有する方向である。

出力ｄ₀７６２は再び、もう一つの方向統合１、７６３に与えられ、その出力７０６は、今度は下記のことから結果するｄｉｒで示されている：
・局所ウィンドウ３×３における各方向の周波数をカウントする、
・各方向の周波数にしたがって増加する順序に分類する、
・多数票に基づいて決定を行う：
もし（ｆｒｅｑ_max ≧４）であれば、
ｄｉｒ＝ｄｉｒ_max
そうでなければ何もしない
ここでｄｉｒ_maxは周波数ｆｒｅｑ_maxを有する方向である。

ｄｉｒ出力７０６は、再び図７ａを参照すると、輝度決定セレクタ７１２に最終的に与えられる。

受信された輝度信号Ｙ_mnr、１１２−Ｙはまた、４方向：０°、４５°、９０°、１３５°にそれぞれ動作する４個の指向性低域フィルタＬＰ₀、ＬＰ₁、ＬＰ₂、ＬＰ₃の１セット７０７に与えられる。

ｌｐ０、ｌｐ４５、ｌｐ９０、ｌｐ１３５と表されている４個のフィルタ出力７０８〜７１１と、受信された輝度信号Ｙ_mnr１１２−Ｙは共に、輝度決定セレクタ７１２に与えられる。

輝度出力信号Ｙ_mnr-bar１１４−Ｙを与えるために輝度決定セレクタ７１２は、３個の信号、ｂｍａｓｋ７０２、ｉｓｏｌｍａｐ７０４、ｄｉｒ７０６の機能において、その入力で下記のように５個の輝度信号のうちの一つを選択する：
もし（ｉｓｏｌｍａｐ≠０）であれば
Ｙ_mnr-bar＝Ｙ_mnr
そうでなく、もし（ｂｍａｓｋ＝０）であれば
Ｙ_mnr-bar＝Ｙ_mnr
そうでなく、もし（ｂｍａｓｋ＝１）であれば
もし（ｄｉｒ＝２）であれば
Ｙ_mnr-bar＝Ｙ_mnr
もし（ｄｉｒ＝１）であれば
Ｙ_mnr-bar＝ｌｐ４５
もし（ｄｉｒ＝３）であれば
Ｙ_mnr-bar＝ｌｐ１３５
そうでなければ
Ｙ_mnr-bar＝ｌｐ０
そうでなくもし（ｂｍａｓｋ＝２）であれば
もし（ｄｉｒ＝０）であれば
Ｙ_mnr-bar＝Ｙ_mnr
そうでなく、もし（ｄｉｒ＝１）であれば
Ｙ_mnr-bar＝ｌｐ４５
そうでなく、もし（ｄｉｒ＝３）であれば
Ｙ_mnr-bar＝ｌｐ１３５
そうでなければ
Ｙ_mnr-bar＝ｌｐ９０

クロミナンス・ブロック虚構映像削減器７２０の部分は、開示されている実施形態では輝度ブロック虚構映像削減器７００より遥かに単純である。受信されたクロミナンス成分Ｃｒ／Ｃｂ１１２−Ｃｒ／Ｃｂは、それぞれ水平および垂直方向に動作する二つの低域フィルタの１セット７２１に与えられる。これらのフィルタのインパルス応答は、前述のｌｐ₀（ｃ）とｌｐ₂（ｒ）である。受信されたクロミナンス成分Ｃｒ／Ｃｂ１１２−Ｃｒ／Ｃｂとそのフィルタリングされたバージョンｌｐ０、７２２とｌｐ９０、７２３は、クロミナンス決定セレクタ７２４に送られる。ｂｍａｓｋ信号７０２を受信する後者は、その出力１１４−Ｃｒ／Ｃｂ信号Ｃｒ_mnr-bar、Ｃｂ_mnr-barのために下記を選択する：
もし（ｂｍａｓｋ＝１）であれば
Ｃｒ_mnr-bar／Ｃｂ_mnr-bar＝ｌｐ０
そうでなく、もし（ｂｍａｓｋ＝２）であれば
Ｃｒ_mnr-bar／Ｃｂ_mnr-bar＝ｌｐ９０
そうでなければ
Ｃｒ_mnr-bar／Ｃｂ_mnr-bar＝Ｃｒ_mnr／Ｃｂ_mnr

３成分Ｙ_mnr-bar、Ｃｒ_mnr-bar、Ｃｂ_mnr-barビデオ出力１１４は、図１に示すように任意選択的適応型細部品質改善器１１５に与えられる。

さて図８を参照すると、適応型細部品質改善器の一実施形態が示されている。

輝度成分にだけ演算を行って、提案の適応型細部品質改善器は、受信した信号Ｙ_mnr-bar１１４−Ｙを高周波領域検出器８０２と、８個の指向性マスク８１０〜８１７：マスク０°、マスク４５°、・・・、３１５°と、最後にマルチプレクサ８０１と、に供給する。

高周波領域検出器８０２は、前の対応するセクションで既に説明された高周波領域検出器７０３に類似している。高周波領域検出器８０２は、高周波領域における細部品質改善器の働きを抑制するために制御信号８０３を与える。

マスク０°、マスク４５°、・・・からマスク３１５°までの８個の指向性マスクは、座標（ｃ，ｒ）の所定のピクセルに関して８個の方向信号変動８５０〜８５７を決定する。提案されている実施形態の上記８個のマスクは、下記によって記述される：

８個のマスク出力信号の各々は、今度はその対応する乗算器８３４〜８４１とその振幅関数８１８〜８２５とに与えられる。

そのそれぞれの信号変動と他のパラメータ（最大、最小値）とを受信する１セット８１８〜８２５における各振幅関数は、ゼロから１まで変化する関数出力を信号変動振幅から生成する。開示されている実施形態ではこの関数出力は、もし信号変動振幅が最小値と最大値との間に位置すれば１に等しく、そうでなければゼロに等しい。最小値と最大値は、最終的な小さいまたは強い雑音が改善されないように選択される。

各関数信号出力８２６〜８３３は、今度は信号変動８５０〜８５７に重み付けするためにそれぞれの乗算器８３４〜８４１に与えられる。８個の乗算器出力８４２〜８４９は、品質改善信号８６７を与えるために加算器８６０〜８６６を介して互いに加算される。更に後者は、０と１との間で変化する値であるユーザ制御の品質改善レベル８０６によって重み付けされる。ユーザレベル重み付けは、乗算器８０７によって実行される。乗算器結果８０８は、今度はマルチプレクサ８０１の入力０に与えられる品質改善された輝度信号８０９を形成するために加算器８０５を介して輝度入力１１４−Ｙと結合される。

開示されている実施形態が主要な８方向の各々において別々にビデオ信号を品質改善することは認められるべきである。

通常、高周波領域において最終的エイリアス虚構映像を避けるためにマルチプレクサ８０１は、考えられているピクセルがこのような領域に属していれば単に輝度入力１１４−Ｙを選択する。そうでなければ選択された信号は、品質改善された輝度信号８０９である。マルチプレクサ出力１１６−Ｙは、Ｙ_mnr-enhと表される。

今度は図１０を参照すると、領域適応型ファセット（切子面）ベースの空間雑音削減器（ＲＡＦＢ−ＳＮＲ）の一実施形態が示されている。

前述のように空間フィルタリングにおける最小平均二乗誤差基準を活用するために、ある精度で局所信号平均値と分散値とを知ることが必要である。平均および分散の推定のための、提案されている形状適応型ウィンドウは、元の信号が一定ではなくてゆっくり変化し、傾斜したファセット（区分的線形モデル）または区分的方形モデルとして局所的に表されるときには、必ずしも正確でない可能性がある。更に本開示では画像分割は既に開示されている。これは、ファセットモデル次数決定の適応のために有用であり得る。

傾斜ファセットベースの雑音削減器は、Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｌ．Ｔ．Ｗａｔｓｏｎ，「A facet model for image data」（画像データのためのファセットモデル）、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１５，ｐｐ．１１３−１２９，１９８１において初めに提案されており、ここでは推定された平均値は信号値の雑音除去のために使用されている。下記に、領域適応型ファセットベース空間雑音削減器（ＲＡＦＢ−ＳＮＲ）が開示される。この空間雑音削減器は、二つの異なる革新：ａ）最小平均二乗誤差雑音除去技法と、ｂ）分割領域に依存するファセットモデル（区分的線形または区分的方形）適応と、からなる。

図１０に示す領域適応型ファセットベース空間雑音削減器（ＲＡＦＢ−ＳＮＲ）１１１は、時間フィルタ１０３から与えられた残留雑音性３成分（Ｙ、Ｃｒ、Ｃｂ）画像１１０と、今度は雑音推定ユニット１１７によって与えられたこれらの対応する推定ノイズパワー１０７とを受信する。

受信されたビデオ１１０は、適応型ファセットパラメータ計算器１００３と、加算器１０１０と、ファセットベース局所分散推定器１００６と、任意選択的画像分割モジュール１００１と、に供給される。

画像分割モジュール１００１は、２進信号出力１００２平坦／非平坦領域を与える。包括的また完全性目的のために図１０に示されたモジュールは、図３に示された雑音推定ユニット１１７から容易に誘導され得る。平坦／非平坦領域信号１００２は、適応型ファセットパラメータ計算器１００３に送られる。

本発明で利用されるファセットパラメータは、最小二乗適合において座標（ｃ，ｒ）に中心を持つウィンドウ内の到来信号ｙ（ｉ，ｊ；ｃ，ｒ）に近い係数ｂ₀（ｃ，ｒ）、ｂ₁（ｃ，ｒ）、・・・、ｂ₅（ｃ，ｒ）である：

この式は、中心ピクセルが非平坦領域に属すると分類されるときに使用される。推定された平坦領域信号に関して係数ｂ₃、ｂ₄、ｂ₅は、ゼロに等しいようにセットされる。
係数ｂ₀（ｃ，ｒ）は更に、局所信号平均信号１００４に対応する：
mean(c,r) = b₀(c,r).

６個の係数ｂ_k（ｃ，ｒ）１００４、１００５は、今度は下記の式によって分散信号１００７を与えるファセットベース分散推定器１００６に与えられる：

局所分散信号１００７と雑音推定ユニット１１７から与えられた残留ノイズパワーσ² _nS１０７は共に、今度は利得信号Ｋ１００９を与える適応型利得計算器１００８によって使用される。最小平均二乗誤差基準による適応型利得Ｋ計算器は、前に説明されている。

最小平均二乗誤差雑音除去信号出力１０３を形成するために、加算器１０１０と乗算器１０１２と加算器１０１４が使用される。

単純目的のために、より高い次数のファセットモデルは利用されない。これで図１０によって示されたＲＡＦＢ−ＳＮＲの論議を完了する。

別個のデータ信号接続を介して互いに通信する個別成分のグループとしてブロック図に示されているが、これらの好適な実施形態が、ハードウエアまたはソフトウエアシステムの所定の機能または動作によって実現されるある幾つかのコンポーネントを有するハードウエアおよびソフトウエアコンポーネントの組合せによって、またコンピュータアプリケーションまたはオペレーティングシステム内でのデータ通信によって実現される図示のデータ経路の多くによって与えられることは、本技術に精通する人々によって理解されるであろう。こうして図示の構造は、本好適な実施形態を教える効率性のために提供されている。

本発明が一方法として実行され得ること、またシステムに、またはコンピュータ可読媒体に、または電気信号あるいは電磁信号に、具体化され得ることは、留意されるべきである。

前述の本発明の実施形態（単数または複数）は、単に例示的であることが意図されている。したがって本発明の範囲は、付属の請求項の範囲によってのみ限定されることが意図されている。

モスキートノイズ削減装置の好適な実施形態のブロック図である。 モスキートノイズ削減装置のもう一つの実施形態のブロック図である。 ノイズパワー推定ユニットの一実施形態のブロック図である。 ソフト動き検出による雑音削減のための時間フィルタの一実施形態のブロック図である。 埋込み型動き検出による時間フィルタ係数計算の一実施形態のブロック図である。 形状適応型ウィンドウ空間雑音削減器の一実施形態のブロック図である。 ブロック検出・局所化ユニットの一実施形態のブロック図である。 ブロック虚構映像削減器の一実施形態のブロック図である。 ブロッキング虚構映像削減の一部であるライン方向検出器の一実施形態のブロック図である。 任意選択的細部品質改善ブロック修正の一実施形態のブロック図である。 対角線高周波局所標準偏差信号をＭＰＥＧ虚構映像の等価付加雑音の局所標準偏差に変換するためのルックアップテーブル（ＬＵＴ）に保管された１６個のカーブを示す図である。 領域適応型ファセットモデル空間雑音削減器の一実施形態のブロック図である。

Claims (39)

1. ＤＣＴベースの復号された画像における雑音を減らすための方法であって、
   ａ．前記画像を定義する複数のピクセルの各ピクセルを、別個の空間特性を有する対応する画像領域タイプに関連付ける工程と、
   ｂ．前記関連付けられた、対応する画像領域タイプを使用して前記ピクセルの各々の虚構映像統計特性を推定する工程と、
   ｃ．前記虚構映像推定統計特性を使用して前記ピクセルの各々の時間・空間フィルタリングを実行し、それによってこれらフィルタリングされたピクセルが、削減された雑音を有する前記画像を生成するために使用される工程と、を備える方法。
2. 前記時間・空間フィルタリングを実行する前記工程は、時間的にフィルタリングされた信号を与えるための時間フィルタリングを実行する工程と、それから前記時間的にフィルタリングされた信号の空間フィルタリングを実行する工程とを備える、請求項１に記載の方法。
3. 前記虚構映像統計特性を推定する前記工程は更に、前記時間的にフィルタリングされた信号を使用する工程を備えており、更に前記空間フィルタリングは前記虚構映像統計特性を使用する工程を備える、請求項２に記載の方法。
4. 前記時間的・空間的にフィルタリングされた信号を使用して前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して修正された信号を計算する工程を更に備える、請求項２に記載の方法。
5. 修正された信号を計算する前記工程と虚構映像統計特性を推定する前記工程とのうちの少なくとも一つでの使用のために前記画像におけるオフセットの示度を計算する工程を更に備える、請求項４に記載の方法。
6. 前記修正された信号を使用して、高められた高周波エイリアスを持たない最終的な品質改善された画像を計算する工程を更に備える、請求項５に記載の方法。
7. 前記時間的・空間的にフィルタリングされた信号を使用して前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して修正された信号を計算する工程を更に備える、請求項１に記載の方法。
8. 前記虚構映像統計特性を推定する前記工程は更に、前記時間的にフィルタリングされた信号と前記画像とを使用する工程を備えており、更に前記空間フィルタリングと前記時間フィルタリングのうちの少なくとも一つは前記虚構映像統計特性を使用する工程を備える、請求項２に記載の方法。
9. 前記時間的・空間的にフィルタリングされた信号を使用して前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して修正された信号を計算する工程を更に備える、請求項８に記載の方法。
10. 修正された信号を計算する前記工程と虚構映像統計特性を推定する前記工程とのうちの少なくとも一つでの使用のために前記画像におけるオフセットの示度を計算する工程を更に備える、請求項９に記載の方法。
11. 前記画像は輝度信号とクロミナンス信号とを備えており、更に前記ピクセルの各々の虚構映像統計特性を推定する前記工程は各ピクセルの前記クロミナンス信号の虚構映像統計特性を推定する工程と各ピクセルの前記輝度信号の虚構映像統計特性を推定する工程とを備えており、各ピクセルの前記クロミナンス信号の前記虚構映像統計特性と各ピクセルの前記輝度信号の前記虚構映像統計特性は各ピクセルの前記虚構映像統計特性を形成する、請求項１に記載の方法。
12. 前記輝度信号を使用して画像を分割する工程を更に備え、前記輝度信号とユーザ修正信号とを使用して雑音を測定する工程を更に備え、また前記測定された雑音と前記画像の前記分割とを使用して各ピクセルの前記輝度信号の前記虚構映像統計特性を推定する工程を更に備える、請求項１１に記載の方法。
13. 前記画像分割工程は、
    ａ．前記輝度信号を使用して鮮明エッジを検出し、検出された鮮明エッジ信号を計算する工程と、
    ｂ．前記受信された輝度信号を使用して鮮明テクスチャーを検出し、検出された鮮明テクスチャー信号を計算する工程と、
    ｃ．テクスチャー（Ｔ）信号と平坦領域（Ｆ）信号と検出されたエッジ（Ｅ）信号とニアエッジ・平坦（ＮＥＦ）信号のうちの少なくとも一つを与えるために前記検出された鮮明エッジ信号と前記検出された鮮明テクスチャー信号とに対して分割論理を使用する工程と、
    ｄ．テクスチャー（Ｔ）信号と平坦領域（Ｆ）信号と検出されたエッジ（Ｅ）信号とニアエッジ・平坦（ＮＥＦ）信号のうちの前記少なくとも一つを使用し、前記分割信号における不明確さを解決する修正マッピング工程と、を備えており、検出されたエッジ（Ｅ）信号は、平坦領域（Ｆ）信号より高い優先順位を持つニアエッジ・平坦（ＮＥＦ）信号より高い優先順位を有し、また平坦領域（Ｆ）信号はテクスチャー（Ｔ）信号より高い優先順位を持つ、請求項１２に記載の方法。
14. 前記時間フィルタリングは、前記時間的にフィルタリングされた信号（ＴＦ）を：
    ＴＦ＝ｂ₀・（ビデオ入力）＋（１−ｂ₀）・（フィルタリングされた前のビデオ）となるように計算し、この場合、ｂ₀はピクセルベースの最終的フィルタ係数であり、更に前記フィルタリングされた前のビデオは時間的に前の、時間的にフィルタリングされた信号である、請求項２に記載の方法。
15. 前記ピクセルベースの最終的フィルタ係数ｂ₀は時間フィルタリングを実行することによって動的に生成される、請求項１４に記載の方法。
16. 前記時間フィルタリングは：
    ａ．前記フィルタリングされた前のビデオと前記ピクセルとを使用して最小出力雑音分散を計算し、第１のフィルタ係数ｂ_minを計算する工程、ただし
    b_min = max (s₁ ²/(s₁ ² + σ² _nT); (1/16)).
    であって、更に
    s₁ ² = (1/2) max ((s₀ ²-σ² _nT); σ² _nT).
    であり、またｓ₀ ²は現在画像成分と前の画像成分との差のフィルタリングされた結合の利得スケーリングからの結果であり、更にσ_nT ²は時間的雑音入力分散である、第１のフィルタ係数ｂ_minを計算する工程と、
    ｂ．少なくとも第１のフィルタ係数ｂ_minと合計（ｓ₁ ²＋σ_nT ²）とを使用してソフトな動きを検出し、ｂ₀＝（ｎｍ）・ｂ_min＋（１−（ｎｍ））となるように前記ピクセルベースの最終的フィルタ係数ｂ₀を与える工程、ただし
    

    

    であり、更に
    

    

    である工程と、を備える、請求項１５に記載の方法。
17. 前記対応する所定の画像領域タイプは、テクスチャー（Ｔ）信号と平坦領域（Ｆ）信号と検出されたエッジ（Ｅ）信号とニアエッジ・平坦（ＮＥＦ）信号のうちの少なくとも一つを備える、請求項１に記載の方法。
18. ＤＣＴベースの復号された画像における雑音を減らすための方法であって、
    ａ．前記画像を画定する複数のピクセルの各ピクセルを別個の空間特性を有する、対応する画像領域タイプに関連付ける工程と、
    ｂ．前記関連付けられた、対応する画像領域タイプを使用して前記ピクセルの各々の虚構映像統計特性を推定する工程と、
    ｃ．前記虚構映像推定統計特性を使用して前記ピクセルの各々のフィルタリングを実行する工程であって、それによってこれらフィルタリングされたピクセルが、削減された雑音を有する前記画像を生成する工程と、
    ｄ．前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して前記フィルタリングされたピクセルを修正する工程と、を備える方法。
19. 前記フィルタリングを実行する前記工程は、時間的にフィルタリングされた信号を与えるための時間フィルタリングを実行する工程と、それから前記時間的にフィルタリングされた信号の空間フィルタリングを実行する工程とを備える、請求項１８に記載の方法。
20. 前記方法は前記ＤＣＴベースの復号された画像に関連するオフセットデータを生成する工程を更に備えており、更に前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して前記フィルタリングされたピクセルを修正する前記工程は前記生成されたオフセットデータを使用して実行される、請求項１９に記載の方法。
21. ＤＣＴベースの復号された画像における雑音祖減らすための装置であって、
    ａ．前記画像を画定する複数のピクセルの各ピクセルの雑音統計特性を与えるための雑音推定ユニットであって、前記虚構映像統計特性が別個の空間特性を有する対応する所定の画像領域タイプを所定のピクセルに関連付けることによって推定される、各ピクセルの雑音統計特性を与えるための雑音推定ユニットと、
    ｂ．各ピクセルの前記虚構映像統計特性を受信して、時間的空間的にフィルタリングされた信号を与えるために前記ピクセルをフィルタリングする時間・空間フィルタリングユニットと、を備える装置。
22. 前記時間・空間フィルタリングユニットは時間フィルタと空間雑音フィルタとを備えており、更に前記時間フィルタは前記時間的・空間的にフィルタリングされた信号を与える前記空間雑音フィルタに時間的にフィルタリングされた信号を与える、請求項２１に記載の装置。
23. 前記雑音推定ユニットは前記時間的にフィルタリングされた信号を使用して前記虚構映像統計特性を与え、更に前記虚構映像統計特性は前記空間雑音フィルタに与えられる、請求項２２に記載の装置。
24. 前記雑音推定ユニットは更に、ユーザ修正レベル信号を受信する、請求項２３に記載の装置。
25. 前記時間的・空間的にフィルタリングされた信号を受信して、前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して修正された信号を与えるブロック虚構映像削減器を更に備える、請求項２２に記載の装置。
26. 前記画像を受信して、前記画像におけるオフセットの示度を前記ブロック虚構映像削減器と前記雑音推定ユニットとに供給するためのブロック局所化ユニットを更に備える、請求項２５に記載の装置。
27. 前記修正された信号を受信して、高められた高周波エイリアスを持たない最終的品質改善された画像を与える細部品質改善器を更に備える、請求項２６に記載の装置。
28. 前記時間的・空間的にフィルタリングされた信号を受信して、前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して修正された信号を与えるブロック虚構映像削減器を更に備える、請求項２１に記載の装置。
29. 前記雑音推定ユニットは前記時間的にフィルタリングされた信号と前記画像とを使用して前記虚構映像統計特性を与え、更に前記虚構映像統計特性は前記空間雑音フィルタと前記時間フィルタとに与えられる、請求項２２に記載の装置。
30. 前記時間的・空間的にフィルタリングされた信号を受信して、前記画像を符号化するために使用される圧縮技法に関連する虚構映像に対して修正された信号を与えるブロック虚構映像削減器を更に備える、請求項２９に記載の装置。
31. 前記画像を受信して、前記画像におけるオフセットの示度を前記ブロック虚構映像削減器と前記雑音推定ユニットとに供給するためのブロック局所化ユニットを更に備える、請求項３０に記載の装置。
32. 前記修正された信号を受信する細部品質改善器を更に備える、請求項３１に記載の装置。
33. 前記画像は輝度信号とクロミナンス信号とを備えており、更に前記雑音推定ユニットは前記輝度信号のための雑音推定ユニットと前記クロミナンス信号のための雑音推定ユニットとを備えており、更に前記クロミナンス信号のための前記雑音推定ユニットは各ピクセルの前記クロミナンス信号の虚構映像統計特性を与え、また更に前記輝度信号のための前記雑音推定ユニットは各ピクセルの前記輝度信号の虚構映像統計特性を与え、各ピクセルの前記クロミナンス信号の前記虚構映像統計特性と各ピクセルの前記輝度信号の前記虚構映像統計特性は各ピクセルの前記虚構映像統計特性を形成する、請求項２１に記載の装置。
34. 前記輝度信号のための前記雑音推定ユニットは画像分割ユニットと雑音測定ユニットと雑音重み付けユニットとを備えており、更に前記画像分割ユニットは前記輝度信号を受信して分割信号を与え、更に前記雑音測定ユニットは前記輝度信号とユーザ修正信号とを受信して雑音測定された信号を与え、更に前記雑音重み付けユニットは前記雑音測定された信号と前記分割信号とを受信して各ピクセルの前記輝度信号の前記虚構映像統計特性を与える、請求項３３に記載の装置。
35. 前記対応する所定の画像領域タイプは、テクスチャー（Ｔ）信号と平坦領域（Ｆ）信号と検出されたエッジ（Ｅ）信号とニアエッジ・平坦（ＮＥＦ）信号のうちの少なくとも一つを備える、請求項２１に記載の装置。
36. 前記画像分割ユニットは：
    ａ．前記受信された輝度信号を使用して鮮明エッジを検出して、検出された鮮明エッジ信号を与えるためのエッジ検出器と、
    ｂ．前記受信された輝度信号を使用して鮮明テクスチャーを検出して、検出された鮮明テクスチャー信号を与えるための鮮明テクスチャー検出器と、
    ｃ．前記検出された鮮明エッジ信号と前記検出された鮮明テクスチャー信号とを受信して、テクスチャー（Ｔ）信号と平坦領域（Ｆ）信号と検出されたエッジ（Ｅ）信号とニアエッジ・平坦（ＮＥＦ）信号のうちの少なくとも一つを与える分割論理回路と、
    ｄ．テクスチャー（Ｔ）信号と平坦領域（Ｆ）信号と検出されたエッジ（Ｅ）信号とニアエッジ・平坦（ＮＥＦ）信号のうちの前記少なくとも一つを受信し、前記分割信号における不明確さを解決する修正マップと、を備えており、検出されたエッジ（Ｅ）信号は、平坦領域（Ｆ）信号より高い優先順位を持つニアエッジ・平坦（ＮＥＦ）信号より高い優先順位を有し、また平坦領域（Ｆ）信号はテクスチャー（Ｔ）信号より高い優先順位を持つ、請求項３４に記載の装置。
37. 前記時間フィルタは、前記時間的にフィルタリングされた信号（ＴＦ）を：
    ＴＦ＝ｂ₀・（ビデオ入力）＋（１−ｂ₀）・（フィルタリングされた前のビデオ）となるように与え、この場合、ｂ₀はピクセルベースの最終的フィルタ係数であり、更に前記フィルタリングされた前のビデオは時間的に前の、時間的にフィルタリングされた信号である、請求項２２に記載の装置。
38. 前記ピクセルベースの最終的フィルタ係数ｂ₀は時間フィルタ係数計算ユニットを使用して動的に生成される、請求項３７に記載の装置。
39. 前記時間フィルタ係数計算ユニットは：
    ｅ．前記フィルタリングされた前のビデオと前記ピクセルとを受信して、第１のフィルタ係数ｂ_minを計算する最小出力雑音分散計算ユニット、ただし
    b_min = max (s₁ ²/(s₁ ² + σ² _nT); (1/16))
    であって、更に
    s₁ ² = (1/2) max ((s₀ ²-σ² _nT); σ² _nT)
    であり、またｓ₀ ²は現在画像成分と前の画像成分との差のフィルタリングされた結合の利得スケーリングからの結果であり、更にσ_nT ²は時間的雑音入力分散である最小出力雑音分散計算ユニットと、
    ｆ．少なくとも第１のフィルタ係数ｂ_minと合計（ｓ₁ ²＋σ_nT ²）とを受信し、ｂ₀＝（ｎｍ）・ｂ_min＋（１−（ｎｍ））となるように前記ピクセルベースの最終的フィルタ係数ｂ₀を与える動きソフト検出ユニット、ただし
    

    

    であり、更に
    

    

    である動きソフト検出ユニットと、を備える、請求項３８に記載の装置。

Images