JP2008109247A

JP2008109247A - ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ

Info

Publication number: JP2008109247A
Application number: JP2006288399A
Authority: JP
Inventors: Genichi Oyo; 彦一歐陽; Hiroyori Morimoto; 広頼森本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-10-24
Filing date: 2006-10-24
Publication date: 2008-05-08
Also published as: TW200826648A; US20080260040A1

Abstract

【課題】ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダを提供する。
【解決手段】ビデオ・ノイズ・フィルタリング方法は、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されている。各画像は、複数のピクセルを含んでいる。この方法は、以下のステップを含む。（ａ）画像を複数のマクロブロックに分割するステップ、（ｂ）マクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類し、滑らかなマクロブロックのピクセルを出力するステップ、（ｃ）各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類するステップ、（ｄ）非エッジピクセル・グループを空間垂直フィルタリングに、続いて時間フィルタリングへ送るステップ、および（ｅ）未出力ピクセルを空間水平フィルタリングへ送り、続いて出力するステップ。
【選択図】図４

Description

本発明は、ビデオ・ノイズを処理する方法、装置、集積回路およびエンコーダに関し、特にビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダに関する。

従来型ビデオ・ノイズをフィルタリングする方法は、画像の特徴を表わすことができる統計値に基づいて適切なフィルタを提供し、次いで画像内の全てのピクセルをフィルタリングする。しかし、一般に画像は異なる詳細特徴を有する領域に更に分割できるため、画像内の全てのピクセルを、同一フィルタを用いてフィルタリングした場合、ノイズをフィルタリングしつつ画像の詳細を保持するという目的が達成できない。多くの例において、ノイズをフィルタリングする動作の間、画像のエッジおよびテクスチャ領域の詳細特徴もまた失われるため、過度にぼやけた画像が生じる。その他に、画像の全てのピクセルをフィルタリングするのは一般に膨大な計算量を必要とする。

別の従来型ビデオ・ノイズをフィルタリングする方法は、特許文献１に開示されている詳細保持ノイズ・フィルタリング方法（以下、ＤＰＮＦ法と称する）であって、これを用いて画像内の異種の特徴の領域をフィルタリングすることにより、ノイズをフィルタリングしつつ画像の詳細を保持するという目的を達成することができる。

図１を参照するに、ＤＰＮＦ法では最初に画像を複数のブロックに分割する。次いで、索引生成ユニット１を用いて複数のバイナリ索引を生成する。最後に、バイナリ索引に基づき、各々選択的局所平滑化ユニット２を用いて画像内の異種の特徴の領域において適切なフィルタリングを実行する。

索引生成ユニット１は、閾値決定ユニット１１およびバイナリ索引ユニット１２を含んでいる。最初に、閾値決定ユニット１１が、各ブロック内で複数のピクセルのグレー・レベル値に基づいてバイナリ閾値を求める。次いで、バイナリ索引ユニット１２が、各ブロック内の全てのピクセルのグレー・レベル値をバイナリ閾値と比較する。ピクセルのグレー・レベル値がバイナリ閾値より大きい場合、当該ピクセルに対応するバイナリ索引値は１に設定される。そうでない場合は、バイナリ索引値は０に設定される。図２に示すようなバイナリ索引ブロック３を各ブロックについて得ることができる。

選択的局所平滑化ユニット２は、フィルタ選択ユニット２１および適合型フィルタリング・ユニット２２を含んでいる。最初に、フィルタ選択ユニット２１が、バイナリ索引ブロック３内で所定の大きさのウィンドウ３１を提供し、ウィンドウ３１のバイナリ索引に基づき、ピクセルを分類する領域を決定する。ウィンドウ３１内の全てのバイナリ索引が同一である場合、すなわち、全てが「０」または全てが「１」である場合、ウィンドウ３１内の中心位置のピクセル３２は均一な領域に分類される。そうでない場合は、ウィンドウ３１内の中心位置のピクセル３３は異種の領域に分類される。次いで、適合型フィルタリング・ユニット２２が、フィルタリングのためにピクセルが属する領域に基づき適切なフィルタを選択する。
米国特許第５，８１８，９６４号明細書

ＤＰＮＦ法は、画像詳細を保持しながらビデオ・ノイズをフィルタリングできるものの、依然としてＤＰＮＦ法で画像の全てのピクセルをフィルタリングする必要があるため、計算効率の面で改善の余地が殆どない。従って、従来方法を改善する余地が依然としてある。

従って、本発明の目的は、ビデオ・ノイズをフィルタリングする方法を提供することである。

上記に基づき、本発明のビデオ・ノイズ・フィルタリング方法は、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されている。各画像は、複数のピクセルを含んでいる。本方法は、以下のステップを含んでいる。（ａ）画像を選択し、当該画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにするステップ、（ｂ）マクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類し、滑らかなマクロブロックのピクセルを出力するステップ、（ｃ）各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類するステップ、（ｄ）非エッジピクセル・グループを空間垂直フィルタリングに、続いて時間フィルタリングへ送るステップ、および（ｅ）未出力ピクセルを空間水平フィルタリングへ送り、続いて出力するステップ。

従って、本発明の別の目的は、ビデオ・ノイズをフィルタリングする装置を提供することである。

上記に基づき、本発明のビデオ・ノイズ・フィルタリング装置は、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されている。各画像は、複数のピクセルを含んでいる。本装置は、マクロブロック・フィルタリング・ユニット、エッジ／非エッジピクセル分類ユニット、およびフィルタリング・ユニットを含んでいる。マクロブロック・フィルタリング・ユニットは画像を選択し、当該画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにし、続いてマクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類して、滑らかなマクロブロックのピクセル値を出力する。エッジ／非エッジピクセル分類ユニットは、各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類する。フィルタリング・ユニットは、空間垂直フィルタ、時間フィルタ、および空間水平フィルタを含んでいる。非エッジピクセル・グループは最初に、空間垂直フィルタに、次いで時間フィルタに送られる。未出力ピクセルは、後で出力すべく空間水平フィルタに送られ処理される。

従って、発明の更に別の目的は、ビデオ・ノイズをフィルタリングする集積回路を提供することである。

上記に基づき、本発明のビデオ・ノイズ・フィルタリング集積回路は、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されている。各画像は、複数のピクセルを含んでいる。本集積回路は、マクロブロック・フィルタリング・ユニット、エッジ／非エッジピクセル分類ユニット、およびフィルタリング・ユニットを含んでいる。マクロブロック・フィルタリング・ユニットは画像を選択し、当該画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにし、続いてマクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類して、滑らかなマクロブロックのピクセル値を出力する。エッジ／非エッジピクセル分類ユニットは、各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類する。フィルタリング・ユニットは、空間垂直フィルタ、時間フィルタ、および空間水平フィルタを含んでいる。非エッジピクセル・グループは最初に、空間垂直フィルタに、次いで時間フィルタに送られる。未出力ピクセルは、後で出力すべく空間水平フィルタに送られ処理される。

従って、本発明の更に別の目的は、ビデオ・ノイズをフィルタリングするエンコーダを提供することである。

上記に基づき、本発明のビデオ・ノイズ・フィルタリング・エンコーダは、ノイズをフィルタリングおよびビデオを符号化すべく適合されている。当該エンコーダは画像入力ユニット、ビデオ・ノイズ・フィルタリング装置、メモリ・ユニット、およびビデオ符号化ユニットを含んでいる。

画像入力ユニットは、複数の画像を含むビデオ・ストリームの受信および入力を行なう。各画像は、複数のピクセルを含んでいる。ビデオ・ノイズ・フィルタリング装置は、マクロブロック・フィルタリング・ユニット、エッジ／非エッジピクセル分類ユニット、およびフィルタリング・ユニットを含んでいる。マクロブロック・フィルタリング・ユニットは画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにし、続いてマクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類して、滑らかなマクロブロックのピクセル値を出力する。エッジ／非エッジピクセル分類ユニットは、各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類する。フィルタリング・ユニットは、空間垂直フィルタ、時間フィルタ、および空間水平フィルタを含んでいる。非エッジピクセル・グループは最初に、空間垂直フィルタに、次いで時間フィルタに送られる。未出力ピクセルは、後で出力すべく空間水平フィルタに送られ処理される。メモリ・ユニットは、ビデオ・ノイズ・フィルタリング装置から出力されたマクロブロックを一時的に格納する。ビデオ符号化ユニットは、メモリ・ユニットに一時的に格納されたマクロブロックを読み込んで符号化する。

本発明では、画像内の全てのピクセルをフィルタリングする必要がない。ノイズ有りマクロブロックのピクセルだけが分類されて、適切なフィルタリング処理へ送られる。これは計算効率を向上させるだけでなく、画像詳細を保持しながら、画像のノイズをフィルタリングすることもできるため、本発明の目的が達成される。

本発明の他の特徴および利点は、添付の図面を参照しつつ、以下の好適な実施形態の詳細説明により明らかになる。

図３を参照するに、本発明による、ビデオ・ノイズ・フィルタリング・エンコーダ４の好適な実施形態は、ノイズをフィルタリング、およびビデオを符号化すべく適合されている。エンコーダ４は、画像入力ユニット４１、ビデオ・ノイズ・フィルタリング装置５、メモリ・ユニット４２、ビデオ符号化ユニット４３、システム制御ユニット４４、データ・ストリーム制御ユニット４５、および記録媒体４６を含んでいる。

図３、図７を参照するに、画像入力ユニット４１を用いて、複数の画像を含むビデオ・ストリーム８の受信および入力を行なう。各々の画像は、複数のピクセルを有する。ビデオ・ノイズ・フィルタリング装置５を用いて、ビデオ・ストリームの画像のノイズをフィルタリングする。メモリ・ユニット４２を用いて、ビデオ・ノイズ・フィルタリング装置５からの出力を一時的に格納する。ビデオ符号化ユニット４３を用いて、メモリ・ユニット４２に一時的に格納されているビデオ・ノイズ・フィルタリング装置５の出力を読み込んで、これをメモリ・ユニット４２に再び格納する前に、これに対して圧縮／符号化を実行する。システム制御ユニット４４を用いて、エンコーダ４内の全てのユニットおよび装置の全体的な動作処理を制御する。データ・ストリーム制御ユニット４５を用いて、圧縮／符号化されたデータ・ストリームをメモリ・ユニット４２から記録媒体４６への格納を制御する。この好適な実施形態において、画像入力ユニット４１はカメラである。記録媒体４６は、セキュア・デジタル・カード（ＳＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ・ディスク（ＢＤ）、またはハードディスク装置（ＨＤＤ）であってよい。データ・ストリーム制御ユニット４５はマルチプレクサと同様に機能し、メモリ・ユニット４２内のデータ・ストリームを上述のＳＤ、ＤＶＤ、ＢＤまたはＨＤＤに格納して、対応するフォーマットでの出力処理を実行する。

図４に示すように、ビデオ・ノイズ・フィルタリング装置５は、マクロブロック・フィルタリング・ユニット５１、エッジ／非エッジピクセル分類ユニット５２、およびフィルタリング・ユニット５３を含んでいる。マクロブロック・フィルタリング・ユニット５１は、第１のフィルタ・モジュール５１１および第２のフィルタ・モジュール５１２を有する。エッジ／非エッジピクセル分類ユニット５２は、２値化モジュール５２１およびマクロブロック・ピクセル選択モジュール５２２を有する。フィルタリング・ユニット５３は、空間垂直フィルタ５３１、時間フィルタ５３２、および空間水平フィルタ５３３を有する。

図３〜図６を参照するに、ステップ６１１〜６１３において、第１フィルタ・モジュール５１１を用いて、フィルタリング対象画像を選択し、当該画像を複数のマクロブロック（ＭＢ）７に分割する。各マクロブロック７は、複数のブロック７１を有する。次いで、マクロブロック７内のブロック７１の各々の範囲値を求めて、マクロブロック７内のブロック７１の最も大きい範囲値が最大範囲値として用いられる。最後に、最大範囲値が所定の第１の閾値ｔｈｒ_１より小さいか否かが判定される。ＹＥＳの場合、すなわち、最大範囲値が所定の第１の閾値ｔｈｒ_１より小さい場合、マクロブロック７は滑らかなマクロブロックとして分類され、そのピクセルがメモリ・ユニット４２へ出力される。最大範囲値が所定の第１の閾値ｔｈｒ_１より小さくない場合、マクロブロック７はノイズ有りマクロブロックとして分類され、以下の処理へ送られる。この好適な実施形態において、各マクロブロック７は、６個のブロック７１を有する。各ブロック７１の範囲値は、ブロック７１の最大ピクセル値と最小ピクセル値の差である。

ステップ６１４において、第２のフィルタ・モジュール５１２を用いて以下の判定を実行する。

各ノイズ有りマクロブロックの最大範囲値が所定の第２の閾値ｔｈｒ_２より小さい場合、ノイズ有りマクロブロックのピクセルは直ちにステップ６３３の処理へ送られる。あるいは、ノイズ有りマクロブロックのブロック７１のいずれか一つの範囲値がノイズ有りマクロブロックの最大範囲値に等しい場合、各ブロック７１のピクセルは直ちにステップ６３３の処理へ送られる。

ステップ６２１において、２値化モジュール５２１を用いて、各ブロック７１の複数のピクセル値Ｐ（ｉ，ｊ）に基づき第３の閾値ｔｈｒ_３を求め、ピクセル値Ｐ（ｉ，ｊ）および第３の閾値ｔｈｒ_３に基づき各ブロック７１に対応する２値化ブロック７２を見つける。２値化ブロック７２は複数のバイナリ値ｂｉｎ（ｉ，ｊ）を有し、次式で表わすことができる。

Ｐ（ｉ，ｊ）＞ｔｈｒ_３ならばｂｉｎ（ｉ，ｊ）＝１
Ｐ（ｉ，ｊ）＜＝ｔｈｒ_３ならばｂｉｎ（ｉ，ｊ）＝０
ここで、ｂｌｋ＿ｗとｂｌｋ＿ｈは各々、ブロック７１の幅と高さを表わす。この好適な実施形態においてｂｌｋ＿ｗ＝ｂｌｋ＿ｈ＝８である。

ステップ６２２において、マクロブロック・ピクセル選択モジュール５２２は、所定の大きさのスライド式ウィンドウ７３を２値化ブロック７２内で移動することにより、ブロック７１内のエッジ位置を見つける。図６に示すように、スライド式ウィンドウ７３の大きさは３×３であり、スライド式ウィンドウ７３は１回に１ピクセルづつ移動する。スライド式ウィンドウ７３内の全てのバイナリ値ｂｉｎ（ｉ，ｊ）が同一、例えば全て「０」または全て「１」である場合、スライド式ウィンドウ７３の中心位置７３１に対応するピクセル７１１はエッジ上にはなく、非エッジピクセル・グループに属する。さもなければ、スライド式ウィンドウ７３の中心位置７３１に対応するピクセル７１１はエッジ上にあり、エッジピクセル・グループに属する。

ステップ６２３において、対応ピクセル７１１がエッジピクセル・グループに属する場合、ステップ６３３の処理が直接実行される。そうでなければ、以下の処理が実行される。

ステップ６３１〜６３３において、非エッジピクセル・グループは最初に、空間垂直フィルタ５３１の処理へ送られる。空間垂直フィルタ５３１は、３タップ有限インパルス応答（ＦＩＲ）フィルタである。３タップＦＩＲの係数の組は
（Ｃｏｅｆｆ_ｕｐ，Ｃｏｅｆｆ_{ｔａｒｇｅｔ＿ｖ}，Ｃｏｅｆｆ_ｄｏｗｎ）
である。フィルタリング後のピクセル値Ｐ_{ｔａｒｇｅｔ＿ｖ}（ｉ，ｊ）は、次式で表わすことができる。
Ｐ_{ｔａｒｇｅｔ＿ｖ}（ｉ，ｊ）＝Ｐ（ｉ，ｊ−１）×Ｃｏｅｆｆ_ｕｐ
＋Ｐ（ｉ，ｊ）×Ｃｏｅｆｆ_{ｔａｒｇｅｔ＿ｖ}
＋Ｐ（ｉ，ｊ＋１）×Ｃｏｅｆｆ_ｄｏｗｎ

図４、５、７を参照するに、時間フィルタ５３２は続いて、画像８１および前の画像８２内の対応する位置８１１、８２１のピクセル値に従う所定の比率を用いて新規ピクセル値Ｐ_ｎｅｗ（ｉ，ｊ）を求めるべく用いられる。画像８１内の位置８１１のピクセル値と、新規ピクセル値Ｐ_ｎｅｗ（ｉ，ｊ）の差の絶対値が第４の閾値ｔｈｒ_４より小さい場合、位置８１１のピクセル値が置換されて、新規ピクセル値Ｐ_ｎｅｗ（ｉ，ｊ）により更新され、次式で表わすことができる。
Ｐ_ｎｅｗ（ｉ，ｊ）＝Ｐ_ｔ（ｉ，ｊ）×Ｗ_１＋Ｐ_ｔ−１（ｉ，ｊ）×Ｗ_２
（｜Ｐ_ｔ（ｉ，ｊ）−Ｐ_ｎｅｗ（ｉ，ｊ）｜＜ｔｈｒ_４）ならば、
Ｐ_ｔ（ｉ，ｊ）＝Ｐ_ｎｅｗ（ｉ，ｊ）
そうでなければ、フィルタリングは行わず、
Ｐ_ｔ（ｉ，ｊ）＝Ｐ_ｔ（ｉ，ｊ）
ここで、Ｐ_ｔ（ｉ，ｊ）とＰ_ｔ−１（ｉ，ｊ）は各々位置８１１、８２１のピクセル値を表わし、（Ｗ_１，Ｗ_２）は所定の比率である。この好適な実施形態において、Ｗ_１＝０．７５、Ｗ_２＝０．２５である。

図３、図４、図５を参照するに、最後に、未出力ピクセルが空間水平フィルタ５３３により処理されて、続いてメモリ・ユニット４２へ出力される。この好適な実施形態において、空間水平フィルタ５３３は、画像のグレー・データおよびカラー・データに関して異なる係数のフィルタ、すなわちグレー・データの場合は１５タップＦＩＲ、カラー・データの場合は７タップＦＩＲフィルタを各々備えていてよい。

一例として７タップＦＩＲフィルタを取り上げる。当該フィルタの係数の組は、
（Ｃｏｅｆｆ_{ｌｅｆｔ３}，Ｃｏｅｆｆ_{ｌｅｆｔ２}，Ｃｏｅｆｆ_{ｌｅｆｔ１}，Ｃｏｅｆｆ_{ｔａｒｇｅｔ＿ｈ}，
Ｃｏｅｆｆ_{ｒｉｇｈｔ１}，Ｃｏｅｆｆ_{ｒｉｇｈｔ２}，Ｃｏｅｆｆ_{ｒｉｇｈｔ３}）
であり、フィルタリング後のピクセル値Ｐ_{ｔａｒｇｅｔ＿ｈ}（ｉ，ｊ）は次式で表わすことができる。
Ｐ_{ｔａｒｇｅｔ＿ｈ}（ｉ，ｊ）＝Ｐ（ｉ−３，ｊ）×Ｃｏｅｆｆ_{ｌｅｆｔ３}
＋Ｐ（ｉ−２，ｊ）×Ｃｏｅｆｆ_{ｌｅｆｔ２}
＋Ｐ（ｉ−１，ｊ）×Ｃｏｅｆｆ_{ｌｅｆｔ１}
＋Ｐ（ｉ，ｊ） ×Ｃｏｅｆｆ_{ｔａｒｇｅｔ＿ｈ}
＋Ｐ（ｉ＋１，ｊ）×Ｃｏｅｆｆ_{ｒｉｇｈｔ１}
＋Ｐ（ｉ＋２，ｊ）×Ｃｏｅｆｆ_{ｒｉｇｈｔ２}
＋Ｐ（ｉ＋３，ｊ）×Ｃｏｅｆｆ_{ｒｉｇｈｔ３}

ステップ６４において、画像の各マクロブロック７（図６参照）が上述のステップの処理を受けたか否かが判定される。処理済みである場合は、画像のノイズ・フィルタリング処理は完了している。そうでない場合は、処理フローはステップ６１２へ戻る。上述のステップの処理を受けた後で、各マクロブロック７はメモリ・ユニット４２に一時的に格納され、ビデオ符号化ユニット４３を用いてマクロブロック７を圧縮／符号化する。

また、本発明によるビデオ・ノイズ・フィルタリング集積回路は、図４に示すマクロブロック・フィルタリング・ユニット５１、エッジ／非エッジピクセル分類ユニット５２、およびフィルタリング・ユニット５３を含んでいる。マクロブロック・フィルタリング・ユニット５１およびエッジ／非エッジピクセル分類ユニット５２は、マクロブロック分類集積回路を構成することができる。フィルタリング・ユニット５３は、マクロブロック・フィルタリング集積回路を構成することができる。このような組み合わせもまた、同様の効果をもたらすことができる。

総括すれば、上述のビデオ・ノイズ・フィルタリング方法、装置、集積回路、およびエンコーダには以下の利点がある。第一に、マクロブロックが、滑らかなマクロブロックと、ノイズ有りマクロブロックとに分類され、滑らかなマクロブロックは処理を受けずに出力される。通常の条件下では、マクロブロックの約７０％は、続いてノイズ・フィルタリング処理（完全にせよ部分的にせよ）を受ける必要がない。従って、計算効率を向上させることができる。第二に、ノイズ有りマクロブロックのピクセルを更に分類して、フィルタリングを実行するための適切な空間垂直フィルタ、時間フィルタ、または空間水平フィルタを提供することにより、画像詳細を保持しながらビデオ・ノイズをフィルタリングすることができる。従って、本発明の目的を達成することができる。

本発明をその最も実用的且つ好適と思われる実施形態に関連して記述してきたが、本発明は、開示した実施形態に限定されず、あらゆる変型および同等な構成を包含すべく、最も幅広い解釈の概念および範囲に含まれることを意図している点を理解されたい。

本発明は、ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダに利用可能である。

従来のビデオ・ノイズ・フィルタリング方法を示すブロック図である。バイナリ索引ブロックおよびウィンドウにより適切なフィルタがどのように選択されるかを示す従来方法の模式図である。本発明による、ビデオ・ノイズ・フィルタリング・エンコーダの好適な実施形態を示すブロック図である。本発明による、ビデオ・ノイズ・フィルタリング装置の好適な実施形態を示すブロック図である。本発明による、ビデオ・ノイズ・フィルタリング方法の好適な実施形態を示すフロー図である。本発明の方法における２値化ブロックおよびスライド式ウィンドウに基づきどのようにピクセルが分類され、適切なフィルタがどのように選択されるかを示す模式図である。ビデオ・ストリーム内における現在の画像および１個前の画像を示す模式図である。

符号の説明

１索引生成ユニット
２選択的局所平滑化ユニット
３バイナリ索引ブロック
４ビデオ・ノイズ・フィルタリング・エンコーダ
５ビデオ・ノイズ・フィルタリング装置
７マクロブロック
８ビデオ・ストリーム
１１閾値決定ユニット
１２バイナリ索引ユニット
２１フィルタ選択ユニット
２２適合型フィルタリング・ユニット
３１ウィンドウ
３２、３３ピクセル
４１画像入力ユニット
４２メモリ・ユニット
４３ビデオ符号化ユニット
４４システム制御ユニット
４５データ・ストリーム制御ユニット
４６記録媒体
５１マクロブロック・フィルタリング・ユニット
５２エッジ／非エッジピクセル分類ユニット
５３フィルタリング・ユニット
５１１、５１２フィルタ・モジュール
５２１２値化モジュール
５２２マクロブロック・ピクセル選択モジュール
５３１空間垂直フィルタ
５３２時間フィルタ
５３３空間水平フィルタ
７１ブロック
７２２値化ブロック
７３スライド式ウィンドウ
８１画像
８２１個前の画像
８１１、８２１位置

Claims

各画像が複数のピクセルを含んだ、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されたビデオ・ノイズ・フィルタリング方法であって、
（ａ）画像を選択し、前記画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにするステップと、
（ｂ）前記マクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類し、前記滑らかなマクロブロックのピクセルを出力するステップと、
（ｃ）各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類するステップと、
（ｄ）前記非エッジピクセル・グループを空間垂直フィルタリングへ、続いて時間フィルタリングへ送るステップと、
（ｅ）未出力ピクセルを空間水平フィルタリングへ送り、続いて出力するステップと、
を含む方法。
前記ステップ（ｂ）が以下のサブステップ、
（ｂ−１）ブロックの最大ピクセル値と最小ピクセル値の差である範囲値を、前記マクロブロックの各ブロックについて求め、続いて前記範囲値に基づき各マクロブロックの最大範囲値を求めるステップと、
（ｂ−２）前記最大範囲値が所定の第１閾値より小さいか否かを判定し、小さい場合は、対応するマクロブロックを滑らかなマクロブロックとして分類してそのピクセルを出力し、小さくない場合は、対応するマクロブロックをノイズ有りマクロブロックとして分類するステップと、
を含む、請求項１に記載の方法。
前記ステップ（ｂ）が更に以下のサブステップ、
（ｂ−３）各ノイズ有りマクロブロックの最大範囲値が所定の第２の閾値より小さい場合、直ちに対応するマクロブロックのピクセルをステップ（ｅ）の処理へ送るステップと、
（ｂ−４）前記ノイズ有りマクロブロックのいずれか１個のブロックの範囲値が、ノイズ有りマクロブロックの最大範囲値に等しい場合、直ちに前記ブロックのピクセルをステップ（ｅ）の処理へ送るステップと、
を含む、請求項２に記載の方法。
前記ステップ（ｃ）が更に以下のサブステップ、
（ｃ−１）各ブロック内の複数のピクセル値に基づき第３の閾値を求め、続いて前記ピクセル値および前記第３の閾値に基づき各ブロックに対応する２値化ブロックを見つけるステップと、
（ｃ−２）前記２値化ブロック内で所定の大きさのスライド式ウィンドウを移動することにより、各ブロック内のエッジ位置を見つけ、続いて各ブロック内のエッジ位置にあるピクセルをエッジピクセル・グループに分類し、前記各ブロック内の残りのピクセルを非エッジピクセル・グループに分類するステップと、
を含む、請求項１に記載の方法。
前記ステップ（ｄ）の時間フィルタリングが以下のサブステップ、すなわち
（ｄ−１）前記画像および前の画像内の対応する位置の複数のピクセル値に基づき、所定の比率を用いて新規のピクセル値を求めるステップと、
（ｄ−２）前記画像内の対応する位置のピクセル値と前記新規ピクセル値との差の絶対値が第４の閾値より小さい場合、前記画像内の対応する位置のピクセル値を前記新規ピクセル値で置換し、更新するステップと、
を含む、請求項１に記載の方法。
各画像が複数のピクセルを含んだ、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されているビデオ・ノイズ・フィルタリング装置であって、
画像を選択し、前記画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにし、続いて前記マクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類して、前記滑らかなマクロブロックのピクセル値を出力するマクロブロック・フィルタリング・ユニットと、
各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類するエッジ／非エッジピクセル分類ユニットと、
空間垂直フィルタ、時間フィルタ、および空間水平フィルタを含んでいるフィルタリング・ユニットと、
を含み、前記非エッジピクセル・グループは最初に、前記空間垂直フィルタに、次いで前記時間フィルタに送られ、前記未出力ピクセルは、後で出力すべく前記空間水平フィルタに送られ、処理されるビデオ・ノイズ・フィルタリング装置。
前記マクロブロック・フィルタリング・ユニットが第１のフィルタ・モジュールを含み、前記フィルタ・モジュールが前記ブロックの最大ピクセル値と最小ピクセル値の差である範囲値を、前記マクロブロックの各ブロックについて求め、続いて、前記範囲値に基づき各マクロブロックの最大範囲値を求め、最終的に、最大範囲値が所定の第１の閾値より小さいか否かを判定して、小さい場合は、対応するマクロブロックを滑らかなマクロブロックとして分類してそのピクセルを出力し、小さくない場合は、対応するマクロブロックをノイズ有りマクロブロックとして分類する、請求項６に記載の装置。
前記マクロブロック・フィルタリング・ユニットが更に以下の判定、
各ノイズ有りマクロブロックの最大範囲値が所定の第２の閾値より小さい場合、直ちに、前記各ノイズ有りマクロブロックのピクセルを前記空間水平フィルタに送り、
前記各ノイズ有りマクロブロックのいずれか１個のブロックの範囲値が前記各ノイズ有りマクロブロックの最大範囲値に等しい場合、直ちに、前記各ブロックのピクセルを前記空間水平フィルタに送る判定を実行する第２のフィルタ・モジュールを含む、請求項７による装置。
前記エッジ／非エッジピクセル分類ユニットが、
各ブロック内の複数のピクセル値に基づき第３の閾値を求め、前記ピクセル値および前記第３の閾値に基づき各ブロックに対応する２値化ブロックを見つける２値化モジュールと、
前記２値化ブロック内で所定の大きさのスライド式ウィンドウを移動することにより、各ブロック内のエッジ位置を見つけ、続いて各ブロック内でエッジ位置にあるピクセルをエッジピクセル・グループに分類し、前記各ブロック内の残りのピクセルを非エッジピクセル・グループに分類するマクロブロック・ピクセル選択モジュールと、
を含む、請求項６に記載の装置。
前記時間フィルタを用いて、前記画像および前の画像内の対応する位置の複数のピクセル値に基づき所定の比率を用いて新規のピクセル値を求め、続いて前記画像内の対応する位置のピクセル値と前記新規ピクセル値との差の絶対値が第４の閾値より小さい場合、前記画像内の対応する位置のピクセル値を前記新規ピクセル値で置換し、更新する、請求項６に記載の装置。
各画像が複数のピクセルを含んでいる、ビデオ・ストリームの複数の画像のノイズをフィルタリングすべく適合されたビデオ・ノイズ・フィルタリング集積回路であって、
画像を選択し、前記画像を複数のマクロブロックに分割して各マクロブロックが複数のブロックを含むようにし、続いて前記マクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類して、前記滑らかなマクロブロックのピクセル値を出力するマクロブロック・フィルタリング・ユニットと、
各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類するエッジ／非エッジピクセル分類ユニットと、
空間垂直フィルタ、時間フィルタ、および空間水平フィルタを含んでいるフィルタリング・ユニットと、
を含み、前記非エッジピクセル・グループは最初に、前記空間垂直フィルタに、次いで前記時間フィルタに送られ、前記未出力ピクセルは、後で出力すべく前記空間水平フィルタに送られ、処理される集積回路。
前記マクロブロック・フィルタリング・ユニットが第１のフィルタ・モジュールを含み、前記フィルタ・モジュールが前記ブロックの最大ピクセル値と最小ピクセル値の差である範囲値を、前記マクロブロックの各ブロックについて求め、続いて、前記範囲値に基づき各マクロブロックの最大範囲値を求め、最終的に、最大範囲値が所定の第１の閾値より小さいか否かを判定して、小さい場合は、対応するマクロブロックを滑らかなマクロブロックとして分類してそのピクセルを出力し、小さくない場合は、対応するマクロブロックをノイズ有りマクロブロックとして分類する、請求項１１に記載の集積回路。
前記マクロブロック・フィルタリング・ユニットが更に以下の判定、
各ノイズ有りマクロブロックの最大範囲値が所定の第２の閾値より小さい場合、直ちに、前記各ノイズ有りマクロブロックのピクセルを前記空間水平フィルタに送り、
前記各ノイズ有りマクロブロックのいずれか１個のブロックの範囲値が前記各ノイズ有りマクロブロックの最大範囲値に等しい場合、直ちに、前記各ブロックのピクセルを前記空間水平フィルタに送る判定を実行する第２のフィルタ・モジュールを含む、請求項１２に記載の集積回路。
前記エッジ／非エッジピクセル分類ユニットが、
各ブロック内の複数のピクセル値に基づき第３の閾値を求め、前記ピクセル値および前記第３の閾値に基づき各ブロックに対応する２値化ブロックを見つける２値化モジュールと、
前記２値化ブロック内で所定の大きさのスライド式ウィンドウを移動することにより、各ブロック内のエッジ位置を見つけ、続いて各ブロック内でエッジ位置にあるピクセルをエッジピクセル・グループに分類し、前記各ブロック内の残りのピクセルを非エッジピクセル・グループに分類するマクロブロック・ピクセル選択モジュールと、
を含む、請求項１１に記載の集積回路。
前記時間フィルタを用いて、前記画像および前の画像内の対応する位置の複数のピクセル値に基づき所定の比率を用いて新規のピクセル値を求め、続いて前記画像内の対応する位置のピクセル値と前記新規ピクセル値との差の絶対値が第４の閾値より小さい場合、前記画像内の対応する位置のピクセル値を前記新規ピクセル値で置換および更新する、請求項１１に記載の集積回路。
ノイズをフィルタリングしてビデオを符号化すべく適合されたビデオ・ノイズ・フィルタリング・エンコーダであって、
各画像が複数のピクセルを含んでいる、複数の画像を含むビデオ・ストリームの受信および入力を行なう画像入力ユニットと、
マクロブロック・フィルタリング・ユニット、エッジ／非エッジピクセル分類ユニット、およびフィルタリング・ユニットを含んでいるビデオ・ノイズ・フィルタリング装置であって、前記マクロブロック・フィルタリング・ユニットを用いて、画像を複数のブロックを有する複数のマクロブロックに分割し、続いて前記マクロブロックを複数の滑らかなマクロブロックおよび複数のノイズ有りマクロブロックに分類して、前記滑らかなマクロブロックのピクセル値を出力し、前記エッジ／非エッジピクセル分類ユニットを用いて、各ノイズ有りマクロブロックのピクセルをエッジピクセル・グループおよび非エッジピクセル・グループに分類し、前記フィルタリング・ユニットは空間垂直フィルタ、時間フィルタ、および空間水平フィルタを有し、前記非エッジピクセル・グループは最初に前記空間垂直フィルタに、次いで前記時間フィルタの処理に送られ、未出力ピクセルは、後で出力すべく前記空間水平フィルタに送られ、処理されるようにしたビデオ・ノイズ・フィルタリング装置と、
前記ビデオ・ノイズ・フィルタリング装置から出力されたマクロブロックを一時的に格納するメモリ・ユニットと、
前記メモリ・ユニットに一時的に格納されたマクロブロックを読み込んで符号化するビデオ符号化ユニットと、
を含むエンコーダ。
前記マクロブロック・フィルタリング・ユニットが第１のフィルタ・モジュールを含み、前記フィルタ・モジュールが前記ブロックの最大ピクセル値と最小ピクセル値の差である範囲値を、前記マクロブロックの各ブロックについて求め、続いて、前記範囲値に基づき各マクロブロックの最大範囲値を求め、最終的に、最大範囲値が所定の第１の閾値より小さいか否かを判定して、小さい場合は、対応するマクロブロックを滑らかなマクロブロックとして分類してそのピクセルを出力し、小さくない場合は、対応するマクロブロックをノイズ有りマクロブロックとして分類する、請求項１６に記載のエンコーダ。
前記マクロブロック・フィルタリング・ユニットが更に以下の判定、
各ノイズ有りマクロブロックの最大範囲値が所定の第２の閾値より小さい場合、直ちに、前記各ノイズ有りマクロブロックのピクセルを前記空間水平フィルタに送り、
前記各ノイズ有りマクロブロックのいずれか１個のブロックの範囲値が前記各ノイズ有りマクロブロックの最大範囲値に等しい場合、直ちに、前記各ブロックのピクセルを前記空間水平フィルタに送る判定を実行する第２のフィルタ・モジュールを含む、請求項１７に記載のエンコーダ。
前記エッジ／非エッジピクセル分類ユニットが、
各ブロック内の複数のピクセル値に基づき第３の閾値を求め、前記ピクセル値および前記第３の閾値に基づき各ブロックに対応する２値化ブロックを見つける２値化モジュールと、
前記２値化ブロック内で所定の大きさのスライド式ウィンドウを移動することにより、各ブロック内のエッジ位置を見つけ、続いて各ブロック内でエッジ位置にあるピクセルをエッジピクセル・グループに分類し、前記各ブロック内の残りのピクセルを非エッジピクセル・グループに分類するマクロブロック・ピクセル選択モジュールと、
を含む、請求項１６に記載のエンコーダ。
前記時間フィルタを用いて、前記画像および前の画像内の対応する位置の複数のピクセル値に基づき所定の比率を用いて新規のピクセル値を求め、続いて前記画像内の対応する位置のピクセル値と前記新規ピクセル値との差の絶対値が第４の閾値より小さい場合、前記画像内の対応する位置のピクセル値を前記新規ピクセル値で置換および更新する、請求項１６に記載のエンコーダ。