JP2009543444A - 適応ピクセルベースのフィルタリング - Google Patents

Abstract

【課題】
【解決手段】
実施例において、ピクセルは、目標デジタル画像から選択される。複数の候補ピクセルは、一つ以上のデジタル画像から、複数の候補ピクセルの値に基づいて評価される。選択されたピクセルのために、対応するピクセル集合は、複数の候補ピクセルの評価、および、予め定められた閾値の数のピクセルが、対応する集合に含まれたかどうか、に基づいて、複数の候補ピクセルから決定される。更に、選択されたピクセルのための代替値が、対応するピクセル集合のピクセルの値に基づいて決定される。記載されているさまざまな実施例は、画像またはビデオのフィルム粒子またはノイズを低減するために、適応ピクセルベースの時空間的フィルタリングを提供する。実施例は、例えば、時間領域および／または空間領域に関連している定数Ｎ個のピクセルを有する各ピクセルを平均することによって、できるだけ多くの画像の細部を保存すると共に、各ピクセルで「均一な」量のノイズ除去を達成している。

Description

本発明は、画像フィルタリングに関する。

ビデオ雑音除去フィルタが、ビデオ制作後およびビデオ圧縮環境において広範囲に用いられてきた。前者は、しばしば、できるだけ多くの細部を保存するフィルタを必要とするため、結果として画像の不均等なノイズ除去になり、非常に保守的な設定を使用する傾向がある。細部の部分的な損失を代償にしても、後者はしばしば強度なフィルタを必要とする。その理由は、目的がビデオの情報量を減らすことであって、このことにより圧縮効率を増加させ、すなわち、ビットレートを低下させることにあるからである。

ビデオフィルタリングは、ピクセル領域において、または、変換（例えばフーリエまたはウエーブレット変換）領域において実行されてもよい。ピクセルベースのフィルタリングは、基本的には、他のピクセルとの平均をとることによってノイズを減少させる。ピクセルベースの空間フィルタリングにおいて、これらの他のピクセルは、通常、空間的に近くの位置にある。ピクセルベースの空間フィルタリングの周知の技術としては、メジアンフィルタが含まれる。時間領域フィルタリングにおいて、これらの他のピクセルは、時間領域に通常はｎフレーム離れた近くの参照フレームからの予測ピクセルである。従来のピクセルベースのビデオフィルタリング手法は、空間領域、時間領域フィルタリングを多様に組み合わせている。

１つの目的は、ビデオノイズ除去と関連した２つの大きな問題に対処するビデオフィルタリング手法を確立することである。すなわち、この２つの問題とは、（ａ）コンテンツの細部の損失、および（ｂ）フィルタアーチファクト（すなわち、例えば不均等なノイズ除去のフィルタリング処理によって生ずるアーチファクト）である。従来技術システムのピクセルレベルの時空間フィルタリング間の相互作用の欠如は、各ピクセルのフィルタリングの強さに変化を与える。これは、結果として不均等なフィルタリングから生じるフィルタリング後のアーチファクトを発生させる。

実施例は、時空間フィルタリングの間に明確な相互作用を提供することによって、これらの問題に対処する。明確な相互作用はピクセルレベルで時空間フィルタリングを結合することによって達成される。ビデオのすべてのピクセルに均一な量の雑音除去を適用させるとともに、できるだけ細かく適用することにより達成される。各ピクセルは、時間領域に、そして、空間領域において関係している一定数のピクセルによって平均化される。一定数の他のピクセルと平均をとることは、特に加法性雑音（例えばガウス雑音）がある場合には、他のノイズがある場合であっても有利である。平均的な量のノイズ除去を適用することは、フィルタリング後のアーチファクトの発生を低下させ、あるいは回避させる。実施例は、このようにピクセルレベルで時空間フィルタリングを結合する。これによって、従来技術のシステムより以下のような有意な点が得られる。１）ピクセルレベルで時空間フィルタリングを明確に相互作用させる必要がない。または２）ピクセルレベルで時空間フィルタリングをスイッチできる。

本発明の実施例によれば、ピクセルは、目的のデジタル画像から選択される。複数の候補ピクセルは、一つ以上のデジタル画像から、これらの複数の候補ピクセルの値に基づいて評価される。選択されたピクセルのために、複数の候補ピクセルの評価、および予め定められた閾値ピクセル数が対応する集合に含まれるかどうかに基づいて、複数の候補ピクセルから、対応するピクセル集合が決定される。選択されたピクセルのために更に、ピクセルの代替値が、対応する集合のピクセルの値に基づいて決定される。

一つ以上の実施例の詳細は、添付の図面および以下の記述において説明する。他の態様および特徴は、添付の図面および請求項に関連して説明する以下の詳細な説明から明らかになる。なお、図面は単に図示するためだけのものであって、本発明を限定したり定義したりするものではない。加えて、図面は、一定の比率で必ずしも図示されるというわけではない。そして、特に明記しない限り、それらが単に概念的に特定の構造および手順を例示することを目的とするだけであると理解されなければならない。

適応ピクセルベースの時空間領域ビデオ雑音フィルタリングのシステムの実施例のブロック図である。 図１のソースによって提供されるコンテンツの図である。 図１の処理装置の実施例を示しているブロック図である。 図１のシステムを使用したビデオ雑音フィルタリングのための方法の実施例を示したフローチャートである。 良好な候補を決定するためのパッチ手段の実施例の図である。 空間候補の選択を示している実施例の図である。 適応ピクセルベースのビデオ雑音フィルタリングのための方法の実施例を示したフローチャートである。 ピクセルｐの空間フィルタリングの空間的に隣接したピクセル候補の５×５のグリッドを示している図である。

図１は、システム１００のブロック図を示す。ビデオ情報のソース１０２は、処理装置１０４への入力を提供する。処理装置１０４は、適応ピクセルベースの時空間ビデオ雑音フィルタリング処理を実行し、結果を送信装置または記憶装置１０６に与え、結果を伝送または記憶させる。示される実施例において、ディスプレイ１０８は、送信装置１０６からノイズ除去されたビデオ情報を受け取って、そのコンテンツを表示する。当業者は、ディスプレイ１０８は、他の装置と置き換えられてもよいことを認識するであろう。受信装置（例えばメモリ）は、フィルタリング処理されたビデオを受けて、任意に、同じデータを他のビデオ処理装置に入力するために用いてもよい。

図２は、ソースコンテンツ１０２として処理装置１０４に提供されるソースコンテンツ２００を例示的に示した図である。コンテンツは、時間に基づいて発生し、特定の時刻ｔおよび周囲の時刻（例えば、ｔ−１、ｔ＋１．．．）にフレームベースの形で発生する。各フレームは、フレーム内の空間位置（ｘ、ｙ）によって位置づけられるピクセル集合を含む。

図３は、処理装置１０４の実施例のブロック図である。処理装置１０４への入力はビデオソースであり、出力はフィルタリング処理されたビデオである。図３に示される実施例はビデオソースの一つ以上のピクセルに様々な処理を適用してもよい。そして、その結果、それらのピクセルの各々の代替値（すなわち、フィルタリング処理された値）が適用される。代替値が決定される（言い換えると、フィルタリングされているピクセル）とは、現在のピクセルであるとし、これによって描かれているフレームは、現在のフレームであるとする。現在のピクセルに対して、セレクタ１１０は、集合の候補ピクセルを一つ以上の参照フレームから選択する。一実施例では、参照フレームは、現在フレームの周辺のフレームで、現在フレームそのものを含んでもよい。セレクタ１１０は、現在ピクセルを選択してもよい。評価器１１２は、候補ピクセルの集合の各ピクセルの「良好」の値または品質値を決定する。さまざまな実施例によれば、「良好」の値または品質値は、例えば、以下を使用して計算されてもよい。１）ピクセルと選択された候補ピクセル間の色差、２）ピクセルのまわりのＭ×Ｎブロックと候補ピクセルのまわりのＭ×Ｎブロックの間の絶対差（ＳＡＤ：Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）の合計。または３）現在ピクセルまでの距離。集合制御装置１１４は、評価器１１２の結果に対する一つ以上の基準の適用に基づいて、現在ピクセルに対応するピクセル集合を決定する。これらの基準は、以下を決定してもよい。１）予め定められた順序に従って、候補集合からの一つ以上のピクセルが、対応する集合に含まれなければならないか否か。２）候補集合から対応する集合にピクセルを含ませることを、どの時点で停止するか。候補集合から対応する集合にピクセルを含ませることを停止するための一つの規準は、１つの実施例のための優先順位として、以下のものが挙げられる。すなわち、Ａ）予め定められた数のピクセルが、対応する集合に含まれた場合、または、Ｂ）候補集合のすべてのピクセルが既に考慮された場合、である。決定装置１１６は、対応する集合のピクセルの値に基づいて、現在ピクセルのための代替値を決定する。

ユーザ入力装置１１８が、処理装置１０４に任意に含まれる。ユーザ入力装置１１８は、任意であることを示すため、図３に破線のボックスで示されている。ユーザ入力装置１１８は、例えば、ユーザによる停止基準（例えば、現在ピクセルに対応するピクセル集合に含まれるピクセル数の値Ｎ）を入力するために用いてもよい。図３に示されるように、ユーザ入力装置１１８は、集合制御装置１１４に連結してもよい、または一つ以上の他のコンポーネントに（直接または間接的に）連結してもよい。さまざまな実施例において、Ｎの値は、例えば、ソフトウェアまたはハードウェアにおいて固定してもよく、ユーザによって調節可能でなくてもよい。

図４は、実施例に従った処理のフローチャート４００を示す。ソースビデオの目標デジタル画像がアクセスされ４０２、現在ピクセルが選択される。この実施例のソースビデオは、様々な異なるビデオソースの一つ以上を含んでもよい。次の処理の４０４から４１２は、目標像から選択された少なくとも一つのピクセルのために実行される。選択された現在ピクセルのために、集合の候補ピクセルが、一つ以上の参照フレーム４０４（これには、現在フレームを含んでもよく、また含まなくてもよい）から選択される。一旦集合の候補ピクセルが選択されると、各候補ピクセルの１つ以上の良好の値（または品質値）が計算される（４０６）。この時点で、現在ピクセルのための対応する集合のピクセルは、一つ以上の基準（４０８）に基づいて決定される。例えば、基準には、「良好」の値が閾値を超えたかどうかを含んでもよい。処理４０８は、予め定められた順番で、候補集合から一つ以上のピクセルを考慮してもよい。

停止基準が満たされたかどうかが判断される（４１０）。また、上述したように、例えば、停止基準は、以下のものでもよい。Ａ）予め定められた数のピクセルが、既に対応する集合に含まれた場合、または、Ｂ）候補集合のすべてのピクセルが、既に考慮された場合である。一旦停止基準が満たされると、現在ピクセルのための代替値は対応する集合（４１２）のピクセルの値に基づいて決定される。

図５を参照する。３×３ピクセルパッチ６３０および６４０をそれぞれ有する２つの隣接するフレーム６１０および６２０が示されている。実施例に従って、「良好」のパッチベースの基準は、最初に２つのパッチの対応するピクセルの間の絶対差を計算する。そして、絶対差の合計（ＳＡＤ）を形成するために、これらの絶対差を合計する。二つのパッチピクセルのＳＡＤが、予め定められた閾値よりも小さい場合、時間領域予測値ｐｒｅｄ［ｊ］は「良好」を示す。当業者は、実際には、この閾値が２つの閾値に分けられることを認識するであろう。すなわち、一つはピクセルの輝度（ｌｕｍａ）のＳＡＤであり、もう一つはピクセルの彩度（ｃｈｒｏｍａ）ＳＡＤである。重要な点を以下に示す。１）フレームは、隣接している必要はない（なお、図５において隣接するように示されている）、そして、２）２つのフレームのピクセルの位置（ｘ、ｙ）は、同じである必要はない。当業者は、パッチおよび閾値を選択するさまざまな方法があることがわかるはずである。

図６は、現在ピクセル（ｘ，ｙ）を有するフレーム７１０を示しており、「良好」な空間候補（すなわち、空間フィルタリングの「良好」の基準を満たした空間的に近いピクセル）に選ばれたピクセル７２０の集合を示している。例えば、１つの基準は現在ピクセルの値と候補ピクセルの差である、そして、その差は閾値と比較されてもよい。図５および６が、時間領域（図５）および空間領域（図６）に対する「良好」の基準を満たすピクセル集合を表す場合、Ｎは１５に等しい。すなわち、９つの時間領域ピクセル、５つの空間領域ピクセルおよびその目標ピクセルである。

図７は、１つの実施例に従った適応時空間的ビデオ雑音フィルタリングのための処理５００のフローチャートを示す。入力ビデオフレームの各ピクセルｐをフィルタに通すために、５００が行う目的は、平均値ｐのＮ個（それ自体を含む）の「良好」な候補を見つけることである。Ｎは、フィルタリング処理５００の全体にわたる定数である。これらの「良好」な候補は、平均集合Ａ_ｐに置かれる。ここで、Ａ_ｐ＝｛ｐ，ｃ_ｉ；ｉ＝１，．．．，Ｍ｝，Ｍ＝＜Ｎ−１，「良好」な候補が利用できない場合はＭ＜Ｎ−１である。フィルタリング処理は、次にｐをＡ_ｐの要素の平均で置き換える。なお、本明細書において、「ピクセルの平均をとる」とは、ピクセルの輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）のコンポーネントの値（たとえばＹ、ＵおよびＶ）の平均値を別々に算出すること（なお、本実施例では、別々に算出していない）、を意味する。コンポーネント別に平均の算出を実行する実施例においては、さまざまな他の処理（または全処理）が、コンポーネント別に、特別にまたは必然的に実行される。

処理５００において、Ｎ個の「良好」な候補は、時間領域あるいは空間領域から選択されてもよい。１つの実施例によれば、Ｎ個の「良好」な候補が時間領域において最初に探される。なぜなら、時間領域フィルタリングは、画像の細部をぼやけさせにくいからである。図７に示すように、処理５００は、３つの処理で構成されている。すなわち、時間領域候補５５０の選択、空間候補５６０の選択、そして、選択された候補の平均を算出する５７０によるフィルタリングである。処理５００は、時間領域および／または空間領域から選択された候補を用いて、各ピクセルをフィルタに通す。これは、空間領域、または時間領域において、すぐに全部のフレームをフィルタに通して、フィルタリング処理フレームを提供するために結果を結合するさまざまな従来の方法とは異なる。

図７を参照する。本発明の原理の１つの実施例に従って、時間領域候補の選択５５０は、最初にピクセルｐが現在フレームのからｎ個の参照フレームまでの動きを推定することを実行する。図示するように、入力フレームからのピクセルｐは、平均集合Ａ_ｐ＝｛ｐ｝（５０２）を初期化するために用いられる。参照フレームｊ＝１，．．，ｎ（５０４）に対するループが実行され、参照フレームｊから動きベースの予測値ｐｒｅｄ［ｊ］が生成される（５０６）。その後、各時間領域に予測された（ｊ番目の参照フレーム）のピクセルのｐｒｅｄ［ｊ］が、次々に、Ａ_ｐの候補として検討される（５０８）。「良好」な予測値（すなわち、品質値の基準を満たしたもの）であることが判断された場合、それはＡ_ｐ集合に追加される（５１０）。時間領域候補を選択する際、５１２で｜Ａ_ｐ｜＝Ｎの場合（すなわち、Ａ_ｐの要素数がＮに等しい場合）、候補を探す手順は終了する。そして、フィルタステップ５７０に移行する。

候補を時間領域から選択した後に｜Ａ_ｐ｜＜Ｎである場合、ｊループの終了（５１４）がなされ、空間領域の候補を探し始める処理に移行する。図８に示すように、１つの可能性は、ｐの近辺ｂ×ｂのすべてのピクセルを考慮するということである。当業者は、周辺領域のサイズを選択するさまざまな技術を知っている。ループｋ＝１．．．，ｍ（５１６）において、隣接した候補の順番は、ｐから候補ピクセルまでの近さによって決定される。隣接した候補ピクセルが「良好」であると判断された場合（５１８）、これはＡＰに追加される。スキャンにおいて、｜Ａ_ｐ｜＝Ｎ（５２２）となった場合、あるいは、すべての候補がスキャンされた場合、フィルタステップ５７０へ進む。

最後に、フィルタステップ５７０で、ピクセルｐはＡ_ｐの要素の平均（５２６）と置き換えられる。そして、処理は次のピクセルのフィルタリングに移行する。平均算出の代わり、または、その追加的な処理としては、ピクセルｐの代替を決定してもよい。さらに一般的にいえば、実施例はＡｐのピクセルの値に基づいて置換を決定してもよい。すなわち、値の平均を含むことに限定されるものではない。通常、数Ｎは、目標のデジタル画像のピクセルごとに一定であるとしたが、Ｎ個のピクセルの相対的配置が目標のデジタル画像のピクセルごとに変化してもよいことは、明白である。図８は、現在ピクセルｐの周辺での候補ピクセル集合のナンバリング８００を示す。ナンバリング８００は、現在ピクセルｐから隣接したピクセルまでの空間距離または空間的近さに基づいて、ナンバーを割り当てている。「１」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに最も近い。「２」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに２番目に近い。「３」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに３番目に近い。「４」とラベルがついている８つのピクセルは、ｐまでの共通の距離を有しており、ｐに４番目に近い。「５」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに５番目に近い。ナンバリング８００は、ｐのための対応するピクセル集合を構成すると共に、最初にどのピクセルをテストするべきかについて決定するために用いてもよい。例えば、実施例は、すべての「１」ピクセル、次にすべての「２」ピクセル、それからすべての「３」ピクセル、すべての「４」ピクセル、すべての「５」ピクセルについて、対応する集合がＮピクセルになるまで、検討する。これは、例えば、ラスター順序（例えば左から右および上から下）のすべてのピクセルを考慮することと対照的である。

図８の「距離」のアプローチは、同様に他のフレームの時間領域候補に適用されてもよい。１つの実施例では、図８の空間距離よりもむしろ「時間距離」を使用する。そして、「時間距離」はフレームを使用する実施例の「フレーム距離」と置き換えられてもよい。例えば、実施例では、フレームｊの現在ピクセルｐに対して、まず始めに、ｐｒｅｄ［ｊ−１］（フレームｊ−１でのｐの予測）、それからｐｒｅｄ［ｊ＋１］、そして、ｐｒｅｄ［ｊ−２］そして、ｐｒｅｄ［ｊ＋２］等と、フレーム拒理が増加する順序で検討する。

実施例では、時間領域の候補ピクセルを評価する前に、あるいは時間領域の評価を除外して、空間領域の候補ピクセルを評価してもよい。他のドメイン（領域）が使われてもよい。他のドメイン（領域）としては、例えば、変換領域（例えば、フーリエ、ウエーブレット）を含んでもよい。そして、領域が同じ画像の別の記録からとられてもよい。例えば、フィルムリールからとられる１台の実施例を含んでいるビデオで、領域は、異なるフィルムリールからデジタル化された同じビデオから抽出される。他のフィルムリールが第１のフィルムリールと同様のフィルム粒子（さらに一般的にいえばノイズ）特性を有する場合、他のフィルムリールは特に役立つであろう。

実施例は、ビデオをフィルタリングする場合、または静止画像をフィルタリングする場合を含んでもよい。

「Ｎ」の選択は、取り除かれることが望ましいノイズの量に基づいてもよい。「Ｎ」は、異なるフレームに対して多様である（例えば、Ｎは、場面をカバーしているフレームの所与のシーンにたいして設定されてもよい）。また、「Ｎ」は、フレームの範囲内の異なる領域に対して、そして、異なるコンポーネントまたは分離に対して、異なる値を持ってもよい（例えば、輝度に対するＮは、クロミナンス（彩度）に対するＮと異なってもよい。色の構成例えばＲＧＢまたはＹＵＶでＮが異なってもよい）。

更に、ユーザは経験に基づいてＮを選択してもよい。そして、実施例では、ユーザがユーザーインターフェースを使用して、Ｎの値を入力することができるようにしてもよい。ユーザーインターフェースは、機械的装置（例えば、スイッチまたはノブ）、コンピュータ装置（例えば、キーボード、またはプルダウンメニューや、選択値の表示を伴うマウス）または音声入力システムを含んでもよい。

ユーザは、対応するピクセル集合の寸法について一つ以上の値を選択してもよい。一つ以上の値は、限定された範囲あるいは限定されない開いた範囲で示されてもよい。例えば、固定されたＮおよびＸに対して、（ｉ）ＸをプラスあるいはマイナスしたＮ、（ｉｉ）Ｎより大きい値、そして、（ｉｉｉ）Ｎより小さい値、などがある。サイズの選択（またはハードコードされた）に関しては、様々な実施例が考えられる。たとえば、対応する集合がＮ個のピクセルである限り「Ｎより大きい」ことを選択させ、対応する集合は終了したとみなされてもよい。ピクセル数の最大を定める様々な実施例として、対応するピクセル集合において、ユーザによって（または、システムのハードコードによって）、対応するピクセル集合に含まれてもよいピクセル数の予め定められた最大数が選択されてもよい。

多くの実施例は、対応するピクセル集合に、どれくらいのピクセル数を有するかを決定する際の予め定められた閾値を使用する。予め定められた最低値または予め定められた最大値として、実施例に応じて、および予め定められた閾値の使用に応じて、予め定められた閾値が参照されてもよい。予め定められた閾値は、さまざまな実施例において、停止位置として機能してもよい。

良好または品質値の測定法は、多様化してもよい。更に、上述したＳＡＤが空間領域のために使われてもよい。そして、上述した、ピクセルの差が時間領域のために使われてもよい。

実施例は、動きの推定をする必要はない。この種の実施例では、例えば、動きゼロと仮定してｐｒｅｄ［ｊ］を決定してもよい。

更に別の実施例において、対応するピクセル集合を決定することは、参照画像の集合の候補ピクセル集合からピクセルを選択し、選択された候補ピクセルのための品質値を計算し、品質値が一つ以上の予め定められた基準を満たす場合、対応するピクセル集合に候補ピクセルを追加し、一つ以上の停止基準が満たされるまで、選択、計算および追加を繰り返すことを含む。

さまざまな実施例において、例えば、品質値の測定法としては、例えば以下のものが挙げられる。すなわち、１）ピクセルと選択された候補ピクセル間の色差、２）ピクセルのまわりのＭ×Ｎブロックと候補ピクセルのまわりのＭ×Ｎブロックの間の絶対差の合計、または３）現在ピクセルまでの距離、である。

更なる実施例において、代替値を計算する際、次の部分を含んでもよい。すなわち、１） 対応するピクセル集合のピクセルの値を平均すること、および／または２）対応するピクセル集合のピクセルの値の重み付き平均、である。この実施例において、ピクセルは、各ピクセルの品質値に基づいて、対応するピクセル集合に重みがかけられる。決定装置によって実行される平均算出は、ピクセル毎に、Ｙ、ＵおよびＶ値（または他の色の分離）によって実行されてもよい。

他の実施例においては、各ピクセルの各色のコンポーネントはそれぞれ別々に処理される。そして、対応するピクセル集合のピクセル数が停止基準として使われる。

さらに他の実施例において、ビデオのフィルタリング装置は、目標デジタル画像からの複数のピクセルの各々のために、可能性があるピクセルを、対応するピクセル集合に含ませるため、選択するセレクタ、選択されたピクセルの「良好」の値を計算するための評価器、複数のピクセルのうちの少なくとも１つのため、計算された「良好」の値に基づいて対応するピクセル集合を決定する集合制御装置、および、複数のピクセルの各々に対して、対応するピクセル集合のピクセルの値に基づいて対応する代替値を決定する決定装置を有する。

幾つかの他の実施例によれば、選択されたピクセルは、目標デジタル画像を含む一つ以上のデジタル画像に含まれる可能性がある。集合制御装置は、予め定められた基準に基づいて対応する集合を決定してもよい。集合制御装置の予め定められた基準は、予め定められた順序で、候補集合からの一つ以上のピクセルが、対応する集合に含まれなければならないか否かの基準を含む。加えて、制御装置は、ピクセルの処理を止めるための停止基準を更に含む。一つの実施例では、停止基準は、ピクセルの所定数が対応する集合に含まれたかどうかによって決定することを含む。他の実施例において、停止基準は、候補集合のすべてのピクセルが考慮されたかどうかについて決定することを含む。

更なる実施例において、Ｎ個のピクセルを含む前に停止基準が満たされない限り、各対応する集合がＮ個のピクセルを含むように、集合制御装置は対応する集合のサイズを制御する。更なる実施例において、対応するＮ個のピクセルの集合の１つ（これは１つのピクセルに対応する）の位置は、Ｎ個のピクセルの他の対応する集合（それは他のピクセルに対応する）の位置と異なってもよい。

集合制御装置によって選択される対応するピクセル集合は、複数のドメイン（領域）からのピクセルを含んでもよい。加えて、ピクセルの選択は、例えば、距離の増加に応じた螺旋の順序によって実行されてもよい。距離は、例えば、空間領域の空間距離または時間領域（例えば図８に関して記載されている順序）の距離でもよい。

さらに他の実施例によれば、適応ビデオ雑音フィルタリングのための方法は、ピクセルを含む目標デジタル画像にアクセスするステップ、および目標デジタル画像からの複数のピクセルの各々のために、対応するピクセル集合を決定するステップを含む。対応するピクセル集合のピクセルは二個以上のデジタル画像に含まれる。そして、二個以上のデジタル画像は目標デジタル画像および他の参照デジタル画像を含む。複数のピクセルのうちの少なくとも１つのために、対応する集合を決定するステップは、ピクセルの品質値を計算するステップ、および前記計算された品質値の結果に基づいて、ピクセルを対応する集合に含ませるステップを有する。複数のピクセルの各々のために、対応する集合を決定するステップは、Ｎ個のピクセルが含まれる前に、停止基準が満たされない限り、Ｎ個のピクセルが対応する集合に含まれるまで、継続する。この時点で、対応する代替値が、対応するピクセル集合のピクセルの平均値によって、複数のピクセルの各々のために決定される。

さらにもう一つの実施例によれば、評価ピクセルは、複数のピクセルのうちの１つ以外のピクセルである。そして、対応する集合を決定することはＮより大きい候補ピクセルのプールから対応する集合を決定することを更に含む。

他の実施例において、ピクセルごとに品質値を計算するステップは、時間領域で予測された候補の絶対値の差の値、のパッチベースの合計を実行するステップ、および空間領域において予測された候補のピクセル差の値を実行するステップを含む。各ピクセルから除かれるノイズの量を保証する品質値の計算は、実質的に同じである。

更なる実施例において、ソフトウェアを運ぶ媒体は、一つ以上の装置に以下の手順を実行させるための命令を有する：１）ピクセルを含む目標デジタル画像にアクセスする手順、２）目標デジタル画像からの複数のピクセルの各々のために、対応するピクセル集合を決定する手順、および３）複数のピクセルの各々に対して、対応するピクセル集合のピクセルの値の平均算出に基づいて、対応する代替値を決定する手順、を含む。

他の更なる実施例において、対応するピクセル集合は、一つ以上のデジタル画像に含まれ、この一つ以上のデジタル画像は、おそらく目標デジタル画像を含む。

他の実施例において、対応する集合を決定するステップは、ピクセルの良好の値を判断するステップ、および良好の値の判断結果に基づいて、ピクセルを対応する集合に含ませるステップを有する。加えて、対応する集合を決定するステップは、Ｎ個のピクセルを含む前に停止基準が満たされない限り、複数のピクセルの各々のために、Ｎ個のピクセルが対応する集合に含まれるまで、対応する集合に対する判断を継続することを含む。

本願に記載されている実施例は、例えば、さまざまなシステムおよび処理を含む。実施例は、一つ以上の処理を実行するように構成される一つ以上の装置を含んでもよい。装置は、例えば、個別のあるいは統合されたハードウェア、ファームウェアおよびソフトウェアを含んでもよい。装置は、例えば、一般の処理装置として総称されるプロセッサ、すなわちマイクロプロセッサ、集積回路またはプログラマブルロジックデバイスを含んでもよい。

一つ以上の処理を実行するための命令を有する一つ以上の計算機可読の媒体を、装置は含んでもよい。計算機可読の媒体は、記憶装置、例えばハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）または読取り専用メモリー（ＲＯＭ）を含んでもよい。計算機可読の媒体は、例えば、命令をコード化するかまたは送信する、フォーマット化された電磁波を含んでもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、あるいは、電磁波であってもよい。命令は、例えば、オペレーティングシステム、単独のアプリケーション、あるいはこれら二つのコンビネーションであってもよい。従って、例えば、プロセッサは、処理を実行するように構成される装置および処理を実行するための命令を有する計算機可読の媒体を含んでいる装置として特徴付けられてもよい。

本発明の原理がハードウェア、ソフトウェア、ファームウェア、専用プロセッサまたはそれらの組み合わせの様々な形態により行ってもよいことを理解すべきである。多くの実施例は、ハードウェアおよびソフトウェアの組合せを使用する。さらに、ソフトウェアは、プログラム記憶装置に明確に格納されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、いかなる適切なアーキテクチャを有するマシンにもアップロードされてもよく、また実行されてもよい。装置は、ハードウェア（例えば一つ以上の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）および入出力（Ｉ／Ｏ）インタフェース）を有するコンピュータプラットフォームに実装されてもよい。オペレーティングシステムおよびマイクロ命令コードを、コンピュータプラットフォームは含み得る。本願明細書において記載されているさまざまな処理および機能は、マイクロ命令コードの一部またはオペレーティングシステムを介して実行されるアプリケーションプログラム（またはそれらの組み合わせ）の一部でもよい。加えて、さまざまな他の周辺デバイスは、コンピュータプラットフォーム（例えば追加データ記憶機構装置およびプリンタ）に接続していてもよい。

添付の図において示されているシステムコンポーネントおよび方法ステップの構成要素の一部が、好適にはソフトウェアで実行されるため、システムコンポーネント（またはステップ）間の実際の接続は、本発明がプログラムされる態様によって、異なってもよいことが理解される。本願明細書における技術によって、関連技術の当業者は、これらおよび同様の実施例または本発明の原理の構成を考察することが可能である。

特定の実施例に適用される、基本的な新しい特徴が、示され、記載され、および指摘された。なお、記載されている方法および示された装置の形態および詳細、および、それらの方法に対して、様々な省略、代替および変更が、当業者によってなされてもよいことが理解されよう。例えば、実質的に同じ機能を、同一態様で、同じ結果を達成する、それらの要素のすべての組合せおよび／または方法の処理は、本発明の範囲内であることが、明確に意図されている。さらに、本発明の原理のいかなる開示された形または実施例に関連して示されおよび／または記載されている構造および／または要素または方法のステップは、一般に、本願に開示され記載されている本願発明の他の態様または実施例に組み込まれてもよいと認識されなければならない。更に、他の実施例を構成するために、異なる実施例の要素は、結合されてもよく、補充されてもよく、修正されてもよい。したがって、他の実施例は、以下の請求項の範囲内である。

Claims (26)

1. 第１のピクセルを目標デジタル画像から選択するステップ；
   一つ以上のデジタル画像から、複数の候補ピクセルの値に基づいて、前記複数の候補ピクセルを評価するステップ；
   （ｉ）前記複数の候補ピクセルの評価、および（ｉｉ）予め定められた閾値の数のピクセルが第１の対応するピクセル集合に含まれたか否か、に基づいて、前記第１の選択されたピクセルのために、前記複数の候補ピクセルから前記第１の対応するピクセル集合を決定するステップ；および
   前記第１の選択されたピクセルのために、前記第１の対応するピクセル集合のピクセル値に基づいて、代替値を決定するステップ；
   を有する方法。
2. 第２のピクセルを前記目標デジタル画像から選択するステップ；
   一つ以上のデジタル画像から、異なる可能性のある複数の候補ピクセルの集合の値に基づいて、前記異なる可能性のある複数の候補ピクセルの集合を評価するステップ；
   （ｉ）前記異なる可能性のある複数の候補ピクセルの集合からの前記項ほお候補ピクセルの評価、および（ｉｉ）第２の対応するピクセル集合は前記第１の対応するピクセル集合とは異なる可能性があり、予め定められた閾値の数のピクセルが前記第２の対応するピクセル集合に含まれたか否か、に基づいて、前記第２の選択されたピクセルのために、前記異なる可能性のある複数の候補ピクセルから前記第２の対応するピクセル集合を決定するステップ；および
   前記第２の選択されたピクセルのために、前記第２の対応するピクセル集合のピクセル値に基づいて、代替値を決定するステップ；
   を更に有する請求項１記載の方法。
3. 複数の候補ピクセルを評価するステップは、
   複数のデジタル画像から候補ピクセルを評価するステップを含み、かつ
   第１の対応するピクセル集合を決定するステップは、前記第１の対応するピクセル集合の前記複数のデジタル画像の各々から一つ以上の候補ピクセルを含めるステップを有する、
   請求項１記載の方法。
4. 複数の候補ピクセルを評価するステップは、
   複数のドメインから候補ピクセルを評価するステップを含み、かつ
   第１の対応するピクセル集合を決定するステップは、前記第１の対応するピクセル集合の前記複数ドメインの各々から一つ以上の候補ピクセルを含めるステップを有する、
   請求項１記載の方法。
5. 前記複数ドメインは、空間領域、時間領域、および変換領域を有するグループから選択されたドメインを含む、
   請求項４記載の方法。
6. 前記複数の候補ピクセルを評価するステップは、
   候補ピクセルを前記複数の候補ピクセルから選択するステップ；および
   前記選択された候補ピクセルのための品質値を計算するステップ、を有し、かつ
   第１の対応するピクセル集合を決定するステップは、前記品質値が一つ以上の予め定められた基準を満たす場合、前記第１の対応するピクセル集合に前記選択された候補ピクセルを追加するステップを有する、
   請求項１記載の方法。
7. 前記品質値は、ピクセルと選択された候補ピクセル間の色差を有する、
   請求項６記載の方法。
8. 前記品質値は、前記第１の選択されたピクセルのまわりのＭ×Ｎブロックと前記選択された候補ピクセルのまわりのＭ×Ｎブロックとの間の絶対差の合計を有する、
   請求項６記載の方法。
9. 前記代替値を決定するステップは、前記第１の対応するピクセル集合の前記ピクセルの値を平均するステップを有する、
   請求項１記載の方法。
10. 前記代替値を決定するステップは、前記第１の対応するピクセル集合の前記ピクセルの値の重み付き平均を決定するステップを有する、
    請求項１記載の方法。
11. 前記重み付き平均を決定するステップは、各ピクセルの前記品質値の値に基づいて、前記第１の対応するピクセル集合の前記ピクセルを重み付けするステップを有する、
    請求項１０記載の方法。
12. 前記品質値は、前記第１の選択されたピクセルに対する距離に基づく、
    請求項１１記載の方法。
13. 前記複数の候補ピクセルが評価される順序は、前記複数の候補ピクセルと前記第１の選択されたピクセルの間との距離に基づく、
    請求項１記載の方法。
14. 前記第１の選択されたピクセルは、複数のコンポーネントを含み、かつ
    前記複数の候補ピクセルを評価するステップ、前記第１の対応するピクセル集合を決定するステップ、および前記代替値を決定するステップは、前記第１の選択されたピクセルの各コンポーネントのために別々に実行される、
    請求項１記載の方法。
15. 前記コンポーネントは、Ｙ、ＵおよびＶである、請求項１４記載の方法。
16. 前記予め定められた閾値の数を選択するステップをさらに有する、請求項１記載の方法。
17. 第１の対応するピクセル集合を決定するステップが、正確に前記予め定められた閾値の数のピクセルを前記第１の対応するピクセル集合に含ませるステップを有する、請求項１記載の方法。
18. 目標デジタル画像からの目標ピクセルのために、対応するピクセル集合への可能性のある算入のため、一つ以上のデジタル画像からピクセルを選択する選択器；
    前記選択されたピクセルのための品質値を計算するための評価器；
    （１）前記選択されたピクセルのための前記計算された品質値、および（２）予め定められた閾値の数のピクセルが前記対応するピクセル集合に含まれたか否か、に基づいて前記対応するピクセル集合を決定する制御装置；および
    前記対応するピクセル集合の前記ピクセルの値に基づいて、前記目標ピクセルのために代替値を決定する決定装置、
    を有する装置。
19. 当該装置は第２の目標ピクセルのために、第２の対応するピクセル集合を決定し、かつ
    （前記目標ピクセルに対応する）前記対応するピクセル集合のピクセルの一つ以上の位置が、（前記第２の目標ピクセルに対応する）前記第２の対応するピクセル集合の位置とは異なる、請求項１８記載の装置。
20. 前記対応するピクセル集合への可能性のある算入のためのピクセルの選択が、前記目標ピクセルからの距離が増加するスパイラル状の順番でなされる、請求項１８記載の装置。
21. 前記距離は、空間領域の空間距離および時間領域の時間距離を含む、請求項２０記載の装置。
22. ユーザから前記予め定められた閾値の数を受け入れるユーザ入力装置をさらに有する請求項１８記載の装置。
23. 前記制御装置は、前記対応するピクセル集合の複数のデジタル画像からピクセルを含ませるよう構成した、請求項１８記載の装置。
24. 前記予め定められた閾値の数のピクセルを含む前に停止基準が満たされない限り、前記対応するピクセル集合が前記予め定められた閾値の数のピクセルを含むように、前記制御装置は前記対応するピクセル集合のサイズを制御する、請求項２３記載の装置。
25. 第１のピクセルを目標デジタル画像から選択する手段；
    一つ以上のデジタル画像から、複数の候補ピクセルの値に基づいて、前記複数の候補ピクセルを評価する手段；
    （ｉ）前記複数の候補ピクセルの評価、および（ｉｉ）予め定められた閾値の数のピクセルが第１の対応するピクセル集合に含まれたか否か、に基づいて、前記第１の選択されたピクセルのために、前記複数の候補ピクセルから前記第１の対応するピクセル集合を決定する手段；および
    前記第１の選択されたピクセルのために、前記第１の対応するピクセル集合のピクセル値に基づいて、代替値を決定する手段；
    を有する装置。
26. 第１のピクセルを目標デジタル画像から選択する手順；
    一つ以上のデジタル画像から、複数の候補ピクセルの値に基づいて、前記複数の候補ピクセルを評価する手順；
    （ｉ）前記複数の候補ピクセルの評価、および（ｉｉ）予め定められた閾値の数のピクセルが第１の対応するピクセル集合に含まれたか否か、に基づいて、前記第１の選択されたピクセルのために、前記複数の候補ピクセルから前記第１の対応するピクセル集合を決定する手順；および
    前記第１の選択されたピクセルのために、前記第１の対応するピクセル集合のピクセル値に基づいて、代替値を決定する手順；
    をコンピュータに実行させる命令を有するプログラム。

Images