JP2008527932A - ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ - Google Patents

Abstract

ビデオ圧縮のため量子化雑音除去用のループ内デノイズフィルタを使用する方法及び装置が本明細書で開示される。一実施形態において、ビデオエンコーダは、現フレームと第１の予測との間の差を表現する残差フレームに変換を適用し、ビデオエンコーダの出力としてコード化された差分フレームを出力する変換符号化器と、コード化された差分フレームに応じて、再構成された残差フレームを生成する変換復号器と、再構成された残差フレームを第１の予測に加算することにより再構成されたフレームを作成する第１の加算器と、期待値を導出し、期待値に基づいてデノイズ演算を実行することにより、再構成されたフレームにフィルタをかける非線形デノイズフィルタと、前に復号化されたフレームに基づいて、第１の予測を含む予測を生成する予測モジュールと、を備える。
【選択図】 図２Ａ

Description

優先権

[0001]本特許出願は、名称が“Ａ Ｎｏｎｌｉｎｅａｒ，Ｉｎ−ｔｈｅ−Ｌｏｏｐ，Ｄｅｎｏｉｓｉｎｇ Ｆｉｌｔｅｒ ｆｏｒ Ｑｕａｎｔｉｚａｔｏｎ Ｎｏｉｓｅ Ｒｅｍｏｖａｌ ｆｏｒ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ”であり、２００５年１月１３日に出願された、対応する仮特許出願第６０／６４４，２３０号に基づく優先権を主張する。

発明の分野

[0002]本発明はビデオフレーム処理の分野に関し、特に、本発明はビデオフレームから量子化雑音をフィルタリングし、それによって、ビデオ圧縮を改良することに関する。

発明の背景

[0003]ハイブリッドビデオ圧縮は、アンカービデオフレームを符号化し、次に、予測されたフレームの集合を予測符号化することからなる。予測符号化は、引き続き符号化される予測誤差フレームを取得するために、前にコード化されたフレームに関して動き補償予測を使用する。アンカーフレーム及び予測誤差は、当分野においてよく知られているように変換符号化器を使用して符号化される。

[0004]図１は一般的なハイブリッドビデオ符号化器のブロック図である。図１を参照すると、ＭＣ予測モジュール１１０は、前に復号化されたフレーム１０９から動き補償予測を生成する。第１の加算器１０２は、カレントフレーム（現フレーム）１０１から動き補償予測を減じ、残差フレーム１１１を取得する。変換符号化器１０３は、たとえば、変換、量子化器、及び、エントロピーエンコーダの組み合わせを使用して、残差フレーム１１１をコード化された差１０４にコンバートする。変換復号器１０５は、たとえば、エントロピーデコーダ、逆量子化器、及び、逆変換の組み合わせを使用して、コード化された差１０４を再構成された残差フレーム１１２にコンバートする。第２の加算器１０６は、再構成された残差フレーム１１２をＭＣ予測モジュール１１０からの動き補償予測に加え、再構成されたフレーム１１３を取得する。遅延素子“Ｚ−１”１０８は、ＭＣ予測モジュール１１０による将来の参照のため、再構成されたフレームを格納する。

[0005]変換コード化されたフレームは量子化雑音を受ける。フレームの予測コード化が原因となって、量子化雑音は、（i）フレームｎの量子化雑音がフレームｎの表示の品質を低下させる、（ii）フレームｎの量子化雑音が予測の一部分としてフレームｎを使用する全フレームの品質を低下させる、という２つの悪影響がある。

[0006]画像からの量子化アーティファクト除去は、よく知られた問題である。概観と数多くの参照のためには、Ｓｈｅｎ ＆ Ｋｕｏ，“Ｒｅｖｉｅｗ ｏｆ Ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｃｏｍｐｒｅｓｓｉｏｎ Ａｒｔｉｆａｃｔ Ｒｅｍｏｖａｌ”，Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｖｏｌ．９，ｐｐ．２−１４，Ｍａｒｃｈ １９９８がある。

[0007]ビデオの場合、種々のタイプのループ内フィルタがよく知られ、先行の規格の一部となっている。たとえば、ＭＰＥＧ４ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ，ＶＭ １４．２ ｐｐ．２６０−２６４，１９９９、ならびに、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６１を参照されたい。

[0008]従来の解決策は、典型的に、ブロック変換符号化器によって生成された量子化雑音に制限される。ブロック変換、ならびに、非ブロック変換を取り扱うロバストな解決策（例えば、ウェーブレット、重複直交変換、重複双直交変換など）は、関連技術の到達範囲に入らない。なぜなら、関連技術は、変換コード化がブロック変換を使用して行われること、及び、量子化雑音が主に変換ブロックの境界で生じること、を仮定しているからである。したがって、これらの従来の解決策は、ブロック境界の周辺でフィルタリングを適用する。非ブロック変換の場合、変換ブロック境界は存在しない（実際に、ウェーブレット及び重複変換の場合、変換基底関数が重複するので、明確な空間変換境界は存在しない）。したがって、以前に使用されていたこれらの解決策は、量子化雑音が発生する場所を決定できない。

[0009]従来の解決策は、滑らかに変化する画素値を有するビデオフレームに適用されていた。なぜなら、従来の解決策は、滑らかな画像モデルを使用して導出されるからである。導出されたフィルタは、典型的に、低域通過フィルタに限定される。低域通過フィルタは、エッジ、テクスチャなどの多数のタイプの画像領域に適用できない。

[0010]関連技術は、典型的に、単一タイプの量子化アーティファクトに限定される。典型的に、技術は、あらゆるタイプのアーティファクトを扱う一般的な手段を提供することなく、ブロッキングアーティファクト、又は、リンギングアーティファクト、又は、その他のタイプのアーティファクトに特化する。

[0011]従来技術の性能（レート歪の意味、及び、視覚品質の意味における）は、典型的に十分に高くはなく、従来技術の適用可能性は十分に広くないので、それらをビデオコーデックに組み込むための複雑さを正当化できない。

発明の概要

[0012]ビデオ圧縮のため量子化雑音除去用のループ内デノイズフィルタを使用する方法及び装置が本明細書に開示されている。一実施形態において、ビデオエンコーダは、現フレームと第１の予測との間の差を表現する残差フレームに変換を適用し、ビデオエンコーダの出力としてコード化された差分フレームを出力する変換符号化器と、コード化された差分フレームに応じて、再構成された残差フレームを生成する変換復号器と、再構成された残差フレームを第１の予測に加算することにより再構成されたフレームを作成する第１の加算器と、期待値を導出し、期待値に基づいてデノイズ演算を実行することにより、再構成されたフレームにフィルタをかける非線形デノイズフィルタと、前に復号化されたフレームに基づいて、第１の予測を含む予測を生成する予測モジュールと、を備える。

[0013]本発明は、後述される詳細な説明と、本発明を特定の実施形態に制限するように解釈されるべきでなく、説明と理解のためだけに用いられる本発明の種々の実施形態の添付図面とから、より十分に理解される。

本発明の詳細な説明

[0022]ビデオフレームのループ内における空間的な非線形フィルタリングについて記載されている。フィルタリングは、フレームの圧縮中に受けた雑音を除去するように設計されている。一実施形態において、フィルタリング技術は、期待値を導出し、導出された期待値に基づいてデノイズ演算を実施することに基礎を置いている。モードに基づく決定が、別々に圧縮されたビデオフレームの効率的なデノイズのために導出される。一実施形態では、加重デノイズ技術が適用され、性能をより一層改善する。

[0023]記載された技術は、ロバストであり、かつ、一般的であり、多数の画像領域タイプ及び多数の圧縮技術を効率的に扱うことができる。一実施形態では、導出された非線形、ループ内デノイズフィルタは、滑らかな画像領域中の低域通過選択性、高周波領域中の高域通過選択性などを高めることにより、適応的かつ自動的に多数の画像領域タイプに対する適切な周波数選択性を高める。記載された技術は、たとえば、ブロッキングアーティファクト、リンギングアーティファクトなどのような、一般的な量子化アーティファクトを同時に除去する際に役立つ。

[0024]以下の記載では、本発明のより徹底的な説明を行うために様々な詳細が示されている。しかし、本発明がこれらの特定の詳細を用いることなく実施されることは当業者にとって明白であろう。他の例では、よく知られている構成及び機器は、本発明を不明瞭化することを避けるために、詳細にではなく、ブロック図形式で示されている。

[0025]後述する詳細な説明の一部は、コンピュータメモリ内のデータビットに関する演算のアルゴリズム及び記号的表現という点で提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術の当業者によって、自分の業績の内容をその技術における他の当業者へ最も効率的に伝達するために使用される手段である。アルゴリズムは、ここでは、一般的に、望ましい結果をもたらすステップの首尾一貫したシーケンスであると考えられる。ステップは物理量の物理的操作を必要とするステップである。通常、不可欠ではないが、これらの量は、記憶、転送、合成、比較及びそれ以外の操作がなされ得る、電気的又は磁気的信号の形式をとる。主として慣用上の理由で、これらの信号を、ビット、値、要素、シンボル、文字、項、数などと呼ぶことが時として好都合であることがわかった。

[0026]しかし、上記の用語及び類似した用語の全ては、適切な物理量と関連付けられるべきであり、これらの量に当てはめられた便宜的なラベルに過ぎないことに留意されたい。以下の説明から明白であるように、特に断らない限り、説明の全体を通じて、「処理」又は「コンピューティング」又は「計算」又は「決定」又は「表示」などのような用語を利用する説明は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表現されたデータを、コンピュータシステムメモリ若しくはレジスタ内、又は、その他のこのような情報記憶装置、伝送機器若しくは表示機器内で同じように物理量として表現されたその他のデータへ操作、変換する、コンピュータシステム又は類似した電子コンピューティング機器の作用及びプロセスを指すことが認められる。

[0027]本発明は本明細書に記載された演算を実行する装置にも関係する。この装置は、要求された目的のため特に構成されるか、又は、コンピュータに格納されたコンピュータプログラムによって選択的に作動若しくは再構成される汎用コンピュータを備えてもよい。このようなコンピュータプログラムは、限定されることはないが、たとえば、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び、磁気光ディスクを含む任意のタイプのディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、又は、電子命令を格納するのに適当であり、それぞれコンピュータシステムバスに接続されている任意のタイプの媒体のような、コンピュータ読み取り可能な記憶媒体に格納されてもよい。

[0028]本明細書に提示されているアルゴリズム及びディスプレイは、本質的に特定のコンピュータ又はその他の装置に関連していない。種々の汎用システムが本明細書における教示に従うプログラムと共に使用されてもよく、又は、要求された方法ステップを実行するためにより特化された装置を構築すると好都合であることがわかる。多種多様のこれらのシステムに要求される構成は以下の記載から明らかであろう。さらに、本発明は特定のプログラミング言語に関して記載されていない。多種多様のプログラミング言語が、本明細書に記載されているような発明の教示を実施するために使用されてもよいことが認められるであろう。

[0029]機械読み取り可能な媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形式で情報を格納又は伝送する任意の仕組みを含む。たとえば、機械読み取り可能な媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響的又はその他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）などを含む。
（概要）

[0030]図２Ａは、ループ内デノイズフィルタが内部に組み込まれたハイブリッドビデオエンコーダの一実施形態のブロック図である。図２Ａを参照すると、拡張ビデオエンコーダは、再構成されたフレームにフィルタをかけ再構成されたフレームを遅延素子に格納する前に圧縮雑音を除去する、非線形デノイズフィルタ２０７を含む。すなわち、フィルタ２０７は、予測ループの内側に組み込まれているので、フィルタリングの利益は、フィルタ処理されたフレームに依存する全フレームのための予測を構築する際にも使用され得る。

[0031]図２Ｂはハイブリッドビデオデコーダの一実施形態のブロック図である。図２Ｂを参照すると、ＭＣ予測モジュール２２５は、前に復号化されたフレーム２３２から動き補償予測を生成する。変換復号器２２１は、たとえば、エントロピーデコーダと、逆量子化器と、逆変換との組み合わせを使用して、コード化された差を再構成された残差フレーム（復号化された差２３１）にコンバートする。加算器２２２は、再構成された残差フレーム２３１を動き補償予測に加え、再構成されたフレーム２３３を取得する。非線形デノイズフィルタ２２３は、再構成されたフレーム２３３を、フィルタ処理されたフレーム２１４にコンバートし、フィルタ処理されたフレームはディスプレイへ出力できる。遅延素子“Ｚ−１”２２４は、ＭＣ予測モジュール２２５による将来の参照のため、フィルタ処理されたフレーム２３４を格納する。非線形デノイズフィルタ２２３の動作はさらに後述される。

[0032]図２Ａ及び２Ｂのデノイズフィルタに関して、デノイズフィルタは、デノイズ演算を定めるため使用される統計的期待値を導出する。期待値は、量子化されたビデオフレームの線形変換の係数がそのまま保たれるべきであるか、又は、原ビデオフレーム中の同じ係数のより良い推定値を取得するために所定の値に設定されるべきであるか、を決定する。一実施形態では、所定の値はゼロである。一実施形態では、このより良い推定値を取得する演算は、量子化されたビデオフレームの全ての線形変換係数に適用される。より良い推定値が全ての係数について見つけられると、ビデオフレームのより良い推定値がもたらされる。

[0033]デノイズフィルタは、期待値計算及びデノイズ演算を精緻化するモードに基づく決定を導出する。特に、予測符号化されたフレームの圧縮モードに依存して、デノイズフィルタはデノイズ処理されるべき空間位置を決定する。一実施形態では、期待値計算において使用されるパラメータもまた、圧縮モードに基づいて決定される。

[0034]一実施形態では、上記の期待値処理は、量子化されたビデオフレームに適用される複数の線形変換に対して実行される。各線形変換はビデオフレームの推定値を決定する。複数の線形変換は、その結果、複数の推定値を生じる。デノイズフィルタは、全体的な推定値を形成するためにこれらの推定値を結合する。一実施形態では、全体的な推定値は個々の推定値より優れている。

[0035]一実施形態では、上記の量子化されたビデオフレームに適用される線形変換は、たとえば、ブロックｎ×ｎのＤＣＴのような直交変換である。非直交変換及び非ブロック変換を含むその他の変換もまた適用可能である。不可欠ではないが、望ましくは、この変換は、デノイズ計算が効率的に実行され得るように、高速に実施される。

[0036]ｙが（Ｎ×１ベクトルに配列された）量子化ビデオフレームを表し、Ｈが上記の段落に明記されたように線形変換（Ｎ×Ｎ行列）を表すことにする。変換係数は、ｄ＝Ｈｙによって与えられる。同様に、ｘが元の量子化されていない形のｙを表し、ｃ＝Ｈｘがその変換係数であることにする。ここで、ｉ番目の変換係数ｃ（ｉ）を考える。ｘと、したがって、ｃは、それらの量子化された形しか利用できないので、利用できないことに留意されたい。ｙが与えられたとして、ｃ（及び、その結果としてｘ）を推定するために、

がｃの推定値（以下、本明細書では、＾ｃと記載する）を表し、

がｘの推定値（以下、本明細書では、＾ｘと記載する）を表すことにする。

[0037]ｃ（ｉ）を推定する際に、推定値は、＾ｃ（ｉ）＝ｄ（ｉ）であるか、又は、＾ｃ（ｉ）＝０であるという２つの可能性がある。条件付き期待値を使用して、Ψが利用可能な情報の全て（ｙ、前に復号化された任意のビデオフレーム、ｘに関するサイド情報など）をカプセル化する正準変数であると仮定する。一実施形態では、

であるならば、すなわち、利用可能な情報の全てが与えられた＾ｃ（ｉ）＝ｄ（ｉ）を使用する平均二乗誤差が、利用可能な情報の全てが与えられた＾ｃ（ｉ）＝ｄ（ｉ）を使用する平均二乗誤差より小さいならば、推定値＾ｃ（ｉ）＝ｄ（ｉ）に優先して＾ｃ（ｉ）＝０が選択される。この式は、

であるならば、＾ｃ（ｉ）＝０を使用し、そうでなければ、＾ｃ（ｉ）＝ｄ（ｉ）を使用するという規則を生成するために使用され得る。

[0038]量Ｅ［ｃ（ｉ）｜Ψ］は、本明細書では、利用可能な情報の全てに条件が付けられた、ｃ（ｉ）の条件付き期待値と呼ばれる。上記の規則は、本明細書では、＾ｃ（ｉ）を取得するデノイズ規則と呼ばれる。

[0039]図３は、デノイズ処理されたビデオフレームを取得するプロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（汎用コンピュータシステム又は専用機械上で動かされるような）ソフトウェア、又は、両方の組み合わせを備えてもよい、プロセッシングロジックによって実行される。プロセッシングロジックはファームウェアを備えてもよい。一実施形態では、プロセッシングロジックはデノイズフィルタ内にある。

[0040]図３を参照すると、プロセスは、復号化されたフレームｙを取得し、その他の利用可能な情報を収集するプロセッシングロジックによって開始する（処理ブロック３０１）。その他の利用可能な情報は、量子化パラメータ、動き情報、及び、モード情報を含んでもよい。

[0041]その後、プロセッシングロジックは、変換Ｈを復号化されたフレームｙに適用することにより係数の集合ｄを取得する（処理ブロック３０２）。たとえば、変換Ｈは、ブロック式２次元ＤＣＴを表現できる。プロセッシングロジックはまた、ｙの要素と同一である画像要素の集合ｅを設定する。

[0042]その後、プロセッシングロジックは、画像要素の集合ｅに基づいてｄ内の係数毎にｃ（ｉ）の条件付き期待値を計算し、ｄ内の係数の値と、ｃ（ｉ）の条件付き期待値とを使用してデノイズ規則を適用することにより、フィルタ処理された係数＾ｃ（ｉ）を取得する（処理ブロック３０３）。その後、プロセッシングロジックは、変換Ｈの逆変換を係数の集合＾ｃに適用することにより、フィルタ処理されたフレーム＾ｘを取得する（処理ブロック３０４）。

[0043]フィルタ処理されたフレームを取得した後、プロセッシングロジックは、より多くの反復が必要であるかどうかを判定する（処理ブロック３０５）。たとえば、２回のような一定回数の反復を予め設定できる。より多くの反復が必要であるならば、プロセッシングロジックは画像要素の集合ｅに＾ｘを設定し（処理ブロック３０７）、処理が処理ブロック３０３へ進む。そうでなければ、処理フローは処理ブロック３０６へ進み、プロセッシングロジックはフィルタ処理されたフレーム＾ｘを出力する。

[0044]差分符号化が原因となって、量子化されたフレームの一部分が前にコード化されたフレームと同じである可能性がある。これらの部分は既にフィルタ処理されているので、それらに再びフィルタをかけることは、意図せぬ結果を招くことがある。変換の領域では、このことは、デノイズ用パラメータが係数毎に変更されなければならないという要件を示す。画素の領域では、このことは、全ての画素値が変更されなければならないとは限らないという要件を示す。さらに、圧縮パラメータは、空間的に（又は、周波数に関して）変化してもよく、異なるデノイズ用パラメータを使用して様々な係数がデノイズされることを必要としてもよい。

[0045]図４は、係数毎にデノイズ用パラメータを変更するために修正された手順の代替的な実施形態のフローチャートである。係数デノイズ用パラメータは、「全ての画素値が変更されなければならないとは限らないという要件」以外の場合に必要とされてもよいことにも同様に留意されたい。デノイズ用パラメータは、量子化されたフレームの圧縮モードパラメータを使用して決定される。画素のサブセットは、量子化されたフレームの圧縮モードパラメータを使用してマスクを定めることによって決定される。

[0046]図４のプロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（汎用コンピュータシステム又は専用機械上で動かされるような）ソフトウェア、又は、両方の組み合わせを備えてもよいプロセッシングロジックによって実行される。プロセッシングロジックはファームウェアを備えてもよい。一実施形態では、プロセッシングロジックはデノイズフィルタ内にある。

[0047]図４を参照すると、プロセスは、復号化されたフレームｙを取得し、その他の利用可能な情報を収集するプロセッシングロジックによって開始する（処理ブロック４０１）。その他の利用可能な情報は、量子化パラメータ、動き情報、及び、モード情報のような圧縮パラメータを含んでもよい。

[0048]復号化されたフレームを取得し、その他の情報を収集した後、プロセッシングロジックは、変換Ｈを復号化されたフレームｙに適用することにより係数の集合ｄを取得する（処理ブロック４０２）。たとえば、変換Ｈは、ブロック式２次元ＤＣＴを表現できる。プロセッシングロジックはまた、ｙの要素と同一である画像要素の集合ｅを設定する。

[0049]プロセッシングロジックは、その後、圧縮パラメータに基づいて係数毎に係数デノイズ用パラメータを決定し（処理ブロック４０３）、圧縮パラメータに基づいてマスクを決定する（処理ブロック４０４）。

[0050]その後、プロセッシングロジックは、ｅ及び係数パラメータに基づいてｄ内の係数毎にｃ（ｉ）の条件付き期待値を計算し、ｄ内の係数の値とｃ（ｉ）の条件付き期待値とを使用して、デノイズ規則を適用することにより、フィルタ処理された係数＾ｃ（ｉ）を計算する（処理ブロック４０５）。

[0051]次に、プロセッシングロジックは、係数の集合＾ｃに適用された変換Ｈの逆変換の結果にマスク関数を適用することにより、フィルタ処理されたフレーム＾ｘを取得する（処理ブロック４０６）。

[0052]プロセッシングロジックは、その後、より多くの反復が必要であるかどうかを判定する（処理ブロック４０７）。たとえば、２回のような一定回数の反復を予め設定できる。より多くの反復が必要であるならば、プロセッシングロジックは画像要素の集合ｅに＾ｘを設定し（処理ブロック４０８）、プロセスが処理ブロック４０５へ進み、そうでなければ、処理フローは処理ブロック４０８へ進み、プロセッシングロジックはフィルタ処理されたフレーム＾ｘを出力する。

[0053]単一の線形変換Ｈを使用する上記の基本手順は許容可能なデノイズ性能を提供するが、より良い性能が複数個の異なる線形変換Ｈ_１、Ｈ_２、．．．、Ｈ_Ｍを使用することにより得られる。これらの変換のそれぞれは、＾ｘ₁，＾ｘ₂，…，＾ｘ_Mによって与えられる、元の量子化されていないビデオフレームｘの推定値を生成するために、その固有の基本手順において使用される。これらの個別の推定値は、結合され、各推定値より優れている全体的な推定値＾ｘを形成する。複数個の変換を使用するこのようなプロセスの一実施形態は図５に示されている。

[0054]図５のプロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（汎用コンピュータシステム又は専用機械上で動かされるような）ソフトウェア、又は、両方の組み合わせを備えてもよいプロセッシングロジックによって実行される。プロセッシングロジックはファームウェアを備えてもよい。一実施形態では、プロセッシングロジックはデノイズフィルタの一部である。

[0055]図５を再び参照すると、プロセスは、復号化されたフレームｙを取得し、その他の利用可能な情報を収集するプロセッシングロジックによって開始する（処理ブロック５０１）。その他の利用可能な情報は、量子化パラメータ、動き情報、及び、モード情報のような圧縮パラメータを含んでもよい。

[0056]復号化されたフレームを取得し、その他の情報を収集した後、プロセッシングロジックは、Ｍ個の変換Ｈ_ｊを復号化されたフレームｙに適用することにより係数の集合ｄ_１：Ｍを取得する（処理ブロック５０２）。たとえば、変換Ｈ_ｊは、ブロック式２次元ＤＣＴを表現してもよく、ブロックアライメントはｊに依存している。プロセッシングロジックはまた、ｙの要素と同一である画像要素の集合ｅを設定する。

[0057]プロセッシングロジックは、その後、圧縮パラメータに基づいて係数毎に係数デノイズ用パラメータを決定し（処理ブロック５０３）、圧縮パラメータに基づいてマスクを決定する（処理ブロック５０４）。

[0058]この情報を使って、プロセッシングロジックは、ｅ及び係数パラメータに基づいてｄ_１：Ｍ内の係数毎にｃ_１：Ｍ（ｉ）の条件付き期待値を計算し、ｄ_１：Ｍ内の係数の値及びｃ_１：Ｍ（ｉ）の条件付き期待値を使用してデノイズ規則を適用することにより、フィルタ処理された係数＾ｃ_１：Ｍ（ｉ）を取得する（処理ブロック５０５）。

[0059]次に、プロセッシングロジックは、係数の集合＾ｃ_１：Ｍに適用された変換Ｈ_１：Ｍの逆変換の結果にマスク関数を適用することにより、フィルタ処理されたフレーム＾ｘ_１：Ｍ（ｉ）を取得する（処理ブロック５０６）。

[0060]プロセッシングロジックは、次に、全体的な推定値＾ｘを決定する（処理ブロック５０７）。これは、全ての推定値を一緒に平均化することによって実行されてもよい。平均は加重平均でもよい。一実施形態において、図５の全体的な推定値ブロックは、個々の推定値＾ｘ₁，＾ｘ₂，…，＾ｘ_Mの加重平均によって与えられる。これは、等しい重みを用いて、又は、当分野において知られているより高度な重み決定技術、たとえば、３種類の加重技術を特定する、Ｏｎｕｒ Ｇ．Ｇｕｌｅｒｙｕｚ，“Ｗｅｉｇｈｔｅｄ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｅｎｏｉｓｉｎｇ”，Ｐｒｏｃ．Ａｓｉｌｏｍａｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｐａｃｉｆｉｃ Ｇｒｏｖｅ，ＣＡ，Ｎｏｖ．２００３に記載されているような技術を使用して、行われ得る。一実施形態では、３個のうちの最も簡単な技術が本発明で使用される。したがって、全体的な推定値が取得され、次に、マスク処理される。代替的な実施形態では、個別の推定値がマスク処理され、次に、全体的な推定値が形成される。

[0061]全体的な推定値を取得した後、プロセッシングロジックは、より多くの反復が必要であるかどうかを判定する（処理ブロック５０８）。たとえば、２回のような一定回数の反復を予め設定できる。より多くの反復が必要であるならば、プロセッシングロジックは画像要素の集合ｅに＾ｘを設定し（処理ブロック５０９）、プロセスが処理ブロック５０５へ進み、そうでなければ、処理は処理ブロック５１０へ進み、プロセッシングロジックはフィルタ処理されたフレーム＾ｘを出力する。

[0062]図６は、非線形デノイズフィルタを記述するブロック図である。図６を参照すると、圧縮モードに基づくデノイズ用パラメータ決定モジュール６０１は、圧縮パラメータ６０４に基づいてスレッショルド６０２及びマスク関数６０３を生成する。線形変換６０５は、係数６０７を作成するため、伸長されたビデオ６０６に適用される。期待値計算モジュール６０８は、１回目の反復では、伸長されたビデオ６０６及びスレッショルド６０２に基づいて、後続する反復においては、変更されたスレッショルド６１０及びデノイズ処理された推定値６１１に基づいて、係数６０７のうちの係数毎に期待値６０９を生成する。選択的に、期待値計算モジュール６０８は、前に伸長されたビデオフレームからのデータのような付加的な情報６１２を使用してもよい。このモジュールの演算は上述されている。

[0063]デノイズ規則モジュール６２０は、係数６０７及び期待値６０９に基づいて、デノイズ処理された係数６２１を生成する。モジュール６２０の演算は上述されている。逆線形変換６３０は、デノイズ処理された係数６２１に適用され、初期のデノイズ処理された推定値６３１を生成する。

[0064]全体的な推定値構築モジュール６４０は、初期のデノイズ処理された推定値６３１を結合し、全体的なデノイズ処理された推定値６４１を生成する。マスク適用モジュール６５０は、マスク関数６０３に基づいて、全体的なデノイズ処理された推定値６４１の要素と伸長されたビデオ６０６の要素との間で選択を行い、デノイズ処理された推定値６５１を生成する。反復決定モジュール６６０は、所定の反復回数に到達していると判定された場合に、デノイズ処理された推定値に等しい最後のデノイズ処理された推定値６６１を生成する。そうでなければ、スレッショルドが変更されたスレッショルド６１０に修正される。スレッショルドの変更はより詳しく後述されている。変更されたスレッショルド６１０及びデノイズ処理された推定値６１１は、さらなる反復のため、期待値計算モジュール６０８へフィードバックされる。
（代替的な実施形態の例）

[0065]期待値計算に関して、一実施形態では、Ｅ［ｃ（ｉ）｜Ψ］はスレッショルドＴを用いて構築される。一実施形態では、Ｔはｃ（ｉ）が受ける量子化雑音の標準偏差の√３倍であるとみなされる。ｈが、Ｈ（すなわち、ｃ（ｉ）の生成を担当する基底関数）の第ｉ番目の行であると仮定する。画素のデフォルト空間位置の周りの画素近傍においてｈを空間的にシフトし、ｅ＝ｙであるｅを用いて、シフトされた基底関数のスカラー積を得ることにより取得された、係数の集合を考える。この近傍は、デフォルト空間位置の周りの＋／−ｊ画素であると見なすことができ、ｊは０、１、２又はそれ以上に設定することができる。集合のうちのｋ個の係数がＴより大きい絶対値を有し（サブセット１）、残りのｌ個の係数がＴより小さい絶対値を有する（サブセット２）と仮定する。サブセット１内の係数の平均値を構築し、平均にｋ／（ｋ＋ｌ）を乗算する。得られた値がＥ［ｃ（ｉ）｜Ψ］に割り当てられる。この計算は、動き軌跡を使用してサブセット内の係数と一致する、前に復号化されたフレームからの係数を組み込むように拡張可能であり、一致を決定する。

[0066]代替的な実施形態では、スレッショルドは使用されない。このような場合、平均化だけが使用され、閾値化は使用されない（等価的に、このことはｌ＝０であることを意味する）。同様に、線形平均化、及び、非線形平均化（たとえば、集合の要素の中央値を利用する、ｃ（ｉ）に最も近い集合内の値２、３、４、５・・・を利用するなどによる）を含む、その他の形式の平均化が使用されてもよい。平均化に関連したタイプ及び詳細パラメータは、圧縮モードを使用して設定され得る。

[0067]別の実施形態では、一般的な条件付き期待値計算が、期待値に基づいて０又はｄ（ｉ）に設定された係数を用いる一般的なデノイズ規則と併せて使用される。

[0068]一実施形態では、期待値計算の場合、初期のデノイズ演算が終了し、フィルタ処理されたフレーム＾ｘが取得された後、後述のとおり、ｙではなく、フィルタ処理されたフレーム＾ｘを再び使用してＥ［ｃ（ｉ）｜Ψ］を決定することにより、二巡目のデノイズが実行される。ｉに関するサブセット１及び２の決定の際、ｈのシフトのスカラー積が、ｙではなく、＾ｘを、すなわち、ｅ＝＾ｘを用いて得られる。係数が決定されると、平均計算及びＥ［ｃ（ｉ）｜Ψ］の計算は、Ｔではなく、スレッショルドＴ’を使用することにより、ｉにおいて見られるように適用される。一実施形態では、Ｔ’はＴ／２であると考えられる。この計算は、動き軌跡を使用して、前に復号化／デノイズ処理されたフレームからの一致する係数を組み込むように拡張することも可能である。

[0069]一実施形態では、ハイブリッドビデオ圧縮で利用されるエンコーダのためのモードに基づく決定は、ＭＰＥＧのようなエンコーダであり、圧縮モードは係数毎に期待値計算で使用されるスレッショルドを変更し、さらに、デノイズが適用される空間位置を決定するマスク関数を変更する。以下に、これらの２つの目的を達成するモードに基づく決定の例が記載されている。

[0070]一実施形態では、ブロックは、Ｂ×Ｂ個の画素の矩形であり、ここで、Ｂは４、８、１６又はそれ以上である。コード化されたブロック毎に、モードが、
ＩＮＴＲＡ＿ＱＵＡＮＴＩＺＥＤ（アンカー又はイントラモードでコード化されたブロック）と、
Ｐ＿ＱＵＡＮＴＩＺＥＤ（差分コード化され、少なくとも２個の非ゼロの量子化された係数を有するブロック）と、
Ｐ＿ＱＵＡＮＴＩＺＥＤ＿Ｍ（差分コード化され、１個の非ゼロの量子化された係数しか保有しないが、水平又は垂直ブロックに関して４画素以上の大きな動き差分を伴うブロック）と、
Ｐ＿ＱＵＡＮＴＩＺＥＤ＿１（差分コード化され、小さな動き差分を伴う唯一の非ゼロの量子化された係数を伴うブロック）と、
ＳＫＩＰ＿Ｍ（差分コード化され、量子化された係数を保有しないが、水平又は垂直ブロックに関して４画素以上の大きな動き差分を伴うブロック）と、
ＳＫＩＰ（差分コード化され、水平又は垂直ブロックに関して小さな動き差分を伴う量子化係数を保有しないブロック）と、
ＯＴＨＥＲ（他の全てのブロック）と、
のうちの１つとして決定される。

[0071]各ブロックは、そのモードに応じて、ブロックの境界の周辺に空間マスクを決定する空間的なデノイズの影響がある。影響Ｉは画素単位で指定され、ブロックの境界の周辺にＩ画素の厚さの矩形状のシェルを特定する。一実施形態では、全ブロックのマスクがフレームの幅のマスクを形成するために結合される。初期のデノイズ処理された推定値ｚが得られると、デノイズ処理された推定値＾ｘにおいて、画素がマスク内に存在するならば、その画素の値がｚからコピーされ、そうでなければ、その画素の値がｙからコピーされるように、マスクが適用される。

[0072]一実施形態では、マスク構築の際に使用される影響因子Ｉは次の通り決定される。すなわち、
ＩＮＴＲＡ＿ＱＵＡＮＴＩＺＥＤブロックはＩ＝Ｂ／２であり、
Ｐ＿ＱＵＡＮＴＩＺＥＤブロックはＩ＝Ｂ／２であり、
Ｐ＿ＱＵＡＮＴＩＺＥＤ＿ＭブロックはＩ＝Ｂ／２であり、
Ｐ＿ＱＵＡＮＴＩＺＥＤ＿１ブロックはＩ＝Ｂ／４であり、
ＳＫＩＰ＿ＭブロックはＩ＝Ｂ／４であり、
ＳＫＩＰブロックはＩ＝Ｂ／４であり、
ＯＴＨＥＲブロックはＩ＝０である。

[0073]一実施形態では、モードに基づくデノイズ決定は次の通り実現される。すなわち、
係数を生成する基底関数がＩＮＴＲＡ＿ＱＵＡＮＴＩＺＥＤブロックと重複するならば、係数はそのデノイズ演算に所定のスレッショルドＴを使用し、
そうではなくて、係数がＰ＿ＱＵＡＮＴＩＺＥＤブロックと重複するならば、係数はＴを使用し、
そうではなくて、係数がＰ＿ＱＵＡＮＴＩＺＥＤ＿Ｍブロックと重複するならば、係数はＴを使用し、
そうではなくて、係数がＰ＿ＱＵＡＮＴＩＺＥＤ＿１ブロックと重複するならば、係数は７／８Ｔを使用し、
そうではなくて、係数がＳＫＩＰ＿Ｍブロックと重複するならば、係数は１／２Ｔを使用し、
そうではなくて、係数がＳＫＩＰブロックと重複するならば、係数は１／２Ｔを使用し、
そうではなくて、係数がＯＴＨＥＲブロックと重複するならば、係数はデノイズ処理されない。

[0074]一実施形態では、デノイズ線形変換が、ｎ×ｎブロックのＤＣＴとその全てのｎ^２個の空間的な平行移動とによって与えられる。ここで、ｎはビデオフレームのサイズによって決定される。ＱＣＩＦ解像度フレームの場合、ｎ＝４であり、ＣＩＦ解像度フレームの場合、ｎ＝４又はｎ＝８である、等々である。一般に、ｎは、ビデオフレームの解像度が高くなると大きくなることが期待される。

[0075]本発明の実施形態に関連した多数の利点が存在する。それらの利点のうちの一部は以下の通りである。本発明の実施形態は、変換コード化の際に、ブロック変換と同様に非ブロック変換を使用するビデオコーダを受け入れることができる。本発明の実施形態は、低域通過、帯域通過、高域通過、テクスチャ、エッジなどのような、大きな範囲の統計値に起因する画素値を保有するビデオフレームに適用できる。本発明は、滑らかに変化する画素値を保有するビデオフレームに制限されない。本発明の実施形態は、ブロッキングアーティファクト、リンギングアーティファクトなどのような、広い範囲の量子化アーティファクトをデノイズするのに効果的である。本発明は、ブロッキングアーティファクト専用、又は、リンギングアーティファクト専用などに制限されない。典型的なビデオフレームに関する本発明の実施形態のレート歪性能、及び、典型的なビデオフレームに関する本発明の視覚品質は、関連技術を著しく上回る。同様に、発明の実施形態は、低い計算複雑度を実現するように実施され得る。
（典型的なコンピュータシステム）

[0076]図７は、本明細書に記載された１個以上の演算を実行できる典型的なコンピュータシステムのブロック図である。コンピュータシステム７００は、典型的なクライアント又はサーバーコンピュータシステムを備えてもよい。コンピュータシステムに関して記述されたコンポーネントは、ハンドヘルド機器又はモバイル機器（たとえば、携帯電話機）の一部である。

[0077]図７を参照すると、コンピュータシステム７００は、情報を通信する通信メカニズム又はバス７１１と、バス７１１と接続され、情報を処理するプロセッサ７１２とを備える。プロセッサ７１２は、マイクロプロセッサを含むが、たとえば、Ｐｅｎｔｉｕｍ（商標）プロセッサなどのようなマイクロプロセッサに限定されない。

[0078]システム７００は、バス７１１に接続され、情報とプロセッサ７１２によって実行されるべき命令とを格納する（メインメモリと呼ばれる）ランダムアクセスメモリ（ＲＡＭ）又はその他のダイナミック記憶装置７０４を、さらに備える。メインメモリ７０４は、プロセッサ７１２による命令の実行中に、一時変数又はその他の中間情報を格納するためにも使用される。

[0079]コンピュータシステム７００は、バス７１１に接続され、スタティック情報及びプロセッサ７１２のための命令を格納するリードオンリーメモリ（ＲＯＭ）及び／又はその他のスタティック記憶装置７０６と、磁気ディスク又は光ディスク、及び、それに対応するディスクドライブのようなデータ記憶装置７０７とを、さらに備える。データ記憶装置７０７は、バス７１１に接続され、情報及び命令を格納する。

[0080]コンピュータシステム７００は、バス７１１に接続され、情報をコンピュータユーザへ表示する陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）のようなディスプレイ機器７２１に、さらに接続されてもよい。英数字キー及びその他のキーを含む英数字入力機器７２２は、同様にバス７１１に接続され、情報及びコマンド選択をプロセッサ７１２へ通信することができる。付加的なユーザ入力機器は、バス７１１に接続され、方向情報及びコマンド選択をプロセッサ７１２へ通信し、ディスプレイ７２１上のカーソル移動を制御する、マウス、トラックボール、トラックパッド、スタイラス、又は、カーソル方向キーのような、カーソル制御機器７２３である。

[0081]バス７１１に接続できる別の機器は、紙、フィルム、又は、類似したタイプの媒体のような媒体上に情報を残すため使用できる、ハードコピー機器７２４である。バス７１１に接続できる別の機器は、電話機又はハンドヘルドパーム機器へ通信するための有線／無線通信機能部７２５である。システム７００のコンポーネント、及び、関連したハードウェアの何れか又は全部が、本発明において使用できることに留意されたい。しかし、コンピュータシステムのその他の構成は機器の一部又は全部を含んでもよいことが認められるであろう。

[0082]以上の説明を読んだ後に、本発明の多数の代替及び変形が当業者に明白になることは確実であるが、説明のために図示され記載された特定の実施形態が制限的であるとみなされることは決して意図されていないことが理解されるべきである。したがって、種々の実施形態の詳細への言及は、本発明に不可欠であると考えられる構成要件だけをそれ自体に列挙する請求項の範囲を制限することを意図していない。

従来技術のビデオエンコーダを説明する図である。 ループ内デノイズフィルタが内部に組み込まれたビデオエンコーダの一実施形態のブロック図である。 ビデオデコーダの一実施形態のブロック図である。 デノイズ処理されたビデオフレームを取得するプロセスの一実施形態のフローチャートである。 選択された画素のサブセットにデノイズを実行するように設計された係数毎にデノイズ用パラメータを変更するプロセスの代替的な実施形態のフローチャートである。 多数の変換を使用してデノイズ処理されたビデオフレームを取得するプロセスの一実施形態のブロック図である。 非線形デノイズフィルタの一実施形態のブロック図である。 コンピュータシステムの例である。

Claims (5)

1. 現フレームと第１の予測との間の差を表現する残差フレームに変換を適用し、当該ビデオエンコーダの出力としてコード化された差分フレームを出力する、変換符号化器と、
   前記コード化された差分フレームに応じて、再構成された残差フレームを生成する変換復号器と、
   前記再構成された残差フレームを前記第１の予測に加えることにより、再構成されたフレームを作成する第１の加算器と、
   期待値を導出し前記期待値に基づいてデノイズ演算を実行することにより、前記再構成されたフレームにフィルタをかける非線形デノイズフィルタと、
   前に復号化されたフレームに基づいて前記第１の予測を含む予測を生成する予測モジュールと、
   を備えるビデオエンコーダ。
2. 復号化された差分フレームを生成する変換復号器と、
   前記復号化された差分フレーム及び第１の予測に応じて、再構成されたフレームを作成する加算器と、
   期待値を作成し前記期待値に基づいてデノイズ演算を実行することにより、前記再構成されたフレームにフィルタをかけるデノイズフィルタと、
   前に復号化されたフレームに基づいて前記第１の予測を含む予測を生成する予測モジュールと、
   を備えるデコーダ。
3. 量子化されたビデオフレームへの線形変換の適用によって生じる係数毎に期待値を作成する期待値作成ステップと、
   前記期待値に基づいてデノイズ演算を実行するデノイズ演算実行ステップと、
   を備えるビデオ復号化プロセス。
4. 復号化されたフレーム及びその他の利用可能な情報を取得する復号化フレーム情報取得ステップと、
   前記復号化されたフレームに変換を適用することにより係数の集合を取得する係数集合取得ステップと、
   前記復号化されたフレームの要素と同一である画像要素の集合を設定する画像要素集合設定ステップと、
   圧縮パラメータに基づいて係数パラメータ及びマスク関数を決定するパラメータマスク決定ステップと、
   新たなコード化されたフレームに前記変換を適用することにより取得された係数の集合内の係数毎にフィルタ処理された係数の条件付き期待値であって、前記係数の集合内の前記係数の値及び前記フィルタ処理された係数の前記条件付き期待値を使用してデノイズ規則を適用することにより取得される条件付き期待値を計算する係数計算ステップと、
   前記フィルタ処理された係数の集合に適用された前記変換の逆変換の結果にマスク関数を適用することにより、フィルタ処理されたフレームを取得するフィルタ処理済みフレーム取得ステップと、
   をさらに備えるビデオ復号化プロセス。
5. 全係数のフィルタリングを阻止するマスキング演算に基づいて、再構成されたフレームにフィルタをかけるループ内デノイズフィルタを備えるビデオデコーダ。

Images