JP2007527642A

JP2007527642A - 低複雑度ノイズ低減を行うビデオ・エンコーダ

Info

Publication number: JP2007527642A
Application number: JP2006518627A
Authority: JP
Inventors: マクドナルドボイス，ジル; ラツク，ジヨアン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2003-07-09
Filing date: 2004-05-28
Publication date: 2007-09-27
Also published as: KR20060034277A; BRPI0412340A; MXPA06000323A; MY146076A; EP1642465A1; CN100493191C; WO2005011283A1; CN1826814A; US20060193526A1

Abstract

動き推定決定セットをノイズ低減に利用することにより、ビデオ符号化を行う間に低複雑度でノイズ低減を行う。各マクロブロック毎に動き推定をＮ回（Ｎは整数）実行し、参照ピクチャ指標および動きベクトルをそれぞれ含むＮ組の動き推定データを生成する。必ずというわけではないが、通常は、動き推定データ・セットはそれぞれ異なる参照ピクチャを使用する。各マクロブロック毎に、Ｎ組の動き推定データを使用してノイズ低減マクロブロックを生成し、その後、このノイズ低減マクロブロックを符号化する。

Description

本願は、米国特許法１１９条（ｅ）に基づき、その開示を本明細書に組み込む、２００３年７月９日出願の米国仮特許出願第６０／４８５，８９１号に対する優先権を主張するものである。

本発明は、ビデオ・ストリームを符号化（圧縮）するビデオ・エンコーダに関する。

多くの応用分野では、帯域幅要件を緩和するために、ビデオ・ストリームを圧縮（符号化）する必要がある。ビデオ圧縮を行う既存の符号化装置は、ＭＰＥＧやＨ．２６３、Ｈ．２６４など、幾つかの周知の圧縮技術に基づいている。ノイズ（雑音）のあるビデオ・シーケンスは、所定のビット・レートのノイズの無いクリーンなビデオ・シーケンスよりも、こうした標準的なビデオ圧縮技術を用いて圧縮することが困難であることが分かっている。ノイズ低減は、ビデオ圧縮に先立つ前処理機能として行うことができる。このような状況では、ノイズ低減段（ステージ）は、ノイズ低減済みピクチャを圧縮するエンコーダに加えられる入力ピクチャ・シーケンスのノイズを低減させる。

従来のノイズ低減（ｎｏｉｓｅｒｅｄｕｃｔｉｏｎ）技術は、空間フィルタリングおよび／または時間フィルタリングを含んでいる。時間フィルタリングでは、平均などのフィルタリング関数を、幾つかの異なる入力ピクチャのピクセルに適用して、フィルタリング済みピクセルを生成する。ビデオ・シーケンスの時間フィルタリングは、一般に、（１）動き補償型（ｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｅｄ）、および（２）非動き補償型（ｎｏｎ−ｍｏｔｉｏｎｃｏｎｐｅｎｓａｔｅｄ）、の２つのカテゴリに分類される。動きを含むビデオ・シーケンスの場合には、一般に、動き補償型時間フィルタリング方法の方が、非動き補償型時間フィルタリング方法よりも優れている。動き補償型時間フィルタリングのノイズ低減方法では、一般に、その他のノイズ低減方法より多くの計算が必要となる。

従って、ビデオ復号中に計算の複雑さが軽減された動き補償型ノイズ低減を行う技術が必要とされている。

（発明の概要）
簡潔に言えば、本発明の原理の第１の態様によれば、ノイズを低減したビデオ信号を符号化する方法が提供される。この方法では、始めに、入力ビデオ信号内の各マクロブロック毎に、動きをＮ回（Ｎは整数）推定して、参照ピクチャ指標（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｉｎｄｅｘ）および動きベクトル（ｍｏｔｉｏｎｖｅｃｔｏｒ）をそれぞれ含むＮ組の動き推定データを生成する。必要というわけではないが、通常は、各動き推定データ・セットは、異なる参照ピクチャを使用する。Ｎ組の動き推定データのそれぞれを使用して予測を生成し、これらＮ個の予測をフィルタリング動作において使用して、ノイズ低減マクロブロックを生成する。このノイズ低減マクロブロックを、上記複数の動き推定データ・セットのうち当該マクロブロックにとって最良の１つの動きベクトルおよび参照ピクチャ指標を用いて符号化する。

本発明の原理の第２の態様によれば、ビデオ・エンコーダは、動き推定およびノイズ低減の両方を行う動き推定段（ステージ）を含んでいる。このエンコーダは、通常はそれぞれ別個の参照ピクチャから生成される（ただし、必ず別個の参照ピクチャから生成されるというわけではない）Ｎ組の動き推定データを用いて、各マクロブロック毎にノイズ低減を行う。このノイズ低減マクロブロックを、上記複数の動き推定データ・セットのうち当該マクロブロックにとって最良のデータ・セットの動きベクトルおよび参照ピクチャ指標を用いて符号化する。

図１は、Ｈ．２６４圧縮技術並びにそれと同様の圧縮技術を実行することができる従来技術のビデオ・エンコーダ１０を示す図である。図１のＨ．２６４エンコーダ（符合器）１０は、その非反転入力に入力ビデオ・ストリームが供給される加算ブロック１２を含んでいる。動き推定ブロック１４は、入力ビデオ・ストリームを、参照ピクチャ記憶装置１６に記憶した事前符号化参照ピクチャと共に受信する。入力ビデオ・ストリームに現在現れている入力ピクチャの各マクロブロックについて、動き推定ブロック１４は、現在のマクロブロックを、参照ピクチャ記憶装置１６からの１つまたは複数の参照ピクチャと比較する。

Ｈ．２６４ビデオ圧縮システム（ＪＶＴまたはＭＰＥＧＡＶＣとも呼ばれる）は、木構造階層マクロブロック・パーティションを使用する。フレーム間符号化された１６×１６ピクセルのマクロブロックは、サイズ１６×８、８×１６または８×８のマクロブロック・パーティションに分割することができる。サブ・マクロブロックと呼ばれる８×８ピクセルのマクロブロック・パーティションは、更に、サイズ８×４、４×８および４×４のサブ・マクロブロック・パーティションに分割する。動き推定ブロック１４は、圧縮効率および主観品質を最大限に高めるように、特定のマクロブロックの特徴に基づいてマクロブロックをパーティションおよびサブ・マクロブロック・パーティションに分割する方法を選択する。各マクロブロックに対して、動き推定ブロック１４は、様々なパーティション・サイズへのマクロブロックの細分を指示するマクロブロック・モードを提供する。更に、動き推定ブロック１４は、参照ピクチャ指標および動きベクトルを各マクロブロックに対して提供する。

Ｈ．２６４ビデオ圧縮標準では、参照ピクチャ指標を符号化して複数の参照ピクチャのうちの特定の１つを使用していることを示すようにすることで、複数の参照ピクチャをフレーム間予測（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ）に使用する。Ｐピクチャ（またはＰスライス）では、一方向のみの予測を使用し、許容参照ピクチャは、リスト０と呼ばれる第１のリストにおいて管理される。Ｂピクチャ（またはＢスライス）では、リスト０およびリスト１の２つのリストの参照ピクチャが管理される。Ｂピクチャ（またはＢスライス）では、リスト０またはリスト１を用いた一方向予測が可能である。リスト０およびリスト１の両方を用いた双方向予測も可能である。双方向予測を用いる場合には、リスト０およびリスト１の予測値を平均して、最終的な予測値を形成する。

動き推定ブロック１４は、効率的な符号化を確実に行うために現在のピクチャに適当な予測値を生成することを目的として、マクロブロックの最良のマクロブロック・モード、参照ピクチャ指標および動きベクトルをかなり自由に決定することができる。動き推定処理中に動き補償ブロック１４がこれらの決定を行うと、動き補償ブロック１７は、参照ピクチャ指標、マクロブロック・モードおよび動きベクトルを、動き推定ブロックから受信することになる。これらの情報から、動き補償ブロック１７は予測値を形成し、この予測値を加算ブロック１２で入力ピクチャから取り除き、差分ピクチャを生成する。差分ピクチャは、変換ブロック１８により変換される。量子化器２０は、変換済みの差分ピクチャを量子化し、その後エントロピ・コーダ２２に入力する。エントロピ・コーダ２２の出力では、コード化ビデオ・ピクチャが得られる。逆量子化器２４および逆変換ブロック２６は、差分ピクチャに対してそれぞれ逆量子化および逆変換を行い、参照ピクチャを生じる。この参照ピクチャは、後続のピクチャのコード化に使用するために参照ピクチャ記憶装置１６に記憶される。

図２は、本発明の原理によるノイズ低減を行うビデオ・エンコーダの第１の好ましい実施形態１００を示す図である。エンコーダ１００は、図１のエンコーダ１０と共通の要素を数多く有し、両図において同じ参照番号は同じ要素を示している。図１に示す従来技術のエンコーダ１０と同様に、図２のエンコーダ１００は、入力ビデオ・ストリーム、および参照ピクチャ記憶装置１６からの事前コード化ピクチャの両方を受信する動き推定ブロック１４′を備えている。しかし、図２に示す動き推定ブロック１４′は、以下の点で図１に示す動き推定ブロック１４と異なる。上述のように、図１の動き推定ブロック１４は、マクロブロックに関する単一の最良のマクロブロック・モード、マクロブロック・パーティションに関する参照ピクチャ指標、およびマクロブロック・パーティションまたはサブ・マクロブロック・パーティションに関する動きベクトルを生じる。これに対して、本発明の原理の動き推定ブロック１４′は、マクロブロックのパーティションおよびサブ・マクロブロック・パーティションに関して、マクロブロック・モード、参照ピクチャ指標（ＲｅｆＰｉｃＩｎｄｅｘ）および動きベクトル（ＭＶ：ＭｏｔｉｏｎＶｅｃｔｏｒ）をそれぞれ含むＮ組の動き推定データを、その出力において提供する。

本発明の原理によれば、図２のビデオ・エンコーダが実行する動き推定機能により、ノイズ低減が容易になる。エンコーダ１００内のノイズ低減器１０２は、動き推定ブロック１４′から、Ｎ組の動き推定データのそれぞれを受信する。後に図４を参照しながら説明するが、ノイズ低減器１０２は、現在のピクセルと、動き推定ブロック１４から受信した予測値とを比較する。これらの差が予測しきい値未満である場合には、予測値は、ノイズ低減器１０２がピクセル・フィルタリングに利用する、適用されるフィルタ・セットの一部となる。このピクセル・フィルタリングの結果、フィルタリング済みピクチャ記憶装置１０４に記憶されるフィルタリング済みピクチャが得られる。このフィルタリング済みピクチャは、符号化処理への入力、即ち加算増幅器１２への入力となる。

図３は、図２に示すエンコーダ１００により実行される、入力ビデオ・ストリーム中の各ピクチャをノイズ低減符号化する処理の各ステップを示す流れ図である。この処理は、ステップ２００において、ループ変数ｍｂなど様々な変数を初期化することで開始する。その後、ステップ２０２を行い、ループ処理を開始する。その後、ステップ２０４を行い、各マクロブロックの動き推定を行い、Ｎ組の動き推定決定セットのそれぞれを計算し、次いで記憶する。次いで、ステップ２０６で、図２に示すノイズ低減器１０２が、記憶したＮ組の動き推定決定セットを用いてマクロブロックのノイズ低減を行う。

ステップ２０８で、マクロブロックのビデオ符号化を行う。第１に、図２に示す動き補償ブロック１７が、Ｎ組の記憶した動き推定決定セットのうち最良の１つ、通常はそれらのセットの中で最良と考えられる第１のセットを用いて、マクロブロックの予測値を生成する。この予測を、フィルタリング済みピクチャから取り除く。次いで、図１を参照して述べた方法で、この差分ピクチャに変換、量子化およびエントロピ・コード化を施す。この差分ピクチャは、図２に示す参照ピクチャ記憶装置１７に記憶する前に、逆量子化および逆変換も施される。本発明の一実施形態では、Ｎ組の動き推定データ・セットはそれぞれ、異なる参照ピクチャ指標を使用する。ステップ２０８に続いて、ステップ２１０を行い、この時点で、ループ変数ｍｂがマクロブロックの数と等しくなったら、ステップ２０２で開始したループ処理を終了する。換言すれば、ステップ２０２から２０８は、ピクチャ内の全てのマクロブロックの符号化が完了するまで繰り返される。その後ステップ２１２で、符号化処理を終了する。

前述のように、Ｎ組の動き推定決定セットは、図２のノイズ低減器１０２への入力として働く。図４は、ノイズ低減器１０２が実行するノイズ低減処理の各ステップを示す流れ図である。ノイズ低減処理は、ステップ３００で開始され、その後、ループ指標ｐに従って各ピクセルをループするように、ループ動作が開始される。ステップ３０２で、現在のピクチャ・ブロックｐｉｃ［ｐ］内の各ピクセルｐの値を読み取る。ステップ３０４で、各動き推定決定セットをループ変数ｉに従ってループするように、第２のループ動作が開始される。ステップ３０６で、図２の動き補償ブロック１７は、第ｉの動き推定決定セットを用いて動き補償を行うことにより、ピクセルｐに対する予測値ｐｒｅｄ［ｐ］を生成する。ステップ３０８で、現在のピクセルｐｉｃ［ｐ］と予測値ｐｒｅｄ［ｉ］との差を測定する。この差の測定は、ルマ（ｌｕｍａ：ルミナンス）および／またはクロマ（ｃｈｏｒｏｍａ：クロミナンス）の値を計算に含むことがある。例えば、差の測定値は、差の絶対値である可能性がある。差の測定値がしきい値未満である場合には、ステップ３１０で、図２のノイズ低減器１０２が実行するノイズ低減フィルタリング動作で使用されるフィルタ・セットｆｓｅｔに予測値を付加する。ステップ３１０（または差の測定値がしきい値を超える場合にはステップ３０８）に続いて、ステップ３１２を行い、ループｉの動作を終了する。換言すれば、ステップ３０４から３１０は、各動き推定決定セットの予測値が生成され、その後その予測値がしきい値と比較されるまで繰り返される。

ステップ３１２に続いて、ステップ３１４を行い、ステップ３１０で生成されたフィルタ・セットｆｓｅｔから得られるフィルタをピクセルｐに適用して、フィルタリング済みピクセル値を生成する。このフィルタリング動作は、ルマ・サンプルおよび関連する両クロマ成分のサンプルについて、別々に行われる。平均の計算、加重平均の計算または中央値の計算など、ノイズ低減フィルタリング動作では、幾つかの異なるフィルタ関数の何れかを使用する。また、フィルタリング動作は、空間近傍を計算に含むこともある。空間近傍をフィルタリング動作に含めるかどうかを考慮するには、空間近傍をしきい値と比較すればよい。図２のフィルタリング済みピクチャ記憶装置１０４は、ピクセル・フィルタリング動作の結果をＦｉｌｔ＿ｐｉｃ［ｐ］として記憶する。その後、フィルタリング済みピクチャＦｉｌｔ＿ｐｉｃは、後続のピクチャのノイズ低減を行う際のビデオ符号化処理の残りの部分に対する入力となる。或いは、参照ピクチャ記憶装置の元の入力ピクチャを、ノイズ低減処理の入力として使用することもできる。

フレーム内符号化（Ｉ：Ｉｎｔｒａ）ピクチャ（またはＩスライス）内のマクロブロックの場合、通常は、空間フィルタリングのみが行われる。或いは、上述の動き推定処理およびノイズ低減処理を行うこともできるが、ビデオ・エンコーダはフレーム内符号化のみを実行し、従って動き推定決定セット内で選択される動き推定決定セットを使用しない。エンコーダ１００では、既存の動き推定ブロック１４′が既に存在しており、このような状態では普通は使用されないので、Ｉピクチャに対して動き推定を行うことにより複雑度が増すことはほとんどない。

図５は、本発明の原理によるエンコーダ１００′の代替の例示的な実施形態を示す図である。図５に示すエンコーダ１００′は、多くの特徴を図２に示すエンコーダ１００と共有しており、同じ参照番号は同じ要素を示している。しかし、図２のエンコーダ１００とは異なり、図５のエンコーダ１００′は、入力ピクチャが動き推定ブロック１４′で受信される前にフィルタリングする、空間フィルタ１０６を備えている。Ｉピクチャの場合には、動き推定は行われず、スイッチ１０８が空間フィルタ１０６の出力を加算ブロック１２に結合する。ＰピクチャおよびＢピクチャの場合には、空間フィルタリング済みの入力ピクチャを入力として使用して、動き推定が行われる。この状況では、スイッチ１０８は、加算増幅器の非反転入力に結合して、ノイズ低減器１０２の出力を受信する。

以上、任意のブロック式動き補償ビデオ圧縮技術に適当な低複雑度ノイズ低減を行うエンコーダ（符号器）について説明した。ただし、本発明の原理のエンコーダは、複数の参照ピクチャを用いるＨ．２６４などの圧縮技術で最良の結果を提供する。これは、エンコーダおよびノイズ低減器の双方が動き推定関数を再利用して、ノイズ低減フィルタリング処理で使用される複数のピクチャの使用を可能にすることができるからである。ビデオ・エンコーダの一部としてノイズ低減を行うことにより増す複雑度は、独立型ビデオ・ノイズ低減システムの場合に比べれば非常に小さい。ノイズのあるビデオ・シーケンスの場合には、本発明の原理のエンコーダは、通常のビデオ・エンコーダに比べて、特定のビット・レートの圧縮ビデオ画質を大幅に改善する。

従来技術による例示的なビデオ・デコーダを示すブロック図である。本発明の原理の第１の態様による組込み型ノイズ低減器を備えたビデオ・エンコーダを示す図である。本発明の原理によるノイズ低減方法を含むビデオ符号化処理を示す流れ図である。図３に示すビデオ符号化処理中に行われるノイズ低減処理を示す流れ図である。本発明の原理の第２の態様による組込み型ノイズ低減器および空間フィルタを備えたビデオ・エンコーダを示す図である。

Claims

ノイズを低減したビデオ信号を符号化する方法であって、
入力ビデオ信号内の各マクロブロック毎に、動きをＮ回（Ｎは整数）推定して、参照ピクチャ指標および動きベクトルをそれぞれ含むＮ組の動き推定決定セットを生成するステップと、
各マクロブロック毎に、Ｎ組の動き推定データを用いてノイズ低減マクロブロックを生成するステップと、
前記動き推定データ・セットのうちの最良の１つを用いて、各ノイズ低減マクロブロックを符号化するステップと、
を含む、前記方法。
前記動きを推定するステップが、Ｎ個の異なる参照ピクチャのそれぞれを用いて動きをＮ回推定するステップを含む、請求項１に記載の方法。
前記ノイズ低減マクロブロックを生成するステップが、
前記Ｎ組の動き推定決定セットのうち複数を選択するステップと、
前記選択した動き推定決定セットを用いて、マクロブロック内の各ピクセルを時間フィルタリングするステップと、
を含む、請求項１に記載の方法。
前記選択ステップが、
各動き推定決定セット毎に予測値を生成するステップと、
予測値と現在のピクセルの間の差を計算するステップと、
前記差がしきい値未満であるかどうかを判定するステップと、
前記差がしきい値未満である場合に、その差が前記しきい値未満となる動き推定決定セットを選択するステップと、
を含む、請求項３に記載の方法。
動きの推定を行う前に、入力ビデオを空間フィルタリングするステップを含む、請求項１に記載の方法。
ノイズを低減したビデオ信号を符号化する方法であって、
Ｎ個の別個の参照ピクチャのそれぞれを用いて、入力ビデオ信号内の各マクロブロック毎に動きをＮ回（Ｎは整数）推定して、参照ピクチャ指標および動きベクトルをそれぞれ含むＮ組の動き推定決定セットを生成するステップと、
各マクロブロック毎に、Ｎ組の動き推定データを用いてノイズ低減マクロブロックを生成するステップと、
前記動き推定データのうちの最良の１つを用いて、各ノイズ低減マクロブロックを符号化するステップと、
を含む、前記方法。
入力ビデオ信号内の各マクロブロックにおける動きをＮ回（Ｎは整数）推定して、参照ピクチャ指標および動きベクトルをそれぞれ含むＮ組の動き推定決定セットを生成する動き推定段と、
Ｎ組の動き推定データを用いてノイズ低減マクロブロックを生成するノイズ低減器と、
前記ノイズ低減マクロブロックを符号化する符号化手段と、
を含む、ビデオ・エンコーダ。
コード化されたピクチャを記憶する参照ピクチャ記憶装置を含み、前記動き推定段が、Ｎ個の異なる記憶した参照ピクチャのそれぞれを用いて動きをＮ回推定する、請求項７に記載のエンコーダ。
前記コード化されたピクチャを記憶する参照ピクチャ記憶装置と、
前記記憶した事前コード化ピクチャを入力ビデオ・ストリームとして適用して各マクロブロックの動きを推定し、Ｎ組の動き推定決定セットを生成する手段と、
前記動き推定決定セットを適用してピクチャをフィルタリングしてノイズ低減を行う手段と、
を含む、請求項７に記載のエンコーダ。
動きの推定を行う前に、入力ビデオを空間フィルタリングする空間フィルタを含む、請求項７に記載のエンコーダ。