JP2011515981A - ビデオ信号のエンコーディングまたはデコーディング方法及び装置 - Google Patents

Abstract

【課題】現フレームに対する残差をコーディングする際にコーディングの効率を向上させること。
【解決手段】ビデオ信号処理方法を提供する。本発明は、マクロブロックの予測情報とフィルタ情報を受信する段階と、前記マクロブロックの予測情報を用いて現ピクチャを予測する段階と、前記予測された現ピクチャと前記フィルタ情報を用いてフィルタを適用する段階と、を含んでもよい。したがって、予測されたフレームに対する残差をコーディングする前に、予測されたフレームにフィルタを適用することによって、予測の正確性を向上させることができ、その結果、残差を減らし、ビデオ信号処理の効率を向上させることができる。
【選択図】図３

Description

本発明は、ビデオ信号のエンコーディングまたはデコーディング装置及び方法に関するものである。

エンコーディングされた映像信号をデコーダに転送する際に、映像信号の圧縮率を高めるために時間的重複性と空間的重複性を除去する方法、すなわち、画面内予測方法と画面間予測方法を使用する。

本発明の目的は、現フレームに対する残差をコーディングする際にコーディングの効率を向上させることにある。

本発明の他の目的は、画面間予測の正確性を向上させることにある。

本発明のさらに他の目的は、フィルタ情報をコーディングする際にコーディングの効率を向上させることにある。

画面内予測または画面間予測を行って予測されたフレームに対して元のフレームとの差分を最小化するフィルタを適用することを特徴とする。

復元されたフレームを復号ピクチャ保存部に保存する前にフィルタを適用し、該フィルタを経たフレームを復号ピクチャ保存部に保存して画面間予測に用いることを特徴とする。

元のフレームと復元されたフレームとの照度差を補正することを特徴とする。

現フレームに適用するフィルタを獲得する際に、前フレームのフィルタ情報を現フレームに適用するか否かを指示するフラグを使用することを特徴とする。

現フレームに適用するフィルタを獲得する際に、現フレームのフィルタと前フレームのフィルタとの差分フィルタを用いることを特徴とする。

現フレームに適用するフィルタを獲得する際に、予測フィルタ、及び現フレームのフィルタと予測フィルタとの差分フィルタを用いることを特徴とする。

現フレームに適用する予測フィルタは、前フレームに適用するフィルタに更新されることを特徴とする。

したがって、本発明によって次の効果または利点がもたらされる。

第一に、現フレームに対する残差をコーディングする前に、予測されたフレームにフィルタを適用することによって、現フレームの予測の正確性を向上させることができ、その結果、残差を減らし、ビデオ信号処理の効率を向上させることができる。

第二に、復元されたフレームにフィルタを適用することによって元のフレームとの差分を減らし、復元されたフレームの画質を向上させることができ、さらに、復元されたフレームを参照フレームとして使用することによって画面間予測の正確性を向上させることができる。

第三に、復元されたフレームに対して照度を補正することによってビデオ信号処理過程における様々な丸め演算によるエラーを減らすことができ、フレームの復元において正確性を向上させることができる。

第四に、前フレームのフィルタ情報を現フレームに適用するか否かを指示するフラグを使用することによって、現フレームのフィルタ情報を効率的にコーディングすることができる。

第五に、現フレームのフィルタと前フレームのフィルタとの差分フィルタを用いることによって、現フレームのフィルタ情報を効率的にコーディングすることができる。

第六に、シーケンス全体に対する予測フィルタを用いることによって、現フレームのフィルタ情報を効率的にコーディングすることができる。

添付図面は、本発明をより良く理解するために包含されており、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、明細書の記載と共に本明細書の原理を説明するためのものである。

本発明の第１実施例によるビデオ信号エンコーディング装置１００の概略的なブロック図である。 本発明の第１実施例によるビデオ信号デコーディング装置２００の概略的なブロック図である。 本発明の第１実施例によるエンコーダにおいて予測された現フレームにフィルタを適用する過程を示すフローチャートである。 本発明の第１実施例によるデコーダにおいて予測された現フレームにフィルタを適用する過程を示すフローチャートである。 本発明に係るフィルタ生成方法を示す概略図である。 本発明の第２実施例によるビデオ信号エンコーディング装置３００の概略的なブロック図である。 本発明の第２実施例によるビデオ信号デコーディング装置４００の概略的なブロック図である。 本発明の第２実施例によるエンコーダにおいてデブロッキングフィルタリング部を経た現フレームにフィルタを適用する過程を示すフローチャートである。 本発明の第２実施例によるデコーダにおいてデブロッキングフィルタリング部を経た現フレームにフィルタを適用する過程を示すフローチャートである。 本発明においてフィルタを生成する方法を示す概略図である。 本発明の第３実施例による元のフレームと復元されたフレームとの照度差を補正する方法を示すフローチャートである。 本発明の第４実施例によるフラグ情報を用いてフィルタ係数をコーディングする方法を示す図である。 本発明の第４実施例による差分フィルタを用いてフィルタ情報をコーディングする方法を示す図である。 本発明の第４実施例による予測フィルタを用いてフィルタ情報をコーディングする方法を示す図である。

本発明の付加的な特徴及び利点は、以下の詳細な説明で記述され、部分的には、詳細な説明から明らかになるか、発明の実行から理解されるであろう。本発明の目的及びその他の利点は、添付図面の他に、明細書及びその請求項により指定される事項によって実現または獲得することができる。

上記目的を達成するために、本発明に係るビデオ信号処理方法は、マクロブロックの予測情報とフィルタ情報を受信する段階と、前記マクロブロックの予測情報を用いて現ピクチャを予測する段階と、前記予測された現ピクチャと前記フィルタ情報を用いてフィルタを適用する段階と、を含んでもよい。

本発明によれば、前記マクロブロックの予測値を生成する段階では、画面内予測の場合、周辺マクロブロックの予測値を用いて現マクロブロックの予測値を生成することができる。

本発明によれば、前記フィルタを適用する段階では、マクロブロックのタイプ、マクロブロックの量子化パラメータ、符号化ブロックパターン（coded block pattern；ＣＢＰ）、ブロック間のブロック境界強度などを考慮してフィルタを適用することができる。

本発明によれば、前記フィルタを適用する段階は、ピクチャ内の境界領域を探索する段階をさらに含み、前記境界領域と非境界領域を区別してフィルタを適用することができ、フレームをＮ×Ｎ（Ｎは、自然数）サイズに分割してそれぞれの領域にフィルタを適用することもできる。

本発明の他の側面によるビデオ信号処理装置によれば、マクロブロックの予測情報とフィルタ情報を受信する受信部と、前記マクロブロックの予測情報を用いて現ピクチャを予測する予測部と、前記予測された現ピクチャと前記フィルタ情報を用いてフィルタを適用するフィルタリング部と、を含んでもよい。

本発明によるビデオ信号処理方法は、復号ピクチャにデブロッキングフィルタを適用する段階と、前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階と、前記フィルタリングされた復号ピクチャを復号ピクチャバッファに保存する段階と、を含んでもよい。

本発明によれば、前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階では、マクロブロックのタイプ、マクロブロックの量子化パラメータ、符号化ブロックパターン（coded block pattern；ＣＢＰ）、ブロック間のブロック境界強度などを考慮してフィルタを適用することができる。

本発明によれば、前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階は、ピクチャ内の境界領域を探索する段階をさらに含み、前記境界領域と非境界領域を区分してフィルタを適用することができる。

本発明によれば、上記方法は、前記フィルタリングされた復号ピクチャに対して、元のピクチャとフィルタリングされた復号ピクチャとの照度差を補正する段階をさらに含んでもよい。

本発明のさらに他の側面によるビデオ信号処理装置によれば、復号ピクチャにデブロッキングフィルタを適用するデブロッキングフィルタリング部と、前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用するフィルタリング部と、前記フィルタリングされた復号ピクチャを復号ピクチャバッファに保存する復号ピクチャ保存部と、を含んでもよい。

本発明によるビデオ信号処理方法は、現フレームに適用するフィルタ情報獲得において、前フレームに適用したフィルタ情報を現フレームに適用するか否かを指示するフラグを用いることができる。

本発明によれば、前記フラグが、前フレームのフィルタ情報を現フレームに適用することを指示する場合、前フレームのフィルタ情報を現フレームのフィルタとして用い、前記フラグが、前フレームのフィルタ情報を現フレームに適用することを指示しない場合、現フレームのフィルタ情報を現フレームのフィルタとして用いることができる。

本発明によれば、前記現フレームのフィルタ情報は、前フレームのフィルタ情報と現フレームのフィルタ情報との差分値及び前フレームのフィルタ情報から獲得することができる。

本発明によるビデオ信号処理方法は、現フレームのフィルタ情報を、現フレームの予測フィルタ情報と現フレームのフィルタ情報との差分値及び予測フィルタ情報から獲得することができる。

本発明によれば、前記現フレームの予測フィルタ情報は、シーケンス全体のそれぞれのフレームに関するフィルタ情報の平均値とすることができる。

本発明によれば、前記現フレームの予測フィルタ情報は、前フレームのフィルタを現フレームの予測フィルタとして用いるものであってもよい。

以上の概要及び以下の詳細な説明は両方とも、例示的で説明的なものであり、請求される発明の詳しい説明を提供するためのものである。

以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。下記の説明において、本明細書及び請求の範囲に使われた用語や単語は、通常または辞書上の意味に限定して解釈されるものではなく、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立って本発明の技術的思想に符合する意味と概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の好適な一実施例に過ぎず、本発明の技術的思想がそれらに限定されるものではないので、本出願時点においてそれらの実施例に取って代わる様々な均等物及び変形例がありうることを理解しなければならない。

一方、本発明においてフィルタの適用はビデオ信号処理の効率を向上させるためのものであるから、フィルタの適用によってビデオ信号処理の効率が低下する場合にはフィルタの適用を省略できることは明らかである。したがって、フィルタ情報は、フィルタ係数、フィルタサイズなどの他にも、フィルタを使用するか否かに関する情報を含むものとして理解すべきである。また、フィルタの適用においても、特定の方法に限定されず、本発明で提案する様々な方法から最適の方法を選択して用いることができる。

図１は、本発明の第１実施例によるビデオ信号エンコーディング装置１００の概略的なブロック図である。

図１を参照すると、変換部１１０、量子化部１１５、コーディング制御部１２０、逆量子化部１３０、逆変換部１３５、デブロッキングフィルタリング部１４０、フィルタリング部１４５、復号ピクチャ保存部１５０、動き推定部１５５、画面間予測部１６０、画面内予測部１７０、及びエントロピコーディング部１８０を含む。

変換部１１０は、画素値を変換して変換係数値を獲得し、この場合、離散コサイン変換またはウェーブレット変換方式を用いることができる。量子化部１１５は、変換部１１０から出力された変換係数値を量子化する。コーディング制御部１２０は、特定ブロックまたはフレームを画面内符号化するか、画面間符号化するかを制御する。逆量子化部１３０は、変換係数値を逆量子化し、逆変換部１３５は、逆量子化された変換係数値を元の画素値に復元する。デブロッキングフィルタリング部１４０は、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックに適用される。デブロッキングフィルタリングを経たピクチャは、参照ピクチャとして用いるために復号ピクチャ保存部１５０に保存される。動き推定部１５５は、復号ピクチャ保存部１５０に保存された参照ピクチャを用いて参照ピクチャの中から現ブロックと最も類似する参照ブロックを探索し、探索された参照ブロックの位置情報などをエントロピコーディング部１８０に伝達する。画面間予測部１６０は、参照ピクチャを用いて現ピクチャの予測を行い、画面間符号化情報をエントロピコーディング部１８０に伝達する。画面内予測部１７０は、現ピクチャ内のデコーディングされたピクセルから画面内予測を行い、画面内符号化情報をエントロピコーディング部１８０に伝達する。フィルタリング部１４５は、予測された現ピクチャと元のピクチャとの差分を減らすために、予測された現ピクチャに適用される。エントロピコーディング部１８０は、量子化された変換係数、画面間符号化情報、画面内符号化情報、及び動き推定部１６０から入力された参照ブロック情報などをエントロピコーディングすることで、ビデオ信号ビットストリームを生成する。

図２は、本発明の第１実施例によるビデオ信号デコーディング装置２００の概略的なブロック図である。

図２を参照すると、本発明のビデオ信号デコーディング装置は、エントロピデコーディング部２１０、逆量子化部２２０、逆変換部２２５、デブロッキングフィルタリング部２３０、フィルタリング部２３５、復号ピクチャ保存部２４０、画面間予測部２５０、画面内予測部２６０を含む。

エントロピデコーディング部２１０は、ビデオ信号ビットストリームをエントロピデコーディングして、各マクロブロックの変換係数、動きベクトルなどを抽出する。逆量子化部２２０は、エントロピデコーディングされた変換係数を逆量子化し、逆変換部２２５は、逆量子化された変換係数を用いて元の画素値を復元する。デブロッキングフィルタリング部２３０は、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックに適用される。フィルタリングを経たピクチャは、出力されるか、あるいは、参照ピクチャとして用いるために復号ピクチャ保存部２４０に保存される。画面間予測部２５０は、復号ピクチャ保存部２４０に保存された参照ピクチャとエントロピデコーディング部２１０から取り込んだ画面間予測情報（参照ピクチャインデックス情報、動きベクトル情報等）を用いて現ピクチャを予測する。画面内予測部２６０は、現ピクチャ内のデコーディングされたピクセルから画面内予測を行う。フィルタリング部２３５は、画面間予測部または画面内予測部からの、予測された現ピクチャに適用される。フィルタリング部２３５を経た予測された現ピクチャと逆変換部からの残差とを合算して元のピクチャを復元する。以下、本発明におけるフィルタリング過程について具体的に説明する。

図３は、本発明の第１実施例によるエンコーダで予測された現フレームにフィルタを適用する過程を示すフローチャートである。

エンコーダは、画面内予測または画面間予測を用いて現ピクチャを予測する（Ｓ１１０）。ただし、画面内予測を用いたマクロブロックの場合、マクロブロック内の現ブロック周辺にある既に復元されたピクセルを用いて画面内予測を行わずに、マクロブロック内の現ブロック周辺にある予測されたピクセルを用いて画面内予測を行う。フィルタリング部１４５では、予測された現ピクチャと元のピクチャとを比較し、両者間の差を最小にするフィルタを生成することができる（Ｓ１２０）。このフィルタ生成方法は、図５を参照して後述される。

ただし、得られたフィルタを予測された現ピクチャに適用することによって現ピクチャの予測に対する正確性を向上させる一方で、フィルタの適用がビデオ信号処理の効率を低下させることもありうる（Ｓ１３０）。万一、フィルタの適用が効率的であると判断される場合は、生成されたフィルタ係数をデコーダに転送し（Ｓ１３５）、フィルタの適用が非効率であると判断される場合は、フラグを用いてフィルタを適用しない旨の情報を、予測されたフレームに転送する（Ｓ１４０）。

図４は、本発明の第１実施例によるデコーダにおいて予測された現フレームにフィルタを適用する過程を示すフローチャートである。

デコーダでは、エンコーダから現フレームに関する予測情報と残差、そしてフィルタ情報を受信する（Ｓ１４５）。現フレームの予測情報を用いて、エンコーダにおけるのと同様に、画面間予測または画面内予測によって現フレームを予測し（Ｓ１５０）、予測された現フレームに、エンコーダから受信したフィルタを適用することができる。このフィルタリング部を経た予測されたフレームに、逆変換部から出力された残差を合算することで元のフレームを復元する（Ｓ１６０）。

図５は、本発明でフィルタを生成する方法を示す概略図である。

図５を参照すると、ｗ[ｎ]は、現ピクチャの予測された画素値で、フィルタに入力される値である。ｘ[ｎ]は、フィルタリングされた現ピクチャの予測された画素値で、フィルタ係数ａ_iを有し、Ｎ次のフィルタを用いた場合、ｘ[ｎ]は、下記の式１で表現することができる。

［式１］

ｓ[ｎ]は、元のピクチャの画素値である。ｘ[ｎ]とｓ[ｎ]との差分をｅ[ｎ]とすれば、このｅ[ｎ]を最小にするフィルタ係数ａ_iを得ることができ、このフィルタ係数ａ_iは、下記の式２で表現することができる。

［式２］

このＥ｛ｅ²[ｎ]｝は、下記の式３で表現することができる。

［式３］

このＥ｛ｅ²[ｎ]｝を最小にするフィルタ係数ａ_iを求めるために、上記式３をａ_iで微分すると、下記の式４のようになる。

［式４］

ここで、ｗ[ｎ]とｓ[ｎ]が固定されていると、ｗ[ｎ]の自己相関関係とｗ[ｎ]とｓ[ｎ]間の交差相関関係としてＲ_W[ｍ]とＲ_ws[ｍ]を、下記の式５で示すことができる。

［式５］

上記式５を用いて式４を下記の式６のように表現することができる。

［式６］

上記式６を０にするａ_i値を求めることができ、これは式７で示される。

［式７］

上記式７からフィルタ係数ａ_iを得ることができる。

以下、本発明の第１実施例によるマクロブロックのタイプを考慮してフィルタを適用する過程について説明する。

エンコーダでマクロブロックのタイプ、すなわち、イントラマクロブロックまたはインターマクロブロックが示されたマクロブロックマップを生成することができる。このマクロブロックマップを用いてフレームをイントラマクロブロックまたはインターマクロブロックのみでカテゴリ化することができる。それぞれのカテゴリ別に好適なフィルタ情報を生成し、該フィルタ情報をデコーダに転送する。

デコーダは、エンコーダからマクロブロックのタイプに関する情報を受信し、該マクロブロックのタイプに関する情報に基づいてマクロブロックマップを生成することができる。または、エンコーダで生成されたマクロブロックマップに関する情報を受信してデコーダでマクロブロックマップを生成することもできる。一方、生成されたマクロブロックマップを用いて、マクロブロックのタイプ別にカテゴリを分類する。それぞれのカテゴリ別にエンコーダから転送されたフィルタ情報を適用して、予測されたフレームにフィルタリングを行う。

本発明の第１実施例による量子化パラメータを考慮してフィルタを適用する過程について説明する。

量子化パラメータは、それぞれのマクロブロックごとに異なるものとすることができる。量子化パラメータが大きいと、量子化された値の範囲が小さいので圧縮率は高いが、量子化された値が元の信号と大きな差を示す。量子化パラメータが小さいと、量子化された値が元の信号に近いが、圧縮効率は減少する。すなわち、量子化パラメータは、復元されたピクチャの画質に影響を与える。

したがって、マクロブロックの量子化パラメータ別にカテゴリを保存し、カテゴリを基準にそれぞれのマクロブロックに好適なフィルタ情報を生成することができる。生成されたフィルタ情報はデコーダに転送され、この情報を用いて量子化パラメータ別にフィルタリングを行うことができる。

本発明の第１実施例による符号化ブロックパターン（coded block pattern；ＣＢＰ）を考慮してフィルタを適用する過程について説明する。

まず、ＣＢＰは、マクロブロック内にデータが存在するか否かを示す値である。例えば、マクロブロック内にコーディングされた残差がある場合、予測されたマクロブロックに当該残差が合算されることで復元がなされ、マクロブロック内にコーディングされた残差がない場合、予測されたマクロブロック自体で復元がなされる。すなわち、ＣＢＰによってイメージの特性が変わることがある。

したがって、ＣＢＰを考慮してフレームをカテゴリ化することができ、カテゴリ別に好適なフィルタを生成することができる。このフィルタ情報はデコーダに転送され、この情報を用いてＣＢＰ別にフィルタリングを行うことができる。

本発明の第１実施例による境界強度（boundary strength）を考慮してフィルタを適用する過程を説明する。

まず、デブロッキングフィルタはブロック歪み現象を減少させるためのもので、フィルタの強度を変えて使用することができる。しかし、ビデオ信号処理の効率がフィルタの適用によって低下する場合には、デブロッキングフィルタを使用しなくてもよい。これは、境界強度と境界周囲のイメージサンプルの変化に左右され、境界強度は、イントラコーディングされたマクロブロックか否か、動きベクトル値、参照ブロック等との関係で決定される。すなわち、この境界強度はイメージの特性を左右することがある。

したがって、デブロッキングフィルタを経たフレームを、境界強度に基づいてカテゴリ化することができ、カテゴリ別に好適なフィルタを生成することができ、このフィルタ情報をデコーダに転送し、この情報を用いて境界強度別にフィルタリングを行うことができる。ただし、境界強度に基づいてそれぞれのカテゴリ別にフィルタを適用する場合、デブロッキングフィルタリングは省略する。

本発明の第１実施例による境界領域を考慮してフィルタを適用する過程について説明する。

フレームを境界領域と非境界領域とに分類し、それぞれの領域にフィルタを適用することができる。フィルタリング部は、画面間または画面内予測によって予測された現フレームを受信する。デブロッキングフィルタを経た現フレームに対して境界有無判別値（threshold values）に基づいて境界探索を行って、境界領域と非境界領域を得ることができる。得られた境界領域及び非境界領域に適用するフィルタ情報を生成し、生成したフィルタ情報と境界有無判別値などをデコーダに転送する。このフィルタ情報と境界有無判別値を用いてデコーダでは境界領域と非境界領域を分類し、それぞれの領域にフィルタリングを行う。

例えば、境界領域では、境界領域部分で滑らかすぎになることを防止する目的で、小さいサイズのフィルタを使用することができる。一方、非境界領域では、量子化過程で生じた雑音を除去する目的で、より大きいサイズのフィルタを使用することができる。

本発明の第１実施例によるフレームの領域を分割してフィルタを適用する過程について説明する。

一つのフレームをＮ×Ｎサイズに分割し、それぞれのＮ×Ｎ領域ごとにフィルタリングを行うか否かを決定する。これに基づいて、フィルタリングを行うか否かを示すフィルタリングマップを生成することができる。一方、フィルタリングを行うと決定された場合、それぞれのＮ×Ｎ領域に好適なフィルタ係数を生成することができ、当該フィルタ情報とフィルタリングマップをデコーダに転送する。デコーダで、このフィルタ情報とフィルタリングマップを用いて、予測されたフレームにフィルタリングを行う。

図６は、本発明の第２実施例によるビデオ信号エンコーディング装置３００の概略的なブロック図である。

図６を参照すると、変換部３１０、量子化部３１５、コーディング制御部３２０、逆量子化部３３０、逆変換部３３５、デブロッキングフィルタリング部３４０、フィルタリング部３４５、復号ピクチャ保存部３５０、動き推定部３５５、画面間予測部３６０、画面内予測部３７０、及びエントロピコーディング部３８０を含む。この構成は、フィルタリング部３４５以外は、図１の構成と同一である。フィルタリング部３４５は、デブロッキングフィルタを経た復号されたピクチャにフィルタを適用することで、元のピクチャとの差分を最小化する。

図７は、本発明の第２実施例によるビデオ信号デコーディング装置４００の概略的なブロック図である。

図７を参照すると、本発明のビデオ信号デコーディング装置は、エントロピデコーディング部４１０、逆量子化部４２０、逆変換部４２５、デブロッキングフィルタリング部４３０、フィルタリング部４３５、復号ピクチャ保存部４４０、画面間予測部４５０、画面内予測部４６０を含む。この構成も同様、フィルタリング部４３５以外は、図２の構成と同一である。フィルタリング部４３５は、デブロッキングフィルタリングを経た復号されたピクチャにフィルタを適用することで元のピクチャとの差分を最小化する。

図８は、本発明の第２実施例によるエンコーダにおいてデブロッキングフィルタリング部を経た復元された現フレームにフィルタを適用する過程を示すフローチャートである。

フィルタリング部は、デブロッキングフィルタリング部を経た、復元された現フレームを受信し（Ｓ４００）、該現フレームと元のフレームとを比較して両者間の差分を最小にするフィルタを生成することができる（Ｓ４０５）。このフィルタ生成方法は、図１０を参照して後述する。

ただし、獲得したフィルタを、デブロッキングフィルタリング部を経た復元された現フレームに適用することによって現フレームの復元に対する正確性を向上させることはできるが、むしろ効率を低下させることがありうる（Ｓ４１０）。万一、フィルタ適用が効率的であると判断される場合、生成されたフィルタ係数をデコーダに転送し（Ｓ４１５）、フィルタ適用が非効率的であると判断される場合、フラグを用いて、フィルタを適用しない旨の情報を、予測されたフレームに転送する（Ｓ４２０）。

図９は、本発明の第２実施例によるデコーダにおいてデブロッキングフィルタリング部を経た復元された現フレームにフィルタを適用する過程を示すフローチャートである。

デコーダでは、エンコーダから現フレームに関するフィルタ情報を受信し（Ｓ４２５）、このフィルタ情報を、デブロッキングフィルタリング部を経た復元された現フレームに適用する（Ｓ４３０）。このフィルタリング部を経た現フレームは、出力するか、あるいは、他のフレーム予測時に用いるために、復号ピクチャ保存部に保存することができる（Ｓ４３５）。

図１０は、本発明でフィルタを生成する方法を示す概略図である。

図１０を参照すると、ｗ[ｎ]’は、現ピクチャの予測された画素値で、フィルタに入力される値である。ｘ[ｎ]’は、フィルタリングされた現ピクチャの予測された画素値で、フィルタ係数ａ_i’を有し、Ｎ次のフィルタを用いた場合、ｘ[ｎ]’は、下記の式８で表現することができる。

［式８］

ｓ[ｎ]’は、元のピクチャの画素値である。ｘ[ｎ]’とｓ[ｎ]’との差分をｅ[ｎ]’とすれば、このｅ[ｎ]’を最小にするフィルタ係数ａ_i’を得ることができ、このフィルタ係数ａ_i’は、下記の式９で表現することができる。

［式９］

このＥ｛ｅ²[ｎ]’｝は、下記の式１０で表現することができる。

［式１０］

ここで、Ｅ｛ｅ²[ｎ]’｝を最小にするフィルタ係数ａ_i’を求めるために、上記式１０をａ_i’で微分すると、下記の式１１のようになる。

［式１１］

ここで、ｗ[ｎ]’とｓ[ｎ]’が固定されていると、ｗ[ｎ]’の自己相関関係とｗ[ｎ]’とｓ[ｎ]’との交差相関関係としてＲ_W[ｍ]’とＲ_ws[ｍ]’を下記の式１２で示すことができる。

［式１２］

上記式１２を用いて、式１１を下記の式１３で表現することができる。

［式１３］

上記式１３を０にするａ_i’値を求めることができ、これは式１４で示される。

［式１４］

上記式１４からフィルタ係数ａ_i’を得ることができる。

本発明の第２実施例によって当該フィルタをマクロブロックのタイプを考慮して適用する過程について説明する。

エンコーダでマクロブロックのタイプ、すなわち、イントラマクロブロックまたはインターマクロブロックが示されたマクロブロックマップを生成することができる。このマクロブロックマップを用いてフレームを、イントラマクロブロックまたはインターマクロブロックのみで構成されたカテゴリに分類することができる。それぞれのカテゴリ別に、適用されるフィルタ情報を生成し、このフィルタ情報をデコーダに転送する。

デコーダでも、マクロブロックマップを生成し、これを用いてマクロブロックタイプ別にカテゴリを分類する。それぞれのカテゴリ別に、エンコーダから転送されたフィルタ情報を適用してフィルタリングを行う。

本発明の第２実施例による上記フィルタを量子化パラメータを考慮して適用する過程について説明する。

量子化パラメータは、それぞれのマクロブロックごとに異なることがある。量子化パラメータが大きいと、量子化された値の範囲が小さいので圧縮率は高いが、量子化された値が元の信号と大きな差を示す。量子化パラメータが小さいと、量子化された値が元の信号に近いが、圧縮効率は減少する。すなわち、量子化パラメータは、復元されたピクチャの画質に影響を与える。

したがって、マクロブロックの量子化パラメータ別にカテゴリを保存し、カテゴリを基準にそれぞれのマクロブロックに好適なフィルタ情報を生成することができる。生成されたフィルタ情報はデコーダに転送され、この情報を用いて量子化パラメータ別にフィルタリングを行うことができる。

本発明の第２実施例によるフィルタをＣＢＰを考慮して適用する過程について説明する。

符号化ブロックパターン（coded block pattern；ＣＢＰ）は、マクロブロック内にデータが存在するか否かを示す値である。例えば、マクロブロック内にコーディングされた残差がある場合、予測されたマクロブロックにこの残差が合算されて復元が行われ、マクロブロック内にコーディングされた残差がない場合、予測されたマクロブロック自体で復元がなされる。すなわち、ＣＢＰによってイメージの特性が変わることがある。

したがって、ＣＢＰを考慮してイメージをカテゴリ化することができ、このカテゴリ別に好適なフィルタを生成し、このフィルタ情報をデコーダに転送し、これを用いてＣＢＰ別にフィルタリングを行うことができる。

本発明の第２実施例によるフィルタを境界強度を考慮して適用する過程について説明する。

デブロッキングフィルタは、ブロック歪み現象を減少させるためのもので、フィルタの強度を変えて使用することができる。しかし、ビデオ信号処理の効率がフィルタの適用によって低下する場合には、デブロッキングフィルタを使用しなくてもよい。これは、境界強度と境界周囲のイメージサンプルの変化に左右され、境界強度は、イントラコーディングされたマクロブロックか否か、動きベクトル値、参照ブロック等との関係で決定される。すなわち、この境界強度はイメージの特性を左右することがある。

したがって、デブロッキングフィルタを経たフレームを、境界強度に基づいてカテゴリ化することができ、カテゴリ別に好適なフィルタを生成することができ、このフィルタ情報をデコーダに転送し、この情報を用いて境界強度別にフィルタリングを行うことができる。ただし、境界強度に基づいてそれぞれのカテゴリ別にフィルタを適用する場合、デブロッキングフィルタリングは省略する。

本発明の第２実施例によるフィルタを境界領域を考慮して適用する過程について説明する。

フレームを境界領域と非境界領域とに分類し、それぞれの領域にフィルタを適用することができる。フィルタリング部は、デブロッキングフィルタリング部を経た復元された現フレームを受信する。デブロッキングフィルタを経た現フレームに対して、境界有無判別値（threshold values）に基づいて境界探索を行って、境界領域と非境界領域を得ることができる。得られた境界領域及び非境界領域に適用するフィルタ情報を生成し、生成したフィルタ情報と境界有無判別値などをデコーダに転送する。このフィルタ情報と境界有無判別値を用いてデコーダでは境界領域と非境界領域を分類し、それぞれの領域にフィルタリングを行う。

例えば、境界領域では、境界領域部分で滑らかすぎになることを防止する目的で、小さいサイズのフィルタを使用することができる。一方、非境界領域では、量子化過程で生じた雑音を除去する目的で、より大きいサイズのフィルタを使用することができる。

図１１は、本発明の第３実施例による元のフレームと復元されたフレームとの照度差を補正する方法を示すフローチャートである。

例えば、正確な動きベクトルを探すための補間、Ｂフレーム予測過程、デブロッキング過程などを含むビデオ信号処理において様々な丸め演算(rounding operation)を行い、これによって、元のフレームの照度平均値と復元されたフレームの照度平均値との間に差が出る。

復元されたフレームと元のフレームのそれぞれに対する照度平均値を獲得することができる（Ｓ６００）。元のフレームの照度平均値を復元されたフレームの照度平均値で除算した値を獲得し（Ｓ６０５）、この値をデコーダに転送する（Ｓ６１０）。

この値を用いてデコーダでは復元されたフレームの照度を補正する（Ｓ６１５）。

これにより、様々な丸め演算によるエラーを減らすことができる。

図１２は、本発明の第４実施例によるフラグ情報を用いてフィルタ係数をコーディングする方法を示す図である。

エンコーダでは、ｎ−１番目のフレームとｎ番目のフレームのそれぞれに適用するフィルタ（１０，１５）を生成する。ただし、ｎ−１番目のフレームとｎ番目のフレームが互いに類似している場合、ｎ番目のフレームに、ｎ−１番目のフレームに適用するフィルタを適用することができ、このために、ｎ−１番目のフレームのフィルタの使用を指示するフラグを用いることができる。

例えば、フラグが前フレームのフィルタの使用を指示する場合、ｎ−１番目のフレームのフィルタ情報１０を、ｎ番目のフレームのフィルタに用い、ｎ番目のフレームのフィルタ情報１５をコーディングしてデコーダに転送しない。これにより、デコーダに転送されるフィルタ情報に対するビット量を減らすことができ、効率的なビデオ信号処理が可能である。一方、フラグが、前フレームのフィルタの使用を指示しない場合は、ｎ番目のフレームのフィルタ情報１５をコーディングしてデコーダに転送する。

図１３は、本発明の第４実施例による差分フィルタを用いてフィルタ情報をコーディングする方法を示す図である。

エンコーダでｎ−１番目のフレームとｎ番目のフレームのそれぞれに適用するフィルタ（３０，３５）を生成し、生成されたｎ−１番目のフレームのフィルタとｎ番目のフレームのフィルタとの差分であるｎ番目の差分フィルタ４０を獲得する。エンコーダは、ｎ番目のフレームのフィルタ情報をデコーダに転送するにあたり、このｎ番目の差分フィルタ情報４０のみをデコーダに転送することによってビット量を減らすことができる。

デコーダでは、受信したｎ番目の差分フィルタ情報４０とｎ−１番目のフレームのフィルタ情報３０を用いてｎ番目のフレームのフィルタを獲得することができる。

図１４は、本発明の第４実施例による予測フィルタを用いてフィルタ情報をコーディングする方法を示す図である。

予測フィルタは、シーケンス全体に対してそれぞれのフレームのフィルタ情報を生成した後のフィルタ情報の平均値と見なすことができる。エンコーダでは、まず、それぞれのフレームのフィルタ情報（４５，４６）を生成し、それぞれのフレームのフィルタと予測フィルタとの差分である差分フィルタ（４８，５０）を獲得する。続いて、これらの差分フィルタと予測フィルタをデコーダに転送する。デコーダでは、差分フィルタ（４８，５０）と予測フィルタ（４７，４９）を用いてそれぞれのフレームのフィルタを獲得する。これにより、デコーダに転送されるフィルタ情報量を減らすことができ、効率的なビデオ信号処理が可能である。

なお、予測フィルタは、シーケンス全体に対するそれぞれのフレームのフィルタ情報平均値に限定されるものではなく、ｎ−１番目のフレームのフィルタを、ｎ番目のフレームに対する予測フィルタとして用いることもできる。すなわち、ｎ番目のフレームに使用される予測フィルタ４９は、ｎ−１番目のフレームの予測フィルタ４７とｎ−１番目の差分フィルタ４８により更新可能である。これは、予測フィルタとｎ番目のフレームのフィルタとの差分が大きい場合、予測フィルタをそのまま用いることが効率的でない場合があり、この場合、ｎ番目のフレームのフィルタと類似するフィルタを予測フィルタとして用いることが効率的であるからである。

ここでは好適な実施例を挙げて本発明を説明及び図示したが、当該技術分野における通常の知識を有する者にとっては、本発明の精神及び思想を逸脱しない範囲内で様々な変形及び修正が可能であるということは明らかである。したがって、添付の請求項及びその均等範囲における変形及び修正はいずれも本発明の範囲に含まれる。

Claims (23)

1. マクロブロックの予測情報とフィルタ情報を受信する段階と、
   前記マクロブロックの予測情報を用いて現ピクチャを予測する段階と、
   前記予測された現ピクチャと前記フィルタ情報を用いてフィルタを適用する段階と、
   を有することを特徴とするビデオ信号処理方法。
2. 前記マクロブロックの予測値を生成する段階は、画面内予測の場合、前記マクロブロック内の現ブロックに隣接しているブロックの予測値を用いて前記マクロブロック内の現ブロックの予測値を生成することを特徴とする、請求項１に記載のビデオ信号処理方法。
3. 前記フィルタを適用する段階は、前記マクロブロックのタイプを考慮して前記フィルタを適用することを特徴とする、請求項１に記載のビデオ信号処理方法。
4. 前記フィルタを適用する段階は、前記マクロブロックの量子化パラメータを考慮して前記フィルタを適用することを特徴とする、請求項１に記載のビデオ信号処理方法。
5. 前記フィルタを適用する段階は、前記マクロブロックの符号化ブロックパターンを考慮して前記フィルタを適用することを特徴とする、請求項１に記載のビデオ信号処理方法。
6. 前記フィルタを適用する段階は、ブロック間のブロック境界強度を考慮して前記フィルタを適用することを特徴とする、請求項１に記載のビデオ信号処理方法。
7. 前記フィルタを適用する段階は、ピクチャ内の境界領域を探索する段階をさらに含み、
   前記境界領域と非境界領域を区別して前記フィルタを適用することを特徴とする、請求項１に記載のビデオ信号処理方法。
8. 前記フィルタを適用する段階は、Ｎが自然数の場合フレームをＮ×Ｎサイズに分割して適用することを特徴とする、請求項１に記載のビデオ信号処理方法。
9. マクロブロックの予測情報とフィルタ情報を受信する受信部と、
   前記マクロブロックの予測情報を用いて現ピクチャを予測する予測部と、
   前記予測された現ピクチャと前記フィルタ情報を用いてフィルタを適用するフィルタリング部と、
   を有することを特徴とするビデオ信号処理装置。
10. 復号ピクチャにデブロッキングフィルタを適用する段階と、
    前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階と、
    前記フィルタリングされた復号ピクチャを復号ピクチャバッファに保存する段階と、
    を有することを特徴とするビデオ信号処理方法。
11. 前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階は、マクロブロックのタイプを考慮して前記フィルタを適用することを特徴とする、請求項１０に記載のビデオ信号処理方法。
12. 前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階は、マクロブロックの量子化パラメータを考慮して前記フィルタを適用することを特徴とする、請求項１０に記載のビデオ信号処理方法。
13. 前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階は、マクロブロックの符号化ブロックパターンを考慮して前記フィルタを適用することを特徴とする、請求項１０に記載のビデオ信号処理方法。
14. 前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階は、ブロック間のブロック境界強度を考慮して前記フィルタを適用し、前記復号ピクチャにデブロッキングフィルタを適用する段階は省略することを特徴とする、請求項１０に記載のビデオ信号処理方法。
15. 前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用する段階は、ピクチャ内の境界領域を探索する段階をさらに含み、
    前記境界領域と非境界領域を区別して前記フィルタを適用することを特徴とする、請求項１０に記載のビデオ信号処理方法。
16. 前記フィルタリングされた復号ピクチャに対して元ピクチャと前記フィルタリングされた復号ピクチャとの照度差を補正する段階をさらに有することを特徴とする、請求項１０〜１５のいずれか１項に記載のビデオ信号処理方法。
17. 復号ピクチャにデブロッキングフィルタを適用するデブロッキングフィルタリング部と、
    前記デブロッキングフィルタリングされた復号ピクチャにフィルタを適用するフィルタリング部と、
    前記フィルタリングされた復号ピクチャを復号ピクチャバッファに保存する復号ピクチャ保存部と、
    を有することを特徴とするビデオ信号処理装置。
18. 現フレームに適用するフィルタ情報獲得において、前フレームのフィルタ情報を前記現フレームに適用するか否かを指示するフラグを使用することを特徴とするビデオ信号処理方法。
19. 前記フラグが、前記前フレームのフィルタ情報を前記現フレームに適用することを指示する場合、前記前フレームのフィルタ情報を前記現フレームのフィルタとして用い、
    前記フラグが、前記前フレームのフィルタ情報を前記現フレームに適用することを指示しない場合、前記現フレームのフィルタ情報を前記現フレームのフィルタとして用いることを特徴とする、請求項１８に記載のビデオ信号処理方法。
20. 前記現フレームのフィルタ情報は、前記前フレームのフィルタ情報と前記現フレームのフィルタ情報との差分値及び前記前フレームのフィルタ情報から獲得することを特徴とする、請求項１８に記載のビデオ信号処理方法。
21. 現フレームのフィルタ情報は、前記現フレームの予測フィルタ情報と前記現フレームのフィルタ情報との差分フィルタ及び前記予測フィルタ情報から獲得することを特徴とするビデオ信号処理方法。
22. 前記現フレームの予測フィルタ情報は、シーケンス全体のそれぞれのフレームに関するフィルタ情報の平均値を有することを特徴とする、請求項２１に記載のビデオ信号処理方法。
23. 前記現フレームの予測フィルタ情報は、前フレームのフィルタを前記現フレームの予測フィルタとして用いることを特徴とする、請求項２１に記載のビデオ信号処理方法。

Images