JP2018530956A - 映像の符号化／復号化方法及びそのための装置 - Google Patents

映像の符号化／復号化方法及びそのための装置 Download PDF

Info

Publication number
JP2018530956A
JP2018530956A JP2018512572A JP2018512572A JP2018530956A JP 2018530956 A JP2018530956 A JP 2018530956A JP 2018512572 A JP2018512572 A JP 2018512572A JP 2018512572 A JP2018512572 A JP 2018512572A JP 2018530956 A JP2018530956 A JP 2018530956A
Authority
JP
Japan
Prior art keywords
block
filter
prediction
sample
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018512572A
Other languages
English (en)
Other versions
JP6791952B2 (ja
Inventor
チェヒョン リム
チェヒョン リム
ネリ パク
ネリ パク
チン ホ
チン ホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2018530956A publication Critical patent/JP2018530956A/ja
Application granted granted Critical
Publication of JP6791952B2 publication Critical patent/JP6791952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明では、映像の符号化／復号化方法及びそのための装置が開示される。具体的に、映像を復号化する方法において、参照ピクチュアに補間フィルタリング（interpolation filtering）を遂行するステップと、前記補間フィルタリングが遂行された前記参照ピクチュア内のサンプルから予測されたサンプルを生成するステップと、残差サンプルと前記予測されたサンプルを加算して復元されたサンプルを生成するステップと、前記復元されたサンプルにループフィルタリング（loop filtering）を遂行するステップを含み、前記予測されたサンプルが前記補間フィルタリング遂行時、所定のフィルタが適用されて生成されたか否かは第１ブロック単位で決定され、前記復元されたサンプルに前記フィルタが適用されるか否かは第２ブロック単位で決定され、前記予測されたサンプルに前記補間フィルタリング遂行時、前記フィルタが適用されたか否かに基づいて前記復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用されるか否かが決定できる。【選択図】図１１

Description

本発明は動映像処理方法に関し、より詳しくは、画面間の予測を用いて動映像をエンコーディング／デコーディングする方法及びこれを支援する装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して転送するか、格納媒体に適した形態に格納するための一連の信号処理技術を意味する。映像、イメージ、音声などのメディアが圧縮符号化の対象になることができ、特に映像を対象に圧縮符号化を遂行する技術をビデオ映像圧縮と称する。
次世代のビデオコンテンツは、高解像度（high spatialre solution）、高フレーム率（high frame rate）、及び映像表現の高次元化（high dimensionality of scene representation）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリ格納（memory storage）、メモリアクセス率（memory access rate）、及び処理電力（processing power）の面で夥しい増加をもたらす。
したがって、次世代のビデオコンテンツをより効率よく処理するためのコーディングツールをデザインする必要がある。
本発明の目的は、画面間の予測の性能を高めるために画面間の予測されたブロックに適用する補間フィルタと復元されたブロックをリファイン（refine）するために使用するループフィルタの選択及び／又は適用のために使われる情報を統合する方法を提案する。
本発明で達成しようとする技術的課題は以上で言及した技術的課題に制限されず、言及しない更に他の技術的課題は以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。
本発明の一態様は、映像を復号化する方法において、参照ピクチュアに補間フィルタリング（interpolation filtering）を遂行するステップと、前記補間フィルタリングが遂行された前記参照ピクチュア内のサンプルから予測されたサンプルを生成するステップと、残差サンプルと前記予測されたサンプルを加算して復元されたサンプルを生成するステップと、前記復元されたサンプルにループフィルタリング（loop filtering）を遂行するステップを含み、前記予測されたサンプルが前記補間フィルタリング遂行時、所定のフィルタが適用されて生成されたか否かは第１ブロック単位で決定され、前記復元されたサンプルに前記フィルタが適用されるか否かは第２ブロック単位で決定され、前記予測されたサンプルに前記補間フィルタリング遂行時、前記フィルタが適用されたか否かに基づいて前記復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用されるか否かが決定できる。
本発明の一態様は、映像を復号化する装置において、参照ピクチュアに補間フィルタリング（interpolation filtering）を遂行する補間フィルタリング部と、前記補間フィルタリングが遂行された前記参照ピクチュア内のサンプルから予測されたサンプルを生成する予測サンプル生成部と、残差サンプルと前記予測されたサンプルを加算して復元されたサンプルを生成する加算器と、前記復元されたサンプルにループフィルタリング（loop filtering）を遂行するフィルタリング部を含み、前記予測されたサンプルが前記補間フィルタリング遂行時、所定のフィルタが適用されて生成されたか否かは第１ブロック単位で決定され、前記復元されたサンプルに前記フィルタが適用されるか否かは第２ブロック単位で決定され、前記予測されたサンプルに前記補間フィルタリング遂行時、前記フィルタが適用されたか否かに基づいて前記復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用されるか否かが決定できる。
好ましくは、前記第１ブロックのサイズが前記第２ブロックのサイズと同一の場合、前記第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第１ブロックが前記第２ブロックに含まれる場合、前記第２ブロックに含まれた全ての第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第１ブロックが前記第２ブロックに含まれる場合、前記第２ブロックに含まれた第１ブロックのうち、半分以上の部分を有する第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第１ブロックが前記第２ブロックに含まれる場合、前記第２ブロックに含まれた第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第２ブロックが前記第１ブロックに含まれる場合、前記第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第２ブロックが前記第１ブロックに含まれ、前記第２ブロックが前記複数の第１ブロックの境界に位置する場合、前記複数の第１ブロックの予測されたサンプルが全て前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第２ブロックが前記第１ブロックに含まれ、前記第２ブロックが前記複数の第１ブロックの境界に位置する場合、前記複数の第１ブロックのうち、前記第２ブロックの半分以上の部分を含む第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記第２ブロックが前記第１ブロックに含まれ、前記第２ブロックが前記複数の第１ブロックの境界に位置する場合、前記複数の第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用できる。
好ましくは、前記ループフィルタリング遂行時、前記フィルタが適用される場合、前記ループフィルタリングのためのフィルタの係数は前記補間フィルタリングのためのフィルタの係数から誘導できる。
好ましくは、前記ループフィルタリング遂行時、前記フィルタが適用される場合、前記ループフィルタリングのためのフィルタの係数は、前記補間フィルタリングのためのフィルタの係数を前記第１ブロックのサイズと前記第２ブロックのサイズの割合で補正することによって定まることができる。
本発明の実施形態によれば、画面間の予測されたブロックに適用する補間フィルタと復元されたブロックに適用するループフィルタの選択及び／又は適用のために使われる情報を統合することによって、付加情報の量を減少させることができる。
また、本発明の実施形態によれば、ループフィルタの選択及び／又は適用のために使われる付加情報を減らすことによって、動映像圧縮性能を向上させることができる。
本発明で得ることができる効果は以上で言及した効果に制限されず、言及しない更に他の効果は以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。
本発明に関する理解を助けるために詳細な説明の一部として含まれる添付図面は本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的特徴を説明する。
本発明が適用される実施形態であって、停止映像または動映像信号のエンコーディングが遂行されるエンコーダの概略的なブロック図を示す。 本発明が適用される実施形態であって、停止映像または動映像信号のエンコーディングが遂行されるデコーダの概略的なブロック図を示す。 本発明に適用できるコーディングユニットの分割構造を説明するための図である。 本発明に適用できる予測ユニットを説明するための図である。 本発明が適用できる実施形態であって、１／４サンプル補間のための整数及び分数サンプル位置を例示する。 本発明の一実施形態であって、１／４サンプル補間のための整数及び分数サンプル位置別に設定されるフィルタ係数を例示する。 本発明の一実施形態であって、画面間の予測されたブロックに適用されるフィルタの係数が定まる方法を例示する。 本発明の一実施形態であって、ループフィルタに対するウィーナフィルタの適用単位を例示する。 本発明の一実施形態に係るループフィルタリング遂行時、ウィーナフィルタを適用するか否かを決定するための方法を説明するための図である。 本発明の一実施形態に係るループフィルタリング遂行時、ウィーナフィルタを適用するか否かを決定するための方法を例示する図である。 本発明の一実施形態に係る映像復号化方法を例示する図である。 本発明の一実施形態に係る映像復号化装置を例示する図である。
以下、本発明に従う好ましい実施形態を添付した図面を参照して詳細に説明する。添付した図面と共に以下に開示される詳細な説明は本発明の例示的な実施形態を説明しようとするものであり、本発明が実施できる唯一の実施形態を示そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は本発明がこのような具体的な細部事項無しでも実施できることが分かる。
幾つかの場合、本発明の概念が曖昧になることを避けるために公知の構造及び装置は省略されるか、または各構造及び装置の核心機能を中心とするブロック図形式に図示できる。
併せて、本発明で使われる用語はできる限り、現在広く使われる一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称のみとして単純解釈されてはならず、その該当用語の意味まで把握して解釈されなければならないことを明らかにする。
以下の説明で使われる特定用語は本発明の理解を助けるために提供されたものであり、このような特定用語の使用は本発明の技術的思想から外れない範囲で他の形態に変更できる。例えば、信号、データ、サンプル、ピクチュア、フレーム、ブロックなどの場合、各コーディング過程で適切に代替されて解釈できる。
以下、本明細書で、‘ブロック’または‘ユニット’は、予測、変換及び／又は量子化などのエンコーディング／デコーディングの過程が遂行される単位を意味し、サンプル（または、画素、ピクセル）の多次元配列で構成できる。
‘ブロック’または‘ユニット’は、輝度（luma）成分に対するサンプルの多次元配列を意味することもでき、色差（chroma）成分に対するサンプルの多次元配列を意味することもできる。また、輝度（luma）成分に対するサンプルの多次元配列と色差（chroma）成分に対するサンプルの多次元配列を全て含んで通称することもできる。
例えば、‘ブロック’または‘ユニット’はエンコーディング／デコーディングの遂行対象となるサンプルの配列を意味するコーディングブロック（ＣＢ：Conding Block）、複数のコーディングブロックで構成されるコーディングツリーブロック（ＣＴＢ：Coding Tree Block）、同一の予測が適用されるサンプルの配列を意味する予測ブロック（ＰＢ：Prediction Block）（または、予測ユニット（ＰＵ：Prediction Unit））、同一の変換が適用されるサンプルの配列を意味する変換ブロック（ＴＢ：Transform Block）（または、変換ユニット（ＴＵ：Transform Unit））を全て含む意味として解釈できる。
また、本明細書の別途の言及がない限り、‘ブロック’または‘ユニット’は輝度（luma）成分及び／又は色差（chroma）成分に対するサンプルの配列をエンコーディング／デコーディングする過程で用いられるシンタックス構造（syntax sturcture）を含む意味として解釈できる。ここで、シンタックス構造は特定の順序でビットストリーム内に存在する０またはその以上のシンタックス要素（syntax element）を意味し、シンタックス要素はビットストリーム内で表現されるデータの要素を意味する。
例えば、‘ブロック’または‘ユニット’はコーディングブロック（ＣＢ）と該当コーディングブロック（ＣＢ）のエンコーディングのために用いられるシンタックス構造を含むコーディングユニット（ＣＵ：Coding Unit）、複数のコーディングユニットで構成されるコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）、予測ブロック（ＰＢ）と該当予測ブロック（ＰＢ）の予測のために用いられるシンタックス構造を含む予測ユニット（ＰＵ：Prediction Unit）、変換ブロック（ＴＢ）と該当変換ブロック（ＴＢ）の変換のために用いられるシンタックス構造を含む変換ユニット（ＴＵ：Transform Unit）を全て含む意味として解釈できる。
また、本明細書で、‘ブロック’または‘ユニット’は必ず正方形または矩形のサンプル（または、画素、ピクセル）の配列に限定されるものではなく、３個以上の頂点を有する多角形態のサンプル（または、画素、ピクセル）の配列を意味することもできる。この場合、ポリゴン（Polygon）ブロックまたはポリゴンユニットと称されることもできる。
図１は本発明が適用される実施形態であって、停止映像または動映像信号のエンコーディングが遂行されるエンコーダの概略的なブロック図を示す。
図１を参照すると、エンコーダ１００は、映像分割部１１０、減算器１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチュアバッファ（ＤＰＢ：Decoded Picture Buffer）１７０、予測部１８０、及びエントロピーエンコーディング部１９０を含んで構成できる。そして、予測部１８０はインター予測部１８１、イントラ予測部１８２を含んで構成できる。
映像分割部１１０は、エンコーダ１００に入力された入力映像信号（Input video signal）（または、ピクチュア、フレーム）を１つ以上のブロックに分割する。
減算器１１５は、入力映像信号で予測部１８０（即ち、インター予測部１８１またはイントラ予測部１８２）から出力された予測された信号（predicted signal）（または、予測されたブロック（predicted block））を減算して差分信号（residual signal）（または、差分ブロック）を生成する。生成された差分信号（または、差分ブロック）は変換部１２０に転送される。
変換部１２０は、差分信号（または、差分ブロック）に変換技法（例えば、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＧＢＴ（Graph-Based Transform）、ＫＬＴ（Karhunen-Loeve transform）など）を適用して変換係数（transform coefficient）を生成する。この際、変換部１２０は差分ブロックに適用された予測モードと差分ブロックのサイズによって決定された変換技法を用いて変換を遂行することによって、変換係数を生成することができる。
量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に転送し、エントロピーエンコーディング部１９０は量子化された信号（quantized signal）をエントロピーコーディングしてビットストリームにより出力する。
一方、量子化部１３０から出力された量子化された信号（quantized signal）は予測信号を生成するために利用できる。例えば、量子化された信号（quantized signal）はループ内の逆量子化部１４０及び逆変換部１５０を通じて逆量子化及び逆変換を適用することによって、差分信号を復元することができる。復元された差分信号をインター予測部１８１またはイントラ予測部１８２から出力された予測信号（prediction signal）に加えることによって、復元信号（reconstructed signal）（または、復元ブロック）が生成できる。
一方、前記のような圧縮過程で隣接したブロックが互いに異なる量子化パラメータにより量子化されることによって、ブロック境界が見える劣化が発生することがある。このような現象をブロッキング劣化（blocking artifacts）といい、これは画質を評価する重要な要素の１つである。このような劣化を減らすために、フィルタリング過程を遂行することができる。このようなフィルタリング過程を通じてブロッキング劣化を除去すると共に、現在ピクチュアに対する誤差を減らすことによって、画質を向上させることができる。
フィルタリング部１６０は復元信号にフィルタリングを適用して、これを再生装置に出力するか、または復号ピクチュアバッファ１７０に転送する。復号ピクチュアバッファ１７０に転送されたフィルタリングされた信号はインター予測部１８１で参照ピクチュアとして使われることができる。このように、フィルタリングされたピクチュアを画面間の予測モードで参照ピクチュアとして用いることによって、画質だけでなく、符号化効率も向上させることができる。
復号ピクチュアバッファ１７０は、フィルタリングされたピクチュアをインター予測部１８１での参照ピクチュアとして使用するために格納することができる。
インター予測部１８１は、復元ピクチュア（reconstructed picture）を参照して時間的重複性及び／又は空間的重複性を除去するために時間的予測及び／又は空間的予測を遂行する。
ここで、予測を遂行するために用いられる参照ピクチュアは、以前時間に符号化／復号化時、ブロック単位で量子化と逆量子化を経た変換された信号であるので、ブロッキングアーティファクト（blocking artifact）やリンギングアーティファクト（ringing artifact）が存在することがある。
したがって、インター予測部１８１はこのような信号の不連続や量子化による性能の低下を解決するために、ローパスフィルタ（low pass filter）を適用することによって、ピクセルの間の信号をサブ−ピクセル単位で補間することができる。ここで、サブ−ピクセルは補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは復元されたピクチュアに存在する実際画素を意味する。補間方法には、線形補間、双線形補間（bi-linear interpolation）、ウィーナフィルタ（wiener filter）などが適用できる。
補間フィルタは、復元ピクチュア（reconstructed picture）に適用されて予測の精密度を向上させることができる。例えば、インター予測部１８１は整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（interpolated pixels）で構成された補間ブロック（interpolated block）を使用して予測を遂行することができる。
イントラ予測部１８２は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して現在ブロックを予測する。イントラ予測部１８２は、イントラ予測を遂行するために次のような過程を遂行することができる。まず、予測信号を生成するために必要な参照サンプルを準備することができる。そして、準備された参照サンプルを用いて予測された信号（予測されたブロック）を生成することができる。以後、予測モードを符号化するようになる。この際、参照サンプルは参照サンプルパッディング及び／又は参照サンプルフィルタリングを通じて準備できる。参照サンプルは、予測及び復元過程を経たので、量子化エラーが存在することがある。したがって、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリング過程が遂行できる。
インター予測部１８１または前記イントラ予測部１８２を通じて生成された予測信号（predicted signal）（または、予測されたブロック）は、復元信号（または、復元ブロック）を生成するために用いられるか、または差分信号（または、差分ブロック）を生成するために利用できる。
図２は本発明が適用される実施形態であって、停止映像または動映像信号のエンコーディングが遂行されるデコーダの概略的なブロック図を示す。
図２を参照すると、デコーダ２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、加算器２３５、フィルタリング部２４０、復号ピクチュアバッファ（ＤＰＢ：Decoded Picture Buffer Unit）２５０、予測部２６０を含んで構成できる。そして、予測部２６０はインター予測部２６１及びイントラ予測部２６２を含んで構成できる。
そして、デコーダ２００を通じて出力された復元映像信号（reconstructed video signal）は再生装置を通じて再生できる。
デコーダ２００は図１のエンコーダ１００から出力された信号（即ち、ビットストリーム）を受信し、受信された信号はエントロピーデコーディング部２１０を通じてエントロピーデコーディングされる。
逆量子化部２２０では量子化ステップサイズ情報を用いてエントロピーデコーディングされた信号から変換係数（transform coefficient）を獲得する。
逆変換部２３０では、逆変換技法を適用して変換係数を逆変換して差分信号（residual signal）（または、差分ブロック）を獲得するようになる。
加算器２３５は、獲得された差分信号（または、差分ブロック）を予測部２６０（即ち、インター予測部２６１またはイントラ予測部２６２）から出力された予測された信号（predicted signal）（または、予測されたブロック）に加えることによって、復元信号（reconstructed signal）（または、復元ブロック）が生成される。
フィルタリング部２４０は、復元信号（reconstructed signal）（または、復元ブロック）にフィルタリングを適用して、これを再生装置に出力するか、または復号ピクチュアバッファ部２５０に転送する。復号ピクチュアバッファ部２５０に転送されたフィルタリングされた信号は、インター予測部２６１で参照ピクチュアとして使われることができる。
本明細書で、エンコーダ１００のフィルタリング部１６０、インター予測部１８１、及びイントラ予測部１８２で説明された実施形態は、各々デコーダのフィルタリング部２４０、インター予測部２６１、及びイントラ予測部２６２にも同一に適用できる。
ブロック分割構造
一般に、停止映像または動映像圧縮技術（例えば、ＨＥＶＣ）ではブロック基盤の映像圧縮方法を用いる。ブロック基盤の映像圧縮方法は映像を特定ブロック単位に分けて処理する方法であって、メモリ使用と演算量を減少させることができる。
図３は、本発明に適用できるコーディングユニットの分割構造を説明するための図である。
エンコーダは１つの映像（または、ピクチュア）を四角形態のコーディングツリーユニット（CＴＵ：Coding Tree Unit）単位で分割する。そして、ラスタースキャン順序（raster scan order）によって１つのＣＴＵずつ順次にエンコーディングする。
ＨＥＶＣでＣＴＵのサイズは６４×６４、３２×３２、１６×１６のうちのいずれか１つに定まることができる。エンコーダは、入力された映像の解像度または入力された映像の特性などによってＣＴＵのサイズを選択して使用することができる。ＣＴＵは、輝度（luma）成分に対するコーディングツリーブロック（ＣＴＢ：Coding Tree Block）とこれに対応する２つの色差（chroma）成分に対するＣＴＢを含む。
１つのＣＴＵは四分木（Quad-tree）構造で分割できる。即ち、１つのＣＴＵは正方形態を有しながら半分の水平サイズ（half horizontal size）及び半分の垂直サイズ（half vertical size）を有する４個のユニットに分割されてコーディングユニット（ＣＵ：Coding Unit）が生成できる。このような四分木構造の分割は再帰的に遂行できる。即ち、ＣＵは１つのＣＴＵから四分木構造で階層的に分割される。
ＣＵは、入力映像の処理過程、例えばイントラ（intra）／インター（inter）予測が遂行されるコーディングの基本単位を意味する。ＣＵは、輝度（luma）成分に対するコーディングブロック（ＣＢ：Coding Block）とこれに対応する２つの色差（chroma）成分に対するＣＢを含む。ＨＥＶＣでＣＵのサイズは６４×６４、３２×３２、１６×１６、８×８のうち、いずれか１つに定まることができる。
図３を参照すると、四分木のルートノード（root node）はＣＴＵと関連する。四分木はリーフノード（leaf node）に到達するまで分割され、リーフノードはＣＵに該当する。
より具体的に説明すると、ＣＴＵはルートノード（root node）に該当し、最も小さな深さ（depth）（即ち、depth＝０）値を有する。入力映像の特性によってＣＴＵが分割されないこともあり、この場合、ＣＴＵはＣＵに該当する。
ＣＴＵは、四分木形態に分割されることができ、その結果、深さ１（depth＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）でノードａ、ｂ、及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）はＣＴＵで１回分割され、１の深さを有する。
１の深さを有するノードのうち、少なくともいずれか１つはまた四分木形態に分割されることができ、その結果、深さ１（即ち、depth＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）でノードｃ、ｈ、及びｉに対応するＣＵ（ｃ）、ＣＵ（ｈ）、ＣＵ（ｉ）はＣＴＵで２回分割され、２の深さを有する。
また、２の深さを有するノードのうちの少なくともいずれか１つは、また四分木形態に分割されることができ、その結果、深さ３（即ち、depth＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）でノードｄ、ｅ、ｆ、ｇに対応するＣＵ（ｄ）、ＣＵ（ｅ）、ＣＵ（ｆ）、ＣＵ（ｇ）はＣＴＵで３回分割され、３の深さを有する。
エンコーダではビデオ映像の特性（例えば、解像度）によって、あるいは符号化の効率を考慮してＣＵの最大サイズまたは最小サイズを決定することができる。そして、これに対する情報、またはこれを誘導することができる情報がビットストリームに含まれることができる。最大サイズを有するＣＵを最大コーディングユニット（ＬＣＵ：Largest Coding Unit）と称し、最小サイズを有するＣＵを最小コーディングユニット（ＳＣＵ：Smallest Coding Unit）と称することができる。
また、ツリー構造を有するＣＵは予め定まった最大深さ情報（または、最大レベル情報）を有して階層的に分割できる。そして、各々の分割されたＣＵは深さ情報を有することができる。深さ情報はＣＵの分割された回数及び／又は程度を示すので、ＣＵのサイズに関する情報を含むこともできる。
ＬＣＵが四分木形態に分割されるので、ＬＣＵのサイズ及び最大深さ情報を用いると、ＳＣＵのサイズを求めることができる。または逆に、ＳＣＵのサイズ及びツリーの最大深さ情報を利用すれば、ＬＣＵのサイズを求めることができる。
１つのＣＵに対し、該当ＣＵが分割されるか否かを示す情報（例えば、分割ＣＵフラグ（split_cu_flag））がデコーダに伝達できる。この分割モードはＳＣＵを除外した全てのＣＵに含まれている。例えば、分割有無を示すフラグの値が‘１’であれば、該当ＣＵはまた４個のＣＵに分けられ、分割有無を示すフラグの値が‘０’であれば、該当ＣＵはこれ以上分けられず、該当ＣＵに対する処理過程が遂行できる。
前述したように、ＣＵはイントラ予測またはインター予測が遂行されるコーディングの基本単位である。ＨＥＶＣは入力映像をより効果的にコーディングするためにＣＵを予測ユニット（ＰＵ：Prediction Unit）単位で分割する。
ＰＵは予測ブロックを生成する基本単位であって、１つのＣＵ内でもＰＵ単位で互いに異なるように予測ブロックを生成することができる。但し、１つのＣＵ内に属したＰＵはイントラ予測とインター予測が混合されて使われず、１つのＣＵ内に属したＰＵは同一の予測方法（即ち、イントラ予測またはインター予測）によりコーディングされる。
ＰＵは四分木構造に分割されず、１つのＣＵで予め定まった形態に１回分割される。これに対して以下の図面を参照して説明する。
図４は、本発明に適用できる予測ユニットを説明するための図である。
ＰＵはＰＵが属するＣＵのコーディングモードにイントラ予測モードが使われるか、またはインター予測モードが使われるかによって相異するように分割される。
図４（ａ）はイントラ予測モードが使われる場合のＰＵを例示し、図４（ｂ）はインター予測モードが使われる場合のＰＵを例示する。
図４（ａ）を参照すると、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すれば、１つのＣＵは２つタイプ（即ち、２Ｎ×２ＮまたはＮ×Ｎ）に分割できる。
ここで、２Ｎ×２Ｎ形態のＰＵに分割される場合、１つのＣＵ内に１つのＰＵのみ存在することを意味する。
一方、Ｎ×Ｎ形態のＰＵに分割される場合、１つのＣＵは４個のＰＵに分割され、各ＰＵ単位別に互いに異なる予測ブロックが生成される。但し、このようなＰＵの分割はＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（即ち、ＣＵがＳＣＵである場合）のみに遂行できる。
図４（ｂ）を参照すると、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すれば、１つのＣＵは８種類のＰＵタイプ（即ち、２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に分割できる。
イントラ予測と類似するように、Ｎ×Ｎ形態のＰＵ分割はＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（即ち、ＣＵがＳＣＵである場合）のみに遂行できる。
インター予測では横方向に分割される２Ｎ×Ｎ形態及び縦方向に分割されるＮ×２Ｎ形態のＰＵ分割を支援する。
また、非対称動き分割（ＡＭＰ：Asymmetric Motion Partition）形態であるｎＬ ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ形態のＰＵ分割を支援する。ここで、‘ｎ’は２Ｎの１／４値を意味する。但し、ＡＭＰはＰＵが属したＣＵが最小サイズのＣＵである場合、使用できない。
１つのＣＴＵ内の入力映像を効率よく符号化するために、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）の最適の分割構造は以下のような遂行過程を経て最小率−歪曲（Rate-Distortion）値に基づいて決定できる。例えば、６４×６４ＣＴＵ内の最適のＣＵ分割過程を見ると、６４×６４サイズのＣＵで８×８サイズのＣＵまでの分割過程を経ながら率−歪曲費用を計算することができる。具体的な過程は、次の通りである。
１）６４×６４サイズのＣＵに対してインター／イントラ予測、変換／量子化、逆量子化／逆変換、及びエントロピーエンコーディング遂行を通じて最小の率−歪曲値を発生させる最適のＰＵとＴＵの分割構造を決定する。
２）６４×６４ ＣＵを３２×３２サイズのＣＵの４個に分割し、各３２×３２ ＣＵに対して最小の率−歪曲値を発生させる最適のＰＵとＴＵの分割構造を決定する。
３）３２×３２ ＣＵを１６×１６サイズのＣＵの４個にまた分割し、各１６×１６ ＣＵに対して最小の率−歪曲値を発生させる最適のＰＵとＴＵの分割構造を決定する。
４）１６×１６ ＣＵを８×８サイズのＣＵの４個にまた分割し、各８×８ ＣＵに対して最小の率−歪曲値を発生させる最適のＰＵとＴＵの分割構造を決定する。
５）前記の３）の過程で算出した１６×１６ ＣＵの率−歪曲値と前記の４）の過程で算出した４個の８×８ ＣＵの率−歪曲値の和を比較して１６×１６ブロック内で最適のＣＵの分割構造を決定する。この過程を残りの３個の１６×１６ ＣＵに対しても同一に遂行する。
６）前記の２）の過程で計算された３２×３２ ＣＵの率−歪曲値と前記の５）の過程で獲得した４個の１６×１６ ＣＵの率−歪曲値の和を比較して３２×３２ブロック内で最適のＣＵの分割構造を決定する。この過程を残りの３個の３２×３２ ＣＵに対しても同一に遂行する。
７）最後に、前記の１）の過程で計算された６４×６４ ＣＵの率−歪曲値と前記の６）の過程で獲得した４個の３２×３２ ＣＵの率−歪曲値の和を比較して６４×６４ブロック内で最適のＣＵの分割構造を決定する。
イントラ予測モードで、ＰＵ単位で予測モードが選択され、選択された予測モードに対して実際ＴＵ単位で予測と再構成が遂行される。
ＴＵは、実際予測と再構成が遂行される基本単位を意味する。ＴＵは、輝度（luma）成分に対する変換ブロック（ＴＢ：Transform Block）とこれに対応する２つの色差（chroma）成分に対するＴＢを含む。
先の図３の例示で１つのＣＴＵが四分木構造に分割されてＣＵが生成されるように、ＴＵはコーディングしようとする１つのＣＵから四分木構造で階層的に分割される。
ＴＵは四分木構造で分割されるので、ＣＵから分割されたＴＵはまたより小さい下位ＴＵに分割できる。ＨＥＶＣでは、ＴＵのサイズは３２×３２、１６×１６、８×８、４×４のうち、いずれか１つに定まることができる。
また、図３を参照すると、四分木のルートノード（rootnode）はＣＵと関連すると仮定する。四分木はリーフノード（leaf node）に到達するまで分割され、リーフノードはＴＵに該当する。
より具体的に説明すると、ＣＵはルートノード（root node）に該当し、最も小さい深さ（depth）（即ち、depth＝０）値を有する。入力映像の特性によってＣＵが分割されないこともあり、この場合、ＣＵはＴＵに該当する。
ＣＵは四分木形態に分割されることができ、その結果、深さ１（depth＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＴＵに該当する。例えば、図３（ｂ）でノードａ、ｂ、及びｊに対応するＴＵ（ａ）、ＴＵ（ｂ）、ＴＵ（ｊ）はＣＵで１回分割され、１の深さを有する。
１の深さを有するノードのうちの少なくともいずれか１つはまた四分木形態に分割されることができ、その結果、深さ１（即ち、depth＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＴＵに該当する。例えば、図３（ｂ）でノードｃ、ｈ、及びｉに対応するＴＵ（ｃ）、ＴＵ（ｈ）、ＴＵ（ｉ）は、ＣＵで２回分割され、２の深さを有する。
また、２の深さを有するノードのうちの少なくともいずれか１つはまた四分木形態に分割されることができ、その結果、深さ３（即ち、depth＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）でノードｄ、ｅ、ｆ、ｇに対応するＴＵ（ｄ）、ＴＵ（ｅ）、ＴＵ（ｆ）、ＴＵ（ｇ）はＣＵで３回分割され、３の深さを有する。
ツリー構造を有するＴＵは予め定まった最大深さ情報（または、最大レベル情報）を有して階層的に分割できる。そして、各々の分割されたＴＵは深さ情報を有することができる。深さ情報はＴＵの分割された回数及び／又は程度を示すので、ＴＵのサイズに関する情報を含むこともできる。
１つのＴＵに対して、該当ＴＵが分割されるか否かを示す情報（例えば、分割ＴＵフラグ（split_transform_flag））がデコーダに伝達できる。この分割情報は最小サイズのＴＵを除外した全てのＴＵに含まれている。例えば、分割有無を示すフラグの値が‘１’であれば、該当ＴＵはまた４個のＴＵに分けられ、分割有無を示すフラグの値が‘０’であれば、該当ＴＵはこれ以上分けられない。
補間フィルタ（interpolation filter）
インター予測された現在処理ブロックに対する予測ブロックのサンプルは、参照ピクチュアインデックス（reference picture index）により識別される参照ピクチュア内の該当参照領域のサンプル値から獲得される。
ここで、参照ピクチュア内の該当参照領域は動きベクトルの水平要素（horizontal component）及び垂直要素（vertical component）により指示される位置の領域を示す。
動きベクトルが整数値を有する場合を除いて、非整数（noninteger）サンプル座標のための予測サンプルを生成するために分数サンプル補間（fractional sample interpolation）が使われる。例えば、サンプル間の距離の１／４単位の動きベクトルが支援できる。
ＨＥＶＣの場合、輝度成分の分数サンプル補間（fractional sample interpolation）は８タップフィルタを横方向及び縦方向に各々適用する。そして、色差成分の分数サンプル補間（fractional sample interpolation）は４タップフィルタを横方向及び縦方向に各々適用する。
図５は本発明が適用できる実施形態であって、１／４サンプル補間のための整数及び分数サンプル位置を例示する。
図５を参照すると、大文字（upper-case letter）（Ａ＿ｉ，ｊ）が記載された陰影ブロックは整数サンプル位置を示し、小文字（lower-case letter）（ｘ＿ｉ，ｊ ）が記載された陰影のないブロックは分数サンプル位置を示す。
分数サンプルは水平方向及び垂直方向に各々該当分数サンプルに近い整数サンプル値（及び／又は分数サンプル値）に補間フィルタが適用されて生成できる。例えば、ａ＿０、０、ｂ＿０、０、ｃ＿０、０分数サンプルは、該当分数サンプルを基準に、水平方向に左側の４個の整数サンプルと右側の４個の整数サンプルに８タップフィルタが適用されて生成できる。また、ｄ＿０、０、ｈ＿０、０、ｎ＿０、０分数サンプルは、該当分数サンプルを基準に、垂直方向に上側の４個の整数サンプルと下側の４個の整数サンプルに８タップフィルタが適用されて生成できる。同様に、ｅ＿０、０、ｉ＿０、０、ｐ＿０、０、ｆ＿０、０、ｊ＿０、０、ｑ＿０、０、ｇ＿０、０、ｋ＿０、０、ｒ＿０、０は、分数サンプルは該当分数サンプルを基準に、垂直方向／水平方向に上側／左側の４個の整数サンプルと下側／右側の４個の整数サンプルに８タップフィルタが適用されて生成できる。
ループフィルタ（loop filter）
ＨＥＶＣはループフィルタ（または、イン−ループ（In-loop）フィルタ）技術であって、デブロッキングフィルタとＳＡＯ（Sample Adaptive Offset）２つループフィルタを使用する。
デブロッキングフィルタ（deblocking filter）は量子化により発生するブロック境界での歪曲を除去することによって、復号化された映像の主観的画質を向上させるための技術である。また、復号化過程内にデブロッキングフィルタ過程が含まれたイン−ループフィルタリング（in-loop filtering）を使用するので、ループフィルタが適用された映像をインター予測時、参照映像として使用することによって、符号化効率を上げることができる。
ＳＡＯは量子化などの符号化過程を通じて発生する原本映像と復号化された映像との間の歪曲を画素単位のオフセット（offset）を通じて補償することによって、主観的画質及び符号化効率を向上させる技術である。ＳＡＯでは歪曲の程度が異なる画素を区分して互いに異なるオフセットを適用する適応的な補償方法を使用することによって、映像の特性によって部分的に異なるように発生する歪曲を効率よく最小化できるようにする。
単一化された（unified）補間及びループフィルタ
適応的補間フィルタリング（ＡＩＦ：Adaptive Interpolation Filtering）は、予測された信号に適用されることによって、予測された信号が原本信号との差（例えば、平均自乗誤差（ＭＳＥ：Mean Squared Error））を最小化することができる。このように、予測された信号と原本信号との間の差を最小化することによって、原本信号と予測された信号との間の差である残差信号を最小化することができ、結果的に、符号化性能を高めることができる。
また、適応的ループフィルタリング（ＡＩＦ：Adaptive Loop Filtering）は復元された信号（例えば、デブロッキングフィルタ及びＳＡＯフィルタが適用された復元された信号）に適用されることによって、復元された信号と原本信号との間の差（例えば、平均自乗誤差（ＭＳＥ：Mean Squared Error））を最小化することができる。このように、予測された信号と原本信号との間の差を最小化することによって、主観的画質を向上させ、予測性能を向上させることができる。
このようなＡＩＦ及びＡＬＦのために、一例に、ウィーナフィルタ（Wiener filter）が利用できる。
ウィーナフィルタ（Wiener filter）は、入力信号を所望の出力信号に類似するように作るために使われる。
言い換えると、動映像エンコーディング／デコーディング方法と関連して、ウィーナフィルタは大きく２つの部分に使われることができる。即ち、１つは補間フィルタ（interpolation filter）であり、他の１つはループフィルタ（loop filter）に使われることができる。
補間フィルタリングに使われるウィーナフィルタは、画面間の予測されたブロックに対して整数単位より小さなサブ−ペル（sub-pel）予測を遂行しながらも、サブ−ペル予測のためにウィーナフィルタが適用されたブロックが原本信号に類似するように生成されるようにする。これを通じて残差信号を減らして動映像圧縮性能を高めることに寄与するようになる。
一方、ループフィルタ（loop filter）に使われるウィーナフィルタ（Wiener filter）は、予測値と残差信号を合せて生成された復元信号に対して原本信号と類似するように改善（refine）する役割をする。
本発明では動映像エンコーディング／デコーディング過程で適用する部分が相異し、適用有無を決定する単位も他の補間フィルタとループフィルタに対してフィルタの選択及びフィルタの適用有無に使われる情報を統合する方法を提案する。
これを通じてフィルタ係数及び／又はフィルタの適用有無を指示するための付加情報を減らす一方、補間フィルタとループフィルタに使われるフィルタの連係を通じて動映像圧縮性能を高めるようになる。
以下、本発明の説明において、説明の便宜のために補間フィルタとループフィルタとしてウィーナフィルタが用いられる場合を仮定して説明するが、本発明がこれに限定されるものではない。即ち、ウィーナフィルタの他にも補間フィルタとループフィルタに同時に利用可能なフィルタであれば、本発明が同一に適用できることが勿論である。
実施形態１
図６は本発明の一実施形態であって、１／４サンプル補間のための整数及び分数サンプル位置別に設定されるフィルタ係数を例示する。
図６では１／４サブ−ペル（sub-pel）（または、副画素／分数サンプル（fractional sample））単位まで動き情報の解像度が支援される場合、２次元（２−Ｄ：２-Dimension）位相（phase）別整数画素（整数サンプル）及び副画素の位置とそれによってフィルタ係数を例示する。
ウィーナフィルタを用いた補間方法では、図５のように１６個の画素（即ち、整数画素及び副画素）の位置（即ち、位相）によって独立的なフィルタ係数が使われ、また適用有無（on／off）が決定できる。
即ち、各画素（即ち、整数画素及び副画素）の位置に対する個別的にフィルタ係数が定まることができる。例えば、１６個の画素（即ち、整数画素及び副画素）の位置にウィーナフィルタが全て適用される場合には１６個のフィルタ係数で構成されるフィルタ係数セットがエンコーダにより定まり、定まったフィルタ係数セットがデコーダにシグナリングできる。
この際、ウィーナフィルタが適用されない副画素の位置に対してはフィルタ係数が定まらないことがある。例えば、水平（horizontal）方向に１／２、垂直（vertical）方向に１／２位置の副画素にはウィーナフィルタが適用されず、残りの副画素位置にはウィーナフィルタが適用されれば、残りの副画素位置に従う１５個のフィルタ係数で構成されるフィルタ係数セットがエンコーダにより定まり、定まったフィルタ係数セットがデコーダにシグナリングできる。
このようなフィルタ係数及び／又はフィルタの適用有無は、スライス（slice）単位（または、ピクチュア（picture）単位）で再設定（refresh）できる。
即ち、該当スライス（または、ピクチュア）内の整数画素を用いて先の図５の例示のように１／４単位の副画素単位で各々ウィーナフィルタを適用することによって、該当スライス内の全ての整数画素に対して各整数画素別に１６個の画素（即ち、整数画素及び副画素）が生成できる。この際、特定スライス（または、ピクチュア）でウィーナフィルタが適用されれば、該当スライス（または、ピクチュア）内では同一の位相（phase）を有する画素（即ち、整数画素及び副画素）は同一のフィルタ係数が利用できる。
画面間の予測の場合、予測ブロック単位で予測が遂行されるので、予測ブロックの動き情報により特定画素の位置（即ち、位相（phase））が定まり、これによって該当予測ブロックにウィーナフィルタの適用有無及び／又はウィーナフィルタの係数が定まることができる。これに対して以下の図面を参照して説明する。
図７は本発明の一実施形態であって、画面間の予測されたブロックに適用されるフィルタの係数が定まる方法を例示する。
１／４サブ−ペル（sub-pel）（または、副画素／分数サンプル（fractional sample））単位まで動き情報の解像度が支援される場合、各整数画素別に補間フィルタリングにより生成される１６種類の画素の位置のうち、予測ブロックの動きベクトルにより特定画素の位置（即ち、位相（phase））が定まることができる。
図７を参照すると、現在予測ブロックの左上端画素７０１（以下、１番画素）は動きベクトルにより（１／２、１／４）位置が定まる。図７では左上端画素７０１のみを例示しているが、該当予測ブロックに属した残りの画素も全て同一の（１／２、１／４）位置が定まる。
前述したように、各画素の位置（即ち、位相（phase））別に独立的に定まるウィーナフィルタの係数が用いられるので、現在の予測ブロックの予測されたサンプルは全て同一のウィーナフィルタの係数が用いられて生成できる。
ここで、予測ブロックの予測されたサンプルにウィーナフィルタが適用されたということは、動きベクトルにより特定される参照ピクチュア内のサンプルを対象に該当サンプルの位置に対応するフィルタ係数を用いてウィーナフィルタが適用されることによって、現在の予測ブロックの予測値（即ち、予測されたサンプル値）が生成されることを意味することができる。
このように、予測ブロック別に画素の位置が定まるので、予測ブロック単位で補間フィルタリング遂行時、ウィーナフィルタの係数とウィーナフィルタの適用有無が決定できる。
図８は本発明の一実施形態であって、ループフィルタに対するウィーナフィルタの適用単位を例示する。
ウィーナフィルタを用いたループフィルタでは、図８のように予測ブロック８０２、８０３を含む正方形のブロック（例えば、符号化ブロック）８０１の単位でウィーナフィルタの適用有無が決定できる。
一方、予測ブロック単位より小さなサブブロック単位でアクティビティー（activity）というパラメータ値が計算されることができ、該当パラメータに対応するインデックスが示すフィルタ係数が使われることができる。
ここで、符号化ブロックの復元サンプルにウィーナフィルタが適用されるということは、符号化ブロックの復元されたブロック（即ち、復元されたサンプルの配列）を対象に該当符号化ブロック内の各サブブロックの単位で定まったフィルタ係数を用いてウィーナフィルタが適用されるということを意味することができる。
即ち、ループフィルタリングの遂行時、ウィーナフィルタの適用有無は符号化ブロック単位で定まり、ウィーナフィルタの係数はサブブロック単位で決定できる。
一方、図８で例示する予測ブロックは１つの例示に過ぎず、先の図４のように多様な形態の予測ブロックに分割できる。また、サブブロックのサイズやはり可変的に決定できる。
前記のように、補間フィルタとループフィルタの適用単位が互いに異なるので、適用部分が互いに独立的に定まり、フィルタ係数も互いに独立的に定まれば、エンコーダではデコーダに各々の付加情報を転送しなければならない。このような付加情報を減らし、結果的に符号化効率を上げるために、本発明では単一化された（unified）補間フィルタとループフィルタを用いて映像を処理する方法を提案する。
本発明で提案する一実施形態として、補間のために使用するウィーナフィルタの適用有無に対する情報がループフィルタにも適用できる。
即ち、前述したように、ループフィルタでウィーナフィルタの適用有無は符号化ブロック単位で決定されることができ、次のように補間フィルタリング遂行時、ウィーナフィルタの適用有無を考慮して決定できる。
ａ）符号化ブロックと予測ブロックのサイズが同一の２Ｎ×２Ｎ形態の予測ブロックに対してのみ、補間フィルタに適用されたウィーナフィルタの適用有無（on／off）がループフィルタにも適用できる。
即ち、符号化ブロックのサイズを２Ｎ×２Ｎと仮定する時、２Ｎ×２Ｎ形態の予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化ブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
この際、２Ｎ×２Ｎの以外の形態を有する予測ブロックに対しては既存と同一にループフィルタでウィーナフィルタの適用有無が別途の情報（例えば、フラグ）でシグナリングできる。即ち、符号化ブロックのサイズを２Ｎ×２Ｎと仮定する時、符号化ブロックが２Ｎ×２Ｎの以外の形態に予測ブロックに分割された場合、エンコーダは該当符号化ブロックに対してはループフィルタリング遂行時、ウィーナフィルタの適用有無に対する情報をデコーダにシグナリングすることができる。そして、デコーダはエンコーダから受信した情報に基づいて該当符号化ブロックの復元されたサンプルにウィーナループフィルタリング遂行時、フィルタが適用されるか否かを判断することができる。
ｂ）または、２Ｎ×２Ｎ形態の予測ブロックでなくても、符号化ブロックに属する全ての予測ブロックに対して補間遂行時、ウィーナフィルタが適用されていれば、ループフィルタに対してもウィーナフィルタが適用できる。
即ち、符号化ブロックに含まれた全ての予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化ブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
ｃ）２Ｎ×２Ｎ形態の予測ブロックでなくても、符号化ブロックに属する予測ブロックのうち、半分以上の面積を占める部分に対してウィーナフィルタが適用されていれば、ループフィルタに対してもウィーナフィルタが適用できる。
即ち、符号化ブロックに含まれた予測ブロックのうち、半分以上の部分を有する予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化ブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
ｄ）２Ｎ×２Ｎ形態の予測ブロックでなくても、符号化ブロックに属する予測ブロックのうちの１つでもウィーナフィルタが適用されていれば、ループフィルタに対してもウィーナフィルタが適用できる。
即ち、符号化ブロックに含まれた予測ブロックのうち、少なくともいずれか１つの予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化ブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
ｅ）エンコーダ／デコーダは前述した前記ａ）からｄ）の方法のうち、１つ以上の方法を選択的に組み合せて使用することができる。
実施形態２
補間フィルタリングに適用するウィーナフィルタの場合、ウィーナフィルタの適用結果として得た予測されたブロック（即ち、予測されたサンプルの２次元配列）が原本ブロックと類似するように生成されることを目標とするので、以下の＜数式１＞が成り立つ。
＜数式１＞で、Block_predは予測されたブロック（即ち、補間フィルタリング時、ウィーナフィルタが適用されて生成された予測されたサンプルの配列）を示し、Block_oriは原本ブロック（即ち、原本サンプルの配列）を示す。
＜数式１＞で、Block_predは以下の＜数式２＞のように示すことができる。
＜数式２＞で、Block_pred_L0はＬ０参照ピクチュア（即ち、リスト０（Ｌ０）内の参照ピクチュア）から生成された予測されたブロックを示し、Block_pred_L1はＬ１参照ピクチュア（即ち、リスト１（Ｌ１）内の参照ピクチュア）から生成された予測されたブロックを示す。
そして、Coeff_Intp_L０はBlock_pred_L0に適用されるウィーナフィルタの係数であり、Coeff_Intp_L1にBlock_pred_L1適用されるウィーナフィルタの係数を示す。
即ち、＜数式２＞のように、Block_predはウィーナフィルタが適用されたBlock_pred_L0とウィーナフィルタが適用されたBlock_pred_L1の和により生成できる。
この際、予測ブロックの方向によってＬ０／Ｌ１各方向の予測ブロック及び補間のためのウィーナフィルタの係数はＬ０方向のみ存在するか、Ｌ１方向のみ存在するか、または両方向全て存在することができる。
一方、ループフィルタリングに適用するウィーナフィルタの場合にも、復元されたブロックにウィーナフィルタを適用した結果（即ち、ウィーナフィルタが適用された復元されたブロック）が原本ブロックと原本ブロックと類似するように生成されることを目標とするので、以下の＜数式３＞が成り立つ。
Block_Reconは復元されたブロック（即ち、復元されたサンプルの配列）を示し、Block_oriは原本ブロック（即ち、原本サンプルの配列）を示す。Coeff_Loopは復元されたブロックに適用されるウィーナフィルタの係数を示す。
＜数式３＞で、Block_Reconは以下の＜数式４＞のように示すことができる。
＜数式４＞で、Block_predは予測されたブロックを示し、Block_Resは残差ブロックを示す。
即ち、復元されたブロックは予測されたブロックと残差ブロックの和から得る。
先の＜数式１＞と＜数式３＞を合せると、以下の＜数式５＞のように示すことができる。
＜数式５＞に先の＜数式２＞を適用すれば、以下の＜数式６＞のように示すことができる。
即ち、予測ブロックを生成することに使われるＬ０／Ｌ１各方向の予測ブロック（即ち、Block_pred_L0及びBlock_pred_L1）及び補間のためのウィーナフィルタの係数（即ち、Coeff_Intp_L0及びCoeff_Intp_L2）と、復元されたブロック（即ち、Block_Recon）及びループフィルタのためのウィーナフィルタ係数（即ち、Coeff_Loop）の関係式で表現できる。
この際、前述したように、予測ブロックの方向によってＬ０／Ｌ１各方向の予測ブロック及び補間のためのウィーナフィルタの係数はＬ０方向のみ存在するか、Ｌ１方向のみ存在するか、または両方向全て存在することができる。
先の実施形態１で説明したように、補間のためのウィーナフィルタの適用有無とループフィルタのためのウィーナフィルタの適用有無が決定されるブロックの単位が互いに異なることがある。
したがって、ブロックの包含関係によって多様な条件が発生できるので、これを反映するために先の＜数式６＞でパラメータα、β、γを追加することができる。これを表現すれば、以下の＜数式７＞の通りである。
ループフィルタが適用される符号化ブロック内に存在する予測ブロックが複数である場合も発生することがあるので、＜数式７＞でｋは符号化ブロック内の予測ブロックのインデックスを示す。
＜数式７＞の関係式から補間に使われたウィーナフィルタ係数の適用有無からループフィルタにウィーナフィルタの適用有無を決定する時、より適するようにループフィルタ用ウィーナフィルタの係数を変形して使用することができる。即ち、＜数式７＞の関係式によってループフィルタリング遂行時、ウィーナフィルタが適用される場合、ループフィルタリングのためのウィーナフィルタの係数は補間フィルタリングのためのウィーナフィルタの係数から誘導できる。
数式の左辺を見ると、予測ブロックを構成する順方向（forward）または逆方向（backward）の各予測成分に対してウィーナフィルタが使われたか否かを示すためにパラメータα、βが使われる。
また、符号化ブロック内に属する予測ブロックのうち、補間フィルタリングのためにウィーナフィルタを使用した領域の割合を示すためにパラメータγが使われる。
例えば、特定予測ブロックに対して両方向予測が使われたが、Ｌ０方向はウィーナフィルタを適用し、Ｌ１方向はウィーナフィルタを適用しない場合、α＝１、β＝０のような式で使用することができる。
または、前記の場合、α＝１、β＝０のように適用することによって、Ｌ０成分に全的に加重値を置くようになれば、実際の予測ブロックと差が大きくなることがあるので、加重値を調節してαは１に一層近い値で、βは０に一層近い値を与えて使用することができる。即ち、α＋β＝１を維持した状態で、ウィーナフィルタが適用された方向のパラメータをその他のパラメータと比較して大きい値にセッティングすることができる。
また、パラメータγは先の実施形態１での内容を反映して次のように定義できる。
ａ）符号化ブロックのサイズを２Ｎ×２Ｎと仮定する時、符号化ブロック内に属する予測ブロックの形態が２Ｎ×２Ｎであり、該当予測ブロックに対してウィーナフィルタが適用された場合、γ＝１にセッティングできる。
即ち、符号化ブロックのサイズを２Ｎ×２Ｎと仮定する時、２Ｎ×２Ｎ形態の予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化ブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用して、先の＜数式７＞の関係式によりループフィルタリングのためのウィーナフィルタの係数が定まることができる。
一方、符号化ブロックが２Ｎ×２Ｎの以外の形態に予測ブロックに分割された場合、エンコーダは該当符号化ブロックに対してはループフィルタリング遂行時、ウィーナフィルタの適用有無に対する情報をデコーダにシグナリングすることができる。そして、デコーダはエンコーダから受信した情報に基づいて該当符号化ブロックの復元されたサンプルにウィーナループフィルタリング遂行時、ウィーナフィルタが適用されるか否かを判断することができる。
ｂ）または、符号化ブロック内に属する全ての予測ブロックに対して補間遂行時、ウィーナフィルタが適用された場合、γ＝１にセッティングできる。
一方、そうでない場合には、エンコーダは該当符号化ブロックに対してはループフィルタリング遂行時、ウィーナフィルタの適用有無に対する情報をデコーダにシグナリングすることができる。そして、デコーダはエンコーダから受信した情報に基づいて該当符号化ブロックの復元されたサンプルにウィーナループフィルタリング遂行時、ウィーナフィルタが適用されるか否かを判断することができる。
ｃ）符号化ブロック内に属する予測ブロックのうち、ウィーナフィルタを使用して補間が遂行された予測ブロックの面接割合で決定できる。
例えば、該当符号化ブロックが２Ｎ×Ｎ分割モードが用いられ、２つの予測ブロックのうち、１つの予測ブロックのみに補間時、ウィーナフィルタが使われた場合、γ＝０．５にセッティングできる。
これによって、ループフィルタリングのためのウィーナフィルタの係数は符号化ブロックのサイズと予測ブロックのサイズの割合を用いて補間フィルタリングのためのウィーナフィルタの係数を補正することによって定まることができる。
ｄ）符号化ブロック内に属する予測ブロックのうち、ウィーナフィルタを使用して補間が遂行された予測ブロックが１つでも存在する場合、γ＝１にセッティングできる。
ｅ）エンコーダ／デコーダは前述した前記ａ）からｄ）の方法のうち、１つ以上の方法を選択的に組み合せて使用することができる。
また、前述した実施形態はパラメータγと関連した１つの例示に過ぎず、ａ）からｅ）の各場合に対して任意の値にγを定めて使用することもできる。
実施形態３
前述した実施形態では、ループフィルタではウィーナフィルタの適用有無を符号化ブロック単位で決定する場合に対して記述した。
但し、先の図８で例示したように、ウィーナフィルタの係数は符号化ブロックのサブブロック単位で決定できる。
したがって、ループフィルタでウィーナフィルタの適用有無が先の実施形態と相異するように符号化ブロック単位で決定されず、符号化ブロックのサブブロック単位で決定できる。この場合、前述した前記実施形態１で、ａ）からｄ）で説明した予測ブロックの形態に従うループフィルタ時、ウィーナフィルタの適用条件は以下のように変わることができる。
ａ）ループフィルタでウィーナフィルタの適用有無はウィーナフィルタの係数を決定する単位である符号化ブロックのサブブロックと同一の単位で決定できる。
この際、サブブロックにループフィルタリング遂行時、ウィーナフィルタの適用有無は該当サブブロックが属した予測ブロックに対して補間遂行時、ウィーナフィルタが適用されたか否かから決定できる。
言い換えると、符号化ブロックのサブブロック別に該当サブブロックが属した予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
ｂ）符号化ブロックのサブブロックが予測ブロックの境界に位置する場合（または、境界を含む場合）（図９参照）、サブブロック内に位置した（または、サブブロックと重なる）全ての予測ブロックに対して補間遂行時、ウィーナフィルタが適用されていれば、該当サブブロックにループフィルタ遂行時、ウィーナフィルタが適用できる。
即ち、符号化ブロックのサブブロック内に位置した（または、サブブロックと重なる）全ての予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
図９は、本発明の一実施形態に係るループフィルタリング遂行時、ウィーナフィルタの適用有無を決定するための方法を説明するための図である。
図９では、符号化ブロック９０１が総４個のサブブロック（Ａ、Ｂ、Ｃ、Ｄ）に分割され、また符号化ブロックは予測ブロック１ ９０２と予測ブロック２ ９０３に分割された場合を例示する。
この際、符号化ブロックのサブブロックＡ及びサブブロックＣは同一の符号化ブロックに属した予測ブロック１ ９０２と予測ブロック２ ９０３の境界に位置することができる。言い換えると、サブブロックＡ及びサブブロックＣ内の予測ブロック１ ９０２と予測ブロック２ ９０３の境界が含まれることができる。
この場合、符号化ブロックのサブブロック内に位置した全ての予測ブロックに対して補間遂行時、ウィーナフィルタが適用されていれば、該当符号化ブロックのサブブロックに対してもループフィルタリング遂行時、ウィーナフィルタが適用できる。
図９の例示において、サブブロックＡの場合、予測ブロック１ ９０２と予測ブロック２ ９０３全て補間遂行時、ウィーナフィルタが適用されていれば、サブブロックＡにループフィルタリング遂行時、ウィーナフィルタが適用できる。同様に、サブブロックＣの場合、予測ブロック１ ９０２と予測ブロック２ ９０３全て補間遂行時、ウィーナフィルタが適用されていれば、サブブロックＣにループフィルタリング遂行時、ウィーナフィルタが適用できる。
ｃ）符号化ブロックのサブブロックが予測ブロックの境界に位置する場合（または、境界を含む場合）（図９参照）、サブブロック内に位置した（または、サブブロックと重なる）予測ブロックのうち、半分以上の面積を占める部分に対してウィーナフィルタが適用されていれば、該当サブブロックにループフィルタリング遂行時、ウィーナフィルタが適用できる。
即ち、符号化ブロックのサブブロック内の位置した（または、サブブロックと重なる）予測ブロックのうち、半分以上の面積を占める予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
先の図９の例示で、サブブロックＡの場合、予測ブロック１ ９０２と予測ブロック２ ９０３のうち、いずれか１つに補間遂行時、ウィーナフィルタが適用されていれば（２つ予測ブロック全て各々サブブロックＡの半分の面積を占めるので）、サブブロックＡにループフィルタリング遂行時、ウィーナフィルタが適用できる。同様に、サブブロックＣの場合、予測ブロック１ ９０２と予測ブロック２ ９０３のうち、いずれか１つに補間遂行時、ウィーナフィルタが適用されていれば（２つの予測ブロック全て各々サブブロックＣの半分の面積を占めるので）、サブブロックＣにループフィルタリング遂行時、ウィーナフィルタが適用できる。
ｄ）符号化ブロックのサブブロックが予測ブロックの境界に位置する場合（または、境界を含む場合）（図９参照）、サブブロック内に位置した（または、サブブロックと重なる）予測ブロックのうちの１つでもウィーナフィルタが適用されていれば、該当サブブロックにループフィルタリング遂行時、ウィーナフィルタが適用できる。
即ち、符号化ブロックのサブブロック内に位置した（または、サブブロックと重なる）予測ブロックのうちの１つでも予測ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
先の図９の例示において、サブブロックＡの場合、予測ブロック１ ９０２と予測ブロック２ ９０３のうちのいずれか１つでも補間遂行時、ウィーナフィルタが適用されていれば、サブブロックＡにループフィルタリング遂行時、ウィーナフィルタが適用できる。同様に、サブブロックＣの場合、予測ブロック１ ９０２と予測ブロック２ ９０３のうちのいずれか１つでも補間遂行時、ウィーナフィルタが適用されていれば、サブブロックＣにループフィルタリング遂行時、ウィーナフィルタが適用できる。
ｅ）エンコーダ／デコーダは前述した前記ａ）からｄ）の方法のうち、１つ以上の方法を選択的に組み合せて使用することができる。
一方、本実施形態３の方法を適用してループフィルタリング遂行時、ウィーナフィルタの適用有無を決定する過程において、前述した実施形態２の方法のように決定されたパラメータα、β、γを適用してループフィルタのウィーナフィルタの係数を求めることができる。
実施形態４
予測ブロックに対して同一の動き情報を有せず、同一予測ブロック内でもサブブロック単位で別個の動き情報を有することができる。即ち、同一予測内でサブブロック単位で独立的にインター予測が遂行できる。
この場合、予測ブロック内のサブブロックに適用された動き情報によって補間遂行時、別個のウィーナフィルタ係数が適用されることができ、またウィーナフィルタの適用有無も相異するように定まることができる。
したがって、ループフィルタ遂行時、ウィーナフィルタの適用有無を決定する時、予測ブロック内のサブブロックの補間遂行時、ウィーナフィルタが適用されたかを考慮して決定できる。
以下、ループフィルタの適用のための符号化ブロックのサブブロックを符号化サブブロック（SB_loop）と称し、補間フィルタの適用のための予測ブロックのサブブロックを予測サブブロック（SB_pred）と称する。この際、符号化ブロックがサブブロックに分割されないこともあり、この場合には符号化ブロックはSB_loopと同一である。同様に、予測ブロックがサブブロックに分割されないこともあり、この場合には予測ブロックはSB_predと同一である。
ａ）ループフィルタでウィーナフィルタの適用有無はウィーナフィルタの係数を決定する単位であるSB_loopと同一の単位で決定できる。
この場合、SB_loopがSB_predと同一のサイズを有するか、またはSB_loopがSB_predに含まれる場合、このSB_predに対して補間遂行時、ウィーナフィルタを適用したか否かからSB_loopにループフィルタリング時、ウィーナフィルタの適用有無が決定できる。
即ち、符号化サブブロックと同一であるか、または該当符号化サブブロックが属した予測（サブ）ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
ｂ）SB_loopがSB_predの境界に位置する場合（または、境界を含む場合）（図１０参照）、SB_loop内に位置した（または、SB_loopと重なる）全てのSB_predに対して補間遂行時、ウィーナフィルタが適用されていれば、該当SB_loopにループフィルタ遂行時、ウィーナフィルタが適用できる。
即ち、符号化サブブロック内に位置した（または、サブブロックと重なる）全ての予測（サブ）ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
図１０は、本発明の一実施形態に係るループフィルタリング遂行時、ウィーナフィルタの適用有無を決定するための方法を例示する図である。
図１０の場合、予測ブロックの分割タイプがＮ×２Ｎであり、予測ブロック２ １００３がサブブロックに分割された場合を例示する。また、符号化ブロックのサブブロック１００１内の予測ブロック１ １００２と予測ブロック２ １００３が位置することによって、多数の予測ブロック境界が存在する場合を例示する。
この際、符号化サブブロック１００１が予測ブロック１ １００２と予測ブロック２ １００３の境界に位置し、また予測ブロック２ １００３の予測サブブロックＡと予測サブブロックＣの境界に位置することができる。言い換えると、符号化サブブロック１００１内の予測ブロック１ １００２と予測ブロック２ １００３の境界が含まれ、また予測ブロック２ １００３の予測サブブロックＡと予測サブブロックＣの境界が含まれることができる。
この場合、符号化サブブロック内に位置した全ての予測（サブ）ブロックに対して補間遂行時、ウィーナフィルタが適用されていれば、該当符号化サブブロックに対してもループフィルタリング遂行時、ウィーナフィルタが適用できる。
図９の例示において、符号化サブブロック１００１の場合、予測ブロック１ １００２と予測ブロック２ １００３のサブブロックＡ及びＢに全て補間遂行時、ウィーナフィルタが適用されていれば、符号化サブブロック１００１にループフィルタリング遂行時、ウィーナフィルタが適用できる。
ｃ）SB_loopがSB_predの境界に位置する場合（または、境界を含む場合）（図１０参照）、SB_loop内に位置した（または、SB_loopと重なる）SB_predのうち、半分以上の面積を占める部分に対してウィーナフィルタが適用されていれば、該当SB_loopにループフィルタ遂行時、ウィーナフィルタが適用できる。
即ち、符号化サブブロック内に位置した（または、サブブロックと重なる）予測（サブ）ブロックのうち、半分以上の面積に占める予測（サブ）ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
図１０の例示において、符号化サブブロック１００１内の予測ブロック１ １００２、予測サブブロックＡ及び予測サブブロックＢのうち、半分以上の面積を占める予測（サブ）ブロック（例えば、予測ブロック１、または予測ブロック１とＡ、または予測ブロック１とＢ、またはＡとＢ、または予測ブロック１とＡとＢ）に補間遂行時、ウィーナフィルタが適用されていれば、符号化サブブロック１００１にループフィルタリング遂行時、ウィーナフィルタが適用できる。
ｄ）SB_loopがSB_predの境界に位置する場合（または、境界を含む場合）（図１０参照）、SB_loop内に位置した（または、SB_loopと重なる）SB_predのうちの１つでもウィーナフィルタが適用されていれば、該当SB_loopにループフィルタ遂行時、ウィーナフィルタが適用できる。
即ち、符号化サブブロック内に位置した（または、サブブロックと重なる）予測（サブ）ブロックのうちのいずれか１つの予測（サブ）ブロックの予測されたサンプルが補間フィルタリング遂行時、ウィーナフィルタが適用されて生成されていれば、エンコーダ／デコーダは該当符号化サブブロックの復元されたサンプルにループフィルタリング遂行時、ウィーナフィルタを適用することができる。
図１０の例示において、符号化サブブロック１００１内の予測ブロック１ １００２、予測サブブロックＡ及び予測サブブロックＢのうち、いずれか１つの予測（サブ）ブロック（例えば、予測ブロック１またはＡまたはＢ）に補間遂行時、ウィーナフィルタが適用されていれば、符号化サブブロック１００１にループフィルタリング遂行時、ウィーナフィルタが適用できる。
ｅ）エンコーダ／デコーダは前述した前記ａ）からｄ）の方法のうち、１つ以上の方法を選択的に組み合せて使用することができる。
一方、本実施形態４の方法を適用してループフィルタリング遂行時、ウィーナフィルタの適用有無を決定する過程において、前述した実施形態２の方法のように決定されたパラメータα、β、γを適用してループフィルタのウィーナフィルタの係数を求めることができる。
前述した実施形態では、補間フィルタリング時、ウィーナフィルタの適用有無が決定される単位を符号化ブロックまたは符号化ブロックのサブブロックとして例示し、ループフィルタリング時、ウィーナフィルタの適用有無が決定される単位を予測ブロックまたは予測ブロックのサブブロックとして例示して説明したが、これを一般化すれば、補間フィルタリング時、ウィーナフィルタの適用有無とループフィルタリング時、ウィーナフィルタの適用有無が互いに相異する単位で決定されるように一般化することができる。
以下、補間フィルタリング時、ウィーナフィルタの適用有無が決定される単位を第１ブロックと称し、ループフィルタリング時、ウィーナフィルタの適用有無が決定される単位を第２ブロックと称する。
図１１は、本発明の一実施形態に係る映像復号化方法を例示する図である。
図１１を参照すると、エンコーダ／デコーダは参照ピクチュアに補間フィルタリング（interpolation filtering）を遂行する（Ｓ１１０１）。
この際、エンコーダ／デコーダは先の図５から図７で説明した方式により補間フィルタリングを遂行することによって、参照ピクチュアの整数画素を用いて副画素を生成することができる。
また、エンコーダ／デコーダは第１ブロック単位で補間フィルタリング時、所定のフィルタ（例えば、ウィーナフィルタ）が適用されるか否かを決定し、またフィルタの係数を決定することができる。
エンコーダ／デコーダは補間フィルタリングが遂行された参照ピクチュア内のサンプルから予測されたサンプルを生成する（Ｓ１１０２）。
エンコーダ／デコーダは予測ブロック（または、予測ブロックのサブブロック）単位で該当予測ブロック（または、予測ブロックのサブブロック）の動き情報を用いて参照ピクチュア内のサンプルから該当予測ブロック（または、予測ブロックのサブブロック）の予測されたサンプルを生成することができる。
エンコーダ／デコーダは残差サンプルと予測されたサンプルを加算して復元されたサンプルを生成する（Ｓ１１０３）。
エンコーダ／デコーダは、復元されたサンプルにループフィルタリング（loop filtering）を遂行する（Ｓ１１０４）。
この際、エンコーダ／デコーダは前述した実施形態１から４の方法を用いて第２ブロック単位でループフィルタリング遂行時、所定のフィルタ（例えば、ウィーナフィルタ）が適用されるか否かとフィルタ係数を決定することができる。この際、前述したように、所定のフィルタ（例えば、ウィーナフィルタ）が適用されるか否かを決定する単位とフィルタ係数を決定する単位は互いに相異することがある。
より具体的に説明すると、第１ブロックのサイズが第２ブロックのサイズと同一の場合、第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第１ブロックが第２ブロックに含まれる場合、第２ブロックに含まれた全ての第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第１ブロックが第２ブロックに含まれる場合、第２ブロックに含まれた第１ブロックのうち、半分以上の部分を有する第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第１ブロックが第２ブロックに含まれる場合、第２ブロックに含まれた第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれる場合、第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれ、第２ブロックが複数の第１ブロックの境界に位置する場合、複数の第１ブロックの予測されたサンプルが全て補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれ、第２ブロックが複数の第１ブロックの境界に位置する場合、複数の第１ブロックのうち、第２ブロックの半分以上の部分を含む第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれ、第２ブロックが複数の第１ブロックの境界に位置する場合、複数の第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
また、第２ブロックにループフィルタリング遂行時、補間のために用いられたフィルタが適用される場合、前述した実施形態２のようにループフィルタリングのためのフィルタの係数は補間フィルタリングのためのフィルタの係数から誘導できる。例えば、ループフィルタリングのためのフィルタの係数は補間フィルタリングのためのフィルタの係数を第１ブロックのサイズと第２ブロックのサイズの割合で補正することによって定まることができる。
図１２は、本発明の一実施形態に係る映像復号化装置を例示する図である。
図１２では、説明の便宜のために、インター予測部１８１（図１参照）、２６１（図２参照）を１つのブロックとして図示し、またフィルタリング部１６０（図１参照）、２４０（図２参照）を１つのブロックとして図示したが、インター予測部１８１、２６１及びフィルタリング部１６０、２４０はエンコーダ及び／又はデコーダに含まれる構成で具現できる。
図１２を参照すると、映像復号化装置はインター予測部１８１、２６１、加算器１２０４、及びフィルタリング部１６０、２４０を含んで構成できる。但し、図１２の映像復号化装置は１つの例示に過ぎず、図１２に図示されていない構成をさらに含んで具現されることもできる。
ここで、インター予測部１８１、２６１及びフィルタリング部１６０、２４０は、図５から図１１で提案された機能、過程、及び／又は方法を具現する。
具体的に、インター予測部１８１、２６１は動き情報導出部１２０１及び補間フィルタリング部１２０２、予測サンプル生成部１２０３を含んで構成できる。
動き情報導出部１２０１は、現在ブロック（例えば、予測ブロック）の動き情報を導出する。
ここで、動き情報は参照ピクチュアを指示する参照ピクチュア情報（例えば、参照ピクチュアインデックス）、動き情報候補リスト（例えば、マージ候補リスト、または動きベクトル予測値候補リスト）内で動き情報を指示する情報（例えば、マージインデックス、または動きベクトル予測値フラグ）、及び／又は動きベクトル差分値情報を含むことができる。
補間フィルタリング部１２０２は、参照ピクチュアに補間フィルタリングを遂行する。この際、補間フィルタリング部１２０２は先の図５から図７で説明した方式により補間フィルタリングを遂行することによって、参照ピクチュアの整数画素を用いて副画素を生成することができる。
また、補間フィルタリング部１２０２は第１ブロック単位で補間フィルタリング時、所定のフィルタ（例えば、ウィーナフィルタ）が適用されるか否かを決定し、またフィルタの係数を決定することができる。
予測サンプル生成部１２０３は、補間フィルタリングが遂行された参照ピクチュア内のサンプルから予測されたサンプルを生成する。
エンコーダ／デコーダは予測ブロック（または、予測ブロックのサブブロック）単位で該当予測ブロック（または、予測ブロックのサブブロック）の動き情報を用いて参照ピクチュア内のサンプルから該当予測ブロック（または、予測ブロックのサブブロック）の予測されたサンプルを生成することができる。
一方、加算器１２０４は残差サンプルと予測されたサンプルを加算して復元されたサンプルを生成する。
ここで、加算器１２０４は予測ブロック単位で生成された予測されたサンプルから獲得した符号化ブロックの予測されたサンプルと該当符号化ブロックの残差サンプルを加算して該当符号化ブロックの復元されたサンプルを生成することができる。
フィルタリング部１６０、２４０は、復元されたサンプルにループフィルタリング（loop filtering）を遂行する。
この際、エンコーダ／デコーダは前述した実施形態１から４の方法を用いて第２ブロック単位でループフィルタリング遂行時、所定のフィルタ（例えば、ウィーナフィルタ）が適用されるか否かとフィルタ係数を決定することができる。この際、前述したように、所定のフィルタ（例えば、ウィーナフィルタ）が適用されるか否かを決定する単位とフィルタ係数を決定する単位は互いに相異することがある。
より具体的に説明すると、第１ブロックのサイズが第２ブロックのサイズと同一の場合、第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第１ブロックが第２ブロックに含まれる場合、第２ブロックに含まれた全ての第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第１ブロックが第２ブロックに含まれる場合、第２ブロックに含まれた第１ブロックのうち、半分以上の部分を有する第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第１ブロックが第２ブロックに含まれる場合、第２ブロックに含まれた第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれる場合、第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれ、第２ブロックが複数の第１ブロックの境界に位置する場合、複数の第１ブロックの予測されたサンプルが全て補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれ、第２ブロックが複数の第１ブロックの境界に位置する場合、複数の第１ブロックのうち、第２ブロックの半分以上の部分を含む第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
または、第２ブロックが第１ブロックに含まれ、第２ブロックが複数の第１ブロックの境界に位置する場合、複数の第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが補間フィルタリング遂行時、所定のフィルタが適用されて生成されていれば、第２ブロックの復元されたサンプルにループフィルタリング遂行時、該当フィルタが適用できる。
また、第２ブロックにループフィルタリング遂行時、補間のために用いられたフィルタが適用される場合、前述した実施形態２のように、ループフィルタリングのためのフィルタの係数は補間フィルタリングのためのフィルタの係数から誘導できる。例えば、ループフィルタリングのためのフィルタの係数は補間フィルタリングのためのフィルタの係数を第１ブロックのサイズと第２ブロックのサイズの割合で補正することによって定まることができる。
以上で説明された実施形態は本発明の構成要素と特徴が所定形態に結合されたものである。各構成要素または特徴は別途の明示的な言及がない限り、選択的なものとして考慮されなければならない。各構成要素または特徴は他の構成要素や特徴と結合されない形態に実施できる。また、一部の構成要素及び／又は特徴を結合して本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更できる。ある実施形態の一部の構成や特徴は他の実施形態に含まれることができ、または他の実施形態の対応する構成または特徴と取替できる。特許請求範囲で明示的な引用関係のない請求項を結合して実施形態を構成するか、または出願後の補正により新たな請求項に含めることができることは自明である。
本発明に従う実施形態は、多様な手段、例えば、ハードウェア、ファームウエア（firmware）、ソフトウェア、またはそれらの結合などにより具現できる。ハードウェアによる具現の場合、本発明の一実施形態は１つまたはその以上のＡＳＩＣｓ （application specific integrated circuits）、ＤＳＰｓ（digital signal processors）、ＤＳＰＤｓ （digital signal processing devices）、ＰＬＤｓ（programmable logic devices）、ＦＰＧＡｓ （field programmable gate arrays）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより具現できる。
ファームウエアやソフトウェアによる具現の場合、本発明の一実施形態は以上で説明された機能または動作を遂行するモジュール、手続、関数などの形態に具現できる。ソフトウェアコードはメモリに格納されてプロセッサにより駆動できる。前記メモリは、前記プロセッサの内部または外部に位置して、既に公知された多様な手段により前記プロセッサとデータをやり取りすることができる。
本発明は、本発明の必須特徴を逸脱しない範囲で他の特定の形態に具体化できることは当業者に自明である。したがって、前述した詳細な説明は全ての面で制限的に解釈されてはならず、例示的なものとして考慮されなければならない。本発明の範囲は添付した請求項の合理的な解釈により決定されなければならず、本発明の等価的な範囲内での全ての変更は本発明の範囲に含まれる。
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下の添付した特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施形態を改良、変更、代替、または付加などが可能である。

Claims (14)

  1. 映像を復号化する方法であって、
    参照ピクチュアに補間フィルタリング（interpolation filtering）を遂行するステップと、
    前記補間フィルタリングが遂行された前記参照ピクチュア内のサンプルから予測されたサンプルを生成するステップと、
    残差サンプルと前記予測されたサンプルを加算して復元されたサンプルを生成するステップと、
    前記復元されたサンプルにループフィルタリング（loop filtering）を遂行するステップとを含み、
    前記予測されたサンプルが前記補間フィルタリング遂行時、所定のフィルタが適用されて生成されたか否かは第１ブロック単位で決定され、
    前記復元されたサンプルに前記フィルタが適用されるか否かは第２ブロック単位で決定され、
    前記予測されたサンプルに前記補間フィルタリング遂行時、前記フィルタが適用されたか否かに基づいて前記復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用されるか否かが決定される、映像復号化方法。
  2. 前記第１ブロックのサイズが前記第２ブロックのサイズと同一の場合、
    前記第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  3. 前記第１ブロックが前記第２ブロックに含まれる場合、
    前記第２ブロックに含まれた全ての第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  4. 前記第１ブロックが前記第２ブロックに含まれる場合、
    前記第２ブロックに含まれた第１ブロックのうち、半分以上の部分を有する第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  5. 前記第１ブロックが前記第２ブロックに含まれる場合、
    前記第２ブロックに含まれた第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  6. 前記第２ブロックが前記第１ブロックに含まれる場合、
    前記第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  7. 前記第２ブロックが前記第１ブロックに含まれ、前記第２ブロックが前記複数の第１ブロックの境界に位置する場合、
    前記複数の第１ブロックの予測されたサンプルが全て前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  8. 前記第２ブロックが前記第１ブロックに含まれ、前記第２ブロックが前記複数の第１ブロックの境界に位置する場合、
    前記複数の第１ブロックのうち、前記第２ブロックの半分以上の部分を含む第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  9. 前記第２ブロックが前記第１ブロックに含まれ、前記第２ブロックが前記複数の第１ブロックの境界に位置する場合、
    前記複数の第１ブロックのうち、少なくともいずれか１つの第１ブロックの予測されたサンプルが前記補間フィルタリング遂行時、前記フィルタが適用されて生成されていれば、前記第２ブロックの復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用される、請求項１に記載の映像復号化方法。
  10. 前記ループフィルタリング遂行時、前記フィルタが適用される場合、前記ループフィルタリングのためのフィルタの係数は、前記補間フィルタリングのためのフィルタの係数から誘導される、請求項１に記載の映像復号化方法。
  11. 前記ループフィルタリング遂行時、前記フィルタが適用される場合、前記ループフィルタリングのためのフィルタの係数は、前記補間フィルタリングのためのフィルタの係数を前記第１ブロックのサイズと前記第２ブロックのサイズの割合で補正することによって定まる、請求項１０に記載の映像復号化方法。
  12. 前記第１ブロックは予測ブロック（prediction block）で、前記第２ブロックは符号化ブロック（coding block）であるか、前記第１ブロックは予測ブロック（prediction block）で、前記第２ブロックは符号化ブロック（coding block）のサブブロックであるか、または前記第１ブロックは予測ブロック（prediction block）のサブブロックで、前記第２ブロックは符号化ブロック（coding block）のサブブロックである、請求項１に記載の映像復号化方法。
  13. 前記フィルタはウィーナフィルタ（wiener filter）である、請求項１に記載の映像復号化方法。
  14. 映像を復号化する装置であって、
    参照ピクチュアに補間フィルタリング（interpolation filtering）を遂行する補間フィルタリング部と、
    前記補間フィルタリングが遂行された前記参照ピクチュア内のサンプルから予測されたサンプルを生成する予測サンプル生成部と、
    残差サンプルと前記予測されたサンプルを加算して復元されたサンプルを生成する加算器と、
    前記復元されたサンプルにループフィルタリング（loop filtering）を遂行するフィルタリング部とを含み、
    前記予測されたサンプルが前記補間フィルタリング遂行時、所定のフィルタが適用されて生成されたか否かは第１ブロック単位で決定され、
    前記復元されたサンプルに前記フィルタが適用されるか否かは第２ブロック単位で決定され、
    前記予測されたサンプルに前記補間フィルタリング遂行時、前記フィルタが適用されたか否かに基づいて前記復元されたサンプルに前記ループフィルタリング遂行時、前記フィルタが適用されるか否かが決定される、装置。
JP2018512572A 2015-09-08 2016-05-13 映像の符号化／復号化方法及びそのための装置 Active JP6791952B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562215675P 2015-09-08 2015-09-08
US62/215,675 2015-09-08
PCT/KR2016/005094 WO2017043730A1 (ko) 2015-09-08 2016-05-13 영상의 부호화/복호화 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
JP2018530956A true JP2018530956A (ja) 2018-10-18
JP6791952B2 JP6791952B2 (ja) 2020-11-25

Family

ID=58240064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512572A Active JP6791952B2 (ja) 2015-09-08 2016-05-13 映像の符号化／復号化方法及びそのための装置

Country Status (6)

Country Link
US (1) US10575019B2 (ja)
EP (1) EP3349450B1 (ja)
JP (1) JP6791952B2 (ja)
KR (1) KR20180039722A (ja)
CN (1) CN108028924B (ja)
WO (1) WO2017043730A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313679B2 (en) 2017-04-21 2019-06-04 ZeniMaz Media Inc. Systems and methods for encoder-guided adaptive-quality rendering
CN117615153A (zh) 2017-08-29 2024-02-27 株式会社Kt 视频解码和编码方法及用于存储压缩视频数据的装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166071A (zh) * 2006-10-19 2008-04-23 北京三星通信技术研究有限公司 差错帧隐藏装置与方法
JP2009302821A (ja) * 2008-06-12 2009-12-24 Sony Corp 受信装置および受信方法、並びにプログラム
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
US9363533B2 (en) 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2012167712A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
CN102325256B (zh) * 2011-09-14 2013-10-02 河海大学常州校区 基于图像宏块编码模式决策的环路滤波方法
WO2013128010A2 (en) * 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
US9924189B2 (en) * 2012-09-28 2018-03-20 Sony Corporation Image processing device and method
KR101712108B1 (ko) * 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
WO2015060614A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Also Published As

Publication number Publication date
EP3349450A4 (en) 2019-02-27
EP3349450B1 (en) 2021-08-25
CN108028924A (zh) 2018-05-11
US10575019B2 (en) 2020-02-25
JP6791952B2 (ja) 2020-11-25
KR20180039722A (ko) 2018-04-18
WO2017043730A1 (ko) 2017-03-16
CN108028924B (zh) 2020-12-01
US20180270508A1 (en) 2018-09-20
EP3349450A1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
US11190799B2 (en) Intra-prediction mode-based image processing method and apparatus therefor
US20220124357A1 (en) Image processing method and apparatus therefor
CN107409207B (zh) 在内预测模式的基础上处理图像的方法及其装置
KR102489735B1 (ko) 인트라 예측 방법 및 그 장치
KR102351029B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20190200011A1 (en) Intra-prediction mode-based image processing method and apparatus therefor
US10554980B2 (en) Method for processing image on basis of intra prediction mode and device therefor
KR20220038710A (ko) 비디오 코딩 방법 및 장치
JP2023143946A (ja) クロマデブロックフィルタリングのための量子化パラメータオフセット
KR20180009048A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180040577A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2023531223A (ja) 適応ループフィルタリングのための境界位置
JP6791952B2 (ja) 映像の符号化／復号化方法及びそのための装置
US20190342545A1 (en) Intra-prediction mode-based image processing method and apparatus for same
KR102511611B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
JP7408834B2 (ja) ビデオフィルタリングのための方法および装置
KR20230026944A (ko) 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
KR20230042236A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR20230137232A (ko) 컨텍스트 모델 초기화를 사용하는 비디오 코딩방법 및 장치
KR20180009358A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201105

R150 Certificate of patent or registration of utility model

Ref document number: 6791952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250