JP2021517797A - アフィン動き予測に基づく映像コーディング方法及び装置 - Google Patents

アフィン動き予測に基づく映像コーディング方法及び装置 Download PDF

Info

Publication number
JP2021517797A
JP2021517797A JP2021502682A JP2021502682A JP2021517797A JP 2021517797 A JP2021517797 A JP 2021517797A JP 2021502682 A JP2021502682 A JP 2021502682A JP 2021502682 A JP2021502682 A JP 2021502682A JP 2021517797 A JP2021517797 A JP 2021517797A
Authority
JP
Japan
Prior art keywords
block
affine
mvp candidate
affine mvp
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021502682A
Other languages
English (en)
Inventor
チェホ イ
チェホ イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2021517797A publication Critical patent/JP2021517797A/ja
Priority to JP2022185636A priority Critical patent/JP7404488B2/ja
Priority to JP2023210128A priority patent/JP2024019534A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】アフィン動き予測に基づく映像コーディングの効率を高める方法及び装置を提供する。【解決手段】ビットストリームから動き予測情報を獲得するステップと、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成するステップと、アフィンＭＶＰ候補リストに含まれたアフィンＭＶＰ候補のうちの一つに基づいて、現在ブロックの各ＣＰに対するＣＰＭＶＰを導出するステップと、獲得した動き予測情報に含まれた各ＣＰに対するＣＰＭＶＤに対する情報に基づいて、現在ブロックのＣＰに対するＣＰＭＶＤを導出するステップと、ＣＰＭＶＰ及びＣＰＭＶＤに基づいて現在ブロックのＣＰに対するＣＰＭＶを導出するステップと、ＣＰＭＶに基づいて現在ブロックに対する予測サンプルを導出するステップと、導出された予測サンプルに基づいて現在ブロックに対する復元サンプルを生成するステップとを含むピクチャデコーディング方法。【選択図】図１３

Description

本発明は、映像コーディング技術に関し、より詳細には、映像コーディングシステムでアフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）に基づく映像コーディング方法及びその装置に関する。
最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像のような高解像度、高品質の画像に対する需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、既存の画像データに比べて相対的に送信される情報量又はビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、又は既存の格納媒体を利用して画像データを格納する場合、送信費用と格納費用が増加する。
これによって、高解像度、高品質画像の情報を効果的に送信又は格納し、再生するために高効率の画像圧縮技術が要求される。
本発明の技術的課題は、映像コーディングの効率を高める方法及び装置を提供することにある。
本発明の別の技術的課題は、アフィン動き予測に基づく映像コーディングの効率を高める方法及び装置を提供することにある。
本発明のまた別の技術的課題は、アフィン動き予測に用いられる周辺ブロックの組み合わせを効率的に決定することによって、映像コーディングの効率を高める方法及び装置を提供することにある。
本発明のまた別の技術的課題は、アフィン動き予測に用いられるアフィンＭＶＰ候補リストに対する情報をシグナリングすることによって、映像コーディングの効率を高める方法及び装置を提供することにある。
本発明の一実施例によれば、デコーディング装置により行われるピクチャデコーディング方法が提供される。前記方法は、ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するステップと、現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成するステップと、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導出するステップと、前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）に対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出するステップと、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を導出するステップと、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出するステップと、前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップとを含むことを特徴とする。
本発明の別の一実施例によれば、ピクチャデコーディングを行うデコーディング装置が提供される。前記デコーディング装置は、ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するエントロピーデコーディング部と、現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成し、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導出し、前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）に対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出し、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶを導出し、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出する予測部と、前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成する加算部とを含むことを特徴とする。
本発明のまた別の一実施例によれば、エンコーディング装置により行われるピクチャエンコーディング方法が提供される。前記方法は、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成するステップと、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰを導出するステップと、前記現在ブロックの前記ＣＰそれぞれに対するＣＰＭＶを導出するステップと、前記ＣＰそれぞれに対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導出するステップと、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出するステップと、前記導出された予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、前記導出されたＣＰＭＶＤに対する情報及び前記レジデュアルサンプルに関するレジデュアル情報をエンコーディングするステップとを含むことを特徴とする。
本発明のまた別の一実施例によれば、ピクチャエンコーディングを行うエンコーディング装置が提供される。前記エンコーディング装置は、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成し、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰを導出し、前記現在ブロックの前記ＣＰそれぞれに対するＣＰＭＶを導出し、前記ＣＰそれぞれに対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導出し、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出する予測部と、前記導出された予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するレジデュアル処理部と、前記導出されたＣＰＭＶＤに対する情報及び前記レジデュアルサンプルに関するレジデュアル情報をエンコーディングするエントロピーエンコーディング部とを含むことを特徴とする。
本発明によれば、全般的な映像／ビデオ圧縮の効率を高めることができる。
本発明によれば、アフィン動き予測に基づく映像コーディングの効率を高めることができる。
本発明によれば、アフィン動き予測に用いられるアフィンＭＶＰ候補リストに対する情報をシグナリングすることによって、映像コーディングの効率を高めることができる。
一実施例に係るエンコーディング装置の構成を概略的に説明する図である。 一実施例に係るデコーディング装置の構成を概略的に説明する図である。 一実施例に係るアフィン動き（ａｆｆｉｎｅ ｍｏｔｉｏｎ）モデルを介して表現される動きの一例を示す図である。 現在ブロックに対する３つのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）のＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を用いるアフィン動きモデルの一例を示す図である。 現在ブロックに対する２つのＣＰのＣＰＭＶを用いるアフィン動きモデルの一例を示す図である。 アフィン動きモデルに基づいて、サブブロック単位で動きベクトルを導出する一例を示す図である。 アフィン動き予測に基づいてコーディングされた周辺ブロックを検出する方法の例示を示している。 アフィン動き予測に基づいてコーディングされた周辺ブロックを検出する方法の例示を示している。 アフィン動き予測に基づいてコーディングされた周辺ブロックを検出する方法の例示を示している。 アフィン動き予測に基づいてコーディングされた周辺ブロックを検出する方法の例示を示している。 一実施例に係るエンコーディング装置の動作方法を示すフローチャートである。 一実施例に係るエンコーディング装置の構成を示すブロック図である。 一実施例に係るデコーディング装置の動作方法を示すフローチャートである。 一実施例に係るデコーディング装置の構成を示すブロック図である。
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定しようとする意図に使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はそれらを組合せたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はそれらを組合せたものの存在又は付加の可能性を予め排除しないと理解しなければならない。
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に対する説明の便宜のために独立して図示されたものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が合わせて一つの構成をなすこともあり、一つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
以下の説明は、ビデオ、イメージまたは映像に対して扱う技術分野で適用されることができる。例えば、以下の説明で開示された方法または実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはＶＶＣ以前の標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６５）等）の開始内容と関連することができる。
以下、添付図面を参照し、本発明の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複説明は省略する。
本明細書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味する。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されることができ、必要によって、ピクチャ及びスライスは、互いに混用されて使われることができる。
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、一つのピクチャ（又は映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセル又はピクセルの値を示し、輝度（ルマ）成分のピクセル／ピクセルの値のみを示してもよく、彩度（クロマ）成分のピクセル／ピクセルの値のみを示してもよい。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び該当領域に関する情報のうち少なくとも一つを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して用いられてもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。
図１は、本発明が適用され得るエンコーディング装置（ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）の構成を概略的に説明する図である。以下、エンコーディング／デコーディング装置は、ビデオエンコーディング／デコーディング装置及び／又は映像エンコーディング／デコーディング装置を含むことがあり、ビデオエンコーディング／デコーディング装置が映像エンコーディング／デコーディング装置を含む概念として使用されるか、映像エンコーディング／デコーディング装置がビデオエンコーディング／デコーディング装置を含む概念として使用されることもある。
図１を参照すると、ビデオエンコーディング装置１００は、ピクチャ分割部（ｐｉｃｔｕｒｅ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｕｌｅ）１０５、予測部（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）１１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）１２０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ ｍｏｄｕｌｅ）１３０、加算部（ａｄｄｅｒ）１４０、フィルタ部（ｆｉｌｔｅｒｉｎｇ ｍｏｄｕｌｅ）１５０、及びメモリ（ｍｅｍｏｒｙ）１６０を含むことができる。レジデュアル処理部１２０は、減算部（ｓｕｂｓｔｒａｃｔｏｒ）１２１、変換部（ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１２２、量子化部（ｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）１２３、再整列部（ｒｅａｒｒａｎｇｅｍｅｎｔ ｍｏｄｕｌｅ）１２４、逆量子化部（ｄｅｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）１２５、及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１２６を含むことができる。
ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。
一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれる。この場合、コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ−ｔｒｅｅ ｂｉｎａｒｙ−ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造及び／またはターナリ（ｔｅｒｎａｒｙ）ツリー構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及びターナリツリー構造が後に適用されることができる。または、バイナリツリー構造／ターナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本発明によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。
他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からクアッドツリー構造によって下位（ｄｅｅｐｅｒ）デプスのコーディングユニットに分割（ｓｐｌｉｔ）されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。最小コーディングユニット（ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットより小さいコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割の基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロック（ｓｕｂｂｌｏｃｋ）に分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニット及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットである。以下、コーディングユニットはコーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）とも呼ばれる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味し、予測サンプルのアレイ（ａｒｒａｙ）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味し、変換係数またはレジデュアルサンプルのアレイを含むことができる。
予測部１１０は、処理対象ブロック（以下、現在ブロックまたはレジデュアルブロックを意味することもある）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部１１０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
予測部１１０は、現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。一例として、予測部１１０は、ＣＵ単位にイントラ予測またはインター予測が適用されるかを決定することができる。
イントラ予測の場合、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロック外部の参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部１１０は、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ii）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モードまたは非角度モードと呼ばれ、（ii）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。
インター予測の場合、予測部１１０は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモードとマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用して現在ブロックの動きベクトル予測子として利用して現在ブロックの動きベクトルを誘導することができる。
インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルと参照ピクチャインデックスを含むことができる。予測モード情報と動き情報などの情報は、（エントロピー）エンコーディングされてビットストリーム形態で出力されることができる。
スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）に含まれる参照ピクチャは、現在ピクチャと該当参照ピクチャとの間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差に基づいて整列されることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分されることができる。
減算部１２１は、原本サンプルと予測サンプルとの間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、前述したようにレジデュアルサンプルを生成しない。
変換部１２２は、変換ブロック単位にレジデュアルサンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードによって変換を実行することができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４のレジデュアルアレイ（ａｒｒａｙ）である場合、レジデュアルサンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換され、その他の場合、レジデュアルサンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換できる。
量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成することができる。
再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法を介してブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。
エントロピーエンコーディング部１３０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングは、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのようなエンコーディング方法を含むことができる。エントロピーエンコーディング部１３０は、量子化された変換係数外にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別途にエントロピーエンコーディングまたは既設定された方法によってエンコーディングすることもできる。エンコーディングされた情報は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。
逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換してレジデュアルサンプルを生成する。
加算部１４０は、レジデュアルサンプルと予測サンプルを加算してピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックが生成されることができる。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）または復元ブロック生成部とも呼ばれる。
復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用することができる。デブロッキングフィルタリング及び／またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪曲が補正されることができる。サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応的オフセットが適用された後の復元されたピクチャに対して適用されることができる。
メモリ１６０は、復元ピクチャ（デコーディングされたピクチャ）またはエンコーディング／デコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部１５０によりフィルタリング手順が完了した復元ピクチャである。前記格納された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に使われる（参照）ピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）または参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されることができる。
図２は、本発明が適用されることができるビデオ／映像デコーディング装置（ｖｉｄｅｏ ｄｅｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）の構成を概略的に説明する図面である。以下、ビデオデコーディング装置とは、映像デコーディング装置を含むことができる。
図２を参照すると、ビデオデコーディング装置２００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｉｎｇ ｍｏｄｕｌｅ）２１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）２２０、予測部（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）２３０、加算部（ａｄｄｅｒ）２４０、フィルタ部（ｆｉｌｔｅｒｉｎｇ ｍｏｄｕｌｅ）２５０、及びメモリ（ｍｅｍｏｒｙ）２６０を含むことができる。ここで、レジデュアル処理部２２０は、再整列部（ｒｅａｒｒａｎｇｅｍｅｎｔ ｍｏｄｕｌｅ）２２１、逆量子化部（ｄｅｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）２２２、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）２２３を含むことができる。また、図示されていないが、ビデオデコーディング装置２００は、ビデオ情報を含むビットストリームを受信する受信部を含むことができる。前記受信部は、別途のモジュールで構成されることもでき、またはエントロピーデコーディング部２１０に含まれることもできる。
ビデオ／映像情報を含むビットストリームが入力されると、ビデオデコーディング装置２００は、ビデオエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応してビデオ／映像／ピクチャを復元することができる。
例えば、ビデオデコーディング装置２００は、ビデオエンコーディング装置で適用された処理ユニットを利用してビデオデコーディングを実行することができる。したがって、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットは、最大コーディングユニットからクアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。
予測ユニット及び変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニットまたは変換係数からレジデュアル信号を誘導するユニットである。
エントロピーデコーディング部２１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに対する変換係数の量子化された値を出力することができる。
より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するＢＩＮを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ＢＩＮの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってＢＩＮの発生確率を予測してＢＩＮの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ＢＩＮのコンテキストモデルのためにデコーディングされたシンボル／ＢＩＮの情報を利用してコンテキストモデルをアップデートすることができる。
エントロピーデコーディング部２１０でデコーディングされた情報のうち予測に対する情報は、予測部２３０に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２１に入力されることができる。
再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部２２１は、エンコーディング装置で実行された係数スキャニングに対応して再整列を実行することができる。ここで、再整列部２２１は、別途の構成で説明したが、逆量子化部２２２の一部であってもよい。
逆量子化部２２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされることができる。
逆変換部２２３は、変換係数を逆変換してレジデュアルサンプルを誘導することができる。
予測部２３０は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２３０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
予測部２３０は、前記予測に対する情報に基づいて、イントラ予測を適用するか、またはインター予測を適用するかを決定することができる。このとき、イントラ予測とインター予測のうちいずれかを適用するかを決定する単位と予測サンプルを生成する単位は異なる。併せて、インター予測とイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測とイントラ予測のうちいずれかを適用するかは、ＣＵ単位に決定できる。また、例えば、インター予測において、ＰＵ単位に予測モードを決定して予測サンプルを生成することができ、イントラ予測において、ＰＵ単位に予測モードを決定し、ＴＵ単位に予測サンプルを生成することもできる。
イントラ予測の場合、予測部２３０は、現在ピクチャ内の隣接参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部２３０は、現在ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用する予測モードが決定されることもできる。
インター予測の場合、予測部２３０は、参照ピクチャ上で動きベクトルにより参照ピクチャ上で特定されるサンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部２３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコーディング装置で提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックスなどに対する情報は、前記予測に対する情報に基づいて取得または誘導されることができる。
スキップモードとマージモードの場合、隣接ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。
予測部２３０は、可用な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコーディング装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。
スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。
ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用して現在ブロックの動きベクトルが誘導されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。
一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、マージ候補リストが生成されることができる。マージモードではマージ候補リストから選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして使われる。前記予測に対する情報は、前記マージ候補リストに含まれている候補ブロックの中から選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、前記マージインデックスを利用し、現在ブロックの動きベクトルを導出することができる。
他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、動きベクトル予測子候補リストが生成されることができる。即ち、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使われることができる。前記予測に対する情報は、前記リストに含まれている動きベクトル候補の中から選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、前記動きベクトルインデックスを利用し、動きベクトル候補リストに含まれている動きベクトル候補の中から、現在ブロックの予測動きベクトルを選択することができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコーディングしてビットストリーム形態で出力できる。即ち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。このとき、予測部２３０は、前記予測に対する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算を介して現在ブロックの前記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に対する情報から取得または誘導できる。
加算部２４０は、レジデュアルサンプルと予測サンプルを加算して現在ブロックまたは現在ピクチャを復元することができる。加算部２４０は、レジデュアルサンプルと予測サンプルをブロック単位に加算して現在ピクチャを復元することもできる。スキップモードが適用された場合にはレジデュアルが送信されないため、予測サンプルが復元サンプルになることができる。ここで、加算部２４０は、別途の構成で説明したが、予測部２３０の一部であってもよい。一方、加算部２４０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）または復元ブロック生成とも呼ばれる。
フィルタ部２５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応的オフセット、及び／またはＡＬＦなどを適用することができる。このとき、サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応的オフセット以後に適用されることもできる。
メモリ２６０は、復元ピクチャ（デコーディングされたピクチャ）またはデコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部２５０によりフィルタリング手順が完了した復元ピクチャである。例えば、メモリ２６０は、インター予測に使われるピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序によって出力することもできる。
一方、前述したように、ビデオコーディングを実行するにあたって圧縮効率を上げるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じに導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置でシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置でシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
図３は、一実施例に係るアフィン動きモデルを介して表現される動きの一例を示す図である。
本明細書で、「ＣＰ」はコントロールポイントの略字であって、現在ブロックにアフィン動きモデルを適用する過程で基準になるサンプル又は基準点を意味し得る。ＣＰの動きベクトルは、「ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）」と称されることがあり、ＣＰＭＶは、ＣＰＭＶ予測子である「ＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）」に基づいて導出され得る。
図３を参照すると、一実施例に係るアフィン動きモデルを介して表現され得る動きは、並進（ｔｒａｎｓｌａｔｅ）動き、スケール（ｓｃａｌｅ）動き、回転（ｒｏｔａｔｅ）動き、及びせん断（ｓｈｅａｒ）動きを含み得る。即ち、アフィン動きモデルは、時間の流れに応じて映像（の一部）が平面移動する並進動き、時間の流れに応じて映像（の一部）がスケール（ｓｃａｌｅ）されるスケール動き、時間の流れに応じて映像（の一部）が回転する回転動き、時間の流れに応じて映像（の一部）が平衡四辺形の形状に変形されるせん断動き等を効率的に表現し得る。
一実施例に係るアフィン動きモデルを用いてアフィンインター予測（ａｆｆｉｎｅ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）が行われ得る。エンコーディング装置／デコーディング装置は、アフィンインター予測を介して現在ブロックのＣＰでの動きベクトルに基づいて映像の歪み形態を予測することができ、これを介して、予測の正確度を高めることによって、映像の圧縮性能を向上させることができる。また、現在ブロックの周辺ブロックの動きベクトルを利用し、前記現在ブロックの少なくとも一つのＣＰに対する動きベクトルが誘導され得るので、追加される付加情報に対するデータ量の負担を減らし、インター予測の効率を向上させることができる。
一例示において、アフィンインター予測は、現在ブロックに対する３つのＣＰ、即ち、３つの基準点での動き情報に基づいて行われ得る。現在ブロックに対する３つのＣＰでの動き情報は、各ＣＰのＣＰＭＶを含み得る。
図４は、３つのＣＰに対する動きベクトルが使用されるアフィン動きモデルを例示的に示す。
現在ブロック内の左上段（ｔｏｐ−ｌｅｆｔ）サンプルの位置（ｐｏｓｉｔｉｏｎ）が（０，０）であり、現在ブロックの幅（ｗｉｄｔｈ）がｗであり、高さ（ｈｅｉｇｈｔ）がｈである場合、図４に示すように、（０，０）、（ｗ，０）及び（０，ｈ）に位置したサンプルを現在ブロックに対するＣＰと決め得る。以下、（０，０）のサンプル位置のＣＰはＣＰ０、（ｗ，０）のサンプル位置のＣＰはＣＰ１、（０，ｈ）のサンプル位置のＣＰはＣＰ２と示し得る。
前述した各ＣＰと該当ＣＰに対する動きベクトルを用いて、一実施例に係るアフィン動きモデルを適用できる。アフィン動きモデルは、下記の数式１のように示し得る。
Figure 2021517797
ここで、ｗは、前記現在ブロックの幅（ｗｉｄｔｈ）を示し、ｈは、前記現在ブロックの高さ（ｈｅｉｇｈｔ）を示し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を示し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を示し、ｖ２ｘ、ｖ２ｙは、それぞれＣＰ２の動きベクトルのｘ成分、ｙ成分を示す。また、ｘは、前記現在ブロック内の対象サンプルの位置のｘ成分を示し、ｙは、前記現在ブロック内の前記対象サンプルの前記位置のｙ成分を示し、ｖｘは、前記現在ブロック内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック内の前記対象サンプルの前記動きベクトルのｙ成分を示す。
一方、アフィン動きモデルを示す数式１は一例示に該当するだけであり、アフィン動きモデルを示すための数式は、数式１に限定されない。例えば、数式１に開示された各係数の符号は、場合に応じて数式１と異なってもよく、各係数の絶対値の大きさもまた場合に応じて数式１と異なってもよい。
前記ＣＰ０の動きベクトル、前記ＣＰ１の動きベクトル、及び前記ＣＰ２の動きベクトルは知っているので、前記数式１に基づいて現在ブロック内のサンプル位置による動きベクトルが誘導され得る。即ち、前記アフィン動きモデルによると、対象サンプルの座標（ｘ，ｙ）と３つのＣＰとの距離比に基づき、前記ＣＰでの動きベクトルｖ０（ｖ０ｘ，ｖ０ｙ）、ｖ１（ｖ１ｘ，ｖ１ｙ）、ｖ２（ｖ２ｘ，ｖ２ｙ）がスケーリングされ、前記対象サンプルの位置による前記対象サンプルの動きベクトルが導出され得る。即ち、前記アフィン動きモデルによると、前記ＣＰの動きベクトルに基づいて、前記現在ブロック内の各サンプルの動きベクトルが導出され得る。一方、前記アフィン動きモデルに応じて導出された前記現在ブロック内のサンプルの動きベクトルの集合は、アフィン動きベクトルフィールド（ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ）と示し得る。
一方、前記数式１に対する６つのパラメータは、次の数式のようにａ、ｂ、ｃ、ｄ、ｅ、ｆと示し得、前記６つのパラメータで示した前記アフィン動きモデルに対する数式は次の通りである。
Figure 2021517797
ここで、ｗは、前記現在ブロックの幅（ｗｉｄｔｈ）を示し、ｈは、前記現在ブロックの高さ（ｈｅｉｇｈｔ）を示し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を示し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を示し、ｖ２ｘ、ｖ２ｙは、それぞれＣＰ２の動きベクトルのｘ成分、ｙ成分を示す。また、ｘは、前記現在ブロック内の対象サンプルの位置のｘ成分を示し、 ｙは、前記現在ブロック内の前記対象サンプルの前記位置のｙ成分を示し、ｖｘは、前記現在ブロック内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック内の前記対象サンプルの前記動きベクトルのｙ成分を示す。
一方、６つのパラメータに基づくアフィン動きモデルを示す数式２は一例示に該当するだけであり、６つのパラメータに基づくアフィン動きモデルを示すための数式は数式２に限定されない。例えば、数式２に開示された各係数の符号は、場合に応じて数式２と異なってもよく、各係数の絶対値の大きさもまた場合に応じて数式２と異なってもよい。
前記６つのパラメータを使用する前記アフィン動きモデル又は前記アフィンインター予測は、６パラメータアフィン動きモデル又はＡＦ６と示し得る。
一例示において、アフィンインター予測は、現在ブロックに対する３つのＣＰ、即ち、３つの基準点での動き情報に基づいて行われ得る。現在ブロックに対する３つのＣＰでの動き情報は、各ＣＰのＣＰＭＶを含み得る。
一例示において、アフィンインター予測は、現在ブロックに対する２つのＣＰ、即ち、２つの基準点での動き情報に基づいて行われ得る。現在ブロックに対する２つのＣＰでの動き情報は、各ＣＰのＣＰＭＶを含み得る。
図５は、２つのＣＰに対する動きベクトルが使用されるアフィン動きモデルを例示的に示す。
２つのＣＰを使用するアフィン動きモデルは、並進動き、スケール動き、回転動きを含む３つの動きを表現し得る。３つの動きを表現するアフィン動きモデルは、シミラリティーアフィン動きモデル（ｓｉｍｉｌａｒｉｔｙ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）又はシンプリファイドアフィン動きモデル（ｓｉｍｐｌｉｆｉｅｄ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）と称することもある。
現在ブロック内の左上段（ｔｏｐ−ｌｅｆｔ）サンプルの位置（ｐｏｓｉｔｉｏｎ）が（０，０）であり、現在ブロックの幅がｗであり、高さがｈである場合、図５に示すように、（０，０）、（ｗ，０）に位置したサンプルを現在ブロックに対するＣＰと決め得る。以下、（０，０）のサンプル位置のＣＰはＣＰ０、（ｗ，０）のサンプル位置のＣＰはＣＰ１と示し得る。
前述した各ＣＰと該当ＣＰに対する動きベクトルを用いて、４つのパラメータに基づくアフィン動きモデルを適用できる。アフィン動きモデルは、下記の数式３のように示し得る。
Figure 2021517797
ここで、ｗは、前記現在ブロックの幅（ｗｉｄｔｈ）を示し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を示し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を示す。また、ｘは、前記現在ブロック内の対象サンプルの位置のｘ成分を示し、ｙは、前記現在ブロック内の前記対象サンプルの前記位置のｙ成分を示し、ｖｘは、前記現在ブロック内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック内の前記対象サンプルの前記動きベクトルのｙ成分を示す。
一方、４つのパラメータに基づくアフィン動きモデルを示す数式３は一例示に該当するだけであり、４つのパラメータに基づくアフィン動きモデルを示すための数式は数式３に限定されない。例えば、数式３に開示された各係数の符号は、場合に応じて数式３と異なってもよく、各係数の絶対値の大きさもまた場合に応じて数式３と異なってもよい。
一方、前記数式３に対する４つのパラメータは、次の数式４のようにａ、ｂ、ｃ、ｄで示し得、前記４つのパラメータで示した前記アフィン動きモデルに対する数式４は次の通りである。
Figure 2021517797
ここで、ｗは、前記現在ブロックの幅（ｗｉｄｔｈ）を示し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を示し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を示す。また、ｘは、前記現在ブロック内の対象サンプルの位置のｘ成分を示し、ｙは、前記現在ブロック内の前記対象サンプルの前記位置のｙ成分を示し、ｖｘは、前記現在ブロック内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック内の前記対象サンプルの前記動きベクトルのｙ成分を示す。前記２つのＣＰを使用する前記アフィン動きモデルは、前記数式４のように４つのパラメータａ、ｂ、ｃ、ｄで表現され得るので、前記４つのパラメータを使用する前記アフィン動きモデル又は前記アフィンインター予測は、４パラメータアフィン動きモデル又はＡＦ４と示し得る。即ち、前記アフィン動きモデルによると、前記コントロールポイントの動きベクトルに基づいて、前記現在ブロック内の各サンプルの動きベクトルが導出され得る。一方、前記アフィン動きモデルに応じて、導出された前記現在ブロック内のサンプルの動きベクトルの集合は、アフィン動きベクトルフィールドと示し得る。
一方、４つのパラメータに基づくアフィン動きモデルを示す数式４は一例示に該当するだけであり、４つのパラメータに基づくアフィン動きモデルを示すための数式は数式４に限定されない。例えば、数式４に開示された各係数の符号は、場合に応じて数式４と異なってもよく、各係数の絶対値の大きさもまた場合に応じて数式４と異なってもよい。
一方、前述した内容のように、前記アフィン動きモデルを介してサンプル単位の動きベクトルが導出され得、これを介してインター予測の正確度がかなり向上し得る。但し、この場合、動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）過程での複雑度が大きく増加することもある。
別の一実施例では、サンプル単位の動きベクトルが導出される代わりに、前記現在ブロック内のサブブロック単位の動きベクトルが導出されるように制限され得る。
図６は、アフィン動きモデルに基づいて、サブブロック単位で動きベクトルを導出する一例を示す図である。
図６は、前記現在ブロックのサイズが１６ｘ１６であり、４ｘ４のサブブロック単位で動きベクトルが誘導される場合を例示的に示す。前記サブブロックは様々なサイズに設定されることができ、例えば、サブブロックがｎｘｎサイズ（ｎは正の整数、例えば、ｎは４）に設定された場合、前記アフィン動きモデルに基づいて現在ブロック内のｎｘｎのサブブロック単位で動きベクトルが導出され得、各サブブロックを代表する動きベクトルを誘導するための様々な方法が適用され得る。
例えば、図６を参照すると、各サブブロックのセンター又はセンターの右下側（ｌｏｗｅｒ ｒｉｇｈｔ ｓｉｄｅ）サンプルポジションを代表座標として、各サブブロックの動きベクトルが導出され得る。ここで、センターの右下側ポジションとは、サブブロックのセンターに位置する４つのサンプルのうち、右下側に位置するサンプルポジションを示し得る。例えば、ｎが奇数の場合、サブブロックの真ん中には一つのサンプルが位置し得、この場合、センターのサンプルポジションが前記サブブロックの動きベクトルの導出のために使用され得る。しかし、ｎが偶数の場合、サブブロックの中央には４つのサンプルが隣接するように位置し得、この場合、右下側サンプルポジションが前記動きベクトルの導出のために使用され得る。例えば、図６を参照すると、各サブブロック別の代表座標は、（２，２）、（６，２）、（１０，２）、．．．、（１４，１４）として導出され得、エンコーディング装置／デコーディング装置は、前記サブブロックの代表座標それぞれを前述した数式１又は３に代入し、各サブブロックの動きベクトルを導出し得る。前記アフィン動きモデルを介して導出された現在ブロック内のサブブロックの動きベクトルはアフィンＭＶＦと示し得る。
一実施例において、前述したアフィン動きモデルを二つのステップに整理すると、ＣＰＭＶを導出するステップ及びアフィン動き補償（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行うステップで構成できる。
一方、前述したアフィン動きモデルを使用したインター予測、即ち、アフィン動き予測は、アフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ、ＡＦ＿ＭＥＲＧＥ又はＡＡＭ）とアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ、ＡＦ＿ＩＮＴＥＲ又はＡＡＭＶＰ）が存在し得る。
一実施例にかかるアフィンマージモード（ＡＡＭ）は、既存のスキップ（ｓｋｉｐ）／マージ（ｍｅｒｇｅ）モードと同様にＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）に対するコーディングなしで、前記現在ブロックの周辺ブロックから２つ又は３つのＣＰそれぞれに対するＣＰＭＶを誘導して予測を行うエンコーディング／デコーディング方法を示し得る。アフィンインターモード（ＡＡＭＶＰ）は、ＡＭＶＰと同様にＣＰＭＶとＣＰＭＶＰとの差異情報を明示的にエンコーディング／デコーディングする方法を示し得る。
一方、図３乃至図６で前述したアフィン動きモデルに対する説明は、本明細書で後述する本発明の一実施例に係るエンコーディング／デコーディング方法の原理に対する理解を助けるためのものであり、よって、本発明の範囲が図３乃至図６で前述した内容により制限されるものではないことは、当該技術分野の通常の技術者にとって容易に理解されるはずだ。
一実施例では、アフィンインター予測のためのアフィンＭＶＰ候補リストを構成する方法について説明する。本明細書で、アフィンＭＶＰ候補リストはアフィンＭＶＰ候補で構成され、各アフィンＭＶＰ候補は、４−パラメータ（アフィン）動きモデル（ｆｏｕｌ ｐａｒａｍｅｔｅｒ （ａｆｆｉｎｅ） ｍｏｔｉｏｎ ｍｏｄｅｌ）ではＣＰ０とＣＰ１のＣＰＭＶＰの組み合わせを意味し得、６−パラメータ（アフィン）動きモデル（ｓｉｘ ｐａｒａｍｅｔｅｒ （ａｆｆｉｎｅ） ｍｏｔｉｏｎ ｍｏｄｅｌ）では、ＣＰ０、ＣＰ１及びＣＰ２のＣＰＭＶＰの組み合わせを意味し得る。本明細書に記載されたアフィンＭＶＰ候補は、ＣＰＭＶＰ候補、アフィンＣＰＭＶＰ候補、ＣＰＭＶＰペア（ｐａｉｒ）候補、ＣＰＭＶＰペア等様々な名称で異なって称されることがある。アフィンＭＶＰ候補リストは、ｎ個のアフィンＭＶＰ候補を含み得、ｎが１より大きい整数の場合、最適の（ｏｐｔｉｍａｌ）アフィンＭＶＰ候補を指示する情報の符号化及び復号化が必要なことがある。ｎが１の場合には、最適のアフィンＭＶＰ候補を指示する情報の符号化及び復号化が必要ではないことがある。ｎが１より大きい整数である場合のシンタックスの例示は下記の表１の通りであり、ｎが１である場合のシンタックスの例示は下記の表２の通りである。
Figure 2021517797
Figure 2021517797
表１及び表２において、ｍｅｒｇｅ＿ｆｌａｇは、マージモードであるか否かを示すためのフラグである。ｍｅｒｇｅ＿ｆｌａｇの値が１である場合、マージモードが行われ、ｍｅｒｇｅ＿ｆｌａｇの値が０である場合、マージモードが行われないことがある。ａｆｆｉｎｅ＿ｆｌａｇは、アフィン動き予測が使用されるか否かを示すためのフラグである。ａｆｆｉｎｅ＿ｆｌａｇの値が１である場合、アフィン動き予測が使用され、ａｆｆｉｎｅ＿ｆｌａｇの値が０である場合、アフィン動き予測が使用されないことがある。ａａｍｖｐ＿ｉｄｘは、ｎ個のアフィンＭＶＰ候補のうち、最適のアフィンＭＶＰ候補を示すためのインデックス情報である。ｎが１より大きい整数の場合を示す表１では、前記ａａｍｖｐ＿ｉｄｘに基づいて最適のアフィンＭＶＰ候補を示す反面、ｎが１の場合を示す表２では、アフィンＭＶＰ候補が１つしかないので、ａａｍｖｐ＿ｉｄｘがパーシングされないことを確認することができる。
一実施例では、アフィンＭＶＰ候補を決定する際、アフィン動き予測に基づいて符号化された周辺ブロック（以下では、「アフィンコーディングブロック（ａｆｆｉｎｅ ｃｏｄｉｎｇ ｂｌｏｃｋ）」と称することもある）のアフィン動きモデルを使用することができる。一例示において、アフィンＭＶＰ候補を決定する際、第１ステップ及び第２ステップを行うことができる。第１ステップで、周辺ブロックを既定義された順序に従ってスキャン（ｓｃａｎ）しつつ、各周辺ブロックがアフィン動き予測に基づいて符号化されたか否かを確認できる。第２ステップで、アフィン動き予測に基づいて符号化された周辺ブロックを用いて、現在ブロックのアフィンＭＶＰ候補を決定することができる。
前記第１ステップでアフィン動き予測に基づいて符号化されたブロックは、最大ｍ個まで考慮し得る。例えば、ｍが１の場合、スキャニング順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）上、一番目のアフィンコーディングブロックを用いて、アフィンＭＶＰ候補を決定できる。例えば、ｍが２の場合、スキャニング順序上、一番目と二番目のアフィンコーディングブロックを用いて、少なくとも一つのアフィンＭＶＰ候補を決定することができる。その際、プルーニングチェック（ｐｒｕｎｉｎｇ ｃｈｅｃｋ）を行い、一番目のアフィンＭＶＰ候補と二番目のアフィンＭＶＰ候補とが同一である場合、さらにスキャニング過程を行い、アフィンＭＶＰ候補をさらに決定できる。一方、一例示において、本実施例で説明されたｍは、表１及び表２に対する説明で前述したｎの値を超えないことがある。
一方、前記第１のステップで周辺ブロックをスキャンしつつ、各周辺ブロックがアフィン動き予測に基づいて符号化されたかを確認する過程に対する実施例は様々なことがある。以下、図７乃至図１０では、周辺ブロックをスキャンしつつ、各周辺ブロックがアフィン動き予測に基づいて符号化されたか否かを確認する過程に対する実施例について説明することとする。
図７乃至図１０は、アフィン動き予測に基づいてコーディングされた周辺ブロックを検出する方法の例示を示している。
図７を参照すると、現在ブロックの周辺に４ｘ４のブロックであるＡ、Ｂ、Ｃ、Ｄ、及びＥが示されている。ＣＰ０の周辺に左上側コーナーの周辺ブロックであるＥブロックが位置し、ＣＰ１の周辺に右上側コーナーの周辺ブロックであるＣブロックと上側周辺ブロックであるＢブロックが位置し、ＣＰ２の周辺に左下側コーナーの周辺ブロックであるＤブロックと左側周辺ブロックであるＡブロックが位置している。図７による配置は、ＡＭＶＰ又はマージモードによる方法と構造を共有することができるので、設計コストを減らすのに寄与できる。
図８を参照すると、現在ブロックの周辺に４ｘ４のブロックでるＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、及びＧが示されている。ＣＰ０の周辺に左上側コーナーの周辺ブロックであるＥブロック、第１左側周辺ブロックであるＧブロック、及び第１上側周辺ブロックであるＦブロックが位置し、ＣＰ１の周辺に右上側周辺ブロックであるＣブロック、及び第２上側周辺ブロックであるＢブロックが位置し、ＣＰ２の周辺に左下側コーナーの周辺ブロックであるＤブロック、並びに第２左側周辺ブロックであるＡブロックが位置している。図８による配置は、３つのＣＰに隣接した４ｘ４のブロックのみに基づいてアフィン動き予測に基づいてコーディングされたか否かを判断するので、スキャニング複雑度の増加を最小化すると同時に、符号化性能の側面で効果的であり得る。
図９は、アフィン動き予測に基づいてコーディングされた周辺ブロックを検出する際にスキャンされる周辺ブロックの配置が図８と同一である。但し、図９による実施例では、現在ブロックの左側に位置した点線内に含まれた４ｘ４の周辺ブロックのうちの最大ｐ個、現在ブロックの上側に位置した点線内に含まれた４ｘ４の周辺ブロックのうちの最大ｑ個に基づいて、アフィンＭＶＰ候補を決定することができる。例えば、ｐとｑがそれぞれ１である場合、現在ブロックの左側に位置した点線内に含まれた４ｘ４の周辺ブロックのうち、スキャン順序上、一番目のアフィンコーディングブロック及び現在ブロックの上側に位置した点線内に含まれた４ｘ４の周辺ブロックのうち、スキャン順序上、一番目のアフィンコーディングブロックに基づいてアフィンＭＶＰ候補を決定することができる。
図１０を参照すると、ＣＰ０の周辺に位置した左上側コーナーの周辺ブロックであるＥブロック、第１左側周辺ブロックであるＧブロック、及び第１上側周辺ブロックであるＦブロックのうち、スキャン順序上、一番目のアフィンコーディングブロック、ＣＰ１の周辺に位置した右上側周辺ブロックであるＣブロック、及び第２上側周辺ブロックであるＢブロックのうち、スキャン順序上、一番目のアフィンコーディングブロック、並びにＣＰ２の周辺に位置した左下側コーナーの周辺ブロックであるＤブロック、及び第２左側周辺ブロックであるＡブロックのうち、スキャン順序上、一番目のアフィンコーディングブロックに基づいてアフィンＭＶＰ候補を決定することができる。
一方、前述したスキャン方法（ｓｃａｎｎｉｎｇ ｍｅｔｈｏｄ）のスキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）は、特定のエンコーディング装置又はデコーディング装置の確率及び性能分析に基づいて決定され得る。従って、一実施例によれば、スキャン順序が特定されることなく、本実施例が適用されるエンコーディング装置又はデコーディング装置の統計的特性又は性能に基づいて、スキャン順序が決定され得る。
図１１は、一実施例に係るエンコーディング装置の動作方法を示すフローチャートであり、図１２は、一実施例に係るエンコーディング装置の構成を示すブロック図である。
図１１及び図１２によるエンコーディング装置は、後述する図１３及び図１４によるデコーディング装置と対応する動作を行うことができる。従って、図１３及び図１４で後述する内容は、図１１及び図１２によるエンコーディング装置にも同様に適用され得る。
図１１に開示された各ステップは、図１に開示されたエンコーディング装置１００により行われ得る。より具体的に、Ｓ１１００乃至Ｓ１１４０は、図１に開示された予測部１１０により行われ、Ｓ１１５０は、図１に開示されたレジデュアル処理部１２０により行われ、Ｓ１１６０は、図１に開示されたエントロピーエンコーディング部１３０により行われ得る。また、Ｓ１１００乃至Ｓ１１６０による動作は、図３乃至図１０で前述した内容のうちの一部に基づいたものである。従って、図１及び図３乃至図１０で前述した内容と重複する具体的な内容は、説明を省略するか、簡単にすることとする。
図１２に示すように、一実施例に係るエンコーディング装置は、予測部１１０及びエントロピーエンコーディング部１３０を含み得る。しかし、場合に応じては、図１２に示された構成要素がいずれもエンコーディング装置の必須構成要素ではないことがあり、エンコーディング装置は、図１２に示された構成要素よりも多いか、少ない構成要素により実現され得る。
一実施例に係るエンコーディング装置で、予測部１１０及びエントロピーエンコーディング部１３０は、それぞれ別途のチップ（ｃｈｉｐ）で実現されるか、少なくとも二つ以上の構成要素が一つのチップを介して実現されることもある。
一実施例に係るエンコーディング装置は、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成することができる（Ｓ１１００）。より具体的に、エンコーディング装置の予測部１１０は、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成することができる。
一実施例に係るエンコーディング装置は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰを導出することができる（Ｓ１１１０）。より具体的に、エンコーディング装置の予測部１１０は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰを導出することができる。
一実施例に係るエンコーディング装置は、前記現在ブロックの前記ＣＰそれぞれに対するＣＰＭＶを導出することができる（Ｓ１１２０）。より具体的に、エンコーディング装置の予測部１１０は、前記現在ブロックの前記ＣＰそれぞれに対するＣＰＭＶを導出することができる。
一実施例に係るエンコーディング装置は、前記ＣＰそれぞれに対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導出することができる（Ｓ１１３０）。より具体的に、エンコーディング装置の予測部１１０は、前記ＣＰそれぞれに対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導出することができる。
一実施例に係るエンコーディング装置は、前記ＣＰＭＶに基づいて、前記現在ブロックに対する予測サンプルを導出することができる（Ｓ１１４０）。より具体的に、エンコーディング装置の予測部１１０は、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出することができる。
一実施例に係るエンコーディング装置は、前記導出された予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１１５０）。より具体的に、エンコーディング装置のレジデュアル処理部１２０は、前記導出された予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出することができる。
一実施例に係るエンコーディング装置は、前記導出されたＣＰＭＶＤに対する情報、及び前記レジデュアルサンプルに関するレジデュアル情報をエンコーディングすることができる（Ｓ１１６０）。より具体的に、エンコーディング装置のエントロピーエンコーディング部１３０は、前記導出されたＣＰＭＶＤに対する情報、及び前記レジデュアルサンプルに関するレジデュアル情報をエンコーディングすることができる。
図１１及び図１２に開示されたエンコーディング装置及びエンコーディング装置の動作方法によれば、エンコーディング装置は、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成し（Ｓ１１００）、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰを導出し（Ｓ１１１０）、前記現在ブロックの前記ＣＰそれぞれに対するＣＰＭＶを導出し（Ｓ１１２０）、前記ＣＰそれぞれに対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導出し（Ｓ１１３０）、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出し（Ｓ１１４０）、前記導出された予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出し（Ｓ１１５０）、前記導出されたＣＰＭＶＤに対する情報、及び前記レジデュアルサンプルに関するレジデュアル情報をエンコーディング（Ｓ１１６０）することができる。即ち、アフィン動き予測に用いられるアフィンＭＶＰ候補リストに対する情報をシグナリングすることによって、映像コーディングの効率を高めることができる。
図１３は、一実施例に係るデコーディング装置の動作方法を示すフローチャートであり、図１４は、一実施例に係るデコーディング装置の構成を示すブロック図である。
図１３に開示された各段階は、図２に開示されたデコーディング装置２００により行われ得る。より具体的に、Ｓ１３００は、図２に開示されたエントロピーデコーディング部２１０により行われ、Ｓ１３１０乃至Ｓ１３５０は、図２に開示された予測部２３０により行われ、Ｓ１３６０は、図２に開示された加算部２４０により行われ得る。また、Ｓ１３００乃至Ｓ１３６０による動作は、図３乃至図１０で前述した内容のうち一部に基づいたものである。従って、図２乃至図１０で前述した内容と重複する具体的な内容は、説明を省略するか、簡単にすることとする。
図１４に示すように、一実施例に係るデコーディング装置は、エントロピーデコーディング部２１０、予測部２３０、及び加算部２４０を含み得る。しかし、場合に応じては、図１４に示された構成要素がいずれもデコーディング装置の必須構成要素ではないことがあり、デコーディング装置は、図１４に示された構成要素より多いか、少ない構成要素により実現され得る。
一実施例に係るデコーディング装置で、エントロピーデコーディング部２１０、予測部２３０、及び加算部２４０は、それぞれ別途のチップ（ｃｈｉｐ）で実現されるか、少なくとも二つ以上の構成要素が一つのチップを介して実現されることもある。
一実施例に係るデコーディング装置は、ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得することができる（Ｓ１３００）。より具体的に、デコーディング装置のエントロピーデコーディング部２１０は、ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得することができる。
一実施例に係るデコーディング装置は、現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成することができる（Ｓ１３１０）。より具体的に、デコーディング装置の予測部２３０は、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成することができる。
一実施例において、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック（ｂｏｔｔｏｍ−ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）から導出され、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナーの周辺ブロック（ｔｏｐ−ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、及び左上側コーナーの周辺ブロック（ｔｏｐ−ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）から導出され得る。その際、前記第１アフィンＭＶＰ候補は、前記左側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックはアフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）に基づいてコーディングされ、前記第２アフィンＭＶＰ候補は、前記上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックは、アフィン動き予測に基づいてコーディングされたものであり得る。
別の一実施例において、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック、第１左側周辺ブロック、及び第２左側周辺ブロックを含む左側ブロックグループから導出され、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナーの周辺ブロック、第１上側周辺ブロック、第２上側周辺ブロック、及び左上側コーナーの周辺ブロックを含む上側ブロックグループから導出され得る。その際、前記第１アフィンＭＶＰ候補は、前記左側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックはアフィン動き予測に基づいてコーディングされ、前記第２アフィンＭＶＰ候補は、前記上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックはアフィン動き予測に基づいてコーディングされたものであり得る。
また別の一実施例において、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補、第２アフィンＭＶＰ候補、及び第３アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック、及び第１左側周辺ブロックを含む左下側ブロックグループから導出され、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナーの周辺ブロック及び第１上側周辺ブロックを含む右上側ブロックグループから導出され、前記第３アフィンＭＶＰ候補は、前記現在ブロックの左上側コーナーの周辺ブロック、第２上側周辺ブロック、及び第２左側周辺ブロックを含む左上側ブロックグループから導出され得る。その際、前記第１アフィンＭＶＰ候補は、前記左下側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックはアフィン動き予測に基づいてコーディングされ、前記第２アフィンＭＶＰ候補は、前記右上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックはアフィン動き予測に基づいてコーディングされ、前記第３アフィンＭＶＰ候補は、前記左上側ブロックグループに含まれた第３ブロックに基づいて導出され、前記第３ブロックはアフィン動き予測に基づいてコーディングされたものであり得る。
一実施例に係るデコーディング装置は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導出することができる（Ｓ１３２０）。より具体的に、デコーディング装置の予測部２３０は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰそれぞれに対するＣＰＭＶＰを導出することができる。
一実施例において、前記動き予測情報に含まれたアフィンＭＶＰ候補インデックスに基づいて、前記アフィンＭＶＰ候補のうち、前記一つのアフィンＭＶＰ候補が選択され得る。
一実施例に係るデコーディング装置は、前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤに対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出することができる（Ｓ１３３０）。より具体的に、デコーディング装置の予測部２３０は、前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤに対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出することができる。
一実施例に係るデコーディング装置は、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶを導出することができる（Ｓ１３４０）。より具体的に、デコーディング装置の予測部２３０は、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶを導出することができる。
一実施例に係るデコーディング装置は、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出することができる（Ｓ１３５０）。より具体的に、デコーディング装置の予測部２３０は、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出することができる。
一実施例に係るデコーディング装置は、前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成することができる（Ｓ１３６０）。より具体的に、デコーディング装置の加算部２４０は、前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成することができる。
一実施例において、前記動き予測情報は、アフィン動き予測に基づいてコーディングされた前記現在ブロックに対する周辺ブロック（ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）が存在するか否かを示すコンテキストインデックス（ｃｏｎｔｅｘｔ ｉｎｄｅｘ）に対する情報を含み得る。
一実施例において、前記第１ステップに対する説明で前述したｍの値は１であり、前記表１及び表２に対する説明で前述したｎの値は２である場合に関して、最適のアフィンＭＶＰ候補を示すためのインデックス情報を符号化及び復号化するためのＣＡＢＡＣコンテキストモデル（ＣＡＢＡＣ ｃｏｎｔｅｘｔ ｍｏｄｅｌ）が構成され得る。現在ブロックの周辺にアフィンコーディングブロックが存在する場合には、図７乃至図１０で前述したように、アフィン動きモデルに基づいて現在ブロックのアフィンＭＶＰ候補を決定できるが、現在ブロックの周辺にアフィンコーディングブロックが存在しない場合には、本実施例が適用できる。アフィンコーディングブロックに基づいてアフィンＭＶＰ候補を決定する場合、前記アフィンＭＶＰ候補の信頼性が高いので、アフィンコーディングブロックに基づいてアフィンＭＶＰ候補を決定する場合と、そうでない場合とを分類し、コンテキストモデルを設計できる。その際、アフィンコーディングブロックに基づいて決定されたアフィンＭＶＰ候補に対して、インデックス０が割り当てられ得る。本実施例に係るＣＡＢＡＣコンテキストインデックスは、下記の数式５の通りである。
Figure 2021517797
ＣＡＢＡＣコンテキストインデックスによる初期値は、下記の表３のように決定され得、ＣＡＢＡＣコンテキストインデックス及び初期値は、下記の数式６の条件を満たす必要がある。
Figure 2021517797
Figure 2021517797
図１３及び図１４のデコーディング装置及びデコーディング装置の動作方法によれば、デコーディング装置はビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得し（Ｓ１３００）、現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成し（Ｓ１３１０）、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導出し（Ｓ１３２０）、前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）に対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出し（Ｓ１３３０）、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を導出し（Ｓ１３４０）、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出し（Ｓ１３５０）、前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成（Ｓ１３６０）することができる。即ち、アフィン動き予測に用いられるアフィンＭＶＰ候補リストに対する情報をシグナリングすることによって、映像コーディングの効率を高めることができる。
一方、本明細書の前述した実施例による方法は、映像及びビデオ圧縮に関するものであって、エンコーディング装置と復号器化にすべて適用され、ビットストリームを生成する装置又はビットストリームを受信する装置にすべて適用され、端末機でディスプレイ装置を介して出力するか否かと関係なく適用され得る。例えば、映像はエンコーディング装置を有する端末により圧縮されたデータに生成され、圧縮されたデータはビットストリームの形態を有し、ビットストリームは様々な形態の保存装置に保存され、ネットワークを介してストリーミングされ、デコーディング装置を有する端末機の方に伝達され得る。端末機がディスプレイ装置を装着した場合には、ディスプレイ装置で復号された映像をディスプレイすることができ、単純にビットストリームデータを保存することもできる。
前述した本発明による方法は、ソフトウェアの形態で実現され得、本発明によるエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
前述したそれぞれのパート、モジュール又はユニットは、メモリ（又は保存ユニット）に保存された連続された実行過程を実行するプロセッサ又はハードウェアパートであり得る。前述した実施例に記述された各ステップは、プロセッサ又はハードウェアパートにより行われ得る。前述した実施例に記述された各モジュール／ブロック／ユニットは、ハードウェア／プロセッサとして動作できる。また、本発明が提示する方法は、コードとして実行され得る。このコードは、プロセッサが読むことができる保存媒体に使用され得、よって、装置（ａｐｐａｒａｔｕｓ）が提供するプロセッサにより読まれる。
前述した実施例において、方法は一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本発明は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されたステップが排他的ではなく、異なるステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響を与えずに削除され得ることを理解できるはずだ。
本発明で実施例がソフトウェアとして実現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）として実現され得る。モジュールはメモリに保存され、プロセッサにより実行され得る。メモリはプロセッサの内部または外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐＩＣａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含み得る。メモリは、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、保存媒体及び／又は他の保存装置を含み得る。

Claims (15)

  1. デコーディング装置により行われるピクチャデコーディング方法において、
    ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するステップと、
    現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成するステップと、
    前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導出するステップと、
    前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）に対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出するステップと、
    前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を導出するステップと、
    前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出するステップと、
    前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含む、ピクチャデコーディング方法。
  2. 前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック（ｂｏｔｔｏｍ−ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）から導出され、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナーの周辺ブロック（ｔｏｐ−ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、及び左上側コーナーの周辺ブロック（ｔｏｐ−ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）から導出される、請求項１に記載のピクチャデコーディング方法。
  3. 前記第１アフィンＭＶＰ候補は、前記左側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックはアフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）に基づいてコーディングされ、
    前記第２アフィンＭＶＰ候補は、前記上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックはアフィン動き予測に基づいてコーディングされた、請求項２に記載のピクチャデコーディング方法。
  4. 前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック、第１左側周辺ブロック、及び第２左側周辺ブロックを含む左側ブロックグループから導出され、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右下側コーナーの周辺ブロック、第１上側周辺ブロック、第２上側周辺ブロック、及び左上側コーナーの周辺ブロックを含む上側ブロックグループから導出される、請求項１に記載のピクチャデコーディング方法。
  5. 前記第１アフィンＭＶＰ候補は、前記左側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックは、アフィン動き予測に基づいてコーディングされ、
    前記第２アフィンＭＶＰ候補は、前記上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックは、アフィン動き予測に基づいてコーディングされた、請求項４に記載のピクチャデコーディング方法。
  6. 前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補、第２アフィンＭＶＰ候補、及び第３アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック、及び第１左側周辺ブロックを含む左下側ブロックグループから導出され、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナーの周辺ブロック及び第１上側周辺ブロックを含む右上側ブロックグループから導出され、
    前記第３アフィンＭＶＰ候補は、前記現在ブロックの左上側コーナーの周辺ブロック、第２上側周辺ブロック、及び第２左側周辺ブロックを含む左上側ブロックグループから導出される、請求項１に記載のピクチャデコーディング方法。
  7. 前記第１アフィンＭＶＰ候補は、前記左下側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックは、アフィン動き予測に基づいてコーディングされ、
    前記第２アフィンＭＶＰ候補は、前記右上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックは、アフィン動き予測に基づいてコーディングされ、
    前記第３アフィンＭＶＰ候補は、前記左上側ブロックグループに含まれた第３ブロックに基づいて導出され、前記第３ブロックは、アフィン動き予測に基づいてコーディングされた、請求項６に記載のピクチャデコーディング方法。
  8. 前記動き予測情報に含まれたアフィンＭＶＰ候補インデックスに基づいて、前記アフィンＭＶＰ候補のうち、前記アフィンＭＶＰ候補が選択される、請求項１に記載のピクチャデコーディング方法。
  9. 前記動き予測情報は、アフィン動き予測に基づいてコーディングされた前記現在ブロックに対する周辺ブロック（ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）が存在するか否かを示すコンテキストインデックス（ｃｏｎｔｅｘｔ ｉｎｄｅｘ）に対する情報を含む、請求項１に記載のピクチャデコーディング方法。
  10. エンコーディング装置により行われるピクチャエンコーディング方法において、
    現在ブロックに対するアフィンＭＶＰ候補を含むアフィンＭＶＰ候補リストを生成するステップと、
    前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰを導出するステップと、
    前記現在ブロックの前記ＣＰそれぞれに対するＣＰＭＶを導出するステップと、
    前記ＣＰそれぞれに対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導出するステップと、
    前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出するステップと、
    前記導出された予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
    前記導出されたＣＰＭＶＤに対する情報及び前記レジデュアルサンプルに関するレジデュアル情報をエンコーディングするステップと、を含む、ピクチャエンコーディング方法。
  11. 前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック（ｂｏｔｔｏｍ−ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）から導出され、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナーの周辺ブロック（ｔｏｐ−ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、及び左上側コーナーの周辺ブロック（ｔｏｐ−ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）から導出される、請求項１０に記載のピクチャエンコーディング方法。
  12. 前記第１アフィンＭＶＰ候補は、前記左側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックはアフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）に基づいてコーディングされ、
    前記第２アフィンＭＶＰ候補は、前記上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックはアフィン動き予測に基づいてコーディングされた、請求項１１に記載のピクチャエンコーディング方法。
  13. 前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナーの周辺ブロック、第１左側周辺ブロック、及び第２左側周辺ブロックを含む左側ブロックグループから導出され、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右下側コーナーの周辺ブロック、第１上側周辺ブロック、第２上側周辺ブロック、及び左上側コーナーの周辺ブロックを含む上側ブロックグループから導出される、請求項１０に記載のピクチャエンコーディング方法。
  14. 前記第１アフィンＭＶＰ候補は、前記左側ブロックグループに含まれた第１ブロックに基づいて導出され、前記第１ブロックは、アフィン動き予測に基づいてコーディングされ、
    前記第２アフィンＭＶＰ候補は、前記上側ブロックグループに含まれた第２ブロックに基づいて導出され、前記第２ブロックは、アフィン動き予測に基づいてコーディングされた、請求項１３に記載のピクチャエンコーディング方法。
  15. ピクチャデコーディングを行うデコーディング装置において、
    ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するエントロピーデコーディング部と、
    現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成し、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）それぞれに対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導出し、前記獲得した動き予測情報に含まれた前記ＣＰそれぞれに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）に対する情報に基づいて、前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＤを導出し、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶを導出し、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導出する予測部と、
    前記導出された予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成する加算部と、を含む、ピクチャデコーディング装置。
JP2021502682A 2018-04-01 2019-04-01 アフィン動き予測に基づく映像コーディング方法及び装置 Pending JP2021517797A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022185636A JP7404488B2 (ja) 2018-04-01 2022-11-21 アフィン動き予測に基づく映像コーディング方法及び装置
JP2023210128A JP2024019534A (ja) 2018-04-01 2023-12-13 アフィン動き予測に基づく映像コーディング方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862651244P 2018-04-01 2018-04-01
US62/651,244 2018-04-01
PCT/KR2019/003816 WO2019194507A1 (ko) 2018-04-01 2019-04-01 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022185636A Division JP7404488B2 (ja) 2018-04-01 2022-11-21 アフィン動き予測に基づく映像コーディング方法及び装置

Publications (1)

Publication Number Publication Date
JP2021517797A true JP2021517797A (ja) 2021-07-26

Family

ID=68101360

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021502682A Pending JP2021517797A (ja) 2018-04-01 2019-04-01 アフィン動き予測に基づく映像コーディング方法及び装置
JP2022185636A Active JP7404488B2 (ja) 2018-04-01 2022-11-21 アフィン動き予測に基づく映像コーディング方法及び装置
JP2023210128A Pending JP2024019534A (ja) 2018-04-01 2023-12-13 アフィン動き予測に基づく映像コーディング方法及び装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022185636A Active JP7404488B2 (ja) 2018-04-01 2022-11-21 アフィン動き予測に基づく映像コーディング方法及び装置
JP2023210128A Pending JP2024019534A (ja) 2018-04-01 2023-12-13 アフィン動き予測に基づく映像コーディング方法及び装置

Country Status (6)

Country Link
US (3) US11323696B2 (ja)
EP (1) EP3761644A4 (ja)
JP (3) JP2021517797A (ja)
KR (3) KR102455561B1 (ja)
CN (5) CN116684590A (ja)
WO (1) WO2019194507A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191890A1 (zh) 2018-04-02 2019-10-10 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2020050281A1 (ja) * 2018-09-06 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2020233660A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax-based motion candidate derivation in sub-block merge mode
EP4333431A1 (en) 2019-10-18 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Syntax constraints in parameter set signaling of subpictures
WO2021110017A1 (en) * 2019-12-02 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Merge with motion vector differencing in affine mode
WO2024017224A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Affine candidate refinement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165278A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
WO2017133243A1 (zh) * 2016-02-06 2017-08-10 华为技术有限公司 图像编解码方法及装置
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
BR112017019264B1 (pt) * 2015-03-10 2023-12-12 Huawei Technologies Co., Ltd Método de predição de imagem e dispositivo relacionado
CN106303543B (zh) * 2015-05-15 2018-10-30 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
KR20180028513A (ko) * 2015-08-04 2018-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN108600749B (zh) * 2015-08-29 2021-12-28 华为技术有限公司 图像预测的方法及设备
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
WO2017171107A1 (ko) * 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165278A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
WO2017133243A1 (zh) * 2016-02-06 2017-08-10 华为技术有限公司 图像编解码方法及装置
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, ET AL.: "Algorithm Description of Joint Exploration Test Model 3", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-C1001_v3, JPN6022030039, 6 July 2016 (2016-07-06), pages 16 - 18, ISSN: 0005001181 *
YI-WEN CHEN, ET AL.: "Improved Affine Motion Vector Coding", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-D0128, JPN6021049546, 19 October 2016 (2016-10-19), ISSN: 0005001180 *

Also Published As

Publication number Publication date
KR102455561B1 (ko) 2022-10-17
CN116684590A (zh) 2023-09-01
JP2023010845A (ja) 2023-01-20
CN116781929A (zh) 2023-09-19
US20220224889A1 (en) 2022-07-14
US11611744B2 (en) 2023-03-21
WO2019194507A1 (ko) 2019-10-10
KR20200108084A (ko) 2020-09-16
KR20230124767A (ko) 2023-08-25
CN116684639A (zh) 2023-09-01
US20210021813A1 (en) 2021-01-21
US11323696B2 (en) 2022-05-03
JP2024019534A (ja) 2024-02-09
EP3761644A4 (en) 2021-01-20
CN116684638A (zh) 2023-09-01
EP3761644A1 (en) 2021-01-06
KR20220143964A (ko) 2022-10-25
CN112042198A (zh) 2020-12-04
JP7404488B2 (ja) 2023-12-25
CN112042198B (zh) 2023-08-08
KR102568879B1 (ko) 2023-08-21
US20230209044A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
JP6781340B2 (ja) 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
US10602138B2 (en) Method and device for chroma sample intra prediction in video coding system
JP7422913B2 (ja) 変換に基づく映像コーディング方法及びその装置
US10721479B2 (en) Intra prediction method and apparatus in image coding system
JP7404488B2 (ja) アフィン動き予測に基づく映像コーディング方法及び装置
US10841576B2 (en) Affine motion prediction-based image decoding method and apparatus using affine MVP candidate list in image coding system
US10778985B2 (en) Method and apparatus for intra prediction in video coding system
KR102592642B1 (ko) 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US11418803B2 (en) Intra-prediction-based image coding method and device therefor
US10812796B2 (en) Image decoding method and apparatus in image coding system
KR20220019258A (ko) 영상 코딩 시스템에서 영상 코딩 방법 및 장치
JP2021518084A (ja) 動きベクトルに基づく映像コーディング方法およびその装置
KR102610110B1 (ko) 비디오 처리 시스템에서 인터 예측 방법 및 장치
US11240535B2 (en) Method and device for filtering image in image coding system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221201

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230303

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230307

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240423