JP2022113815A - 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置 - Google Patents

映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置 Download PDF

Info

Publication number
JP2022113815A
JP2022113815A JP2022095981A JP2022095981A JP2022113815A JP 2022113815 A JP2022113815 A JP 2022113815A JP 2022095981 A JP2022095981 A JP 2022095981A JP 2022095981 A JP2022095981 A JP 2022095981A JP 2022113815 A JP2022113815 A JP 2022113815A
Authority
JP
Japan
Prior art keywords
block
current block
affine
peripheral
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022095981A
Other languages
English (en)
Other versions
JP7431889B2 (ja
Inventor
チェホ イ
Jae Ho Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022113815A publication Critical patent/JP2022113815A/ja
Priority to JP2024014784A priority Critical patent/JP2024036478A/ja
Application granted granted Critical
Publication of JP7431889B2 publication Critical patent/JP7431889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】映像コーディング効率を上げる方法及び装置を提供する。【解決手段】デコード装置によって行われる映像デコード方法は、ビットストリームから現在ブロックに対する動き予測情報を獲得するステップと、前記現在ブロックに対するアフィン動きベクトル予測子候補を含むアフィンＭＶＰ候補リストを生成するステップと、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰに対するＣＰＭＶＰを導き出すステップと、前記動き予測情報に基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導き出すステップと、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶを導き出すステップと、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出すステップとを含む。【選択図】図１８

Description

本文書は、映像コーディング技術に関し、さらに詳細には、映像コーディングシステムにおけるアフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）に基づいた映像デコード方法及び装置に関する。
最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像のような高解像度、高品質の映像に対する需要が多様な分野において増加しつつある。映像データが高解像度、高品質になるほど、従来の映像データに比べて相対的に転送される情報量またはビット量が増加するから、従来の有無線広帯域回線のような媒体を利用して映像データを転送するか、または従来の格納媒体を利用して映像データを格納する場合、転送費用と格納費用が増加する。
そのため、高解像度、高品質映像の情報を効果的に転送または格納し、再生するために、高効率の映像圧縮技術が求められる。
本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、アフィン予測が適用された周辺ブロックに基づいて前記現在ブロックのアフィンＭＶＰ候補リストを導き出し、導き出されたアフィンＭＶＰ候補リストに基づいて前記現在ブロックに対する予測を行う映像デコード方法及び装置を提供することにある。
本文書の他の技術的課題は、左側ブロックグループに基づいて第１アフィンＭＶＰ候補を導き出し、上側ブロックグループに基づいて第２アフィンＭＶＰ候補を導き出して、前記現在ブロックのアフィンＭＶＰ候補リストを導き出し、導き出されたアフィンＭＶＰ候補リストに基づいて、前記現在ブロックに対する予測を行う映像デコード方法及び装置を提供することにある。
本文書の一実施形態によれば、デコード装置によって行われる映像デコード方法が提供される。前記方法は、ビットストリームから現在ブロックに対する動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するステップと、前記現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成するステップと、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出すステップと、前記動き予測情報に基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出すステップと、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓ）を導き出すステップと、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出すステップと、前記導き出された予測サンプルに基づいて、前記現在ブロックに対する復元ピクチャを生成するステップとを含むものの、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出され、前記第１ブロックは、アフィン動きモデルでコーディングされ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一で、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出され、前記第２ブロックは、アフィン動きモデルでコーディングされ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同じであることを特徴とする。
本発明の他の一実施形態によれば、映像デコードを行うデコード装置が提供される。前記デコード装置は、ビットストリームから現在ブロックに対する動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するエントロピーデコード部と、前記現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成し、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出し、前記動き予測情報に基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出し、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓ）を導き出し、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出す予測部と、前記導き出された予測サンプルに基づいて、前記現在ブロックに対する復元ピクチャを生成する加算部とを含むものの、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出され、前記第１ブロックは、アフィン動きモデルでコーディングされ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一で、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出され、前記第２ブロックは、アフィン動きモデルでコーディングされ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同じであることを特徴とする。
本文書のさらに他の一実施形態によれば、エンコード装置によって行われるビデオエンコード方法を提供する。前記方法は、現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成するステップと、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出すステップと、前記現在ブロックの前記ＣＰに対するＣＰＭＶを導き出すステップと、前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出すステップと、前記ＣＰＭＶＤに対する情報を含む動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）をエンコードするステップとを含むものの、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出され、前記第１ブロックは、アフィン動きモデルでコーディングされ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一で、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出され、前記第２ブロックは、アフィン動きモデルでコーディングされ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同じであることを特徴とする。
本文書のさらに他の一実施形態によれば、ビデオエンコード装置を提供する。前記エンコード装置は、現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成し、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出し、前記現在ブロックの前記ＣＰに対するＣＰＭＶを導き出す予測部と、前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出す減算部と、前記ＣＰＭＶＤに対する情報を含む動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）をエンコードするエントロピーエンコード部とを含むものの、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出され、前記第１ブロックは、アフィン動きモデルでコーディングされ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一で、前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出され、前記第２ブロックは、アフィン動きモデルでコーディングされ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同じであることを特徴とする。
本文書によれば、全般的な映像／ビデオ圧縮効率を上げることができる。
本文書によれば、アフィン動き予測に基づいた映像コーディングの効率を上げることができる。
本文書によれば、アフィンＭＶＰ候補リストを導き出すことにおいて、周辺ブロックを左側ブロックグループ及び上側ブロックグループに分け、各ブロックグループにおいてＭＶＰ候補を導き出して、アフィンＭＶＰ候補リストを構成でき、これによってアフィンＭＶＰ候補リストを構成する過程の複雑度を減らし、コーディング効率を向上させることができる。
本文書が適用されることができるビデオエンコード装置の構成を概略的に説明する図である。 本文書が適用されることができるビデオデコード装置の構成を概略的に説明する図である。 前記アフィン動きモデルを介して表現される動きを例示的に示す。 ３個のコントロールポイントに対する動きベクトルが使用される前記アフィン動きモデルを例示的に示す。 ２個のコントロールポイントに対する動きベクトルが使用される前記アフィン動きモデルを例示的に示す。 前記アフィン動きモデルに基づいてサブブロック単位で動きベクトルを誘導する方法を例示的に示す。 本文書の一実施形態によるアフィン動き予測方法のフローチャートを例示的に示す。 本文書の一実施形態によるコントロールポイントでの動きベクトル予測子を導き出す方法を説明するための図である。 本文書の一実施形態によるコントロールポイントでの動きベクトル予測子を導き出す方法を説明するための図である。 周辺ブロックＡがアフィンマージ候補として選択された場合に行われるアフィン予測の一例を示す。 前記継承されたアフィン候補を導き出すための周辺ブロックを例示的に示す。 前記コンストラクテッドアフィン候補に対する空間的候補を例示的に示す。 アフィンＭＶＰリストを構成する一例を例示的に示す。 アフィンＭＶＰリストを構成する一例を例示的に示す。 アフィンＭＶＰリストを構成する一例を例示的に示す。 本文書によるエンコード装置による映像エンコード方法を概略的に示す。 本文書による映像エンコード方法を行うエンコード装置を概略的に示す。 本文書によるデコード装置による映像デコード方法を概略的に示す。 本文書による映像デコード方法を行うデコード装置を概略的に示す。 本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。
本文書は、多様な変更を加えることができ、様々な実施形態を有することができるから、特定実施形態を図面に例示し詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書において常用する用語は、但し特定の実施形態を説明するために使用されたもので、本文書の技術的思想を限定しようとする意図として使用されるものではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本明細書において“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたことが存在することを指定しようとすることであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解されなければならない。
一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に示されたものであり、各構成が互いに別のハードウェアまたは別のソフトウェアにより具現化されるということを意味しない。例えば、各構成のうち、二つ以上の構成が合わせられて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施形態も本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。
以下、添付した図面を参照して、本文書の好ましい実施形態をさらに詳細に説明する。以下、図面上の同じ構成要素については、同じ参照符号を使用し同じ構成要素について重なった説明は省略する。
一方、本文書は、ビデオ／映像コーディングに関する。例えば、本文書において開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準または次世代ビデオ／イメージコーディング標準に開示された方法に適用されることができる。
本明細書においてピクチャ（ｐｉｃｔｕｒｅ）は、一般に特定時間帯の一つの映像を表す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されることができ、必要に応じてピクチャ及びスライスは、互いに混用して使用されることができる。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または映像）を構成する最小の単位を意味できる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般にピクセルまたはピクセルの値を表すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値だけを表すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値だけを表すこともできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を表す。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち、少なくとも一つを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表すことができる。
図１は、本文書が適用されうるビデオエンコード装置の構成を概略的に説明する図である。
図１を参照すると、ビデオエンコード装置１００は、ピクチャ分割部１０５、予測部１１０、レジデュアル処理部１２０、エントロピーエンコード部１３０、加算部１４０、フィルタ部１５０及びメモリ１６０を含むことができる。レジデュアル処理部１２０は、減算部１２１、変換部１２２、量子化部１２３、再整列部１２４、逆量子化部１２５及び逆変換部１２６を含むことができる。
ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。
一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ）構造に従って再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造及び／またはバイナリツリー構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えばクアッドツリー構造がまず適用され、バイナリツリー構造が後ほど適用されることができる。または、バイナリツリー構造がまず適用されることもできる。もうこれ以上分割されない最終コーディングユニットに基づいて、本文書によるコーディング手順が行われることができる。この場合、映像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直に最終コーディングユニットとして使用されることができ、または必要によってコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。
他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からクアッドツリー構造に従って下位（ｄｅｅｐｅｒ）デプスのコーディングユニットに分割（ｓｐｌｉｔ）されることができる。この場合、映像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直に最終コーディングユニットとして使用されることができ、または必要によってコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。最小コーディングユニット（ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットよりさらに小さなコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割される基盤になるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットでありうる。このとき、予測ユニットは、サブブロック（ｓｕｂ ｂｌｏｃｋ）に分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造に従って分割されることができ、変換係数を誘導するユニット及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットでありうる。以下、コーディングユニットは、コーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは、予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは、変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）と呼ばれることができる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味でき、予測サンプルのアレイ（ａｒｒａｙ）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味でき、変換係数またはレジデュアルサンプルのアレイを含むことができる。
予測部１１０は、処理対象ブロック（以下、現在ブロックという）に対した予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部１１０において行われる予測の単位は、コーディングブロックでもあり、変換ブロック場合でもあり、予測ブロックでもある。
予測部１１０は、現在ブロックにイントラ予測が適用されるか、それともインター予測が適用されるかを決定できる。一例として、予測部１１０は、ＣＵ単位としてイントラ予測またはインター予測が適用されるかを決定できる。
イントラ予測の場合に、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロック外部の参照サンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。このとき、予測部１１０は、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）あるいはインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導でき、（ｉｉ）現在ブロックの周辺参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性モードまたは非角度モード、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。イントラ予測において予測モードは、例えば３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非方向性モードは、ＤＣ予測モード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
インター予測の場合に、予測部１１０は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを誘導できる。スキップモードとマージモードの場合に、予測部１１０は、周辺ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（レジデュアル）が転送されない。ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用して、現在ブロックの動きベクトル予測子として利用して、現在ブロックの動きベクトルを誘導できる。
インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルと参照ピクチャインデックスを含むことができる。予測モード情報と動き情報などの情報は、（エントロピー）エンコードされて、ビットストリーム形態で出力されることができる。
スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）に含まれる参照ピクチャは、現在ピクチャと該当参照ピクチャ間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差に基づいて整列されることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分されることができる。
減算部１２１は、原本サンプルと予測サンプル間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、上述したように、レジデュアルサンプルを生成しなくても良い。
変換部１２２は、変換ブロック単位でレジデュアルサンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードに応じて変換を行うことができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４のレジデュアルアレイ（ａｒｒａｙ）であると、レジデュアルサンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換ケネルを利用して変換され、その他の場合であると、レジデュアルサンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換ケネルを利用して変換できる。
量子化部１２３は、変換係数を量子化して、量子化された変換係数を生成できる。
再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法によりブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別の構成として説明したが、再整列部１２４は、量子化部１２３の一部でありうる。
エントロピーエンコード部１３０は、量子化された変換係数に対するエントロピーエンコードを行うことができる。エントロピーエンコードは、例えば指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのようなエンコード方法を含むことができる。エントロピーエンコード部１３０は、量子化された変換係数の他、ビデオ復元に必要な情報（例えばシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別にエンコードすることもできる。エントロピーエンコードされた情報は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で転送または格納されることができる。
逆量子化部１２５は、量子化部１２３において量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５において逆量子化された値を逆変換して、レジデュアルサンプルを生成する。
加算部１４０は、レジデュアルサンプルと予測サンプルを合わせてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位で加えられて復元ブロックが生成されることができる。ここで加算部１４０は、別の構成として説明したが、加算部１４０は、予測部１１０の一部でありうる。一方、加算部１４０は、復元部または復元ブロック生成部と呼ばれることができる。
復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用できる。デブロッキングフィルタリング及び／またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトまたは量子化過程での歪みが補正されうる。サンプル適応的オフセットは、サンプル単位で適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応的オフセットが適用された後の復元されたピクチャに対して適用されることができる。
メモリ１６０は、復元ピクチャ（デコードされたピクチャ）またはエンコード／デコードに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部１５０によってフィルタリング手順が完了した復元ピクチャでありうる。前記格納された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に用いられる（参照）ピクチャを格納することができる。このとき、インター予測に用いられるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）あるいは参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されることができる。
図２は、本文書が適用されることができるビデオデコード装置の構成を概略的に説明する図である。
図２を参照すると、ビデオデコード装置２００は、エントロピーデコード部２１０、レジデュアル処理部２２０、予測部２３０、加算部２４０、フィルタ部２５０及びメモリ２６０を含むことができる。ここで、レジデュアル処理部２２０は、再整列部２２１、逆量子化部２２２、逆変換部２２３を含むことができる。
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置２００は、ビデオエンコード装置においてビデオ情報が処理されたプロセスに対応してビデオを復元できる。
例えば、ビデオデコード装置２００は、ビデオエンコード装置において適用された処理ユニットを利用して、ビデオデコードを行うことができる。したがって、ビデオデコードの処理ユニットブロックは、一例としてコーディングユニットでありえ、他の例としてコーディングユニット、予測ユニットまたは変換ユニットでありうる。コーディングユニットは、最大コーディングユニットからクアッドツリー構造及び／またはバイナリツリー構造に従って分割されることができる。
予測ユニット及び変換ユニットが場合によってより使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットでありうる。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造に従って分割されることができ、変換係数を誘導するユニットまたは変換係数からレジデュアル信号を誘導するユニットでありうる。
エントロピーデコード部２１０は、ビットストリームをパッシングしてビデオ復元またはピクチャ復元に必要な情報を出力できる。例えば、エントロピーデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。
さらに詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームにおいて各構文要素に該当するビンを受信し、デコード対象構文要素情報と周辺及びデコード対象ブロックのデコード情報あるいは以前ステップにおいてデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルに応じてビン（ｂｉｎ）の発生確率を予測して、ビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って、各構文要素の値に該当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後に次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して、文脈モデルをアップデートできる。
エントロピーデコード部２１０においてデコードされた情報のうち、予測に関する情報は予測部２３０に提供され、エントロピーデコード部２１０においてエントロピーデコードが行われたレジデュアル値、すなわち量子化された変換係数は、再整列部２２１に入力されることができる。
再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列することができる。再整列部２２１は、エンコード装置において行われた係数スキャニングに対応して再整列を行うことができる。ここで、再整列部２２１は、別の構成として説明したが、再整列部２２１は、逆量子化部２２２の一部であっても良い。
逆量子化部２２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して、変換係数を出力できる。このとき、量子化パラメータを誘導するための情報は、エンコード装置からシグナリングされることができる。
逆変換部２２３は、変換係数を逆変換してレジデュアルサンプルを誘導できる。
予測部２３０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部２３０において行われる予測の単位は、コーディングブロックでもあり、変換ブロックでもあり、予測ブロックでもある。
予測部２３０は、前記予測に関する情報に基づいてイントラ予測を適用するか、またはインター予測を適用するかを決定できる。このとき、イントラ予測とインター予測のうち、どれを適用するかを決定する単位と予測サンプルを生成する単位とは異なりうる。また、インター予測とイントラ予測において予測サンプルを生成する単位もまた相異なることができる。例えば、インター予測とイントラ予測のうち、どれを適用するかは、ＣＵ単位で決定できる。また、例えば、インター予測においてＰＵ単位で予測モードを決定し、予測サンプルを生成でき、イントラ予測においてＰＵ単位で予測モードを決定し、ＴＵ単位で予測サンプルを生成することもできる。
イントラ予測の場合に、予測部２３０は、現在ピクチャ内の周辺参照サンプルに基づいて、現在ブロックに対する予測サンプルを誘導できる。予測部２３０は、現在ブロックの周辺参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを誘導できる。このとき、周辺ブロックのイントラ予測モードを利用して、現在ブロックに適用する予測モードが決定されることもできる。
インター予測の場合に、予測部２３０は、参照ピクチャ上において動きベクトルにより参照ピクチャ上において特定されるサンプルに基づいて現在ブロックに対する予測サンプルを誘導できる。予測部２３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを誘導できる。このとき、ビデオエンコード装置から提供された現在ブロックのインター予測に必要な動き情報、例えば動きベクトル、参照ピクチャインデックスなどに関する情報は、前記予測に関する情報に基づいて獲得または誘導されることができる
スキップモードとマージモードの場合に、周辺ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
予測部２３０は、可用の周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。
スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（レジデュアル）が転送されない。
ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用して、現在ブロックの動きベクトルが誘導されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
一例として、マージモードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び／または時間的周辺ブロックであるＣｏｌブロックに対応する動きベクトルを利用して、マージ候補リストが生成されることができる。マージモードでは、マージ候補リストから選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして使用される。前記予測に関する情報は、前記マージ候補リストに含まれた候補ブロックの中から選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、前記マージインデックスを利用して、現在ブロックの動きベクトルを導き出すことができる。
他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び／または時間的周辺ブロックであるＣｏｌブロックに対応する動きベクトルを利用して、動きベクトル予測子候補リストが生成されることができる。すなわち、復元された空間的周辺ブロックの動きベクトル及び／または時間的周辺ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使用されることができる。前記予測に関する情報は、前記リストに含まれた動きベクトル候補の中から選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、前記動きベクトルインデックスを利用して、動きベクトル候補リストに含まれた動きベクトル候補の中から、現在ブロックの予測動きベクトルを選択できる。エンコード装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコードしてビットストリーム形態で出力できる。すなわち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値で求めることができる。このとき、予測部２３０は、前記予測に関する情報に含まれた動きベクトル差分を獲得し、前記動きベクトル差分と前記動きベクトル予測子の加算を介して現在ブロックの前記動きベクトルを導き出すことができる。予測部は、また参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に関する情報から獲得または誘導できる。
加算部２４０は、レジデュアルサンプルと予測サンプルを足して現在ブロックあるいは現在ピクチャを復元できる。加算部２４０は、レジデュアルサンプルと予測サンプルをブロック単位で足して、現在ピクチャを復元することもできる。スキップモードが適用された場合には、レジデュアルが転送されないので、予測サンプルが復元サンプルになることができる。ここでは、加算部２４０を別の構成として説明したが、加算部２４０は、予測部２３０の一部でありうる。一方、加算部２４０は、復元部または復元ブロック生成部と呼ばれることができる。
フィルタ部２５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応的オフセット、及び／またはＡＬＦなどを適用できる。このとき、サンプル適応的オフセットは、サンプル単位で適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応的オフセット以後に適用されることもできる。
メモリ２６０は、復元ピクチャ（デコードされたピクチャ）またはデコードに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部２５０によってフィルタリング手順が完了した復元ピクチャでありうる。例えば、メモリ２６０は、インター予測に用いられるピクチャを格納することができる。このとき、インター予測に用いられるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序に従って出力することもできる。
一方、インター予測の場合、映像の歪みを考慮したインター予測方法が提案されている。具体的に、現在ブロックのサブブロックまたはサンプルポイントに対する動きベクトルを效率的に導き出し、映像の回転、ズームインまたはズームアウトなどの変形にもかかわらず、インター予測の正確度を高めるアフィン動きモデルが提案されている。すなわち、現在ブロックのサブブロックまたはサンプルポイントに対する動きベクトルを導き出すアフィン動きモデルが提案されている。前記アフィン動きモデルを使用する予測は、アフィンインター予測（ａｆｆｉｎｅ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）またはアフィンモーション予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。
例えば、前記アフィン動きモデルを使用する前記アフィンインター予測は、後述する内容のように、４通りの動き、すなわち、後述する内容のような４通りの変形を效率的に表現できる。
図３は、前記アフィン動きモデルを介して表現される動きを例示的に示す。図３を参照すると、前記アフィン動きモデルを介して表現されることができる動きは、並進（ｔｒａｎｓｌａｔｅ）動き、スケール（ｓｃａｌｅ）動き、回転（ｒｏｔａｔｅ）動き及びせん断（ｓｈｅａｒ）動きを含むことができる。すなわち、図３に示す時間の流れに従って、映像（の一部）が平面移動する並進動きだけでなく、時間の流れに従って映像（の一部）がスケール（ｓｃａｌｅ）されるスケール動き、時間の流れに従って映像（の一部）が回転する回転動き、時間の流れに従って映像（の一部）が平衡正方形変形されるせん断動きを前記アフィンインター予測を介して效率的に表現できる。
エンコード装置／デコード装置は、前記アフィンインター予測を介して現在ブロックのコントロールポイント（ｃｏｎｔｒｏｌ ｐｏｉｎｔ、ＣＰ）での動きベクトルに基づいて、前記映像の歪み形態を予測でき、これを通じて予測の正確度を高めることによって、映像の圧縮性能を向上させることができる。また、前記現在ブロックの周辺ブロックの動きベクトルを利用して、前記現在ブロックの少なくとも一つのコントロールポイントに対する動きベクトルが誘導されうるので、追加される付加情報に対するデータ量負担を減らし、インター予測効率をかなり向上させることができる。
前記アフィンインター予測の一例として、３個のコントロールポイント、すなわち３個の基準点での動き情報を必要とすることができる。
図４は、３個のコントロールポイントに対する動きベクトルが使用される前記アフィン動きモデルを例示的に示す。
現在ブロック４００内の左上端（ｔｏｐ－ｌｅｆｔ）サンプル位置（ｐｏｓｉｔｉｏｎ）を（０，０）とする場合、前記図４に示すように、（０，０）、（ｗ，０）、（０，ｈ）サンプルポジションを前記コントロールポイントと決めることができる。以下（０，０）サンプルポジションのコントロールポイントは、ＣＰ０、（ｗ，０）、サンプルポジションのコントロールポイントは、ＣＰ１、（０，ｈ）サンプルポジションのコントロールポイントは、ＣＰ２と表すことができる。
上述した各コントロールポイントと該当コントロールポイントに対する動きベクトルを利用して、前記アフィン動きモデルに対する式が導き出されることができる。前記アフィン動きモデルに対する式は、次の通りに表すことができる。
Figure 2022113815000002
式中、ｗは、前記現在ブロック４００の幅（ｗｉｄｔｈ）を表し、ｈは、前記現在ブロック４００の高さ（ｈｅｉｇｈｔ）を表し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を表し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を表し、ｖ２ｘ、ｖ２ｙは、それぞれＣＰ２の動きベクトルのｘ成分、ｙ成分を表す。また、ｘは、前記現在ブロック４００内の対象サンプルの位置のｘ成分を表し、ｙは、前記現在ブロック４００内の前記対象サンプルの前記位置のｙ成分を表し、ｖｘは、前記現在ブロック４００内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック４００内の前記対象サンプルの前記動きベクトルのｙ成分を表す。
前記ＣＰ０の動きベクトル、前記ＣＰ１の動きベクトル及び前記ＣＰ２の動きベクトルは知っているので、前記式１に基づいて現在ブロック内のサンプル位置に応じる動きベクトルが誘導されることができる。すなわち、前記アフィン動きモデルによると、対象サンプルの座標（ｘ、ｙ）と３個のコントロールポイントとの距離比に基づいて、前記コントロールポイントでの動きベクトルｖ０（ｖ０ｘ、ｖ０ｙ）、ｖ１（ｖ１ｘ、ｖ１ｙ）、ｖ２（ｖ２ｘ、ｖ２ｙ）がスケーリングされて、前記対象サンプル位置に応じる前記対象サンプルの動きベクトルが導き出されることができる。すなわち、前記アフィン動きモデルによれば、前記コントロールポイントの動きベクトルに基づいて、前記現在ブロック内の各サンプルの動きベクトルが導き出されることができる。一方、前記アフィン動きモデルに応じて導き出された前記現在ブロック内のサンプルの動きベクトルの集合は、アフィン動きベクトルフィールド（ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ、ＭＶＦ）と表すことができる。
一方、前記式１に対する６個のパラメータは、次の式のようにａ、ｂ、ｃ、ｄ、ｅ、ｆで表すことができ、前記６個のパラメータで表した前記アフィン動きモデルに対する式は、次の通りでありうる。
Figure 2022113815000003
式中、ｗは、前記現在ブロック４００の幅（ｗｉｄｔｈ）を表し、ｈは、前記現在ブロック４００の高さ（ｈｅｉｇｈｔ）を表し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を表し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を表し、ｖ２ｘ、ｖ２ｙは、それぞれＣＰ２の動きベクトルのｘ成分、ｙ成分を表す。また、ｘは、前記現在ブロック４００内の対象サンプルの位置のｘ成分を表し、ｙは、前記現在ブロック４００内の前記対象サンプルの前記位置のｙ成分を表し、ｖｘは、前記現在ブロック４００内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック４００内の前記対象サンプルの前記動きベクトルのｙ成分を表す。
前記６個のパラメータを使用する前記アフィン動きモデルまたは前記アフィンインター予測は、６パラメータアフィン動きモデルまたはＡＦ６と表すことができる。
また、前記アフィンインター予測の一例として、２個のコントロールポイント、すなわち２個の基準点での動き情報を必要とすることができる。
図５は、２個のコントロールポイントに対する動きベクトルが使用される前記アフィン動きモデルを例示的に示す。２個のコントロールポイントを使用する前記アフィン動きモデルは、並進動き、スケール動き、回転動きを含む３通りの動きを表現できる。３通りの動きを表現する前記アフィン動きモデルは、シミラリティアフィン動きモデル（ｓｉｍｉｌａｒｉｔｙ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）またはシンプリファイドアフィン動きモデル（ｓｉｍｐｌｉｆｉｅｄ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）と表すことができる。
現在ブロック５００内の左上端（ｔｏｐ－ｌｅｆｔ）サンプル位置（ｐｏｓｉｔｉｏｎ）を（０，０）とする場合、前記図５に示すように、（０，０）、（ｗ，０）、サンプルポジションを前記コントロールポイントで決めることができる。以下（０，０）サンプルポジションのコントロールポイントは、ＣＰ０、（ｗ，０）、サンプルポジションのコントロールポイントは、ＣＰ１と表すことができる。
上述した各コントロールポイントと該当コントロールポイントに対する動きベクトルを利用して、前記アフィン動きモデルに対する式が導き出されることができる。前記アフィン動きモデルに対する式は、次の通りに表すことができる。
Figure 2022113815000004
式中、ｗは、前記現在ブロック５００の幅（ｗｉｄｔｈ）を表し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を表し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を表す。また、ｘは、前記現在ブロック５００内の対象サンプルの位置のｘ成分を表し、ｙは、前記現在ブロック５００内の前記対象サンプルの前記位置のｙ成分を表し、ｖｘは、前記現在ブロック５００内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック５００内の前記対象サンプルの前記動きベクトルのｙ成分を表す。
一方、前記式３に対する４個のパラメータは、次の式のようにａ、ｂ、ｃ、ｄで表すことができ、前記４個のパラメータで表した前記アフィン動きモデルに対する式は、次の通りでありうる。
Figure 2022113815000005
式中、ｗは、前記現在ブロック５００の幅（ｗｉｄｔｈ）を表し、ｖ０ｘ、ｖ０ｙは、それぞれＣＰ０の動きベクトルのｘ成分、ｙ成分を表し、ｖ１ｘ、ｖ１ｙは、それぞれＣＰ１の動きベクトルのｘ成分、ｙ成分を表す。また、ｘは、前記現在ブロック５００内の対象サンプルの位置のｘ成分を表し、ｙは、前記現在ブロック５００内の前記対象サンプルの前記位置のｙ成分を表し、ｖｘは、前記現在ブロック５００内の前記対象サンプルの動きベクトルのｘ成分、ｖｙは、現在ブロック５００内の前記対象サンプルの前記動きベクトルのｙ成分を表す。前記２個のコントロールポイントを使用する前記アフィン動きモデルは、前記式４のように４個のパラメータａ、ｂ、ｃ、ｄで表れることができるから、前記４個のパラメータを使用する前記アフィン動きモデルまたは前記アフィンインター予測は、４パラメータアフィン動きモデルまたはＡＦ４と表すことができる。すなわち、前記アフィン動きモデルによれば、前記コントロールポイントの動きベクトルに基づいて、前記現在ブロック内の各サンプルの動きベクトルが導き出されることができる。一方、前記アフィン動きモデルに応じて導き出された前記現在ブロック内のサンプルの動きベクトルの集合は、アフィン動きベクトルフィールド（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ、ＭＶＦ）と表すことができる。
一方、上述した内容のように、前記アフィン動きモデルを介してサンプル単位の動きベクトルが導き出されることができ、これによりインター予測の正確度がかなり向上することができる。ただし、この場合、動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）過程での複雑度が大きく増加しうる。
このため、サンプル単位の動きベクトルが導き出される代わりに、前記現在ブロック内のサブブロック単位の動きベクトルが導き出されるように制限できる。
図６は、前記アフィン動きモデルに基づいてサブブロック単位で動きベクトルを誘導する方法を例示的に示す。図６は、前記現在ブロックのサイズが１６×１６で、４×４サブブロック単位で動きベクトルが誘導される場合を例示的に示す。前記サブブロックは、多様なサイズに設定されることができ、例えば、サブブロックがｎ×ｎサイズ（ｎは、正の整数、ｅｘ、ｎは、４）に設定された場合、前記アフィン動きモデルに基づいて現在ブロック内のｎ×ｎサブブロック単位で動きベクトルが導き出されることができ、各サブブロックを代表する動きベクトルを誘導するための多様な方法が適用されることができる。
例えば、図６を参照すると、各サブブロックのセンターまたはセンター右下側（ｌｏｗｅｒ ｒｉｇｈｔ ｓｉｄｅ）サンプルポジションを代表座標として、各サブブロックの動きベクトルが導き出されることができる。ここで、センター右下側ポジションとは、サブブロックのセンターに位置する４個のサンプルのうち、右下側に位置するサンプルポジションを表すことができる。例えば、ｎが奇数の場合、サブブロックの真ん中には、一つのサンプルが位置でき、この場合、センターサンプルポジションが前記サブブロックの動きベクトルの導出のために使用されることができる。しかし、ｎが偶数の場合、サブブロックの中央には、４個のサンプルが隣接して位置でき、この場合、右下側サンプルポジションが前記動きベクトルの導出のために使用されることができる。例えば、図６を参照すると、各サブブロック別代表座標は、（２，２）、（６，２）、（１０，２），．．．，（１４，１４）に導き出されることができ、エンコード装置／デコード装置は、前記サブブロックの代表座標の各々を上述した式１または３に代入して、各サブブロックの動きベクトルを導き出すことができる。前記アフィン動きモデルを介して導き出された現在ブロック内のサブブロックの動きベクトルは、アフィンＭＶＦと表すことができる。
一方、一例として、前記現在ブロック内のサブブロックのサイズは、次のような式に基づいて導き出されることもできる。
Figure 2022113815000006
式中、Ｍは、サブブロックの幅（ｗｉｄｔｈ）を表し、Ｎは、サブブロックの高さ（ｈｅｉｇｈｔ）を表す。また、ｖ０ｘ、ｖ０ｙは、各々前記現在ブロックのＣＰＭＶ０のｘ成分、ｙ成分を表し、ｖ０ｘ、ｖ０ｙは、各々前記現在ブロックのＣＰＭＶ１のｘ成分、ｙ成分を表し、ｗは、前記現在ブロックの幅を表し、ｈは、前記現在ブロックの高さを表し、ＭｖＰｒｅは、動きベクトル分数正確度（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｒａｃｔｉｏｎ ａｃｃｕｒａｃｙ）を表す。例えば、前記動きベクトル分数正確度は、１／１６に設定されることができる。
一方、上述したアフィン動きモデルを使用したインター予測、すなわち、アフィン動き予測は、アフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ、ＡＦ＿ＭＥＲＧＥ）とアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ、ＡＦ＿ＩＮＴＥＲ）が存在できる。ここで、前記アフィンインターモードは、アフィンＭＶＰモード（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＡＦ＿ＭＶＰ）と表すことができる。
前記アフィンマージモードでは、前記コントロールポイントの動きベクトルに対するＭＶＤを転送しないという側面において、従来のマージモードと似ている。すなわち、前記アフィンマージモードは、従来のスキップ（ｓｋｉｐ）／マージ（ｍｅｒｇｅ）モードと同様にＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）に対するコーディングなしで前記現在ブロックの周辺ブロックから２個または３個のコントロールポイントの各々に対するＣＰＭＶを誘導して予測を行うエンコード／デコード方法を表すことができる。
例えば、前記現在ブロックに前記ＡＦ＿ＭＲＧモードが適用される場合、現在ブロックの周辺ブロックのうち、アフィンモードが適用された周辺ブロックからＣＰ０及びＣＰ１に対したＭＶ（すなわち、ＣＰＭＶ０及びＣＰＭＶ１）を導き出すことができる。すなわち、前記アフィンモードが適用された前記周辺ブロックのＣＰＭＶ０及びＣＰＭＶ１がマージ候補として導き出されることができ、前記マージ候補が前記現在ブロックに対するＣＰＭＶ０及びＣＰＭＶ１として導き出されることができる。
前記アフィンインターモードは、前記コントロールポイントの動きベクトルに対するＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）を導き出し、受信されたＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び前記ＭＶＰに基づいて前記コントロールポイントの動きベクトルを導き出し、前記コントロールポイントの動きベクトルに基づいて、前記現在ブロックのアフィンＭＶＦを導き出して、アフィンＭＶＦに基づいて予測を行うインター予測を表すことができる。ここで、前記コントロールポイントの動きベクトルは、ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）、前記コントロールポイントのＭＶＰは、ＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）、前記コントロールポイントのＭＶＤは、ＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）と表すことができる。具体的に、例えば、エンコード装置は、ＣＰ０及びＣＰ１（または、ＣＰ０、ＣＰ１及びＣＰ２）の各々に対するＣＰＭＶＰ（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）とＣＰＭＶ（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を導き出すことができ、前記ＣＰＭＶＰに対した情報及び／または前記ＣＰＭＶＰとＣＰＭＶの差値であるＣＰＭＶＤを転送または格納することができる。
ここで、現在ブロックに前記アフィンインターモードが適用される場合、エンコード装置／デコード装置は、前記現在ブロックの周辺ブロックに基づいて、アフィンＭＶＰ候補リストを構成でき、アフィンＭＶＰ候補は、ＣＰＭＶＰペア（ｐａｉｒ）候補として指し示すことができ、アフィンＭＶＰ候補リストは、ＣＰＭＶＰ候補リストとして指し示すこともできる。
また、各アフィンＭＶＰ候補は、４パラメータアフィン動きモデル（ｆｏｕｌ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）では、ＣＰ０とＣＰ１のＣＰＭＶＰの組み合わせを意味でき、６パラメータアフィン動きモデル（ｓｉｘ ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）では、ＣＰ０、ＣＰ１及びＣＰ２のＣＰＭＶＰの組み合わせを意味できる。
図７は、本文書の一実施形態によるアフィン動き予測方法のフローチャートを例示的に示す。
図７を参照すると、アフィン動き予測方法は、大きく次の通りに表すことができる。アフィン動き予測方法が始まると、まずＣＰＭＶペア（ｐａｉｒ）が獲得されうる（Ｓ７００）。ここで、ＣＰＭＶペアは、４パラメータアフィンモデルを利用する場合、ＣＰＭＶ０及びＣＰＭＶ１を含むことができる。
以後、ＣＰＭＶペアに基づいてアフィン動き補償が行われることができ（Ｓ７１０）、アフィン動き予測が終了できる。
また、前記ＣＰＭＶ０及び前記ＣＰＭＶ１を決定するために、２個のアフィン予測モードが存在できる。ここで、２個のアフィン予測モードは、アフィンインターモード及びアフィンマージモードを含むことができる。アフィンインターモードは、ＣＰＭＶ０及びＣＰＭＶ１に対した２個の動きベクトル差分（ＭＶＤ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）情報をシグナリングして、明確にＣＰＭＶ０及びＣＰＭＶ１を決定できる。反面、アフィンマージモードは、ＭＶＤ情報シグナリング無しでＣＰＭＶペアを導き出すことができる。
換言すれば、アフィンマージモードは、アフィンモードでコーディングされた周辺ブロックのＣＰＭＶを利用して、現在ブロックのＣＰＭＶを導き出すことができ、動きベクトルをサブブロック単位で決定する場合、アフィンマージモードは、サブブロックマージモードと指し示すこともできる。
アフィンマージモードにおいてエンコード装置は、現在ブロックのＣＰＭＶを導き出すためのアフィンモードでコーディングされた周辺ブロックに対するインデックスをデコード装置にシグナリングでき、周辺ブロックのＣＰＭＶ及び現在ブロックのＣＰＭＶ間の差分値をさらにシグナリングすることもできる。ここで、アフィンマージモードは、周辺ブロックに基づいてアフィンマージ候補リストを構成でき、周辺ブロックに対するインデックスは、アフィンマージ候補リストのうち、現在ブロックのＣＰＭＶを導き出すために参照する周辺ブロックを表すことができる。アフィンマージ候補リストは、サブブロックマージ候補リストと指し示すこともできる。
アフィンインターモードは、アフィンＭＶＰモードと指し示すこともできる。アフィンＭＶＰモードにおいて現在ブロックのＣＰＭＶは、ＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）及びＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）に基づいて導き出されることができる。換言すれば、エンコード装置は、現在ブロックのＣＰＭＶに対してＣＰＭＶＰを決定し、現在ブロックのＣＰＭＶとＣＰＭＶＰの差分値であるＣＰＭＶＤを導き出して、ＣＰＭＶＰに対した情報及びＣＰＭＶＤに対した情報をデコード装置にシグナリングできる。ここで、前記アフィンＭＶＰモードは、周辺ブロックに基づいてアフィンＭＶＰ候補リストを構成でき、ＣＰＭＶＰに対した情報は、アフィンＭＶＰ候補リストのうち、現在ブロックのＣＰＭＶに対したＣＰＭＶＰを導き出すために参照する周辺ブロックを表すことができる。アフィンＭＶＰ候補リストは、コントロールポイント動きベクトル予測子候補リストと指し示すこともできる。
例えば、６パラメータアフィン動きモデルのアフィンインターモードが適用される場合、後述するように現在ブロックがエンコードされることができる。
図８は、本文書の一実施形態によるコントロールポイントでの動きベクトル予測子を導き出す方法を説明するための図である。
図８を参照すると、現在ブロックのＣＰ０の動きベクトルをｖ０、ＣＰ１の動きベクトルをｖ１、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）サンプルポジションのコントロールポイントの動きベクトルをｖ２、ＣＰ２の動きベクトルをｖ３と表現できる。すなわち、前記ｖ０は、ＣＰ０のＣＰＭＶＰ、前記ｖ１は、ＣＰ１のＣＰＭＶＰ、前記ｖ２は、ＣＰ２のＣＰＭＶＰを表すことができる。
アフィンＭＶＰ候補は、前記ＣＰ０のＣＰＭＶＰ候補、前記ＣＰ１のＣＰＭＶＰ候補、前記ＣＰ２の候補の組み合わせでありうる。
例えば、前記アフィンＭＶＰ候補は、次の通りに導き出されることができる。
具体的に、次の式のように、最大１２個のＣＰＭＶＰ候補の組み合わせが決定されることができる。
Figure 2022113815000007
ここで、ｖＡは、周辺ブロックＡの動きベクトル、ｖＢは、周辺ブロックＢの動きベクトル、ｖＣは、周辺ブロックＣの動きベクトル、ｖＤは、周辺ブロックＤの動きベクトル、ｖＥは、周辺ブロックＥの動きベクトル、ｖＦは、周辺ブロックＦの動きベクトル、ｖＧは、周辺ブロックＧの動きベクトルを表すことができる。
また、前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左側に位置する周辺ブロックを表すことができる。また、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができる。また、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左側に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
すなわち、上述した式６を参照すると、前記ＣＰ０のＣＰＭＶＰ候補は、前記周辺ブロックＡの動きベクトルｖＡ、前記周辺ブロックＢの動きベクトルｖＢ及び／または前記周辺ブロックＣの動きベクトルｖＣを含むことができ、前記ＣＰ１のＣＰＭＶＰ候補は、前記周辺ブロックＤの動きベクトルｖＤ、及び／または前記周辺ブロックＥの動きベクトルｖＥを含むことができ、前記ＣＰ２のＣＰＭＶＰ候補は、前記周辺ブロックＦの動きベクトルｖＦ、及び／または前記周辺ブロックＧの動きベクトルｖＧを含むことができる。
換言すれば、前記ＣＰ０のＣＰＭＶＰ ｖ０は、左上端サンプルポジションの周辺ブロックＡ、Ｂ、及びＣのうち、少なくとも一つの動きベクトルに基づいて導き出されることができる。ここで、周辺ブロックＡは、現在ブロックの左上端サンプルポジションの左上端に位置するブロックを意味でき、周辺ブロックＢは、現在ブロックの左上端サンプルポジションの上端に位置するブロックを意味でき、周辺ブロックＣは、現在ブロックの左上端サンプルポジションの左側に位置するブロックを意味できる。
前記周辺ブロックの動きベクトルに基づいて前記ＣＰ０のＣＰＭＶＰ候補、前記ＣＰ１のＣＰＭＶＰ候補、前記ＣＰ２のＣＰＭＶＰ候補を含む最大１２個のＣＰＭＶＰ候補組み合わせが導き出されることができる。
以後、導き出されたＣＰＭＶＰ候補組み合わせをＤＶが小さな順に整列して、上位２個のＣＰＭＶＰ候補組み合わせが前記アフィンＭＶＰ候補として導き出されることができる。
ＣＰＭＶＰ候補組み合わせのＤＶは、次の式のように導き出されることができる。
Figure 2022113815000008
以後、エンコード装置は、前記アフィンＭＶＰ候補の各々に対するＣＰＭＶを決定でき、前記ＣＰＭＶに対するＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストを比較して、小さなＲＤコストを有するアフィンＭＶＰ候補を前記現在ブロックに対する最適のアフィンＭＶＰ候補として選択できる。エンコード装置は、前記最適の候補を指すインデックス及びＣＰＭＶＤをエンコード及びシグナリングできる。
また、例えば、アフィンマージモードが適用される場合、後述するように現在ブロックがエンコードされることができる。
図９は、本文書の一実施形態によるコントロールポイントでの動きベクトル予測子を導き出す方法を説明するための図である。
図９に示す現在ブロックの周辺ブロックに基づいて、前記現在ブロックのアフィンマージ候補リストが構成されることができる。前記周辺ブロックは、周辺ブロックＡ、周辺ブロックＢ、周辺ブロックＣ、周辺ブロックＤ、周辺ブロックＥを含むことができる。前記周辺ブロックＡは、前記現在ブロックの左側周辺ブロック、前記周辺ブロックＢは、前記現在ブロックの上側周辺ブロック、前記周辺ブロックＣは、前記現在ブロックの右上側コーナー周辺ブロック、前記周辺ブロックＤは、前記現在ブロックの左下側コーナー周辺ブロック、前記周辺ブロックＥは、前記現在ブロックの左上側コーナー周辺ブロックを表すことができる。
例えば、前記現在ブロックのサイズがＷｘＨであり、現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記左側周辺ブロックは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記上側周辺ブロックは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記右上側コーナー周辺ブロックは、（Ｗ、－１）座標のサンプルを含むブロックで、前記左下側コーナー周辺ブロックは、（－１、Ｈ）座標のサンプルを含むブロックで、前記左上側コーナー周辺ブロックは、（－１、－１）座標のサンプルを含むブロックでありうる。
具体的に、例えば、エンコード装置は、前記現在ブロックの周辺ブロックＡ、周辺ブロックＢ、周辺ブロックＣ、周辺ブロックＤ、周辺ブロックＥを特定スキャニング順にスキャニングでき、スキャニング順序において第１番目にアフィン予測モードでエンコードされた周辺ブロックをアフィンマージモードの候補ブロック、すなわち、アフィンマージ候補として決定できる。ここで、例えば、前記特定スキャニング順序は、アルファベット（ａｌｐｈａｂｅｔ）の順でありうる。すなわち、前記特定スキャニング順序は、周辺ブロックＡ、周辺ブロックＢ、周辺ブロックＣ、周辺ブロックＤ、周辺ブロックＥの順でありうる。
以後、エンコード装置は、前記決定された候補ブロックのＣＰＭＶを利用して、前記現在ブロックのアフィン動きモデルを決定でき、前記アフィン動きモデルに基づいて前記現在ブロックのＣＰＭＶを決定でき、前記ＣＰＭＶに基づいて前記現在ブロックのアフィンＭＶＦを決定できる。
一例として、周辺ブロックＡが前記現在ブロックの候補ブロックとして決定された場合、後述するようにコーディングされることができる。
図１０は、周辺ブロックＡがアフィンマージ候補として選択された場合に行われるアフィン予測の一例を示す。
図１０を参照すると、エンコード装置は、前記現在ブロックの周辺ブロックＡを候補ブロックとして決定でき、前記周辺ブロックのＣＰＭＶ、ｖ２及びｖ３に基づいて前記現在ブロックのアフィン動きモデルを導き出すことができる。以後、エンコード装置は、前記アフィン動きモデルに基づいて前記現在ブロックのＣＰＭＶ、ｖ０及びｖ１を決定できる。エンコード装置は、前記現在ブロックのＣＰＭＶ、ｖ０及びｖ１に基づいてアフィンＭＶＦを決定でき、前記アフィンＭＶＦに基づいて前記現在ブロックに対するエンコード過程を行うことができる。
一方、アフィンインター予測と関連して、アフィンＭＶＰ候補リスト構成に対して継承されたアフィン候補（ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅ）が考慮されている。
ここで、前記継承されたアフィン候補は、次の通りでありうる。
例えば、前記現在ブロックの周辺ブロックがアフィンブロックで、前記現在ブロックの参照ピクチャと前記周辺ブロックの参照ピクチャとが同じ場合、前記周辺ブロックのアフィンモーションモデルから前記現在ブロックのアフィンＭＶＰペアが決定されることができる。ここで、前記アフィンブロックは、前記アフィンインター予測が適用されたブロックを表すことができる。前記継承されたアフィン候補は、前記周辺ブロックのアフィン動きモデルに基づいて導き出されたＣＰＭＶＰ（例えば、前記アフィンＭＶＰペア）を表すことができる。
具体的に、一例として、後述するように前記継承されたアフィン候補が導き出されることができる。
図１１は、前記継承されたアフィン候補を導き出すための周辺ブロックを例示的に示す。
図１１を参照すると、前記現在ブロックの周辺ブロックは、前記現在ブロックの左側周辺ブロックＡ０、前記現在ブロックの左下側コーナー周辺ブロックＡ１、前記現在ブロックの上側周辺ブロックＢ０、前記現在ブロックの右上側コーナー周辺ブロックＢ１、前記現在ブロックの左上側コーナー周辺ブロックＢ２を含むことができる。
例えば、前記現在ブロックのサイズがＷｘＨであり、現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記左側周辺ブロックは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記上側周辺ブロックは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記右上側コーナー周辺ブロックは、（Ｗ、－１）座標のサンプルを含むブロックで、前記左下側コーナー周辺ブロックは、（－１、Ｈ）座標のサンプルを含むブロックで、前記左上側コーナー周辺ブロックは、（－１、－１）座標のサンプルを含むブロックでありうる。
エンコード装置／デコード装置は、周辺ブロックＡ０、Ａ１、Ｂ０、Ｂ１及びＢ２を順次にチェックでき、周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記周辺ブロックの参照ピクチャが同じ場合、前記周辺ブロックのアフィン動きモデルに基づいて、前記現在ブロックの２個のＣＰＭＶまたは３個のＣＰＭＶを導き出すことができる。前記ＣＰＭＶは、 前記現在ブロックのアフィンＭＶＰ候補として導き出されることができる。前記アフィンＭＶＰ候補は、前記継承されたアフィン候補を表すことができる。
一例として、前記周辺ブロックに基づいて最大２個の継承されたアフィン候補が導き出されることができる。
例えば、エンコード装置／デコード装置は、周辺ブロック内の第１ブロックに基づいて前記現在ブロックの第１アフィンＭＶＰ候補を導き出すことができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第１ブロックは、特定順序に応じて前記周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
以後、エンコード装置／デコード装置は、周辺ブロック内の第２ブロックに基づいて、前記現在ブロックの第２アフィンＭＶＰ候補を導き出すことができる。ここで、前記第２ブロックは、アフィン動きモデルでコーディングされることができ、前記第２ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第２ブロックは、特定順序に応じて前記周辺ブロックをチェックして、第２番目に確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
または、一例として、前記周辺ブロックに基づいて最大１個の継承されたアフィン候補が導き出されることができる。
例えば、エンコード装置／デコード装置は、周辺ブロック内の第１ブロックに基づいて、前記現在ブロックの第１アフィンＭＶＰ候補を導き出すことができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第１ブロックは、特定順序に応じて前記周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
前記現在ブロックのＭＶＰ候補導出に対するソースコード（ｓｏｕｒｃｅ ｃｏｄｅ）は、次の表のように導き出されることができる。
Figure 2022113815000009
表１を参照すると、エンコード装置／デコード装置は、左側周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記左側周辺ブロックの参照ピクチャが同じであるかどうかを判断でき、上述した条件を満たす場合、前記左側周辺ブロックのアフィン動きモデルに基づいて導き出されたＣＰＭＶは、前記現在ブロックのＣＰＭＶＰ候補として導き出されることができる。
次に、エンコード装置／デコード装置は、導き出されたＣＰＭＶＰ候補の数が２個より小さいかどうかを判断できる。導き出されたＣＰＭＶＰ候補の数が２個より小さくない場合、ＣＰＭＶＰ候補の導出過程は終了できる。
また、導き出されたＣＰＭＶＰ候補の数が２個より小さな場合、上側周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記上側周辺ブロックの参照ピクチャが同じであるかどうかを判断でき、上述した条件を満たす場合、前記上側周辺ブロックのアフィン動きモデルに基づいて導き出されたＣＰＭＶは、前記現在ブロックのＣＰＭＶＰ候補として導き出されることができる。
次に、エンコード装置／デコード装置は、導き出されたＣＰＭＶＰ候補の数が２個より小さいかどうかを判断できる。導き出されたＣＰＭＶＰ候補の数が２個より小さくない場合、ＣＰＭＶＰ候補導出過程は終了できる。
また、導き出されたＣＰＭＶＰ候補の数が２個より小さな場合、右上側コーナー周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記右上側コーナー周辺ブロックの参照ピクチャとが同じであるかどうかを判断でき、上述した条件を満たす場合、前記右上側コーナー周辺ブロックのアフィン動きモデルに基づいて導き出されたＣＰＭＶは、前記現在ブロックのＣＰＭＶＰ候補として導き出されることができる。
次に、エンコード装置／デコード装置は、導き出されたＣＰＭＶＰ候補の数が２個より小さいかどうかを判断できる。導き出されたＣＰＭＶＰ候補の数が２個より小さくない場合、ＣＰＭＶＰ候補導出過程は終了できる。
また、導き出されたＣＰＭＶＰ候補の数が２個より小さな場合、左下側コーナー周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記左下側コーナー周辺ブロックの参照ピクチャが同じであるかどうかを判断でき、上述した条件を満たす場合、前記左下側コーナー周辺ブロックのアフィン動きモデルに基づいて導き出されたＣＰＭＶは、前記現在ブロックのＣＰＭＶＰ候補として導き出されることができる。
次に、エンコード装置／デコード装置は、導き出されたＣＰＭＶＰ候補の数が２個より小さいかどうかを判断できる。導き出されたＣＰＭＶＰ候補の数が２個より小さくない場合、ＣＰＭＶＰ候補導出過程は終了できる。
また、導き出されたＣＰＭＶＰ候補の数が２個より小さな場合、左上側コーナー周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記左上側コーナー周辺ブロックの参照ピクチャが同じであるかどうかを判断でき、上述した条件を満たす場合、前記左上側コーナー周辺ブロックのアフィン動きモデルに基づいて導き出されたＣＰＭＶは、前記現在ブロックのＣＰＭＶＰ候補として導き出されることができる。
また、他の一例として、後述するように前記継承されたアフィン候補が導き出されることができる。
例えば、エンコード装置／デコード装置は、前記周辺ブロックを特定順に順次にチェックでき、周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記周辺ブロックの参照ピクチャとが同じ場合、前記周辺ブロックに基づいてスケーリングが適用されない継承されたアフィン候補が導き出されることができ、前記周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記周辺ブロックの参照ピクチャが同一でない場合、前記周辺ブロックに基づいてスケーリングが適用された継承されたアフィン候補が導き出されることができる。
具体的に、前記周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記周辺ブロックの参照ピクチャとが同じ場合、上述した以前実施形態のようにエンコード装置／デコード装置は、前記周辺ブロックのアフィン動きモデルに基づいて、前記現在ブロックの前記アフィンＭＶＰ候補を導き出すことができる。
また、前記周辺ブロックがアフィン動きモデルを使用してコーディングされ、前記現在ブロックの参照ピクチャと前記周辺ブロックの参照ピクチャとが同一でない場合、エンコード装置／デコード装置は、前記周辺ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、スケーリングファクターで前記動きベクトルをスケーリングでき、スケーリングされた動きベクトルを前記アフィンＭＶＰ候補として導き出すことができる。ここで、前記スケーリングファクターは、第１時間距離と第２時間距離との距離比でありうる。すなわち、前記スケーリングファクターは、前記第１時間距離を前記第２時間距離で割り算した値でありうる。前記第１時間距離は、前記現在ブロックを含む現在ピクチャのＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）と前記現在ブロックの参照ピクチャのＰＯＣとの差でありえ、前記第２時間距離は、前記現在ピクチャのＰＯＣと前記周辺ブロックの参照ピクチャのＰＯＣとの差でありうる。
上述した現在ブロックのＭＶＰ候補導出に対するソースコード（ｓｏｕｒｃｅ ｃｏｄｅ）は、次の表のように導き出されることができる。
Figure 2022113815000010
上述した実施形態の性能及びエンコード／デコード時間は、ほぼ類似の面があり、よって、複雑度の分析（ｃｏｍｐｌｅｘｉｔｙ ａｎａｌｙｓｉｓ）を行って、より低い複雑度を有する実施形態が選択されることができる。
前記実施形態に対する複雑度の分析は、次の表のように導き出されることができる。
Figure 2022113815000011
表３を参照すると、第２の実施形態がスケール（ｓｃａｌｅｄ）アフィンＭＶＰ候補及びノン－スケール（ｎｏｎ－ｓｃａｌｅｄ）アフィンＭＶＰ候補ともを考慮することとは異なり、第１の実施形態がノン－スケールアフィンＭＶＰ候補だけを考慮する点において、コンプ（ｃｏｍｐ）、シフト（ｓｈｉｆｔ）、アッド（ａｄｄ）の数が少ないという観点において優秀でありうる。
一方、本文書では、上述した実施形態と性能及びエンコード／デコード時間が似ており、かつ複雑度は、明確にさらに低い方法を提案する。
例えば、左側予測子（ｌｅｆｔ ｐｒｅｄｉｃｔｏｒ）と上側予測子（ａｂｏｖｅ ｐｒｅｄｉｃｔｏｒ）を分け、左側予測子は、左側周辺ブロック及び左下側コーナー周辺ブロックを特定順にスキャニングして、初めて導き出された現在ブロックと同じ参照ピクチャを有するアフィンコーディングされたブロックに基づいて導き出されることができ、上側予測子は、右上側コーナー周辺ブロック、上側周辺ブロック及び左上側コーナー周辺ブロックを特定順にスキャニングして、初めて導き出された現在ブロックと同じ参照ピクチャを有するアフィンコーディングされたブロックに基づいて導き出されることができる。
すなわち、エンコード装置／デコード装置は、左側周辺ブロック及び左下側コーナー周辺ブロックを含む左側ブロックグループから前記現在ブロックの第１アフィンＭＶＰ候補を導き出すことができ、エンコード装置／デコード装置は、右上側コーナー周辺ブロック、上側周辺ブロック及び左上側コーナー周辺ブロックを含む上側ブロックグループから前記現在ブロックの第２アフィンＭＶＰ候補を導き出すことができる。
ここで、前記第１アフィンＭＶＰ候補は、前記左側ブロックグループ内の第１ブロックに基づいて導き出されることができ、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一でありうる。すなわち、前記第１ブロックは、特定順序に応じて前記左側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記第２アフィンＭＶＰ候補は、前記上側ブロックグループ内の第２ブロックに基づいて導き出されることができ、前記第２ブロックは、アフィン動きモデルでコーディングされることができ、前記第２ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第２ブロックは、特定順序に応じて前記上側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、一例として、前記左側周辺ブロック及び前記左下側コーナー周辺ブロックをスキャニングする順序は、前記左側周辺ブロック、前記左下側コーナー周辺ブロックの順でありえ、前記右上側コーナー周辺ブロック、前記上側周辺ブロック及び前記左上側コーナー周辺ブロックをスキャニングする順序は、右上側コーナー周辺ブロック、上側周辺ブロック、左上側コーナー周辺ブロックの順でありうる。また、上述した前記周辺ブロックをスキャニングする順序は、上述した例以外の例が使用されることもできる。
上述した現在ブロックのアフィンＭＶＰ候補導出方法に対するソースコード（ｓｏｕｒｃｅ ｃｏｄｅ）は、次の表のように導き出されることができる。
Figure 2022113815000012
また、本文書において提案した前記アフィンＭＶＰ候補導出方法に対する複雑度の分析は、次の表のように導き出されることができる。
Figure 2022113815000013
前記表５を参照すると、提案された前記アフィンＭＶＰ候補導出方法は、従来の実施形態と比較して、ｐｏｓ、ｃａｎｄ、ｃｏｍｐ、ｓｈｉｆｔ、ａｄｄの数が最も小さいか、または同じであり、ノンスケール（ｎｏｎ－ｓｃａｌｅｄ）アフィンＭＶＰ候補だけを考慮して行われるから、前記実施形態に比べて最も少ない複雑度（ｃｏｍｐｌｅｘｉｔｙ）を有することができる。したがって、本文書において提案された前記アフィンＭＶＰ候補導出方法は、符号化性能及びエンコード／デコード時間（ｅｎｃｏｄｉｎｇ／ｄｅｃｏｄｉｎｇ ｔｉｍｅ）観点では、従来の実施形態と似ており、最も少ない複雑度を有するから、従来の実施形態より優れていると判断できる。
一方、例えば、継承されたアフィン候補の可用の数が２より小さな場合、コンストラクテッドアフィン候補（ｃｏｎｓｔｒｕｃｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅ）が考慮されうる。前記構成されたアフィン候補は、下記のように導き出されることができる。
図１２は、前記コンストラクテッドアフィン候補に対する空間的候補を例示的に示す。
図１２に示すように、前記現在ブロックの周辺ブロックの動きベクトルは、３個のグループに分けられることができる。図１２を参照すると、前記周辺ブロックは、周辺ブロックＡ、周辺ブロックＢ、周辺ブロックＣ、周辺ブロックＤ、周辺ブロックＥ、周辺ブロックＦ及び周辺ブロックＧを含むことができる。
前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左端に位置する周辺ブロックを表すことができる。また、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができる。また、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
例えば、前記３個のグループは、Ｓ０、Ｓ１、Ｓ２を含むことができ、前記Ｓ０、前記Ｓ１、前記Ｓ２は、次の表のように導き出されることができる。
Figure 2022113815000014
式中、ＭｖＡは、前記周辺ブロックＡの動きベクトル、ｍｖＢは、前記周辺ブロックＢの動きベクトル、ｍｖＣは、前記周辺ブロックＣの動きベクトル、ｍｖＤは、前記周辺ブロックＤの動きベクトル、ｍｖＥは、前記周辺ブロックＥの動きベクトル、ｍｖＦは、前記周辺ブロックＦの動きベクトル、ｍｖＧは、前記周辺ブロックＧの動きベクトルを表す。前記Ｓ０は、第１グループ、Ｓ１は、第２グループ、前記Ｓ２は、第３グループと表すこともできる。
エンコード装置／デコード装置は、前記Ｓ０からｍｖ０を導き出すことができ、Ｓ１からｍｖ１を導き出すことができ、Ｓ２からｍｖ２を導き出すことができ、前記ｍｖ０、前記ｍｖ１、前記ｍｖ２を含むアフィンＭＶＰ候補を導き出すことができる。前記アフィンＭＶＰ候補は、前記コンストラクテッドアフィン候補を表すことができる。また、前記ｍｖ０は、ＣＰ０のＣＰＭＶＰ候補でありえ、前記ｍｖ１は、ＣＰ１のＣＰＭＶＰ候補でありえ、前記ｍｖ２は、ＣＰ２のＣＰＭＶＰ候補でありうる。
ここで、前記ｍｖ０に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ０は、特定順序に応じて前記Ｓ０内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記ｍｖ１に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ１は、特定順序に応じて前記Ｓ１内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記ｍｖ２に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ２は、特定順序に応じて前記Ｓ２内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
一方、前記ｍｖ０及び前記ｍｖ１だけが導き出される場合、前記ｍｖ２は、次の式のように導き出されることができる。
Figure 2022113815000015
式中、Ｍｖ２ ｘは、前記ｍｖ２のｘ成分を表し、ｍｖ２ ｙは、前記ｍｖ２のｙ成分を表し、ｍｖ０ ｘは、前記ｍｖ０のｘ成分を表し、ｍｖ０ ｙは、前記ｍｖ０のｙ成分を表し、ｍｖ１ ｘは、前記ｍｖ１のｘ成分を表し、ｍｖ１ ｙは、前記ｍｖ１のｙ成分を表す。また、ｗは、前記現在ブロックの幅を表し、ｈは、前記現在ブロックの高さを表す。
一方、前記ｍｖ０及び前記ｍｖ２だけが導き出される場合、前記ｍｖ１は、次の式のように導き出されることができる。
Figure 2022113815000016
式中、Ｍｖ１ ｘは、前記ｍｖ１のｘ成分を表し、ｍｖ１ ｙは、前記ｍｖ１のｙ成分を表し、ｍｖ０ ｘは、前記ｍｖ０のｘ成分を表し、ｍｖ０ ｙは、前記ｍｖ０のｙ成分を表し、ｍｖ２ ｘは、前記ｍｖ２のｘ成分を表し、ｍｖ２ ｙは、前記ｍｖ２のｙ成分を表す。また、ｗは、前記現在ブロックの幅を表し、ｈは、前記現在ブロックの高さを表す。
また、可用の（ａｖａｉｌａｂｌｅ）前記継承されたアフィン候補及び／またはコンストラクテッドアフィン候補の数が２より小さな場合、従来のＨＥＶＣ標準のＡＭＶＰ過程が前記アフィンＭＶＰリスト構成に適用されることができる。すなわち、可用の（ａｖａｉｌａｂｌｅ）前記継承されたアフィン候補及び／またはコンストラクテッドアフィン候補の数が２より小さな場合、従来のＨＥＶＣ標準でのＭＶＰ候補を構成する過程が行われることができる。
一方、上述したアフィンＭＶＰリストを構成する実施形態のフローチャートは、後述するとおりである。
図１３は、アフィンＭＶＰリストを構成している一例を例示的に示す。
図１３を参照すると、エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストに継承された候補（ｉｎｈｅｒｉｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる（Ｓ１３００）。前記継承された候補は、上述した継承されたアフィン候補を表すことができる。
具体的に、エンコード装置／デコード装置は、前記現在ブロックの周辺ブロックから最大２個の継承されたアフィン候補が導き出されることができる（Ｓ１３０５）。ここで、前記周辺ブロックは、前記現在ブロックの左側周辺ブロックＡ０、左下側コーナー周辺ブロックＡ１、上側周辺ブロックＢ０、右上側コーナー周辺ブロックＢ１及び左上側コーナー周辺ブロックＢ２を含むことができる。
例えば、エンコード装置／デコード装置は、周辺ブロック内の第１ブロックに基づいて、前記現在ブロックの第１アフィンＭＶＰ候補を導き出すことができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第１ブロックは、特定順序に応じて前記周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
以後、エンコード装置／デコード装置は、周辺ブロック内の第２ブロックに基づいて、前記現在ブロックの第２アフィンＭＶＰ候補を導き出すことができる。ここで、前記第２ブロックは、アフィン動きモデルでコーディングされることができ、前記第２ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第２ブロックは、特定順序に応じて前記周辺ブロックをチェックして、第２番目に確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
一方、前記特定順序は、左側周辺ブロックＡ０→左下側コーナー周辺ブロックＡ１→上側周辺ブロックＢ０→右上側コーナー周辺ブロックＢ１→左上側コーナー周辺ブロックＢ２でありうる。また、上述した順序以外の順に行われても良く、上述した例に限定されなくても良い。
エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストにコンストラクテッド候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる（Ｓ１３１０）。前記コンストラクテッド候補は、上述したコンストラクテッドアフィン候補を表すことができる。可用の継承された候補の数が２個より小さな場合、エンコード装置／デコード装置は、前記現在ブロックのアフィンＭＶＰリストにコンストラクテッド候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる。
エンコード装置／デコード装置は、第１グループからｍｖ０を導き出すことができ、第２グループからｍｖ１を導き出すことができ、第３グループからｍｖ２を導き出すことができ、前記ｍｖ０、前記ｍｖ１、前記ｍｖ２を含む前記コンストラクテッドアフィン候補を導き出すことができる。前記ｍｖ０は、前記現在ブロックのＣＰ０のＣＰＭＶＰ候補でありえ、前記ｍｖ１は、ＣＰ１のＣＰＭＶＰ候補でありえ、前記ｍｖ２は、ＣＰ２のＣＰＭＶＰ候補でありうる。
ここで、前記ｍｖ０に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ０は、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記ｍｖ１に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ１は、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記ｍｖ２に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ２は、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記第１グループは、周辺ブロックＡの動きベクトル、周辺ブロックＢの動きベクトル、周辺ブロックＣの動きベクトルを含むことができ、前記第２グループは、周辺ブロックＤの動きベクトル、周辺ブロックＥの動きベクトルを含むことができ、前記第３グループは、周辺ブロックＦの動きベクトル、周辺ブロックＧの動きベクトルを含むことができる。前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストにＨＥＶＣ ＡＭＶＰ候補を追加できる（Ｓ１３２０）。可用の継承された候補及び／またはコンストラクテッド候補の数が２個より小さな場合、エンコード装置／デコード装置は、前記現在ブロックのアフィンＭＶＰリストにＨＥＶＣ ＡＭＶＰ候補を追加できる。すなわち、可用の継承された候補及び／またはコンストラクテッド候補の数が２個より小さな場合、エンコード装置／デコード装置は、従来のＨＥＶＣ標準でのＭＶＰ候補を構成する過程が行われることができる。
図１４は、アフィンＭＶＰリストを構成している一例を例示的に示す。
図１４を参照すると、エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストに継承された候補（ｉｎｈｅｒｉｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる（Ｓ１４００）。前記継承された候補は、上述した継承されたアフィン候補を表すことができる。
具体的に、エンコード装置／デコード装置は、左側周辺ブロック及び左下側コーナー周辺ブロックを含む左側ブロックグループから前記現在ブロックの第１アフィンＭＶＰ候補を導き出すことができ（Ｓ１４０５）、エンコード装置／デコード装置は、右上側コーナー周辺ブロック、上側周辺ブロック及び左上側コーナー周辺ブロックを含む上側ブロックグループから前記現在ブロックの第２アフィンＭＶＰ候補を導き出すことができる（Ｓ１４１０）。
ここで、前記第１アフィンＭＶＰ候補は、前記左側ブロックグループ内の第１ブロックに基づいて導き出されることができ、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第１ブロックは、特定順序に応じて前記左側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記第２アフィンＭＶＰ候補は、前記上側ブロックグループ内の第２ブロックに基づいて導き出されることができ、前記第２ブロックは、アフィン動きモデルでコーディングされることができ、前記第２ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第２ブロックは、特定順序に応じて前記上側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
一方、前記左側ブロックグループをチェックする前記特定順序は、前記左側周辺ブロック、前記左下側コーナー周辺ブロックの順でありうる。または、前記左側ブロックグループをチェックする前記特定順序は、前記左下側コーナー周辺ブロック、前記左側周辺ブロックの順でありうる。また、前記上側ブロックグループをチェックする前記特定順序は、右上側コーナー周辺ブロック、上側周辺ブロック、左上側コーナー周辺ブロックの順でありうる。または、前記上側ブロックグループをチェックする前記特定順序は、上側周辺ブロック、右上側コーナー周辺ブロック、左上側コーナー周辺ブロックの順でありうる。上述した順序以外の順に行われることもでき、上述した例に限定されるものではない
エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストにコンストラクテッド候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる（Ｓ１４２０）。前記コンストラクテッド候補は、上述したコンストラクテッドアフィン候補を表すことができる。可用の継承された候補の数が２個より小さな場合、エンコード装置／デコード装置は、前記現在ブロックのアフィンＭＶＰリストにコンストラクテッド候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる。
エンコード装置／デコード装置は、第１グループからｍｖ０を導き出すことができ、第２グループからｍｖ１を導き出すことができ、第３グループからｍｖ２を導き出すことができ、前記ｍｖ０、前記ｍｖ１、前記ｍｖ２を含む前記コンストラクテッドアフィン候補を導き出すことができる。前記ｍｖ０は、前記現在ブロックのＣＰ０のＣＰＭＶＰ候補でありえ、前記ｍｖ１は、ＣＰ１のＣＰＭＶＰ候補でありえ、前記ｍｖ２は、ＣＰ２のＣＰＭＶＰ候補でありうる。
ここで、前記ｍｖ０に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ０は、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記ｍｖ１に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ１は、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記ｍｖ２に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ２は、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記第１グループは、周辺ブロックＡの動きベクトル、周辺ブロックＢの動きベクトル、周辺ブロックＣの動きベクトルを含むことができ、前記第２グループは、周辺ブロックＤの動きベクトル、周辺ブロックＥの動きベクトルを含むことができ、前記第３グループは、周辺ブロックＦの動きベクトル、周辺ブロックＧの動きベクトルを含むことができる。前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストにＨＥＶＣ ＡＭＶＰ候補を追加できる（Ｓ１４３０）。可用の継承された候補及び／またはコンストラクテッド候補の数が２個より小さな場合、エンコード装置／デコード装置は、前記現在ブロックのアフィンＭＶＰリストにＨＥＶＣ ＡＭＶＰ候補を追加できる。すなわち、可用の継承された候補及び／またはコンストラクテッド候補の数が２個より小さな場合、エンコード装置／デコード装置は、従来のＨＥＶＣ標準でのＭＶＰ候補を構成する過程が行われることができる。
図１５は、アフィンＭＶＰリストを構成する一例を例示的に示す。
図１５を参照すると、エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストに継承された候補（ｉｎｈｅｒｉｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる（Ｓ１５００）。前記継承された候補は、上述した継承されたアフィン候補を表すことができる。
具体的に、エンコード装置／デコード装置は、前記現在ブロックの周辺ブロックから最大１個の継承されたアフィン候補が導き出されることができる（Ｓ１５０５）。ここで、前記周辺ブロックは、前記現在ブロックの左側周辺ブロックＡ０、左下側コーナー周辺ブロックＡ１、上側周辺ブロックＢ０、右上側コーナー周辺ブロックＢ１及び左上側コーナー周辺ブロックＢ２を含むことができる。
例えば、エンコード装置／デコード装置は、周辺ブロック内の第１ブロックに基づいて、前記現在ブロックの第１アフィンＭＶＰ候補を導き出すことができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記第１ブロックは、特定順序に応じて前記周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
一方、前記特定順序は、左側周辺ブロックＡ０→左下側コーナー周辺ブロックＡ１→上側周辺ブロックＢ０→右上側コーナー周辺ブロックＢ１→左上側コーナー周辺ブロックＢ２でありうる。また、上述した順序以外の順に行われることもでき、上述した例に限定されなくても良い。
エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストにコンストラクテッド候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる（Ｓ１５１０）。前記コンストラクテッド候補は、上述したコンストラクテッドアフィン候補を表すことができる。可用の継承された候補の数が２個より小さな場合、エンコード装置／デコード装置は、前記現在ブロックのアフィンＭＶＰリストにコンストラクテッド候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）を追加できる。
エンコード装置／デコード装置は、第１グループからｍｖ０を導き出すことができ、第２グループからｍｖ１を導き出すことができ、第３グループからｍｖ２を導き出すことができ、前記ｍｖ０、前記ｍｖ１、前記ｍｖ２を含む前記コンストラクテッドアフィン候補を導き出すことができる。前記ｍｖ０は、前記現在ブロックのＣＰ０のＣＰＭＶＰ候補でありえ、前記ｍｖ１は、ＣＰ１のＣＰＭＶＰ候補でありえ、前記ｍｖ２は、ＣＰ２のＣＰＭＶＰ候補でありうる。
ここで、前記ｍｖ０に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ０は、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記ｍｖ１に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ１は、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記ｍｖ２に対した参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ｍｖ２は、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。
また、前記第１グループは、周辺ブロックＡの動きベクトル、周辺ブロックＢの動きベクトル、周辺ブロックＣの動きベクトルを含むことができ、前記第２グループは、周辺ブロックＤの動きベクトル、周辺ブロックＥの動きベクトルを含むことができ、前記第３グループは、周辺ブロックＦの動きベクトル、周辺ブロックＧの動きベクトルを含むことができる。前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左端に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
エンコード装置／デコード装置は、現在ブロックのアフィンＭＶＰリストにＨＥＶＣ ＡＭＶＰ候補を追加できる（Ｓ１５２０）。可用の継承された候補及び／またはコンストラクテッド候補の数が２個より小さな場合、エンコード装置／デコード装置は、前記現在ブロックのアフィンＭＶＰリストにＨＥＶＣ ＡＭＶＰ候補を追加できる。すなわち、可用の継承された候補及び／またはコンストラクテッド候補の数が２個より小さな場合、エンコード装置／デコード装置は、従来のＨＥＶＣ標準でのＭＶＰ候補を構成する過程が行われることができる。
上述したフローチャートに開示された実施形態は、前記継承されたアフィン候補を導き出す過程において差がある。したがって、前記継承されたアフィン候補を導き出す過程での複雑度の分析を行って、上述した実施形態を比較できる。
上述した実施形態の複雑度の分析は、次の表のように導き出されることができる。
Figure 2022113815000017
また、上述した実施形態のコーディング性能は、次の表のように導き出されることができる。
Figure 2022113815000018
前記表７を参照すると、図１３の実施形態より図１４の実施形態及び図１５の実施形態が低い複雑度を有するのを確認することができる。また、前記表８を参照すると、図１３の実施形態、図１４の実施形態及び図１５の実施形態のコーディングパフォーマンス（ｃｏｄｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ）がほぼ同一であることを確認することができる。したがって、複雑度が小さくコーディング性能が同じである図１４の実施形態及び図１５の実施形態のエンコード／デコード過程にさらに考慮されることができる。
図１６は、本文書によるエンコード装置による映像エンコード方法を概略的に示す。図１６において開示された方法は、図１において開示されたエンコード装置によって行われることができる。具体的に例えば、図１６のＳ１６００ないしＳ１６３０は、前記エンコード装置の予測部によって行われることができ、Ｓ１６４０は、前記エンコード装置のエントロピーエンコード部によって行われることができる。また、たとえ図示されていないが、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出す過程は、前記エンコード装置の予測部によって行われることができ、前記現在ブロックに対する原本サンプルと予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導き出す過程は、前記エンコード装置の減算部によって行われることができ、前記レジデュアルサンプルに基づいて前記現在ブロックに対するレジデュアルに関する情報を生成する過程は、前記エンコード装置の変換部によって行われることができ、前記レジデュアルに関する情報をエンコードする過程は、前記エンコード装置のエントロピーエンコード部によって行われることができる。
エンコード装置は、現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成する（Ｓ１６００）。
一例として、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含むことができる。
前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出されることができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。
すなわち、前記第１ブロックは、特定順序に応じて前記左側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。例えば、エンコード装置は、前記左側ブロックグループ内のブロックを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす第１ブロックを導き出すことができ、前記第１ブロックに基づいて前記第１アフィンＭＶＰ候補を導き出すことができる。
具体的に、例えば、エンコード装置は、前記第１ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、前記動きベクトルをＣＰＭＶＰ候補として含む前記第１アフィンＭＶＰ候補を導き出すことができる。前記アフィン動きモデルは、上述した式１または式３のように導き出されることができる。
一方、前記左側ブロックグループ内のブロックをチェックする前記特定順序は、前記左側周辺ブロックから前記左下側コーナー周辺ブロックへの順でありうる。または、前記左側ブロックグループをチェックする前記特定順序は、前記左下側コーナー周辺ブロックから前記左側周辺ブロックへの順でありうる。
前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出されることができる。ここで、前記第２ブロックは、アフィン動きモデルでコーディングされることができ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同一でありうる。
すなわち、前記第２ブロックは、特定順序に応じて前記上側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。例えば、エンコード装置は、前記上側ブロックグループ内のブロックを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす第２ブロックを導き出すことができ、前記第２ブロックに基づいて前記第２アフィンＭＶＰ候補を導き出すことができる。
具体的に、例えば、エンコード装置は、前記第２ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、前記動きベクトルをＣＰＭＶＰ候補として含む前記第２アフィンＭＶＰ候補を導き出すことができる。前記アフィン動きモデルは、上述した式１または式３のように導き出されることができる。
一方、前記上側ブロックグループ内のブロックをチェックする前記特定順序は、前記上側周辺ブロックから右上側コーナー周辺ブロック、左上側コーナー周辺ブロックへの順でありうる。
また、他の一例として、前記アフィンＭＶＰ候補は、後述するように導き出される第１アフィンＭＶＰ候補を含むことができる。
前記第１アフィンＭＶＰ候補は、前記現在ブロックの周辺ブロック内の第１ブロックに基づいて導き出されることができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記周辺ブロックは、前記現在ブロックの前記左側周辺ブロック、前記左下側コーナー周辺ブロック、右上側コーナー周辺ブロック、上側周辺ブロック及び左上側コーナー周辺ブロックを含むことができる。
前記第１ブロックは、特定順序に応じて前記周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。例えば、エンコード装置は、前記周辺ブロックを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす第１ブロックを導き出すことができ、前記第１ブロックに基づいて前記第１アフィンＭＶＰ候補を導き出すことができる。
具体的に、例えば、エンコード装置は、前記第１ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、前記動きベクトルをＣＰＭＶＰ候補として含む前記第１アフィンＭＶＰ候補を導き出すことができる。前記アフィン動きモデルは、上述した式１または式３のように導き出されることができる。
一方、前記周辺ブロックをチェックする前記特定順序は、前記左側周辺ブロックから前記左下側コーナー周辺ブロック、前記上側周辺ブロック、前記右上側コーナー周辺ブロック、前記左上側コーナー周辺ブロックへの順でありうる。
ここで、例えば、前記現在ブロックのサイズがＷｘＨであり、前記現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記左側周辺ブロックは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記上側周辺ブロックは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記右上側周辺ブロックは、（Ｗ、－１）座標のサンプルを含むブロックで、前記左下側周辺ブロックは、（－１、Ｈ）座標のサンプルを含むブロックで、前記左上側周辺ブロックは、（－１、－１）座標のサンプルを含むブロックでありうる。
一方、前記第１アフィンＭＶＰ候補及び／または前記第２アフィンＭＶＰ候補が導き出されない場合、すなわち、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、前記アフィンＭＶＰ候補は、コンストラクテッドアフィンＭＶＰ候補を含むことができる。
すなわち、例えば、前記第１アフィンＭＶＰ候補及び／または前記第２アフィンＭＶＰ候補が導き出されない場合、すなわち、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、エンコード装置は、周辺ブロックに基づいてコンストラクテッドアフィンＭＶＰ候補を導き出すことができる。
具体的に、エンコード装置は、前記周辺ブロックの動きベクトルを第１グループ、第２グループ、第３グループに分けられることができる。前記第１グループは、周辺ブロックＡの動きベクトル、周辺ブロックＢの動きベクトル、周辺ブロックＣの動きベクトルを含むことができ、前記第２グループは、周辺ブロックＤの動きベクトル、周辺ブロックＥの動きベクトルを含むことができ、前記第３グループは、周辺ブロックＦの動きベクトル、周辺ブロックＧの動きベクトルを含むことができる。
また、エンコード装置は、前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補を導き出すことができ、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補を導き出すことができ、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補を導き出すことができ、前記ＣＰに対するＣＰＭＶＰ候補を含む前記コンストラクテッドアフィンＭＶＰ候補を導き出すことができる。
前記ＣＰ０に対したＣＰＭＶＰは、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ＣＰ０に対したＣＰＭＶＰは、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルでありうる。例えば、エンコード装置は、前記第１グループ内の動きベクトルを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす動きベクトルを前記ＣＰ０に対したＣＰＭＶＰとして導き出すことができる。ここで、例えば、前記特定順序は、前記周辺ブロックＡから前記周辺ブロックＢ、前記周辺ブロックＣへの順でありうる。
前記ＣＰ１に対したＣＰＭＶＰは、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ＣＰ１に対したＣＰＭＶＰは、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルでありうる。例えば、エンコード装置は、前記第２グループ内の動きベクトルを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす動きベクトルを前記ＣＰ１に対したＣＰＭＶＰとして導き出すことができる。ここで、例えば、前記特定順序は、前記周辺ブロックＤから前記周辺ブロックＥへの順でありうる。
前記ＣＰ２に対したＣＰＭＶＰは、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ＣＰ２に対したＣＰＭＶＰは、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルでありうる。例えば、エンコード装置は、前記第３グループ内の動きベクトルを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす動きベクトルを前記ＣＰ２に対したＣＰＭＶＰとして導き出すことができる。ここで、例えば、前記特定順序は、前記周辺ブロックＦから前記周辺ブロックＧへの順でありうる。
ここで、前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左側に位置する周辺ブロックを表すことができ、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左側に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
例えば、前記現在ブロックのサイズがＷｘＨであり、前記現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記周辺ブロックＡは、（－１、－１）座標のサンプルを含むブロックで、前記周辺ブロックＢは、（０、－１）座標のサンプルを含むブロックで、前記周辺ブロックＣは、（－１、０）座標のサンプルを含むブロックで、前記周辺ブロックＤは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記周辺ブロックＥは、（Ｗ、－１）座標のサンプルを含むブロックで、前記周辺ブロックＦは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記周辺ブロックＧは、（－１、Ｈ）座標のサンプルを含むブロックでありうる。また、前記ＣＰ０は、前記現在ブロックの左上端位置を表すことができ、前記ＣＰ１は、前記現在ブロックの右上端位置を表すことができ、前記ＣＰ２は、前記現在ブロックの左下端位置を表すことができる。すなわち、前記ＣＰは、現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）サンプルポジションに位置したＣＰ０及び現在ブロックの右上側（ｔｏｐ－ｒｉｇｈｔ）サンプルポジションに位置したＣＰ１を含むことができ、現在ブロックの左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）サンプルポジションに位置したＣＰ２をさらに含むこともできる。
一方、前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補が導き出され、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補が導き出され、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補が導き出されない場合、前記ＣＰ０に対したＣＰＭＶＰ候補及び前記ＣＰ１に対したＣＰＭＶＰ候補に基づいて、上述した式８により前記ＣＰ２に対したＣＰＭＶＰ候補が導き出されることができる。
また、前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補が導き出され、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補が導き出され、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補が導き出されない場合、前記ＣＰ０に対したＣＰＭＶＰ候補及び前記ＣＰ２に対したＣＰＭＶＰ候補に基づいて、上述した式９により前記ＣＰ１に対したＣＰＭＶＰ候補が導き出されることができる。
一方、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、前記アフィンＭＶＰ候補は、従来のＨＥＶＣ標準でのＭＶＰ候補を含むことができる。
すなわち、例えば、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、エンコード装置は、従来のＨＥＶＣ標準でのＭＶＰ候補を導き出すことができる。
エンコード装置は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出す（Ｓ１６１０）。エンコード装置は、最適のＲＤコストを有する前記現在ブロックの前記ＣＰに対するＣＰＭＶを導き出すことができ、前記アフィンＭＶＰ候補のうち、前記ＣＰＭＶと最も類似のアフィンＭＶＰ候補を前記現在ブロックに対するアフィンＭＶＰ候補として選択できる。エンコード装置は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、前記選択されたアフィンＭＶＰ候補に基づいて前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出すことができる。
エンコード装置は、前記アフィンＭＶＰ候補のうち、前記選択されたアフィンＭＶＰ候補を指すアフィンＭＶＰ候補インデックスをエンコードできる。前記アフィンＭＶＰ候補インデックスは、前記現在ブロックに対するアフィン動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補リストに含まれたアフィンＭＶＰ候補のうち、前記一つのアフィンＭＶＰ候補を指すことができる。
エンコード装置は、前記現在ブロックの前記ＣＰに対するＣＰＭＶを導き出す（Ｓ１６２０）。エンコード装置は、前記現在ブロックの前記ＣＰの各々に対するＣＰＭＶを導き出すことができる。
エンコード装置は、前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出す（Ｓ１６３０）。エンコード装置は、前記ＣＰの各々に対する前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤを導き出すことができる。
エンコード装置は、前記ＣＰＭＶＤに対する情報を含む動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）をエンコードする（Ｓ１６４０）。エンコード装置は、前記ＣＰＭＶＤに対する情報を含む動き予測情報をビットストリーム形態で出力できる。すなわち、エンコード装置は、前記動き予測情報を含む映像情報をビットストリーム形態で出力できる。エンコード装置は、前記ＣＰの各々に対するＣＰＭＶＤに対した情報をエンコードでき、前記動き予測情報は、前記ＣＰＭＶＤに対する情報を含むことができる。
また、前記動き予測情報は、前記アフィンＭＶＰ候補インデックスを含むことができる。前記アフィンＭＶＰ候補インデックスは、前記現在ブロックに対するアフィン動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補リストに含まれたアフィンＭＶＰ候補のうち、前記選択されたアフィンＭＶＰ候補を指すことができる。
一方、一例として、エンコード装置は、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出すことができ、前記現在ブロックに対する原本サンプルと予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導き出すことができ、前記レジデュアルサンプルに基づいて前記現在ブロックに対するレジデュアルに関する情報を生成でき、前記レジデュアルに関する情報をエンコードできる。前記映像情報は、前記レジデュアルに関する情報を含むことができる。
一方、前記ビットストリームは、ネットワークまたは（デジタル）格納媒体を介してデコード装置に転送されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。
図１７は、本文書による映像エンコード方法を行うエンコード装置を概略的に示す。図１６において開示された方法は、図１７において開示されたエンコード装置によって行われることができる。具体的に、例えば、図１７の前記エンコード装置の予測部は、図１６のＳ１６００ないしＳ１６３０を行うことができ、図１７の前記エンコード装置のエントロピーエンコード部は、図１６のＳ１６４０を行うことができる。また、たとえ図示していないが、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出す過程は、図１７のエンコード装置の予測部によって行われることができ、前記現在ブロックに対する原本サンプルと予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導き出す過程は、図１７の前記エンコード装置の減算部によって行われることができ、前記レジデュアルサンプルに基づいて、前記現在ブロックに対するレジデュアルに関する情報を生成する過程は、図１７の前記エンコード装置の変換部によって行われることができ、前記レジデュアルに関する情報をエンコードする過程は、図１７の前記エンコード装置のエントロピーエンコード部によって行われることができる。
図１８は、本文書によるデコード装置による映像デコード方法を概略的に示す。図１８において開示された方法は、図２において開示されたデコード装置によって行われることができる。具体的に、例えば、図１８のＳ１８００は、前記デコード装置のエントロピーデコード部によって行われることができ、Ｓ１８１０ないしＳ１８５０は、前記デコード装置の予測部によって行われることができ、Ｓ１８６０は、前記デコード装置の加算部によって行われることができる。また、たとえ図示していないが、ビットストリームを介して現在ブロックのレジデュアルに関する情報を獲得する過程は、前記デコード装置のエントロピーデコード部によって行われることができ、前記レジデュアル情報に基づいて前記現在ブロックに対する前記レジデュアルサンプルを導き出す過程は、前記デコード装置の逆変換部によって行われることができる。
デコード装置は、ビットストリームから動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得できる（Ｓ１８００）。デコード装置は、前記ビットストリームから前記動き予測情報を含む映像情報を獲得できる。
また、例えば、前記動き予測情報は、前記現在ブロックのＣＰ（ｃｏｎｔｒｏ
ｌ ｐｏｉｎｔ）に対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）に対する情報を含むことができる。すなわち、前記動き予測情報は、前記現在ブロックのＣＰの各々に対するＣＰＭＶＤに対した情報を含むことができる。
また、例えば、前記動き予測情報は、前記現在ブロックに対するアフィンＭＶＰ候補インデックスを含むことができる。前記アフィンＭＶＰ候補インデックスは、前記現在ブロックに対するアフィン動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補リストに含まれたアフィンＭＶＰ候補のうち、いずれか一つを指すことができる。
デコード装置は、前記現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成する（Ｓ１８１０）。
一例として、前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含むことができる。
前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出されることができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。
すなわち、前記第１ブロックは、特定順序に応じて前記左側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。例えば、デコード装置は、前記左側ブロックグループ内のブロックを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす第１ブロックを導き出すことができ、前記第１ブロックに基づいて前記第１アフィンＭＶＰ候補を導き出すことができる。
具体的に、例えば、デコード装置は、前記第１ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、前記動きベクトルをＣＰＭＶＰ候補として含む前記第１アフィンＭＶＰ候補を導き出すことができる。前記アフィン動きモデルは、上述した式１または式３のように導き出されることができる。
一方、前記左側ブロックグループ内のブロックをチェックする前記特定順序は、前記左側周辺ブロックから前記左下側コーナー周辺ブロックへの順でありうる。または、前記左側ブロックグループをチェックする前記特定順序は、前記左下側コーナー周辺ブロックから前記左側周辺ブロックへの順でありうる。
前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出されることができる。ここで、前記第２ブロックは、アフィン動きモデルでコーディングされることができ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同一でありうる。
すなわち、前記第２ブロックは、特定順序に応じて前記上側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。例えば、デコード装置は、前記上側ブロックグループ内のブロックを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす第２ブロックを導き出すことができ、前記第２ブロックに基づいて前記第２アフィンＭＶＰ候補を導き出すことができる。
具体的に、例えば、デコード装置は、前記第２ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、前記動きベクトルをＣＰＭＶＰ候補として含む前記第２アフィンＭＶＰ候補を導き出すことができる。前記アフィン動きモデルは、上述した式１または式３のように導き出されることができる。
一方、前記上側ブロックグループ内のブロックをチェックする前記特定順序は、前記上側周辺ブロックから右上側コーナー周辺ブロック、左上側コーナー周辺ブロックへの順でありうる。
また、他の一例として、前記アフィンＭＶＰ候補は、後述するように導き出される第１アフィンＭＶＰ候補を含むことができる。
前記第１アフィンＭＶＰ候補は、前記現在ブロックの周辺ブロック内の第１ブロックに基づいて導き出されることができる。ここで、前記第１ブロックは、アフィン動きモデルでコーディングされることができ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一なものでありうる。また、前記周辺ブロックは、前記現在ブロックの前記左側周辺ブロック、前記左下側コーナー周辺ブロック、右上側コーナー周辺ブロック、上側周辺ブロック及び左上側コーナー周辺ブロックを含むことができる。
前記第１ブロックは、特定順序に応じて前記周辺ブロックをチェックして、初めて確認された条件を満たすブロックでありうる。前記条件は、アフィン動きモデルでコーディングされ、ブロックの参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。例えば、デコード装置は、前記周辺ブロックを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす第１ブロックを導き出すことができ、前記第１ブロックに基づいて前記第１アフィンＭＶＰ候補を導き出すことができる。
具体的に、例えば、デコード装置は、前記第１ブロックのアフィン動きモデルに基づいて、前記現在ブロックのＣＰに対する動きベクトルを導き出すことができ、前記動きベクトルをＣＰＭＶＰ候補として含む前記第１アフィンＭＶＰ候補を導き出すことができる。前記アフィン動きモデルは、上述した式１または式３のように導き出されることができる。
一方、前記周辺ブロックをチェックする前記特定順序は、前記左側周辺ブロックから前記左下側コーナー周辺ブロック、前記上側周辺ブロック、前記右上側コーナー周辺ブロック、前記左上側コーナー周辺ブロックへの順でありうる。
ここで、例えば、前記現在ブロックのサイズがＷｘＨであり、前記現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記左側周辺ブロックは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記上側周辺ブロックは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記右上側周辺ブロックは、（Ｗ、－１）座標のサンプルを含むブロックで、前記左下側周辺ブロックは、（－１、Ｈ）座標のサンプルを含むブロックで、前記左上側周辺ブロックは、（－１、－１）座標のサンプルを含むブロックでありうる。
一方、前記第１アフィンＭＶＰ候補及び／または前記第２アフィンＭＶＰ候補が導き出されない場合、すなわち、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、前記アフィンＭＶＰ候補は、コンストラクテッドアフィンＭＶＰ候補を含むことができる。
すなわち、例えば、前記第１アフィンＭＶＰ候補及び／または前記第２アフィンＭＶＰ候補が導き出されない場合、すなわち、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、デコード装置は、周辺ブロックに基づいてコンストラクテッドアフィンＭＶＰ候補を導き出すことができる。
具体的に、デコード装置は、前記周辺ブロックの動きベクトルを第１グループ、第２グループ、第３グループに分けられることができる。前記第１グループは、周辺ブロックＡの動きベクトル、周辺ブロックＢの動きベクトル、周辺ブロックＣの動きベクトルを含むことができ、前記第２グループは、周辺ブロックＤの動きベクトル、周辺ブロックＥの動きベクトルを含むことができ、前記第３グループは、周辺ブロックＦの動きベクトル、周辺ブロックＧの動きベクトルを含むことができる。
また、デコード装置は、前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補を導き出すことができ、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補を導き出すことができ、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補を導き出すことができ、前記ＣＰに対するＣＰＭＶＰ候補を含む前記コンストラクテッドアフィンＭＶＰ候補を導き出すことができる。
前記ＣＰ０に対したＣＰＭＶＰは、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ＣＰ０に対したＣＰＭＶＰは、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルでありうる。例えば、デコード装置は、前記第１グループ内の動きベクトルを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす動きベクトルを前記ＣＰ０に対したＣＰＭＶＰとして導き出すことができる。ここで、例えば、前記特定順序は、前記周辺ブロックＡから前記周辺ブロックＢ、前記周辺ブロックＣへの順でありうる。
前記ＣＰ１に対したＣＰＭＶＰは、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ＣＰ１に対したＣＰＭＶＰは、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルでありうる。例えば、デコード装置は、前記第２グループ内の動きベクトルを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす動きベクトルを前記ＣＰ１に対したＣＰＭＶＰとして導き出すことができる。ここで、例えば、前記特定順序は、前記周辺ブロックＤから前記周辺ブロックＥへの順でありうる。
前記ＣＰ２に対したＣＰＭＶＰは、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された条件を満たす動きベクトルでありうる。前記条件は、動きベクトルに対する参照ピクチャが前記現在ブロックの参照ピクチャと同一なものでありうる。すなわち、前記ＣＰ２に対したＣＰＭＶＰは、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルでありうる。例えば、デコード装置は、前記第３グループ内の動きベクトルを前記特定順に前記条件を満しているかどうかをチェックでき、初めて前記条件を満たす動きベクトルを前記ＣＰ２に対したＣＰＭＶＰとして導き出すことができる。ここで、例えば、前記特定順序は、前記周辺ブロックＦから前記周辺ブロックＧへの順でありうる。
ここで、前記周辺ブロックＡは、前記現在ブロックの左上端サンプルポジションの左上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＢは、前記現在ブロックの左上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＣは、前記現在ブロックの左上端サンプルポジションの左側に位置する周辺ブロックを表すことができ、前記周辺ブロックＤは、前記現在ブロックの右上端サンプルポジションの上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＥは、前記現在ブロックの右上端サンプルポジションの右上端に位置する周辺ブロックを表すことができ、前記周辺ブロックＦは、前記現在ブロックの左下端サンプルポジションの左側に位置する周辺ブロックを表すことができ、前記周辺ブロックＧは、前記現在ブロックの左下端サンプルポジションの左下端に位置する周辺ブロックを表すことができる。
例えば、前記現在ブロックのサイズがＷｘＨであり、前記現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記周辺ブロックＡは、（－１、－１）座標のサンプルを含むブロックで、前記周辺ブロックＢは、（０、－１）座標のサンプルを含むブロックで、前記周辺ブロックＣは、（－１、０）座標のサンプルを含むブロックで、前記周辺ブロックＤは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記周辺ブロックＥは、（Ｗ、－１）座標のサンプルを含むブロックで、前記周辺ブロックＦは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記周辺ブロックＧは、（－１、Ｈ）座標のサンプルを含むブロックでありうる。また、前記ＣＰ０は、前記現在ブロックの左上端位置を表すことができ、前記ＣＰ１は、前記現在ブロックの右上端位置を表すことができ、前記ＣＰ２は、前記現在ブロックの左下端位置を表すことができる。すなわち、前記ＣＰは、現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）サンプルポジションに位置したＣＰ０及び現在ブロックの右上側（ｔｏｐ－ｒｉｇｈｔ）サンプルポジションに位置したＣＰ１を含むことができ、現在ブロックの左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）サンプルポジションに位置したＣＰ２をさらに含むこともできる。
一方、前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補が導き出され、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補が未響き出され、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補が導き出されない場合、前記ＣＰ０に対したＣＰＭＶＰ候補及び前記ＣＰ１に対したＣＰＭＶＰ候補に基づいて、上述した式８により前記ＣＰ２に対したＣＰＭＶＰ候補が導き出されることができる。
また、前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補が導き出され、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補が導き出され、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補が導き出されない場合、前記ＣＰ０に対したＣＰＭＶＰ候補及び前記ＣＰ２に対したＣＰＭＶＰ候補に基づいて、上述した式９により前記ＣＰ１に対したＣＰＭＶＰ候補が導き出されることができる。
一方、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、前記アフィンＭＶＰ候補は、従来のＨＥＶＣ標準でのＭＶＰ候補を含むことができる。
すなわち、例えば、上述した過程により２個より小さな数のアフィンＭＶＰ候補が導き出された場合、デコード装置は、従来のＨＥＶＣ標準でのＭＶＰ候補を導き出すことができる。
デコード装置は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出す（Ｓ１８２０）。
デコード装置は、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、特定アフィンＭＶＰ候補を選択でき、前記選択されたアフィンＭＶＰ候補を前記現在ブロックの前記ＣＰに対するＣＰＭＶＰとして導き出すことができる。例えば、デコード装置は、ビットストリームから前記現在ブロックに対する前記アフィンＭＶＰ候補インデックスを獲得でき、前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、前記アフィンＭＶＰ候補インデックスが指すアフィンＭＶＰ候補を前記現在ブロックの前記ＣＰに対するＣＰＭＶＰとして導き出すことができる。
デコード装置は、前記動き予測情報に基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出す（Ｓ１８３０）。前記動き予測情報は、前記ＣＰの各々に対するＣＰＭＶＤに対した情報を含むことができ、デコード装置は、前記ＣＰの各々に対する前記ＣＰＭＶＤに対した情報に基づいて、前記現在ブロックの前記ＣＰの各々に対する前記ＣＰＭＶＤを導き出すことができる。
デコード装置は、前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓ）を導き出す（Ｓ１８４０）。デコード装置は、前記ＣＰの各々に対するＣＰＭＶＰ及びＣＰＭＶＤに基づいて、各ＣＰに対したＣＰＭＶを導き出すことができる。例えば、デコード装置は、各ＣＰに対したＣＰＭＶＰ及びＣＰＭＶＤを加算して、前記ＣＰに対したＣＰＭＶを導き出すことができる。
デコード装置は、前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出す（Ｓ１８５０）。デコード装置は、前記ＣＰＭＶに基づいて前記現在ブロックのサブブロック単位またはサンプル単位の動きベクトルを導き出すことができる。すなわち、デコード装置は、前記ＣＰＭＶに基づいて前記現在ブロックの各サブブロックまたは各サンプルの動きベクトルを導き出すことができる。前記サブブロック単位または前記サンプル単位の動きベクトルは、上述した式１または式３に基づいて導き出されることができる。前記動きベクトルは、アフィン動きベクトルフィールド（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ、ＭＶＦ）または動きベクトルアレイと表すことができる。
デコード装置は、前記サブブロック単位または前記サンプル単位の動きベクトルに基づいて、前記現在ブロックに対する予測サンプルを導き出すことができる。デコード装置は、前記サブブロック単位または前記サンプル単位の動きベクトルに基づいて参照ピクチャ内の参照領域を導き出すことができ、前記参照領域内の復元されたサンプルに基づいて、前記現在ブロックの予測サンプルを生成できる。
デコード装置は、前記導き出された予測サンプルに基づいて前記現在ブロックに対する復元ピクチャを生成する（Ｓ１８６０）。デコード装置は、前記導き出された予測サンプルに基づいて、前記現在ブロックに対する復元ピクチャを生成できる。デコード装置は、予測モードに応じて予測サンプルをまさに復元サンプルとして利用することもでき、または前記予測サンプルにレジデュアルサンプルを加えて復元サンプルを生成することもできる。デコード装置は、前記現在ブロックに対するレジデュアルサンプルが存在する場合、前記ビットストリームから前記現在ブロックに対するレジデュアルに関する情報を獲得できる。前記レジデュアルに関する情報は、前記レジデュアルサンプルに関する変換係数を含むことができる。デコード装置は、前記レジデュアル情報に基づいて前記現在ブロックに対する前記レジデュアルサンプル（またはレジデュアルサンプルアレイ）を導き出すことができる。デコード装置は、前記予測サンプルと前記レジデュアルサンプルに基づいて復元サンプルを生成でき、前記復元サンプルに基づいて復元ブロックまたは復元ピクチャを導き出すことができる。以後、デコード装置は、必要に応じて主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／またはＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、上述したとおりである。
図１９は、本文書による映像デコード方法を行うデコード装置を概略的に示す。図１８において開示された方法は、図１９において開示されたデコード装置によって行われることができる。具体的に、例えば、図１９の前記デコード装置のエントロピーデコード部は、図１８のＳ１８００を行うことができ、図１９の前記デコード装置の予測部は、図１８のＳ１８１０ないしＳ１８５０を行うことができ、図１９の前記デコード装置の加算部は、図１８のＳ１８６０を行うことができる。また、たとえ図示していないが、ビットストリームを介して現在ブロックのレジデュアルに関する情報を含む映像情報を獲得する過程は、図１９の前記デコード装置のエントロピーデコード部によって行われることができ、前記レジデュアル情報に基づいて前記現在ブロックに対する前記レジデュアルサンプルを導き出す過程は、図１９の前記デコード装置の逆変換部によって行われることができる。
上述した本文書によれば、アフィン動き予測に基づいた映像コーディングの効率を上げることができる。
また、本文書によれば、アフィンＭＶＰ候補リストを導き出すにおいて、周辺ブロックを左側ブロックグループ及び上側ブロックグループに分け、各ブロックグループからＭＶＰ候補を導き出して、アフィンＭＶＰ候補リストを構成でき、これによりアフィンＭＶＰ候補リストを構成する過程の複雑度を減らし、コーディング効率を向上させることができる。
上述した実施形態において、方法は、一連のステップまたはブロックでフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、上述したことと異なるステップと異なる順序でまたは同時に発生できる。また、当業者であれば、フローチャートに示されたステップが排他的でなく、他のステップが含まれたりフローチャートの一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除されうることを理解できるはずである。
本ドキュメントにおいて説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上において具現化されて行われることができる。例えば、各図面において示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたは、チップ上において具現されて行われることができる。この場合、具現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎｏｎ ｉｎ ｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、ビデオカメラ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、運送手段端末（ｅｘ．車両端末、飛行機端末、船舶端末等）及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使用されることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置では、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。本文書によるデータ構造を有するマルチメディアデータもまたコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納されるすべての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した転送）の形態により具現化されたメディアを含む。また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納されるか、または有無線通信ネットワークを介して転送されることができる。
また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品により具現化されることができ、前記プログラムコードは、本文書の実施形態によりコンピュータにおいて行われることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリアに格納されることができる。
図２０は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。
本文書が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記エンコードサーバは、スマートフォン、カメラ、ビデオカメラなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに転送する役割をする。他の例として、スマートフォン、カメラ、ビデオカメラなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。
前記ビットストリームは、本文書が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを転送または受信する過程において一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいて、マルチメディアデータをユーザ装置に転送し、前記ウェブサーバは、ユーザにいかなるサービスがあるかどうかを知らせる媒介体として機能する。ユーザが前記ウェブサーバに望みのサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを転送する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／またはエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に格納することができる。
前記ユーザ装置の例には、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノート型パソコン（ｌａｐｔｏｐ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔ ｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ 、デジタルサイニジなどがありうる。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

Claims (15)

  1. デコード装置によって行われる映像デコード方法であって、
    ビットストリームから現在ブロックに対する動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を獲得するステップと、
    前記現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成するステップと、
    前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出すステップと、
    前記動き予測情報に基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出すステップと、
    前記ＣＰＭＶＰ及び前記ＣＰＭＶＤに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓ）を導き出すステップと、
    前記ＣＰＭＶに基づいて前記現在ブロックに対する予測サンプルを導き出すステップと、
    前記導き出された予測サンプルに基づいて、前記現在ブロックに対する復元ピクチャを生成するステップとを含むものの、
    前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出され、
    前記第１ブロックは、アフィン動きモデルでコーディングされ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一で、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出され、
    前記第２ブロックは、アフィン動きモデルでコーディングされ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同じであることを特徴とする映像デコード方法。
  2. 前記第１ブロックは、特定順序に応じて前記左側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックであることを特徴とする請求項１に記載の映像デコード方法。
  3. 前記第２ブロックは、特定順序に応じて前記上側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックであることを特徴とする請求項１に記載の映像デコード方法。
  4. 前記特定順序は、前記上側周辺ブロックから右上側コーナー周辺ブロック、左上側コーナー周辺ブロックへの順序であることを特徴とする請求項３に記載の映像デコード方法。
  5. 前記動き予測情報は、前記現在ブロックに対するアフィンＭＶＰ候補インデックスを含み、
    前記現在ブロックの前記ＣＰに対する前記ＣＰＭＶＰは、前記アフィンＭＶＰ候補インデックスが指すアフィンＭＶＰ候補に基づいて導き出されることを特徴とする請求項１に記載の映像デコード方法。
  6. 前記アフィンＭＶＰ候補リストを生成するステップは、
    前記現在ブロックの周辺ブロックの動きベクトルを第１グループ、第２グループ、第３グループに分けるステップと、
    前記第１グループから前記現在ブロックのＣＰ０に対したＣＰＭＶＰ候補、前記第２グループから前記現在ブロックのＣＰ１に対したＣＰＭＶＰ候補、前記第３グループから前記現在ブロックのＣＰ２に対したＣＰＭＶＰ候補を導き出し、前記ＣＰに対するＣＰＭＶＰ候補を含むコンストラクテッド（ｃｏｎｓｔｒｕｃｔｅｄ）アフィンＭＶＰ候補を導き出すステップとを含むことを特徴とする請求項１に記載の映像デコード方法。
  7. 前記周辺ブロックは、周辺ブロックＡ、周辺ブロックＢ、周辺ブロックＣ、周辺ブロックＤ、周辺ブロックＥ、周辺ブロックＦ及び周辺ブロックＧを含み、
    前記現在ブロックのサイズがＷｘＨであり、前記現在ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルポジションのｘ成分が０及びｙ成分が０の場合、前記周辺ブロックＡは、（－１、－１）座標のサンプルを含むブロックで、前記周辺ブロックＢは、（０、－１）座標のサンプルを含むブロックで、前記周辺ブロックＣは、（－１、０）座標のサンプルを含むブロックで、前記周辺ブロックＤは、（Ｗ－１、－１）座標のサンプルを含むブロックで、前記周辺ブロックＥは、（Ｗ、－１）座標のサンプルを含むブロックで、前記周辺ブロックＦは、（－１、Ｈ－１）座標のサンプルを含むブロックで、前記周辺ブロックＧは、（－１、Ｈ）座標のサンプルを含むブロックであることを特徴とする請求項６に記載の映像デコード方法。
  8. 前記第１グループは、前記周辺ブロックＡの動きベクトル、前記周辺ブロックＢの動きベクトル、前記周辺ブロックＣの動きベクトルを含み、
    前記第２グループは、前記周辺ブロックＤの動きベクトル、前記周辺ブロックＥの動きベクトルを含み、
    前記第３グループは、前記周辺ブロックＦの動きベクトル、前記周辺ブロックＧの動きベクトルを含むことを特徴とする請求項７に記載の映像デコード方法。
  9. 前記ＣＰ０に対したＣＰＭＶＰは、特定順序に応じて前記第１グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルで、
    前記特定順序は、前記周辺ブロックＡから前記周辺ブロックＢ、前記周辺ブロックＣへの順序であることを特徴とする請求項８に記載の映像デコード方法。
  10. 前記ＣＰ１に対したＣＰＭＶＰは、特定順序に応じて前記第２グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルで、
    前記特定順序は、前記周辺ブロックＤから前記周辺ブロックＥへの順序であることを特徴とする請求項８に記載の映像デコード方法。
  11. 前記ＣＰ２に対したＣＰＭＶＰは、特定順序に応じて前記第３グループ内の動きベクトルをチェックして、初めて確認された参照ピクチャが前記現在ブロックの参照ピクチャと同じ動きベクトルで、
    前記特定順序は、前記周辺ブロックＦから前記周辺ブロックＧへの順序であることを特徴とする請求項８に記載の映像デコード方法。
  12. エンコード装置によって行われる映像エンコード方法であって、
    現在ブロックに対するアフィン（ａｆｆｉｎｅ）動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）候補（ｃａｎｄｉｄａｔｅｓ）を含むアフィンＭＶＰ候補リストを生成するステップと、
    前記アフィンＭＶＰ候補リストに含まれた前記アフィンＭＶＰ候補のうち、いずれか一つのアフィンＭＶＰ候補に基づいて、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）に対するＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒｓ）を導き出すステップと、
    前記現在ブロックの前記ＣＰに対するＣＰＭＶを導き出すステップと、
    前記ＣＰＭＶＰ及び前記ＣＰＭＶに基づいて、前記現在ブロックの前記ＣＰに対するＣＰＭＶＤ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）を導き出すステップと、
    前記ＣＰＭＶＤに対する情報を含む動き予測情報（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）をエンコードするステップとを含むものの、
    前記アフィンＭＶＰ候補は、第１アフィンＭＶＰ候補及び第２アフィンＭＶＰ候補を含み、
    前記第１アフィンＭＶＰ候補は、前記現在ブロックの左下側コーナー周辺ブロック（ｂｏｔｔｏｍ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左側周辺ブロック（ｌｅｆｔ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む左側ブロックグループ（ｌｅｆｔ ｂｌｏｃｋ ｇｒｏｕｐ）内の第１ブロックに基づいて導き出され、
    前記第１ブロックは、アフィン動きモデルでコーディングされ、前記第１ブロックの参照ピクチャは、前記現在ブロックの参照ピクチャと同一で、
    前記第２アフィンＭＶＰ候補は、前記現在ブロックの右上側コーナー周辺ブロック（ｔｏｐ－ｒｉｇｈｔｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）、上側周辺ブロック（ｔｏｐ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び左上側コーナー周辺ブロック（ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む上側ブロックグループ（ｔｏｐ ｂｌｏｃｋ ｇｒｏｕｐ）内の第２ブロックに基づいて導き出され、
    前記第２ブロックは、アフィン動きモデルでコーディングされ、前記第２ブロックの参照ピクチャは、前記現在ブロックの前記参照ピクチャと同じであることを特徴とする映像エンコード方法。
  13. 前記第１ブロックは、特定順序に応じて前記左側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックであることを特徴とする請求項１２に記載の映像エンコード方法。
  14. 前記第２ブロックは、特定順序に応じて前記上側ブロックグループ内の周辺ブロックをチェックして、初めて確認された条件を満たすブロックであることを特徴とする請求項１２に記載の映像エンコード方法。
  15. 前記特定順序は、前記上側周辺ブロックから右上側コーナー周辺ブロック、左上側コーナー周辺ブロックへの順序であることを特徴とする請求項１４に記載の映像エンコード方法。
JP2022095981A 2018-07-13 2022-06-14 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置 Active JP7431889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024014784A JP2024036478A (ja) 2018-07-13 2024-02-02 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862698001P 2018-07-13 2018-07-13
US62/698,001 2018-07-13
US201862703415P 2018-07-25 2018-07-25
US62/703,415 2018-07-25
PCT/KR2019/008416 WO2020013569A1 (ko) 2018-07-13 2019-07-09 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
JP2020527036A JP7221960B2 (ja) 2018-07-13 2019-07-09 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020527036A Division JP7221960B2 (ja) 2018-07-13 2019-07-09 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024014784A Division JP2024036478A (ja) 2018-07-13 2024-02-02 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Publications (2)

Publication Number Publication Date
JP2022113815A true JP2022113815A (ja) 2022-08-04
JP7431889B2 JP7431889B2 (ja) 2024-02-15

Family

ID=69143098

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020527036A Active JP7221960B2 (ja) 2018-07-13 2019-07-09 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置
JP2022095981A Active JP7431889B2 (ja) 2018-07-13 2022-06-14 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置
JP2024014784A Pending JP2024036478A (ja) 2018-07-13 2024-02-02 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020527036A Active JP7221960B2 (ja) 2018-07-13 2019-07-09 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024014784A Pending JP2024036478A (ja) 2018-07-13 2024-02-02 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置

Country Status (6)

Country Link
US (4) US11019358B2 (ja)
EP (1) EP3694212A4 (ja)
JP (3) JP7221960B2 (ja)
KR (4) KR20230151045A (ja)
CN (4) CN117544769A (ja)
WO (1) WO2020013569A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050281A1 (ja) * 2018-09-06 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
EP3700216B1 (en) 2018-09-10 2022-08-03 LG Electronics Inc. Affine motion prediction-based image coding using affine mvp candidate list
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
US11190789B2 (en) 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding using inter-prediction mode signaling to dertermine motion vectors
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200771A1 (en) * 2016-05-16 2017-11-23 Qualcomm Incorporated Affine motion prediction for video coding
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
EP3355578B1 (en) * 2015-09-24 2020-12-09 LG Electronics Inc. Motion vector predictor derivation and candidate list construction
EP3414900A4 (en) * 2016-03-15 2019-12-11 Mediatek Inc. METHOD AND DEVICE FOR VIDEO CODING WITH AFFINE MOTION COMPENSATION
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
WO2018064948A1 (en) * 2016-10-04 2018-04-12 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
US10856003B2 (en) * 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
EP3468195A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
US20190208211A1 (en) * 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200771A1 (en) * 2016-05-16 2017-11-23 Qualcomm Incorporated Affine motion prediction for video coding
KR20190006967A (ko) * 2016-05-16 2019-01-21 퀄컴 인코포레이티드 비디오 코딩을 위한 애파인 모션 예측
JP2019519980A (ja) * 2016-05-16 2019-07-11 クアルコム，インコーポレイテッド ビデオコーディングのためのアフィンモーション予測
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP2019535192A (ja) * 2016-10-05 2019-12-05 クアルコム，インコーポレイテッド ビデオコーディングにおけるアフィン動きモデルのための動きベクトル予測

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAITAO YANG ET AL.: "Description of CE4: Inter prediction and motion vector coding [online]", JVET-J1024R2, JPN6023024854, 28 May 2018 (2018-05-28), pages 1 - 14, ISSN: 0005087609 *
HUANBANG CHEN, ET AL.: "CE4: Affine inter prediction(Test 1.5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0185-v2, JPN6021028040, 11 July 2018 (2018-07-11), ISSN: 0005087611 *
YU HAN, ET AL.: "CE4.1.3: Affine motion compensation prediction", JOINT VIDEO EXPLORATION TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0337, JPN6021028041, 3 July 2018 (2018-07-03), ISSN: 0005087610 *

Also Published As

Publication number Publication date
JP2024036478A (ja) 2024-03-15
CN117528073A (zh) 2024-02-06
US20200252644A1 (en) 2020-08-06
JP7431889B2 (ja) 2024-02-15
US20210211711A1 (en) 2021-07-08
US20220132160A1 (en) 2022-04-28
US11019358B2 (en) 2021-05-25
KR20230151045A (ko) 2023-10-31
CN117544769A (zh) 2024-02-09
KR20220047683A (ko) 2022-04-18
CN111418212B (zh) 2023-12-01
JP7221960B2 (ja) 2023-02-14
KR20230014876A (ko) 2023-01-30
KR20200056458A (ko) 2020-05-22
JP2021503256A (ja) 2021-02-04
KR102490854B1 (ko) 2023-01-26
EP3694212A4 (en) 2020-08-19
CN111418212A (zh) 2020-07-14
EP3694212A1 (en) 2020-08-12
US11622126B2 (en) 2023-04-04
WO2020013569A1 (ko) 2020-01-16
CN117528072A (zh) 2024-02-06
US11259041B2 (en) 2022-02-22
KR102592642B1 (ko) 2023-10-23
KR102386836B1 (ko) 2022-04-14
US20230209083A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
JP7436543B2 (ja) 画像符号化システムにおいてアフィンｍｖｐ候補リストを使用するアフィン動き予測に基づいた画像デコード方法及び装置
JP7221960B2 (ja) 映像コーディングシステムにおけるアフィン動き予測に基づいた映像デコード方法及び装置
JP7404481B2 (ja) 画像コーディングシステムにおけるサブブロック単位の動き予測に基づく画像デコーディング方法及び装置
JP7483988B2 (ja) 画像コーディングシステムにおいてコンストラクテッドアフィンｍｖｐ候補を使用するアフィン動き予測に基づいた画像デコード方法及び装置
JP7453337B2 (ja) レジデュアルコーディングに対する画像デコード方法及びその装置
JP2024015150A (ja) 映像デコーディング方法及びその装置
JP2024092010A (ja) 画像コーディングシステムにおいてコンストラクテッドアフィンｍｖｐ候補を使用するアフィン動き予測に基づいた画像デコード方法及び装置
JP2023519704A (ja) 映像デコーディング方法及びその装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R150 Certificate of patent or registration of utility model

Ref document number: 7431889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150