JP2022191450A - ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体 - Google Patents

ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体 Download PDF

Info

Publication number
JP2022191450A
JP2022191450A JP2022168464A JP2022168464A JP2022191450A JP 2022191450 A JP2022191450 A JP 2022191450A JP 2022168464 A JP2022168464 A JP 2022168464A JP 2022168464 A JP2022168464 A JP 2022168464A JP 2022191450 A JP2022191450 A JP 2022191450A
Authority
JP
Japan
Prior art keywords
block
prediction
intra
sub
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022168464A
Other languages
English (en)
Inventor
ジン ホ リ
Jin Ho Lee
サン チャン リム
Sung Chang Lim
ジュン ウォン カン
Jung Won Kang
ヒュン サク コウ
Hyun Suk Ko
ドン サン ジュン
Dong San Jun
ハ ヒュン リ
Ha Hyun Lee
スン ヒュン チョ
Seung Hyun Cho
フイ ヨン キム
Hui Yong Kim
ジン スー チェ
Jin Soo Choi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2022191450A publication Critical patent/JP2022191450A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】圧縮効率が向上したイントラ予測を用いたビデオ復号方法、ビデオ符号化方法を提供する。【解決手段】一つ以上のサブブロックに分割された現在ブロックにおいて、各サブブロックのイントラ予測モードを導出する方法は、現在の符号化ブロックがイントラ予測されるか否かを決定し、現在の符号化ブロックがイントラ予測され、現在の符号化ブロックのサイズが所定範囲内の場合、現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を取得し、現在の符号化ブロックが複数のサブブロックに分割されることをサブブロック分割情報が示す場合、現在の符号化ブロックを複数のサブブロックに分割し、現在の符号化ブロックのイントラ予測モードに従って複数のサブブロックのそれぞれに対して予測ブロックを生成する。複数のサブブロックは、現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される。【選択図】図１４

Description

本発明は、ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを送信したり従来の記憶媒体を用いて保存したりする場合には、送信及び保存のコストが増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化（ｅｎｃｏｄｉｎｇ）／復号（ｄｅｃｏｄｉｎｇ）技術が求められる。
画像圧縮技術として、現在ピクチャよりも前又は後のピクチャから、現在ピクチャに含まれている画素値を予測するインター予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測するイントラ予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、このような画像圧縮技術を利用して画像データを効果的に圧縮して送信又は保存することができる。
本発明は、圧縮効率が向上したビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体を提供することを目的とする。
また、本発明は、圧縮効率が向上したイントラ予測を用いたビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体を提供することを目的とする。
本発明に係るビデオ復号方法は、現在の符号化ブロックがイントラ予測されるか否かを決定し、前記現在の符号化ブロックがイントラ予測され、前記現在の符号化ブロックのサイズが所定範囲内の場合、前記現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を取得し、前記現在の符号化ブロックが複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックを複数のサブブロックに分割し、前記現在の符号化ブロックのイントラ予測モードに従って前記複数のサブブロックのそれぞれに対して予測ブロックを生成し、前記複数のサブブロックは、前記現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される。
本発明に係るビデオ復号方法において、前記複数のサブブロックの数は、前記現在の符号化ブロックのサイズに従って２又は４に決定される。
本発明に係るビデオ復号方法において、前記現在の符号化ブロックが前記複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックの分割構造を示す分割情報を取得することをさらに含み、前記現在の符号化ブロックは、前記分割情報に基づいて分割される。
本発明に係るビデオ復号方法において、前記現在の符号化ブロックを分割するか否かは前記現在の符号化ブロックの色成分に基づいて決定される。
本発明に係るビデオ復号方法において、前記現在の符号化ブロックの複数の近傍ブロックからの一つ以上のイントラ予測モードに基づき、前記現在の符号化ブロックのＭＰＭリストを決定することをさらに含み、前記複数のサブブロックのそれぞれに対する前記予測ブロックは、前記現在の符号化ブロックの前記ＭＰＭリストによって導出された前記イントラ予測モードによって生成される。
本発明に係るビデオ符号化方法は、現在の符号化ブロックがイントラ予測されるか否かを決定し、前記現在の符号化ブロックがイントラ予測され、前記現在の符号化ブロックのサイズが所定範囲内の場合、前記現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を符号化し、前記現在の符号化ブロックが複数のサブブロックに分割されると決定された場合、前記現在の符号化ブロックを複数のサブブロックに分割し、前記現在の符号化ブロックのイントラ予測モードに従って前記複数のサブブロックのそれぞれに対して予測ブロックを生成し、前記複数のサブブロックは前記現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される。
本発明に係るビデオ符号化方法において、前記複数のサブブロックの数は、前記現在の符号化ブロックのサイズに従って２又は４に決定される。
本発明に係るビデオ符号化方法において、前記現在の符号化ブロックが前記複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックの分割構造を示す分割情報を符号化することをさらに含み、前記現在の符号化ブロックは前記分割情報に基づいて分割される。
本発明に係るビデオ符号化方法において、前記現在の符号化ブロックを分割するか否かは前記現在の符号化ブロックの色成分に基づいて決定される。
本発明に係るビデオ符号化方法において、前記現在の符号化ブロックの複数の近傍ブロックからの一つ以上のイントラ予測モードに基づき、前記現在の符号化ブロックのＭＰＭリストを決定することをさらに含み、前記複数のサブブロックのそれぞれに対する前記予測ブロックは、前記現在の符号化ブロックの前記ＭＰＭリストによって導出された前記イントラ予測モードによって生成される。
本発明に係るビデオ復号方法によって復号されたビットストリームを保存する非一時的なコンピュータ可読記録媒体において、前記ビデオ復号方法は、現在の符号化ブロックがイントラ予測されるか否かを決定し、前記現在の符号化ブロックがイントラ予測され、前記現在の符号化ブロックのサイズが所定範囲内の場合、前記現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を取得し、前記現在の符号化ブロックが複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックを複数のサブブロックに分割し、前記現在の符号化ブロックのイントラ予測モードに従って前記複数のサブブロックのそれぞれに対して予測ブロックを生成し、前記複数のサブブロックは前記現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される。
本発明によれば、圧縮効率が向上したビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体が提供できる。
また、本発明によれば、圧縮効率が向上したイントラ予測を用いたビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体が提供できる。
本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。 画像を符号化及び復号するときの画像の分割構造を示す概略図である。 符号化ユニット（ＣＵ）が含むことが可能な予測ユニット（ＰＵ）の形態を示す図である。 符号化ユニット（ＣＵ）が含むことが可能な変換ユニット（ＴＵ）の形態を示す図である。 イントラ予測処理の実施形態を説明するための図である。 インター予測処理の実施形態を説明するための図である。 イントラ予測モードによる変換セットを説明するための図である。 変換の処理を説明するための図である。 量子化された変換係数のスキャニングを説明するための図である。 ブロック分割を説明するための図である。 本発明の一実施形態によって、現在ブロックに対するイントラ予測を行う方法を説明するための図である。 近傍ブロックから現在ブロックのイントラ予測モードを導出する方法を説明するための図である。 現在ブロックが一つ以上のサブブロックに分割され、各サブブロックのイントラ予測モードを導出する実施形態を説明するための図である。 現在ブロックがサブブロックに分割される一つの実施形態を示す図である。 現在ブロックがサブブロックに分割される他の実施形態を示す図である。 現在ブロックがサブブロックに分割される別の実施形態を示す図である。 現在ブロックがサブブロックに分割される別の実施形態を示す図である。 現在ブロックのイントラ予測に利用可能な近傍の再構築サンプルラインを例示的に示す図である。 利用可能な再構築サンプルを用いて、利用不可能な再構築サンプルを代替する方法を説明するための図である。 様々なフィルタ形状を例示的に示す図である。 方向性イントラ予測モード及びサンプル単位方向性イントラ予測モードを説明するための図である。 Ｐｒｅｆから参照サンプルの１次元配列（１－Ｄ ｒｅｆｅｒｅｎｃｅ ｓａｍｐｌｅ ａｒｒａｙ、ｐ１，ｒｅｆ）を生成する一実施形態を説明するための図である。 予測ブロック内のサンプル位置に応じて異なる角度の参照サンプルを用いる実施形態を説明するための図である。 上側及び／又は左側の参照サンプルラインを用いて対応ブロックを再構成する実施形態を説明するための図である。 第２色成分予測対象ブロックが４ｘ４である場合、再構成された第１色成分対応ブロックの実施形態を説明するための図である。 第１色成分のサンプル及び第２色成分のサンプルを例示的に示す図である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ただし、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び添付の請求項によってのみ限定される。
本発明において、用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも２つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解すべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
また、以下において、画像は動画像（ｖｉｄｅｏ）を構成する一つのピクチャを意味することもあり、動画像自体を示すこともある。例えば、「画像の符号化及び／又は復号」は、「ビデオの符号化及び／又は復号」を意味することができ、「ビデオを構成する画像のうちの一つの画像の符号化及び／又は復号」を意味することもできる。ここで、ピクチャは画像と同じ意味を持つことができる。
＜用語説明＞
符号化器（Ｅｎｃｏｄｅｒ）：符号化を行う装置を意味することができる。
復号器（Ｄｅｃｏｄｅｒ）：復号を行う装置を意味することができる。
パーシング（Ｐａｒｓｉｎｇ）：エントロピー復号して構文要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）の値を決定することを意味し、或いはエントロピー復号自体を意味することができる。
ブロック（Ｂｌｏｃｋ）：サンプル（Ｓａｍｐｌｅ）のＭｘＮ配列であり、ここで、ＭとＮは正の整数値を意味し、ブロックは一般に２次元形状のサンプル配列を意味することができる。
サンプル（Ｓａｍｐｌｅ）：ブロックを構成する基本単位であり、ビット深度（ｂｉｔ ｄｅｐｔｈ、Ｂｄ）に応じて０から２Ｂｄ－１までの値を表現することができる。本発明において、画素及びピクセルはサンプルと同じ意味で使用できる。
ユニット（Ｕｎｉｔ）：画像符号化及び復号の単位を意味することができる。画像の符号化及び復号において、ユニットは、一つの画像の分割によって生成された領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号するとき、その分割された単位を意味することができる。画像の符号化及び復号において、ユニットごとに、予め定義された処理が実行できる。一つのユニットは、ユニットに比べてより小さい大きさを持つ下位ユニットにさらに分割できる。機能に応じて、ユニットは、ブロック（Ｂｌｏｃｋ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度（Ｌｕｍａ）成分ブロック、それに対応する色差（Ｃｈｒｏｍａ）成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報には、符号化ユニット、予測ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットの大きさ、ユニットの深さ、ユニットの符号化及び復号順序などのうちの少なくとも一つを含むことができる。
再構築された近傍ユニット（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｎｅｉｇｈｂｏｒ Ｕｎｉｔ）：符号化／復号対象ユニットの周りに空間的（Ｓｐａｔｉａｌ）／時間的（Ｔｅｍｐｏｒａｌ）に既に符号化或いは復号されて再構築されたユニットを意味することができる。このとき、再構築された近傍ユニットは、再構築された近傍ブロックを意味することができる。
近傍ブロック（Ｎｅｉｇｈｂｏｒ ｂｌｏｃｋ）：符号化／復号対象ブロックに隣接するブロックを意味することができる。符号化／復号対象ブロックに隣接するブロックは、符号化／復号対象ブロックに境界が接するブロックを意味することができる。近傍ブロックは符号化／復号対象ブロックの隣接頂点に位置するブロックを意味することができる。近傍ブロックは、再構築された近傍ブロックを意味することもできる。
ユニット深さ（Ｄｅｐｔｈ）：ユニットが分割された程度を意味し、ツリー構造（Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）において、ルートノード（Ｒｏｏｔ Ｎｏｄｅ）は深さが最も浅く、リーフノード（Ｌｅａｆ Ｎｏｄｅ）は深さが最も深いといえる。
シンボル（Ｓｙｍｂｏｌ）：符号化／復号対象ユニットの構文要素及び符号化パラメータ（ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ）、変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）の値などを意味することができる。
パラメータセット（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）：ビットストリーム内の構造のうちのヘッダー情報に該当することができ、ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、適応パラメータセット（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットにはスライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダー情報を含む意味を持つことができる。
ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像情報を含むビットの列を意味することができる。
予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）：インター予測又はイントラ予測及びそれに対する補償を行うときの基本ユニットであり、一つの予測ユニットは、大きさが小さい複数のパーティション（Ｐａｒｔｉｔｉｏｎ）に分割されることも可能である。この場合、複数のパーティションそれぞれを前記予測及び補償実行時の基本ユニットとし、予測ユニットが分割されたパーティションも予測ユニットとすることができる。予測ユニットはさまざまなサイズと形状を有することができ、特に予測ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。
予測ユニットパーティション（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ Ｐａｒｔｉｔｉｏｎ）：予測ユニットが分割された形状を意味することができる。
参照画像リスト（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ）：インター予測或いは動き補償に使用される一つ以上の参照画像が含まれているリストを意味することができる。参照画像リストの種類は、ＬＣ（Ｌｉｓｔ Ｃｏｍｂｉｎｅｄ）、Ｌ０（Ｌｉｓｔ ０）、Ｌ１（Ｌｉｓｔ １）、Ｌ２（Ｌｉｓｔ ２）、Ｌ３（Ｌｉｓｔ ３）などがあり得る。インター予測には、一つ以上の参照画像リストが使用できる。
インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）：インター予測時に符号化／復号対象ブロックのインター予測方向（一方向予測、双方向予測など）を意味することができ、符号化／復号対象ブロックが予測ブロックを生成するときに使用する参照画像の数を意味することができ、符号化／復号対象ブロックがインター予測或いは動き補償を行うときに使用する予測ブロックの数を意味することができる。
参照画像インデックス（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｉｎｄｅｘ）：参照画像リストから特定の参照画像に対するインデックスを意味することができる。
参照画像（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）：インター予測或いは動き補償のために特定のユニットが参照する画像を意味することができ、参照画像を参照ピクチャとも呼ぶことができる。
動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）：インター予測或いは動き補償に使用される２次元ベクトルであり、符号化／復号対象画像と参照画像との間のオフセットを意味することができる。例えば、（ｍｖＸ、ｍｖＹ）は動きベクトルを示すことができ、ｍｖＸは横（ｈｏｒｉｚｏｎｔａｌ）成分、ｍｖＹは縦（ｖｅｒｔｉｃａｌ）成分を示すことができる。
動きベクトル候補（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ）：動きベクトルを予測するときに予測候補となるユニット、或いはそのユニットの動きベクトルを意味することができる。
動きベクトル候補リスト（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：動きベクトル候補を用いて構成されたリストを意味することができる。
動きベクトル候補インデックス（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｉｎｄｅｘ）：動きベクトル候補リスト内の動きベクトル候補を示すインジケータ、動きベクトル予測器（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）のインデックス（ｉｎｄｅｘ）とも呼ぶことができる。
動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）：動きベクトル、参照画像インデックス、インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）だけでなく、参照画像リスト情報、参照画像、動きベクトル候補、動きベクトル候補インデックスなどのうちの少なくとも一つを含む情報を意味することができる。
マージ候補リスト（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：マージ候補を用いて構成されたリストを意味することができる。
マージ候補（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ）：空間マージ候補、時間マージ候補、結合マージ候補、結合双予測マージ候補、ゼロマージ候補などを含むことができ、マージ候補は、予測タイプ情報（ｐｒｅｄｉｃｔｉｏｎ ｔｙｐｅ ｉｎｆｏｒｍａｔｉｏｎ）、各リストに対する参照画像インデックス（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ）、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）などの動き情報を含むことができる。
マージインデックス（Ｍｅｒｇｅ Ｉｎｄｅｘ）：マージ候補リスト内のマージ候補を指し示す情報を意味することができる。また、マージインデックスは、空間的／時間的に現在ブロックと隣接するように再構築されたブロックのうち、マージ候補を導出したブロックを示すことができる。また、マージインデックスは、マージ候補が持つ動き情報のうちの少なくとも一つを示すことができる。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）：変換、逆変換、量子化、逆量子化、変換係数符号化／復号のように残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）符号化／復号を行うときの基本ユニットを意味することができ、一つの変換ユニットは、分割されてサイズの小さい複数の変換ユニットに分割できる。変換ユニットは、さまざまなサイズと形状を持つことができ、特に、変換ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。
スケーリング（Ｓｃａｌｉｎｇ）：変換係数レベルに因数を掛ける処理を意味することができ、結果として変換係数を生成することができる。スケーリングを逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）とも呼ぶことができる。
量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：量子化及び逆量子化において変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）をスケーリング（ｓｃａｌｉｎｇ）するときに使用する値を意味することができる。このとき、量子化パラメータは、量子化ステップサイズ（ｓｔｅｐ ｓｉｚｅ）にマッピングされた値であり得る。
デルタ量子化パラメータ（Ｄｅｌｔａ Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：予測された量子化パラメータと符号化／復号対象ユニットの量子化パラメータとの差分値を意味することができる。
スキャン（Ｓｃａｎ）：ブロック或いは行列内係数の順序をソートする方法を意味することができ、例えば、２次元配列を１次元配列にソートすることをスキャンといい、１次元配列を２次元配列にソートすることもスキャン或いは逆スキャン（Ｉｎｖｅｒｓｅ Ｓｃａｎ）と呼ぶことができる。
変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：変換を行ってから生成された係数値、本発明では変換係数に量子化を適用した量子化変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）も変換係数の意味に含まれ得る。
ナンゼロ変換係数（Ｎｏｎ－ｚｅｒｏ Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：変換係数値の大きさが０ではない変換係数、或いは値の大きさが０ではない変換係数レベルを意味することができる。
量子化行列（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ）：画像の主観的画質或いは客観的画質を向上させるために量子化或いは逆量子化処理で利用する行列を意味することができる。量子化行列をスケーリングリスト（ｓｃａｌｉｎｇ ｌｉｓｔ）とも呼ぶことができる。
量子化行列係数（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ Ｃｏｅｆｆｉｃｉｅｎｔ）：量子化行列内の各要素（ｅｌｅｍｅｎｔ）を意味することができる。量子化行列係数を行列係数（ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔ）とも呼ぶことができる。
基本行列（Ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号器で予め定義されている所定の量子化行列を意味することができる。
非基本行列（Ｎｏｎ－ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号器で予め定義されず、ユーザーによって送信／受信される量子化行列を意味することができる。
符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）：一つの輝度成分（Ｙ）符号化ツリーブロックと関連する２つの色差成分（Ｃｂ、Ｃｒ）符号化ツリーブロックから構成できる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどの下位ユニットを構成するために、４分木（ｑｕａｄ ｔｒｅｅ）、２分木（ｂｉｎａｒｙ ｔｒｅｅ）などの一つ以上の分割方式を用いて分割できる。入力画像の分割のように画像の復号／符号化処理で処理単位となるピクセルブロックを示すための用語として使用できる。
符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）：Ｙ符号化ツリーブロック、Ｃｂ符号化ツリーブロック及びＣｒ符号化ツリーブロックのいずれかを示すための用語として使用できる。
図１は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
符号化装置１００は、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは、一つ以上の画像を含むことができる。符号化装置１００は、ビデオの一つ以上の画像を時間に応じて順次符号化することができる。
図１を参照すると、符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含むことができる。
符号化装置１００は、入力画像に対してイントラモード及び／又はインターモードで符号化を行うことができる。また、符号化装置１００は、入力画像に対する符号化を介してビットストリームを生成することができ、生成されたビットストリームを出力することができる。予測モードとしてイントラモードが使用される場合、スイッチ１１５はイントラに切り替えられてよい。予測モードとしてインターモードが使用される場合、スイッチ１１５はインターに切り替えられてよい。ここで、イントラモードはイントラ予測モードを意味することができ、インターモードはインター予測モードを意味することができる。符号化装置１００は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置１００は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分（ｒｅｓｉｄｕａｌ）を符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化の対象となる現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部１２０は、現在ブロックの近傍に既に符号化されたブロックのピクセル値を参照画素としても用いることができる。イントラ予測部１２０は、参照画素を用いて空間予測を行うことができ、空間予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測はイントラ予測を意味することができる。
予測モードがインターモードである場合には、動き予測部１１１は、動き予測処理で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ１９０に保存できる。
動き補償部１１２は、動きベクトルを用いる動き補償を行うことにより、予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使用される２次元ベクトルであり得る。また、動きベクトルは、現在画像と参照画像との間のオフセット（ｏｆｆｓｅｔ）を示すことができる。ここで、インター予測はインター予測を意味することができる。
前記動き予測部１１１と動き補償部１１２は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。インター予測或いは動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き予測及び動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて、インター予測或いは動き補償を行うことができる。ここで、現在ピクチャ参照モードは、符号化対象ブロックの属した現在ピクチャ内の既に再構築された領域を用いた予測モードを意味することができる。前記既に再構築された領域を特定するために、現在ピクチャ参照モードのための動きベクトルが定義できる。符号化対象ブロックが現在ピクチャ参照モードで符号化されるか否かは、符号化対象ブロックの参照画像インデックスを用いて符号化できる。
減算器１２５は、入力ブロック及び予測ブロックの差分を用いて残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。残余ブロックは残余信号とも称される。
変換部１３０は、残余ブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を行って変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができ、変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより、生成された係数値であり得る。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合、変換部１３０は残余ブロックに対する変換を省略することもできる。
変換係数に量子化を適用することにより、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）が生成できる。以下、実施形態では、量子化された変換係数レベルも変換係数と称されることがある。
量子化部１４０は、変換係数を量子化パラメータに基づいて量子化することにより、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）を生成することができ、量子化された変換係数レベルを出力することができる。このとき、量子化部１４０では、量子化行列を用いて変換係数を量子化することができる。
エントロピー符号化部１５０は、量子化部１４０で算出された値、又は符号化処理で算出された符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を生成することができ、ビットストリームを出力することができる。エントロピー符号化部１５０は、画像のピクセルの情報の他に、画像の復号のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号のための情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル（ｓｙｍｂｏｌ）に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。よって、エントロピー符号化を介して画像符号化の圧縮効率が高くなることができる。エントロピー符号化部１５０は、エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの符号化方法を使用することができる。例えば、エントロピー符号化部１５０は、可変長符号化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ；ＶＬＣ）テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部１５０は、対象シンボルの２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法及び対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導出した後、導出された２値化方法又は確率モデルを用いて算術符号化を行うこともできる。
エントロピー符号化部１５０は、変換係数レベルを符号化するために、変換係数スキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法を介して２次元のブロック形状係数を１次元のベクトルに変更することができる。例えば、アップライト（ｕｐ ｒｉｇｈｔ）スキャニングを用いてブロックの係数をスキャニングすることにより、１次元ベクトルに変更することができる。変換ユニットのサイズ及びイントラ予測モードに応じて、アップライトスキャンの代わりに、２次元のブロック形状係数を列方向にスキャニングする垂直スキャン、２次元のブロック形状係数を行方向にスキャニングする水平スキャンが使用されてもよい。つまり、変換ユニットのサイズ及びイントラ予測モードに応じてアップライトスキャン、垂直方向スキャン及び水平方向スキャンのうちのいずれのスキャン方法が使用されるかを決定することができる。
符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）は、構文要素のように符号化器で符号化されて復号器へ送信される情報だけでなく、符号化或いは復号処理で導出される情報を含むことができ、画像を符号化又は復号するときに必要な情報を意味することができる。例えば、ブロックサイズ、ブロック深さ、ブロック分割情報、ユニットサイズ、ユニット深さ、ユニット分割情報、４分木分割フラグ、２分木分割フラグ、２分木分割方向、イントラ予測モード、イントラ予測方向、参照サンプルフィルタリング方法、予測ブロック境界フィルタリング方法、フィルタタップ、フィルタ係数、インター予測モード、動き情報、動きベクトル、参照画像インデックス、インター予測方向、インター予測インジケータ、参照画像リスト、動きベクトル予測、動きベクトル候補リスト、動きマージモード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）の使用有無、動きマージ候補、動きマージ候補リスト、スキップ（ｓｋｉｐ）モードの使用有無、補間フィルタの種類、動きベクトルのサイズ、動きベクトル表現の精度、変換種類、変換サイズ、追加（２次）変換の使用有無情報、残余信号の有無情報、符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）、符号化ブロックフラグ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）、量子化パラメータ、量子化行列、ループ内フィルタ情報、ループ内フィルタを適用するか否かについての情報、ループ内フィルタ係数、２値化／逆２値化方法、コンテキストモデル、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数レベルのスキャニング方法、画像ディスプレイ／出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャタイプ、ビット深度、輝度信号或いは色差信号に対する情報のうち少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
残余信号は、原信号と予測信号との差（ｄｉｆｆｅｒｅｎｃｅ）を意味することができる。又は、残余信号は、原信号と予測信号との差を変換（ｔｒａｎｓｆｏｒｍ）することにより生成された信号であり得る。又は、残余信号は、原信号と予測信号との差を変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
符号化装置１００がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対して参照画像として使用できる。よって、符号化装置１００は、符号化された現在画像をさらに復号することができ、復号された画像を参照画像として保存することができる。復号のために、符号化された現在画像に対する逆量子化及び逆変換が処理できる。
量子化された係数は、逆量子化部１６０で逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）でき、逆変換部１７０で逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）できる。逆量子化及び逆変換された係数は、加算器１７５を介して予測ブロックと合わせられ得る。逆量子化及び逆変換された係数と予測ブロックとを合わせることにより、再構築ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成できる。
再構築ブロックはフィルタ部１８０を経ることができる。フィルタ部１８０は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ；ＳＡＯ）、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ；ＡＬＦ）のうちの少なくとも一つを再構築ブロック又は再構築画像に適用することができる。フィルタ部１８０はインループフィルタ（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）とも称される。
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて強いフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又は弱いフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。また、デブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングの際に水平方向のフィルタリング及び垂直方向のフィルタリングが並行処理されるようにすることができる。
サンプル適応的オフセットは、符号化エラーを補償するために、ピクセル値に適正オフセット（ｏｆｆｓｅｔ）値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正することができる。特定のピクチャに対するオフセット補正を行うために、画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、再構築画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グループに適用されるべき一つのフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、輝度信号は符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）ごとに送信でき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。また、適用対象ブロックの特性を問わず、同じ形態（固定された形態）の適応的ループフィルタが適用されることも可能である。
フィルタ部１８０を経た再構築ブロックは参照ピクチャバッファ１９０に保存できる。
図２は本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。
復号装置２００はビデオ復号装置又は画像復号装置であり得る。
図２を参照すると、復号装置２００は、エントロピー復号部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含むことができる。
復号装置２００は、符号化装置１００から出力されたビットストリームを受信することができる。復号装置２００は、ビットストリームに対してイントラモード又はインターモードで復号を行うことができる。また、復号装置２００は、復号を介して再構築画像を生成することができ、再構築画像を出力することができる。
復号に使用される予測モードがイントラモードである場合、スイッチがイントラに切り替えられてよい。復号に使用される予測モードがインターモードである場合、スイッチがインターに切り替えられてよい。
復号装置２００は、入力されたビットストリームから、再構築された残余ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を取得することができ、予測ブロックを生成することができる。再構築された残余ブロック及び予測ブロックが取得されると、復号装置２００は、再構築された残余ブロックと予測ブロックを加えることにより、復号対象ブロックである再構築ブロックを生成することができる。復号対象ブロックは現在ブロックと称されることもある。
エントロピー復号部２１０は、ビットストリームに対する確率分布に基づくエントロピー復号を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）形態のシンボルを含むことができる。ここで、エントロピー復号方法は、上述したエントロピー符号化方法と類似することができる。例えば、エントロピー復号方法は上述したエントロピー符号化方法の逆処理であり得る。
エントロピー復号部２１０は、変換係数レベルを復号するために、変換係数のスキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって１次元のベクトル形態係数を２次元のブロック形態に変更することができる。例えば、アップライト（ｕｐ ｒｉｇｈｔ）スキャニングを用いてブロックの係数をスキャニングすることにより、２次元ブロック形態に変更させることができる。変換ユニットのサイズ及びイントラ予測モードに応じて、アップライトスキャンの代わりに垂直スキャン、水平スキャンが使用されてもよい。つまり、変換ユニットのサイズ及びイントラ予測モードに応じてアップライトスキャン、垂直方向スキャン及び水平方向スキャンのうちのいずれのスキャン方法が使用されるかを決定することができる。
量子化された変換係数レベルは、逆量子化部２２０で逆量子化でき、逆変換部２３０で逆変換できる。量子化された変換係数レベルが逆量子化及び逆変換された結果として、再構築された残余ブロックが生成できる。このとき、逆量子化部２２０は、量子化された変換係数レベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部２４０は、復号対象ブロック近傍の、既に復号されたブロックのピクセル値を用いる空間予測を行うことにより、予測ブロックを生成することができる。
インターモードが使用される場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に保存されている参照画像を用いる動き補償を行うことにより、予測ブロックを生成することができる。前記動き補償部２５０は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）、及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて動き補償を行うことができる。ここで、現在ピクチャ参照モードは、復号対象ブロックの属する現在ピクチャ内の既に再構築された領域を用いた予測モードを意味することができる。前記既に再構築された領域を特定するために、現在ピクチャ参照モードのための動きベクトルが利用できる。復号対象ブロックが現在ピクチャ参照モードで符号化されたブロックであるか否かを示すフラグ或いはインデックスが、シグナリング（ｓｉｇｎａｌｉｎｇ）されることもでき、復号対象ブロックの参照画像インデックスを用いて類推されることもできる。現在ピクチャ参照モードのための現在ピクチャは、復号対象ブロックのための参照画像リスト内で固定された位置（例えば、参照画像インデックスが０である位置又は最後の位置）に存在することができる。又は、参照画像リスト内に可変的に位置してもよく、このために、現在ピクチャの位置を示す別途の参照画像インデックスがシグナリングされてもよい。ここで、フラグ或いはインデックスをシグナリングするというのは、符号化器（ｅｎｃｏｄｅｒ）では当該フラグ或いはインデックスをエントロピー符号化（Ｅｎｔｒｏｐｙ Ｅｎｃｏｄｉｎｇ）してビットストリーム（Ｂｉｔｓｔｒｅａｍ）に含むことを意味することができ、復号器（ｄｅｃｏｄｅｒ）ではビットストリームから当該フラグ或いはインデックスをエントロピー復号（Ｅｎｔｒｏｐｙ Ｄｅｃｏｄｉｎｇ）することを意味することができる。
再構築された残余ブロック及び予測ブロックは加算器２５５を介して加わり得る。再構築された残余ブロック及び予測ブロックが加わることにより生成されたブロックはフィルタ部２６０を経ることができる。フィルタ部２６０は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタのうちの少なくとも一つを再構築ブロック又は再構築画像に適用することができる。フィルタ部２６０は再構築画像を出力することができる。再構築画像は参照ピクチャバッファ２７０に保存されてインター予測に使用できる。
図３は画像を符号化及び復号するときの画像の分割構造を示す概略図である。図３は一つのユニットが複数の下位ユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号において、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）が使用できる。ここで、符号化ユニットは、コーディングユニットを意味することができる。ユニットは、１）構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）及び２）画像サンプルを含むブロックを合わせて指し示す用語であり得る。例えば、「ユニットの分割」は、「ユニットに該当するブロックの分割」を意味することができる。ブロック分割情報には、ユニットの深さ（ｄｅｐｔｈ）に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び／又は程度を示すことができる。
図３を参照すると、画像３００は、最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）単位で順次分割され、ＬＣＵ単位で分割構造が決定される。ここで、ＬＣＵは、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ；ＣＴＵ）と同一の意味で使用できる。一つのユニットは、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に基づいて深さ情報（ｄｅｐｔｈ）をもって階層的に分割できる。それぞれの分割された下位ユニットは深さ情報を持つことができる。前記深さ情報は、ユニットが分割された回数及び／又は程度を示すので、前記下位ユニットの大きさに関する情報を含むこともできる。
分割構造は、ＬＣＵ３１０内での符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）の分布を意味することができる。ＣＵは画像を効率よく符号化／復号するためのユニットであり得る。このような分布は、一つのＣＵを複数（２、４、８、１６などを含む２以上の正の整数）のＣＵに分割するか否かによって決定することができる。分割により生成されたＣＵの横幅と縦幅は、それぞれ分割前のＣＵの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のＣＵの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。分割されたＣＵは、同様の方式で横幅及び縦幅が減少した複数のＣＵに再帰的に分割できる。
このとき、ＣＵの分割は所定の深さまで再帰的に行われ得る。深さ情報は、ＣＵのサイズを示す情報であり、ＣＵごとに保存できる。例えば、ＬＣＵの深さは０であり、最小符号化ユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＳＣＵ）の深さは予め定義された最大深さであり得る。ここで、ＬＣＵは、上述したように、最大の符号化ユニットのサイズを持つ符号化ユニットであり、ＳＣＵは、最小の符号化ユニットのサイズを持つ符号化ユニットであり得る。
ＬＣＵ３１０から分割が始まり、分割によりＣＵの横幅及び縦幅が減少するたびに、ＣＵの深さは１ずつ増加する。それぞれの深さ別に、分割されないＣＵは２Ｎｘ２Ｎのサイズを持つことができる。分割されるＣＵの場合は、２Ｎ×２ＮサイズのＣＵがＮｘＮサイズの複数のＣＵに分割できる。Ｎのサイズは、深さが１ずつ増加するたびに半分に減少する。
例えば、一つの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの符号化ユニットが４つの符号化ユニットに分割される場合、符号化ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
例えば、一つの符号化ユニットが２つの符号化ユニットに分割される場合、分割された２つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに縦分割される場合、分割された２つの符号化ユニットは、それぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに横分割される場合、分割された２つの符号化ユニットは、それぞれ３２ｘ１６のサイズを持つことができる。一つの符号化ユニットが２つの符号化ユニットに分割される場合、符号化ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
図３を参照すると、深さが０であるＬＣＵは６４ｘ６４画素であり得る。０は最小深さであり得る。深さが３であるＳＣＵは８ｘ８画素であり得る。３は最大深さであり得る。このとき、ＬＣＵである６４ｘ６４画素のＣＵは深さ０で表現できる。３２ｘ３２画素のＣＵは深さ１で表現できる。１６ｘ１６画素のＣＵは深さ２で表現できる。ＳＣＵである８ｘ８画素のＣＵは深さ３で表現できる。
また、ＣＵが分割されるか否かについての情報は、ＣＵの分割情報を用いて表現できる。分割情報は１ビットの情報であり得る。ＳＣＵを除くすべてのＣＵは分割情報を含むことができる。例えば、分割情報の値が０であれば、ＣＵが分割されなくてもよく、分割情報の値が１であれば、ＣＵが分割されてもよい。
図４は符号化ユニットＣＵが含むことが可能な予測ユニットＰＵの形態を示す図である。
ＬＣＵから分割されたＣＵのうち、それ以上分割されないＣＵは、一つ以上の予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ；ＰＵ）に分けられ得る。このような処理も分割と称されることがある。
ＰＵは予測に対する基本単位であり得る。ＰＵはスキップ（ｓｋｉｐ）モード、インターモード及びイントラモードのいずれかで符号化及び復号できる。ＰＵはモードに応じて様々な形で分割できる。
また、符号化ユニットは予測ユニットに分割されず、符号化ユニットと予測ユニットは同じサイズを持つことができる。
図４に示すように、スキップモードでは、ＣＵ内に分割が存在しないことがある。スキップモードでは、分割なしでＣＵと同じサイズの２Ｎｘ２Ｎモード４１０がサポートできる。
インターモードでは、ＣＵ内で８つに分割された形態がサポートできる。例えば、インターモードでは、２Ｎｘ２Ｎモード４１０、２ＮｘＮモード４１５、Ｎｘ２Ｎモード４２０、ＮｘＮモード４２５、２ＮｘｎＵモード４３０、２ＮｘｎＤモード４３５、ｎＬｘ２Ｎモード４４０及びｎＲｘ２Ｎモード４４５がサポートできる。イントラモードでは、２Ｎｘ２Ｎモード４１０及びＮｘＮモード４２５がサポートできる。
一つの符号化ユニットは一つ以上の予測ユニットに分割でき、一つの予測ユニットも一つ以上の予測ユニットに分割できる。
例えば、一つの予測ユニットが４つの予測ユニットに分割される場合、分割された４つの予測ユニットの横幅及び縦幅は、分割される前の予測ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが４つの予測ユニットに分割される場合、分割された４つの予測ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの予測ユニットが４つの予測ユニットに分割される場合、予測ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
例えば、一つの予測ユニットが２つの予測ユニットに分割される場合、分割された２つの予測ユニットの横幅或いは縦幅は、分割される前の予測ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが２つの予測ユニットに縦分割される場合、分割された２つの予測ユニットはそれぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが２つの予測ユニットに横分割される場合、分割された２つの予測ユニットはそれぞれ３２ｘ１６のサイズを持つことができる。一つの予測ユニットが２つの予測ユニットに分割される場合、予測ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
図５は符号化ユニットＣＵが含むことが可能な変換ユニットＴＵの形態を示す図である。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ）は、ＣＵ内で変換、量子化、逆変換及び逆量子化の処理のために使用される基本単位であり得る。ＴＵは、正方形や長方形などの形状を持つことができる。ＴＵはＣＵのサイズ及び／又は形状に依存的に（ｄｅｐｅｎｄｅｎｔ）決定されることもある。
ＬＣＵから分割されたＣＵのうち、それ以上ＣＵに分割されないＣＵは、一つ以上のＴＵに分割できる。このとき、ＴＵの分割構造は４分木（ｑｕａｄ－ｔｒｅｅ）構造であり得る。例えば、図５に示すように、一つのＣＵ５１０が４分木構造によって１回或いはそれ以上分割できる。一つのＣＵが１回以上に分割される場合、再帰的に分割されるといえる。分割を介して、一つのＣＵ５１０は様々なサイズのＴＵから構成できる。又は、ＣＵを分割する垂直線（ｖｅｒｔｉｃａｌ ｌｉｎｅ）及び／又は水平線（ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ）の個数に基づいて一つ以上のＴＵに分割されることも可能である。ＣＵは対称型のＴＵに分割されてもよく、非対称型のＴＵに分割されてもよい。非対称型のＴＵへの分割のために、ＴＵのサイズ／形状に関する情報が、シグナリングされてもよく、ＣＵのサイズ／形状に関する情報から導出されてもよい。
また、符号化ユニットは変換ユニットに分割されず、符号化ユニットと変換ユニットは同じサイズを持つことができる。
一つの符号化ユニットは一つ以上の変換ユニットに分割でき、一つの変換ユニットも一つ以上の変換ユニットに分割できる。
例えば、一つの変換ユニットが４つの変換ユニットに分割される場合、分割された４つの変換ユニットの横幅及び縦幅は、分割される前の変換ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが４つの変換ユニットに分割される場合、分割された４つの変換ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの変換ユニットが４つの変換ユニットに分割される場合、変換ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
例えば、一つの変換ユニットが２つの変換ユニットに分割される場合、分割された２つの変換ユニットの横幅或いは縦幅は、分割される前の変換ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが２つの変換ユニットに縦分割される場合、分割された２つの変換ユニットはそれぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが２つの変換ユニットに横分割される場合、分割された２つの変換ユニットはそれぞれ３２ｘ１６のサイズを持つことができる。一つの変換ユニットが２つの変換ユニットに分割される場合、変換ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
変換実行の際に、残余ブロックを、予め定義された複数の変換方法のうちの少なくとも一つを用いて変換させることができる。一例として、予め定義された複数の変換方法として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はＫＬＴなどが用いられ得る。残余ブロックを変換するためにいずれの変換方法が適用されるかは、予測ユニットのインター予測モード情報、イントラ予測モード情報、変換ブロックのサイズ／形状のうちの少なくとも一つを用いて決定されてもよく、一定の場合、変換方法を指し示す情報がシグナリングされてもよい。
図６はイントラ予測処理の実施形態を説明するための図である。
イントラ予測モードは非方向性モード又は方向性モードであり得る。非方向性モードは、ＤＣモード又はＰｌａｎａｒモードであり、方向性モードは、特定の方向又は角度を持つ予測モードであって、個数は一つ以上のＭ個であり得る。前記方向性モードはモード番号、モード値、モード数及びモード角度のうちの少なくとも一つで表現できる。
イントラ予測モードの個数は、前記非方向性及び方向性モードを含む一つ以上のＮ個であり得る。
イントラ予測モードの個数は、ブロックのサイズによって異なり得る。例えば、ブロックのサイズが４ｘ４又は８ｘ８である場合には６７個、１６ｘ１６である場合には３５個、３２ｘ３２である場合には１９個、６４ｘ６４である場合には７個であり得る。
イントラ予測モードの個数は、ブロックのサイズを問わずにＮ個に固定できる。例えば、ブロックのサイズを問わず、３５個又は６７個のうちの少なくとも一つに固定できる。
イントラ予測モードの個数は、色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）のタイプによって異なり得る。例えば、色成分が輝度（ｌｕｍａ）信号であるか色差（ｃｈｒｏｍａ）信号であるかによって、予測モードの個数が異なり得る。
イントラ符号化及び／又は復号は、近傍の再構築されたブロックに含まれるサンプル値又は符号化パラメータを用いて行われ得る。
現在ブロックをイントラ予測で符号化／復号するために、近傍の再構築されたブロックに含まれるサンプルが符号化／復号対象ブロックの参照サンプルとして利用可能であるか否かをチェックするステップが行われ得る。符号化／復号対象ブロックの参照サンプルとして利用できないサンプルが存在する場合、近傍の再構築されたブロックに含まれているサンプルのうちの少なくとも一つを用いて、参照サンプルとして利用することができないサンプルにサンプル値をコピー及び／又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して符号化／復号対象ブロックの参照サンプルとして用いることができる。
イントラ予測の際にイントラ予測モード及び符号化／復号対象ブロックのサイズの少なくとも一つに基づいて、参照サンプル又は予測サンプルの少なくとも一つにフィルタを適用することができる。このとき、符号化／復号対象ブロックは現在ブロックを意味することができ、符号化ブロック、予測ブロック及び変換ブロックのうちの少なくとも一つを意味することができる。参照サンプル又は予測サンプルに適用されるフィルタの種類は、現在ブロックのイントラ予測モード又はサイズ／形状のうちの少なくとも一つによって異なり得る。前記フィルタの種類はフィルタタップ数、フィルタ係数値又はフィルタ強度の少なくとも一つによって異なり得る。
イントラ予測モードのうち、非方向性プラナー（Ｐｌａｎａｒ）モードは、対象符号化／復号ブロックの予測ブロックを生成するとき、予測ブロック内のサンプル値をサンプル位置に応じて現在サンプルの上側参照サンプル、現在サンプルの左側参照サンプル、現在ブロックの右上側参照サンプル、現在ブロックの左下側参照サンプルの加重和として生成することができる。
イントラ予測モードのうち、非方向性ＤＣモードは、対象符号化／復号ブロックの予測ブロックを生成するとき、現在ブロックの上側参照サンプルと現在ブロックの左側参照サンプルとの平均値として生成することができる。また、符号化／復号ブロック内の参照サンプルに隣接する一つ又はそれ以上の上行、及び一つ又はそれ以上の左列に対しては参照サンプル値を用いてフィルタリングを行うこともできる。
イントラ予測モードのうち、複数の方向性モード（ａｎｇｕｌａｒ ｍｏｄｅ）の場合、右上側及び／又は左下側参照サンプルを用いて予測ブロックを生成することができ、方向性モードは、互いに異なる方向性を持つことができる。予測サンプル値を生成するために、実数単位の補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うこともできる。
イントラ予測方法を行うために、現在予測ブロックのイントラ予測モードは、現在予測ブロックの近傍に存在する予測ブロックのイントラ予測モードから予測することができる。近傍のイントラ予測モードから予測されたモード情報を用いて現在予測ブロックのイントラ予測モードを予測する場合、現在予測ブロックと近傍予測ブロックとのイントラ予測モードが同一であれば、所定のフラグ情報を用いて現在予測ブロックと近傍予測ブロックとのイントラ予測モードが同一であるという情報を送信することができ、もし現在予測ブロックと近傍予測ブロックとのイントラ予測モードが互いに異なる場合、エントロピー符号化を行って符号化／復号対象ブロックのイントラ予測モード情報を符号化することができる。
図７はインター予測処理の実施形態を説明するための図である。
図７における四角形は画像（又はピクチャ）を示すことができる。また、図７の矢印は予測方向を示すことができる。すなわち、画像は予測方向に応じて符号化及び／又は復号できる。各画像は、符号化タイプによってＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｕｎｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）などに分類できる。各ピクチャは、各ピクチャの符号化タイプに応じて符号化され、復号され得る。
符号化の対象である画像がＩピクチャである場合、画像はインター予測なしで画像自体に対してイントラ符号化できる。符号化の対象である画像がＰピクチャである場合、画像は、順方向にのみ参照画像を用いるインター予測或いは動き補償を介して符号化できる。符号化の対象である画像がＢピクチャである場合、順方向及び逆方向の両側に参照ピクチャを用いるインター予測或いは動き補償を介して符号化でき、順方向及び逆方向のうちのいずれかの方向に参照ピクチャを用いるインター予測或いは動き補償を介して符号化できる。ここで、インター予測モードが使用される場合、符号化器ではインター予測或いは動き補償を行うことができ、復号器ではそれに対応する動き補償を行うことができる。参照画像を用いて符号化及び／又は復号されるＰピクチャ及びＢピクチャの画像は、インター予測が使用される画像と看做すことができる。
次に、実施形態に係るインター予測について具体的に説明する。
インター予測或いは動き補償は、参照ピクチャ及び動き情報を用いて行われ得る。また、インター予測は、上述したスキップモードを用いることも可能である。
参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）は、現在ピクチャの以前ピクチャ又は現在ピクチャの以後ピクチャのうちの少なくとも一つであり得る。このとき、インター予測は、参照ピクチャに基づいて、現在ピクチャのブロックに対する予測を行うことができる。ここで、参照ピクチャはブロックの予測に用いられる画像を意味することができる。このとき、参照ピクチャ内の領域は、参照ピクチャを指し示す参照画像インデックス（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ；ｒｅｆＩｄｘ）及び後述する動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）などを用いることにより特定できる。
インター予測は、参照ピクチャ、及び参照ピクチャ内で現在ブロックに対応する参照ブロックを選択することができ、選択された参照ブロックを用いて現在ブロックに対する予測ブロックを生成することができる。現在ブロックは、現在ピクチャのブロックのうち、現在符号化又は復号の対象となるブロックであり得る。
動き情報は、符号化装置１００及び復号装置２００のそれぞれによってインター予測の処理から導出できる。また、導出された動き情報は、インター予測を行うために使用できる。このとき、符号化装置１００及び復号装置２００は、再構築された近傍ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）の動き情報及び／又はコロケーテッドブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ；ｃｏｌ ｂｌｏｃｋ）の動き情報を用いることにより、符号化及び／又は復号効率を向上させることができる。コロケーテッドブロックは、既に再構築されたコロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ； ｃｏｌ ｐｉｃｔｕｒｅ）内で符号化／復号対象ブロックの空間的位置に対応するブロックであり得る。再構築された近傍ブロックは、現在ピクチャ内のブロックであるとともに、既に符号化及び／又は復号を介して再構築されたブロックであり得る。また、再構築ブロックは、符号化／復号対象ブロックに隣接する隣接ブロック及び／又は符号化／復号対象ブロックの外側コーナーに位置するブロックであり得る。ここで、符号化／復号対象ブロックの外側コーナーに位置するブロックとは、符号化／復号対象ブロックに横方向に隣接する隣接ブロックに縦方向に隣接するブロック、又は符号化／復号対象ブロックに縦方向に隣接する隣接ブロックに横方向に隣接するブロックであり得る。
符号化装置１００及び復号装置２００のそれぞれは、コロケーテッドピクチャ内で空間的に符号化／復号対象ブロックに対応する位置に存在するブロックを決定することができ、決定されたブロックを基準に所定の相対的な位置を決定することができる。所定の相対的な位置は、空間的に符号化／復号対象ブロックに対応する位置に存在するブロックの内部及び／又は外部の位置であり得る。また、符号化装置１００及び復号装置２００のそれぞれは、決定された所定の相対的な位置に基づいてコロケーテッドブロックを導出することができる。ここで、コロケーテッドピクチャは、参照ピクチャリストに含まれている少なくとも一つの参照ピクチャのうちのいずれかであり得る。
動き情報の導出方式は、符号化／復号対象ブロックの予測モードに応じて変わり得る。例えば、インター予測のために適用される予測モードとして、高度動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ；ＡＭＶＰ）及びマージモード（ｍｅｒｇｅ ｍｏｄｅ）などがあり得る。ここで、マージモードを動き併合モード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）と呼ぶことができる。
例えば、予測モードとしてＡＭＶＰが適用される場合、符号化装置１００及び復号装置２００のそれぞれは、再構築された近傍ブロックの動きベクトル及び／又はコロケーテッドブロックの動きベクトルを用いて動きベクトル候補リスト（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。再構築された近傍ブロックの動きベクトル及び／又はコロケーテッドブロックの動きベクトルは、動きベクトル候補として使用できる。ここで、コロケーテッドブロックの動きベクトルを時間動きベクトル候補（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことができ、再構築された近傍ブロックの動きベクトルを空間動きベクトル候補（ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。
符号化装置１００によって生成されたビットストリームは、動きベクトル候補インデックス（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ）を含むことができる。すなわち、符号化装置１００は、動きベクトル候補インデックスをエントロピー符号化してビットストリームを生成することができる。動きベクトル候補インデックスは、動きベクトル候補リストに含まれている動きベクトル候補の中から選択された最適の動きベクトル候補を指し示すことができる。動きベクトル候補インデックスは、ビットストリームを介して符号化装置１００から復号装置２００へ送信できる。
復号装置２００は、動きベクトル候補インデックスをビットストリームからエントロピー復号し、エントロピー復号された動きベクトル候補インデックスを用いて、動きベクトル候補リストに含まれている動きベクトル候補の中から復号対象ブロックの動きベクトル候補を選択することができる。
符号化装置１００は、符号化対象ブロックの動きベクトルと動きベクトル候補との動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を計算することができ、ＭＶＤをエントロピー符号化することができる。ビットストリームは、エントロピー符号化されたＭＶＤを含むことができる。ＭＶＤはビットストリームを介して符号化装置１００から復号装置２００へ送信できる。このとき、復号装置２００は、受信されたＭＶＤをビットストリームからエントロピー復号することができる。復号装置２００は、復号されたＭＶＤと動きベクトル候補との和によって復号対象ブロックの動きベクトルを導出することができる。
ビットストリームは、参照ピクチャを指し示す参照画像インデックスなどを含むことができる。参照画像インデックスは、エントロピー符号化されてビットストリームを介して符号化装置１００から復号装置２００へ送信できる。復号装置２００は、近傍ブロックの動き情報を用いて復号対象ブロックの動きベクトルを予測することができ、予測された動きベクトル及び動きベクトル差分を用いて復号対象ブロックの動きベクトルを導出することができる。復号装置２００は、導出された動きベクトルと参照画像インデックス情報に基づいて復号対象ブロックに対する予測ブロックを生成することができる。
動き情報の導出方式の他の例として、マージモード（ｍｅｒｇｅ ｍｏｄｅ）がある。マージモードとは、複数のブロックに対する動きの併合を意味することができる。マージモードは、一つのブロックの動き情報を他のブロックにも一緒に適用させることを意味することができる。マージモードが適用される場合、符号化装置１００及び復号装置２００のそれぞれは、再構築された近傍ブロックの動き情報及び／又はコロケーテッド（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報を用いてマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。動き情報は、１）動きベクトル、２）参照画像インデックス、及び３）インター予測インジケータのうちの少なくとも一つを含むことができる。予測インジケータは、一方向（Ｌ０予測、Ｌ１予測）又は双方向であり得る。
この時、マージモードはＣＵ単位又はＰＵ単位で適用できる。ＣＵ単位又はＰＵ単位でマージモードが行われる場合、符号化装置１００は、予め定義された情報をエントロピー符号化してビットストリームを生成した後、復号装置２００へ送信することができる。ビットストリームは予め定義された情報を含むことができる。予め定義された情報は、１）ブロックパーティション（ｐａｒｔｉｔｉｏｎ）ごとにマージモードを行うか否かを示す情報であるマージフラグ（ｍｅｒｇｅ ｆｌａｇ）、２）符号化対象ブロックに隣接する近傍ブロックのうちのいずれのブロックとマージするかについての情報であるマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を含むことができる。例えば、符号化対象ブロックの近傍ブロックは、符号化対象ブロックの左側隣接ブロック、符号化対象ブロックの上側隣接ブロック及び符号化対象ブロックの時間的（ｔｅｍｐｏｒａｌ）隣接ブロックを含むことができる。
マージ候補リストは、動き情報が保存されたリストを示すことができる。また、マージ候補リストは、マージモードが行われる前に生成できる。マージ候補リストに保存される動き情報は、符号化／復号対象ブロックに隣接する近傍ブロックの動き情報、及び参照画像における符号化／復号対象ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報、既にマージ候補リストに存在する動き情報の組み合わせによって生成された新たな動き情報、及びゼロマージ候補のうちの少なくとも一つであり得る。ここで、符号化／復号対象ブロックに隣接する近傍ブロックの動き情報は、空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）及び参照画像における符号化／復号対象ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報は、時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。
スキップモードは、近傍ブロックの動き情報をそのまま符号化／復号対象ブロックに適用するモードであり得る。スキップモードは、インター予測に用いられるモードのいずれかであり得る。スキップモードが使用される場合、符号化装置１００は、どのブロックの動き情報を符号化対象ブロックの動き情報として用いるかについての情報をエントロピー符号化してビットストリームを介して復号装置２００へ送信することができる。符号化装置１００は、他の情報は復号装置２００に送信しないことがある。例えば、他の情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）情報であり得る。構文要素情報は、動きベクトル差分情報、符号化ブロックフラグ及び変換係数レベルのうちの少なくとも一つを含むことができる。
イントラ又はインター予測以降に生成された残余信号は、量子化処理の一環として、変換処理を介して周波数ドメインに変換することができる。この時、実行する１次変換は、ＤＣＴ ｔｙｐｅ ２（ＤＣＴ－ＩＩ）の他にさまざまなＤＣＴ、ＤＳＴカーネルを使用することができ、これらの変換カーネルは、残余信号に対して水平及び／又は垂直方向に１次元変換（１Ｄ ｔｒａｎｓｆｏｒｍ）をそれぞれ実行する可分変換（ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）によって変換が行われてもよく、又は２次元非可分変換（２Ｄ Ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）によって変換が行われてもよい。
一例として、変換に使用されるＤＣＴ、ＤＳＴ ｔｙｐｅは、下記表のとおり、ＤＣＴ－ＩＩの他にＤＣＴ－Ｖ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ、ＤＳＴ－ＶＩＩを１Ｄ変換の際に適応的に使用することができ、例えば、表１及び表２の例のとおり、変換セット（Ｔｒａｎｓｆｏｒｍ ｓｅｔ）を構成して、変換に使用されたＤＣＴ又はＤＳＴタイプを導出することができる。
Figure 2022191450000002
Figure 2022191450000003
例えば、図８に示すように、イントラ予測モードに応じて、水平又は垂直方向に対して互いに異なる変換セット（Ｔｒａｎｓｆｏｒｍ ｓｅｔ）を定義した後、符号化／復号器において、現在符号化／復号対象ブロックのイントラ予測モード及びこれに対応する変換セットに含まれている変換を用いて変換及び／又は逆変換を行うことができる。この場合、変換セットは、エントロピー符号化／復号されるのではなく、符号化／復号器で同一のルールに基づいて定義できる。この場合、当該変換セットに属する変換のうちのいずれの変換が使用されたかを指し示すエントロピー符号化／復号が行われ得る。例えば、ブロックのサイズが６４ｘ６４以下である場合、イントラ予測モードに応じて、表２の例のように合計３つの変換セットを構成し、水平方向の変換と垂直方向の変換としてそれぞれ３つの変換を用いて合計９つの多重変換方法を組み合わせて行った後、最適の変換方法で残余信号を符号化／復号することにより符号化効率を向上させることができる。このとき、一つの変換セットに属する３つの変換のうちどんな変換が使用されたかについての情報をエントロピー符号化／復号するために、切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化（Ｂｉｎａｒｉｚａｔｉｏｎ）を使用することもできる。このとき、垂直変換及び水平変換の少なくとも一つに対して、変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報がエントロピー符号化／復号できる。
符号化器では、前述した１次変換が完了して以来、図９の例のように変換係数（Ｔｒａｎｓｆｏｒｍｅｄ ｃｏｅｆｆｉｃｉｅｎｔｓ）に対するエネルギー集中度を高めるために２次変換（Ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を行うことができる。２次変換も水平及び／又は垂直方向に対して１次元変換をそれぞれ実行する可分変換を行うこともでき、又は２次元非可分変換を行うこともでき、使用された変換情報が送信されるか或いは現在及び近傍符号化情報に応じて符号化器／復号器で暗黙的に導出され得る。例えば、１次変換のように２次変換に対する変換セットを定義することができ、変換セットは、エントロピー符号化／復号されるのではなく、符号化器／復号器で同じルールに基づいて定義できる。この場合、当該変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報が送信でき、イントラ又はインター予測による残余信号のうちの少なくとも一つに適用できる。
変換セット別に変換候補（ｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ）の個数又は種類のうちの少なくとも一つは異なり、変換候補の個数又は種類のうちの少なくとも一つはブロック（ＣＵ、ＰＵ、ＴＵなど）の位置、大きさ、分割形態、予測モード（イントラ／インターモード）、又はイントラ予測モードの方向性／非方向性のうちの少なくとも一つを考慮して可変的に決定されることも可能である。
復号器では、２次逆変換を実行するか否かに応じて２次逆変換を行うことができ、２次逆変換の実行結果から１次逆変換を実行するか否かに応じて１次逆変換を行うことができる。
前述した１次変換及び２次変換は輝度／色差成分のうちの少なくとも一つの信号成分に適用されるか、或いは任意の符号化ブロックのサイズ／形状に応じて適用でき、任意の符号化ブロックでの使用有無、及び使用された１次変換／２次変換を指し示すインデックスをエントロピー符号化／復号するか、又は現在／近傍符号化情報のうちの少なくとも一つに基づいて符号化器／復号器で暗黙的に導出することができる。
イントラ又はインター予測以降に生成された残余信号は、１次及び／又は２次変換完了の後、量子化処理を経る。量子化された変換係数は、エントロピー符号化処理を行う。この時、量子化された変換係数は、図１０に示すように、イントラ予測モード又は最小ブロックサイズ／形状のうちの少なくとも一つを基準に対角線、垂直方向、および、水平方向に沿ってスキャニング（ｓｃａｎｎｉｎｇ）できる。
また、エントロピー復号された、量子化された変換係数は、逆スキャニング（Ｉｎｖｅｒｓｅ Ｓｃａｎｎｉｎｇ）され、ブロック形態で整列でき、当該ブロックに逆量子化又は逆変換のうちの少なくとも一つが実行されてよい。この時、逆スキャニングの方法として、対角（Ｄｉａｇｏｎａｌ）スキャン、水平（Ｈｏｒｉｚｏｎｔａｌ）スキャン及び垂直（Ｖｅｒｔｉｃａｌ）スキャンのうちの少なくとも一つが実行できる。
一例として、現在符号化ブロックのサイズが８ｘ８であるとき、８ｘ８ブロックに対する残余信号は、１次変換、２次変換及び量子化の後、４つの４ｘ４サブブロックごとに、図１０に示された３つのスキャニング順序（Ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）方法のうちの少なくとも一つに応じて、量子化された変換係数をスキャニングしながらエントロピー符号することができる。また、量子化された変換係数を逆スキャニングしながらエントロピー復号することができる。逆スキャニングされた、量子化された変換係数は、逆量子化後の変換係数となり、２次逆変換又は１次逆変換のうちの少なくとも一つが実行されて再構築された残余信号が生成できる。
ビデオ符号化処理で、図１１を示すように、一つのブロックが分割されてよく、分割情報に該当するインジケータがシグナリングされてよい。この時、前記分割情報は、分割フラグ（ｓｐｌｉｔ＿ｆｌａｇ）、クワッド／２分木フラグ（ＱＢ＿ｆｌａｇ）、４分木分割フラグ（ｑｕａｄｔｒｅｅ＿ｆｌａｇ）、２分木分割フラグ（ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ）、２分木分割タイプフラグ（Ｂｔｙｐｅ＿ｆｌａｇ）のうちの少なくとも一つであり得る。ここで、ｓｐｌｉｔ＿ｆｌａｇは、ブロックが分割されたか否かを示すフラグ、ＱＢ＿ｆｌａｇは、ブロックが４分木状に分割されたか、２分木状に分割されたかを示すフラグ、ｑｕａｄｔｒｅｅ＿ｆｌａｇは、ブロックが４分木状に分割されたか否かを示すフラグ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇは、ブロックが２分木状に分割されたか否かを示すフラグ、Ｂｔｙｐｅ＿ｆｌａｇは、ブロックが２分木状に分割された場合に垂直又は水平分割であることを示すフラグであり得る。
前記分割フラグが１である場合には分割されたことを示し、前記分割フラグが０である場合には分割されていないことを示すことができ、前記クワッド／２分木フラグの場合、０であれば４分木分割を示し、１であれば２分木分割を示すことができ、逆に、０であれば２分木分割を示し、１であれば４分木分割を示すことができる。前記２分木分割タイプフラグの場合、０であれば水平方向分割を示し、１であれば垂直方向分割を示すことができ、逆に、０であれば垂直方向分割を示し、１であれば水平方向分割を示すことができる。
例えば、図１１についての分割情報は、下記表３のとおり、ｑｕａｄｔｒｅｅ＿ｆｌａｇ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つをシグナリングして導出することができる。
Figure 2022191450000004
例えば、図１１についての分割情報は、下記表４のとおり、ｓｐｌｉｔ＿ｆｌａｇ、ＱＢ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つをシグナリングして導出することができる。
Figure 2022191450000005
前記分割方法は、ブロックのサイズ／形状に応じて４分木状にのみ分割可能であり、或いは２分木状にのみ分割可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは、４分木分割か２分木分割かを示すフラグを意味することができる。前記ブロックのサイズ／形状はブロックの深さ情報に応じて導出でき、深さ情報はシグナリングできる。
前記ブロックのサイズが所定の範囲内に属する場合には、４分木状にのみ分割が可能であり得る。ここで、所定の範囲は、４分木状にのみ分割が可能な最大ブロックのサイズ又は最小ブロックのサイズのうちの少なくとも一つと定義できる。前記４分木分割が許容される最大／最小ブロックのサイズを示す情報は、ビットストリームを介してシグナリングでき、当該情報は、シーケンス、ピクチャパラメータ又はスライス（セグメント）のうちの少なくとも一つの単位でシグナリングできる。又は、前記最大／最小ブロックのサイズは、符号化器／復号器に所定の固定されたサイズであってもよい。例えば、前記ブロックのサイズが２５６ｘ２５６～６４ｘ６４に該当する場合には、４分木状にのみ分割が可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは４分木分割か否かを示すフラグであり得る。
前記ブロックのサイズが所定の範囲内に属する場合には、２分木状にのみ分割が可能である。ここで、所定の範囲は、２分木状にのみ分割が可能な最大ブロックのサイズ又は最小ブロックのサイズのうちの少なくとも一つと定義できる。前記２分木分割が許容される最大／最小ブロックのサイズを示す情報は、ビットストリームを介してシグナリングでき、該当情報は、シーケンス、ピクチャパラメータ、又はスライス（セグメント）のうちの少なくとも一つの単位でシグナリングできる。又は、前記最大／最小ブロックのサイズは、符号化器／復号器に所定の固定されたサイズであってもよい。例えば、前記ブロックのサイズが１６ｘ１６～８ｘ８に該当する場合には、２分木状にのみ分割が可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは２分木分割か否かを示すフラグであり得る。
前記一つのブロックが２分木状に分割された後、前記分割されたブロックがさらに分割される場合には、２分木状にのみ分割できる。
前記分割されたブロックの横幅又は縦幅が、それ以上分割できないサイズである場合には、前記一つ以上のインジケータをシグナリングしないことがある。
前記４分木基盤の２分木分割の他に、２分木分割後、４分木基盤の分割が可能である。
図１２は本発明の一実施形態によって、現在ブロックに対してイントラ予測を行う方法を説明するための図である。
図１２に示すように、イントラ予測は、イントラ予測モード導出ステップ（Ｓ１２１０）、参照サンプル構成ステップ（Ｓ１２２０）、及び／又はイントラ予測実行ステップ（Ｓ１２３０）を含むことができる。
イントラ予測モード導出ステップ（Ｓ１２１０）において、近傍ブロックのイントラ予測モードを用いるか、現在ブロックのイントラ予測モードをビットストリームから復号（例えば、エントロピー復号）するか、及び／又は近傍ブロックの符号化パラメータを用いて現在ブロックのイントラ予測モードを導出することができる。又は、イントラ予測モード導出ステップ（Ｓ１２１０）において、近傍ブロックのイントラ予測モード、近傍ブロックの一つ以上のイントラ予測モードの組み合わせ、及び／又はＭＰＭを用いて導出されたイントラ予測モードを用いて現在ブロックのイントラ予測モードを導出することができる。
参照サンプル構成ステップ（Ｓ１２２０）は、参照サンプル選択ステップ及び／又は参照サンプルフィルタリングステップを行って参照サンプルを構成することができる。
イントラ予測実行ステップ（Ｓ１２３０）において、非方向性予測、方向性予測、位置情報に基づく予測、及び／又は輝度／色差信号に基づく予測を用いて、現在ブロックのイントラ予測を行うことができる。イントラ予測実行ステップ（Ｓ１２３０）は、予測サンプルに対するフィルタリングをさらに行うことができる。方向性予測を行う場合、一つ以上のサンプル単位に応じて異なる方向性予測を行うことができる。例えば、一つ以上のサンプル単位は、単一サンプルを、サンプルグループ、ライン、及び／又はサブブロックであり得る。
以下、イントラ予測モード導出ステップ（Ｓ１２１０）についてより詳細に説明する。
前述したように、現在ブロックに対するイントラ予測モードを導出するために、一つ以上の近傍ブロックのイントラ予測モードを用いる方法、現在ブロックのイントラ予測モードをビットストリームから復号する方法、及び近傍ブロックの符号化パラメータを用いる方法のうちの少なくとも一つを利用することができる。この際、近傍ブロックは、現在ブロックの符号化／復号の前に再構築された一つ以上のブロックであり得る。
前記近傍ブロックがピクチャ、スライス、タイル、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）などのうち少なくとも一つの所定ユニットの境界の外に位置するか、或いはＰＣＭモード又はインター予測が適用された場合、当該近傍ブロックは利用不可能であると判断できる。利用不可能な近傍ブロックに該当するイントラ予測モードは、ＤＣモード、Ｐｌａｎａｒモード又は所定のイントラ予測モードで代替できる。
現在ブロックのサイズはＷｘＨであり得る。Ｗ及びＨは、それぞれ正の整数であり、同一であっても異なってもよい。Ｗ及び／又はＨは、例えば、２、４、８、１６、３２、６４、１２８、２５６及び５１２のうちの少なくとも一つであり得る。
図１３は近傍ブロックから現在ブロックのイントラ予測モードを導出する方法を説明するための図である。
図１３において、近傍ブロックに表示されたａ～ｋは、当該近傍ブロックのイントラ予測モード又はモード番号を意味することができる。現在ブロックのイントラ予測モードを導出するために用いられる近傍ブロックの位置は、予め定義された固定位置であり得る。又は、前記近傍ブロックの位置に関する情報が符号化／復号を介して導出できる。本明細書において、符号化／復号は、エントロピー符号化及び復号を含む意味で使用できる。
近傍ブロックのイントラ予測モードを用いる場合、近傍ブロックの所定のモードを現在ブロックのイントラ予測モードとして導出することができる。例えば、現在ブロックの（０，０）サンプルの左側に隣接する（－１，０）サンプルが属する近傍ブロックのイントラ予測モードｉを、現在ブロックのイントラ予測モードとして導出することができる。又は、現在ブロックの（０，０）サンプルの上側に隣接する（０，－１）サンプルが属する近傍ブロックのイントラ予測モードｆを、現在ブロックのイントラ予測モードとして導出することができる。又は、現在ブロックの（０，０）サンプルの左上側に隣接する（－１，－１）サンプルが属する近傍ブロックのイントラ予測モードｂを、現在ブロックのイントラ予測モードとして導出することができる。又は、現在ブロックの（Ｗ－１，０）サンプルの上側に隣接する（Ｗ－１，－１）サンプルが属する近傍ブロックのイントラ予測モードｇを、現在ブロックのイントラ予測モードとして導出することができる。又は、現在ブロックの（Ｗ－１，０）サンプルの右上側に隣接する［Ｗ，－１］サンプルが属する近傍ブロックのイントラ予測モードｋを、現在ブロックのイントラ予測モードとして導出することができる。又は、現在ブロックの（０，Ｈ－１）サンプルの左側に隣接する（１，Ｈ－１）サンプルが属する近傍ブロックのイントラ予測モードｊを、現在ブロックのイントラ予測モードとして導出することができる。又は、現在ブロックの（０，Ｈ－１）サンプルの左下側に隣接する（－１，Ｈ）サンプルが属する近傍ブロックのイントラ予測モードｌを、現在ブロックのイントラ予測モードとして導出することができる。又は、近傍ブロックのうち、所定の位置にある近傍ブロックのイントラ予測モードを、現在ブロックのイントラ予測モードとして導出することができる。例えば、前記所定の位置は、ビットストリームから符号化／復号されるか、或いは符号化パラメータに基づいて導出され得る。例えば、前記所定の位置は、イントラ予測モードがｅであるブロックであってもよい。
又は、現在ブロックの近傍ブロックのうち、一つ以上の近傍ブロックが選択できる。前記選択は、ビットストリームを介して明示的にシグナリングされる情報に基づいて行われ得る。又は、前記選択は、符号化器と復号器で、予め設定された基準に基づいて行われ得る。選択された一つ以上の近傍ブロックのイントラ予測モードから現在ブロックのイントラ予測モードが導出できる。例えば、現在ブロックのイントラ予測モードは、選択された近傍ブロックのイントラ予測モードの統計値を用いて導出できる。例えば、統計値は最小値、最大値、平均値、加重平均値、最頻値及び／又は中央値（ｍｅｄｉａｎ ｖａｌｕｅ）を含むことができる。
例えば、現在ブロックの（０，０）サンプルの左側と上側に隣接するサンプルが属する近傍ブロックのイントラ予測モードｉとｆのうち、モード数字の小さいモード又はモード数字の大きいモードを、現在ブロックのイントラ予測モードとして導出することができる。例えば、選択された近傍ブロックのイントラ予測モードがｂ、ｆ、ｇ、ｉ、ｊである場合、それらの中でも最も小さい数字を持つモードを、現在ブロックのイントラ予測モードとして導出することができる。例えば、選択された近傍ブロックのイントラ予測モードがｉ、ｂ、ｆである場合には、これらの中の中間に該当する数字を持つモードを、現在ブロックのイントラ予測モードとして導出することができる。例えば、現在ブロックの隣接する近傍ブロックのイントラ予測モードのうち、最も多く発生するモードを、現在ブロックのイントラ予測モードとして導出することができる。
又は、一つ以上の近傍ブロックのイントラ予測モードを組み合わせることにより、現在ブロックのイントラ予測モードを導出することができる。イントラ予測モードは、モード番号、モード値及びモード角度のうちの少なくとも一つで表現できる。例えば、近傍ブロックの一つ以上のイントラ予測モードの平均を、現在ブロックのイントラ予測モードとして導出することができる。２つのイントラ予測モードの平均は、二つのモード番号の中間番号、二つのモード値の中央値及び二つのモード角度の中間角度のうちの少なくとも一つを意味することができる。
例えば、現在ブロックの（０，０）サンプルの左側と上側に隣接するサンプルが属する近傍ブロックのイントラ予測モードｉとｆのモード値の平均に該当するモードを、現在ブロックのイントラ予測モードとして導出することができる。例えば、現在ブロックのイントラ予測モードＰｒｅｄ＿ｍｏｄｅは、下記数式１の（１）乃至（３）のうちの少なくとも一つの方法で導出できる。
Figure 2022191450000006
又は、近傍ブロックのイントラ予測モードｉが非方向性モードである場合、現在ブロックのイントラ予測モードをｉで導出することができる。又は、近傍ブロックのイントラ予測モードｆが方向性モードである場合、現在ブロックのイントラ予測モードをｆで導出することができる。
又は、現在ブロックのイントラ予測モードは、近傍ブロックのイントラ予測モードｂ、ｆ、ｇ、ｉ、ｊのモード値のうちの少なくとも一つの平均に該当するモードによって導出することができる。例えば、現在ブロックのイントラ予測モードＰｒｅｄ＿ｍｏｄｅは、下記数式２の（１）乃至（４）のうちの少なくとも一つの方法で導出できる。
Figure 2022191450000007
又は、隣接する近傍ブロックの利用可能なイントラ予測モードの平均に該当するモードを、現在ブロックのイントラ予測モードとして導出することができる。例えば、現在ブロックの左側近傍ブロックがピクチャ、タイル、スライス及び／又はＣＴＵの境界の外に位置するか、ＰＣＭモード又はインターモードのうちの少なくとも一つに該当して利用不可能な場合、上側近傍ブロックのイントラ予測モード（例えば、ｆとｇ）の統計値に該当するモードを、現在ブロックのイントラ予測モードとして導出することができる。
例えば、近傍ブロックのイントラ予測モードの統計値として、加重平均又は加重和が利用できる。このとき、重みは近傍ブロックのイントラ予測モードの方向性に基づいて付与できる。例えば、相対的に大きい重みが付与されるモードが、予め定義されるかシグナリングされ得る。例えば、相対的に大きい重みが付与されるモードは、垂直方向モード、水平方向モード、及び非方向性モードのうちの少なくとも一つであり得る。これらのモードに対しては、同一の重みが付与されるか或いは異なる重みが付与され得る。例えば、現在ブロックのイントラ予測モードＰｒｅｄ＿ｍｏｄｅは、下記数式３を用いてモードｉとｆの加重和によって導出できる。下記数式３において、モードｆは相対的に大きい重みが付与されるモード（例えば、垂直方向モード）であり得る。
Figure 2022191450000008
又は、加重和に用いられる重みは、近傍ブロックのサイズに基づいて決定できる。例えば、現在ブロックの上側に隣接するブロックのサイズが、左側に隣接するブロックのサイズよりも大きい場合には、上側に隣接するブロックのイントラ予測モードにさらに大きい重みを付与することができる。又は、サイズの小さい近傍ブロックのイントラ予測モードにさらに大きい重みを付与することもできる。
又は、近傍ブロックの一つ以上のイントラ予測モードが非方向性モードである場合、前記非方向性モードを現在ブロックのイントラ予測モードとして導出することができる。又は、前記非方向性モードを除く近傍ブロックのイントラ予測モードを用いて、現在ブロックのイントラ予測モードを導出することができる。近傍ブロックのイントラ予測モードがいずれも非方向性モードである場合、現在ブロックのイントラ予測モードを、ＤＣモード又はＰｌａｎａｒモードのうちの少なくとも一つで導出することができる。
又は、現在ブロックのイントラ予測モードは、近傍ブロックのイントラ予測モードに基づいたＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）を用いて導出できる。ＭＰＭを用いる場合、現在ブロックのイントラ予測モードに関する一つ以上の情報が符号化／復号できる。
ＭＰＭを用いる場合、ＭＰＭリストが構成できる。ＭＰＭリストは、近傍ブロックのイントラ予測モードに基づいて導出されたイントラ予測モードを含むことができる。ＭＰＭリストはＮ個の候補モードを含むことができる。Ｎは正の整数であり、現在ブロックのサイズ及び／又は形状に応じて値が変わり得る。又は、Ｎに関する情報がビットストリームを介してシグナリングできる。
例えば、前記一つ以上の近傍ブロックのイントラ予測モードを用いて導出した現在ブロックのイントラ予測モードは、前記ＭＰＭリストに含まれる候補モードであり得る。
図１３に示された例において、現在ブロックに隣接する（－１，Ｈ－１）、（Ｗ－１，－１）、（Ｗ，－１）、（－１，Ｈ）、（－１，－１）サンプル位置の近傍ブロックのイントラ予測モードを用いることができ、例えば、ｊ、ｇ、Ｐｌａｎａｒ、ＤＣ、ｌ、ｋ、ｂの順にＭＰＭリストが構成できる。又は、ｉ、ｆ、Ｐｌａｎａｒ、ＤＣ、ｌ、ｋ、ｂの順にＭＰＭリストが構成できる。このとき、重複するモードは、ＭＰＭリストに一度だけ含まれ得る。重複するモードが存在してＭＰＭリストがすべて満たされない場合、リストに含まれているモードに基づいて追加の候補モードをリストに含ませることができる。例えば、リストに含まれているモードの＋Ｎ又は－Ｎ（Ｎは正の整数、例えば１）に該当するモードをリストに追加することができる。又は、水平モード、垂直モード、４５度モード、１３５度モード及び２２５度モードのうち、リストに含まれていない少なくとも一つのモードを、リストに追加することができる。
前記導出されたＭＰＭリストに、現在ブロックのイントラ予測モードと同一のモードが存在するか否かを示すインジケータ（例えば、ｐｒｅｖ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｆｌａｇ）がビットストリームに符号化され１るか、或いはビットストリームから復号され得る。
前記インジケータが、現在ブロックのイントラ予測モードと同一のモードがＭＰＭリストに存在することを示す場合には、ＭＰＭリストに含まれているモードのうちのどのモードであるかを示すインデックス情報（例えば、ｍｐｍ＿ｉｄｘ）がビットストリームに符号化されるか或いはビットストリームから復号され得る。復号されたインデックス情報に基づいて、現在ブロックのイントラ予測モードが導出され得る。
前記インジケータが、現在ブロックのイントラ予測モードと同一のモードがＭＰＭリストに存在しないことを示す場合には、現在ブロックのイントラ予測モードに関する情報がビットストリームに符号化されるか或いはビットストリームから復号され得る。復号された現在ブロックのイントラ予測モードに関する情報に基づいて、現在ブロックのイントラ予測モードを導出することができる。このとき、ＭＰＭリストに含まれていないイントラ予測モードは、昇順又は降順の少なくとも一つで整列できる。又は、前記ＭＰＭリストに含まれていないイントラ予測モードの少なくとも一つを選択して一つ以上のグループを構成することができる。例えば、前記ＭＰＭリストに含まれているイントラ予測モードの＋Ｎ又は－Ｎ（Ｎは正の整数、例えば１、２、３）に該当するモードを用いて、一つのグループを構成することができる。このとき、前記グループは、所定の個数（例えば、８、１６）に該当するイントラモードで構成でき、前記グループに含まれているモードは、ＭＰＭリストに含まれないモードであり得る。
又は、前記導出したＭＰＭリストの所定の候補を前記現在ブロックのイントラ予測モードとして導出することができる。例えば、現在ブロックのイントラ予測モードを、ＭＰＭリストの一番目であるリスト０に該当するモードで導出することができる。又は、リスト内の所定のモードに該当するインデックスを符号化／復号して、当該モードを現在ブロックのイントラ予測モードとして導出することができる。
前記ＭＰＭリストを構成するにあたり、所定のサイズのブロックに対して一つのＭＰＭリストを構成することができる。前記所定のサイズのブロックが再び複数のサブブロックに分割される場合、複数のサブブロックのそれぞれは、前記構成されたＭＰＭリストを用いることができる。
例えば、現在ブロックが前記所定のサイズのブロックに該当する場合には、現在ブロックに対するＭＰＭリストを構成することができる。現在ブロックが一つ以上のサブブロックに分割される場合には、サブブロックのそれぞれは、前記構成されたＭＰＭリストを用いてサブブロックのそれぞれに対するイントラ予測モードを導出することができる。例えば、現在ブロックが８ｘ８であり、サブブロックが４つの４ｘ４である場合、現在ブロックに対するＭＰＭリストを構成した後、各サブブロックは、前記構成されたＭＰＭリストを用いることができる。
前記ＭＰＭリストを構成するにあたり、所定のサイズのブロックを分割して生成されたサブブロックに対するＭＰＭリストは、前記所定サイズのブロックを基準としてそれぞれ構成できる。
例えば、現在ブロックが前記所定のサイズのブロックに該当する場合には、前記現在ブロックの近傍ブロックのイントラ予測モードを用いて現在ブロック内の各サブブロックに対するＭＰＭリストを構成することができる。例えば、現在ブロックが８ｘ８であり、サブブロックが４つの４ｘ４である場合、４つの各サブブロックに対するＭＰＭリストは、現在ブロックの近傍ブロックのイントラ予測モードを用いてそれぞれ構成することができる。よって、４つのサブブロックに対するＭＰＭリストは同時に構成できる。
又は、現在ブロックのイントラ予測モードは、前記ＭＰＭを用いて導出した現在ブロックのイントラ予測モードと近傍ブロックのイントラ予測モードのうちの少なくとも一つを用いて導出できる。
例えば、前記ＭＰＭを用いて導出した現在ブロックのイントラ予測モードがＰｒｅｄ＿ｍｐｍであるとき、近傍ブロックの一つ以上のイントラ予測モードを用いて前記Ｐｒｅｄ＿ｍｐｍを所定のモードに変更することにより、現在ブロックのイントラ予測モードを導出することができる。
例えば、近傍ブロックのイントラ予測モードとサイズを比較して、Ｐｒｅｄ＿ｍｐｍをＮだけ増加又は減少させることができる。このとき、Ｎは＋１、＋２、＋３、０、－１、－２、－３などの所定の整数であり得る。例えば、Ｐｒｅｄ＿ｍｐｍが近傍ブロックのイントラ予測モード及び／又は一つ以上の近傍ブロックのイントラ予測モードの統計値よりも小さい場合には、Ｐｒｅｄ＿ｍｐｍを増加させることができる。又は、Ｐｒｅｄ＿ｍｐｍが近傍ブロックのイントラ予測モードよりも大きい場合、Ｐｒｅｄ＿ｍｐｍを減少させることができる。又は、Ｐｒｅｄ＿ｍｐｍ及び／又はＰｒｅｄ＿ｍｐｍと比較される値に基づいて導出できる。
図１３に示された例において、前記Ｐｒｅｄ＿ｍｐｍがｆのモード値よりも小さい場合には、Ｐｒｅｄ＿ｍｐｍ＋１を現在ブロックのイントラ予測モードとして導出することができる。又は、前記Ｐｒｅｄ＿ｍｐｍがｇのモード値よりも小さい場合には、Ｐｒｅｄ＿ｍｐｍ＋１を現在ブロックのイントラ予測モードとして導出することができる。又は、前記Ｐｒｅｄ＿ｍｐｍがｆのモード値よりも小さい場合には、Ｐｒｅｄ＿ｍｐｍ＋２を現在ブロックのイントラ予測モードとして導出することができる。又は、前記Ｐｒｅｄ＿ｍｐｍがｆのモード値よりも大きい場合には、Ｐｒｅｄ＿ｍｐｍ－１を現在ブロックのイントラ予測モードとして導出することができる。又は、前記Ｐｒｅｄ＿ｍｐｍがｉのモード値よりも小さい場合には、Ｐｒｅｄ＿ｍｐｍ＋１を現在ブロックのイントラ予測モードとして導出することができる。又は、前記Ｐｒｅｄ＿ｍｐｍがｆとｉの平均値よりも小さい場合には、Ｐｒｅｄ＿ｍｐｍ＋１を現在ブロックのイントラ予測モードとして導出することができる。又は、前記Ｐｒｅｄ＿ｍｐｍがｆとｉの平均値よりも小さい場合には、前記Ｐｒｅｄ＿ｍｐｍと前記平均値との差の１／２を増加させることができる。例えば、Ｐｒｅｄ＿ｍｐｍ＋｛（（ｆ＋ｉ＋１）＞＞１－Ｐｒｅｄ＿ｍｐｍ＋１）＞＞１｝を、現在ブロックのイントラ予測モードとして導出することができる。
又は、前記Ｐｒｅｄ＿ｍｐｍと近傍ブロックのモードのうち、いずれか一つが非方向性モードであり、他の一つが方向性モードである場合、前記非方向性モードを現在ブロックのイントラ予測モードとして導出するか、或いは前記方向性モードを現在ブロックのイントラ予測モードとして導出することができる。
前述したように、現在ブロックのイントラ予測モードは、符号化／復号を介して導出できる。この際、近傍ブロックのイントラ予測モードは利用されないことがある。例えば、現在ブロックのイントラ予測モードは、ビットストリームをエントロピー符号化／復号して導出できる。
例えば、現在ブロックが下位又はサブブロックに分割される場合には、前記現在ブロックに対するイントラ予測モードを導出する方法のうちの少なくとも一つを用いて、前記分割されたそれぞれのサブブロックに対するイントラ予測モードを導出することができる。
前記現在ブロックのサイズ及びサブブロックのサイズはＭｘＮであり得る。ＭとＮは同じか異なる正の整数であり得る。例えば、現在ブロック又はサブブロックはＣＴＵ、ＣＵ、ＳＵ（ｓｉｇｎａｌｌｉｎｇ ｕｎｉｔ）、ＱＴＭａｘ、ＱＴＭｉｎ、ＢＴＭａｘ、ＢＴＭｉｎ、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、２５６ｘ２５６、４ｘ８、８ｘ１６、１６ｘ８、３２ｘ６４、３２ｘ８、４ｘ３２などの少なくとも一つであり得る。このとき、ＱＴＭａｘ及びＱＴＭｉｎは、それぞれ４分木分割が可能な最大及び最小のサイズを示すことができ、ＢＴＭａｘ及びＢＴＭｉｎは、２分木分割が可能な最大及び最小のサイズを示すことができる。以下のサブブロックのサイズはサブブロックの分割構造を意味することができる。
前記サブブロックのサイズは、前記現在ブロックのサイズに応じて変わり得る。例えば、現在ブロックの横幅及び縦幅のＮ等分に該当するサイズがサブブロックのサイズであり得る。このとき、Ｎは、正の整数であって、２、４、８、１６、３２、６４のうちの少なくとも一つであり得る。例えば、現在ブロックのサイズが３２ｘ３２であり、横、縦それぞれに対する等分Ｎが４である場合には、サブブロックのサイズは８ｘ８であり得る。
又は、前記サブブロックのサイズは、前記現在ブロックのサイズに関係なく、所定の固定されたサイズであり得る。例えば、サブブロックのサイズは、現在ブロックのサイズに関係なく、最小サイズであり、例えば、４ｘ４であり得る。
又は、前記サブブロックのサイズは、前記現在ブロックの近傍ブロックの分割構造に基づいて決定できる。例えば、隣接する近傍ブロックが分割された場合には、現在ブロックを分割してサブブロックのサイズが決定できる。
前記サブブロックのサイズは、前記現在ブロックの近傍ブロックのイントラ予測モードに基づいて決定できる。例えば、近傍ブロックのイントラ予測モードが互いに異なる境界を基準に、サブブロックを分割してサブブロックのサイズが決定できる。
前記サブブロックのサイズは、近傍ブロックの符号化パラメータに基づいて決定できる。例えば、近傍ブロックがイントラ符号化ブロックであるかインター符号化ブロックであるかに基づいて、サブブロックを分割して決定することができる。
前記現在ブロックのサイズ、サブブロックのサイズ、現在ブロックに対するＮ等分値のうちの少なくとも一つは、所定のサイズに固定できる。
例えば、前記現在ブロックの固定された所定のサイズが１６ｘ１６である場合には、現在ブロックのサイズが１６ｘ１６であれば、現在ブロックは、サブブロックに分割され、それぞれのサブブロックに対するイントラ予測モードを導出することができる。
例えば、前記現在ブロックの固定された所定のサイズがＣＴＵであり、前記Ｎ等分値が４である場合には、現在ブロックのサイズがＣＴＵであれば、ＣＴＵの横及び縦を４等分したサブブロック単位でイントラ予測モードを導出することができる。
前記一つ以上のサブブロックは、さらに小さいサイズのブロックに分割できる。例えば、前記現在ブロックのサイズが３２ｘ３２であり、サブブロックのサイズが１６ｘ１６である場合には、一つ以上のサブブロックは８ｘ８、４ｘ４、１６ｘ８、４ｘ１６などのさらに小さいブロックに分割できる。
前記現在ブロックのサイズ、サブブロックのサイズ、現在ブロックに対するＮ等分値のうちの少なくとも一つは、符号化／復号できる。
前記現在ブロックに対するサブブロックの分割構造は符号化／復号できる。このとき、前記分割されたサブブロックは様々なサイズ及び／又は形状を有することができる。また、各サブブロックに対してイントラ予測モードを導出することができる。
現在ブロックのイントラ予測モードが近傍ブロックのイントラ予測モードを用いて導出されることを示すインジケータ（例えば、フラグ）が、符号化／復号できる。例えば、前記インジケータは、ＮＤＩＰ＿ｆｌａｇ（Ｎｅｉｇｈｂｏｕｒｉｎｇ ｍｏｄｅ Ｄｅｐｅｎｄａｎｔ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）であり得る。前記インジケータは、現在ブロック又はサブブロックのうちの少なくとも一つの単位ごとに符号化／復号できる。前記インジケータは、現在ブロック又はサブブロックのサイズが所定のサイズ又は所定のサイズ範囲に該当する場合にのみ、符号化／復号できる。前記所定のサイズは、例えば、６４ｘ６４又はＢＴＭａｘであり得る。前述したように、現在ブロックは複数のサブブロックに分割できる。サブブロックの分割構造は予め定義されるか或いは符号化／復号によって決定され得る。
現在ブロックに対するＮＤＩＰ＿ｆｌａｇが１である場合には、現在ブロック又は現在ブロック内の各サブブロックに対するイントラ予測モードは、近傍ブロックのイントラ予測モードを用いて導出できる。この場合、現在ブロック及び／又はサブブロックに対するｐｒｅｖ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｆｌａｇ、ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ、ｓｐｌｉｔ＿ｆｌａｇ、ＱＢ＿ｆｌａｇ、ｑｕａｄｔｒｅｅ＿ｆｌａｇ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つの情報は、符号化／復号されないことがある。
例えば、現在ブロックに対するＮＤＩＰ＿ｆｌａｇが１である場合には、現在ブロックに対するイントラ予測モードを復号した後、前記復号したイントラ予測モードと近傍ブロックのイントラ予測モードを用いて各サブブロックに対するイントラ予測モードを導出することができる。この際、サブブロックに対するｐｒｅｖ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｆｌａｇ、ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ、ｓｐｌｉｔ＿ｆｌａｇ、ＱＢ＿ｆｌａｇ、ｑｕａｄｔｒｅｅ＿ｆｌａｇ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇのうちの少なくとも一つの情報は、符号化／復号されないことがある。
現在ブロックに対するＮＤＩＰ＿ｆｌａｇが０である場合には、現在ブロック又はサブブロックのイントラ予測モード及びサブブロックの分割情報のうちの少なくとも一つに関連した情報が符号化／復号できる。
現在ブロック内のサブブロックのうち、第１サブブロックに対するイントラ予測モードは、残りのサブブロックとは異なる方法で導出できる。第１サブブロックは、現在ブロック内の複数のサブブロックのうちのいずれか一つであり得る。例えば、第１サブブロックは、Ｚスキャンの順序上、１番目のサブブロックであり得る。
第１サブブロックのイントラ予測モードは、初期（ｉｎｉｔｉａｌ）モードを意味することができる。例えば、サブブロックに対するイントラ予測モードを各サブブロックの左側ブロックと上側ブロックのイントラ予測モードの平均で導出する場合には、前記初期モードは他の方法で導出できる。前記初期モードを導出するための他の方法は、本発明に係るイントラ予測モードを導出する方法のうちの少なくとも一つであり得る。
例えば、ＭＰＭリストのＮ番目（例えば、一番目）に存在するモードを、前記初期モードとして導出することができる。又は、現在ブロックの近傍に存在する一つ以上のブロックのイントラ予測モードのうち最も多く発生するモードを、前記初期モードとして導出することができる。又は、前記現在ブロックに対して符号化／復号したイントラ予測モードを前記初期モードとして導出することができる。又は、前記第１サブブロックに対して符号化／復号したイントラ予測モードを前記初期モードとして導出することができる。
現在ブロック内のサブブロックに対するイントラ予測モードを導出するにあたり、任意の順序で一つ以上のサブブロックのイントラ予測モードを導出することができる。このとき、前記任意の順序はスキャニング順序であり、ラスタスキャン、アップライトスキャン、垂直スキャン、水平スキャン、対角スキャン、ジグザグスキャンのうちの少なくとも一つに該当することができる。前記スキャニングの順序に従ってイントラ予測モードを導出するサブブロックの個数は一つ以上であり得る。前記任意の順序は、近傍ブロックのイントラ予測モードに応じて適応的に決定できる。
図１４は現在ブロックが一つ以上のサブブロックに分割され、各サブブロックのイントラ予測モードを導出する実施形態を説明するための図である。
まず、現在ブロックのサイズが所定のサイズに該当するかを判断することができる（Ｓ１４１０）。前記所定のサイズは、現在ブロックの横幅又は縦幅によって決定できる。例えば、現在ブロックの横幅又は縦幅がサブブロックに分割可能な長さであるか否かに応じて、ステップＳ１４１０の判断が行われ得る。
例えば、現在ブロックの横幅と縦幅が互いに同じ正方形である場合には、横幅及び縦幅のそれぞれをＮ等分した長さが任意の長さと同じかそれより大きい場合に、前記現在ブロックのサイズが前記所定のサイズに該当することができる。例えば、前記Ｎが４であり、任意の長さが４である場合には、前記現在ブロックが２５６ｘ２５６、１２８ｘ１２８、６４ｘ６４、３２ｘ３２、１６ｘ１６のうちの少なくとも一つであれば、前記現在ブロックのサイズは前記所定のサイズに該当することができる。
例えば、現在ブロックの横幅と縦幅が互いに異なる長方形の場合には、横幅及び縦幅のうち、大きい長さをＭ等分した長さと、小さい長さをＮ等分した長さのうちの小さい長さが任意の長さと同じかそれより大きい場合に、前記現在ブロックのサイズが前記所定のサイズに該当することができる。例えば、前記Ｍが４であり、Ｎが２であり、任意の長さが４である場合には、前記現在ブロックが１２８ｘ６４、６４ｘ１２８、１２８ｘ３２、３２ｘ１２８、１２８ｘ１６、１６ｘ１２８、１２８ｘ８、８ｘ１２８、６４ｘ３２、３２ｘ６４、６４ｘ１６、１６ｘ６４、６４ｘ８、８ｘ６４、３２ｘ１６、１６ｘ３２、３２ｘ８、８ｘ３２、１６ｘ８、８ｘ１６のうちの少なくとも一つであれば、前記現在ブロックのサイズは前記所定のサイズに該当することができる。
例えば、前記現在ブロックがもはや分割されない場合には、前記現在ブロックのサイズは前記所定のサイズに該当することができる。例えば、現在ブロックに対する分割情報、４分木及び／又は２分木分割情報が０であって、現在ブロックが分割されないことを示し、現在ブロックの横幅又は縦幅が最小長さよりも大きい場合には、前記現在ブロックのサイズは所定のサイズに該当することができる。この時、前記最小長さは４であり得る。
前記現在ブロックのサイズが所定のサイズに該当しない場合（Ｓ１４１０でＮｏ）、現在ブロックに対する分割情報及びイントラ予測モードを復号することができる（Ｓ１４６０）。現在ブロックが分割されない場合には、現在ブロックに対するイントラ予測モードを復号することができる。現在ブロックが分割される場合には、各分割されたサブブロックに対するイントラ予測モードを復号することができる。
前記現在ブロックのサイズが所定のサイズに該当する場合（Ｓ１４１０でＹｅｓ）、ＮＤＩＰ＿ｆｌａｇを復号することができる（Ｓ１４２０）。次のステップで、復号されたＮＤＩＰ＿ｆｌａｇ値がチェックできる（Ｓ１４３０）。
ＮＤＩＰ＿ｆｌａｇが０である場合（Ｓ１４３０でＮｏ）、前述したように、現在ブロックに対する分割情報、現在ブロックのイントラ予測モード、サブブロックのイントラ予測モードのうちの少なくとも一つを復号することができる（Ｓ１４６０）。
ＮＤＩＰ＿ｆｌａｇが１である場合（Ｓ１４３０でＹｅｓ）、現在ブロックをサブブロックに分割することができる（Ｓ１４４０）。この際、サブブロックは、予め定義された所定のサイズ及び／又は形状に分割できる。又は、復号された分割情報に基づいて分割できる。
次のステップで、現在ブロックを分割して生成されたサブブロックのイントラ予測モードが導出できる（Ｓ１４５０）。ブロックのイントラ予測モードは、近傍ブロックのイントラ予測モードに基づいて導出できる。又は、現在ブロックのイントラ予測モードを復号して用いることができる。
前記現在ブロック又はサブブロックに対して、前記導出されたイントラ予測モードを用いてイントラ予測を行うことができる（Ｓ１４７０）。
図１５は現在ブロックがサブブロックに分割される一つの実施形態を示す図である。
現在ブロック内の複数のサブブロックのイントラ予測モードを導出する順序は、現在ブロック基準のラスタ（ｒａｓｔｅｒ）スキャン順序であり得る。又は、所定のブロックサイズ基準のラスタスキャン順序であり得る。例えば、Ｃ１、Ｃ２、Ｃ３、．．．、Ｃ１６の順にサブブロックのイントラ予測モードが導出できる。又は、Ｃ１、Ｃ２、Ｃ５、Ｃ６、Ｃ３、Ｃ４、．．．、Ｃ１２、Ｃ１５、Ｃ１６の順に導出できる。又は、各サブブロックのイントラ予測モードを並列的に導出することができる。それぞれのサブブロックに対するイントラ予測モードは、前記現在ブロックのイントラ予測モードを導出する方法のうちの少なくとも一つの方法で導出できる。
例えば、前記現在ブロックがサブブロックに分割されてサブブロックそれぞれに対するイントラ予測モードを導出する場合には、近傍ブロックのイントラ予測モードが利用できる。
例えば、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードの統計値を、各サブブロックのイントラ予測モードとして導出することができる。例えば、前記統計値が平均値である場合には、図１５に示されたそれぞれのサブブロックのイントラ予測モードは、下記数式４を用いて導出できる。
Figure 2022191450000009
又は、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのサイズを比較して、大きいブロックのイントラ予測モードをサブブロックのイントラ予測モードとして導出することができる。この際、２つのブロックのサイズが同じ場合には、左側ブロックと上側ブロックのイントラ予測モードの平均値を各サブブロックのイントラ予測モードとして導出することができる。
又は、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードの大きさを比較して、２つのうち小さい値を持つモードをサブブロックのイントラ予測モードとして導出することができる。２つのモードの値が同じ場合には、２つのうちいずかのモードをサブブロックのイントラ予測モードとして導出することができる。
又は、現在ブロックの近傍にあるイントラ予測モードを用いて各サブブロックのイントラ予測モードを導出することができる。このとき、各サブブロックの（０，０）サンプル位置で左側及び／又は上側に位置した現在ブロックの一つ以上の近傍ブロックのイントラ予測モードを用いることができる。例えば、図１５に示されたそれぞれのサブブロックのイントラ予測モードは、下記数式５を用いて導出できる。
Figure 2022191450000010
又は、現在ブロックの近傍ブロックのイントラ予測モードがいずれも非方向性モードである場合、サブブロックのイントラ予測モードは、非方向性モード（例えば、ＤＣモード及びＰｌａｎａｒモード）のうちの少なくとも一つで導出することができる。
図１６は現在ブロックがサブブロックに分割される他の実施形態を示す図である。
図１６に示すように、現在ブロック内のサブブロックは、様々なサイズ及び／又は形状を有することができる。前記現在ブロック及び／又はサブブロックの分割構造及び／又はサイズは、符号化／復号して決定できる。このとき、各サブブロックに対するイントラ予測モードは、前述した現在ブロック又はサブブロックのイントラ予測モードを導出する方法のうちの少なくとも一つの方法で導出できる。
例えば、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードの統計値を、各サブブロックのイントラ予測モードとして導出することができる。例えば、前記統計値が平均値である場合には、図１６に示されたサブブロックのイントラ予測モードは、下記数式６を用いて導出できる。
Figure 2022191450000011
又は、各サブブロックに隣接する一つ以上の近傍ブロックのイントラ予測モードの統計値を、各サブブロックのイントラ予測モードとして導出することができる。例えば、前記統計値が平均値である場合、図１６に示されたそれぞれのサブブロックのイントラ予測モードは、下記数式７を用いて導出できる。
Figure 2022191450000012
又は、現在ブロックの近傍ブロックのイントラ予測モードがいずれも非方向性モードである場合、サブブロックのイントラ予測モードは、非方向性モード（例えば、ＤＣモード及びＰｌａｎａｒモード）のうちの少なくとも一つで導出できる。
前記現在ブロックがサブブロックに分割されてサブブロックそれぞれに対するイントラ予測モードを導出する場合には、ＭＰＭを用いて前記現在ブロックに対するイントラ予測モードを導出した後、前記導出されたモードと近傍ブロックのイントラ予測モードを用いて各サブブロックのイントラ予測モードを導出することができる。この時、前記ＭＰＭを用いて導出した現在ブロックのイントラ予測モードと近傍ブロックのイントラ予測モードのうちの少なくとも一つを用いて、現在ブロックのイントラ予測モードを導出する方法のうちの少なくとも一つの方法でサブブロックのイントラ予測モードを導出することができる。例えば、前記ＭＰＭを用いて導出した現在ブロックのイントラ予測モードがＰｒｅｄ＿ｍｐｍである場合、サブブロックのイントラ予測モードは、次のとおり導出できる。
例えば、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードの平均値と前記Ｐｒｅｄ＿ｍｐｍのサイズとを比較して、前記平均値がＰｒｅｄ＿ｍｐｍよりも大きい場合にはＰｒｅｄ＿ｍｐｍ＋１、Ｐｒｅｄ＿ｍｐｍよりも小さい場合にはＰｒｅｄ＿ｍｐｍ－１をサブブロックのイントラ予測モードとして導出することができる。又は、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードと前記Ｐｒｅｄ＿ｍｐｍの平均値をイントラ予測モードとして導出することができる。又は、各サブブロックの（０，０）位置サンプルの左側又は上側に位置したブロックのイントラ予測モードと前記Ｐｒｅｄ＿ｍｐｍのサイズとを比較して、Ｐｒｅｄ＿ｍｐｍを調整してイントラ予測モードを導出することができる。このとき、前記平均値の代わりに、前述した統計値のうちの少なくとも一つが使用できる。
図１７は現在ブロックがサブブロックに分割される別の実施形態を示す図である。
図１７において、各ブロック内の数字は、当該ブロックのイントラ予測モードの番号を意味する。また、Ｃｘ（ｘは１．．１６）は、現在ブロック内のｘ番目のサブブロックを意味する。また、矢印は当該ブロックのイントラ予測方向又は角度を意味する。
例えば、各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードの統計値を、各サブブロックのイントラ予測モードとして導出することができる。前記統計値は、例えば、平均値であり得る。又は、前記近傍ブロックのイントラ予測モードのうちの少なくとも一つのモードが非方向性モードである場合、前記近傍ブロックのイントラ予測モードのうちの方向性モードでサブブロックのイントラ予測モードを導出することができる。非方向性モードは、例えば、Ｐｌａｎａｒモード（モード番号０）及びＤＣモード（モード番号１）を含むことができる。例えば、図１７に示されたそれぞれのサブブロックのイントラ予測モードは、下記数式８を用いて導出できる。
Figure 2022191450000013
図１８は現在ブロックがサブブロックに分割される別の実施形態を示す図である。
図１８において、各ブロック内の数字は、該当ブロックのイントラ予測モードの番号を意味する。また、Ｃｘ（ｘは１．．１４）は、現在ブロック内のｘ番目のサブブロックを意味する。また、矢印は当該ブロックのイントラ予測方向又は角度を意味する。
図１８を参照して説明する実施形態では、まず、現在ブロックに対するイントラ予測モード及びサブブロックの分割情報のうちの少なくとも一つが復号によって導出できる。現在ブロック内の各サブブロックに対するイントラ予測モードは、前記導出された現在ブロックのイントラ予測モードと各サブブロックの（０，０）位置サンプルの左側と上側に位置したブロックのイントラ予測モードの平均値を用いて導出できる。例えば、前記導出された現在ブロックのイントラ予測モードが前記平均値よりも大きい場合には、前記平均値の１／２だけを、前記導出されたイントラ予測モードから差し引くことができ、前記平均値と同じかそれより小さい場合には、加えることができる。このとき、前記平均値の代わりに、前述した統計値のうちの少なくとも一つが利用できる。
又は、前記近傍ブロックのイントラ予測モードのうちの少なくとも一つのモードが非方向性モードである場合、前記近傍ブロックのイントラ予測モードのうちの方向性モードでサブブロックのイントラ予測モードを導出することができる。非方向性モードは、例えば、Ｐｌａｎａｒモード（モード番号０）及びＤＣモード（モード番号１）を含むことができる。例えば、前記導出された現在ブロックのイントラ予測モードが５２であると仮定した場合、図１８に示されたそれぞれのサブブロックのイントラ予測モードは、下記数式９を用いて導出できる。
Figure 2022191450000014
イントラ予測モードを導出するために、イントラ予測に関する情報がビットストリームから復号（例えば、エントロピー復号）できる。イントラ予測に関する情報は、ＶＰＳ（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライス（ｓｌｉｃｅ）ヘッダー、タイル（ｔｉｌｅ）ヘッダー、ＣＴＵ、ＣＵ及びＰＵの少なくとも一つを介してシグナリングできる。イントラ予測に関する情報は、下記情報のうちの少なくとも一つを含むことができる。
－参照サンプルのフィルタリング適用有無を示すフラグ：例）ｉｎｔｒａ＿ｒｅｆｅｒｅｎｃｅ＿ｓａｍｐｌｅ＿ｆｉｌｔｅｒｉｎｇ＿ｆｌａｇ
－参照サンプルのフィルタリング類型を指定するインデックス：例）ｒｅｆｅｒｅｎｃｅ＿ｓａｍｐｌｅ＿ｆｉｌｔｅｒｉｎｇ＿ｉｄｘ
－ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）マッチングか否かを示すフラグ：例）ｐｒｅｖ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｆｌａｇ
－ＭＰＭリスト内で位置を指定するインデックス：例）ｍｐｍ＿ｉｄｘ
－イントラ予測モードがＮｏｎ－ＭＰＭモードのうちの所定のモードからなるグループに含まれるか否かを示すフラグ：例）ｎｏｎ＿ｍｐｍ＿ｇｒｏｕｐ＿ｆｌａｇ
－前記グループ内で位置を指定するインデックス：例）ｇｒｏｕｐ＿ｍｏｄｅ＿ｉｄｘ
－輝度成分イントラ予測モード情報：例）ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ
－色差成分イントラ予測モード情報：例）ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ
－サンプル単位方向性イントラ予測モードの曲率パラメータ：例）ｃｕｖ
－サンプル単位方向性イントラ予測モードの行及び／又は列重みパラメータセット：例）ｃｗ１、ｃｗ２、．．．、ｃｗＮｓ－１
－サンプル単位方向性イントラ予測のためのＬｏｏｋ－ｕｐ－ｔａｂｌｅ（ＬＵＴ）
－近傍ブロックのイントラ予測モードを用いて現在ブロック及びサブブロックのイントラ予測モードを導出することを示すフラグ：例）ＮＤＩＰ＿ｆｌａｇ
－予測サンプルに対するフィルタリング適用有無を示すフラグ：例）ｐｒｅｄｉｃｔｅｄ＿ｓａｍｐｌｅ＿ｆｉｌｔｅｒｉｎｇ＿ｆｌａｇ
前記イントラ予測に関する情報の復号は、少なくとも一つの符号化パラメータに基づいて行われ得る。例えば、ＮＤＩＰ＿ｆｌａｇの符号化／復号は、ブロックの分割情報に関連した情報に基づいて行われ得る。一例として、ＮＤＩＰ＿ｆｌａｇの符号化／復号は、ｓｐｌｉｔ＿ｆｌａｇ、ｑｕａｄｔｒｅｅ＿ｆｌａｇ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇの少なくとも一つが０である場合、すなわち、それ以上ブロックが分割されない場合に行われ得る。
所定のブロックサイズ以下では、前記イントラ予測に関する情報のうちの少なくとも一つがシグナリングされなくてもよい。例えば、現在ブロックのサイズが所定のサイズに該当する場合、現在ブロックに対するイントラ予測に関する情報の少なくとも一つかシグナリングされず、以前に符号化／復号された上位サイズのブロックに該当するイントラ予測に関する一つ以上の情報を用いることができる。
前記イントラ予測に関する情報のうちの少なくとも一つをエントロピー符号化／復号するとき、下記の２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法のうちの少なくとも一つを用いることができる。
－切り捨てられたライス（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）２値化方法
－Ｋ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法
－限られたＫ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法
－固定長（Ｆｉｘｅｄ－ｌｅｎｇｔｈ）２値化方法
－単項（Ｕｎａｒｙ）２値化方法
－切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化方法
前記ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）ｆｌａｇが１である場合には、輝度成分のイントラ予測モードはＭＰＭインデックス（ｍｐｍ＿ｉｄｘ）と符号化／復号された隣接ユニットのイントラ予測モードのうちの少なくとも一つを用いて導出できる。
前記ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）ｆｌａｇが０である場合には、イントラ予測モードが前記ｎｏｎ－ＭＰＭモードのうちの所定のモードからなるグループに含まれるか否かを示すフラグをパーシングして１であれば、グループモードインデックス（ｇｒｏｕｐ＿ｍｏｄｅ＿ｉｄｘ）を用いてイントラ予測モードを導出することができる。
前記ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）ｆｌａｇ又は前記ｎｏｎ－ＭＰＭモードのうちの所定のモードからなるグループに含まれるか否かを示すフラグのうちの少なくとも一つが０である場合、輝度成分のイントラ予測モードは、輝度成分イントラ予測モードインデックス（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ）を用いて符号化／復号できる。
色差成分のイントラ予測モードは、色差成分イントラ予測モードインデックス（ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）及び／又は対応する輝度ブロックのイントラ予測モードのうちの少なくとも一つを用いて導出できる。又は、色差ブロック近傍のイントラ予測モード、対応する輝度ブロック及び輝度ブロック近傍のイントラ予測モード、所定のイントラ予測モードのうちの少なくとも一つを用いてＭＰＭリストを構成し、これを用いて前記色差成分のイントラ予測モードを導出することができる。
前記サンプル単位方向性イントラ予測モードの曲率パラメータ（ｃｕｖ）は、サンプル単位方向性イントラ予測モードに適用される曲率を意味することができる。現在ブロックに対して一つ以上のｃｕｖを用いてサンプル単位方向性イントラ予測を行うことができる。曲率パラメータは、近傍ブロックの曲率パラメータから導出できる。
前記サンプル単位方向性イントラ予測モードの行及び／又は列重みパラメータセット（ｃｗ）は、ベクトルになることができる。行及び／又は列重みパラメータは、現在ブロックの行及び／又は列単位で適用できる。例えば、ＮｘＭブロックに対して行単位で適用される場合には、行重みパラメータセットはＮ個の重みパラメータを持つことができる。また、列単位で適用される場合には、列重みパラメータセットはＭ個の重みパラメータを持つことができる。重みパラメータ及び／又は重みパラメータセットは、近傍ブロックの重みパラメータ及び／又は重みパラメータセットから導出できる。
ｃｕｖとｃｗのうちの少なくとも一つを用いて多様な形態のサンプル単位方向性イントラ予測を行うことができる。このとき、ｃｖｕとｃｗはそれぞれ一つ以上であり得る。
現在ブロックは、Ｎ個のｃｕｖとＭ個のｃｗを用いて少なくともＮｘＭｘ４個以上の予測ブロックを生成してイントラ予測を行うことができる。例えば、現在ブロックは、一つのｃｕｖと一つのｃｗを用いて少なくとも４つの予測ブロックを生成してイントラ予測を行うことができる。例えば、現在ブロックは、２つのｃｕｖと一つのｃｗを用いて少なくとも８つの予測ブロックを生成してイントラ予測を行うことができる。
２つ以上のｃｕｖ及び／又はｃｗ情報は、ｄｅｆａｕｌｔ値とｄｅｌｔａ値を用いて符号化／復号できる。このとき、ｄｅｆａｕｌｔは一つのｃｕｖ値及び／又は一つのｃｗ値を意味することができ、ｄｅｌｔａは定数値であり得る。
例えば、現在ブロックで２つのｃｕｖを用いる場合、ｄｅｆａｕｌｔ＿ｃｕｖとｄｅｌｔａ＿ｃｕｖがビットストリームから復号できる。このとき、２つの曲率パラメータはｄｅｆａｕｌｔ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ＋ｄｅｌｔａ＿ｃｕｖになることができる。
例えば、現在ブロックでＮ個のｃｕｖを用いる場合、ｄｅｆａｕｌｔ＿ｃｕｖとｄｅｌｔａ＿ｃｕｖがビットストリームから復号できる。このとき、Ｎ個の曲率パラメータは、ｄｅｆａｕｌｔ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ＋ｄｅｌｔａ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ＋２＊ｄｅｌｔａ＿ｃｕｖ、．．．、ｄｅｆａｕｌｔ＿ｃｕｖ＋（Ｎ－１）＊ｄｅｌｔａ＿ｃｕｖになることができる（ただし、Ｎは２以上の正の整数）。
例えば、現在ブロックで２Ｎ＋１個のｃｕｖを用いる場合、２Ｎ＋１個の曲率パラメータは、ｄｅｆａｕｌｔ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ＋ｄｅｌｔａ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ－ｄｅｌｔａ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ＋２＊ｄｅｌｔａ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ－２＊ｄｅｌｔａ＿ｃｕｖ、．．．、ｄｅｆａｕｌｔ＿ｃｕｖ＋Ｎ＊ｄｅｌｔａ＿ｃｕｖ、ｄｅｆａｕｌｔ＿ｃｕｖ－Ｎ＊ｄｅｌｔａ＿ｃｕｖになることができる（ただし、Ｎは１以上の正の整数）。
例えば、現在ブロックで２つのｃｗを用いる場合、ｄｅｆａｕｌｔ＿ｃｗとｄｅｌｔａ＿ｃｗがビットストリームから復号できる。このとき、２つの重みパラメータは、ｄｅｆａｕｌｔ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ＋ｄｅｌｔａ＿ｃｗになることができる（ただし、ｄｅｆａｕｌｔ＿ｃｗ＋ｄｅｌｔａ＿ｃｗはベクトルの元素単位の加算）。
例えば、現在ブロックでＭ個のｃｗを用いる場合、ｄｅｆａｕｌｔ＿ｃｗとｄｅｌｔａ＿ｃｗがビットストリームから復号できる。このとき、Ｍ個の重みパラメータは、ｄｅｆａｕｌｔ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ＋ｄｅｌｔａ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ＋２＊ｄｅｌｔａ＿ｃｗ、．．．、ｄｅｆａｕｌｔ＿ｃｗ＋（Ｍ－１）＊ｄｅｌｔａ＿ｃｗになることができる（ただし、ｄｅｆａｕｌｔ＿ｃｗ＋ｄｅｌｔａ＿ｃｗはベクトルの元素単位の加算、Ｍは２以上の正の整数）。
例えば、現在ブロックで２Ｍ＋１個のｃｗを用いる場合、２Ｍ＋１個の曲率パラメータは、ｄｅｆａｕｌｔ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ＋ｄｅｌｔａ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ－ｄｅｌｔａ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ＋２＊ｄｅｌｔａ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ－２＊ｄｅｌｔａ＿ｃｗ、．．．、ｄｅｆａｕｌｔ＿ｃｗ＋Ｍ＊ｄｅｌｔａ＿ｃｗ、ｄｅｆａｕｌｔ＿ｃｗ－Ｍ＊ｄｅｌｔａ＿ｃｗになることができる（ただし、Ｍは１以上の正の整数）。
以下、参照サンプル構成ステップ（Ｓ１２２０）についてより詳細に説明する。
前記現在ブロック、又は現在ブロックよりも小さいサイズ及び／又は形状を持つサブブロックに対するイントラ予測を行うにあたり、予測のために使用される参照サンプルを構成することができる。以下では現在ブロックを基準に説明し、前記現在ブロックはサブブロックを意味することができる。前記参照サンプルは、現在ブロックの近傍の再構築された一つ以上のサンプル又はサンプル組み合わせを用いて構成することができる。さらに前記参照サンプルを構成するにあたり、フィルタリングが適用できる。この時、複数の再構築サンプルライン上の各再構築サンプルをそのまま使用して参照サンプルを構成することができる。又は、同じ再構築サンプルライン上のサンプル間フィルタリングの後に参照サンプルを構成することができる。又は、互いに異なる再構築サンプルライン上のサンプル間フィルタリングの後に参照サンプルを構成することができる。前記構成された参照サンプルはｒｅｆ［ｍ，ｎ］、近傍の再構築されたサンプル又はこれをフィルタリングしたサンプルはｒｅｃ［ｍ，ｎ］で表すことができる。このとき、前記ｍ又はｎは所定の整数値であり得る。現在ブロックのサイズがＷ（横）ｘＨ（縦）である場合、現在ブロック内の左上側のサンプル位置が（０，０）であるとき、当該サンプル位置を基準に最も近接した左上側の参照サンプルの相対的な位置を（－１，－１）に設定することができる。
図１９は現在ブロックのイントラ予測に用いられる近傍の再構築サンプルラインを例示的に示す図である。
図１９に示すように、現在ブロックに隣接する一つ以上の再構築サンプルラインを用いて、参照サンプルが構成できる。
例えば、図１９に示された複数の再構築サンプルラインの中から一つのラインを選択し、選択された再構築サンプルラインを用いて参照サンプルを構成することができる。前記選択された再構築サンプルラインは、複数の再構築サンプルラインの中から特定のラインに固定的に選択できる。又は、前記選択された再構築サンプルラインは、複数の再構築サンプルラインの中から特定のラインに適応的に選択できる。
例えば、図１９に示された複数の再構築サンプルラインのうち、一つ以上の再構築サンプルラインの組み合わせを用いて、参照サンプルを構成することができる。一例として、参照サンプルは、一つ以上の再構築サンプルの加重和（又は加重平均）で構成できる。前記加重和に用いられる重みは、現在ブロックからの距離に基づいて付与できる。この際、現在ブロックに近いほど、さらに大きい重みが付与でき、例えば、下記数式１０が使用できる。
Figure 2022191450000015
又は、現在ブロックからの距離又はイントラ予測モードのうちの少なくとも一つに基づいて、複数の再構築サンプルの平均値、最大値、最小値、中央値及び最頻値の少なくとも一つの値を用いて参照サンプルを構成することができる。
又は、連続する複数の再構築サンプルの値の変化（変化量）に基づいて参照サンプルを構成することができる。例えば、連続する二つの再構築サンプルの値が臨界値以上異なるか否か、連続する複数の再構築サンプルの値が連続的又は不連続的に変わるか否かなど、少なくとも一つに基づいて、参照サンプルを構成することができる。例えば、ｒｅｃ［－１，－１］とｒｅｃ［－２，－１］が臨界値以上異なる場合、ｒｅｆ［－１，－１］は、ｒｅｃ［－１，－１］と決定されるか、ｒｅｃ［－１，－１］に所定の重みを付与した加重平均を適用した値と決定できる。例えば、連続する複数の再構築サンプルの値が現在ブロックに近づくほどｎずつ変わる場合、参照サンプルｒｅｆ［－１，－１］＝ｒｅｃ［－１，－１］－ｎで決定できる。
例えば、図１９に示された複数の再構築サンプルラインの中から２つ以上の再構築サンプルラインを選択して参照サンプルを構成することができる。一例として、再構築サンプルライン１と再構築サンプルライン２が固定的に選択できる。又は、２つ以上の再構築サンプルラインが適応的に選択できる。又は、一つのラインは固定的に選択され、他の一つ以上のラインは適応的に選択できる。
複数の再構築サンプルラインの中から一つ以上の再構築サンプルラインが固定的に選択される場合には、前記固定的に選択されたラインについての情報はシグナリングできない。
複数の再構築サンプルラインの中から一つ以上の再構築サンプルラインが適応的に選択される場合には、前記適応的に選択されたラインについての情報はシグナリングできる。前記情報は、例えば、前記適応的に選択されたラインを特定するためのインジケータ又はインデックスであり得る。又は、前記情報がシグナリングされず、現在ブロック及び／又は近傍ブロックのサイズ、形状、イントラ予測モードなどの符号化パラメータのうちの少なくとも一つを用いて前記一つ以上の再構築サンプルラインが適応的に選択できる。
前記参照サンプルラインは一つ以上のサンプルから構成できる。例えば、現在ブロックの横幅又は縦幅と同じ長さで構成できる。又は、前記横幅又は縦幅の２倍に相当する長さで構成できる。又は、前記横幅又は縦幅に１、２、３、．．．、Ｎ個のサンプルを加えた長さで構成できる。例えば、前記参照サンプルラインは、２＊（Ｗ＋Ｈ）＋Ｎ個のサンプルで構成できる。
前記現在ブロックの上側に隣接するサンプルラインの個数と、前記現在ブロックの左側に隣接する参照サンプルラインの個数とは互いに異なり得る。例えば、現在ブロックのサイズ、形状及び／又はイントラ予測モードに応じて、上側に隣接するサンプルラインは一つ、左側に隣接する参照サンプルラインは２つから構成できる。
前記現在ブロックの上側に隣接するサンプルラインの長さと、左側に隣接する参照サンプルラインの長さとは互いに異なり得る。例えば、現在ブロックのサイズ、形状及び／又はイントラ予測モードに応じて前記長さを異ならせて構成することができる。
前記参照サンプルラインの長さは、前記再構築サンプルラインごとに異なり得る。例えば、再構築サンプルラインｎは、再構築サンプルラインｎ－１よりもｍ個のサンプルだけ長く又は短く構成できる。図１９に示された例では、再構築サンプルラインｎは再構築サンプルラインｎ－１よりも一つのサンプルだけ長く構成される。
又は、前記参照サンプルラインのそれぞれは、イントラ予測モードに応じてシフトされることにより再構成できる。例えば、イントラ予測モードによって参照される位置に参照サンプルが存在しない場合、参照サンプルが位置するように当該参照サンプルラインをシフトすることができる。どんな参照サンプルラインをシフトするか又はどれほどシフトするかは、イントラ予測モード、予測角度及び／又は参照サンプルラインの位置に基づいて決定できる。
前述したように、最も近い参照サンプルラインのみを用いて参照サンプルを構成するか、或いは複数の参照サンプルラインを用いて参照サンプルを構成するかについての情報は、符号化／復号できる。例えば、前記情報は、シーケンス、ピクチャ、スライス、タイル、ＣＴＵ、ＣＵ、ＰＵ及びＴＵレベルのうちの少なくとも一つのレベルで符号化／復号できる。また、複数の参照サンプルラインの利用可能性についての情報がより上位のベルでシグナリングされることも可能である。
前記参照サンプルの構成に使用される再構築サンプルラインの個数、位置及び構成方法のうちの少なくとも一つは、現在ブロックの上側及び／又は左側の境界がピクチャ、スライス、タイル、符号化ツリーブロック（ＣＴＢ）のうちの少なくとも一つの境界に該当する場合に応じて異ならせることができる。例えば、前記２つ以上の参照サンプルラインを構成する際に、現在ブロックの上側境界がピクチャ、タイル、スライス、符号化ツリーブロック（ＣＴＢ）のうちの少なくとも一つに該当する場合、上側に隣接する参照サンプルラインをｎ個で構成することができる。この時、ｎは例えば１であり得る。
前記参照サンプルを選択するにあたり、参照サンプルを含んでいるブロックの可用性（ａｖａｉｌａｂｉｌｉｔｙ）判断及び／又はパディング（ｐａｄｄｉｎｇ）が行われ得る。例えば、参照サンプルを含んでいるブロックが利用可能である場合には、該当する前記参照サンプルを用いることができる。一方、前記参照サンプルを含んでいるブロックが利用不可能である場合には、近傍のできる限り一つ以上の参照サンプルを用いて、前記利用不可能な参照サンプルをパディングして代替することができる。
前記参照サンプルがピクチャ、タイル、スライス、符号化ツリーブロック（ＣＴＢ）、所定の境界のうち少なくとも一つの境界の外に存在する場合、前記参照サンプルは利用不可能であると判断できる。
現在ブロックを、限られたイントラ予測（ＣＩＰ：ｃｏｎｓｔｒａｉｎｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）で符号化する場合に、前記参照サンプルを含んでいるブロックがインターモードで符号化／復号されていれば、前記参照サンプルは利用不可能であると判断できる。
図２０は利用可能な再構築サンプルを用いて、利用不可能な再構築サンプルを代替する方法を説明するための図である。
前記近傍の再構築サンプルが利用不可能であると判断された場合、近傍の利用可能な再構築サンプルを用いて、前記利用不可能なサンプルを代替することができる。例えば、図２０に示すように、利用可能なサンプルと利用不可能なサンプルが存在する場合、一つ以上の利用可能なサンプルを用いて、前記利用不可能なサンプルを代替することができる。
利用不可能なサンプルのサンプル値は、所定の順序に従って、利用可能なサンプルのサンプル値で代替できる。利用不可能なサンプルの代替に用いられる利用可能なサンプルは、利用不可能なサンプルに隣接する利用可能なサンプルであり得る。隣接する利用可能なサンプルがない場合、最も先に出現する或いは最も近い利用可能なサンプルが用いられる。利用不可能なサンプルの代替順序は、例えば、左下側から右上側への順であってもよい。又は、右上側から左下側への順であってもよい。又は、左上隅から右上側及び／又は左下側への順であってもよい。又は、右上側及び／又は左下側から左上隅への順であってもよい。
図２０に示すように、左下側サンプルの位置である０から開始して右上側サンプルの順に、利用不可能なサンプルの代替が行われ得る。この場合、最初の利用不可能な４つのサンプルは、最も先に出現する或いは最も近い利用可能なサンプルａの値で代替できる。次の利用不可能な１３つのサンプルは最後の利用可能なサンプルｂの値で代替できる。
又は、利用不可能なサンプルは、利用可能なサンプルの組み合わせを用いて代替できる。 例えば、利用不可能なサンプルの両端に隣接する利用可能なサンプルの平均値を用いて、前記利用不可能なサンプルを代替することができる。例えば、図２０において、最初の利用不可能な４つのサンプルは、利用可能なサンプルａの値で満たし、次の利用不可能な１３つのサンプルは、利用可能なサンプルｂとｃの平均値で満たすことができる。又は、１３つの利用不可能なサンプルは、利用可能なサンプルｂとｃのサンプル値の間の任意の値で代替できる。この場合、利用不可能なサンプルは、互いに異なる値で代替できる。例えば、利用不可能なサンプルは、利用可能なサンプルａに近接するほどａの値に近接した値で代替できる。同様に、利用不可能なサンプルは、利用可能なサンプルｂに近接するほどｂの値に近接した値で代替できる。すなわち、利用不可能なサンプルから利用可能なサンプルａ及び／又はｂまでの距離に基づいて、利用不可能なサンプルの値が決定できる。
利用不可能なサンプルの代替のために、これらの方法を含む複数の方法のうちの少なくとも一つが選択的に適用できる。利用不可能なサンプルの代替方法は、ビットストリームに含まれている情報によってシグナリングされるか、或いは符号化器と復号器で予め定めた方法が利用できる。又は、利用不可能なサンプルの代替方法は、予め定めた方式によって導出できる。例えば、利用可能なサンプルａとｂの値の差及び／又は利用不可能なサンプルの個数に基づいて、利用不可能なサンプルの代替方法を選択することができる。例えば、二つの利用可能なサンプルの値の差と臨界値との比較、及び／又は利用不可能なサンプルの個数と臨界値との比較に基づいて、利用不可能なサンプルの代替方法が選択できる。例えば、二つの利用可能なサンプルの値の差が臨界値よりも大きいか、及び／又は利用不可能なサンプルの個数が臨界値よりも大きい場合には、利用不可能なサンプルは、互いに異なる値を持つように代替できる。
利用不可能なサンプルの代替方法の選択は所定の単位で行われ得る。例えば、ビデオ、シーケンス、ピクチャ、スライス、タイル、符号化ツリーユニット、符号化ユニット、予測ユニット及び変換ユニットのうちの少なくとも一つの単位に対して、利用不可能なサンプルの代替方法が選択できる。このとき、利用不可能なサンプルの代替方法の選択は、前記所定の単位でシグナリングされる情報に基づくか、或いは前記所定の単位で導出できる。又は、符号化器と復号器で予め定めた方法が適用されてもよい。
所定の位置の参照サンプルについては、前記参照サンプルを含むブロックの可用性を判断せずにパディングを行うことができる。例えば、図１９に示された例において、Ｗ＋Ｈの長さよりも大きい位置に存在する参照サンプルについては、前記可用性判断をせずに近傍の参照サンプルを用いてパディングすることができる。例えば、ｒｅｆ［Ｗ＋Ｈ，－２］のサンプルに対する可用性判断を行わずに、ｒｅｆ［Ｗ＋Ｈ－１，－２］の値でパディングすることができる。又は、ｒｅｆ［Ｗ＋Ｈ，－３］及びｒｅｆ［Ｗ＋Ｈ＋１，－３］のサンプルに対して可用性判断を行わずにｒｅｆ［Ｗ＋Ｈ－１，－３］の値でパディングすることができる。
現在ブロックの上側に存在する参照サンプルであって前記現在ブロックの横幅の外に存在する参照サンプルのうち、前記現在ブロックの縦幅分に該当するサンプルに対して可用性判断及び／又はパディングを行うことができる。一方、前記現在ブロックの左側に存在する参照サンプルであって前記縦幅の外に存在する参照サンプルのうち、前記現在ブロックの横幅分に該当するサンプルに対して可用性判断及び／又はパディングを行うことができる。例えば、ｒｅｃ［ｘ，－１］（ｘ＝－１～Ｗ＋Ｈ－１）及び／又はｒｅｃ［－１，ｙ］（ｙ＝０～Ｈ＋Ｗ－１）に該当する参照サンプルに対して可用性判断及び／又はパディングを行うことができる。
前記構成した一つ以上の参照サンプルに対して、現在ブロックのイントラ予測モード、ブロックのサイズ及び／又は形状のうちの少なくとも一つに基づいて、フィルタリング適用有無及び／又はフィルタ類型を異ならせて決定することができる。例えば、前記複数の参照サンプルラインに対して、フィルタリング適用有無を異ならせて決定することができる。例えば、隣接する一番目の参照サンプルラインに対してはフィルタリングを適用し、二番目の参照サンプルラインに対してはフィルタリングを適用しなくてもよい。
また、例えば、同じ参照サンプルに対してフィルタリングを適用した値と適用していない値のいずれも使用することができる。例えば、イントラ予測モード、現在ブロックのサイズ及び／又は形状のうちの少なくとも一つに基づいて３－ｔａｐフィルタ、５－ｔａｐフィルタ、７－ｔａｐフィルタ、及びＮ－ｔａｐフィルタのうちの少なくとも一つを異なるように選択して適用することができる。このとき、Ｎは整数であり得る。
例えば、イントラ予測モード、現在ブロックのサイズ及び／又は形状のうちの少なくとも一つに基づいて、フィルタの形状を異なるように選択して適用することができる。前記フィルタの形状は１次元又は２次元の形態であり得る。図２１は２次元形態の様々なフィルタ形状を例示的に示す図である。
前記現在ブロックの形態は、前記現在ブロックの横幅及び縦幅を比較して判断又は決定できる。例えば、前記横幅が縦幅よりも大きい場合と、横幅が縦幅よりも小さい場合に対して、フィルタリング適用有無及び／又はフィルタ類型のうちの少なくとも一つを異ならせて適用することができる。又は、前記横幅と縦幅とが同じか異なるかによって、フィルタリング適用有無及び／又はフィルタ類型を異ならせて適用することができる。
以下、イントラ予測実行ステップ（Ｓ１２３０）についてより詳細に説明する。
前記導出されたイントラ予測モード及び参照サンプルに基づいて、前記現在ブロック又はサブブロックに対するイントラ予測を行うことができる。以下の詳細な説明において、現在ブロックはサブブロックを意味することができる。
イントラ予測として、例えば、非方向性イントラ予測が実行できる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードのうちの少なくとも一つであり得る。
非方向性モードがＤＣモードである場合、前記構成した参照サンプルのうちの少なくとも一つの参照サンプルの平均値を用いてイントラ予測を行うことができる。この際、現在ブロックの境界に位置した一つ以上の予測サンプルに対してフィルタリングを適用することができる。前記平均値は、一つ以上であり、予測対象サンプル位置に応じて互いに異なる平均値で予測を行うことができる。現在ブロックのサイズ又は形状の少なくとも一つに応じて、前記利用する参照サンプルが異なり得る。例えば、ブロックのサイズが所定のサイズよりも大きい場合には、隣接する一つの参照サンプルラインを用い、所定のサイズよりも小さい場合には、隣接する二つの参照サンプルラインを用いることができる。
非方向性モードがＰｌａｎａｒモードである場合、前記現在ブロックのイントラ予測対象サンプルの位置に応じて、前記構成した複数の参照サンプルからの距離を考慮した加重和を用いて、イントラ予測を行うことができる。
イントラ予測として、例えば、方向性イントラ予測が実行できる。方向性モードは、例えば、水平モード、垂直モード、及び所定の角度を有するモードのうちの少なくとも一つであり得る。
方向性モードが水平及び／又は垂直モードである場合、イントラ予測対象サンプルの位置で水平及び／又は垂直線上に存在する一つ以上の参照サンプルを用いてイントラ予測を行うことができる。
方向性モードが所定の角度を有するモードである場合には、イントラ予測対象サンプルの位置で所定の角度線上及び近傍に存在する一つ以上の参照サンプルを用いてイントラ予測を行うことができる。このとき、Ｎ個の参照サンプルが利用可能である。Ｎは２、３、４、５、６などの正の整数であり得る。例えば、２－ｔａｐ、３ｔａｐ、４－ｔａｐ、５－ｔａｐ、６－ｔａｐフィルタなど、Ｎ－ｔａｐフィルタを適用して、イントラ予測を行うことができる。このとき、一つ以上の参照サンプルラインを用いることができ、各ラインに適用するフィルタ類型は互いに異なることができる。前記各ラインにフィルタを適用した値の加重平均を算出してイントラ予測を行うことができる。前記方向性予測に使用する参照サンプルラインの個数は、方向性モード、現在ブロックのサイズ及び形状のうちの少なくとも一つによって異なり得る。
又は、位置情報に基づいてイントラ予測を行うことができる。このとき、位置情報は、符号化／復号でき、前記位置にある再構築されたサンプルブロックを現在ブロックのイントラ予測ブロックとして導出することができる。又は、復号器で現在ブロックに類似したブロックを検索して探し出したブロックを、現在ブロックのイントラ予測ブロックとして導出することができる。
又は、輝度及び／又は色差信号に基づいてイントラ予測を行うことができる。例えば、現在ブロックの再構築された輝度信号を用いて、色差信号に対するイントラ予測を行うことができる。例えば、現在ブロックの再構築された一つの色差信号Ｃｂを用いて、他の色差信号Ｃｒに対するイントラ予測を行うことができる。
前述した様々なイントラ予測方法を一つ以上組み合わせてイントラ予測を行うことができる。例えば、所定の非方向性イントラ予測モードを用いて予測したブロックと、所定の方向性イントラ予測モードを用いて予測したブロックとの加重和によって、前記現在ブロックに対するイントラ予測ブロックを構成することができる。このとき、重み（ｗｅｉｇｈｔ）は、前記現在ブロックのイントラ予測モード、ブロックのサイズ、形状及び／又はサンプル位置のうちの少なくとも一つに応じて異ならせて適用できる。
又は、前記一つ以上のイントラ予測モードを組み合わせるにあたり、現在ブロックに対するイントラ予測モードを用いて予測した値と、ＭＰＭリストにある所定のモードを用いて予測した値との加重和を介して、予測ブロックを構成することができる。
又は、一つ以上の参照サンプルセット（ｓｅｔ）を用いてイントラ予測を行うことができる。例えば、前記構成した参照サンプルにフィルタリングを適用していない参照サンプルでイントラ予測したブロックと、フィルタリングを適用した参照サンプルでイントラ予測したブロックとの加重和を介して、前記現在ブロックに対するイントラ予測を行うことができる。
前記イントラ予測を行う処理で、近傍の再構築されたサンプルを用いたフィルタリング処理を行うことができる。このとき、前記フィルタリング処理は、現在ブロックのイントラ予測モード、ブロックのサイズ、形状及び／又はサンプル位置のうちの少なくとも一つに応じて行われてもよく、行われなくてもよい。前記フィルタリング処理は、前記イントラ予測を行う処理に含まれて一つのステップで行われ得る。
前記現在ブロックがサブブロックに分割され、各サブブロックに対するイントラ予測モードを近傍ブロックのイントラ予測モードを用いて導出してイントラ予測を行うにあたり、現在ブロック内の各サブブロックに対してフィルタリングを適用することができる。例えば、現在ブロック全体にローパス（ｌｏｗ－ｐａｓｓ）フィルタを適用することができる。又は、各サブブロックの境界に位置するサンプルに対してフィルタを適用することができる。又は、各サブブロックの予測ブロック又は再構築されたブロックにフィルタを適用することができ、前記フィルタを適用したサブブロックの一つ以上のサンプルは、以後のサブブロックに対するイントラ予測の実行に用いることができる。
前記現在ブロックがサブブロックに分割され、各サブブロックに対するイントラ予測を行うにあたり、各サブブロックは、符号化／復号ブロック、予測ブロック、変換ブロックのうちの少なくとも一つを意味することができる。例えば、前記現在ブロックのサイズが６４ｘ６４であり、サブブロックのサイズが１６ｘ１６である場合には、各サブブロックである予測ブロックに対するイントラ予測モードの導出及び／又はイントラ予測を行うことができる。このとき、前記一つ以上のサブブロックが８ｘ８又は４ｘ４に追加分割される場合、各８ｘ８又は４ｘ４ブロックは変換ブロックを意味することができ、前記１６ｘ１６ブロックのイントラ予測モードを用いて追加分割されたブロックに対するイントラ予測を行うことができる。
前記方向性イントラ予測を行うにあたり、現在ブロックは、Ｎ個の方向性モードのうちの少なくとも一つのモードを用いて符号化／復号できる。このとき、Ｎは、３３、６５などを含む正の整数であり得る。
図２２は方向性イントラ予測モード及びサンプル単位方向性イントラ予測モードを説明するための図である。
図２２に示された例において、Ｎは３３であり、それぞれのイントラ予測モード（ｐｒｅｄＭｏｄｅＩｎｔｒａ）に対して各方向性モードと垂直方向の間の角度（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）の一例を示す。
前記方向性イントラ予測において、現在ブロックは、正の整数Ｍ個のサンプル単位方向性モードのうちの少なくとも一つで符号化／復号できる。前記サンプル単位方向性モードは、現在ブロック内の一つ以上の予測対象サンプル単位で前記一つ以上の方向性イントラ予測モードを用いて予測するモードを意味することができる。
前記サンプル単位方向性モードの個数を決定するためのパラメータが利用できる。パラメータとしては、例えば、曲率パラメータ（ｃｕｖＮ）及び／又は重みパラメータセット（ｃＷＮ［ｉ］、ｉ＝０、．．．、ＮＳ－１）のうちの少なくとも一つが利用できる。
例えば、図２２におけるモード３５は、前記二つのパラメータの組み合わせで右上側から左下側への様々なサンプル単位方向性予測ブロックを生成することができる。例えば、図２２におけるモード３６は、前記二つのパラメータの組み合わせで左上側から右下側への様々なサンプル単位方向性予測ブロックを生成することができる。前記曲率パラメータ及び重みパラメータセットは、一実施形態に過ぎず、サンプル単位方向性予測ブロックを生成するために様々なパラメータが利用できる。例えば、互いに異なるブロックサイズに対して、各サンプル位置でサンプル単位方向性予測のための参照サンプルの位置を見つけるための角度が明示されたルックアップテーブル（Ｌｏｏｋ－ｕｐ－ｔａｂｌｅ）を符号化器／復号器で同様に使用することもできる。この場合、ルックアップテーブルを参照するためのインデックス情報が符号化／復号できる。
前記方向性イントラ予測を行うにあたり、方向性予測モードに応じて、前記構成した参照サンプルを再構成することができる。例えば、前記方向性予測モードが、左側及び上側に存在する参照サンプルを全て使用するモードである場合には、左側又は上側の参照サンプルに対して１次元配列を構成することができる。
図２３はＰｒｅｆから参照サンプルの１次元配列（１－Ｄ ｒｅｆｅｒｅｎｃｅ ｓａｍｐｌｅ ａｒｒａｙ、ｐ１，ｒｅｆ）を生成する一実施形態を説明するための図である。
例えば、図２３に示すように、左側に存在する参照サンプルの少なくとも一つを用いて、上側の参照サンプルに対する１次元配列を構成することができる。このとき、左側参照サンプルのうち、上側の参照サンプルを構成するために使用されるサンプルは、前記方向性モードに応じて異なり得る。前記左側参照サンプルを移動して上側の参照サンプルを構成することができ、又は一つ以上の左側参照サンプルの加重和を用いて上側の参照サンプルを構成することができる。
前記方向性イントラ予測を行うにあたり、実数単位の補間予測（ｉｎｔｅｒｐｏｌａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）を行うことができる。例えば、各方向性予測モードに該当する角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）に基づいて、現在ブロック内のサンプル位置に応じて予測サンプル補間のためのオフセット（ｏｆｆｓｅｔ、ｉＩｄｘ）及び／又は重み（ｗｅｉｇｈｔ、ｉＦａｃｔ）の値を次のとおり決定することもできる。
例えば、１／３２ｐｅｌ単位の補間を仮定する場合、垂直の方向を有する方向性モードに対して、オフセットと重みは下記数式１１のように決定できる。
Figure 2022191450000016
前記数式１１のｉＦａｃｔ値に応じて、予測サンプル値は異なるように決定できる。例えば、ｉＦａｃｔが０でない場合は、参照サンプルＰ１，ｒｅｆで、予測の位置は、整数単位（ｆｕｌｌ ｓａｍｐｌｅ ｌｏｃａｔｉｏｎ）ではなく、実数単位である。したがって、実数位置に隣接する複数の参照サンプル（例えば、左右に隣接する二つの参照サンプル）を用いて下記数式１２のように対象サンプル（ｘ，ｙ）位置における予測サンプル値を生成することができる。この時、前記隣接する複数の参照サンプルは、左右に隣接する４つ又は６つであり得る。
Figure 2022191450000017
例えば、ｉＦａｃｔが０である場合、下記数式１３を用いて予測サンプル値を生成することができる。又は、参照サンプルＰ１，ｒｅｆ及び左右に存在する参照サンプルを用いて３－ｔａｐ［１／４：２／４：１／４］フィルタを適用することができる。
Figure 2022191450000018
方向性予測モードにおける水平及び／又は垂直モードの少なくとも一つの場合は、参照サンプルに対してフィルタリングを行わなくてもよい。また、参照サンプルに対する補間予測を必要としないことがある。また、上側又は左側の参照サンプルのみで予測が可能であるため、前記参照サンプルに対する１次元配列を構成する処理を必要としないことがある。
図２４は予測ブロック内のサンプル位置に応じて異なる角度の参照サンプルを用いる実施形態を説明するための図である。
図２４に示されているように、前記方向性イントラ予測を行うにあたり、方向性モードを適用する単位を異ならせることができる。すなわち、前記対象ブロック内のサンプル、サンプルグループ及びラインの少なくとも一つの単位で一つ以上の方向性モードを用いて予測を行うことができる。
例えば、現在ブロック単位で方向性モードを用いて予測を行うことができる。又は、現在ブロック内の予測対象サンプルライン単位で方向性モードを用いて予測を行うことができる。すなわち、現在ブロック内の横又は縦のうちの少なくとも一つのラインごとに互いに異なる方向性モードを用いて予測を行うことができる。又は、現在ブロック内の所定の予測対象サンプルグループ単位で方向性モードを用いて予測を行うことができる。つまり、現在ブロック内のＮ個のサンプルを含むグループごとに互いに異なる方向性モードを用いて予測を行うことができる。例えば、現在ブロック内の予測対象サンプル単位で方向性モードを用いて予測を行うことができる。すなわち、現在ブロック内の予測対象サンプルごとに互いに異なる方向性モードを用いて予測を行うことができる。
図２４の（ａ）は対象ブロック内のサンプル単位で互いに異なる方向性モードを用いる場合を例示する。図２４の（ａ）に示された例では、サンプル単位でそれぞれの方向性モードの角度に位置した参照サンプルを用いて予測値を生成することができる。
図２４の（ｂ）は対象ブロック内の水平ライン（ｈｏｒｉｚｏｎｔａｌｌｉｎｅ）単位で互いに異なる方向性モードを用いる場合を例示する。図２４の（ｂ）に示された例では、水平ライン単位でそれぞれの方向性モードの角度に位置した参照サンプルを用いて予測値を生成することができる。
図２４の（ｃ）は対象ブロック内の垂直ライン（ｖｅｒｔｉｃａｌ ｌｉｎｅ）単位で互いに異なる方向性モードを用いる場合を例示する。図２４の（ｃ）に示された例では、垂直ライン単位でそれぞれの方向性モードの角度に位置した参照サンプルを用いて予測値を生成することができる。
図２４の（ｄ）は、対象ブロック内の対角ライン（ｄｉａｇｏｎａｌ ｌｉｎｅ）方向のサンプルグループ単位で互いに異なる方向性モードを用いる場合を例示する。図２４の（ｄ）に示された例では、対角ライン方向のサンプルグループ単位でそれぞれの方向性モードの角度に位置した参照サンプルを用いて予測値を生成することができる。
図２４の（ｅ）は、対象ブロック内の直角ライン（Ｌ－ｓｈａｐｅ ｌｉｎｅ）単位で互いに異なる方向性モードを用いる場合を例示する。図２４の（ｅ）に示された例では、直角ライン単位でそれぞれの方向性モードの角度に位置した参照サンプルを用いて予測値を生成することができる。
図２４に示された例の他に、一つ以上のサンプルをグループ化する方法は多様に存在することができる。例えば、横及び／又は縦をそれぞれ任意の回数に分割して生成されたブロック単位で互いに異なる方向性モードを適用することができる。
前記サンプル単位方向性予測を行う場合、各サンプル、サンプルグループ及びラインのうちの少なくとも一つの単位ごとに使用可能なＮ個（Ｎは正の整数）の方向性予測モード又は角度をＬＵＴなどのテーブルにして保存して使用することができる。
前記サンプル単位方向性予測を行う場合、対象ブロックに対する差分ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）の変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）をスキャニングするにあたり、サンプル単位方向性予測の種類、ブロックのサイズ及び／又は形状の少なくとも一つに応じてスキャニング方法を異ならせて適用することができる。例えば、前記サンプル単位方向性予測の種類に応じて、アップライトスキャン、垂直スキャン、水平スキャン及びジグザグスキャンのうちの少なくとも一つを用いてスキャニング（ｓｃａｎｎｉｎｇ）を行うことができる。
以下、色差成分に対するイントラ予測について説明する。例えば、色差成分に対するイントラ予測のために色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）間イントラ予測を行うことができる。又は、現在ブロックの再構築された輝度成分を用いて色差成分に対するイントラ予測を行うことができる。又は、現在ブロックの再構築された一つの色差成分Ｃｂを用いて他の色差成分Ｃｒに対するイントラ予測を行うことができる。
前記色成分間イントラ予測を行うにあたり、前記色成分は、輝度（ｌｕｍａ）信号、色差（ｃｈｒｏｍａ）信号、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｙ、Ｃｂ及びＣｒのうちの少なくとも一つを意味することができる。第１色成分を予測するにあたり、第２色成分、第３色成分及び第４色成分の少なくとも一つを用いることができる。このとき、予測に用いられる色成分の信号は、原本信号、再構築された信号、残差／レジデュアル信号及び予測信号のうちの少なくとも一つであり得る。
例えば、第２色成分対象ブロックを予測するにあたり、前記対象ブロックに対応する第１色成分対応ブロックのサンプル及び／又は対応ブロックの近傍ブロックのサンプルのうちの少なくとも一つのサンプルを用いてイントラ予測を行うことができる。
例えば、色差成分ブロックＣｂ又はＣｒを予測するにあたり、前記色差成分ブロックに対応する、再構築された輝度成分ブロックＹを用いてイントラ予測を行うことができる。
例えば、第２色差成分ブロックを予測するにあたり、前記ブロックに対応する第１色差成分ブロックを用いることができる。例えば、Ｃｒ成分ブロックを予測するにあたり、Ｃｂ成分ブロックを用いることができる。
例えば、第４色成分ブロックを予測するにあたり、前記ブロックに対応する第１色成分ブロック、第２色成分ブロック及び第３色成分ブロックのうちの少なくとも一つの組み合わせを用いることができる。
現在対象ブロックのサイズ及び形状の少なくとも一つに基づいて、前記色成分間イントラ予測を行うか否かを決定することができる。
例えば、対象ブロックのサイズが所定のサイズであるか、所定のサイズ以上であるか、所定のサイズ範囲に該当する場合に、前記色成分間イントラ予測を行うことができる。前記所定のサイズは、例えばＣＴＵサイズであり得る。
例えば、対象ブロックの形状が所定の形状に該当する場合に、前記色成分間イントラ予測を行うことができる。例えば、対象ブロックの形状が正方形である場合に、前記色成分間イントラ予測を行うことができる。又は、対象ブロックの形状が長方形である場合に、前記色成分間イントラ予測を行わなくてもよい。
前記色成分間イントラ予測を行うか否かは、予測対象ブロックに対応する対応ブロック及び対応ブロックの近傍ブロックのうちの少なくとも一つの符号化パラメータに基づいて決定できる。
例えば、前記対応ブロックの符号化モードがインターモードである場合には、前記色成分間イントラ予測を行わなくてもよい。又は、ＣＩＰ（Ｃｏｎｓｔｒａｉｎｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）環境下で第２色成分対象ブロックを予測するにあたり、対応する第１色成分ブロックがインターモードで符号化された場合には、前記色成分間イントラ予測を行わなくてもよい。
例えば、前記対応ブロックの符号化モードがインターモードである場合に、前記色成分間イントラ予測を行うことができる。この際、前記色成分間イントラ予測を行うか否かを示すフラグをシグナリングすることができる。前記フラグに応じて予測対象ブロックに対してインター予測又は色成分間のイントラ予測を行うことができる。
例えば、前記対応ブロックのイントラ予測モードが所定のモードに該当する場合に、前記色成分間イントラ予測を行うことができる。
例えば、前記対応ブロック及び近傍ブロックのうちの少なくとも一つのＣＢＦ情報に基づいて前記色成分間イントラ予測を行うか否かを決定することができる。
前記第１色成分を用いて第２色成分を予測するにあたり、第１又は第２色成分ブロックのサイズを同一にするために、前記第１色成分ブロックのサイズを再構成することができる。例えば、画像の色空間がＹＣｂＣｒであり、色成分間の比率が４：４：４、４：２：２、４：２：０のいずれか一つである場合、色成分間ブロックのサイズが異なり得る。これを同一にするために、ブロックを再構成することができる。この時、前記再構成するブロックは、第１色成分対応ブロックのサンプル及び近傍ブロックの参照サンプルのうちの少なくとも一つを含むことができる。
例えば、前記第１色成分ブロックのサイズと第２色成分ブロックのサイズとが同一である場合には、再構成処理を行わなくてもよい。
例えば、前記第１色成分ブロックのサイズが第２色成分ブロックのサイズよりも大きい場合には、前記第１色成分ブロックをダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｉｎｇ）して第２色成分ブロックのサイズと同一に再構成することができる。
例えば、前記第１色成分ブロックのサイズが第２色成分ブロックのサイズよりも小さい場合には、前記第１色成分ブロックをアップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）して第２色成分ブロックのサイズと同一に再構成することができる。
前記再構成処理を行うにあたり、一つ以上のサンプルに対してフィルタを適用することができる。例えば、前記第１色成分対応ブロック、対応ブロックの近傍ブロック、第２色成分対象ブロック及び対象ブロックの近傍ブロックのうちの少なくとも一つに含まれる一つ以上のサンプルに対してフィルタを適用することができる。
前記参照サンプル構成ステップにおいて、複数ラインの参照サンプル中の所定のラインに該当するインジケータをシグナリングすることができ、前記再構成処理では、前記シグナリングされたインジケータに該当する所定のラインを用いて再構成を行うことができる。
前記再構成処理を行うにあたり、第２色成分予測対象ブロックの境界又は対応する第１色成分対応ブロックの境界のうちの少なくとも一つが、ピクチャ、スライス、タイル、ＣＴＵ及びＣＵの少なくとも一つの境界に該当する場合、再構成される参照サンプルを異なるように選択して用いることができる。このとき、上側の参照サンプルラインの個数と左側の参照サンプルラインの個数とが互いに異なり得る。
例えば、前記第１色成分対応ブロックの上側境界が上記の境界のいずれかに該当する場合、上側の参照サンプルは用いず、左側の参照サンプルだけを用いて再構成することができる。又は、上側の参照サンプルは一つのラインだけを用いることができる。
例えば、前記第１色成分対応ブロックの左側境界が上記の境界のうちのいずれかに該当する場合、左側の参照サンプルは用いず、上側の参照サンプルだけを用いて再構成することができる。
図２５は上側及び／又は左側の参照サンプルラインを用いて対応ブロックを再構成する実施形態を説明するための図である。
例えば、前記第１色成分対応ブロックの上側又は左側の参照サンプルラインを前記境界か否かに関係なく、Ｎ個又はＭ個のラインを用いて再構成することができる。例えば、図２５の（ａ）に示すように、上側及び左側の参照サンプルラインをそれぞれ４個ずつ用いて再構成を行うことができる。
例えば、前記第１色成分対応ブロックの上側又は左側の境界が上記の境界のいずれかに該当する場合、用いられる上側参照サンプルラインの個数と左側参照サンプルラインの個数とは互いに異なり得る。例えば、図２５の（ｂ）に示すように、前記第１色成分対応ブロックの上側参照サンプルは２つのラインを用い、左側参照サンプルは４つのラインを用いて再構成を行うことができる。又は、図２５の（ｃ）に示すように、第１色成分対応ブロックの上側参照サンプルは一つのラインを用い、左側参照サンプルは２つのラインを用いて再構成を行うことができる。
前記再構成処理を行うにあたり、第１色成分の参照サンプルの横幅及び縦幅が第１色成分対応ブロックの横幅及び縦幅から外れないことが可能である。例えば、図２５の（ｄ）に示すように、第１色成分対応ブロックの横幅及び縦幅から外れない一つ以上の参照サンプルを用いて再構成を行うことができる。
前記再構成処理を行うにあたり、第１色成分対応ブロック及び近傍ブロック、第２色成分対象ブロック及び近傍ブロックのうちの少なくとも一つのブロックのサイズ、形状、符号化パラメータのうちの少なくとも一つに基づいて、第１色成分の参照サンプルの再構成を異ならせることができる。
例えば、第１色成分対応ブロック又は近傍ブロックのうちの符号化モードがインター符号化モードであるブロックのサンプルは用いず、イントラ符号化モードであるブロックのサンプルを用いて参照サンプルを再構成することができる。
例えば、第１色成分対応ブロックのイントラ予測モードに応じて、第１色成分の参照サンプルの再構成を異ならせて行うことができる。
例えば、第１色成分対応ブロック又は近傍ブロックのうちの少なくとも一つの量子化パラメータに基づいて、第１色成分の参照サンプルの再構成を異ならせて行うことができる。
例えば、第２色成分対象ブロックの形状が長方形である場合、第１色成分対応ブロックの正方形近傍の参照サンプルを用いて再構成を行うことができる。
前記再構成した第１色成分対応ブロックの参照サンプルと第２色成分予測対象ブロックの参照サンプルのうちの少なくとも一つを用いて、一つ以上の予測パラメータを導出することができる。以下、第１色成分及び第１色成分ブロックは、それぞれ再構成された第１色成分、及び再構成された第１色成分ブロックを意味することができる。
図２６は第２色成分予測対象ブロックが４ｘ４である場合、再構成された第１色成分対応ブロックの実施形態を説明するための図である。このとき、参照サンプルのラインはＮ個であり、Ｎは０又は１以上の整数であり得る。
図２６の（ａ）に示すように、再構成された第１色成分ブロック又は第２色成分ブロックの上側と左側の参照サンプルを用いて予測パラメータを導出することができる。例えば、第１色成分対応ブロックのイントラ予測モードに基づいて再構成された前記第１色成分の参照サンプルを適応的に用いて予測パラメータを導出することができる。このとき、第２色成分の参照サンプルも、前記第１色成分対応ブロックのイントラ予測モードに基づいて適応的に用いることができる。
例えば、前記イントラ予測モードがＤＣモード又はＰｌａｎａｒモードのように非方向性モードである場合、図２６の（ａ）に示すように、第１色成分対応ブロックの上側と左側参照サンプルを用いることができる。
例えば、前記イントラ予測モードが、上側の参照サンプルと左側の参照サンプルを全て使用する方向性モードである場合、図２６の（ａ）に示すように、第１色成分対応ブロックの上側参照サンプルと左側参照サンプルを用いることができる。
例えば、前記イントラ予測モードが、上側の参照サンプルを使用する方向性モードである場合、図２６の（ｂ）又は（ｃ）に示すように、第１色成分対応ブロックの上側参照サンプルを用いることができる。
例えば、前記イントラ予測モードが、左側の参照サンプルを使用する方向性モードである場合、図２６の（ｄ）又は（ｅ）に示すように、第１色成分対応ブロックの左側参照サンプルを用いることができる。
例えば、第１色成分ブロック又は第２色成分ブロックのサイズ又は形状の少なくとも一つに応じて、前記第１色成分又は第２色成分の参照サンプルを適応的に用いて予測パラメータを導出することができる。
例えば、第２色成分対象ブロックのサイズが所定のサイズに該当する場合、前記第１又は第２色成分ブロックの参照サンプルを適応的に用いることができる。例えば、前記第２色成分対象ブロックのサイズが６４ｘ６４である場合には、前記第１又は第２色成分ブロックの上側又は左側の参照サンプルの中でも、３２個、１６個及び８個の少なくとも一つの個数に該当する参照サンプルを用いることができる。
例えば、第２色成分対象ブロックの形状が長方形である場合、横及び縦のうち長い方に隣接する参照サンプルを用いることができる。例えば、前記対象ブロックの形状が３２ｘ８である場合、前記第１又は第２色成分ブロックの上側参照サンプルを用いることができる。
例えば、第２色成分対象ブロックの形状が長方形である場合には、正方形ブロックの参照サンプルを用いることができる。例えば、前記対象ブロックの形状が３２ｘ８である場合、３２ｘ３２ブロックの近傍に位置した参照サンプルを用いることができる。
前記再構成された第１色成分ブロックの参照サンプル及び第２色成分ブロックの参照サンプルを用いて予測パラメータを導出し、色成分間の予測を行うことができる。例えば、前記色成分の参照サンプル間の関連性、変化量、平均値、分布などの少なくとも一つに基づいて予測パラメータを導出することができ、一例として、ＬＳ（Ｌｅａｓｔ Ｓｑｕａｒｅ）、ＬＭＳ（Ｌｅａｓｔ Ｍｅａｎ Ｓｑｕａｒｅ）などの方法のうちの少なくとも一つを用いて導出することができる。
例えば、ＬＭＳ方法を用いて予測パラメータを導出することができ、このとき、予測パラメータはａ、ｂ、又はアルファ、ベータの少なくとも一つであり得る。例えば、下記数式１４を用いて、第１色成分参照サンプルと第２色成分参照サンプル間のエラーを最小化する予測パラメータを導出することができる。数式１４において、ｐ２ｎは第２色成分の参照サンプルを示し、ｐ１’ｎは再構成した第１色成分の参照サンプルを示すことができる。また、Ｎは用いる参照サンプルの縦又は横の個数を示し、ａ及びｂは予測パラメータを示すことができる。
Figure 2022191450000019
このとき、下記数式１５を用いて、参照サンプル間の関連性を計算することができる。数式１５において、ＢｉｔＤｅｐｔｈはビット深度を示すことができる。
Figure 2022191450000020
図２７は第１色成分のサンプル及び第２色成分のサンプルを例示的に示す図である。図２７において、ｐ２は第２色成分のサンプルを示し、ｐ１’は再構成した第１色成分のサンプルを示すことができる。
例えば、参照サンプルが存在しない領域がある場合、存在する参照サンプルのみを用いて予測パラメータを導出することができる。
又は、前記参照サンプルから予測パラメータを導出せず、基本予測パラメータ（ｄｅｆａｕｌｔ ｐａｒａｍｅｔｅｒ）を用いることができる。このとき、基本予測パラメータは予め定義でき、例えば、ａは１であり、ｂは０であり得る。又は、前記導出された予測パラメータは符号化／復号できる。
例えば、Ｙ、Ｃｂ、Ｃｒ間の色成分間予測を行うにあたり、ＣｂとＣｒを予測するための予測パラメータをＹからそれぞれ導出することもできる。又は、Ｃｒを予測するための予測パラメータをＣｂから導出することができる。又は、Ｃｒを予測するための予測パラメータを導出せず、Ｃｂを予測するためにＹから導出した予測パラメータを用いることができる。
前記予測パラメータは一つ以上導出できる。例えば、前記予測パラメータを導出するために用いる参照サンプルの値が特定の条件を満足する参照サンプルから一つの予測パラメータを導出することができる。また、前記特定の条件を満足しない参照サンプルからもう一つの予測パラメータを導出することができる。
前記予測パラメータは、予測対象ブロックの近傍に存在する一つ以上のブロックの予測パラメータから導出することができる。例えば、前記近傍ブロックが色成分間の予測で符号化された場合、前記色成分間の予測に用いられた予測パラメータを前記予測対象ブロックの予測パラメータとして用いることができる。このとき、近傍の予測パラメータを用いたか否か及び近傍ブロックの位置情報、予測パラメータインデックスのうちの少なくとも一つはシグナリングできる。
前記導出された予測パラメータのうちの少なくとも一つを用いて色成分間イントラ予測を行うことができる。例えば、下記数式１６を用いて、再構成された第１色成分の再構築された信号に、前記導出された予測パラメータを適用して、第２色成分対象ブロックに対する予測を行うことができる。
Figure 2022191450000021
又は、下記数式１７を用いて、再構成された第１色成分の残差信号に、前記導出した予測パラメータを適用して、第２色成分対象ブロックに対する予測を行うことができる。
Figure 2022191450000022
前記数式１７において、ａは前記導出された予測パラメータを示すことができ、ｐ１’＿ｒｅｓｉｄｕａｌは第１色成分の残差信号を示すことができる。また、ｐ２＿ｐｒｅｄは、第２色成分対象ブロックを非方向性イントラ予測モード又は方向性イントラ予測モードの少なくとも一つを用いて予測した信号を示すことができる。
前記導出された予測パラメータが一つ以上である場合には、前記第１色成分の再構築されたサンプルに前記一つ以上の予測パラメータを適用することができる。例えば、前記第１色成分の再構築されたサンプルが特定の条件を満足する場合には、前記特定の条件を満足する参照サンプルから導出された予測パラメータを適用して、色成分間イントラ予測を行うことができる。又は、前記第１色成分の再構築されたサンプルが前記特定の条件を満足しない場合、前記特定の条件を満足しない参照サンプルから導出された予測パラメータを適用して、色成分間イントラ予測を行うことができる。
輝度及び色差信号それぞれに対して、前記イントラ符号化／復号処理を行うことができる。例えば、前記イントラ符号化／復号処理で、イントラ予測モードの導出、ブロックの分割、参照サンプルの構成、イントラ予測実行のうちの少なくとも一つの方法を、輝度信号及び色差信号に対して異ならせて適用することができる。
輝度及び色差信号に対する前記イントラ符号化／復号処理を同様に行うことができる。例えば、輝度信号に対して適用した前記イントラ符号化／復号処理で、イントラ予測モードの導出、ブロックの分割、参照サンプルの構成、イントラ予測実行のうちの少なくとも一つを色差信号に同様に適用することができる。
これらの方法は、符号化器及び復号器で同様の方法で行うことができる。例えば、前記イントラ符号化／復号処理でイントラ予測モードの導出、ブロックの分割、参照サンプルの設定、及びイントラ予測実行の少なくとも一つの方法を符号化器及び復号器で同様に適用することができる。また、これらの方法を適用する順序は、符号化器と復号器で互いに異なり得る。例えば、前記現在ブロックに対するイントラ符号化／復号を行うにあたり、符号化器では、参照サンプルを構成した後、一つ以上のイントラ予測を行って決定されたイントラ予測モードを符号化することができる。
上述した本発明の実施形態は、符号化ブロック、予測ブロック、ブロック及びユニットのうちの少なくとも一つの大きさに応じて適用できる。ここでのサイズは、これらの実施形態が適用されるために、最小サイズ及び／又は最大サイズと定義されることもあり、前記実施形態が適用される固定サイズと定義されることもある。また、これらの実施形態は、第１の大きさでは第１実施形態が適用でき、第２の大きさでは第２実施形態が適用できる。すなわち、これらの実施形態は、大きさに応じて複合的に適用できる。また、上述した本発明の実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用できる。すなわち、これらの実施形態を、ブロックのサイズが一定の範囲内に含まれる場合にのみ適用可能である。
例えば、符号化／復号対象ブロックのサイズが８ｘ８以上である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが１６ｘ１６以上である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが３２ｘ３２以上である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが６４ｘ６４以上である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが１２８ｘ１２８以上である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが４ｘ４である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが８ｘ８以下である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが８ｘ８以上、１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。例えば、符号化／復号対象ブロックのサイズが１６ｘ１６以上、６４ｘ６４以下である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態は、時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に応じて適用できる。これらの実施形態が適用可能な時間的階層を識別するために、別途の識別子（ｉｄｅｎｔｉｆｉｅｒ）がシグナリングされ、該当識別子によって特定された時間的階層に対してこれらの実施形態が適用できる。ここでの識別子は、前記実施形態に適用可能な最小階層及び／又は最大階層と定義されることもあり、前記実施形態が適用される特定の階層を指し示すものと定義されることもある。
例えば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層識別子が０である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層識別子が１以上である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態のように、参照画像リストの生成（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｃｏｎｓｔｒｕｃｔｉｏｎ）及び参照画像リストの修正（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｍｏｄｉｆｉｃａｔｉｏｎ）処理に使用される参照画像セット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）は、Ｌ０、Ｌ１、Ｌ２及びＬ３のうちの少なくとも一つの参照画像リストを使用することができる。
本発明の実施形態によってデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）が境界強度（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）を算出するとき、符号化／復号対象ブロックの動きベクトルを一つ以上、最大Ｎ個まで使用することができる。ここで、Ｎは、１以上の正の整数であって、２、３、４などを示す。
動きベクトル予測時の動きベクトルが１６－画素（１６－ｐｅｌ）単位、８－画素（８－ｐｅｌ）単位、４－画素（４－ｐｅｌ）単位、整数－画素（ｉｎｔｅｇｅｒ－ｐｅｌ）単位、１／２－画素（１／２－ｐｅｌ）単位、１／４－画素（１／４－ｐｅｌ）単位、１／８－画素（１／８－ｐｅｌ）単位、１／１６－画素（１／１６－ｐｅｌ）単位、１／３２－画素（１／３２－ｐｅｌ）単位及び１／６４－画素（１／６４－ｐｅｌ）単位のうちの少なくとも一つを持つときも、上述した本発明の実施形態が適用できる。また、動きベクトル予測時の動きベクトルは、前記画素単位で選択的に使用できる。
上述した本発明の実施形態が適用されるスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）が定義され、当該スライスタイプに応じて本発明の実施形態が適用できる。
例えば、スライスタイプがＴ（Ｔｒｉ－ｐｒｅｄｉｃｔｉｖｅ）－ｓｌｉｃｅである場合、少なくとも３つの動きベクトルを用いて予測ブロックを生成し、少なくとも３つの予測ブロックの加重和を計算して符号化／復号対象ブロックの最終予測ブロックとして使用することができる。例えば、スライスタイプがＱ（Ｑｕａｄ－ｐｒｅｄｉｃｔｉｖｅ）－ｓｌｉｃｅである場合、少なくとも４つの動きベクトルを用いて予測ブロックを生成し、少なくとも４つの予測ブロックの加重和を計算して符号化／復号対象ブロックの最終予測ブロックとして使用することができる。
上述した本発明の実施形態は、動きベクトル予測を用いたインター予測及び動き補償方法に適用できるのみならず、スキップモード、マージモードなどを用いたインター予測及び動き補償方法に適用できる。
上述した本発明の実施形態が適用されるブロックの形状は、正方形（ｓｑｕａｒｅ）或いは非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形状を有することができる。
上述した実施形態において、これらの方法は、一連のステップ又はユニットでフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのと異なるステップと異なる順序で又は同時に発生することができる。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク（登録商標）及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべてのものは本発明の思想の範疇に属するというべきである。
本発明は、画像を符号化／復号することに利用可能である。

Claims (11)

  1. 現在の符号化ブロックがイントラ予測されるか否かを決定し、
    前記現在の符号化ブロックがイントラ予測され、前記現在の符号化ブロックのサイズが所定範囲内の場合、前記現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を取得し、
    前記現在の符号化ブロックが複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックを複数のサブブロックに分割し、前記現在の符号化ブロックのイントラ予測モードに従って前記複数のサブブロックのそれぞれに対して予測ブロックを生成し、
    前記複数のサブブロックは、前記現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される、
    ビデオ復号方法。
  2. 前記複数のサブブロックの数は、前記現在の符号化ブロックのサイズに従って２又は４に決定される、
    請求項１に記載のビデオ復号方法。
  3. 前記現在の符号化ブロックが前記複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックの分割構造を示す分割情報を取得することをさらに含み、
    前記現在の符号化ブロックは、前記分割情報に基づいて分割される、
    請求項１に記載のビデオ復号方法。
  4. 前記現在の符号化ブロックを分割するか否かは前記現在の符号化ブロックの色成分に基づいて決定される、
    請求項１に記載のビデオ復号方法。
  5. 前記現在の符号化ブロックの複数の近傍ブロックからの一つ以上のイントラ予測モードに基づき、前記現在の符号化ブロックのＭＰＭリストを決定することをさらに含み、
    前記複数のサブブロックのそれぞれに対する前記予測ブロックは、前記現在の符号化ブロックの前記ＭＰＭリストによって導出された前記イントラ予測モードによって生成される、
    請求項１に記載のビデオ復号方法。
  6. 現在の符号化ブロックがイントラ予測されるか否かを決定し、
    前記現在の符号化ブロックがイントラ予測され、前記現在の符号化ブロックのサイズが所定範囲内の場合、前記現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を符号化し、
    前記現在の符号化ブロックが複数のサブブロックに分割されると決定された場合、前記現在の符号化ブロックを複数のサブブロックに分割し、前記現在の符号化ブロックのイントラ予測モードに従って前記複数のサブブロックのそれぞれに対して予測ブロックを生成し、
    前記複数のサブブロックは前記現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される、
    ビデオ符号化方法。
  7. 前記複数のサブブロックの数は、前記現在の符号化ブロックのサイズに従って２又は４に決定される、
    請求項６に記載のビデオ符号化方法。
  8. 前記現在の符号化ブロックが前記複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックの分割構造を示す分割情報を符号化することをさらに含み、
    前記現在の符号化ブロックは前記分割情報に基づいて分割される、
    請求項６に記載のビデオ符号化方法。
  9. 前記現在の符号化ブロックを分割するか否かは前記現在の符号化ブロックの色成分に基づいて決定される、
    請求項６に記載のビデオ符号化方法。
  10. 前記現在の符号化ブロックの複数の近傍ブロックからの一つ以上のイントラ予測モードに基づき、前記現在の符号化ブロックのＭＰＭリストを決定することをさらに含み、
    前記複数のサブブロックのそれぞれに対する前記予測ブロックは、前記現在の符号化ブロックの前記ＭＰＭリストによって導出された前記イントラ予測モードによって生成される、
    請求項６に記載のビデオ符号化方法。
  11. 現在の符号化ブロックがイントラ予測されるか否かを決定し、
    前記現在の符号化ブロックがイントラ予測され、前記現在の符号化ブロックのサイズが所定範囲内の場合、前記現在の符号化ブロックが複数のサブブロックに分割されるか否かを示すサブブロック分割情報を取得し、
    前記現在の符号化ブロックが複数のサブブロックに分割されることを前記サブブロック分割情報が示す場合、前記現在の符号化ブロックを複数のサブブロックに分割し、前記現在の符号化ブロックのイントラ予測モードに従って前記複数のサブブロックのそれぞれに対して予測ブロックを生成し、
    前記複数のサブブロックは前記現在の符号化ブロックを垂直方向又は水平方向に分割することによって生成される、
    ビデオ復号方法によって復号されたビットストリームを保存する非一時的なコンピュータ可読記録媒体。
JP2022168464A 2016-07-18 2022-10-20 ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体 Pending JP2022191450A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0091008 2016-07-18
KR20160091008 2016-07-18
JP2019500831A JP2019525577A (ja) 2016-07-18 2017-07-17 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体
PCT/KR2017/007656 WO2018016823A1 (ko) 2016-07-18 2017-07-17 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019500831A Division JP2019525577A (ja) 2016-07-18 2017-07-17 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体

Publications (1)

Publication Number Publication Date
JP2022191450A true JP2022191450A (ja) 2022-12-27

Family

ID=60996021

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019500831A Pending JP2019525577A (ja) 2016-07-18 2017-07-17 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体
JP2022168464A Pending JP2022191450A (ja) 2016-07-18 2022-10-20 ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019500831A Pending JP2019525577A (ja) 2016-07-18 2017-07-17 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体

Country Status (5)

Country Link
US (3) US11368681B2 (ja)
JP (2) JP2019525577A (ja)
KR (3) KR20180009318A (ja)
CN (6) CN116708777A (ja)
WO (1) WO2018016823A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023107785A1 (de) 2022-03-31 2023-10-05 Shimano Inc. Nabenanordnung für muskelkraftbetriebene fahrzeuge
US11930210B2 (en) 2018-06-25 2024-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction method and device

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
JP6669622B2 (ja) 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
CN109891892A (zh) 2016-10-11 2019-06-14 Lg 电子株式会社 依赖于图像编译系统中的帧内预测的图像解码方法和装置
CN116828172A (zh) * 2017-01-02 2023-09-29 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的发送方法以及存储介质
WO2018216862A1 (ko) * 2017-05-24 2018-11-29 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
KR102426387B1 (ko) * 2017-06-19 2022-07-28 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019007492A1 (en) * 2017-07-04 2019-01-10 Huawei Technologies Co., Ltd. INTRAMODE BYPASS LINE MEMORY HARMONIZATION DECODER SIDE WITH UNBLOCKING FILTER
WO2019089933A1 (en) * 2017-11-01 2019-05-09 Vid Scale, Inc. Sub-block motion derivation and decoder-side motion vector refinement for merge mode
EP3484148A1 (en) * 2017-11-09 2019-05-15 Thomson Licensing Automated scanning order for sub-divided blocks
CN111386707B (zh) * 2017-11-22 2024-05-17 英迪股份有限公司 图像编码/解码方法和设备以及用于存储比特流的记录介质
WO2019125093A1 (ko) * 2017-12-22 2019-06-27 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
CN117499676A (zh) * 2018-02-23 2024-02-02 英迪股份有限公司 对图像进行解码或编码的方法和传输图像的数据的方法
US11483564B2 (en) * 2018-03-19 2022-10-25 Kt Corporation Method and apparatus for video signal processing determining reference sample lines for a prediction target sample
WO2019190181A1 (ko) * 2018-03-30 2019-10-03 엘지전자 주식회사 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2019183986A1 (zh) * 2018-03-31 2019-10-03 华为技术有限公司 一种图像块的帧内模式预测方法及装置
KR20200132979A (ko) * 2018-04-01 2020-11-25 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치
WO2019194515A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치
CN111937381A (zh) * 2018-04-01 2020-11-13 金起佰 使用帧内预测的图像编码/解码方法和装置
WO2019194440A1 (ko) * 2018-04-02 2019-10-10 엘지전자 주식회사 인트라 예측 모드에 대한 룩업 테이블을 이용한 영상 코딩 방법 및 그 장치
EP3562158A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for combined intra prediction modes
WO2019212230A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
CN115623199A (zh) * 2018-05-12 2023-01-17 数码士有限公司 使用参考样本的视频信号处理方法及设备
CN112534811A (zh) * 2018-06-20 2021-03-19 真实网络公司 视频编码中的帧内图片预测系统和方法
JP7414742B2 (ja) * 2018-06-27 2024-01-16 ヴィド スケール インコーポレイテッド デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置
CN112204984A (zh) * 2018-06-27 2021-01-08 株式会社Kt 用于处理视频信号的方法和设备
US11509889B2 (en) 2018-06-27 2022-11-22 Kt Corporation Method and apparatus for processing video signal
KR20210015963A (ko) 2018-06-29 2021-02-10 후아웨이 테크놀러지 컴퍼니 리미티드 인트라-예측을 위한 디바이스 및 방법
AU2018204786A1 (en) * 2018-06-29 2020-01-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
CN112425161A (zh) * 2018-07-11 2021-02-26 英迪股份有限公司 基于帧内预测的视频编码方法和装置
JP2021536717A (ja) 2018-09-07 2021-12-27 ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッドB1 Institute Of Image Technology, Inc. イントラ予測を用いた画像符号化／復号化方法及び装置
EP3849193A4 (en) * 2018-09-07 2022-09-28 B1 Institute of Image Technology, Inc. IMAGE ENCODING/DECODING METHOD AND APPARATUS
JP7323014B2 (ja) * 2018-09-19 2023-08-08 富士通株式会社 映像復号方法
JP7180679B2 (ja) * 2018-09-19 2022-11-30 富士通株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
MX2021003317A (es) * 2018-09-21 2021-05-14 Interdigital Vc Holdings Inc Armonizacion de codificacion de intra transformada e intra prediccion de angulo ancho.
CN109361927B (zh) * 2018-09-29 2020-10-30 西安万像电子科技有限公司 图像处理方法及装置
WO2020076036A1 (ko) * 2018-10-07 2020-04-16 주식회사 윌러스표준기술연구소 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치
AU2019358651A1 (en) * 2018-10-12 2021-04-15 Guangdong Oppo Mobile Telecommunications Corp. , Ltd. Method for encoding/decoding image signal and device for same
US11178396B2 (en) * 2018-11-14 2021-11-16 Tencent America LLC Constrained intra prediction and unified most probable mode list generation
US10609411B1 (en) * 2018-11-18 2020-03-31 Sony Corporation Cross color prediction for image/video compression
US10917636B2 (en) * 2018-12-03 2021-02-09 Tencent America LLC Method and apparatus for video coding
JP2020098986A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
ES2954232T3 (es) * 2018-12-19 2023-11-21 Lg Electronics Inc Método de codificación de video basado en transformada secundaria y dispositivo para el mismo
CN112565784B (zh) 2018-12-28 2022-05-27 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
WO2020139061A1 (ko) * 2018-12-28 2020-07-02 인텔렉추얼디스커버리 주식회사 화면 간 예측 부호화 및 복호화 방법 및 장치
KR20200087086A (ko) * 2019-01-10 2020-07-20 세종대학교산학협력단 영상 부호화/복호화 방법 및 장치
WO2020159198A1 (ko) * 2019-01-28 2020-08-06 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
MX2021008103A (es) * 2019-02-15 2021-08-05 Panasonic Ip Corp America Codificador, decodificador, metodo de codificacion y metodo de decodificacion.
CN113491116A (zh) * 2019-02-28 2021-10-08 韦勒斯标准与技术协会公司 基于帧内预测的视频信号处理方法和装置
WO2020180133A1 (ko) * 2019-03-06 2020-09-10 엘지전자 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN113812149B (zh) * 2019-03-22 2024-04-12 Lg电子株式会社 图像编译系统中的图像解码方法和设备以及图像编码方法和设备
WO2020197225A1 (ko) * 2019-03-24 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 위한 후보 리스트 구성
EP3939269A4 (en) * 2019-04-10 2022-06-15 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND APPARATUS FOR VIDEO CODING USING AN IMPROVED MATRIX-BASED INTRA PREDICTION CODING MODE
WO2020207497A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Applicability of matrix-based intra prediction
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
JP7414843B2 (ja) 2019-04-24 2024-01-16 バイトダンス インコーポレイテッド 符号化映像の量子化残差差分パルス符号変調表現
CN113728647B (zh) 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
WO2020223467A1 (en) * 2019-05-01 2020-11-05 Bytedance Inc. Intra coded video using quantized residual differential pulse code modulation coding
KR20220002318A (ko) 2019-05-01 2022-01-06 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 필터링을 이용한 행렬 기반 인트라 예측
KR20220013941A (ko) * 2019-05-10 2022-02-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 행렬 기반 인트라 예측
SG11202112517QA (en) 2019-05-22 2021-12-30 Beijing Bytedance Network Technology Co Ltd Matrix-based intra prediction using upsampling
CN112019841A (zh) * 2019-05-31 2020-12-01 富士通株式会社 视频编码方法及装置、电子设备
KR20220013939A (ko) 2019-05-31 2022-02-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 제한된 업샘플링 프로세스
WO2020246805A1 (ko) * 2019-06-03 2020-12-10 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
US11128868B2 (en) 2019-06-11 2021-09-21 Mediatek Inc. Method and apparatus of matrix-based intra prediction for video coding
CN114208169A (zh) * 2019-06-11 2022-03-18 Lg电子株式会社 用于色度分量的图像解码方法及其装置
WO2020256470A1 (ko) * 2019-06-19 2020-12-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20220286688A1 (en) * 2019-06-21 2022-09-08 Vid Scale, Inc. Precision refinement for motion compensation with optical flow
CN113382251B (zh) * 2019-06-21 2022-04-08 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
CN110519600B (zh) * 2019-08-21 2022-06-07 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置
JP7189854B2 (ja) * 2019-09-19 2022-12-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
KR20220054360A (ko) 2019-09-25 2022-05-02 엘지전자 주식회사 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN110662078B (zh) * 2019-09-28 2021-10-15 杭州当虹科技股份有限公司 适用于avs2和hevc的4k/8k超高清编码帧间编码帧快速算法
CN112584142B (zh) * 2019-09-30 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
US11399195B2 (en) * 2019-10-30 2022-07-26 Tencent America LLC Range of minimum coding block size in video coding
JP2023011955A (ja) * 2019-12-03 2023-01-25 シャープ株式会社 動画像符号化装置、動画像復号装置
JP6865870B2 (ja) * 2020-02-26 2021-04-28 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
CN114554195A (zh) * 2020-11-25 2022-05-27 腾讯科技（深圳）有限公司 图像处理方法、设备及存储介质
US20220337875A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Low memory design for multiple reference line selection scheme
WO2023163386A1 (ko) * 2022-02-24 2023-08-31 현대자동차주식회사 블록 경계 불연속성을 감소시키는 비디오 코딩을 위한 방법 및 장치
WO2024091094A1 (ko) * 2022-10-28 2024-05-02 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960013055A (ko) 1994-09-27 1996-04-20 김광호 조건부 퀴드트리 분할방식의 화상압축방법 및 장치
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
KR20160053848A (ko) 2008-03-28 2016-05-13 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
US8897583B2 (en) * 2008-05-23 2014-11-25 Panasonic Corporation Image decoding apparatus for decoding a target block by referencing information of an already decoded block in a neighborhood of the target block
KR20100109187A (ko) 2009-03-31 2010-10-08 엘지전자 주식회사 비디오 신호 복호화 방법 및 장치
CN105959688B (zh) * 2009-12-01 2019-01-29 数码士有限公司 用于解码高分辨率图像的方法
EP2536151A4 (en) 2010-02-10 2014-03-19 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
EP3833025A1 (en) * 2010-10-08 2021-06-09 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US9800870B2 (en) * 2011-09-16 2017-10-24 Qualcomm Incorporated Line buffer reduction for short distance intra-prediction
CN107465922B (zh) * 2011-11-08 2020-10-09 株式会社Kt 利用解码装置对视频信号进行解码的方法
JP2013141187A (ja) 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
CN110868588B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和计算机可读记录介质
KR20140121918A (ko) * 2013-04-05 2014-10-17 주식회사 팬택 복수의 레이어를 지원하는 영상의 복호화 방법 및 이를 이용하는 장치
US9247251B1 (en) * 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
KR20150027530A (ko) 2013-09-04 2015-03-12 한국전자통신연구원 Hevc 부호화 장치 및 이를 이용한 부호화 방법
US10554966B2 (en) * 2014-10-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-view image encoding/decoding method and apparatus
CN110719468B (zh) * 2014-10-08 2021-06-25 联发科技股份有限公司 视频编码方法
KR20160051343A (ko) * 2014-11-03 2016-05-11 세종대학교산학협력단 인트라 예측을 이용한 비디오 신호 인코딩/디코딩 방법 및 장치
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
WO2017201141A1 (en) * 2016-05-17 2017-11-23 Arris Enterprises Llc Template matching for jvet intra prediction
ES2724568B2 (es) * 2016-06-24 2021-05-19 Kt Corp Método y aparato para tratar una señal de vídeo

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11930210B2 (en) 2018-06-25 2024-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction method and device
US11936908B2 (en) 2018-06-25 2024-03-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction method and device
US11936907B2 (en) 2018-06-25 2024-03-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction method and device
US11936906B2 (en) 2018-06-25 2024-03-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction method and device
DE102023107785A1 (de) 2022-03-31 2023-10-05 Shimano Inc. Nabenanordnung für muskelkraftbetriebene fahrzeuge

Also Published As

Publication number Publication date
US11882272B2 (en) 2024-01-23
US20240048693A1 (en) 2024-02-08
KR20230150921A (ko) 2023-10-31
KR20180009318A (ko) 2018-01-26
CN109479129A (zh) 2019-03-15
CN116708777A (zh) 2023-09-05
KR20210134553A (ko) 2021-11-10
CN116708773A (zh) 2023-09-05
JP2019525577A (ja) 2019-09-05
US11368681B2 (en) 2022-06-21
CN116708774A (zh) 2023-09-05
US20190222837A1 (en) 2019-07-18
CN109479129B (zh) 2023-07-11
WO2018016823A1 (ko) 2018-01-25
CN116708775A (zh) 2023-09-05
CN116708776A (zh) 2023-09-05
US20220279171A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP2022191450A (ja) ビデオ復号方法、ビデオ符号化方法、及び、ビットストリームを保存する非一時的なコンピュータ可読記録媒体
KR102555345B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102595070B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102557090B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP7150810B2 (ja) 画像復号方法及び画像符号化方法
KR20230038168A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20240024167A (ko) 화면 내 예측 방법 및 장치
KR20210065051A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200083319A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20210125944A (ko) 머지 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20210003604A (ko) 화면내 예측 방법 및 장치
KR20210125920A (ko) 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20210154760A (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20210063275A (ko) 참조 픽처의 해상도를 이용하는 비디오 처리 방법, 장치 및 기록 매체
KR20230168165A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
KR20220089660A (ko) 예측을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20210123217A (ko) 서브픽처에 대한 정보를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20220081300A (ko) 필터링을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20200045437A (ko) 화면 내 예측에서 적응적으로 mpm 리스트를 구성하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423